PT93628A - Processo e dispositivo de interpolacao temporal de imagens com compensacao de movimento corrigida - Google Patents

Description

7 7

J Μ

Descrição referente à patente de invenção de THOMSON CONSUMER ELECTRONICS, francesa, industrial e comercial, com sede em 9, place des Vosges, La Défense 5, 92400 Courbevois, França, (inventores: Philippe Robert e Pascal Basset, residentes na França) para "PROCESSO E DISPOSITIVO DE INTERPOLAÇÃO TEMPORAL DE IMAGENS COM COMPENSAÇÃO DE MOVIMENTO CORRIGIDA"

DESCRIÇÃO A presente invenção refere-se ao trata- mento de ima gens e, mais par ticularmente, à interpolação temporal de imagens a partir de imagens-maes, utilizando a compensação de movimento. A interpolação de uma sequência de imagens, a partir de uma outra sequência, consiste em gerar uma imagem da sequência final a partir de imagens da sequência de entrada, por interpolação espacio-temporal. Esta interpolação tem por finalidade determinar as caracterlsticas (valor da luminância e eventualmente valores de crominância) de cada elemento de imagem a gerar, a partir das caracterlsticas (valores de luminância e eventualmente de crominância) de elementos de imagem correspondentes nas imagens de entrada que os enquadram. No seguimento, utilizar-se-ao indiferentemente os termos trama ou imagem, e so os casos em que as tramas de entrada e de salda sao descritas pelo mesmo número de linhas e de pontos por linha serão considerados. Os outros casos podem ser tratados da mesma maneira juntando-lhe uma 1 3

filtragem espacial adaptada, que nao sera aqui descrita.

As aplicações da interpolação de imagem sao numeroras. Ela é usada em especial na conversão de normas, para a conversão de sequências de imagens de televisão de uma norma de 50 Hz para uma norma de 60 Hz ou inversamente; pode igualmente ser usada em codificação, para a restituição de sequências, quando se tiver feito uma sub-amostragem de trama no codificador, permite igualmente e mais geralmente aumentar a frequência de imagem numa sequência, por exemplo para melhorar o conforto visual.

Para a interpolação de imagens, uma primeira técnica consiste em interpolar, com o auxilio de um filtro espacio-temporal linear, sendo este filtro fixo para todos os pontos da trama e sendo função apenas das durações dos intervalos que separam as tramas de entrada das tramas a gerar. Ê conhecido que estes processos estão bem adaptados a zonas da imagem fixas temporalmente ou de fraco movimento, mas apresentam defeitos importantes, em particular nas zonas de forte movimento. Estes defeitos provêm da dificul dade de encontrar um compromisso correcto entre a limitação da banda passante temporal (que cria desfocagem) e a dobragem das componentes espectrais indesejáveis (que cria um batimento temporal) .

Para evitar estes defeitos, o filtro interpolador deve ser adaptado ao espectro do sinal de entrada, sendo isso que ê realizado por uma interpolação dita de compensação de movimento. Esta técnica consiste em interpolar os elementos de imagem na direcçao de vectores de movimento que lhe estão associados. Para isso, a fase de interpolação é precidida de uma operaçao de estimaçao de movimento, que consiste em atribuir a cada elemento de imagem a interpolar um vector de movimento, que fornece de facto o endereço do mesmo elemento de imagem nas tramas de entrada que enquadram a trama a interpolar. Esta técnica exige muito evidentemente a resolução do problema da análise do movimento de maneira satisfatória e, em especial, para obter uma boa qualidade de imagem, a definição do campo de movimento de maneira preci- 2 sa, sendo estimado um vector de movimento para cada elemento de imagem e com uma precisão para cá do elemento de imagem. Conhecem-se estimadores de movimento adaptados, capazes de fornecer de maneira fiável um campo de vectores de movimento preciso. Um tal estimador de movimento está, por exemplo, descrito no pedido de patente francês NQ. 88 12468, intitulado "Procédé et dispositif d'estimation de mouvement dans une séquence d'images animées".

No quadro da interpolação de imagens, podem distinguir-se dois tipos de estimadores de movimento, conforme o movimento for estimado para os elementos de imagem da trama a interpolar ou o movimento for estimado para os elementos de imagem de uma das tramas-maes. Neste último caso, é necessário fazer seguir esta estimaçao de uma fase de definição do campo de movimento das tramas a interpolar. Um processo de interpolação que utiliza uma técnica deste tipo está descrito no pedido de patente francês Νθ. 87 07814, intitulado "Procédé d’interpolation temporelle d’image et dispositif pour la mise en oeuvre de ce procédé". Este processo é em especial utilizável quando devem interpolar-se várias tramas intermédias a partir de duas tramas-maes: uma só estimaçao de movimento e então realizada entre estas duas tramas--mães, sendo depois o campo de movimento de cada trama a interpolar determinado a partir deste campo estimado. No seguimento, considerar-se-á o caso em que o campo de movimento foi obtido para a trama a interpolar, qualquer que seja o processo usado para chegar a este resultado. A interpolação propriamente dita tem pois em conta variações temporais. Com efeito, as sequências de entrada e de saída do interpolador sao duas representações de uma mesma cena, contínua e geralmente dinâminca, em séries de instantes diferentes. 0 conteúdo da sequência ê de ordem espacial e temporal e a transferência da informação de uma sequência para a outra têm necessáriamente em conta estas variações temporais. Assim, para a interpolação com compensação de movimento, o elemento de imagem já nao é considerado 3

^3> como um elemento de imagem simples mas sim como Um eiemento de objecto, podendo este elemento de objecto evoluir na imagem no decurso do tempo, aparecer, deslocar-se, variar a sua luminancia e/ou desaparecer. Ê evidentemente essencial adaptar mo-nos ao movimento dos elementos de imagem, sendo este movimento uma causa muito frequente de alteração no correr do tempo: tomar isso em conta permite tratar eficazmente a maior parte das situações possíveis numa cena. Ê no entanto fácil imaginar situações nas quais a análise do movimento é errada porque o movimento, enquanto modelo de alteração temporal, nao e apropriado, por exemplo quando objectos aparecem ou desaparecem de uma imagem de entrada para a seguinte.

De facto, para ter em conta todas as situações possíveis, seria necessário considerar, além do deslocamento dos objectos, outras causas de variação temporal da luminancia no decorrer do tempo, tais como a variação intrínseca de luminancia dos elementos de objectos (sem consideração de movimento), a apariçao ou o desaparecimento possível de elementos de imagem quando elementos de objecto. Por analogia com o que acaba de ser afirmado, o processo mais simples de interpolação, que é a interpolação linear, parte da hipótese de que os elementos de objecto são fixos e considera que a variação de luminancia dos elementos de imagem no correr do tempo é unicamente devida a uma variaçao de luminancia dos elementos de objecto, sem deslocamento destes elementos.

Num dispositivo de interpolação temporal de imagem com compensação de movimento, estes defeitos podem aparecer na interpolação quando o movimento, enquanto modelo de variaçao temporal, nao é apropriado, bem como no caso de cenas dinâmicas complexas, por exemplo quando dois objectos finos se cruzam, ou quando o movimento de um objecto provoca o desaparecimento de um objecto de uma imagem para a seguinte, ou ainda quando um movimento se combina a uma variaçao de luminância. A identificação exacta de tais alterações no tempo exigiriam um tratamento sofisticado sem medida k

:ιΐΗΑ^;;ίΖΙΙΗ^ΠΖίΒ5ϊΕΙΒβΠΚβϊ! comum com a estimaçao de movimento necessária para a interpolação, sem medida comum com a frequência de ocorrência deste tipo de situaçao e sem medida comum com a sensibilidade do olho a este tipo de acontecimentos. Todavia, é impossível utilizar tal e qual a informação fornecida pelo estimador de movimento por ela ter demasiado ruído e genra defeitos extremamente perturbadores. A presente invenção tem por objecto um processo, e o dispositivo correspondente, de interpolação temporal, com compensação de movimento corrigida, para permitir a interpolação destas zonas críticas de maneira simples e eficaz. Para isso, o processo consiste em determinar os defeitos no campo de movimento da trama a interpolar e em realizar uma interpolação nas zonas de defeito assim constatadas por um processo de substituição dito "solução de convolu-çao" .

Segundo a presente invenção, um processo de interpolação temporal de imagens, com compensação de movimento corrigida, que compreende uma fase de estimaçao do campo de vectores de movimento de uma imagem a interpolar a partir de imagens-maes que a enquadram, sendo as caracterís-ticas do ponto corrente determinadas a partir das caracterís-ticas dos pontos associados das imagens-maes determinados pelo vector movimento afectado a este ponto corrente, é carac-terizado por compreender além disso uma fase de análise de coerência do campo de vectores movimento da imagem a interpolar, e por a interpolação com compensação de movimento ser corrigida para os pontos da imagem a interpolar para os quais se detectaram incoerências no campo de vectores do movimento. A presente invenção tem por objecto também o dispositivo destinado à realizaçao deste processo. A presente invenção será melhor compreendida e outras características serão evidenciadas com o auxílio da descrição que se segue com referência aos desenhos anexos, cujas figuras representam: 5

A fig. 1, a interpolação de uma sequência de imagens de salda a partir de uma sequência de imagens de entrada; A fig. 2, a correspondência entre dois pontos de duas imagens-maes e um ponto correspondente da imagem interpolada; A fig. 3, um esquema que ilustra a apariçao e o desaparecimento de elementos de imagem numa cena; A fig, 4, a fase de filtragem da marca-çao dos vectores de movimento defeituosos; A fig. 5, a fase de erosão da marcaçao dos pontos com movimento errado; A fig. 6, a fase de enchimento dos pontos marcados com movimento defeituoso; A fig. 7, um esquema sinóptico do dispositivo de interpolação com movimento compensado segundo a presente invenção, numa primeira forma de realizaçao; e A fig. 8, o esquema sinóptico do dispositivo de interpolação com movimento compensado segundo a presente invenção numa segunda forma de realizaçao. A fig. 1 ilustra a interpolação a partir de uma sequência de imagens de entrada (II), (12), (13), (14) a 50 Hz (espaçadas de TI ^ 20 ms), de uma sequência de imagens de saída (1*1), (1*2), (1*3) e (If4) a 60 Hz (espa çadas de T2 ^ 16,6 ms), com vista à conversão de norma.

De uma maneira geral, uma imagem interpolada pode ser constituída a partir de mais de duas imagens de entrada, mas, como está ilustrado na fig. 2, os processos que utilizam a interpolação com compensação de movimento permitem obter uma imagem intermédia (I') a partir de duas imagens de entrada (II) e (12), utilizando o campo de movi-mento dos pontos da imagem a interpolar. Seja D(Z,t') o vector de movimento do ponto P(Z) ^P(X,Y) da imagem a interpolar, para o instante t' compreendido entre t-Tl e _t, proveniente do tratamento das imagens (II) e (12) da sequência de entrada. 6 ·-··.......

J 0 vector de movimento determina os pontos correspondentes, (A) em (II) e (B) em (12), e fornece portanto os endereços do elemento de imagem considerado como um elemento de objecto, respectivamente nas imagens como um elemento de objecto, respectivamente nas imagens-maes (II) e (12), admitindo-se o deslocamento linear entre estas duas imagens. 0 vector movimento D tem duas componentes Dx e Dy no plano imagem (X,Y).

Como atrás de indicou, podem aparecer defeitos na interpolação com compensação do movimento em especial quando já não for apropriado o movimento enquanto modelo de variaçao no tempo. A fig. 3 é uma esquema que ilustra a revelaçao (apariçao) e o recobrimento (desapariçao) de elementos de objecto, de uma imagem "mae" (II) para uma imagem "mae" (12), bem como o efeito de um movimento nao linear. As pequenas circunferências simbolizam os elementos de imagem e foi esquematizado por cruzes um elemento presente na imagem. Este objecto está em movimento nao linear, visto que a sua posição na imagem intermédia nao ê o resultado de uma trans-laçao que tem a sua origem e a sua extremidade em elementos de imagem correspondentes das duas imagens-mães (II) e (12).

Pelo contrário, o fundo em movimento encontra-se nas duas imagens-maes por uma translacçao. Alem disso, para os elementos de imagem nos limites do objecto, um está recoberto na imagem (12) e o outro esta descoberto entre (II) e (12). 0 modelo dado pelo campo de movimento entre (II) e (12) nao e pois correcto.

Para poder utilizar um processo de substituição, quando necessário, a primeira fase do processo segundo a presente invenção consiste portanto em detectar os defeitos de estimação de movimento:

No processo de estimaçao de movimento descrito no pedido de patente Na. 88 12468 já mencionado atras, um critério de erro para a estimaçao do movimento utiliza uma grandeza denominada diferença inter-imagens compensada em movimento (DFD), calculada da seguinte maneira: 7

J

Para o ponto corrente P(Z,t'), DFD(P) - (L(A,t-Tl) onde L(B,t) é a luminância do ponto (B) na imagem (12) no instante t e L(A,t~Tl) é a luminância do ponto (A) na imagem anterior (II), no instante t-Tl.

Em principio, se os pontos (A) e (B) forem de facto homólogos nas imagens-mães (II) e (12), a diferença temporal compensada, isto é, tendo em conta o movimento, DFD, e inferior a um certo limiar. Por conseguinte para todos os pontos (P) da trama a interpolar tais que as diferenças de luminância temporais inter-imagens compensadas em movimento são superiores a um certo limiar s_, o vector de movimento associado e declarado defeituoso e o ponto correspondente é marcado numa matriz de coerência. No caso contrário, o vector de movimento á declarado justo e o ponto correspondente da matriz nao é marcado.

Esta fase de detecçao dos defeitos na estimaçao do movimento pode ser completada por um ensaio na diferença de luminância entre pontos com as mesmas coordenadas que o ponto corrente da imagem a interpolar nas imagens--mães. Esta informação é característica do grau de semelhança entre os pontos com as mesmas coordenadas nas imagens-mães e permite saber se uma interpolação linear simples, não tendo em conta o movimento, é uma solução de convoluçao oportuna para estes "pontos defeituosos".

Um outro processo de análise, baseado na coerência do campo de movimento, conduz à detecção de pontos defeituosos. Com efeito, os defeitos do campo de movimento sao devidos ou à imprecisão do algoritmo de estimação, ou a uma inadequaçao do movimento enquanto modelo de alteração temporal. Isto traduz-se geralmente por um campo de vectores movimento localmente desordenado, com fortes roturas correspondentes a uma divergência do estimador. Varias operações locais podem ser exploradas para a detecção dos defeitos, utilizando um histograma local ou uma variância; eles exigem a observação de um bloco de vectores: 8

- um histograma local pode ser criado para um bloco de pontos, por exemplo de dimensões 5x5, por enumeração dos vectores movimento diferentes no interior do bloco; o número n_ resultante é então comparado a um limiar e, se n. for maior que s^, o ponto central do bloco (ou o bloco) é marcado, porque está defeituoso; - um processo um pouco mais elaborado consiste em partir do histograma dos vectores diferentes de um bloco de p Ont os, em calcular a probabilidade Pi dos dif erentes v ector es de movimento Di, depois a entropia E, que forma sob re a "de sor dem" no interior do bloco: E : - - pi. ln (P1 ). Esta entropia é : então comparada com um limiar s£ e se E for maio r do que , o ponto (ou o blo co) é marcado; - pode igualmente fazer-se uma anál ise de coerência por cál cul o de variância, calculando a grand eza V - : ^|(Dxi- n2 mx) - (Dy i-my) 2 | 1 com mx - (2. Dxi)/N e my j z ( (£ Dyi)/N, sendo mx e my as médias das componentes dos vectores movimento e N o número de pontos do bloco. Ê também possível simplificar calculando uma pseudo/variância para a qual a média é substituída pelas componentes do vector movimento do elemento de imagem central do bloco, Do: PV - £(Di - Do)2 A variância, ou a pseudo-variância, é então comparada a um limiar s^, e o ponto central (ou bloco) e marcado defeituoso quando V (ou PV) for superior a s^.

Todos os processos de análise de coerência do campo de movimento descrito atrás exigem o cálculo do critério num bloco de pontos. Todavia, como atrás se mencionou, a decisão pode respeitar ao ponto corrente, ponto central do bloco analizado, sendo então a janela deslizante, ou referir-se a todo o bloco de pontos em relaçao ao qual se calculou o critério, sendo então os blocos adjacentes, sendo o processo assim muito menos dispendioso em tempo de cálculo. 9 !\

J

Em todos os casos, a informação resultante de "pontos defeituosos" está fortemente afectada de ruido, sendo então necessária uma fase de filtragem para melhor definir os pontos de movimento defeituoso. Esta filtragem da informação de incoerência do campo de movimento é efectuada em duas fases, descritas a seguir com referência ã fig. 4. A partir da matriz binária que caracte-riza os vectores defeituosos obtidos pelo critério de coerência do campo de movimento, efectua-se uma primeira fase (I) de filtragem da informação de incoerência, chamada erosão: para cada ponto corrente marcado como defeituoso, se o número de pontos nao marcados num bloco centrado nesse ponto for superior a um certo limiar fixo S, então o ponto marcado como defeituoso na fase anterior perde a sua marcaçao na matriz binária que caracteriza os vectores defeituosos depois da erosão. Esta fase tem por fim suprimir as pequenas zonas consideradas como não significativas. A segunda fase (II) da filtragem é uma fase dita de enchimento e compreende uma primeira fase (1) de enchimento dito horizontal, uma segunda fase (2) dita de enchimento vertical, e uma terceira fase (3) na qual se efectua de novo um enchimento dito horizontal. Esta filtragem termina numa nova marcaçao dos vectores defeituosos. A fig. 5 ilustra com mais pormenor a fase de erosão da filtragem da informação da coerência. Nesta figura, a marcaçao dos pontos ou blocos defeituosos esta simbolizada por um escurecimento das casas correspondentes de uma matriz.

Se a informação dos pontos defeituosos for o resultado de uma marcaçao por blocos, o tratamento aplicar-se-á aos blocos adjacentes da imagem, correspondente um elemento da matriz aos blocos adjacentes da imagem a um bloco de elementos de imagem, reduzindo assim o número de tratamentos. A matriz binaria de entrada que indica os pontos ou os blocos marcados como exactos e os pontos ou os blocos - 10 -

J marcados como defeituosos é ensaiada por um processo de análise clássico, linha por linha. 0 primeiro ensaio consiste em examinar se o elemento corrente da matriz (ponto ou bloco) está marcado. Se não está, ele é transmitido tal e qual à saída do dispositivo de erosão. Se, pelo contrário, esta marcado, calcula-se o número de elemento marcados num bloco 5 x 5 da matriz centrada no elemento corrente analizado. Deve então comparar-se este número M de elementos marcados com o limiar S. Se M for maior do que S, o elemento inicialmente marcado como defeituoso é conservado no mesmo estado. Se, pelo contrário, o número M de elementos marcados que o envolvem for inferior ao limiar S é decidida uma erosão, isto é, o elemento inicialmente marcado é reposto no estado que caracteriza um elemento de vector exacto. A fig. 6 ilustra o efeito da fase de enchimento a partir de uma matriz inicial erodida, tal como resulta da fase anterior, isto é, na qual os elementos isolados foram suprimidos. Escolhe-se um comprimento de segmento pré-determinado mínimo, por exemplo 3, neste caso: se o comprimento de um segmento de elementos nao marcados entre dois elementos marcados for inferior a 3, então marca-se o conjunto dos dois elementos. A primeira fase de enchimento de linha tem por efeito, no exemplo representado, juntar dois elementos marcados. A fase seguinte de enchimento de coluna tem por efeito marcar todos os elementos nao marcados pertencentes a segmentos verticais de comprimento 1 ou 2; apenas subsiste um segmento vertical de comprimento igual a 3. A fase seguinte de enchimento de linha conduz a suprimir igualmente estes pontos marcados sendo o resultado que o conjunto da zona analisada representada na fig.. 6 é considerado como defeituoso quando ã análise do campo de vectores movimento.

Terminada esta fase, se este tratamento foi efectuado sobre blocos de pontos, a dimensão da imagem é retomada, isto é, o estado do bloco correspondente é afecta-do a todos os pontos correspondente da imagem e é esta informação de coerência do campo de vectores movimento, resultante 11 fi

23St»tta0 da filtragem, que vai ser explorado para a realizaçao da solução de convolçao, quando necessária.

No que respeita à própria solução de convulçao, ela nao tem como objectivo interpolar fielmente as zonas detectadas defeituosas no sentido da análise do movimento, mas produzir uma informação de luminância que mascare o melhor possível os defeitos de interpolação. Em particular, os defeitos da compensação de movimento sao devidos, como atrás se indicou, por um lado, â falta de homogeneidade local espacial do movimetno, que deforma as estruturas na imagem e, por outro lado, à falta de homogeneidade local temporal que modifica estas deformações com o correr do tempo, o que cria defeitos visíveis importantes. 0 objectivo essencial desta solução de convoluçao ê pois a homogeneização do campo de movimento nas zonas com movimentos defeituosos.

Varias soluçoes sao possíveis; a primeira solução interessante é uma simples interpolação linear; esta interpolação pode ser assimilada de facto a uma interpolação compensada em movimento com um vector movimento de componentes nulas no plano (XY), mas em vez de utilizar simplesmente duas imagens-maes, como na interpolação compensada em movimento, a interpolação linear pode ser realizada a partir de um maior número de imagens-maes, por exemplo 4 ou 6. Nas zonas com movimento defeituoso, o valor de luminância resultante da interpolação com compensação de movimento pode então ser substituído pelo valor de luminância resultante da interpolação linear.

Esta interpolação linear e de preferência calculada para todos os pontos, em paralelo com a interpo-laçao com compensação de movimento de modo que possa efectuar--se uma comutaçao dita "suave”, em vez de uma comutaçao abrupta, entre a via de compensação de movimento e a via linear, sendo uma tal comutaçao abrupta susceptível de criar roturas visíveis e perturbadoras. Por conseguinte, a comutaçao pode ser efectuada da seguinte maneira: a partir da matriz binária de coerência do campo de movimento, os elementos de imagem nao marcados sao postos em zero. Os elementos de imagem marca- - 12 -

Esta dos são, por sua vez, postos num valor nao nulo (V). Esta matriz de dois valores da informação de coerência do campo de movimento é em seguida filtrada por um filtro passa-baixo, permitindo os valores resultantes a compreendidos entre 0 e V dos elementos de imagem da nova matriz (não binária) definir um coeficiente de mistura _i das duas vias de interpolação. Se a luminância interpolada de um elemento de imagem obtido por interpolação linear for IntL e se a luminância do elemento de imagem obtido por interpolação compensação de movimento for IntCM, a luminância do elemento de imagem interpolado é então igual a:

Int ^ i.IntL + (1-i). IntCM, com i a/V, sendo a. o valor do elemento de imagem na matriz das informações de coerência filtradas no filtro passa-baixo; í está compreendido entre 0 e 1, como atrás se indicou, permitindo esta mistura suavizar as roturas entre interpolação compensada em movimento e solução de convoluçao.

Uma outra solução de convoluçao e possível, baseada no facto de que uma só das componentes do vector movimento poder ser falsa. Por conseguinte, em vez de analisar a coerência do vector movimento no seu conjunto, a detecçao de incoerência é aplicada ãs componentes horizontais e verticais tomadas separadamente. Nesta solução, a detecçao dos defeitos do campo de vectores movimento é aplicada separadamente nas componentes horizontais e nas verticais; do mesmo modo as fases de erosão e de filtragem sao aplicadas ãs matrizes de defeitos assim obtidas. A fase seguinte é então uma simples colocaçao no zero da componente considerada como defeituosa, para um elemento de imagem dado, à salda da fase de erosão e de enchimento.

Como na solução anterior, e necessário mascarar as roturas entre interpolação com movimento compensado e solução de convoluçao. Este mascaramento é obtido por filtragem para obtenção da média do campo de movimento, por componentes. A média pode ser calculada por exemplo em blocos de dimensões 7x7. 13

0 esquema sinóptico do dispo siti vo de interpolação com compensação de movimento com s oluç ao de convoluçao segundo o primeiro processo esta repres enta do na fig. 7: a sequência de imagens d e entrada é aplicada simul- taneamente a um dispo isitivo de es timaçao de mov imento (10 ), a um dispositivo de interpolação com moviment o comp ensa do (20) e a um dispositivo de interpolação linear (30). 0 dispositivo de interpolação com movimento compensado trata a sequência de entrada a partir de informações recebidas do dispositivo de estimaçao de moviemtno (10). Uma saída do dispositivo de estimaçao de movimento que fornece o campo de vectores movimento esta ligada a um circuito de análise de coerência do campo de vectores movimento (40) que compreende um circuito de detecçao de defeitos (41) cuja saída está ligada a um circuito de filtragem (42) que realiza o tratamento atrás descrito, de erosão e depois enchimento. Na saída deste circuito fica disponível uma matriz binaria de coerência, na qual estão marcados os vectores de movimento defeituosos. Esta matriz binária é aplicada a um circuito (50) de definição dos coeficientes de mistura _i a aplicar a um misturador (60) que recebe as informações provenientes do dispositivo de interpolação com movimento compensado (20) e as recebidas do dispositivo de interpolação linear (30). 0 misturador (60) fornece a sequência de imagens interpoladas na qual os defeitos devidos ã imperfeição do modelo utilizado para a interpolação com compensação de movimento, sao mascarados. A fig. 8 é um esquema sinóptico do dispositivo de interpolação com compensação de movimento, com solução de convoluçao de acordo com o segundo processo. Neste caso, a sequência de imagens de entrada é aplicada como anteriormente a um dispositivo de estimaçao de movimento (10), sendo as componentes verticais e horizontais, respecti-vamente, aplicadas a circuitos de análise de coerência (40') e (40"), cada um dos quais compreende um circuito de detecçao de defeitos, respectivamente (41’) e (41") cujas saídas fornecem matrizes binárias características de pontos ou de blocos a vectores de movimento "defeituosos" e sao ligadas a circui- 14

IS tos de filtragem, respectivamente (42*) e (42”) que efectuam as fases de erosão e de enchimento descritas atrás para cada uma das duas matrizes binárias de vectores defeituosos associados as componentes respectivamente horizontal e vertical. As matrizes binárias resultantes, depois da filtragem, são transmitidas a circuitos (71) e (72) que põem no zero as componentes defeituosas. Estes circuitos têm as suas saídas ligadas às entradas de filtros de obtenção de médias, respectivamente (81) e (82), que fornecem as componentes do vector movimento directamente tratadas para evitar as transições abruptas. Sao estas componentes tratadas que sao aplicadas ao dispositivo de interpolação com movimento compensado (20) que recebe por outro lado a sequência de imagens de entrada e que fornece a sequência de imagens interpoladas. formas no que tuir a vector de realizaçao respeita às fo interpolação de movimento f A presente invenção nao se precisamente descritas atras, rmas de interpolação destinada com compensação de moviemnt or detectado como defeituoso. limita as em especial s a substi-o quando o 15

Claims (2)

1. % ^ ..tJ^&asEtrr .w.^a^agg^ REIVINDICAÇÕES - lâ - Processo de interpolação temporal de imagens, com compensação de movimento corrigida, que compreende uma fase de estimaçao do campo de vectores de movimetno de uma imagem a interpolar a partir de imagens-maes que a enquadram, sendo as caracteristicas do ponto corrente determinadas a partir das caracterxsticas dos pontos associados das imagens-maes determinados pelo vector-movimento afectado a esse ponto corrente, caracterizado por compreender além disso uma fase de análise de coerência do campo de vectores--movimentos da imagem a interpolar, e por a interpolação com compensação de movimento ser corrigida para os pontos da imagem a interpolar para os quais foram detectadas incoerência no campo de vectores-movimentos. - 2â - Processo de acordo com a reivindicação 1, caracterizado por a fase de análise de coerência do campo de vectores-movimentos da imagem a interpolar compreender uma fase de detecçao de defeitos do campo de vectores-movimentos donde resulta uma matriz de coerência binária com o formato da imagem que caracteriza respectivamente um vector-movimento exacto ou defeituoso para cada ponto. - 3ã - Processo de acordo com a reivindicação 2, caracterizado por a detecçao dos defeitos do campo de vectores-movimentos ser obtida por comparação, relativamente a um limiar, da diferença das luminâncias dos pontos das imagens-maes associadas ao ponto corrente, sendo esse ponto marcado como defeituoso na matriz da coerência quando essa diferença for superior ao limiar. - 4â - 16
2. 2, caracterizado por a detecçao dos defeitos do campo de vectores-movimentos ser obtida por comparaçao de um limiar com o resultado de um operador local, do tipo variância, ou utilizando um histograma dos vectores-movimentos em blocos de pontos, sendo o vector-movimento marcado como defeituoso quando o resultado do operador for superior ao limiar. - 55 - Processo de acordo com a reivindicação 4, caracterizado por a detecçao dos defeitos dos vectores- movimentos ser efectuada para cada ponto da imagem, por bloco deslizante com o ponto corrente. - 6ã - Processo de acordo com a reivindicação 4, caracterizado por a detecçao dos defeitos dos vectores- movimentos ser efectuada por blocos adjacentes, sendo todos os pontos de um bloco analisado marcados como defeituosos quando o campo de movimento do bloco for considerado como incoerente. _ η a _ Processo de acordo com qualquer das reivindicações 2 a 6, caracterizado por a fase de detecçao os defeitos do campo de vectores-movimentos ser seguida de uma fase de filtragem que, numa fase denominada de erosão, suprime a marcaçao dos pontos ou blocos defeituosos isolados e que, numa fase denominada de reenchimento, marca como defeituosos os pontos ou blocos reconhecidos como exactos na fase de detecçao de defeitos mas que estio isolados em zonas maiores como defeituosas. - 8ã - Processo de acordo com a reivindicação . 1, caracterizado por, em paralelo com a interpolação com - 17 - 4

   compensação de movimento do ponto corrente da imagem a interpolar a partir do vector-movimento associado a este ponto, se calcular uma interpolação linear entre pontos com as mesmas coordenadas que o ponto corrente nas imagens-mães, sendo as caracteristicas do ponto corrente da imagem a interpolar determinadas a partir das caracterlsticas resultantes destas duas interpolações, em função dos defeitos detectados no campo de vectores-movimentos. - 9a - Processo de acordo com a reivindicação 8, caracterizado por a luminância do ponto corrente da imagem a interpolar ser o valor obtido por interpolação temporal com compensação de movimento para os pontos de imagem cujos vectores de movimento foram reconhecidos como exactos, e ser o valor obtido por interpolação linear para os pontos marcados como tendo vectores-movimentos defeituosos. - 10a - Processo de acordo com a reivindicação 8, caracterizado por: - compreender alem disso uma fase de filtragem da matriz de coerência que dá os estados intermediários aos pontos das vizinhanças de transições entre zonas correspondentes a vectores-movimentos declarados exactos e zonas marcadas correspondentes a vectores-movimentos declarados defeituosos, - e a luminância do ponto corrente da imagem a interpolar (Int) ser o resultado de uma combinação entre a luminância obtida por interpolação com compensação de movimento (IntCM) e a luminância obtida por interpolação linear (INtL), tal que: Int = i.IntL + (l-i)IntCM, onde _i, coeficiente de mistura, compreendido entre 0 e 1, é função do estado do ponto correspondente na matriz de coerência filtrada. - llâ - - 18 -

   Processo de acordo com a reivindicação 1, caracterizado por a análise de coerência do campo de vecto-res-movimentos ser efectuada por análises separadas em paralelo das componentes verticais e horizontais destes vectores, sendo a luminância do ponto corrente da imagem a interpolar obtida por interpolação com compensação de movimento corrigida por: a anulaçao das componentes do vector quando forem detectadas como defeituosas, depois a filtragem espacial das componentes separadas. - 12a - Dispositivo de interpolação temporal de imagens com compensação de movimento corrigida, que compreende um dispositivo de estimaçao de movimento (10) que recebe uma sequência de imagens de entrada e que fornece um campo de vectores de movimento para cada imagem intermediária a interpolar entre duas imagens-mães da sequência de entrada, um dispositivo de interpolação com movimento compensado (20) que recebe, por um lado, a sequência de imagens de entrada e, por outro lado, o campo de vectores de movimento das imagens a interpolar, caracterizado por compreender além disso: um dispositivo de interpolação linear (30) que recebe igualmente a sequência de imagens de entrada, um circuito de análise de coerência do campo de vectores de movimento (40) cuja entrada está ligada â saída do dispositivo de estimaçao de movimento e cuja saída está ligada á entrada de comando de um circuito de saída (50, 60) igualmente ligado aos dispositivos de interpolação, fornecendo para cada ponto de imagem um valor de luminância deduzido dos valores de luminância interpolados pelos dispositivos de interpolação com compensação de movimento (20) e de interpolação linear (30). - 13a - Dispositivo de interpolação temporal de imagens com compensação de movimento corrigida, que compre- 19 Jil___rrr ende um dispositivo de estimaçao de movimento (10) e um dispositivo de interpolação com movimento compensado (20) que recebem ambos a sequência de imagens de entrada, caracterizado por as duas componentes do vector-movimento no plano da imagem serem respectivamente transmitidas a dois dispositivos de análise de coerência (40’, 40") cujas saldas estão respectiva-mente ligadas a circuitos de reposição no zero (71, 72) das componentes marcadas como defeituosas pelos circuitos de análise de coerência, estando as componentes provenientes destes circuitos de reposição no zero acopladas a entradas de componentes de vector-movimento do dispositivo de interpolação com movimento compensado (20). - 14a - Dispositivo de acordo com a reivindicação 13, caracterizado por as saídas dos circuitos de reposição no zero das componentes (71, 72) estarem ligadas ás entradas de componentes do dispositivo de interpolação com movimento compensado (20) por intermédio de filtros de obtenção de valores médios (81, 82) que tratam as componentes separadamente . - 15ã - Dispositivo de acordo com qualquer das reivindicações 12 a 14, caracterizado por um circuito de análise de coerência (40 ou 40’-40") compreender um circuito de detecçao dos defeitos do campo de vectores de movimento (41 ou 41'-41") seguido de um circuito de filtragem (42 ou 42'-42") que, por erosão e reenchimento, reduz as zonas isoladas marcadas como defeituosas ou pelo contrário nao marcadas na matriz de coerência gerada. A requerente reivindica a prioridade do pedido francês apresentado em 31 de Março de 1989, sob o Ne. 89 04256. 20 Lisboa, 30 de Março de 1990 Γφι.Λ?. 0 AS

   _wli iLò»

   21