PT1430710E

PT1430710E - Processamento de imagens para remover as características de olho vermelho.

Info

Publication number: PT1430710E
Application number: PT02749101T
Authority: PT
Inventors: Nick Jarman
Original assignee: Pixology Software Ltd
Priority date: 2001-09-14
Filing date: 2002-07-31
Publication date: 2007-06-22
Also published as: JP2005503730A; WO2003026278A1; DK1430710T3; US20040046878A1; ES2283579T3; CA2460179A1; EP1430710B1; GB0122274D0; DE60218876D1; KR20040047834A; ATE357111T1; GB2379819A; DE60218876T2; GB2379819A8; GB2379819B; EP1430710A1

Description

ΡΕ1430710 -1 -

DESCRIÇÃO

"PROCESSAMENTO DE IMAGENS PARA REMOVER AS CARACTERÍSTICAS DE OLHO VERMELHO" A presente invenção refere-se à detecção e à redução do efeito de olho vermelho em imagens digitais. 0 fenómeno de olho vermelho em fotografias é bem conhecido. Quando um flash é utilizado para iluminar uma pessoa (ou animal) a luz é frequentemente reflectida directamente do fundo da retina do sujeito para dentro da câmara. Esta situação leva a que o olho do sujeito pareça vermelho quando a fotografia é apresentada ou revelada.

As fotografias são cada vez mais armazenadas na forma de imagens digitais, tipicamente, na forma de matrizes de pixeis, em que cada pixel é habitualmente representado por um valor de 24 bits. A cor de cada pixel pode ser codificada dentro da amplitude do valor de 24 bits como sendo três valores de 8 bits que representam a intensidade da cor vermelha, verde e azul daquele pixel. De um modo alternativo, a matriz de pixeis pode ser transformada para que o valor de 24 bits seja constituído por três valores de 8 bits que representam a "matiz", a "saturação" e o "brilho". 0 matiz proporciona uma escala "circular" que define a cor e assim, o valor 0 representa o vermelho, com a cor a passar através do verde e do azul à medida que o valor aumenta, voltando ao vermelho com o -2- PE 1430710 valor 255. A saturação proporciona uma medida da intensidade da cor identificada pelo matiz. O brilho pode ser visto como uma medida da quantidade de iluminação.

Através da manipulação destas imagens digitais é possivel reduzir os efeitos de olho vermelho. O software que realiza esta tarefa é bem conhecido e funciona, geralmente, através da alteração dos pixeis que constituam uma caracteristica de olho vermelho para que seja reduzido o seu conteúdo de vermelho - por outras palavras, para que a seu matiz seja tornado menos vermelho. Normalmente, em substituição do vermelho eles são deixados negros ou cinzento-escuro. A maioria destes softwares de redução de olho vermelho exige conhecer o centro e o raio de cada caracteristica de olho vermelho que irá ser manipulada e a forma mais simples de proporcionar esta informação é de pedir ao utilizador que seleccione o pixel central de cada caracteristica de olho vermelho e indique o raio da parte vermelho. Este processo pode ser realizado para cada caracteristica de olho vermelho e a manipulação não tem, consequentemente, qualquer efeito na restante parte da imagem. Todavia, esta situação exige um trabalho considerável da parte do utilizador e é difícil de indicar o centro exacto de cada caracteristica de olho vermelho e de seleccionar o raio correcto. Outro método comum é o de pedir ao utilizador que desenhe uma caixa em torno da área vermelha. Esta caixa é rectangular o que torna ainda mais -3- ΡΕ1430710 difícil marcar com precisão a característica.

Existe portanto uma necessidade de identificar automaticamente as áreas de uma imagem digital às quais deverá ser feita a redução do olho vermelho, para que a redução do olho vermelho possa ser aplicada apenas onde ela é necessária, sem a intervenção do utilizador ou com uma intervenção minima do utilizador. 0 documento EP-A-0911759 revela um método de detecção de características de olho vermelho através da procura numa imagem de pixeis que tenham um matiz vermelho e da marcação destes pixeis utilizando uma máscara binária. A região da pupila pode então ser identificada a partir dos pixeis marcados como sendo vermelhos.

Os documentos WO 99/17254 e U5874764 revelam separadamente um método de detecção de características de olho vermelho através da procura numa imagem de pixeis que tenham o tipo de vermelho que é observado nos olhos das pessoas quando iluminadas com um flash. Esta situação envolve a procura de pixeis que tenham valores de matiz, de luminosidade e de saturação iguais a um minimo e um máximo previamente estabelecidos. Outros critérios de selecção são então aplicados para determinar se as pupilas vermelhas detectadas fazem parte de uma característica de olho vermelho. A presente invenção reconhece que uma tipica -4- ΡΕ1430710 característica de olho vermelho não é simplesmente uma região de pixeis vermelhos. Uma tipica caracteristica de olho vermelho inclui também habitualmente um ponto brilhante provocado pela reflexão da luz do flash da frente do olho. Estes pontos brilhantes são conhecidos por "pontos brilhantes". Se os pontos brilhantes na imagem poderem ser localizados então será mais fácil identificar automaticamente os olhos vermelhos. Os pontos brilhantes estão habitualmente localizados próximo do centro das caracteristicas de olho vermelho, embora por vezes eles estejam descentrados e, ocasionalmente, no rebordo.

De acordo com um primeiro aspecto da presente invenção é proporcionado um método de detecção de caracteristicas de olho vermelho numa imagem digital, compreendendo: - a análise da saturação e da luminosidade dos pixeis na imagem e a identificação das regiões de ponto brilhante que compreendem pixeis que satisfazem os critérios predeterminados de saturação e de luminosidade relativamente aos pixeis nas regiões circundantes, os critérios predeterminados de saturação e de luminosidade sendo que os pixeis nas regiões de ponto brilhante têm de ter valores mais elevados de saturação ou de luminosidade, ou de ambas, que os dos pixeis nas regiões circundantes; e - a determinação de se cada região de ponto brilhante corresponde a uma caracteristica de olho vermelho baseado na aplicação de outros critérios de selecção. -5- ΡΕ1430710

Os outros critérios de selecção incluem, de um modo preferido, a análise do matiz dos pixeis circundantes à região de ponto brilhante e a determinação de se a região de ponto brilhante não corresponde a uma caracteristica de olho vermelho se o referido matiz está fora de uma amplitude predeterminada que corresponde ao vermelho.

Os outros critérios de selecção podem incluir, de um modo alternativo, ou adicional, a identificação da forma da região de ponto brilhante e a determinação de se a região de ponto brilhante não corresponde a uma caracteristica de olho vermelho se a referida forma não for substancialmente circular.

De acordo com um segundo aspecto da invenção, é proporcionado um método de redução do efeito visual das caracteristicas de olho vermelho numa imagem digital, compreendendo a detecção das caracteristicas de olho vermelho utilizando o método acima descrito e a alteração do matiz dos pixeis circundantes a cada região de ponto brilhante para reduzir o conteúdo de vermelho daqueles pixeis.

De acordo com um terceiro aspecto da presente invenção é proporcionado um método de processamento de uma imagem digital, o método compreendendo: - a detecção das caracteristicas de olho vermelho utilizando um método conforme acima descrito; e - a realização da redução do olho vermelho nalgumas ou -6- PE 1430710 em todas as características de olho vermelho.

Esta situação tem a vantagem de o contraste da saturação/luminosidade entre as regiões de ponto brilhante e a área circundante ser mais notável do que o contraste da cor (ou do "matiz") entre a parte vermelha de uma caracteristica de olho vermelho e as tonalidades da pele circundante. Para além disto, a cor é codificada com uma resolução baixa para muitos formatos de compressão de imagens, como o JPEG. Ao utilizar a saturação e a luminosidade para detectar os olhos vermelhos torna-se muito menos provável que eles não sejam encontrados do que se for utilizado o matiz como ferramenta básica de detecção. E conveniente que cada caracteristica de olho vermelho possa ter um ponto de referência único a ela associada de modo a permitir que a localização da caracteristica de olho vermelho seja armazenada numa lista. Um único pixel de referência em cada região de ponto brilhante pode então ser seleccionado como sendo o ponto central da caracteristica de olho vermelho associada aquela região de ponto brilhante e a redução do olho vermelho para aquela caracteristica de olho vermelho pode ser centrada no pixel de referência.

Para além de ter valores elevados de saturação e/ou de luminosidade, o ponto brilhante de uma típica caracteristica de olho vermelho é muito bem definida. Desta -7- ΡΕ1430710 maneira uma região de ponto brilhante é, de um modo preferido, apenas identificada se existir uma transição bem definida da saturação e/ou da luminosidade de um pixel entre a região de ponto brilhante e as regiões adjacentes.

Embora muitas das regiões de ponto brilhante identificadas podem resultar de olho vermelho, é provável que sejam identificadas algumas regiões de ponto brilhante que não fazem parte das caracteristicas de olho vermelho e, em torno das quais, não deverá ser aplicada uma redução do olho vermelho. Consequentemente, o método compreende, de um modo preferido, a eliminação de, pelo menos, algumas das regiões de ponto brilhante como possibilidades para a redução do olho vermelho. Na verdade, é possível que nenhuma das regiões de ponto brilhante identificadas sejam provocadas pelo efeito de olho vermelho e, consequentemente, não deverão ter caracteristicas de olho vermelho a elas associadas. Neste contexto será evidente que a frase "identificação de caracteristicas de olho vermelho com algumas ou todas as referidas regiões de ponto brilhante" se destina a incluir a possibilidade de não estar associada qualquer característica de olho vermelho a quaisquer das regiões de ponto brilhante. De um modo similar, é possível que os filtros aplicados às caracteristicas de olho vermelho determinem que a nenhuma das caracteristicas de olho vermelho originalmente identificadas deverá ser aplicada a redução do olho vermelho e, consequentemente, a frase "realização de redução do olho vermelho em algumas ou em todas as caracteristicas de olho vermelho" inclui a -8- ΡΕ1430710 possibilidade de todas as características de olho vermelho serem rejeitadas como possibilidades para a redução do olho vermelho.

Na realidade, existe uma dimensão máxima que uma caracteristica de olho vermelho pode ter, assumindo que, pelo menos, toda a cara da pessoa foi fotografada. Consequentemente, de um modo preferido, se uma região de ponto brilhante exceder um diâmetro máximo predeterminado não será associada àquela região de ponto brilhante qualquer caracteristica de olho vermelho e não será realizada qualquer redução do olho vermelho.

As características de olho vermelho são geralmente substancialmente circulares. Consequentemente, as características de ponto brilhante lineares não serão geralmente resultantes do efeito de olho vermelho e, consequentemente, de um modo preferido, não será realizada qualquer redução do olho vermelho numa caracteristica associada a uma região de ponto brilhante se a região de ponto brilhante for substancialmente linear.

De um modo preferido, a redução do olho vermelho não é realizada em quaisquer características de olho vermelho que se sobreponham uma à outra.

Uma vez determinadas as regiões de ponto brilhante, é conveniente identificar o matiz dos pixeis na região circundante a cada região de ponto brilhante e -9- ΡΕ1430710 apenas realizar a redução do olho vermelho numa característica de olho vermelho associada a uma região de ponto brilhante se o matiz dos pixeis circundantes àquela região de ponto brilhante compreender mais do que uma proporção predeterminada de vermelho. 0 raio da característica de olho vermelho pode então ser determinado a partir desta região de pixeis vermelhos circundantes à região de ponto brilhante. A redução do olho vermelho é realizada, de um modo preferido, numa característica de olho vermelho se o rácio do raio da região de olho vermelho face ao raio da região de ponto brilhante estiver numa amplitude predeterminada de valores. Para uma tipica característica de olho vermelho, o raio da região de olho vermelho será até 8 vezes o raio da região de ponto brilhante.

De um modo preferido, assumindo que a imagem digital é obtida de uma fotografia, é determinado se foi utilizado um flash quando a fotografia foi tirada e, se não foi utilizado um flash, as regiões de ponto brilhante não são identificadas ou a redução do olho vermelho não é realizada.

De um modo preferido, é determinado se a imagem digital é monocromática e, se ela for, não são identificadas as regiões de ponto brilhante nem é realizada a redução do olho vermelho.

Nalguns casos, por exemplo, em fotografias de retratos, o utilizador pode saber previamente se todos os -10- ΡΕ1430710 ponto brilhante serão provocadas pelo efeito de olho vermelho e, nestes casos, uma característica de olho vermelho pode ser associada a cada região de ponto brilhante identificada e a redução do olho vermelho pode ser realizada em todas as características de olho vermelho. A invenção também proporciona uma imagem digital à qual o método acima descrito foi aplicado, um aparelho disposto para realizar o método, e meios de armazenamento em computador que têm neles armazenados um programa de computador elaborado para realizar o método.

Algumas das formas de realização preferidas da invenção serão agora descritas apenas a titulo de exemplo e fazendo referência aos desenhos em anexo, em que: A Figura 1 é um diagrama de fluxos que descreve um procedimento geral para a redução do efeito de olho vermelho; A Figura 2 é um diagrama esquematizado que mostra uma tipica característica de olho vermelho; A Figura 3 mostra a característica de olho vermelho da Figura 2, mostrando os pixeis identificados na detecção de um ponto brilhante; A Figura 4 mostra a característica de olho vermelho da Figura 2 depois da medição do raio; e A Figura 5 é um diagrama de fluxos que descreve um procedimento para a detecção das características de olho vermelho. - 11 - ΡΕ1430710

No processamento de uma imagem digital que pode ou não conter caracteristicas de olho vermelho, para corrigir tais caracteristicas de um modo mais eficiente possível, é útil a aplicação de um filtro para determinar se tais caracteristicas podem estar presentes, encontrar as caracteristicas e aplicar a correcção do olho vermelho àquelas caracteristicas, de um modo preferido, sem a intervenção do utilizador.

Na sua forma mais simples, um filtro automático de olho vermelho pode funcionar de uma maneira muito linear. Uma vez que as caracteristicas de olho vermelho só podem ocorrer em fotografias onde é utilizado um flash, não é necessário aplicar a redução do olho vermelho se não foi utilizado um flash. Todavia, se foi utilizado um flash, ou se houver qualquer dúvida de ter sido utilizado um flash, então a imagem deverá ser analisada procurando caracteristicas semelhantes ao olho vermelho. Se forem encontradas quaisquer caracteristicas de olho vermelho elas são corrigidas. Este processo está mostrado na Figura 1.

Um algoritmo que realiza o processo da Figura 1 começa com um teste rápido para determinar se a imagem pode conter olho vermelho: o flash foi utilizado? Se esta pergunta tiver a resposta de "não" com uma certeza de 100%, o algoritmo pode terminar; se o flash não foi utilizado, a imagem não pode conter qualquer olho vermelho. O simples conhecimento de que o flash não foi utilizado permite a filtragem de uma grande quantidade de imagens com muito -12- PE 1430710 pouco esforço de processamento.

Existem várias formas possíveis de se saber se o flash foi utilizado. Um método envolve a pergunta directa ao utilizador embora este não seja o ideal uma vez que ele implica uma interacção por parte do utilizador e o utilizador pode não ser capaz de responder à pergunta de uma maneira fiável.

Outra alternativa implica sondar os metadados da imagem. Por exemplo, um formato EXIF do JPEG tem um campo de "flash utilizado - sim/não". Este campo proporciona uma maneira fiável de determinar se o flash foi utilizado mas nem todas as imagens têm os metadados correctos. Os metadados são habitualmente perdidos quando uma imagem é editada. As imagens digitalizadas que contenham olho vermelho não terão metadados apropriados.

Existe um método adicional para determinar se o flash foi utilizado que é apropriado se o algoritmo for implementado no software de controlo de uma câmara digital. O módulo responsável por tirar a fotografia pode indicar ao módulo de detecção/correcção do olho vermelho que o flash foi utilizado.

Para qualquer imagem onde não seja possível determinar com certeza que o flash não foi utilizado, tem de ser realizada uma examinação mais pormenorizada utilizando o módulo de detecção de olho vermelho adiante -13- ΡΕ1430710 descrito.

Se não for detectado olho vermelho o algoritmo pode terminar sem necessitar de modificar a imagem. Todavia, se forem encontradas características de olho vermelho cada uma terá de ser corrigida utilizando o módulo de correcção de olho vermelho adiante descrito.

Depois de o módulo de correcção de olho vermelho ter processado cada característica de olho vermelho, o algoritmo termina. A saída do algoritmo é uma imagem em que todas as ocorrências detectadas de olho vermelho foram corrigidas. Se a imagem não conter qualquer olho vermelho, a saída é uma imagem que é substancialmente igual à imagem de entrada. Pode acontecer que o algoritmo tenha detectado e "corrigido" características na imagem que se assemelham muito ao olho vermelho mas é muito possível que o utilizador não notará estas "correcções" realizadas erradamente. 0 módulo de detecção de olho vermelho será agora descrito. A Figura 2 é um diagrama esquematizado que mostra uma típica característica de olho vermelho 1. No centro da característica 1 está um "ponto brilhante" 2 branco ou quase branco que está envolvido por uma região 3 que -14- ΡΕ1430710 corresponde à pupila do sujeito. Na ausência do olho vermelho, esta região 3 seria habitualmente negra, mas numa caracteristica de olho vermelho esta região 3 fica com um matiz avermelhada. Este matiz pode variar de um brilho fosco até um vermelho brilhante. Envolvendo a região 3 da pupila está a iris 4, parte ou toda ela podendo parecer assumir algum do brilho vermelho da região 3 da pupila. 0 algoritmo de detecção tem de localizar o centro de cada caracteristica de olho vermelho e a extensão da área vermelha circundante. 0 algoritmo de detecção de olho vermelho começa por procurar regiões na imagem que podem corresponder aos pontos brilhantes 2 das caracteristicas de olho vermelho. A imagem é primeiro transformada para que os pixeis sejam representados pelos valores do matiz, da saturação e da luminosidade. A maioria dos pixeis no ponto brilhante 2 de uma caracteristica 1 de olho vermelho tem uma saturação muito elevada e é pouco habitual serem encontradas áreas assim tão saturadas noutros lugares das imagens da cara. De um modo similar, a maioria dos pontos brilhantes 2 terão valores de luminosidade elevados. É também importante notar que não só os valores de saturação e de luminosidade serão elevados como eles serão significativamente superiores aos das regiões 3, 4, 5 imediatamente circundantes a eles. A transição da saturação na região 3 da pupila vermelha para a região de ponto brilhante 2 é muito abrupta. -15- ΡΕ1430710 0 algoritmo de detecção de ponto brilhante analisa cada linha de pixeis na imagem à procura de pequenas áreas de luz, pixeis altamente saturados. Durante esta análise, cada pixel é comparado com o seu vizinho precedente (o pixel à sua esquerda). O algoritmo procura um aumento abrupto da saturação e da luminosidade, marcando o início de um ponto brilhante à medida que ele analisa desde o início da linha. Este ponto é conhecido por uma "aresta ascendente". Uma vez identificada uma aresta ascendente, aquele pixel e os pixeis seguintes (assumindo que eles têm uma saturação e luminosidade igualmente elevadas) são registados, até que seja alcançada uma diminuição abrupta da saturação, o que marca a outra aresta do ponto brilhante. Este ponto é conhecido por uma "aresta descendente". Depois de uma aresta descendente, o algoritmo volta a procurar uma aresta ascendente que marcará o início do próximo ponto brilhante.

Um algoritmo típico pode ser elaborado para que uma aresta ascendente seja detectada se: 1. o pixel estiver altamente saturado (saturação >128); 2. o pixel estiver significativamente mais saturado que o pixel precedente (a saturação deste pixel - a saturação do pixel precedente >64); 3. o pixel tem um valor de luminosidade elevado (luminosidade >128). A aresta ascendente fica localizada no pixel que estiver a ser examinado. Uma aresta descendente é detectada se: -16- PE 1430710 1. o pixel estiver significativamente menos saturado que o pixel precedente (a saturação do pixel precedente - a saturação deste pixel >64); 2. o pixel precedente tem um valor de luminosidade elevado (luminosidade >128) . A aresta descendente fica localizada no pixel precedente àquele que está a ser examinado.

Uma verificação adicional é realizada durante a procura da aresta descendente. Depois de ter sido examinado um número definido de pixeis (por exemplo, 10) sem ter sido encontrada uma aresta descendente, o algoritmo desiste da procura da aresta descendente. O pressuposto é de que existe uma dimensão máxima que um ponto brilhante pode ter numa caracteristica de olho vermelho - obviamente que este valor irá variar em função da dimensão da imagem e da natureza do seu conteúdo (por exemplo, os pontos brilhantes serão mais pequenos em fotografias de grupo do que em imagens de retratos individuais que tiverem a mesma resolução). O algoritmo pode determinar, de um modo dinâmico, a largura máxima do ponto brilhante, baseado na dimensão da imagem e da proporção daquela dimensão que é provável que seja ocupada por um ponto brilhante (tipicamente entre 0,25% e 1% da dimensão máxima da imagem).

Se um ponto brilhante for detectado com sucesso, são registadas as coordenadas da aresta ascendente, da aresta descendente e do pixel central. -17- ΡΕ1430710 0 algoritmo é conforme se segue: PARA CADA linha no mapa de bits à procura da aresta ascendente = verdadeiro DESLOCAR-SE do 2o pixel até ao último pixel SE está à procura da aresta ascendente SE a saturação deste pixel > 128 e ... ... a saturação deste pixel - a saturação ... do pixel precedente > 64 e ...

... a luminosidade deste pixel > 128 então a aresta ascendente = este pixel à procura da aresta ascendente = falso Fim de SE senão SE a saturação do pixel precedente - a ... . . . saturação deste pixel > 64 e ... ... a luminosidade do pixel precedente > 128 então registar a posição da aresta ascendente registar a posição da aresta descendente (pixel anterior)

registar a posição do pixel central à procura da aresta ascendente = verdadeiro Fim de SE

Fim de SE SE à procura da aresta ascendente = falso e ... ... a aresta ascendente foi detectada há mais de ... 10 pixeis atrás -18- ΡΕ1430710 à procura da aresta ascendente = verdadeiro

Fim de SE

Fim de DESLOCAR-SE Fim de PARA CADA O resultado deste algoritmo sobre a caracteristica 1 de olho vermelho está mostrado na Figura 3. Para esta caracteristica, uma vez que existe um único ponto brilhante 2, o algoritmo irá registar uma aresta ascendente 6, uma aresta descendente 7 e um pixel central 8 para cada linha que é abrangida pelo ponto brilhante. O ponto brilhante 2 abrange cinco linhas, por isso são registados cinco pixeis centrais 8. Na Figura 3 as linhas horizontais estendem-se desde o pixel na aresta ascendente até ao pixel na aresta descendente. Os círculos mostram a localização dos pixeis centrais 8. A localização de todos estes pixeis centrais é registada numa lista de pontos brilhantes que podem potencialmente ter sido criados pelo olho vermelho. O número de pixeis centrais 8 em cada ponto brilhante é então reduzido a um. Conforme mostrado na Figura 3, existe um pixel central 8 para cada linha abrangida pelo ponto brilhante 2. Isto significa efectivamente que o ponto brilhante foi detectado cinco vezes e, consequentemente, necessitará de mais processamento do é realmente necessário. Consequentemente, é desejável que sejam eliminados da lista de pontos brilhantes todos à excepção do ponto central vertical. -19- ΡΕ1430710

Nem todos os pontos brilhantes identificados pelo algoritmo acima terão sido necessariamente formados pelas caracteristicas de olho vermelho. Outros podem ter sido formados, por exemplo, por luz reflectida dos cantos ou das arestas de objectos. A próxima fase do processo tenta então eliminar tais pontos brilhantes, para que a redução do olho vermelho não seja realizada em caracteristicas que não sejam efectivamente caracteristicas de olho vermelho.

Existe um número de critérios que podem ser aplicados para fazer o reconhecimento das caracteristicas de olho vermelho e para as distinguir das caracteristicas falsas. Uma destas é a de procurar cadeias longas de pixeis centrais em pontos brilhantes estreitos, i.e. pontos brilhantes que têm uma forma essencialmente linear. Estes podem ser formados, por exemplo, por luz reflectida de arestas mas nunca serão formadas por olho vermelho.

Esta procura de cadeias longas de pixeis pode ser combinada com a redução dos pixeis centrais a um. Um algoritmo que realiza ambas as operações em simultâneo pode procurar nos pontos brilhantes identificando as "cadeias" ou "sequências" de pixeis centrais. Se a razão de aspecto, que é definido como sendo o comprimento da cadeia de pixeis centrais 8 (ver a Figura 3) dividido pela largura máxima entre a aresta ascendente 6 e a aresta descendente 7 do ponto brilhante, for maior que um número predeterminado e a cadeia tiver um comprimento superior a um comprimento predeterminado, então todos os pixeis centrais 8 são -20- ΡΕ1430710 removidos da lista de pontos brilhantes. Caso contrário, apenas o pixel central da cadeia é mantido na lista de pontos brilhantes.

Por outras palavras, o algoritmo realiza duas tarefas: remove as cadeias quase verticais de pontos brilhantes da lista de pontos brilhantes onde a razão de aspecto da cadeia é maior que um valor predeterminado; e remove todos à excepção do ponto brilhante central vertical das cadeias quase verticais de pontos brilhantes onde a razão de aspecto da cadeia é inferior ou igual a um valor predeterminado.

Um algoritmo que realiza esta combinação de tarefas é de seguida descrito: PARA CADA ponto brilhante (a primeira secção trata da determinação da extensão da cadeia de pontos brilhantes - se existir alguma -começando nesta)

Tornar o "actual ponto brilhante" e o "ponto brilhante superior" = este ponto brilhante

Tornar o "raio mais largo" = raio deste ponto brilhante

DESLOCAR-SE

Procurar os outros pontos brilhantes até -21 - ΡΕ1430710 encontrar um em que: a coordenada y = coordenada y do actual ponto brilhante + 1; e a coordenada x = coordenada x do actual ponto brilhante (com uma tolerância de ± 1) SE for encontrado um pixel coincidente apropriado Tornar o "ponto brilhante actual" = pixel coincidente SE o raio do pixel coincidente > "raio mais largo"

Tornar o "raio mais largo" = raio do pixel coincidente Fim de SE Fim de SE ATÉ QUE não seja encontrado qualquer pixel coincidente (nesta altura, o "ponto brilhante actual" é o ponto brilhante inferior na cadeia que começa no "ponto brilhante superior", por isso, nesta secção, se a cadeia for linear, ele será removido; se ela for aproximadamente circular, todos serão removidos à excepção do ponto brilhante central)

Tornar a "altura da cadeia" = coordenada y do actual ponto brilhante - coordenada y do ponto brilhante superior "altura da

Tornar o "razão de aspecto da cadeia" = cadeia" / "raio mais largo" -22- ΡΕ1430710 SE a "altura da cadeia" >= "altura mínima da cadeia" e a "razão de aspecto da cadeia" > "razão de aspecto mínima da cadeia"

Remover da lista de pontos brilhantes todos os pontos brilhantes na cadeia

SENÃO SE "altura da cadeia" > 1

remover da lista de pontos brilhantes todos à excepção do ponto brilhante central vertical na cadeia Fim de SE Fim de SE Fim de PARA CADA

Um valor limiar adequado para a "altura mínima da cadeia" é três e um valor limiar adequado para a "razão de aspecto mínimo da cadeia" também é três, embora seja evidente que estes valores podem ser alterados para se adequarem aos requisitos das imagens em particular.

Outro critério implica a verificação do matiz dos pixeis na região 3 da pupila em torno do ponto brilhante. Se os pixeis nesta região tiverem menos do que uma certa proporção de vermelho então a característica não pode ser olho vermelho. Um filtro adequado que pode ser aplicado à região 3 da pupila é que, a não ser que a saturação seja maior ou igual a 80 e o matiz esteja entre 0 e 10, ou entre 220 e 255 (ambas inclusive) para 45% dos pixeis em torno do ponto brilhante, então não é realizada qualquer redução do -23- ΡΕ1430710 olho vermelho naquela característica. 0 raio da região da pupila tem de ser estabelecido para que seja conhecida a extensão da característica de olho vermelho, para que possa ser realizada a redução do olho vermelho. Um algoritmo adequado faz a iteração através de cada ponto brilhante, determinando aproximadamente o raio da área vermelha circundante. Um vez terminado o algoritmo, todos os pontos brilhantes têm um bocado adicional de informação a eles associados: o raio da região de olho vermelho. Consequentemente, embora a entrada para o algoritmo seja uma série de pontos brilhantes, a saída pode ser considerada como sendo uma série de características de olho vermelho. A saída pode conter um número menor de regiões de olho vermelho do que o número de pontos brilhantes de entrada. Em geral, a razão do raio da região 2 da pupila face ao raio da região 3 de ponto brilhante estará sempre dentro de uma certa amplitude. Se o rácio estiver fora desta amplitude então é improvável que a característica sob examinação tenha sido criada pelo olho vermelho. No algoritmo descrito, se o raio da região 3 da pupila for superior a oito vezes o raio do ponto brilhante 2, a característica será considerada como não sendo uma característica de olho vermelho, por isso ela é removida da lista de áreas a serem corrigidas. Este rácio foi determinado pela análise de várias fotografias mas é evidente que será possível escolher um rácio diferente que -24- ΡΕ1430710 se adeqúe a circunstâncias particulares. 0 método de determinação do raio da área vermelha produz um erro no sentido de um raio maior (porque ele utiliza apenas dados do matiz e não toma em conta a saturação ou a luminosidade) - por outras palavras, ele calcula a área como sendo ligeiramente maior do que ela realmente é, o que significa que ele deverá conter todos os pixeis vermelhos, mais alguns pixeis periféricos que não são vermelhos, conforme mostrado na Figura 4. Esta situação não é uma limitação desde que o método utilizado para a correcção do olho vermelho não tente ajustar os pixeis que não são vermelhos. A dimensão ligeiramente excessiva é também útil na forma de realização descrita onde não é feita qualquer tentativa de determinar com precisão a posição do ponto brilhante dentro da região de olho vermelho: a implementação da forma de realização pressupõe que ela está centrada, embora esta situação possa nem sempre ser verdadeira.

Um algoritmo adequado é de seguida apresentado: PARA CADA ponto brilhante

Tornar o "raio calculado" = 0 DESLOCAR-SE pelas linhas de pixeis na imagem desde a coordenada y deste ponto brilhante - a "altura amostra do raio" até à coordenada y deste ponto brilhante + a "altura amostra do raio" -25- ΡΕ1430710

Analisar os pixeis para a esquerda e para a direita a partir do ponto brilhante para encontrar os pontos onde o matiz está fora da amplitude dos vermelhos SE metade da distância entre os dois pontos > o "raio calculado"

ENTÃO

Tornar o "raio calculado" = a metade da distância entre os dois pontos

Fim de SE

Fim de DESLOCAR-SE SE o "raio calculado" > 8 vezes o raio do ponto brilhante

Remover este ponto brilhante da lista de pontos brilhantes

SENÃO

Registar o "raio calculado"; o ponto brilhante é agora uma região de olho vermelho Fim de SE Fim de PARA CADA É evidente que este algoritmo determina o raio da caracteristica de olho vermelho através da procura horizontal ao longo das linhas de pixeis centrados no ponto brilhante (que é definido como sendo o pixel central 8 numa linha vertical, conforme acima descrito). Um perito na técnica será capaz de modificar o algoritmo para procurar -26- ΡΕ1430710 radialmente a partir do ponto brilhante ou para determinar a foram e a extensão da área vermelha circundante ao ponto brilhante.

Uma vez determinado o raio das caracteristicas de olho vermelho, pode ser realizada uma procurar das caracteristicas sobrepostas. Se a região vermelha 3 da pupila estiver sobreposta a outra região vermelha 3 da pupila em torno do ponto brilhante, então nenhuma destas caracteristicas pode ser devido ao olho vermelho. Consequentemente, tais caracteristicas podem ser descartadas.

Um algoritmo para realizar esta tarefa avança em duas fases. A primeira faz a iteração através de todas regiões de olho vermelho. Para cada região de olho vermelho, é realizada uma procurar até que seja encontrada uma outra região de olho vermelho que nela esteja sobreposta. Se for encontrada uma sobreposição, ambas as regiões de olho vermelho são marcadas para serem descartadas. Não é necessário determinar se a região de olho vermelho está sobreposta em mais do que uma outra. A segunda fase elimina todas as regiões de olho vermelho que foram marcadas para serem eliminadas. A eliminação tem de ser separada da detecção da sobreposição porque se as regiões de olho vermelho fossem eliminadas assim que elas fossem determinadas como estando sobrepostas, ela poderia apagar as sobreposições com outras -27- ΡΕ1430710 regiões de olho vermelho que ainda não teriam sido detectadas. 0 algoritmo é conforme se segue: PARA CADA região de olho vermelho

Procurar as outras regiões de olho vermelho até que seja encontrada uma que esteja sobreposta nesta, ou que todas as regiões de olho vermelho foram analisadas sem ter sido encontrada qualquer sobreposição SE foi encontrada uma sobreposição

Marcar ambas as regiões de olho vermelho para serem eliminadas Fim de SE Fim de PARA CADA

DESLOCAR-SE através de todas as regiões de olho vermelho SE esta região estiver marcada para ser eliminada Eliminá-la Fim de SE

Fim de DESLOCAR-SE

Duas regiões de olho vermelho são consideradas como estando sobrepostas se a soma dos seus raios for maior que a distância entre os seus centros.

Uma forma alternativa de conseguir o efeito igual ao do algoritmo acima é o de criar uma nova lista de -28- ΡΕ1430710 características de olho vermelho que contenha apenas aquelas regiões que não estão sobrepostas. A lista original de caracteristicas de olho vermelho pode então ser descartada e a lista nova é utilizada em sua substituição.

Todo o processo de detecção está mostrado num diagrama de fluxos na Figura 5. A redução do olho vermelho é então realizada nas caracteristicas de olho vermelho detectadas. Existem vários métodos conhecidos de realização deste processo e será agora descrita um processo adequado. 0 processo descrito é um método muito básico de correcção de olho vermelho e um perito na técnica reconhecerá que existe espaço para melhorias que permitam a obtenção de melhores resultados, em particular, no que diz respeito à suavização das arestas da área corrigida e da determinação mais precisa da extensão da região de olho vermelho. 0 módulo de correcção de olho vermelho é constituído por duas partes: o ciclo de controlo e o corrector do olho vermelho propriamente dito. 0 ciclo de controlo faz simplesmente a iteração através da lista de regiões de olho vermelho que é gerada pelo módulo de detecção de olho vermelho, encaminhando cada uma ao corrector de olho vermelho: PARA CADA região de olho vermelho

Corrigir o olho vermelho nesta região -29- ΡΕ1430710

Firn de PARA CADA 0 algoritmo para o corrector de olho vermelho é conforme se segue: PARA CADA pixel dentro do círculo que envolve a região de olho vermelho SE a saturação deste pixel >= 80 e...

... o matiz deste pixel >= 220 ou <= 10 ENTÃO Tornar a saturação deste pixel = 0 Se a luminosidade deste pixel < 200 ENTÃO Tornar a luminosidade deste pixel = 0 Fim de SE

Fim de SE Fim de PARA CADA

Para cada pixel, existem duas verificações muito básicas, cada uma com uma acção linear que é considerada como sendo uma consequência: 1. se o pixel tiver uma saturação média ou alta e se o matiz do pixel estiver dentro da amplitude dos vermelhos, é retirada ao pixel a totalidade da sua saturação. Por outras palavras, a saturação é levada a "0" o que leva os pixeis vermelhos a tornarem-se cinzentos; 2. Para além disto, se o pixel for escuro ou tiver uma luminosidade média então torná-lo negro. Na maioria dos casos esta situação cancela, na realidade, o ajuste feito em resultado da primeira verificação: a -30- PE 1430710 maioria dos pixeis na região de olho vermelho será tornada negra. Aqueles pixeis que não forem tornados negros são aqueles que estão dentro e em torno do ponto brilhante. Estes terão tido qualquer vermelho deles removido, por isso o resultado é um olho com uma pupila negro escuro e um ponto brilhante branco brilhante.

Uma caracteristica do método de correcção é que os seus efeitos não são cumulativos: depois da correcção ser aplicada numa área, as subsequentes correcções na mesma área não terão qualquer efeito. Esta situação seria uma caracteristica desejável se o módulo de detecção de olho vermelho produzisse uma lista de regiões potencialmente sobrepostas de olho vermelho (por exemplo, se as múltiplas detecções de ponto brilhante não fossem eliminadas). Todavia, uma vez que as regiões de olho vermelho sobrepostas são especificamente removidas, a natureza não cumulativa do módulo de correcção não é importante para a implementação correcta.

Será evidente que o módulo de detecção e o módulo de correcção podem ser implementados separadamente. Por exemplo, o módulo de detecção pode ser colocado numa câmara digital ou num dispositivo similar e detectará as caracteristicas de olho vermelho e proporcionará uma lista da localização destas caracteristicas quando a fotografia é tirada. O módulo de correcção pode então ser aplicado depois de a fotografia ser descarregada da câmara para um -31 - ΡΕ1430710 computador . 0 método de acordo com a invenção proporciona várias vantagens. Ele funciona na totalidade de uma imagem, embora seja evidente que um utilizador pode seleccionar parte de uma imagem onde se pretende aplicar a redução do olho vermelho, por exemplo, apenas na região onde estão as caras. Esta situação iria reduzir a quantidade de processamento necessária. Se for processada a totalidade de uma imagem, não serão necessárias quaisquer indicações por parte do utilizador. Para além disto, o método não necessita de ter uma precisão perfeita. Se a redução do olho vermelho for realizada em torno de um ponto brilhante que não foi provocado pelo olho vermelho, é improvável que um utilizador consiga notar a diferença.

Uma vez que o algoritmo de detecção de olho vermelho procura pontos de luz altamente saturados antes de procurar por áreas de vermelho, o método funciona particularmente bem com as imagens comprimidas de JPEG e com outros formatos onde a cor é codificada com uma resolução baixa.

Será evidente que as várias das formas de realização acima descritas podem ainda estar no âmbito da invenção. Por exemplo, o método está aqui descrito fazendo referência aos olhos de pessoas, em que a reflexão da retina leva à criação de uma região vermelha. Nalguns animais, o "olho vermelho" pode levar a reflexões de verde -32- ΡΕ1430710 ou de amarelo. O método de acordo com a invenção pode ser utilizado para corrigir este efeito. Na verdade, a procura de uma região de luz saturada em vez de uma região com um matiz em particular, torna o método da invenção particularmente adequado à detecção de "olho vermelho" dos animais em que a cor não é o vermelho.

Para além disto, o método está aqui descrito para as caracteristicas de olho vermelho em que a região de ponto brilhante está localizada exactamente no centro da região da pupila vermelha. Todavia, o método funcionará na mesma para caracteristicas de olho vermelho cuja região de ponto brilhante esteja descentrada ou mesmo na aresta da região vermelha.

Algumas das caracteristicas de olho vermelho não têm uma região de ponto brilhante bem definida, mas nestas caracteristicas a totalidade da região de pupila vermelha tem valores elevados de saturação e de luminosidade. Nestes casos, a caracteristica de olho vermelho e a região de ponto brilhante terão a mesma dimensão, e pode não haver qualquer outra parte vermelha fora da região de ponto brilhante. Por outras palavras, a região de ponto brilhante 2 e a região de pupila vermelha 3 ocuparão a mesma área. Todavia, o método acima descrito será ainda capaz de detectar tais regiões como sendo "pontos brilhantes" com cada região vermelha 3 a ser identificada como tendo o mesmo raio que a ponto brilhante. Consequentemente, tais caracteristicas continuarão a ser detectadas utilizando o -33 ΡΕ1430710 método de acordo com a invenção

Lisboa, 12 de Junho de 2007

Claims

PE 1430710 -1- REIVINDICAÇÕES 1. Método para detectar as características de olho vermelho numa imagem digital, compreendendo: a análise da saturação e da luminosidade dos pixeis na imagem e a identificação das regiões (2) de ponto brilhante; e a determinação de se cada região de ponto brilhante corresponde a uma caracteristica (1) de olho vermelho com base na aplicação de outros critérios de selecção; caracterizado por as regiões de ponto brilhante conterem pixeis que satisfazem os critérios predeterminados de saturação e de luminosidade relativamente aos pixeis nas regiões circundantes, os critérios predeterminados de saturação e de luminosidade sendo que os pixeis nas regiões de ponto brilhante têm de ter valores significativamente mais elevados de saturação ou valores significativamente mais elevados de luminosidade ou ambos, do que os valores dos pixeis nas regiões circundantes; sendo muito abrupta a alteração da saturação e/ou da luminosidade das referidas regiões de ponto brilhante face às regiões circundantes.
2. Método da reivindicação 1, em que outros critérios de selecção incluem a análise do matiz dos pixeis (3) circundantes à região (2) de ponto brilhante e a determinação de se a região de ponto brilhante não corresponde a uma caracteristica de olho vermelho, se o -2- PE 1430710 referido matiz está fora de uma amplitude predeterminada que corresponde ao vermelho.
3. Método da reivindicação 1 ou 2, em que os referidos outros critérios de selecção incluem a identificação da forma da região (2) de ponto brilhante e a determinação de se a região de ponto brilhante não corresponde a uma característica (1) de olho vermelho se a referida forma não for substancialmente circular.
4. Método para a redução do efeito visual das caracteristicas de olho vermelho numa imagem digital, compreendendo: a detecção das caracteristicas (1) de olho vermelho utilizando o método da reivindicação 1, 2, ou 3; e a alteração do matiz dos pixeis (3) em torno de cada região de ponto brilhante para reduzir o conteúdo de vermelho daqueles pixeis.
5. Método para o processamento de uma imagem digital, compreendendo: a detecção das caracteristicas (1) de olho vermelho utilizando um método conforme reivindicado na reivindicação 1, 2, ou 3; e a realização da redução do olho vermelho em algumas ou em todas as caracteristicas de olho vermelho.
6. Método de acordo com a reivindicação 5, em que um único pixel (8) de referência em cada região (2) de ponto -3- ΡΕ1430710 brilhante é seleccionado como sendo o ponto central de uma característica (1) de olho vermelho a ele associado, e a redução do olho vermelho para aquela característica de olho vermelho é centrada no pixel de referência.
7. Método da reivindicação 5 ou 6, compreendendo ainda a eliminação de, pelo menos, algumas das regiões (2) de ponto brilhante como possibilidades para a redução do olho vermelho.
8. Método de acordo com qualquer das reivindicações 5 a 7, em que não será realizada a redução do olho vermelho numa característica (1) de olho vermelho se a região (2) de ponto brilhante associada àquela característica de olho vermelho exceder um diâmetro máximo predeterminado.
9. Método de acordo com qualquer das reivindicações 5 a 8, compreendendo ainda a determinação de se cada região (2) de ponto brilhante é substancialmente linear, e não associando uma característica (1) de olho vermelho a uma região de ponto brilhante se aquela região de ponto brilhante for substancialmente linear.
10. Método de acordo com qualquer das reivindicações 5 a 9, em que a redução do olho vermelho não é realizada centrada em quaisquer das características (1) de olho vermelho que estejam sobrepostas umas às outras. -4- ΡΕ1430710
11. Método de acordo com qualquer das reivindicações 5 a 10, compreendendo ainda a identificação do matiz dos pixeis na região (3) circundante à região (2) de ponto brilhante para cada caracteristica (1) de olho vermelho e apenas realizar a redução do olho vermelho se os pixeis na referida região conterem mais do que uma proporção predeterminada de vermelho.
12. Método de acordo com a reivindicação 7, compreendendo ainda a determinação do raio da região (1) de olho vermelho em torno de cada região (2) de ponto brilhante, a região de olho vermelho tendo pixeis com um matiz que contém mais do que a referida proporção predeterminada de vermelho.
13. Método de acordo com a reivindicação 8, em que a redução do olho vermelho só é realizada numa caracteristica (1) de olho vermelho se o rácio do raio da região de olho vermelho face ao raio da região (2) de ponto brilhante estiver dentro de uma amplitude predeterminada de valores.
14. Método de acordo com qualquer das reivindicações anteriores, em que a imagem digital é obtida de uma fotografia, o método compreendendo ainda a determinação de se foi utilizado um flash quando a fotografia foi tirada, e se não foi utilizado um flash, não identificar as regiões (2) de ponto brilhante nem realizar a redução do olho vermelho. -5- ΡΕ1430710
15. Método de acordo com qualquer das reivindicações anteriores, compreendendo ainda a determinação de se a imagem digital é monocromática, e se a imagem digital for monocromática, não identificar as regiões de ponto brilhante nem realizar a redução do olho vermelho.
16. Método de acordo com a reivindicação 5 ou 6, em que a característica de olho vermelho é associada a cada região de ponto brilhante identificada e a redução do olho vermelho é realizada em todas as características de olho vermelho.
17. Aparelho disposto para realizar o método de qualquer das reivindicações 1 a 16.
18. Meios de armazenamento em computador que tem nele armazenado um programa de computador elaborado para realizar o método de qualquer das reivindicações 1 a 16. Lisboa, 12 de Junho de 2007 ΡΕ1430710 1/5 Figura 1 fíiidar i-os íiSizacfo ™ 'x n, Hasíí? \. \ V- Sjm/OeseonheddQ _X_ 1 Detecter os ofhos I v^miefíos s f A v v Nao j:

Foram deíedados 'X oítos vsmíefhos? X. X

ΡΕ1430710 2/5 Figura 2 ΡΕ1430710 2/5

ΡΕ1430710 3/5Figura 3

ΡΕ1430710 4/5 1 Figura 4

5 ΡΕ1430710 5/5 tossiar ) j

(ReftKwer qs pcntcsj brSharcfes Srssares

_____ Rsítíovej as pontes; brilhantes oJs ver--jithsSks £sj insMÍiiRST; tsnenís ssíjraíias ! i----- —........ i DstermiFisif o j: raso das olíios í vermetes 1 pfôiSbwBr ss 1 ^ Fegraes dedhoj i; VBRTteíto ] JL,,. R:P'I V™