PT107289A - Sistema multi-ocular para visualização de óculos virtuais num rosto real - Google Patents

Abstract

O PRESENTE INVENTO ENCONTRA-SE NO DOMÍNIO TÉCNICO DA ÓPTICA E DA OFTALMOLOGIA. O PRESENTE INVENTO REFERE-SE A UM SISTEMA E A UM MÉTODO QUE PERMITE A UM UTILIZADOR VISUALIZAR ÓCULOS VIRTUAIS SOBRE O SEU PRÓPRIO ROSTO EM DIFERENTES PERSPECTIVAS, SEM PRECISAR DE EFECTUAR QUALQUER MOVIMENTO. PARA TAL PROPÕE-SE UM SISTEMA MULTI-OCULAR CONSTITUÍDO POR MÚLTIPLAS MÁQUINAS FOTOGRÁFICAS LOCALIZADAS EM TORNO DO UTILIZADOR E PROPÕE-SE UM MÉTODO QUE CALIBRA O SISTEMA, CAPTURA AS MÚLTIPLAS IMAGENS DE FORMA SIMULTÂNEA, RECONSTRÓI E MEDE PONTOS SOBRE O ROSTO DO UTILIZADOR, INCLUINDO A DISTÂNCIA INTERPUPILAR, E SOBREPÕE ÓCULOS VIRTUAIS SOBRE O ROSTO DO UTILIZADOR.

Description

DESCRIÇÃO

Sistema Multi-Ocular para Visualização de Óculos Virtuais num Rosto Real

Enquadramento A presente invenção encontra-se no domínio da óptica e da optometria, e refere-se à medida e visualização virtual de óculos, usando como suporte um sistema electrónico com múltiplas câmaras, com aplicações no comércio de óculos.

Com o aparecimento de máquinas de venda automática de óculos (ou de apenas visualização virtual em lojas), surgem novos desafios no contexto da interacção do utilizador com os pontos de venda. 0 presente invento permite a um utilizador responder a um problema simples quando pretende escolher um determinado modelo de óculos do qual só tem uma fotografia: como fica o utilizador com aquele par de óculos específico, nas suas diversas perspectivas (lateral ou frontal). 0 presente invento propõe um sistema multi-ocular que capta o utilizador numa ampla gama de perspectivas, desde a perspectiva lateral esquerda até à perspectiva lateral direita, passando pela perspectiva frontal do utilizador, dispensando o utilizador de se mover para obter as diversas perspectivas. Assim, o presente invento permite a visualização de objectos virtuais sobrepostos sobre o rosto do utilizador em todas as perspectivas capturadas.

Propõe-se adicionalmente um método de calibração do sistema e uma forma de reconstrução e medição de pontos sobre o rosto do utilizador.

Estado da arte

Com a capacidade crescente de processamento dos computadores e com o aumento significativo da largura de banda nas comunicações, têm surgido soluções avançadas quer na exposição dos produtos (através de meios visuais de grande resolução) quer na experimentação de produtos (através de processos que misturam a realidade com objectos virtuais, genericamente referido como Realidade Aumentada). A exibição de produtos virtuais pode ser posta ao serviço de máquinas de venda automática ou de lojas online.

As principais soluções que actualmente melhoram a experiência do utilizador na apresentação do produtos virtuais são, por ordem de complexidade: 1. Apresentação duma lista de fotografias dos produtos com grande resolução e, eventualmente, alguma possibilidade de interacção (rotação e zoom); 2. Configuradores de produtos, em que o utilizador pode alterar ou configurar partes do produto, tais como dimensões, cores, materiais ou texturas; 3. Realidade aumentada por fotografia, em que o utilizador pode experimentar o produto virtual sobre uma fotografia que pode ser fornecida pelo retalhista ou pelo próprio utilizador - neste caso, usualmente o produto virtual é colocado/ajustado de forma manual; 4. Realidade aumentada por video, em que o utilizador pode experimentar o produto virtual em tempo real usando uma câmara apontada à cena real (o seu rosto, no caso de venda de óculos) - usualmente a sobreposição do produto virtual sobre a realidade é feita de forma automática.

No retalho de óculos têm surgido muitas soluções em que se recorre à realidade aumentada por vídeo, ou seja, em que se colocam óculos virtuais sobre o rosto do utilizador. No actual estado da arte, os sistemas obrigam que o utilizador faça um filme de si próprio, movendo o rosto em relação à câmara de vídeo, de forma a que a câmara capture diferentes perspectivas do seu rosto e assim possa avaliar melhor os óculos colocados virtualmente sobre o rosto. 0 presente invento propõe conseguir a aquisição de múltiplas perspectivas do rosto do utilizador dispensando qualquer movimento do utilizador ou da câmara. Propõe-se uma solução que permite simular óculos virtuais em múltiplas perspectivas recorrendo a um sistema multi-ocular constituído por múltiplas máquinas fotográficas colocadas em torno do utilizador, capazes de capturar, cada uma, um fotograma de forma sincronizada. Síntese do Invento 0 presente invento consiste num método e num sistema multi-ocular de visualização de óculos virtuais sobre o rosto de um utilizador. Propõe-se simular o aspecto geral dos óculos no rosto do utilizador para visualizar diversas perspectivas do mesmo. 0 sistema proposto compreende um sistema de múltiplas máquinas fotográficas com uma configuração que permita a aquisição de fotografias ou fotogramas em diversos ângulos, desde a perspectiva lateral esquerda do rosto até à perspectiva lateral direita do rosto passando pela sua perspectiva frontal.

No presente invento, o sistema sobrepõe óculos virtuais coerentes com a perspectiva de cada máquina fotográfica. Para que esta sobreposição seja metricamente correcta é necessário conhecer as relações métricas entre as máquinas fotográficas. Para estimar as relações métricas exactas das câmaras e do utilizador, propõe-se ainda um método para (1) calibrar o sistema (conhecer as medidas internas das câmaras e a relação geométricas entre elas), e (2) reconstruir tridimensionalmente pontos relevantes sobre o rosto do utilizador, tais como os centros das pupilas, assim como calcular a distância interpupilar.

Descrição das Figuras FIG 1 mostra os principais passos que compõem o método associado à presente invenção. FIG 2 mostra uma configuração possível do sistema multi-ocular constituído por um conjunto de máquinas fotográficas alinhadas em semi-circunferência em torno do utilizador. FIG 3 mostra os fotogramas obtidos quando o sistema de máquinas capturam o rosto do utilizador num determinado instante. Mostra ainda a mesma sequência sobrepondo óculos virtuais . FIG 4 mostra uma configuração possível para o processo de calibração do sistema multi-ocular, no qual se mostra um objecto de calibração. FIG 5 mostra em termos geométricos a forma como se triangula um ponto do corpo humano (neste caso o centro de uma pupila) capturados pelas máquinas fotográficas (mostram-se apenas duas máquinas para simplificar a ilustração). FIG 6 mostra um diagrama com os principais blocos funcionais do sistema computacional.

Descrição detalhada 0 presente invento consiste num método e num sistema multi-ocular que captura de forma simultânea um utilizador, com as seguintes funcionalidades: - obter um vídeo do utilizador em diferentes perspectivas (300) ; obter um "vídeo virtual" em que se sobrepõe óculos virtuais sobre o rosto do utilizador, para todas as perspectivas capturadas (301); obter medidas precisas do utilizador, nomeadamente a distância interpupilar; O sistema em termos electrónicos, como se representa na FIG 6, é constituído por um processador (600), uma memória (601) onde se guardam as respectivas instruções computacionais que serão processadas pelo processador, um grupo de máquinas fotográficas (603) (604) (605), um sistema electrónico de aquisição (602) de fotogramas que comunica com o processador e com o referido grupo de máquinas fotográficas, e um ecrã (606) em comunicação com o processador onde se visualizam os resultados da aquisição e dos objectos virtuais. O grupo de máquinas fotográficas pode ter uma configuração como se representa na FIG 2, que consiste numa semi-circunferência horizontal (204) , com os eixos ópticos das referidas máquinas fotográficas apontando o centro da referida circunferência no qual se localiza o utilizador (201), e em que as máquinas (203) estão posicionadas em intervalos angulares iguais. Na FIG 2, por razões de simplificação gráfica, apresenta-se uma configuração preferencial de máquinas. Sendo a configuração minima de duas máquinas (número mínimo que forma um par estéreo e permite a reconstrução de um ponto tridimensional), a configuração preferida é de 18 máquinas, com um espaçamento angular entre máquinas de 10 graus, cobrindo os 180 graus da semi-circunferência. Neste invento não se limita o número de máquinas, tal como não se limita a forma geométrica da linha de colocação dessas máquinas em torno do utilizador. O sistema pode compreender uma câmara de vídeo (200) controlado pelo processador que adquire continuamente/periodicamente imagens de forma a detectar a existência de um utilizador dentro do campo de visão do grupo de máquinas fotográficas. A configuração preferida consiste em configurar a máquina fotográfica mais frontal (200) com essa funcionalidade, ou seja, dotar a máquina fotográfica frontal com a capacidade de adquirir video de forma continua. Neste caso, a máquina fotográfica tem uma dupla funcionalidade, para além de obter video, está sincronizada com as restantes máquinas de forma a obter um fotograma sincronizado. Outra configuração possível é adicionar uma câmara de vídeo exclusivamente para o efeito. O processo de detecção do utilizador é feito pelo processador e pode ser realizado por métodos conhecidos, tais como a detecção de movimento na imagem (quando existem alterações de brilho nos pixeis) ou a detecção de rostos (método desenvolvido por Viola e Jones, "Robust Real-time Face Detection", International Journal of Computer Vision, 57 (2), 137-154,2004) . O método para colocar urn objecto virtual sobre as imagens do utilizador tem os passos seguintes (como se ilustra na FIG 1) : 1. um passo prévio de calibração (100), que serve para estimar a posição relativa das máquinas fotográficas umas relativamente às outras; 2. um passo de detecção do utilizador (101) que consiste num processo contínuo de aquisição e processamento de imagem; vai para o passo seguinte apenas quando se detecta um utilizador; 3. um passo de aquisição simultânea (102) de fotogramas para todas as máquinas fotográficas envolvidas; 4. um passo de processamento de imagem no qual se detecta pontos do corpo do utilizador (103); esses pontos são reconstruídos tridimensionalmente por triangulação, caso sejam vistos por várias máquinas fotográficas simultaneamente; 5. um passo de visualização (104) num ecrã do filme produzido pelos fotogramas capturados no passo 3, em que se visualiza a sequência de fotogramas numa ordem pré-programada; sobre cada fotograma sobrepõe-se um objecto virtual tridimensional (óculos virtuais, na presente realização), tendo em conta a posição e o ângulo de cada máquina fotográfica estimada em 1, e a localização tridimensional dos pontos reconstruídos em 4 .

De seguida estes passos são vistos em mais detalhe.

No primeiro passo, o sistema é calibrado. Esta calibração é realizada apenas uma vez quando são colocadas ou alteradas as posições das máquinas fotográficas. Representa-se na FIG 4 uma configuração preferida para calibrar o sistema, em que se coloca um objecto de calibração (400) à frente das máquinas (203) a (202) . Numa configuração preferida, o objecto de calibração consiste num plano coberto por quadrados pintados a preto sobre um fundo pintado a branco, cujos cantos têm uma localização facilmente identificável e conhecida (são medidos manualmente sobre o objecto) . Procede-se à aquisição simultânea de um fotograma do objecto de calibração para todas as máquinas fotográficas. A partir dos cantos dos quadrados identificados em cada fotograma, estima-se a posição da máquina fotográfica respectiva. O método de estimação dos parâmetros geométricos de câmaras e máquinas fotográficas a partir de cantos de quadrados pode ter várias abordagens conhecidas, em que a mais conhecida é a de Zhengyou Zhang (apresentada em "Flexible Camera Calibration by Viewing a Plane From Unknown Orientations", International Conference on Computer Vision, 1999) . Para melhorar a robustez estatística da estimação da posição das máquinas fotográficas, move-se ligeiramente o objecto de calibração, adquire-se novos fotogramas e integra-se as novas leituras no cálculo da estimação. Quanto mais vezes se repetir este processo, mais aproximado do valor correcto é o resultado da estimação da posição das máquinas fotográficas.

Como se mostra na FIG 3, o processo de aquisição dos fotogramas produz uma sequência de fotografias (300) (capturadas no mesmo instante), que produz a ilusão de um filme filmado por uma "câmara virtual" que faz um movimento em torno do utilizador (201).

Após a aquisição fotográfica, os fotogramas são processados pelo processador de forma a reconstruir e medir pontos do corpo do utilizador. A FIG.5 mostra geometricamente como se reconstrói um ponto tridimensional R (500) conhecendo as coordenadas rl e r2 correspondentes à projecção desse ponto nas imagens captadas por duas máquinas fotográficas (200) e (202) . Conhecendo rl, r2 e os centros ópticos de Cl e C2, pode-se desenhar as duas rectas de projecção que partem dos respectivos centros ópticos e passam por rl e r2. Este processo, denominado por triangulação (intersecção das duas rectas referidas), reconstrói o ponto R nas suas coordenadas tridimensionais. Este processo pode ser estendido a todos os outros pontos detectados sobre o corpo do utilizador. Os dois pontos mais relevantes são os centros das pupilas. 0 método permite assim estimar tridimensionalmente os centros das pupilas e calcular a distância entre os mesmos (a que se denomina distância interpupilar).

Finalmente, o último passo do método consiste em produzir o filme "virtual", sobrepondo os óculos virtuais sobre o rosto do utilizador para todos os fotogramas. Na FIG. 3 apresenta-se a sequência de fotogramas (301) com óculos virtuais (302). Assumindo que os óculos virtuais assim como a sua estrutura tridimensional são conhecidos, a pose dos óculos no espaço é estimada tendo em conta a posição e pose da cada máquina fotográfica que capturou cada fotograma. As referidas posição e pose são fixas e foram calculadas no passo de calibração. A detecção das pupilas permite ajustar os óculos em posição e escala (centrando-os nos olhos do utilizador) para cada fotograma. Assim escalam-se e posicionam-se os óculos virtuais de forma a que, em cada fotograma, as lentes estejam alinhadas ou centradas em relação ao centro das pupilas esquerda e direita. A utilização do sistema e método propostos neste invento destina-se, mas não está limitada, a qualquer uma das seguintes aplicações: a. aplicação multimédia para visualização de lentes e armações virtuais sobre o rosto do utilizador; b. selecção de lentes e armações que melhor se ajustam ao utilizador; c. simulação do efeito das lentes correctivas e lentes de protecção solar; d. construção ou selecção de lentes e armações à medida.

Lisboa, 25 de Fevereiro de 2014

Claims (15)

1. REIVINDICAÇÕES 1- Método implementado por computador para produzir um filme de um utilizador real onde se sobrepõe um objecto virtual caracterizado por compreender os seguintes passos: a. um passo (102) de aquisição de fotogramas capturados em simultâneo por um grupo de máquinas fotográficas (203) colocadas em diferentes posições e ângulos, cuja configuração permita visualizar o utilizador (201) sob diferentes perspectivas; b. um passo (103) de reconstrução tridimensional de pontos (500) localizados sobre o corpo do utilizador, sendo que este processo é realizado por triangulação dos referidos pontos vistos simultaneamente pelas referidas máquinas fotográficas; c. um passo de visualização do filme num ecrã, sendo que o filme é produzido pela sequência (300) de fotogramas; d. um passo (104) de sobreposição de um objecto virtual tridimensional sobre cada fotograma do referido filme (301), tendo em conta a posição e o ângulo de cada máquina fotográfica, e a localização tridimensional dos pontos reconstruídos em b.
2. 2- Método de acordo com a Reivindicação 1 caracterizado pelo facto de ser implementado para aquisição e processamento do rosto do utilizador (201).
3. 3- Método de acordo com as reivindicações anteriores caracterizado pelo facto de o passo de reconstrução tridimensional reconstruir o centro das pupilas do utilizador (500) .
4. 4- Método de acordo com a reivindicação anterior caracterizado por calcular a distância interpupilar que consiste na distância entre os centros das pupilas do utilizador.
5. 5- Método de acordo com as reivindicações anteriores caracterizado pelo facto de sobrepor óculos virtuais sobre o rosto do utilizador, centrados nas pupilas (302) .
6. 6- Método de acordo com a Reivindicação 1 caracterizado por compreender ainda um passo prévio (100) de calibração que calcula a posição e ângulo de cada máquina fotográfica.
7. 7- Método de acordo com a Reivindicação 6 caracterizado pelo facto da calibração compreender: a. um passo de aquisição de fotogramas de um objecto de calibração (400) capturados pelo referido grupo de máquinas fotográficas (203) , em que a relação geométrica dos pontos principais sobre o objecto de calibração são conhecidos; b. um passo de detecção dos referidos pontos para todos os fotogramas adquiridos; c. um passo de cálculo das posições relativas entre as máquinas fotografias com base nos pontos detectados.
8. 8- Método de acordo com a Reivindicação 1 caracterizado por compreender ainda um processo de aquisição de video (101) cujas imagens, adquiridas periodicamente por uma máquina fotográfica (200), são enviadas e processadas num processador que faz a detecção do utilizador.
9. 9- Método de acordo com a Reivindicação anterior caracterizado pelo facto de, no mesmo instante em que o utilizador é detectado, produzir um sinal de aquisição simultânea para todas as máquinas fotográficas (203) .
10. 10- Sistema multi-ocular configurado para implementar o método definido nas Reivindicações 1 a 9, caracterizado por compreender: a. um processador (600); b. memória em comunicação com o processador (601); c. um grupo de duas ou mais máquinas fotográficas (603) (604) (605) ; d. um sistema electrónico de aquisição de fotogramas ligado ao grupo de máquinas fotográficas, em comunicação com o processador (602); e. um ecrã em comunicação com o processador (606); f. instruções computacionais guardadas em memória cujo processamento compreende: i. calibração das máquinas fotográficas a partir de pontos detectados na imagem (100) ; ii. detecção do utilizador numa imagem video para accionar a captura de fotogramas (101); iii. captura de fotogramas de forma sincronizada em todas as máquinas fotográficas (102); iv. detecção de pontos nas imagens e cálculo da posição tridimensional de cada ponto (103); v. sobreposição de um objecto virtual sobre a imagem e exibição da sequência de imagens em formato de filme no ecrã (104) .
11. 11- Sistema de acordo com a Reivindicação anterior caracterizado pelo facto de uma configuração possível do grupo de máquinas fotográficas, mas não limitada a esta configuração, consistir numa semi-circunferência horizontal (204), com os eixos ópticos das referidas máquinas apontando o centro da referida circunferência no qual se localiza o utilizador, e em que as máquinas estão posicionadas em intervalos angulares iguais de 10 graus, perfazendo um total de 18 máquinas de modo a cobrir os 180 graus da semi-circunf erência .
12. 12- Sistema de acordo com a Reivindicação 10 caracterizado por compreender uma câmara de video (200) controlado pelo processador que adquire periodicamente imagens.
13. 13- Sistema de acordo com a Reivindicação 10 caracterizado por compreender um objecto de calibração (400) colocado à frente das máquinas.
14. 14- Sistema de acordo com a Reivindicação anterior caracterizado pelo facto de o objecto de calibração (400) ter uma superfície constituída por pontos de interesse, cuja realização preferida consiste em quadrados pretos sobre um fundo branco e os pontos de interesse são os cantos desses quadrados.
15. 15- Utilização de um sistema multi-ocular que implementa o método definido nas Reivindicações 1 a 9 caracterizada por se destinar, mas não estar limitada, a qualquer uma das seguintes aplicações: a. aplicação multimédia para visualização de lentes e armações virtuais sobre o rosto do utilizador; b. selecção de lentes e armações que melhor se ajustam ao utilizador; c. simulação do efeito das lentes correctivas e lentes de protecção solar; d. construção ou selecção de lentes e armações à medida. Lisboa, 25 de Fevereiro de 2014