PT1502145E - Processo e dispositivo para representação consistente de objectos reais e virtuais - Google Patents

Description

1

DESCRIÇÃO "PROCESSO E DISPOSITIVO PARA REPRESENTAÇÃO CONSISTENTE DE OBJECTOS REAIS E VIRTUAIS" A presente invenção refere-se a um processo e um dispositivo para representação consistente de objectos reais e virtuais, em que pelo menos um observador usufrui da representação sobreposta de um objecto real ou virtual, sendo o objecto real iluminado e imagens do objecto real e do objecto virtual combinadas opticamente.

Para múltiplas aplicações, a observação de objectos reais pode ser substancialmente valorizada se estes objectos forem completados por meio de representações virtuais adicionais.

Para tal, no actual estado da técnica são conhecidos aparelhos de visualização ópticos que, com auxilio de espelhos semitransparentes, apresentam ao observador a combinação da observação de um objecto real e de um objecto virtual. Um exemplo é constituído pelo dispositivo conhecido da EP0977071. A imagem virtual é apresentada ao observador por meio de uma representação óptica.

Este tipo de apresentações levantam consideráveis problemas ao proceder-se à combinação óptica das imagens reais e virtuais por meio de efeitos de sobreposição, bem como para atingir uma iluminação consistente, em especial nas áreas sobrepostas dos dois objectos. Este facto é ainda agravado pela possibilidade de o observador poder alterar a sua posição em relação aos objectos observados, de forma 2 que este vê bordas diferentes com secções de objecto iluminadas de maneira diferente. A presente invenção tem como objectivo descrever um processo e um dispositivo do tipo mencionado inicialmente, com o qual um observador possa usufruir de um efeito de sobreposição e de iluminação consistente mesmo de diferentes pontos de observação. 0 objectivo foi atingido de acordo com a presente invenção com um processo que apresenta as caracteristicas indicadas na reivindicação 1 e com um dispositivo que apresenta as caracteristicas indicadas na reivindicação 10.

Outras formas de concretização vantajosas são indicadas nas subreivindicações. A presente invenção possibilita uma sobreposição consistente de objectos reais e virtuais, isto é na posição de transição da imagem destes dois objectos, apresentada ao observador, este não consegue reconhecer quaisquer perturbações. Este resultado é atingido por meio da projecção de uma sombra de oclusão sobre os objectos reais, colocados por detrás do objecto virtual, sendo realizada a projecção de sombras e a iluminação dos objectos com projectores. A projecção é realizada dinamicamente, de forma a serem levadas em conta mesmo alterações do ponto de observação. As sombras de oclusão são sombras que dependem do ponto de observação, que possibilitam uma cobertura realística de objectos reais por objectos virtuais. Para o observador estas não são visíveis. 3

Para a projecção da sombra de oclusão são determinados os parâmetros internos e externos dos fotoprojectores bem como os parâmetros dos objectos virtuais e reais. Adicionalmente mede-se constantemente a visão do observador por meio do seguimento dos movimentos da cabeça.

Os parâmetros dos fotoprojectores são determinados uma vez ao proceder-se ao ajuste deste conjunto. Os objectos virtuais podem ser manipulados de forma interactiva durante a observação. A partir destes dados calcula-se uma matriz de projecção V, que inclui a perspectiva da visão do observador em questão e que permite a transformação dos pontos de vista do objecto de acordo com as condições realmente existentes.

Adicionalmente podem-se gerar efeitos de sombreado consistentes e adequados sobre superfícies reais, realizando-se uma iluminação virtual por meio de projecção de uma imagem de densidade luminosa correspondente, com um fotoprojector sobre objectos reais. A presente invenção caracteriza-se por uma série de vantagens. Entre estas conta-se, especialmente: 1. 0 conjunto de acordo com a presente invenção possibilita uma apresentação conforme a realidade tanto para um como para vários observadores. 2. As sombras de oclusão e a iluminação são geradas de forma dinâmica directamente nas superfícies dos objectos reais, assim que lhe são sobrepostas imagens. 4 3. As sombras de oclusão não são visíveis como tal pelo observador. 4. Podem-se ainda representar corpos fantasma que por trás escondem objectos virtuais. A combinação de sombras de oclusão e corpos fantasma é possível tanto no caso de ecrãs estacionários como também no caso de aparelhos com mostrador que são colocados na cabeça pelo observador como uns óculos. 5. A iluminação de objectos reais e virtuais, incluindo as suas sombras e sombreados é consistente.

Em seguida procede-se ao esclarecimento mais pormenorizado da presente invenção por meio dos exemplos concretização. 0 exemplo de concretização esclarece a utilização da presente invenção num aparelho estacionário que é designado por vitrina virtual.

Nas figuras correspondentes vê-se:

Figura 1 Uma representação esquemática do percurso do raios da vitrina virtual,

Figura 2 Uma representação esquemática das ligações eléctricas, e

Figura 3 0 algoritmo para a determinação da sombra de oclusão e iluminação consistente.

As proporções ópticas da vitrina virtual encontram-se representadas na figura 1. 0 observador B observa simultaneamente o objecto real 1 e o objecto virtual 3, cuja imagem 3' é representada no monitor 3.1. Os percursos 5 dos raios que parte dos dois objectos 1 e 3 são combinados com um espelho parcialmente transparente 2. 0 objecto real 1 é iluminado com um fotoprojector 5. A avaliação da proporção da iluminação pode ser realizada com a câmara 6. A câmara 6 inclui a imagem video 9 do objecto real 1. Com o f otopro jector 5 projectam-se as sombras de oclusão SO no objecto real 1. 0 fotoprojector 5 é descrito a titulo de exemplo como videoprojector, cujo buffer gráfico 8 contém a imagem da sombra de oclusão SO com a imagem de densidade luminosa L.

Tal como se pode ver na figura 2, o controlo do fotoprojector 5 é feito com auxilio do computador PC. Nesta operação são consideradas tanto informações reais do ponto de vista do observador B como da situação de iluminação captada pela câmara 6.

Antes da primeira utilização da vitrina virtual é necessário ajustar primeiro o fotoprojector 5. 0 ajuste do fotoprojector 5 é realizada da seguinte forma:

Em primeiro lugar regista-se uma representação geométrica do cenário real. Então rastreia-se projecções bidimensionais, em perspectiva de pontos escolhidos na superfície do objecto real, tridimensional 1, dentro do limite de imagem 8 abrangida pelo fotoprojector 5. Os pontos de referência tridimensionais, rastreados são marcados na superfície do objecto real 1 sendo estes reproduzidos e sobrepostos com a direcção de visualização da vitrina virtual. Para este fim é necessário registar previamente os objectos reais 1. Então é marcada uma cruz na imagem projectada 8 do fotoprojector 5 e esta é 6 orientada para os pontos da superfície marcados para determinar as suas projecções bidimensionais nas áreas correspondentes do ecrã. 0 utilizador escolhe pontos de rastreio que possibilitam estabelecer áreas de ajuste adequadas. Estes devem ser pontos bem visíveis e estarem fora das sombras. Os pontos também não devem ser cobertos por outras superfícies. Após o registo destes pontos de rastreio estes são utilizados como valores de registo para uma minimização numérica, com o qual são calculados os parâmetros internos e externos. No presente caso os parâmetros internos são o campo de visão vertical e a razão lateral da projecção, os parâmetros externos são a posição e a direcção do eixo óptico do projector. 0 cálculo da perspectiva a partir dos pontos n pode ser feita segundo o método Direction-Set de Powells. Este método é descrito em Press et al: Numerical Recipes in C -The Art of Scientific Computing (2a edição), Cambridge University Press, ISBN O-521-43108-5, pp. 412-420, 1992. Como resultado obtém-se a matriz da projecção em perspectiva P, que descreve a transformação do modelo relativamente à origem da cena.

No caso de se utilizarem vários projectores é necessário repetir em separado o ajuste para cada projector. A imagem da sombra de oclusão para um único ponto de vista é realizada com os passos representados na figura 3: Em primeiro lugar é necessário identificar os dados das particularidades tanto do objecto real como também do objecto virtual. Em seguida é gerada uma máscara de sombra, 7 que contém o intervalo de sombra do conteúdo virtual. Este passo é realizado com os cinco passos 1. Determinação da matriz de projecção V. 2. Representação do objecto real num buffer de profundidade. 3. Representação do objecto virtual num buffer modelo. 4. Representação da iluminação do objecto real num buffer gráfico. 5. Transferência do buffer gráfico 8 numa memória de textura.

Passo 4 reproduz a iluminação do conteúdo real num buffer gráfico. Esta iluminação pode ser calculada com modelos conhecidos para gerar uma densidade luminosa correcta e adequada nas superfícies reais e virtuais em relação à fonte de luz virtual. É também possível projectar luz monocromática da posição do fotoprojector 5 sobre superfícies reais enquanto que objectos virtuais são iluminados das posições das fontes de luz virtuais.

Esta máscara de sombra é reproduzida na geometria conhecida do objecto real 1. Para este fim servem os passos 6. Formação da matriz de projecção P da projecção de perspectiva, Formação da matriz de textura para V + normalização da correcção espacial, eliminação do buffer gráfico. 7. Representação do objecto real 1 no tampão gráfico 8 recorrendo à textura de projecção T.

Quando os mesmos objectos reais devem ser visíveis ao mesmo tempo de várias posições (p. ex. a partir de diferentes observadores) cada uma das sombras de oclusão projectadas sobre estas superfícies são também visíveis de várias posições em simultâneo. Este facto tem efeitos negativos. Por exemplo, é possível no caso de dois observadores que um observador BI veja a sombra de oclusão que foi gerada para o observador B2 e vice-versa. Para além disso as sombras movem-se quando o observador Bl e/ou B2 mudam de posição.

Existem duas possibilidades para atenuar este efeito. 1. As sombras de oclusão geradas a partir de outras posições são sombras duras que são lançadas pela cena virtual a partir de uma fonte de luz, posicionada do ponto de vista do observador. Se a cada ponto de vista do observador foi aplicada uma fonte de luz virtual formam-se, a par dos calculados efeitos de iluminação sobre as superfícies do cenário virtual, sombras duras adequadas, adicionais, sobre as superfícies da cena real. 2. As sombras de oclusão são projectadas sobre as superfícies parciais reais, que são exclusivamente visíveis de um ponto de vista.

Uma solução integral e eficaz do problema para qualquer tipo de superfície é atingida por meio da avaliação da cor superficial do objecto real. Esta operação é realizada da seguinte forma:

Adicionalmente à cena virtual são também reproduzidas partes das cenas reais, nomeadamente da imagem captada da sua superfície, que são opticamente escondidas por meio de 9 sombras de oclusão de vários observadores (ou pontos de vista). Esta imagem virtual da superfície é representada nas mesmas condições de iluminação e sombreada como a peça correspondente real a fim de se obterem passagens fluidas entre as partes reais e virtuais.

Em primeiro lugar as sombras de oclusão de vários outros observadores são transferidas para o buffer modelo. Este facto tem lugar por meio da representação da geometria da cena real da perspectiva do observador e por meio da adição de sombras de oclusão por meio da projecção de uma imagem de textura. 0 preenchimento do buffer modelo é realizado de forma a que o campo em torno da sombra de oclusão é recortado e eliminado na imagem final. Então, é lida a imagem da superfície real no buffer gráfico (igualmente da perspectiva do observador) e sombreada com a situação de iluminação virtual. Depois da função modelo ter sido desactivada podem-se introduzir os objectos virtuais para visualização pelo observador.

Para se gerar uma iluminação consistente entre objectos reais e virtuais são realizados os seguintes passos:

Em primeiro ligar é gerada a imagem Iradi da seguinte maneira: Tanto a cena real como a cena virtual são geradas foram da vista do videoprojector com a iluminação virtual. Esta imagem contém tanto sombras como sombreados que são gerados pela iluminação virtual.

Em seguida é gerada a segunda imagem Irad2 da seguinte maneira: A cena real é representada da vista do projector com um uma fonte luminosa pontual virtual desde a posição do projector. Esta imagem contém a iluminação física da 10 cena real por meio do videoprojector. A imagem da densidade luminosa L é criada como L~ I nd 1 / I nd2 A imagem da densidade luminosa L é projectada com o videoprojector sobre o objecto real. A determinação das informações sobre sombras necessárias requer que se encarem os vários tipos de sombras de diferentes maneiras. Existem seis tipos de sombras num meio opticamente transparente. Estas são: 1. Sombras sobre objectos reais que são geradas por objectos reais e fontes de luz reais, 2. Sombras sobre objectos virtuais que são geradas por objectos virtuais e fontes de luz virtuais, 3. Sombras sobre objectos virtuais que são geradas por objectos reais e fontes de luz virtuais, 4. Sombras sobre objectos reais que são geradas por objectos reais e fontes de luz virtuais, 5. Sombras sobre objectos reais que são geradas por objectos virtuais e fontes de luz virtuais e 6. Sombras de oclusão. O primeiro tipo de sombra é o resultado da cobertura e autocobertura do meio fisico que é iluminado por uma fonte de luz real (no presente caso fotoprojectores). Para que o 11 controlo das condições de iluminação na totalidade do meio possa ser concentrado por fontes de luz virtuais simuladas. Para atingir este objectivo utilizam-se no exemplo em questão vários fotoprojectores sincronizados que iluminam todas as superfícies reais visíveis. 0 segundo e terceiro tipo de sombras pode ser gerado com um processo normalizado de formação de sombras ou formação de buffers de sombras. Para lançar sombras de objectos reais sobre objectos virtuais é necessário reproduzir a representação geométrica registada do objecto real em conjunto com os objectos virtuais quando a imagem de sombra é gerada. Este género de representações geométricas do mundo real, que ocasionalmente são também designadas como fantasma, são reproduzidas continuamente para gerar uma cobertura realística dos objectos virtuais. Estes processos geram, por meio de reforço com hardware, sombras duras enquanto que os processos de iluminação gerais podem gerar sombras suaves. A mistura com texturas possibilita, no entanto, adicionar áreas de sombra de luz ambiente. Assim, formam-se áreas de sombras escuras que são misturadas com uma textura de superfície subjacente de modo a não gerar sombras negras não realísticas.

Os tipos de sombras 4 e 5 podem também ser geradas por meio de uma imagem de sombra. No entanto, são projectadas em conjunto com a imagem da densidade luminosa L sobre a superfície do objecto real.

Por isso, I r adi deve conter as sombras negras (não incluídas) dos objectos virtuais e dos fantasmas reais. Este facto pode ser atingido por meio da reprodução de 12 vários objectos virtuais e vários fantasmas à primeira passagem da sombra a fim de gerar assim uma imagem sombra. À segunda passagem aplica-se esta imagem sombra na imagem reproduzida e sombreada da capacidade de reflexão, isto é a textura de reflexão e a textura de sombra são formadas na representação geométrica dos objectos reais. A divisão das zonas da sombra negra pelo Irad2 gera as zonas de sombra.

Tal como foi já explicado, as sombras de oclusão são sombras especiais, dependentes do ponto de vista do observador, que são geradas com fotoprojectores na superfície do meio real. Com estas pretende-se possibilitar uma cobertura realística de objectos reais por meio de objectos virtuais. Do ponto de vista do observador não são visíveis visto que são geradas com exactidão entre as sobreposições gráficas. Antes de se realizar a projecção, acrescentam-se à imagem da densidade luminosa L imagens das sombras de oclusão por meio da mistura de cores.

Lista de referências V Matriz de projecção da perspectiva a partir do ponto de vista do observador respectivo P Matriz da projecção de perspectiva L Imagem da densidade luminosa T Memória da textura

B Observador computador PC SO Sombras de oclusão SO' Imagem da sombra de oclusão 1

Objecto real 13 2 Espelho semitransparente 3 Objecto virtual 3' Imagem do objecto virtual 3.1 Buffer gráfico do monitor 4 Videoprojector 5 Fotoprojector 6 Câmara 7 Fonte de luz virtual 8 Buffer gráfico do videoprojector 9 Imagem video do objecto real.

Lisboa, 20 de Setembro de 2006

Claims (13)

1 REIVINDICAÇÕES 1. Processo para representação consistente de objectos reais (1) e virtuais (3) em que pelo menos um observador (B) usufrui da representação sobreposta de um objecto real (1) e de um objecto virtual (3), sendo o objecto real (1) iluminado e imagens do objecto real (1) e do objecto virtual (3) combinadas opticamente com auxilio de um elemento óptico parcialmente transparente, caracterizado por se realizar a iluminação do objecto real (1) com um fotoprojector (5) que gera sobre o objecto real (1) uma sombra e/ou sombreados dinâmicos assim que se formem sobre estas imagens do objecto virtual (3), sendo a sombra sobreposta do ponto de vista do observador com uma projecção do objecto virtual (3) ficando assim invisível para o observador (B).

2. Processo de acordo com a reivindicação 1, caracterizado por se realizar antes da primeira utilização um ajuste do fotoprojector (5) e por a posição do observador (B) ser constantemente registada por meio da medição do movimento da cabeça e por se incluir no cálculo da imagem irradiada pelo fotoprojector (5).

3. Processo de acordo com a reivindicação 2, caracterizado por, para se ajustar o f otopro jector (5), se registar primeiro a cena real e depois se rastrear projecções bidimensionais em perspectiva de pontos escolhidos na superfície de objectos reais (1), depois formar-se uma ruz na imagem projectada (8) do fotoprojector (5) e se alinhar com os pontos superficiais marcados e se determinarem a partir destes valores de registo para 2 uma minimização numérica, cujo resultado é compilada numa matriz da projecção em perspectiva (P).

4. Processo de acordo com uma das reivindicações anteriores, caracterizado por a iluminação dos objectos reais (1) ser realizada com vários fotoprojectores (5).

5. Processo de acordo com uma das reivindicações anteriores, caracterizado por a situação de iluminação ser analisada com pelo menos uma câmara (6) incluída para além do fotoprojector (5) e os resultados serem incluídos na avaliação das sombras e/ou sombreados.

6. Formação da matriz de projecção (P), formação da matriz de textura para V + normalização da correcção espacial, eliminação do buffer gráfico.

6. Processo de acordo com uma das reivindicações anteriores, caracterizado por a análise da sombra ser realizada nos seguintes passos: 1. Determinação da matriz de projecção (V). 2. Representação do objecto real (1) num buffer de profundidade. 3. Representação do objecto virtual (3) num buffer modelo. 4. Representação da iluminação do objecto real (1) num buffer gráfico. 5. Transferência do buffer gráfico numa memória de textura (T).

7. Representação do objecto real no buffer gráfico recorrendo à textura de projecção T. 3 7. Processo de acordo com uma das reivindicações anteriores, caracterizado por se realizar adicionalmente uma avaliação da cor de superfície dos objectos reais (1) e se incluir os seus resultados no cálculo da sombra de oclusão (SO).

8. Processo de acordo com a reivindicação 7, caracterizado por se registar uma imagem da superfície da cena real que é coberta pelas sombras de oclusão (SO) visíveis por vários observadores e por representar e sombrear esta nas mesmas condições de iluminação tal como a peça correspondente real.

9. Processo de acordo com a reivindicação 8, caracterizado por as sombras de oclusão (SO) de vários outros observadores serem transferidas para um buffer modelo, sendo o campo em torno das sombras de oclusão (SO) eliminado na imagem final, depois a imagem da superfície real ser lida num buffer gráfico e sombreada com a situação de iluminação virtual e finalmente, depois de desligar a função modelo se inserir o objecto virtual (3) para visualização pelo observador.

10. Dispositivo para representação simultânea de objectos reais (1) e virtuais (3), em especial para a execução do processo de acordo com uma das reivindicações 1 a 9, com um sistema de iluminação para o objecto real (1), um sistema de projecção para representação do objecto virtual e um componente (2) óptico parcialmente transparente com o qual se combina os raios luminosos oriundos do objecto real (1) e do objecto virtual (3), caracterizado por se realizar a iluminação com um f otopro jector (5) que gera, pelo menos, na zona de 4 intersecção dos dois objectos (1, 3) sombras e/ou sombreados, que correspondem ao contorno dos objectos virtuais (3) .

11. Dispositivo de acordo com a reivindicação 10, caracterizado por se utilizar como fotoprojector (5) um projector vídeo.

12. Dispositivo de acordo com a reivindicação 10 ou 11, caracterizado por o fotoprojector (5) ser acoplado a um computador (PC) que processa as informações acerca da posição de um observador (B).

13. Dispositivo de acordo com uma das reivindicações 10 a 12, caracterizado por o fotoprojector (5) ser acoplado a uma câmara vídeo (6) que abrange a iluminação e a formação de sombras do objecto real (1) e as envia ao computador (PC) , no qual se calculam e geram então imagens de sombras que o fotoprojector (5) projecta sobre o objecto real (1). Lisboa, 20 de Setembro de 2006