PT104205A

PT104205A - METHOD AND SYSTEM OF INTERACTION BETWEEN ACTORS AND SURFACES BY THE DETECTION OF MOVEMENT

Info

Publication number: PT104205A
Application number: PT104205A
Authority: PT
Inventors: Duarte Filipe Oliveira Duque
Original assignee: Exva Experts In Video Analisys
Priority date: 2008-10-03
Filing date: 2008-10-03
Publication date: 2010-04-05
Also published as: WO2010038218A1; WO2010038218A9

Abstract

A PRESENTE INVENÇÃO COMPREENDE UM SISTEMA (5) DE INTERACÇÃO ENTRE PESSOAS (9) E UM QUALQUER DISPOSITIVO ONDE SEJA POSSÍVEL A EXIBIÇÃO (8) DE CONTEÚDOS MULTIMÉDIA (SOM (7) E VÍDEO (6)) QUE REAGEM DE ACORDO COM A INTENSIDADE E ÂNGULO DE DIRECÇÃO DO MOVIMENTO MONITORIZADO POR CÂMARAS DE VÍDEO. A INTERACÇÃO ENTRE ACTORES E O CONTEÚDO MULTIMÉDIA É POSSÍVEL DEVIDO À UTILIZAÇÃO DE TÉCNICAS DE DETECÇÃO E SEGUIMENTO DE OBJECTOS EM MOVIMENTO, OBSERVADOS POR INTERMÉDIO DE UMA OU MAIS CÂMARAS DE VÍDEO (1).The present invention comprises a system (5) for interacting between people (9) and any device where multimedia (8) and multimedia (6) content can be viewed (8) that react according to the intensity and DIRECTION ANGLE OF MOTION MONITORED BY VIDEO CAMERAS. INTERACTION BETWEEN ACTORS AND MULTIMEDIA CONTENT IS POSSIBLE DUE TO THE USE OF TECHNIQUES OF DETECTION AND FOLLOW-UP OF OBJECTS IN MOTION OBSERVED BY INTERMEDIATE OF ONE OR MORE VIDEO CAMERAS (1).

Description

11

DESCRIÇÃODESCRIPTION

MÉTODO E SISTEMA DE INTERACÇÃO ENTRE ACTORES E SUPERFÍCIESMETHOD AND INTERACTION SYSTEM BETWEEN ACTORS AND SURFACES

PELA DETECÇÃO DE MOVIMENTODETECTION OF MOVEMENT

Domínio da Invenção: A presente invenção refere-se a um sistema de processamento e análise de imagem. A invenção consiste num sistema de interacção entre actores (pessoas) e um dispositivo, conjunto de dispositivos, ou superfície onde seja possível a exibição de conteúdos multimédia.Field of the Invention: The present invention relates to an image processing and analysis system. The invention consists of an interaction system between actors (people) and a device, set of devices, or surface where it is possible to display multimedia contents.

Antecedentes da Invenção: A interacção entre um indivíduo e um qualquer dispositivo electrónico, também conhecida por interacção homem-máquina, é uma área de investigação com intenso desenvolvimento e que tem produzido inúmeras tecnologias ao longo dos anos. São exemplos mais recentes os ecrãs sensíveis ao toque, luvas de controlo, sensores de movimento, entre outros. Apesar de relevantes progressos nesta área, existe ainda hoje a necessidade de utilização de dispositivos conectados aos indivíduos, ou manuseados por estes, como único meio para medir as suas acções e gerar os respectivos comandos de controlo sobre o equipamento com que se pretende interagir. tais sistemas Já são apresentados um vasto número de equipamentos que permitem esta interacção de forma natural (por exemplo movimento corporal), porém, tais sistemas ainda não 2 permitem uma interacção total e livre, sem a ajuda de qualquer elemento electrónico ou mecânico conectado aos actores. Algumas soluções baseiam-se na utilização de sensores, como por exemplo, a utilização de acelerómetros ou de sensores piezoeléctricos, actuados pelo contacto físico directo entre estes e os actores.BACKGROUND OF THE INVENTION: The interaction between an individual and any electronic device, also known as human-machine interaction, is an area of research with intense development and has produced numerous technologies over the years. More recent examples are touch screens, control gloves, motion sensors, among others. Despite significant progress in this area, there is still a need today to use or manipulate devices connected to individuals as the only means to measure their actions and generate the respective control commands on the equipment to be interacted with. such systems are already presented a vast number of equipment that allow this interaction in a natural way (eg body movement), however, such systems still do not allow full and free interaction without the help of any electronic or mechanical element connected to the actors . Some solutions are based on the use of sensors, such as the use of accelerometers or piezoelectric sensors, actuated by the direct physical contact between them and the actors.

Uma nova corrente de investigação tem orientado os seus recursos para o desenvolvimento de soluções que possibilitem uma interacção homem-máquina livre, isto é, sem recurso a qualquer dispositivo conectado ao utilizador. Tal abordagem tira partido da informação obtida por intermédio de câmaras de vídeo e onde, com recurso a técnicas de processamento e análise de imagem, é possível realizar a extracção de informação descritiva do movimento observado a partir de uma sequência de imagens.A new research chain has focused its resources on the development of solutions that allow a free man-machine interaction, that is, without any device connected to the user. Such an approach takes advantage of the information obtained through video cameras and where, through processing and image analysis techniques, it is possible to perform the extraction of information descriptive of the movement observed from a sequence of images.

Existem já vários documentos de patentes que apresentam novas soluções: salienta-se o documento WO 02/100094 que consiste num sistema em que apenas um utilizador é que interage com a superfície. 0 sistema recorre a iluminação e sombras (câmaras de infravermelhos e iluminação por infravermelhos), sendo que a técnica utilizada para a segmentação do indivíduo em relação ao plano de fundo consiste na utilização de uma fonte de luz com o comprimento de onda na gama dos infravermelhos ou ultravioleta, ou seja, fora do espectro visível. A câmara de vídeo filtra o espectro de luz visível deixando passar apenas as gamas infravermelho e ultravioleta. 0 documento US 7,274,803 refere um sistema que pressupõe a detecção de padrões (não só movimentos) que funcionam como modelo de interacção entre um objecto/actor e uma superfície. Para controlar o sistema é necessário que o actor use uma parte do corpo onde seja detectada pele para 3 ser reconhecido pela câmara e assim interagir com o ecrã (cursor existente). Obrigatoriamente o sistema só funcionará através da tecnologia de detecção de pele ao contrário desta invenção que não utiliza a detecção de pele como tecnologia para provocar interacção entre os actores e as superfícies.There are already a number of patent documents which present novel solutions: document WO 02/100094 which consists of a system in which only one user interacts with the surface is emphasized. The system uses illumination and shading (infrared cameras and infrared illumination), the technique used for segmenting the individual in relation to the background consists of the use of a light source with the wavelength in the infrared range or ultraviolet, ie outside the visible spectrum. The camcorder filters the visible light spectrum by letting only the infrared and ultraviolet ranges go through. US 7,274,803 discloses a system which involves the detection of patterns (not only motions) that function as a model of interaction between an object / actor and a surface. To control the system it is necessary for the actor to use a part of the body where skin is detected to be recognized by the camera and thus interact with the screen (existing cursor). The system will only function through skin detection technology as opposed to this invention which does not use skin detection as a technology to cause interaction between actors and surfaces.

Para além desta limitação, o sistema apesar de permitir que outras pessoas estejam em frente ao ecrã, só uma única pessoa é que poderá controlar o cursor. Já o documento WO 99/07153 descreve um sistema e método para controlo de software através da análise e interpretação de vídeo, sendo descritas três configurações distintas.In addition to this limitation, while allowing other people to be in front of the screen, only one person can control the cursor. WO 99/07153 describes a system and method for software control through video analysis and interpretation, with three different configurations being described.

Na primeira configuração da invenção, o utilizador do sistema, monitorizado por uma câmara de vídeo, pode interagir com um objecto gerado por computador. A interacção entre o objecto virtual e o utilizador ocorre sempre que existe uma colisão entre a região do objecto gerado pelo computador e uma região onde fora detectado movimento por parte do utilizador, informação obtida por intermédio do cálculo de diferença entre imagens. Trata-se portanto de uma interacção simples, sem qualquer tipo de informação de direcção do movimento.In the first configuration of the invention, the system user, monitored by a video camera, may interact with a computer generated object. The interaction between the virtual object and the user occurs whenever there is a collision between the region of the object generated by the computer and a region where the user has detected movement, information obtained by calculating the difference between images. It is therefore a simple interaction, without any kind of direction information of the movement.

Na segunda configuração, recorre-se à utilização de um objecto que possua uma característica distintiva, como uma cor predefinida. Neste modo, através da identificação da cor do objecto e do cálculo dos seus contornos, é possível identificar a região ocupada pelo objecto, bem como a sua orientação, podendo despoletar uma acção (e.g. disparar uma arma virtual). A terceira configuração refere-se a um quiosque interactivo, onde é possível ao utilizador seleccionar uma 4 opção no menu apresentado pelo ecrã. A selecção é realizada através da oclusão da área ocupada pela opção do menu, com a área da mão do utilizador. Uma vez mais, não existe qualquer informação acerca da direcção e amplitude do movimento executado pelo utilizador, diverqindo assim da invenção proposta. 0 documento US 4,843,568 refere um sistema onde é efectuada a segmentação do corpo humano através de duas técnicas que recorrem a utilização de um plano de fundo neutro: a primeira técnica gera o plano de fundo neutro através da utilização de uma parede iluminada colocada atrás de uma pessoa de modo a que a câmara consiga distinguir os contornos da pessoa pela subtracção ao plano de fundo conhecido. A segunda técnica consiste na aplicação de uma superfície com uma coloração conhecida e uniforme colocada sobre uma mesa permitindo desta forma distinguir as mãos do utilizador do plano de fundo conhecido.In the second configuration, you use an object that has a distinctive feature, such as a default color. In this mode, by identifying the color of the object and calculating its contours, it is possible to identify the region occupied by the object, as well as its orientation, and can trigger an action (e.g. shoot a virtual weapon). The third configuration refers to an interactive kiosk, where it is possible for the user to select a 4 option from the menu displayed by the screen. Selection is done by occluding the area occupied by the menu option, with the area of the user's hand. Again, there is no information about the direction and range of motion performed by the user, thus diverging from the proposed invention. US 4,843,568 discloses a system where the human body is cleaved by two techniques that utilize the use of a neutral background: the first technique generates the neutral background through the use of a lighted wall placed behind a person so that the camera can distinguish the outlines of the person by subtraction to the known background. The second technique consists in the application of a surface with a known and uniform coloration placed on a table thus allowing to distinguish the user's hands from the known background.

Por último o documento WO 02/43352 refere-se a um sistema e método para identificação de um objecto e caracterização do seu comportamento, utilizando para esse efeito imagens provenientes de uma câmara de vídeo ou de uma unidade de armazenamento. Este sistema efectua a identificação, segmentação e classificação de comportamentos de um único objecto. Utiliza uma técnica de localização do objecto e extracção de características, em que se identifica a região do objecto através da selecção da região de maior área, resultante do processo de subtracção do plano de fundo. Este sistema necessita de um treino manual do sistema, bem como fornecer um conjunto de informações sobre o objecto que se pretende monitorizar. 5 A presente invenção difere dos documentos encontrados em vários aspectos, de onde se salienta: - possibilidade de interacção com mais do que um utilizador; não recorre a dispositivos de ligação entre os utilizadores e o sistema; nem a nenhum plano de fundo conhecido ou qualquer fonte de radiação de frequências do espectro não visível, como por exemplo infravermelhos ou ultravioleta; - as câmaras de vídeo não requerem qualquer filtro para selecção de espectro a monitorizar.Finally WO 02/43352 relates to a system and method for identifying an object and characterizing its behavior, using for that purpose images from a video camera or a storage unit. This system performs the identification, segmentation and classification of behaviors of a single object. It uses an object localization and feature extraction technique in which the region of the object is identified by selecting the region with the largest area resulting from the background subtraction process. This system requires a manual system training, as well as providing a set of information about the object to be monitored. The present invention differs from documents found in several aspects, from which it is pointed out: - possibility of interaction with more than one user; it does not use connection devices between users and the system; or to any known background or any source of radiation of frequencies of the non-visible spectrum, such as for example infrared or ultraviolet; - Video cameras do not require any filter for spectrum selection to be monitored.

Descrição Geral: A presente invenção consiste num sistema que permite criar superfícies reactivas e interactivas com os utilizadores, transformando o ambiente, redimensionando-o e dando profundidade digital aos espaços, tornando-os desta forma interessantes, reactivos e interactivos, passíveis de serem utilizados em actividades lúdicas, publicitárias ou informativas. 0 movimento executado pelos actores é observado por uma ou mais câmaras de vídeo (1), num máximo de dezasseis câmaras numa realização preferencial, a cores ou preto/branco. As imagens monitorizadas pelas câmaras são recebidas por uma unidade de digitalização de vídeo (2) de modo a que sejam passíveis de serem utilizadas por um componente de software, designado por módulo de detecção e reconhecimento de movimento (3), que é executado num computador (5).The present invention is a system for creating reactive and interactive surfaces with the users, transforming the environment, resizing it and giving digital depth to the spaces, thus making them interesting, reactive and interactive, suitable for use in entertainment, advertising or information activities. The movement performed by the actors is observed by one or more video cameras (1), in a maximum of sixteen cameras in a preferred embodiment, in color or black / white. The images monitored by the cameras are received by a video scanning unit (2) so that they can be used by a software component, called a motion detection and recognition module (3), which is executed on a computer (5).

Este módulo faz uso de um algoritmo de segmentação e seguimento de objectos em movimento que analisa sequências de imagens de vídeo A técnica de análise de movimento 6 avalia a amplitude de movimento de cada actor, bem como a sua direcção, realizando posteriormente a média da totalidade dos intervenientes. Como resultado do módulo de detecção e reconhecimento de movimento é gerado, para cada nova imagem adquirida, um vector de deslocamento contendo direcção e intensidade do movimento do conjunto de actores observados. 0 vector de deslocamento é transmitido a um outro componente de software, o módulo de multimédia (4), que poderá ser executado no mesmo computador ou num outro computador em rede com o primeiro. 0 módulo de multimédia gera e actua sobre objectos virtuais, fazendo reagir o ambiente.This module makes use of a algorithm of segmentation and tracking of moving objects that analyzes sequences of video images The technique of motion analysis 6 evaluates the range of motion of each actor, as well as their direction, then performing the average of the totality two players. As a result of the motion detection and recognition module, a displacement vector containing the direction and intensity of the movement of the observed set of actors is generated for each newly acquired image. The offset vector is transmitted to another software component, the multimedia module (4), which may be executed on the same computer or another networked computer with the first one. The multimedia module generates and acts on virtual objects, causing the environment to react.

De acordo com a natureza da aplicação, por exemplo jogo ou directório, o módulo de multimédia provoca uma acção no conteúdo multimédia que será exibido ao conjunto de actores que interagem com o sistema. Como exemplo, se a aplicação consistir num jogo de audiências o vector de deslocamento pode originar a movimentação de um objecto virtual, como por exemplo um cesto, plataforma, automóvel, personagem animada ou avatar. No caso de se tratar de um directório, o vector de deslocamento provocará o movimento de um cursor que permita seleccionar itens do conjunto das opções exibidas.Depending on the nature of the application, eg game or directory, the multimedia module causes an action on the multimedia content that will be displayed to the set of actors that interact with the system. As an example, if the application consists of a set of audiences the displacement vector can originate the movement of a virtual object, such as a basket, platform, automobile, animated character or avatar. In the case of a directory, the displacement vector will cause the movement of a cursor to select items from the set of displayed options.

As experiências interactivas produzidas (conteúdo multimédia) são projectadas numa superfície à escolha (tela de cinema, montra, mesa, chão, parede, vidro ou acrílico) ou exibidas num ecrã, como por exemplo CRT, TFT, LCD, LED ou OLED. A conexão entre o computador que executa o módulo de multimédia (4) e o equipamento de projecção/ecrã (6) pode ser realizada por exemplo via VGA, S-VIDEO, USB, HDMI ou DVI. Este computador (5) poderá ainda controlar um 7 conjunto de actuadores, por exemplo controlo de iluminação, temperatura ou som, permitindo a sua acção sobre o meio ambiente em que se encontra a instalação. A ligação entre o computador e os actuadores de controlo pode ser realizada através por exemplo de rede informática do tipo TCP/IP, rede RS-232, RS-485, ou Porta Paralela (LPT). Os equipamentos de som (7) encontram-se ligados à unidade de processamento por conector TS monaural ou TRS estéreo ou monaural.The interactive experiences produced (multimedia content) are projected on a surface of your choice (cinema screen, window, table, floor, wall, glass or acrylic) or displayed on a screen such as CRT, TFT, LCD, LED or OLED. The connection between the computer running the multimedia module 4 and the projection / screen equipment 6 can be performed for example via VGA, S-VIDEO, USB, HDMI or DVI. This computer 5 may further control a set of actuators, for example control of illumination, temperature or sound, allowing its action on the environment in which the installation is located. The connection between the computer and the control actuators can be performed through for example TCP / IP type network, RS-232 network, RS-485, or Parallel port (LPT). The sound equipment (7) is connected to the processing unit via a monaural TS or stereo or monaural TRS connector.

Breve Descrição das Figuras:Brief Description of the Figures:

Para uma mais fácil compreensão da invenção juntam-se em anexo as figuras, as quais, representam realizações preferenciais do invento que, contudo, não pretendem, limitar o objecto da presente invenção. FIGURA 1. Diagrama de blocos em que (1) corresponde a uma câmara de vídeo, cujas imagens monitorizadas são enviadas para um computador (5) . Este computador compreende uma unidade de digitalização de vídeo (2) , que digitaliza as imagens, sendo pósteriormente enviadas para um módulo de detecção e reconhecimento de movimento (3), que analisa a intensidade e direcção do movimento, transmitindo esse resultado ao módulo de multimédia (4). Os equipamentos de emissão de som (7) e projecção de vídeo (6) encontram-se também conectados ao computador (5). FIGURA 2. Diagrama do sistema colocado numa sala de cinema em que as câmaras de vídeo (1), que monitorizam o grupo de actores (9), estão ligadas a um computador (5) que executa o módulo de detecção e reconhecimento de movimento. 0 computador (5) encontra-se conectado através de rede informática, com ou sem fios, a outro computador (5) que executa o módulo de multimédia, transmitindo o conteúdo multimédia através de um videoprojector (6) e as colunas altifalantes (7). As imagens projectadas são exibidas na tela ( 8) . FIGURA 3. Diagrama do sistema em que um grupo de actores (9) é monitorizado por uma única câmara de vídeo (1), conectada ao computador (5). Este computador executa o módulo de detecção e reconhecimento de movimento e o módulo de multimédia. Os conteúdos multimédia gerados pelo computador são exibidos por um ecrã (10) com o auxílio de colunas altifalantes (7). FIGURA 4. Exemplo de utilização da invenção para jogo multi-utilizador, com monitorização simultânea de dois grupos de actores (9), de modo a que seja possível a interacção entre os dois grupos num mesmo conteúdo multimédia. Nesta configuração, uma câmara de vídeo (1) monitoriza um grupo de actores (9), que visualiza o conteúdo multimédia exibido por um projector (6) através da tela de projecção (8), recebendo o som por uma coluna altifalante (7). Por sua vez, uma outra câmara de vídeo (1) monitoriza um segundo grupo (9), que visualiza o conteúdo multimédia exibido por um projector (6) através da tela (8), recebendo ainda o som por uma coluna altifalante (7). FIGURA 5. Representação do módulo de detecção e reconhecimento de movimentos em que, o detector de movimento (14) utiliza a imagem actual (12) e a imagem adquirida no instante de tempo anterior (11) para calcular 9 a máscara de movimento (16) . 0 detector de contornos (13) recebe a imagem anterior (11), gerando uma máscara de contornos (15) . A máscara de contornos (15) e a máscara de movimento (16) são processadas pelo detector de deslocamento (17) que calcula o vector de deslocamento do movimento observado entre duas imagens consecutivas. FIGURA 6. Exemplificação do cálculo do vector de deslocamento com representação de pixéis de movimento (18), pixéis de origem (19), e vectores parciais de deslocação (20) .BRIEF DESCRIPTION OF THE DRAWINGS For a more complete understanding of the invention, the following are attached figures which represent preferred embodiments of the invention which, however, are not intended to limit the subject matter of the present invention. FIGURE 1. Block diagram in which (1) corresponds to a video camera, the monitored images are sent to a computer (5). This computer comprises a video digitizing unit 2, which digitizes the images and is subsequently sent to a motion detection and recognition module 3, which analyzes the intensity and direction of the movement, transmitting that result to the multimedia module (4). The sound-emitting equipment (7) and video projection (6) are also connected to the computer (5). FIGURE 2. Diagram of the system placed in a theater where the video cameras (1), which monitor the group of actors (9), are connected to a computer (5) which executes the motion detection and recognition module. The computer 5 is connected via a computer network, wired or wireless, to another computer 5 which executes the multimedia module, transmitting the multimedia content via a projector 6 and the speaker speakers 7, . The projected images are displayed on the screen (8). FIGURE 3. System diagram in which a group of actors (9) is monitored by a single video camera (1), connected to the computer (5). This computer runs the motion detection and recognition module and the media module. The multimedia contents generated by the computer are displayed by a screen (10) with the aid of loudspeaker columns (7). FIGURE 4. Example of use of the invention for multi-user gaming, with simultaneous monitoring of two groups of actors (9), so that interaction between the two groups in the same multimedia content is possible. In this configuration, a video camera 1 monitors a group of actors 9, which visualises the multimedia content displayed by a projector 6 through the projection screen 8, the sound being received by a loudspeaker speaker 7, . Another video camera 1 monitors a second group 9, which displays the multimedia content displayed by a projector 6 through the screen 8, the sound being further received by a loudspeaker speaker 7, . FIG. 5. Representation of the motion detection and recognition module in which the motion detector 14 uses the current image 12 and the image acquired at the previous time point 11 to calculate the motion mask 16 ). The contour detector (13) receives the anterior image (11), generating a contour mask (15). The contour mask 15 and the motion mask 16 are processed by the displacement detector 17 which calculates the motion shift vector observed between two consecutive images. FIGURE 6. Exemplification of the displacement vector computation with motion pixel representation (18), source pixels (19), and partial displacement vectors (20).

Descrição Detalhada da Invenção: A presente invenção será agora descrita em detalhe, utilizando-se para o efeito as figuras apresentadas neste documento. Os componentes que constituem a invenção são identificados por números nas respectivas figuras. A FIGURA 1 apresenta o diagrama de blocos onde se identificam as componentes de hardware (1) (2) (5) (6) (7) e software (3) (4) que constituem a presente invenção. Note-se, que todos os componentes de hardware utilizados são equipamentos comuns, isto é, não modificados ou fabricados com o propósito de serem utilizados especificamente na presente invenção. O sistema objecto da invenção é caracterizado por conter uma ou mais câmaras de vídeo (1), a cores ou preto/branco, encontrando-se estas conectadas a uma unidade de digitalização de vídeo (2) acoplada a um computador (5) . As imagens adquiridas são fornecidas ao módulo de detecção e reconhecimento de movimento (3) que analisa a cada nova imagem o movimento protagonizado pelos actores, gerando um 10 vector de deslocamento, contendo a amplitude e direcção desse deslocamento. Este vector é transmitido ao módulo de multimédia (4) que actua sobre objectos virtuais gerados por computador. O conteúdo multimédia é exibido aos actores através de equipamento de projecção de vídeo (6) e equipamento de som (7) conectado ao computador (5).Detailed Description of the Invention: The present invention will now be described in detail, using for the purpose the figures presented herein. The components constituting the invention are identified by numbers in the respective figures. FIGURE 1 shows the block diagram where the hardware components 1) (2) (5) (6) (7) and software (3) (4) constituting the present invention are identified. It should be noted that all hardware components used are common equipment, i.e. unmodified or manufactured for the purpose of being used specifically in the present invention. The system object of the invention is characterized in that it contains one or more video cameras (1), in color or black / white, these being connected to a video scanning unit (2) coupled to a computer (5). The acquired images are provided to the motion detection and recognition module (3), which analyzes the motion of the actors in each new image, generating a displacement vector containing the amplitude and direction of this displacement. This vector is transmitted to the multimedia module (4) which acts on computer generated virtual objects. The multimedia content is displayed to the actors through video projection equipment (6) and sound equipment (7) connected to the computer (5).

Como exemplo de uma possível configuração de hardware, uma câmara de vídeo (1) analógico pode ser conectada a uma das entradas de uma placa de aquisição de vídeo (2), através de um cabo RG-59 com conectores BNC em ambas as extremidades. A placa de aquisição de vídeo, que realiza a conversão do vídeo analógico para o formato digital (digitalização), encontra-se acoplada, via conector PCI, a uma placa-mãe equipada com memória RAM, processador e um disco rígido onde reside o sistema operativo bem como os dois módulos de software (3) (4) propostos nesta invenção. O computador (5) é ainda constituído por uma unidade de processamento gráfico, incluída na própria placa-mãe ou implementada numa placa gráfica, que possua pelo menos umas das seguintes saídas vídeo: VGA, HDMI, DVI ou S-VIDEO. A placa gráfica é associada à placa-mãe através de conector PCI-E ou AGP. 0 equipamento de exibição de vídeo poderá ser constituído por um videoprojector (6) ligado ao computador (5) por intermédio de um cabo de extensão VGA. O videoprojector (6) deve ser orientado de modo a projectar imagens para uma parede de tonalidade clara com uma superfície lisa e regular. A câmara de vídeo (1) deve ser posicionada próximo da superfície de projecção, orientada na direcção oposta à projecção, isto é, no sentido da parede para o vídeo projector, de tal modo que seja possível observar, de frente, o conjunto de pessoas que se encontrem a visualizar as imagens projectadas. O equipamento de som (7) poderá ser 11 composto por colunas de som, encontrando -se conectadas ao computador (5) através de cabo áudio com conector TRS estéreo. Após a identificação dos componentes de hardware e definição das conexões entre os vários equipamentos, prossegue -se com a exposição detalhada dos módulos de software .As an example of a possible hardware configuration, an analog video camera (1) can be connected to one of the inputs of a video acquisition board (2) via an RG-59 cable with BNC connectors at both ends. The video acquisition board, which converts the analog video to the digital format (scanning), is connected, via a PCI connector, to a motherboard equipped with RAM, processor and a hard disk where the system resides as well as the two software modules (3) (4) proposed in this invention. The computer 5 further comprises a graphics processing unit, included on the motherboard itself or implemented on a graphics card, having at least one of the following video outputs: VGA, HDMI, DVI or S-VIDEO. The graphics card is attached to the motherboard via PCI-E or AGP connector. The video display equipment may comprise a projector (6) connected to the computer (5) by means of a VGA extension cable. The projector (6) must be oriented so as to project images to a light-colored wall with a smooth and regular surface. The video camera 1 should be positioned proximate the projection surface, oriented in the direction opposite the projection, i.e., towards the wall to the video projector, so that it is possible to observe from the front the set of persons that are currently viewing the projected images. The sound equipment 7 may be composed of sound speakers and connected to the computer 5 via an audio cable with stereo TRS connector. After identifying the hardware components and defining the connections between the various devices, the detailed explanation of the software modules is followed.

Neste documento, define-se It como a imagem digital obtida no instante de tempo t. Entende-se ainda que uma imagem digital é uma representação em duas dimensões de uma imagem num conjunto finito de elementos que tomam valores discretos, organizados numa matriz de M por N elementos. Cada um destes elementos, que armazena o valor da intensidade luminosa e caracteristicas cromáticas da imagem naquela coordenada, é denominado por pixel. Assim, no caso de se tratar de uma imagem em escala de cinzentos (obtida, por exemplo, por uma câmara de vídeo preto/branco) a intensidade de um pixel nas coordenadas x e y da imagem It é definida por It(x,y), em que O^x^M, O^y^N e 0^It(x, y)^255. O limite de 255 refere-se a uma realização preferencial de 8-bits. Tratando-se de uma imagem a cores, esta é definida pelo conjunto das várias componentes de cor, de tal modo que uma imagem no espaço de cor RGB é definida por It={IRt, IGt, IBt}, em que IRt(x,y), IGt(x,y) e IBt(x,y) representam respectivamente o valor da intensidade das componentes vermelha, verde e azul, para o pixel definido pelas coordenadas (x,y), da imagem digital adquirida no instante de tempo t. A presente invenção é igualmente aplicável nesta situação, com as necessárias adaptações, óbvias para um especialista na área. A FIGURA 5 apresenta o módulo de detecção e reconhecimento de movimentos (3). Este módulo recebe uma sequência de 12 imagens digitais espaçadas por intervalos de tempo fixos e predefinidos, por exemplo 40ms para o formato PAL. A cada nova captura, é gravada em memória a imagem actual It (12), sendo ainda mantida em memória a imagem capturada no instante de tempo anterior It_i (11) . A imagem It_! é transferida para o detector de contornos (13) que aplica, para cada pixel da imagem, o algoritmo de definido pela seguinte equação: CONTORNO (It_i (x, y) ) = 1, se, it-i (x, y) - It-i (x-1, y-1) 1e, it-i (x, y) - It-i (x-1, y+l) 1e, it-i (x, y) - It-i (x+l, y-1) 1e, |it-i(x,y)- it-i (x+l, y+l) I >t CONTORNO (It-i (x, y) ) = 0, caso contrário.In this document, It is defined as the digital image obtained at time t. It is also understood that a digital image is a two-dimensional representation of an image in a finite set of elements that take discrete values, organized in an array of M by N elements. Each of these elements, which stores the value of the luminous intensity and chromatic characteristics of the image in that coordinate, is called per pixel. Thus, in the case of a grayscale image (obtained, for example, by a black / white video camera), the intensity of a pixel at the x and y coordinates of the It image is defined by It (x, y) (X, y) = 255. The limit of 255 refers to a preferred embodiment of 8-bits. In the case of a color image, it is defined by the set of the various color components, such that an image in the RGB color space is defined by It = {IRt, IGt, IBt}, where IRt (x, y), IGt (x, y) and IBt (x, y) respectively represent the intensity value of the red, green and blue components for the pixel defined by the coordinates (x, y) of the digital image acquired at the instant of time t. The present invention is equally applicable in this situation, with the necessary adaptations, obvious to one skilled in the art. FIGURE 5 shows the motion detection and recognition module (3). This module receives a sequence of 12 digital images spaced apart by fixed and predefined time intervals, for example 40ms for the PAL format. With each new capture, the current image It (12) is recorded in memory, and the image captured at the time of the previous time It_i (11) is kept in memory. The It_! is transferred to the contour detector (13) which applies to each pixel of the image the algorithm defined by the following equation: CONTOUR (It_i (x, y)) = 1, if, it-i (x, y) (X-1, y + l) 1e, it-i (x, y) - It-i (x-1, y-1) 1e, it-i (x, y) = 0, y + 1, y-1) 1e, | it-i (x, y) otherwise.

Sendo que T pode tomar qualquer valor entre 0 e 255.Since T can take any value between 0 and 255.

Como produto da aplicação do detector de contornos (13) resulta uma máscara de contornos (15) que apresenta , em cada pixel da imagem, valor igual a 1 ( qm) caso seja detectado contorno naquela coordenada e, valor 0 (zero) caso contrário.As a product of the application of the contour detector 13, a contour mask 15 is obtained which, in each pixel of the image, has a value of 1 (qm) if contour is detected in that coordinate, and value 0 (zero) otherwise .

Paralelamente à tarefa de cálculo de contornos, é executado o detector de movimento (14). O detector de movimento utiliza a imagem actual It (12) e a imagem anterior It-i (11) para produzir uma máscara de movimento (16) que identifica os pixéis onde ocorre uma diferença significativa de intensidade ou coloração entre duas imagens consecutivas. Define-se que existe movimento num determinado pixel se:Parallel to the contour calculation task, the motion detector (14) is executed. The motion detector uses the current image It (12) and the prior image It-i (11) to produce a motion mask (16) that identifies the pixels where a significant difference in intensity or coloring occurs between two consecutive images. It is defined that there is movement in a certain pixel if:

| It (x, y) -It-i (x, y) I >T com T tomando um valor entre 0 e 255, numa realização preferencial.| (X, y) -It-i (x, y) I> T with T taking a value between 0 and 255, in a preferred embodiment.

As máscaras de movimento (16) e de contornos (15) são posteriormente utilizadas pelo detector de deslocamento 13 (17) de modo a determinar o vector que especifica a amplitude e o ângulo de direcção do movimento observado. O detector de deslocamento (17) realiza numa primeira fase a sobreposição da máscara de movimento à máscara de contornos. Um exemplo dessa operação é apresentado na FIGURA 6. Após a sobreposição de ambas as máscaras, o detector de deslocamento executa a identificação de regiões designadas por pixéis de origem (19), geradas sempre que num mesmo pixel seja identificada a existência em simultâneo de movimento e de contorno.The movement masks 16 and contours 15 are subsequently used by the displacement detector 13 in order to determine the vector which specifies the amplitude and angle of direction of the observed movement. The displacement detector (17) performs in a first step the overlap of the movement mask to the contour mask. An example of such an operation is shown in FIGURE 6. After the overlap of both masks, the displacement detector performs the identification of regions designated by source pixels (19), generated whenever the same motion pixel is identified on the same pixel and outline.

No passo seguinte, para cada pixel de origem (19), é calculado o vector parcial de deslocação (20) horizontal e vertical. O vector parcial de deslocação horizontal mede a distância, para o mesmo valor de y, definida pelo número de pixéis de movimento (18) contíguos e delimitados entre pixéis de origem ou, entre um pixel de origem e um pixel sem movimento. De modo análogo, é calculado o vector parcial de deslocação vertical, mantendo no entanto fixo o valor de x.In the next step, for each source pixel (19), the horizontal and vertical travel partial vector (20) is calculated. The horizontal shift vector measures the distance to the same value of y, defined by the number of contiguous and delimited motion pixels (18) between source pixels or between a source pixel and a non-moving pixel. In an analogous way, the partial vector of vertical displacement is calculated, maintaining, however, fixed the value of x.

Por fim, é realizada a soma de todos os vectores parciais de deslocação, resultando dessa operaçao o vector de deslocação, constituído pela amplitude (em pixéis) e direcção do deslocamento total observado. 0 módulo de multimédia (4), , que recebe o vector de deslocação, é um componente de software que pode ser implementado por uma qualquer linguagem de programação orientada ao desenvolvimento de jogos ou animação tridimensional, como por exemplo XNA, DirectX, Direct3D, Flash ou OpenGL. Este módulo tem como propósito exibir aos utilizadores do sistema uma animação bidimensional ou tridimensional, gerada por computador, bem como 14 proporcionar efeitos sonoros e luminosos, que reagem de acordo com o tipo de movimento realizado pelos actores.Finally, the sum of all the partial displacement vectors is performed, resulting from this operation the displacement vector, constituted by the amplitude (in pixels) and direction of the observed total displacement. The multimedia module 4, which receives the displacement vector, is a software component that can be implemented by any programming language oriented to the development of games or three-dimensional animation, such as XNA, DirectX, Direct3D, Flash or OpenGL. This module is intended to show system users a two-dimensional or three-dimensional, computer-generated animation, as well as to provide sound and light effects, which react according to the type of movement performed by the actors.

Com o propósito de facilitar a compreensão da presente invenção, apresentam-se neste documento três figuras que ilustram modos distintos de aplicação. A FIGURA 2 demonstra uma possível configuração da invenção, que poderia ser implementada numa sala de cinema, onde os actores (9) são monitorizados por duas câmaras de vídeo (1) conectadas a um computador (5) que tem a seu cargo a execução do módulo de detecção e reconhecimento de movimento. 0 resultado da análise do movimento é transmitido para um outro computador (5), via rede informática (com ou sem fios). Este computador (5) executa o módulo de multimédia que poderá conter um jogo onde se actua sobre o movimento de um objecto virtual, e.g. um avatar, um cesto ou um automóvel, que é exibido na superfície da tela (8) através do projector de vídeo (6) que se encontra conectado ao computador (5). Com o movimento dos braços para a esquerda, direita, cima e baixo, os actores controlam o movimento do objecto virtual. As colunas altifalantes (7) que se encontram ligadas ao computador (5) têm a finalidade de proporcionar ao grupo de actores (9) um conjunto de efeitos sonoros que reagem também em concordância com os seus movimentos. A FIGURA 3 apresenta uma outra configuração da presente invenção onde os actores (9) são monitorizados por apenas uma câmara de vídeo (1), conectada ao um computador (5) que tem a seu cargo a execução do módulo de detecção e reconhecimento de movimento e do módulo de multimédia. Através de movimentos do corpo (para cima, baixo, esquerda e direita) o sistema actua sobre o conteúdo multimédia, transmitido as imagens geradas pelo módulo de multimédia 15 para um ecrã (10) que as exibe aos actores (9). Um conjunto de colunas altifalantes (7) encontra-se também conectado ao computador (5) com o objectivo de transmitir os efeitos sonoros gerados pelo sistema. A FIGURA 4 mostra uma utilização da invenção onde é possível monitorizar simultaneamente dois grupos de actores (9), observados pelas câmaras de vídeo (1), de modo a que seja possível a interacção entre os dois grupos num mesmo conteúdo multimédia, por exemplo um jogo multi-grupo. Tal configuração do sistema poderia ser utilizada, por exemplo, num estádio de futebol onde um grupo (9) seria representado por adeptos de uma equipa e um outro grupo (9) por adeptos da equipa adversária. Nesta configuração, cada grupo de actores (9) é monitorizado por uma câmara de vídeo (1). Ambas as câmaras encontram-se conectadas ao computador (5) que executa o módulo de detecção e reconhecimento de movimento e o módulo de multimédia. Conectado a este computador (5) encontram-se as colunas de altifalantes (7), onde uma coluna de altifalantes (7) i emite os efeitos sonoros para um dos grupos (9) e a outra coluna de altifalantes (7) emite os efeitos sonoros para o outro grupo (9) . Os projectores de vídeo (6) encontram-se conectados ao computador (5), projectando as imagens geradas pelo módulo multimédia para as telas (8). O conteúdo das imagens projectadas por (6) poderá divergir de modo a que cada grupo de actores tenha uma perspectiva própria o objecto virtual que controla.In order to facilitate the understanding of the present invention, three figures illustrating different modes of application are presented in this document. FIGURE 2 shows a possible configuration of the invention which could be implemented in a cinema, where the actors (9) are monitored by two video cameras (1) connected to a computer (5) which is in charge of the execution of the motion detection and recognition module. The result of the analysis of the movement is transmitted to another computer (5) via computer network (wired or wireless). This computer 5 executes the multimedia module which may contain a game where one acts on the movement of a virtual object, eg an avatar, a basket or a car, which is displayed on the screen surface (8) through the projector (6) which is connected to the computer (5). With the movement of the arms to the left, right, up and down, the actors control the movement of the virtual object. The loudspeaker speakers 7 which are connected to the computer 5 have the purpose of providing the group of players 9 with a set of sound effects which also react in accordance with their movements. FIGURE 3 shows a further embodiment of the present invention wherein the actors (9) are monitored by only one video camera (1), connected to a computer (5) which is in charge of executing the motion detection and recognition module and the multimedia module. Through body movements (up, down, left and right) the system acts on the multimedia content, transmitting the images generated by the multimedia module 15 to a screen 10 which displays them to the actors 9. A set of loudspeaker columns (7) is also connected to the computer (5) in order to transmit the sound effects generated by the system. FIGURE 4 shows a use of the invention where it is possible to simultaneously monitor two groups of actors (9), observed by the video cameras (1), so that interaction between the two groups in the same multimedia content is possible, for example a multi-group game. Such a system configuration could be used, for example, in a football stadium where one group (9) would be represented by supporters of one team and another group (9) by supporters of the opposing team. In this configuration, each group of actors (9) is monitored by a video camera (1). Both cameras are connected to the computer (5) which executes the motion detection and recognition module and the multimedia module. Connected to this computer 5 are the speaker columns 7, where a loudspeaker column 7 emits the sound effects for one of the groups 9 and the other loudspeaker column 7 emits the effects for the other group (9). The video projectors 6 are connected to the computer 5, projecting the images generated by the multimedia module to the screens 8. The content of the images projected by (6) may diverge in such a way that each group of actors has its own perspective on the virtual object it controls.

Lisboa, 2 de Outubro de 2009Lisbon, October 2, 2009

Claims

Method of interaction between actors and surfaces by motion detection characterized by comprising the following steps: a. capturing sequential images of said actors (9) through one or more video cameras (1); B. scanning said images (2), unless the video cameras (1) have already done so; W. detect and identify (3) the direction of movement through the generation of displacement vectors of each of the observed actors; d. acting (4) on virtual objects, or initiating predefined actions, through said displacement vectors.

Method according to the preceding claim, characterized in that, in said detection and identification (3) of the movement, it further comprises the steps of: a. calculating (14) a movement mask (16) through the current image (12) compared to the previous image (11); B. calculating (13) a contour mask (15) through the front image (11); W. calculating (17) one or more displacement vectors from said movement masks (16) and contour (15). 2

Method according to the preceding claim, characterized in that, in said displacement vector calculation (17), it further comprises the steps of: a. overlap the movement masks (16) and outlines (15); B. identify origin pixels (19), whenever the existence of simultaneous movement and contour is identified in a same pixel; W. for each pixel of origin 19, the horizontal displacement partial vector 20 and the vertical displacement partial vector, by the horizontal or vertical distance, respectively, are defined by the number of contiguous motion pixels 18 and delimited between source pixels or between a source pixel and a non-moving pixel; d. to sum all the partial displacement vectors, resulting the displacement vector, constituted by the amplitude, in pixels, and direction of observed total displacement.

The method according to any one of claims 2 or 3 characterized by calculating the contour mask (15) through equation (I): CONTOUR (It-i (x, y)) = 1, if, 1 it-i (χ , y) - i ti (χ-1, y-1) 1> T, e, | i-i (x, y) - i t-1 (x-1, y + 1) (X + 1, yl) 1> T, e, H 1> 1 X 1-1 1 + JH ti (x + 1, y +1) | > T CONTOUR (It-i (x, y)) - 0, otherwise; 3 where T can take any value between 0 and the maximum intensity of a pixel, and which current image is represented by It (12) and the image captured at the previous time point is represented by It-i (11).

A method according to any one of claims 2 or 3 characterized by calculating the motion mask (16) through equation (II): I it (x, y) -it-i (x, y) I> t where T can take any value between 0 and the maximum intensity of a pixel, and which current image is represented by It (12) and the image captured at the previous time instant is represented by It-i (11)

A system of interaction between actors and surfaces by motion detection characterized by performing the method of claim 1 and comprising: a. one or more video cameras (1); B. optionally, a digitizer module (2) of the images; W. a detector module and identifier (3) of displacement vectors of each of the observed actors; d. an actuator module (4) on virtual objects or that triggers predefined actions.

System according to the preceding claim, characterized in that it comprises: one or more computers (5), a screen (9) and one or more video cameras (1). 4

System according to any one of the preceding two claims, characterized in that said movement detection and recognition module (3) carries out the calculation of the movement displacement vector carried out by the actors, generating a value of amplitude and angle of direction of the displacement .

A system according to any one of the preceding claims, characterized in that said actuator module (4) receiving a displacement vector, containing the amplitude and angle of direction of the movement, performs according to this information a certain action on

System according to characterized by change generated by multimedia computer.

System according to characterized by acting through translation movements thereof, or to multimedia content. the prior claim to the trajectory of objects or select contents the previous claim on virtual objects rotation, or through the two actions.

A system according to any one of claims 6 to 11, characterized in that it has video or screen projection equipment connected to the computer executing the multimedia module, where the generated multimedia contents are displayed to the actors.

A system according to any one of claims 6 to 11, characterized in that it comprises a control module of the on-off type, connected to the computer running the multimedia module, which acts on the illumination. Lisbon, October 2, 2009