PT107791A

PT107791A - INTEGRATED MULTIMEDIA DISCLOSURE SYSTEM WITH CAPACITY OF REAL-TIME INTERACTION BY NATURAL CONTROL AND CAPACITY OF CONTROLLING AND CONTROL OF ENGINES AND ELECTRICAL AND ELECTRONIC ACTUATORS

Info

Publication number: PT107791A
Application number: PT107791A
Authority: PT
Inventors: Ricardo José Carrondo Paulino; Nuno Filipe Correia Dias; Tiago Alexandre Milhinhos Marques
Original assignee: Ricardo José Carrondo Paulino; Nuno Filipe Correia Dias; Tiago Alexandre Milhinhos Marques
Priority date: 2014-07-21
Filing date: 2014-07-21
Publication date: 2016-01-21

Abstract

A INVENÇÃO É UM SISTEMA INTEGRADO CARACTERIZADO POR ALGORITMOS COMPUTACIONAIS PROPRIETÁRIOS QUE, EM CONJUNTO COM OS DISPOSITIVOS QUE O COMPÕEM, TEM A CAPACIDADE DE RECONHECIMENTO DA FIGURA HUMANA E POSSIBILITAM A UTILIZAÇÃO POR VIA DE INTERFACE NATURAL. A INVENÇÃO FOI DESENHADA PARA A COMUNICAÇÃO E DIVULGAÇÃO MULTIMEIOS E PERMITE QUE OS MESMOS SEJAM COMPLEMENTADOS PELA AÇÃO SOBRE OBJETOS NO ESPAÇO FÍSICO, POSSIBILITANDO O CONTROLO TOTAL DA EXPERIÊNCIA AO UTILIZADOR EM TEMPO REAL ATRAVÉS DE POSTURAS OU GESTOS, SEM RECURSO A PERIFÉRICOS. PELA SUA CAPACIDADE DE DIVULGAÇÃO, A INVENÇÃO CONFIGURA A CRIAÇÃO DE UM NOVO MEIO QUE, CONTROLADA DE FORMA NÃO INTRUSIVA, APROPRIADA PARA ESPAÇOS DE EXPOSIÇÃO E VITRINAS, TEM A CAPACIDADE DE ADAPTAR A SUA AÇÃO À ENVOLVENTE E PROVIDENCIAR UMA NOVA E EFETIVA POSSIBILIDADE DE DIRIGIR CONTEÚDOS MULTIMEIO A UMA OU MAIS PESSOAS, OU GRUPOS DE PESSOAS, DE FORMA INOVADORA E DE CARÁTER EXCLUSIVO E PERSONALIZÁVEL.THE INVENTION IS AN INTEGRATED SYSTEM CHARACTERIZED BY COMPUTATIONAL ALGORITHMS OWNERS THAT, IN CONJUNCTION WITH THE DEVICES THAT COMPETE IT, HAVE THE CAPACITY TO RECOGNIZE THE HUMAN FIGURE AND POSSIBILITATE THE USE THROUGH NATURAL INTERFACE. THE INVENTION HAS BEEN DRAWN UP FOR MULTIMEDIA COMMUNICATION AND DISCLOSURE AND ALLOWS THEMSELVES TO BE COMPLEMENTED BY THE ACTION ON OBJECTS IN THE PHYSICAL SPACE, POSSIBILITATING THE TOTAL CONTROL OF THE EXPERIENCE TO THE USER IN REAL TIME THROUGH POSTS OR GESTURES, WITHOUT RESOURCE TO PERIPHERALS. BY THEIR CAPACITY TO DISCLOSURE THE INVENTION CONFIGURES THE CREATION OF A NEW ENVIRONMENT THAT, NON-INTRUSIVE CONTROLLED, SUITABLE FOR EXHIBITION SPACES AND SHOWERS, IT HAS THE ABILITY TO ADAPT HIS ACTION TO THE ENVIRONMENT AND PROVIDES A NEW AND EFFECTIVE POSSIBILITY TO LEAD CONTENT MULTIMEDIA TO ONE OR MORE PEOPLE, OR GROUPS OF PEOPLE, INNOVATIVE AND OF AN EXCLUSIVE AND PERSONALIZABLE CHARACTER.

Description

DESCRIÇÃODESCRIPTION

Sistema integrado de divulgação multimeios com capacidade de interação em tempo real por comando natural e capacidade de acionamento e controlo de motores e atuadores elétricos e eletrónicos Área técnica da invenção A utilização de sistemas de informação é, nos dias de hoje, generalizada em atividades de comunicação podendo mesmo ser considerada parte integrante da nossa cultura moderna. Esta tendência não só abriu portas para novas formas de comunicar, como também se fez acompanhar de uma necessidade cada vez maior de diferenciar a forma como essa mesma comunicação é operacionalizada. Envolver um passante na experiência de uma marca ou produto é um objetivo de todas as indústrias, pois aumenta de forma significativa a probabilidade de angariação novos clientes e expandir os negócios das marcas e produtos. Ser capaz de atrair um passante torna-se, assim, uma questão fundamental para qualquer estratégia de comunicação e de capitalização de recursos, que não esteja limitada apenas às redes sociais na internet ou a aplicações para dispositivos móveis, mas presente em espaços físicos de interação com potenciais clientes.Technical area of the invention The use of information systems is, at present, widespread in communication activities. and may even be considered an integral part of our modern culture. This trend has not only opened doors to new ways of communicating, but has also been accompanied by an increasing need to differentiate the way that communication itself is operationalized. Engaging a passer in the experience of a brand or product is a goal of every industry as it significantly increases the likelihood of getting new customers and expanding the business of brands and products. Being able to attract a passer becomes thus a fundamental issue for any strategy of communication and capitalization of resources, which is not limited only to social networks on the internet or to mobile applications, but present in physical spaces of interaction with potential customers.

Estado da Técnica A implementação de um sistema de interação multimeios com as capacidades desta invenção está hoje limitado à utilização de periféricos informáticos como meio de interação (rato, teclado ou superfícies tácteis) e a sistemas de recolha de imagem com a capacidade de reconhecimento humano por análise diferida das informações recolhidas.STATE OF THE ART The implementation of a multi-media interaction system with the capabilities of this invention is now limited to the use of computer peripherals as interaction medium (mouse, keyboard or touch surfaces) and image collection systems with human recognition capability by deferred analysis of the information collected.

Agregar todas estas capacidades em uma instalação é uma tarefa nem sempre conseguida dada a quantidade de sistemas proprietários de natureza diferente a aplicar, que obrigam ao desenvolvimento de algoritmos específicos para assegurar a compatibilidade no funcionamento dos mesmos, e desenvolvidos de forma exclusiva em cada instalação. Operacionalizar todo o conjunto é um objetivo nem sempre alcançado quer pelos constrangimentos técnicos implicados, como também pelo espaço necessário e aspeto pouco atrativo do conjunto dos equipamentos, que tornam por vezes impraticável a sua aplicação em espaços de exposição como vitrinas.Adding all these capabilities to an installation is a task not always achieved given the number of proprietary systems of different nature to apply, which require the development of specific algorithms to ensure compatibility in their operation, and developed uniquely in each installation. Operationalizing the whole set is not always achieved either by the technical constraints involved, but also by the space required and the unattractive aspect of the equipment, which makes it sometimes impractical to use it in exhibition spaces such as showcases.

Sumário da invenção A invenção é um sistema integrado de algoritmos computacionais, de génese modular, que permite a divulgação de conteúdos de diversos formatos em contexto multimeio, bem como a capacidade de interação com os mesmos de forma direta, natural e em tempo real. A singularidade desta invenção assenta na sua capacidade de adaptação e reação à envolvente decorrente da sua capacidade de análise ao fluxo de passantes, da posição dos mesmos no espaço e dos seus movimentos ou gestos efetuados dentro da sua área de influência. 0 sistema que constitui esta invenção é composto por um conjunto de algoritmos integrados em três módulos, responsáveis por partes distintas do funcionamento do sistema que integram e que são designados por Módulo de Ativação e Controlo, Módulo Central e Módulo de Saída. Tratando-se de um sistema escalável e adaptável às necessidades concretas de cada implementação, os referidos módulos e respetivos algoritmos que os compõem poderão ser adaptados e personalizados por forma a acomodar os requisitos a cumprir em cada instalação. 0 Módulo de Ativação e Controlo representa a primeira parte da ação do sistema a que se refere esta invenção. É iniciado pela atuação dos sensores que o compõem e incorpora algoritmos que transformam os dados recebidos pelos referidos dispositivos em informação devidamente formatada para o sistema. Os dispositivos incluídos neste módulo são: um ou mais sensores de infravermelho; um ou mais dispositivos de captação de imagem; um ou mais sensores acústicos; um ou mais sensores de proximidade. 0 conjunto destes dispositivos fornece os dados que constituem as entradas do algoritmo de conversão e formatação dos mesmos dados, gerando a informação necessária ao sistema para a utilização de uma forma natural, recorrendo à presença humana. A informação gerada será posteriormente remetida ao Módulo Central para processamento e tomada de decisão. 0 Módulo Central representa o núcleo do sistema desta invenção. Este módulo é constituído pelo algoritmo principal e dispositivo de aplicação e é responsável pelo processamento da informação recebida e posterior decisão de saída a aplicar. Este algoritmo proprietário foi desenhado especificamente para esta invenção, pelo que permite a integração de diferentes plataformas tecnológicas no âmbito de um sistema integrado. Este módulo opera as tomadas de decisão em tempo real e proporciona ao passante/utilizador a faculdade de utilizar o sistema de forma não intrusiva e ver as suas ações concretizadas em tarefas desempenhadas pelo sistema integrado no momento, como navegar por um catálogo de produtos num ponto de venda através de uma vitrina. Como característica de personalização deste módulo, o algoritmo permite a opção de tomadas de decisão do tipo passivas, i.e., resposta direta a uma ação como navegar para o produto seguinte, ou decisões do tipo ativas, i.e., decisões resultantes da presença ou ausência de utilizador como forma de atrair e cativar a atenção do mesmo. 0 algoritmo deste módulo tem como requisito de aplicação um dispositivo do tipo computador compatível para aplicação local.SUMMARY OF THE INVENTION The invention is an integrated system of computational algorithms, of modular genesis, which allows the disclosure of contents of various formats in a multimedia context, as well as the ability to interact with them in a direct, natural and real-time manner. The singularity of this invention is based on its ability to adapt and react to the surroundings due to its ability to analyze the flow of passers, their position in space and their movements or gestures carried out within their area of influence. The system constituting this invention is composed of a set of algorithms integrated in three modules, responsible for different parts of the operation of the system that they integrate and which are called the Activation and Control Module, Central Module and Output Module. a system that is scalable and adaptable to the specific needs of each implementation, these modules and respective algorithms can be adapted and customized to accommodate the requirements to be fulfilled in each installation. The Activation and Control Module represents the first part of the action of the system to which this invention relates. It is initiated by the actuation of the sensors that compose it and incorporates algorithms that transform the data received by said devices into information properly formatted for the system. The devices included in this module are: one or more infrared sensors; one or more image pickup devices; one or more acoustic sensors; one or more proximity sensors. The set of these devices provides the data that constitute the inputs of the algorithm for converting and formatting the same data, generating the information necessary for the system to be used in a natural way, using human presence. The information generated will then be sent to the Central Module for processing and decision making. The Central Module represents the core of the system of this invention. This module consists of the main algorithm and application device and is responsible for processing the received information and subsequent output decision to be applied. This proprietary algorithm was designed specifically for this invention, allowing the integration of different technology platforms within an integrated system. This module operates real-time decision-making and provides the passer / user with the ability to use the system in a non-intrusive manner and see their actions performed on tasks performed by the current integrated system, such as navigating a product catalog at a point through a display case. As a characteristic of customization of this module, the algorithm allows the option of passive decision making, ie, direct response to an action such as navigating to the next product, or decisions of the active type, ie, decisions resulting from the presence or absence of user as a way to attract and captivate the attention of the same. The algorithm of this module has as application requirement a compatible computer type device for local application.

Este computador é designado como Dispositivo Principal e é o responsável por agregar as ligações e gerir as comunicações de todos os dispositivos da invenção e respetivos módulos, pelo que tem presença obrigatória. 0 Módulo Central foi, contudo, desenhado e desenvolvido tendo em conta a escalabilidade e prevê a sua aplicação em ambiente de computação distribuída, também designada por computação em nuvem, opção que não dispensa a utilização do referido Dispositivo Principal para a comunicação com os restantes módulos que compõem esta invenção. 0 Módulo de Saída é caracterizado por um dispositivo, ou um conjunto de dispositivos, e é responsável pela apresentação dos resultados do processamento e tomada de decisão transmitidos pelo Módulo Central. Este módulo pode contar com apenas um sistema de projeção de imagem, como um ecrã tipo LED ou projeção em tela, como também por um conjunto de sistemas deste tipo quer para projeção individual ou no formato de projeção dividida, vulgarmente designada por videowall. Para além de sistemas de projeção de imagem, e em instalações cuja finalidade seja a apresentação dos resultados em formatos exclusivos, este módulo prevê a integração de motores elétricos ou acionadores eletrónicos que, pela sua ação, possam agir diretamente com a envolvente física, sendo a atuação em objetos presentes no espaço ou a operação sobre a iluminação existente casos típicos de utilização. A ação deste módulo poderá ser complementada por tarefas de recolha de imagens ou partilha de ficheiros em rede que, embora considerados como resultados da ação do sistema, serão tarefas realizadas pelo Módulo Central. Pela natureza da sua intervenção neste sistema integrado, este módulo é fundamental pois dele dependerá o desempenho dos resultados das tarefas a realizar em contexto de tempo real.This computer is designated as Main Device and is responsible for aggregating the connections and managing the communications of all the devices of the invention and respective modules, so it has a mandatory presence. The Central Module was, however, designed and developed taking into account the scalability and foresees its application in a distributed computing environment, also known as cloud computing, an option that does not dispense with the use of said Main Device for communication with the other modules which make up this invention. The Output Module is characterized by a device, or a set of devices, and is responsible for presenting the results of processing and decision making transmitted by the Central Module. This module can rely on only one image projection system, such as an LED screen or screen projection, as well as a set of systems of this type for either single or split projection, commonly referred to as videowall. In addition to image projection systems, and in installations whose purpose is to present the results in exclusive formats, this module provides the integration of electric motors or electronic actuators that, by their action, can act directly with the physical envelope, being the acting on objects present in the space or the operation on existing lighting typical cases of use. The action of this module can be complemented by tasks of image collection or network file sharing that, although considered as results of the action of the system, will be tasks performed by the Central Module. Due to the nature of its intervention in this integrated system, this module is fundamental because it will depend on the performance of the results of the tasks to be performed in real time context.

Esta invenção conta com a possibilidade de agir sem necessidade de supervisão, situação na qual a simples presença de um passante poderá acionar uma rotina pré-concebida de visualização de uma imagem, sequência de várias imagens ou vídeos e sons, ou o acionamento de iluminação ou de motores elétricos e acionadores eletrónicos .This invention has the possibility of acting without supervision, in which situation the mere presence of a passer could trigger a pre-conceived routine of visualizing an image, sequence of several images or videos and sounds, or the activation of illumination or of electric motors and electronic drives.

Acresce ainda a capacidade deste sistema integrado interpretar as posturas de um passante, como o levantar de um membro ou apontar em uma determinada direção, em tempo real e evitando assim a recolha e salvaguarda de imagens para análise posterior e decisão diferida. Este sistema torna assim possível a interação direta com objetos em contexto multimeio e na envolvente física na qual se insere, dotando o passante com a capacidade de escolha numa experiência de interação exclusiva.In addition, the ability of this integrated system to interpret the postures of a passer, such as lifting a member or pointing in a certain direction, in real time and avoiding the collection and safeguarding of images for later analysis and deferred decision. This system makes possible the direct interaction with objects in a multimedia context and in the physical environment in which it is inserted, giving the passer with the capacity to choose in an exclusive interaction experience.

As capacidades deste sistema de informação proprietário são adaptáveis às necessidades de implementação, i.e., poderá ser configurado para reagir à presença de um passante, reagir a um determinado gesto ou postura, a uma determinada posição do mesmo na área de influência do sistema e até um comando de voz poderá ser utilizado como forma de gerar uma ação ou reação do sistema - a invenção permite a utilização destas capacidades de forma individual ou a configuração para utilização em simultâneo. Um determinado gesto efetuado em uma determinada posição no espaço, poderá desencadear uma resposta do sistema; esta resposta poderá variar se essa mesma posição, gesto, ou ambos, forem acompanhados por um determinado comando de voz. 0 resultado devolvido pela ação do sistema é totalmente personalizável, sendo parte de um algoritmo desenhado e desenvolvido para responder aos requisitos de implementação e que caracterizam este sistema. A ação desta invenção poderá ser estendida a dispositivos móveis presentes na envolvente com o recurso à utilização de um sistema de sensores de proximidade, sistema designado por Near Field Communication, ou sistema de identificação por rádio-frequência. A invenção é, pelas capacidades que a caracterizam, um novo meio de divulgação e comunicação, aplicável em contextos diversos como locais públicos, terminais de transportes, vitrinas e pontos de venda, espaços de exposição e áreas de espera e prevê a adaptação a aplicações em contexto de saúde e recuperação.The capabilities of this proprietary information system are adaptable to the implementation needs, ie it can be configured to react to the presence of a passer, react to a particular gesture or posture, to a certain position of the system in the area of influence of the system, and up to a voice command can be used as a way to generate an action or reaction of the system - the invention allows the use of these capabilities individually or the configuration for simultaneous use. A certain gesture made in a certain position in space may trigger a response from the system; this response may vary if that same position, gesture, or both, is accompanied by a particular voice command. The result returned by the system action is fully customizable, being part of an algorithm designed and developed to meet the implementation requirements and that characterize this system. The action of this invention may be extended to mobile devices present in the enclosure using the use of a proximity sensor system, a Near Field Communication system. The invention is, by the capacities that characterize it, a new medium of communication and communication, applicable in diverse contexts like public places, transport terminals, showcases and points of sale, exhibition spaces and waiting areas and provides the adaptation to applications in context of health and recovery.

Descrição da concretização preferida A configuração preferida desta invenção, em que o sistema integrado é constituído por algoritmos proprietários que operam e controlam a atividade de dispositivos de entrada e saída, é concretizada localmente no Dispositivo Principal.DESCRIPTION OF THE PREFERRED EMBODIMENT The preferred embodiment of this invention, wherein the integrated system is comprised of proprietary algorithms that operate and control the activity of input and output devices, is locally embodied in the Main Device.

Este dispositivo deverá cumprir com as características mínimas seguintes: processador central de quatro núcleos; ligação de rede do tipo Ethernet da família de protocolos IEEE802.3, ou tipo sem-fio de família IEEE802.il, ou ambas; 4 portas de ligação do tipo USB; uma placa gráfica com 1Gb de memória; uma placa de Som; um dispositivo de ligação e comunicação por radiofrequência do tipo Bluetooth para comunicação com atuadores e controladores. O sistema operativo do computador para aplicação deste módulo não constitui constrangimento, não sendo, por isso, considerado.This device shall meet the following minimum requirements: four-core central processor; Ethernet type network connection of the IEEE802.3 protocol family, or IEEE802.il wireless family type, or both; 4 USB type connection ports; a graphics card with 1Gb of memory; a sound card; a Bluetooth-type radio link and communication device for communication with actuators and controllers. The computer operating system for the application of this module is not a constraint and is therefore not considered.

Ao Dispositivo Principal e após instalação devida do sistema operativo e controladores do equipamento, procede-se à instalação dos algoritmos proprietários desta invenção. Ao Dispositivo Principal são, então, conectados os diversos sensores e dispositivos que compõem o Módulo de Ativação e Controlo através das portas de ligação USB e radiofrequência. Seguidamente, os dispositivos do Módulo de Saída, também conectados ao Dispositivo Principal, serão conectados à porta de saída da placa gráfica e de som, em caso de se pretender apenas obter resultados de imagem ou vídeo; caso a instalação tenha como requisito a ação sobre o meio, os controladores elétricos e eletrónicos dos motores e atuadores a aplicar deverão ser conectados a portas de ligação USB ou por radiofrequência. A invenção será, então, configurada de acordo com os requisitos de instalação e serão definidas as tarefas a realizar pelo sistema. Após a conclusão desta configuração, o sistema ficará pronto a realizar a sua operação, de acordo com os requisitos estabelecidos.To the Main Device and after proper installation of the operating system and equipment controllers, the proprietary algorithms of this invention are installed. To the Main Device, the various sensors and devices that make up the Activation and Control Module are connected through USB and radio frequency ports. Then, the Output Module devices, also connected to the Main Device, will be connected to the output port of the graphics card and sound, in case you only want to get image or video results; if the installation is required to act on the medium, the electrical and electronic controllers of the motors and actuators to be applied must be connected to USB or radio frequency ports. The invention will then be configured according to the installation requirements and the tasks to be performed by the system will be defined. Upon completion of this configuration, the system will be ready to perform its operation, in accordance with the established requirements.

Lisboa, 15 de Outubro de 2014Lisbon, October 15, 2014

Claims

An integrated multi-media dissemination system with real-time interaction capability by natural command, characterized by proprietary algorithms that, together with the devices that make it up, have the ability to react to human presence and allow interaction by gestures or posture body at a distance not exceeding 4 meters.

A system according to claim 1, characterized in that it is composed of a main device which executes the algorithms and guarantees the connection of all the input and output devices that make up the system and which uses a network connection for verification and configuration.

A system according to claims 1 and 2, characterized in that it allows the execution of the proprietary algorithms in distributed computing environment, together with the connection of the devices that comprise it to the main device that guarantees the communication between all elements of the system.

System according to one of Claims 1 to 3, characterized in that it presents the results of interaction processing in image and video projection systems, operating on electric motors or electronic controllers, or both simultaneously.

System according to one of Claims 1 to 4, characterized in that it allows the action of the users by natural interface and without the use of peripherals.

System according to one of Claims 1 to 5, characterized in that it has the ability to act without supervision and to respond to the requests of passers without touching.

System according to claims 1 to 6, characterized in that it allows the prior configuration of custom routines and the ability to interact and adapt to the installation context.

System according to one of Claims 1 to 7, characterized by having the ability to perform all of its action without collecting and recording images or sound.

System according to one of Claims 1 to 8, characterized in that it enables the recording of image and sound on demand, by means of pre-configuration for this purpose.

A system according to claims 1 to 9, characterized in that it enables the sharing of user-generated content in communication networks and socialization services.

System according to one of Claims 1 to 10, characterized in that it provides for the extension of its action by the use of proximity tags.

System according to one of Claims 1 to 11, characterized in that it provides for the extension of its action by the use of radio frequency identification.

System according to one of Claims 1 to 12, characterized in that it allows the use in showcases and points of sale guaranteeing the interaction even through glass. Lisbon, October 15, 2014