KR102144554B1 - personalized living service apparatus and system for providing personalized living services - Google Patents
personalized living service apparatus and system for providing personalized living services Download PDFInfo
- Publication number
- KR102144554B1 KR102144554B1 KR1020130093382A KR20130093382A KR102144554B1 KR 102144554 B1 KR102144554 B1 KR 102144554B1 KR 1020130093382 A KR1020130093382 A KR 1020130093382A KR 20130093382 A KR20130093382 A KR 20130093382A KR 102144554 B1 KR102144554 B1 KR 102144554B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- customized
- profile
- location
- customized service
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/24—Radio transmission systems, i.e. using radiation field for communication between two or more posts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4108—Peripherals receiving signals from specially adapted client devices characterised by an identification number or address, e.g. local network address
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Automation & Control Theory (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Telephonic Communication Services (AREA)
Abstract
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템 및 방법을 개시한다. 일 실시예에 따른 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템은, 일정 장소에 설치되어 수집된 영상 데이터의 처리를 통해 주변 사용자나 기기의 형상과 위치를 인식하여 해당 사용자나 기기의 id 및 위치 정보를 추출하고, 사전에 저장된 사용자 프로파일 정보 및 기기의 프로파일 정보, 주변 상황정보를 분석하여 사용자 맞춤형으로 해당 기기들을 자동으로 제어하는 사용자 맞춤형 서비스 장치; 사용자 맞춤형 서비스 장치의 주변에 설치되고 제어신호를 받아서 사용자 맞춤형 생활환경을 제공하기 위해 동작하는 기기; 및 원격지에 설치되어 각종 인터넷 정보와 사용자 속성 정보, 사용자 주변 상황 정보를 분석하여 사용자 맞춤형 서비스 장치의 각종 프로파일 정보나 사용자 맞춤형 제어 판단 알고리즘 또는 파라미터를 갱신하는 서비스 서버를 포함한다.Disclosed is a system and method for providing a user-customized life service through object and location recognition through image data processing. According to an embodiment, the system for providing a user-customized life service through object and location recognition through image data processing is installed in a certain place and processed by processing the collected image data to recognize the shape and location of nearby users or devices. A user-customized service device for automatically controlling corresponding devices in a user-customized manner by extracting user or device ID and location information, analyzing pre-stored user profile information, device profile information, and surrounding situation information; A device installed around a user-customized service device and operating to receive a control signal and provide a user-customized living environment; And a service server installed in a remote location to analyze various Internet information, user attribute information, and user surrounding situation information to update various profile information of a user-customized service device, a user-customized control determination algorithm, or parameter.
Description
본 발명은 영상데이터 처리를 통한 물체인식 및 위치인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템에 관한 것으로, 구체적으로 사용자 맞춤형 서비스 장치의 영상 카메라를 통해 수집된 데이터를 처리하여 주변의 사용자 및 각종 생활기기들의 id와 위치를 인식하고, 해당 id에 따른 사용자 프로파일 및 기기 프로파일, 주변 상황정보 등을 분석하여 해당 사용자에게 가장 적합한 생활환경이 되도록 주변 기기들을 자동적으로 제어하기 위한 사용자 맞춤형 생활서비스를 제공하는 시스템이다.
The present invention relates to a system for providing a user-customized life service through object recognition and location recognition through image data processing, and specifically, by processing data collected through an image camera of a user-customized service device, surrounding users and various life equipment A system that provides customized life services for automatically controlling peripheral devices to become the most suitable living environment for the user by recognizing their ID and location, analyzing user profile, device profile, and surrounding situation information according to the corresponding ID to be.
최근 스마트폰의 보급이 확대되고 있으며 지능형 가전에 대한 수요가 증가하고 있다. 또한 기술과 사회가 발전함에 따라 개인 맞춤형 서비스에 대한 요구가 증대되고 있다. Recently, the spread of smartphones is expanding, and the demand for intelligent home appliances is increasing. In addition, as technology and society develop, the demand for personalized services is increasing.
종래기술의 하나인 인용발명1에 의하면, 스마트폰에 사용자의 선호도 정보를 저장하고 있다가 근거리 무선통신을 이용하여 주변의 생활기기를 인식하고 선호도 정보에 따라 스마트폰이 자동적으로 생활기기를 사용자 맞춤형으로 제어하는 시스템이 발명되었다. 그러나 이 경우 사용자가 항상 스마트폰을 휴대하고 있어야 하는 불편함과 단점이 있다.According to cited invention 1, which is one of the prior art, the user's preference information is stored in a smartphone, and then the nearby living equipment is recognized using short-range wireless communication, and the smartphone automatically customizes the living equipment according to the preference information. Invented a system for controlling the system. However, in this case, there are inconveniences and disadvantages that the user must always carry a smartphone.
또 다른 종래기술인 인용발명2에 의하면, 사용자 단말기가 얼굴 인식 알고리즘을 이용하여 사용자와 시청 성향 정보를 인식하고 이것을 이용하여 추천 컨텐츠 목록을 생성하며 사용자에게 제공하는 IPTV 컨텐츠 추천 시스템이 발명되었다. 그러나 이 시스템은 IPTV에 국한 된 것으로 사용자 선호도 정보가 매우 제한적이며 사용자 단말기로 사용자의 얼굴을 인식하는 것도 실용적이지 못한 문제점이 있다.According to another prior art, cited invention 2, an IPTV content recommendation system in which a user terminal recognizes user and viewing propensity information using a face recognition algorithm, generates a recommended content list using this, and provides it to the user has been invented. However, since this system is limited to IPTV, user preference information is very limited, and it is not practical to recognize a user's face with a user terminal.
또 다른 종래기술인 인용발명3에 의하면, 사용자 단말의 카메라에서 영상 데이터를 수집하고 이를 원격지의 서비스 추론장치에서 분석하여 사용자를 식별하며 사용자 정보 데이터 데이터 베이스의 정보를 참조하여 사용자 맞춤형 서비스를 생성하고, 이것을 상기의 단말로 전송하는 방법이 발명되었다. 그러나 이 방식은 단말의 카메라를 이용하므로 사용자 주변의 영상 데이터를 정확히 수집하기 어렵고, 주변의 생활기기들을 인식하고 사용자 맞춤형으로 자동 제어하는 것이 아니라 단말의 기능에 한정되어 사용자 맞춤형 서비스를 제공하는 것이므로, 본 발명과는 그 목적과 방법이 다르다.According to another prior art, Cited Invention 3, collects image data from the camera of the user terminal and analyzes it in a remote service inference device to identify the user, and creates a customized service by referring to information in the user information database, A method of transmitting this to the terminal has been invented. However, since this method uses the camera of the terminal, it is difficult to accurately collect the image data around the user, and it is not to recognize the peripheral devices and automatically control them according to the user's needs, but to provide a customized service by being limited to the functions of the terminal. The object and method are different from the present invention.
에어컨이나 TV에 내장된 카메라나 별개의 카메라로부터 주변 사용자의 위치를 인식하고 해당 위치에 맞도록 풍향을 제어하거나, 사용자의 안면을 인식하여 평소에 선호하는 채널을 자동으로 선택하는 등의 발명과 제품은 여러 가지 있지만, 생활기기에 내장되거나 별도로 설치된 영상 카메라를 통해 주변의 사용자 및 기기의 위치와 id를 인식하고, 사전에 저장된 사용자의 속성 및 선호도 정보와 기기의 속성 정보, 주변의 기기와 상황 정보를 체계적으로 분석하여 각종 생활기기들을 사용자 맞춤형으로 자동으로 제어하는 기술은 아직 제안되지 못했다. 또한 기기마다 영상 카메라와 영상 데이터 처리장치 및 각종 프로파일, 서비스 판단 기능을 구비하기 위해서는 기기의 가격이 급등하는 문제가 있으나, 본 발명에서는 독립적인 단일 장치나 에어컨과 같은 기기에 설치된 장치가 주변의 모든 기기들을 자동으로 제어하는 방법이므로 설치와 운용, 비용면에서 실용적인 효과가 있다.Inventions and products such as recognizing the location of nearby users from a camera built into an air conditioner or TV or a separate camera and controlling the wind direction according to the location, or automatically selecting the preferred channel by recognizing the user's face. There are several types, but it recognizes the location and ID of nearby users and devices through a video camera built into the household device or separately installed, and pre-stored user attribute and preference information, device attribute information, and surrounding devices and situation information. A technology that systematically analyzes and automatically controls various household devices customized by users has not yet been proposed. In addition, there is a problem in that the price of a device rises sharply in order to have a video camera, an image data processing device, various profiles, and service determination functions for each device. However, in the present invention, an independent single device or a device installed in a device such as an air conditioner is Since it is a method of automatically controlling devices, there is practical effect in terms of installation, operation, and cost.
[인용발명1] 이동통신 네트워크와 서버, 근거리 무선통신의 연동을 통한 개인 환경 서비스 장치 및 시스템, 국내특허등록 제10-0961624 (2010.05.27.)[Citation Invention 1] Personal environment service device and system through interworking of mobile communication network and server, and short-range wireless communication, domestic patent registration No. 10-0961624 (2010.05.27)
[인용발명2] 얼굴 인식 기술을 이용하여 사용자에 따라 특화된 아이피티브이 콘텐츠를 추천하는 시스템 및 방법, 국내특허출원 제10-2008-0128066 (2008.12.16.)[Citation Invention 2] A system and method for recommending specialized IPTV contents according to users using facial recognition technology, domestic patent application No. 10-2008-0128066 (2008.12.16.)
[인용발명3] 통신 시스템에서 사용자 맞춤형 서비스 추론 장치 및 방법, 국내특허출원 제 10-2011-0054579 (2011.06.07.)[Citation Invention 3] Device and method for user-customized service inference in communication system, domestic patent application No. 10-2011-0054579 (2011.06.07.)
본 발명의 목적은, 고정된 위치에 설치되거나 에어컨과 같은 기기에 내장되고 영상 카메라 기능이 있는 사용자 맞춤형 서비스 장치가, 수집된 영상 데이터를 처리하여 사용자와 기기의 형상과 위치를 인식하고 사용자의 id와 위치 및 기기의 id와 위치를 인식하며, 해당 사용자의 선호도 정보를 포함한 사용자 프로파일과 해당 기기의 속성정보를 포함한 기기 프로파일을 사전에 저장하고, 사용자가 기기의 근처에 접근하면 또는 사용자가 음성 또는 몸짓으로 명령을 하면, 해당되는 사용자와 기기 프로파일 정보 또는 명령을 분석하기도 하고, 주변의 기기 또는 생활환경정보 또는 사용자 신체 상태 정보 중에 한 가지 이상의 정보를 분석해서 사용자 맞춤형으로 해당 기기를 근거리 무선통신 또는 인터넷으로 자동으로 제어하는, 영상데이터 처리를 통한 물체인식 및 위치인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템 및 방법을 제공하는 것이다.An object of the present invention is to provide a customized service device installed in a fixed location or built into a device such as an air conditioner and equipped with a video camera function to process the collected image data to recognize the shape and location of the user and the device, and It recognizes the location of the device and the ID and location of the device, and stores the user profile including the user's preference information and the device profile including the attribute information of the device in advance, and when the user approaches the device or the user When a command is given with a gesture, the corresponding user and device profile information or command is analyzed, and one or more of the surrounding device or living environment information or the user's body state information is analyzed and the device is customized for short-range wireless communication or It is to provide a system and method for providing user-customized living services through object recognition and location recognition through image data processing, which are automatically controlled by the Internet.
또한, 본 발명의 다른 목적은, 사용자 맞춤형 서비스 장치가 사용자의 행동속성 정보 또는 기기 상태 정보를 수집하여, 스스로 사용자 프로파일 또는 기기 프로파일을 갱신하기도 하고, 사용자 맞춤형 서비스 판단 파라미터나 알고리즘을 수정하기도 한다.In addition, another object of the present invention is that a user-customized service device collects user's behavior attribute information or device status information, updates a user profile or device profile by itself, and modifies a user-customized service determination parameter or algorithm.
또한, 본 발명의 다른 목적은, 수집된 상기의 정보들을 사용자 맞춤형 서비스 장치가 원격지의 서비스 서버로 전송하여, 인터넷 정보 또는 사용자 생활정보를 종합적으로 분석하여 상기의 프로파일들이나 상기의 파라미터 또는 알고리즘을 갱신하기도 한다.In addition, another object of the present invention is to update the profiles, parameters or algorithms by comprehensively analyzing Internet information or user life information by transmitting the collected information to a remote service server by a customized service device. Sometimes it does.
또한, 본 발명의 또 다른 목적은, 사용자가 원격지에 있을 때에, 서비스 서버는 사용자의 위치, 속성, 프로파일 정보를 종합적으로 분석하여, 사용자 맞춤형 서비스 장치의 근처에 있는 사용자에게 필요한 기기의 기능을 판단하고, 해당 기기의 제어 명령을 사용자 맞춤형 서비스 장치를 통해 기기에 전송기도 한다.In addition, another object of the present invention is, when the user is in a remote location, the service server comprehensively analyzes the user's location, attribute, and profile information to determine the function of the device required by the user in the vicinity of the customized service device. In addition, the control command of the device is transmitted to the device through a customized service device.
또한, 본 발명의 또 다른 목적은, 사용자가 사전에 일정시간이나 조건에서 해당기기가 동작하도록 설정하면, 해당 조건과 일치될 때 사용자 맞춤형 서비스 장치가 해당 기기로 근거리 무선통신 또는 인터넷으로 제어명령을 보내기도 한다.In addition, another object of the present invention is, if a user sets a corresponding device to operate at a predetermined time or condition in advance, when the corresponding condition is met, the user-customized service device sends a control command to the corresponding device through short-range wireless communication or the Internet. Also send.
또한, 본 발명의 또 다른 목적은, 사용자 맞춤형 서비스 장치가 근처나 원격지에 있는 스마트폰의 id를 확인하고 인증 과정을 거친 후, 스마트폰에 저장된 해당 사용자의 사용자 프로파일을 사용자 맞춤형 서비스 장치에 저장된 사용자 프로파일과 자동으로 동기화시키기도 한다.In addition, another object of the present invention is, after the user-customized service device checks the ID of a smart phone in a nearby or remote place and undergoes an authentication process, the user profile of the user stored in the smart phone is stored in the user-customized service device. It also automatically synchronizes with the profile.
또한, 본 발명의 또 다른 목적은, 선택적으로 사용자 맞춤형 서비스 장치에서 수집한 실내영상 또는 음향신호를 외부에서 모니터링 하거나 이상이 감지된 경우에 사전에 지정된 관리자에게 알림 신호를 전송하기도 한다.In addition, another object of the present invention is to selectively monitor an indoor image or sound signal collected by a user-customized service device from the outside, or transmit a notification signal to a previously designated manager when an abnormality is detected.
또한, 본 발명의 또 다른 목적은, 사용자 맞춤형 서비스 장치에서 수집한 사용자의 위치를 서비스 서버로 전송하여 위치관리 서비스를 제공하기도 한다.In addition, another object of the present invention is to provide a location management service by transmitting the location of a user collected by a user-customized service device to a service server.
또한, 본 발명의 또 다른 목적은, 기존의 리모컨으로 제어되는 기기는, 사용자 맞춤형 서비스 장치에서 전송되는 근거리 무선통신을 이용한 기기 제어 신호를, 해당 리모컨 제어 신호로 변형시켜주는 어댑터를 추가적으로 사용하기도 한다.In addition, another object of the present invention is that a device controlled by a conventional remote control may additionally use an adapter that transforms a device control signal using short-range wireless communication transmitted from a user-customized service device into a corresponding remote control signal. .
또한, 본 발명의 또 다른 목적은, 사용자 맞춤형 서비스 장치와 기기가 상호 인식하거나 통신 또는 제어 신호를 전송시에 상호 인증하기도 한다.In addition, another object of the present invention is to mutually authenticate when a user-customized service device and a device mutually recognize or transmit communication or control signals.
또한, 본 발명의 또 다른 목적은, 사용자의 id 또는 위치를 구분하기 쉽게 하기 위해 사용자의 휴대 물품과 사용자 맞춤형 서비스 장치가 서로 신호를 송수신하기도 하고, 휴대 물품이 발광하거나 음향신호를 발생하기도 한다.In addition, another object of the present invention is that a user's portable article and a user-customized service device may transmit and receive signals to each other, and the portable article may emit light or generate an acoustic signal in order to facilitate identification of the user's ID or location.
또한, 본 발명의 또 다른 목적은, 사용자 맞춤형 서비스 장치를 통해 원격지의 서비스 서버가 기기에 접속하여 상태를 점검하거나 펌웨어를 갱신하기도 하고, 사용자 맞춤형 서비스 장치가 원격지 서버와 주변의 기기들을 상호 인식시켜 직접 상호 접속하여 상태를 점검하거나 펌웨어를 갱신하기도 한다.In addition, another object of the present invention is that a remote service server accesses the device through a user-customized service device to check the status or update the firmware, and the user-customized service device mutually recognizes the remote server and nearby devices. They can be directly interconnected to check the status or update the firmware.
또한, 본 발명의 또 다른 목적은, 사용자 맞춤형 서비스 장치에 복수의 마이크 장치를 추가하여 음성 명령을 내리는 사용자의 id 또는 위치를 확인하고, 상기 장치가 주변 기기들을 사용자 맞춤형으로 자동제어 하기도 하며, 이 정보를 분석하여 사용자 프로파일을 갱신하기도 한다.In addition, another object of the present invention is to add a plurality of microphone devices to a user-customized service device to check the ID or location of a user who issues a voice command, and the device automatically controls peripheral devices according to the user. It analyzes the information and updates the user profile.
또한, 본 발명의 또 다른 목적은, 사용자 맞춤형 서비스 장치에서 처음에 사용자 또는 기기의 id를 등록시키기 위해, 사용자 맞춤형 서비스 장치의 영상 카메라에 의해 수집된 해당 사용자 또는 기기의 영상 데이터를 상기 장치의 디스플레이 모듈 및 UI 모듈을 통해 또는 상기 장치에 통신방식으로 접속한 별도의 단말기 또는 컴퓨터에서 사용자가 확인하여 등록하기도 하고, 별도로 촬영된 사용자 또는 기기의 영상 데이터를 상기의 장치에 통신으로 접속한 별도의 단말기 또는 컴퓨터에서 상기의 장치에 해당 id와 함께 등록하면 상기 장치는 이를 기준으로 영상 카메라에 수집된 해당 사용자 또는 기기의 영상 데이터와 비교하여 사용자 또는 기기의 id를 인식하기도 한다.In addition, another object of the present invention is to display the image data of the user or device collected by the image camera of the user-customized service device in order to initially register the ID of the user or device in the user-customized service device. A separate terminal through a module and a UI module, or through a separate terminal or computer connected to the device through a communication method, by which the user checks and registers, and a separate terminal in which the image data of the separately photographed user or device is communicated to the device. Alternatively, when a computer registers the device with a corresponding ID, the device may recognize the ID of the user or device by comparing it with image data of the user or device collected by the video camera based on this.
또한, 본 발명의 또 다른 목적은, 사용자 맞춤형 서비스 장치에 사용자 또는 기기 프로파일을 등록 또는 저장할 때에, 상기 장치의 디스플레이 모듈 및 UI 모듈을 통해, 또는 상기 장치에 통신으로 접속한 별도의 단말기 또는 컴퓨터에서 사용자가 입력하기도 한다.In addition, another object of the present invention is, when registering or storing a user or device profile in a user-customized service device, through a display module and a UI module of the device, or in a separate terminal or computer connected to the device through communication It is also entered by the user.
또한, 본 발명의 또 다른 목적은, 사용자 맞춤형 서비스 장치에 수집된 영상 데이터에 복수의 사용자 id 또는 복수의 기기 id들이 인식되는 경우에, 사용자들 사이의 선호도가 다르면 이를 분석하여 가장 최적의 기기 제어 명령을 생성하기도 하고, 복수의 기기들 사이의 기능을 조정하여 해당 기기에 최적의 제어 명령을 전달하기도 한다.
In addition, another object of the present invention is, when a plurality of user IDs or a plurality of device IDs are recognized in the image data collected in a user-customized service device, if the preferences between users are different, it is analyzed to control the most optimal device. Commands are generated, and functions are coordinated between a plurality of devices to deliver optimal control commands to the devices.
일 실시예에 따른 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템은, 일정 장소에 설치되어 수집된 영상 데이터의 처리를 통해 주변 사용자나 기기의 형상과 위치를 인식하여 해당 사용자나 기기의 id 및 위치 정보를 추출하고, 사전에 저장된 사용자 프로파일 정보 및 기기의 프로파일 정보, 주변 상황정보를 분석하여 사용자 맞춤형으로 해당 기기들을 자동으로 제어하는 사용자 맞춤형 서비스 장치; 사용자 맞춤형 서비스 장치의 주변에 설치되고 제어신호를 받아서 사용자 맞춤형 생활환경을 제공하기 위해 동작하는 기기; 및 원격지에 설치되어 각종 인터넷 정보와 사용자 속성 정보, 사용자 주변 상황 정보를 분석하여 사용자 맞춤형 서비스 장치의 각종 프로파일 정보나 사용자 맞춤형 제어 판단 알고리즘 또는 파라미터를 갱신하는 서비스 서버를 포함한다.According to an embodiment, the system for providing a user-customized life service through object and location recognition through image data processing is installed in a certain place and processed by processing the collected image data to recognize the shape and location of nearby users or devices. A user-customized service device for automatically controlling corresponding devices in a user-customized manner by extracting user or device ID and location information, analyzing pre-stored user profile information, device profile information, and surrounding situation information; A device installed around a user-customized service device and operating to receive a control signal and provide a user-customized living environment; And a service server installed in a remote location to analyze various Internet information, user attribute information, and user surrounding situation information to update various profile information of a user-customized service device, a user-customized control determination algorithm, or parameter.
일 실시예에 따른 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 사용자 맞춤형 서비스 장치는, 제어모듈의 제어하에 주변의 사용자 또는 기기의 형상 또는 위치를 인식하여 해당 사용자 또는 기기의 id 및 위치 정보를 인식하기 위한 카메라 및 영상 데이터처리 모듈; 사용자 또는 기기의 선호도 또는 속성 정보를 저장하고 있는 프로파일 모듈; 상기의 프로파일과 주변 상황정보를 분석하여 사용자 맞춤형으로 기기를 제어하기 위한 서비스 판단 모듈; 및 근거리 무선통신 또는 인터넷 통신으로 기기와 통신하기 위한 통신모듈을 포함한다.According to an exemplary embodiment, a user-customized service device that provides a user-customized life service through object and location recognition through image data processing, recognizes the shape or location of a user or device in the vicinity under the control of a control module. a camera and image data processing module for recognizing id and location information; A profile module that stores user or device preference or attribute information; A service determination module configured to control a device customized by a user by analyzing the profile and surrounding situation information; And a communication module for communicating with the device through short-range wireless communication or Internet communication.
일 실시예에 따른 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 방법은, 사용자 맞춤형 서비스 장치가 사전에 사용자의 id와 외모, 선호도, 속성 정보와 주변 기기의 id와 외형, 속성 정보를 프로파일로 만들어 등록 또는 저장하는 단계; 사용자 맞춤형 서비스 장치가 수집된 영상 정보를 분석하여 주변의 사용자 또는 기기의 id 및 위치를 인식하는 단계; 해당 사용자 및 기기 프로파일과 주변 상황정보를 분석하여 사용자 맞춤형 생활환경을 설정하기 위해 필요한 주변의 기기들에게 근거리 무선통신 또는 인터넷 통신으로 제어명령을 전송하는 단계를 포함한다.
A method of providing a user-customized life service through object and location recognition through image data processing according to an embodiment, wherein the user-customized service device includes a user's ID, appearance, preference, attribute information, peripheral device id and appearance, and Registering or storing attribute information as a profile; Analyzing the collected image information by the user-customized service device to recognize the ID and location of nearby users or devices; And transmitting a control command through short-range wireless communication or Internet communication to nearby devices necessary to set a user-customized living environment by analyzing the corresponding user and device profile and surrounding situation information.
본 발명에 따르면, 사용자가 스마트폰을 휴대하지 않아도 사용자 맞춤형 서비스 장치가 내장된 스테레오 카메라로 수집된 영상 데이터 처리로 해당 사용자와 기기의 id와 위치를 인식하고, 저장된 사용자 선호도 프로파일 및 기기 속성 프로파일을 이용하여 빠르고 정확하게 사용자 맞춤형 생활환경을 설정하기 위한 기기 제어를 자동으로 실행할 수 있다. 이는 기존에 단순히 영상인식과 행동속성 정보를 저장하여 사용자가 선호하는 기능을 제공하던 부정확성에서 벗어나 사용자가 입력한 속성 프로파일 정보를 이용하므로 매우 정확하며, 게다가 행동 속성 정보를 반영하여 프로파일 정보를 갱신하므로 적응적으로 사용자 맞춤형 서비스를 제공할 수 있다. 또한 영상 정보를 분석하여 사용자의 id를 인식할 뿐만 아니라 주변 생활기기의 id를 인식함으로써 서비스의 제공 범위가 대폭 확대된 특징이 있다. According to the present invention, even if the user does not carry a smartphone, the image data collected by a stereo camera with a user-customized service device is processed to recognize the ID and location of the user and device, and the stored user preference profile and device attribute profile are stored. It can be used to quickly and accurately control the device to set up a user-customized living environment. This is very accurate because it uses the attribute profile information entered by the user, away from the inaccuracy that previously provided the user's preferred function by simply storing image recognition and behavior attribute information, and updates the profile information by reflecting the behavior attribute information. It can adaptively provide customized service. In addition, by analyzing image information, not only the user's id is recognized, but also by recognizing the id of a peripheral household device, the range of service provision has been greatly expanded.
또한, 영상 정보에서 사용자 및 기기의 위치 정보를 추출하여 사용자와 기기 사이의 위치 정보를 이용한 기기의 제어가 가능한 추가적인 특징이 있으며, 이 기능은 동일 공간에 복수의 사용자와 기기들이 공존할 때에 개인별 맞춤 서비스를 제공하는 것에 매우 필요한 기능이다. 특히 이 사용자 맞춤형 서비스 장치는 개별적인 생활기기에 내장되는 것이 아니라 거실과 같은 공용 공간에 한 대가 설치되어 모든 가전기기에 적용될 수 있으므로 기존의 별개의 시스템에 비해 설치와 비용이 훨씬 간편하고 저렴해 지는 효과가 있다. 단가가 저렴한 가전기기의 특성상 개별적으로 카메라와 영상 처리 장치, 상황인식 처리 장치를 구비하는 것은 현실적으로 불가하므로, 본 발명은 현실적인 대안이 될 것이다. In addition, there is an additional feature that enables device control using the location information between the user and the device by extracting the location information of the user and the device from the image information, and this function is personalized when multiple users and devices coexist in the same space. It is a very necessary function to provide a service. In particular, this user-customized service device is not built into individual household devices, but is installed in a common space such as a living room and can be applied to all home appliances, so installation and cost are much simpler and cheaper than existing separate systems. There is. Since it is practically impossible to individually provide a camera, an image processing device, and a situation recognition processing device due to the characteristics of a home appliance having an inexpensive unit price, the present invention will be a realistic alternative.
또한 사용자 맞춤형 서비스 장치는 원격지의 서비스 서버와 지속적으로 연동 되므로, 다양한 정보의 분석과 고도의 상황인식 처리가 가능한 이원적 시스템 구조를 지원하며, 사용자가 외부에 있을 때도 실내에 설치된 사용자 맞춤형 서비스 장치를 통해 사용자가 귀가하기 전에 미리 해당 기기를 자동으로 가동시키는 효과가 있다. 또한 사용자와 기기의 id와 프로파일 정보를 등록하는 방법이 기존의 방법보다 편리하여 실용적이다.
In addition, since the customized service device is continuously linked with the remote service server, it supports a dual system structure capable of analyzing a variety of information and processing high-level situational awareness, and provides a customized service device installed indoors even when the user is outside. Through this, there is an effect of automatically operating the device in advance before the user returns home. In addition, the method of registering user and device ID and profile information is more convenient and practical than the existing method.
도 1은 본 발명의 일실시예에 따른 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템 구성도.
도 2는 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하기 위한 사용자 맞춤형 서비스 장치의 블록도.1 is a system configuration diagram for providing a user-customized life service through object and location recognition through image data processing according to an embodiment of the present invention.
2 is a block diagram of a user-customized service device for providing a user-customized life service through object and location recognition through image data processing.
사용자 맞춤형 서비스 장치(10)에 관한 것으로, 카메라 모듈(11)을 통해 주변의 영상 데이터를 수집하며 수집된 데이터는 영상데이터처리모듈(12)에서 처리되어 사용자의 얼굴 등의 특징 데이터와 사전에 등록되어 있던 데이터를 비교하여 사용자의 신분을 인식하게 된다. 이와 함께 스테레오 카메라인 경우에는 두 가지 영상의 데이터를 처리하여 사용자의 위치를 인식할 수 있다. 또한 영상 데이터 처리를 통해 주변에 설치된 생활기기의 모양과 사전에 등록된 기기의 모양을 비교하여 기기의 고유 번호, id를 인식할 수 있으며, 마찬가지로 기기의 위치도 인식할 수 있다. 한 편 Mic 및 음성처리모듈(13)은 사용자가 음성으로 기기의 제어 명령을 내렸을 때 이를 인식하고 해당 기기에 제어 명령을 근거리 무선통신으로 전송하는 것에 사용된다. 또한 음성 명령 사용자에 대한 영상데이터 분석을 통해 해당 사용자의 id와 위치를 인식하면, 사용자의 선호도나 습성을 파악하고 사용자 프로파일의 갱신에 활용할 수 있다. 무선랜 모듈(14)은 사용자 맞춤형 서비스 장치가 기기와 통신하고 제어 명령을 전달할 때에 사용된다. 인증모듈(16)은 사용자 맞춤형 서비스 장치와 주변의 기기들이 통신할 때에 상호 확인을 위한 것이며, 사용자 프로파일 모듈(17)과 기기 프로파일 모듈(18)은 각각 사용자의 id, 선호도 및 속성 정보와 기기의 id, 위치 및 속성 정보 등을 저장한 것으로, 사용자와 기기의 id가 파악되면 각각의 속성 정보와 주변 상황 정보를 사용자 맞춤형 서비스 판단 모듈(19)에서 분석하여 사용자에게 맞춤형의 생활환경을 설정하기 위해 주변 기기들을 적절하게 제어하기 위한 명령을 판단하게 된다. 이 명령은 통신과 인증 작업을 거친 후에 해당 기기에 전송된다. 디스플레이 모듈(20) 및 UI(User Interface) 모듈(21)을 통해 사전에 사용자와 기기의 등록이 가능하다. 즉 카메라 모듈을 통해 수집된 사용자의 영상 데이터를 디스플레이 모듈에 표시하고 사용자가 신분 id와 선호도 및 속성 정보를 UI 모듈을 통해 입력하도록 한다. 마찬가지로 기기에 대해서도 디스플레이에 나타난 기기의 고유번호와 제조업체, 모델번호, 속성정보 등을 입력할 수 있다. 한 번 등록된 정보는 추후 영상데이터처리모듈에서 사용자와 기기의 id를 인식하는데에 사용된다.Regarding the user-customized
본 발명에 대한 한 실시 예를 들면, 사용자가 자신의 거실 벽에 사용자 맞춤형 서비스 장치를 구입하여 설치한다. 이때 가족들이 차례로 상기 장치의 스테레오 카메라 앞에 서서 사진을 찍고 자신의 이름과 좋아하는 온도, 조명 밝기, TV 채널, 음악 종류 등을 사용자 프로파일로 상기 장치의 디스플레이를 통해 입력한다. 이 작업은 스마트폰이나 컴퓨터를 통해 상기 장치에 접속하여 수행할 수도 있다. 또한 사용자는 상기 장치에서 수집된 영상 정보에 나타난 에어컨, 선풍기, TV, 오디오, 조명기기 등에 고유 id를 부여하고 해당 기기의 종류, 기능, 제조업체, 모델 번호 등을 기기 프로파일로 입력한다. 이 작업도 역시 스마트폰이나 컴퓨터로 할 수 있다. 상기 장치의 디스플레이가 터치 스크린이라면 영상 정보에 나타난 기기를 터치하며 작업을 진행할 수 있다. 기기 프로파일은 기기에 저장될 수 도 있으며, 이 경우에는 상기의 장치는 통신에 의해 이 프로파일 정보를 입수하여 사용한다. 이후에 사용자가 거실의 소파에 앉으면 상기의 장치가 사용자의 id와 위치를 인식하고 사용자 프로파일을 분석하며 주변 기기들의 id와 위치를 인식하고 기기 프로파일을 분석하여 사용자가 원하는 생활환경을 설정하기 위해 자동으로 사용자가 좋아하는 뉴스 채널을 켜고 에어컨을 가동하여 14도로 기온을 설정한다. 상기 장치가 판단하여 필요하면 선풍기도 동시에 가동하여 냉방의 효과를 높일 수도 있다. 사용자가 소파에서 일어나 창가로 가면 상기의 장치는 사용자가 TV에 관심이 없다고 판단하고 TV를 끄며 오디오를 켜서 사용자가 좋아하는 음악을 재생한다. 이윽고 사용자가 거실에서 사라지면 상기의 장치는 오디오와 에어컨, 조명기기를 자동으로 모두 끄고, 시간대가 저녁인 경우에는 최소 조명만을 켠다. 이 조명도 심야에는 자동으로 끄며, 적외선 카메라 기능이 있어 밤에 거실에 사람이 인식되면 조명을 자동으로 켜고 사용자 인식과 사용자 맞춤형 서비스를 제공한다.
이러한 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템은 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템으로서, 일정 장소에 설치되어 수집된 영상 데이터의 처리를 통해 주변 사용자나 기기의 형상과 위치를 인식하여 해당 사용자나 기기의 id 및 위치 정보를 추출하고, 사전에 저장된 사용자 프로파일 정보 및 기기의 프로파일 정보, 주변 상황정보를 분석하여 사용자 맞춤형으로 해당 기기들 을 자동으로 제어하는 사용자 맞춤형 서비스 장치; 상기 사용자 맞춤형 서비스 장치의 주변에 설치되어 상호 인증 및 제어신호를 받아서 사용자 맞춤형 생활환경을 제공하기 위해 동작하는 기기; 및 원격지에 설치되어 각종 인터넷 정보와 사용자 속성 정보, 사용자 주변 상황정보를 분석하여 사용자 맞춤형 서비스 장치의 각종 프로파일 정보나 사용자 맞춤형 제어 판단 알고리즘 또는 파라미터를 갱신하는 서비스 서버를 포함한다.
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템은 수집된 상기의 정보들을 상기의 사용자 맞춤형 서비스 장치가 상기의 원격지의 서비스 서버로 전송하여, 인터넷 정보 또는 사용자 생활정보를 종합적으로 분석하여 상기의 프로파일들이나 상기의 파라미터 또는 알고리즘을 갱신한다.
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템은 사용자가 원격지에 있을 때에, 상기 서비스 서버는 사용자의 위치, 속성, 프로파일 정보를 종합적으로 분석하여, 상기 사용자 맞춤형 서비스 장치의 근처에 있는 사용자에게 필요한 기기의 기능을 판단하고, 해당 기기의 제어 명령을 사용자맞춤형 서비스 장치를 통해 기기에 전송한다.
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템은 사용자가 사전에 일정시간이나 조건에서 해당기기가 동작하도록 설정하면, 해당 조건과 일치될 때 사용자 맞춤형 서비스 장치가 해당 기기로 근거리 무선통신 또는 인터넷으로 제어명령을 보낸다.
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템은 사용자가 휴대하고 있는 스마트폰을 더 포함하고, 상기의 사용자 맞춤형 서비스 장치가 근처나 원격지에 있는 상기의 스마트폰의 id를 확인하고 인증 과정을 거친 후, 스마트폰에 저장된 해당 사용자의 사용자 프로파일을 사용자 맞춤형 서비스 장치에 저장된 사용자 프로파일과 자동으로 동기화시킨다.
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템은 사용자 맞춤형 서비스 장치에서 수집한 사용자의 위치를 서비스 서버로 전송하여 위치관리 서비스를 제공한다.
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템은 기존의 리모컨으로 제어되는 기기는, 사용자 맞춤형 서비스 장치에서 전송되는 근거리 무선통신을 이용한 기기 제어 신호를, 해당 리모컨 제어 신호로 변형시켜주는 어댑터를 추가적으로 사용한다.
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템은 사용자의 id 또는 위치를 구분하기 쉽게 하기 위해 사용자의 휴대 물품과 사용자 맞춤형 서비스 장치가 서로 신호를 송수신하기도 하고, 휴대 물품이 발광하거나 음향신호를 발생한다.
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템은 사용자 맞춤형 서비스 장치를 통해 원격지의 서비스 서버가 기기에 접속하여 상태를 점검하거나 펌웨어를 갱신하기도 하고, 사용자 맞춤형 서비스 장치가 원격지 서버와 주변의 기기들을 상호 인식시켜 직접 상호 접속하여 상태를 점검하거나 펌웨어를 갱신한다.
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템은 사용자 맞춤형 서비스 장치에 복수의 마이크 장치를 추가하여 음성 명령을 내리는 사용자의 id 또는 위치를 확인하고, 상기 장치가 주변 기기들을 사용자 맞춤형으로 자동제어 하기도 하며, 이 정보를 분석하여 사용자 프로파일을 갱신한다.
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템은 사용자 맞춤형 서비스 장치에서 처음에 사용자 또는 기기의 id를 등록시키기 위해, 사용자 맞춤형 서비스 장치의 영상 카메라에 의해 수집된 해당 사용자 또는 기기의 영상 데이터를 상기 장치의 디스플레이 모듈 및 UI 모듈을 통해 또는 상기 장치에 통신방식으로 접속한 별도의 단말기 또는 컴퓨터에서 사용자가 확인하여 등록하기도 하고, 별도로 촬영된 사용자 또는 기기의 영상 데이터를 상기의 장치에 통신으로 접속한 별도의 단말기 또는 컴퓨터에서 상기의 장치에 해당 id와 함께 등록하면 상기 장치는 이를 기준으로 영상 카메라에 수집된 해당 사용자 또는 기기의 영상 데이터와 비교하여 사용자 또는 기기의 id를 인식한다.
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템은 사용자 맞춤형 서비스 장치에 사용자 또는 기기 프로파일을 등록 또는 저장할 때에, 상기 장치의 디스플레이 모듈 및 UI 모듈을 통해, 또는 상기 장치에 통신으로 접속한 별도의 단말기 또는 컴퓨터에서 사용자가 입력한다.
하는 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템은 사용자 맞춤형 서비스 장치에 수집된 영상 데이터에 복수의 사용자 id 또는 복수의 기기 id들이 인식되는 경우에, 사용자들 사이의 선호도가 다르면 이를 분석하여 가장 최적의 기기 제어 명령을 생성하기도 하고, 복수의 기기들 사이의 기능을 조정하여 해당 기기에 최적의 제어 명령을 전달한다.
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 사용자 맞춤형 서비스 장치는 제어모듈의 제어하에 주변의 사용자 또는 기기의 형상 또는 위치를 인식하여 해당 사용자 또는 기기의 id 및 위치 정보를 인식하기 위한 카메라 및 영상 데이터 처리 모듈; 사용자 또는 기기의 선호도 또는 속성 정보를 저장하고 있는 프로파일 모듈; 상기의 프로파일과 주변 상황정보를 분석하여 사용자 맞춤형으로 기기를 제어하기위한 서비스 판단 모듈; 및 근거리 무선통신 또는 인터넷 통신으로 기기와 통신하기 위한 통신모듈을 포함한다.
사용자 맞춤형 서비스 장치는 상기의 사용자 맞춤형 서비스 장치가 사용자의 행동속성 정보 또는 기기 상태 정보를 수집하여, 스스로 사용자 프로파일 또는 기기 프로파일을 갱신하기도 하고, 사용자 맞춤형 서비스 판단 파라미터나 알고리즘을 수정한다.
사용자 맞춤형 서비스 장치는 상기의 사용자 맞춤형 서비스 장치를 통해 실내영상 또는 음향신호를 외부에서 스마트폰이나 컴퓨터로 모니터링 하거나 이상이 감지된 경우에 사전에 지정된 관리자의 스마트폰이나 컴퓨터로 알림 신호를 전송한다.
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 방법은 사용자 맞춤형 서비스 장치가 사전에 사용자의 id와 외모, 선호도, 속성 정보와 주변 기기의 id와 외형, 속성 정보를 프로파일로 만들어 등록 또는 저장하는 단계; 사용자 맞춤형 서비스 장치가 수집된 영상 정보를 분석하여 주변의 사용자 또는 기기의 id 및 위치를 인식하는 단계; 및 해당 사용자 및 기기 프로파일과 주변 상황정보를 분석하여 사용자 맞춤형 생활환경을 설정하기 위해 필요한 주변의 기기들에게 근거리 무선통신 또는 인터넷 통신으로 제어명령을 전송하는 단계를 포함한다.In one embodiment of the present invention, a user purchases and installs a customized service device on the wall of his/her living room. At this time, the family members in turn stand in front of the stereo camera of the device, take a picture, and input their name, favorite temperature, lighting brightness, TV channel, and music type as a user profile through the display of the device. This operation can also be performed by accessing the device through a smartphone or computer. In addition, the user assigns a unique ID to the air conditioner, fan, TV, audio, and lighting device shown in the image information collected from the device, and inputs the type, function, manufacturer, and model number of the device as a device profile. You can also do this with a smartphone or computer. If the display of the device is a touch screen, the operation can be performed by touching the device indicated in the image information. The device profile may be stored in the device, and in this case, the device obtains and uses this profile information through communication. Later, when the user sits on the sofa in the living room, the above device recognizes the user's id and location, analyzes the user profile, recognizes the ID and location of peripheral devices, analyzes the device profile, and automatically sets the desired living environment. Turn on the news channel the user likes and turn on the air conditioner to set the temperature to 14 degrees. The device may determine and, if necessary, operate the fan at the same time to increase the cooling effect. When the user gets up from the sofa and goes to the window, the device determines that the user is not interested in the TV, turns off the TV, turns on the audio, and plays the music that the user likes. When the user disappears from the living room before long, the above device automatically turns off all audio, air conditioner, and lighting equipment, and turns on only the minimum light when the time zone is evening. This light is also automatically turned off at night, and has an infrared camera function that automatically turns on the light when a person is recognized in the living room at night, providing user recognition and customized service.
The system that provides user-customized life services through object and location recognition through image data processing is a system that provides user-customized life services through object and location recognition through image data processing. Through processing, it recognizes the shape and location of nearby users or devices, extracts the ID and location information of the user or device, and analyzes previously stored user profile information, device profile information, and surrounding situation information to customize the device. A user-customized service device that automatically controls the devices; A device installed around the user-customized service device and operating to provide a user-customized living environment by receiving mutual authentication and control signals; And a service server that is installed in a remote location and updates various profile information of a user-customized service device, a user-customized control determination algorithm or parameter by analyzing various Internet information, user attribute information, and user surrounding situation information.
In the system that provides a user-customized life service through object and location recognition through image data processing, the user-customized service device transmits the collected information to the service server in the remote location, and comprehensively collects Internet information or user life information. And update the above profiles, parameters, or algorithms.
In a system that provides a user-customized life service through object and location recognition through image data processing, when a user is in a remote location, the service server comprehensively analyzes the user's location, attribute, and profile information, It determines the function of a device that is needed by nearby users, and transmits a control command of the device to the device through a user-customized service device.
In a system that provides user-customized living services through object and location recognition through image data processing, if the user sets the device to operate at a certain time or condition in advance, the user-customized service device is sent to the device when the corresponding condition is met. Send control commands through short-range wireless communication or the Internet.
The system for providing a user-customized life service through object and location recognition through image data processing further includes a smartphone carried by the user, and the user-customized service device identifies the ID of the smartphone in a nearby or remote location. After checking and authenticating, the user profile of the user stored in the smartphone is automatically synchronized with the user profile stored in the customized service device.
A system that provides a user-customized life service through object and location recognition through image data processing provides a location management service by transmitting a user's location collected from a user-customized service device to a service server.
In the system that provides user-customized living services through object and location recognition through image data processing, devices controlled by a conventional remote control receive device control signals using short-range wireless communication transmitted from user-customized service devices as corresponding remote control control signals. Use additional adapters to transform.
In a system that provides a user-customized life service through object and location recognition through image data processing, a user's portable item and a user-customized service device may transmit and receive signals to each other to make it easier to distinguish the user's ID or location, and It emits light or generates an acoustic signal.
In a system that provides user-customized living services through object and location recognition through image data processing, a service server in a remote location accesses the device through a user-customized service device to check the status or update the firmware, and the user-customized service device is located in a remote location. Server and peripheral devices are mutually recognized and directly connected to each other to check the status or update the firmware.
A system that provides a user-customized life service through object and location recognition through image data processing, by adding a plurality of microphone devices to a user-customized service device, checks the ID or location of a user who issues a voice command, and the device detects peripheral devices. It also performs automatic control tailored to users, and updates the user profile by analyzing this information.
A system that provides a user-customized life service through object and location recognition through image data processing is to register the user's or device's ID initially in the user-customized service device, The image data of the device may be checked and registered by the user through the display module and the UI module of the device or in a separate terminal or computer connected to the device through a communication method. When a separate terminal or computer connected to the device via communication registers with the corresponding ID in the device, the device recognizes the ID of the user or device by comparing it with the image data of the user or device collected by the video camera based on this. do.
A system that provides a user-customized life service through object and location recognition through image data processing communicates with or through a display module and a UI module of the device when registering or storing a user or device profile in a user-customized service device. The user inputs it from a separate terminal or computer accessed by.
A system that provides a user-customized life service through object and location recognition through image data processing is a preference among users when a plurality of user IDs or a plurality of device IDs are recognized in image data collected in a user-customized service device. If is different, it analyzes this to generate the most optimal device control command, and transmits the optimal control command to the corresponding device by adjusting functions between a plurality of devices.
A user-customized service device that provides a user-customized life service through object and location recognition through image data processing recognizes the shape or location of nearby users or devices under the control of a control module to recognize the ID and location information of the user or device. A camera and an image data processing module for processing; A profile module that stores user or device preference or attribute information; A service determination module configured to control a device customized by a user by analyzing the profile and surrounding situation information; And a communication module for communicating with the device through short-range wireless communication or Internet communication.
In the user-customized service device, the user-customized service device collects user behavior attribute information or device status information, updates a user profile or device profile by itself, and modifies a user-customized service determination parameter or algorithm.
The user-customized service device monitors an indoor image or sound signal from the outside with a smartphone or computer through the user-customized service device, or transmits a notification signal to a smartphone or computer of a predetermined administrator when an abnormality is detected.
The method of providing a user-customized life service through object and location recognition through image data processing is to make a user-customized service device a profile of the user's ID, appearance, preference, attribute information, and peripheral device id, appearance, and attribute information in advance. Registering or storing; Analyzing the collected image information by the user-customized service device to recognize the ID and location of nearby users or devices; And transmitting a control command through short-range wireless communication or Internet communication to nearby devices necessary to set a user-customized living environment by analyzing the corresponding user and device profile and surrounding situation information.
여기서, 본 발명의 여러 실시예를 도시하여 설명하였지만, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
Here, although several embodiments of the present invention have been illustrated and described, those skilled in the art having ordinary knowledge in the technical field to which the present invention pertains will be able to see that the present embodiments can be modified without departing from the principles or spirit of the present invention. will be. The scope of the invention will be determined by the appended claims and their equivalents.
Claims (18)
상기 사용자 맞춤형 서비스 장치와 통신하며, 인터넷 정보와 사용자 프로파일, 사용자의 주변 상황 정보를 분석하여 상기 사용자 맞춤형 서비스 장치의 사용자 프로파일, 기기 프로파일, 또는 사용자 맞춤형 제어 판단 알고리즘을 갱신하는 서비스 서버
를 포함하는 사용자 맞춤형 생활서비스를 제공하는 시스템.Recognizing the unique number and location of the user and the unique number and location of the device by using the acquired image data, and the user profile corresponding to the recognized unique number of the user and the device profile corresponding to the recognized unique number of the device A user-customized service device configured to output a control command for controlling an operation of the recognized device by analyzing the identified user profile, the identified device profile, and surrounding situation information to the device; And
A service server that communicates with the user-customized service device and updates the user profile, device profile, or user-customized control determination algorithm of the user-customized service device by analyzing Internet information, user profile, and surrounding situation information of the user
A system that provides a user-customized living service including a.
상기 서비스 서버는 상기의 사용자 맞춤형 서비스 장치로부터 전송되는
상기 사용자의 고유번호와 위치, 상기 기기의 고유번호와 위치, 상기 사용자 프로파일, 상기 기기 프로파일 및 상기 주변 상황 정보를 수신하여 상기 사용자 맞춤형 서비스 장치의 사용자 프로파일, 기기 프로파일, 또는 사용자 맞춤형 제어 판단 알고리즘을 갱신하는 사용자 맞춤형 생활서비스를 제공하는 시스템. The method of claim 1,
The service server is transmitted from the user-customized service device
Receiving the unique number and location of the user, the unique number and location of the device, the user profile, the device profile, and the surrounding situation information to determine a user profile, a device profile, or a user-customized control determination algorithm of the user-customized service device. A system that provides updated and customized living services.
상기 서비스 서버는 사용자의 위치 및 사용자 프로파일을 분석하여, 상기 사용자에게 필요한 기기를 판단하고, 제어 명령을 사용자 맞춤형 서비스 장치를 통해 판단된 상기 기기로 전송하는 사용자 맞춤형 생활서비스를 제공하는 시스템.The method of claim 1,
The service server analyzes the user's location and user profile, determines a device necessary for the user, and transmits a control command to the determined device through a user-customized service device.
상기 사용자 맞춤형 서비스 장치는 정해진 시간이나 조건이 되면 정해진 기기로 제어명령을 전송하는 사용자 맞춤형 생활서비스를 제공하는 시스템.The method of claim 1,
The user-customized service device is a system for providing a user-customized life service that transmits a control command to a predetermined device when a predetermined time or condition is met.
상기 서비스 서버는 사용자 맞춤형 서비스 장치를 통해 기기에 접속하여 상기 기기의 상태를 점검하고, 기기와 상호 접속하여 접속된 상기 기기의 상태를 점검하거나 펌웨어를 갱신하는 사용자 맞춤형 생활서비스를 제공하는 시스템.The method of claim 1,
The service server accesses a device through a user-customized service device, checks the state of the device, and interconnects with the device to check the state of the connected device or to update the firmware.
상기 사용자 맞춤형 서비스 장치는 Mic 및 음성처리 모듈을 포함하고,
상기 Mic 및 음성처리 모듈은 음성 명령을 내리는 사용자의 고유번호와 위치를 확인하여, 상기 사용자 맞춤형 서비스 장치가 상기 사용자의 주변에 위치하는 기기를 제어하도록 하는 사용자 맞춤형 생활서비스를 제공하는 시스템.The method of claim 1,
The user-customized service device includes a Mic and a voice processing module,
The Mic and voice processing module is a system that provides a customized life service that allows the user-customized service device to control devices located around the user by checking the unique number and location of the user who issues the voice command.
상기 사용자 맞춤형 서비스 장치에서 획득된 영상 데이터를 이용하여 복수의 사용자에 대한 복수 개의 고유번호나 복수의 기기에 대한 복수 개의 고유번호가 인식되고, 복수의 사용자 각각에 대한 사용자 프로파일이 상이하면, 가장 최적의 기기 제어 명령을 생성하거나 복수의 기기 사이의 기능을 조정하여 해당 기기에 최적의 제어 명령을 전달하는 사용자 맞춤형 생활서비스를 제공하는 시스템.The method of claim 1,
If a plurality of unique numbers for a plurality of users or a plurality of unique numbers for a plurality of devices are recognized using the image data obtained from the customized service device, and the user profiles for each of the plurality of users are different, the most optimal A system that provides user-customized living services that deliver optimal control commands to the corresponding devices by generating device control commands of the device or adjusting functions between a plurality of devices.
기기의 고유번호와 기기 프로파일을 저장하고 있는 기기 프로파일 모듈;
영상 데이터를 획득하는 카메라 모듈; 및
상기 카메라 모듈과 연결되어 있고, 획득된 상기 영상 데이터를 이용하여 사용자의 고유 번호와 위치 및 기기의 고유번호와 위치를 인식하는 영상 데이터 처리 모듈; 및 상기 영상 데이터 처리 모듈과 연결되어 있고, 상기 사용자 프로파일 모듈에 저장되어 있는 사용자 프로파일을 이용하여 인식된 상기 사용자의 고유번호에 해당하는 사용자 프로파일을 파악하고, 상기 기기 프로파일 모듈에 저장되어 있는 사용자 프로파일을 이용하여 인식된 상기 기기의 고유번호에 해당하는 기기 프로파일을 파악하며, 파악된 상기 사용자 프로파일, 파악된 상기 기기 프로파일 및 주변 상황 정보를 분석하여 인식된 상기 기기의 동작을 제어하는 제어 명령을 상기 기기로 출력하는 사용자 맞춤형 서비스 판단 모듈
을 포함하는 사용자 맞춤형 서비스 장치.A user profile module storing a user's identification number and a user profile;
A device profile module storing a device identification number and a device profile;
A camera module for obtaining image data; And
An image data processing module connected to the camera module and for recognizing a unique number and location of a user and a unique number and location of a device using the acquired image data; And a user profile connected to the image data processing module and corresponding to the recognized user's unique number by using a user profile stored in the user profile module, and stored in the device profile module. The device profile corresponding to the recognized unique number of the device is identified, and a control command for controlling the recognized operation of the device is generated by analyzing the identified user profile, the identified device profile, and surrounding situation information. User-customized service judgment module output to the device
User customized service device comprising a.
상기 사용자 맞춤형 서비스 판단 모듈에 연결되어 있고, 상기 제어 명령을 상기 기기에 무선 통신으로 전송하는 무선랜 모듈
을 더 포함하는 사용자 맞춤형 서비스 장치.The method of claim 8,
A wireless LAN module connected to the user-customized service determination module and transmitting the control command to the device through wireless communication
User customized service device further comprising a.
상기 사용자 프로파일은 사용자의 선호도를 포함하는 사용자 맞춤형 서비스 장치.The method of claim 8,
The user profile is a customized service device including user preferences.
상기 기기 프로파일은 기기의 종류, 기기의 기능, 제조업체 및 모델 번호를 포함하는 사용자 맞춤형 서비스 장치.The method of claim 8,
The device profile is a customized service device including a device type, device function, manufacturer, and model number.
상기 사용자 맞춤형 서비스 장치가 사용자의 행동속성 정보 또는 기기 상태 정보를 수집하여, 스스로 사용자 프로파일 또는 기기 프로파일을 갱신하고, 사용자 맞춤형 서비스 판단 파라미터나 알고리즘을 수정하는 사용자 맞춤형 서비스 장치.The method of claim 8,
The user-customized service device in which the user-customized service device collects user's behavior attribute information or device status information, updates a user profile or device profile by itself, and modifies a user-customized service determination parameter or algorithm.
상기 사용자 맞춤형 서비스 장치를 통해 실내영상 또는 음향신호를 외부에서 스마트폰이나 컴퓨터로 모니터링 하거나 이상이 감지된 경우에 사전에 지정된 관리자의 스마트폰이나 컴퓨터로 알림 신호를 전송하는 사용자 맞춤형 서비스 장치.The method of claim 8,
A user-customized service device that monitors an indoor image or sound signal from the outside through the user-customized service device with a smartphone or computer, or transmits a notification signal to a smartphone or computer of a pre-designated administrator when an abnormality is detected.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130093382A KR102144554B1 (en) | 2013-08-07 | 2013-08-07 | personalized living service apparatus and system for providing personalized living services |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130093382A KR102144554B1 (en) | 2013-08-07 | 2013-08-07 | personalized living service apparatus and system for providing personalized living services |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150018663A KR20150018663A (en) | 2015-02-24 |
| KR102144554B1 true KR102144554B1 (en) | 2020-08-13 |
Family
ID=52578083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130093382A KR102144554B1 (en) | 2013-08-07 | 2013-08-07 | personalized living service apparatus and system for providing personalized living services |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102144554B1 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102387867B1 (en) | 2015-09-07 | 2022-04-18 | 삼성전자주식회사 | Method and apparatus for transmitting and receiving data in communication system |
| KR20180024927A (en) | 2016-08-31 | 2018-03-08 | 삼성전자주식회사 | Display apparatus and method for controlling a display apparatus |
| KR102217301B1 (en) * | 2019-02-13 | 2021-02-18 | 라인 가부시키가이샤 | Contact control of artificial intelligence reflecting personal schedule and lifestyle |
| US20210403054A1 (en) * | 2019-07-31 | 2021-12-30 | Lg Electronics Inc. | Vehicle allocation method in automated vehicle and highway system and apparatus therefor |
| KR20240054610A (en) * | 2022-10-19 | 2024-04-26 | 삼성전자주식회사 | Electronic device for authenticating device and method thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011145873A2 (en) * | 2010-05-17 | 2011-11-24 | 엘지전자 주식회사 | Home appliance, home appliance system, and method for operating same |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040057914A (en) * | 2002-12-23 | 2004-07-02 | 한국전자통신연구원 | Control Protocol Translation Apparatus And Method Thereof |
| KR20060076839A (en) * | 2004-12-29 | 2006-07-05 | 학교법인 대양학원 | Apparatus and method for providing context-aware service |
| KR101772456B1 (en) * | 2010-11-11 | 2017-08-30 | 엘지전자 주식회사 | Multimedia device, multiple image sensors having different types and the method for controlling the same |
| KR101722262B1 (en) * | 2010-12-16 | 2017-03-31 | 엘지전자 주식회사 | Control method for air conditioning apparatus |
-
2013
- 2013-08-07 KR KR1020130093382A patent/KR102144554B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011145873A2 (en) * | 2010-05-17 | 2011-11-24 | 엘지전자 주식회사 | Home appliance, home appliance system, and method for operating same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150018663A (en) | 2015-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10558323B1 (en) | Systems and methods for smart home automation using a multifunction status and entry point icon | |
| US11257356B2 (en) | Systems and methods for presenting security questions via connected security system | |
| US11929844B2 (en) | Customized interface based on vocal input | |
| US10985936B2 (en) | Customized interface based on vocal input | |
| US10332516B2 (en) | Media transfer among media output devices | |
| CN105118257B (en) | Intelligent control system and method | |
| US20190355014A1 (en) | Predictive analytics system | |
| US12081830B2 (en) | Video integration with home assistant | |
| KR102144554B1 (en) | personalized living service apparatus and system for providing personalized living services | |
| KR20190099586A (en) | Electronic apparatus, controlling method of electronic apparatus and server | |
| CN112005281A (en) | System and method for power management on smart devices | |
| US20180320915A1 (en) | Information processing device, electronic apparatus, method, and program | |
| CN109196352B (en) | System and method for monitoring an object and its state by using acoustic signals | |
| US20230119058A1 (en) | Operating-system-level setup for multi-ecosystem smart-home devices | |
| KR20220001903A (en) | Cloud platform based apartment home smart home system | |
| WO2023069621A1 (en) | Operating-system-level setup for multi-ecosystem smart-home devices | |
| CN117957525A (en) | Hierarchical mobile application launch |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |