KR20150018663A - A system and method for personalized living services by identification and positioning by image processing - Google Patents
A system and method for personalized living services by identification and positioning by image processing Download PDFInfo
- Publication number
- KR20150018663A KR20150018663A KR20130093382A KR20130093382A KR20150018663A KR 20150018663 A KR20150018663 A KR 20150018663A KR 20130093382 A KR20130093382 A KR 20130093382A KR 20130093382 A KR20130093382 A KR 20130093382A KR 20150018663 A KR20150018663 A KR 20150018663A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- customized
- image data
- information
- service
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/24—Radio transmission systems, i.e. using radiation field for communication between two or more posts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4108—Peripherals receiving signals from specially adapted client devices characterised by an identification number or address, e.g. local network address
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Abstract
Description
본 발명은 영상데이터 처리를 통한 물체인식 및 위치인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템에 관한 것으로, 구체적으로 사용자 맞춤형 서비스 장치의 영상 카메라를 통해 수집된 데이터를 처리하여 주변의 사용자 및 각종 생활기기들의 id와 위치를 인식하고, 해당 id에 따른 사용자 프로파일 및 기기 프로파일, 주변 상황정보 등을 분석하여 해당 사용자에게 가장 적합한 생활환경이 되도록 주변 기기들을 자동적으로 제어하기 위한 사용자 맞춤형 생활서비스를 제공하는 시스템이다.
The present invention relates to a system for providing a user-customized living service by object recognition and location recognition through image data processing. More specifically, the present invention relates to a system for processing data collected through a video camera of a user- And a system for providing a user-customized living service for automatically controlling the peripheral devices to be a living environment most suitable for the user by analyzing the user profile and device profile according to the corresponding id, to be.
최근 스마트폰의 보급이 확대되고 있으며 지능형 가전에 대한 수요가 증가하고 있다. 또한 기술과 사회가 발전함에 따라 개인 맞춤형 서비스에 대한 요구가 증대되고 있다. Recently, the spread of smart phones is expanding and demand for intelligent home appliances is increasing. Also, as technology and society develop, demand for personalized service is increasing.
종래기술의 하나인 인용발명1에 의하면, 스마트폰에 사용자의 선호도 정보를 저장하고 있다가 근거리 무선통신을 이용하여 주변의 생활기기를 인식하고 선호도 정보에 따라 스마트폰이 자동적으로 생활기기를 사용자 맞춤형으로 제어하는 시스템이 발명되었다. 그러나 이 경우 사용자가 항상 스마트폰을 휴대하고 있어야 하는 불편함과 단점이 있다.According to Reference 1, which is one of the prior arts, the user's preference information is stored in the smartphone, and the user is aware of the surrounding living equipment using the short-range wireless communication, and the smartphone automatically A system has been invented. However, there are inconveniences and disadvantages that users always have to carry smart phones.
또 다른 종래기술인 인용발명2에 의하면, 사용자 단말기가 얼굴 인식 알고리즘을 이용하여 사용자와 시청 성향 정보를 인식하고 이것을 이용하여 추천 컨텐츠 목록을 생성하며 사용자에게 제공하는 IPTV 컨텐츠 추천 시스템이 발명되었다. 그러나 이 시스템은 IPTV에 국한 된 것으로 사용자 선호도 정보가 매우 제한적이며 사용자 단말기로 사용자의 얼굴을 인식하는 것도 실용적이지 못한 문제점이 있다.According to another prior art reference 2, an IPTV contents recommendation system has been invented in which a user terminal recognizes viewing orientation information with a user using a face recognition algorithm, generates a recommended content list using the information and provides the list to a user. However, this system is limited to IPTV, and there is a problem that user preference information is very limited and it is not practical to recognize a user's face with a user terminal.
또 다른 종래기술인 인용발명3에 의하면, 사용자 단말의 카메라에서 영상 데이터를 수집하고 이를 원격지의 서비스 추론장치에서 분석하여 사용자를 식별하며 사용자 정보 데이터 데이터 베이스의 정보를 참조하여 사용자 맞춤형 서비스를 생성하고, 이것을 상기의 단말로 전송하는 방법이 발명되었다. 그러나 이 방식은 단말의 카메라를 이용하므로 사용자 주변의 영상 데이터를 정확히 수집하기 어렵고, 주변의 생활기기들을 인식하고 사용자 맞춤형으로 자동 제어하는 것이 아니라 단말의 기능에 한정되어 사용자 맞춤형 서비스를 제공하는 것이므로, 본 발명과는 그 목적과 방법이 다르다.According to another prior art reference 3, a camera of a user terminal collects image data, analyzes the image data in a remote service inference device to identify a user, creates a user-customized service by referring to information of a user information data database, And a method for transmitting this to the terminal has been invented. However, since this method uses a camera of the terminal, it is difficult to accurately collect image data around the user, and it is possible to provide a user-customized service limited to the functions of the terminal rather than recognizing peripheral devices and automatically controlling the user- The purpose and method differ from the present invention.
에어컨이나 TV에 내장된 카메라나 별개의 카메라로부터 주변 사용자의 위치를 인식하고 해당 위치에 맞도록 풍향을 제어하거나, 사용자의 안면을 인식하여 평소에 선호하는 채널을 자동으로 선택하는 등의 발명과 제품은 여러 가지 있지만, 생활기기에 내장되거나 별도로 설치된 영상 카메라를 통해 주변의 사용자 및 기기의 위치와 id를 인식하고, 사전에 저장된 사용자의 속성 및 선호도 정보와 기기의 속성 정보, 주변의 기기와 상황 정보를 체계적으로 분석하여 각종 생활기기들을 사용자 맞춤형으로 자동으로 제어하는 기술은 아직 제안되지 못했다. 또한 기기마다 영상 카메라와 영상 데이터 처리장치 및 각종 프로파일, 서비스 판단 기능을 구비하기 위해서는 기기의 가격이 급등하는 문제가 있으나, 본 발명에서는 독립적인 단일 장치나 에어컨과 같은 기기에 설치된 장치가 주변의 모든 기기들을 자동으로 제어하는 방법이므로 설치와 운용, 비용면에서 실용적인 효과가 있다.Invention and product such as recognizing the position of the surrounding user from the camera built in the air conditioner or the TV or a separate camera, controlling the wind direction to match the position, or recognizing the face of the user and automatically selecting the favorite channel But it is also possible to recognize the location and id of the user and device in the vicinity through the video camera installed in the living appliance or installed separately, and to store the property and preference information of the user stored in advance and the property information of the device, Has not yet been proposed to systematically analyze various devices and automatically control them in a customized manner. In addition, there is a problem that the price of the device is increased in order to have a video camera, an image data processing device, various profiles, and a service judgment function for each device, but in the present invention, a device installed in an independent single device, It is a way to control devices automatically, so it has a practical effect in terms of installation, operation and cost.
[인용발명1] 이동통신 네트워크와 서버, 근거리 무선통신의 연동을 통한 개인 환경 서비스 장치 및 시스템, 국내특허등록 제10-0961624 (2010.05.27.)[Citation 1] Personal environment service apparatus and system through interworking of mobile communication network, server, and short range wireless communication, registered in domestic patent 10-0961624 (May 28, 2010).
[인용발명2] 얼굴 인식 기술을 이용하여 사용자에 따라 특화된 아이피티브이 콘텐츠를 추천하는 시스템 및 방법, 국내특허출원 제10-2008-0128066 (2008.12.16.)[Citation 2] System and method for recommending specialized contents based on user using face recognition technology, domestic patent application 10-2008-0128066 (December 16, 2008).
[인용발명3] 통신 시스템에서 사용자 맞춤형 서비스 추론 장치 및 방법, 국내특허출원 제 10-2011-0054579 (2011.06.07.)[Citation 3] User-customized service reasoning apparatus and method in a communication system, domestic patent application 10-2011-0054579 (June 7, 2011)
본 발명의 목적은, 고정된 위치에 설치되거나 에어컨과 같은 기기에 내장되고 영상 카메라 기능이 있는 사용자 맞춤형 서비스 장치가, 수집된 영상 데이터를 처리하여 사용자와 기기의 형상과 위치를 인식하고 사용자의 id와 위치 및 기기의 id와 위치를 인식하며, 해당 사용자의 선호도 정보를 포함한 사용자 프로파일과 해당 기기의 속성정보를 포함한 기기 프로파일을 사전에 저장하고, 사용자가 기기의 근처에 접근하면 또는 사용자가 음성 또는 몸짓으로 명령을 하면, 해당되는 사용자와 기기 프로파일 정보 또는 명령을 분석하기도 하고, 주변의 기기 또는 생활환경정보 또는 사용자 신체 상태 정보 중에 한 가지 이상의 정보를 분석해서 사용자 맞춤형으로 해당 기기를 근거리 무선통신 또는 인터넷으로 자동으로 제어하는, 영상데이터 처리를 통한 물체인식 및 위치인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템 및 방법을 제공하는 것이다.An object of the present invention is to provide a user-customized service device installed in a fixed position or built in a device such as an air-conditioner and having an image camera function, processes the collected image data to recognize the shape and position of the user and the device, And stores the device profile including the user profile including the user's preference information and the attribute information of the corresponding device in advance, and when the user approaches the vicinity of the device, If a gesture command is given, the user may analyze the user profile and / or the device profile information, analyze one or more pieces of information about the surrounding device or the living environment information or the user's physical status information, Automatically controlled by the Internet, through image data processing And to provide a system and method for providing a user-customized living service by object recognition and location recognition.
또한, 본 발명의 다른 목적은, 사용자 맞춤형 서비스 장치가 사용자의 행동속성 정보 또는 기기 상태 정보를 수집하여, 스스로 사용자 프로파일 또는 기기 프로파일을 갱신하기도 하고, 사용자 맞춤형 서비스 판단 파라미터나 알고리즘을 수정하기도 한다.Another object of the present invention is that the user-customized service apparatus collects the behavior attribute information or the device status information of the user, updates the user profile or the device profile by itself, and modifies the user-customized service determination parameter or algorithm.
또한, 본 발명의 다른 목적은, 수집된 상기의 정보들을 사용자 맞춤형 서비스 장치가 원격지의 서비스 서버로 전송하여, 인터넷 정보 또는 사용자 생활정보를 종합적으로 분석하여 상기의 프로파일들이나 상기의 파라미터 또는 알고리즘을 갱신하기도 한다.It is a further object of the present invention to provide a method and a system for collecting the collected information by transmitting the collected information to a service server of a remote location by a user-customized service device, comprehensively analyzing Internet information or user's life information, It is also said.
또한, 본 발명의 또 다른 목적은, 사용자가 원격지에 있을 때에, 서비스 서버는 사용자의 위치, 속성, 프로파일 정보를 종합적으로 분석하여, 사용자 맞춤형 서비스 장치의 근처에 있는 사용자에게 필요한 기기의 기능을 판단하고, 해당 기기의 제어 명령을 사용자 맞춤형 서비스 장치를 통해 기기에 전송기도 한다.It is a further object of the present invention to provide a service providing system and a service providing method of a service providing system that comprehensively analyzes a user's location, attribute, and profile information when a user is at a remote location, And transmits the control command of the device to the device through the user-customized service device.
또한, 본 발명의 또 다른 목적은, 사용자가 사전에 일정시간이나 조건에서 해당기기가 동작하도록 설정하면, 해당 조건과 일치될 때 사용자 맞춤형 서비스 장치가 해당 기기로 근거리 무선통신 또는 인터넷으로 제어명령을 보내기도 한다.It is still another object of the present invention to provide a method and apparatus for controlling a user when a user sets a device to operate in a predetermined time or condition in advance, I also send it.
또한, 본 발명의 또 다른 목적은, 사용자 맞춤형 서비스 장치가 근처나 원격지에 있는 스마트폰의 id를 확인하고 인증 과정을 거친 후, 스마트폰에 저장된 해당 사용자의 사용자 프로파일을 사용자 맞춤형 서비스 장치에 저장된 사용자 프로파일과 자동으로 동기화시키기도 한다.It is still another object of the present invention to provide a method and system for a user-customized service device, in which a user's profile of a user stored in a smart phone is stored in a user- It also synchronizes automatically with the profile.
또한, 본 발명의 또 다른 목적은, 선택적으로 사용자 맞춤형 서비스 장치에서 수집한 실내영상 또는 음향신호를 외부에서 모니터링 하거나 이상이 감지된 경우에 사전에 지정된 관리자에게 알림 신호를 전송하기도 한다.Yet another object of the present invention is to selectively monitor an indoor video or audio signal collected by a user-customized service device from outside or transmit a notification signal to a predetermined administrator when an abnormality is detected.
또한, 본 발명의 또 다른 목적은, 사용자 맞춤형 서비스 장치에서 수집한 사용자의 위치를 서비스 서버로 전송하여 위치관리 서비스를 제공하기도 한다.Yet another object of the present invention is to provide a location management service by transmitting a location of a user collected by a user-customized service device to a service server.
또한, 본 발명의 또 다른 목적은, 기존의 리모컨으로 제어되는 기기는, 사용자 맞춤형 서비스 장치에서 전송되는 근거리 무선통신을 이용한 기기 제어 신호를, 해당 리모컨 제어 신호로 변형시켜주는 어댑터를 추가적으로 사용하기도 한다.Yet another object of the present invention is to provide an apparatus for controlling an existing remote control device, further comprising an adapter for transforming a device control signal using short-range wireless communication transmitted from a user-customized service device into a corresponding remote control signal .
또한, 본 발명의 또 다른 목적은, 사용자 맞춤형 서비스 장치와 기기가 상호 인식하거나 통신 또는 제어 신호를 전송시에 상호 인증하기도 한다.It is a further object of the present invention to mutually recognize a user-customized service apparatus and a device, or to mutually authenticate a communication or a control signal.
또한, 본 발명의 또 다른 목적은, 사용자의 id 또는 위치를 구분하기 쉽게 하기 위해 사용자의 휴대 물품과 사용자 맞춤형 서비스 장치가 서로 신호를 송수신하기도 하고, 휴대 물품이 발광하거나 음향신호를 발생하기도 한다.It is a further object of the present invention to provide a portable personal digital assistant (PDA) and a user-customized service device that transmit and receive signals to each other to easily distinguish a user's id or position from each other.
또한, 본 발명의 또 다른 목적은, 사용자 맞춤형 서비스 장치를 통해 원격지의 서비스 서버가 기기에 접속하여 상태를 점검하거나 펌웨어를 갱신하기도 하고, 사용자 맞춤형 서비스 장치가 원격지 서버와 주변의 기기들을 상호 인식시켜 직접 상호 접속하여 상태를 점검하거나 펌웨어를 갱신하기도 한다.It is a further object of the present invention to provide a method and apparatus for controlling a remote service server by connecting a remote service server to a device through a user-customized service device to check the status or update the firmware, Directly interconnect to check status or update firmware.
또한, 본 발명의 또 다른 목적은, 사용자 맞춤형 서비스 장치에 복수의 마이크 장치를 추가하여 음성 명령을 내리는 사용자의 id 또는 위치를 확인하고, 상기 장치가 주변 기기들을 사용자 맞춤형으로 자동제어 하기도 하며, 이 정보를 분석하여 사용자 프로파일을 갱신하기도 한다.It is a further object of the present invention to provide a method and apparatus for identifying a user id or location of a voice command by adding a plurality of microphone devices to a user-customized service device, automatically controlling the peripheral devices in a customized manner, The user profile is also updated by analyzing the information.
또한, 본 발명의 또 다른 목적은, 사용자 맞춤형 서비스 장치에서 처음에 사용자 또는 기기의 id를 등록시키기 위해, 사용자 맞춤형 서비스 장치의 영상 카메라에 의해 수집된 해당 사용자 또는 기기의 영상 데이터를 상기 장치의 디스플레이 모듈 및 UI 모듈을 통해 또는 상기 장치에 통신방식으로 접속한 별도의 단말기 또는 컴퓨터에서 사용자가 확인하여 등록하기도 하고, 별도로 촬영된 사용자 또는 기기의 영상 데이터를 상기의 장치에 통신으로 접속한 별도의 단말기 또는 컴퓨터에서 상기의 장치에 해당 id와 함께 등록하면 상기 장치는 이를 기준으로 영상 카메라에 수집된 해당 사용자 또는 기기의 영상 데이터와 비교하여 사용자 또는 기기의 id를 인식하기도 한다.It is still another object of the present invention to provide a method and apparatus for registering image data of a user or a device collected by an image camera of a user- A user may register the image data of the user or the device photographed separately from the user through a module or a UI module or a separate terminal or a computer connected to the device by a communication method, Alternatively, if the computer registers with the corresponding id in the device, the device compares it with the image data of the corresponding user or device collected in the image camera to recognize the id of the user or device.
또한, 본 발명의 또 다른 목적은, 사용자 맞춤형 서비스 장치에 사용자 또는 기기 프로파일을 등록 또는 저장할 때에, 상기 장치의 디스플레이 모듈 및 UI 모듈을 통해, 또는 상기 장치에 통신으로 접속한 별도의 단말기 또는 컴퓨터에서 사용자가 입력하기도 한다.It is still another object of the present invention to provide a method and apparatus for registering or storing a user or a device profile in a user-customized service device, via a display module and a UI module of the device, or in a separate terminal or computer communicatively connected to the device The user may also input.
또한, 본 발명의 또 다른 목적은, 사용자 맞춤형 서비스 장치에 수집된 영상 데이터에 복수의 사용자 id 또는 복수의 기기 id들이 인식되는 경우에, 사용자들 사이의 선호도가 다르면 이를 분석하여 가장 최적의 기기 제어 명령을 생성하기도 하고, 복수의 기기들 사이의 기능을 조정하여 해당 기기에 최적의 제어 명령을 전달하기도 한다.
It is still another object of the present invention to provide a method and apparatus for analyzing a plurality of user IDs or a plurality of device IDs in image data collected by a user- Commands, and adjusts functions among a plurality of devices to transmit optimal control commands to the devices.
일 실시예에 따른 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템은, 일정 장소에 설치되어 수집된 영상 데이터의 처리를 통해 주변 사용자나 기기의 형상과 위치를 인식하여 해당 사용자나 기기의 id 및 위치 정보를 추출하고, 사전에 저장된 사용자 프로파일 정보 및 기기의 프로파일 정보, 주변 상황정보를 분석하여 사용자 맞춤형으로 해당 기기들을 자동으로 제어하는 사용자 맞춤형 서비스 장치; 사용자 맞춤형 서비스 장치의 주변에 설치되고 제어신호를 받아서 사용자 맞춤형 생활환경을 제공하기 위해 동작하는 기기; 및 원격지에 설치되어 각종 인터넷 정보와 사용자 속성 정보, 사용자 주변 상황 정보를 분석하여 사용자 맞춤형 서비스 장치의 각종 프로파일 정보나 사용자 맞춤형 제어 판단 알고리즘 또는 파라미터를 갱신하는 서비스 서버를 포함한다.A system for providing a user-customized living service by object and location recognition through image data processing according to an exemplary embodiment recognizes the shape and location of peripheral users or devices through processing of collected image data installed in a predetermined place, A user-customized service device for extracting id and position information of a user or a device, analyzing user profile information stored in advance, profile information of the device, and surrounding situation information, and automatically controlling the devices in a customized manner; A device installed around the user-customized service device and operated to receive a control signal to provide a customized living environment; And a service server installed at a remote location and analyzing various Internet information, user attribute information, and user circumstance information to update various profile information of the user-customized service device, or a user-customized control determination algorithm or parameter.
일 실시예에 따른 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 사용자 맞춤형 서비스 장치는, 제어모듈의 제어하에 주변의 사용자 또는 기기의 형상 또는 위치를 인식하여 해당 사용자 또는 기기의 id 및 위치 정보를 인식하기 위한 카메라 및 영상 데이터처리 모듈; 사용자 또는 기기의 선호도 또는 속성 정보를 저장하고 있는 프로파일 모듈; 상기의 프로파일과 주변 상황정보를 분석하여 사용자 맞춤형으로 기기를 제어하기 위한 서비스 판단 모듈; 및 근거리 무선통신 또는 인터넷 통신으로 기기와 통신하기 위한 통신모듈을 포함한다.A user-customized service apparatus for providing a user-customized living service by object and position recognition through image data processing according to an exemplary embodiment recognizes the shape or position of a user or device in the vicinity under the control of the control module, a camera and an image data processing module for recognizing the id and the position information; A profile module storing preference or attribute information of a user or a device; A service determination module for analyzing the profile and the surrounding information to control the device in a customized manner; And a communication module for communicating with the device via short-range wireless communication or Internet communication.
일 실시예에 따른 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 방법은, 사용자 맞춤형 서비스 장치가 사전에 사용자의 id와 외모, 선호도, 속성 정보와 주변 기기의 id와 외형, 속성 정보를 프로파일로 만들어 등록 또는 저장하는 단계; 사용자 맞춤형 서비스 장치가 수집된 영상 정보를 분석하여 주변의 사용자 또는 기기의 id 및 위치를 인식하는 단계; 해당 사용자 및 기기 프로파일과 주변 상황정보를 분석하여 사용자 맞춤형 생활환경을 설정하기 위해 필요한 주변의 기기들에게 근거리 무선통신 또는 인터넷 통신으로 제어명령을 전송하는 단계를 포함한다.
A method for providing a user-customized living service by object and location recognition through image data processing according to an exemplary embodiment is a method in which a user-customized service device acquires user's id, appearance, preference, attribute information, id, Registering or storing attribute information as a profile; Analyzing image information collected by the user-customized service device to recognize the id and position of the user or device in the vicinity; And transmitting the control command to the peripheral devices necessary for setting the user-customized living environment by the near-field wireless communication or the internet communication by analyzing the user and the device profile and the surrounding situation information.
본 발명에 따르면, 사용자가 스마트폰을 휴대하지 않아도 사용자 맞춤형 서비스 장치가 내장된 스테레오 카메라로 수집된 영상 데이터 처리로 해당 사용자와 기기의 id와 위치를 인식하고, 저장된 사용자 선호도 프로파일 및 기기 속성 프로파일을 이용하여 빠르고 정확하게 사용자 맞춤형 생활환경을 설정하기 위한 기기 제어를 자동으로 실행할 수 있다. 이는 기존에 단순히 영상인식과 행동속성 정보를 저장하여 사용자가 선호하는 기능을 제공하던 부정확성에서 벗어나 사용자가 입력한 속성 프로파일 정보를 이용하므로 매우 정확하며, 게다가 행동 속성 정보를 반영하여 프로파일 정보를 갱신하므로 적응적으로 사용자 맞춤형 서비스를 제공할 수 있다. 또한 영상 정보를 분석하여 사용자의 id를 인식할 뿐만 아니라 주변 생활기기의 id를 인식함으로써 서비스의 제공 범위가 대폭 확대된 특징이 있다. According to the present invention, even if the user does not carry the smartphone, the id and position of the user and the device are recognized by the image data processing collected by the stereo camera with the built-in user-service device, and the stored user preference profile and device property profile The device control can be automatically executed to quickly and accurately set the user-customized living environment. This is very accurate because it uses the attribute profile information inputted by the user, which is out of the inaccuracy that the user has preferred functions by simply storing the image recognition and behavior attribute information, and updates the profile information by reflecting the behavior attribute information It is possible to adaptively provide a user-customized service. In addition, it not only recognizes the id of the user by analyzing the image information, but also recognizes the id of peripheral devices, thereby providing a wide range of services.
또한, 영상 정보에서 사용자 및 기기의 위치 정보를 추출하여 사용자와 기기 사이의 위치 정보를 이용한 기기의 제어가 가능한 추가적인 특징이 있으며, 이 기능은 동일 공간에 복수의 사용자와 기기들이 공존할 때에 개인별 맞춤 서비스를 제공하는 것에 매우 필요한 기능이다. 특히 이 사용자 맞춤형 서비스 장치는 개별적인 생활기기에 내장되는 것이 아니라 거실과 같은 공용 공간에 한 대가 설치되어 모든 가전기기에 적용될 수 있으므로 기존의 별개의 시스템에 비해 설치와 비용이 훨씬 간편하고 저렴해 지는 효과가 있다. 단가가 저렴한 가전기기의 특성상 개별적으로 카메라와 영상 처리 장치, 상황인식 처리 장치를 구비하는 것은 현실적으로 불가하므로, 본 발명은 현실적인 대안이 될 것이다. Further, there is an additional feature that can control the device using the positional information between the user and the device by extracting the location information of the user and the device from the image information, and this function can be customized when a plurality of users and devices coexist in the same space It is a function that is very necessary to provide service. Especially, this user-customized service device is installed in a common space such as living room instead of being embedded in individual living equipment, and can be applied to all home appliances. Therefore, installation and cost are much simpler and cheaper than existing separate systems . It is practically impossible to separately provide a camera, an image processing device, and a situation recognition processing device, and therefore, the present invention will be a realistic alternative.
또한 사용자 맞춤형 서비스 장치는 원격지의 서비스 서버와 지속적으로 연동 되므로, 다양한 정보의 분석과 고도의 상황인식 처리가 가능한 이원적 시스템 구조를 지원하며, 사용자가 외부에 있을 때도 실내에 설치된 사용자 맞춤형 서비스 장치를 통해 사용자가 귀가하기 전에 미리 해당 기기를 자동으로 가동시키는 효과가 있다. 또한 사용자와 기기의 id와 프로파일 정보를 등록하는 방법이 기존의 방법보다 편리하여 실용적이다.
In addition, since the user-customized service device is continuously linked with the service server in the remote location, it supports a dual system structure capable of analyzing various information and processing of high-level situation recognition. Has the effect of automatically activating the corresponding device before the user returns home. Also, the method of registering the id and profile information of the user and the device is more practical than the conventional method.
도 1은 본 발명의 일실시예에 따른 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템 구성도.
도 2는 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하기 위한 사용자 맞춤형 서비스 장치의 블록도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a system for providing a customized living service by object and location recognition through image data processing according to an embodiment of the present invention; FIG.
FIG. 2 is a block diagram of a user-customized service apparatus for providing a user-customized living service by object and location recognition through image data processing.
사용자 맞춤형 서비스 장치(10)에 관한 것으로, 카메라 모듈(11)을 통해 주변의 영상 데이터를 수집하며 수집된 데이터는 영상데이터처리모듈(12)에서 처리되어 사용자의 얼굴 등의 특징 데이터와 사전에 등록되어 있던 데이터를 비교하여 사용자의 신분을 인식하게 된다. 이와 함께 스테레오 카메라인 경우에는 두 가지 영상의 데이터를 처리하여 사용자의 위치를 인식할 수 있다. 또한 영상 데이터 처리를 통해 주변에 설치된 생활기기의 모양과 사전에 등록된 기기의 모양을 비교하여 기기의 고유 번호, id를 인식할 수 있으며, 마찬가지로 기기의 위치도 인식할 수 있다. 한 편 Mic 및 음성처리모듈(13)은 사용자가 음성으로 기기의 제어 명령을 내렸을 때 이를 인식하고 해당 기기에 제어 명령을 근거리 무선통신으로 전송하는 것에 사용된다. 또한 음성 명령 사용자에 대한 영상데이터 분석을 통해 해당 사용자의 id와 위치를 인식하면, 사용자의 선호도나 습성을 파악하고 사용자 프로파일의 갱신에 활용할 수 있다. 무선랜 모듈(14)은 사용자 맞춤형 서비스 장치가 기기와 통신하고 제어 명령을 전달할 때에 사용된다. 인증모듈(16)은 사용자 맞춤형 서비스 장치와 주변의 기기들이 통신할 때에 상호 확인을 위한 것이며, 사용자 프로파일 모듈(17)과 기기 프로파일 모듈(18)은 각각 사용자의 id, 선호도 및 속성 정보와 기기의 id, 위치 및 속성 정보 등을 저장한 것으로, 사용자와 기기의 id가 파악되면 각각의 속성 정보와 주변 상황 정보를 사용자 맞춤형 서비스 판단 모듈(19)에서 분석하여 사용자에게 맞춤형의 생활환경을 설정하기 위해 주변 기기들을 적절하게 제어하기 위한 명령을 판단하게 된다. 이 명령은 통신과 인증 작업을 거친 후에 해당 기기에 전송된다. 디스플레이 모듈(20) 및 UI(User Interface) 모듈(21)을 통해 사전에 사용자와 기기의 등록이 가능하다. 즉 카메라 모듈을 통해 수집된 사용자의 영상 데이터를 디스플레이 모듈에 표시하고 사용자가 신분 id와 선호도 및 속성 정보를 UI 모듈을 통해 입력하도록 한다. 마찬가지로 기기에 대해서도 디스플레이에 나타난 기기의 고유번호와 제조업체, 모델번호, 속성정보 등을 입력할 수 있다. 한 번 등록된 정보는 추후 영상데이터처리모듈에서 사용자와 기기의 id를 인식하는데에 사용된다.The user-customized
본 발명에 대한 한 실시 예를 들면, 사용자가 자신의 거실 벽에 사용자 맞춤형 서비스 장치를 구입하여 설치한다. 이때 가족들이 차례로 상기 장치의 스테레오 카메라 앞에 서서 사진을 찍고 자신의 이름과 좋아하는 온도, 조명 밝기, TV 채널, 음악 종류 등을 사용자 프로파일로 상기 장치의 디스플레이를 통해 입력한다. 이 작업은 스마트폰이나 컴퓨터를 통해 상기 장치에 접속하여 수행할 수도 있다. 또한 사용자는 상기 장치에서 수집된 영상 정보에 나타난 에어컨, 선풍기, TV, 오디오, 조명기기 등에 고유 id를 부여하고 해당 기기의 종류, 기능, 제조업체, 모델 번호 등을 기기 프로파일로 입력한다. 이 작업도 역시 스마트폰이나 컴퓨터로 할 수 있다. 상기 장치의 디스플레이가 터치 스크린이라면 영상 정보에 나타난 기기를 터치하며 작업을 진행할 수 있다. 기기 프로파일은 기기에 저장될 수 도 있으며, 이 경우에는 상기의 장치는 통신에 의해 이 프로파일 정보를 입수하여 사용한다. 이후에 사용자가 거실의 소파에 앉으면 상기의 장치가 사용자의 id와 위치를 인식하고 사용자 프로파일을 분석하며 주변 기기들의 id와 위치를 인식하고 기기 프로파일을 분석하여 사용자가 원하는 생활환경을 설정하기 위해 자동으로 사용자가 좋아하는 뉴스 채널을 켜고 에어컨을 가동하여 14도로 기온을 설정한다. 상기 장치가 판단하여 필요하면 선풍기도 동시에 가동하여 냉방의 효과를 높일 수도 있다. 사용자가 소파에서 일어나 창가로 가면 상기의 장치는 사용자가 TV에 관심이 없다고 판단하고 TV를 끄며 오디오를 켜서 사용자가 좋아하는 음악을 재생한다. 이윽고 사용자가 거실에서 사라지면 상기의 장치는 오디오와 에어컨, 조명기기를 자동으로 모두 끄고, 시간대가 저녁인 경우에는 최소 조명만을 켠다. 이 조명도 심야에는 자동으로 끄며, 적외선 카메라 기능이 있어 밤에 거실에 사람이 인식되면 조명을 자동으로 켜고 사용자 인식과 사용자 맞춤형 서비스를 제공한다.In one embodiment of the present invention, a user purchases and installs a customized service device on the wall of his / her living room. At this time, the family stands in front of the stereo camera of the device, takes a picture, inputs their name, favorite temperature, brightness of the lighting, TV channel, music type and the like through the display of the device as a user profile. This operation may be performed by connecting to the device through a smart phone or a computer. In addition, the user assigns unique IDs to the air conditioner, the fan, the TV, the audio, and the lighting device shown in the image information collected by the device, and inputs the type, function, manufacturer, This work can also be done with a smartphone or a computer. If the display of the device is a touch screen, the user can touch the device displayed in the image information and proceed with the operation. The device profile may be stored in the device, in which case the device obtains and uses this profile information by communication. Then, when the user sits on the sofa of the living room, the above device recognizes the id and position of the user, analyzes the user profile, recognizes the id and position of peripheral devices, analyzes the device profile, Turn on the user's favorite news channel, turn on the air conditioner, and set the air temperature at 14 degrees. The device may judge it and if necessary, the fan may be operated at the same time to enhance the cooling effect. When the user wakes up from the sofa and goes to the window, the above device judges that the user is not interested in the TV, turns off the TV, turns on the audio, and plays the user's favorite music. When the user disappears from the living room, the device automatically turns off the audio, the air conditioner, and the lighting device. When the time zone is evening, only the minimum illumination is turned on. The lights are automatically turned off in the middle of the night, and the infrared camera function automatically turns on the lights when people are recognized in the living room at night, providing user recognition and customized services.
여기서, 본 발명의 여러 실시예를 도시하여 설명하였지만, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications and variations will be apparent to those skilled in the art without departing from the scope and spirit of the invention. will be. The scope of the invention will be determined by the appended claims and their equivalents.
Claims (18)
일정 장소에 설치되어 수집된 영상 데이터의 처리를 통해 주변 사용자나 기기의 형상과 위치를 인식하여 해당 사용자나 기기의 id 및 위치 정보를 추출하고, 사전에 저장된 사용자 프로파일 정보 및 기기의 프로파일 정보, 주변 상황정보를 분석하여 사용자 맞춤형으로 해당 기기들을 자동으로 제어하는 사용자 맞춤형 서비스 장치;
상기 사용자 맞춤형 서비스 장치의 주변에 설치되어 상호 인증 및 제어신호를 받아서 사용자 맞춤형 생활환경을 제공하기 위해 동작하는 기기; 및
원격지에 설치되어 각종 인터넷 정보와 사용자 속성 정보, 사용자 주변 상황 정보를 분석하여 사용자 맞춤형 서비스 장치의 각종 프로파일 정보나 사용자 맞춤형 제어 판단 알고리즘 또는 파라미터를 갱신하는 서비스 서버
를 포함하는 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템.A system for providing a user-customized living service by object and location recognition through image data processing,
The image and the location of the user or the device are recognized through the processing of the collected image data and the id and position information of the user or the device is recognized, and the user profile information, the profile information of the device, A user-customized service device for automatically controlling the devices in a user-customized manner by analyzing the situation information;
A device installed around the user-customized service device and operating to provide a user-customized living environment by receiving mutual authentication and control signals; And
A service server installed at a remote location and updating various profile information of the user-customized service device or a user-customized control determination algorithm or parameter by analyzing various Internet information, user attribute information,
To provide a user-customized living service with object and location recognition through image data processing.
수집된 상기의 정보들을 상기의 사용자 맞춤형 서비스 장치가 상기의 원격지의 서비스 서버로 전송하여, 인터넷 정보 또는 사용자 생활정보를 종합적으로 분석하여 상기의 프로파일들이나 상기의 파라미터 또는 알고리즘을 갱신하는
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템The method according to claim 1,
The user-customized service device transmits the collected information to the remote service server, comprehensively analyzes the Internet information or user's life information, and updates the profiles or the parameters or algorithms
A system that provides customized living services by object and location recognition through image data processing
사용자가 원격지에 있을 때에, 상기 서비스 서버는 사용자의 위치, 속성, 프로파일 정보를 종합적으로 분석하여, 상기 사용자 맞춤형 서비스 장치의 근처에 있는 사용자에게 필요한 기기의 기능을 판단하고, 해당 기기의 제어 명령을 사용자 맞춤형 서비스 장치를 통해 기기에 전송하는
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템The method according to claim 1,
When the user is at a remote location, the service server comprehensively analyzes the location, attribute, and profile information of the user to determine the function of the device necessary for the user near the user-customized service device, To a device via a user-customized service device
A system that provides customized living services by object and location recognition through image data processing
사용자가 사전에 일정시간이나 조건에서 해당기기가 동작하도록 설정하면, 해당 조건과 일치될 때 사용자 맞춤형 서비스 장치가 해당 기기로 근거리 무선통신 또는 인터넷으로 제어명령을 보내는
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템The method according to claim 1,
If the user sets the device to operate in a predetermined time or condition in advance, when the user-customized service device sends the control command to the device through the short-range wireless communication or the Internet
A system that provides customized living services by object and location recognition through image data processing
사용자가 휴대하고 있는 스마트폰을 더 포함하고,
상기의 사용자 맞춤형 서비스 장치가 근처나 원격지에 있는 상기의 스마트폰의 id를 확인하고 인증 과정을 거친 후, 스마트폰에 저장된 해당 사용자의 사용자 프로파일을 사용자 맞춤형 서비스 장치에 저장된 사용자 프로파일과 자동으로 동기화시키는
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템The method according to claim 1,
It further includes a smartphone carried by the user,
The user-customized service device checks the id of the smartphone in the neighborhood or the remote location, authenticates the user, and automatically synchronizes the user profile of the user stored in the smart phone with the user profile stored in the user-customized service device
A system that provides customized living services by object and location recognition through image data processing
사용자 맞춤형 서비스 장치에서 수집한 사용자의 위치를 서비스 서버로 전송하여 위치관리 서비스를 제공하는
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템The method according to claim 1,
The location of the user collected by the user-customized service device is transmitted to the service server to provide the location management service
A system that provides customized living services by object and location recognition through image data processing
기존의 리모컨으로 제어되는 기기는, 사용자 맞춤형 서비스 장치에서 전송되는 근거리 무선통신을 이용한 기기 제어 신호를, 해당 리모컨 제어 신호로 변형시켜주는 어댑터를 추가적으로 사용하는
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템The method according to claim 1,
An apparatus controlled by an existing remote control additionally uses an adapter for transforming a device control signal using short-range wireless communication transmitted from a user-customized service apparatus into a corresponding remote control signal
A system that provides customized living services by object and location recognition through image data processing
사용자의 id 또는 위치를 구분하기 쉽게 하기 위해 사용자의 휴대 물품과 사용자 맞춤형 서비스 장치가 서로 신호를 송수신하기도 하고, 휴대 물품이 발광 하거나 음향신호를 발생하는
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템The method according to claim 1,
In order to make it easy to distinguish the id or position of the user, the portable article of the user and the user-customized service apparatus transmit and receive signals with each other, and when the portable article emits light or generates an acoustic signal
A system that provides customized living services by object and location recognition through image data processing
사용자 맞춤형 서비스 장치를 통해 원격지의 서비스 서버가 기기에 접속하여 상태를 점검하거나 펌웨어를 갱신하기도 하고, 사용자 맞춤형 서비스 장치가 원격지 서버와 주변의 기기들을 상호 인식시켜 직접 상호 접속하여 상태를 점검하거나 펌웨어를 갱신하는
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템The method according to claim 1,
The service server of the remote site may check the status or update the firmware through the user-customized service device, or the user-customized service device may recognize the remote server and the surrounding devices mutually to directly check the status, Renew
A system that provides customized living services by object and location recognition through image data processing
사용자 맞춤형 서비스 장치에 복수의 마이크 장치를 추가하여 음성 명령을 내리는 사용자의 id 또는 위치를 확인하고, 상기 장치가 주변 기기들을 사용자 맞춤형으로 자동제어 하기도 하며, 이 정보를 분석하여 사용자 프로파일을 갱신하는
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템The method according to claim 1,
A plurality of microphone devices are added to the user-customized service device to confirm the id or position of the user who issues a voice command, the device automatically controls the peripheral devices in a customized manner, and the information is analyzed to update the user profile
A system that provides customized living services by object and location recognition through image data processing
사용자 맞춤형 서비스 장치에 복수의 마이크 장치를 추가하여 음성 명령을 내리는 사용자의 id 또는 위치를 확인하고, 상기 장치가 주변 기기들을 사용자 맞춤형으로 자동제어 하기도 하며, 이 정보를 분석하여 사용자 프로파일을 갱신하는
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템The method according to claim 1,
A plurality of microphone devices are added to the user-customized service device to confirm the id or position of the user who issues a voice command, the device automatically controls the peripheral devices in a customized manner, and the information is analyzed to update the user profile
A system that provides customized living services by object and location recognition through image data processing
사용자 맞춤형 서비스 장치에서 처음에 사용자 또는 기기의 id를 등록시키기 위해, 사용자 맞춤형 서비스 장치의 영상 카메라에 의해 수집된 해당 사용자 또는 기기의 영상 데이터를 상기 장치의 디스플레이 모듈 및 UI 모듈을 통해 또는 상기 장치에 통신방식으로 접속한 별도의 단말기 또는 컴퓨터에서 사용자가 확인하여 등록하기도 하고, 별도로 촬영된 사용자 또는 기기의 영상 데이터를 상기의 장치에 통신으로 접속한 별도의 단말기 또는 컴퓨터에서 상기의 장치에 해당 id와 함께 등록하면 상기 장치는 이를 기준으로 영상 카메라에 수집된 해당 사용자 또는 기기의 영상 데이터와 비교하여 사용자 또는 기기의 id를 인식하는
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템The method according to claim 1,
The image data of the corresponding user or device collected by the image camera of the user-customized service device may be transmitted to the device through the display module and the UI module of the device or to the device A separate terminal or a computer connected by a communication method may confirm the user and register the video data of the user or the device separately from the video data of the user or the device, When registered together, the device compares it with the image data of the corresponding user or device collected by the image camera,
A system that provides customized living services by object and location recognition through image data processing
사용자 맞춤형 서비스 장치에 사용자 또는 기기 프로파일을 등록 또는 저장할 때에, 상기 장치의 디스플레이 모듈 및 UI 모듈을 통해, 또는 상기 장치에 통신으로 접속한 별도의 단말기 또는 컴퓨터에서 사용자가 입력하는
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템The method according to claim 1,
When a user or a device profile is registered or stored in a user-customized service device, the display module and the UI module of the device, or a separate terminal or computer connected to the device by communication,
A system that provides customized living services by object and location recognition through image data processing
사용자 맞춤형 서비스 장치에 수집된 영상 데이터에 복수의 사용자 id 또는 복수의 기기 id들이 인식되는 경우에, 사용자들 사이의 선호도가 다르면 이를 분석하여 가장 최적의 기기 제어 명령을 생성하기도 하고, 복수의 기기들 사이의 기능을 조정하여 해당 기기에 최적의 제어 명령을 전달하는
영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템The method according to claim 1,
In a case where a plurality of user IDs or a plurality of device IDs are recognized in the image data collected by the user-customized service device, if the preferences among the users are different, it is analyzed to generate the most optimal device control command, To transmit the optimum control command to the corresponding device
A system that provides customized living services by object and location recognition through image data processing
제어모듈의 제어하에 주변의 사용자 또는 기기의 형상 또는 위치를 인식하여 해당 사용자 또는 기기의 id 및 위치 정보를 인식하기 위한 카메라 및 영상 데이터처리 모듈;
사용자 또는 기기의 선호도 또는 속성 정보를 저장하고 있는 프로파일 모듈; 상기의 프로파일과 주변 상황정보를 분석하여 사용자 맞춤형으로 기기를 제어하기 위한 서비스 판단 모듈; 및
근거리 무선통신 또는 인터넷 통신으로 기기와 통신하기 위한 통신모듈
을 포함하는 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 사용자 맞춤형 서비스 장치.A user-customized service apparatus for providing a user-customized living service by object and position recognition through image data processing,
A camera and an image data processing module for recognizing the shape or position of a user or device in the vicinity under the control of the control module and recognizing id and position information of the user or device;
A profile module storing preference or attribute information of a user or a device; A service determination module for analyzing the profile and the surrounding information to control the device in a customized manner; And
A communication module for communicating with the device through short-range wireless communication or Internet communication
And providing a user-customized living service by recognizing an object and a location through image data processing.
상기의 사용자 맞춤형 서비스 장치가 사용자의 행동속성 정보 또는 기기 상태 정보를 수집하여, 스스로 사용자 프로파일 또는 기기 프로파일을 갱신하기도 하고, 사용자 맞춤형 서비스 판단 파라미터나 알고리즘을 수정하는
사용자 맞춤형 서비스 장치.16. The method of claim 15,
The user-customized service device collects the behavior attribute information or the device status information of the user, updates the user profile or the device profile by itself, and modifies the user-customized service determination parameter or algorithm
A customized service device.
상기의 사용자 맞춤형 서비스 장치를 통해 실내영상 또는 음향신호를 외부에서 스마트폰이나 컴퓨터로 모니터링 하거나 이상이 감지된 경우에 사전에 지정된 관리자의 스마트폰이나 컴퓨터로 알림 신호를 전송하는
사용자 맞춤형 서비스 장치.16. The method of claim 15,
The user can monitor the indoor video or sound signal from the outside with a smartphone or a computer through the user-customized service device or transmit a notification signal to a smartphone or a computer of a manager designated in advance when an abnormality is detected
A customized service device.
사용자 맞춤형 서비스 장치가 사전에 사용자의 id와 외모, 선호도, 속성 정보와 주변 기기의 id와 외형, 속성 정보를 프로파일로 만들어 등록 또는 저장하는 단계;
사용자 맞춤형 서비스 장치가 수집된 영상 정보를 분석하여 주변의 사용자 또는 기기의 id 및 위치를 인식하는 단계; 및
해당 사용자 및 기기 프로파일과 주변 상황정보를 분석하여 사용자 맞춤형 생활환경을 설정하기 위해 필요한 주변의 기기들에게 근거리 무선통신 또는 인터넷 통신으로 제어명령을 전송하는 단계
를 포함하는 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 방법A method of providing a customized living service by object and location recognition through image data processing,
A step of registering or storing the user's id, appearance, preference, attribute information, id, outline, and attribute information of the user as profiles in advance in the user-customized service device;
Analyzing image information collected by the user-customized service device to recognize the id and position of the user or device in the vicinity; And
A step of transmitting a control command to the peripheral devices necessary for establishing a user-customized living environment by analyzing the user and the device profile and the surrounding situation information by near field wireless communication or Internet communication
A method for providing a user-customized living service by object and location recognition through image data processing
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130093382A KR102144554B1 (en) | 2013-08-07 | 2013-08-07 | personalized living service apparatus and system for providing personalized living services |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130093382A KR102144554B1 (en) | 2013-08-07 | 2013-08-07 | personalized living service apparatus and system for providing personalized living services |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150018663A true KR20150018663A (en) | 2015-02-24 |
| KR102144554B1 KR102144554B1 (en) | 2020-08-13 |
Family
ID=52578083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130093382A KR102144554B1 (en) | 2013-08-07 | 2013-08-07 | personalized living service apparatus and system for providing personalized living services |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102144554B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10148995B2 (en) | 2015-09-07 | 2018-12-04 | Samsung Electronics Co., Ltd. | Method and apparatus for transmitting and receiving data in communication system |
| KR20190024921A (en) * | 2019-02-13 | 2019-03-08 | 라인 가부시키가이샤 | Contact control of artificial intelligence reflecting personal schedule and lifestyle |
| WO2021020629A1 (en) * | 2019-07-31 | 2021-02-04 | 엘지전자 주식회사 | Method for dispatching vehicle in autonomous driving system, and device therefor |
| US11330320B2 (en) | 2016-08-31 | 2022-05-10 | Samsung Electronics Co., Ltd. | Display device and method for controlling display device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040057914A (en) * | 2002-12-23 | 2004-07-02 | 한국전자통신연구원 | Control Protocol Translation Apparatus And Method Thereof |
| KR20060076839A (en) * | 2004-12-29 | 2006-07-05 | 학교법인 대양학원 | Apparatus and method for providing context-aware service |
| WO2011145873A2 (en) * | 2010-05-17 | 2011-11-24 | 엘지전자 주식회사 | Home appliance, home appliance system, and method for operating same |
| KR20120050617A (en) * | 2010-11-11 | 2012-05-21 | 엘지전자 주식회사 | Multimedia device, multiple image sensors having different types and the method for controlling the same |
| KR20120067606A (en) * | 2010-12-16 | 2012-06-26 | 엘지전자 주식회사 | Control method for air conditioning apparatus |
-
2013
- 2013-08-07 KR KR1020130093382A patent/KR102144554B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040057914A (en) * | 2002-12-23 | 2004-07-02 | 한국전자통신연구원 | Control Protocol Translation Apparatus And Method Thereof |
| KR20060076839A (en) * | 2004-12-29 | 2006-07-05 | 학교법인 대양학원 | Apparatus and method for providing context-aware service |
| WO2011145873A2 (en) * | 2010-05-17 | 2011-11-24 | 엘지전자 주식회사 | Home appliance, home appliance system, and method for operating same |
| KR20120050617A (en) * | 2010-11-11 | 2012-05-21 | 엘지전자 주식회사 | Multimedia device, multiple image sensors having different types and the method for controlling the same |
| KR20120067606A (en) * | 2010-12-16 | 2012-06-26 | 엘지전자 주식회사 | Control method for air conditioning apparatus |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10148995B2 (en) | 2015-09-07 | 2018-12-04 | Samsung Electronics Co., Ltd. | Method and apparatus for transmitting and receiving data in communication system |
| US11330320B2 (en) | 2016-08-31 | 2022-05-10 | Samsung Electronics Co., Ltd. | Display device and method for controlling display device |
| KR20190024921A (en) * | 2019-02-13 | 2019-03-08 | 라인 가부시키가이샤 | Contact control of artificial intelligence reflecting personal schedule and lifestyle |
| WO2021020629A1 (en) * | 2019-07-31 | 2021-02-04 | 엘지전자 주식회사 | Method for dispatching vehicle in autonomous driving system, and device therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102144554B1 (en) | 2020-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11710387B2 (en) | Systems and methods of detecting and responding to a visitor to a smart home environment | |
| US11356643B2 (en) | Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment | |
| CN112166350B (en) | System and method for ultrasonic sensing in smart devices | |
| CN105118257B (en) | Intelligent control system and method | |
| US7349758B2 (en) | Interactive personalized robot for home use | |
| US20200104094A1 (en) | Customizable embedded vocal command sets for a lighting and/or other environmental controller | |
| US11736760B2 (en) | Video integration with home assistant | |
| US11743578B2 (en) | Systems and methods of power-management on smart devices | |
| KR102144554B1 (en) | personalized living service apparatus and system for providing personalized living services | |
| CN111630413B (en) | Confidence-based application-specific user interaction | |
| KR20170136058A (en) | Method and Apparatus for Controlling Two-way Telescreen | |
| KR20220001903A (en) | Cloud platform based apartment home smart home system | |
| KR20210099772A (en) | Method, apparatus, system and computer program for device control using camera image | |
| CN117857237A (en) | Voice control method and device of equipment, electronic equipment and storage medium | |
| CN117872787A (en) | Control method and device of intelligent household equipment and electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |