KR102447970B1 - 환경 프로파일 생성 방법 및 환경 프로파일 생성 장치 - Google Patents

환경 프로파일 생성 방법 및 환경 프로파일 생성 장치 Download PDF

Info

Publication number
KR102447970B1
KR102447970B1 KR1020150078522A KR20150078522A KR102447970B1 KR 102447970 B1 KR102447970 B1 KR 102447970B1 KR 1020150078522 A KR1020150078522 A KR 1020150078522A KR 20150078522 A KR20150078522 A KR 20150078522A KR 102447970 B1 KR102447970 B1 KR 102447970B1
Authority
KR
South Korea
Prior art keywords
change
generating
profile
user
environment
Prior art date
Application number
KR1020150078522A
Other languages
English (en)
Other versions
KR20160018341A (ko
Inventor
니샨트 불가리아
아만 타네자
마욘크 자인
프림 케이 칼라
수보드 쿠마르
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201580042622.3A priority Critical patent/CN106663197B/zh
Priority to EP15830701.7A priority patent/EP3178054A4/en
Priority to US14/822,474 priority patent/US10469826B2/en
Priority to PCT/KR2015/008351 priority patent/WO2016022008A1/en
Publication of KR20160018341A publication Critical patent/KR20160018341A/ko
Application granted granted Critical
Publication of KR102447970B1 publication Critical patent/KR102447970B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Abstract

환경 프로파일 생성 방법이 개시된다. 본 환경 프로파일 생성 방법은, 포인트 클라우드 카메라를 포함하는 적어도 하나의 기록 장치를 이용하여 오브젝트를 캡처링하여 이미지를 생성하는 단계, 이미지에 기초하여 오브젝트의 변화를 감지하는 단계, 오브젝트의 변화에 기초하여 환경 프로파일을 생성하는 단계를 포함한다.

Description

환경 프로파일 생성 방법 및 환경 프로파일 생성 장치{METHOD AND APPARATUS FOR ENVIRONMENTAL PROFILE GENERATION}
본 발명은 환경 프로파일 생성 방법 및 환경 프로파일 생성 장치에 관한 것으로, 더욱 상세하게는 포인트 클라우드 카메라를 이용하여 오브젝트 주변 환경의 프로파일을 생성하기 위한 환경 프로파일 생성 방법 및 환경 프로파일 생성 장치에 관한 것이다.
대부분의 사용자 편의 추천 시스템은 사용자의 디지털 생활에서 사용자의 선택을 식별하고 프로파일을 생성한다. 생성된 프로파일에 기초하여, 사용자에게 적절한 추천을 제공할 수 있다. 선행문헌 US 20120232977, US 20120233003에는 프로파일에 기초하여 사용자에게 추천을 제공하는 기술에 대해 개시되어 있다.
선행문헌 US 20120232977에는 사용자의 재정적인 활동 및 선호를 식별하고, 그에 기초하여 사용자를 도와주는 내용이 개시되어 있다. 재정 활동 데이터는 신용, 인출 및 다른 예금 계좌 구입/거래에 기초하여 결정된다. 또한, 실시간 비디오 스트림을 분석하여 오브젝트를 찾아서 사용자에게 상품 및 비지니스를 선택/추천할 수 있다.
선행문헌 US 20120233003에는 물품/아이템의 실시간 비디오를 분석하여, 사용자가 모바일 기기를 통한 전자상거래를 이용하여 물품을 구입할 때 도움을 줄 수 있는 내용이 개시되어 있다.
또한, 사용자의 디지털 생활에 기초하여 프로파일을 생성하는 것 외에도 실생활 환경 및 환경에서 감지된 오브젝트, 활동에 기초하여 프로파일을 생성하는 것도 가능하다. 사용자에게 추천을 위한 프로파일 생성 외에 사용자에게 경고를 위한 프로파일 생성은 홈 자동화 시스템, 안전 시스템 등에서 유용하다. 이러한 프로파일을 생성하기 위해서, 이미지 캡처링 장치, 사운드 캡처링 장치 등의 다양한 전자 장치가 필요하다. 환경 센싱에 기초하여 프로파일을 생성하는 방법에 대한 내용은 선행문헌 US 8081158, US 20080167913, US 20040037469, US 20030088832, US 8068879에 개시되어 있다.
US 8081158에는 카메라를 이용하여 이미지를 캡처링하고, 상기 이미지에 기초한 특징에 따라 화면 콘텐츠를 전달하는 내용이 개시되어 있다. 주된 아이디어는 사용자의 나이 및 성별을 식별하고 그에 따른 화면 콘텐츠를 전달하는 것이다.
US 20080167913에는 컴퓨터 시스템에서 가까운 거리에 있는 오브젝트를 식별하는 내용이 개시되어 있다. 컴퓨터 시스템은 오브젝트에 관한 접근 오브젝트 식별자를 컨텐츠 포털로 제출한다. 본 발명은 오브젝트의 피지컬 특성에 기초하여 컨텐츠(예를 들어, 광고, 게임, 멀티 미디어 클립 등)를 전달할 수 있다. 오브젝트는 병, 유리, 손가락, 모자 등과 같은 어느 것도 될 수 있고 컴퓨터 시스템과 일정 거리 안에 있어야 할 수도 있다. 본 발명은 물품 또는 물품의 카테고리를 식별하고 컴퓨터 시스템에 디스플레이하기 위한 현재 관련된 컨텐츠를 식별하기 위한 것이다.
US 20040037469에는 오브젝트 감지를 위한 센서 및 감지된 오브젝트에 기초하여 디스플레이 장치를 제어하는 내용이 개시되어 있다. 본 발명은 정보 디스플레이 장치(예를 들어, 광고판)의 제어와 관련되어 있다. 오브젝트는 주로 인간이지만, 자동차와 같은 다른 오브젝트가 될 수도 있다.
US 20030088832에는 광고 정보의 디스플레이 시스템 및 방법에 관한 내용이 개시되어 있다. 디스플레이 시스템은 디스플레이의 현재 환경에서 개인의 특성을 얻거나 존재를 감지할 수 있다. 또한, 본 발명은 사용자의 특성(사용자의 움직임, 성별, 나이, 인종 등)을 식별할 수 있고, 이러한 정보를 디스플레이 장치에 나타낼 수 있다.
US 8068879에는 디바이스 주위의 환경을 모니터링하는 개인 통신 장치의 센서에 대한 내용이 개시되어 있다. 모니터링의 분석에 기초하여 적절한 메시지를 디바이스의 외부 디스플레이 화면에 나타낼 수 있다. 이러한 메시지는 디바이스의 사용자보다는 디바이스의 주변에 있는 사람들에게 알리기 위한 것이다.
위에서 언급한 선행문헌들에는 이미지 캡처링 디바이스와 캡처링된 이미지를 분석하는 내용에 대해 개시되어 있다. 선행문헌에서 RGB 카메라와 같은 이미지 캡처링 디바이스는 오브젝트를 감지하거나 식별하기 위한 것이며, 오브젝트의 뎁스 파라미터를 결정하기 위한 것이 아니다. 그러나 뎁스 파라미터(또는 환경에서 존재하는 오브젝트의 모양에 관련된 파라미터)를 포함하는 프로파일의 생성은 보다 효율적인 프로파일을 제공할 수 있다.
반면에, 이러한 제한은 비용 측면에서 비효율적일 수 있고 과도한 이미지 프로세싱 기술이 요구될 수 있으며, 결국 프로파일 생성 시스템의 비효율을 가져올 수 있다.
또한, 프로파일 생성을 RGB 카메라에 의해 진행되는 경우 낮은 해상도의 이미지를 얻거나, 생성된 프로파일의 품질이 만족스럽지 못할 수 있다. 이러한 제한은 높은 해상도의 카메라를 이용하는 경우 상쇄될 수 있으나, 비용 측면에서 비효율적일 수 있다.
프로파일 생성 시스템은 높은 해상도의 이미지를 캡처링할 수 있는 캡처링 디바이스를 사용하더라도, 주변 환경의 조명 밝기와 관련된 문제는 발생할 수 있다. 또한, 오브젝트 환경에서의 움직임을 감지하기 위하여 캡처링 장치는 기설정된 조명 또는 충분히 밝은 환경이 요구될 수 있다.
따라서, 오브젝트, 환경에서 발생한 변화, 환경에서 일어난 활동 및 환경에서의 상호 작용의 감지에 기초하여 환경 프로파일을 생성하기 위한 방법 및 장치를 개선할 필요가 있다.
본 발명의 목적은, 포인트 클라우드 카메라를 포함하는 기록장치를 이용하여 생성된 이미지에서 오브젝트의 변화를 감지하여 오브젝트 주변 환경의 프로파일을 생성하기 위한 환경 프로파일 생성 방법 및 환경 프로파일 생성 장치를 제공하는데 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 환경 프로파일 생성 방법은, 포인트 클라우드 카메라를 포함하는 적어도 하나의 기록 장치를 이용하여 상기 오브젝트를 캡처링하여 이미지를 생성하는 단계, 상기 이미지에 기초하여 상기 오브젝트의 변화를 감지하는 단계 및 상기 오브젝트의 변화에 기초하여 환경 프로파일을 생성하는 단계를 포함한다.
이 경우, 상기 기록 장치는, RGB 카메라, 열 카메라, 뎁스(depth) 카메라 및 포인트 클라우드 카메라 중 적어도 하나일 수 있다.
또한, 본 환경 프로파일 생성 방법은, 상기 환경 프로파일에 기초하여 사용자를 위한 추천을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 감지하는 단계는, 상기 오브젝트의 변화가 감지된 시간 및 상기 오브젝트의 변화의 종류를 측정하고, 상기 생성하는 단계는, 상기 오브젝트의 변화, 상기 오브젝트의 변화가 감지된 시간 및 상기 오브젝트의 변화의 종류에 기초하여 환경 프로파일을 생성할 수 있다.
또한, 본 환경 프로파일 생성 방법은, 오디오 센서를 이용하여 오디오 신호를 생성하는 단계;를 더 포함하고, 상기 감지하는 단계는, 상기 이미지 및 상기 오디오 신호에 기초하여 상기 오브젝트의 변화를 감지할 수 있다.
또한, 상기 생성하는 단계는, 상기 오브젝트와 사용자의 관련성에 기초하여 환경 프로파일을 생성할 수 있다.
또한, 상기 오브젝트의 변화는, 상기 오브젝트의 추가, 제거, 대체, 수정 및 위치 변화 중 어느 하나일 수 있다.
또한, 본 환경 프로파일 생성 방법은, 상기 오브젝트의 변화에 기초하여, 사용자에게 추천, 알림 및 경고 중 적어도 하나를 제공하는 단계를 더 포함할 수 있다.
또한, 상기 감지하는 단계는, 상기 오브젝트의 변화가 발생하는 빈도를 측정하며, 상기 생성하는 단계는, 상기 오브젝트의 변화 및 상기 오브젝트의 변화가 발생하는 빈도에 기초하여 환경 프로파일을 생성할 수 있다.
또한, 상기 오브젝트의 변화에 기초하여 사용자의 사용 패턴을 결정하는 단계;를 더 포함하고, 상기 생성하는 단계는, 상기 오브젝트의 변화 및 상기 사용자의 사용 패턴에 기초하여 환경 프로파일을 생성할 수 있다.
한편, 본 발명의 일 실시 예에 따른 환경 프로파일 생성 장치는, 상기 오브젝트를 캡처링하여 이미지를 생성하는 이미지 생성부, 상기 이미지에 기초하여 상기 오브젝트의 변화를 감지하는 감지부 및 상기 오브젝트의 변화에 기초하여 환경 프로파일을 생성하는 프로파일 생성부를 포함할 수 있다.
여기서, 상기 이미지 생성부는, RGB 카메라, 열 카메라, 뎁스(depth) 카메라 및 포인트 클라우드 카메라 중 적어도 하나일 수 있다.
또한, 상기 프로파일 생성부는, 상기 환경 프로파일에 기초하여 사용자를 위한 추천을 생성할 수 있다.
또한, 상기 프로파일 생성부는, 상기 오브젝트의 변화, 상기 오브젝트의 변화가 감지된 시간 및 상기 오브젝트의 변화의 종류에 기초하여 환경 프로파일을 생성할 수 있다.
또한, 본 환경 프로파일 생성 장치는, 오디오 신호를 생성하는 오디오 센서를 더 포함하고, 상기 감지부는, 상기 이미지 및 상기 오디오 신호에 기초하여 상기 오브젝트의 변화를 감지할 수 있다.
또한, 상기 프로파일 생성부는, 상기 오브젝트와 사용자의 관련성에 기초하여 환경 프로파일을 생성할 수 있다.
또한, 상기 오브젝트의 변화는, 상기 오브젝트의 추가, 제거, 대체, 수정 및 위치 변화 중 어느 하나일 수 있다.
또한, 상기 프로파일 생성부는, 상기 오브젝트의 변화에 기초하여, 사용자에게 추천, 알림 및 경고 중 적어도 하나를 제공할 수 있다.
또한, 상기 프로파일 생성부는, 상기 오브젝트의 변화 및 상기 오브젝트의 변화가 발생하는 빈도에 기초하여 환경 프로파일을 생성할 수 있다.
또한, 상기 프로파일 생성부는, 상기 오브젝트의 변화 및 사용자의 사용 패턴에 기초하여 환경 프로파일을 생성할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 환경 프로파일 생성 방법을 나타내는 흐름도이다.
도 2는 본 발명의 다양한 실시 예에 따른 환경 프로파일 생성 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 환경 프로파일 장치의 구성을 나타내는 블럭도이다.
도 4는 본 발명의 다양한 실시 예에 따른 환경 프로파일 장치의 구성을 나타내는 블럭도이다.
도 5는 본 발명의 일 실시 예에 따른 환경 프로파일 방법이 적용된 컴퓨팅 시스템의 블럭도이다.
도 6은 본 발명의 일 실시 예에 따른 오브젝트 및 파라미터를 감지하는 기록 장치를 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 변화를 감지하고 감지된 변화에 기초하여 오브젝트를 식별하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 오브젝트의 종류를 감지하고 식별하여 추천을 제공하는 방법을 나타내는 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른 생성된 환경 프로파일에 기초하여 추천을 제공하는 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 제스처를 모니터링하고, 제스처에 따른 행동을 인식하여 행동에 따른 프로파일을 생성하고 추천을 제공하는 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 일 실시 예에 따른 사용자의 활동에 따른 일 또는 특성 프로파일을 생성하는 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명의 일 실시 예에 따른 물품을 감지하여 마트에서 사용자와 관련된 물품의 추천 및 광고를 제공하는 방법을 설명하기 위한 흐름도이다.
도 13은 본 발명의 일 실시 예에 따른 생성된 환경 프로파일에 기초하여 방의 테마를 감지하고 다른 사용자에게 실시간 알림을 제공하는 방법을 설명하기 위한 흐름도이다.
도 14는 본 발명의 일 실시 예에 따른 절도에 관한 경고를 제공하는 방법을 설명하기 위한 흐름도이다.
이하 첨부된 도면들을 참조하여 본 발명의 일 실시 예를 보다 상세하게 설명한다.
본 발명에 있어서, 상기 적어도 하나의 오브젝트를 포함하는 환경 프로파일의 생성 방법을 제공한다. 구체적으로, 포인트 클라우드 카메라를 포함하는 적어도 하나의 기록 장치를 이용하여 오브젝트와 연관된 적어도 하나의 파라미터를 캡처링하고 캡처링된 파라미터에 기초하여 변화를 감지하며 변화에 기초하여 환경 프로파일을 생성한다.
포인트 클라우드 카메라로부터의 출력물은 뎁스(depth) 정보를 포함하므로 2D 데이터에 기초하여 생성된 프로파일보다 높은 품질의 프로파일을 생성할 수 있다. 또한, 포인트 클라우드 카메라는 뎁스 관련 정보 및 이미지 처리 시간을 줄일 수 있는 이미지 처리 기술제공하므로, 처리 회로의 복잡도를 감소시키고 비용을 절감할 수 있는 효과가 있다.
또한, 포인트 클라우드 카메라가 사용되는 경우 RGB 카메라를 사용하는 경우보다 좀 더 나은 결과가 나타날 수 있다. 특히, 포인트 클라우드 카메라가 사용되는 경우, 조명이 낮을 때, 예를 들어, 어둡거나 밤인 경우, RGB 카메라를 사용하는 경우보다 좋은 결과가 나타날 수 있다.
본 발명의 다른 실시 예로, RGB 이미지, 열 이미지, 오디오 신호 중 적어도 하나를 생성할 수 있다. 구체적으로, 포인트 클라우드 카메라와 RGB 카메라, 열 카메라, 뎁스(depth) 카메라 및 오디오 센서 중 적어도 하나를 포함하는 기록 장치를 이용하여 RGB 이미지, 열 이미지, 오디오 신호 중 적어도 하나를 생성할 수 있다.
복수의 기록 장치를 이용하여 복수의 이미지 및/또는 오디오 신호를 생성할 수 있다. 특히, 다음과 같은 조합으로 복수의 이미지 및/또는 오디오 신호를 생성할 수 있다. (a) 포인트 클라우드 카메라와 RGB 카메라, (b) 포인트 클라우드 카메라와 열 이미지 센서, (c) 포인트 클라우드 카메라와 오디오 센서, (d) 포인트 클라우드 카메라, 열 이미지 센서 및 오디오 센서, (e) 포인트 클라우드 카메라, RGB 카메라 및 오디오 센서. 조명이 낮을 때, 예를 들어, 어둡거나 밤인 경우, 열 이미지 센서의 사용은 포인트 클라우드 카메라만 사용할 때보다 생성된 프로파일의 품질에 추가적인 개선을 제공할 수 있다.
본 발명의 다른 실시 예로, 수신된 파라미터와 같은 종류의 기 저장된 파라미터를 비교할 수 있다.
본 발명의 다른 실시 예로, 기 설정된 변화 임계값을 초과하는지 여부에 기초하여 변화를 감지할 수 있다. 예를 들어, 변화가 기 설정된 임계값을 초과하는 경우에만 변화가 감지되고 다음 단계에 변화가 이용된다. 또한, 파라미터마다 다른 임계값이 설정될 수 있다.
본 발명의 다른 실시 예로, 기 설정된 시간 동안의 변화에 기초하여 변화를 감지할 수 있다. 예를 들어, 특정 파라미터에 따른 기 설정된 시간이 설정될 수 있고, 기 설정된 시간 동안 변화가 발생한 경우에만 특정 파라미터가 변화한 것으로 감지할 수 있다.
또한, 파라미터에 따른 기 설정된 시간 및 기 설정된 변화 임계값의 조합이 정의될 수 있다. 즉, 기 설정된 시간 동안 기 설정된 임계값을 초과하는 경우에만 파라미터의 변화를 감지할 수 있다.
이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 환경 프로파일 생성 방법을 나타내는 흐름도이다. 환경 프로파일 생성 방법은 먼저 적어도 하나의 파라미터를 수신한다. 이 때, 파라미터는 포인트 클라우드 카메라를 포함하는 이미지 캡처링 장치에 의해 캡처링될 수 있다. 파라미터는 연속적으로 또는 시간 간격으로 캡처링될 수 있다. 일반적으로, 캡처링 또는 수신된 파라미터는 주변 환경에 존재하는 하나 이상의 오브젝트와 관련이 있다. 오브젝트는 주변 환경에 존재하는 생명체이거나 생명체가 아닐 수 있다.
수신된 파라미터는 파라미터의 변화를 감지하는데 이용될 수 있다(S120). 변화를 감지하기 위해, 현재 수신된 파라미터 값과 파라미터의 기준값을 비교한다. 기준값이 이용가능하지 않은 경우, 파라미터의 변화는 현재 수신된 파라미터 값과 파라미터의 과거 값을 비교할 수도 있다. 파라미터의 다른 대체 값은 파라미터 변화의 비교 및 감지를 위해 이용될 수 있다. 또한 파라미터 변화의 감지는 과거 이미지 프레임에서 수신된 이미지 프레임을 빼는 방법으로도 할 수 있다.
파라미터의 변화는 주변 환경에서 일어난 자연 현상 또는 생명체의 활동에 의한 결과일 수 있다. 생명체의 활동은 하나 이상의 생명체 또는 하나 이상의 무생물과 관련될 수 있다. 변화의 원인 중 일부는 위에서 언급되었지만, 환경 프로파일 생성 방법은 특정 원인에 한정되지 않고 구현될 수 있다.
또한, 환경 프로파일 생성 방법은 특정 유형의 변화는 고려되지 않는 방식으로 수정될 수 있다. 예를 들어, 변화의 최소 임계값을 설정할 수 있고, 최소 임계값보다 낮은 변화는 걸러질 수 있다. 다른 예로, 변화의 시간에 기초하여, 설정된 시간 외의 변화는 걸러질 수 있다. 모니터링되는 모든 파라미터 또는 일부 파라미터에 대해 최소 임계값이 설정될 수 있고, 모니터링되는 모든 파라미터 또는 일부 파라미터에 대해 시간 간격이 설정될 수 있다.
변화된 파라미터가 판단되면, 변화에 기초하여 환경 프로파일을 생성할 수 있다(S130). 환경 프로파일을 구축하기 위해, 환경 프로파일 생성 방법은 변화된 파라미터에 대응하는 추론 세트를 저장하는 저장 장치를 참조할 수 있다.
또한, 자기 학습 방법이 환경 프로파일을 생성하기 위해 수행될 수 있다. 자기 학습 방법은 저장 장치에 저장된 초기 데이터에 의존할 수 있으며, 프로파일의 수를 서서히 증가 또는 감소시키고 환경 프로파일의 일부를 형성하는 임의의 기준을 변경할 수 있다.
도 2를 참조하면, 클라우드 포인트 카메라로부터 하나 이상의 파라미터를 수신하는 환경 프로파일 생성 방법은 RGB 카메라, 열 센서 및 오디오 센서 중 적어도 하나를 포함하는 기록 장치로부터 하나 이상의 파라미터 값을 수신할 수 있다.
이러한 추가 장치로부터 수신된 파라미터의 변화를 감지할 수 있으며, 또한 환경 프로파일 생성 단계에서 감지된 파라미터의 변화가 고려될 수 있다.
또한, 프로파일 생성 방법은 변화 발생의 빈도를 판단하여 변화를 감지할 수도 있다. 일정 시간 동안 환경에서 동일한 종류의 변화를 감지하고, 발생된 변화에 기초하여 패턴을 판단한 후, 프로파일 생성을 위한 패턴을 저장할 수 있다.
또 다른 예로, 파라미터와 오브젝트의 관련성이 알려지지 않은 경우, 기록된 파라미터 또는 변화된 파라미터에 따른 개연성 오브젝트(probable object)를 식별할 수 있다. 개연성 오브젝트를 식별하기 위해, 프로파일 생성 방법은 적어도 하나의 수신된 파라미터를 이용하는 오브젝트 데이터베이스 모듈을 검색하는 추가적인 단계를 거친다. 검색하는 단계는 파라미터가 복수의 오브젝트와 관련되거나 파라미터에서 변화가 감지되는 경우에도 수행될 수 있다. 예를 들어, 복수의 오브젝트에서 변화된 파라미터에 따른 개연성 오브젝트를 식별할 수 있다.
또한, 환경 프로파일 생성 방법은 감지된 변화에 기초하여 환경의 테마를 판단할 수 있다. 테마는 저장 장치에 저장된 이용가능한 테마 리스트로부터 판단될 수 있다.
이렇게 생성된 환경 프로파일은 다양한 용도가 있을 수 있지만, 본 발명에서 환경 프로파일은 사용자에게 추천을 전송하거나 통지를 전송하거나, 또는 경고를 전송하는 용도로 사용될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 환경 프로파일 장치의 구성을 나타내는 블럭도이다. 환경 프로파일 장치(300)는 포인트 클라우드 카메라를 포함하는 적어도 하나의 기록 장치로부터 적어도 하나의 환경 파라미터를 수신하는 수신부(310), 캡처링된 파라미터에 기초하여 변화를 감지하는 감지부(320) 및 환경 프로파일을 생성하는 프로파일 생성부(330)를 포함한다. 수신부(310) 및 감지부(320)는 하드웨어, 소프트웨어 또는 임베디드 장치로 구현될 수 있다.
도 4는 본 발명의 다양한 실시 예에 따른 환경 프로파일 장치의 구성을 나타내는 블럭도이다. 환경 프로파일 생성 장치(300')는 수신부(310), 감지부(320), 프로파일 생성부(330) 및 추가적인 구성을 포함한다. 또한, 어떤 구성은 추가적인 기능을 수행하기 위하여 요구될 수 있다.
예를 들어, 클라우드 포인트 카메라로부터 수신되는 파라미터와는 별도로, 수신부(310)는 RGB 카메라, 열 센서 및 오디오 센서 중 적어도 하나를 포함하는 기록 장치로부터 하나 이상의 파라미터를 수신할 수 있다. 감지부(320)는 이러한 추가적인 장치로부터 수신된 파라미터의 변화를 감지할 수 있다. 또한, 프로파일 생성부(330)는 추가적으로 감지된 파라미터의 변화를 고려하여 환경 프로파일을 생성할 수 있다. 또한, 프로파일 생성부(330)는 감지된 변화에 기초하여 환경의 테마를 판단할 수 있다. 테마는 저장 장치(미도시)에서 이용 가능한 테마 목록으로부터 판단될 수 있다.
분석 모듈(410)은 변화 발생의 빈도를 판단할 수 있다. 또한, 분석 모듈(410)은 반복되는 변화 발생에 기초하여 패턴을 판단할 수 있고, 프로파일 생성을 위한 패턴을 저장할 수 있다.
예를 들어, 파라미터와 오브젝트의 관계가 알려지지 않은 경우, 프로파일 생성 장치(300)는 기록된 파라미터 또는 변화된 파라미터에 따른 개연성 파라미터를 식별하기 위한 오브젝트 식별 모듈(420)을 포함할 수 있다. 개연성 파라미터를 식별하기 위해, 오브젝트 식별 모듈(420)은 적어도 하나의 캡처링된 파라미터를 이용하는 오브젝트 데이터 베이스(430)를 검색할 수 있다.
또한, 프로파일 생성 장치(300')는 추천을 생성하고 사용자에게 제공하기 위한 추천 생성부(440), 알림을 생성하고 사용자에게 제공하기 위한 알림 생성부(450) 또는 경고를 생성하고 사용자에게 제공하기 위한 경고 생성부(460)를 포함할 수 있다.
도 5에는 컴퓨팅 시스템에서 실행되는 프로파일 생성 장치(300, 300')의 일반적인 하드웨어 구성을 나타내는 도면이다. 컴퓨팅 시스템(500)은 기술된 방법들 중 어느 하나 이상의 방법을 수행하는 컴퓨팅 시스템을 위한 실행 가능 명령 세트를 포함할 수 있다. 컴퓨팅 시스템(500)은 다른 컴퓨팅 장치 또는 주변 장치와 네트워크를 이용하여 연결될 수 있고, 독립형 장치로서 동작할 수 있다.
컴퓨팅 시스템(500)은 다양한 디바이스로 수행되거나 다양한 디바이스를 포함할 수 있다. 예를 들어, 디바이스는 PC, 태블릿 PC, 셋탑 박스, PDA, 모바일 디바이스, 팜탑 컴퓨터, 랩탑 컴퓨터, 데스크탑 컴퓨터, 텔레비전 세트 또는 한 세트의 지시를 수행할 수 있는 기계일 수 있다. 또한, 하나의 컴퓨팅 시스템(500)에서 "시스템"은 여러가지 기능들을 수행할 수 있는 지시들을 실행할 수 있는 시스템 또는 서브 시스템의 집합일 수 있다.
컴퓨팅 시스템(500)은 CPU, GPU와 같은 프로세서(510)을 포함할 수 있다. 프로세서(510)는 다양한 시스템의 구성요소이다. 프로세서(510)는 하나 이상의 일반적인 프로세서, 디지털 신호 프로세서, 주문형 집적 회로, 필트 프로그래머블 게이트 어레이, 서버, 네트워크, 디지털 회로, 아날로그 회로, 그들의 조합일 수 있으며, 데이터를 분석하고 처리하기 위한 알려지지 않은 디바이스일 수 있다. 프로세서(510)는 수동으로 생성된 코드와 같은 소프트웨어 프로그램을 구현할 수 있다.
"모듈"은 복수의 실행가능한 모듈을 포함하는 것으로 정의할 수 있다. 모듈은 프로세서(510)에 의해 실행될 수 있는 소프트웨어, 하드웨어 또는 그들의 조합을 포함할 수 있다. 소프트웨어 모듈은 메모리(520) 또는 다른 메모리 장치에 저장된, 프로세서(510) 또는 다른 프로세서에 의해 수행될 수 있는 지시들을 포함할 수 있다. 하드웨어 모듈은 프로세서(510)에 의해 직접 또는 다른 장치에 의해 제어되어 실행가능한 다양한 장치, 구성, 회로, 게이트, 회로 기판을 포함할 수 있다.
컴퓨팅 시스템(500)은 버스(580)를 통하여 통신 가능한 메모리(520)를 포함할 수 있다. 메모리(520)는 주 메모리, 고정 메모리 또는 동적 메모리일 수 있다. 메모리(520)는 다양한 종류의 휘발성 또는 비휘발성 메모리, 랜덤 엑세스 메모리, ROM, PROM, EPROM, EEROM, 플래시 메모리, 마그네틱 테입 또는 디스크, 옵티컬 미디어 등일 수 있으나, 이에 한정되지 않는다. 일 예로, 메모리(520)는 프로세서(510)를 위한 캐시 또는 랜덤 액세스 메모리를 포함할 수 있다. 또 다른 예로, 메모리(520)는 프로세서(510)의 캐시 메모리, 시스템 메모리 또는 다른 메모리로부터 분리될 수 있다. 메모리(520)는 데이터 저장을 위한 외부 저장 장치 또는 데이터베이스일 수 있다. 또한 메모리(520)는 하드 드라이브, CD, DVD, 메모리 카드, 메모리 스틱, 플로피 디스크, USB, 메모리 장치 또는 데이터를 저장하기 위한 다양한 장치일 수 있다. 메모리(520)는 프로세서(510)에 의해 실행가능한 지시들을 저장할 수 있다. 기능, 명령, 과제 등은 메모리(520)에 저장된 지시들을 실행하는 프로그램된 프로세서(510)에 의해 수행될 수 있다. 또한, 기능, 명령, 과제 등은 설정 명령, 저장 매체, 프로세서와 무관하고 단독으로 동작하는 소프트웨어, 하드웨어, 집적 회로, 펌 웨어, 마이크로 코드 등에 의해 수행되거나 그들의 조합에 의해 수행될 수 있다. 마찬가지로 프로세싱은 멀티 프로세싱, 멀티 태스킹, 병렬 처리등을 포함할 수 있다.
컴퓨팅 시스템(500)은 디스플레이(510)를 포함할 수 있다. 여기서, 디스플레이(540)는 LCD, OLED, 평면 패널 디스플레이, 액정 디스플레이, CRT, 프로젝터, 프린터 또는 정보를 출력하기 위한 다양한 종류의 디스플레이가 될 수 있다. 디스플레이(540)는 프로세서(510)의 기능을 사용자가 볼 수 있도록 하기 위한 인터페이스 또는 메모리(520) 또는 구동부(530)에 저장된 소프트웨어의 인터페이스로써 동작할 수 있다.
또한, 컴퓨팅 시스템(500)은 사용자가 컴퓨팅 시스템(500)의 구성과 연결할 수 있기 위한 사용자 입력 장치(550)를 포함할 수 있다. 사용자 입력 장치(550)는 숫자 패드, 키보드, 마우스, 조이스틱, 터치 디스플레이, 리모컨 또는 컴퓨팅 시스템(500)을 구동할 수 있는 어떤 디바이스 등이 될 수 있다.
컴퓨팅 시스템(500)은 디스크 또는 구동부(530)를 포함할 수 있다. 구동부(530)는 하나 이상의 지시(532)를 저장하는 컴퓨터 판독가능 매체를 포함할 수 있다. 또한, 지시(532)는 하나 이상의 방법이나 로직을 포함할 수 있다. 일 예로, 지시(532)는 컴퓨팅 시스템(500)에 의해 실행되는 동안 메모리(520) 또는 프로세서(510)에 존재할 수 있다. 또한, 메모리(520) 및 프로세서(510)는 컴퓨터 판독가능 매체를 포함할 수 있다.
컴퓨터 판독가능 매체(531)는 지시(532)를 포함하거나 네트워크(570)를 통해 음성, 비디오, 오디오, 이미지 또는 다른 데이터를 전송할 수 있는 네트워크(570)와 연결되어 지시(532)를 수신하고 실행할 수 있다. 또한, 지시(532)는 통신 포트, 인터페이스(560) 또는 버스(580)를 이용하여 전송되거나 수신될 수 있다. 통신 포트나 인터페이스(560)는 프로세서(510)의 일부이거나 분리된 구성일 수 있다. 통신 포트는 소프트웨어로 생성되거나 하드웨어의 물리적인 연결일 수 있다. 통신 포트는 네트워크(570), 외부 미디어, 디스플레이(540) 또는 컴퓨팅 시스템(500)의 다른 구성 또는 그들이 조합과 연결할 수 있다.
컴퓨터 판독가능 매체는 하나의 매체이나, "컴퓨터 판독가능 매체"라는 용어는 하나의 매체 또는 복수의 매체를 포함할 수 있다. 예를 들면, 하나 이상의 지시 세트를 저장할 수 있는 중앙 또는 분산 데이터 베이스, 관련된 캐시, 서버 등일 수 있다. 또한, "컴퓨터 판독가능 매체"라는 용어는 프로세서에 의해 실행되는 지시를 저장, 인코딩, 전달할 수 있는 매체를 포함한다. 또한, 컴퓨터 판독가능 매체는 비일시적일 수 있고, 가시적일 수 있다.
예를 들어, 컴퓨터 판독가능 매체는 메모리 카드나 비휘발성 ROM 패키지와 같은 반도체 메모리를 포함할 수 있다. 또한, 컴퓨터 판독가능 매체는 랜덤 엑세스 메모리나 다른 휘발성 메모리일 수 있다. 또한, 컴퓨터 판독가능 매체는 디스크, 테이프 또는 자기-광학 매체 등을 포함할 수 있다.
다른 예로, 이러한 주문형 반도체, 프로그래머블 로직 어레이 및 다른 하드웨어 장치들과 같은 전용 하드웨어 구현은 컴퓨팅 시스템(500)의 다양한 부분을 구현하도록 구성될 수 있다.
시스템을 포함하는 어플리케이션은 전자 및 컴퓨터 시스템의 다양성을 포함할 수 있다. 두 개 이상이 서로 연결된 하드웨어 모듈을 이용하여 기능을 수행하거나 제어 및 데이터 신호들을 이용하여 기능을 수행할 수 있다. 본 시스템은 소프트웨어, 펌웨어 및 하드웨어 구현을 포함할 수 있다.
도 6을 참조하면, 포인트 클라우드 카메라는 사용자의 생활 환경 및 실생활 요소를 캡처링하는데 사용될 수 있다. 도 6에서는 사용자와 3개의 오브젝트를 포함하는 환경이 도시되어 있다. 다만, 환경은 어떤 다른 대체가능한 오브젝트로 구성될 수 있을 것이다. 도 6은 장치가 포인트 클라우드 디바이스를 포함 또는 연결되어 있는 것을 보여준다. 또한, 추가적인 기록 장치가 환경 파라미터를 모니터링하기 위해 설치될 수 있다. 이러한 접근은 많은 이점을 가져올 수 있다. 예를 들어, 캡처링된 장면이 고정되고, 처리과정에서 적은 데이터가 요구될 수 있다. 또한, 간단히 화면 속 동적 오브젝트를 분석하여 속도 및 정확도를 개선할 수 있다. 또한, 카메라(예를 들어, RGB 카메라), 열 센서(예를 들어, 적외선 센서), 오디오 센서 등의 다른 센서를 이용하여 포인트 클라우드 카메라에 의해 제공된 정보의 분석을 개선할 수 있다. 또한, 추가적인 센서에 의하여 좀 더 빠르고 정확한 처리를 수행할 수 있다.
포인트 클라우드 카메라를 이용하여 전체 환경을 분석하여 사용자 추천 문제를 자동으로 해결한다. 이 경우, 많은 다른 파라미터가 사용자 프로파일을 생성하는데 이용될 수 있다. 방 안에 이용가능한 오브젝트 또는 아이템이 있는지, TV를 시청 중인 사람이 몇 명인지, 방안에서 발생한 변화의 빈도, 방안에서 이용할 수 있는 아이템의 종류, 방 및 방 안의 아이템의 색, TV 시청 중에 밝기 정도 등과 같은 것들에 대한 것일 수 있다.
프로파일이 생성되기 전, 사용자는 디지털 컨텐츠뿐만 아니라 실생활 아이템에 관한 추천을 제공받을 수 있다. 또한, 복수의 사용자에 대한 프로파일은 복수의 사용자에 대한 추천을 제공할 수 있다. 프로파일의 생성은 실시간, 기설정된 시간, 배치 모드에 기초할 수 있고, 파라미터가 캡처링된 시간과 프로파일 생성 시간의 차이를 고려하는 딜레이 시간에 기초할 수 있다. 배치 모드는 환경 프로파일의 생성을 위한 기설정된 시간 간격 동안 캡처링된 복수의 파라미터의 처리를 포함할 수 있다. 또한, 배치 모드는 환경 프로파일 생성을 위한 기설정된 개수의 캡처링된 파라미터의 처리를 포함할 수 있다.
예를 들어, 사용자는 가장 많이 이용하는 오브젝트가 있는 경우, 그 오브젝트를 사용할 때마다 오브젝트의 상태가 변경될 수 있다. 따라서, 사용자가 선호하는 오브젝트를 식별하기 위해, 오브젝트의 상태가 변경되는 오브젝트를 찾을 수 있다. 상태 변화는 고정된 클라우드 포인트 카메라를 이용하여 쉽게 감지할 수 있다. 또한, RGB 카메라, 열 센서 및 오디오 센서를 포함하는 추가적인 센서를 이용하여 모든 종류의 변화를 감지할 수 있다. 예를 들어, 각각의 RGB 카메라 및 열 센서는 위치 변화 또는 색 변화와 같은 물리적 변화에 대한 정보를 제공할 수 있다. 센서들은 일정 시간동안 환경을 연속적으로 모니터링할 수 있고 이전 프레임과 현재 캡처링된 프레임을 비교하여 변화된 오브젝트를 찾을 수 있다. 이러한 접근은 사용자가 선호하는 오브젝트를 감지하기 위해 보다 정확할 수 있다. 오브젝트의 사용 활동 및 시간과 함께 사용자 프로파일을 생성하여 다양한 장치 및 장면에서 이용할 수 있다.
본 발명은 포인트 클라우드 카메라 및 RGB 카메라, 열 센서 등을 이용하여 일정 시간 동안의 변화를 감지할 수 있다. 이러한 변화에 기초하여 환경 프로파일 생성을 위한 환경 변화 패턴을 기록할 수 있다. 이러한 프로파일은 디지털 또는 실생활에서 사용자를 도와줄 수 있다.
본 발명의 환경 프로파일 생성 방법은, 이미지 캡처링, 이미지 분석, 오브젝트 및 사람 인식, 오디오 캡처링 및 분석, 프로파일 생성 및 추천에 기초한 프로파일 생성 등의 프로세스를 수행할 수 있다.
이미지 캡처링 모듈은 환경으로부터 이미지를 캡처링할 수 있다. 이러한 이미지 캡처링은 포인트 클라우드 카메라를 이용하여 수행할 수 있다. 또한, 포인트 클라우드 카메라에 추가적으로, RGB 카메라 또는 열 카메라와 같은 다른 장치가 추가적으로 이용될 수도 있다. 캡처링된 이미지는 연속적으로 캡처링될 필요는 없으나, 프레임에서 충분히 변화가 식별될 수 있을정도로 캡처링되어야 한다. 이러한 변화는 포인트 클라우드 카메라 정보에 의해 감지될 수 있다. 만약 RGB 카메라가 추가적으로 이용되는 경우, RGB 카메라 정보에 의해 감지될 수 있다. 마찬가지로, 열 카메라가 이용되는 경우, 열 이미지 센서 정보를 이용하여 변화를 감지할 수 있다. 변화 감지 임계값은 히스토리, 시간, 다른 파라미터에 기초하여 자동으로 조정될 수 있다. 포인트 클라우드 이미지가 캡처링되기 전에 다른 장치(RGB 카메라, 열 센서)의 컨텐츠가 관련된 정보와 함께 저장될 수 있다.
이미지 분석 모듈은 캡처링된 정보를 분석할 수 있다. 캡처링된 정보는 포인트 클라우드 정보 및 RGB 데이터, IR 데이터 등을 포함할 수 있다. 이미지 분석 모듈은 포인트 클라우드 정보를 이용하여 이미지 프레임에서 발생한 변화를 식별할 수 있으며, 다른 종류의 이미지 처리 기법을 이용하여 IR 데이터 또는 RGB 데이터를 이용하여 이미지 프레임에서 발생한 변화를 식별할 수 있다. 가장 기본적인 기법은 이전 이미지를 기준으로 하여 다음 이미지에서 변화된 영역을 식별하는 것이다. 이러한 기법은 포인트 클라우드, RGB, 온도 센서에 의한 이미지에 모두 이용될 수 있다. 변화 영역을 식별하기 전에, 이미지는 오브젝트 및 사람 감지를 위한 다음 모듈로 이동할 수 있다.
오브젝트 및 사람 감지 모듈은 이미지 분석 모듈로부터 프레임 정보를 획득할 수 있고, 오브젝트 및 사람을 식별할 수 있다. 사람을 감지하기 위해, 열 이미지가 이용될 수 있다. 만약 열 이미지의 온도가 사람의 몸 온도에 매치되지 않으면, 사람의 숫자는 0이 될 수 있다. 만약 일부 영역에서 사람의 몸 온도가 나타나면, 추가적으로 포인트 클라우드 데이터, RGB 데이터를 이용하여 사람의 숫자를 감지할 수 있다. 다만, 사람을 감지하기 위하여 열 센서 입력이 필요하지는 않을 수 있다. 열 센서 입력이 없는 경우에도, 포인트 클라우드 카메라의 데이터를 이용하여 사람을 감지할 수 있다.
유사하게 오브젝트는 포인트 클라우드 데이터를 이용하여 오브젝트의 3D 모양에 기초하여 식별할 수 있다. 예를 들어, 포인트 클라우드 데이터는 정육면체 또는 구 모양을 식별하는데 이용될 수 있다. 오브젝트를 식별하기 전에, RGB 데이터는 정육면체 오브젝트 데이터베이스 검색을 수행하여 정육면체 모양을 식별할 수 있다. 온도 매핑은 모양 데이터와 관련되어 사용될 수 있다. 예를 들어, 온도 데이터와 모양 데이터를 조합하여 특별한 장치 특성을 만들 수 있다.
오브젝트 데이터베이스 모듈은 사용자의 방 안에 존재하는 일반적인 오브젝트를 포함할 수 있다. 오브젝트 데이터베이스는 오브젝트의 온도 특성과 오브젝트의 2D(이미지) 및 3D(포인트 클라우드 데이터) 정보를 포함할 수 있다. 이러한 정보는 오브젝트는 식별하는데 이용될 수 있다.
오디오 캡처링/분석 모듈은 주변 환경에서 오디오 레벨을 연속적으로 모니터링하고 분석하여, 오디오의 종류(노이즈, 음악, 연설 등)를 식별할 수 있다. 또한, 음악의 경우 추가적으로 분석하여, 음악의 종류(소프트, 락, 재즈, 클래식 등)를 식별할 수 있다. 이러한 정보는 다른 모듈과 조합하여 사용자 프로파일을 개선할 수 있다. 오디오 정보가 없으면, 분석 모듈은 포인트 클라우드 카메라 또는 다른 감지 장치에 의해 수신된 정보를 이용할 수 있다.
프로파일 생성 모듈은 일정 시간 동안 특정 장면에서 오브젝트 및 사람을 식별하여 환경 프로파일을 생성하는데 이용될 수 있다. 오브젝트 특성(예를 들어, 이름, 색깔, 종류, 위치, 시간)이 프로파일을 생성하는 동안 고려될 수 있다. 예를 들어, 사용자의 옷 구입 행위는 일정 시간 동안 사용자의 옷 이미지를 분석하여 식별할 수 있다. 이러한 패턴은 특별한 달에 사용자의 옷을 추천하는데 이용될 수 있다.
이와 유사하게, 다른 종류의 전자 도구(모바일, 랩탑, 태블릿 등)가 식별되면, 사용자에게 높은 선호도를 갖는 전자 도구를 제안할 수 있다.
프로파일은 다양한 것들이 추가될 수 있다. 예를 들어, 수면 패턴, 옷이나 장치의 색 패턴, 밝기 색상 및 패턴, 오브젝트 위치, 오브젝트의 구조 등이 추가될 수 있다.
추천에 기초한 프로파일 모듈은 프로파일을 생성하고, 프로파일에 기초하여 추천을 제공할 수 있다. 또한, 다른 사용자의 프로파일(사용자의 프로파일과 비슷한점)에 기초하여 사용자에게 새로운 것을 추천할 수 있다. 만약 사용자의 프로파일에 기타를 좋아한다고 기록되어 있는 경우(방 안의 기타 그림 및 기타 소리에 기초하여), 동일한 프로파일을 갖는 다른 사용자의 프로파일에 기타 음악 이벤트를 가는 것이 기록되어 있으면, 동일한 기타 음악 이벤트를 사용자에게 추천할 수 있다.
실생활의 오브젝트(디지털 오브젝트가 아닌)인 경우, 추천은 사용자의 디지털 환경뿐만 아니라 실생활 환경에도 제공될 수 있다.
따라서, 본 발명의 이점 중의 하나는 실생활 환경에서의 입력에 기초하여 온라인/오프라인 추천 시스템을 제공할 수 있다는 점이다(과거에는 가상 환경에 한정됨). 예를 들어, 사용자의 라이프 스타일이 호화로운 경우(장면에 값비싼 아이템들이 존재함), 사용자는 좋은 품질의 아이템을 제안받거나 높은 가격의 디지털 컨텐츠를 제안받을 수 있다. 따라서, 사용자는 가상 및 실생활에서 적합한 추천을 받을 수 있다.
또한, 환경 프로파일은 한 명의 사용자 또는 복수의 사용자에게 추천을 제공하기 위한 것 수도 있다. 예를 들어, 주변 환경에 복수의 사용자가 존재하는 경우, 복수의 사용자를 포함하는 환경 프로파일을 생성할 수 있고, 복수의 사용자와 관련된 추천을 제공할 수 있다. 반면에, 주변 환경에 한명의 사용자가 존재하는 경우, 자동으로 한 명의 사용자를 위한 추천을 제공할 수 있다.
본 발명은 환경을 분석할 때, 오브젝트의 변화(물리적 이동 및 상태의 변화) 및 변화의 시간을 모니터링 할 수 있다. 이러한 모니터링을 통해, 어떤 오브젝트가 사용자에 의해 사용될 때의 정확한 시간을 알 수 있다. 예를 들어, 사용자는 저녁에 기타를 사용하고, 정오에 전자렌지를 사용한 환경 프로파일을 생성할 수 있다. 이 경우, 사용자에게 저녁에 기타를 추천하고 낮에 전자렌지를 추천할 수 있다.
포인트 클라우드 카메라는 제스처를 감지하는데 사용될 수 있다. 비슷하게, 열 센서는 환경 프로파일 생성 이외에 사람의 존재를 감지하는데 사용될 수 있다. 환경 프로파일 생성 장치은 환경 프로파일 생성 이외에도 추가적인 값들을 제공하여 사용자에게 보다 적합한 프로파일을 생성할 수 있다.
본 발명은 포인트 클라우드 카메라 데이터에 기초하여 오브젝트를 분할할 수 있다. 특히, 생명체를 감지할 때, 낮은 해상도의 열 센서를 이용하여 감지된 온도에 기초하여 오브젝트를 분할할 수 있다. 이러한 기술은 어두운 환경에서 움직임을 감지할 때 유용하다. 또한, 열 카메라를 이용하여 사람을 식별하는 것은 다른 이미지 처리 기법을 이용하는 경우보다 용이할 수 있다. 낮은 해상도를 갖는 포인트 클라우드 데이터와 열 센서의 낮은 해상도의 데이터의 조합은 사람을 식별하는데 이용될 수 있다.
또한, 본 발명은 변화되는 오브젝트에 대한 연속적인 모니터링이 가능하다. 일정 시간 동안 변화하게 되는 오브젝트는 사용자의 관심이 있는 오브젝트일 수 있다. 변화는 상태 변화에서 위치 변화까지 다양할 수 있다. 예를 들어, 사용자가 핸드헬드 장치치를 이동시키는 경우, 장치를 작동시키는 경우, 전자렌지의 문을 여는 경우, 디지털 앨범의 컨텐츠를 바꾸는 경우 등이 있다. 이러한 변화는 연속적인 모니터링을 통하여 쉽게 감지할 수 있다. 변화가 감지되면, 이미지 프레임에서 영역이 식별되고, 변형된 3D 오브젝트 구조가 추출될 수 있다.
이러한 추출된 3D 구조는 오브젝트의 종류를 알 수 있는 데이터베이스에서 검토될 수 있다. 사용자에 의해 사용된 오브젝트의 정보에 대해 이용가능한 경우,사용자의 오브젝트의 사용에 관한 사용 패턴이 결정될 수 있다.
도 7을 참조하면, 본 발명은 다양한 하드웨어 센서로부터 입력을 수신할 수 있고, 입력을 처리하여 과거 상태와의 비교를 통하여 환경 상태의 변화를 발견할 수 있다. 인식 프로세스는 큰 변화가 인식되면 실행될 수 있다. 인식 방법은 간단(프레임과 프레임을 비교)하거나 복잡(오브젝트의 변화를 분석하기 위한 확률 모델(probabilistic model)을 이용)할 수 있다. 변화가 감지되면, 변화된 오브젝트는 프레임에서 추출되어 분석될 수 있다. 도 7을 참조하면 프레임 1과 프레임 2간에는 변화가 없으나, 프레임 2와 프레임 3간에는 변화가 있다. 배경 삭제 방법(act of background subtraction)에 의해 분석된 프레임 3이 생성될 수 있다. 분석된 프레임과 오브젝트 데이터셋에 포함된 오브젝트의 비교에 기초하여, 변화된 오브젝트를 인식할 수 있다.
이전 섹션에서, 변화는 물리적인 변화 또는 상태의 변화이었으나, 색, 온도, 포인트 클라우드 구성을 이용하여 오브젝트와 오브젝트의 변화를 쉽게 인식할 수 있다.
이러한 방법들은 시스템들 좀 더 효과적이고 정확하게 할 수 있다. 이러한 시스템의 이용으로, 사용자가 관심을 갖는 오브젝트에 포커스를 맞출 수 있다. 예를 들어, 연속적으로 사용자의 옷 입는 패턴을 모니터링하여, 옷의 종류를 식별하고, 사용자가 파티에 가는 경우 적절한 옷을 추천해줄 수 있다.
오브젝트 및 오브젝트의 변화에 기초하여 사용자를 위한 프로파일을 생성할 수 있다. 위에서의 사용자의 옷을 예로 들면, 사용자 프로파일은 사용자의 성향에 대해 생성될 수 있다. 이러한 프로파일은 자동으로 경고를 하거나 물품을 추천하는 등 다양한 범위에서 이용될 수 있다.
이하, 특별한 경우를 예로 들어 설명하겠으나, 본 발명이 이에 한정되는 것은 아니다.
도 8을 참조하면, 캡처링된 이미지가 수신되고(S810), 수신된 이미지를 분석한다(S820). 이미지 분석은 도 7에 설명된 방법으로 수행될 수 있다. 그 후, 오브젝트의 클래스를 결정할 수 있다(S830). 오브젝트의 클래스가 결정되면, 특정 오브젝트를 위한 오브젝트 데이터베이스에서 클래스 타입을 검토한다(S840). 추천할 컨텐츠를 식별한 후(S850), 사용자에게 추천을 제공할 수 있다(S860).
또한, 사람의 타입 및 프로파일을 감지하고 인식할 수 있고, 컨텐츠를 추천할 수 있다. 예를 들어, 어린아이의 존재를 감지하면, 장난감, 워커 등과 같은 아이와 관련된 오브젝트 및 아이와 관련된 채널 및 컨텐츠를 추천할 수 있다.
도 9를 참조하면, 캡처링된 이미지가 수신되고(S910), 수신된 이미지를 분석할 수 있다(S920). 이미지 분석은 도 7에 설명된 방법으로 수행될 수 있다. 또한, 열 센서로부터 입력이 수신될 수 있고(S931), 입력은 사용자의 존재를 감지하기 위해 이용될 수 있다(S930). 사용자의 존재가 감지되면, 사람 자세 인식이 수행되고(S941), 사용자가 깨어있는지 또는 자고 있는지를 판단한다(S940). 예를 들어, 사용자가 자고 있는 경우, TV가 턴오프되도록 제어될 수 있다(S950).
또한, 본 발명은 생성된 환경 프로파일에 기초하여 자동으로 TV를 턴오프하는 것과 같이 추천의 일부로 제어 신호를 제공할 수 있다. 그러한 어플리케이션은 열, 포인트 클라우드 및 RGB 카메라를 이용하여 사람의 존재를 감지할 수 있다. 사용자의 3D 몸 자세를 인식하여 사용자가 잠든 경우 TV를 자동으로 턴오프 할 수 있게 된다.
도 10을 참조하면, 캡처링된 이미지가 수신되고(S1010), 수신된 이미지를 분석할 수 있다(S1020). 이미지 분석은 도 7에 설명된 방법으로 수행될 수 있다. 분석된 이미지에 기초하여, 제스처 인식이 수행된다(S1030). 인식된 제스처에 기초하여, 데이터베이스를 참조하여 움직임을 판단할 수 있다(S1040). 인식된 움직임에 기초하여, 프로파일이 생성되고(S1050), 프로파일에 적절한 추천이 생성되어 사용자에게 전송될 수 있다(S1060).
본 발명의 일 실시 예에 따르면, 이미징을 통하여 사용자의 몸짓 제스처, 식습관 및 운동습관을 연속적으로 모니터링할 수 있다. 모니터링된 제스처, 식습관, 운동습관은 특정한 칼로리/영양 프로파일을 생성하는데 이용될 수 있다. 사용자는 주기적으로 건강 관련한 추천 및 광고를 제공받을 수 있다.
도 11을 참조하면, 캡처링된 이미지가 수신되고(S1110), 수신된 이미지를 분석할 수 있다(S1120). 분석된 이미지에 기초하여 사람 인식이 수행될 수 있다(S1130). 데이터베이스를 조회하고 인식된 사람에 의해 수행되는 활동에 대한 정보가 검색될 수 있다(S1140). 이후, 인식된 사람의 활동을 추적 및 기록하고(S1150), 사용자에게 활동을 보고할 수 있다(S1160).
본 발명은 사용자 전용 작업 또는 특성 프로파일을 구성할 수 있다. 예를 들어, 만약 사용자가 하루종일 집에서 있는 경우, 사용자는 주부, 은퇴한 교수 또는 보호자가 될 것이다. 따라서, 사용자의 특정 프로파일에 기초하여, 연속적으로 존재하는 시간, 하는 일의 종류 등이 기록될 수 있다. 본 발명은 연속적인 감시 시스템으로서 이용될 수 있다.
도 12를 참조하면, 캡처링된 이미지가 수신되고(S1210), 수신된 이미지를 분석할 수 있다(S1220). 분석된 이미지에 기초하여 오브젝트가 인식될 수 있다(S1230). 데이터베이스를 조회하고 동일한 카테고리의 오브젝트에 대한 정보가 검색될 수 있다(S1240). 이후, 검색된 정보에 기초하여 프로파일이 생성된다(S1250). 마지막으로, 추천이나 비슷한 물품의 물품 정보가 사람에게 공급될 수 있다.
본 발명은 오브젝트를 감지하고 마트에서 사용자와 관련된 물품의 추천/광고를 제공할 수 있다. 예를 들어, 방에 전자렌지가 놓여져 있는 경우, 사용자는 전자렌지에서 사용될 수 있는 물품에 관한 광고를 볼 수 있다.
도 13을 참조하면, 캡처링된 이미지가 수신되고(S1310), 수신된 이미지를 분석할 수 있다(S1320). 분석된 이미지에 기초하여, 화면이나 테마에서 환경 프로파일을 인식할 수 있다(S1330). 데이터베이스를 조회하고 화면이나 테마에서 정보를 검색할 수 있다(S1340). 검색된 정보에 기초하여 알림이 적절한 사람들에게 전송될 수 있다. 또한, 추천이나 화면에서 이용된 물품의 물품 정보가 사람들에게 제공될 수 있다.
또한, 본 발명은 생성된 환경 프로파일에 기초하여 방의 테마를 예상할 수 있고, 사용자에게 실시간 알림을 전송할 수 있다. 만약 테마가 파티나 축제 분위기인 경우, 환경 프로파일에 기록된 사용자의 동료에게 실시간으로 알림을 보낼 수 있다. 또한, 사용자가 특정 업무를 수행하는 경우에도 이용될 수 있다.
도 14를 참조하면, 캡처링된 이미지가 수신되고(S1410), 수신된 이미지를 분석할 수 있다(S1420). 분석된 이미지에 기초하여, 하나 이상의 오브젝트가 인식될 수 있다(S1430). 오브젝트 정보를 포함하는 데이터베이스를 조회한다(S1440). 만약 오브젝트가 특별한 위치에서 사라지는 경우, 알람이 동작할 수 있다(S1450).
일정 시간 동안 포인트 클라우드 데이터를 모니터링하고 분석하여, 실시간 경고를 제공할 수 있다. 라커나 안전 같은 중요 오브젝트로 판단된 경우 이용될 수 있다. 캡처링의 처리에 의해, 변화를 감지, 분석하고 중요 오브젝트를 식별할 수 있다. 식별된 오브젝트와 중요 오브젝트 리스트를 매핑할 수 있다. 방에서 중요 오브젝트가 사라지거나 망가지거나 상태 변화가 심한 경우 실시간으로 알람이 작동할 수 있다. 즉, 방 안에서 오브젝트가 사라지면 사용자가 스스로 들고 간 경우에도, 사용자에게 알람이 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
300: 환경 프로파일 생성 장치 310: 수신부
320: 감지부 330: 프로파일 생성부

Claims (20)

  1. 오브젝트 주변 환경의 프로파일 생성 방법에 있어서,
    포인트 클라우드 카메라를 포함하는 적어도 하나의 기록 장치를 이용하여 상기 오브젝트를 캡처링하여 이미지를 생성하는 단계;
    상기 이미지에 기초하여 상기 오브젝트의 변화 및 변화 빈도를 감지하는 단계;
    상기 오브젝트의 변화 빈도에 기초하여 관심 오브젝트를 식별하는 단계;
    상기 오브젝트의 변화 빈도 및 상기 오브젝트의 변화에 기초하여 환경 프로파일을 생성하는 단계;
    상기 오브젝트의 변화가 사라짐 또는 손상인 것으로 식별될 때 실시간으로 알람을 제공하는 단계; 및
    상기 오브젝트가 전자레인지인 경우, 상기 전자레인지에서 사용될 수 있는 물품에 대한 광고 정보를 제공하는 단계;를 포함하고,
    상기 관심 오브젝트를 식별하는 단계는,
    상기 오브젝트의 상태가 기 설정된 빈도 이상으로 변화될 때 사용자의 관심 오브젝트로서 오브젝트를 식별하는, 환경 프로파일 생성 방법.
  2. 제1항에 있어서,
    상기 기록 장치는,
    RGB 카메라, 열 카메라, 뎁스(depth) 카메라 및 포인트 클라우드 카메라 중 적어도 하나인 것을 특징으로 하는 환경 프로파일 생성 방법.
  3. 제1항에 있어서,
    상기 환경 프로파일에 기초하여 사용자를 위한 추천을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 환경 프로파일 생성 방법.
  4. 제1항에 있어서,
    상기 감지하는 단계는,
    상기 오브젝트의 변화가 감지된 시간 및 상기 오브젝트의 변화의 종류를 측정하고,
    상기 생성하는 단계는,
    상기 오브젝트의 변화, 상기 오브젝트의 변화가 감지된 시간 및 상기 오브젝트의 변화의 종류에 기초하여 환경 프로파일을 생성하는 것을 특징으로 하는 환경 프로파일 생성 방법.
  5. 제1항에 있어서,
    오디오 센서를 이용하여 오디오 신호를 생성하는 단계;를 더 포함하고,
    상기 감지하는 단계는,
    상기 이미지 및 상기 오디오 신호에 기초하여 상기 오브젝트의 변화를 감지하는 것을 특징으로 하는 환경 프로파일 생성 방법.
  6. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 오브젝트와 사용자의 관련성에 기초하여 환경 프로파일을 생성하는 것을 특징으로 하는 환경 프로파일 생성 방법.
  7. 제1항에 있어서,
    상기 오브젝트의 변화는,
    상기 오브젝트의 추가, 제거, 대체, 수정 및 위치 변화 중 어느 하나인 것을 특징으로 하는 환경 프로파일 생성 방법.
  8. 제1항에 있어서,
    상기 오브젝트의 변화에 기초하여, 사용자에게 추천, 알림 및 경고 중 적어도 하나를 제공하는 단계;를 더 포함하는 것을 특징으로 하는 환경 프로파일 생성 방법.
  9. 삭제
  10. 제1항에 있어서,
    상기 오브젝트의 변화에 기초하여 사용자의 사용 패턴을 결정하는 단계;를 더 포함하고,
    상기 생성하는 단계는,
    상기 오브젝트의 변화 및 상기 사용자의 사용 패턴에 기초하여 환경 프로파일을 생성하는 것을 특징으로 하는 환경 프로파일 생성 방법.
  11. 오브젝트 주변 환경의 프로파일 생성 장치에 있어서,
    알람 생성부;
    추천 생성부;
    상기 오브젝트를 캡처링하여 이미지를 생성하는 이미지 생성부;
    상기 이미지에 기초하여 상기 오브젝트의 변화 및 변화 빈도를 감지하는 감지부; 및
    상기 오브젝트의 변화 빈도 및 상기 오브젝트의 변화에 기초하여 환경 프로파일을 생성하는 프로파일 생성부;를 포함하고,
    상기 감지부는,
    상기 오브젝트의 상태가 기 설정된 빈도 이상으로 변화될 때 사용자의 관심 오브젝트로서 오브젝트를 식별하고,
    상기 알람 생성부는,
    상기 오브젝트의 변화가 사라짐 또는 손상인 것으로 식별될 때 실시간으로 알람을 제공하며,
    상기 추천 생성부는,
    상기 오브젝트가 전자레인지인 경우, 상기 전자레인지에서 사용될 수 있는 물품에 대한 광고 정보를 제공하는, 환경 프로파일 생성 장치.
  12. 제11항에 있어서,
    상기 이미지 생성부는,
    RGB 카메라, 열 카메라, 뎁스(depth) 카메라 및 포인트 클라우드 카메라 중 적어도 하나인 것을 특징으로 하는 환경 프로파일 생성 장치.
  13. 제11항에 있어서,
    상기 프로파일 생성부는,
    상기 환경 프로파일에 기초하여 사용자를 위한 추천을 생성하는 것을 특징으로 하는 환경 프로파일 생성 장치.
  14. 제11항에 있어서,
    상기 프로파일 생성부는,
    상기 오브젝트의 변화, 상기 오브젝트의 변화가 감지된 시간 및 상기 오브젝트의 변화의 종류에 기초하여 환경 프로파일을 생성하는 것을 특징으로 하는 환경 프로파일 생성 장치.
  15. 제11항에 있어서,
    오디오 신호를 생성하는 오디오 센서;를 더 포함하고,
    상기 감지부는,
    상기 이미지 및 상기 오디오 신호에 기초하여 상기 오브젝트의 변화를 감지하는 것을 특징으로 하는 환경 프로파일 생성 장치.
  16. 제11항에 있어서,
    상기 프로파일 생성부는,
    상기 오브젝트와 사용자의 관련성에 기초하여 환경 프로파일을 생성하는 것을 특징으로 하는 환경 프로파일 생성 장치.
  17. 제11항에 있어서,
    상기 오브젝트의 변화는,
    상기 오브젝트의 추가, 제거, 대체, 수정 및 위치 변화 중 어느 하나인 것을 특징으로 하는 환경 프로파일 생성 장치.
  18. 제11항에 있어서,
    상기 프로파일 생성부는,
    상기 오브젝트의 변화에 기초하여, 사용자에게 추천, 알림 및 경고 중 적어도 하나를 제공하는 것을 특징으로 하는 환경 프로파일 생성 장치.
  19. 삭제
  20. 제11항에 있어서,
    상기 프로파일 생성부는,
    상기 오브젝트의 변화 및 사용자의 사용 패턴에 기초하여 환경 프로파일을 생성하는 것을 특징으로 하는 환경 프로파일 생성 장치.
KR1020150078522A 2014-08-08 2015-06-03 환경 프로파일 생성 방법 및 환경 프로파일 생성 장치 KR102447970B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580042622.3A CN106663197B (zh) 2014-08-08 2015-08-10 用于环境简档生成的方法和装置
EP15830701.7A EP3178054A4 (en) 2014-08-08 2015-08-10 Method and apparatus for environmental profile generation
US14/822,474 US10469826B2 (en) 2014-08-08 2015-08-10 Method and apparatus for environmental profile generation
PCT/KR2015/008351 WO2016022008A1 (en) 2014-08-08 2015-08-10 Method and apparatus for environmental profile generation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN2266DE2014 2014-08-08
IN2266/DEL/2014 2014-08-08

Publications (2)

Publication Number Publication Date
KR20160018341A KR20160018341A (ko) 2016-02-17
KR102447970B1 true KR102447970B1 (ko) 2022-09-27

Family

ID=58670307

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150078522A KR102447970B1 (ko) 2014-08-08 2015-06-03 환경 프로파일 생성 방법 및 환경 프로파일 생성 장치

Country Status (3)

Country Link
EP (1) EP3178054A4 (ko)
KR (1) KR102447970B1 (ko)
CN (1) CN106663197B (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008168133A (ja) * 2007-01-12 2008-07-24 Internatl Business Mach Corp <Ibm> ユーザの身体運動の範囲を追跡するための方法、システム、およびプログラム
JP2012141965A (ja) * 2011-01-05 2012-07-26 Primesense Ltd 非触覚ユーザインタフェース用場面プロファイル

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7167583B1 (en) * 2000-06-28 2007-01-23 Landrex Technologies Co., Ltd. Image processing system for use with inspection systems
US7174029B2 (en) * 2001-11-02 2007-02-06 Agostinelli John A Method and apparatus for automatic selection and presentation of information
KR100837406B1 (ko) * 2006-11-13 2008-06-12 삼성전자주식회사 영상 감시 장치를 포함한 휴대 단말기 및 이를 이용한 영상감시 방법, 및 영상 감시 시스템
US7836093B2 (en) * 2007-12-11 2010-11-16 Eastman Kodak Company Image record trend identification for user profiles
CN101488185B (zh) * 2009-01-16 2010-10-20 哈尔滨工程大学 基于分块矩阵的步态识别方法
US20110280439A1 (en) * 2010-05-11 2011-11-17 Beverly Harrison Techniques for person detection
CN103760968B (zh) * 2013-11-29 2015-05-13 理光软件研究所（北京）有限公司 数字标牌显示内容选择方法和装置
CN103761505A (zh) * 2013-12-18 2014-04-30 微软公司 对象跟踪

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008168133A (ja) * 2007-01-12 2008-07-24 Internatl Business Mach Corp <Ibm> ユーザの身体運動の範囲を追跡するための方法、システム、およびプログラム
JP2012141965A (ja) * 2011-01-05 2012-07-26 Primesense Ltd 非触覚ユーザインタフェース用場面プロファイル

Also Published As

Publication number Publication date
EP3178054A4 (en) 2018-04-18
CN106663197B (zh) 2021-03-26
KR20160018341A (ko) 2016-02-17
CN106663197A (zh) 2017-05-10
EP3178054A1 (en) 2017-06-14

Similar Documents

Publication Publication Date Title
US10139898B2 (en) Distracted browsing modes
US9749692B2 (en) Providing recommendations based upon environmental sensing
KR102599947B1 (ko) 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
KR102615597B1 (ko) 이미지를 암호화하여 외부 서버에 업로드하기 위한 전자 장치 및 이의 제어 방법
JP7470137B2 (ja) 視覚的特徴をサウンドタグに相関させることによるビデオタグ付け
US9792362B2 (en) Video search system and method
KR102444932B1 (ko) 이미지를 암호화하여 외부 서버에 업로드하기 위한 전자 장치 및 이의 제어 방법
US20180088969A1 (en) Method and device for presenting instructional content
US10469826B2 (en) Method and apparatus for environmental profile generation
Kim et al. RGB color model based the fire detection algorithm in video sequences on wireless sensor network
KR102402511B1 (ko) 영상 검색 방법 및 이를 위한 장치
US11874885B2 (en) Method and apparatus for providing content based on knowledge graph
US20200413138A1 (en) Adaptive Media Playback Based on User Behavior
EP3267333A1 (en) Local processing of biometric data for a content selection system
US11030479B2 (en) Mapping visual tags to sound tags using text similarity
US20170228034A1 (en) Method and apparatus for providing interactive content
US20210201146A1 (en) Computing device and operation method thereof
KR102586170B1 (ko) 전자 장치 및 이의 검색 결과 제공 방법
KR102307349B1 (ko) 검색 장치 및 방법
KR102447970B1 (ko) 환경 프로파일 생성 방법 및 환경 프로파일 생성 장치
US20190179513A1 (en) Method and system for context-driven displaying of shortcuts on touchscreen
US10489026B2 (en) Accessible user interface for application with moving items

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant