KR20220060670A - 가전 기기 및 이의 제어 방법 - Google Patents

가전 기기 및 이의 제어 방법 Download PDF

Info

Publication number
KR20220060670A
KR20220060670A KR1020200146515A KR20200146515A KR20220060670A KR 20220060670 A KR20220060670 A KR 20220060670A KR 1020200146515 A KR1020200146515 A KR 1020200146515A KR 20200146515 A KR20200146515 A KR 20200146515A KR 20220060670 A KR20220060670 A KR 20220060670A
Authority
KR
South Korea
Prior art keywords
image
pixel value
roi
processor
home appliance
Prior art date
Application number
KR1020200146515A
Other languages
English (en)
Inventor
최준명
권배근
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020200146515A priority Critical patent/KR20220060670A/ko
Priority to CN202180089217.2A priority patent/CN116802439A/zh
Priority to PCT/KR2021/006117 priority patent/WO2022097859A1/ko
Priority to US18/035,411 priority patent/US20230410546A1/en
Priority to EP21889327.9A priority patent/EP4242540A1/en
Publication of KR20220060670A publication Critical patent/KR20220060670A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F24F11/64—Electronic processing using pre-stored data
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • F24F11/49—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring ensuring correct operation, e.g. by trial operation or configuration checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/79—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling the direction of the supplied air
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • F24F2120/10—Occupancy
    • F24F2120/12—Position of occupants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

가전 기기 및 이의 제어 방법이 개시된다. 개시된 가전 기기는 공간 내의 인체의 형상과 대응되는 객체를 대상으로 제1 가전 동작을 수행하고, 이 후 상기 객체 중 사용자가 아닌 객체를 제외하고, 사용자만을 대상으로 제2 가전 동작을 수행한다. 이 때, 제1 가전 동작과 제2 가전 동작은 동시에 수행되지 않고 서로 다른 가전 동작이다.

Description

가전 기기 및 이의 제어 방법{Home appliance and Method for controlling thereof}
본 발명은 가전 기기 및 이의 제어 방법에 관한 것이다.
공기 조화기(air conditioner)는 쾌적한 실내 환경을 조성하기 위해 실내로 냉온의 공기를 토출함으로써, 실내 온도를 조절하고 실내 공기를 정화하는 장치이다. 공기 조화기를 설치함으로써 인간에게 보다 쾌적한 실내 환경이 제공된다.
공기 조화기는, 실내에 설치되고 열교환기를 포함하는 실내기와, 실외에 설치되고 압축기 및 열교환기를 포함하며, 실내기로 냉매를 공급하는 실외기를 포함한다. 공기 조화기는 실내기와 실외기로 분리되어 제어된다. 공기 조화기는 적어도 하나의 실내기가 하나의 실외기에 연결될 수 있으며, 요청되는 운전 상태에 따라 냉방 모드 또는 난방 모드로 운전된다.
한편, 실내로 토출되는 풍향을 조절할 수 있도록 하기 위해, 공기 조화기의 토출구에 풍향 조절 수단이 구비된다. 사용자는 리모컨 등에 구비된 풍향 설정 버튼을 조작함으로써 풍향을 변경할 수 있다.
종래의 공기 조화기는 상기와 같이 수동 조작을 통하여 풍향을 조절하였으나, 실내에서 사용자가 자주 이동하는 경우, 매번 풍향이 변경되어야 하므로, 사용자의 불편함이 초래될 수 있다.
따라서, 최근에는 실내 공간에 위치한 사용자(즉, 재실자)의 위치에 따라 풍속 또는 기류(air current)를 제어하는 기술이 개발되고 있다.
종래 기술 1(KR 10-2018-0071031, 공기조화기　및 그 제어방법)은 카메라를 통해 영상을 획득하고, 획득된 영상에 기초하여 복수의 영역으로 구분되는 실내 공간 내에 재실자가 위치하는 영역을 인식하고, 재실자의 위치 인식 결과를 머신 러닝(machine learning)으로 기학습된 데이터의 입력으로 사용하여 복수의 영역에 대하여 생활 영역을 구분하고, 구분된 생활 영역에 기초하여 기류를 제어한다.
종래 기술 2(KR 10-2019-0118337, 인공지능에 기반하여 영역 선택적으로 동작하는 공기 조화기, 클라우드 서버, 및 이들의 동작 방법)은 공기 조화기의 송풍 영역에서 센싱된 재실자의 거리와 방향에 대응하여 집중 송풍 영역을 판단하고, 그 외 영역에 대해 비집중 송풍 영역으로 판단하여 구분하며, 집중 송풍 영역에 대해 공기 조화기가 집중 운전 모드로 운전하도록 지시하며, 집중 운전 모드로 동작이 완료하면 집중 송풍 영역 및 비집중 송풍 영역에 대해 집중 운전 모드와 구별되는 운전 모드로 동작하도록 제어한다.
하지만, 상기한 종래 기술들은 재실자(인체)의 위치 감지의 정확성이 떨어지므로 기류를 효과적으로 제어하지 못하는 문제점이 있다. 특히, 실내 공간에는 액자, 디스플레이 장치(일례로, TV) 등이 존재할 수 있으며, 액자에 포함된 사진 또는 디스플레이 장치에 표시된 인체 형상이 사용자로 오인되어 인체 감지의 정확성이 떨어지는 문제점이 있다. 따라서, 인체를 보다 정확하게 감지하는 기술이 요구되고 있다.
본 발명의 목적은 공간에 존재하는 사용자(재실자)를 보다 정확하게 감지하여 사용자 위치 기반의 가전 동작을 수행할 수 있는 가전 기기 및 이의 제어 방법을 제공하는 것이다.
본 발명의 목적은 공간에 존재하는 사용자와 액자 또는 디스플레이 장치에 표시되는 인체를 명확하게 구분할 수 있는 가전 기기 및 이의 제어 방법을 제공하는 것이다.
본 발명의 목적은 사용자의 가전 기기의 사용의 불편함을 해소할 수 있는 가전 기기 및 이의 제어 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다.
본 발명의 일 실시예에 따른 가전 기기 및 이의 제어 방법은, 공간 내의 인체의 형상과 대응되는 객체를 대상으로 제1 가전 동작을 수행하고, 상기 객체 중 사용자가 아닌 객체를 제외하고 사용자만을 대상으로 제1 가전 동작과는 다른 제2 가전 동작을 수행한다. 이 때, 제1 가전 동작과 제2 가전 동작은 동시에 수행되지 않고 서로 다른 가전 동작이다.
구체적으로, 본 발명의 일 실시예에 따른 가전 기기 및 이의 제어 방법은, 제1 시간 구간에서, 인체의 형상과 대응되는 객체가 포함된 하나 이상의 제1 관심 영역을 검출하고 제1 관심 영역에 기초하여 제1 가전 동작을 수행하고, 제2 시간 구간에서, 하나 이상의 제1 관심 영역에서 사용자 유사 객체를 제거하여 하나 이상의 제2 관심 영역을 검출하고 제2 관심 영역에 기초하여 제2 가전 동작을 수행한다.
또한, 본 발명의 일 실시예에 따른 가전 기기 및 이의 제어 방법은 누적 차 영상에 기초하여 공간에 존재하는 사용자와 액자 또는 디스플레이 장치에 표시되는 인체를 구분함으로써, 간단하고 효율적으로 사용자를 사용자 유사 객체와 구분할 수 있다.
본 발명의 일 실시예에 따른 가전 기기는, 적어도 하나의 명령어를 저장하는 메모리, 상기 적어도 하나의 명령어를 실행하는 프로세서 및 상기 프로세서에 의해 제어되며, 가전 동작을 수행하는 동작부를 포함하되, 상기 프로세서는, 상기 영상 중 제1 영상에 기초하여 상기 공간 내의 인체의 형상과 대응되는 객체를 대상으로 제1 가전 동작을 수행하도록 상기 동작부를 제어하고, 상기 영상 중 상기 제1 영상 이후의 제2 영상에 기초하여 상기 객체 중 상기 공간 내의 사용자만을 대상으로 상기 제1 가전 동작과 다른 제2 가전 동작을 수행하도록 상기 동작부를 제어한다.
이 때, 상기 프로세서는, 상기 제1 영상에 기초하여 상기 공간을 구성하는 복수의 영역 중 상기 객체가 포함된 하나 이상의 제1 관심 영역을 검출하고, 상기 하나 이상의 제1 관심 영역에 기초하여 상기 제1 가전 동작을 수행하도록 상기 동작부를 제어하고, 상기 제2 영상에 기초하여 상기 하나 이상의 제1 관심 영역 중 상기 객체가 상기 사용자인 하나 이상의 제2 관심 영역을 검출하고, 상기 하나 이상의 제2 관심 영역에 기초하여 상기 제2 가전 동작을 수행하도록 상기 동작부를 제어할 수 있다.
또한, 상기 객체는, 상기 사용자 및 사용자 유사 객체를 포함하고, 상기 사용자 유사 객체는 액자에 포함된 인체의 사진 또는 그림, 디스플레이 장치에 표시되는 인체의 사진 또는 그림일 수 있다.
또한, 상기 프로세서는, 상기 카메라를 통해 기 설정된 시간 동안 순차적으로 획득된 상기 제2 영상에 기초하여 누적 차 영상을 생성하고, 상기 누적 차 영상에 기초하여 상기 하나 이상의 제2 관심 영역을 검출할 수 있다.
또한, 상기 누적 차 영상은 상기 복수 개의 차 영상의 평균 영상과 대응되고, 상기 차 영상은 제1 시점의 영상과 상기 제1 시점 이전의 시점인 제2 시점의 영상의 차와 대응되는 영상일 수 있다.
또한, 상기 차 영상은 상기 제1 시점의 영상에 대한 명암도(grayscale) 영상과 상기 제2 시점의 영상에 대한 명암도 영상의 차와 대응되는 영상일 수 있다.
또한, 상기 프로세서는, 상기 하나 이상의 제1 관심 영역의 픽셀값과 상기 미리 설정된 임계 픽셀값을 비교하여 상기 하나 이상의 제2 관심 영역을 검출할 수 있다.
또한, 상기 임계 픽셀값은 제1 임계 픽셀값 및 제2 임계 픽셀값을 포함하되, 상기 하나 이상의 제1 관심 영역 중 어느 하나의 제1 관심 영역의 픽셀 값이 상기 제1 임계 픽셀값보다 크고 상기 제2 임계 픽셀값보다 작은 경우, 상기 프로세서는 상기 어느 하나의 제1 관심 영역을 상기 제2 관심 영역으로 검출할 수 있다.
또한, 상기 임계 픽셀값은 제1 임계 픽셀값 및 제2 임계 픽셀값을 포함하되,
상기 하나 이상의 제1 관심 영역 중 어느 하나의 제1 관심 영역의 픽셀값이 상기 제1 임계 픽셀값보다 작거나 상기 제2 임계 픽셀값보다 큰 경우, 상기 프로세서는 상기 어느 하나의 제1 관심 영역을 상기 제2 관심 영역으로 검출하지 않을 수 있다.
또한, 상기 어느 하나의 제1 관심 영역의 픽셀값이 상기 제1 임계 픽셀값보다 작은 경우, 상기 프로세서는 상기 어느 하나의 제1 관심 영역에 포함된 상기 객체를 액자에 포함된 인체의 사진 또는 그림으로 판단하고, 상기 어느 하나의 제1 관심 영역의 픽셀값이 상기 제2 임계 픽셀값보다 큰 경우, 상기 프로세서는 상기 어느 하나의 제1 관심 영역에 포함된 상기 객체를 디스플레이 장치에 표시되는 사진 또는 그림으로 판단할 수 있다.
또한, 상기 프로세서는, 상기 누적 차 영상에서 사각 형상을 검출하고, 상기 검출된 사각 형상에 더 기초하여 상기 제2 관심 영역을 검출할 수 있다. 이 경우, 상기 임계 픽셀값은 제2 임계 픽셀값 및 제3 임계 픽셀값을 포함하고, 상기 하나 이상의 제1 관심 영역 중 어느 하나의 관심 영역이 사각 형상이고, 상기 사각 형상의 제1 관심 영역의 내부의 픽셀값이 상기 제2 임계 픽셀값보다 크고, 상기 사각 형상의 제1 관심 영역의 내부의 픽셀값와 상기 사각 형상의 제1 관심 영역의 외부의 픽셀값의 차가 상기 제3 임계 픽셀값보다 큰 경우, 상기 프로세서는 상기 어느 하나의 제1 관심 영역이 상기 제2 관심 영역으로 검출하지 않을 수 있다.
또한, 상기 프로세서는, 상기 제1 영상을 머신 러닝으로 기학습된 데이터의 입력으로 사용하여 상기 하나 이상의 제1 관심 영역을 검출할 수 있다.
본 발명의 다른 실시예에 따른 가전 기기의 제어 방법은, 카메라에서 획득된 공간의 영상을 수신하는 단계, 상기 영상 중 제1 영상에 기초하여 상기 공간 내의 인체의 형상과 대응되는 객체를 대상으로 제1 가전 동작을 수행하는 단계 및 상기 영상 중 상기 제1 영상 이후의 제2 영상에 기초하여 상기 객체 중 상기 공간 내의 사용자만을 대상으로 상기 제1 가전 동작과 다른 제2 가전 동작을 수행하는 단계를 포함한다.
본 발명에 따르면, 영상의 픽셀값 분석을 통해 영상 내의 존재하는 인체가 사용자(재실자)인지, 액자 또는 디스플레이 장치에 표시된 인체인지를 구분할 수 있으며, 이를 통해 사용자를 보다 정확하게 감지할 수 있다.
또한, 본 발명에 따르면, 영상 내에서 사용자를 보다 정확하게 감지함으로써 사용자에게 가전 기기의 사용의 편의성을 제공할 수 있다.
또한, 본 발명에 따르면, 공간에 존재하는 사용자를 정확하게 감지함으로써 사용자 위치 기반의 가전 동작의 제공 시 발생되는 오류를 방지할 수 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 일 실시예에 따른 공기 조화기의 간략한 개념도를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 공기 조화기의 주요 구성들 간의 제어 관계를 도시한 블록도이다.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 공기 조화기의 제어 방법의 흐름도를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 실내 공간의 영상을 도시한 도면이다.
도 9 및 도 10은 인공 신경망(ANN)의 개념을 설명하기 위한 도면이다
도 11은 본 발명에 따른 차 영상의 일례를 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 누적 차 영상의 일례를 도시한 도면이다.
도 13은 발명의 일 실시예에 따라서, 제2 관심 영역을 검출하는 개념을 설명하기 위한 도면이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것으로, 특별히 반대되는 기재가 없는 한, 제1 구성요소는 제2 구성요소일 수도 있음은 물론이다.
이하에서 구성요소의 "상부 (또는 하부)" 또는 구성요소의 "상 (또는 하)"에 임의의 구성이 배치된다는 것은, 임의의 구성이 상기 구성요소의 상면 (또는 하면)에 접하여 배치되는 것뿐만 아니라, 상기 구성요소와 상기 구성요소 상에 (또는 하에) 배치된 임의의 구성 사이에 다른 구성이 개재될 수 있음을 의미할 수 있다.
또한 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 상기 구성요소들은 서로 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 다른 구성요소가 "개재"되거나, 각 구성요소가 다른 구성요소를 통해 "연결", "결합" 또는 "접속"될 수도 있는 것으로 이해되어야 할 것이다.
명세서 전체에서, 특별히 반대되는 기재가 없는 한, 각 구성요소는 단수일 수도 있고 복수일 수도 있다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
한편, 본 발명은 실내 온도를 조절하고 실내 공기를 정화하는 공기 조화기(air conditioner)에 적용될 수 있다. 그러나, 본 발명이 이에 한정되는 것은 아니며, 홈 로봇(일례로, 로봇 청소기), 오븐, 냉장고, 정수기, 식기 세척기, 세탁기, 공기 청정기 등과 같이 카메라에 의해 획득된 영상에 기초하여 특정한 가전 동작을 수행하는 가전 기기 모두에 본 발명이 적용될 수 있다.
여기서, 본 발명에서 설명되는 영상에 기초한 가전 동작의 제어는, 가전 기기의 턴 온/오프 제어, 도어의 개폐 제어, 가전 기기에 설치된 디스플레이 장치 또는 조명 장치의 제어, 가전 기기의 운전 범위, 강도, 횟수의 제어 등을 포함할 수 있다.
이하, 설명의 편의를 위해, 가전 기기를 공기 조화기로 한정하여 본 발명의 실시예들을 설명한다.
도 1은 본 발명의 일 실시예에 따른 공기 조화기의 간략한 개념도를 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 공기 조화기의 주요 구성들 간의 제어 관계를 도시한 블록도이다.
본 발명의 일 실시예에 따르면, 공기 조화기(100)는 스탠드형 공기 조화기인 것으로 예시된다. 그러나 본 발명은 이에 한정되는 것은 아니며, 스탠드형 공기 조화기 외에도 벽걸이형 공기 조화기, 천장형 공기 조화기 등과 같은 공기 조화기에도 본 발명이 적용될 수 있다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 공기 조화기(100)는, 카메라(110), 메모리(120), 프로세서(130), 통신부(140) 및 동작부(150)를 포함한다.
카메라(110)는 공간에 대한 영상을 획득한다. 카메라(110)는 공기 조화기(100)의 실내기의 외부면(일례로, 전면)에 부착될 수 있다. 공간은 실내 공간일 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
한편, 공간의 내부에 외부 카메라가 설치될 수 있다. 이 경우 통신부(140)을 통해 외부 카메라에서 수신된 공간의 영상이 공기 조화기(100)로 수신될 수 있으며, 카메라(110)는 공기 조화기(100)에 포함되지 않을 수도 있다. 이하, 설명의 편의를 위해, 카메라(110)가 공기 조화기(100)에 설치되는 것으로 가정한다.
메모리(120)는 휘발성 및/또는 비휘발성 메모리일 수 있고, 공기 조화기(100)의 적어도 하나의 다른 구성요소에 관계된 명령어 또는 데이터를 저장한다. 또한, 메모리(120)는 공기 조화기(100)를 제어하는데 사용되는 영상을 저장할 수 있다. 이 때, 영상은 카메라(110)에서 획득된 영상 및 획득된 영상을 통해 가공된 영상을 포함한다.
프로세서(130)는 중앙처리장치, 애플리케이션 프로세서 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(130)는 공기 조화기(100)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 명령어 및 데이터의 처리를 수행할 수 있다. 특히, 프로세서(130)는 카메라(110)에서 획득된 영상을 수신하고, 수신된 영상에 기초하여 동작부(150)를 제어함으로써 공기의 흐름(즉, 기류)을 제어할 수 있다.
프로세서(130) 내에는 복수 개의 모듈이 구비될 수 있다.
여기서, 모듈은 본 발명의 기술적 사상을 수행하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 리소스의 논리적인 단위를 의미할 수 있다.
일례로, 복수 개의 모듈은 인체 인식 모듈(131), 영역 인식 모듈(132), 신호 생성 모듈(133) 및 동작 제어 모듈(134)을 포함할 수 있다.
인체 인식 모듈(131)은 카메라(110)에 의해 획득된 영상에 기초하여 공간 내의 사용자(재실자)의 존재 여부 및 사용자의 위치를 검출한다.
영역 인식 모듈(132)은 카메라(110)에 의해 획득된 영상 및 사용자의 위치 인식 결과에 기초하여 공간 내의 복수의 영역에서 하나 이상의 관심 영역을 검출한다. 여기서, 관심 영역은 생활 영역과 대응되며, 생활 영역은 공간 내의 사용자가 생활하는 영역이다.
영역 인식 모듈(132)은 하나 이상의 관심 영역 중 사용자가 포함된 관심 영역만을 검출하고, 사용자과 유사한 객체가 포함된 관심 영역을 제거한다. 즉, 영역 인식 모듈(132)은 관심 영역을 확정하는 동작을 수행하며, 확정된 관심 영역에는 사용자과 유사한 객체가 포함되지 않으며, 사용자 만이 포함된다. 다시 말해, "관심 영역의 확정"은 "사용자가 포함된 제1 관심 영역의 검출"과 대응되는 의미이다.
신호 생성 모듈(133)은 확정된 관심 영역에 기초하여 동작부(150)의 동작을 제어하는 제어 신호를 생성한다.
동작 제어 모듈(134)은 신호 생성 모듈(133)에서 생성된 제어 신호에 기초하여 동작부(150)를 제어한다.
공기 조화기(100)를 제어하는 프로세서(130)의 동작에 대해서는 아래에서 보다 상세하게 설명한다.
통신부(140)는 소정 서버와 통신 연결될 수 있다. 이 때, 통신부(140)는 이동통신 모듈, 근거리 통신 모듈 등을 포함할 수 있다.
이동통신 모듈은, 이동통신을 위한 기술표준들 또는 통신방식 등에 따라 구축된 이동 통신망 상에서 무선 신호를 송수신하는 모듈이다. 일례로, 이동 통신망은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등에 따라 구축될 수 있다.
근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 포함할 수 있다.
동작부(150)는 공기 조화 동작 및 이와 관련된 부가 동작을 수행하는 장치이다. 일례로서, 동작부(150)은 팬 모터, 풍향 조절 수단, 디스플레이 장치, 조명 장치 등을 포함할 수 있다.
동작부(150)는 앞서 설명한 바와 같이 프로세서(130)에 의해 제어될 수 있으며, 동작부(150)에 의해 수행되는 가전 동작의 제어는 공기 조화기(100)의 턴 온 및 턴 오프 제어, 공기 조화기(100)에 설치된 디스플레이 장치 또는 조명 장치의 동작 제어, 공기 조화기(100)의 운전 범위(일례로, 풍향 각도 및 방향), 운전 강도, 운전 횟수 등의 제어를 포함할 수 있다.
도 1을 참조하여, 공기 조화기(100)의 동작을 간단하게 설명하면 다음과 같다.
공기 조화기(100)에는 실내 공기가 흡입되는 흡입구(미도시) 및 흡입구를 통해 흡입된 공기가 다시 실내로 토출되는 토출구(190)가 형성될 수 있다.
토출구(190)에는, 토출구(190)를 개폐시키고 토출되는 공기의 풍향을 조절하는 루버(미도시) 및 베인(미도시) 등 풍향 조절 수단이 배치될 수 있다. 프로세서(130)의 제어에 따라, 모터 등이 구동되며, 풍향 조절 수단의 각도 및 방향이 전환될 수 있다. 이에 따라, 토출구(190)를 통해 토출되는 공기의 풍향이 조절될 수 있다. 또한, 루버 및 베인 등 풍향 조절 수단의 동작이 제어됨으로써 기류의 송풍 방향, 송풍 범위 등이 조절될 수 있다.
예를 들어, 베인이 어느 한 방향을 향하도록 고정됨으로써 어느 한 방향으로 송풍이 이루어질 수 있다. 또한, 베인의 방향이 설정된 범위 내에서 계속해서 변화(즉, 스윙 동작)하도록 제어함으로써, 송풍 방향이 계속해서 변화될 수 있다. 그리고, 베인의 스윙 동작이 이루어지는 각도 범위를 조절함으로써 송풍이 이루어지는 범위를 조절할 수 있다.
한편, 공기 조화기(100)의 실내기의 내부에는, 흡입구로 흡입된 실내의 공기가 토출구(190)를 통해 실내 공간으로 배출되는 흐름을 제어하기 위한 팬(미도시)이 설치되어 있는데, 팬은 팬 모터에 의해 회전이 조절되고, 팬 모터의 작동은 프로세서(130)에 의해 제어된다.
따라서, 프로세서(130)는 루버, 베인 등 풍향 조절 수단 및 팬 모터를 제어하여 공기 조화기(100)로부터 토출되는 공기의 흐름(기류)의 방향을 제어할 수 있다. 프로세서(130)는 팬 모터의 속도를 제어하여 기류의 양과 속도를 제어하고, 루버, 베인 등 풍향 조절 수단을 제어하여 기류의 방향을 제어할 수 있다. 또한, 프로세서(130)는 특정 영역을 빨리 냉난방할 수 있도록 기류의 방향과 속도를 제어할 수 있다.
한편, 본 발명의 일 실시예에 따른 공기 조화기(100)는 사용자의 위치에 기초하여 공기 조화 동작을 수행하는 장치이다. 일례로, 공기 조화기(100)은 공간 내에서 사용자가 많이 존재하는 영역에 집중적으로 기류를 전달하거나, 상기 영역에 기류를 간접적으로 전달하는 등의 공기 조화 동작을 수행할 수 있다.
이러한 사용자 위치 기반의 공기 조화 동작을 수행하기 위해서는 공간 내의 사용자의 위치가 정확하게 감지되어야 한다. 하지만, 사진이 걸려있는 액자, 사람의 형상이 표시된 TV 등이 공간 내에 존재할 수 있으며, 이러한 사진, 사람의 형상 등은 공간 내에 존재하는 사용자로 오감지될 가능성이 존재한다. 오감지에 따라 사용자 기반의 기류 제어가 정확하게 수행되지 못하고, 사용자가 불편함을 겪을 수 있다.
따라서, 본 발명의 일 실시예에 따른 공기 조화기(100)는 공간에 존재하는 인체 형상의 객체 중에서 사용자를 정확하게 감지하여 사용자 기반의 기류 제어를 정확하게 수행하는 것을 하나의 목적으로 한다.
이하, 아래의 도면을 참조하여 본 발명의 일 실시예에 따른 공기 조화기(100)의 제어 방법을 상세히 설명하기로 한다.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 공기 조화기(100)의 제어 방법의 흐름도를 도시한 도면이다.
이 때, 공기 조화기(100)의 제어 방법은 프로세서(130)를 중심으로 수행되며, 카메라(110)는 실시간으로 또는 순차적으로 공간에 대한 영상을 획득하는 것으로 가정한다.
이하, 각 단계 별로 수행되는 과정을 상세하게 설명하기로 한다.
먼저, 도 3을 참조하면, 단계(S10)에서, 프로세서(130)는 카메라(110)에서 획득된 제1 영상에 기초하여 공간에서의 객체의 위치를 검출한다.
여기서, 제1 영상의 개수는 하나 이상일 수 있다. 그리고, 객체의 인식은 영상 내의 객체의 존재 여부 인식을 포함하는 개념이다. 또한, 객체는 인체의 형상과 대응되는 형상을 가질 수 있다. 즉, 객체는 실내 공간에 존재하는 사용자(재실자)일 수도 있고, 실내 공간에 존재하지만 사용자가 아닌 인체의 형상인 객체일 수도 있다. 이하, 사용자가 아니지만 인체의 형상을 가지는 객체를 "사용자 유사 객체"로 정의한다.
본 발명의 일 실시예에 따르면, 사용자 유사 객체는 액자의 내부에 포함되는 인체의 사진 또는 그림일 수 있고, 디스플레이 장치(일례로, TV, 모니터, 스마트 폰, 태블릿 PC 등)에 표시되는 인체의 사진 또는 그림일 수 있다.
다음으로, 단계(S20)에서, 프로세서(130)는 객체의 위치 검출 결과에 기초하여 공간을 구성하는 복수의 영역 중 하나 이상의 제1 관심 영역을 검출한다.
여기서, 제1 관심 영역은 공간을 구성하는 복수의 영역 중 공기 조화기(100)가 수행하는 가전 동작(일례로, 공기 조화 동작)의 대상이 되는 영역으로서, 인체의 형상과 대응되는 객체를 포함하는 영상의 영역이다. 즉, 하나의 제1 관심 영역 각각에 하나의 객체가 포함될 수 있다.
도 8에서는 본 발명의 일 실시예에 따른 실내 공간의 영상을 도시한 도면이다.
도 8을 참조하면, 실내 공간은 거실이고, 실내 공간의 내부에 공기 조화기(100)가 설치되며, 실내 공간의 영상은 공기 조화기(100)에 설치된 카메라(110)에 의해 획득될 수 있다.
이 때, 도 8a에서는 하나의 사용자 및 하나의 TV가 거실에 위치하는 영상을 도시하고 있다. 이 경우, 프로세서(130)는 사용자가 위치하는 영상의 영역 및 TV가 위치하는 영상의 영역을 제1 관심 영역으로 검출할 수 있다.
도 8b에서는 하나의 액자가 거실에 위치하는 영상을 도시하고 있다. 이 경우, 프로세서(130)는 액자가 위치하는 영상의 영역을 제1 관심 영역으로 검출할 수 있다.
본 발명의 일 실시예에 따르면, 단계(S10) 및 단계(S20)는 인공 신경망에 기초한 알고리즘 모델을 이용하여 객체의 위치를 검출하고, 하나 이상의 제1 관심 영역을 검출할 수 있다.
인공 지능(AI: artificial intelligence)은 인간의 지능으로 할 수 있는 사고, 학습, 자기 계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보 기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미한다.
인공 지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보 기술의 여러 분야에서 인공 지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
머신 러닝(machine learning)은 인공 지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야이다.
머신 러닝의 일종인 딥 러닝(deep learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다. 딥 러닝은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낼 수 있다.
도 9 및 도 10은 인공 신경망(ANN)의 개념을 설명하기 위한 도면이다
도 9를 참조하면, 인공 신경망은 입력 레이어(input layer), 히든 레이어(hidden layer), 및 출력 레이어(output layer)를 포함할 수 있다. 각 레이어는 복수의 노드들을 포함하고, 각 레이어는 다음 레이어와 연결된다. 인접한 레이어 사이의 노드들은 웨이트(weight)를 가지고 서로 연결될 수 있다.
도 10을 참조하면, 컴퓨터(머신)는 투입된 입력 데이터(1010)로부터 일정한 패턴을 발견해 특징맵(Feature Map)을 형성한다. 컴퓨터는 하위레벨 특징(1020)부터, 중간레벨 특징(1030), 상위레벨 특징(1040)까지 추출하여, 대상을 인식하고 그 결과를 출력(1050)할 수 있다.
인공 신경망은 다음 순서의 레이어로 갈수록 더욱 상위레벨의 특징으로 추상화할 수 있다.
도 8 및 도 9를 참조하면, 각 노드들은 활성화 모델에 기초하여 동작할 수 있고, 활성화 모델에 따라 입력값에 대응하는 출력값이 결정될 수 있다.
임의의 노드, 예를 들어, 하위레벨 특징(1020)의 출력값은 해당 노드와 연결된 다음 레이어, 예를 들어, 중간레벨 특징(1030)의 노드로 입력될 수 있다. 다음 레이어의 노드, 예를 들어, 중간레벨 특징(1030)의 노드는 하위레벨 특징(1020)의 복수의 노드로부터 출력되는 값들을 입력받을 수 있다.
이 때, 각 노드의 입력값은 이전 레이어의 노드의 출력값에 웨이트가 적용된 값일 수 있다. 웨이트는 노드 간의 연결 강도를 의미할 수 있다. 또한, 딥 러닝 과정은 적절한 웨이트를 찾아내는 과정으로도 볼 수 있다.
한편, 임의의 노드, 예를 들어, 중간레벨 특징(1030)의 출력값은 해당 노드와 연결된 다음 레이어, 예를 들어, 상위레벨 특징(1040)의 노드로 입력될 수 있다. 다음 레이어의 노드, 예를 들어, 상위레벨 특징(1040)의 노드는 중간레벨 특징(1030)의 복수의 노드로부터 출력되는 값들을 입력받을 수 있다.
인공 신경망은 각 레벨에 대응하는 학습된 레이어를 이용하여, 각 레벨에 대응하는 특징 정보를 추출할 수 있다. 인공신경망은 순차적으로 추상화하여, 가장 상위 레벨의 특징 정보를 활용하여 소정 대상을 인식할 수 있다.
예를 들어, 딥 러닝에 의한 얼굴인식 과정을 살펴보면, 컴퓨터는 입력 영상으로부터, 픽셀의 밝기에 따라 밝은 픽셀과 어두운 픽셀을 구분하고, 테두리, 에지 등 단순한 형태를 구분한 후, 조금 더 복잡한 형태와 사물을 구분할 수 있다. 최종적으로 컴퓨터는 인간의 얼굴을 규정하는 형태를 파악할 수 있다.
본 발명에 따른 딥 러닝 구조는 공지된 다양한 구조를 이용할 수 있다. 예를 들어, 본 발명에 따른 딥 러닝 구조는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등일 수 있다.
RNN은 자연어 처리 등에 많이 이용되고 있으며, 시간의 흐름에 따라 변하는 시계열 데이터(Time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다.
DBN은 딥 러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓아 구성되는 딥 러닝 구조이다. RBM 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN를 구성할 수 있다.
CNN은 특히 객체 인식 분야에서 많이 사용되는 구조로써, 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다.
한편, 인공 신경망의 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드 간 연결선의 웨이트를 조정함으로써 이루어질 수 있다. 또한, 인공 신경망은 학습에 의해 웨이트 값을 지속적으로 업데이트시킬 수 있다. 또한, 인공 신경망의 학습에는 역전파(Back Propagation) 등의 방법이 사용될 수 있다.
요컨대, 본 발명의 일 실시예에 따른 프로세서(130)는 상술한 다양한 딥 러닝 구조를 이용하여 하나 이상의 객체의 위치를 검출할 수 있고, 하나 이상의 관심 영역을 검출할 수 있다. 즉, 본 발명의 일 실시예에 따른 프로세서(130)는 카메라(110)를 통하여 획득된 제1 영상을 머신 러닝으로 미리 학습된 인공 신경망의 입력 데이터로 사용하여 공간 내의 하나 이상의 객체의 위치 및 하나 이상의 제1 관심 영역을 검출할 수 있다. 예를 들어, 본 발명이 한정되는 것은 아니나, 영상 내 객체 인식에서 많이 사용되고 있는 CNN 구조를 이용할 수 있다.
도 4는 단계(S20)의 세부 단계를 도시한 흐름도이다.
단계(S21)에서, 프로세서(130)는 객체의 위치 인식 결과를 포함하는 인체 감지 데이터를 입력받는다.
단계(S22)에서, 프로세서(130)는 입력받은 인체 감지 데이터를 누적한다
단계(S23)에서, 프로세서(130)는 누적된 인체 감지 데이터를 카운팅하여 일정수(M) 이상의 데이터가 누적되었는지를 판단한다.
일정수(M) 이상의 데이터가 누적된 경우, 단계(S24)에서, 프로세서(130)는 히스토그램을 생성한다.
단계(S25)에서, 프로세서(130)는 생성한 히스토그램을 머신러닝 기반의 인공 신경망 알고리즘의 입력 데이터로 입력하여 복수의 영역을 생활 영역과 미생활 영역으로 구분한다.
여기서, 생활 영역은 제1 관심 영역과 대응되며, 단계(S25)는 하나 이상의 제1 관심 영역을 검출하는 단계와 대응된다. 머신 러닝은 SVM(Support Vector Machine), Adaboost와 같은 기법을 이용할 수 있고, 더욱 바람직하게는 딥 러닝 기법을 이용할 수 있다.
즉, 프로세서(130)는 복수의 영역별 히스토그램을 생성하며, 생성된 히스토그램을 머신 러닝으로 기학습된 인공 신경망의 입력 데이터로 사용하여 생활 영역과 미생활 영역을 구분할 수 있다. 한편, 프로세서(130)는 생활 영역을 더 세분화하여 상주 생활 영역과 이동 생활 영역으로 구분할 수 있다.
보다 상세하게, 본 발명의 일 실시예에 따른 공기 조화기(100)는 공간의 복수의 영역을 객체(사용자 포함)가 인식되는 빈도, 즉 단위 시간당 객체가 감지되는 횟수 또는 사람이 감지되는 시간에 따라 생활 영역과 미생활 영역으로 구분할 수 있다.
예를 들어, 프로세서(130)는, 복수의 영역 중 객체가 한 번이라도 감지된 분할 구간과, 객체가 전혀 감지되지 않는 분할 구간을 서로 구분하여 분류하고, 객체가 감지된 영역을 생활 영역, 객체가 감지되지 않은 영역을 미생활 영역으로 구분할 수 있다.
이 때, 생활 영역과 미생활 영역의 구분 기준이 해당 영역에서 재실자가 감지되었는지 여부 만이 될 수 있는 것은 아니며, 객체가 생활하는 영역이라고 인정되기 어려울 정도로 적은 정도의 인체 감지 횟수 또는 시간이 생활 영역과 미생활 영역의 기준이 될 수도 있음은 물론이다.
실시예에 따라서는, 생활 영역으로 구분된 각 영역을 객체가 연속적으로 감지되는 횟수 또는 시간에 따라 상주 생활 영역과 이동 생활 영역으로 구분할 수 있다.
예를 들어, 프로세서(130)는 생활 영역으로 분류된 각 영역을 객체가 연속적으로 감지되는 횟수 또는 시간에 따라 상주 생활 영역과 이동 생활 영역 중 어느 하나로 구분하여 분류하고, 이를 통해 생활 영역을 다시 상주 생활 영역과 이동 생활 영역, 즉 두 개의 세분화된 영역으로 구분할 수 있다.
한편, 단계(S26) 및 단계(S27)는 선택적으로 수행되는 단계들이다.
생활 영역 구분의 정확도를 더욱 높이기 위하여, 단계(S26)에서, 프로세서(130)는 생활/미생활 영역의 구분을 반복 수행하고, 단계(S27)에서, 프로세서(130)는 복수의 구분 결과를 취합하여 취합된 결과에 기초하여 최종적으로 공간을 구성하는 복수의 영역을 생활 영역과 미생활 영역 등으로 분류한다. 즉, 생활 영역 구분 결과가 일정 수 이상 누적되었을 때, 최종 결과를 도출함으로써, 생활 영역 인식 결과의 신뢰성을 확보하고, 인체 감지 오류로 인해 발생한 미생활 영역의 일시적인 오류를 제거할 수 있다.
다시 도 3을 참조하면, 단계(S30)에서, 프로세서(130)는 하나 이상의 제1 관심 영역에 기초하여 제1 가전 동작을 수행하도록 동작부(150)를 제어한다.
여기서, 가전 동작은 공기 조화와 관련된 동작, 일례로, 공기 조화기(100)의 운전의 범위, 강도, 횟수, 공기 조화기(100)에 설치된 디스플레이 장치 또는 조명 장치의 제어 등일 수 있다.
즉, 단계(S20) 및 단계(S30)는 제1 영상에 기초하여 공간 내의 인체의 형상과 대응되는 객체를 검출하고, 검출된 객체를 대상으로 제1 가전 동작을 수행하도록 동작부(150)를 제어하는 단계들이다.
이 때, 인체의 형상과 대응되는 객체는 사용자일 수도 있고 사용자 유사 객체일 수도 있으며, 아래에서 설명하는 단계(S40)를 수행하기 전까지, 프로세서(130)는 사용자와 사용자 유사 객체를 구분하지 못한다. 따라서, 프로세서(130)는 모든 제1 관심 영역에 대해 제1 가전 동작을 수행할 수 있다.
계속하여, 단계(S40)에서, 프로세서(130)는 제1 영상의 이후에 수신된 제2 영상에 기초하여 하나 이상의 제1 관심 영역 중 객체가 사용자인 하나 이상의 제2 관심 영역을 검출한다. 여기서, 제2 영상의 개수는 복수일 수 있다.
즉, 단계(S40)는, 단계(S30)에서 검출된 하나 이상의 제1 관심 영역에서, 사용자 유사 객체를 포함하는 제1 관심 영역을 제거하고, 사용자가 포함된 제1 관심 영역만을 검출하는 단계일 수 있다. 다시 말해, 단계(S40)는 하나 이상의 제1 관심 영역 중 사용자가 포함된 제1 관심 영역인 하나 이상의 제2 관심 영역을 확정하는 단계이다.
본 발명의 일 실시예에 따르면, 단계(S40)에서, 프로세서(130)는 순차적으로 획득된 제2 영상의 누적 차 영상들에 기초하여 하나 이상의 제1 관심 영역에서 하나 이상의 제2 관심 영역을 검출할 수 있다.
그리고, 단계(S50)에서, 프로세서(130)는 하나 이상의 제2 관심 영역에 기초하여 제2 가전 동작을 수행하도록 동작부(150)를 제어한다.
단계(S40) 및 단계(S50)는 제2 영상에 기초하여 공간에 존재하는 객채 중 사용자만을 특정하고, 특정된 사용자를 대상으로 제2 가전 동작을 수행하도록 동작부(150)를 제어하는 단계들이다.
여기서, 제1 가전 동작과 제2 가전 동작은 서로 다른 가전 동작이다. 즉, 본 발명의 공기 조화기(100)는 사용자의 위치에 기반하여 공기 조화 동작을 수행하는 장치이므로, 모든 제1 관심 영역을 대상으로 수행되는 가전 동작(제1 가전 동작)과 일부의 제1 관심 영역(즉, 제2 관심 영역)을 대상으로 수행되는 가전 동작(제2 가전 동작)을 서로 상이하다.
정리하면, 단계(S20) 및 단계(S30)와 대응되는 제1 시간 구간에서는, 아직 사용자와 사용자 유사 객체가 구분되지 않았으므로, 인체의 형상과 대응되는 객체 모두에 대해 제1 가전 동작을 수행하도록 동작부(150)를 제어한다. 그 후, 단계(S40) 및 단계(S50)와 대응되는 제2 시간 구간에서는, 제2 영상의 분석을 통해 사용자와 사용자 유사 객체가 구분되었으므로, 사용자에 대해서만 제2 가전 동작을 수행하도록 동작부(150)를 제어한다.
이하, 도 5 내지 도 7을 참조하여 단계(S40)의 과정을 보다 상세하게 설명하기로 한다.
도 5는 단계(S40)의 세부 단계를 도시한 흐름도이다. 이 때, 단계(S40)는 순차적으로 획득되는 제2 영상에 기초하여 수행된다. 단계(S41)에서, 프로세서(130)는 차 영상(difference image)을 생성한다.
여기서, 차 영상은 제1 시점의 영상과 제1 시점 이전의 제2 시점의 영상의 차와 대응되는 영상이다. 이 때, 제1 시점은 현재 시점, 제2 시점은 이전 시점일 수 있다. 즉, 단계(S41)는 현재 시점의 영상(현재 영상 프레임)과 이전 시점의 영상(이전 영상 프레임) 사이의 차 영상을 생성하는 단계이다.
본 발명의 일 실시예에 따르면, 차 영상은 제1 시점의 영상에 대한 명암도(grayscale) 영상과 제2 시점의 영상에 대한 명암도 영상의 차와 대응되는 영상일 수 있다. 여기서, 명암도 영상은 R, G, B 각각의 색상값의 평균값을 픽셀값으로 하는 영상이다. 이 경우, 차 영상은 아래의 수학식 1과 같이 표현될 수 있다.
Figure pat00001
여기서, D(x, y)는 차 영상, I(x, y)는 제1 시점의 영상에 대한 명암도 영상, T(x, y)는 제2 시점의 영상에 대한 명암도 영상, (x, y)는 영상 내에서의 특정 좌표를 각각 의미한다.
도 11은 본 발명에 따른 차 영상의 일례를 도시한 도면이다.
도 11을 참조하면, 차 영상에서, 흰색으로 표시된 픽셀일수록 제1 시점의 영상과 제2 시점의 영상이 차이가 더 크다. 따라서, 흰색으로 표시된 2개의 영역과 대응되는 객체는 움직임이 있는 객체로서, 2개의 영역이 제1 관심 영역과 대응된다.
다시 도 5를 참조하면, 단계(S42)에서, 프로세서(130)는 차 영상을 누적하여 누적 차 영상을 생성한다.
여기서, 누적 차 영상은 2 이상의 차 영상의 평균 영상과 대응될 수 있다. 일례로, 이전에 생성된 누적 차 영상과 현재 생성된 차 영상을 평균하여 현재의 누적 차 영상이 생성될 수 있다. 누적 차 영상은 메모리(120)에 저장될 수 있다.
단계(S43)에서, 프로세서(130)는 누적 차 영상을 구성하는 2 이상의 차 영상이 n개 이상인지를 판단한다. 여기서, n는 2 이상의 정수와 대응된다.
만약, 2 이상의 차 영상이 n개 미만인 경우, 단계(S41) 및 단계(S42)가 다시 수행된다. 반대로, 2 이상의 차 영상이 n개 이상인 경우 누적 차 영상이 확정된다.
즉, 단계(S41) 내지 단계(S43)는 기 설정된 시간 동안 순차적으로 카메라(110)에서 획득된 복수 개의 제2 영상에 기초하여 누적 차 영상을 생성하는 단계와 대응된다. 여기서, 제2 영상은 제1 영상의 이후에 획득된 영상과 대응된다. 많은 개수의 영상을 이용하여 누적 차 영상을 생성함으로써 사용자 감지의 정확성이 향상될 수 있다.
도 12는 본 발명의 일 실시예에 따른 누적 차 영상의 일례를 도시한 도면이다.
도 12a의 누적 차 영상은 도 8a의 영상에 대한 누적 차 영상이고, 도 12b의 누적 차 영상은 도 8b의 영상에 대한 누적 차 영상이다.
다시 도 5를 참조하면, 단계(S44)에서, 프로세서(130)는 누적 차 영상에서의 하나 이상의 제1 관심 영역의 픽셀값과 미리 설정된 임계 픽셀값을 비교하여 하나 이상의 제1 관심 영역에서 하나 이상의 제2 관심 영역을 검출한다.
여기서, 임계 픽셀값은 제1 임계 픽셀값, 제2 임계 픽셀값 및 제3 임계 픽셀값을 포함한다. 여기서, 제1 임계 픽셀값은 낮은 픽셀값일 수 있고, 제2 및 제3 임계 픽셀값은 높은 픽셀값일 수 있다. 제1 내지 제3 임계 픽셀값은 실험적으로 결정될 수 있다. 그리고, 픽셀값의 비교는 픽셀 각각에 대해 수행될 수 있고, 영역에 존재하는 픽셀값의 평균에 기초하여 수행될 수도 있다.
도 6은 단계(S44)의 세부 단계의 일례를 도시한 흐름도이다
단계(S61)에서, 프로세서(130)는 어느 하나의 제1 관심 영역의 픽셀값이 제1 임계 픽셀값 이상인지를 판단한다.
만약, 어느 하나의 제1 관심 영역의 픽셀값이 제1 임계 픽셀값 미만인 경우, 단계(S62)에서 프로세서(130)는 어느 하나의 제1 관심 영역을 액자가 포함된 제1 관심 영역인 것으로 판단한다.
반대로, 어느 하나의 제1 관심 영역의 픽셀값이 제1 임계 픽셀값 이상인 경우, 단계(S63)에서 프로세서(130)는 어느 하나의 제1 관심 영역의 픽셀값이 제2 임계 픽셀값 이상인지 여부를 판단한다.
이 때, 어느 하나의 제1 관심 영역의 픽셀값이 제2 임계 픽셀값 미만인 경우, 단계(S64)에서 프로세서(130)는 어느 하나의 제1 관심 영역을 사용자가 포함된 제1 관심 영역, 즉 제2 관심 영역인 것으로 판단한다.
반대로, 어느 하나의 제1 관심 영역의 픽셀값이 제2 임계 픽셀값 이상인 경우, 프로세서(130)는 어느 하나의 제1 관심 영역을 디스플레이 장치가 포함된 제1 관심 영역인 것으로 판단한다.
상기에서 설명된 내용을 정리하면, 프로세서(130)는, 하나 이상의 제1 관심 영역 중 어느 하나의 제1 관심 영역의 픽셀값이 제1 임계 픽셀값보다 크고 제2 임계 픽셀값보다 작은 경우, 어느 하나의 제1 관심 영역을 제2 관심 영역으로 검출할 수 있다. 이에 대해 보다 상세하게 설명하면 다음과 같다.
도 11 및 도 12를 참조하면, 차 영상에서, 흰색으로 표시된 영역일수록 영역 내의 객체는 움직임이 많고, 검은색으로 표시된 영역일수록 영역 내의 객체는 움직임이 작다.
제1 임계 픽셀값보다 낮은 픽셀값을 가지는 제1 관심 영역에 포함된 객체는 움직임이 거의 없다. 이 때, 액자에 포함된 사진 또는 그림은 정지되어 있으므로 움직임이 없다. 따라서, 낮은 픽셀값을 가지는 제1 관심 영역은 액자 또는 액자에 포함된 그림 또는 사진과 대응될 수 있다.
제1 임계 픽셀값보다 높은 픽셀값을 가지는 제1 관심 영역에 포함된 객체는 움직임이 많이 존재한다. 따라서, 높은 픽셀값을 가지는 제1 관심 영역은, 사용자가 포함된 제1 관심 영역(즉, 제2 관심 영역) 또는 디스플레이 장치가 포함된 제1 관심 영역일 수 있다.
한편, 디스플레이 장치가 포함된 제1 관심 영역은 사용자가 포함된 제1 관심 영역보다 객체의 움직임이 더 많을 수 있다. 즉, 화면 전환 등으로 인해 디스플레이 장치에 표시된 인체는 계속적으로 움직이는 경우가 많으므로, 실내 공간에 존재하는 사용자보다 움직임이 더 심하다. 따라서, 제2 임계 픽셀값보다 높은 픽셀값을 가지는 제1 관심 영역은 디스플레이 장치에 표시된 그림 또는 사진과 대응될 수 있다.
따라서, 어느 하나의 제1 관심 영역의 픽셀값이 제1 임계 픽셀값보다 작은 경우, 프로세서(130)는 어느 하나의 제1 관심 영역을 액자에 포함된 인체의 사진 또는 그림으로 판단하고, 액자와 대응되는 어느 하나의 제1 관심 영역을 관심 영역 그룹에서 제거할 수 있다. 그리고, 어느 하나의 제1 관심 영역의 픽셀값이 제2 임계 픽셀값보다 큰 경우, 프로세서(130)는 어느 하나의 제1 관심 영역을 디스플레이 장치에 표시되는 사진 또는 그림으로 판단하고, 디스플레이 장치와 대응되는 어느 하나의 제1 관심 영역을 관심 영역 그룹에서 제거할 수 있다. 이 때, "어느 하나의 제1 관심 영역을 관심 영역 그룹에서 제거"한다는 의미는 "어느 하나의 제1 관심 영역이 제2 관심 영역이 아닌 것으로 판단"하는 것과 대응되는 의미이다.
도 13에서는 제1 관심 영역을 확정하는 개념을 정리하고 있다
한편, 본 발명의 다른 실시예에 따르면, 단계(S44)에서, 프로세서(130)는 누적 차 영상에서 사각 형상을 검출하고, 검출된 사각 형상에 더 기초하여 제2 관심 영역을 검출할 수 있다.
도 7은 단계(S44)의 세부 단계의 다른 일례를 도시한 흐름도이다
단계(S71)에서, 프로세서(130)는 어느 하나의 제1 관심 영역이 사각 형상인지 여부를 판단한다.
만약, 어느 하나의 제1 관심 영역이 사각 형상이 아닌 경우, 단계(S72) 내지 단계(S75)가 수행된다. 반대로, 어느 하나의 제1 관심 영역이 사각 형상인 경우, 단계(S76) 및 단계(S77)가 수행된다.
구체적으로, 어느 하나의 제1 관심 영역이 사각 형상이 아닌 경우, 단계(S72)에서, 프로세서(130)는 어느 하나의 제1 관심 영역의 픽셀값이 제1 임계 픽셀값 이상인지를 판단한다.
이 때, 어느 하나의 제1 관심 영역의 픽셀값이 제1 임계 픽셀값 미만인 경우, 단계(S73)에서 프로세서(130)는 어느 하나의 제1 관심 영역을 액자가 포함된 제1 관심 영역인 것으로 판단한다.
또한, 어느 하나의 제1 관심 영역의 픽셀값이 제1 임계 픽셀값 이상인 경우, 단계(S74)에서 프로세서(130)는 어느 하나의 제1 관심 영역의 픽셀값이 제2 임계 픽셀값 이상인지를 판단한다.
만약, 어느 하나의 제1 관심 영역의 픽셀값이 제2 임계 픽셀값 미만인 경우, 단계(S75)에서 프로세서(130)는 어느 하나의 제1 관심 영역을 사용자가 포함된 제1 관심 영역, 즉 제2 관심 영역인 것으로 판단한다.
반대로, 어느 하나의 제1 관심 영역의 픽셀값이 제2 임계 픽셀값 이상인 경우, 프로세서(130)는 단계(S71)로 회기한다. 이 경우, 업데이트된 누적 차 차영상에 기초하여 어느 하나의 제1 관심 영역이 제2 관심 영역인지 여부를 재 판단한다.
한편, 어느 하나의 제1 관심 영역이 사각 형상인 경우, 단계(S76)에서, 프로세서(130)는 어느 하나의 제1 관심 영역의 내외부의 픽셀값의 차이값이 제3 임계 픽셀값 이상인지를 판단한다.
만약, 어느 하나의 제1 관심 영역의 내외부의 픽셀값의 차이값이 제3 임계 픽셀값 이상인 경우, 단계(S77)에서 프로세서(130)는 어느 하나의 제1 관심 영역을 디스플레이 장치가 포함된 제1 관심 영역인 것으로 판단한다.
반대로, 어느 하나의 제1 관심 영역의 내외부의 픽셀값이 차이값이 제3 임계 픽셀값 미만인 경우, 프로세서(130)는 단계(S71)로 회기한다. 이 경우, 업데이트된 누적 차 차영상에 기초하여 어느 하나의 제1 관심 영역이 제2 관심 영역인지 여부를 재 판단한다.
상기에서 설명된 내용을 보다 상세하게 설명하면 다음과 같다.
도 12를 참조하면, 사용자 및 액자는 누적 차 영상에서 비정형화되어 존재하며, 디스플레이 장치는 누적 차 영상에서 정형화된 사각 형상으로 존재한다.
또한, 도 12를 참조하면, 사용자 및 디스플레이 장치는 누적 차 영상에서 움직임 및 형태가 존재하고(즉, 누적 차 영상에서 밝은 색으로 표시), 액자는 누적 차 영상에서 움직임 및 형태가 존재하지 않는다(즉, 누적 차 영상에서 어두운 색으로 표시).
또한, 도 12a를 참조하면, 누적 차 영상에서, 사용자는 적게 움직여서 누적 차 영상이 점점 흐려지나, 디스플레이 장치에 표시된 객체는 화면 전환 등으로 인해 움직임이 점점 뚜렷해진다.
따라서, 누적 차 영상에서의 어느 하나의 제1 관심 영역이 사각 형태이고, 어느 하나의 제1 관심 영역이 픽셀값이 제2 임계 픽셀값 이상인 경우, 프로세서(130)는 어느 하나의 제1 관심 영역을 디스플레이 장치에 표시되는 사진 또는 그림으로 판단할 수 있다.
또한, 누적 차 영상에서, 사각 형상의 내부의 픽셀값과 사각 형상의 외부의 픽셀값과의 차이는 큰 차이를 보인다. 따라서, 누적 차 영상에서의 어느 하나의 제1 관심 영역이 사각 형상이고, 사각 형상의 제1 관심 영역의 내부의 픽셀값이 제2 임계 픽셀값보다 크고, 사각 형상의 제1 관심 영역의 내부의 픽셀값와 사각 형상의 제1 관심 영역의 외부의 픽셀값의 차가 제3 임계 픽셀값보다 큰 경우, 프로세서(130)는 어느 하나의 제1 관심 영역을 디스플레이 장치에 표시되는 사진 또는 그림으로 판단할 수 있다. 이 때, 사각 형상의 제1 관심 영역의 외부의 픽셀은 사각 형상의 테두리(edge)와 인접한 픽셀일 수 있다.
요컨대, 단계(S40)는 영상 내에서의 하나 이상의 제1 관심 영역의 움직임 타입에 기초하여 하나 이상의 제1 관심 영역 각각에 존재하는 객체가 사용자인지를 판단하는 과정이다. 즉, 단계(S40)는, 누적 차 영상에 포함된 제1 관심 영역에서, 사용자가 존재하는 제1 관심 영역을 유지시키고, 사용자 유사 객체가 존재하는 제1 관심 영역을 제거하는 단계이다. 이 때, 움직임 타입은 누적 차 영상의 관심 영역의 픽셀값 및 임계 픽셀값에 기초하여 결정될 수 있고, 사각 형상 검출 결과에 더 기초하여 결정될 수 있다.
이 경우, 제1 관심 영역의 움직임 타입이 '움직임이 거의 없는 제1 움직임 타입'인 경우, 프로세서(130)는 제1 관심 영역을 액자에 포함된 인체의 사진 또는 그림으로 판단하고, 액자와 대응되는 제1 관심 영역을 제거할 수 있다. 또한, 제1 관심 영역의 움직임 타입이 '움직임이 많은 제2 움직임 타입'인 경우, 프로세서(130)는 제1 관심 영역을 디스플레이 장치에 표시되는 사진 또는 그림으로 판단하고, 디스플레이 장치와 대응되는 제1 관심 영역을 제거할 수 있다. 그리고, 관심 영역의 움직임 타입이 '움직임이 적당히 존재하는 제3 움직임 타입'인 경우, 프로세서(130)는 제1 관심 영역을 사용자가 존재하는 제1 관심 영역, 즉, 제2 관심 영역으로 판단하고, 사용자가 존재하는 제1 관심 영역을 유지할 수 있다.
한편, 본 발명이 일 실시예에 따르면, 단계(S50)에서, 프로세서(130)는 생활 영역(즉, 제2 관심 영역)과 미생활 영역을 구분하여 기류를 생성하도록 동작부(150)를 제어할 수 있다. 이 때, 프로세서(130)는 팬 모터를 제어하여 기류의 세기를 제어할 수 있고, 토출구(190)에 구비되는 베인, 루버 등 풍향 조절 수단을 제어하여 기류의 방향과 범위를 제어할 수 있다.
예를 들어, 공기 조화기(100)는, 생활 영역 중 상주 생활 영역을 향해 집중적으로 기류를 전달하기 위한 집중 냉난방 모드, 생활 영역 중 상주 생활 영역 및 이동 생활 영역 모두를 대상으로 기류를 전달하기 위한 직접 냉난방 모드, 생활 영역 중 상주 생활 영역에 대한 직접적인 기류 전달이 이루어지지 않도록 하기 위한 간접 냉난방 모드로 동작할 수 있다.
정리하면 본 발명의 일 실시예에 따른 공기 조화기(100)는 관심 영역의 움직임 타입에 기초하여 사용자가 포함된 제1 관심 영역인 제2 관심 영역을 검출할 수 있다. 구체적으로, 본 발명의 일 실시예에 따른 공기 조화기(100)는 인체의 형상과 대응되는 객체가 포함된 하나 이상의 제1 관심 영역을 검출하고, 하나 이상의 제1 관심 영역의 움직임 타입에 기초하여 사용자 유사 객체가 포함된 제1 관심 영역을 제거하고 사용자만이 포함된 제1 관심 영역(즉, 제2 관심 영역)을 검출한다. 이 때, 사용자가 포함된 관심 영역에 기초하여 공기 조화기(100)가 제어됨으로써 사용자 기반의 가전 동작이 구현될 수 있다.
또한, 본 발명의 일 실시예에 따른 공기 조화기(100)는 순차적으로 획득된 영상의 누적 차 영상을 분석하여 영상 내의 존재하는 인체가 사용자(재실자)인지, 액자 또는 디스플레이 장치에 표시된 인체인지를 구분할 수 있으며, 이를 통해 사용자를 보다 정확하게 감지할 수 있다.
또한, 본 발명의 일 실시예에 따른 공기 조화기(100)는 영상 내에서 사용자를 보다 정확하게 감지함으로써 사용자에게 가전 기기의 사용의 편의성을 제공할 수 있다. 또한, 본 발명의 일 실시예에 따른 공기 조화기(100)는 공간에 존재하는 사용자를 정확하게 감지함으로써 사용자 위치 기반의 가전 동작의 제공 시 발생되는 오류를 방지할 수 있다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (15)

  1. 적어도 하나의 명령어를 저장하는 메모리;
    상기 적어도 하나의 명령어를 실행하는 프로세서; 및
    상기 프로세서에 의해 제어되며, 가전 동작을 수행하는 동작부;를 포함하되,
    상기 프로세서는,
    카메라에서 획득된 공간의 영상을 수신하고,
    상기 영상 중 제1 영상에 기초하여 상기 공간 내의 인체의 형상과 대응되는 객체를 대상으로 제1 가전 동작을 수행하도록 상기 동작부를 제어하고,
    상기 영상 중 상기 제1 영상 이후의 제2 영상에 기초하여 상기 객체 중 상기 공간 내의 사용자만을 대상으로 상기 제1 가전 동작과 다른 제2 가전 동작을 수행하도록 상기 동작부를 제어하는, 가전 기기.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 영상에 기초하여 상기 공간을 구성하는 복수의 영역 중 상기 객체가 포함된 하나 이상의 제1 관심 영역을 검출하고, 상기 하나 이상의 제1 관심 영역에 기초하여 상기 제1 가전 동작을 수행하도록 상기 동작부를 제어하고,
    상기 제2 영상에 기초하여 상기 하나 이상의 제1 관심 영역 중 상기 객체가 상기 사용자인 하나 이상의 제2 관심 영역을 검출하고, 상기 하나 이상의 제2 관심 영역에 기초하여 상기 제2 가전 동작을 수행하도록 상기 동작부를 제어하는, 가전 기기.
  3. 제2항에 있어서,
    상기 객체는, 상기 사용자 및 사용자 유사 객체를 포함하고,
    상기 사용자 유사 객체는 액자에 포함된 인체의 사진 또는 그림, 디스플레이 장치에 표시되는 인체의 사진 또는 그림인, 가전 기기.
  4. 제2항에 있어서,
    상기 프로세서는, 상기 카메라를 통해 기 설정된 시간 동안 순차적으로 획득된 상기 제2 영상에 기초하여 누적 차 영상을 생성하고, 상기 누적 차 영상에 기초하여 상기 하나 이상의 제2 관심 영역을 검출하는, 가전 기기.
  5. 제4항에 있어서,
    상기 누적 차 영상은 상기 복수 개의 차 영상의 평균 영상과 대응되고,
    상기 차 영상은 제1 시점의 영상과 상기 제1 시점 이전의 시점인 제2 시점의 영상의 차와 대응되는 영상인, 가전 기기.
  6. 제5항에 있어서,
    상기 차 영상은 상기 제1 시점의 영상에 대한 명암도(grayscale) 영상과 상기 제2 시점의 영상에 대한 명암도 영상의 차와 대응되는 영상인, 가전 기기.
  7. 제4항에 있어서,
    상기 프로세서는, 상기 제1 관심 영역의 픽셀값과 미리 설정된 임계 픽셀값을 비교하여 상기 하나 이상의 제2 관심 영역을 검출하는, 가전 기기.
  8. 제7항에 있어서,
    상기 임계 픽셀값은 제1 임계 픽셀값 및 제2 임계 픽셀값을 포함하되,
    상기 하나 이상의 제1 관심 영역 중 어느 하나의 제1 관심 영역의 픽셀 값이 상기 제1 임계 픽셀값보다 크고 상기 제2 임계 픽셀값보다 작은 경우, 상기 프로세서는 상기 어느 하나의 제1 관심 영역을 상기 제2 관심 영역으로 검출하는, 가전 기기.
  9. 제7항에 있어서,
    상기 임계 픽셀값은 제1 임계 픽셀값 및 제2 임계 픽셀값을 포함하되,
    상기 하나 이상의 제1 관심 영역 중 어느 하나의 제1 관심 영역의 픽셀값이 상기 제1 임계 픽셀값보다 작거나 상기 제2 임계 픽셀값보다 큰 경우, 상기 프로세서는 상기 어느 하나의 제1 관심 영역을 상기 제2 관심 영역으로 검출하지 않는, 가전 기기.
  10. 제9항에 있어서,
    상기 어느 하나의 제1 관심 영역의 픽셀값이 상기 제1 임계 픽셀값보다 작은 경우, 상기 프로세서는 상기 어느 하나의 제1 관심 영역에 포함된 상기 객체를 액자에 포함된 인체의 사진 또는 그림으로 판단하고,
    상기 어느 하나의 제1 관심 영역의 픽셀값이 상기 제2 임계 픽셀값보다 큰 경우, 상기 프로세서는 상기 어느 하나의 제1 관심 영역에 포함된 상기 객체를 디스플레이 장치에 표시되는 사진 또는 그림으로 판단하는, 가전 기기.
  11. 제7항에 있어서,
    상기 프로세서는, 상기 누적 차 영상에서 사각 형상을 검출하고, 상기 검출된 사각 형상에 더 기초하여 상기 제2 관심 영역을 검출하는, 가전 기기.
  12. 제11항에 있어서,
    상기 임계 픽셀값은 제2 임계 픽셀값 및 제3 임계 픽셀값을 포함하되,
    상기 하나 이상의 제1 관심 영역 중 어느 하나의 제1 관심 영역이 사각 형상이고, 상기 사각 형상의 제1 관심 영역의 내부의 픽셀값이 상기 제2 임계 픽셀값보다 크고, 상기 사각 형상의 제1 관심 영역의 내부의 픽셀값와 상기 사각 형상의 제1 관심 영역의 외부의 픽셀값의 차가 상기 제3 임계 픽셀값보다 큰 경우, 상기 프로세서는 상기 어느 하나의 제1 관심 영역을 상기 제2 관심 영역으로 검출하지 않는, 가전 기기.
  13. 제1항에 있어서,
    상기 프로세서는, 상기 제1 영상을 머신 러닝으로 기학습된 데이터의 입력으로 사용하여 상기 하나 이상의 제1 관심 영역을 검출하는, 가전 기기.
  14. 제1항에 있어서,
    상기 카메라;를 더 포함하되,
    상기 카메라는 상기 가전 기기의 외부면에 설치되는, 가전 기기.
  15. 프로세서를 포함하는 가전 기기의 제어 방법에 있어서,
    카메라에서 획득된 공간의 영상을 수신하는 단계;
    상기 영상 중 제1 영상에 기초하여 상기 공간 내의 인체의 형상과 대응되는 객체를 대상으로 제1 가전 동작을 수행하는 단계; 및
    상기 영상 중 상기 제1 영상 이후의 제2 영상에 기초하여 상기 객체 중 상기 공간 내의 사용자만을 대상으로 상기 제1 가전 동작과 다른 제2 가전 동작을 수행하는 단계;를 포함하는, 가전 기기의 제어 방법.
KR1020200146515A 2020-11-05 2020-11-05 가전 기기 및 이의 제어 방법 KR20220060670A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020200146515A KR20220060670A (ko) 2020-11-05 2020-11-05 가전 기기 및 이의 제어 방법
CN202180089217.2A CN116802439A (zh) 2020-11-05 2021-05-17 家电设备及其控制方法
PCT/KR2021/006117 WO2022097859A1 (ko) 2020-11-05 2021-05-17 가전 기기 및 이의 제어 방법
US18/035,411 US20230410546A1 (en) 2020-11-05 2021-05-17 Home appliance and control method thereof
EP21889327.9A EP4242540A1 (en) 2020-11-05 2021-05-17 Home appliance and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200146515A KR20220060670A (ko) 2020-11-05 2020-11-05 가전 기기 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
KR20220060670A true KR20220060670A (ko) 2022-05-12

Family

ID=81458044

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200146515A KR20220060670A (ko) 2020-11-05 2020-11-05 가전 기기 및 이의 제어 방법

Country Status (5)

Country Link
US (1) US20230410546A1 (ko)
EP (1) EP4242540A1 (ko)
KR (1) KR20220060670A (ko)
CN (1) CN116802439A (ko)
WO (1) WO2022097859A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115526230A (zh) * 2022-08-22 2022-12-27 青岛海尔科技有限公司 行为习惯的识别方法和装置、存储介质及电子装置
CN116600448B (zh) * 2023-05-29 2024-02-13 深圳市帝狼光电有限公司 一种壁挂灯的控制方法、控制装置及壁挂灯

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015078802A (ja) * 2013-10-18 2015-04-23 日立アプライアンス株式会社 空気調和機の室内機及び空気調和機
KR20180051729A (ko) * 2016-11-08 2018-05-17 엘지전자 주식회사 공기조화기 및 그 제어방법
KR20180071031A (ko) 2016-12-19 2018-06-27 엘지전자 주식회사 공기조화기 및 그 제어방법
KR102121785B1 (ko) * 2018-02-13 2020-06-26 엘지전자 주식회사 인공지능을 이용하여 지시된 위치로 풍향을 제어하는 에어컨 및 이를 제어하는 방법
US20190309968A1 (en) * 2018-04-05 2019-10-10 Carrier Corporation Thermal management system with thermographic sensing
KR102040953B1 (ko) 2018-04-10 2019-11-27 엘지전자 주식회사 인공지능에 기반하여 영역 선택적으로 동작하는 공기 조화기, 클라우드 서버, 및 이들의 동작 방법

Also Published As

Publication number Publication date
WO2022097859A1 (ko) 2022-05-12
EP4242540A1 (en) 2023-09-13
CN116802439A (zh) 2023-09-22
US20230410546A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
CN110360715B (zh) 区域选择性地动作的空调、云服务器及其动作方法
US10871302B2 (en) Artificial intelligence air conditioner and control method thereof
AU2017233723B2 (en) System and method for training object classifier by machine learning
US11649980B2 (en) Air conditioner communicating with moving agent to sense indoor space
KR102121785B1 (ko) 인공지능을 이용하여 지시된 위치로 풍향을 제어하는 에어컨 및 이를 제어하는 방법
US10921806B2 (en) Moving robot
JP5876142B2 (ja) 存在センサ
US11674705B2 (en) Air conditioner providing information on time and/or power required to reach a desired temperature and method for control thereof
KR20220060670A (ko) 가전 기기 및 이의 제어 방법
CN107421067A (zh) 空调送风方法、装置及计算机可读存储介质和空调
JP2005531844A (ja) 改良された背景・前景分割のためのオブジェクト分類を採用する拡張背景モデル
CN108195023B (zh) 空调器风感控制方法、装置、空调器及可读存储介质
CN101969718A (zh) 智能灯光控制系统及其控制方法
KR20180051729A (ko) 공기조화기 및 그 제어방법
JP2013108671A (ja) 部屋形状認識方法および装置、ならびにこれを用いた空気調和機
JP2012042074A (ja) 空気調和機
CN103793056A (zh) 基于距离向量的空中手势漫游控制方法
KR20210080155A (ko) 실내 조명 제어 장치 및 방법
CN105988580A (zh) 移动终端的屏幕控制方法和装置
JP2018059672A (ja) 空気調和機
CN109269049A (zh) 一种空调器的出风控制方法及空调器
JP2018129090A (ja) 検知装置、検知システム、およびプログラム
KR102464667B1 (ko) 인공지능에 기반하여 영역을 인식하고 공기조화기를 제어하는 서버 및 공기조화기
Kalfaoglu et al. Vision-based lighting state detection and curtain openness ratio prediction
KR20200055826A (ko) 공기조화기의 운전 알고리즘을 제공하는 인공지능 기반의 컴퓨팅 장치

Legal Events

Date Code Title Description
A201 Request for examination