KR20210094798A - 사용자 피드백에 기초한 도어벨 카메라 시스템에 의한 이벤트 생성 - Google Patents

사용자 피드백에 기초한 도어벨 카메라 시스템에 의한 이벤트 생성 Download PDF

Info

Publication number
KR20210094798A
KR20210094798A KR1020200008469A KR20200008469A KR20210094798A KR 20210094798 A KR20210094798 A KR 20210094798A KR 1020200008469 A KR1020200008469 A KR 1020200008469A KR 20200008469 A KR20200008469 A KR 20200008469A KR 20210094798 A KR20210094798 A KR 20210094798A
Authority
KR
South Korea
Prior art keywords
visitor
user
information
feedback
image
Prior art date
Application number
KR1020200008469A
Other languages
English (en)
Inventor
손명화
김종호
성민석
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020200008469A priority Critical patent/KR20210094798A/ko
Priority to US17/155,189 priority patent/US11451750B2/en
Publication of KR20210094798A publication Critical patent/KR20210094798A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/186—Video door telephones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

본 명세서에 개시된 도어벨 카메라 시스템에 의하여 수행되는 이벤트 생성 방법은, 방문자의 영상을 획득하는 동작, 상기 획득된 상기 방문자의 영상을 사용자에게 출력하는 동작, 상기 방문자에 대한 상기 사용자의 피드백을 학습하는 동작, 상기 방문자의 정보 및 상기 방문자에 대한 상기 사용자의 피드백 학습 결과를 저장하는 동작, 및 상기 방문자의 정보 및 상기 사용자의 피드백 학습 결과에 기초한 이벤트를 생성하는 동작을 포함할 수 있다.

Description

사용자 피드백에 기초한 도어벨 카메라 시스템에 의한 이벤트 생성{EVENT GENERATION BASED ON USER FEEDBACK BY DOORBELL CAMERA SYSTEM}
본 명세서는 도어벨 카메라 시스템 및 이에 의한 이벤트 생성 방법에 관한 것이다.
일반적으로 주택, 아파트, 오피스텔과 같은 주거시설 또는 사무실의 현관 등에는 도어벨 카메라 장치가 많이 설치되고 있다. 최근의 도어벨 카메라 장치는 그 본체에 카메라, 스피커, 마이크 등을 구비하여, 집 안의 사용자에게 집 밖의 방문자의 영상과 음성을 전달해줌으로써 사용자가 편리하게 방문자를 확인할 수 있게 해준다.
최근 사회가 점점 더 개인화가 되어가고, 혼자 사는 사람들도 늘어나고 있어서, 낯선 방문자를 경계해야 하는 경우가 많아지고 있다. 따라서, 사용자는 도어벨 카메라를 통하여 영상으로 만나는 방문자를 단순히 모니터링만 하는 것이 아니라, 사용자에게 더 안전하고 편리함을 제공할 수 있는 기능들을 가진 도어벨 카메라 장치를 필요로 하고 있다.
도어벨 카메라 시스템을 통하여 방문자를 단순히 영상으로 모니터링만 하는 것이 아니라, 방문자에 대한 다양한 정보를 획득하여 능동적으로 대응할 수 있는 기능의 필요성이 증가하고 있다.
따라서, 본 명세서에서는 도어벨 카메라 시스템을 통해 방문자에 따라 적절하게 대응할 수 있는 방안을 제시하고자 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 명세서는 도어벨 카메라 시스템에 의하여 수행되는 이벤트 생성 방법을 제시한다. 상기 이벤트 생성 방법은, 방문자의 영상을 획득하는 동작, 상기 획득된 상기 방문자의 영상을 사용자에게 출력하는 동작, 상기 방문자에 대한 상기 사용자의 피드백을 학습하는 동작, 상기 방문자의 정보 및 상기 방문자에 대한 상기 사용자의 피드백 학습 결과를 저장하는 동작, 및 상기 방문자의 정보 및 상기 사용자의 피드백 학습 결과에 기초한 이벤트를 생성하는 동작을 포함할 수 있다.
상기 이벤트 생성 방법 및 그 밖의 실시예는 다음과 같은 특징을 포함할 수 있다.
상기 방문자에 대한 상기 사용자의 피드백을 학습하는 동작은, 상기 방문자의 영상에 대한 사용자의 피드백을 획득하는 동작, 상기 획득된 사용자의 피드백에 기초하여 상기 방문자에 대한 사용자의 반응을 판단하는 동작, 및 상기 판단 결과에 따른 사용자의 반응을 상기 방문자에 대한 사용자의 피드백으로 학습하는 동작을 포함할 수 있다.
또한, 상기 사용자의 피드백은 사용자의 표정 정보, 음성 정보, 및 행동 정보 중 적어도 하나 이상을 포함할 수 있다.
또한, 상기 방문자의 정보 및 상기 방문자에 대한 상기 사용자의 피드백 학습 결과를 저장하는 동작은, 상기 방문자의 영상으로부터 상기 방문자의 정보를 추출하는 동작 및 상기 추출된 방문자의 정보와 상기 사용자의 피드백 학습 결과를 저장하는 동작을 포함할 수 있다.
또한, 상기 방문자의 정보는 상기 방문자의 얼굴 정보, 신체 특징 정보, 의상 정보, 및 소지품 정보 중 적어도 하나 이상을 포함할 수 있다.
또한, 상기 방문자의 정보 및 상기 사용자의 피드백 학습 결과에 기초한 이벤트를 생성하는 동작은, 상기 방문자의 정보 및 상기 사용자의 피드백 학습 결과에 기초하여 상기 방문자에 대한 대응 방향을 판단하는 동작 및 상기 판단 결과에 기초하여 상기 이벤트를 생성시키는 동작을 포함할 수 있다.
한편, 본 명세서는 도어벨 카메라 시스템을 제시한다. 상기 도어벨 카메라 시스템은 방문자의 영상을 획득하는 카메라 모듈, 상기 획득된 상기 방문자의 영상을 전송받아 출력하고, 상기 방문자에 대한 사용자의 피드백을 학습하는 사용자 단말, 및 상기 방문자의 영상으로부터 상기 방문자의 정보를 추출하고, 상기 방문자의 정보 및 상기 사용자의 피드백 학습 결과에 기초한 이벤트를 생성하는 제어부를 포함할 수 있다.
상기 도어벨 카메라 시스템 및 그 밖의 실시예는 다음과 같은 특징을 포함할 수 있다.
상기 사용자 단말은 상기 방문자의 영상에 대한 사용자의 피드백을 획득하고, 상기 획득된 사용자의 피드백에 기초하여 상기 방문자에 대한 사용자의 반응을 판단하고, 상기 판단 결과에 따른 사용자의 반응을 상기 방문자에 대한 사용자의 피드백으로 학습하며, 상기 사용자의 피드백은 사용자의 표정 정보, 음성 정보, 및 행동 정보 중 적어도 하나 이상을 포함할 수 있다.
또한, 상기 제어부는 상기 방문자의 정보 및 상기 사용자의 피드백 학습 결과에 기초하여 상기 방문자에 대한 대응 방향을 판단하고, 상기 판단 결과에 기초하여 상기 이벤트를 생성시키며, 상기 방문자의 정보는 상기 방문자의 얼굴 정보, 신체 특징 정보, 의상 정보, 및 소지품 정보 중 적어도 하나 이상을 포함할 수 있다.
또한, 상기 도어벨 카메라 시스템은 상기 방문자의 정보 및 상기 방문자에 대한 상기 사용자의 피드백 학습 결과를 데이터베이스로 저장하는 저장부를 더 포함하고, 상기 제어부는 상기 방문자의 영상이 획득되면, 상기 방문자의 영상으로부터 상기 방문자의 정보를 추출하고, 추출된 상기 방문자 정보와 상기 데이터베이스를 비교하고, 상기 비교 결과에 매칭되는 방문자에 대한 사용자 피드백에 기초하여 이벤트를 생성할 수 있다.
한편, 본 명세서는 도어벨 장치를 제시한다. 상기 도어벨 장치는 방문자의 영상을 획득하는 카메라, 상기 획득된 상기 방문자의 영상을 기초로 상기 방문자에 대한 사용자의 피드백을 학습하는 피드백학습부, 및 상기 방문자의 영상으로부터 상기 방문자의 정보를 추출하고, 상기 방문자의 정보 및 상기 사용자의 피드백 학습 결과에 기초한 상기 방문자에 대한 대응 방향을 판단하고, 상기 판단 결과에 기초하여 상기 이벤트를 생성하는 제어부를 포함할 수 있다.
한편, 본 명세서는 도어벨 카메라 시스템에 의하여 수행되는 이벤트 생성 방법을 제시한다. 상기 이벤트 생성 방법은, 방문자의 영상을 획득하는 동작, 상기 방문자의 영상으로부터 상기 방문자의 정보를 추출하는 동작, 상기 방문자 정보와 데이터베이스를 비교하는 동작, 상기 방문자가 상기 데이터베이스에 존재할 경우, 상기 방문자에 대응되는 이벤트를 생성하고, 상기 방문자가 상기 데이터베이스에 존재하지 않는 경우, 상기 방문자의 영상을 사용자에게 출력하고, 상기 방문자에 대한 사용자의 피드백을 학습하는 동작, 및 상기 데이터베이스에 존재하지 않는 방문자의 정보 및 상기 방문자에 대한 상기 사용자의 피드백 학습 결과를 상기 방문자 데이터베이스에 저장하는 동작을 포함할 수 있다.
본 명세서에 개시된 실시 예들에 의하면, 도어벨 카메라 시스템이 스스로 방문자에 대한 사용자의 패드백을 학습하여 대응 이벤트를 생성할 수 있는 효과가 있다.
또한, 본 명세서에 개시된 실시 예들에 의하면, 사용자는 비대면 상태에서 방문자의 요구를 처리할 수 있는 효과가 있다.
또한, 본 명세서에 개시된 실시 예들에 의하면, 도어벨 카메라 시스템은 사용자가 사용자에게 위협적인 방문자를 확인하지 않고도 방문자를 차단하거나 안전 조치를 위할 수 있는 효과가 있다.
또한, 본 명세서에 개시된 실시 예들에 의하면, 특정 방문자에 대해 반복되는 사용자의 행동 패턴을 학습하여 자동으로 대응함으로써 사용자의 편의성을 높일 수 있는 효과가 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 따른 도어벨 카메라 시스템 및 이벤트 생성 방법의 개념을 도시한다.
도 2는 본 발명의 실시 예에 따른 도어벨 카메라 시스템의 구성요소들을 상세히 도시한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 도어벨 카메라 시스템에서의 본 발명의 일 실시 예에 따른 이벤트 생성 방법을 설명하는 순서도이다.
도 4는 도어벨 장치와 사용자 장치로 구성된 본 발명의 일 실시 예에 따른 도어벨 카메라 시스템에서 본 발명의 일 실시 예에 따른 이벤트 생성 방법을 설명하는 순서도이다.
도 5 내지 8은 본 발명의 일 실시 예에 따른 도어벨 카메라 시스템에 의한 이벤트 생성 방법의 다양한 실시 예들을 설명하는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 도어벨 장치의 구성요소들을 도시한 블록도이다.
본 명세서에 개시된 기술은 도어벨 카메라 장치 및 시스템에 적용될 수 있다. 그러나 본 명세서에 개시된 기술은 이에 한정되지 않고, 상기 기술의 기술적 사상이 적용될 수 있는 모든 장치 및 방법에도 적용될 수 있다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 명세서에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥 상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
이하에서는 첨부의 도면 1 내지 4를 참조하여 본 발명의 일 실시 예에 따른 도어벨 카메라 시스템의 구성 및 본 발명의 일 실시 예에 따른 도어벨 카메라 시스템에 의한 이벤트 생성 방법을 설명한다.
도 1은 본 발명의 실시 예에 따른 도어벨 카메라 시스템 및 이벤트 생성 방법의 개념을 도시한다.
도 1을 참조하면, 본 명세서에 개시된 도어벨 카메라 시스템(10)은 방문자(1)가 도어벨을 누르면 방문자(1)의 영상과 음성을 획득하고, 획득된 영상과 음성을 네트워크(3)를 통해 사용자 장치(200)로 전송하는 도어벨 장치(100), 도어벨 장치(100)로부터 수신한 방문자(1)의 영상과 음성을 출력하고, 사용자(2)의 피드백을 입력받아 사용자(2)의 피드백에 따른 이벤트를 발생시키는 사용자 장치(200)를 포함하여 구성될 수 있다.
상기 이벤트는 도어벨 무시, 도어락 잠금 해제, 긴급전화 연결, 비대면 결재 모듈 활성화 등 방문자(1)의 정보와 사용자(2)의 피드백에 기초하여 결정된 대응 방향에 따른 도어벨 장치(100)의 특정 기능에 대한 작동 명령 또는 사용자 장치(200)의 특정 기능에 대한 작동 명령일 수 있다.
실시 예에 따라, 사용자 장치(200)는 스마트폰, 스마트패드 등의 개인 휴대 장치일 수 있으며, 도어벨 카메라 시스템(10)에 포함되는 전용 단말 장치일 수 있다. 또한, 사용자 장치(200)는 단순히 방문자(1)의 영상과 음성을 사용자(2)에게 출력하고, 구비된 카메라/마이크/센서들을 통해서 사용자(2)의 피드백을 입력받을 수 있다. 이 때, 도어벨 장치(100)는 사용자 장치(200)에서 획득한 사용자(2)의 피드백을 분석하고, 분석된 결과에 따라 이벤트를 발생시킬 수 있으며, 별도의 제어 애플리케이션 프로그램을 통해서 사용자 장치(200)를 제어할 수 있다.
실시 예에 따라, 도어벨 카메라 시스템(10)은 별도의 제어 서버(도시하지 않음)를 더 포함하여 구성될 수 있다. 상기 제어 서버가 도어벨 카메라 시스템(10)에 포함될 경우, 도어벨 장치(100)는 단순히 방문자(1)의 영상과 음성을 획득하고, 획득된 영상과 음성을 네트워크(3)를 통해 제어 서버로 전송하는 기능만을 수행하고, 사용자 장치(200)는 제어 서버로부터 수신한 방문자(10)의 영상과 음성을 사용자(2)에게 출력하고, 구비된 카메라/마이크/센서들을 통해서 사용자(2)의 피드백을 획득하는 기능을 수행할 수 있다. 이 때, 제어 서버는 도어벨 장치(100)에서 획득한 방문자(1)의 영상과 음성을 분석하고, 사용자 장치(200)에서 획득한 사용자(2)의 방문자(1)에 대한 피드백을 분석한 뒤, 분석 결과에 따라 이벤트를 생성할 수 있다. 또한 생성한 이벤트를 수행하기 위하여 도어벨 장치(100)와 사용자 장치(200)를 제어할 수 있다.
도 2는 본 발명의 실시 예에 따른 도어벨 카메라 시스템의 구성요소들을 상세히 도시한 블록도이다.
도 2를 참조하면, 도어벨 장치(100)는 카메라(110), 마이크(120), 통신부(130), 저장부(140), 스피커(150), 알람부(160) 및 제어부(170)를 포함하여 구성될 수 있고, 사용자 장치(200)는 카메라(210), 마이크(220), 통신부(230), 저장부(240), 스피커(250), 센서(260) 및 제어부(270)를 포함하여 구성될 수 있다. 도시된 구성요소들은 필수적인 것은 아니어서, 그 보다 많은 구성요소들을 갖거나, 그보다 적은 구성요소들을 갖는 도어벨 장치(100)와 사용자 장치(200)가 구현될 수도 있다.
이하, 상기 도어벨 장치(100)의 구성요소들에 대해 차례대로 설명한다.
카메라(110)는 방문자(1)를 촬영하여 방문자(1)의 영상을 획득할 수 있다.
마이크(120)는 방문자(1)의 음성을 녹음하여 방문자(1)의 음성을 획득할 수 있다.
통신부(130)는 카메라(110)와 마이크(120)를 통해 획득한 방문자(1)의 영상과 음성을 네트워크(3)를 통해 사용자 장치(200)로 전송할 수 있다.
저장부(140)는 도어벨 장치(100)에서 생성된 데이터, 획득한 영상/음성 데이터, 및 외부에서 입력된 데이터를 저장할 수 있다.
스피커(150)는 도어벨을 눌렀을 때 대기음을 출력할 수 있으며, 사용자(2)가 입력한 음성을 출력할 수도 있다.
알람부(160)는 방문자(1) 또는 외부에게 전달할 알람 메시지를 출력할 수 있으며, 실내에 위치한 사용자(2)에게 방문자(1)의 방문을 알람 메시지로 전달할 수 있다.
제어부(170)는 상기 도어벨 장치(100)의 구성요소들을 제어하여 각 구성요소들의 기능을 수행하도록 할 수 있다. 실시 예에 따라, 제어부(170)는 후술할 사용자(2)의 영상, 음성 및 센서(260)로부터 측정한 사용자(2)의 반응을 기초로 방문자(1)에 대한 사용자의 피드백을 학습할 수 있다. 또한, 제어부(170)는 획득된 방문자(1)의 영상으로부터 방문자(1)의 정보를 추출하고, 방문자(1)의 정보 및 사용자 장치(200)로부터 획득한 사용자의 피드백 학습 결과에 기초하여 방문자(1)에 대한 대응 방향을 결정하고, 상기 결정된 결과에 기초하여 이벤트를 생성할 수 있다.
이하, 상기 사용자 장치(200)의 구성요소들에 대해 차례대로 설명한다.
카메라(210)는 사용자(2)를 촬영하여 사용자(2)의 영상을 획득할 수 있다. 예를 들어, 카메라(210)는 방문자(1)의 영상을 확인한 사용자(2)의 얼굴 표정 또는 신체의 움직임을 촬영할 수 있다.
마이크(220)는 사용자(2)의 음성을 녹음하여 사용자(2)의 음성을 획득할 수 있다. 예를 들어, 마이크(220)는 방문자(1)의 영상을 확인한 사용자(2)의 목소리를 획득할 수 있다.
통신부(230)는 방문자(1)의 영상과 음성을 네트워크(3)를 통해 수신할 수 있으며, 생성된 이벤트에 대한 제어 명령을 도어벨 장치(100)로 전송할 수 있다. 실시 예에 따라, 통신부(230)는 카메라(210)와 마이크(220)를 통해 획득한 사용자(2)의 영상과 음성을 네트워크(3)를 통해 도어벨 장치(100)로 전송할 수 있으며, 전술한 별도의 제어 서버로 전송할 수도 있다.
저장부(240)는 사용자 장치(200)에서 생성된 데이터, 획득한 영상/음성 데이터, 및 외부에서 입력된 데이터를 저장할 수 있다. 또한, 방문자(1)의 영상에 추출한 방문자 정보와 사용자(2)의 피드백 학습 결과를 데이터베이스로 저장할 수 있다. 실시 예에 따라, 상기 방문자 정보와 상기 사용자(2)의 피드백 학습 결과를 상기 제어 서버로 전송하여 저장할 수도 있다.
스피커(250)는 도어벨 장치(100)에서 전송된 음성/소리가 출력될 수 있다.
센서(260)는 방문자(1)의 영상을 확인한 사용자(2)의 반응을 측정할 수 있다. 상기 반응은 사용자 장치(200)에 대한 사용자의 접근 동작 및 후퇴 동작, 사용자 장치(200)를 뒤집어서 바닥에 엎어 놓는 동작, 사용자 장치(200)를 던지는 동작, 사용자 장치(200)의 급격한 움직임 등 일 수 있다.
제어부(270)는 상기 사용자 장치(200)의 구성요소들을 제어하여 각 구성요소들의 기능을 수행하도록 할 수 있다.
또한, 제어부(270)는 상기 카메라(210)로부터 획득한 사용자(2)의 영상, 상기 마이크(220)로부터 획득한 사용자(2)의 음성 및 상기 센서(260)로부터 측정한 사용자(2)의 반응을 기초로 방문자(1)에 대한 사용자의 피드백을 학습할 수 있다.
또한, 제어부(270)는 상기 방문자(1)의 영상으로부터 상기 방문자(1)의 정보를 추출하고, 상기 방문자(1)의 정보 및 상기 사용자(2)의 피드백 학습 결과에 기초하여 상기 방문자(1)에 대한 대응 방향을 결정하고, 상기 결정된 결과에 기초하여 이벤트를 생성할 수 있다.
본 명세서에서 개시되는 네트워크(3)는 예를 들어, 무선 네트워크, 유선 네트워크, 인터넷과 같은 공용 네트워크, 사설 네트워크, 모바일 통신 네트워크용 광역 시스템(Global System for Mobile communication network; GSM) 네트워크, 범용 패킷 무선 네트워크(General Packet Radio Network; GPRN), 근거리 네트워크(local area network; LAN), 광역 네트워크(wide area network; WAN), 거대도시 네트워크(Metropolitan Area Network; MAN), 셀룰러 네트워크, 공중 전화 교환 네트워크(Public Switched Telephone Network; PSTN), 개인 네트워크(Personal Area Network), 블루투스, Wi-Fi 다이렉트(Wi-Fi Direct), 근거리장 통신(Near Field communication), 초 광 대역(Ultra-Wide band), 이들의 조합, 또는 임의의 다른 네트워크일 수 있지만 이들로 한정되는 것은 아니다.
도어벨 장치(100)와 사용자 장치(200)에 구비된 통신부(130, 230)는 상기 네트워크(3)를 지원하며, 상기 통신부(130, 230)를 통해서 도어벨 장치(100)와 사용자 장치(200) 간에 데이터가 송수신 될 수 있다.
이하에서는 첨부의 도 2 내지 8을 참조하여 본 발명의 일 실시 예에 따른 도어벨 카메라 시스템의 이벤트 생성 방법을 상세히 설명한다.
도 3은 본 발명의 일 실시 예에 따른 도어벨 카메라 시스템에서의 본 발명의 일 실시 예에 따른 이벤트 생성 방법을 설명하는 순서도이다.
먼저, 도어벨 카메라 시스템(10)은 방문자의 영상을 획득한다(S301). 다음으로, 도어벨 카메라 시스템(10)은 획득된 방문자의 영상을 사용자에게 출력한다(S303). 다음으로, 도어벨 카메라 시스템(10)은 방문자에 대한 사용자의 피드백을 학습한다(S305). 다음으로, 도어벨 카메라 시스템(10)은 방문자의 정보 및 방문자에 대한 사용자의 피드백 학습 결과를 저장한다(S307). 다음으로, 도어벨 카메라 시스템(10)은 방문자의 정보 및 사용자의 피드백 학습 결과에 기초한 이벤트를 생성한다(S309).
도 4는 도어벨 장치(100)와 사용자 장치(200)로 구성된 본 발명의 일 실시 예에 따른 도어벨 카메라 시스템에서 본 발명의 일 실시 예에 따른 이벤트 생성 방법을 설명하는 순서도이다. 도면을 참조하여 본 발명의 실시 예에 따른 이벤트 생성 방법을 상세히 설명한다.
이하 설명은 도어벨 장치(100)와 사용자 장치(200)이 함께 수행하는 것으로 설명되지만, 실시 예에 따라 도어벨 장치(100)에서 획득한 정보를 이용하여 사용자 장치(200)가 단독으로 수행할 수도 있고, 사용자 장치(200)에서 획득한 정보를 이용하여 도어벨 장치(100)가 단독으로 수행할 수도 있다. 실시 예에 따라, 외부의 별도의 제어 서버가 도어벨 장치(100)와 사용자 장치(200)에서 획득한 정보를 이용하여 단독으로 방문자 분석, 사용자 피드백 분석 및 학습, 이벤트 생성의 동작을 수행할 수 있다.
먼저, 방문자가 도어벨을 누르면, 도어벨 장치(100)는 방문자를 촬영하여 방문자의 영상을 획득하고, 방문자의 음성을 획득한다(S401).
이어서, 도어벨 장치(100)는 획득된 방문자의 영상과 음성 데이터를 네트워크를 통해서 사용자 장치(200)로 전송한다(S403).
다음으로, 사용자 장치(200)는 도어벨 장치(100)로부터 수신한 방문자의 영상과 음성을 사용자에게 출력한다(S405). 이 때, 사용자는 사용자 장치(200)에서 출력된 방문자의 영상과 음성을 확인한 후, 방문자에 따른 피드백을 표현하게 된다. 사용자의 피드백은 놀라움, 슬픔, 짜증냄, 무표정, 두려움, 공포, 염려, 기쁨, 반가움, 주저함 등 일 수 있으며, 이러한 피드백은 사용자 장치(200)가 사용자의 얼굴 표정, 음성 표현(어조, 억양, 욕설 등), 행동 패턴(없는 척 하는 행동, 귀를 막는 행동, 사용자 장치를 뒤집어 놓는 행동, 고개를 젖는 행동, 사용자 장치를 떨어트리는 행동 등) 등을 분석하여 판단할 수 있다.
다음으로, 사용자 장치(200)는 전술한 방문자에 대한 사용자 피드백을 획득하여 이를 학습한다(S407). 사용자 피드백의 획득은 카메라(210)를 통한 사용자의 얼굴 표정 또는 신체의 움직임 촬영, 마이크(220)를 통한 사용자의 목소리 녹음, 센서(260)를 통한 사용자 장치(200)에 대한 사용자의 접근 동작 및 후퇴 동작, 사용자 장치(200)를 뒤집어서 바닥에 엎어 놓는 동작, 사용자 장치(200)를 던지는 동작, 사용자 장치(200)의 급격한 움직임 감지, 사용자의 생체 정보 감지 등을 통해 수행될 수 있다. 사용자 장치(200)는 특정 방문자에 대한 사용자의 반복되는 피드백, 즉 반응을 학습하여 방문자가 안전한 인물인지, 위험한 인물인지 등을 판단할 수 있다. 실시 예에 따라 도어벨 장치(100)가 사용자 피드백 정보를 전송받아 사용자의 피드백을 학습할 수 있다.
다음으로, 사용자 장치(200)는 상기 방문자 영상으로부터 방문자 정보를 추출하고, 상기 방문자 정보 및 상기 사용자의 피드백 학습 결과를 저장한다(S409). 상기 방문자 정보는 방문자의 얼굴 정보, 신체 특징 정보(키, 체형, 목소리 등), 의상 특징 정보(옷의 로고, 옷의 종류, 옷에 표시된 문자, 옷의 색상 등), 소지 물건 정보(흉기, 택배 상자, 배달 박스 등) 등 일 수 있으며, 사용자 장치(200)는 이들 정보를 분석하여 방문자의 안전 인물 여부를 판단할 수 있다. 실시 예에 따라 방문자 정보의 추출 및 분석은 도어벨 장치(100)에서 직접 수행될 수 있다.
다음으로, 사용자 장치(200)는 상기 방문자의 정보와 상기 사용자의 피드백 학습 결과에 기초하여 이벤트를 생성한다(S411). 사용자 장치(200)는 상기 방문자의 정보와 상기 사용자의 피드백 학습 결과에 기초하여 대응 방향을 결정한 뒤, 결정된 대응 방향에 따라 적절한 이벤트를 생성한다. 예를 들어, 방문자에 대해 결정된 대응 방향이, 방문자를 차단해야 하는 것이면 도어벨의 작동을 멈추거나 긴급전화 연결 등의 이벤트를 생성하고, 방문자가 집으로 들여보내야 하는 것이면 도어락을 해제하는 이벤트를 생성하고, 방문자가 배달 업체 직원이면 비대면 결재 모듈을 활성화하여 배당 상품에 대한 대금을 지불하는 이벤트를 생성할 수 있다.
다음으로, 사용자 장치(200)는 생성한 이벤트가 도어벨 장치(100)에서 수행되어야 하는 것이면, 상기 생성한 이벤트를 도어벨 장치(100)로 전달한다(S413).
마지막으로, 도어벨 장치(100)는 수신한 이벤트에 따라 명령을 수행하고(S415), 상기 이벤트가 사용자 장치(200)에서 수행되어야 할 이벤트인 경우, 사용자 장치(200)가 해당 이벤트를 수행한다(S417). 상기 이벤트는 도어벨 무시, 도어락 잠금 해제, 긴급전화 연결, 비대면 결재 모듈의 활성화, 사용자에게 알람 메시지 출력 등 방문자의 정보와 사용자의 피드백에 기초하여 결정된 대응 방향에 따른 도어벨 장치(100)의 특정 기능에 대한 작동 명령일 수 있으며, 또는 사용자 장치(200)의 특정 기능에 대한 작동 명령일 수 있다.
도 5 내지 8은 본 발명의 일 실시 예에 따른 도어벨 카메라 시스템에 의한 이벤트 생성 방법의 다양한 실시 예들을 설명하는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 도어벨 카메라 시스템(10)에 의한 이벤트 생성 방법의 다양한 실시 예 중 택배 서비스를 설명한다. 도면을 참조하면, 방문자인 택배 기사가 도어벨을 누르면(501), 도어벨 카메라 시스템(10)에 구비된 카메라가 방문자를 촬영하여, 사용자에게 출력해준다(503). 이 때, 사용자가 방문자에 관련된 정보를 사전에 도어벨 카메라 시스템(10)에 등록해 두었을 경우, 도어벨 카메라 시스템(10)은 방문자의 영상으로부터 방문자의 정보를 추출한 뒤, 방문자 정보와 사전 등록 정보를 비교하여 관련되는 메시지를 사용자에게 출력한다. 본 실시 예에서는 사용자가 사전에 택배 서비스 정보를 도어벨 카메라 시스템(10)에 등록하였을 경우, "OO일에 주문한 XX택배 기사가 방문하였습니다."라는 메시지와 함께 방문자의 영상이 사용자에게 출력된다. 사용자가 출력된 메시지와 방문자의 영상을 확인한 뒤, 이에 대한 피드백을 표현하면, 도어벨 카메라 시스템(10)은 사용자의 피드백을 획득한 뒤, 이를 학습한다(505). 실시 예에서는 사용자가 자신이 주문한 택배 서비스에 대해서 반가움, 즐거움, 기쁨 등의 감정과 관련되는 얼굴 표정을 피드백으로 표현한 경우로서, 도어벨 카메라 시스템(10)은 사용자가 주문한 택배 서비스에 대해서는 사용자가 안심하는 상태로 학습 결과를 저장한다. 도어벨 카메라 시스템(10)은 이러한 사용자의 피드백을 미리 결정된 횟수 또는 학습 결과가 특정 품질 이상으로 도출될 때까지 학습한 후, 다시 택배 기사가 방문하였을 경우(507)에는 사용자 피드백의 학습 결과를 반영하여, "OO일에 주문한 XX택배 기사가 방문하였습니다. 문을 여시겠습니까?"라는 메시지를 출력한다. 이어서, 사용자가 미리 학습된 얼굴 표정 등의 긍정적 피드백으로 반응하면, 도어벨 카메라 시스템(10)은 도어락을 해제하는 이벤트를 생성하여 방문자에게 자동으로 문을 열어 준다(511).
도 6은 본 발명의 일 실시 예에 따른 도어벨 카메라 시스템(10)에 의한 이벤트 생성 방법의 다양한 실시 예 중 위험 인물 대응 서비스를 설명한다. 도면을 참조하면, 방문자인 위험 인물(스토커)이 도어벨을 누르면(601), 도어벨 카메라 시스템(10)에 구비된 카메라가 방문자를 촬영하여, 사용자에게 출력해준다(603). 이 때, 사용자가 방문자에 관련된 정보를 사전에 도어벨 카메라 시스템(10)에 등록해 두었을 경우, 도어벨 카메라 시스템(10)은 방문자의 영상으로부터 방문자의 정보를 추출한 뒤, 방문자 정보와 사전 등록 정보를 비교하여 관련되는 메시지를 사용자에게 출력한다. 본 실시 예에서는 사용자가 사전에 위험 인물 정보를 도어벨 카메라 시스템(10)에 등록하였을 경우, "스토커로 등록된 방문자가 방문하였습니다."라는 메시지와 함께 방문자의 영상이 사용자에게 출력된다. 사용자가 출력된 메시지와 방문자의 영상을 확인한 뒤, 이에 대한 피드백을 표현하면, 도어벨 카메라 시스템(10)은 사용자의 피드백을 획득한 뒤, 이를 학습한다(605). 실시 예에서는 사용자가 위험 인물에 대해서 분노, 두려움, 공포 등의 감정과 관련되는 얼굴 표정을 피드백으로 표현한 경우로서, 도어벨 카메라 시스템(10)은 스토커 등의 인물에 대해서는 사용자에게 위험한 인물로 학습 결과를 저장한다. 도어벨 카메라 시스템(10)은 이러한 사용자의 피드백을 미리 결정된 횟수 또는 학습 결과가 특정 품질 이상으로 도출될 때까지 학습한 후, 다시 위험 인물이 방문하였을 경우(607)에는 사용자 피드백의 학습 결과를 반영하여, "스토커로 등록된 방문자가 방문하였습니다. 초인종을 자동으로 무시하고, 긴급전화로 연결합니다."라는 메시지를 출력한다. 이어서, 도어벨 카메라 시스템(10)은 사용자의 피드백에 상관없이 자동으로 도어벨을 무시하고 미리 등록된 긴급전화로 연결하는 이벤트를 생성한다(609).
도 7은 본 발명의 일 실시 예에 따른 도어벨 카메라 시스템(10)에 의한 이벤트 생성 방법의 실시 예로서 음식 배달 상황에서 이벤트 생성 방법을 설명한다. 도면을 참조하면, 먼저, 사용자가 음식 배달 정보를 도어벨 카메라 시스템(10)에 등록(S701)한 뒤, 배달 음식을 든 방문자가 사용자 집에 방문하여 도어벨을 누른다(S703). 이어서, 사용자 장치(200)가 방문자를 촬영하고, 방문자의 영상으로부터 방문자의 정보를 추출한 뒤, 주문한 배달 음식이 도착하였음을 사용자에게 영상과 음성으로 알려준다(S705). 다음으로, 방문자가 배달 음식을 도어벨 장치(100)를 통하여 사용자에게 전달한다(S707). 다음으로, 사용자가 특정 제스처, 행동 패턴, 얼굴 표정 등을 표현하면, 사용자 장치(200)는 결재 모듈을 활성화하고, 사전에 등록된 결재 정보로 방문자에게 비대면 상태로 결재한다(S709). 방문자는 결재가 확인되면 배달 음식을 문 앞에 두고 퇴장한다(S711).
도 8은 도 6의 위험 인물 대응에 대한 이벤트 생성 방법을 상세히 설명한다. 도면을 참조하면, 방문자인 위험 인물(스토커)이 사용자의 집을 주기적으로 방문하여 도어벨을 누르면(S801), 사용자는 도어벨 장치(100)를 통해 방문자의 영상을 확인한 후, 두려운 표정을 짖고, 사용자 장치(200)를 엎어 두며 집에 없는 척 행동을 한다. 사용자 장치(200)는 사용자의 얼굴 표정과 행동으로 표현되는 사용자 피드백을 획득한다(S803). 사용자 장치(200)는 사용자의 피드백에 따라 TV 소리를 낮추는 기능을 수행하도록 이벤트를 발생한다(S805). 또한, 사용자장치(200)는 방문자 영상으로부터 방문자의 정보를 추출하여 학습하고, 획득된 사용자 피드백을 학습한다(S807). 다음으로, 사용자 장치(200)는 학습된 결과에 기초하여 긴급 연결망으로 경찰을 호출한다(S809). 다음으로, 사용자 장치(200)는 해당 방문자에 대한 정보를 저장하고, 사용자 장치 및 긴급 호출처로 전달하는 이벤트를 생성한다(S811).
도 9는 본 발명의 일 실시 예에 따른 도어벨 장치의 구성요소들을 도시한 블록도이다.
도 9를 참조하면, 도어벨 장치(900)는 카메라 모듈(910), 마이크(920), 통신부(930), 저장부(940), 스피커(950), 피드백학습부(960) 및 제어부(970)를 포함하여 구성될 수 있다. 도시된 구성요소들은 필수적인 것은 아니어서, 그 보다 많은 구성요소들을 갖거나, 그보다 적은 구성요소들을 갖는 도어벨 장치(900)가 구현될 수도 있다. 상기 도어벨 장치(900)는 도 2에 예시한 본 발명의 실시 예에 다른 도어벨 카메라 시스템의 기능을 단독으로 수행할 수 있다.
이하, 상기 도어벨 장치(900)의 구성요소들에 대해 차례대로 설명한다.
카메라(910)는 방문자를 촬영하여 방문자의 영상을 획득할 수 있다.
마이크(920)는 방문자의 음성을 녹음하여 방문자의 음성을 획득할 수 있다.
통신부(930)는 카메라(910)와 마이크(920)를 통해 획득한 방문자의 영상과 음성을 네트워크를 통해 외부의 사용자 장치(도시하지 않음)로 전송하고, 방문자의 영상을 확인한 사용자의 피드백을 수신할 수 있다.
저장부(940)는 도어벨 장치(900)에서 생성된 데이터, 획득한 영상/음성 데이터, 외부에서 입력된 데이터 및 사용자 장치로부터 수신한 데이터와 방문자에 대한 사용자의 피드백을 저장할 수 있다.
스피커(950)는 도어벨을 눌렀을 때 대기음을 출력할 수 있으며, 사용자가 입력한 음성을 출력할 수도 있다.
피드백학습부(960)는 통신부(930)를 통해 수신한 방문자에 대한 사용자의 피드백을 학습할 수 있다.
제어부(970)는 방문자의 영상으로부터 방문자의 정보를 추출하고, 방문자의 정보 및 사용자의 피드백 학습 결과에 기초한 방문자에 대한 대응 방향을 판단하고, 판단 결과에 기초하여 이벤트를 생성할 수 있다.
본 명세서에서 사용된 용어 "부"는(예를 들면, 제어부 등), 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "부"는, 예를 들어, 유닛(unit), 로직(logic), 논리블록 (logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "부"는, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "부"는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "부"는 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들어, "부"는, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들어, 메모리가 될 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술된 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서 본 명세서의 기술에 대한 바람직한 실시 예가 첨부된 도면들을 참조하여 설명되었다. 여기서, 본 명세서 및 청구 범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
본 발명의 범위는 본 명세서에 개시된 실시 예들로 한정되지 아니하고, 본 발명은 본 발명의 사상 및 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있다.
10: 도어벨 카메라 시스템
100: 도어벨 장치
200: 사용자 장치
110, 210: 카메라
120, 220: 마이크
130, 230: 통신부
140, 240: 저장부
150, 250: 스피커
160: 알람부
260: 센서
170, 270: 제어부

Claims (12)

  1. 도어벨 카메라 시스템에 의하여 수행되는 이벤트 생성 방법에 있어서,
    방문자의 영상을 획득하는 동작;
    상기 획득된 상기 방문자의 영상을 사용자에게 출력하는 동작;
    상기 방문자에 대한 상기 사용자의 피드백을 학습하는 동작;
    상기 방문자의 정보 및 상기 방문자에 대한 상기 사용자의 피드백 학습 결과를 저장하는 동작; 및
    상기 방문자의 정보 및 상기 사용자의 피드백 학습 결과에 기초한 이벤트를 생성하는 동작을 포함하는 이벤트 생성 방법.
  2. 제1 항에 있어서,
    상기 방문자에 대한 상기 사용자의 피드백을 학습하는 동작은,
    상기 방문자의 영상에 대한 사용자의 피드백을 획득하는 동작;
    상기 획득된 사용자의 피드백에 기초하여 상기 방문자에 대한 사용자의 반응을 판단하는 동작; 및
    상기 판단 결과에 따른 사용자의 반응을 상기 방문자에 대한 사용자의 피드백으로 학습하는 동작을 포함하는 이벤트 생성 방법.
  3. 제2 항에 있어서,
    상기 사용자의 피드백은 사용자의 표정 정보, 음성 정보, 및 행동 정보 중 적어도 하나 이상을 포함하는 이벤트 생성 방법.
  4. 제1 항에 있어서,
    상기 방문자의 정보 및 상기 방문자에 대한 상기 사용자의 피드백 학습 결과를 저장하는 동작은,
    상기 방문자의 영상으로부터 상기 방문자의 정보를 추출하는 동작; 및
    상기 추출된 방문자의 정보와 상기 사용자의 피드백 학습 결과를 저장하는 동작을 포함하는 이벤트 생성 방법.
  5. 제4 항에 있어서,
    상기 방문자의 정보는 상기 방문자의 얼굴 정보, 신체 특징 정보, 의상 정보, 및 소지품 정보 중 적어도 하나 이상을 포함하는 이벤트 생성 방법.
  6. 제1 항에 있어서,
    상기 방문자의 정보 및 상기 사용자의 피드백 학습 결과에 기초한 이벤트를 생성하는 동작은,
    상기 방문자의 정보 및 상기 사용자의 피드백 학습 결과에 기초하여 상기 방문자에 대한 대응 방향을 판단하는 동작; 및
    상기 판단 결과에 기초하여 상기 이벤트를 생성시키는 동작을 포함하는 이벤트 생성 방법.
  7. 방문자의 영상을 획득하는 카메라 모듈;
    상기 획득된 상기 방문자의 영상을 전송받아 출력하고, 상기 방문자에 대한 사용자의 피드백을 학습하는 사용자 단말; 및
    상기 방문자의 영상으로부터 상기 방문자의 정보를 추출하고, 상기 방문자의 정보 및 상기 사용자의 피드백 학습 결과에 기초한 이벤트를 생성하는 제어부를 포함하는 도어벨 카메라 시스템.
  8. 제7 항에 있어서,
    상기 사용자 단말은 상기 방문자의 영상에 대한 사용자의 피드백을 획득하고, 상기 획득된 사용자의 피드백에 기초하여 상기 방문자에 대한 사용자의 반응을 판단하고, 상기 판단 결과에 따른 사용자의 반응을 상기 방문자에 대한 사용자의 피드백으로 학습하며,
    상기 사용자의 피드백은 사용자의 표정 정보, 음성 정보, 및 행동 정보 중 적어도 하나 이상을 포함하는 도어벨 카메라 시스템.
  9. 제7 항에 있어서,
    상기 제어부는 상기 방문자의 정보 및 상기 사용자의 피드백 학습 결과에 기초하여 상기 방문자에 대한 대응 방향을 판단하고, 상기 판단 결과에 기초하여 상기 이벤트를 생성시키며,
    상기 방문자의 정보는 상기 방문자의 얼굴 정보, 신체 특징 정보, 의상 정보, 및 소지품 정보 중 적어도 하나 이상을 포함하는 도어벨 카메라 시스템.
  10. 제7 항에 있어서,
    상기 방문자의 정보 및 상기 방문자에 대한 상기 사용자의 피드백 학습 결과를 데이터베이스로 저장하는 저장부를 더 포함하고,
    상기 제어부는 상기 방문자의 영상이 획득되면, 상기 방문자의 영상으로부터 상기 방문자의 정보를 추출하고, 추출된 상기 방문자 정보와 상기 데이터베이스를 비교하고,
    상기 비교 결과에 매칭되는 방문자에 대한 사용자 피드백에 기초하여 이벤트를 생성하는 도어벨 카메라 시스템.
  11. 방문자의 영상을 획득하는 카메라;
    상기 획득된 상기 방문자의 영상을 기초로 상기 방문자에 대한 사용자의 피드백을 학습하는 피드백학습부; 및
    상기 방문자의 영상으로부터 상기 방문자의 정보를 추출하고, 상기 방문자의 정보 및 상기 사용자의 피드백 학습 결과에 기초한 상기 방문자에 대한 대응 방향을 판단하고, 상기 판단 결과에 기초하여 상기 이벤트를 생성하는 제어부를 포함하는 도어벨 장치.
  12. 도어벨 카메라 시스템에 의하여 수행되는 이벤트 생성 방법에 있어서,
    방문자의 영상을 획득하는 동작;
    상기 방문자의 영상으로부터 상기 방문자의 정보를 추출하는 동작;
    상기 방문자 정보와 데이터베이스를 비교하는 동작;
    상기 방문자가 상기 데이터베이스에 존재할 경우, 상기 방문자에 대응되는 이벤트를 생성하고, 상기 방문자가 상기 데이터베이스에 존재하지 않는 경우, 상기 방문자의 영상을 사용자에게 출력하고, 상기 방문자에 대한 사용자의 피드백을 학습하는 동작; 및
    상기 데이터베이스에 존재하지 않는 방문자의 정보 및 상기 방문자에 대한 상기 사용자의 피드백 학습 결과를 상기 방문자 데이터베이스에 저장하는 동작을 포함하는 이벤트 생성 방법.
KR1020200008469A 2020-01-22 2020-01-22 사용자 피드백에 기초한 도어벨 카메라 시스템에 의한 이벤트 생성 KR20210094798A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200008469A KR20210094798A (ko) 2020-01-22 2020-01-22 사용자 피드백에 기초한 도어벨 카메라 시스템에 의한 이벤트 생성
US17/155,189 US11451750B2 (en) 2020-01-22 2021-01-22 Event generation based on user feedback by doorbell camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200008469A KR20210094798A (ko) 2020-01-22 2020-01-22 사용자 피드백에 기초한 도어벨 카메라 시스템에 의한 이벤트 생성

Publications (1)

Publication Number Publication Date
KR20210094798A true KR20210094798A (ko) 2021-07-30

Family

ID=76858303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200008469A KR20210094798A (ko) 2020-01-22 2020-01-22 사용자 피드백에 기초한 도어벨 카메라 시스템에 의한 이벤트 생성

Country Status (2)

Country Link
US (1) US11451750B2 (ko)
KR (1) KR20210094798A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023122563A1 (en) * 2021-12-22 2023-06-29 Skybell Technologies Ip, Llc Local ai inference

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130122535A (ko) * 2010-06-07 2013-11-07 어펙티바,아이엔씨. 웹서비스들을 이용한 심리 상태 분석
US9154979B2 (en) * 2011-12-14 2015-10-06 Ixia Scalable architecture for long term evolution (LTE) multiple user equipment (multi-UE) simulation
EP2810233A4 (en) * 2012-01-30 2015-09-02 Nokia Technologies Oy METHOD, DEVICE AND COMPUTER PROGRAM FOR PROMOTING THE DEVICE
US9960929B2 (en) * 2012-09-21 2018-05-01 Google Llc Environmental sensing with a doorbell at a smart-home
US9311525B2 (en) * 2014-03-19 2016-04-12 Qualcomm Incorporated Method and apparatus for establishing connection between electronic devices
WO2018218640A1 (en) * 2017-06-02 2018-12-06 SZ DJI Technology Co., Ltd. Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar
US20180357870A1 (en) * 2017-06-07 2018-12-13 Amazon Technologies, Inc. Behavior-aware security systems and associated methods
US10769906B2 (en) * 2017-08-31 2020-09-08 Hanwha Techwin Co., Ltd. Doorbell, security system including doorbell apparatus, and method of operating the same
US11145171B2 (en) * 2019-02-28 2021-10-12 Arlo Technologies, Inc. Electronic doorbell system with text communication
WO2022081217A1 (en) * 2020-10-14 2022-04-21 1Ahead Technologies Artificial intelligence entry management device, system and method of using same

Also Published As

Publication number Publication date
US20210227184A1 (en) 2021-07-22
US11451750B2 (en) 2022-09-20

Similar Documents

Publication Publication Date Title
US10853629B2 (en) Method for identifying a user entering an autonomous vehicle
US10885396B2 (en) Generating composite images using audio/video recording and communication devices
US11605179B2 (en) System for determining anatomical feature orientation
US11437034B2 (en) Remote control method and apparatus for an imaging apparatus
CN107924395A (zh) 个人翻译器
KR102356623B1 (ko) 가상 비서 전자 장치 및 그 제어 방법
US10836044B2 (en) Robot control device and robot control method
US20190005790A1 (en) Selecting a Video Frame for Notification using Audio/Video Recording and Communication Devices
JP4772509B2 (ja) ドアホン及びドアホンの呼出音制御方法
US11216704B2 (en) Recognition system using multimodality dataset
KR20210094798A (ko) 사용자 피드백에 기초한 도어벨 카메라 시스템에 의한 이벤트 생성
KR20150114310A (ko) 동물움직임을 이용한 동물 통역 시스템
JP2019012506A (ja) 機械の自動活性のための方法及びシステム
KR20200117142A (ko) 애완동물 인터랙션 장치
JP7371595B2 (ja) 装置、システム、方法およびプログラム
US20180068321A1 (en) Reception supporting method and device
JP7137312B2 (ja) ドアベル
JP2015163415A (ja) ロボット制御システム、ロボット制御サーバ及びロボット制御プログラム
KR20210015304A (ko) 가정용 통신 장치를 이용한 사용자 보안 시스템 및 그 방법
US20190193261A1 (en) Information processing device, information processing method, and non-transitory computer-readable recording medium for acquiring information of target
US20190147867A1 (en) Dialogue system and method for controlling thereof
CN111344692A (zh) 信息处理装置、信息处理方法和程序
WO2020199742A1 (zh) 一种智能手机
KR102071185B1 (ko) 긴급 상황의 유형에 따라 주변 장치를 제어하는 호출 시스템
JP2019140655A (ja) ドアベル

Legal Events

Date Code Title Description
A201 Request for examination