KR102620689B1 - 도어 영상 분석 기반의 ai 비서 장치 및 시스템 - Google Patents

도어 영상 분석 기반의 ai 비서 장치 및 시스템 Download PDF

Info

Publication number
KR102620689B1
KR102620689B1 KR1020200161023A KR20200161023A KR102620689B1 KR 102620689 B1 KR102620689 B1 KR 102620689B1 KR 1020200161023 A KR1020200161023 A KR 1020200161023A KR 20200161023 A KR20200161023 A KR 20200161023A KR 102620689 B1 KR102620689 B1 KR 102620689B1
Authority
KR
South Korea
Prior art keywords
information
door
assistant device
image analysis
person
Prior art date
Application number
KR1020200161023A
Other languages
English (en)
Other versions
KR20220073885A (ko
Inventor
변철원
Original Assignee
주식회사 원인터내셔널
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 원인터내셔널 filed Critical 주식회사 원인터내셔널
Priority to KR1020200161023A priority Critical patent/KR102620689B1/ko
Priority to JP2023532712A priority patent/JP2024500296A/ja
Priority to PCT/KR2021/012637 priority patent/WO2022114479A1/ko
Priority to US18/039,008 priority patent/US20230419668A1/en
Priority to EP21898306.2A priority patent/EP4254260A4/en
Priority to CN202180079696.XA priority patent/CN116529749A/zh
Publication of KR20220073885A publication Critical patent/KR20220073885A/ko
Application granted granted Critical
Publication of KR102620689B1 publication Critical patent/KR102620689B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6889—Rooms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q90/00—Systems or methods specially adapted for administrative, commercial, financial, managerial or supervisory purposes, not involving significant data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/40—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for devices for accepting orders, advertisements, or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Cardiology (AREA)
  • Game Theory and Decision Science (AREA)
  • Technology Law (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)

Abstract

본 발명의 일 양태는 도어 영상 분석 기반의 AI(AI: Artificial Intelligence) 비서 장치를 개시하고 있다. 상기 장치는, 도어에 부착된 카메라로부터 촬영된 영상을 수신하는 영상 수신부(상기 영상은 상기 도어로 출입하는 사람의 영상을 포함함), 상기 수신된 영상을 저장하는 저장소 및 인공지능(AI) 모델을 이용하여 상기 저장소에 저장된 영상을 분석함에 의해, 상기 출입하는 사람의 특성을 추론하고, 상기 추론된 특성에 대응하는 정보를 안내하는 프로세서를 포함할 수 있다.

Description

도어 영상 분석 기반의 AI 비서 장치 및 시스템{AI SECRETARY APPARATUS AND SYSTEM BASED ON DOOR IMAGE ANALYSIS}
본 발명은 인공지능(AI: Artificial Intelligence) 비서 장치에 관한 것으로, 보다 상세하게는, 스마트 홈을 구현하기 위한 AI 비서 장치에 관한 것이다.
요즈음 거의 대부분의 가정에서는 사물인터넷 기반의 홈 오토메이션 장치를 댁내에 보유하고 있다. 대부분의 홈 오토메이션 장치는 사용자의 편의를 위한 동작을 취하며, 이를 위해, 사용자의 상태를 점검 기능을 가질 수 있다.
다만, 사용자의 상태를 점검하기 위해 사용자가 별도의 시간을 들여 설문 조사를 하거나, 또는 영상을 별도로 촬영하는 등의 독립적인 행동을 취해야 하기에 불편함이 존재한다. 또한, 이와 같은 방식으로 획득된 정보들의 양이 많지 않고, 정보의 종류 또한 다양하지 않아 정확한 점검이나, 이에 따른 정보의 제공이 적절하지 못한 문제점이 있다.
상술한 문제점을 해결하기 위한 본 발명의 일 양태에 따른 목적은 도어 카메라를 통해 촬영된 영상을 분석하여 사용자에게 필요한 정보를 인공지능 모델에 기반하여 안내하는 AI 비서 장치를 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른, 도어 영상 분석 기반의 AI(AI: Artificial Intelligence) 비서 장치는, 도어에 부착된 카메라로부터 촬영된 영상을 수신하는 영상 수신부(상기 영상은 상기 도어로 출입하는 사람의 영상을 포함함), 상기 수신된 영상을 저장하는 저장소 및 인공지능(AI) 모델을 이용하여 상기 저장소에 저장된 영상을 분석함에 의해, 상기 출입하는 사람의 특성을 추론하고, 상기 추론된 특성에 대응하는 정보를 안내하는 프로세서를 포함할 수 있다.
상기 프로세서는 신체 상태, 체형 및 신체 사이즈 중 적어도 하나를 추론할 수 있다.
상기 프로세서는 상기 추론된 특성에 대응하는 상품을 추천할 수 있다.
상기 프로세서는 신체의 건강 상태를 추론하고, 신체 다이어트 모델을 이용하여 상기 추론된 신체 건강 상태에 대응하는 다이어트 식단 또는 상품을 추천할 수 있다.
상기 프로세서는, 체형 또는 신체 사이즈를 추론하고, 상기 추론된 체형 또는 신체 사이즈를 기반으로 그에 대응하는 의류 또는 상품을 추천할 수 있다.
상기 장치는, 상기 대응하는 정보를 시각화하여 표시하는 디스플레이 장치 및 상기 대응하는 정보를 음성으로 출력하는 스피커를 더 포함할 수 있다.
상기 디스플레이 장치는 터치 스크린이고, 상기 터치 스크린을 통해 메모된 정보를 상기 출입하는 사람에게 표시할 수 있다.
상기 프로세서는 상기 영상 내의 객체를 분석하여 상기 영상 내의 사람을 식별하고, 상기 프로세서는 상기 메모 정보와 관련된 사람을 식별하되, 상기 식별된 메모 정보에 대응하는 출입자가 상기 도어를 출입할 때, 상기 출입자에 대응하는 메모 정보를 표시할 수 있다.
상기 장치는 사람이 움직이는 것을 감지하는 모션 센서를 더 포함하되, 상기 프로세서는, 상기 모션 센서를 통해 움직임이 감지될 때, 상기 대응하는 정보를 안내할 수 있다.
상기 프로세서는, 상기 움직임이 감지될 때, 상기 움직임을 야기하는 출입자를 식별하여 상기 식별된 출입자의 특성을 추론함에 의해, 그에 대응하는 정보를 안내할 수 있다.
상기 AI 비서 장치는 사용자 단말에서 실행되는 애플리케이션(application)과 연관된 서버 장치와 통신하고, 상기 AI 비서 장치는 상기 사용자 단말에서 상기 애플리케이션이 실행될 때, 상기 대응하는 정보를 상기 사용자 단말로 제공할 수 있다.
상기 서버 장치는 클라우드(cloud) 기반의 네트워크, 홈 네트워크 또는 D2D(Device to Device) 방식을 통해 통신할 수 있고, 상기 저장소에 있는 정보가 상기 서버 장치로 전달될 수 있다.
상기 프로세서는, 제 1 출입자와 제 2 출입자를 각각 식별하여, 상기 제 1 출입자에게는 그에 대응하는 제 1 정보를 안내하고, 상기 제 2 출입자에게는 그에 대응하는 제 2 정보를 안내하되, 상기 제 1 출입자와 상기 제 2 출입자는 상기 도어로 임계값 이상 출입한 출입자인지를 판단함에 의해 식별될 수 있다.
상기 프로세서는, 상기 저장된 영상을 분석하여 상기 출입하는 사람의 관상 정보 및 운세 정보를 추론하되, 상기 관상 정보 및 운세 정보는 동양학 솔루션을 이용하여 추론될 수 있다.
상기 프로세서는 상기 디스플레이 장치에서 표시될 광고 컨텐츠를 상기 디스플레이 장치로 제공하고, 상기 디스플레이 장치는 상기 프로세서로부터 수신된 광고 컨텐츠를 표시할 수 있다.
상기 디스플레이 장치 및 상기 스피커 중 적어도 하나는 키오스크 형태로 구비될 수 있다.
상기 장치는, 상기 출입하는 사람의 음성 정보를 획득하는 마이크를 더 포함하되, 상기 프로세서는 상기 마이크를 통해 획득된 음성 정보를 이용하여 상기 출입하는 사람의 특성을 추론할 수 있다.
상기 인공지능 모델은 범죄자 신원정보, 의료 정보 및 보험 정보를 관리하는 서버와 연동하여 상기 범죄자 신원 정보, 의료 정보 및 보험 정보를 이용하여 상기 출입하는 사람과 관련된 정보를 안내할 수 있다.
상기 출입하는 사람의 계좌와 관련된 온라인 뱅킹 서버와 연동하되, 상기 계좌를 이용하여 온라인 뱅킹 기능을 제공할 수 있다.
상기 프로세서는, 상기 출입하는 사람에 부착되어 상기 출입하는 사람의 건강 상태를 측정하는 웨어러블 디바이스와 연동하되, 상기 웨어러블 디바이스로부터 획득된 정보를 이용하여 상기 출입하는 사람과 연관된 의료 및 보험과 관련된 정보를 안내할 수 있다.
상기 웨어러블 디바이스는 평균 형중 산소 포화도, 평균 심박 파동 값 중 적어도 하나의 정보를 획득하여 상기 프로세서로 제공할 수 있다.
상기 프로세서는, 동적인 데이터를 통해 상기 저장된 영상 내의 객체를 분석하되, 상기 동적인 데이터는 동영상, 광원 및 그래프 중 적어도 하나를 포함할 수 있다.
상기 프로세서의 분석 대상 데이터는 상기 출입하는 사람의 신체 형상, 크기, 시간별 그림자, 광원에 따른 신체의 빛 반사, 골격, 두상, 모발, 손 모양, 지문, 손금, 모공, 혈관, 망막, 홍채, 안면, 체온, 걸음걸이, 음성 및 음파 중 적어도 하나를 포함할 수 있다.
상기 프로세서는, 상기 출입하는 사람의 특성을 보다 정확히 추론하기 위해, SNS 서버 및 애플리케이션 서버에서 상기 출입하는 사람과 관련된 정보, 및 상기 출입하는 사람이 소지한 디바이스의 메모리에 저장된 정보 중 적어도 하나를 활용할 수 있다.
상기 프로세서는, 상기 출입하는 사람의 손금 정보를 분석하여 상기 출입하는 사람의 운세 정보를 추론할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른, 도어 영상 분석 기반의 AI(AI: Artificial Intelligence) 비서 시스템은 도어에 부착되어 출입하는 사람을 촬영하는 카메라, 인공지능 모델을 이용하여 상기 카메라로부터 촬영된 영상을 분석함에 의해, 상기 출입하는 사람의 특성을 추론하고, 상기 추론된 특성에 대응하는 정보를 출력 장치로 제공하는 AI 비서 장치 및 상기 AI 비서 장치로부터 제공된 정보를 출력하는 출력 장치를 포함할 수 있다.
본 발명의 도어 영상 기반의 AI 비서 장치에 따르면, 별도의 영상 촬영 또는 사용자의 상태 정보 입력 작업 없이도, 매일마다 출입하는 도어에 부착된 카메라를 통해 사용자에 대한 정보를 축적하기 때문에, 사용자에게 필요한 보다 정확한 정보를 제공할 수 있으며, 정보 제공을 위한 사용자의 노력을 요구하지 않기 때문에 사용 편의성을 제공하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치를 포함하는 시스템을 나타낸 개념도,
도 2는 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치의 구성을 구체적으로 나타낸 상세블록도,
도 3은 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치의 동작 방법을 나타낸 흐름도,
도 4는 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치가 모션 감지에 따라 안내 정보를 출력하는 과정을 설명하기 위한 개념도,
도 5는 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치가 애플리케이션(Application) 또는 클라우드 서버와 연동하는 것을 설명하기 위한 개념도,
도 6은 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치가 영상 분석에 따라 출입자를 식별하는 과정을 나타낸 흐름도,
도 7은 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치가 도어락 장치와 연동하여 광고 컨텐츠를 표출하는 과정을 설명하기 위한 개념도,
도 8은 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치가 외부 서버와 연동하는 과정을 설명하기 위한 개념도,
도 9는 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치가 사용자에게 부착된 웨어러블 장치(wearable device)와 연동하는 것을 나타낸 블록도,
도 10은 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치가 제공하는 메모 기능을 설명하기 위한 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치를 포함하는 시스템을 나타낸 개념도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 AI 비서 시스템은 네트워크(100), 도어 촬영 카메라(110-1, 110-2), 도어락 장치(120), AI 비서 장치(130) 및 출력 장치(140)를 포함할 수 있다.
도 1을 참조하면, 도어 촬영 카메라(110-1, 110-2)는 도어를 통해 출입하는 사람을 촬영한다. 도어 촬영 카메라(110-1, 110-2)는 도어의 외부 및/또는 내부에 설치되어 도어 외부의 일 영역 및 도어 내부의 일 영역을 촬영할 수 있다. 도어 촬영 카메라(110-1, 110-2)는 출입하는 사람들의 영상을 촬영하여 촬영된 영상을 네트워크(100)를 통해 AI 비서 장치(130)로 제공할 수 있다. 일 예에서, 카메라는 평상시에는 촬영만 할 뿐, 영상을 전송하지 않다가, 영상 내에 객체가 존재할 때만 영상을 AI 비서 장치(130)로 제공할 수 있다. 또는 모션 센서와 연동하여 출입이 감지될 때만 촬영 기능 및 영상 전송 기능을 개시하도록 설정될 수 있다.
도어락 장치(120)는 AI 비서 장치(130)와 연동하며, 도어의 개폐를 제어한다. 도어락 장치(120)는 지문인식 방식, 버튼 방식, 패턴 방식, 홍채인식 방식 등 다양한 방식에 의해 개폐될 수 있고, 푸쉬 풀 방식, 또는 회전형 손잡이 방식으로 개폐될 수 있다. 도어락 장치(120)도 AI 비서 장치(130)와 연동할 수 있다.
AI 비서 장치(130)는 네트워크(100)를 통해 도어 촬영 카메라(110-1, 110-2), 도어락 장치(120) 및 출력 장치(140)와 연동한다. AI 비서 장치(130)는 도어 촬영 카메라(110-1, 110-2)로부터 영상 정보를 획득하여, 이를 분석함에 의해, 출입하는 사람의 특성을 추론하고, 추론된 특성에 대응하는 정보를 출력장치(140)를 통해 안내한다. AI 비서 장치(130)는 컴퓨팅 장치로 구현될 수 있고, 영상 분석 및 특성 추론을 위한 프로세서를 포함한다. 일 예에서, AI 비서 장치(130)는 댁 내에 마련된 컴퓨팅 장치일 수 있다. 경우에 따라, AI 비서 장치(130)는 이동국(MS), 사용자 장비(UE; User Equipment), 사용자 터미널(UT; User Terminal), 무선 터미널, 액세스 터미널(AT), 터미널, 고정 또는 이동 가입자 유닛(Subscriber Unit), 가입자 스테이션(SS; Subscriber Station), 셀룰러 전화, 무선 기기(wireless device), 무선 통신 디바이스, 무선송수신유닛(WTRU; Wireless Transmit/Receive Unit), 이동 노드, 모바일, 모바일국, 개인 휴대 정보 단말(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 소비자 전자기기(CE) 또는 다른 용어들로서 지칭될 수 있다. 경우에 따라, AI 비서 장치(130)는 도어락 장치(120)와 일체형으로 제작된 장치로 구현될 수 있다.
출력 장치(140)는 디스플레이부(142) 및 스피커(144)를 포함한다. 이는 하나의 장치로 구현될 수도 있고, 별개의 장치로 구현될 수 있다. 출력장치(140)는 도어에 부착된 형태로 제공될 수 있다. 즉, 출입자가 문을 나설 때, 도어에 부착된 디스플레이부(142)로 상품을 추천하거나 관련된 정보를 안내함으로써 구매를 유도할 수 있고, 스피커(144)를 이용하여 안내 사항을 말해주는 형태로 동작할 수도 있다. 디스플레이부(142)는 터치 스크린일 수 있다. 경우에 따라 디스플레이부(142) 및 스피커(144)는, 댁 내에, 또는 집 앞 또는 아파트 출입구에 배치되는 키오스크 형태로 구현될 수 있다.
네트워크(100)는 댁 내에서의 무선 통신을 위한 근거리 네트워크를 포함한다. 이는 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee) 통신 중 적어도 하나를 포함한다. 다른 예에서, 네트워크(100)는 3G, LTE, 5G 통신과 같은 광대역 통신 및/또는 유선 통신을 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치의 구성을 구체적으로 나타낸 상세블록도이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 AI 비서 장치는 통신부(210), 메모리(220), 프로세서(230) 및 입출력부(240)를 포함할 수 있다.
도 2를 참조하면, 통신부(210)는 유선 및/또는 무선 네트워크를 통해 외부 장치와 통신을 수행하는 구성요소이다. 통신부(210)는 안테나 및/또는 통신 프로세서를 포함할 수 있다.
프로세서(220)는 영상 분석 및 특성 추론 기능 및 그에 따른 부가 기능들을 실행하는 구성요소로써, 해당 기능과 관련된 프로그램 또는 애플리케이션(Application)을 실행한다. 프로세서(220)는 인공지능 모델과 관련된 프로그램을 실행할 수 있다. 인공지능 모델은 영상 분석 모델(객체 추론 모델), 음성 분석 모델, 객체의 특성을 추론하는 모델 및 추론된 특성에 대응하는 정보를 검색 및 출력하는 모델을 포함할 수 있다. 이는 ANN(Artificial Neural Network), DNN(Deep Neural Network), CNN(Convolution Neural Network), 및 RNN(Recurrent Neural Network) 중 적어도 하나를 포함할 수 있다.
프로세서(220)는 메모리(230)와 신호선을 통해 연결되어 있으며, 메모리(230)에 저장된 프로그램을 실행한다.
메모리(230)("저장소"라고 불릴 수 있음)는 프로세서(220)에서 수행해야 할 프로그램들과 연관된 명령어들을 저장하고 있으며, 프로세서(220)에서 처리되는 데이터를 저장하고 있는 저장장치이다. 메모리(230)는 도어 촬영 카메라로부터 획득되는 영상 정보를 저장하고 있을 수 있다.
입출력 모듈(240)은 키보드, 마우스와 같은 정보 입력 수단 및 모니터, TV, 터치스크린과 같은 정보 출력 수단을 포함한다. 이는 도 1의 출력장치(140)와 동일할 수도 있고, AI 비서 장치용으로 별도의 장치로 구현될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치의 동작 방법을 나타낸 흐름도이다.
도 3을 참조하면, 장치는 도어 촬영 카메라로부터 영상 정보를 수신한다. 그리고는, 영상 내에 존재하는 객체들을 분석한다(S310). 이때, 영상 내에 존재하는 객체가 사람인지 판단하고, 사람의 신체 및 신체에 부착된 물품들(예를 들어, 의류, 신발, 및 기타 악세서리)의 상태를 분석한다. 장치는 도어 영상을 통해 영상 정보를 축적 및 활용하여 출입자를 식별 및 인식하고, 인식된 출입자의 상태를 계속 업데이트한다. 이때, 영상 수집시 촬영 시점 정보가 제공될 수 있고, 영상 분석시 촬영 시점 및 해당 시점의 다른 환경 정보도 함께 분석할 수 있다. 이에 따라 현재의 환경에 대응하는 환경 및 현재의 시점을 기반으로 과거 동일한 환경 및 시점의 영상 정보를 참조하여 그에 대응하는 정보 및 상품을 안내할 수 있다.
장치는 영상 분석의 결과로 출입자의 신체상태, 체형, 관련 물품의 상태를 판단한다(S320). 장치는 매일 도어 카메라를 통해 촬영된 영상 데이터를 축적하여 출입자의 상태를 추론한다. 체형의 변동, 신체에 상처가 있는지, 머리가 기준값 이상 자랐는지 등을 판단하여 현재의 출입자 또는 관련 물품의 상태를 결정한다.
보다 구체적으로, AI 비서 장치는 정적인 사진 데이터뿐만 아니라 동적인 데이터를 함께 처리할 수 있다. 장치는 동적인 데이터를 통해 저장된 영상 내의 객체를 분석할 수 있다. 이때, 동적인 데이터는 동영상, 광원 및 그래프 중 적어도 하나를 포함한다. 특히, 장치는 다양한 의류 및 액세서리 착용을 포함한 신체 모양과 크기, 시간별 그림자, 광원에 따른 신체의 빛 반사, 골격, 두상, 손 모양, 지문(이는 도어락 장치를 통해 획득 가능), 손금, 모공, 혈관, 망막, 홍채, 안면, 체온, 걸음걸이, 음성 및 음파(마이크를 통해 획득 가능) 중 어느 하나를 포함할 수 있다
한편, 장치가 도어 영상을 통해 출입자를 식별하는데 있어서, 보다 정확한 식별을 위해, 장치는 출입자 식별 후, 식별된 출입자의 사용자 단말에 장착된 메모리(메모리 내의 영상 데이터), 영상 저장 애플리케이션, SNS(Social Network Service)에 등록된 사용자 정보를 축적, 공유 및 연동함으로써 보다 다수의 데이터를 축적 및 분석에 활용할 수 있다. 이때, 식별된 출입자와 관련된 상기한 디바이스, 애플리케이션, SNS 등은 연계할 수 있도록, 관련 설정이 미리 되어 있는 것이 바람직하다. 이때, 사용자 설정 등을 통해 수집 동의, 수집 주기, 수집되어야 할 항목들을 세부적으로 선택할 수 있다.
장치는 추론된 상태 정보를 기반으로 대응하는 정보를 안내한다(S330). 장치는 환경정보를 축적하여 오늘의 일기예보에 대응하는 적절한 의상 등을 안내할 수 있다. 예를 들어, 체형이 기준값 이상 변동됨에 따라 변동된 체형에 맞는 의류 및 신발 등의 상품을 새로운 사이즈로 추천할 수 있다. 또한, 머리 또는 손톱 등이 기준값 이상 길러진 것을 확인하면, 헤어/손톱 컷트를 안내할 수 있다. 이때, 카드사 정보와 연계하여, 출입자가 이전에 다니는 미용실에 예약 문자 발송을 자동으로 추천할 수 있다. 출입자는 AI 비서 장치의 추천 화면에서 "예"라는 정보만 입력하면, AI 비서 장치가 자동으로 해당 미용실의 단말로 예약 정보를 전송할 수 있다.
추가적으로, 체형 분석 및 신체 상태 분석을 통해 출입자의 건강상태를 추론하고, 신체 다이어트 분석 모델을 이용하여 현재 신체 상태에 대응하는 다이어트 식단 또는 관련 상품을 추천할 수 있다. 앞서 설명한 바와 같이, 장치는 추론된 체형 또는 신체 사이즈를 기반으로 그에 대응하는 의류 및 상품을 추천할 수 있다. 이때, 체형과 현재 계절/날씨 등의 정보가 함께 고려되는 것이 바람직하다. 출입자의 신체에 생긴 상처(찰과상 등)에 대응하여, 해당 부위를 출력 장치를 통해 표시하고, 그에 대응하는 조치(연고 및 밴드 부착)를 안내할 수 있다. 또한, 출입자의 피부 상태, 헤어 상태 등에 근거하여 해당 인원에게 필요한 생필품 등의 구매와 관련된 정보를 안내할 수 있다.
장치는 도어를 통해 출입하는 사람이 복수일 때, 서로 다른 사람을 독립적으로 식별할 수 있으며, 안내되는 정보도 식별된 사람에 대응하는 정보를 매칭하여 안내할 수 있다. 즉, 현재 도어 카메라를 통해 촬영된 사람이 "A"라면, "A"와 관련된 축적된 데이터를 이용하여 "X" 정보를 제공하고, 현재 출입자가 "B"라면, "B"와 관련된 축적된 데이터를 이용하여 "Y" 정보를 제공할 수 있다.
한편, 장치는 다이어트 앱과 연동하여 쇼핑을 위한 맞춤 기능을 제공할 수 있다. 다이어트 과정 중 BMI(Body Mass Index) 측정 기능이 있는 애플리케이션 또는 체중계와 연동하여 출입자에게 적합한 의류를 살 시점을 추천할 수 있다. 경우에 따라, 의류의 착용 샷, 제품 및 브랜드 정보를 AI 비서 장치를 사용하는 다른 사용자와 공유하고, 공유한 사용자는 공유된 사진에 의한 광고 수입을 받을 수 있도록 제어할 수 있다.
장치는 도어 및 관련 영상을 통해 출입자의 관상 및 운세 정보를 추론할 수 있다. 장치에 미리 저장된 동양학 솔루션에 의해 수행된다. 동양학 솔루션은 주역/사주 및 관상과 관련된 분석 프로그램을 포함한다. 또한, 출입자의 손금 정보를 분석하여 오늘의 운세 정보와 대응시키고, 대응되는 운세 정보를 출력하도록 할 수 있다.
한편, 장치는 마이크(미도시) 등의 음성 입력 수단을 이용하여 도어에서 출입하는 사람의 음성 정보를 획득하여, 해당 데이터를 축적 및 활용함에 따라 출입자를 인식한다. 즉, 영상 정보뿐만 아니라 음성 정보도 함께 활용될 수 있다.
도 4는 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치가 모션 감지에 따라 안내 정보를 출력하는 과정을 설명하기 위한 개념도이다.
도 4를 참조하면, AI 비서 장치(420)는 도 3의 과정을 통해 결정된 안내 정보를 항시 출력할 수도 있지만, 전력 소모 감소 측면을 고려하여, 해당 도어를 통해 출입자가 이동할 때만 출력하도록 제어할 수 있다. 장치(420)는 모션 감지 센서(410) 또는 도어 카메라(미도시)를 통해, 기 설정된 범위(예를 들어, 도어로부터 반경 3m)에 사람의 움직임이 감지될 시에만, 안내 정보가 출력 장치(430)를 통해 텍스트 표시, 영상 표시 또는 음성 표시 등의 방법을 통해 출력될 수 있도록 제어할 수 있다.
도 5는 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치가 애플리케이션(Application) 또는 클라우드 서버와 연동하는 것을 설명하기 위한 개념도이다.
도 5를 참조하면, AI 비서 장치(510)는 네트워크(520)통해 인터넷에 연결가능하며, 이를 통해 클라우드 서버 및/또는 애플리케이션 서버(530)와 연동할 수 있다. 상기 서버(530)는 적어도 하나의 사용자 단말(540-1~540-N)과 정보를 공유할 수 있다.
즉, 서버(530)는 사용자 단말(540-1~540-N)에서 실행되는 애플리케이션과 관련된 서버 장치일 수 있고, AI 비서 장치(510)는 사용자 단말(540-1~540-N)에서 애플리케이션이 실행될 때, 안내 정보를 해당 단말로 제공할 수 있다. 이때, 서버(530)는 클라우드 네트워크, 홈 네트워크를 이용하여 통신할 수 있다. 홈 네트워크를 이용한 통신시 서버(530)는 홈 서버가 될 수 있다. 또는, D2D(Device to Device) 방식으로 통신할 수 있다. 보안성을 높이기 위해, AI 비서 장치(510)와 사용자 단말(540-1~540-N)이 직접 D2D 방식으로 통신할 수 있다. 또한, AI 비서 장치(510)의 메모리에 있는 정보 중 적어도 일부는 서버(530)로 실시간 또는 주기적으로 전달될 수 있다.
상기 사용자 단말(540-1~540-N)은 도어 출입자가 소지한 단말일 수 있고, 그와 관련된 사용자(예를 들어, 가족)일 수 있다. 이때, 안내 정보도 출입자를 식별하여, 식별된 출입자와 대응하는 단말로만 제공되도록 미리 설정할 수 있다. 즉, 출입자 "A"의 정보는 단말(540-1)로만, "B" 정보는 단말(540-2)로만 전달되도록 설정할 수 있다.
또한, AI 비서 장치(510)가 직접 사용자 단말(540-1~540-N)로 정보를 제공하지 않고, 서버(530)가 실시간으로 AI 비서 장치(510)로부터 안내 정보를 수신하며, 사용자 단말(540-1~540-N)로부터의 요청이 있을 때, 서버(530)가 직접 요청에 대응하는 안내 정보를 제공하는 방식으로 동작할 수도 있다. 다만, 보안성을 높이기 위해서는, 서버(530)에 사용자와 관련된 정보를 저장하지 않고, 사용자 단말(540-1~540-N)로 직접 영상 분석 정보 및/또는 안내 정보를 제공하는 것이 바람직하다.
도 6은 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치가 영상 분석에 따라 출입자를 식별하는 과정을 나타낸 흐름도이다.
도 6을 참조하면, 장치가 도어 카메라로부터 영상을 획득하면(S610), 객체 인식 알고리즘을 이용하여 영상 내 존재하는 객체를 식별한다(S620). 이때, 간헐적으로 집에 방문하는 방문객의 정보까지 분석 및 관련 정보를 안내한다면 장치의 처리 능력을 낭비하는 형태가 되기에, 장치는 특정 객체로 식별된 횟수가 기설정된 기준값 이상인지 판단하여(S630), 기준값 이상인 경우에만 해당 집에 상주하는 인원으로 판단하여 그의 특성을 추론하도록 제어할 수 있다(S640). 이때, 시간 개념을 함께 고려하여, 일주일, 한달과 같은 기준일 내에 몇 번 이상 출입하는지를 기준값으로 설정할 수도 있다.
도 7은 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치가 도어락 장치와 연동하여 광고 컨텐츠를 표출하는 과정을 설명하기 위한 개념도이다.
도 7을 참조하면, AI 비서 장치(미도시)는 도어락 장치(710) 뿐만 아니라 도어 외측에 부착된 디스플레이 장치(720)와 연동할 수 있다. 이때, AI 비서 장치는 네트워크를 이용하여 디스플레이 장치(720)로 광고 컨텐츠 정보를 제공할 수 있다. 이는 사업체의 광고 정보를 포함한다. 예를 들어, 광고 정보는, 디스플레이 장치(720)가 부착된 도어의 집으로부터 일정 반경 내에 존재하는 XX 식당의 할인 정보, 쿠폰 정보, 관련 상품 정보 등을 포함한다. 상기 광고 정보는 상기 집으로부터 일정 반경 내에 존재하는 사업체의 광고 정보일 수 있기 때문에, 광고 컨텐츠를 제공하는 사업체(광고주)는 로컬 망을 통해 AI 비서 장치로 광고 컨텐츠를 제공하고, AI 비서 장치는 이를 출력한다. 이를 출력함으로써 획득된 수입과 관련하여, 광고주는 수익을 일정 부분 배분할 수 있다. 디스플레이 장치(720)는 모션 센서(또는 카메라)와 연동하여, 사람의 접근이 감지될 때만 광고 컨텐츠를 표시하도록 제어될 수 있다.
한편, 경우에 따라, 디스플레이 장치(720)는 도어락 장치(710)와 일체형으로 형성될 수도 있다.
도 8은 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치가 외부 서버와 연동하는 과정을 설명하기 위한 개념도이다.
도 8을 참조하면, AI 비서 장치(810)는 네트워크(820)를 통해 외부 서버(830)와 연동할 수 있다. 여기서, 외부 서버(830)는 은행/카드사, 보험사, 온라인 쇼핑몰 서버, 의료기관 서버 및 기타 서버 장치들을 포함할 수 있다.
장치(810)는 출입자의 계좌와 연관된 은행/카드사 서버와 연동하여, 온라인 뱅킹 기능을 제공한다. 이를 통해, 계좌 이체, 비용 지불 등의 온라인 거래를 성사시킬 수 있다. 특히, 장치는 온라인 쇼핑몰 서버와도 연동할 수 있기에, 안내 정보가 추천 상품 정보라면, 최저가 검색을 통해 적절한 온라인 쇼핑몰을 찾아 추천 상품을 구매하는 기능을 함께 제공할 수 있다.
장치는 의료기관 또는 보험사 서버와 연동하여, 해당 기관의 데이터베이스로부터 정보를 획득할 수 있다. 이에 따라, 앞서 설명한 바와 같이, 출입자의 신체에 변화가 생길만한 사건과 사고 및 피해도를 추론하여 시뮬레이션을 할 수 있다. 그리고, 신체변화의 예측에도 위와 같은 데이터베이스의 정보가 활용될 수 있다. 특히, 의료기관 서버와의 연동을 통해, 현재 건강상태에 적합한 치료 정보를 획득할 수 있다. 일 예로, 찰과상이 감지될 때, 장치는 의료보험 데이터베이스를 검색하여, 해당 출입자가 자주 가능 병원의 서버와 연결하고, 연결된 병원에서의 치료를 질의한다. 출입자가 치료를 할 것을 선택하면, 장치는 해당 서버로 현재 상태 정보(찰과상이 있음 및 관련 영상을 제공)을 제공하여, 서버로부터 적절한 의료 조치(진료 정보)를 수신할 수 있다. 이러한 동작은 사용자 단말과 연동하여 사용자 단말로 제공될 수도 있다.
장치는 경찰서, 소방서 등과 같은 공공기관의 서버와 연동하여, 범죄자 신원 정보 등의 데이터베이스를 이용할 수 있다. 장치는 출입자의 영상 분석 정보를 상기 데이터베이스로부터 획득된 범죄자 신원 정보와 대조하여, 범죄자로 의심되는 인원에 대해 경고하는 등의 안내 정보를 출력할 수 있고, 관계 기관에 이를 알리는 형태의 자동 경보 대응 조치를 취하도록 제어할 수 있다.
도 9는 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치가 사용자에게 부착된 웨어러블 장치(wearable device)와 연동하는 것을 나타낸 블록도이다.
도 9를 참조하면, AI 비서 장치(910)는 사용자에게 부착된 웨어러블 장치(920)와 연동할 수 있다. 웨어러블 기기는 사용자가 착용을 시작한 순간부터 위치정보를 포함한 신체정보를 스캔, 분석, 저장하고, 이를 AI 비서 장치(910)와 공유한다. 웨어러블 장치(920)는 평균 혈중 산소 포화도, 평균 심박 파동 등을 측정할 수 있고, 이는 개별적으로, 또는 조합하여, 출입자를 인증하는 데이터로 활용될 수 있다. 즉, 이러한 데이터는 도어락 장치(미도시)를 해제하는데 사용될 수 있다.
장치는 웨어러블 장치(920)로부터 획득된 정보를 도 8의 실시예에서 설명한 의료/보험사 정보와 연계하여 처리할 수 있다. 장치는 웨어러블 장치(920)에서 출입자의 평균 심박수, 혈중 산소 포화도 등의 값으로부터 기준값 이상 벗어난 수치가 발생함에 대응하여, 의료기관 서버로 이를 알릴 수 있다. 이때, 기존 출입자의 정보를 확인하기 위해, 보험사 정보가 활용될 수 있다.
도 10은 본 발명의 일 실시예에 따른 도어 영상 분석 기반의 AI 비서 장치가 제공하는 메모 기능을 설명하기 위한 개념도이다.
도 10을 참조하면, AI 비서 장치(1010)는 도어 위측 및/또는 내측에 부착된 디스플레이 장치(1030)와 연동할 수 있다. 이때, 디스플레이 장치(1030)는 텍스트 또는 기타 그림 형태의 메모를 남길 수 있다. 디스플레이 장치(1030)가 터치 스크린으로 구현되어 입력 장치 기능을 함께 포함할 수도 있고, 별도의 키보드가 주변에 배치되어 메모 입력이 되도록 할 수도 있으며, 사용자 단말 또는 AI 비서 장치(1010)의 입력수단을 이용하여 메모 메시지를 입력할 수도 있다. 메모 메시지는 문을 나서며 출입자가 볼 수 있도록 하는 메시지일 수 있다. 일 예로, 엄마가 아들에게 "아들 XX 챙겨 가" 등의 메시지를 남길 수 있다. 이때, 장치(1010)는 항시 메모를 표시할 수도 있지만, 메시지 내용에 부합하는 인원이 도어에 접근할 시, 메시지를 표시하도록 디스플레이 장치(1030)를 제어할 수 있다. 즉, 도어 카메라(또는 마이크)를 통해 영상(또는 음성)을 분석하되, 메모 메시지의 대상이 되는 인물의 도어쪽으로 접근이 감지될 시 해당 메모가 표시되도록 제어할 수 있다. 이를 위해, 영상/음성 분석뿐만 아니라, 메시지의 내용 분석도 요구될 수 있다. 이에, AI 비서 장치(1010)는 구문 분석 알고리즘을 이용하여 메모 메시지의 텍스트를 분석하여 그 안에 포함된 대상을 가리키는 용어(예를 들어, 엄마, 아빠, 아들, 딸, 또는 그들의 이름, 애칭 등)를 추출하고, 그에 대응하는 영상을 매칭하여, 매칭된 영상에 해당하는 인물의 접근에 대응할 수 있다.
장치(1010)는 복수 개의 메모 메시지를 함께 저장하고 있을 수 있으며, 복수의 인물을 식별하여, 서로 다른 시점에, A 인물에게는 제 1 메시지를, B 인물에게는 제 2 메시지를 표시하도록 디스플레이 장치(1010)를 제어할 수 있다. 또는 단체로 출입할 때는 동일 시점에 A 및 B 인물에게 제 1 및 제 2 메시지가 조합되어 표시되도록 제어할 수도 있다.
다른 예에서, 메모 메시지를 메모 메시지의 대상이 되는 인물의 사용자 단말로 전달하여 사용자 단말의 애플리케이션 또는 문자 메시지를 통해 해당 메모를 확인할 수 있도록 데이터를 전송할 수도 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (26)

  1. 도어 영상 분석 기반의 AI(AI: Artificial Intelligence) 비서 장치에 있어서,
    도어에 부착된 카메라로부터 촬영된 영상을 수신하는 영상 수신부, 상기 영상은 상기 도어로 출입하는 사람의 영상을 포함함;
    상기 수신된 영상을 저장하는 저장소; 및
    인공지능(AI) 모델을 이용하여 상기 저장소에 저장된 영상을 분석함에 의해, 상기 출입하는 사람의 특성을 추론하고, 상기 추론된 특성에 대응하는 정보를 안내하는 프로세서를 포함하되,
    상기 대응하는 정보를 시각화하여 표시하는 디스플레이 장치; 및
    상기 대응하는 정보를 음성으로 출력하는 스피커를 더 포함하고,
    상기 저장소는 복수 개의 메모 정보가 저장되며,
    상기 프로세서는 구문 분석 알고리즘을 기반으로 상기 메모 정보를 분석하여 대상을 가리키는 용어를 추출하고, 상기 대상에 대응하는 영상을 매칭하여 출입자의 접근을 식별하며,
    상기 프로세서는 상기 메모 정보에 대응하는 상기 출입자가 상기 도어를 출입할 때, 상기 출입자에 대응하는 상기 메모 정보를 표시하고,
    상기 프로세서는 상기 출입하는 사람을 식별하여 상기 출입하는 사람의 식별된 횟수가 기설정된 기준값 이상인지를 판단하며, 상기 식별된 횟수가 상기 기준값 이상인 경우에만 상기 출입하는 사람의 특성을 추론함에 의해, 상기 추론된 특성에 대응하는 정보를 안내하는, 도어 영상 분석 기반의 AI 비서 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는 신체 상태, 체형 및 신체 사이즈 중 적어도 하나를 추론하는, 도어 영상 분석 기반의 AI 비서 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는 상기 추론된 특성에 대응하는 상품을 추천하는, 도어 영상 분석 기반의 AI 비서 장치.
  4. 제 3 항에 있어서,
    상기 프로세서는 신체의 건강 상태를 추론하고,
    신체 다이어트 모델을 이용하여 상기 추론된 신체 건강 상태에 대응하는 다이어트 식단 또는 상품을 추천하는, 도어 영상 분석 기반의 AI 비서 장치.
  5. 제 3 항에 있어서,
    상기 프로세서는, 체형 또는 신체 사이즈를 추론하고,
    상기 추론된 체형 또는 신체 사이즈를 기반으로 그에 대응하는 의류 또는 상품을 추천하는, 도어 영상 분석 기반의 AI 비서 장치.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 디스플레이 장치는 터치 스크린이고,
    상기 터치 스크린을 통해 메모된 정보를 상기 출입하는 사람에게 표시하는, 도어 영상 분석 기반의 AI 비서 장치.
  8. 삭제
  9. 제 1 항에 있어서,
    사람이 움직이는 것을 감지하는 모션 센서를 더 포함하되,
    상기 프로세서는, 상기 모션 센서를 통해 움직임이 감지될 때, 상기 대응하는 정보를 안내하는, 도어 영상 분석 기반의 AI 비서 장치.
  10. 제 9 항에 있어서,
    상기 프로세서는, 상기 움직임이 감지될 때, 상기 움직임을 야기하는 출입자를 식별하여 상기 식별된 출입자의 특성을 추론함에 의해, 그에 대응하는 정보를 안내하는, 도어 영상 분석 기반의 AI 비서 장치.
  11. 제 1 항에 있어서,
    상기 AI 비서 장치는 사용자 단말에서 실행되는 애플리케이션(application)과 연관된 서버 장치와 통신하고,
    상기 AI 비서 장치는 상기 사용자 단말에서 상기 애플리케이션이 실행될 때, 상기 대응하는 정보를 상기 사용자 단말로 제공하는, 도어 영상 분석 기반의 AI 비서 장치.
  12. 제 11 항에 있어서,
    상기 서버 장치는 클라우드(cloud) 기반의 네트워크, 홈 네트워크 또는 D2D(Device to Device) 방식으로 통신하며,
    상기 서버 장치로 상기 저장소에 저장된 정보가 전달되는, 도어 영상 분석 기반의 AI 비서 장치.
  13. 제 1 항에 있어서,
    상기 프로세서는, 제 1 출입자와 제 2 출입자를 각각 식별하여,
    상기 제 1 출입자에게는 그에 대응하는 제 1 정보를 안내하고,
    상기 제 2 출입자에게는 그에 대응하는 제 2 정보를 안내하되,
    상기 제 1 출입자와 상기 제 2 출입자는 상기 도어로 임계값 이상 출입한 출입자인지를 판단함에 의해 식별되는, 도어 영상 분석 기반의 AI 비서 장치.
  14. 제 1 항에 있어서,
    상기 프로세서는, 상기 저장된 영상을 분석하여 상기 출입하는 사람의 관상 정보 및 운세 정보를 추론하되,
    상기 관상 정보 및 운세 정보는 동양학 솔루션을 이용하여 추론되는, 도어 영상 분석 기반의 AI 비서 장치.
  15. 제 1 항에 있어서,
    상기 프로세서는 상기 디스플레이 장치에서 표시될 광고 컨텐츠를 상기 디스플레이 장치로 제공하고,
    상기 디스플레이 장치는 상기 프로세서로부터 수신된 광고 컨텐츠를 표시하는, 도어 영상 분석 기반의 AI 비서 장치.
  16. 제 1 항에 있어서,
    상기 디스플레이 장치 및 상기 스피커 중 적어도 하나는 키오스크 형태로 구비되는, 도어 영상 분석 기반의 AI 비서 장치.
  17. 제 1 항에 있어서,
    상기 출입하는 사람의 음성 정보를 획득하는 마이크를 더 포함하되,
    상기 프로세서는 상기 마이크를 통해 획득된 음성 정보를 이용하여 상기 출입하는 사람의 특성을 추론하는, 도어 영상 분석 기반의 AI 비서 장치.
  18. 제 1 항에 있어서,
    상기 인공지능 모델은 범죄자 신원정보, 의료 정보 및 보험 정보를 관리하는 서버와 연동하여 상기 범죄자 신원 정보, 의료 정보 및 보험 정보를 이용하여 상기 출입하는 사람과 관련된 정보를 안내하는, 도어 영상 분석 기반의 AI 비서 장치.
  19. 제 1 항에 있어서,
    상기 출입하는 사람의 계좌와 관련된 온라인 뱅킹 서버와 연동하되,
    상기 계좌를 이용하여 온라인 뱅킹 기능을 제공하는, 도어 영상 분석 기반의 AI 비서 장치.
  20. 제 1 항에 있어서,
    상기 프로세서는, 상기 출입하는 사람에 부착되어 상기 출입하는 사람의 건강 상태를 측정하는 웨어러블 디바이스와 연동하되,
    상기 웨어러블 디바이스로부터 획득된 정보를 이용하여 상기 출입하는 사람과 연관된 의료 및 보험과 관련된 정보를 안내하는, 도어 영상 분석 기반의 AI 비서 장치.
  21. 제 20 항에 있어서,
    상기 웨어러블 디바이스는 평균 혈중 산소 포화도, 평균 심박 파동 값 중 적어도 하나의 정보를 획득하여 상기 프로세서로 제공하는, 도어 영상 분석 기반의 AI 비서 장치.
  22. 제 20 항에 있어서,
    상기 프로세서는, 동적인 데이터를 통해 상기 저장된 영상 내의 객체를 분석하되,
    상기 동적인 데이터는 동영상, 광원 및 그래프 중 적어도 하나를 포함하는, 도어 영상 분석 기반의 AI 비서 장치.
  23. 제 20 항에 있어서,
    상기 프로세서의 분석 대상 데이터는 상기 출입하는 사람의 신체 형상, 크기, 시간별 그림자, 광원에 따른 신체의 빛 반사, 골격, 두상, 모발, 손 모양, 지문, 손금, 모공, 혈관, 망막, 홍채, 안면, 체온, 걸음걸이, 음성 및 음파 중 적어도 하나를 포함하는, 도어 영상 분석 기반의 AI 비서 장치.
  24. 제 1 항에 있어서,
    상기 프로세서는, 상기 출입하는 사람의 특성을 보다 정확히 추론하기 위해, SNS 서버 및 애플리케이션 서버에서 상기 출입하는 사람과 관련된 정보, 및 상기 출입하는 사람이 소지한 디바이스의 메모리에 저장된 정보 중 적어도 하나를 활용하는, 도어 영상 분석 기반의 AI 비서 장치.
  25. 제 14 항에 있어서,
    상기 프로세서는, 상기 출입하는 사람의 손금 정보를 분석하여 상기 출입하는 사람의 운세 정보를 추론하는, 도어 영상 분석 기반의 AI 비서 장치.
  26. 도어 영상 분석 기반의 AI(AI: Artificial Intelligence) 비서 시스템에 있어서,
    도어에 부착되어 출입하는 사람을 촬영하는 카메라;
    인공지능 모델을 이용하여 상기 카메라로부터 촬영된 영상을 분석함에 의해, 상기 출입하는 사람의 특성을 추론하고, 상기 추론된 특성에 대응하는 정보를 출력 장치로 제공하는 AI 비서 장치; 및
    상기 AI 비서 장치로부터 제공된 정보를 출력하는 출력 장치를 포함하되,
    상기 AI 비서 장치는,
    상기 대응하는 정보를 시각화하여 표시하고,
    상기 대응하는 정보를 음성으로 출력하며,
    복수 개의 메모 정보가 저장되고,
    구문 분석 알고리즘을 기반으로 상기 메모 정보를 분석하여 대상을 가리키는 용어를 추출하고, 상기 대상에 대응하는 영상을 매칭하여 출입자의 접근을 식별하며,
    상기 메모 정보에 대응하는 상기 출입자가 상기 도어를 출입할 때, 상기 출입자에 대응하는 상기 메모 정보를 표시하고,
    상기 AI 비서 장치는,
    상기 출입하는 사람을 식별하여 상기 출입하는 사람의 식별된 횟수가 기설정된 기준값 이상인지를 판단하며,
    상기 식별된 횟수가 상기 기준값 이상인 경우에만 상기 출입하는 사람의 특성을 추론함에 의해, 상기 추론된 특성에 대응하는 정보를 안내하는, 도어 영상 분석 기반의 AI 비서 시스템.
KR1020200161023A 2020-11-26 2020-11-26 도어 영상 분석 기반의 ai 비서 장치 및 시스템 KR102620689B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020200161023A KR102620689B1 (ko) 2020-11-26 2020-11-26 도어 영상 분석 기반의 ai 비서 장치 및 시스템
JP2023532712A JP2024500296A (ja) 2020-11-26 2021-09-15 ドア画像分析ベースの人工知能秘書装置及びシステム
PCT/KR2021/012637 WO2022114479A1 (ko) 2020-11-26 2021-09-15 도어 영상 분석 기반의 인공지능 비서 장치 및 시스템
US18/039,008 US20230419668A1 (en) 2020-11-26 2021-09-15 Artificial intelligence assistant device and system based on door image analysis
EP21898306.2A EP4254260A4 (en) 2020-11-26 2021-09-15 ARTIFICIAL INTELLIGENCE ASSISTANCE DEVICE AND DOOR IMAGE ANALYSIS BASED SYSTEM
CN202180079696.XA CN116529749A (zh) 2020-11-26 2021-09-15 基于门影像分析的ai辅助装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200161023A KR102620689B1 (ko) 2020-11-26 2020-11-26 도어 영상 분석 기반의 ai 비서 장치 및 시스템

Publications (2)

Publication Number Publication Date
KR20220073885A KR20220073885A (ko) 2022-06-03
KR102620689B1 true KR102620689B1 (ko) 2024-01-05

Family

ID=81755213

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200161023A KR102620689B1 (ko) 2020-11-26 2020-11-26 도어 영상 분석 기반의 ai 비서 장치 및 시스템

Country Status (6)

Country Link
US (1) US20230419668A1 (ko)
EP (1) EP4254260A4 (ko)
JP (1) JP2024500296A (ko)
KR (1) KR102620689B1 (ko)
CN (1) CN116529749A (ko)
WO (1) WO2022114479A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016532197A (ja) * 2013-08-04 2016-10-13 アイズマッチ エルティーディー．ＥｙｅｓＭａｔｃｈ Ｌｔｄ． 鏡における仮想化の装置、システム、及び方法
KR101975506B1 (ko) * 2017-12-18 2019-05-08 신동화 간판 이미지 표시 시스템 및 그의 제어 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006474A (ko) * 2001-07-13 2003-01-23 주식회사 스코프 화상데이터를 이용한 인터넷상에서의 운세정보 제공시스템및 그 제공방법
JP3907168B2 (ja) * 2001-12-07 2007-04-18 富士フイルム株式会社 画像利用サービスシステム及び端末装置
KR101400730B1 (ko) * 2012-11-09 2014-05-29 재단법인대구경북과학기술원 지능형 냉장고 및 지능형 냉장고를 제어하는 방법
KR101535591B1 (ko) * 2014-09-03 2015-07-09 김호 인증 처리 방법, 인증 처리 시스템, 이를 위한 컴퓨터 프로그램 및 기록 매체
US20180342329A1 (en) * 2017-05-24 2018-11-29 Happie Home, Inc. Happie home system
KR102545534B1 (ko) * 2018-03-29 2023-06-19 한화비전 주식회사 도어벨, 이를 구비한 보안 시스템 및 그 동작 방법
US11151828B2 (en) * 2018-05-17 2021-10-19 Johnson Controls Tyco IP Holdings LLP Frictionless building access control system with tailgate detection
KR20200039365A (ko) * 2018-10-05 2020-04-16 삼성전자주식회사 전자 장치 및 이의 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016532197A (ja) * 2013-08-04 2016-10-13 アイズマッチ エルティーディー．ＥｙｅｓＭａｔｃｈ Ｌｔｄ． 鏡における仮想化の装置、システム、及び方法
KR101975506B1 (ko) * 2017-12-18 2019-05-08 신동화 간판 이미지 표시 시스템 및 그의 제어 방법

Also Published As

Publication number Publication date
WO2022114479A1 (ko) 2022-06-02
KR20220073885A (ko) 2022-06-03
JP2024500296A (ja) 2024-01-09
EP4254260A4 (en) 2024-10-09
CN116529749A (zh) 2023-08-01
EP4254260A1 (en) 2023-10-04
US20230419668A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
US11341515B2 (en) Systems and methods for sensor data analysis through machine learning
US20200279279A1 (en) System and method for human emotion and identity detection
US20190216333A1 (en) Thermal face image use for health estimation
EP3051511B1 (en) Mobile terminal device, call-to-action system, call-to-action method, call-to-action program, and safety verification system
US20190147228A1 (en) System and method for human emotion and identity detection
KR101881630B1 (ko) 사용자 단말로부터 수집된 데이터를 이용한 유형 정보 및 평가 정보 제공 방법 및 시스템
CN114926292A (zh) 信息处理系统和控制方法
KR101912939B1 (ko) 사용자 상태에 따른 맞춤형 자기관리정보 제공시스템
KR20220126909A (ko) 인공지능 기반 맞춤형 퍼스널 컬러 진단에 따른 화장품 추천 시스템
Palaghias et al. A survey on mobile social signal processing
Mashhadi et al. No walk in the park: the viability and fairness of social media analysis for parks and recreational policy making
WO2021175010A1 (zh) 用户性别识别的方法、装置、电子设备及存储介质
US11769330B2 (en) System and method for video analytics for thermography procedure compliance
KR102348276B1 (ko) 빅 데이터 기반의 얼굴피부 건강 관리 서비스 제공 방법 및 시스템
CN113919361A (zh) 一种文本分类方法和装置
KR20220060054A (ko) 스마트 헬스케어 서비스 제공 방법 및 그를 위한 장치
KR102620689B1 (ko) 도어 영상 분석 기반의 ai 비서 장치 및 시스템
Yang et al. A context-aware system in Internet of Things using modular Bayesian networks
KR20200090055A (ko) 미용 정보 수집 장치 및 그를 포함하는 미용 관리 서비스 제공 시스템
KR102402684B1 (ko) 비대면 환경에서 빅데이터 기반의 자가 피부 수분 상태 정보 제공 방법
KR20210073720A (ko) 안면인식 pos시스템
Lin et al. Face recognition in mobile wireless sensor networks
WO2015199413A1 (ko) 사용자 단말로부터 수집된 데이터를 이용한 유형 정보 및 평가 정보 제공 방법 및 시스템
KR102428363B1 (ko) 비대면 환경에서의 얼굴피부 건강 관리를 위한 데이터 수집 방법 및 장치
Alam SafeAccess+: An Intelligent System to make Smart Home Safer and Americans with Disability Act Compliant

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)