KR20220028528A - 도어의 개폐를 제어하는 전자 장치 및 상기 도어에 부착된 도어 개폐 장치, 및 이를 위한 방법 - Google Patents

도어의 개폐를 제어하는 전자 장치 및 상기 도어에 부착된 도어 개폐 장치, 및 이를 위한 방법 Download PDF

Info

Publication number
KR20220028528A
KR20220028528A KR1020200109643A KR20200109643A KR20220028528A KR 20220028528 A KR20220028528 A KR 20220028528A KR 1020200109643 A KR1020200109643 A KR 1020200109643A KR 20200109643 A KR20200109643 A KR 20200109643A KR 20220028528 A KR20220028528 A KR 20220028528A
Authority
KR
South Korea
Prior art keywords
user
electronic device
processor
door opening
door
Prior art date
Application number
KR1020200109643A
Other languages
English (en)
Inventor
김영준
최선미
박영민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020200109643A priority Critical patent/KR20220028528A/ko
Priority to PCT/KR2021/008436 priority patent/WO2022045562A1/en
Publication of KR20220028528A publication Critical patent/KR20220028528A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
    • A61L2/24—Apparatus using programmed or automatic operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2258—
    • H04N5/2351—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
    • A61L2/02—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor using physical phenomena
    • A61L2/08—Radiation
    • A61L2/10—Ultraviolet radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2202/00—Aspects relating to methods or apparatus for disinfecting or sterilising materials or objects
    • A61L2202/10—Apparatus features
    • A61L2202/11—Apparatus for generating biocidal substances, e.g. vaporisers, UV lamps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Vascular Medicine (AREA)
  • Lock And Its Accessories (AREA)

Abstract

본 발명은 도어의 개폐를 제어하는 전자 장치 및 상기 도어에 부착된 도어 개폐 장치, 및 이를 위한 방법에 관한 것이다.
이를 위해, 본 발명은 전자 장치가 사용자의 이미지를 획득하고, 상기 획득된 이미지와 기 저장된 이미지를 비교하여 상기 사용자의 인증을 수행하고, 상기 인증에 기반하여 도어에 장착된 도어 개폐 장치의 동작을 제어하기 위한 신호를 도어 개폐 장치로 전송할 수 있다. 따라서, 본 발명은 도어를 열기 위한 별도의 키를 소지하지 않고, 상기 도어를 여는 편리함을 제공할 수 있다.

Description

도어의 개폐를 제어하는 전자 장치 및 상기 도어에 부착된 도어 개폐 장치, 및 이를 위한 방법{AN ELECTRONIC DEVICE FOR CONTROLLING OPENING AND CLOSING OF A DOOR AND A DOOR OPENING/CLOSING DEVICE DISPOSED IN THE DOOR, AND METHOD THEREFOR}
본 발명은 도어의 개폐를 제어하는 전자 장치 및 상기 도어에 부착된 도어 개폐 장치, 및 이를 위한 방법에 관한 것이다.
일반적으로 도어(예: 출입문)는 실내 또는 실외를 출입하도록 일 방향 또는 양방향으로 회전되어 개폐된다. 그리고, 도어는 불특정인이 실내로 들어오는 것을 방지하기 위해 개폐를 제어하는 잠금 장치가 설치될 수 있다. 이러한 잠금 장치는 특정 키에 의해서만 잠금이 해제되는 기계식이 대부분이다.
그러나 이러한 기계식 잠금 장치의 잠금을 해제하는 키는 휴대의 불편함, 분실 위험, 및 조작의 위험성이 있다. 이러한 이유로, 근래에는 전자식 잠금 장치, 또는 디지털 잠금 장치가 개발되어 사용되고 있다.
전자식 잠금 장치 또는 디지털 잠금 장치는 키 대신에 비밀번호나 반도체 칩, 스마트카드를 인식할 수 있는 잠금 장치를 말한다. 이러한 잠금 장치들은 입력된 정보를 내부에 저장된 정보와 비교하여 일치하는 경우에만 잠금 상태를 해제한다.
그런데, 종래의 전자식 잠금 장치 또는 디지털 잠금 장치는 별도의 키를 소지하지 않는 편리함에도 불구하고, 대부분이 카드 형태의 키를 비롯한 각종 잠금 해제 수단을 잠금 장치에 접촉시켜야 하는 불편함이 있다.
또한, 종래의 전자식 잠금 장치 또는 디지털 잠금 장치는 비밀 번호를 타인이 도용했을 경우, 도난에 취약하다는 문제점이 있다.
따라서, 키의 휴대의 불편함, 분실 위험, 조작의 위험성, 및 잠금 해제 수단을 잠금 장치에 접촉시켜야 하는 불편함을 해소하기 위해 출입자의 생체 정보를 통해 잠금을 해제하는 스마트 도어 시스템의 필요성이 제기된다.
종래에는 키의 휴대의 불편함, 분실 위험, 조작의 위험성, 및 잠금 해제 수단을 잠금 장치에 접촉시켜야 하는 불편함이 있었다.
따라서, 본 발명의 목적은 출입자의 생체 정보를 통해 잠금을 해제하는 스마트 도어 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 출입자로부터 생체 정보를 획득하는 전자 장치를 도어의 인접한 위치에 배치하여, 출입자의 생체 정보를 용이하게 획득하는 전자 장치를 제공하는 것이다.
또한, 본 발명의 목적은 출입자의 생체 정보를 획득한 전자 장치로부터 도어 개폐를 제어하는 신호를 수신하여 도어의 개폐를 제어하는 도어 개폐 장치를 제공하는 것이다.
또한, 본 발명의 목적은 출입자의 인증을 적어도 1회 이상 실시하는 스마트 도어 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 어두운 상황에서도 출입자를 식별할 수 있는 적어도 하나의 IR 카메라를 포함한 전자 장치를 제공하는 것이다.
또한, 본 발명의 목적은 상기 전자 장치를 통해 도어 개폐에 따른 다양한 정보를 제공하여 보다 스마트한 도어 개폐 방법을 제공하는 것이다.
또한, 본 발명의 목적은 불특정 다수의 출입자의 접촉에 의한 오염을 소독하는 도어 개폐 장치를 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위해 본 발명은 전자 장치와 도어 개폐 장치간의 통신에 기반한 스마트 도어 시스템을 제공하여 출입자 인증 및 도어 개폐 여부를 결정할 수 있다.
또한, 본 발명은 전자 장치를 도어의 인접한 위치에 배치하고, 상기 전자 장치에 RGB 카메라 및 적어도 하나의 IR 카메라를 포함시킴으로써, 주변 밝기의 여부에 상관없이 출입자로부터 생체 정보를 획득할 수 있다.
또한, 본 발명은 전자 장치와 도어 개폐 장치 간의 통신을 제공함으로써, 전자 장치를 통해 도어 개폐 장치의 동작을 제어할 수 있다.
또한, 본 발명은 전자 장치에 포함된 복수의 카메라를 통해 출입자의 생체 정보에 기반한 인증을 적어도 1회를 수행할 수 있다.
또한, 본 발명은 도어 개폐 장치에 UVC LED를 배치함으로써, 불특정 다수의 출입자의 접촉에 의한 오염을 소독할 수 있다.
또한, 본 발명은 도어 개폐 장치의 손잡이부의 개폐를 제어함으로써, 인증되지 않은 출입자의 출입을 방지할 수 있다.
이를 위해 본 발명의 전자 장치는 표시부, 카메라부, 통신부, 저장부, 및 상기 표시부, 상기 카메라부, 상기 통신부, 및 상기 저장부와 전기적으로 연결된 프로세서를 포함할 수 있다. 그리고, 상기 프로세서는 사용자의 인식에 기반하여, 상기 카메라부의 제1 카메라를 활성화하고, 상기 인식된 제1 카메라를 통해 상기 사용자의 제1 이미지를 획득할 수 있다.
또한, 상기 프로세서는 상기 획득된 제1 이미지와 상기 저장부에 기 저장된 제2 이미지에 기반하여 상기 사용자의 인증을 수행하고, 상기 사용자의 인증에 기반하여, 도어에 장착된 도어 개폐 장치의 동작을 제어하기 위한 신호를 상기 통신부를 통해 상기 도어 개폐 장치로 전송할 수 있다.
또한, 본 발명의 도어 개폐 장치는 도어의 일 측에 부착되어 돌출된 몸체부, 및 상기 도어 개폐 장치와 동작가능 하도록 연결된 손잡이부를 포함할 수 있다. 상기 몸체부는 통신부, 모터, 및 상기 통신부, 및 상기 모터와 전기적으로 연결된 프로세서를 포함할 수 있다. 그리고, 상기 프로세서는 상기 도어에 인접한 위치에 배치된 전자 장치로부터 상기 도어 개폐 장치를 제어하는 신호를 상기 통신부를 통해 수신하고, 상기 수신된 제어 신호에 기반하여, 상기 도어 개폐 장치의 잠금을 해제할 수 있다.
또한, 본 발명의 도어의 개폐를 제어하는 방법은 전자 장치가 사용자의 인식에 기반하여 제1 카메라를 활성화하고, 상기 인식된 제1 카메라를 통해 상기 사용자의 제1 이미지를 획득할 수 있다. 그리고, 상기 전자 장치가 상기 획득된 제1 이미지와 기 저장된 제2 이미지에 기반하여 상기 사용자의 인증을 수행하고, 상기 사용자의 인증에 기반하여 도어에 장착된 도어 개폐 장치의 동작을 제어하기 위한 신호를 상기 도어 개폐 장치로 전송하는 과정을 포함할 수 있다.
그리고, 상기 도어 개폐 장치가 상기 전자 장치로부터 상기 도어 개폐 장치를 제어하는 신호를 수신하고, 상기 수신된 제어 신호에 기반하여, 상기 도어 개폐 장치의 잠금을 해제할 수 있다.
본 발명에 따른 전자 장치는 적어도 하나의 카메라를 통해 사용자의 제1 이미지를 획득하고, 상기 획득된 제1 이미지와 기 저장된 제2 이미지에 기반하여 상기 사용자의 인증을 수행하여 도어에 장착된 도어 개폐 장치의 동작을 제어함으로써, 상기 도어를 열기 위한 별도의 키를 소지하지 않고, 상기 도어를 여는 편리함이 있다.
또한, 본 발명에 따른 전자 장치는 RGB 카메라, 및 적어도 하나의 IR 카메라를 포함함으로써, 낮뿐만 아니라 조명이 없는 밤에도 출입자를 인증할 수 있다.
또한, 본 발명에 따른 전자 장치는 출입자의 생체 정보를 가이드하는 가이드 라인을 표시함으로써, 출입자로부터 보다 용이하게 생체 정보를 획득할 수 있다.
또한, 본 발명에 따른 전자 장치는 적어도 하나의 IR 카메라를 통해 출입자의 신체 일부에 대한 정맥 정보를 추출하고, 추출된 정맥 정보를 통해 출입자에 대한 인증을 수행함으로써, 보다 강화된 보안성을 제공할 수 있다.
또한, 본 발명에 따른 전자 장치는 상기 전자 장치의 적어도 하나의 동작 상태, 및 상기 도어 개폐 장치의 적어도 하나의 동작 상태에 관한 적어도 일부의 정보를 표시함으로써, 출입자로 하여금 출입을 용이하게 할 수 있다.
또한, 본 발명에 따른 도어 개폐 장치는 전자 장치로부터 도어의 개폐를 제어하는 신호를 수신하고, 수신된 신호에 기반하여 도어의 개폐를 제어함으로써, 출입자에게 출입의 편의성을 제공할 수 있다.
또한, 본 발명에 따른 도어 개폐 장치는 손잡이부를 몸체부로부터 돌출되도록 제어함으로써, 인증되지 않은 출입자의 출입을 방지할 수 있다.
또한, 본 발명에 따른 도어 개폐 장치는 도어의 닫힘에 기반하여 상기 도어 개폐 장치를 살균함으로써, 불특정 다수에 의한 오염을 제거할 수 있다.
또한, 본 발명에 따른 도어 개폐 장치는 도어의 개폐에 기반하여, 적어도 하나의 발광 소자를 서로 다른 색으로 발광시킴으로써, 사용자가 도어 개폐 장치의 동작 상황을 판단할 수 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 일 실시 예에 따른 스마트 도어 시스템을 나타낸 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치와 도어 개폐 장치의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 스마트 도어 시스템에서 사용자를 인증하는 과정을 나타낸 순서도이다.
도 4는 본 발명의 다른 실시 예에 따른 스마트 도어 시스템에서 사용자를 인증하는 과정을 나타낸 순서도이다.
도 5a는 본 발명의 일 실시 예에 따른 전자 장치가 사용자의 접근을 감지하지 않는 경우 표시부에 표시한 화면을 나타낸 예시도이다.
도 5b는 본 발명의 일 실시 예에 따른 전자 장치에 사용자가 접근한 예시도이다.
도 5c는 본 발명의 일 실시 예에 따른 사용자의 접근을 감지한 전자 장치의 표시부에 표시한 화면을 나타낸 예시도이다.
도 6a는 본 발명의 일 실시 예에 따른 전자 장치가 사용자로부터 획득한 이미지를 통해 인증을 수행하는 과정을 나타낸 예시도이다.
도 6b는 본 발명의 일 실시 예에 따른 전자 장치가 사용자로부터 획득한 이미지를 통해 인증 결과를 수행한 결과를 나타낸 예시도이다.
도 7a는 본 발명의 일 실시 예에 따른 전자 장치가 사용자로부터 획득한 얼굴 이미지를 통해 인증을 수행하는 화면을 나타낸 예시도이다.
도 7b는 본 발명의 일 실시 예에 따른 전자 장치가 사용자로부터 획득한 이미지를 통해 제1 차 인증을 수행한 결과를 나타낸 예시도이다.
도 7c는 본 발명의 일 실시 예에 따른 전자 장치가 사용자의 손바닥에 대한 이미지를 획득하는 예시도이다.
도 7d는 본 발명의 일 실시 예에 따른 전자 장치가 사용자의 손바닥에 대한 프리뷰 이미지를 획득하여 표시한 화면을 나타낸 예시도이다.
도 7e는 본 발명의 일 실시 예에 따른 전자 장치가 2차 인증을 수행한 결과를 나타낸 예시도이다.
도 8a는 본 발명의 일 실시 예에 따른 전자 장치가 사용자로부터 터치 제스처를 입력 받는 화면을 나타낸 예시도이다.
도 8b는 본 발명의 일 실시 예에 따른 전자 장치가 사용자로부터 비밀 번호를 입력 받는 화면을 나타낸 예시도이다.
도 8c는 본 발명의 일 실시 예에 따른 전자 장치가 입력된 비밀 번호를 통해 인증을 수행한 결과를 나타낸 예시도이다.
도 9a는 본 발명의 일 실시 예에 따른 사용자 인증에 기반하여 도어 개폐 장치의 손잡이부가 몸체부로부터 분리되는 예시도이다.
도 9b는 본 발명의 일 실시 예에 따른 사용자 인증에 기반하여 도어 개폐 장치의 손잡이부가 몸체부로부터의 분리가 완료된 예시도이다.
도 9c는 본 발명의 일 실시 예에 따른 도어 개폐 장치의 손잡이부를 사용자가 파지한 예시도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것으로, 특별히 반대되는 기재가 없는 한, 제1 구성요소는 제2 구성요소일 수도 있음은 물론이다.
또한 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 상기 구성요소들은 서로 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 다른 구성요소가 "개재"되거나, 각 구성요소가 다른 구성요소를 통해 "연결", "결합" 또는 "접속"될 수도 있는 것으로 이해되어야 할 것이다.
명세서 전체에서, 특별히 반대되는 기재가 없는 한, 각 구성요소는 단수일수도 있고 복수일 수도 있다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
명세서 전체에서, "A 및/또는 B" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, A, B 또는 A 및 B 를 의미하며, "C 내지 D" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, C 이상이고 D 이하인 것을 의미한다
이하에서는, 본 발명의 몇몇 실시 예에 따른 사용자의 인증을 수행하는 전자 장치 및 도어 개폐 장치와 이를 위한 스마트 도어 시스템을 설명하도록 한다.
도 1은 본 발명의 일 실시 예에 따른 스마트 도어 시스템을 나타낸 예시도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 스마트 도어 시스템(100)은 전자 장치(110), 도어 개폐 장치(120), 및 도어(130)를 포함할 수 있다. 상기 도어 개폐 장치(120)는 상기 도어(130)에 배치되며, 상기 전자 장치(110)는 홈 외부의 벽면에 배치될 수 있다. 상기 도어 개폐 장치(120)와 상기 전자 장치(110)는 유선 또는 무선을 통해 신호를 송수신할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)는 사용자의 인식하고, 상기 사용자의 인식에 기반하여, 상기 전자 장치(110)의 전면의 일 측(예: 상측, 하측, 좌측, 또는 우측)에 배치된 제1 카메라를 활성화할 수 있다. 그리고, 상기 전자 장치(110)는 상기 제1 카메라를 통해 상기 사용자의 제1 이미지를 획득하고, 상기 획득된 제1 이미지와 상기 전자 장치(110)에 기 저장된 제2 이미지에 기반하여 상기 사용자의 인증을 수행할 수 있다. 그리고, 상기 전자 장치(110)는 상기 사용자의 인증에 기반하여, 도어(130)에 장착된 도어 개폐 장치(120)의 동작을 제어하기 위한 신호를 상기 도어 개폐 장치(120)로 전송할 수 있다.
일 실시 예에 따르면, 상기 도어 개폐 장치(120)는 상기 도어(130)에 인접한 위치에 배치된 전자 장치(110)로부터 상기 도어 개폐 장치(120)를 제어하는 신호를 수신할 수 있다. 그리고, 상기 도어 개폐 장치(120)는 상기 수신된 제어 신호에 기반하여, 상기 도어 개폐 장치(120)의 잠금을 해제할 수 있다.
일 실시 예에 따르면, 상기 도어(130)는 사용자의 자유로운 출입이 가능한 도어(예: 현관문)을 포함할 수 있다. 상기 도어(130)는 도어 개폐 장치(120)의 잠금부를 통해 열림 또는 닫힘이 제어될 수 있다.
도 1에 도시된 스마트 도어 시스템(100)의 구성은 일 실시 예에 따른 것이고, 스마트 도어 시스템 (100)의 구성 요소들이 도 1에 도시된 실시 예에 한정되는 것은 아니며, 필요에 따라 일부 구성 요소가 부가, 변경 또는 삭제될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치와 도어 개폐 장치의 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치(110)는 통신부(210), 입력부(211), 표시부(212a), 스피커(212b), 저장부(213), 프로세서(214), 카메라부(216), 및 센서부(219)를 포함할 수 있다.
도 2에 도시된 전자 장치(110)의 구성은 일 실시 예에 따른 것이고, 전자 장치(110)의 구성 요소들이 도 2에 도시된 실시 예에 한정되는 것은 아니며, 필요에 따라 일부 구성 요소가 부가, 변경 또는 삭제될 수 있다.
일 실시 예에 따르면, 상기 통신부(210)는 전자 장치(110)에 포함된 적어도 하나의 구성 요소(예: 입력부(211), 표시부(212a), 스피커(212b), 저장부(213), 프로세서(214), 카메라부(216), 및 센서부(219))와 유선 통신 또는 무선 통신을 통해 적어도 하나의 신호 또는 정보를 송수신할 수 있는 적어도 하나의 회로를 포함할 수 있다.
일 실시 예에 따르면, 상기 통신부(210)는 도어 개폐 장치(120)에 포함된 구성 요소(예: 스피커(222), 배터리(223), 모터(224), 잠금부(225), 프로세서(226), UVC 살균부(231), 발광부(232), 및 센서부(233))와 유선 통신 또는 무선 통신을 통해 적어도 하나의 신호 또는 정보를 송수신할 수 있는 적어도 하나의 회로를 포함할 수 있다.
일 실시 예에 따르면, 상기 통신부(210)는 다양한 외부 장치로부터 신호 또는 데이터를 수신 또는 송신할 수 있음은 자명하다.
일 실시 예에 따르면, 상기 입력부(211)는 외부 장치(예: USB(Universal Serial Bus), 외장 하드(미도시) 등)로/로부터 데이터를 송신/수신할 수 있는 인터페이스를 포함할 수 있다. 상기 입력부(211)는 사용자로부터 입력된 다양한 정보를 상기 프로세서(214)로 제공할 수 있다. 이를 위해, 입력부(211)는 스위치, 버튼 등의 물리적인 조작부재를 포함하거나 터치 키, 터치 패드, 터치 스크린 등의 전기적인 조작부재를 포함할 수 있다. 또는, 상기 입력부(211)는 사용자의 음성 신호를 입력 받을 수 있는 마이크를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 표시부(212a)는 각종 정보(예: 멀티미디어 데이터 또는 텍스트 데이터 등)을 표시할 수 있다. 상기 표시부(212a)는 상기 프로세서(214)에 의해 처리된, 처리중, 또는 처리될 결과를 표시할 수 있다. 상기 표시부(212a)는 전자 장치(110)를 통해 도어 개폐 장치(120)의 동작 상태에 대한 다양한 정보를 시각적으로 제공할 수 있고, 이러한 다양한 정보를 표시하는 제어 회로를 포함할 수 있다.
일 실시 예에 따르면, 상기 표시부(212a)는 터치를 감지하는 터치 회로(touch circuitry), 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
일 실시 예에 따르면, 상기 스피커(212b)는 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 상기 스피커(212b)는 음향 출력 장치(예: 이어폰 또는 헤드폰)를 통해 소리를 출력할 수 있다. 상기 스피커(212b)는 음향 신호를 전자 장치(110)의 외부로 출력할 수 있다. 상기 스피커(212b)는 도어를 출입하는 사용자에게 제공되는 정보를 음성으로 출력할 수 있다.
일 실시 예에 따르면, 상기 스피커(212b)는 전자 장치(110)내에 별도의 구성 요소로서 배치되거나, 또는 상기 표시부(212a)와 함께 출력부(미도시)에 포함될 수 있다.
일 실시 예에 따르면, 상기 저장부(213)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 예를 들면, 상기 저장부(213)는 전자 장치(110), 또는 도어 개폐 장치(120)의 동작에 필요한 정보, 데이터, 프로그램 등이 저장될 수 있다. 이에 따라, 상기 프로세서(214)는 저장부(213)에 저장된 정보를 참조하여 후술하는 제어 동작을 수행할 수 있다. 상기 저장부(213)는 다양한 플랫폼(platform)을 저장할 수도 있다. 상기 저장부(213)는, 예를 들어 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM), 롬(EEPROM 등), USB 메모리 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
일 실시 예에 따르면, 상기 저장부(213)는 상기 전자 장치(110)의 적어도 하나의 구성요소(예: 통신부(210), 입력부(211), 표시부(212a), 스피커(212b), 저장부(213), 프로세서(214), 카메라부(216), 및 센서부(219))에 의해 획득되거나 또는 사용되는 다양한 데이터(예: 소프트웨어, 어플리케이션, 획득된 정보, 측정된 정보, 제어 신호 등), 및 이와 관련된 명령어들을 저장할 수 있다. 예를 들면, 상기 저장부(213)는 도어 개폐 장치(120)로부터 수신된 제어 신호 또는 데이터를 저장할 수 있다.
일 실시 예에 따르면, 상기 저장부(213)는 기 등록된 사용자(예: 출입자 또는 가족 구성원)에 대한 정보를 저장할 수 있다. 상기 저장부(213)는 기 등록된 사용자(예: 출입자 또는 가족 구성원)에 대한 이미지(예: 얼굴 이미지 등), 생체 정보 이미지(예: 정맥 정보를 포함한 이미지), 및 각 사용자(예: 각 가족 구성원)의 정보(예: 이름, 생일, 성별, 나이 등)를 저장할 수 있다. 상기 저장부(213)는 도어를 출입하는 사용자에게 제공되는 다양한 정보(예: 인증 성공, 인증 실패, 도어 개폐 장치의 살균 중, 홈 주소, 도어를 오픈하기 위한 비밀번호 등)를 저장할 수 있다.
일 실시 예에 따르면, 상기 카메라부(216)는 제1 카메라(217a), 제2 카메라(217b), 및 조명부(218)를 포함할 수 있다. 상기 카메라부(216)의 적어도 하나의 카메라는 도어에 출입하는 사용자(또는 사용자의 신체 일부)에 대한 이미지를 획득하기에 용이한 위치에 배치될 수 있다. 상기 카메라부(216)는 조명부(218)에 의한 조도가 높은 상황에서도 사용자에 대한 이미지를 획득할 수 있는 제1 카메라(217a)(예: RGB(Red Green Blue) 카메라)를 포함할 수 있다. 또한, 상기 카메라부(216)는 적어도 하나의 제2 카메라(217b)(예: RGB 카메라, IR(infrared) 카메라 등)를 포함할 수 있다.
일 실시 예에 따르면, 상기 카메라부(216)는 적어도 하나의 카메라는 인공지능 칩(예: DQ1)이 내장될 수 있다. 상기 인공지능 칩을 통해 사용자에 대한 얼굴 인식 및 사용자의 존재 여부를 감지할 수 있다.
일 실시 예에 따르면, 상기 카메라부(216)는 인공지능 칩(예: LG사의 DQ1)에서 동작 가능한 딥러닝 기반 알고리즘이 적용된 카메라로서, 사용자 등록 및 인식, 사용자 접근 감지, 재실자 인지 사용자의 귀가 인지, 및 셀프 모니터링 촬영 기능 등 개인 맞춤형 서비스를 제공할 수 있다. 그리고, 상기 프로세서(314)는 인공지능 칩이 탑재된 적어도 하나의 카메라(예: 영상 지능 카메라)를 통해 홈 외부에 존재하는 적어도 하나의 사용자로부터 수집된 정보(예: 이미지)를 통신부(210)를 통해 서버(미도시)(예: ThinQ 인공 지능 서버)로 전송하고, 상기 서버(미도시)는 재실자의 편리함을 위한 정보를 생성한 후, 다시 상기 전자 장치(110) 또는 스마트 미러 장치(미도시)로 전송할 수 있다. 이를 통해 상기 상기 전자 장치(110)는 보다 편리한 서비스를 사용자에게 제공할 수 있다.
일 실시 예에 따르면, 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나는 상기 사용자(또는 사용자의 신체 일부)에 대한 이미지를 획득하고, 상기 획득된 이미지를 상기 프로세서(214)로 전달할 수 있다. 상기 제2 카메라(217b)는 어두운 밝기(예: 조도가 낮은)에서도 사용자에 대한 이미지를 획득할 수 있는 적어도 하나의 IR 카메라를 포함할 수 있다. 상기 조명부(218)는 상기 제1 카메라(217a), 및 상기 제2 카메라(217b) 중 적어도 하나를 통해 이미지를 획득하는데 필요한 조명을 발광하는 소자(예: LED, IR 패턴 조명)를 포함할 수 있다. 상기 카메라부(216)는 C3D(Compact CMOS camera demonstrator) 카메라를 포함할 수 있다. 상기 C3D 카메라는 액티브 스테레오(active stereo) 방식으로 사용자와의 거리(예: 뎁스)를 추출할 수 있다. 상기 카메라부(216)는 상기 제1 IR 카메라(217b1), IR 패턴 조명(218b), 및 제2 IR 카메라(217b2)를 통해 뎁스 정보를 획득 및 추출할 수 있다.
일 실시 예에 따르면, 상기 카메라부(216)는 적어도 두 개의 IR 카메라들을 통해 사용자에 대한 이미지를 각각 획득하고, 상기 획득된 두 개의 이미지들을 통해 사용자에 대한 뎁스(depth) 정보를 추출할 수 있다. 그리고, 상기 카메라부(216)는 추출된 뎁스 정보에 기반하여 상기 사용자에 대한 입체 영상(예: 3차원 영상)을 획득할 수 있다. 그리고, 상기 프로세서(214)는 상기 획득된 3차원 영상을 통해 상기 사용자에 대한 인증 절차를 수행할 수 있다. 상기 카메라부(216)는 상기 전자 장치(110)의 일 측(예: 상측, 하측, 좌측, 또는 우측)에 배치될 수 있다. 이와 같이, 전자 장치(110)는 상기 카메라부(216)의 적어도 두 개의 IR 카메라들을 통해 뎁스 정보를 추출하여 인증을 수행함으로써, 사진을 통한 불법 출입을 방지할 수 있다.
일 실시 예에 따르면, 상기 카메라부(216)는 적어도 하나의 카메라를 통해 사용자(또는 출입자)의 얼굴 이미지를 획득하고, 상기 획득된 얼굴 이미지에서 뎁스 정보를 추출할 수 있다. 그리고, 상기 프로세서(214)는 상기 카메라부(216)에 의해 획득된 얼굴 이미지(뎁스 정보 포함)에 기반하여 아이디(예: 얼굴 아이디)를 생성할 수 있다. 이와 같이, 상기 프로세서(214)는 뎁스 정보에 기반하여 상기 카메라부(216)에 의해 획득된 다양한 사용자의 얼굴 이미지가 서로 상이함을 판단할 수 있다.
일 실시 예에 따르면, 상기 센서부(219)는 홈 내에 출입하는 사용자와의 거리, 사용자의 움직임, 또는 도어가 설치된 장소의 밝기 등을 감지할 수 있는 적어도 하나의 센서를 포함할 수 있다. 예를 들면, 상기 센서부(219)는 거리 측정 센서(219a), 움직임 감지 센서(219b), 및 조도 센서(219c)를 포함할 수 있다.
일 실시 예에 따르면, 상기 거리 측정 센서(219a)는 상기 사용자와의 거리를 측정할 수 있는 위치(예: 전자 장치(110)의 상하좌우 중 적어도 일 측)에 배치될 수 있다. 그리고, 상기 움직임 감지 센서(219b)는 상기 사용자의 움직임을 감지할 수 있는 위치(예: 전자 장치(110)의 상하좌우 중 적어도 일 측)에 배치될 수 있다. 그리고, 상기 조도 센서(219c)는 도어 바깥쪽의 밝기를 감지할 수 있는 위치(예: 전자 장치(110)의 상하좌우 중 적어도 일 측)에 배치될 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 소프트웨어를 구동하여 상기 프로세서(214)에 연결된 적어도 하나의 구성요소(예: 통신부(210), 입력부(211), 표시부(212a), 스피커(212b), 저장부(213), 카메라부(216), 및 센서부(219))를 유선 통신 또는 무선 통신에 기반하여 제어할 수 있다. 그리고, 상기 프로세서(214)는 상기 유선 통신 또는 상기 무선 통신에 기반하여 다양한 데이터 처리 및 연산을 수행할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 통신부(210), 입력부(211), 표시부(212a), 스피커(212b), 저장부(213), 카메라부(216), 및 센서부(219) 등으로부터 수신된 명령 또는 데이터를 상기 저장부(213)에 로드하여 처리하고, 처리된 데이터를 저장부(213)에 저장할 수 있다. 또는, 상기 프로세서(214)는 상기 처리된 데이터를 표시부(212a)를 통해 표시하거나, 또는 스피커(212b)를 통해 출력할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 적어도 하나의 사용자(예: 각 가족 구성원)가 휴대 장치(예: 스마트 폰)를 이용해 인증(예: QR 코드를 이용한 인증)을 수행하는 경우, 상기 휴대 장치의 식별자(예: 전화번호)를 저장하고, 상기 휴대 장치를 인증된 장치로서 판단할 수 있다. 그리고, 상기 프로세서(214)는 선택적으로(예: 사용자의 요청) 인증된 적어도 하나의 사용자(예: 가족 구성원)의 휴대 장치(예: 스마트 폰)와 통신부(210)를 통해 통신 채널을 설정할 수 있다. 그리고, 상기 프로세서(214)는 이러한 통신 채널을 통해 원격에 위치한 휴대 장치로부터 명령을 수신하고, 수신된 명령에 해당되는 기능을 수행할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 사용자의 인식에 기반하여, 상기 카메라부(216)의 제1 카메라(217a)를 활성화하고, 상기 인식된 제1 카메라를 통해 상기 사용자의 제1 이미지를 획득할 수 있다. 상기 프로세서(214)는 상기 거리 측정 센서(219a)를 통해 도어(130)에 인접한 사용자(예: 출입자)와 상기 전자 장치(110) 간의 거리를 측정할 수 있다. 상기 프로세서(214)는 상기 측정된 거리가 일정 거리(예: 2m) 이내인 경우, 상기 사용자가 도어(130)를 출입할 예정인 것으로 판단할 수 있다. 상기 프로세서(214)는 상기 사용자가 도어(130)를 출입할 예정인 것으로 판단되면, 스마트 도어 시스템(100)의 동작을 실행할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 상기 획득된 제1 이미지와 저장부(213)에 기 저장된 제2 이미지에 기반하여 상기 사용자의 인증을 수행할 수 있다. 상기 프로세서(214)는 상기 제1 카메라(217a)(예: RGB 카메라)를 통해 사용자(예: 홍길동)에 대한 제1 이미지(예: 제1 얼굴 이미지)를 획득하고, 상기 획득된 제1 이미지와 상기 저장부(213)에 기 저장된 상기 사용자(예: 홍길동)에 대한 제2 이미지(예: 제2 얼굴 이미지)를 비교하여 상기 사용자(예: 홍길동)에 대한 인증을 수행할 수 있다. 상기 프로세서(214)는 상기 제1 이미지의 특징점(예: 얼굴 비율 대비 눈썹 길이, 눈썹간 거리, 입 크기, 코 크기, 눈 크기 등)을 추출하고, 상기 추출된 특징점과 상기 제2 이미지의 특징점(예: 얼굴 비율 대비 눈썹 길이, 눈썹간 거리, 입 크기, 코 크기, 눈 크기 등)을 비교하여 상기 사용자(예: 홍길동)에 대한 인증(예: 1차 인증)을 수행할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 사용자에 대한 인증이 성공한 경우, 상기 인증의 성공에 대한 메시지를 표시부(212a)를 통해 표시하거나, 또는 스피커(212b)를 통해 음성으로 출력할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 사용자에 대한 인증(예: 1차 인증)이 성공한 경우, 상기 사용자에 대한 식별자를 홈 내의 스마트 미러 장치(미도시)로 전송할 수 있다. 상기 식별자는 상기 사용자의 이미지, 이름, 출입 시간 등 다양한 정보를 포함할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 사용자에 대한 인증(예: 1차 인증)이 성공하지 못한 경우, 상기 인증의 실패에 대한 메시지를 표시부(212a)를 통해 표시하거나, 또는 스피커(212b)를 통해 음성으로 출력할 수 있다. 상기 프로세서(214)는, 예를 들면, 상기 인증이 실패한 경우, 사용자가 상기 제1 카메라(217a)에 정위치 하도록 안내 메시지(예: 카메라 앞에 서주세요)를 표시부(212a)를 통해 표시하거나, 또는 스피커(212b)를 통해 상기 안내 메시지를 음성으로 출력할 수 있다. 상기 프로세서(214)는 인증 절차를 미리 결정된 회수(예: 3회)로 수행할 수 있다. 상기 프로세서(214)는 타이머(215)를 구동하여 미리 결정된 시간(예: 10초) 이내에 사용자에 대한 정보(예: 얼굴 이미지, 또는 생체 정보 이미지)가 획득되지 않거나, 또는 인증이 수행되지 않는 경우, 인증을 수행할 수 없음을 나타내는 메시지를 표시부(212a)를 통해 표시할 수 있다. 또는, 상기 프로세서(214)는 스피커(212b)를 통해 상기 메시지를 음성으로 출력할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는, 상기 사용자의 인증(예: 1차 인증)에 기반하여, 도어(130)에 장착된 도어 개폐 장치(120)의 동작을 제어하기 위한 신호를 통신부(210)를 통해 상기 도어 개폐 장치(120)로 전송할 수 있다. 상기 프로세서(214)는 사용자(예: 홍길동)의 인증(예: 1차 인증)의 성공에 기반하여, 상기 도어 개폐 장치(120)의 잠금을 해제(또는 설정)하기 위한 신호를 상기 통신부(210)를 통해 상기 도어 개폐 장치(120)(예: 통신부(221))로 전송할 수 있다. 또한, 상기 프로세서(214)는 상기 사용자의 인증(예: 1차 인증)에 기반한 식별자(예: 사용자 이미지, 사용자 아이디, 등)을 홈 내부에 위치한 스마트 미러 장치(미도시)로 전송할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 상기 제1 이미지와 상기 제2 이미지를 통해 상기 사용자(예: 홍길동)에 대한 인증(예: 1차 인증)이 성공되면, 상기 카메라부(216)의 제2 카메라(217b)를 활성화할 수 있다. 그리고, 상기 프로세서(214)는 상기 활성화된 제2 카메라(217b)의 위치로 상기 사용자(예: 홍길동)의 신체 일부(예: 손바닥)의 이동을 알리는 메시지를 상기 표시부(212a)를 통해 표시하거나, 또는 스피커(212b)를 통해 음성으로 출력할 수 있다. 상기 제2 카메라(217b)는 두 개의 IR 카메라들을 포함할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 상기 메시지를 출력하는 중에, 상기 신체 일부가 위치할 영역을 가이드하는 가이드 라인을 상기 표시부(212a)를 통해 표시할 수 있다. 상기 프로세서(214)는 상기 제2 카메라(217b)를 통해 상기 사용자(예: 홍길동)의 신체 일부(예: 손바닥)에 대한 이미지를 획득할 수 있도록, 상기 신체 일부가 촬영되기 위한 최적의 위치에 놓이도록 가이드 라인을 상기 표시부(212a)를 통해 표시할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 상기 가이드 라인이 상기 표시부(212a)를 통해 표시되고 있는 중에, 상기 제1 카메라(217a)를 통해 상기 신체 일부에 대한 프리뷰 이미지를 획득하여, 상기 표시부(212a)에 표시할 수 있다. 상기 프로세서(214)는 상기 신체 일부에 대한 프리뷰 이미지를 실시간으로 획득하고, 실시간으로 획득된 프리뷰 이미지를 상기 표시부(212a)에 표시할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 실시간으로 획득된 프리뷰 이미지와 상기 가이드 라인을 상기 표시부(212a) 상에 함께 표시할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 상기 표시된 가이드 라인과 상기 표시된 프리뷰 이미지 간의 간격을 실시간으로 계산할 수 있다. 그리고, 상기 프로세서(214)는 실시간으로 계산된 간격에 기반하여, 거리가 클수록 경고음을 스피커(212b)를 통해 크게 울리고, 상기 거리가 크지 않을수록 경고음을 작게 울릴 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 상기 프리뷰 이미지와 상기 표시된 가이드 라인과의 매칭 여부에 따른 시각 정보를 상기 표시부(212a)를 통해 표시할 수 있다. 상기 시각 정보는 사용자로 하여금 신체 일부를 상기 가이드 라인에 대응되는 위치로 이동시키도록 하는 정보(예: 색깔, 화살표, 그라데이션 효과 등)를 포함할 수 있다. 사용자는 이러한 시각 정보를 통해 제2 카메라(217b)를 통해 신체 일부(예: 손바닥)에 대한 이미지가 용이하게 획득될 수 있도록 신체 일부를 이동시킬 수 있다. 상기 제2 카메라(217b)는 적어도 두 개의 IR 카메라들을 포함할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 상기 제2 카메라(217b)를 통해 상기 신체 일부(예: 손바닥)에서의 정맥에 관한 정보를 획득할 수 있다. 상기 프로세서(214)는 제2 카메라(217b)(예: 적어도 두 개의 IR 카메라들)를 통해 사용자의 신체 일부에 대한 이미지를 각각 획득(예: 적어도 두 개)하고, 상기 획득된 두 개의 이미지들을 통해 사용자에 대한 뎁스(depth) 정보를 추출할 수 있다. 그리고, 상기 프로세서(214)는 추출된 뎁스 정보에 기반하여 상기 사용자에 대한 입체 영상(예: 3차원 영상)을 획득할 수 있다. 또한, 상기 프로세서(214)는 상기 제2 카메라(217b)를 통해 상기 신체 일부(예: 손바닥)에서의 정맥에 대한 정보(예: 정맥 혈관의 굵기, 방향 등)를 획득할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 상기 제2 카메라(217b)를 통해 획득된 제3 이미지와 저장부(213)에 기 저장된 제4 이미지에 기반하여 상기 사용자의 인증(예: 2차 인증)을 수행할 수 있다. 상기 프로세서(214)는 상기 제2 카메라(217b)(예: 적어도 두 개의 IR 카메라들)를 통해 사용자(예: 홍길동)에 대한 제3 이미지(예: 제1 손바닥 이미지)를 획득하고, 상기 획득된 제3 이미지와 상기 저장부(213)에 기 저장된 상기 사용자(예: 홍길동)에 대한 제4 이미지(예: 제2 손바닥 이미지)를 비교하여 상기 사용자(예: 홍길동)에 대한 인증(예: 2차 인증)을 수행할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 상기 제3 이미지의 특징점(예: 정맥 혈관 굵기, 혈관 방향, 모양, 구부러짐 정도 등)을 추출하고, 상기 추출된 특징점과 상기 제4 이미지의 특징점(예: 정맥 혈관 굵기, 혈관 방향, 모양, 구부러짐 정도 등)을 비교하여 상기 사용자(예: 홍길동)에 대한 인증(예: 2차 인증)을 수행할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 사용자에 대한 인증(예: 2차 인증)이 성공한 경우, 상기 사용자에 대한 식별자를 홈 내의 스마트 미러 장치(미도시)로 전송할 수 있다. 상기 식별자는 상기 사용자의 이미지, 이름, 출입 시간 등 다양한 정보를 포함할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는, 상기 사용자의 인증(예: 2차 인증)에 기반하여, 도어(130)에 장착된 도어 개폐 장치(120)의 동작을 제어하기 위한 신호를 통신부(210)를 통해 상기 도어 개폐 장치(120)로 전송할 수 있다. 상기 프로세서(214)는 사용자(예: 홍길동)의 인증(예: 2차 인증)의 성공에 기반하여, 상기 도어 개폐 장치(120)의 잠금을 해제(또는 설정)하기 위한 신호를 상기 통신부(210)를 통해 상기 도어 개폐 장치(120)(예: 통신부(221))로 전송할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 상기 도어 개폐 장치(120)로부터 상기 통신부(210)를 통해 상기 도어(130)의 닫힘에 대한 신호가 수신되는지 식별할 수 있다. 사용자가 도어(130)를 통해 출입하는 경우, 도어(130)는 개폐된다. 상기 도어 개폐 장치(120)의 센서부(233)는 이러한 도어 개폐를 감지하고, 상기 도어 개폐 장치(120)는 통신부(221)를 통해 도어 개폐에 대한 신호를 전자 장치(110)로 전송할 수 있다. 이러한 도어 개폐에 대한 신호를 수신한 전자 장치(110)는 상기 도어(130)의 개폐를 감지할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 상기 도어(130)의 닫힘에 대한 신호의 수신에 기반하여, 상기 도어 개폐 장치(120)의 살균을 제어하는 신호를 상기 통신부(210)를 통해 상기 도어 개폐 장치(120)로 전송할 수 있다. 상기 프로세서(214)는 상기 도어 개폐 장치(120)로부터 수신된 신호에 기반하여 상기 도어(130)의 개폐가 진행되었음을 식별할 수 있다. 상기 프로세서(214)는 상기 도어(130)의 개폐가 진행된 것으로 식별되면, 상기 도어 개폐 장치(120)(예: 손잡이부(230))를 살균하기 위한 제어 신호를 상기 도어 개폐 장치(120)로 전송할 수 있다. 또는, 상기 도어(130)의 개폐가 진행된 경우, 상기 도어 개폐 장치(120)(예: 프로세서(226))가 자체적으로 UVC 살균부(231)를 통해 손잡이부(230)를 살균 처리할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 상기 전자 장치(110) 및 상기 도어 개폐 장치(120) 중 적어도 하나의 주변에 대한 밝기를 조도 센서(219c)를 통해 식별할 수 있다. 상기 프로세서(214)는 상기 식별된 주변 밝기에 기반하여, 상기 제1 카메라(217a) 및 상기 제2 카메라(217b) 중 적어도 하나를 선택하여 동작시킬 수 있다. 예를 들면, 상기 프로세서(214)는 밝기가 기준 값 이상인 경우, 상기 제1 카메라(217a)를 동작시키고, 밝기가 상기 기준 값 미만인 경우, 상기 제2 카메라(217b)를 동작시킬 수 있다. 또는 상기 프로세서(214)는 밝기에 상관 없이 상기 제1 카메라(217a) 및 상기 제2 카메라(217b)를 동작시켜 사용자에 대한 이미지를 획득할 수 있다.
일 실시 예에 따르면, 상기 프로세서(214)는 상기 전자 장치(110)의 적어도 하나의 동작 상태, 상기 도어 개폐 장치(120)의 적어도 하나의 동작 상태, 및 상기 도어(130)의 개폐에 관한 적어도 일부의 정보를 상기 표시부(212a)에 표시할 수 있다. 상기 프로세서(214)는 사용자 감지, 카메라 동작 상태, 이미지 획득 여부, 인증 여부, 도어 개폐 제어 여부 등 스마트 도어를 통한 출입에 관한 다양한 정보를 표시부(212a)에 표시할 수 있다.
또한, 도 2를 참조하면, 본 발명의 일 실시 예에 따른 도어 개폐 장치(120)는 몸체부(220)와 손잡이부(230)로 구성될 수 있다. 상기 몸체부(220)는 통신부(221), 스피커(222), 배터리(223), 모터(224), 잠금부(225) 및 프로세서(226)를 포함할 수 있다. 상기 손잡이부(230)는 UVC 살균부(231), 발광부(232), 및 센서부(233)를 포함할 수 있다.
도 2에 도시된 도어 개폐 장치(120)의 몸체부(220) 및 손잡이부(230)에 포함된 구성은 일 실시 예에 따른 것이고, 도어 개폐 장치(120)의 몸체부(220) 및 손잡이부(230)의 구성 요소들이 도 2에 도시된 실시 예에 한정되는 것은 아니며, 필요에 따라 일부 구성 요소가 부가, 변경 또는 삭제될 수 있다.
일 실시 예에 따르면, 상기 통신부(221)는 상기 도어 개폐 장치(120)에 포함된 적어도 하나의 구성 요소(예: 스피커(222), 배터리(223), 모터(224), 잠금부(225), 프로세서(226), UVC 살균부(231), 발광부(232), 및 센서부(233))와 유선 통신 또는 무선 통신을 통해 적어도 하나의 신호 또는 정보를 송수신할 수 있는 적어도 하나의 회로를 포함할 수 있다.
일 실시 예에 따르면, 상기 통신부(221)는 전자 장치(110)에 포함된 구성 요소(예: 입력부(211), 표시부(212a), 스피커(212b), 저장부(213), 프로세서(214), 카메라부(216), 및 센서부(219))와 유선 통신 또는 무선 통신을 통해 적어도 하나의 신호 또는 정보를 송수신할 수 있는 적어도 하나의 회로를 포함할 수 있다.
일 실시 예에 따르면, 상기 통신부(221)는 다양한 외부 장치로부터 신호 또는 데이터를 수신 또는 송신할 수 있음은 자명하다
일 실시 예에 따르면, 상기 스피커(222)는 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 상기 스피커(222)는 음향 출력 장치(예: 이어폰 또는 헤드폰)를 통해 소리를 출력할 수 있다. 상기 스피커(222)는 음향 신호를 도어 개폐 장치(120)의 외부로 출력할 수 있다. 상기 스피커(222)는 도어를 출입하는 사용자에게 제공되는 정보를 음성으로 출력할 수 있다.
일 실시 예에 따르면, 상기 스피커(222)는 도어 개폐 장치(120)에 포함되거나, 또는 별도의 구성 요소로서 배치될 수 있다.
일 실시 예에 따르면, 상기 배터리(223)는 도어 개폐 장치(120)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 상기 배터리(223)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지를 포함할 수 있다. 상기 배터리(223)의 일 측에는 외부 전원으로부터 전원을 공급받거나 또는 상기 도어 개폐 장치(120)로 전원을 공급할 수 있는 USB 단자(미도시)를 포함할 수 있다.
일 실시 예에 따르면, 상기 모터(224)는 손잡이부(230)가 상기 몸체부(220)로부터 이격되도록 상기 손잡이부(230)의 움직임을 제어할 수 있다. 예를 들면, 상기 전자 장치(110)로부터 사용자 인증의 성공에 기반한 신호가 통신부(221)를 통해 수신되는 경우, 상기 프로세서(226)는 상기 모터(224)를 통해 상기 손잡이부(230)가 시계 방향 또는 반시계 방향으로 회전하면서 상기 몸체부(220)로부터 분리되도록 상기 손잡이부(230)의 동작을 제어할 수 있다. 상기 손잡이부(230)는 상기 모터(224)의 제어 하에 사용자로 하여금 파지가 용이하도록 상기 몸체부(220)로부터 분리될 수 있다.
일 실시 예에 따르면, 상기 잠금부(225)는 도어(130)의 오픈을 방지하기 위한 부재(미도시)를 상기 도어(130)의 프레임 쪽으로 돌출시킴으로써, 상기 도어(130)의 오픈을 방지할 수 있다. 또는, 상기 잠금부(225)는 상기 프레임에 배치될 수 있으며, 도어(130)의 오픈을 방지하기 위한 부재(미도시)가 상기 도어 쪽으로 돌출됨으로써, 도어(130)의 오픈을 방지할 수 있다.
일 실시 예에 따르면, 상기 UVC 살균부(231)는 짧은 파장(예: 약 100nm~280nm)의 자외선을 방사하여 도어 개폐 장치(120)를 살균(또는 소독)할 수 있다. 또는, 상기 UVC 살균부(231)는 상기 도어 개폐 장치(120)의 손잡이부(230)를 살균(또는 소독)할 수 있다. 상기 UVC 살균부(231)는 상기 도어 개폐 장치(120)의 일 측에 배치될 수 있다. 또는, 상기 UVC 살균부(231)는 사용자가 상기 도어 개폐 장치(120)의 손잡이부(230)를 파지한 부분을 살균하기 위해, 상기 몸체부(220)와 상기 손잡이부(230)가 접촉되는 부분에 배치될 수 있다.
일 실시 예에 따르면, 상기 발광부(232)(예: LED)는 다양한 색상으로 발광하는 적어도 하나의 발광 소자(예: LED(Light Emitting Diode))를 포함할 수 있다. 상기 발광부(232)는 상기 프로세서(226)의 제어 하에, 상기 몸체부(220) 및/또는 상기 손잡이부(230)의 동작 상태를 시각적으로 나타내기 위해 발광될 수 있다. 상기 발광부(232)는 상기 몸체부(220) 및/또는 상기 손잡이부(230)의 서로 다른 동작에 따라 서로 다른 색으로 발광될 수 있다.
일 실시 예에 따르면, 사용자가 상기 손잡이부(230)가 파지하기 쉽도록 상기 손잡이부(230)가 상기 몸체부(220)로부터 이격된 경우(예: 상기 손잡이부(230)가 상기 몸체부(220)로부터 일정 각도(예: 30o)로 이격된 경우), 상기 손잡이부(230)의 일 측(예: 테두리)에 배치된 LED는 프로세서(226)의 제어 하에 일정한 색(예: 하얀색)으로 발광될 수 있다. 예를 들면, 상기 손잡이부(230)가 소독중인 경우, 상기 손잡이부(230)의 일 측(예: 테두리)에 배치된 LED는 일정한 색(예: 보라색)으로 발광될 수 있다.
일 실시 예에 따르면, 상기 센서부(233)는 홈 내로 출입하고자 하는 사용자와의 거리, 사용자의 움직임, 또는 도어가 설치된 장소의 밝기 등을 감지할 수 있는 적어도 하나의 센서를 포함할 수 있다. 예를 들면, 상기 센서부(233)는 거리 측정 센서, 움직임 감지 센서, 및 조도 센서를 포함할 수 있다. 또는, 상기 센서부(233)는 근접 센서(233a)를 포함할 수 있다.
일 실시 예에 따르면, 상기 센서부(233)(예: 근접 센서(233a))는 상기 손잡이부(230)를 파지하고자 하는 사용자의 손의 안전을 위해, 상기 몸체부(220)와 상기 손잡이부(230) 간의 이격된 틈에 배치될 수 있다.
예를 들면, 상기 손잡이부(230)가 상기 몸체부(220)로부터 완전하게 이격되기 전에, 물체(예: 사용자의 손)가 감지되는 경우, 상기 센서부(233)(예: 근접 센서(233a))는 상기 물체를 감지하고, 상기 물체의 감지에 기반한 신호를 프로세서(226)로 제공할 수 있다.
예를 들면, 상기 손잡이부(230)가 상기 몸체부(220)로부터 이격된 상태에서, 상기 몸체부(220)와 완전하게 결합되기 전에, 물체(예: 사용자의 손)가 감지되는 경우, 상기 센서부(233)(예: 근접 센서(233a))는 상기 물체를 감지하고, 상기 물체의 감지에 기반한 신호를 프로세서(226)로 제공할 수 있다. 예를 들면, 상기 프로세서(226)는 상기 물체의 감지에 기반한 신호가 수신되면, 상기 도어 개폐 장치(120)의 동작을 일시적으로 중단시킬 수 있다.
일 실시 예에 따르면, 상기 프로세서(226)는 소프트웨어를 구동하여 상기 프로세서(226)에 연결된 적어도 하나의 구성요소(예: 통신부(221), 스피커(222), 배터리(223), 모터(224), 잠금부(225), UVC 살균부(231), 발광부(232), 및 센서부(233))를 유선 통신 또는 무선 통신에 기반하여 제어할 수 있다. 그리고, 상기 프로세서(226)는 상기 유선 통신 또는 상기 무선 통신에 기반하여 다양한 데이터 처리 및 연산을 수행할 수 있다.
일 실시 예에 따르면, 상기 프로세서(226)는 통신부(221), 스피커(222), 배터리(223), 모터(224), 잠금부(225), UVC 살균부(231), 발광부(232), 및 센서부(233) 등으로부터 수신된 명령 또는 데이터를 처리하고, 처리된 데이터를 전자 장치(110)로 전송할 수 있다. 또는, 상기 프로세서(226)는 상기 처리된 데이터를 상기 전자 장치(110)로 전송하거나, 또는 스피커(222)를 통해 출력할 수 있다.
일 실시 예에 따르면, 상기 프로세서(226)는 도어(130)에 인접한 위치에 배치된 전자 장치(110)로부터 도어 개폐 장치(120)를 제어하기 위한 제어 신호를 통신부(221)를 통해 수신할 수 있다. 상기 제어 신호는 상기 도어 개폐 장치(120)의 동작(예: 도어 오픈 또는 도어 닫힘)을 제어하는 다양한 신호를 포함할 수 있다. 또는, 상기 제어 신호는 상기 도어 개폐 장치(120)의 손잡이부(230)의 동작(예: 손잡이부 오픈 또는 손잡이부 닫힘)을 제어하는 다양한 신호를 포함할 수 있다.
일 실시 예에 따르면, 상기 프로세서(226)는 상기 수신된 제어 신호에 기반하여 상기 도어 개폐 장치(120)의 잠금을 해제(또는 잠금)할 수 있다. 상기 프로세서(226)는 상기 전자 장치(110)의 통신부(210)를 통해 전송된 신호를 상기 통신부(221)를 통해 획득하고, 상기 획득된 신호에 기반하여 상기 도어 개폐 장치(120)의 잠금 또는 열림을 제어할 수 있다. 상기 전자 장치(110)의 통신부(210)와 상기 도어 개폐 장치(120)의 통신부(221)는 유선으로 연결되거나, 또는 무선으로 연결될 수 있다.
일 실시 예에 따르면, 상기 프로세서(226)는 상기 수신된 제어 신호에 기반하여 상기 손잡이부(230)가 상기 몸체부(220)로부터 회전하면서 돌출되도록 상기 모터(224)를 제어할 수 있다.
일 실시 예에 따르면, 상기 프로세서(226)는 도어(130)의 닫힘 또는 열림에 대한 신호를 센서부(233)(예: 개폐 감지 센서(미도시))를 통해 획득하여, 상기 도어(130)의 닫힘 또는 열림을 식별할 수 있다. 상기 도어(130)의 닫힘이 감지되면, 상기 프로세서(226)는 상기 잠금부(225)를 활성화하여 도어 개폐 장치(120)를 잠금을 수행할 수 있다. 그리고, 상기 프로세서(226)는 상기 잠금부(225)를 통해 도어 개폐 장치(120)가 잠금 상태로 전환되면, 발광부(232)(예: 적어도 하나의 UVC LED(Ultraviolet C Light Emitting Diode))를 통해 상기 도어 개폐 장치(120)(예: 손잡이부(230))를 살균할 수 있다. 상기 손잡이부(230)는 적어도 하나의 UVC LED를 포함하며, 상기 적어도 하나의 UVC LED는 상기 손잡이부(230)를 파지한 사용자의 손이 위치한 영역을 소독(예: 살균)하기 위한 적절한 위치에 배치될 수 있다.
일 실시 예에 따르면, 상기 프로세서(226)는 도어(130)의 개폐에 기반하여, 적어도 하나의 발광 소자가 서로 다른 색으로 발광하도록 상기 적어도 하나의 발광 소자를 제어할 수 있다. 상기 프로세서(226)는 상기 도어(130)가 열림 또는 닫힘에 따라 적어도 하나의 발광 소자를 서로 다른 색으로 발광시킬 수 있다.
일 실시 예에 따르면, 상기 프로세서(226)는 타이머(227)를 구동하여 미리 결정된 시간(예: 10초) 이내에 사용자가 손잡이부(230)를 파지하지 않는 경우, 상기 손잡이부(230)를 파지하지 않음을 나타내는 메시지를 스피커(222)를 통해 표시할 수 있다. 또는, 상기 프로세서(226)는 상기 손잡이부(230)를 파지하지 않음을 발광부(232)(예: LED)를 통해 발광할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 스마트 도어 시스템에서 사용자를 인증하는 과정을 나타낸 순서도이다.
이하, 도 3을 참조하여, 본 발명의 일 실시 예에 따른 스마트 도어 시스템에서 사용자를 인증하는 과정을 상세히 설명하면 다음과 같다.
일 실시 예에 따르면, 전자 장치(110)(예: 프로세서(214))는 접근하는 사용자를 감지할 수 있다(S310). 상기 전자 장치(110)(예: 프로세서(214))는 사용자가 도어(130)에 접근하는지 감지할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 센서부(219)(예: 거리 측정 센서(219a), 또는 움직임 감지 센서(219b))를 통해 상기 도어(130)에 접근하는 사용자(예: 출입자)를 감지할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 상기 사용자의 제1 이미지를 획득할 수 있다(S312). 상기 전자 장치(110)(예: 프로세서(214))는 상기 전자 장치(110)의 일 면(예: 전면)에 배치된 카메라부(216)의 적어도 하나의 카메라(217a, 217b)를 통해 상기 도어(130)에 접근하는 사용자(예: 홍길동)의 신체 일부(예: 얼굴)에 대한 제1 이미지를 획득할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 상기 획득된 제1 이미지와 기 저장된 제2 이미지를 비교하여 상기 사용자에 대한 인증을 수행할 수 있다(S314). 상기 전자 장치(110)(예: 프로세서(214))는 제1 카메라(217a)(예: RGB 카메라)를 통해 사용자(예: 홍길동)에 대한 제1 이미지(예: 제1 얼굴 이미지)를 획득하고, 상기 획득된 제1 이미지와 저장부(213)에 기 저장된 상기 사용자(예: 홍길동)에 대한 제2 이미지(예: 제2 얼굴 이미지)를 비교하여 상기 사용자(예: 홍길동)에 대한 인증을 수행할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 제2 카메라(217b(예: 적어도 하나의 IR 카메라)를 통해 사용자(예: 홍길동)에 대한 제1 이미지(예: 제1 얼굴 이미지)를 획득하고, 상기 획득된 제1 이미지와 저장부(213)에 기 저장된 상기 사용자(예: 홍길동)에 대한 제2 이미지(예: 제2 얼굴 이미지)를 비교하여 상기 사용자(예: 홍길동)에 대한 인증을 수행할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 인증이 성공되었는지 식별할 수 있다(S316). 상기 전자 장치(110)(예: 프로세서(214))는 상기 제1 이미지에서 특징점(예: 얼굴 비율 대비 눈썹 길이, 눈썹간 거리, 입 크기, 코 크기, 눈 크기 등)을 추출하고, 상기 추출된 특징점과 상기 제2 이미지의 특징점(예: 얼굴 비율 대비 눈썹 길이, 눈썹간 거리, 입 크기, 코 크기, 눈 크기 등)을 비교하여 상기 사용자(예: 홍길동)에 대한 인증을 수행하고, 상기 인증의 성공 여부를 결정할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 각 특징점 간의 차이 값이 미리 결정된 범위(예: 5mm) 이내인 경우, 두 개의 특징점들이 동일한 것으로 판단할 수 있다. 상기 미리 결정된 범위(예: 5mm)는 가변적으로 조절될 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 인증 실패 메시지를 출력할 수 있다(S318). 상기 전자 장치(110)(예: 프로세서(214))는 각 특징점 간의 차이 값이 미리 결정된 범위(예: 5mm)를 벗어난 경우, 상기 제1 이미지와 상기 제2 이미지는 상이하다고 판단하여 인증이 실패한 것으로 인식할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 사용자에 대한 인증(예: 1차 인증)이 성공하지 못한 경우, 상기 인증의 실패에 대한 메시지를 표시부(212a)를 통해 표시하거나, 또는 스피커(212b)를 통해 음성으로 출력할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 도어 개폐 장치의 동작을 제어하기 위한 신호를 상기 도어 개폐 장치로 전송할 수 있다(S320). 상기 과정(S316)에서 상기 전자 장치(110)(예: 프로세서(214))는 인증(예: 1차 인증)이 성공한 것으로 판단되면, 상기 도어 개폐 장치(120)의 동작을 제어하기 위한 신호를 상기 도어 개폐 장치(120)(예: 통신부(221))로 전송할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 상기 인증(예: 1차 인증)의 성공 여부에 따라 서로 다른 신호를 상기 도어 개폐 장치(120)(예: 통신부(221))로 전송할 수 있다.
일 실시 예에 따르면, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 도어 잠금을 해제하고 손잡이부를 오픈할 수 있다(S322). 상기 도어 개폐 장치(120)(예: 프로세서(226))는 상기 전자 장치(110)(예: 통신부(210))로부터 상기 인증(예: 1차 인증)이 성공되었음을 나타내는 신호가 통신부(221)를 통해 수신되면, 잠금부(225)를 제어하여 잠금을 해제하고, 손잡이부(230)의 오픈(또는 개방)을 시작할 수 있다. 예를 들면, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 상기 손잡이부(230)를 시계 방향 또는 반시계 방향으로 회전하면서 몸체부(220)로부터 이탈되도록 모터(224)를 구동시킬 수 있다. 또한, 만일, 상기 전자 장치(110)(예: 통신부(210))로부터 상기 인증(예: 1차 인증)이 실패되었음을 나타내는 신호가 통신부(221)를 통해 수신되면, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 잠금부(225)에 의한 잠금 상태를 유지할 수 있다.
일 실시 예에 따르면, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 도어가 닫힘을 감지할 수 있다(S324). 상기 도어 개폐 장치(120)(예: 프로세서(226))는 상기 도어(130)가 열린 후, 닫힘을 감지할 수 있다. 또는, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 상기 도어(130)의 닫힘에 대한 신호를 전자 장치(110)로부터 수신하여, 상기 도어(130)의 닫힘을 판단할 수 있다.
일 실시 예에 따르면, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 손잡이부를 살균할 수 있다(S326). 상기 도어(130)가 열린 후, 닫힌 것으로 판단되면, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 상기 도어 개폐 장치(120)(예: 손잡이부(230))를 UVC 살균부(231)를 통해 살균할 수 있다. 또는, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 상기 전자 장치(110)로부터 상기 도어(130)의 개폐에 따른 신호를 수신하고, 상기 수신된 신호에 기반하여 상기 도어 개폐 장치(120)(예: 손잡이부(230))를 UVC 살균부(231)를 통해 살균할 수 있다.
도 4는 본 발명의 다른 실시 예에 따른 스마트 도어 시스템에서 사용자를 인증하는 과정을 나타낸 순서도이다.
이하, 도 4를 참조하여, 본 발명의 다른 실시 예에 따른 스마트 도어 시스템에서 사용자를 인증하는 과정을 상세히 설명하면 다음과 같다.
일 실시 예에 따르면, 전자 장치(110)(예: 프로세서(214))는 도어에 접근하는 사용자를 감지할 수 있다(S410). 상기 전자 장치(110)(예: 프로세서(214))는 사용자가 도어(130)에 접근하는지 감지할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 센서부(219)(예: 거리 측정 센서(219a), 및 움직임 감지 센서(219b) 중 적어도 하나)를 통해 상기 도어(130)에 접근하는 사용자(예: 출입자)를 감지할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 제1 카메라(217a)를 통해 상기 사용자의 제1 이미지를 획득할 수 있다(S412). 상기 전자 장치(110)(예: 프로세서(214))는 상기 전자 장치(110)의 전면에 배치된 카메라부(216)의 적어도 하나의 카메라(예: RGB 카메라, 적어도 하나의 IR 카메라)를 통해 상기 도어(130)에 접근하는 사용자(예: 홍길동)의 신체 일부(예: 얼굴)에 대한 이미지를 획득할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 상기 획득된 제1 이미지와 기 저장된 제2 이미지를 비교하여 상기 사용자에 대한 제1차 인증을 수행할 수 있다(S414). 상기 전자 장치(110)(예: 프로세서(214))는 제1 카메라(217a)(예: RGB 카메라)를 통해 사용자(예: 홍길동)에 대한 제1 이미지(예: 제1 얼굴 이미지)를 획득하고, 상기 획득된 제1 이미지와 저장부(213)에 기 저장된 상기 사용자(예: 홍길동)에 대한 제2 이미지(예: 제2 얼굴 이미지)를 비교하여 상기 사용자(예: 홍길동)에 대한 인증을 수행할 수 있다. 또는, 상기 전자 장치(110)(예: 프로세서(214))는 제2 카메라(217b)(예: 적어도 하나의 IR 카메라)를 통해 사용자(예: 홍길동)에 대한 제1 이미지(예: 제1 얼굴 이미지)를 획득하고, 상기 획득된 제1 이미지와 저장부(213)에 기 저장된 상기 사용자(예: 홍길동)에 대한 제2 이미지(예: 제2 얼굴 이미지)를 비교하고, 비교 결과에 기반하여 상기 사용자(예: 홍길동)에 대한 인증(예: 1차 인증)을 판단할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 상기 제1 차 인증이 성공되었는지 식별할 수 있다(S416). 상기 전자 장치(110)(예: 프로세서(214))는 상기 제1 이미지의 특징점(예: 얼굴 비율 대비 눈썹 길이, 눈썹간 거리, 입 크기, 코 크기, 눈 크기 등)을 추출하고, 상기 추출된 특징점과 상기 제2 이미지의 특징점(예: 얼굴 비율 대비 눈썹 길이, 눈썹간 거리, 입 크기, 코 크기, 눈 크기 등)을 비교할 수 있다. 그리고, 상기 전자 장치(110)(예: 프로세서(214))는 각 특징점 간의 차이 값이 미리 결정된 범위(예: 5mm) 이내인 경우, 두 개의 특징점들이 동일한 것으로 판단하고, 상기 사용자(예: 홍길동)에 대한 인증이 성공한 것으로 결정할 수 있다. 상기 미리 결정된 범위(예: 5mm)는 가변적으로 조절될 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 인증 실패 메시지를 출력할 수 있다(S418). 상기 전자 장치(110)(예: 프로세서(214))는 각 특징점 간의 차이 값이 미리 결정된 범위(예: 5mm)를 벗어난 경우, 상기 제1 이미지와 상기 제2 이미지는 상이하다고 판단하여 인증이 실행한 것으로 판단할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 사용자에 대한 인증(예: 1차 인증)이 성공하지 못한 경우, 상기 인증(예: 1차 인증)의 실패에 대한 메시지를 표시부(212a)를 통해 표시하거나, 또는 상기 메시지의 내용을 스피커(212b)를 통해 음성으로 출력할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 제2 카메라(217b)를 활성화하고, 안내 메시지를 표시할 수 있다(S420). 상기 전자 장치(110)(예: 프로세서(214))는 상기 제1 이미지의 특징점과 상기 제2 이미지의 특징점을 비교하여, 상기 인증(예: 1차 인증)이 성공한 것으로 판단되면, 상기 사용자(예: 홍길동)에 대한 추가 인증(예: 2차 인증)을 위해 적어도 하나의 IR 카메라(217b)를 활성화할 수 있다. 그리고, 상기 전자 장치(110)(예: 프로세서(214))는 사용자(예: 홍길동)로 하여금 상기 제2 카메라(217b)에 신체 일부(예; 손바닥)를 정위치 시키도록 하는 안내 메시지(예: 카메라 앞에 손바닥을 펴주세요)를 표시부(212a)를 통해 표시하거나, 또는 스피커(212b)를 통해 상기 안내 메시지를 음성으로 출력할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 제3 이미지를 획득할 수 있다(S422). 상기 전자 장치(110)(예: 프로세서(214))는 상기 사용자(예: 홍길동)의 신체 일부(예; 손바닥)에 대한 제3 이미지를 획득할 수 있다. 상기 획득된 제3 이미지는 상기 사용자(예: 홍길동)의 손바닥에 분포된 정맥 정보(예: 정맥 혈관의 굵기, 방향 등)를 포함할 수 있다. 예를 들면, 상기 제3 이미지에 상기 정맥 정보가 포함되지 않는 경우, 상기 전자 장치(110)(예: 프로세서(214))는 상기 안내 메시지(예: 카메라 앞에 손바닥을 펴주세요)를 재출력 할 수 있다. 또한, 상기 제3 이미지에 상기 정맥 정보가 포함되지 않는 경우, 상기 전자 장치(110)(예: 프로세서(214))는 상기 사용자(예: 홍길동)의 신체 일부(예; 손바닥)를 제2 카메라(217b)를 통해 재촬영 할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 상기 획득된 제3 이미지와 기 저장된 제4 이미지를 비교하여 상기 사용자에 대한 제2 차 인증을 수행할 수 있다(S424). 상기 전자 장치(110)(예: 프로세서(214))는 제2 카메라(217b)(예: 적어도 하나의 IR 카메라)를 통해 사용자(예: 홍길동)에 대한 제3 이미지(예: 제1 손바닥 이미지)를 획득하고, 상기 획득된 제3 이미지와 저장부(213)에 기 저장된 상기 사용자(예: 홍길동)에 대한 제4 이미지(예: 제2 손바닥 이미지)를 비교하여 상기 사용자(예: 홍길동)에 대한 인증을 수행할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 상기 제2 차 인증이 성공되었는지 식별할 수 있다(S426). 상기 전자 장치(110)(예: 프로세서(214))는 상기 제3 이미지의 특징점(예: 정맥 혈관 길이, 정맥 혈관간의 거리, 정맥 혈관의 굵기 등)을 추출하고, 상기 추출된 특징점과 상기 제4 이미지의 특징점(예: 정맥 혈관 길이, 정맥 혈관간의 거리, 정맥 혈관의 굵기 등)을 비교할 수 있다. 그리고, 상기 전자 장치(110)(예: 프로세서(214))는 각 특징점 간의 차이 값이 미리 결정된 범위(예: 2mm) 이내인 경우, 두 개의 특징점들이 동일한 것으로 판단하고, 상기 사용자(예: 홍길동)에 대한 인증(예: 제2 차 인증)이 성공한 것으로 결정할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 도어 개폐 장치의 동작을 제어하기 위한 신호를 상기 도어 개폐 장치로 전송할 수 있다(S428). 상기 과정(S426)에서 상기 전자 장치(110)(예: 프로세서(214))는 상기 인증(예: 2차 인증)이 성공한 것으로 판단되면, 상기 도어 개폐 장치(120)의 동작을 제어하기 위한 신호를 상기 도어 개폐 장치(120)(예: 통신부(221))로 전송할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 상기 인증(예: 2차 인증)의 성공 여부에 따라 서로 다른 신호를 상기 도어 개폐 장치(120)(예: 통신부(221))로 전송할 수 있다.
일 실시 예에 따르면, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 도어 잠금을 해제하고 손잡이부를 오픈할 수 있다(S430). 상기 도어 개폐 장치(120)(예: 프로세서(226))는 상기 전자 장치(110)(예: 통신부(210))로부터 상기 인증(예: 2차 인증)이 성공되었음을 나타내는 신호가 통신부(221)를 통해 수신되면, 잠금부(225)를 제어하여 잠금을 해제하고, 상기 손잡이부(230)의 오픈(또는 개방)을 시작할 수 있다. 예를 들면, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 상기 손잡이부(230)를 몸체부(220)로부터 회전하면서 이탈되도록 모터(224)를 구동시킬 수 있다. 또한, 만일, 상기 전자 장치(110)(예: 통신부(210))로부터 상기 인증(예: 1차 인증)이 실패되었음을 나타내는 신호가 통신부(221)를 통해 수신되면, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 잠금부(225)에 의한 잠금을 유지할 수 있다.
일 실시 예에 따르면, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 도어가 닫힘을 감지할 수 있다(S432). 상기 도어 개폐 장치(120)(예: 프로세서(226))는 상기 도어(130)의 열림 및 닫힘을 감지할 수 있다. 또는, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 상기 도어(130)의 닫힘에 대한 신호를 전자 장치(110)로부터 수신하여, 상기 도어(130)의 닫힘을 판단할 수 있다.
일 실시 예에 따르면, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 손잡이부를 살균할 수 있다(S434). 상기 도어(130)가 열린 후, 닫힌 것으로 판단되면, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 상기 도어 개폐 장치(120)(예: 손잡이부(230))를 UVC 살균부(231)를 통해 살균할 수 있다. 또는, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 상기 전자 장치(110)로부터 상기 도어(130)의 개폐에 따른 신호를 수신하고, 상기 수신된 신호에 기반하여 상기 도어 개폐 장치(120)(예: 손잡이부(230))를 UVC 살균부(231)를 통해 살균할 수 있다.
도 5a는 본 발명의 일 실시 예에 따른 전자 장치가 사용자의 접근을 감지하지 않는 경우 표시부에 표시한 화면을 나타낸 예시도이다. 도 5b는 본 발명의 일 실시 예에 따른 전자 장치에 사용자가 접근한 예시도이다. 도 5c는 본 발명의 일 실시 예에 따른 사용자의 접근을 감지한 전자 장치의 표시부에 표시한 화면을 나타낸 예시도이다.
도 5a를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치(110)가 사용자의 접근을 감지하지 않는 경우, 전자 장치(110)는 다양한 정보가 포함된 화면(510)을 구성하여 표시부(212a)에 표시할 수 있다. 상기 화면(510)는 제1 영역(511)과 제2 영역(512)를 포함할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 사용자가 설정한 상태 메시지(예: 방해하지 마시오), 얼굴 인식이 연속적으로 미리 결정된 횟수(예: 3회) 이상으로 실패할 경우의 메시지(예: 방문객은 도어 벨을 눌러주세요), 도어(130)의 닫힘 또는 열림에 대한 메시지(예: 도어 오픈/닫힘), 및 보안 모드 실행중임을 나타내는 메시지(예: 보안 모드 동작 중) 중 적어도 하나를 상기 화면(510)의 상기 제1 영역(511)에 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 사용자가 설정한 위치 정보(예: 1302호), 및 보안 모드가 설정된 경우 보안 모드 아이콘을 상기 화면(510)의 제2 영역(512)에 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)의 카메라부(216) 및 센서부(219) 중 적어도 하나는 상기 전자 장치(110)의 제3 영역(예: 상측, 하측, 좌측, 또는 우측)에 배치될 수 있다. 상기 제1 영역(511) 및 상기 제2 영역(512)는 표시부(212a)상의 영역이고, 상기 제3 영역(513)은 상기 전자 장치(110)의 일측(예: 하측)에 배치된 영역이다. 예를 들면, 상기 전자 장치(110)의 카메라부(216)는 상기 전자 장치(110)의 하측에 배치될 수 있다. 상기 카메라부(216)는 C3D(Compact CMOS camera demonstrator) 카메라를 포함할 수 있다. 상기 C3D 카메라는 액티브 스테레오(active stereo) 방식으로 사용자와의 거리(예: 뎁스)를 추출할 수 있다. 예를 들면, 상기 카메라부(216)에 C3D 카메라가 포함된 경우, 상기 제3 영역(513)은 좌측부터 LED 조명(218a), 제1 IR 카메라(217b1), RGB 카메라(217a), IR 패턴 조명(218b), 및 제2 IR 카메라(217b2) 순서로 배치될 수 있다. 이러한 배치는 단지 실시 예일 뿐, 본 발명에서는 다양한 배치에도 적용될 수 있음은 자명하다. 상기 카메라부(216)는 상기 제1 IR 카메라(217b1), IR 패턴 조명(218b), 및 제2 IR 카메라(217b2)를 통해 뎁스 정보를 획득 및 추출할 수 있다.
일 실시 예에 따르면, 상기 제1 IR 카메라(217b1)는 사용자로부터 획득된 이미지에서 뎁스 정보를 추출하는데 기준이 되는 카메라로서, 상기 RGB 카메라(217a)에서 획득한 이미지와의 영상 접합을 위해, 상기 RGB 카메라(217a)에 인접한 위치에 배치되는 것이 바람직하다.
일 실시 예에 따르면, 상기 IR 패턴 조명(218b)은 뎁스 성능을 확보하기 위해 두 개의 IR 카메라들(217b1, 217b2) 중간에 배치되며, 상기 두 개의 IR 카메라들(217b1, 217b2)이 이미지를 획득할 때, 조명을 발광하는 것이 바람직하다. 그리고, 상기 두 개의 IR 카메라들(217b1, 217b2) 간의 간격은 뎁스 성능(예: 거리 분해능)을 고려하여 결정될 수 있다. 상기 두 개의 IR 카메라들(217b1, 217b2)은 미리 결정된 거리(예: 50mm)의 간격을 가지며, 30cm~2M의 범위에서 고품질의 뎁스 결과를 획득할 수 있다. 상기 미리 결정된 거리(예: 50mm)는 가변적으로 조절될 수 있다.
일 실시 예에 따르면, 상기 제3 영역(513)은 거리 측정 센서(219a), 움직임 감지 센서(219b), 조도 센서(219c), 및 스피커(212b)를 추가로 포함할 수 있다. 또는, 상기 거리 측정 센서(219a), 움직임 감지 센서(219b), 조도 센서(219c), 및 스피커(212b)는 상기 전자 장치(110)의 전면 상에서 상기 제3 영역(513)과 별개의 영역에 배치될 수 있다.
도 5b 및 도 5c를 참조하면, 전자 장치(110)가 도 5a에 도시된 화면(510)을 표시하고 있는 상태에서, 사용자(520)를 감지하면, 상기 전자 장치(110)는 도 5c의 화면(530)을 구성하여 표시부(212a)에 표시할 수 있다.
일 실시 예에 따르면, 상기 화면(530)은 제1 아이콘(531), 제1 영역(532), 제2 영역(533), 및 제2 아이콘(534)를 포함할 수 있다. 상기 제1 아이콘(531)(예: 잠금 자물쇠)은 얼굴 인식에 대한 인증 성공/실패를 나타낼 수 있다. 예를 들면, 3회 이상 인증이 실패될 경우, 상기 제1 아이콘(531)의 표시는 유지될 수 있다. 예를 들면, 5회 인증 실패 후, 30초간 상기 제1 아이콘(531)은 표시되지 않을 수 있다. 그리고, 30초 후, 상기 제1 아이콘(531)을 누를 경우, 재인증 절차가 수행될 수 있다.
일 실시 예에 따르면, 상기 제1 영역(532), 및 상기 제2 영역(533)은 사용자의 인식에 기반한 다양한 정보가 표시될 수 있다. 예를 들면, 사용자가 인식되는 경우, 상기 제1 영역(532), 및 상기 제2 영역(533)에는 안내 메시지(예: 방문을 환영합니다, 얼굴을 촬영하겠습니다 등)가 표시될 수 있다.
일 실시 예에 따르면, 상기 제2 아이콘(534)은 도어 벨 기능을 수행할 수 있다. 예를 들면, 전자 장치(110)는 상기 제3 아이콘(534) 상의 터치가 감지되면, 홈 내의 스피커(미도시)를 통해 방문을 알리는 소리를 출력하도록 설정될 수 있다.
도 6a는 본 발명의 일 실시 예에 따른 전자 장치가 사용자로부터 획득한 이미지를 통해 인증을 수행하는 과정을 나타낸 예시도이다. 도 6b는 본 발명의 일 실시 예에 따른 전자 장치가 사용자로부터 획득한 이미지를 통해 인증 결과를 수행한 결과를 나타낸 예시도이다.
도 6a를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치가 사용자로부터 획득한 이미지를 통해 인증을 수행하는 화면(610)을 구성하여 표시부(212a)를 통해 표시할 수 있다. 상기 화면(610)은 제1 영역(611), 제2 영역(612), 제3 영역(613), 및 설정 메뉴(614)를 포함할 수 있다.
일 실시 예에 따르면, 사용자(520)의 신체 일부(예: 얼굴)로부터 이미지(예: 제1 이미지)가 획득되는 경우, 상기 전자 장치(110)(예: 프로세서(214))는 상기 획득된 제1 이미지와 저장부(213)에 기저장된 이미지(예: 제2 이미지)를 비교하여 인증(예: 1차 인증)을 수행할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 인증 과정의 현재 수행율(예: 50% 인증 중)을 상기 화면(610)의 제1 영역(611)에 표시할 수 있다. 만일, 인증(예: 1차 인증)이 실패할 경우, 상기 전자 장치(110)(예: 프로세서(214))는 인증(예: 1차 인증)이 실패하였음을 나타내는 메시지를 상기 제1 영역(611)에 표시할 수 있다. 또는, 상기 전자 장치(110)(예: 프로세서(214))는 상기 제1 영역(611)에 도어(130)의 닫힘/열림에 대한 정보를 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 제2 영역(612)에 인증 가이드 이미지 또는 인증에 대한 다양한 정보를 표시할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 스마트 도어 시스템(100)에 익숙하지 않은 사용자를 위한 가이드를 제2 영역(612)에 표시할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 사용자로부터 획득된 프리뷰 이미지 또는 인증 과정에 대한 정보를 상기 제2 영역(612)에 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 현재 인증에 대한 다양한 가이드 문구를 제3 영역(613)에 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 설정 메뉴(614)의 선택이 감지되면, 전자 장치(110)에 대한 설정 모드로 전환될 수 있다. 상기 설정 모드는 비밀번호 변경, 사용자의 이미지 저장 또는 갱신 등 전자 장치(110)의 적어도 하나의 기능에 대한 명령을 입력할 수 있는 모드이다.
도 6b를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치에 사용자로부터 획득한 이미지를 통해 인증 결과를 수행한 화면(620)을 구성하여 표시부(212a)를 통해 표시할 수 있다. 상기 화면(620)은 제1 영역(621), 제2 영역(622), 제3 영역(623), 및 설정 메뉴(614)를 포함할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 인증(예: 1차 인증)이 완료되는 경우, 상기 인증(예: 1차 인증)이 완료되었음을 나타내는 메시지(예: 인증 완료)를 제1 영역(621)에 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 인증된 사용자(예: 인증이 성공한 출입자)에 대한 이미지(예: 사용자가 기 설정한 이미지)를 제2 영역(622)에 표시할 수 있다. 예를 들면, 인증이 실패할 경우, 상기 전자 장치(110)(예: 프로세서(214))는 인증 재시도 버튼(미도시) 또는 인증 취소 버튼(미도시)을 상기 제2 영역(622)에 표시할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 상기 제2 영역(622)에 사용자에 대한 프로필 이미지를 표시할 수 있다. 예를 들면, 인증이 미리 결정된 회수(예: 3회) 이상으로 실패할 경우, 상기 전자 장치(110)(예: 프로세서(214))는 미리 결정된 시간(예: 30초)이 카운팅되고 있음을 나타내는 정보를 상기 제2 영역(622)에 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 인증이 성공한 경우, 사용자의 이름(예: 홍길동), 환영 메시지(예: 어서 오세요) 등과 같은 인증 성공에 대한 다양한 정보를 제3 영역(623)에 표시할 수 있다.
도 7a는 본 발명의 일 실시 예에 따른 전자 장치가 사용자로부터 획득한 얼굴 이미지를 통해 인증을 수행하는 화면을 나타낸 예시도이다. 도 7b는 본 발명의 일 실시 예에 따른 전자 장치가 사용자로부터 획득한 이미지를 통해 제1 차 인증을 수행한 결과를 나타낸 예시도이다. 도 7c는 본 발명의 일 실시 예에 따른 전자 장치가 사용자의 손바닥에 대한 이미지를 획득하는 예시도이다. 도 7d는 본 발명의 일 실시 예에 따른 전자 장치가 사용자의 손바닥에 대한 프리뷰 이미지를 획득하여 표시한 화면을 나타낸 예시도이다. 도 7e는 본 발명의 일 실시 예에 따른 전자 장치가 2차 인증을 수행한 결과를 나타낸 예시도이다.
도 7a를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치(110)가 사용자로부터 획득한 얼굴 이미지를 통해 인증을 수행하는 화면(710)을 구성하여 표시부(212a)를 통해 표시할 수 있다, 화면(710)은 제1 영역(711), 제2 영역(712), 제3 영역(713), 및 아이콘(714)을 포함할 수 있다. 상기 제1 영역(711)에 표시된 정보는 도 6a의 화면(610)의 제1 영역(611)에 표시된 정보와 동일하거나 또는 유사한 정보를 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 제2 영역(712)에 인증 가이드 이미지 또는 정보를 표시할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 스마트 도어 시스템(100)에 익숙하지 않은 사용자를 위한 가이드를 제2 영역(712)에 표시할 수 있다. 또는, 상기 전자 장치(110)(예: 프로세서(214))는 사용자(520)로부터 획득된 프리뷰 이미지(712a) 또는 인증 과정에 대한 정보를 상기 제2 영역(712)에 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 현재 인증에 대한 다양한 가이드 문구를 제3 영역(713)에 표시할 수 있다.
일 실시 예에 따르면, 상기 아이콘(714)은 도어 벨 기능을 수행할 수 있다. 예를 들면, 상기 전자 장치(110)(예: 프로세서(214))는 도어 벨 기능을 수행하는 아이콘(714) 상의 터치가 감지되면, 홈 내의 스피커(미도시)를 통해 방문을 알리는 소리를 출력하도록 제어 신호를 상기 홈 내의 스피커(미도시)로 전송할 수 있다.
도 7b를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치(110)가 사용자로부터 얼굴 이미지를 통해 제1 차 인증을 수행한 화면(720)을 구성하여 표시부(212a)를 통해 표시할 수 있다. 상기 화면(720)은 제1 영역(721), 제2 영역(722), 제3 영역(623), 및 설정 메뉴(614)를 포함할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 인증(예: 1차 인증)이 완료되는 경우, 상기 인증이 완료되었음을 나타내는 메시지(예: 얼굴 인증 완료)를 제1 영역(721)에 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 인증(예: 제1 차 인증)이 성공한 사용자에 대한 이미지(예: 사용자가 기 설정한 이미지)를 제2 영역(722)에 표시할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 추가 인증(예: 제2 차 인증)이 수행될 예정임을 나타내는 정보를 제2 영역(722)에 표시할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 상기 제2 영역(722)에 정맥 인증을 위한 가이드를 표시할 수 있다.
일 실시 예에 따르면, 인증이 실패할 경우, 상기 전자 장치(110)(예: 프로세서(214))는 인증 재시도 또는 인증 취소 버튼을 상기 제2 영역(722)에 표시할 수 있다. 예를 들면, 인증이 미리 결정된 회수(예: 3회) 이상으로 실패할 경우, 상기 전자 장치(110)(예: 프로세서(214))는 미리 결정된 시간(예: 30초)을 카운팅하고 있음을 상기 제2 영역(722)에 표시할 수 있다. 상기 미리 결정된 회수(예: 3회)는 가변적으로 조절될 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 인증이 성공한 경우, 제2 차 인증을 위해 신체 일부(예: 손바닥)를 카메라부(216)의 제1 IR 카메라(217b1), RGB 카메라(217a), 및 제2 IR 카메라(217b2) 중 적어도 하나에 위치시키기 위한 메시지(예: 화면 아래 카메라 위에 손을 맞춰주세요)를 제3 영역(723)에 표시할 수 있다.
도 7c 및 도 7d를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치가 사용자의 신체 일부(734)에 대한 이미지를 획득하기 위해 적어도 두 개의 카메라들이 이용될 수 있다. 예를 들면, 상기 전자 장치(110)(예: 프로세서(214))는 두 개의 IR 카메라들(217b1, 217b2), 및 하나의 RGB 카메라(217a) 중 적어도 하나를 이용하여 사용자의 신체 일부(734)에 대한 이미지를 획득할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 주변 밝기에 따라 두 개의 IR 카메라들(217b1, 217b2), 및 하나의 RGB 카메라(217a) 적어도 하나의 카메라를 통해 사용자의 신체 일부(734)(예: 손바닥(735))에 대한 이미지를 획득할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 사용자에 대한 인증(예: 제2 차 인증)이 현재 수행중임을 나타내는 메시지(예: 인증 중…)를 제1 영역(731)에 표시할 수 있다. 그리고, 상기 전자 장치(110)(예: 프로세서(214))는 획득된 사용자의 신체 일부(734)에 대한 프리뷰 이미지(742)를 제2 영역(732)에 표시할 수 있다. 또한, 상기 전자 장치(110)(예: 프로세서(214))는 상기 프리뷰 이미지(742)가 이동할 가이드 라인(741)을 상기 제2 영역(732)에 상기 프리뷰 이미지(742)와 함께 표시할 수 있다. 상기 가이드 라인(741)은 사용자로 하여금 신체 일부(예: 손바닥)를 이동시키기 위한 가이드를 의미할 수 있다.
도 7e를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치에 사용자로부터 획득한 이미지를 통해 인증(예: 제2 차 인증)을 수행한 화면(750)을 구성하여 표시부(212a)를 통해 표시할 수 있다. 상기 화면(750)은 제1 영역(751), 제2 영역(752), 제3 영역(753), 및 설정 메뉴(754)를 포함할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 인증(예: 2차 인증)이 완료되는 경우, 상기 인증이 완료되었음을 나타내는 메시지(예: 인증 완료)를 제1 영역(751)에 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 인증이 성공한 사용자에 대한 이미지(예: 사용자가 기 설정한 이미지)를 제2 영역(752)에 표시할 수 있다. 예를 들면, 인증이 실패할 경우, 상기 전자 장치(110)(예: 프로세서(214))는 인증 재시도 또는 인증 취소 버튼을 상기 제2 영역(752)에 표시할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 상기 제2 영역(752)에 사용자에 대한 프로필 이미지를 표시할 수 있다. 예를 들면, 인증이 미리 결정된 회수(예: 3회) 이상으로 실패할 경우, 상기 전자 장치(110)(예: 프로세서(214))는 미리 결정된 시간(예: 30초)을 카운팅하고 있음을 상기 제2 영역(752)에 표시할 수 있다. 상기 미리 결정된 회수(예: 3회) 및 상기 미리 결정된 시간(예: 30초)은 가변적으로 조절될 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 인증(예: 제2 차 인증)이 성공한 경우, 사용자의 이름(예: 홍길동), 환영 메시지(예: 어서 오세요) 등 인증 성공에 관한 다양한 정보를 제3 영역(753)에 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 설정 메뉴(754)의 선택이 감지되면, 전자 장치(110)에 대한 설정 모드로 전환될 수 있다. 상기 설정 모드는 비밀번호 변경, 사용자의 이미지 저장 또는 갱신 등 전자 장치(110)의 적어도 하나의 기능에 대한 명령을 입력할 수 있는 모드이다.
도 8a는 본 발명의 일 실시 예에 따른 전자 장치가 사용자로부터 터치 제스처를 입력 받는 화면을 나타낸 예시도이다. 도 8b는 본 발명의 일 실시 예에 따른 전자 장치가 사용자로부터 비밀 번호를 입력 받는 화면을 나타낸 예시도이다. 도 8c는 본 발명의 일 실시 예에 따른 전자 장치가 입력된 비밀 번호를 통해 인증을 수행한 결과를 나타낸 예시도이다.
도 8a를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치가 사용자로부터 터치 제스처를 입력 받는 화면(710)을 구성하여 표시부(212a)를 통해 표시할 수 있다. 상기 화면(710)은 도 7a의 화면(710)과 일부 유사할 수 있다. 도 7a의 화면(710)의 제2 영역(712)은 사용자로부터 획득된 프리뷰 이미지(예: 얼굴 이미지)를 표시하는데 반해, 도 8a의 화면(710)의 제2 영역(712)은 사용자의 터치 앤 드래그(touch & drag)를 입력 받을 수 있는 점에서 일부 상이할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 상기 제2 영역(712) 상에 손가락을 제1 위치(801)에서 제2 위치(802)로 터치하여 이동시키는 터치 앤 드래그(touch & drag)에 의한 입력이 수신되면, 상기 입력을 비밀 번호를 입력하기 위한 명령으로 인식할 수 있다. 상기 터치 앤 드래그에 의한 명령이 입력되면, 상기 전자 장치(110)(예: 프로세서(214))는 도어(130)를 오픈하기 위한 비밀 번호를 입력 받을 수 있는 화면을 표시부(212a)에 표시할 수 있다. 상기 입력은 왼쪽에서 터치하여 오른쪽으로 드래그하는 것을 예로 하였으나, 이는 단지 실시 예일 뿐, 본 발명에서는 사용자의 설정에 기반하여 다양한 터치 앤 드래그가 가능하다.
도 8b를 참조하면, 상기 전자 장치(110)(예: 프로세서(214))는 상기 터치 앤 드래그에 기반하여, 도어(130)를 오픈하기 위한 비밀 번호를 입력 받을 수 있는 화면(810)을 화면(810)을 구성하여 표시부(212a)를 통해 표시할 수 있다.
일 실시 예에 따르면, 상기 화면(810)은 비밀 번호의 입력을 안내하는 메시지를 표시하는 제1 영역(811), 입력 받은 비밀 번호를 표시하는 제2 영역(812), 비밀 번호를 선택 받기 위해 가상의 키패드(814)를 표시하는 제3 영역(813)을 포함할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 상기 가상의 키패드(814)를 통해 입력된 숫자, 기호, 문자, 또는 특수 문자를 암호화하여 상기 제2 영역(812) 표시할 수 있다.
도 8c를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치에 사용자로부터 입력된 비밀 번호를 통해 인증을 수행한 화면(820)을 구성하여 표시부(212a)를 통해 표시할 수 있다. 상기 화면(820)은 제1 영역(821), 제2 영역(822), 제3 영역(823), 및 설정 메뉴(824)를 포함할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 비밀 번호 입력에 의한 인증이 완료되는 경우, 상기 인증이 완료되었음을 나타내는 메시지(예: 인증 완료)를 제1 영역(821)에 표시할 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 인증이 성공한 사용자에 대한 이미지(예: 사용자가 기 설정한 이미지)를 제2 영역(822)에 표시할 수 있다. 예를 들면, 인증이 실패할 경우, 상기 전자 장치(110)(예: 프로세서(214))는 인증 재시도 버튼(미도시) 또는 인증 취소 버튼(미도시)을 상기 제2 영역(822)에 표시할 수 있다. 상기 전자 장치(110)(예: 프로세서(214))는 상기 제2 영역(822)에 사용자에 대한 프로필 이미지를 표시할 수 있다. 예를 들면, 인증이 미리 결정된 회수(예: 3회) 이상으로 실패할 경우, 상기 전자 장치(110)(예: 프로세서(214))는 미리 결정된 시간(예: 30초)을 카운팅하고 있음을 상기 제2 영역(822)에 표시할 수 있다. 상기 미리 결정된 회수(예: 3회), 및 상기 미리 결정된 시간(예: 30초)은 가변적으로 조절될 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 비밀 번호 입력에 의한 인증이 성공한 경우, 사용자의 이름(예: 홍길동), 환영 메시지(예: 어서 오세요) 등 인증 성공에 관한 다양한 정보를 제3 영역(823)에 표시할 수 있다. 이러한 비밀 번호를 이용한 인증 방식은, 인증을 위한 이미지(예: 얼굴 이미지, 생체 정보 이미지 등)가 기 저장되어 있지 않는 경우(예: 부재중인 상태에서 방문한 손님에게 도어를 열어 줄 경우)에 적용될 수 있다.
일 실시 예에 따르면, 상기 전자 장치(110)(예: 프로세서(214))는 설정 메뉴(754)의 선택이 감지되면, 전자 장치(110)에 대한 설정 모드로 전환될 수 있다. 상기 설정 모드는 비밀번호 변경, 사용자의 이미지 저장 또는 갱신 등 전자 장치(110)의 적어도 하나의 기능에 대한 명령을 입력할 수 있는 모드이다.
도 9a는 본 발명의 일 실시 예에 따른 사용자 인증에 기반하여 도어 개폐 장치의 손잡이부가 몸체부로부터 분리되는 예시도이다. 도 9b는 본 발명의 일 실시 예에 따른 사용자 인증에 기반하여 도어 개폐 장치의 손잡이부가 몸체부로부터의 분리가 완료된 예시도이다. 도 9c는 본 발명의 일 실시 예에 따른 도어 개폐 장치의 손잡이부를 사용자가 파지한 예시도이다.
도 9a 내지 도 9c를 참조하면, 상기 전자 장치(110)(예: 프로세서(214))에 의해 사용자에 대한 인증(예: 제1 차 인증, 제2 차 인증 또는 비밀 번호 인증)이 완료되는 경우, 도어 개폐 장치(120)(예: 통신부(221))는 상기 전자 장치(110)(예: 통신부(210))로부터 상기 도어 개폐 장치(120)의 닫힘을 해제하는 신호를 수신할 수 있다. 상기 신호가 상기 도어 개폐 장치(120)(예: 통신부(221))로부터 수신되면, 도어 개폐 장치(120)(예: 프로세서(226))는 모터(224)를 제어하여 상기 손잡이부(230)가 상기 몸체부(220)로부터 분리되도록 제어할 수 있다.
일 실시 예에 따르면, 상기 손잡이부(230)가 상기 몸체부(220)로부터의 분리가 완료되는 경우, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 잠금부(225)를 제어하여 잠금을 해제할 수 있다. 또는, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 잠금부(225)를 제어하여 잠금을 해제한 후, 모터(224)를 제어하여 상기 손잡이부(230)가 상기 몸체부(220)로부터 분리되도록 제어할 수 있다. 그리고, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 손잡이부(230)의 발광부(232)의 LED를 통해 빛을 발광시킴으로써, 사용자가 도어(130)의 잠금이 해제되었음을 인식시킬 수 있다.
일 실시 예에 따르면, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 센서부(233)를 통해 손잡이부(230)에 사용자의 신체 일부(예: 손(910))에 의한 접촉을 감지할 수 있다. 상기 도어 개폐 장치(120)(예: 프로세서(226))는 센서부(233)를 통해 사용자가 손(910)으로 손잡이부(230)를 파지한 것을 인식할 수 있다. 예를 들면, 사용자가 손잡이부(230)를 파지한 후, 손잡이부(230)를 몸체부(220)의 반대 방향(즉, 사용자가 위치한 방향)으로 당기면, 사용자의 힘에 의해 도어(130)는 열리게 된다. 이후, 사용자가 도어(130)를 통해 출입한 후, 도어(130)가 닫히게 되면, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 센서부(233)를 통해 도어(130)의 닫힘을 감지할 수 있다. 그리고, 상기 도어 개폐 장치(120)(예: 프로세서(226))는 상기 손잡이부(230)를 UVC 살균부(231)를 통해 살균을 시작할 수 있다.
도 10의 (a)는 본 발명의 일 실시 예에 따른 전자 장치가 손잡이부가 현재 살균중임을 나타내는 화면을 표시한 예시도이다. 도 10의 (b)는 본 발명의 일 실시 예에 따른 살균중인 도어 개폐 장치를 나타낸 예시도이다.
도 10의 (a)를 참조하면, 상기 전자 장치(110)(예: 프로세서(214))는 손잡이부(230)가 현재 살균중임을 나타내는 화면(1010)을 표시부(212a)를 통해 표시할 수 있다. 상기 화면(1010)은 손잡이부(230)가 현재 살균중임을 나타내는 메시지를 표시하는 제1 영역(1010), 사용자가 설정한 위치 정보(예: 1302호), 및 보안 모드 아이콘을 표시하는 제2 영역(1012), 도어벨을 나타내는 제3 영역(1013)을 포함할 수 있다.
도 10b를 참조하면, 상기 전자 장치(110)(예: 프로세서(214))는 손잡이부(230)가 현재 살균중임을 나타내도록, 상기 손잡이부(230)의 일 측(예: 테두리)에 배치된 LED를 일정한 색(예: 보라색)으로 발광시킬 수 있다.
이상에서 상술한 각각의 순서도에서의 각 단계는 도시된 순서에 무관하게 동작될 수 있거나, 또는 동시에 수행될 수 있다. 또한, 본 발명의 적어도 하나의 구성 요소와, 상기 적어도 하나의 구성 요소에서 수행되는 적어도 하나의 동작은 하드웨어 및/또는 소프트웨어로 구현 가능할 수 있다.
이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.
110: 전자 장치 120: 도어 개폐 장치
130: 도어 210: 통신부
211: 입력부 212a: 표시부
212b: 스피커 213: 저장부
214: 프로세서 215: 타이머
216: 카메라부 217a: 제1 카메라
217b: 제2 카메라 218: 조명부
219: 센서부 219a: 거리 측정 센서
219b: 움직임 감지 센서 219c: 조도 센서
221: 통신부 222: 스피커
223: 배터리 224: 모터
225: 잠금부 226: 프로세서
227: 타이머 230: 손잡이부
231: UVC 살균부 232: 발광부
233: 센서부 233a: 근접 센서

Claims (20)

  1. 전자 장치에 있어서,
    표시부;
    카메라부;
    통신부;
    저장부; 및
    상기 표시부, 상기 카메라부, 상기 통신부, 및 상기 저장부와 전기적으로 연결된 프로세서를 포함하며,
    상기 프로세서는,
    사용자의 인식에 기반하여, 상기 카메라부의 제1 카메라를 활성화하고,
    상기 인식된 제1 카메라를 통해 상기 사용자의 제1 이미지를 획득하고,
    상기 획득된 제1 이미지와 상기 저장부에 기 저장된 제2 이미지에 기반하여 상기 사용자의 인증을 수행하고,
    상기 사용자의 인증에 기반하여, 도어에 장착된 도어 개폐 장치의 동작을 제어하기 위한 신호를 상기 통신부를 통해 상기 도어 개폐 장치로 전송하도록 설정된 전자 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 사용자의 인증의 성공에 기반하여, 상기 도어 개폐 장치의 잠금을 해제하기 위한 신호를 상기 통신부를 통해 상기 도어 개폐 장치로 전송하도록 설정된 전자 장치.
  3. 제1 항에 있어서,
    상기 프로세서는,
    상기 도어 개폐 장치로부터 상기 통신부를 통해 상기 도어의 닫힘에 대한 신호가 수신되는지 식별하고,
    상기 신호의 수신에 기반하여, 상기 도어 개폐 장치의 살균을 제어하는 신호를 상기 통신부를 통해 상기 도어 개폐 장치로 전송하도록 설정된 전자 장치.
  4. 제1 항에 있어서,
    상기 프로세서는,
    상기 사용자의 인증의 성공에 기반하여, 상기 카메라부의 제2 카메라를 활성화하고,
    상기 활성화된 제2 카메라의 위치로 상기 사용자의 신체 일부의 이동을 알리는 메시지를 상기 표시부를 통해 출력하도록 설정된 전자 장치.
  5. 제4 항에 있어서,
    상기 프로세서는,
    상기 메시지를 출력하는 중에, 상기 신체 일부가 위치할 영역을 가이드하는 가이드 라인을 상기 표시부를 통해 표시하고,
    상기 제1 카메라를 통해 상기 신체 일부에 대한 프리뷰 이미지를 획득하고,
    상기 획득된 프리뷰 이미지와 상기 표시된 가이드 라인과의 매칭 여부에 따른 시각 정보를 상기 표시부를 통해 표시하도록 설정된 전자 장치.
  6. 제5 항에 있어서,
    상기 프로세서는,
    상기 획득된 프리뷰 이미지와 상기 표시된 가이드 라인과의 매칭에 기반하여, 상기 활성화된 제2 카메라를 통해 상기 신체 일부에서의 정맥에 관한 정보를 획득하도록 설정된 전자 장치.
  7. 제5 항에 있어서,
    상기 프로세서는,
    상기 활성화된 제2 카메라를 통해 상기 신체 일부의 제3 이미지를 획득하고,
    상기 획득된 제3 이미지와 상기 저장부에 기 저장된 제4 이미지에 기반하여 상기 사용자의 인증을 수행하도록 설정된 전자 장치.
  8. 제7 항에 있어서,
    상기 프로세서는,
    상기 전자 장치의 주변 밝기를 식별하고,
    상기 식별된 주변 밝기에 기반하여 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나의 카메라를 선택하도록 설정되며,
    상기 제1 카메라 또는 상기 제2 카메라는, RGB(Red Green Blue) 카메라이거나 또는 적외선 카메라임을 특징으로 하는 전자 장치.
  9. 제1 항에 있어서,
    상기 프로세서는,
    상기 사용자의 인증이 성공한 경우, 상기 인증의 성공에 대한 메시지를 상기 표시부를 통해 출력하도록 설정된 전자 장치.
  10. 제1 항에 있어서,
    상기 프로세서는,
    상기 사용자의 인증이 실패한 경우, 상기 인증의 실패에 대한 메시지를 상기 표시부를 통해 출력하도록 설정된 전자 장치.
  11. 제1 항에 있어서,
    상기 프로세서는,
    상기 전자 장치의 적어도 하나의 동작 상태, 및 상기 도어 개폐 장치의 적어도 하나의 동작 상태에 관한 적어도 일부의 정보를 상기 표시부에 표시하도록 설정된 전자 장치.
  12. 도어 개폐 장치에 있어서,
    도어의 일 측에 부착되어 돌출된 몸체부; 및
    상기 도어 개폐 장치와 동작가능 하도록 연결된 손잡이부를 포함하며,
    상기 몸체부는,
    통신부;
    모터; 및
    상기 통신부, 및 상기 모터와 전기적으로 연결된 프로세서를 포함하며,
    상기 프로세서는,
    상기 도어에 인접한 위치에 배치된 전자 장치로부터 상기 도어 개폐 장치를 제어하는 신호를 상기 통신부를 통해 수신하고,
    상기 수신된 제어 신호에 기반하여, 상기 도어 개폐 장치의 잠금을 해제하도록 설정된 도어 개폐 장치.
  13. 제12 항에 있어서,
    상기 프로세서는,
    상기 수신된 제어 신호에 기반하여, 상기 손잡이부가 상기 몸체부로부터 돌출되도록 상기 모터를 제어하는 도어 개폐 장치.
  14. 제12 항에 있어서,
    상기 프로세서는,
    상기 도어의 닫힘이 감지되면, 상기 도어 개폐 장치의 잠금을 활성화하고,
    상기 도어 개폐 장치를 적어도 하나의 UVC LED(Ultraviolet C Light Emitting Diode)를 통해 살균하도록 설정된 도어 개폐 장치.
  15. 제14 항에 있어서,
    상기 손잡이부는,
    상기 적어도 하나의 UVC LED를 포함하며,
    상기 적어도 하나의 UVC LED는 상기 손잡이부를 파지한 사용자의 손이 위치한 영역을 소독하기 위한 위치에 배치되는 도어 개폐 장치.
  16. 제12 항에 있어서,
    상기 손잡이부는,
    적어도 하나의 발광 소자를 포함하는 발광부를 포함하며,
    상기 프로세서는,
    상기 도어의 개폐에 기반하여, 상기 적어도 하나의 발광 소자가 서로 다른 색으로 발광하도록 상기 적어도 하나의 발광 소자를 제어하도록 설정된 도어 개폐 장치.
  17. 제12 항에 있어서,
    상기 손잡이부는,
    상기 도어 개폐 장치를 살균하기 위한 적어도 하나의 UVC LED(Ultraviolet C Light Emitting Diode)를 포함하며,
    상기 적어도 하나의 UVC LED는,
    상기 손잡이부를 파지한 사용자의 손이 위치한 영역을 소독하기 위한 지점에 배치되는 도어 개폐 장치.
  18. 도어의 개폐를 제어하는 방법에 있어서,
    전자 장치가,
    사용자의 인식에 기반하여 제1 카메라를 활성화하는 과정;
    상기 인식된 제1 카메라를 통해 상기 사용자의 제1 이미지를 획득하는 과정;
    상기 획득된 제1 이미지와 기 저장된 제2 이미지에 기반하여 상기 사용자의 인증을 수행하는 과정; 및
    상기 사용자의 인증에 기반하여 도어에 장착된 도어 개폐 장치의 동작을 제어하기 위한 신호를 상기 도어 개폐 장치로 전송하는 과정을 포함하며,
    상기 도어 개폐 장치가,
    상기 전자 장치로부터 상기 도어 개폐 장치를 제어하는 신호를 수신하는 과정; 및
    상기 수신된 제어 신호에 기반하여, 상기 도어 개폐 장치의 잠금을 해제하는 과정을 포함하는 방법.
  19. 제18 항에 있어서,
    상기 전자 장치가,
    상기 도어 개폐 장치로부터 상기 도어의 닫힘에 대한 신호가 수신되는지 식별하는 과정; 및
    상기 신호의 수신에 기반하여, 상기 도어 개폐 장치의 살균을 제어하는 신호를 상기 도어 개폐 장치로 전송하는 과정을 더 포함하는 방법.
  20. 제18 항에 있어서,
    상기 전자 장치가,
    상기 사용자의 인증의 성공에 기반하여, 제2 카메라를 활성화하는 과정;
    상기 활성화된 제2 카메라의 위치로 상기 사용자의 신체 일부의 이동을 알리는 메시지를 출력하는 과정을 더 포함하는 방법.
KR1020200109643A 2020-08-28 2020-08-28 도어의 개폐를 제어하는 전자 장치 및 상기 도어에 부착된 도어 개폐 장치, 및 이를 위한 방법 KR20220028528A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200109643A KR20220028528A (ko) 2020-08-28 2020-08-28 도어의 개폐를 제어하는 전자 장치 및 상기 도어에 부착된 도어 개폐 장치, 및 이를 위한 방법
PCT/KR2021/008436 WO2022045562A1 (en) 2020-08-28 2021-07-02 Electronic device for controlling opening and closing of a door, a door opening/closing device disposed to the door, and a method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200109643A KR20220028528A (ko) 2020-08-28 2020-08-28 도어의 개폐를 제어하는 전자 장치 및 상기 도어에 부착된 도어 개폐 장치, 및 이를 위한 방법

Publications (1)

Publication Number Publication Date
KR20220028528A true KR20220028528A (ko) 2022-03-08

Family

ID=80353414

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200109643A KR20220028528A (ko) 2020-08-28 2020-08-28 도어의 개폐를 제어하는 전자 장치 및 상기 도어에 부착된 도어 개폐 장치, 및 이를 위한 방법

Country Status (2)

Country Link
KR (1) KR20220028528A (ko)
WO (1) WO2022045562A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102472122B1 (ko) * 2022-03-04 2022-11-29 김정태 도어 및 이의 구동 방법
WO2023242871A1 (en) * 2022-06-17 2023-12-21 Matdun Labs India Private Limited Device, system and method for 3d face recognition and access management door lock
WO2023242875A1 (en) * 2022-06-18 2023-12-21 Matdun Labs India Private Limited Device, system and method for 3d face recognition and authentication door lock
CN115359589B (zh) * 2022-08-08 2023-10-10 珠海格力电器股份有限公司 智能门锁的控制方法、装置、电子装置和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101316805B1 (ko) * 2013-05-22 2013-10-11 주식회사 파이브지티 자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템
KR101550206B1 (ko) * 2014-11-25 2015-09-07 (주)코리센 이중보안기능이 구비된 지정맥인식시스템 및 그 제어방법
KR102019342B1 (ko) * 2018-03-19 2019-09-06 숭실대학교산학협력단 디지털 도어락 관리서버 및 개폐제어 시스템, 이동단말기와 통신하는 디지털 도어락 제어방법
JP6426322B1 (ja) * 2018-08-08 2018-11-21 株式会社サンライズプロジェクト ドア用取手消毒装置
KR20200070601A (ko) * 2018-12-10 2020-06-18 엘지전자 주식회사 도어락

Also Published As

Publication number Publication date
WO2022045562A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
KR20220028528A (ko) 도어의 개폐를 제어하는 전자 장치 및 상기 도어에 부착된 도어 개폐 장치, 및 이를 위한 방법
KR100952540B1 (ko) 통신 장치, 통신 시스템
KR102223278B1 (ko) 글래스 타입 단말기 및 이의 제어방법
KR101730255B1 (ko) 얼굴 인식 디지털 도어록
US8078883B2 (en) Personal authentication apparatus and personal authentication method
KR101682311B1 (ko) 얼굴 인식 디지털 도어록
JP5024495B1 (ja) ジェスチャ入力装置およびジェスチャ入力装置の制御方法
CN104376248B (zh) 一种在密码输入界面进行用户验证的方法及装置
JP5971733B2 (ja) 手持ち式眼制御・接眼装置、暗号入力装置、方法及びコンピュータ可読記憶媒体及びコンピュータプログラム製品
US10425813B2 (en) Authentication management method, information processing apparatus, wearable device, and computer program
CN100389723C (zh) 个人认证设备
US20200098207A1 (en) Smart locking system with biometrics authentication
US20210406820A1 (en) Doorbell, key management system, and intercom system
KR20190008474A (ko) 생체정보를 이용한 금고의 잠금장치
EP3913575A1 (en) Authentication system, authentication device, and authentication method
KR102066185B1 (ko) 정확하고 신속한 안면인식 도어락 장치
JP2017004398A (ja) 認証装置及び認証方法
US11302130B2 (en) Smart locking system with biometrics authentication
KR20180074434A (ko) 홍채인식을 이용한 감성도어락 제어방법
WO2019023964A1 (zh) 一种智能终端的解锁系统及解锁方法
CN116235227A (zh) 出入门开闭控制装置及系统
JP2011020780A (ja) エレベーター呼び登録装置及びそれを用いたエレベーターシステム
JP7363455B2 (ja) 認証システム、認証装置及び認証方法
KR20190027362A (ko) 생체정보를 이용한 금고의 잠금장치
JP2004086320A (ja) 個人認証装置、個人認証システム、携帯端末、個人認証用プログラム

Legal Events

Date Code Title Description
A201 Request for examination