WO2016006831A1 - Door-lock using iris recognition and system thereof, mobile communication terminal and network gateway used therein, and user authentication method - Google Patents

Door-lock using iris recognition and system thereof, mobile communication terminal and network gateway used therein, and user authentication method Download PDF

Info

Publication number
WO2016006831A1
WO2016006831A1 PCT/KR2015/005849 KR2015005849W WO2016006831A1 WO 2016006831 A1 WO2016006831 A1 WO 2016006831A1 KR 2015005849 W KR2015005849 W KR 2015005849W WO 2016006831 A1 WO2016006831 A1 WO 2016006831A1
Authority
WO
WIPO (PCT)
Prior art keywords
door lock
iris
user
mobile communication
visitor
Prior art date
Application number
PCT/KR2015/005849
Other languages
French (fr)
Korean (ko)
Inventor
박근
Original Assignee
주식회사 케이티앤씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150074037A external-priority patent/KR20160006587A/en
Application filed by 주식회사 케이티앤씨 filed Critical 주식회사 케이티앤씨
Priority to US15/325,079 priority Critical patent/US20170193723A1/en
Publication of WO2016006831A1 publication Critical patent/WO2016006831A1/en

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05BLOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B47/00Operating or controlling locks or other fastening devices by electric or magnetic means
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05BLOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B49/00Electric permutation locks; Circuits therefor ; Mechanical aspects of electronic locks; Mechanical keys therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition

Abstract

Disclosed are a door-lock and a user authentication method using iris recognition. The door-lock comprises: a wake-up module for recognizing user access or driving the door-lock according to a user's button input; and an iris recognition module for, if the door-lock is driven by the wake-up module, comparing an iris pattern inputted to the door-lock with a pre-stored iris pattern and authenticating, according to the result of the comparison, a user who accessed the door-lock.

Description

홍채 인식을 이용한 도어록과 그 시스템 및 그에 사용되는 이동통신단말기와 네트워크 게이트웨이 및 사용자 인증 방법Door lock and its system using iris recognition, mobile communication terminal, network gateway and user authentication method
본 발명은 도어록 및 사용자 인증 방법에 관한 것으로서, 구체적으로 홍채 인식을 이용한 도어록과 그 시스템 및 그에 사용되는 이동통신단말기와 네트워크 게이트웨이 및 사용자 인증 방법에 관한 것이다.The present invention relates to a door lock and a user authentication method, and more particularly, to a door lock using iris recognition, a system thereof, a mobile communication terminal, a network gateway, and a user authentication method used therein.
종래의 암호키 및 얼굴 인식을 이용한 보안 시스템은 각종 보안 경보장치, 금고, 출입문, 개인 컴퓨터(PC, Personnel Computer)및 은행 ATM(Automatic Teller Machine)기 등의 보안 시스템으로 활용되고 있다. 하지만, 암호키 유출로 인한 보안 위협의 문제점이 있다. 예를 들어, 암호키 입력을 위한 텐키(ten key) 패드 동작 시, 동작 후 텐키(ten key) 패드에 남아있는 입력 흔적과 텐키 패드 입력 중 노출 등으로 인한 보안 위협의 문제점이 있다. Conventional security systems using encryption keys and face recognition are utilized as security systems such as various security alarms, safes, doors, personal computers (PCs), and automatic teller machine (ATM) machines. However, there is a problem of security threats due to encryption key leakage. For example, when a ten key pad for encryption key input is operated, there is a problem of a security threat due to an input trace remaining on the ten key pad after exposure and an exposure during the ten key pad input.
얼굴 인식을 이용하는 보안 시스템은 사용 환경, 시간에 따른 얼굴 인식 정보의 변화 가능성으로 인하여 인증키 자체가 생체 인식기에 다르게 입력되어 인식 성능이 저하된다. 또한, 안경, 마스크, 선글라스 및 머플러와 같이 얼굴을 가리는 소품을 착용했을 때 얼굴 인식 정보에 오류 발생 가능성이 높다. In the security system using the face recognition, the authentication key itself is input differently to the biometric reader due to the use environment and the possibility of change of the face recognition information over time. In addition, there is a high possibility of error in the face recognition information when wearing an object covering the face such as glasses, masks, sunglasses and muffler.
따라서, 암호키 유출 위험 및 생체 정보 변화 가능성에도 높은 보안 수준을 제공하는 도어록 및 사용자 인증 방법에 대한 기술이 필요하다.Therefore, there is a need for a technology for a door lock and a user authentication method that provides a high level of security against the risk of encryption key leakage and the possibility of biometric information change.
또한, 이와 더불어, 디지털 도어록 자체로 국한된 보안 시스템에서 벗어나, 집에서 나온 집 주인은 방문한 사람의 얼굴을 확인하여 특히, 집에서 멀리 떨어진 곳에 위치해 있을 경우 방문한 사람의 얼굴을 직접 확인하여 그에 따라 자기 집 현관문을 열리도록 하거나 닫히도록 하는 편의성을 요구하는 경우가 있으며, 이러한 경우에 맞는 얼굴 인식을 이용하는 보안 시스템 기술이 필요하다.In addition, away from the security system confined to the digital door lock itself, the owner of the house from the house checks the face of the visitor, especially if he is located far away from the house, and directly checks the face of the visitor. In some cases, the convenience of opening or closing the front door is required, and a security system technology using face recognition for such a case is required.
본 발명은 상술한 바와 같은 기술적 배경에서 안출된 것으로, 도어록에 접근한 사용자의 얼굴 영상에서 눈 위치를 센싱하고, 홍채 카메라를 통해 홍채 영상을 획득한다. 이후, 홍채 패턴을 비교함으로써, 도어록에 접근한 사용자 인증을 한다. The present invention has been made in the technical background as described above, the eye position is sensed in the face image of the user approaching the door lock, and the iris image is obtained through the iris camera. Then, by comparing the iris pattern, the user authentication to access the door lock.
또한, 틸트 매커니즘(Tilt Mechanism)이 적용된 홍채 카메라를 통해 사용자의 홍채 패턴 정보를 획득함으로써, 생체 정보의 변화 가능성으로 인한 인식 성능 저하를 방지한다.In addition, by obtaining the iris pattern information of the user through the iris camera to which the tilt mechanism (Tilt Mechanism) is applied, the recognition performance due to the possibility of changing the biometric information is prevented.
선택적으로, 모바일 디바이스와의 통신이 가능한 통신 모듈을 제공하고, 모바일 디바이스로부터 생체 정보를 수신하고 이를 보안 시스템에 등록함으로써, 보안 시스템의 사용자 등록을 보다 용이하게 하여 편의성을 향상 시킨다.Optionally, by providing a communication module capable of communicating with the mobile device and receiving biometric information from the mobile device and registering it with the security system, user convenience of the security system can be more easily improved.
또한, 사용자 이동통신단말기를 이용해, 방문한 사람의 얼굴을 확인하여 특히, 집에서 멀리 떨어진 곳에 위치해 있을 경우 방문한 사람의 얼굴을 직접 확인하여 그에 따라 자기 집 현관문을 열리도록 하거나 닫히도록 하는 사용자 편의성을 향상 시킨다.In addition, by checking the face of the visitor using the user's mobile communication terminal, in particular, when the user is located far from home, the user's convenience to directly check the face of the visitor to open or close the front door accordingly Improve.
전술한 과제를 해결하기 위한 본 발명의 일 면에 따른 도어록은, 사용자 접근을 인식하거나, 사용자의 버튼 입력에 따라 상기 도어록을 구동시키는 웨이크업(wake up) 모듈, 웨이크업 모듈에 의해 도어록이 구동되면, 도어록에 입력된 홍채 패턴을 기 저장된 홍채 패턴과 비교하고 비교 결과에 따라 도어록에 접근한 사용자를 인증하는 홍채 인식모듈을 포함한다. According to an aspect of the present invention, a door lock is driven by a wake up module or a wake up module that recognizes a user's approach or drives the door lock according to a user's button input. The iris recognition module includes a iris recognition module for comparing the iris pattern input to the door lock with a pre-stored iris pattern and for authenticating a user accessing the door lock according to the comparison result.
홍채 인식모듈은 도어록이 구동되면, 상기 도어록에 접근한 사용자의 얼굴 영상을 획득하는 얼굴 촬영부, 얼굴 촬영부에 의해 획득된 사용자의 얼굴영상에서 눈 위치를 센싱하는 눈 위치 센싱부, 눈 위치 센싱 결과에 따라, 홍채 촬영부의 기울기를 조정하고, 홍채 촬영 제어 신호를 생성하는 서보(servo) 제어부, 홍채 촬영 제어 신호를 기초로, 상기 도어록으로 접근한 사용자의 홍채를 촬영하는 홍채 촬영부 및 촬영된 홍채의 패턴을 기 저장된 홍채의 패턴과 비교하는 홍채 패턴 비교부를 포함하고 상기 비교 결과에 따라 상기 도어록에 접근한 사용자를 인증한다.When the door lock is driven, the iris recognition module acquires a face image of the user approaching the door lock, an eye position sensing unit for sensing an eye position in the face image of the user acquired by the face photographing unit, and an eye position sensing. According to the result, a servo control unit for adjusting the inclination of the iris photographing unit and generating an iris photographing control signal, an iris photographing unit photographing the iris of the user approaching the door lock based on the iris photographing control signal An iris pattern comparison unit for comparing the iris pattern with a pre-stored iris pattern, and authenticates the user accessing the door lock according to the comparison result.
홍채 촬영부는 서보(servo) 제어부로부터 획득한 상기 홍채 촬영 신호에 의해 틸트 메커니즘(tilt mechanism)이 제어되어, 상기 센싱된 눈 위치에 따라 기울어 진다.The iris imaging unit controls the tilt mechanism by the iris imaging signal obtained from the servo control unit, and tilts according to the sensed eye position.
웨이크업 모듈은, 도어록으로 접근하는 물체의 존재여부를 센싱하는 적어도 하나의 접근 인식 센서 및 도어록으로 접근한 사용자로부터 버튼 입력을 획득하는 입력부를 포함하여, 센싱 결과와 버튼 입력 신호에 따라 도어록을 구동시키는 것이다.The wake-up module includes at least one access recognition sensor for sensing the presence of an object approaching the door lock and an input unit for obtaining a button input from a user approaching the door lock, and drives the door lock according to the sensing result and the button input signal. It is to let.
본 발명의 다른 일면에 따른 보안 시스템은 사용자의 홍채를 포함한 생체정보를 획득하는 모바일 디바이스 및 모바일 디바이스로부터 생체정보를 수신하여 수신된 생체정보를 저장하고, 저장된 생체정보와 사용자로부터 입력된 생체정보를 비교하여, 비교 결과를 기초로 사용자를 인증하는 도어록을 포함한다.According to another aspect of the present invention, a security system receives biometric information from a mobile device and a mobile device for obtaining biometric information including an iris of a user, stores the received biometric information, and stores the stored biometric information and the biometric information input from the user. In comparison, a door lock for authenticating a user based on the comparison result is included.
생채 정보는 홍채 패턴 정보, 지문 정보, 망막 정보, 안면 정보를 포함하는 고유한 식별 정보이다.The raw vegetable information is unique identification information including iris pattern information, fingerprint information, retina information, and facial information.
본 발명의 또 다른 일면에 따른 보안을 위한 사용자 인증 방법은 사용자의 접근을 센싱하는 단계, 센싱 결과에 따라, 도어록이 구동되는 경우 상기 접근한 사용자의 얼굴 영상을 획득하는 단계, 획득한 사용자의 얼굴영상에서 눈 위치를 센싱하는 단계, 센싱한 눈 위치를 기초로 홍채 카메라로 상기 사용자의 홍채 영상을 획득하는 단계 및 획득한 홍채 영상에서 추출된 홍채 패턴과 기 저장된 홍채 패턴을 비교하고, 비교 결과에 따라 상기 사용자를 인증하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method for authenticating a user, the method comprising: sensing an access of a user, acquiring an image of the accessed user's face when the door lock is driven according to a sensing result; Sensing the eye position in the image, acquiring an iris image of the user with the iris camera based on the sensed eye position, and comparing the iris pattern extracted from the obtained iris image with a previously stored iris pattern, Accordingly, authenticating the user.
사용자의 홍채 영상을 획득하는 단계는 서보(servo)제어를 통해 홍채 카메라의 기울기 또는 작동을 제어함으로써, 사용자의 홍채 영상을 획득한다.The obtaining of the iris image of the user may be performed by controlling the inclination or operation of the iris camera through servo control, thereby obtaining the iris image of the user.
홍채 영상을 획득하는 단계는 홍채 카메라로 홍채 영상을 획득하는 단계 및, 획득된 홍채 영상에서 홍채 패턴을 추출하는 단계를 포함한다.Acquiring an iris image may include acquiring an iris image with an iris camera, and extracting an iris pattern from the obtained iris image.
기 저장된 홍채 패턴은 통신기능을 구비한 모바일 디바이스로부터 수신한 홍채 영상에서 홍채 패턴을 추출하여, 추출된 홍채 패턴을 데이터 베이스화 하거나, 도어록에서 홍채를 촬영하여, 촬영된 홍채 영상에서 홍채 패턴을 추출하고, 추출된 홍채 패턴을 데이터 베이스화 한 것이다.The pre-stored iris pattern extracts the iris pattern from the iris image received from the mobile device having the communication function, and makes a database of the extracted iris pattern, or photographs the iris from the door lock, and extracts the iris pattern from the photographed iris image. This is a database of extracted iris patterns.
상기 목적을 달성하기 위한 또 다른 본 발명에 따른 도어록 시스템은, Another door lock system according to the present invention for achieving the above object,
디지털 도어록이 방문자의 얼굴 영상을 획득하여 사용자 이동통신단말기로 제공하고, 사용자 이동통신단말기가 방문자의 얼굴 영상을 표시하며 사용자로부터 입력받은 문 열림 제어 신호에 따라 디지털 도어록의 문 열림 동작을 제어하는 것을 특징으로 한다.The digital door lock acquires the visitor's face image and provides it to the user's mobile communication terminal, and the user's mobile communication terminal displays the visitor's face image and controls the door opening operation of the digital door lock according to the door open control signal input from the user. It features.
구체적인 구조는, 디지털 도어록, 상기 디지털 도어록에 접근한 방문자의 얼굴 영상을 전송할 사용자 이동통신단말기의 단말기 정보를 등록하고, 상기 단말기 정보가 등록된 사용자 이동통신단말기와 상기 디지털 도어록에 네트워킹하는 네트워크 게이트웨이, 상기 네트워크 게이트웨이에 등록된 단말기 정보를 가진 사용자 이동통신단말기 및, 상기 네트워크 게이트웨이와 상기 사용자 이동통신단말기의 위치 정보를 수집 확보하여 상호 간에 연결되도록 하는 위치 서버(Location Server)를 포함하여 구성되는 것을 특징으로 한다.A specific structure may include a digital door lock, a network gateway for registering terminal information of a user mobile communication terminal to transmit a face image of a visitor who has accessed the digital door lock, and networking the terminal door with the registered user mobile communication terminal and the digital door lock; And a location server configured to collect and secure location information of the network gateway and the user mobile communication terminal so as to be connected to each other by collecting and securing location information of the network gateway and the user mobile communication terminal. It is done.
본 발명에 따르면, 홍채인식을 통한 사용자 인증 과정을 통해 높은 보안 수준을 제공한다. According to the present invention, a high security level is provided through a user authentication process through iris recognition.
또한, 사용자의 홍채 패턴 정보를 획득함으로써, 생체 정보의 변화 가능성 등으로 인한 인식 성능 저하를 방지한다.In addition, by obtaining the iris pattern information of the user, it is possible to prevent a decrease in recognition performance due to the possibility of changing the biometric information.
선택적으로, 모바일 디바이스로부터 생체 정보를 수신하고 이를 보안 시스템에 등록함으로써, 등록을 보다 용이하게 하여 편의성을 향상 시킨다.Optionally, by receiving biometric information from the mobile device and registering it with the security system, registration is made easier to improve convenience.
그리고, 사용자 이동통신단말기를 이용해, 방문한 사람의 얼굴을 확인한 후 특히, 집에서 멀리 떨어진 곳에 위치해 있을 경우 사용자(예: 집 주인)에게 집을 방문한 사람이 있음을 알려주고, 방문한 사람의 얼굴을 직접 확인한 후 그에 따라 자기 집 현관문을 열리도록 하거나 닫히도록 하는 사용자 편의성을 향상 시킨다.After checking the visitor's face using the user's mobile communication terminal, in particular, if the user is located far from home, the user (for example, the owner of the house) is notified that the visitor has been visited, and the face of the visitor is checked directly. This improves the user's convenience of opening or closing the front door of their home.
도 1은 본 발명의 실시예에 따른 보안 시스템을 나타낸 도면이다.1 is a diagram illustrating a security system according to an embodiment of the present invention.
도 2a 내지 도 2b는 본 발명의 실시예에 따른 홍채 인식 모듈이 적용된 도어록의 구성을 나타낸 도면이다.2a to 2b is a view showing the configuration of the door lock to which the iris recognition module according to an embodiment of the present invention is applied.
도 3은 본 발명의 실시예에 따른 도어록의 구성을 상세하게 나타낸 도면이다.3 is a view showing in detail the configuration of the door lock according to an embodiment of the present invention.
도 4는 본 발명의 실시예에 따른 홍채 인식 모듈의 기구 구성 예를 나타낸 도면이다.4 is a diagram showing an example of the configuration of the mechanism of the iris recognition module according to an embodiment of the present invention.
도 5a 내지 도 5b는 본 발명의 일실시예에 따른 얼굴 촬영 카메라 및 홍채 카메라의 기울기 조정 실시예를 나타낸 도면이다.5A to 5B are diagrams illustrating embodiments of inclination adjustment of a face photographing camera and an iris camera according to an embodiment of the present invention.
도 6은 본 발명의 일실시예에 따른 보안 시스템의 신호 흐름도이다. 6 is a signal flow diagram of a security system according to an embodiment of the present invention.
도 7은 본 발명의 다른 실시예에 따른 사용자의 인증을 위한 보안 시스템 동작 과정을 나타낸 도면이다.7 is a flowchart illustrating a security system operation process for authenticating a user according to another embodiment of the present invention.
도 8은 본 발명의 실시예에 따른 도어록에서의 사용자 인증 과정을 상세히 나타낸 흐름도이다. 8 is a flowchart illustrating a user authentication process in a door lock according to an embodiment of the present invention in detail.
도 9a 내지 도 9c는 본 발명의 실시예에 따른 도어록에 접근한 사용자의 키에 따라 사용자의 얼굴과 홍채를 촬영하는 실시예를 보여주는 도면이다.9A to 9C are views illustrating an embodiment of photographing a face and an iris of a user according to a key of a user approaching a door lock according to an embodiment of the present invention.
도 10은 본 발명에 따른 도어록 시스템의 구성을 도시한 도면이다.10 is a view showing the configuration of a door lock system according to the present invention.
도 11은 본 발명에 따른 도어록 시스템의 동작을 설명하기 위한 도면이다.11 is a view for explaining the operation of the door lock system according to the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms, and only the present embodiments are intended to complete the disclosure of the present invention, and the general knowledge in the art to which the present invention pertains. It is provided to those skilled in the art to easily understand the scope of the invention, which is defined by the description of the claims. Meanwhile, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” or “comprising” means the presence of one or more other components, steps, operations and / or elements other than the components, steps, operations and / or elements mentioned or Does not exclude additional
본 명세서에서 사용되는 '모듈' 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 직접 회로, 직접 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다. The term 'module', as used herein, should be interpreted to include software, hardware or a combination thereof, depending on the context in which the term is used. For example, the software can be machine language, firmware, embedded code, and application software. As another example, the hardware may be a circuit, a processor, a computer, an integrated circuit, an integrated circuit core, a sensor, a micro-electro-mechanical system (MEMS), a passive device, or a combination thereof.
설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 용어의 설명은 본 명세서의 이해를 돕기 위한 것으로서 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.Prior to the description, the meaning of terms used in the present specification will be briefly described. It is to be noted that the terminology is provided for the purpose of understanding the specification and is not used to limit the technical spirit of the present invention unless it is explicitly described as limiting the present invention.
-서보 제어(servo control)Servo control
서보제어는 일종의 되먹임(feedback)제어의 일종으로서, 제어량이 목표값을 따라가도록 하는 제어 방식이다.Servo control is a kind of feedback control, and is a control method in which a control amount follows a target value.
본 발명에서는 도어록으로 접근한 사용자의 얼굴 영상에서 눈 위치를 센싱 하여, 서보 제어를 통해 틸트 메커니즘(Tilt Mechanism)이 적용된 홍채 카메라의 기울기와 동작을 조정하여, 홍채 패턴을 획득한다. 이후, 획득된 홍채 패턴을 기 저장된 홍채 패턴과 비교하고, 비교 결과에 따라 도어록에 접근한 사용자를 인증한다. In the present invention, the eye position is sensed in the face image of the user approaching the door lock, and the iris pattern is obtained by adjusting the tilt and motion of the iris camera to which the tilt mechanism is applied through servo control. Thereafter, the obtained iris pattern is compared with previously stored iris patterns, and the user who accesses the door lock is authenticated according to the comparison result.
이제 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 보안 시스템을 나타낸 도면이다.1 is a diagram illustrating a security system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시예에 따른 보안 시스템은 모바일 디바이스(100), 도어록(200) 및 외부장치(300)를 포함한다.Referring to FIG. 1, a security system according to an embodiment of the present invention includes a mobile device 100, a door lock 200, and an external device 300.
모바일 디바이스(100)는 사용자의 홍채영상 등을 포함한 생체 정보를 획득한다. 예를 들어, 모바일 디바이스(100)는 구비된 카메라 등을 통해 사용자의 눈 등을 촬영하여 홍채 패턴 정보를 포함하는 생체 정보를 획득한다. 획득된 생체 정보는 데이터 처리과정을 거쳐 도어록(200)로 전송된다. 여기서, 모바일 디바이스(110)는 사용자 개개인이 휴대하며 사용하는 기기에 해당된다. 하지만, 모바일 디바이스(110)는 휴대용 기기에 한정되는 것은 아니다. 예를 들어, 통신 기능, 촬영기능 및 생체 정보 센싱 기능이 구비된 휴대폰, 모바일 컴퓨터 등이 될 수 있다.The mobile device 100 obtains biometric information including an iris image of the user. For example, the mobile device 100 acquires biometric information including iris pattern information by photographing an eye of a user through a provided camera or the like. The obtained biometric information is transmitted to the door lock 200 through data processing. Herein, the mobile device 110 corresponds to a device that is carried and used by each user. However, the mobile device 110 is not limited to a portable device. For example, it may be a mobile phone, a mobile computer, or the like equipped with a communication function, a photographing function, and a biometric information sensing function.
도어록(200)은 모바일 디바이스(100)로부터 생체 정보를 수신하여 수신된 생체 정보를 저장한다. 이후, 저장된 생체정보와 사용자로부터 입력된 생체정보를 비교하여, 비교 결과를 기초로 사용자를 인증한다. 이를 위한 일실시예에 따른 도어록(200)은, 웨이크업 모듈(210), 마이크로 컨트롤러(Micro Controller)(230), 홍채 인식모듈(250), 암호키 입력모듈(270) 및 통신모듈(290)을 포함한다.The door lock 200 receives biometric information from the mobile device 100 and stores the received biometric information. Thereafter, the stored biometric information is compared with the biometric information input from the user, and the user is authenticated based on the comparison result. Door lock 200 according to an embodiment for this, a wake-up module 210, a micro controller (Micro Controller) 230, iris recognition module 250, encryption key input module 270 and communication module 290 It includes.
웨이크업 모듈(210)은 센서를 통해 사용자 접근을 인식하거나, 사용자의 버튼 입력에 따라 웨이크업(Wake up) 신호를 생성하여 도어록(200)를 구동시킨다. 생성된 웨이크업 신호는 마이크로 컨트롤러(230)를 거쳐 홍채 인식 모듈(250)로 입력된다.The wakeup module 210 recognizes a user's approach through a sensor or generates a wake up signal according to a user's button input to drive the door lock 200. The generated wakeup signal is input to the iris recognition module 250 via the microcontroller 230.
홍채 인식모듈(250)은 도어록(200)이 구동되면, 도어록(200)에 입력된 홍채 패턴을 기 저장된 홍채 패턴과 비교하고, 비교 결과에 따라 도어록(200)에 접근한 사용자를 인증한다.When the door lock 200 is driven, the iris recognition module 250 compares the iris pattern input to the door lock 200 with previously stored iris patterns, and authenticates the user approaching the door lock 200 according to the comparison result.
본 발명은 홍채 인식을 통해, 도어록에 접근한 사용자를 인증하기 위한 것으로, 후술하는 암호키 입력을 통한 사용자 인증은 홍채 인증과 별개로, 사용자 인증에 적용한다. 구체적으로, 본 발명의 바람직한 실시 예 에서는 홍채 패턴 비교를 통해 사용자를 인증한다. 암호키 입력을 통한 인증 과정은 홍채 인증을 과정 이후에는 거치지 않거나, 암호키 입력을 통한 인증 과정만을 사용자 인증과정으로 거친다. The present invention is for authenticating a user accessing a door lock through iris recognition, and user authentication through encryption key input described later applies to user authentication separately from iris authentication. Specifically, in the preferred embodiment of the present invention, the user is authenticated by comparing the iris pattern. The authentication process through the encryption key input does not go through the iris authentication process, or the authentication process through the encryption key input goes through the user authentication process.
암호키 입력모듈(290)은 도어록에 접근한 사용자를 인증하기 위해, 사용자로부터 암호키를 입력 받는다. 이후, 입력된 암호키를 기 설정된 암호키와 비교하여, 비교 결과에 따라 사용자를 인증한다.The encryption key input module 290 receives an encryption key from the user to authenticate the user accessing the door lock. Thereafter, the input encryption key is compared with the preset encryption key, and the user is authenticated according to the comparison result.
통신모듈(290)은 블루투스(Bluetooth)통신, 적외선(IrDA, Infrared Data Association) 통신, RFID(Radio Frequency Identification) 통신, 지그비(Zigbee), NFC(Near Field Communication) 등과 같은 근거리 무선통신 기반의 통신 기능을 지원한다. 일실시예에서는 통신모듈(290)을 이용하여, 모바일 디바이스(100)로부터 사용자의 생체 정보를 실시간 수신하거나, 도어록(200)이 사용자 인증 현황 정보 등을 모바일 디바이스(100)에 전송함으로써, 사용자에게 도어록(200)의 인증 현황 정보를 실시간으로 제공할 수 있다. The communication module 290 is a communication function based on short-range wireless communication such as Bluetooth communication, Infrared Data Association (IrDA) communication, Radio Frequency Identification (RFID) communication, Zigbee, Near Field Communication (NFC), and the like. Support. In one embodiment, by using the communication module 290, the user's biometric information is received in real time from the mobile device 100, or the door lock 200 transmits the user authentication status information, etc. to the mobile device 100, The authentication status information of the door lock 200 may be provided in real time.
외부 장치(300)는 도어록(200)에 등록해야 하는 사용자들의 생체 정보 등이 저장된 디바이스로서, 외부장치(300)에 저장된 데이터를 도어록(200)로 전달한다. 외부 장치(300)는 생체 정보를 포함하는 각종 데이터를 저장하며, 하나 이상의 비휘발성 메모리와 휘발성 메모리로 구성될 수 있다. 본 발명에서 상기 ROM(Read Only Memory), 플래시 메모리(flash memory), RAM(Random Access Memory), 내장 하드디스크(HDD, Hard Disk), 외장 하드디스크, 외부 저장매체(예를 들어, USB) 등 중 적어도 하나로 구성될 수 있다. The external device 300 is a device in which biometric information of users who should be registered in the door lock 200 is stored and transmits data stored in the external device 300 to the door lock 200. The external device 300 stores various data including biometric information, and may include one or more nonvolatile memories and volatile memories. In the present invention, the ROM (Read Only Memory), flash memory (flash memory), RAM (Random Access Memory), internal hard disk (HDD, Hard Disk), external hard disk, external storage medium (for example, USB), etc. It may be composed of at least one of.
도 2a 내지 도 2b는 본 발명의 실시예에 따른 홍채 인식 모듈이 적용된 도어록의 구성을 나타낸 도면이다.2a to 2b is a view showing the configuration of the door lock to which the iris recognition module according to an embodiment of the present invention is applied.
도 2a 내지 도 2b를 참조하면, 실시예에서 홍채 인식 모듈이 적용된 도어록은, 광학 윈도우(Optical window)(210), 입력 키 패드(230) 및 홍채 인식 모듈(미도시)을 포함한다. 실시예에서는 도어록으로 설명하지만, 이에 한정되는 것이 아님은 물론이다.2A to 2B, in the embodiment, the door lock to which the iris recognition module is applied includes an optical window 210, an input keypad 230, and an iris recognition module (not shown). In the embodiment described as a door lock, but is not limited to this, of course.
도 2b를 참조하면, 실시예에 따른 도어록(200)의 홍채 인식 모듈(250)은 얼굴 촬영카메라(251), 홍채 카메라(253) 및 프로세서 보드(255)로 구성된다. 2B, the iris recognition module 250 of the door lock 200 according to the embodiment includes a face photographing camera 251, an iris camera 253, and a processor board 255.
얼굴 촬영카메라(251)는 도어록에 접근한 사용자의 얼굴을 촬영한다. 촬영된 얼굴 영상에서 눈 위치가 센싱 되면, 홍채 카메라(253)는 센싱된 눈 위치 정보를 기반으로 사용자의 홍채를 촬영하여 홍채 영상을 획득한다. 이때, 홍채 카메라(253)에는 틸트 메커니즘(tilt mechanism)이 적용되어 있어, 서보 제어(servo control)에 의해 홍채 카메라(253)의 기울기 및 동작이 제어된다. 이후, 프로세서 보드(255)는 홍채 영상에서 홍채 패턴 등을 추출하여 기 저장된 홍채 패턴과 비교함으로써, 비교 결과에 따라 사용자의 초기 보안 인증을 수행한다.The face photographing camera 251 photographs the face of the user approaching the door lock. When the eye position is sensed in the captured face image, the iris camera 253 acquires an iris image by capturing the iris of the user based on the sensed eye position information. At this time, a tilt mechanism is applied to the iris camera 253, and the tilt and operation of the iris camera 253 are controlled by servo control. Thereafter, the processor board 255 extracts an iris pattern from an iris image and compares the iris pattern with a previously stored iris pattern to perform initial security authentication of the user according to the comparison result.
이하, 도 3을 이용하여 도어록(예컨대, 도어록)의 동작 과정에 대해 보다 상세하게 설명하도록 한다.Hereinafter, an operation process of the door lock (eg, door lock) will be described in more detail with reference to FIG. 3.
도 3은 본 발명의 실시예에 따른 도어록의 구성을 상세하게 나타낸 도면이다.3 is a view showing in detail the configuration of the door lock according to an embodiment of the present invention.
도 3을 참조하면, 일실시예에 따른 도어록은 웨이크업 모듈(210) 및 홍채 인식 모듈(250) 등을 포함하고, 홍채 인식모듈(250)은 프로세서(251), 얼굴 촬영부(253), 눈 위치 센싱부(255), 서보 제어부(257), 홍채 촬영부(258) 및 홍채 패턴 비교부(259)를 포함한다.Referring to FIG. 3, the door lock according to an embodiment includes a wake-up module 210, an iris recognition module 250, and the like. The iris recognition module 250 includes a processor 251, a face photographing unit 253, An eye position sensing unit 255, a servo control unit 257, an iris imaging unit 258, and an iris pattern comparison unit 259 are included.
웨이크업 모듈(210)은 도어록(200)으로 접근한 물체의 존재 여부를 센싱하여, 센싱 정보(a)를 마이크로 컨트롤러(230)로 입력한다. 예를 들어, 웨이크업 모듈(210)은 접근 인식센서(213)로 도어록에 근접한 물체를 인식하거나, 입력부(215)를 통해 사용자로부터 입력 신호를 획득하여, 도어록을 구동시키기 위한 웨이크업(wake up)신호를 생성한다. 생성된 웨이크업 신호(a)는 마이크로 컨트롤러(230)로 입력된다.The wakeup module 210 senses the presence or absence of an object approaching the door lock 200 and inputs the sensing information a to the microcontroller 230. For example, the wakeup module 210 recognizes an object close to the door lock with the proximity recognition sensor 213, or obtains an input signal from the user through the input unit 215, and wakes up to drive the door lock. Generate a signal. The generated wake-up signal a is input to the microcontroller 230.
마이크로 컨트롤러(230)는 웨이크업 모듈(210)로부터 획득한 웨이크업 신호(a) 기반으로 사용자로부터 올바른 입력을 획득하거나, 도어록에 사람이 접근했다고 판단하면, 촬영 시작 신호(b)를 홍채 인식 모듈(250)의 프로세서(251)로 전달한다.The microcontroller 230 acquires the correct input from the user based on the wake-up signal a obtained from the wake-up module 210, or determines that a person has approached the door lock, and outputs a recording start signal b to the iris recognition module. Transfer to processor 251.
홍채 인식 모듈(250)의 프로세서(251)는 입력된 촬영 시작 신호(b)에 따라 얼굴 촬영부(253)로 얼굴 촬영 신호(c)를 입력한다. 그러면, 얼굴 촬영부(253)는 도어록(200)으로 근접한 사용자의 얼굴을 촬영한다. 예를 들어, 얼굴 촬영부(253)는 사용자의 얼굴 촬영이 가능한 카메라, CMOS 및 DMOS와 같은 소자가 될 수 있다.The processor 251 of the iris recognition module 250 inputs the face photographing signal c to the face photographing unit 253 according to the input photographing start signal b. Then, the face photographing unit 253 photographs the face of the user close to the door lock 200. For example, the face photographing unit 253 may be a device such as a camera, a CMOS, and a DMOS capable of photographing a face of a user.
사용자의 얼굴 촬영 이후, 얼굴 이미지 데이터(d)는 눈 위치 센싱부(255)로 전달된다. 눈 위치 센싱부(255)는 전달받은 얼굴 이미지 데이터(d)에서 에지 검출 등을 포함하는 일반적인 이미지 처리 과정을 거쳐 눈 위치를 센싱한다. 예를 들어, 눈 위치 센싱부(255)는 얼굴 영역 내의 좌안 및 우안의 좌표를 센싱하여, 센싱된 두 눈의 좌표 정보(e1, e2)를 홍채 촬영부(258)와 프로세서(251)로 전달한다. 프로세서(251)는 전달받은 눈의 좌표 정보(e1)를 통해, 눈의 위치가 확인 되면, 홍채 촬영 신호를 생성하여, 생성된 홍채 촬영 제어 신호(f)를 서보(servo) 제어부(257)로 전달한다. 여기서, 홍채 촬영 제어 신호(f)에는 눈 위치에 따른 홍채 카메라의 기울기 제어 신호 및 홍채 카메라 동작 신호 등이 포함된다. After capturing the face of the user, the face image data d is transferred to the eye position sensing unit 255. The eye position sensing unit 255 senses the eye position through a general image processing process including edge detection from the received face image data d. For example, the eye position sensing unit 255 senses coordinates of the left and right eyes in the face area, and transmits the coordinate information e1 and e2 of the sensed two eyes to the iris imaging unit 258 and the processor 251. do. The processor 251 generates an iris photographing signal when the position of the eye is identified through the received coordinate information e1 of the received eye, and transmits the generated iris photographing control signal f to the servo controller 257. To pass. Here, the iris photographing control signal f includes a tilt control signal of the iris camera and an iris camera operation signal according to the eye position.
서보 제어부(257)는 입력받은 홍채 촬영 제어 신호(f)를 기반으로 촬영신호(g)를 생성하여 홍채 촬영부(258)로 입력한다. The servo controller 257 generates a photographing signal g based on the received iris photographing control signal f and inputs it to the iris photographing unit 258.
홍채 촬영부(258)는 입력된 촬영 신호(g)에 따라, 기 획득한 눈의 좌표 정보(e2)를 기반으로 사용자의 홍채를 촬영한다. 사용자의 홍채 영상이 획득되면, 상기 홍채 영상에서 홍채 패턴 등 사용자의 고유 생체 정보를 추출한다. 이후, 홍채 촬영부(258)는 추출된 고유 생체 정보(h)를 홍채 비교부(259)로 전달한다.The iris photographing unit 258 photographs the iris of the user based on previously acquired eye coordinate information e2 according to the input photographing signal g. When the iris image of the user is obtained, the biometric information of the user, such as an iris pattern, is extracted from the iris image. Thereafter, the iris photographing unit 258 transmits the extracted unique biometric information h to the iris comparing unit 259.
홍채 비교부(259)는 전달받은 홍채 패턴 등을 포함하는 고유 생체 정보(h)를 기 저장된 고유 생체 정보와 비교한다. 비교 결과 정보(i)는 프로세서(251)로 입력된다.The iris comparison unit 259 compares the unique biometric information h including the received iris pattern with the stored unique biometric information. The comparison result information i is input to the processor 251.
프로세서(251)는 입력된 비교 결과 정보(i)에 따라, 사용자의 인증여부를 판단한다. 만약, 입력된 생채 정보와 저장된 생체 정보가 일치하면, 프로세서(251)는 상기 사용자에 대해 인증을 완료한다.The processor 251 determines whether the user is authenticated according to the input comparison result information (i). If the input biometric information and the stored biometric information match, the processor 251 completes authentication of the user.
본 발명의 다른 실시예에서는 암호 입력만을 통해 도어록에 접근한 사용자를 인증할 수 있다. 본 발명은 홍채 인식과 홍채 패턴 비교를 통해 사용자 인증을 수행한다. 후술되는 암호 입력을 통한 사용자 인증은 홍채 인식을 통한 인증과정과는 독립적, 개별적으로 수행된다. In another embodiment of the present invention, it is possible to authenticate a user accessing the door lock only by inputting a password. The present invention performs user authentication through iris recognition and iris pattern comparison. User authentication through password input described below is performed independently and independently from the authentication process through iris recognition.
마이크로 컨트롤러(230)는 입력된 인증 수행 신호(k)를 암호키 입력모듈(270)의 암호 입력부(271)로 전달한다.The microcontroller 230 transmits the input authentication performance signal k to the cryptographic input unit 271 of the cryptographic key input module 270.
암호 입력부(271)는 입력된 인증 수행 신호(k)에 따라, 사용자로부터 텐키(ten key), 패턴 등의 기 설정된 암호키를 입력받는다. 입력된 암호키 정보(n)는 판단부(273)로 전달된다.The encryption input unit 271 receives a predetermined encryption key such as a ten key or a pattern from the user according to the input authentication performance signal k. The input encryption key information n is transmitted to the determination unit 273.
판단부(273)는 사용자로부터 입력받은 암호키와 기 설정된 암호키를 비교함으로써, 상기 비교 결과에 따라 사용자를 인증한다. 예를 들어, 입력된 암호키와 저장된 암호키가 일치하면, 도어 오픈 신호 및 인증 완료 신호(m)를 마이크로 컨트롤러(230)로 전달하여 도어록 오픈 등을 수행한다. 반면, 입력된 암호키와 저장된 암호키가 상이하면, 암호 입력부(271)로 재입력 신호를 전달하여, 사용자가 암호키를 다시 입력하게 한다. The determination unit 273 authenticates the user according to the comparison result by comparing the encryption key input from the user with a predetermined encryption key. For example, when the input encryption key and the stored encryption key match, the door open signal and the authentication completion signal m are transmitted to the microcontroller 230 to perform the door lock opening. On the other hand, if the input encryption key and the stored encryption key is different, the re-entry signal is transmitted to the encryption input unit 271, so that the user inputs the encryption key again.
도 4는 본 발명의 실시예에 따른 홍채 인식 모듈의 기구 구성 예를 나타낸 도면이다.4 is a diagram showing an example of the configuration of the mechanism of the iris recognition module according to an embodiment of the present invention.
도 4a 내지 도 4c는 일실시예에 따른 홍채 인식 모듈을 포함한 도어록 장치의 정면도 및 측면도이다. 4A to 4C are front and side views of a door lock device including an iris recognition module according to an embodiment.
도 4a 내지 도 4c를 참조하면, 얼굴 촬영부(253)는 고정된 카메라(410)로 대응되고, 홍채 촬영부(258)는 틸트 메커니즘(tilt mechanism)이 적용된 홍채 카메라(430)로 대응되고, 서보 제어부(257)는 서보 모터(440)로 대응된다.4A to 4C, the face photographing unit 253 corresponds to the fixed camera 410, and the iris photographing unit 258 corresponds to the iris camera 430 to which a tilt mechanism is applied. The servo controller 257 corresponds to the servo motor 440.
아울러, 웨이크업 모듈(110)의 접근 인식 센서(113)는 도 4a 내지 도 4c에 도시된 적어도 하나의 센서(420)에 대응된다.In addition, the approach recognition sensor 113 of the wake-up module 110 corresponds to at least one sensor 420 illustrated in FIGS. 4A to 4C.
구체적으로, 접근 인식 센서(420)가 도어록으로 사용자 접근을 인식하면, 얼굴 촬영 카메라(410)는 접근 사용자의 얼굴을 촬영한다. 이후, 촬영된 얼굴 영상의 얼굴 영역에서 눈 위치를 센싱한다.Specifically, when the approach recognition sensor 420 recognizes the user's approach with the door lock, the face photographing camera 410 photographs the face of the approaching user. Thereafter, the eye position is sensed in the face area of the captured face image.
눈 위치 센싱 이후, 서보 모터(440)와 연결된 축(441)에 의해, 틸트 메커니즘이 적용된 홍채 카메라(430)의 기울기가 제어되고, 기울기에 따라 홍채 카메라(430)의 각도가 조정되어, 사용자의 홍채를 촬영한다.After the eye position sensing, the inclination of the iris camera 430 to which the tilt mechanism is applied is controlled by the axis 441 connected to the servo motor 440, and the angle of the iris camera 430 is adjusted according to the inclination. Shoot the iris.
도 5a 내지 도 5b는 본 발명의 일실시예에 따른 얼굴 촬영 카메라 및 홍채 카메라의 기울기 조정 실시예를 나타낸 도면이다. 5A to 5B are diagrams illustrating embodiments of inclination adjustment of a face photographing camera and an iris camera according to an embodiment of the present invention.
도 5a 내지 도 5b를 참조하면, 사용자 접근 센싱에 의해 동작된 얼굴 촬영 카메라(410)는 θ1의 각도 내에서 사용자의 얼굴을 촬영한다. 이후, 촬영된 얼굴 영상에서 눈 위치가 센싱되면, 서보 제어에 의해 홍채 카메라의 기울기가 조정되어, 홍채 카메라의 촬영각 θ2내에 위치하는 사용자의 홍채를 촬영한다. 5A to 5B, the face photographing camera 410 operated by user approach sensing captures a face of a user within an angle of θ1. Subsequently, when the eye position is sensed in the photographed face image, the tilt of the iris camera is adjusted by the servo control to capture the iris of the user located within the photographing angle θ2 of the iris camera.
일실시예에 따른 홍채 카메라는 촬영해야 하는 사용자의 눈 위치에 따라, 홍채 카메라의 기울기 각도가 조정된다. 예를 들어, 도 5a에 도시된 바와 같이, 키가 큰 사용자일 경우, 사용자의 눈 위치가 상대적으로 높으므로, 홍채 카메라의 기울기 및 동작을 제어하는 서보 제어부(257)는 홍채 카메라의 기울기 각도를 θ3으로 상향 조정한다. 반면, 키가 작은 사용자인 경우 눈 위치가 낮으므로 서보 제어부(257)는 홍채 카메라의 기울기 각도를 θ4로 하향 조정한다. In the iris camera according to an embodiment, the inclination angle of the iris camera is adjusted according to the eye position of the user to be photographed. For example, as illustrated in FIG. 5A, when the user is a tall user, since the position of the user's eyes is relatively high, the servo controller 257 for controlling the tilt and motion of the iris camera may adjust the tilt angle of the iris camera. Adjust upward to θ3. On the other hand, since the position of the eye is low in the case of a short user, the servo controller 257 adjusts the tilt angle of the iris camera downward to θ4.
도 6은 본 발명의 일실시예에 따른 보안 시스템의 신호 흐름도이다. 6 is a signal flow diagram of a security system according to an embodiment of the present invention.
S510 단계에서는 모바일 디바이스(100)에서 홍채를 포함하는 사용자의 생체 정보를 촬영하는 과정이 수행된다. 여기서, 모바일 디바이스(100)는 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다. 즉, 모바일 디바이스(100)는 유무선 통신망(140)을 경유하여 도어록(200)에 접속하기 위한 특정 어플리케이션을 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하고 있는 디바이스를 의미한다. 모바일 디바이스(100)는 개인 PC인 것이 일반적이지만, 관리 장치와 서버-클라이언트 통신이 가능하다면 그 어떠한 단말기도 가능하며, 노트북 컴퓨터, 이동통신 단말기, PDA 등 여하한 통신 컴퓨팅 장치를 모두 포함하는 넓은 개념이다. In operation S510, a process of photographing biometric information of a user including an iris is performed in the mobile device 100. Here, the mobile device 100 is a tablet PC (Tablet PC), laptop (Laptop), personal computer (PC: Personal Computer), smart phone (Smart Phone), personal digital assistant (PDA) and mobile communication The terminal may be one of a mobile communication terminal and the like. That is, the mobile device 100 may include a device having a memory for storing a specific application for accessing the door lock 200 via the wired / wireless communication network 140, a microprocessor for executing a program and controlling the same, and the like. it means. Although the mobile device 100 is generally a personal PC, any terminal may be used as long as the management device and the server-client communication are possible, and a broad concept including all communication computing devices such as a notebook computer, a mobile communication terminal, and a PDA may be used. to be.
S520 단계에서는 모바일 디바이스(100)에서 촬영한 데이터를 도어록(200)로 전송하는 과정이 수행된다. In operation S520, a process of transmitting data photographed by the mobile device 100 to the door lock 200 is performed.
S530 단계에서는 도어록(200)에서 촬영 데이터를 저장하는 과정이 수행된다.In operation S530, a process of storing photographing data is performed in the door lock 200.
S540 단계에서는 도어록(200)에서 상기 도어록으로의 물체 접근을 감지하거나, 사용자의 버튼 입력을 획득하는 경우, 도어록을 구동시키는 과정이 수행된다.In operation S540, when the door lock 200 detects an object approach to the door lock or acquires a user's button input, a process of driving the door lock is performed.
S550 단계에서는 도어록(200)이 구동되면, 도어록(200)에서 홍채 영상을 획득하는 과정이 수행된다. In operation S550, when the door lock 200 is driven, a process of acquiring an iris image from the door lock 200 is performed.
S560 단계에서는 도어록(200)에서 획득한 홍채 영상과 저장된 홍채 영상을 비교하는 과정이 수행된다. 만약, 획득한 홍채 영상과 저장된 홍채 영상이 일치하면, S570 단계에서는 도어록(200)에서 초기 인증 완료로 판단하여 도어를 오픈(open)하는 과정이 수행된다. 반면, 획득한 홍채 영상과 저장된 홍채 영상이 상이하면, S550 단계로 돌아가, 홍채 영상을 다시 획득하는 과정을 수행한다. In operation S560, a process of comparing the iris image obtained from the door lock 200 with the stored iris image is performed. If the acquired iris image and the stored iris image coincide with each other, in step S570, the door lock 200 determines that the initial authentication is completed and then opens the door. On the other hand, if the acquired iris image is different from the stored iris image, the process returns to step S550 to acquire the iris image again.
이후, S580 단계에서는 사용자의 선택에 따라, 도어록(200)에서 모바일 디바이스(100)로 인증 상황 정보를 전송하는 과정이 수행된다.Thereafter, in step S580, a process of transmitting authentication status information from the door lock 200 to the mobile device 100 is performed according to a user's selection.
도 7은 본 발명의 다른 실시예에 따른 사용자의 추가 인증을 위한 보안 시스템 동작 과정을 나타낸 도면이다.7 is a diagram illustrating a security system operation process for additional authentication of a user according to another embodiment of the present invention.
S610 단계부터, S660 단계에 대한 설명은 도 6의 S510 단계부터 S560 단계에 각각 대응하므로 중복되는 설명은 생략한다. S670 단계에서는 도어록(200)에서 사용자로부터 암호키 입력을 받는 과정이 수행된다.Since the description of step S660 from step S610 corresponds to step S510 to step S560 of FIG. 6, overlapping description is omitted. In operation S670, a process of receiving an encryption key input from the user in the door lock 200 is performed.
S680 단계에서는 도어록(200)에서 입력된 암호키와 기 설정된 암호키를 비교하는 과정이 수행된다. 만약, 입력된 암호키와 기 설정된 암호키가 일치하면, S690 단계에서는 도어록(200)에서 추가 인증 완료로 판단하여 도어를 오픈(open)하는 과정이 수행된다. 반면, 입력된 암호키와 기 설정된 암호키가 상이하면, S670 단계로 돌아가, 암호키 입력을 다시 획득하는 과정을 수행한다.In operation S680, a process of comparing the encryption key input from the door lock 200 with a predetermined encryption key is performed. If the input encryption key and the preset encryption key match, in step S690, the door lock 200 determines that the additional authentication is completed, and then opens the door. On the other hand, if the input encryption key and the predetermined encryption key is different, the process returns to step S670, the process of obtaining the encryption key input again.
이후, S700 단계에서는 사용자의 선택에 따라, 도어록(200)에서 모바일 디바이스(100)로 인증 상황 정보를 전송하는 과정이 수행된다.Thereafter, in step S700, a process of transmitting authentication status information from the door lock 200 to the mobile device 100 is performed according to a user's selection.
실시예를 설명함에 있어, 사용자의 추가 인증은 암호키를 통해 이루어지는 것으로 설명하였으나, 추가 인증은 패턴 인식, 목소리 인식 등 홍채 인식 이후의 보안성을 향상 시킬 수 있는 다양한 인증 형태가 될 수 있다. In the description of the embodiment, the additional authentication of the user is described as being performed through the encryption key, but the additional authentication may be various authentication forms that can improve security after iris recognition, such as pattern recognition and voice recognition.
도 8은 본 발명의 실시예에 따른 도어록에서의 사용자 인증 과정을 상세히 나타낸 흐름도이다.  8 is a flowchart illustrating a user authentication process in a door lock according to an embodiment of the present invention in detail.
S710 단계에서는 도어록(200)에서 모바일 디바이스(100)로부터 수신한 홍채 촬영 데이터를 저장하거나, 도어록(200)에서 등록한 홍채 촬영 데이터를 저장하는 과정이 수행된다.In operation S710, a process of storing iris photographing data received from the mobile device 100 in the door lock 200 or storing iris photographing data registered in the door lock 200 is performed.
S720 단계에서는 웨이크업 모듈(110)에서 사용자의 접근을 감지하거나, 사용자의 입력에 의해 도어록을 구동시키는 과정이 수행된다.In operation S720, the wakeup module 110 detects the user's approach or drives the door lock by the user's input.
구동 이후, S730 단계에서는 얼굴 촬영부(253)에서 접근한 사용자의 얼굴을 촬영하는 과정이 수행된다.After the driving, a process of photographing the face of the user approached by the face photographing unit 253 is performed in step S730.
S740 단계에서는 눈 위치 센싱부(255)에서 촬영된 얼굴 영상의 얼굴 영역 안에서 눈 위치를 센싱하는 과정이 수행된다.In operation S740, a process of sensing an eye position in a face area of a face image photographed by the eye position sensor 255 is performed.
S750 단계에서는 홍채 촬영부(258)에서 센싱된 눈 위치 정보를 전달받아, 상기 눈 위치에 따라 기울기가 조정된 홍채 카메라로 홍채를 촬영하는 과정이 수행된다.In operation S750, the eye position information sensed by the iris photographing unit 258 is received, and a process of photographing the iris with an iris camera whose tilt is adjusted according to the eye position is performed.
S760 단계에서는 홍채 비교부(259)에서 촬영된 홍채 영상에서 홍채 패턴을 추출하여 기 저장된 홍채 패턴과 비교하는 과정이 수행된다.In operation S760, the iris pattern is extracted from the iris image photographed by the iris comparator 259, and a process of comparing the iris pattern with previously stored iris patterns is performed.
S770 단계에서는 만약, 기 저장된 홍채 패턴과 추출된 홍채 패턴이 일치하면, 홍채 인식모듈(250)의 프로세서(251)에서 암호키를 입력 받는 추가 인증 과정으로 진행하는 과정을 수행하고, 기 저장된 홍채 패턴과 추출된 홍채 패턴이 상이하면 S730 단계로 되돌아가는 과정을 수행한다.In step S770, if the pre-stored iris pattern and the extracted iris pattern match, the processor 251 of the iris recognition module 250 proceeds to the additional authentication process of receiving the encryption key, the pre-stored iris pattern If the extracted iris pattern is different, the process returns to step S730.
S780 단계에서는 기 저장된 홍채 패턴과 추출된 홍채 패턴이 일치하므로, 암호 입력 모듈(270)에서 사용자로부터 암호키를 입력 받는 과정이 수행된다.In operation S780, since the pre-stored iris pattern matches the extracted iris pattern, a process of receiving an encryption key from the user is performed by the encryption input module 270.
S790 단계에서는 암호 입력 모듈(270)의 판단부(273)에서 기 설정된 암호키와 입력된 암호키를 비교하는 과정이 수행된다.In operation S790, a process of comparing the preset encryption key with the input encryption key is performed by the determination unit 273 of the encryption input module 270.
만일, 기 설정된 암호키와 입력된 암호키가 일치하면, 추가 인증 완료로 판단하여 S800 단계에서는 도어록(200)의 마이크로 컨트롤러(220)에서 도어를 오픈(open)하는 과정이 수행된다. If the predetermined encryption key and the input encryption key match, it is determined that the additional authentication is completed, and in step S800, a process of opening the door in the microcontroller 220 of the door lock 200 is performed.
본 발명의 실시예를 설명함에 있어, 초기 사용자 인증은 홍채인식으로, 추가 사용자 인증은 암호키 인증으로 설명하였지만, 사용자의 선택에 따라 초기 인증, 추가 인증 중 적어도 하나를 선택하여 보안 시스템에 적용할 수 있다. 아울러, 홍채의 패턴뿐만 아닌 홍채의 색깔, 지문, 목소리 등 생체의 고유한 식별 정보를 인증 과정에 사용할 수 있다.In describing an embodiment of the present invention, the initial user authentication is described as iris recognition, and the additional user authentication is described as encryption key authentication. However, at least one of initial authentication and additional authentication may be selected and applied to the security system. Can be. In addition, unique identification information such as color, fingerprint, and voice of the iris, as well as the pattern of the iris, may be used in the authentication process.
도 9a 내지 도 9c는 본 발명의 실시예에 따른 도어록에 접근한 사용자의 키에 따라 사용자의 얼굴과 홍채를 촬영하는 실시예를 보여주는 도면이다.9A to 9C are views illustrating an embodiment of photographing a face and an iris of a user according to a key of a user approaching a door lock according to an embodiment of the present invention.
도 9a을 참조하면, 상대적으로 키가 큰 사용자가 도어록에 접근 하였을 경우, 상기 키가 큰 사용자의 접근을 센싱하면, 얼굴 카메라에 의해 얼굴이 촬영되고, 눈 위치가 센싱되어, 센싱된 눈 위치에 따라 홍채 카메라의 기울기가 자동으로 조정된다. 홍채 카메라의 기울기 조정 이후, 접근한 사용자의 홍채 영상을 획득하여 인증 과정을 수행하게 된다.Referring to FIG. 9A, when a relatively tall user approaches the door lock, when the approach of the tall user is sensed, a face is photographed by a face camera, an eye position is sensed, and a sensed eye position is detected. Therefore, the tilt of the iris camera is adjusted automatically. After adjusting the inclination of the iris camera, an iris image of an approaching user is acquired to perform an authentication process.
도 9b에는 홍채 카메라의 기울임 없이 사용자의 홍채 영상을 획득하는 실시 예가 도시되어 있다.9B illustrates an embodiment of acquiring an iris image of a user without tilting the iris camera.
도 9c는 키가 작은 사용자가 도어록에 접근한 경우, 홍채 영상을 획득하는 실시예가 도시되어 있다. 9C illustrates an embodiment of acquiring an iris image when a user who has a short key approaches a door lock.
도 9c를 참조하면, 예를 들어, 어린이 등과 같이 키가 작은 사용자가 도어록에 접근한 경우, 키가 작은 사용자의 접근을 센싱하면, 얼굴 카메라에 의해 얼굴이 촬영되고, 눈 위치가 센싱 되어, 센싱된 눈 위치에 따라 홍채 카메라의 기울기가 자동으로 조정된다. 홍채 카메라의 기울기 조정 이후, 접근한 사용자의 홍채 영상을 획득하여 인증 과정을 수행한다.Referring to FIG. 9C, when a short user, such as a child, approaches a door lock, when a short user senses an approach, a face is photographed by a face camera, and an eye position is sensed. The tilt of the iris camera is automatically adjusted according to the eye position. After adjusting the inclination of the iris camera, an iris image of an approaching user is acquired to perform an authentication process.
본 발명에서는 도어록에 접근한 사용자의 얼굴 영상에서 눈 위치를 센싱 하여 홍채 영상을 획득하고 홍채 패턴을 비교함으로써, 초기 인증을 한다. 초기 인증 이후, 암호키 입력을 통해 추가적인 인증 과정을 거침으로써, 높은 보안 수준을 제공한다.In the present invention, an initial authentication is performed by sensing an eye position in a face image of a user approaching a door lock, obtaining an iris image, and comparing iris patterns. After initial authentication, an additional authentication process is performed through encryption key input, providing a high level of security.
또한, 기울기가 자동으로 조정되는 홍채 카메라를 통해 사용자의 홍채 이미지 정보를 획득함으로써, 생체 정보의 변화 가능성 등으로 인한 인식 성능 저하를 방지한다. In addition, by obtaining the iris image information of the user through the iris camera that the tilt is automatically adjusted, it prevents the recognition performance degradation due to the possibility of changing the biometric information.
또한, 도어록에 모바일 디바이스와의 통신이 가능한 통신 모듈을 제공함으로써 모바일 디바이스로부터 생체 정보를 수신하고 이를 보안 시스템에 등록하여, 사용자 등록을 보다 용이하게 하여 편의성을 향상 시킨다. In addition, by providing a communication module capable of communicating with the mobile device in the door lock, it receives the biometric information from the mobile device and registers it in the security system, thereby facilitating user registration to improve convenience.
본 발명에서 언급한 도어록은, ATM 도어록, 경보장치, 금고, 출입문, 개인 컴퓨터(PC, Personnel Computer) 및 은행 ATM(Automatic Teller Machine)기기 등 보안 시스템을 필요로 하는 기기에 적용될 수 있다.The door lock mentioned in the present invention can be applied to a device requiring a security system such as an ATM door lock, an alarm device, a safe, a door, a personal computer (PC) and a bank automatic teller machine (ATM) device.
이상 바람직한 실시 예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.Although the configuration of the present invention has been described in detail with reference to the preferred embodiments and the accompanying drawings, it is only an example and various modifications are possible within the scope without departing from the spirit of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined not only by the scope of the following claims, but also by the equivalents of the claims.
도 10은 본 발명에 따른 이동통신단말기 얼굴 확인 디지털 도어록 시스템의 구성을 도시한 도면이다.10 is a diagram showing the configuration of a mobile communication terminal face identification digital door lock system according to the present invention.
도 10에 도시된 바와 같이, 본 발명에 따른 디지털 도어록 시스템은 디지털 도어록(100), 상기 디지털 도어록(100)에 접근한 방문자의 얼굴 영상을 전송할 이동통신단말기(300)의 단말기 정보를 등록하고, 상기 단말기 정보가 등록된 이동통신단말기(300)와 상기 디지털 도어록(100)에 네트워킹하는 네트워크 게이트웨이(200), 상기 네트워크 게이트웨이(200)에 등록된 단말기 정보를 가진 이동통신단말기(300) 및, 상기 네트워크 게이트웨이(200)와 상기 이동통신단말기(300)의 위치 정보를 수집 확보하여 상호 간에 연결되도록 하는 위치 서버(400)(Location Server)를 포함하여 구성된다.As shown in Figure 10, the digital door lock system according to the present invention registers the terminal information of the digital door lock 100, the mobile communication terminal 300 to transmit the face image of the visitor approaching the digital door lock 100, The mobile communication terminal 300 to which the terminal information is registered, the network gateway 200 networking the digital door lock 100, the mobile communication terminal 300 having terminal information registered to the network gateway 200, and the It includes a location server 400 (Location Server) to collect and secure the location information of the network gateway 200 and the mobile communication terminal 300 to be connected to each other.
디지털 도어록(100)은 도어록에 접근한 방문자의 얼굴 영상을 획득하고 영상 처리(영상 편집 + 영상 압축)하여 네트워크 게이트웨이(200)로 전송하고, 네트워크 게이트웨이(200)로부터 전달된 사용자 이동통신단말기(300)의 문열림 제어 신호에 상응하여 문열림을 제어한다. 구조는, 방문자의 버튼 입력에 따라 상기 도어록을 구동시키는 방문 웨이크-업(wake-up) 버튼(110), 방문자의 접근을 인식하는 근접인식센서, 상기 도어록에 접근한 사용자의 홍채 패턴을 기 저장된 홍채 패턴과 비교하고 상기 비교 결과에 따라 상기 도어록에 접근한 사용자를 인증하는 시스템 프로세서(123)를 구비한 홍채 인식모듈(120) 및, 상기 사용자 인증 결과를 기초로 도어의 열림(open)과 닫힘을 제어하는 마이크로 컨트롤러(130)를 포함하여 구성되고, 상기 홍채 인식모듈(120)의 시스템 프로세서(123)와 전기적으로 연결되고, 상기 도어록에 접근한 방문자의 얼굴 영상 획득을 위한 얼굴 카메라렌즈(121)와 상기 얼굴 카메라렌즈(121)의 영상 센싱용 센서(122)를 구비한 얼굴 영상 획득부를 더 포함하여 구성되며, 상기 홍채 인식모듈(120)의 시스템 프로세서(123)는 상기 센서(122)가 센싱한 영상을 편집하고 압축하는 기능이 구비된다. 그리고, 상기 마이크로 컨트롤러(130)는 상기 방문 웨이크-업 버튼(110) 입력시나 또는, 상기 근접인식센서의 방문자 접근 인식시 상기 홍채 인식모듈(120)의 구동이 시작되도록 하고, 상기 홍채 인식모듈(120)에 의해 압축된 접근한 방문자의 얼굴 영상을 상기 디지털 도어록(100)과 기등록된 이동통신단말기(300)에 네트워킹하는 네트워크 게이트웨이(200)로 전송하도록 하며, 상기 네트워크 게이트웨이(200)로부터 전달된 상기 이동통신단말기(300)의 문열림 제어 신호에 상응하여 도어의 열림과 닫힘을 제어한다. 그리고, 상기 홍채 인식모듈(120)의 시스템 프로세서(123)에 의해 압축된 접근한 방문자의 얼굴 영상을 상기 네트워크 게이트웨이(200)로 전송하는 통신 모듈(알에프(지그비) 모듈)을 더 포함하여 구성된다.The digital door lock 100 obtains a face image of a visitor who has accessed the door lock, processes the image (image editing + image compression), transmits the image to the network gateway 200, and the user mobile communication terminal 300 transmitted from the network gateway 200. Door opening is controlled according to the door opening control signal of The structure may include a visit wake-up button 110 for driving the door lock according to a visitor's button input, a proximity recognition sensor for recognizing a visitor's approach, and an iris pattern of a user approaching the door lock. An iris recognition module 120 having a system processor 123 for comparing a iris pattern and authenticating a user accessing the door lock according to the comparison result, and opening and closing of the door based on the user authentication result. It is configured to include a micro-controller 130 to control, and is electrically connected to the system processor 123 of the iris recognition module 120, the face camera lens 121 for acquiring the face image of the visitor approaching the door lock ) And a face image acquisition unit including an image sensing sensor 122 of the face camera lens 121, and the system processor 123 of the iris recognition module 120. The sensor 122 has a function of editing and compressing an image sensed by the sensor 122. In addition, the microcontroller 130 causes the iris recognition module 120 to be driven when the visit wake-up button 110 is input or when the proximity recognition sensor visits the visitor. And transmit the image of the visitor's face compressed by 120 to the network gateway 200 that is networked to the digital door lock 100 and the registered mobile communication terminal 300, and transmits the image from the network gateway 200. The opening and closing of the door is controlled according to the door opening control signal of the mobile communication terminal 300. The apparatus further includes a communication module (RF (Zigbee) module) for transmitting the visited face image compressed by the system processor 123 of the iris recognition module 120 to the network gateway 200. .
네트워크 게이트웨이(200)는 디지털 도어록(100)에 접근한 방문자의 얼굴 영상을 전송할 이동통신단말기(300)의 단말기 정보를 등록하고, 상기 단말기 정보가 등록된 이동통신단말기(300)와 상기 디지털 도어록(100)에 네트워킹한다. 상기 네트워크 게이트웨이(200)는 디지털 도어록(100)이 획득한 방문자의 얼굴 영상을 위치 서버(400)로부터 받은 단말기 정보가 등록된 이동통신단말기(300)의 위치 정보를 기반으로 단말기 정보가 등록된 이동통신단말기(300)로 송신하고, 그 단말기 정보가 등록된 이동통신단말기(300)로부터 회신된 디지털 도어록(100)의 문열림 제어 신호를 상기 디지털 도어록(100)으로 전달한다. 구조는, 디지털 도어록(100)으로부터의 방문자 얼굴 영상 전송용 통신 모듈(201) 및, 네트워크 게이트웨이(200)의 전체 접속 동작을 제어하는 메인 프로세서(202)를 포함하여 구성되고, 상기 메인 프로세서(202)는 상기 디지털 도어록(100)에 접근한 방문자의 얼굴 영상을 전송할 이동통신단말기(300)의 단말기 정보를 등록하고, 자신의 위치 정보 변경시마다 위치 정보를 상기 위치 서버(400)로 알려주어 상기 단말기 정보가 등록된 이동통신단말기(300)와의 연결을 확보하며, 유무선 인터넷 액세스 포인트(Access point) 기능을 구비하고, 상기 단말기 정보가 등록된 이동통신단말기(300)와 상기 디지털 도어록(100)에 네트워킹하여 상기 디지털 도어록(100)이 획득한 방문자의 얼굴 영상을 상기 위치 서버(400)로부터 받은 상기 단말기 정보가 등록된 이동통신단말기(300)의 위치 정보를 기반으로 상기 단말기 정보가 등록된 이동통신단말기(300)로 송신하도록 하고, 상기 단말기 정보가 등록된 이동통신단말기(300)로부터 회신된 상기 디지털 도어록(100)의 문열림 제어 신호를 상기 디지털 도어록(100)으로 전달하도록 한다. 그리고, 상기 네트워크 게이트웨이(200)는 상기 통신 모듈(201)에 전기적으로 연결된 도어록 연동 기능의 도어록 문열림 & 닫힘 버튼(203)을 더 포함하여 구성된다.The network gateway 200 registers terminal information of the mobile communication terminal 300 to transmit a face image of the visitor who has approached the digital door lock 100, and registers the mobile communication terminal 300 and the digital door lock in which the terminal information is registered. Networking). The network gateway 200 moves the terminal information registered based on the location information of the mobile communication terminal 300 in which the terminal information received from the location server 400 receives the face image of the visitor acquired by the digital door lock 100. It transmits to the communication terminal 300, and transmits the door opening control signal of the digital door lock 100 returned from the mobile communication terminal 300 registered with the terminal information to the digital door lock 100. The structure includes a communication module 201 for transmitting visitor face images from the digital door lock 100 and a main processor 202 for controlling the overall connection operation of the network gateway 200. The main processor 202 ) Registers the terminal information of the mobile communication terminal 300 to transmit the face image of the visitor approaching the digital door lock 100, and informs the location server 400 of the location information whenever the location information is changed. Secures the connection with the mobile communication terminal 300 registered information, has a wired and wireless Internet access point function, networking the mobile communication terminal 300 and the digital door lock 100 registered with the terminal information Of the mobile communication terminal 300 in which the terminal information received from the location server 400 is received from the location server 400. The terminal information is transmitted to the registered mobile communication terminal 300 based on the location information, and the door opening control signal of the digital door lock 100 returned from the mobile communication terminal 300 in which the terminal information is registered is read. Transfer to the digital door lock 100. The network gateway 200 further includes a door lock door open & close button 203 having a door lock interworking function electrically connected to the communication module 201.
이동통신단말기(300)는 네트워크 게이트웨이(200)에 등록된 단말기 정보를 가진 것(예: 네트워크 게이트웨이(200)에 등록된 단말기 정보를 가진 디지털 도어록(100)이 장착된 집 주인의 스마트폰)이다. 상기 이동통신단말기(300)는 상기 네트워크 게이트웨이(200)로부터 전송받은 방문자의 얼굴 영상을 푸쉬 알람(push alarm)으로 뜨게 하고, 상기 디지털 도어록(100)의 문열림 제어 신호를 상기 위치 서버(400)로부터 받은 네트워크 게이트웨이(200)의 위치 정보를 기반으로 상기 네트워크 게이트웨이(200)로 회신한다. 상기 이동통신단말기(300)는 방문자 얼굴 확인 앱을 저장하는 저장부 및, 상기 이동통신단말기(300)에 저장된 앱을 구동시키는 제어부를 포함하여 구성되고, 상기 제어부는 상기 방문자 얼굴 확인 앱을 기반으로 상기 네트워크 게이트웨이(200)로부터 전송된 디지털 도어록(100)의 방문자 얼굴 영상을 표시하고, 사용자로부터의 입력 정보에 상응하는 문열림 제어 신호를 상기 네트워크 게이트웨이(200)로 전송하도록 하는 것이다. 상기 제어부는 상기 방문자 얼굴 확인 앱을 기반으로 상기 사용자로부터의 입력 정보가 문열림 명령이 입력된 경우 문열림 명령과 비밀 번호를 네트워크 게이트웨이(200)를 경유하여 디지털 도어록에 전달한다. 도어록은 비밀번호가 기 등록된 비밀 번호와 일치하는지 확인하여 일치하는 경우만 도어 록 열림 명령을 수행한다(기 등록된 비밀번호는 도어록만 데이터를 가지고 있음으로 게이트웨이 해킹 등의 경우에도 비밀번호 유출을 방지함.)The mobile communication terminal 300 is one having terminal information registered in the network gateway 200 (for example, a smartphone of a home owner equipped with a digital door lock 100 having terminal information registered in the network gateway 200). . The mobile communication terminal 300 opens a face image of the visitor received from the network gateway 200 as a push alarm, and opens the door open control signal of the digital door lock 100 to the location server 400. Return to the network gateway 200 based on the location information of the network gateway 200 received from. The mobile terminal 300 is configured to include a storage unit for storing the visitor face identification app, and a control unit for driving the app stored in the mobile communication terminal 300, the control unit based on the visitor face identification app The image of the visitor's face of the digital door lock 100 transmitted from the network gateway 200 is displayed, and a door open control signal corresponding to input information from a user is transmitted to the network gateway 200. The controller transmits the door open command and the password to the digital door lock via the network gateway 200 when the door open command is input based on the visitor face confirmation app. The door lock checks whether the password matches the registered password and executes the door lock opening command only if the password matches (the registered password only has the data in the door lock, preventing password leakage even in the case of gateway hacking and the like). )
위치 서버(400)(Location Server)는 네트워크 게이트웨이(200)와 상기 이동통신단말기(300)의 위치 정보를 수집 확보하여 상호 간에 연결되도록 한다. 상기 수집 확보한 이동통신단말기(300)의 위치 정보는 네트워크 게이트웨이(200)로 전송하여 알려주고, 네트워크 게이트웨이(200)의 위치 정보는 이동통신단말기(300)로 전송하여 알려줌으로써 상호 간에 연결되도록 한다. 상기 위치 정보는 예를 들어 이동통신단말기(300)의 와이 파이(wi-fi) 연결시에는 와이 파이의 IP 주소가 되고, 이동통신단말기(300)의 와이 파이 미연결시에는 이동통신데이터 망의 핸드폰 고유 번호가 된다. 그리고, 상기 위치 서버(400)는 네트워크 게이트웨이(200)의 위치 정보 변경시마다 변경된 위치 정보(예: IP 주소)를 네트워크 게이트웨이(200)로부터 전송받아 상기 단말기 정보가 등록된 이동통신단말기(300)와의 연결을 확보한다. The location server 400 collects and secures location information of the network gateway 200 and the mobile communication terminal 300 so as to be connected to each other. The location information of the collected and secured mobile communication terminal 300 is transmitted to the network gateway 200 to inform, and the location information of the network gateway 200 is transmitted to the mobile communication terminal 300 to inform it so that they are connected to each other. For example, the location information becomes the IP address of the Wi-Fi when the Wi-Fi connection of the mobile communication terminal 300, and the Wi-Fi connection of the mobile communication data network when the Wi-Fi connection of the mobile communication terminal 300 is not connected. This will be your mobile number. In addition, the location server 400 receives the changed location information (for example, an IP address) from the network gateway 200 whenever the location information of the network gateway 200 is changed, and transmits the location information to the mobile communication terminal 300 in which the terminal information is registered. Secure the connection.
도 11은 본 발명에 따른 이동통신단말기 얼굴 확인 디지털 도어록 시스템의 동작을 설명하기 위한 도면이다.11 is a view for explaining the operation of the mobile communication terminal face identification digital door lock system according to the present invention.
도 11에 도시된 바와 같이, 본 발명에 따른 디지털 도어록 시스템은 먼저, 디지털 도어록이 접근한 방문자의 얼굴 영상을 획득하고 영상 처리하여 네트워크 게이트웨이로 전송한다.As shown in FIG. 11, the digital door lock system according to the present invention first acquires an image of a visitor's face approached by the digital door lock, processes the image, and transmits the image to the network gateway.
즉, 얼굴 카메라렌즈와 얼굴카메라렌즈의 영상 센싱용 센서를 통해 도어록에 접근한 방문자의 얼굴 영상을 획득한다.That is, the image of the visitor's face approaching the door lock is acquired through the image sensing sensor of the face camera lens and the face camera lens.
그런 다음, 획득한 방문자의 얼굴 영상을 편집하고 압축한다.Then, the visitor's face image is acquired and compressed.
즉, 획득한 방문자의 얼굴 영상에서 디지털 도어록에 접근한 방문자의 얼굴 부분과 얼굴 주변에 설정 여유 공간을 추가하여 화면을 잘라서 편집하고, 상기 편집하여 나온 영상을 이동통신단말기에 전송하기 위해 압축한다.In other words, by adding a set free space around the face of the visitor approaching the digital door lock from the acquired visitor's face image, the screen is cut and edited, and the edited image is compressed for transmission to the mobile communication terminal.
그리고 나서, 압축된 도어록에 접근한 방문자의 얼굴 영상을 네트워크 게이트웨이로 전송한다.Then, the face image of the visitor who has accessed the compressed door lock is transmitted to the network gateway.
그러면, 네트워크 게이트웨이는 디지털 도어록에 접근한 방문자의 얼굴 영상을 전송할 이동통신단말기의 단말기 정보를 등록하고, 상기 단말기 정보가 등록된 이동통신단말기와 상기 디지털 도어록에 네트워킹한다. Then, the network gateway registers the terminal information of the mobile communication terminal to transmit the face image of the visitor who has approached the digital door lock, and networked the mobile communication terminal to which the terminal information is registered and the digital door lock.
그런 다음, 상기 네트워크 게이트웨이는 디지털 도어록이 획득한 방문자의 얼굴 영상을 위치 서버로부터 받은 단말기 정보가 등록된 이동통신단말기의 위치 정보를 기반으로 단말기 정보가 등록된 이동통신단말기로 송신한다.Then, the network gateway transmits the visitor's face image obtained by the digital door lock to the mobile communication terminal in which the terminal information is registered based on the location information of the mobile communication terminal in which the terminal information received from the location server is registered.
그리고, 상기 이동통신단말기는 상기 네트워크 게이트웨이로부터 전송받은 방문자의 얼굴 영상을 푸쉬 알람(push alarm)으로 뜨게 하고, 상기 디지털 도어록의 문열림 제어 신호를 즉, 사용자(예: 집 주인)가 방문자의 얼굴 영상을 확인한 후 입력한 문열림 제어 신호를 상기 위치 서버로부터 받은 네트워크 게이트웨이의 위치 정보를 기반으로 상기 네트워크 게이트웨이로 회신한다.In addition, the mobile communication terminal causes the image of the visitor's face received from the network gateway to be a push alarm, and the door opening control signal of the digital door lock, that is, the user (for example, the homeowner) is the visitor's face. After checking the image, the door opening control signal is returned to the network gateway based on the location information of the network gateway received from the location server.
예를 들어, 상기 이동통신단말기는 특정 앱(본 발명에 따른 방문자 얼굴 확인 앱)을 기반으로 사용자(예: 집 주인)로부터의 입력 정보가 문열림 명령인 경우, 문 열림 명령과 비밀 번호를 암호화 하여 네트워크 게이트웨이로 전송한다. 네트워크 게이트웨이는 비밀 번호와 문열림 명령을 디지털 도어록에 전달한다. 도어록은 비밀번호가 기 등록된 비밀 번호와 일치하는지 확인하여 일치하는 경우만 도어 록 열림 명령을 수행한다(기 등록된 비밀번호는 도어록만 데이터를 가지고 있음으로 게이트웨이 해킹 등의 경우에도 비밀번호 유출을 방지함.)For example, the mobile communication terminal encrypts the door open command and the password when the input information from the user (for example, the home owner) is a door open command based on a specific app (visitor face identification app according to the present invention). To the network gateway. The network gateway sends the password and door open command to the digital door lock. The door lock checks whether the password matches the registered password and executes the door lock opening command only if the password matches (the registered password only has the data in the door lock, preventing password leakage even in the case of gateway hacking and the like). )
그러면, 상기 네트워크 게이트웨이는 상기 이동통신단말기로부터 회신된 상기 디지털 도어록의 문열림 제어 신호를 알에프(또는, 지그비) 통신을 통해 상기 디지털 도어록으로 전달한다.Then, the network gateway transfers the door open control signal of the digital door lock returned from the mobile communication terminal to the digital door lock through RF (or Zigbee) communication.
그리고, 디지털 도어록은 상기 네트워크 게이트웨이로부터 전달된 상기 이동통신단말기의 문열림 제어 신호에 상응하여 문열림을 제어하여, 방문자의 방문을 허용 또는 거절한다.The digital door lock controls the door opening in response to the door opening control signal of the mobile communication terminal transmitted from the network gateway, thereby allowing or rejecting the visitor.
도 2a 내지 도 2b는 본 발명의 실시예에 따른 홍채 인식 모듈이 적용된 도어록의 구성을 나타낸 도면이다.2a to 2b is a view showing the configuration of the door lock to which the iris recognition module according to an embodiment of the present invention is applied.
도 2a 내지 도 2b를 참조하면, 실시예에서 홍채 인식 모듈이 적용된 도어록은, 광학 윈도우(Optical window)(210), 입력 키 패드(230) 및 홍채 인식 모듈(미도시)을 포함한다. 실시예에서는 도어록으로 설명하지만, 이에 한정되는 것이 아님은 물론이다.2A to 2B, in the embodiment, the door lock to which the iris recognition module is applied includes an optical window 210, an input keypad 230, and an iris recognition module (not shown). In the embodiment described as a door lock, but is not limited to this, of course.
도 2b를 참조하면, 실시예에 따른 도어록(200)의 홍채 인식 모듈(250)은 얼굴 촬영카메라(251), 홍채 카메라(253) 및 프로세서 보드(255)로 구성된다. 2B, the iris recognition module 250 of the door lock 200 according to the embodiment includes a face photographing camera 251, an iris camera 253, and a processor board 255.
얼굴 촬영카메라(251)는 도어록에 접근한 사용자의 얼굴을 촬영한다. 촬영된 얼굴 영상에서 눈 위치가 센싱 되면, 홍채 카메라(253)는 센싱된 눈 위치 정보를 기반으로 사용자의 홍채를 촬영하여 홍채 영상을 획득한다. 이때, 홍채 카메라(253)에는 틸트 메커니즘(tilt mechanism)이 적용되어 있어, 서보 제어(servo control)에 의해 홍채 카메라(253)의 기울기 및 동작이 제어된다. 이후, 프로세서 보드(255)는 홍채 영상에서 홍채 패턴 등을 추출하여 기 저장된 홍채 패턴과 비교함으로써, 비교 결과에 따라 사용자의 초기 보안 인증을 수행한다.The face photographing camera 251 photographs the face of the user approaching the door lock. When the eye position is sensed in the captured face image, the iris camera 253 acquires an iris image by capturing the iris of the user based on the sensed eye position information. At this time, a tilt mechanism is applied to the iris camera 253, and the tilt and operation of the iris camera 253 are controlled by servo control. Thereafter, the processor board 255 extracts an iris pattern from an iris image and compares the iris pattern with a previously stored iris pattern to perform initial security authentication of the user according to the comparison result.
이하, 도 3을 이용하여 도어록(예컨대, 도어록)의 동작 과정에 대해 보다 상세하게 설명하도록 한다.Hereinafter, an operation process of the door lock (eg, door lock) will be described in more detail with reference to FIG. 3.
도 3은 본 발명의 실시예에 따른 도어록의 구성을 상세하게 나타낸 도면이다.3 is a view showing in detail the configuration of the door lock according to an embodiment of the present invention.
도 3을 참조하면, 일실시예에 따른 도어록은 웨이크업 모듈(210) 및 홍채 인식 모듈(250) 등을 포함하고, 홍채 인식모듈(250)은 프로세서(251), 얼굴 촬영부(253), 눈 위치 센싱부(255), 서보 제어부(257), 홍채 촬영부(258) 및 홍채 패턴 비교부(259)를 포함한다.Referring to FIG. 3, the door lock according to an embodiment includes a wake-up module 210, an iris recognition module 250, and the like. The iris recognition module 250 includes a processor 251, a face photographing unit 253, An eye position sensing unit 255, a servo control unit 257, an iris imaging unit 258, and an iris pattern comparison unit 259 are included.
웨이크업 모듈(210)은 도어록(200)으로 접근한 물체의 존재 여부를 센싱하여, 센싱 정보(a)를 마이크로 컨트롤러(230)로 입력한다. 예를 들어, 웨이크업 모듈(210)은 접근 인식센서(213)로 도어록에 근접한 물체를 인식하거나, 입력부(215)를 통해 사용자로부터 입력 신호를 획득하여, 도어록을 구동시키기 위한 웨이크업(wake up)신호를 생성한다. 생성된 웨이크업 신호(a)는 마이크로 컨트롤러(230)로 입력된다.The wakeup module 210 senses the presence or absence of an object approaching the door lock 200 and inputs the sensing information a to the microcontroller 230. For example, the wakeup module 210 recognizes an object close to the door lock with the proximity recognition sensor 213, or obtains an input signal from the user through the input unit 215, and wakes up to drive the door lock. Generate a signal. The generated wake-up signal a is input to the microcontroller 230.
마이크로 컨트롤러(230)는 웨이크업 모듈(210)로부터 획득한 웨이크업 신호(a) 기반으로 사용자로부터 올바른 입력을 획득하거나, 도어록에 사람이 접근했다고 판단하면, 촬영 시작 신호(b)를 홍채 인식 모듈(250)의 프로세서(251)로 전달한다.The microcontroller 230 acquires the correct input from the user based on the wake-up signal a obtained from the wake-up module 210, or determines that a person has approached the door lock, and outputs a recording start signal b to the iris recognition module. Transfer to processor 251.
홍채 인식 모듈(250)의 프로세서(251)는 입력된 촬영 시작 신호(b)에 따라 얼굴 촬영부(253)로 얼굴 촬영 신호(c)를 입력한다. 그러면, 얼굴 촬영부(253)는 도어록(200)으로 근접한 사용자의 얼굴을 촬영한다. 예를 들어, 얼굴 촬영부(253)는 사용자의 얼굴 촬영이 가능한 카메라, CMOS 및 DMOS와 같은 소자가 될 수 있다.The processor 251 of the iris recognition module 250 inputs the face photographing signal c to the face photographing unit 253 according to the input photographing start signal b. Then, the face photographing unit 253 photographs the face of the user close to the door lock 200. For example, the face photographing unit 253 may be a device such as a camera, a CMOS, and a DMOS capable of photographing a face of a user.
사용자의 얼굴 촬영 이후, 얼굴 이미지 데이터(d)는 눈 위치 센싱부(255)로 전달된다. 눈 위치 센싱부(255)는 전달받은 얼굴 이미지 데이터(d)에서 에지 검출 등을 포함하는 일반적인 이미지 처리 과정을 거쳐 눈 위치를 센싱한다. 예를 들어, 눈 위치 센싱부(255)는 얼굴 영역 내의 좌안 및 우안의 좌표를 센싱하여, 센싱된 두 눈의 좌표 정보(e1, e2)를 홍채 촬영부(258)와 프로세서(251)로 전달한다. 프로세서(251)는 전달받은 눈의 좌표 정보(e1)를 통해, 눈의 위치가 확인 되면, 홍채 촬영 신호를 생성하여, 생성된 홍채 촬영 제어 신호(f)를 서보(servo) 제어부(257)로 전달한다. 여기서, 홍채 촬영 제어 신호(f)에는 눈 위치에 따른 홍채 카메라의 기울기 제어 신호 및 홍채 카메라 동작 신호 등이 포함된다. After capturing the face of the user, the face image data d is transferred to the eye position sensing unit 255. The eye position sensing unit 255 senses the eye position through a general image processing process including edge detection from the received face image data d. For example, the eye position sensing unit 255 senses coordinates of the left and right eyes in the face area, and transmits the coordinate information e1 and e2 of the sensed two eyes to the iris imaging unit 258 and the processor 251. do. The processor 251 generates an iris photographing signal when the position of the eye is identified through the received coordinate information e1 of the received eye, and transmits the generated iris photographing control signal f to the servo controller 257. To pass. Here, the iris photographing control signal f includes a tilt control signal of the iris camera and an iris camera operation signal according to the eye position.
서보 제어부(257)는 입력받은 홍채 촬영 제어 신호(f)를 기반으로 촬영신호(g)를 생성하여 홍채 촬영부(258)로 입력한다. The servo controller 257 generates a photographing signal g based on the received iris photographing control signal f and inputs it to the iris photographing unit 258.
홍채 촬영부(258)는 입력된 촬영 신호(g)에 따라, 기 획득한 눈의 좌표 정보(e2)를 기반으로 사용자의 홍채를 촬영한다. 사용자의 홍채 영상이 획득되면, 상기 홍채 영상에서 홍채 패턴 등 사용자의 고유 생체 정보를 추출한다. 이후, 홍채 촬영부(258)는 추출된 고유 생체 정보(h)를 홍채 비교부(259)로 전달한다.The iris photographing unit 258 photographs the iris of the user based on previously acquired eye coordinate information e2 according to the input photographing signal g. When the iris image of the user is obtained, the biometric information of the user, such as an iris pattern, is extracted from the iris image. Thereafter, the iris photographing unit 258 transmits the extracted unique biometric information h to the iris comparing unit 259.
홍채 비교부(259)는 전달받은 홍채 패턴 등을 포함하는 고유 생체 정보(h)를 기 저장된 고유 생체 정보와 비교한다. 비교 결과 정보(i)는 프로세서(251)로 입력된다.The iris comparison unit 259 compares the unique biometric information h including the received iris pattern with the stored unique biometric information. The comparison result information i is input to the processor 251.
프로세서(251)는 입력된 비교 결과 정보(i)에 따라, 사용자의 인증여부를 판단한다. 만약, 입력된 생채 정보와 저장된 생체 정보가 일치하면, 프로세서(251)는 상기 사용자에 대해 인증을 완료한다.The processor 251 determines whether the user is authenticated according to the input comparison result information (i). If the input biometric information and the stored biometric information match, the processor 251 completes authentication of the user.
본 발명의 다른 실시예에서는 암호 입력만을 통해 도어록에 접근한 사용자를 인증할 수 있다. 본 발명은 홍채 인식과 홍채 패턴 비교를 통해 사용자 인증을 수행한다. 후술되는 암호 입력을 통한 사용자 인증은 홍채 인식을 통한 인증과정과는 독립적, 개별적으로 수행된다. In another embodiment of the present invention, it is possible to authenticate a user accessing the door lock only by inputting a password. The present invention performs user authentication through iris recognition and iris pattern comparison. User authentication through password input described below is performed independently and independently from the authentication process through iris recognition.
마이크로 컨트롤러(230)는 입력된 인증 수행 신호(k)를 암호키 입력모듈(270)의 암호 입력부(271)로 전달한다.The microcontroller 230 transmits the input authentication performance signal k to the cryptographic input unit 271 of the cryptographic key input module 270.
암호 입력부(271)는 입력된 인증 수행 신호(k)에 따라, 사용자로부터 텐키(ten key), 패턴 등의 기 설정된 암호키를 입력받는다. 입력된 암호키 정보(n)는 판단부(273)로 전달된다.The encryption input unit 271 receives a predetermined encryption key such as a ten key or a pattern from the user according to the input authentication performance signal k. The input encryption key information n is transmitted to the determination unit 273.
판단부(273)는 사용자로부터 입력받은 암호키와 기 설정된 암호키를 비교함으로써, 상기 비교 결과에 따라 사용자를 인증한다. 예를 들어, 입력된 암호키와 저장된 암호키가 일치하면, 도어 오픈 신호 및 인증 완료 신호(m)를 마이크로 컨트롤러(230)로 전달하여 도어록 오픈 등을 수행한다. 반면, 입력된 암호키와 저장된 암호키가 상이하면, 암호 입력부(271)로 재입력 신호를 전달하여, 사용자가 암호키를 다시 입력하게 한다. The determination unit 273 authenticates the user according to the comparison result by comparing the encryption key input from the user with a predetermined encryption key. For example, when the input encryption key and the stored encryption key match, the door open signal and the authentication completion signal m are transmitted to the microcontroller 230 to perform the door lock opening. On the other hand, if the input encryption key and the stored encryption key is different, the re-entry signal is transmitted to the encryption input unit 271, so that the user inputs the encryption key again.
도 4는 본 발명의 실시예에 따른 홍채 인식 모듈의 기구 구성 예를 나타낸 도면이다.4 is a diagram showing an example of the configuration of the mechanism of the iris recognition module according to an embodiment of the present invention.
도 4a 내지 도 4c는 일실시예에 따른 홍채 인식 모듈을 포함한 도어록 장치의 정면도 및 측면도이다. 4A to 4C are front and side views of a door lock device including an iris recognition module according to an embodiment.
도 4a 내지 도 4c를 참조하면, 얼굴 촬영부(253)는 고정된 카메라(410)로 대응되고, 홍채 촬영부(258)는 틸트 메커니즘(tilt mechanism)이 적용된 홍채 카메라(430)로 대응되고, 서보 제어부(257)는 서보 모터(440)로 대응된다.4A to 4C, the face photographing unit 253 corresponds to the fixed camera 410, and the iris photographing unit 258 corresponds to the iris camera 430 to which a tilt mechanism is applied. The servo controller 257 corresponds to the servo motor 440.
아울러, 웨이크업 모듈(110)의 접근 인식 센서(113)는 도 4a 내지 도 4c에 도시된 적어도 하나의 센서(420)에 대응된다.In addition, the approach recognition sensor 113 of the wake-up module 110 corresponds to at least one sensor 420 illustrated in FIGS. 4A to 4C.
구체적으로, 접근 인식 센서(420)가 도어록으로 사용자 접근을 인식하면, 얼굴 촬영 카메라(410)는 접근 사용자의 얼굴을 촬영한다. 이후, 촬영된 얼굴 영상의 얼굴 영역에서 눈 위치를 센싱한다.Specifically, when the approach recognition sensor 420 recognizes the user's approach with the door lock, the face photographing camera 410 photographs the face of the approaching user. Thereafter, the eye position is sensed in the face area of the captured face image.
눈 위치 센싱 이후, 서보 모터(440)와 연결된 축(441)에 의해, 틸트 메커니즘이 적용된 홍채 카메라(430)의 기울기가 제어되고, 기울기에 따라 홍채 카메라(430)의 각도가 조정되어, 사용자의 홍채를 촬영한다.After the eye position sensing, the inclination of the iris camera 430 to which the tilt mechanism is applied is controlled by the axis 441 connected to the servo motor 440, and the angle of the iris camera 430 is adjusted according to the inclination. Shoot the iris.
도 5a 내지 도 5b는 본 발명의 일실시예에 따른 얼굴 촬영 카메라 및 홍채 카메라의 기울기 조정 실시예를 나타낸 도면이다. 5A to 5B are diagrams illustrating embodiments of inclination adjustment of a face photographing camera and an iris camera according to an embodiment of the present invention.
도 5a 내지 도 5b를 참조하면, 사용자 접근 센싱에 의해 동작된 얼굴 촬영 카메라(410)는 θ1의 각도 내에서 사용자의 얼굴을 촬영한다. 이후, 촬영된 얼굴 영상에서 눈 위치가 센싱되면, 서보 제어에 의해 홍채 카메라의 기울기가 조정되어, 홍채 카메라의 촬영각 θ2내에 위치하는 사용자의 홍채를 촬영한다. 5A to 5B, the face photographing camera 410 operated by user approach sensing captures a face of a user within an angle of θ1. Subsequently, when the eye position is sensed in the photographed face image, the tilt of the iris camera is adjusted by the servo control to capture the iris of the user located within the photographing angle θ2 of the iris camera.
일실시예에 따른 홍채 카메라는 촬영해야 하는 사용자의 눈 위치에 따라, 홍채 카메라의 기울기 각도가 조정된다. 예를 들어, 도 5a에 도시된 바와 같이, 키가 큰 사용자일 경우, 사용자의 눈 위치가 상대적으로 높으므로, 홍채 카메라의 기울기 및 동작을 제어하는 서보 제어부(257)는 홍채 카메라의 기울기 각도를 θ3으로 상향 조정한다. 반면, 키가 작은 사용자인 경우 눈 위치가 낮으므로 서보 제어부(257)는 홍채 카메라의 기울기 각도를 θ4로 하향 조정한다. In the iris camera according to an embodiment, the inclination angle of the iris camera is adjusted according to the eye position of the user to be photographed. For example, as illustrated in FIG. 5A, when the user is a tall user, since the position of the user's eyes is relatively high, the servo controller 257 for controlling the tilt and motion of the iris camera may adjust the tilt angle of the iris camera. Adjust upward to θ3. On the other hand, since the position of the eye is low in the case of a short user, the servo controller 257 adjusts the tilt angle of the iris camera downward to θ4.
도 6은 본 발명의 일실시예에 따른 보안 시스템의 신호 흐름도이다. 6 is a signal flow diagram of a security system according to an embodiment of the present invention.
S510 단계에서는 모바일 디바이스(100)에서 홍채를 포함하는 사용자의 생체 정보를 촬영하는 과정이 수행된다. 여기서, 모바일 디바이스(100)는 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다. 즉, 모바일 디바이스(100)는 유무선 통신망(140)을 경유하여 도어록(200)에 접속하기 위한 특정 어플리케이션을 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하고 있는 디바이스를 의미한다. 모바일 디바이스(100)는 개인 PC인 것이 일반적이지만, 관리 장치와 서버-클라이언트 통신이 가능하다면 그 어떠한 단말기도 가능하며, 노트북 컴퓨터, 이동통신 단말기, PDA 등 여하한 통신 컴퓨팅 장치를 모두 포함하는 넓은 개념이다. In operation S510, a process of photographing biometric information of a user including an iris is performed in the mobile device 100. Here, the mobile device 100 is a tablet PC (Tablet PC), laptop (Laptop), personal computer (PC: Personal Computer), smart phone (Smart Phone), personal digital assistant (PDA) and mobile communication The terminal may be one of a mobile communication terminal and the like. That is, the mobile device 100 may include a device having a memory for storing a specific application for accessing the door lock 200 via the wired / wireless communication network 140, a microprocessor for executing a program and controlling the same, and the like. it means. Although the mobile device 100 is generally a personal PC, any terminal may be used as long as the management device and the server-client communication are possible, and a broad concept including all communication computing devices such as a notebook computer, a mobile communication terminal, and a PDA may be used. to be.
S520 단계에서는 모바일 디바이스(100)에서 촬영한 데이터를 도어록(200)로 전송하는 과정이 수행된다. In operation S520, a process of transmitting data photographed by the mobile device 100 to the door lock 200 is performed.
S530 단계에서는 도어록(200)에서 촬영 데이터를 저장하는 과정이 수행된다.In operation S530, a process of storing photographing data is performed in the door lock 200.
S540 단계에서는 도어록(200)에서 상기 도어록으로의 물체 접근을 감지하거나, 사용자의 버튼 입력을 획득하는 경우, 도어록을 구동시키는 과정이 수행된다.In operation S540, when the door lock 200 detects an object approach to the door lock or acquires a user's button input, a process of driving the door lock is performed.
S550 단계에서는 도어록(200)이 구동되면, 도어록(200)에서 홍채 영상을 획득하는 과정이 수행된다. In operation S550, when the door lock 200 is driven, a process of acquiring an iris image from the door lock 200 is performed.
S560 단계에서는 도어록(200)에서 획득한 홍채 영상과 저장된 홍채 영상을 비교하는 과정이 수행된다. 만약, 획득한 홍채 영상과 저장된 홍채 영상이 일치하면, S570 단계에서는 도어록(200)에서 초기 인증 완료로 판단하여 도어를 오픈(open)하는 과정이 수행된다. 반면, 획득한 홍채 영상과 저장된 홍채 영상이 상이하면, S550 단계로 돌아가, 홍채 영상을 다시 획득하는 과정을 수행한다. In operation S560, a process of comparing the iris image obtained from the door lock 200 with the stored iris image is performed. If the acquired iris image and the stored iris image coincide with each other, in step S570, the door lock 200 determines that the initial authentication is completed and then opens the door. On the other hand, if the acquired iris image is different from the stored iris image, the process returns to step S550 to acquire the iris image again.
이후, S580 단계에서는 사용자의 선택에 따라, 도어록(200)에서 모바일 디바이스(100)로 인증 상황 정보를 전송하는 과정이 수행된다.Thereafter, in step S580, a process of transmitting authentication status information from the door lock 200 to the mobile device 100 is performed according to a user's selection.
도 7은 본 발명의 다른 실시예에 따른 사용자의 추가 인증을 위한 보안 시스템 동작 과정을 나타낸 도면이다.7 is a diagram illustrating a security system operation process for additional authentication of a user according to another embodiment of the present invention.
S610 단계부터, S660 단계에 대한 설명은 도 6의 S510 단계부터 S560 단계에 각각 대응하므로 중복되는 설명은 생략한다. S670 단계에서는 도어록(200)에서 사용자로부터 암호키 입력을 받는 과정이 수행된다.Since the description of step S660 from step S610 corresponds to step S510 to step S560 of FIG. 6, overlapping description is omitted. In operation S670, a process of receiving an encryption key input from the user in the door lock 200 is performed.
S680 단계에서는 도어록(200)에서 입력된 암호키와 기 설정된 암호키를 비교하는 과정이 수행된다. 만약, 입력된 암호키와 기 설정된 암호키가 일치하면, S690 단계에서는 도어록(200)에서 추가 인증 완료로 판단하여 도어를 오픈(open)하는 과정이 수행된다. 반면, 입력된 암호키와 기 설정된 암호키가 상이하면, S670 단계로 돌아가, 암호키 입력을 다시 획득하는 과정을 수행한다.In operation S680, a process of comparing the encryption key input from the door lock 200 with a predetermined encryption key is performed. If the input encryption key and the preset encryption key match, in step S690, the door lock 200 determines that the additional authentication is completed, and then opens the door. On the other hand, if the input encryption key and the predetermined encryption key is different, the process returns to step S670, the process of obtaining the encryption key input again.
이후, S700 단계에서는 사용자의 선택에 따라, 도어록(200)에서 모바일 디바이스(100)로 인증 상황 정보를 전송하는 과정이 수행된다.Thereafter, in step S700, a process of transmitting authentication status information from the door lock 200 to the mobile device 100 is performed according to a user's selection.
실시예를 설명함에 있어, 사용자의 추가 인증은 암호키를 통해 이루어지는 것으로 설명하였으나, 추가 인증은 패턴 인식, 목소리 인식 등 홍채 인식 이후의 보안성을 향상 시킬 수 있는 다양한 인증 형태가 될 수 있다. In the description of the embodiment, the additional authentication of the user is described as being performed through the encryption key, but the additional authentication may be various authentication forms that can improve security after iris recognition, such as pattern recognition and voice recognition.
도 8은 본 발명의 실시예에 따른 도어록에서의 사용자 인증 과정을 상세히 나타낸 흐름도이다.  8 is a flowchart illustrating a user authentication process in a door lock according to an embodiment of the present invention in detail.
S710 단계에서는 도어록(200)에서 모바일 디바이스(100)로부터 수신한 홍채 촬영 데이터를 저장하거나, 도어록(200)에서 등록한 홍채 촬영 데이터를 저장하는 과정이 수행된다.In operation S710, a process of storing iris photographing data received from the mobile device 100 in the door lock 200 or storing iris photographing data registered in the door lock 200 is performed.
S720 단계에서는 웨이크업 모듈(110)에서 사용자의 접근을 감지하거나, 사용자의 입력에 의해 도어록을 구동시키는 과정이 수행된다.In operation S720, the wakeup module 110 detects the user's approach or drives the door lock by the user's input.
구동 이후, S730 단계에서는 얼굴 촬영부(253)에서 접근한 사용자의 얼굴을 촬영하는 과정이 수행된다.After the driving, a process of photographing the face of the user approached by the face photographing unit 253 is performed in step S730.
S740 단계에서는 눈 위치 센싱부(255)에서 촬영된 얼굴 영상의 얼굴 영역 안에서 눈 위치를 센싱하는 과정이 수행된다.In operation S740, a process of sensing an eye position in a face area of a face image photographed by the eye position sensor 255 is performed.
S750 단계에서는 홍채 촬영부(258)에서 센싱된 눈 위치 정보를 전달받아, 상기 눈 위치에 따라 기울기가 조정된 홍채 카메라로 홍채를 촬영하는 과정이 수행된다.In operation S750, the eye position information sensed by the iris photographing unit 258 is received, and a process of photographing the iris with an iris camera whose tilt is adjusted according to the eye position is performed.
S760 단계에서는 홍채 비교부(259)에서 촬영된 홍채 영상에서 홍채 패턴을 추출하여 기 저장된 홍채 패턴과 비교하는 과정이 수행된다.In operation S760, the iris pattern is extracted from the iris image photographed by the iris comparator 259, and a process of comparing the iris pattern with previously stored iris patterns is performed.
S770 단계에서는 만약, 기 저장된 홍채 패턴과 추출된 홍채 패턴이 일치하면, 홍채 인식모듈(250)의 프로세서(251)에서 암호키를 입력 받는 추가 인증 과정으로 진행하는 과정을 수행하고, 기 저장된 홍채 패턴과 추출된 홍채 패턴이 상이하면 S730 단계로 되돌아가는 과정을 수행한다.In step S770, if the pre-stored iris pattern and the extracted iris pattern match, the processor 251 of the iris recognition module 250 proceeds to the additional authentication process of receiving the encryption key, the pre-stored iris pattern If the extracted iris pattern is different, the process returns to step S730.
S780 단계에서는 기 저장된 홍채 패턴과 추출된 홍채 패턴이 일치하므로, 암호 입력 모듈(270)에서 사용자로부터 암호키를 입력 받는 과정이 수행된다.In operation S780, since the pre-stored iris pattern matches the extracted iris pattern, a process of receiving an encryption key from the user is performed by the encryption input module 270.
S790 단계에서는 암호 입력 모듈(270)의 판단부(273)에서 기 설정된 암호키와 입력된 암호키를 비교하는 과정이 수행된다.In operation S790, a process of comparing the preset encryption key with the input encryption key is performed by the determination unit 273 of the encryption input module 270.
만일, 기 설정된 암호키와 입력된 암호키가 일치하면, 추가 인증 완료로 판단하여 S800 단계에서는 도어록(200)의 마이크로 컨트롤러(220)에서 도어를 오픈(open)하는 과정이 수행된다. If the predetermined encryption key and the input encryption key match, it is determined that the additional authentication is completed, and in step S800, a process of opening the door in the microcontroller 220 of the door lock 200 is performed.
본 발명의 실시예를 설명함에 있어, 초기 사용자 인증은 홍채인식으로, 추가 사용자 인증은 암호키 인증으로 설명하였지만, 사용자의 선택에 따라 초기 인증, 추가 인증 중 적어도 하나를 선택하여 보안 시스템에 적용할 수 있다. 아울러, 홍채의 패턴뿐만 아닌 홍채의 색깔, 지문, 목소리 등 생체의 고유한 식별 정보를 인증 과정에 사용할 수 있다.In describing an embodiment of the present invention, the initial user authentication is described as iris recognition, and the additional user authentication is described as encryption key authentication. However, at least one of initial authentication and additional authentication may be selected and applied to the security system. Can be. In addition, unique identification information such as color, fingerprint, and voice of the iris, as well as the pattern of the iris, may be used in the authentication process.
도 9a 내지 도 9c는 본 발명의 실시예에 따른 도어록에 접근한 사용자의 키에 따라 사용자의 얼굴과 홍채를 촬영하는 실시예를 보여주는 도면이다.9A to 9C are views illustrating an embodiment of photographing a face and an iris of a user according to a key of a user approaching a door lock according to an embodiment of the present invention.
도 9a을 참조하면, 상대적으로 키가 큰 사용자가 도어록에 접근 하였을 경우, 상기 키가 큰 사용자의 접근을 센싱하면, 얼굴 카메라에 의해 얼굴이 촬영되고, 눈 위치가 센싱되어, 센싱된 눈 위치에 따라 홍채 카메라의 기울기가 자동으로 조정된다. 홍채 카메라의 기울기 조정 이후, 접근한 사용자의 홍채 영상을 획득하여 인증 과정을 수행하게 된다.Referring to FIG. 9A, when a relatively tall user approaches the door lock, when the approach of the tall user is sensed, a face is photographed by a face camera, an eye position is sensed, and a sensed eye position is detected. Therefore, the tilt of the iris camera is adjusted automatically. After adjusting the inclination of the iris camera, an iris image of an approaching user is acquired to perform an authentication process.
도 9b에는 홍채 카메라의 기울임 없이 사용자의 홍채 영상을 획득하는 실시 예가 도시되어 있다.9B illustrates an embodiment of acquiring an iris image of a user without tilting the iris camera.
도 9c는 키가 작은 사용자가 도어록에 접근한 경우, 홍채 영상을 획득하는 실시예가 도시되어 있다. 9C illustrates an embodiment of acquiring an iris image when a user who has a short key approaches a door lock.
도 9c를 참조하면, 예를 들어, 어린이 등과 같이 키가 작은 사용자가 도어록에 접근한 경우, 키가 작은 사용자의 접근을 센싱하면, 얼굴 카메라에 의해 얼굴이 촬영되고, 눈 위치가 센싱 되어, 센싱된 눈 위치에 따라 홍채 카메라의 기울기가 자동으로 조정된다. 홍채 카메라의 기울기 조정 이후, 접근한 사용자의 홍채 영상을 획득하여 인증 과정을 수행한다.Referring to FIG. 9C, when a short user, such as a child, approaches a door lock, when a short user senses an approach, a face is photographed by a face camera, and an eye position is sensed. The tilt of the iris camera is automatically adjusted according to the eye position. After adjusting the inclination of the iris camera, an iris image of an approaching user is acquired to perform an authentication process.
본 발명에서는 도어록에 접근한 사용자의 얼굴 영상에서 눈 위치를 센싱 하여 홍채 영상을 획득하고 홍채 패턴을 비교함으로써, 초기 인증을 한다. 초기 인증 이후, 암호키 입력을 통해 추가적인 인증 과정을 거침으로써, 높은 보안 수준을 제공한다.In the present invention, an initial authentication is performed by sensing an eye position in a face image of a user approaching a door lock, obtaining an iris image, and comparing iris patterns. After initial authentication, an additional authentication process is performed through encryption key input, providing a high level of security.
또한, 기울기가 자동으로 조정되는 홍채 카메라를 통해 사용자의 홍채 이미지 정보를 획득함으로써, 생체 정보의 변화 가능성 등으로 인한 인식 성능 저하를 방지한다. In addition, by obtaining the iris image information of the user through the iris camera that the tilt is automatically adjusted, it prevents the recognition performance degradation due to the possibility of changing the biometric information.
또한, 도어록에 모바일 디바이스와의 통신이 가능한 통신 모듈을 제공함으로써 모바일 디바이스로부터 생체 정보를 수신하고 이를 보안 시스템에 등록하여, 사용자 등록을 보다 용이하게 하여 편의성을 향상 시킨다. In addition, by providing a communication module capable of communicating with the mobile device in the door lock, it receives the biometric information from the mobile device and registers it in the security system, thereby facilitating user registration to improve convenience.
본 발명에서 언급한 도어록은, ATM 도어록, 경보장치, 금고, 출입문, 개인 컴퓨터(PC, Personnel Computer) 및 은행 ATM(Automatic Teller Machine)기기 등 보안 시스템을 필요로 하는 기기에 적용될 수 있다.The door lock mentioned in the present invention can be applied to a device requiring a security system such as an ATM door lock, an alarm device, a safe, a door, a personal computer (PC) and a bank automatic teller machine (ATM) device.
이상 바람직한 실시 예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.Although the configuration of the present invention has been described in detail with reference to the preferred embodiments and the accompanying drawings, it is only an example and various modifications are possible within the scope without departing from the spirit of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined not only by the scope of the following claims, but also by the equivalents of the claims.
도 10은 본 발명에 따른 이동통신단말기 얼굴 확인 디지털 도어록 시스템의 구성을 도시한 도면이다.10 is a diagram showing the configuration of a mobile communication terminal face identification digital door lock system according to the present invention.
도 10에 도시된 바와 같이, 본 발명에 따른 디지털 도어록 시스템은 디지털 도어록(100), 상기 디지털 도어록(100)에 접근한 방문자의 얼굴 영상을 전송할 이동통신단말기(300)의 단말기 정보를 등록하고, 상기 단말기 정보가 등록된 이동통신단말기(300)와 상기 디지털 도어록(100)에 네트워킹하는 네트워크 게이트웨이(200), 상기 네트워크 게이트웨이(200)에 등록된 단말기 정보를 가진 이동통신단말기(300) 및, 상기 네트워크 게이트웨이(200)와 상기 이동통신단말기(300)의 위치 정보를 수집 확보하여 상호 간에 연결되도록 하는 위치 서버(400)(Location Server)를 포함하여 구성된다.As shown in Figure 10, the digital door lock system according to the present invention registers the terminal information of the digital door lock 100, the mobile communication terminal 300 to transmit the face image of the visitor approaching the digital door lock 100, The mobile communication terminal 300 to which the terminal information is registered, the network gateway 200 networking the digital door lock 100, the mobile communication terminal 300 having terminal information registered to the network gateway 200, and the It includes a location server 400 (Location Server) to collect and secure the location information of the network gateway 200 and the mobile communication terminal 300 to be connected to each other.
디지털 도어록(100)은 도어록에 접근한 방문자의 얼굴 영상을 획득하고 영상 처리(영상 편집 + 영상 압축)하여 네트워크 게이트웨이(200)로 전송하고, 네트워크 게이트웨이(200)로부터 전달된 사용자 이동통신단말기(300)의 문열림 제어 신호에 상응하여 문열림을 제어한다. 구조는, 방문자의 버튼 입력에 따라 상기 도어록을 구동시키는 방문 웨이크-업(wake-up) 버튼(110), 방문자의 접근을 인식하는 근접인식센서, 상기 도어록에 접근한 사용자의 홍채 패턴을 기 저장된 홍채 패턴과 비교하고 상기 비교 결과에 따라 상기 도어록에 접근한 사용자를 인증하는 시스템 프로세서(123)를 구비한 홍채 인식모듈(120) 및, 상기 사용자 인증 결과를 기초로 도어의 열림(open)과 닫힘을 제어하는 마이크로 컨트롤러(130)를 포함하여 구성되고, 상기 홍채 인식모듈(120)의 시스템 프로세서(123)와 전기적으로 연결되고, 상기 도어록에 접근한 방문자의 얼굴 영상 획득을 위한 얼굴 카메라렌즈(121)와 상기 얼굴 카메라렌즈(121)의 영상 센싱용 센서(122)를 구비한 얼굴 영상 획득부를 더 포함하여 구성되며, 상기 홍채 인식모듈(120)의 시스템 프로세서(123)는 상기 센서(122)가 센싱한 영상을 편집하고 압축하는 기능이 구비된다. 그리고, 상기 마이크로 컨트롤러(130)는 상기 방문 웨이크-업 버튼(110) 입력시나 또는, 상기 근접인식센서의 방문자 접근 인식시 상기 홍채 인식모듈(120)의 구동이 시작되도록 하고, 상기 홍채 인식모듈(120)에 의해 압축된 접근한 방문자의 얼굴 영상을 상기 디지털 도어록(100)과 기등록된 이동통신단말기(300)에 네트워킹하는 네트워크 게이트웨이(200)로 전송하도록 하며, 상기 네트워크 게이트웨이(200)로부터 전달된 상기 이동통신단말기(300)의 문열림 제어 신호에 상응하여 도어의 열림과 닫힘을 제어한다. 그리고, 상기 홍채 인식모듈(120)의 시스템 프로세서(123)에 의해 압축된 접근한 방문자의 얼굴 영상을 상기 네트워크 게이트웨이(200)로 전송하는 통신 모듈(알에프(지그비) 모듈)을 더 포함하여 구성된다.The digital door lock 100 obtains a face image of a visitor who has accessed the door lock, processes the image (image editing + image compression), transmits the image to the network gateway 200, and the user mobile communication terminal 300 transmitted from the network gateway 200. Door opening is controlled according to the door opening control signal of The structure may include a visit wake-up button 110 for driving the door lock according to a visitor's button input, a proximity recognition sensor for recognizing a visitor's approach, and an iris pattern of a user approaching the door lock. An iris recognition module 120 having a system processor 123 for comparing a iris pattern and authenticating a user accessing the door lock according to the comparison result, and opening and closing of the door based on the user authentication result. It is configured to include a micro-controller 130 to control, and is electrically connected to the system processor 123 of the iris recognition module 120, the face camera lens 121 for acquiring the face image of the visitor approaching the door lock ) And a face image acquisition unit including an image sensing sensor 122 of the face camera lens 121, and the system processor 123 of the iris recognition module 120. The sensor 122 has a function of editing and compressing an image sensed by the sensor 122. In addition, the microcontroller 130 causes the iris recognition module 120 to be driven when the visit wake-up button 110 is input or when the proximity recognition sensor visits the visitor. And transmit the image of the visitor's face compressed by 120 to the network gateway 200 that is networked to the digital door lock 100 and the registered mobile communication terminal 300, and transmits the image from the network gateway 200. The opening and closing of the door is controlled according to the door opening control signal of the mobile communication terminal 300. The apparatus further includes a communication module (RF (Zigbee) module) for transmitting the visited face image compressed by the system processor 123 of the iris recognition module 120 to the network gateway 200. .
네트워크 게이트웨이(200)는 디지털 도어록(100)에 접근한 방문자의 얼굴 영상을 전송할 이동통신단말기(300)의 단말기 정보를 등록하고, 상기 단말기 정보가 등록된 이동통신단말기(300)와 상기 디지털 도어록(100)에 네트워킹한다. 상기 네트워크 게이트웨이(200)는 디지털 도어록(100)이 획득한 방문자의 얼굴 영상을 위치 서버(400)로부터 받은 단말기 정보가 등록된 이동통신단말기(300)의 위치 정보를 기반으로 단말기 정보가 등록된 이동통신단말기(300)로 송신하고, 그 단말기 정보가 등록된 이동통신단말기(300)로부터 회신된 디지털 도어록(100)의 문열림 제어 신호를 상기 디지털 도어록(100)으로 전달한다. 구조는, 디지털 도어록(100)으로부터의 방문자 얼굴 영상 전송용 통신 모듈(201) 및, 네트워크 게이트웨이(200)의 전체 접속 동작을 제어하는 메인 프로세서(202)를 포함하여 구성되고, 상기 메인 프로세서(202)는 상기 디지털 도어록(100)에 접근한 방문자의 얼굴 영상을 전송할 이동통신단말기(300)의 단말기 정보를 등록하고, 자신의 위치 정보 변경시마다 위치 정보를 상기 위치 서버(400)로 알려주어 상기 단말기 정보가 등록된 이동통신단말기(300)와의 연결을 확보하며, 유무선 인터넷 액세스 포인트(Access point) 기능을 구비하고, 상기 단말기 정보가 등록된 이동통신단말기(300)와 상기 디지털 도어록(100)에 네트워킹하여 상기 디지털 도어록(100)이 획득한 방문자의 얼굴 영상을 상기 위치 서버(400)로부터 받은 상기 단말기 정보가 등록된 이동통신단말기(300)의 위치 정보를 기반으로 상기 단말기 정보가 등록된 이동통신단말기(300)로 송신하도록 하고, 상기 단말기 정보가 등록된 이동통신단말기(300)로부터 회신된 상기 디지털 도어록(100)의 문열림 제어 신호를 상기 디지털 도어록(100)으로 전달하도록 한다. 그리고, 상기 네트워크 게이트웨이(200)는 상기 통신 모듈(201)에 전기적으로 연결된 도어록 연동 기능의 도어록 문열림 & 닫힘 버튼(203)을 더 포함하여 구성된다.The network gateway 200 registers terminal information of the mobile communication terminal 300 to transmit a face image of the visitor who has approached the digital door lock 100, and registers the mobile communication terminal 300 and the digital door lock in which the terminal information is registered. Networking). The network gateway 200 moves the terminal information registered based on the location information of the mobile communication terminal 300 in which the terminal information received from the location server 400 receives the face image of the visitor acquired by the digital door lock 100. It transmits to the communication terminal 300, and transmits the door opening control signal of the digital door lock 100 returned from the mobile communication terminal 300 registered with the terminal information to the digital door lock 100. The structure includes a communication module 201 for transmitting visitor face images from the digital door lock 100 and a main processor 202 for controlling the overall connection operation of the network gateway 200. The main processor 202 ) Registers the terminal information of the mobile communication terminal 300 to transmit the face image of the visitor approaching the digital door lock 100, and informs the location server 400 of the location information whenever the location information is changed. Secures the connection with the mobile communication terminal 300 registered information, has a wired and wireless Internet access point function, networking the mobile communication terminal 300 and the digital door lock 100 registered with the terminal information Of the mobile communication terminal 300 in which the terminal information received from the location server 400 is received from the location server 400. The terminal information is transmitted to the registered mobile communication terminal 300 based on the location information, and the door opening control signal of the digital door lock 100 returned from the mobile communication terminal 300 in which the terminal information is registered is read. Transfer to the digital door lock 100. The network gateway 200 further includes a door lock door open & close button 203 having a door lock interworking function electrically connected to the communication module 201.
이동통신단말기(300)는 네트워크 게이트웨이(200)에 등록된 단말기 정보를 가진 것(예: 네트워크 게이트웨이(200)에 등록된 단말기 정보를 가진 디지털 도어록(100)이 장착된 집 주인의 스마트폰)이다. 상기 이동통신단말기(300)는 상기 네트워크 게이트웨이(200)로부터 전송받은 방문자의 얼굴 영상을 푸쉬 알람(push alarm)으로 뜨게 하고, 상기 디지털 도어록(100)의 문열림 제어 신호를 상기 위치 서버(400)로부터 받은 네트워크 게이트웨이(200)의 위치 정보를 기반으로 상기 네트워크 게이트웨이(200)로 회신한다. 상기 이동통신단말기(300)는 방문자 얼굴 확인 앱을 저장하는 저장부 및, 상기 이동통신단말기(300)에 저장된 앱을 구동시키는 제어부를 포함하여 구성되고, 상기 제어부는 상기 방문자 얼굴 확인 앱을 기반으로 상기 네트워크 게이트웨이(200)로부터 전송된 디지털 도어록(100)의 방문자 얼굴 영상을 표시하고, 사용자로부터의 입력 정보에 상응하는 문열림 제어 신호를 상기 네트워크 게이트웨이(200)로 전송하도록 하는 것이다. 상기 제어부는 상기 방문자 얼굴 확인 앱을 기반으로 상기 사용자로부터의 입력 정보가 문열림 명령이 입력된 경우 문열림 명령과 비밀 번호를 네트워크 게이트웨이(200)를 경유하여 디지털 도어록에 전달한다. 도어록은 비밀번호가 기 등록된 비밀 번호와 일치하는지 확인하여 일치하는 경우만 도어 록 열림 명령을 수행한다(기 등록된 비밀번호는 도어록만 데이터를 가지고 있음으로 게이트웨이 해킹 등의 경우에도 비밀번호 유출을 방지함.)The mobile communication terminal 300 is one having terminal information registered in the network gateway 200 (for example, a smartphone of a home owner equipped with a digital door lock 100 having terminal information registered in the network gateway 200). . The mobile communication terminal 300 opens a face image of the visitor received from the network gateway 200 as a push alarm, and opens the door open control signal of the digital door lock 100 to the location server 400. Return to the network gateway 200 based on the location information of the network gateway 200 received from. The mobile terminal 300 is configured to include a storage unit for storing the visitor face identification app, and a control unit for driving the app stored in the mobile communication terminal 300, the control unit based on the visitor face identification app The image of the visitor's face of the digital door lock 100 transmitted from the network gateway 200 is displayed, and a door open control signal corresponding to input information from a user is transmitted to the network gateway 200. The controller transmits the door open command and the password to the digital door lock via the network gateway 200 when the door open command is input based on the visitor face confirmation app. The door lock checks whether the password matches the registered password and executes the door lock opening command only if the password matches (the registered password only has the data in the door lock, preventing password leakage even in the case of gateway hacking and the like). )
위치 서버(400)(Location Server)는 네트워크 게이트웨이(200)와 상기 이동통신단말기(300)의 위치 정보를 수집 확보하여 상호 간에 연결되도록 한다. 상기 수집 확보한 이동통신단말기(300)의 위치 정보는 네트워크 게이트웨이(200)로 전송하여 알려주고, 네트워크 게이트웨이(200)의 위치 정보는 이동통신단말기(300)로 전송하여 알려줌으로써 상호 간에 연결되도록 한다. 상기 위치 정보는 예를 들어 이동통신단말기(300)의 와이 파이(wi-fi) 연결시에는 와이 파이의 IP 주소가 되고, 이동통신단말기(300)의 와이 파이 미연결시에는 이동통신데이터 망의 핸드폰 고유 번호가 된다. 그리고, 상기 위치 서버(400)는 네트워크 게이트웨이(200)의 위치 정보 변경시마다 변경된 위치 정보(예: IP 주소)를 네트워크 게이트웨이(200)로부터 전송받아 상기 단말기 정보가 등록된 이동통신단말기(300)와의 연결을 확보한다. The location server 400 collects and secures location information of the network gateway 200 and the mobile communication terminal 300 so as to be connected to each other. The location information of the collected and secured mobile communication terminal 300 is transmitted to the network gateway 200 to inform, and the location information of the network gateway 200 is transmitted to the mobile communication terminal 300 to inform it so that they are connected to each other. For example, the location information becomes the IP address of the Wi-Fi when the Wi-Fi connection of the mobile communication terminal 300, and the Wi-Fi connection of the mobile communication data network when the Wi-Fi connection of the mobile communication terminal 300 is not connected. This will be your mobile number. In addition, the location server 400 receives the changed location information (for example, an IP address) from the network gateway 200 whenever the location information of the network gateway 200 is changed, and transmits the location information to the mobile communication terminal 300 in which the terminal information is registered. Secure the connection.
도 11은 본 발명에 따른 이동통신단말기 얼굴 확인 디지털 도어록 시스템의 동작을 설명하기 위한 도면이다.11 is a view for explaining the operation of the mobile communication terminal face identification digital door lock system according to the present invention.
도 11에 도시된 바와 같이, 본 발명에 따른 디지털 도어록 시스템은 먼저, 디지털 도어록이 접근한 방문자의 얼굴 영상을 획득하고 영상 처리하여 네트워크 게이트웨이로 전송한다.As shown in FIG. 11, the digital door lock system according to the present invention first acquires an image of a visitor's face approached by the digital door lock, processes the image, and transmits the image to the network gateway.
즉, 얼굴 카메라렌즈와 얼굴카메라렌즈의 영상 센싱용 센서를 통해 도어록에 접근한 방문자의 얼굴 영상을 획득한다.That is, the image of the visitor's face approaching the door lock is acquired through the image sensing sensor of the face camera lens and the face camera lens.
그런 다음, 획득한 방문자의 얼굴 영상을 편집하고 압축한다.Then, the visitor's face image is acquired and compressed.
즉, 획득한 방문자의 얼굴 영상에서 디지털 도어록에 접근한 방문자의 얼굴 부분과 얼굴 주변에 설정 여유 공간을 추가하여 화면을 잘라서 편집하고, 상기 편집하여 나온 영상을 이동통신단말기에 전송하기 위해 압축한다.In other words, by adding a set free space around the face of the visitor approaching the digital door lock from the acquired visitor's face image, the screen is cut and edited, and the edited image is compressed for transmission to the mobile communication terminal.
그리고 나서, 압축된 도어록에 접근한 방문자의 얼굴 영상을 네트워크 게이트웨이로 전송한다.Then, the face image of the visitor who has accessed the compressed door lock is transmitted to the network gateway.
그러면, 네트워크 게이트웨이는 디지털 도어록에 접근한 방문자의 얼굴 영상을 전송할 이동통신단말기의 단말기 정보를 등록하고, 상기 단말기 정보가 등록된 이동통신단말기와 상기 디지털 도어록에 네트워킹한다. Then, the network gateway registers the terminal information of the mobile communication terminal to transmit the face image of the visitor who has approached the digital door lock, and networked the mobile communication terminal to which the terminal information is registered and the digital door lock.
그런 다음, 상기 네트워크 게이트웨이는 디지털 도어록이 획득한 방문자의 얼굴 영상을 위치 서버로부터 받은 단말기 정보가 등록된 이동통신단말기의 위치 정보를 기반으로 단말기 정보가 등록된 이동통신단말기로 송신한다.Then, the network gateway transmits the visitor's face image obtained by the digital door lock to the mobile communication terminal in which the terminal information is registered based on the location information of the mobile communication terminal in which the terminal information received from the location server is registered.
그리고, 상기 이동통신단말기는 상기 네트워크 게이트웨이로부터 전송받은 방문자의 얼굴 영상을 푸쉬 알람(push alarm)으로 뜨게 하고, 상기 디지털 도어록의 문열림 제어 신호를 즉, 사용자(예: 집 주인)가 방문자의 얼굴 영상을 확인한 후 입력한 문열림 제어 신호를 상기 위치 서버로부터 받은 네트워크 게이트웨이의 위치 정보를 기반으로 상기 네트워크 게이트웨이로 회신한다.In addition, the mobile communication terminal causes the image of the visitor's face received from the network gateway to be a push alarm, and the door opening control signal of the digital door lock, that is, the user (for example, the homeowner) is the visitor's face. After checking the image, the door opening control signal is returned to the network gateway based on the location information of the network gateway received from the location server.
예를 들어, 상기 이동통신단말기는 특정 앱(본 발명에 따른 방문자 얼굴 확인 앱)을 기반으로 사용자(예: 집 주인)로부터의 입력 정보가 문열림 명령인 경우, 문 열림 명령과 비밀 번호를 암호화 하여 네트워크 게이트웨이로 전송한다. 네트워크 게이트웨이는 비밀 번호와 문열림 명령을 디지털 도어록에 전달한다. 도어록은 비밀번호가 기 등록된 비밀 번호와 일치하는지 확인하여 일치하는 경우만 도어 록 열림 명령을 수행한다(기 등록된 비밀번호는 도어록만 데이터를 가지고 있음으로 게이트웨이 해킹 등의 경우에도 비밀번호 유출을 방지함.)For example, the mobile communication terminal encrypts the door open command and the password when the input information from the user (for example, the home owner) is a door open command based on a specific app (visitor face identification app according to the present invention). To the network gateway. The network gateway sends the password and door open command to the digital door lock. The door lock checks whether the password matches the registered password and executes the door lock opening command only if the password matches (the registered password only has the data in the door lock, preventing password leakage even in the case of gateway hacking and the like). )
그러면, 상기 네트워크 게이트웨이는 상기 이동통신단말기로부터 회신된 상기 디지털 도어록의 문열림 제어 신호를 알에프(또는, 지그비) 통신을 통해 상기 디지털 도어록으로 전달한다.Then, the network gateway transfers the door open control signal of the digital door lock returned from the mobile communication terminal to the digital door lock through RF (or Zigbee) communication.
그리고, 디지털 도어록은 상기 네트워크 게이트웨이로부터 전달된 상기 이동통신단말기의 문열림 제어 신호에 상응하여 문열림을 제어하여, 방문자의 방문을 허용 또는 거절한다.The digital door lock controls the door opening in response to the door opening control signal of the mobile communication terminal transmitted from the network gateway, thereby allowing or rejecting the visitor.
본 발명은 보안 강화가 요구되는 도어록에 적용가능하다. 나아가, 각종 보안 경보장치, 금고, 출입문, 개인 컴퓨터(PC, Personnel Computer)및 은행 ATM(Automatic Teller Machine)기 등의 보안 시스템에 적용가능하다. The present invention is applicable to door locks requiring enhanced security. Furthermore, the present invention can be applied to security systems such as various security alarm devices, safes, doors, personal computer (PC) and automatic teller machine (ATM) machines.

Claims (23)

  1. 도어록(Door lock)으로서As door lock
    사용자 접근을 인식하거나, 사용자의 버튼 입력에 따라 상기 도어록을 구동시키는 웨이크업(wake up) 모듈; 및A wake-up module for recognizing a user's approach or driving the door lock according to a user's button input; And
    상기 웨이크업 모듈에 의해 상기 도어록이 구동되면, 상기 도어록에 입력된 홍채 패턴을 기 저장된 홍채 패턴과 비교하고 상기 비교 결과에 따라 상기 도어록에 접근한 사용자를 인증하는 홍채 인식모듈; When the door lock is driven by the wake-up module, the iris recognition module for comparing the iris pattern input to the door lock with a pre-stored iris pattern and authenticates the user accessing the door lock according to the comparison result;
    을 포함하는 도어록. Door lock comprising a.
  2. 제 1항에 있어서, 상기 홍채 인식모듈은 The method of claim 1, wherein the iris recognition module
    상기 도어록이 구동되면, 상기 도어록에 접근한 사용자의 얼굴 영상을 획득하는 얼굴 촬영부;A face photographing unit which acquires an image of a face of a user approaching the door lock when the door lock is driven;
    상기 얼굴 촬영부에 의해 획득된 사용자의 얼굴영상에서 눈 위치를 센싱하는 눈 위치 센싱부;An eye position sensing unit for sensing an eye position in a face image of a user acquired by the face photographing unit;
    상기 눈 위치 센싱 결과에 따라, 홍채 촬영부의 기울기를 조정하고, 홍채 촬영 제어 신호를 생성하는 서보(servo) 제어부; A servo controller adjusting the inclination of the iris photographing unit and generating an iris photographing control signal according to the eye position sensing result;
    상기 홍채 촬영 제어 신호를 기초로, 상기 도어록으로 접근한 사용자의 홍채를 촬영하는 홍채 촬영부; 및An iris photographing unit configured to photograph an iris of a user approaching the door lock based on the iris photographing control signal; And
    상기 촬영된 홍채의 패턴을 기 저장된 홍채의 패턴과 비교하는 홍채 패턴 비교부;An iris pattern comparison unit comparing the photographed iris pattern with a pre-stored iris pattern;
    를 포함하고 상기 비교 결과에 따라 상기 도어록에 접근한 사용자를 인증하는 것인 도어록. And a door lock to authenticate a user accessing the door lock according to the comparison result.
  3. 제 2항에 있어서, 상기 홍채 촬영부는 The method of claim 2, wherein the iris photographing unit
    서보(servo) 제어부로부터 획득한 상기 홍채 촬영 신호에 의해 틸트 메커니즘(tilt mechanism)이 제어되어, 상기 센싱된 눈 위치에 따라 기울어지는 것The tilt mechanism is controlled by the iris imaging signal obtained from a servo control unit, and tilts according to the sensed eye position.
    인 도어록.In door lock.
  4. 제 1항에 있어서, 상기 웨이크업 모듈은,The wakeup module of claim 1,
    상기 도어록으로 접근하는 물체의 존재여부를 센싱하는 적어도 하나의 접근 인식 센서; 및At least one approach recognition sensor that senses the presence of an object approaching the door lock; And
    상기 도어록으로 접근한 사용자로부터 버튼 입력을 획득하는 입력부;An input unit for obtaining a button input from a user approaching the door lock;
    를 포함하여, 상기 센싱 결과와 버튼 입력 신호에 따라 상기 도어록을 구동시키는 것인 도어록.Including a door lock to drive the door lock according to the sensing result and the button input signal.
  5. 보안 시스템으로서,As a security system,
    사용자의 홍채를 포함한 생체정보를 획득하는 모바일 디바이스; 및A mobile device for obtaining biometric information including an iris of a user; And
    상기 모바일 디바이스로부터 상기 생체정보를 수신하여 상기 수신된 생체정보를 저장하고, 상기 저장된 생체정보와 사용자로부터 입력된 생체정보를 비교하여, 상기 비교 결과를 기초로 사용자를 인증하는 도어록;A door lock configured to receive the biometric information from the mobile device, store the received biometric information, compare the stored biometric information with biometric information input from a user, and authenticate a user based on the comparison result;
    을 포함하는 보안 시스템.Security system comprising a.
  6. 제 5항에 있어서, 상기 생체 정보는The method of claim 5, wherein the biometric information is
    홍채 패턴 정보, 지문 정보, 망막 정보, 안면 정보를 포함하는 고유한 식별 정보인 것Unique identification information including iris pattern information, fingerprint information, retinal information, and facial information
    인 보안 시스템.Security system.
  7. 보안을 위한 사용자 인증 방법으로서,As a user authentication method for security,
    사용자의 접근을 센싱하는 단계;Sensing an access of a user;
    상기 센싱 결과에 따라, 도어록이 구동되는 경우 상기 접근한 사용자의 얼굴 영상을 획득하는 단계;Acquiring a face image of the approaching user when the door lock is driven according to the sensing result;
    상기 획득한 사용자의 얼굴영상에서 눈 위치를 센싱하는 단계;Sensing an eye position in the acquired face image of the user;
    상기 센싱한 눈 위치를 기초로 홍채 카메라의 기울기를 조정하여 상기 사용자의 홍채 영상을 획득하는 단계; 및Obtaining an iris image of the user by adjusting an inclination of the iris camera based on the sensed eye position; And
    상기 획득한 홍채 영상에서 추출된 홍채 패턴과 기 저장된 홍채 패턴을 비교하고, 비교 결과에 따라 상기 사용자를 인증하는 단계;Comparing the iris pattern extracted from the obtained iris image with a previously stored iris pattern and authenticating the user according to a comparison result;
    를 포함하는 사용자 인증 방법. User authentication method comprising a.
  8. 제 7항에 있어서, 상기 사용자의 홍채 영상을 획득하는 단계는The method of claim 7, wherein the obtaining of the iris image of the user
    서보(servo)제어를 통해 홍채 카메라의 기울기 또는 동작을 제어함으로써, 상기 사용자의 홍채 영상을 획득하는 것Obtaining the iris image of the user by controlling the tilt or motion of the iris camera through servo control
    인 사용자 인증 방법.User authentication method.
  9. 제 8항에 있어서, 상기 홍채 영상을 획득하는 단계는The method of claim 8, wherein the obtaining of the iris image comprises:
    홍채 카메라로 홍채 영상을 획득하는 단계; 및Acquiring an iris image with an iris camera; And
    상기 획득된 홍채 영상에서 홍채 패턴을 추출하는 단계;Extracting an iris pattern from the obtained iris image;
    를 포함하는 것인 사용자 인증 방법. User authentication method comprising a.
  10. 제 6항에 있어서, 상기 기 저장된 홍채 패턴은The method of claim 6, wherein the previously stored iris pattern is
    통신기능을 구비한 모바일 디바이스로부터 수신한 홍채 영상에서 홍채 패턴을 추출하여, 상기 추출된 홍채 패턴을 데이터 베이스화 하거나, Extracting an iris pattern from an iris image received from a mobile device having a communication function and making the extracted iris pattern into a database;
    도어록에서 홍채를 촬영하여, 촬영된 홍채 영상에서 홍채 패턴을 추출하고, 추출된 홍채 패턴을 데이터 베이스화 한 것The iris is taken from the door lock, the iris pattern is extracted from the captured iris image, and the extracted iris pattern is a database.
    인 사용자 인증 방법.User authentication method.
  11. 디지털 도어록(Door lock) 시스템에 있어서,In a digital door lock system,
    디지털 도어록;Digital door locks;
    상기 디지털 도어록에 접근한 방문자의 얼굴 영상을 전송할 이동통신단말기의 단말기 정보를 등록하고, 상기 단말기 정보가 등록된 이동통신단말기와 상기 디지털 도어록에 네트워킹하는 네트워크 게이트웨이;A network gateway for registering terminal information of a mobile communication terminal to transmit a face image of a visitor who has approached the digital door lock, and networking the mobile communication terminal with the registered terminal information to the digital door lock;
    상기 네트워크 게이트웨이에 등록된 단말기 정보를 가진 이동통신단말기; 및A mobile communication terminal having terminal information registered in the network gateway; And
    상기 네트워크 게이트웨이와 상기 이동통신단말기의 위치 정보를 수집 확보하여 상호 간에 연결되도록 하는 위치 서버(Location Server);A location server for collecting and securing location information of the network gateway and the mobile communication terminal so as to be connected to each other;
    를 포함하여 구성되고,It is configured to include,
    상기 디지털 도어록은 접근한 방문자의 얼굴 영상을 획득하고 영상 처리하여 상기 네트워크 게이트웨이로 전송하고,The digital door lock acquires an image of a face of an approaching visitor, processes the image, and transmits the image to the network gateway.
    상기 네트워크 게이트웨이는 상기 디지털 도어록이 획득한 방문자의 얼굴 영상을 상기 위치 서버로부터 받은 이동통신단말기의 위치 정보를 기반으로 상기 이동통신단말기로 송신하고,The network gateway transmits the face image of the visitor acquired by the digital door lock to the mobile communication terminal based on the location information of the mobile communication terminal received from the location server,
    상기 이동통신단말기는 상기 네트워크 게이트웨이로부터 전송받은 방문자의 얼굴 영상을 푸쉬 알람(push alarm)으로 뜨게 하고, 상기 디지털 도어록의 문열림 제어 신호를 상기 위치 서버로부터 받은 네트워크 게이트웨이의 위치 정보를 기반으로 상기 네트워크 게이트웨이로 회신하고,The mobile terminal generates a push alarm image of the visitor's face received from the network gateway, and the network based on the position information of the network gateway receiving the door open control signal of the digital door lock from the location server. Reply to the gateway,
    상기 네트워크 게이트웨이는 상기 이동통신단말기로부터 회신된 상기 디지털 도어록의 문열림 제어 신호를 상기 디지털 도어록으로 전달하고,The network gateway transfers a door open control signal of the digital door lock returned from the mobile communication terminal to the digital door lock,
    상기 디지털 도어록은 상기 네트워크 게이트웨이로부터 전달된 상기 이동통신단말기의 문열림 제어 신호에 상응하여 문열림을 제어하는 것;The digital door lock controlling door opening in response to a door opening control signal of the mobile communication terminal transmitted from the network gateway;
    을 특징으로 하는 홍채 인식을 이용한 도어록 시스템.Door lock system using iris recognition characterized in that.
  12. 제 11 항에 있어서,The method of claim 11,
    상기 디지털 도어록은,The digital door lock,
    방문자의 버튼 입력에 따라 상기 도어록을 구동시키는 방문 웨이크-업(wake-up) 버튼;A visit wake-up button for driving the door lock according to a button input of a visitor;
    상기 도어록에 접근한 사용자의 홍채 패턴을 기 저장된 홍채 패턴과 비교하고 상기 비교 결과에 따라 상기 도어록에 접근한 사용자를 인증하는 시스템 프로세서를 구비한 홍채 인식모듈; 및An iris recognition module including a system processor for comparing an iris pattern of a user approaching the door lock with a pre-stored iris pattern and authenticating a user accessing the door lock according to the comparison result; And
    상기 사용자 인증 결과를 기초로 도어의 열림(open)과 닫힘을 제어하는 마이크로 컨트롤러; A microcontroller for controlling opening and closing of the door based on the user authentication result;
    를 포함하여 구성되고,It is configured to include,
    상기 홍채 인식모듈의 시스템 프로세서와 전기적으로 연결되고, 상기 도어록에 접근한 방문자의 얼굴 영상 획득을 위한 얼굴 카메라렌즈와 상기 얼굴 카메라렌즈의 영상 센싱용 센서를 구비한 얼굴 영상 획득부;A face image acquisition unit electrically connected to a system processor of the iris recognition module, the face image acquisition unit including a face camera lens for acquiring a face image of a visitor who has approached the door lock, and a sensor for image sensing of the face camera lens;
    를 더 포함하여 구성되며,It is configured to include more
    상기 홍채 인식모듈의 시스템 프로세서는, The system processor of the iris recognition module,
    상기 센서가 센싱한 영상을 편집하고 압축하는 기능이 구비되고,A function of editing and compressing an image sensed by the sensor is provided,
    상기 마이크로 컨트롤러는,The microcontroller,
    상기 방문 웨이크-업 버튼 입력시 상기 홍채 인식모듈의 구동이 시작되도록 하고, 상기 홍채 인식모듈에 의해 압축된 접근한 방문자의 얼굴 영상을 상기 디지털 도어록과 기등록된 이동통신단말기에 네트워킹하는 네트워크 게이트웨이로 전송하도록 하며, 상기 네트워크 게이트웨이로부터 전달된 상기 이동통신단말기의 문열림 제어 신호에 상응하여 도어의 열림과 닫힘을 제어하고,When the visit wake-up button is input, driving of the iris recognition module is started, and a network gateway for networking the visitor's face image compressed by the iris recognition module to the digital door lock and the registered mobile communication terminal. Control the opening and closing of the door according to the door opening control signal of the mobile communication terminal transmitted from the network gateway,
    상기 홍채 인식모듈의 시스템 프로세서에 의해 압축된 접근한 방문자의 얼굴 영상을 상기 네트워크 게이트웨이로 전송하는 통신 모듈; A communication module for transmitting a face image of an approaching visitor compressed by a system processor of the iris recognition module to the network gateway;
    을 더 포함하여 구성되는 것을 특징으로 하는 홍채 인식을 이용한 도어록 시스템.Door lock system using iris recognition, characterized in that further comprises.
  13. 제 11 항에 있어서,The method of claim 11,
    상기 디지털 도어록은,The digital door lock,
    방문자의 접근을 인식하는 근접인식센서;Proximity sensor for recognizing a visitor's approach;
    상기 도어록에 접근한 사용자의 홍채 패턴을 기 저장된 홍채 패턴과 비교하고 상기 비교 결과에 따라 상기 도어록에 접근한 사용자를 인증하는 시스템 프로세서를 구비한 홍채 인식모듈; 및An iris recognition module including a system processor for comparing an iris pattern of a user approaching the door lock with a pre-stored iris pattern and authenticating a user accessing the door lock according to the comparison result; And
    상기 사용자 인증 결과를 기초로 도어의 열림(open)과 닫힘을 제어하는 마이크로 컨트롤러; A microcontroller for controlling opening and closing of the door based on the user authentication result;
    를 포함하여 구성되고,It is configured to include,
    상기 홍채 인식모듈의 시스템 프로세서와 전기적으로 연결되고, 상기 도어록에 접근한 방문자의 얼굴 영상 획득을 위한 얼굴 카메라렌즈와 상기 얼굴 카메라렌즈의 영상 센싱용 센서를 구비한 얼굴 영상 획득부;A face image acquisition unit electrically connected to a system processor of the iris recognition module, the face image acquisition unit including a face camera lens for acquiring a face image of a visitor who has approached the door lock, and a sensor for image sensing of the face camera lens;
    를 더 포함하여 구성되며,It is configured to include more
    상기 홍채 인식모듈의 시스템 프로세서는, The system processor of the iris recognition module,
    상기 센서가 센싱한 영상을 편집하고 압축하는 기능이 구비되고,A function of editing and compressing an image sensed by the sensor is provided,
    상기 마이크로 컨트롤러는,The microcontroller,
    상기 근접인식센서의 방문자 접근 인식시 상기 홍채 인식모듈의 구동이 시작되도록 하고, 상기 홍채 인식모듈에 의해 압축된 접근한 방문자의 얼굴 영상을 상기 디지털 도어록과 기등록된 이동통신단말기에 네트워킹하는 네트워크 게이트웨이로 전송하도록 하며, 상기 네트워크 게이트웨이로부터 전달된 상기 이동통신단말기의 문열림 제어 신호에 상응하여 도어의 열림과 닫힘을 제어하고,A network gateway for driving the iris recognition module to start the visitor recognition of the proximity recognition sensor and networking the visitor's face image compressed by the iris recognition module to the digital door lock and the registered mobile communication terminal. Control the opening and closing of the door according to the door opening control signal of the mobile communication terminal transmitted from the network gateway,
    상기 홍채 인식모듈의 시스템 프로세서에 의해 압축된 접근한 방문자의 얼굴 영상을 상기 네트워크 게이트웨이로 전송하는 통신 모듈; A communication module for transmitting a face image of an approaching visitor compressed by a system processor of the iris recognition module to the network gateway;
    을 더 포함하여 구성되는 것을 특징으로 하는 홍채 인식을 이용한 도어록 시스템.Door lock system using iris recognition, characterized in that further comprises.
  14. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,The method according to any one of claims 11 to 13,
    상기 네트워크 게이트웨이는,The network gateway,
    상기 디지털 도어록으로부터의 방문자 얼굴 영상 전송용 통신 모듈; 및A communication module for transmitting visitor face images from the digital door lock; And
    상기 네트워크 게이트웨이의 전체 접속 동작을 제어하는 메인 프로세서;A main processor that controls the entire access operation of the network gateway;
    를 포함하여 구성되고,It is configured to include,
    상기 메인 프로세서는 상기 디지털 도어록에 접근한 방문자의 얼굴 영상을 전송할 이동통신단말기의 단말기 정보를 등록하고, 자신의 위치 정보 변경시마다 위치 정보를 상기 위치 서버로 알려주어 상기 단말기 정보가 등록된 이동통신단말기와의 연결을 확보하며, 유무선 인터넷 액세스 포인트(Access point) 기능을 구비하고, 상기 단말기 정보가 등록된 이동통신단말기와 상기 디지털 도어록에 네트워킹하여 상기 디지털 도어록이 획득한 방문자의 얼굴 영상을 상기 위치 서버로부터 받은 상기 단말기 정보가 등록된 이동통신단말기의 위치 정보를 기반으로 상기 단말기 정보가 등록된 이동통신단말기로 송신하도록 하고, 상기 단말기 정보가 등록된 이동통신단말기로부터 회신된 상기 디지털 도어록의 문열림 제어 신호를 상기 디지털 도어록으로 전달하도록 하는 것을 특징으로 하는 홍채 인식을 이용한 도어록 시스템.The main processor registers terminal information of the mobile communication terminal to transmit the face image of the visitor who has approached the digital door lock, and informs the location server of the location information whenever the location information is changed, and thus the terminal information is registered. Secures a connection with the mobile terminal, and has a wired / wireless internet access point function, and networked to the mobile communication terminal registered with the terminal information and the digital door lock to obtain a visitor's face image obtained by the digital door lock from the location server. The terminal information is received from the mobile communication terminal based on the location information of the registered mobile communication terminal to transmit the terminal information to the registered mobile communication terminal, the door control of the digital door lock returned from the mobile communication terminal registered the terminal information Deliver signal to the digital door lock Door lock system using the iris recognition, characterized in that.
  15. 제 14 항에 있어서,The method of claim 14,
    상기 네트워크 게이트웨이는,The network gateway,
    상기 통신 모듈에 전기적으로 연결된 도어록 연동 기능의 도어록 문열림 & 닫힘 버튼;A door lock door open & close button of a door lock interlock function electrically connected to the communication module;
    을 더 포함하여 구성된 것을 특징으로 하는 홍채 인식을 이용한 도어록 시스템.Door lock system using iris recognition, characterized in that further comprises.
  16. 제 11 항에 있어서,The method of claim 11,
    상기 이동통신단말기는,The mobile communication terminal,
    방문자 얼굴 확인 앱을 저장하는 저장부; 및A storage unit for storing a visitor face identification app; And
    상기 이동통신단말기에 저장된 앱을 구동시키는 제어부;A controller for driving an app stored in the mobile communication terminal;
    를 포함하여 구성되고,It is configured to include,
    상기 제어부는,The control unit,
    상기 방문자 얼굴 확인 앱을 기반으로 상기 네트워크 게이트웨이로부터 전송된 디지털 도어록의 방문자 얼굴 영상을 표시하고, 사용자로부터의 입력 정보에 상응하는 문열림 제어 신호를 상기 네트워크 게이트웨이로 전송하도록 하는 것;Displaying a visitor face image of a digital door lock transmitted from the network gateway based on the visitor face identification app, and transmitting a door open control signal corresponding to input information from a user to the network gateway;
    을 특징으로 하는 홍채 인식을 이용한 도어록 시스템에 사용되는 이동통신단말기.Mobile communication terminal used in the door lock system using the iris recognition.
  17. 제 16 항에 있어서,The method of claim 16,
    상기 제어부는,The control unit,
    상기 방문자 얼굴 확인 앱을 기반으로 상기 사용자로부터의 입력 정보가 문열림 명령인 경우, 문 열림 명령과 사용자 입력 비밀 번호를 상기 네트워크 게이트웨이로 전송하여 도어록에 전달하도록 하고, 상기 도어록은 상기 사용자 입력 비밀번호가 기 등록된 비밀 번호와 일치하는지 확인하여 일치하는 경우만 도어록 열림 명령을 수행하도록 하는 것을 특징으로 하는 홍채 인식을 이용한 도어록 시스템에 사용되는 이동통신단말기.When the input information from the user is a door open command based on the visitor face confirmation app, the door open command and the user input password are transmitted to the network gateway to be delivered to the door lock, and the door lock has the user input password. Mobile communication terminal used in the door lock system using the iris recognition, characterized in that the door lock opening command is performed only if it matches the registered password and if it matches.
  18. 도어록에 있어서,In the door lock,
    방문자의 버튼 입력에 따라 상기 도어록을 구동시키는 방문 웨이크-업(wake-up) 버튼;A visit wake-up button for driving the door lock according to a button input of a visitor;
    상기 도어록에 접근한 사용자의 홍채 패턴을 기 저장된 홍채 패턴과 비교하고 상기 비교 결과에 따라 상기 도어록에 접근한 사용자를 인증하는 시스템 프로세서를 구비한 홍채 인식모듈; 및An iris recognition module including a system processor for comparing an iris pattern of a user approaching the door lock with a pre-stored iris pattern and authenticating a user accessing the door lock according to the comparison result; And
    상기 사용자 인증 결과를 기초로 도어의 열림(open)과 닫힘을 제어하는 마이크로 컨트롤러; A microcontroller for controlling opening and closing of the door based on the user authentication result;
    를 포함하여 구성되고,It is configured to include,
    상기 홍채 인식모듈의 시스템 프로세서와 전기적으로 연결되고, 상기 도어록에 접근한 방문자의 얼굴 영상 획득을 위한 얼굴 카메라렌즈와 상기 얼굴 카메라렌즈의 영상 센싱용 센서를 구비한 얼굴 영상 획득부;A face image acquisition unit electrically connected to a system processor of the iris recognition module, the face image acquisition unit including a face camera lens for acquiring a face image of a visitor who has approached the door lock, and a sensor for image sensing of the face camera lens;
    를 더 포함하여 구성되며,It is configured to include more
    상기 홍채 인식모듈의 시스템 프로세서는, The system processor of the iris recognition module,
    상기 센서가 센싱한 영상을 편집하고 압축하는 기능이 구비되고,A function of editing and compressing an image sensed by the sensor is provided,
    상기 마이크로 컨트롤러는,The microcontroller,
    상기 방문 웨이크-업 버튼 입력시 상기 홍채 인식모듈의 구동이 시작되도록 하고, 상기 홍채 인식모듈에 의해 압축된 접근한 방문자의 얼굴 영상을 상기 디지털 도어록과 기등록된 이동통신단말기에 네트워킹하는 네트워크 게이트웨이로 전송하도록 하며, 상기 네트워크 게이트웨이로부터 전달된 상기 이동통신단말기의 문열림 제어 신호에 상응하여 도어의 열림과 닫힘을 제어하고,When the visit wake-up button is input, driving of the iris recognition module is started, and a network gateway for networking the visitor's face image compressed by the iris recognition module to the digital door lock and the registered mobile communication terminal. Control the opening and closing of the door according to the door opening control signal of the mobile communication terminal transmitted from the network gateway,
    상기 홍채 인식모듈의 시스템 프로세서에 의해 압축된 접근한 방문자의 얼굴 영상을 상기 네트워크 게이트웨이로 전송하는 통신 모듈; A communication module for transmitting a face image of an approaching visitor compressed by a system processor of the iris recognition module to the network gateway;
    을 더 포함하여 구성되는 것을 특징으로 하는 홍채 인식을 이용한 도어록 시스템에 사용되는 디지털 도어록.Digital door lock used in the door lock system using iris recognition, characterized in that it further comprises a.
  19. 도어록에 있어서,In the door lock,
    방문자의 접근을 인식하는 근접인식센서;Proximity sensor for recognizing a visitor's approach;
    상기 도어록에 접근한 사용자의 홍채 패턴을 기 저장된 홍채 패턴과 비교하고 상기 비교 결과에 따라 상기 도어록에 접근한 사용자를 인증하는 시스템 프로세서를 구비한 홍채 인식모듈; 및An iris recognition module including a system processor for comparing an iris pattern of a user approaching the door lock with a pre-stored iris pattern and authenticating a user accessing the door lock according to the comparison result; And
    상기 사용자 인증 결과를 기초로 도어의 열림(open)과 닫힘을 제어하는 마이크로 컨트롤러; A microcontroller for controlling opening and closing of the door based on the user authentication result;
    를 포함하여 구성되고,It is configured to include,
    상기 홍채 인식모듈의 시스템 프로세서와 전기적으로 연결되고, 상기 도어록에 접근한 방문자의 얼굴 영상 획득을 위한 얼굴 카메라렌즈와 상기 얼굴 카메라렌즈의 영상 센싱용 센서를 구비한 얼굴 영상 획득부;A face image acquisition unit electrically connected to a system processor of the iris recognition module, the face image acquisition unit including a face camera lens for acquiring a face image of a visitor who has approached the door lock, and a sensor for image sensing of the face camera lens;
    를 더 포함하여 구성되며,It is configured to include more
    상기 홍채 인식모듈의 시스템 프로세서는, The system processor of the iris recognition module,
    상기 센서가 센싱한 영상을 편집하고 압축하는 기능이 구비되고,A function of editing and compressing an image sensed by the sensor is provided,
    상기 마이크로 컨트롤러는,The microcontroller,
    상기 근접인식센서의 방문자 접근 인식시 상기 홍채 인식모듈의 구동이 시작되도록 하고, 상기 홍채 인식모듈에 의해 압축된 접근한 방문자의 얼굴 영상을 상기 디지털 도어록과 기등록된 이동통신단말기에 네트워킹하는 네트워크 게이트웨이로 전송하도록 하며, 상기 네트워크 게이트웨이로부터 전달된 상기 이동통신단말기의 문열림 제어 신호에 상응하여 도어의 열림과 닫힘을 제어하고,A network gateway for driving the iris recognition module to start the visitor recognition of the proximity recognition sensor and networking the visitor's face image compressed by the iris recognition module to the digital door lock and the registered mobile communication terminal. Control the opening and closing of the door according to the door opening control signal of the mobile communication terminal transmitted from the network gateway,
    상기 홍채 인식모듈의 시스템 프로세서에 의해 압축된 접근한 방문자의 얼굴 영상을 상기 네트워크 게이트웨이로 전송하는 통신 모듈; A communication module for transmitting a face image of an approaching visitor compressed by a system processor of the iris recognition module to the network gateway;
    을 더 포함하여 구성되는 것을 특징으로 하는 홍채 인식을 이용한 도어록 시스템에 사용되는 디지털 도어록.Digital door lock used in the door lock system using iris recognition, characterized in that it further comprises a.
  20. 제 18 항 또는 제 19 항에 있어서,The method of claim 18 or 19,
    상기 얼굴 영상 획득부는,The face image acquisition unit,
    상기 홍채 인식모듈에 일체형으로 내장된 것이거나 또는, 분리된 것을 특징으로 하는 홍채 인식을 이용한 도어록 시스템에 사용되는 디지털 도어록.The digital door lock used in the door lock system using the iris recognition, characterized in that built-in or integral to the iris recognition module.
  21. 제 18 항 또는 제 19 항에 있어서,The method of claim 18 or 19,
    상기 홍채 인식모듈의 시스템 프로세서는,The system processor of the iris recognition module,
    상기 센서가 센싱한 영상에서 디지털 도어록에 접근한 방문자의 얼굴 부분과 얼굴 주변에 설정 여유 공간을 추가하여 화면을 잘라서 편집하고, 상기 편집하여 나온 영상을 압축하여 상기 통신 모듈로 전송되도록 하는 것을 특징으로 하는 홍채 인식을 이용한 도어록 시스템에 사용되는 디지털 도어록.From the image sensed by the sensor to add a set free space around the face and the face of the visitor approaching the digital door lock, cut out the screen to edit, and compresses the edited image to be transmitted to the communication module Digital door lock used in door lock system using iris recognition.
  22. 네트워크 게이트웨이에 있어서,In the network gateway,
    디지털 도어록의 방문자 얼굴 영상 전송용 통신 모듈;A communication module for transmitting a visitor face image of the digital door lock;
    상기 디지털 도어록의 방문자 얼굴 영상을 전송할 이동통신단말기의 위치 정보와 자신의 위치 정보를 수집 확보하여 상호 간에 연결되도록 하는 위치 서버와의 통신 인터페이스; 및A communication interface with a location server for collecting and securing location information of a mobile communication terminal and a location information of a mobile communication terminal to which the visitor face image of the digital door lock is to be connected to each other; And
    상기 네트워크 게이트웨이의 전체 접속 동작을 제어하는 메인 프로세서;A main processor that controls the entire access operation of the network gateway;
    를 포함하여 구성되고,It is configured to include,
    상기 메인 프로세서는 상기 디지털 도어록에 접근한 방문자의 얼굴 영상을 전송할 이동통신단말기의 단말기 정보를 등록하고, 자신의 위치 정보 변경시마다 위치 정보를 상기 위치 서버로 알려주어 상기 단말기 정보가 등록된 이동통신단말기와의 연결을 확보하며, 유무선 인터넷 액세스 포인트(Access point) 기능을 구비하고, 상기 단말기 정보가 등록된 이동통신단말기와 상기 디지털 도어록에 네트워킹하여 상기 디지털 도어록이 획득한 방문자의 얼굴 영상을 상기 위치 서버로부터 받은 상기 단말기 정보가 등록된 이동통신단말기의 위치 정보를 기반으로 상기 단말기 정보가 등록된 이동통신단말기로 송신하도록 하고, 상기 단말기 정보가 등록된 이동통신단말기로부터 회신된 상기 디지털 도어록의 문열림 제어 신호를 상기 디지털 도어록으로 전달하도록 하는 것을 특징으로 하는 홍채 인식을 이용한 도어록 시스템에 사용되는 네트워크 게이트웨이.The main processor registers terminal information of the mobile communication terminal to transmit the face image of the visitor who has approached the digital door lock, and informs the location server of the location information whenever the location information is changed, and thus the terminal information is registered. Secures a connection with the mobile terminal, and has a wired / wireless internet access point function, and networked to the mobile communication terminal registered with the terminal information and the digital door lock to obtain a visitor's face image obtained by the digital door lock from the location server. The terminal information is received from the mobile communication terminal based on the location information of the registered mobile communication terminal to transmit the terminal information to the registered mobile communication terminal, the door control of the digital door lock returned from the mobile communication terminal registered the terminal information Deliver signal to the digital door lock Network gateway used in the door lock system using iris recognition, characterized in that.
  23. 제 22 항에 있어서,The method of claim 22,
    상기 통신 모듈에 전기적으로 연결된 도어록 연동 기능의 도어록 문열림 & 닫힘 버튼;A door lock door open & close button of a door lock interlock function electrically connected to the communication module;
    을 더 포함하여 구성된 것을 특징으로 하는 홍채 인식을 이용한 도어록 시스템에 사용되는 네트워크 게이트웨이.The network gateway used in the door lock system using iris recognition, characterized in that further comprises.
PCT/KR2015/005849 2014-07-09 2015-06-10 Door-lock using iris recognition and system thereof, mobile communication terminal and network gateway used therein, and user authentication method WO2016006831A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/325,079 US20170193723A1 (en) 2014-07-09 2015-06-10 Door-Lock Using Iris Recognition and System Thereof, Mobile Communication Terminal and Network Gateway Used Therein, And User Authentication Method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2014-0086233 2014-07-09
KR20140086233 2014-07-09
KR1020150074037A KR20160006587A (en) 2014-07-09 2015-05-27 Door lock for Security and system and mobile communication terminal used in it and network gateway used in it and Method for Authentication Using Iris Detection
KR10-2015-0074037 2015-05-27

Publications (1)

Publication Number Publication Date
WO2016006831A1 true WO2016006831A1 (en) 2016-01-14

Family

ID=54690870

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/005849 WO2016006831A1 (en) 2014-07-09 2015-06-10 Door-lock using iris recognition and system thereof, mobile communication terminal and network gateway used therein, and user authentication method

Country Status (2)

Country Link
CN (1) CN204833296U (en)
WO (1) WO2016006831A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469508A (en) * 2015-12-31 2016-04-06 上海创功通讯技术有限公司 Storage cabinet, mobile terminal and storage cabinet control method and system
CN106157417B (en) * 2016-07-28 2018-07-13 北京虹娘科技有限公司 A kind of iris identification method, device, smart lock and intelligent identifying system
CN110506266A (en) * 2017-04-20 2019-11-26 指纹卡有限公司 For using the access control of the first and second biometric datas access restriction of domain
CN107680224A (en) * 2017-10-12 2018-02-09 深圳市沃特沃德股份有限公司 Control method for door lock and device
CN108868352B (en) * 2018-06-28 2023-07-28 安徽爱进家智能科技有限公司 Intelligent fingerprint lock and operation method thereof
CN111255299A (en) * 2018-12-03 2020-06-09 珠海格力电器股份有限公司 Door lock control method and device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000036036A (en) * 1998-07-17 2000-02-02 Media Technology:Kk Iris information acquirement device and iris identification device
KR20050010546A (en) * 2003-07-21 2005-01-28 예지시스템주식회사 Control method and device of digital door lock for recognizing ID by radio frequency with safe mode
KR20070112013A (en) * 2006-05-19 2007-11-22 넥스터치(주) System and apparatus for controlling doorlock key using mobile communication terminal
KR20100010465A (en) * 2008-07-22 2010-02-01 주식회사 미래인식 Apparatus and method for managing entrance using pin and biometrics
KR101169442B1 (en) * 2011-12-07 2012-07-30 주식회사 세원테크 Door lock system for integrated device with smartphone features
KR20140055052A (en) * 2012-10-30 2014-05-09 (주) 코콤 Home network interworkng digital door lock
KR101414773B1 (en) * 2012-08-09 2014-07-03 주식회사 서우 Openning and closing method for digital door lock, and mobile telecomunication terminal thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000036036A (en) * 1998-07-17 2000-02-02 Media Technology:Kk Iris information acquirement device and iris identification device
KR20050010546A (en) * 2003-07-21 2005-01-28 예지시스템주식회사 Control method and device of digital door lock for recognizing ID by radio frequency with safe mode
KR20070112013A (en) * 2006-05-19 2007-11-22 넥스터치(주) System and apparatus for controlling doorlock key using mobile communication terminal
KR20100010465A (en) * 2008-07-22 2010-02-01 주식회사 미래인식 Apparatus and method for managing entrance using pin and biometrics
KR101169442B1 (en) * 2011-12-07 2012-07-30 주식회사 세원테크 Door lock system for integrated device with smartphone features
KR101414773B1 (en) * 2012-08-09 2014-07-03 주식회사 서우 Openning and closing method for digital door lock, and mobile telecomunication terminal thereof
KR20140055052A (en) * 2012-10-30 2014-05-09 (주) 코콤 Home network interworkng digital door lock

Also Published As

Publication number Publication date
CN204833296U (en) 2015-12-02

Similar Documents

Publication Publication Date Title
WO2016006831A1 (en) Door-lock using iris recognition and system thereof, mobile communication terminal and network gateway used therein, and user authentication method
WO2019216499A1 (en) Electronic device and control method therefor
WO2019182409A1 (en) Electronic device and authentication method thereof
WO2020017706A1 (en) Electronic device and method for controlling the same
WO2015137645A1 (en) Mobile terminal and method for controlling same
WO2017099314A1 (en) Electronic device and method for providing user information
WO2014021602A2 (en) Wearable electronic device and method for controlling same
WO2016204466A1 (en) User authentication method and electronic device supporting the same
WO2014073886A1 (en) Electronic device and method for controlling payment function of input means
KR20160006587A (en) Door lock for Security and system and mobile communication terminal used in it and network gateway used in it and Method for Authentication Using Iris Detection
WO2015030500A1 (en) Electronic device and inputted signature processing method of electronic device
WO2015102361A1 (en) Apparatus and method for acquiring image for iris recognition using distance of facial feature
WO2015023109A1 (en) Security system, apparatus and method using additional code
WO2016006927A1 (en) Wearing-sensing hand-attached wearable device for iris recognition, security reinforcing set using same, and method for controlling same
WO2018164364A1 (en) Contactless multiple body part recognition method and multiple body part recognition device, using multiple biometric data
WO2020013545A1 (en) Apparatus and method for authenticating object in electronic device
KR101550206B1 (en) Finger Vein Recognition System having a Double Security Function and Controlling Method for the Same
WO2015190796A1 (en) Hand-attachable wearable device capable of iris identification indoors and outdoors
WO2016093459A1 (en) Mobile terminal and control method thereof
WO2020256160A1 (en) Artificial intelligence home robot and control method for same
WO2018164363A1 (en) Contactless multiple body part recognition method and multiple body part recognition device, using multiple biometric data
WO2019164290A1 (en) Method of biometric authenticating using plurality of camera with different field of view and electronic apparatus thereof
WO2022045562A1 (en) Electronic device for controlling opening and closing of a door, a door opening/closing device disposed to the door, and a method therefor
WO2020218848A1 (en) Electronic device and method for performing biometric authenticaion function and intelligent agent function using user input in electronic device
WO2019164281A1 (en) Electronic device and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15818303

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15325079

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 15818303

Country of ref document: EP

Kind code of ref document: A1