KR101946253B1 - 시선 인식을 이용한 잠금해제 장치 및 방법 - Google Patents

시선 인식을 이용한 잠금해제 장치 및 방법 Download PDF

Info

Publication number
KR101946253B1
KR101946253B1 KR1020170098972A KR20170098972A KR101946253B1 KR 101946253 B1 KR101946253 B1 KR 101946253B1 KR 1020170098972 A KR1020170098972 A KR 1020170098972A KR 20170098972 A KR20170098972 A KR 20170098972A KR 101946253 B1 KR101946253 B1 KR 101946253B1
Authority
KR
South Korea
Prior art keywords
unit
photographing
person
unlocking
key display
Prior art date
Application number
KR1020170098972A
Other languages
English (en)
Inventor
박철우
Original Assignee
부산가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산가톨릭대학교 산학협력단 filed Critical 부산가톨릭대학교 산학협력단
Priority to KR1020170098972A priority Critical patent/KR101946253B1/ko
Priority to PCT/KR2017/013798 priority patent/WO2019027103A1/ko
Application granted granted Critical
Publication of KR101946253B1 publication Critical patent/KR101946253B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00896—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys specially adapted for particular uses
    • G07C9/00904—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys specially adapted for particular uses for hotels, motels, office buildings or the like

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Lock And Its Accessories (AREA)

Abstract

본 발명은 시선 인식을 이용한 잠금해제 장치 및 방법에 관한 것으로서, 도어록의 번호판 숫자 중 사람의 눈동자가 향하는 시선에 위치한 숫자를 연속으로 검출하여 기설정된 숫자와 일치하면 도어의 잠금을 해제하는 장치 및 방법에 관한 것이다.
본 발명에 따른 시선 인식을 이용한 잠금해제 장치는 도어 잠금 해제를 위한 숫자가 디스플레이 되는 텐키 표시부; 상기 텐키 표시부에 적어도 5개가 기설정된 간격으로 배치되어 각각 사람의 얼굴을 촬영하는 촬영부; 상기 각각의 촬영부가 촬영한 영상에서 사람의 위치를 계산하고, 상기 촬영부 중 상기 사람의 위치에 가장 근접한 촬영부를 적어도 2개 선택하는 선택부; 상기 선택부에서 선택된 적어도 2개의 촬영부를 통해 각각 촬영된 영상에서 사람의 눈동자를 인식하여 상기 각각의 촬영부의 위치에 따라 기설정된 2차원 좌표 영역에 매칭하고, 상기 매칭된 모든 눈동자의 위치좌표를 이용하여 상기 눈동자의 시선이 응시하는 지점의 3차원 좌표값을 계산하는 좌표계산부; 상기 좌표계산부에서 계산된 3차원 좌표값이 상기 텐키 표시부의 숫자 중 어느 하나의 숫자에 대응되는 좌표 영역에 포함되는지 판단하여 해당 숫자를 검출하는 숫자검출부; 및 상기 숫자검출부에서 검출된 숫자가 기설정된 숫자와 일치하면 상기 도어의 잠금을 해제하는 잠금해제부; 를 포함한다.

Description

시선 인식을 이용한 잠금해제 장치 및 방법 {APPARATUS AND METHOD FOR UNLOCKING USING EYE-TRACKING}
본 발명은 시선 인식을 이용한 잠금해제 장치 및 방법에 관한 것으로서, 도어록의 번호판 숫자 중 사람의 눈동자가 향하는 시선에 위치한 숫자를 연속으로 검출하여 기설정된 숫자와 일치하면 도어의 잠금을 해제하는 장치 및 방법에 관한 것이다.
일반적으로, 도어록(Door Lock)은 주택, 오피스텔 및 사무실 등의 출입문에 설치되어, 외부인의 출입을 통제하는 역할을 하는데, 그 예로서 막대식 열쇠를 사용하는 기계식 도어록, 카드나 반도체키를 이용하는 카드/반도체 키 도어록, 숫자키 입력 디지털 도어록 등의 다양한 제품이 사용되고 있다.
이러한 도어록 중에서, 기계식 도어록이나 카드/반도체키 도어록은 열쇠나 카드/반도체키의 분실, 도난 또는 복제 등의 우려가 있고, 숫자키 입력 디지털 도어록은 특정 비밀번호의 지속적인 사용으로 인해 특정키의 문자인쇄가 지워지거나 지문이 남는 것에 의해 비밀번호가 유출되는 등의 단점이 있다. 또한 사회가 복잡해짐에 따라 범죄수법이 다양해지고, 지능화됨에 따라 보안기능이 향상된 도어록에 대한 수요가 증가하고 있는 실정이다.
이와 같은 종래의 디지털 도어록에 대한 문제를 해결하기 위하여, 생체인식기술을 접목시킴으로써 편의성과 보안성이 향상된 제품의 개발 및 보급이 이루어지고 있다.
종래의 생체인식기술이 접목된 디지털 도어록 잠금 해제 또는 단말의 잠금 해제 기술은 사용자의 얼굴을 촬영하여 미리 등록된 얼굴과 일치하는지 여부를 통해 잠금을 해제하는 기술이 대부분이었다.
그러나, 종래 기술은 얼굴 인식의 처리가 어렵거나, 얼굴 인식을 위한 등록이 이루어지지 않은 사용자의 출입을 위하여, 키패드의 비밀번호 입력에 의한 출입이 이루어지는 경우, 비밀번호의 노출이나 해킹 등에 의해 보안성이 저하되는 문제점을 가지고 있었다.
한국등록특허 제10-1730255호 한국등록특허 제10-1030518호
이에 본 발명은 도어록의 번호판 숫자 중 사람의 눈동자가 향하는 시선에 위치한 숫자를 검출하여 암호와 일치하면 도어의 잠금을 해제함으로써 암호가 주변에 노출되지 않도록 보안을 유지하면서 도어의 잠금을 해제할 수 있는 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명에 따른 시선 인식을 이용한 잠금해제 장치는 도어 잠금 해제를 위한 숫자가 디스플레이 되는 텐키 표시부; 상기 텐키 표시부에 적어도 5개가 기설정된 간격으로 배치되어 각각 사람의 얼굴을 촬영하는 촬영부; 상기 각각의 촬영부가 촬영한 영상에서 사람의 위치를 계산하고, 상기 촬영부 중 상기 사람의 위치에 가장 근접한 촬영부를 적어도 2개 선택하는 선택부; 상기 선택부에서 선택된 적어도 2개의 촬영부를 통해 각각 촬영된 영상에서 사람의 눈동자를 인식하여 상기 각각의 촬영부의 위치에 따라 기설정된 2차원 좌표 영역에 매칭하고, 상기 매칭된 모든 눈동자의 위치좌표를 이용하여 상기 눈동자의 시선이 응시하는 지점의 3차원 좌표값을 계산하는 좌표계산부; 상기 좌표계산부에서 계산된 3차원 좌표값이 상기 텐키 표시부의 숫자 중 어느 하나의 숫자에 대응되는 좌표 영역에 포함되는지 판단하여 해당 숫자를 검출하는 숫자검출부; 및 상기 숫자검출부에서 검출된 숫자가 기설정된 숫자와 일치하면 상기 도어의 잠금을 해제하는 잠금해제부; 를 포함한다.
본 발명에서, 상기 촬영부는 상기 촬영부는 각각 촬영 영역을 확대시키는 각도로 틸트된다.
본 발명에서, 상기 텐키 표시부는 기설정된 위치까지 상하로 이동된다.
본 발명에 따른 시선 인식을 이용한 잠금해제 장치는 상기 촬영부가 상기 사람의 얼굴을 촬영하면, 상기 촬영된 영상에서 사람의 얼굴 위치를 판단하여 상기 사람의 얼굴을 정면에서 촬영할 수 있는 위치로 상기 텐키 표시부를 이동시키는 구동부; 를 더 포함한다.
본 발명에 따른 시선 인식을 이용한 잠금해제 방법은 (a) 도어 잠금 해제를 위한 숫자가 디스플레이 되는 텐키 표시부에 적어도 5개가 기설정된 간격으로 배치된 촬영부가 각각 사람의 얼굴을 촬영하는 단계; (b) 선택부가 상기 촬영부가 촬영한 영상에서 각각 사람의 위치를 계산하고, 상기 촬영부 중 상기 사람의 위치에 가장 근접하게 배치되어 있는 촬영부를 적어도 2개 선택하는 단계; (c) 좌표매칭부가 상기 선택부에 의해 선택된 적어도 2개의 촬영부가 촬영한 각각의 영상에서 사람의 눈동자를 인식하여 상기 각각의 촬영부의 위치에 따라 기설정된 2차원 좌표 영역에 매칭하는 단계; (d) 좌표계산부가 상기 좌표매칭부에 매칭된 모든 눈동자의 위치좌표를 이용하여 상기 눈동자의 시선이 응시하는 지점의 3차원 좌표값을 계산하는 단계; (e) 숫자검출부가 상기 좌표계산부에서 계산된 3차원 좌표값이 상기 텐키 표시부의 숫자 중 어느 하나의 숫자에 대응되는 좌표 영역에 포함되는지 판단하여 해당 숫자를 검출하는 단계; 및 (f) 잠금해제부가 상기 숫자검출부에서 검출된 숫자가 기설정된 숫자와 일치하면 상기 도어의 잠금을 해제하는 단계; 를 포함한다.
본 발명에서 상기 촬영부는 상기 촬영부는 각각 촬영 영역을 확대시키는 각도로 틸트된다.
본 발명에서 상기 텐키 표시부는 기설정된 위치까지 상하로 이동된다.
본 발명에 따른 시선 인식을 이용한 잠금해제 방법은 상기 (a)단계 이전에, (g) 상기 촬영부가 상기 사람의 얼굴을 촬영하면, 구동부가 상기 촬영된 영상에서 사람의 얼굴 위치를 판단하여 상기 사람의 얼굴을 정면에서 촬영할 수 있는 위치로 상기 텐키 표시부를 이동시키는 단계; 를 더 포함한다.
본 발명에 따르면 도어록의 번호판 숫자를 사람의 시선으로 선택함으로써, 비밀번호의 노출이나 해킹 등으로부터 보안성을 높일 수 있다.
또한, 시선을 인식하기 위한 카메라를 다수 개 배치하여 사람이 정면에 서있지 않아도 위치에 따라 적절한 카메라를 선택하여 시선을 인식함으로써, 시선의 방향을 정확하게 감지할 수 있다.
또한, 도어록의 카메라가 배치된 번호판을 상하로 움직일 수 있도록 하여, 사람의 키에 맞게 조절하여 시선을 인식할 수 있어 시선의 방향을 보다 정확하게 감지 할 수 있다.
도 1는 본 발명의 일 실이 예에 따른 시선 인식을 이용한 잠금해제 장치의 개략적인 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 시선 인식을 이용한 잠금해제 장치의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 시선 인식을 이용한 잠금해제 방법에 관한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 시선 인식을 이용한 잠금해제 방법의 예시도이다.
이하에서, 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명할 것이다. 또한 본 발명을 설명함에 있어서 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
도 1는 본 발명의 일 실이 예에 따른 시선 인식을 이용한 잠금해제 장치의 개략적인 구성도이다.
도 1을 참조하면 본 발명의 일 실시 예에 따른 시선 인식을 이용한 잠금해제 장치(100)는 텐키 표시부(110), 촬영부(120), 선택부(130), 좌표계산부(140), 숫자검출부(150), 잠금해제부(160)를 포함하여 구성된다.
먼저 텐키 표시부(110)는 도어 잠금을 해제하기 위한 숫자가 디스플레이되는 구성이다.
도어의 잠금을 해제하기 위해서는 암호를 입력해야 하며 이러한 암호는 숫자나 문자, 기호 등이 조합되어 구성되는데 본원발명에서는 숫자 조합 암호를 적용하였으며, 이에 따라 암호 입력을 위한 표시부를 0부터 9까지 숫자가 표시된 텐키 표시부(110)로 적용하였다. 그러나 이는 본원발명의 일 실시예에 한정되는 것은 아니며, 다른 실시예에서 암호 입력을 위해 다른 문자나 기호를 포함하는 표시부로 구성될 수 있다.
이러한 텐키 표시부(110)에는 촬영부(120)가 함께 배치되어 구성되는데, 촬영부(120)는 사람의 얼굴을 촬영하여 시선은 인식하기 위한 구성으로, 정확한 시선 인식을 위해 텐키 표시부(110)에 적어도 5개가 기설정된 구획마다 1개씩 배치된다.
예를 들어 5개의 촬영부(120)가 텐키 표시부(110)에 배치되는 경우, 텐키 표시부(110)의 사방 가장자리에 촬영부(120)가 하나씩 배치되고, 정중앙에 하나가 배치되도록 구성하는 것이 바람직하다.
이렇게 텐키 표시부(110)에 촬영부(120)를 일정한 구획별로 배치하는 이유는 사용자가 시선 인식을 이용한 잠금해제 장치(100) 앞에 서서 시선을 이용해 숫자를 선택할 때, 딱 정중앙에만 서서 숫자를 선택하지 않기 때문이다.
만약 촬영부(120)가 한개만 배치되어 있는 상태라면, 사용자가 오른쪽으로 치우쳐 있거나, 왼쪽으로 치우쳐 있는 경우 촬영된 영상에서 사용자의 시선은 한쪽으로 몰려 찍히기 때문에 시선 인식의 정확도가 떨어질 수 밖에 없으며, 사용자가 촬영 범위를 벗어나는 경우, 사용자의 얼굴을 아예 촬영하지 못할 수도 있다.
따라서 본원발명에서는 촬영부(120)를 텐키 표시부(110)에 골고루 배치하여 사용자가 어느곳에 위치하고 있더라도 해당 위치에 가까운 촬영부(120)를 이용해 사용자의 얼굴을 촬영하고 시선을 인식할 수 있도록 하는 것이다.
또 다른 실시예에서, 텐키 표시부(110)의 가장자리에 배치된 촬영부(120)는 배치할때 각도를 가장자리 방향으로 틸트시켜 배치함으로써, 그 촬영 각도를 확장 시키는 것도 가능하다.
이때, 촬영부(120)는 움직이는 물체를 인지하여 사람이 이동하는 방향에 따라 기설정된 각도 범위 내에서 자동으로 틸트 제어가 이루어지도록 구성될 수도 있다.
사람이 텐키 표시부(110)를 기준으로 오른쪽으로 이동하면 텐키 표시부(110)의 오른쪽에 배치된 촬영부(120)가 사람의 이동방향에 따라 자동으로 오른쪽 방향으로 틸트되도록 하는 것이다.
이를 위해 촬영부(120)에는 각도 제어 신호에 따라 촬영부(120)를 틸트 시키는 틸트제어부(미도시)가 추가로 구비될 수 있다.
이러한 촬영부(120)는 각각 도어를 해제하고자 하는 사람의 얼굴을 촬영한다.
촬영부(120)에서 각각 촬영된 영상은 선택부(130)로 전달되는데, 선택부(130)는 각각의 영상에 찍힌 사람의 위치를 매칭시켜 현재 사람이 위치하고 있는 좌표값을 계산한다.
즉, 예를 들어 좌측에 위치한 카메라에서 찍은 영상에서는 사람의 얼굴이 정중앙에 위치하고 있고, 정중앙과 우측에 위치한 카메라에서 찍은 영상에서는 사람의 얼굴이 좌측으로 쏠려있는 상태라면, 선택부(130)는 사람이 좌측에 위치하고 있다고 판단하며, 각 영상에서의 사람의 위치를 매칭시켜 그 위치를 판단할 수 있다.
이렇게 모든 촬영부(120)에서 촬영된 영상을 통해 사람의 위치가 확인되면, 선택부(130)는 확인된 사람의 위치에 가장 근접하게 배치되어 있는 촬영부(120)를 적어도 2개 선택한다.
즉, 사람의 위치가 중앙에서 오른쪽으로 치우쳐있다면, 텐키 표시부(110)의 오른쪽에 배치된 촬영부(120) 2개를 선택하거나, 중앙에 배치된 하나와 오른쪽에 배치된 2개의 찰영부(120)를 선택하여 총 3개의 촬영부를 선택할 수도 있는 것이다.
이렇게 선택부(130)에 의해 사람의 위치와 근접한 촬영부(120)가 선택되면, 다음으로 좌표계산부(140)가 선택된 촬영부(120)에서 촬영한 영상을 통해 사람의 시선을 인식하고 시선이 응시하는 위치의 좌표를 계산하게 된다.
좌표계산부(140)는 선택부(130)에서 선택된 촬영부(120)가 각각 촬영한 영상에서 사람의 눈동자를 인식하고 인식된 눈동자를 2차원 좌표에 매칭한다.
만약 선택부(130)에서 선택된 촬영부(120)가 총 3개라면, 각각의 영상에서 인식된 눈동자를 모두 2차원 좌표에 매칭하므로 2차원 좌표상에 매칭되는 눈동자는 총 6개가 된다.
또한 좌표계산부(140)는 각각의 눈동자를 촬영한 촬영부(120)의 위치를 고려하여 각각의 영상에서 인식된 눈동자를 2차원 좌표에 조합한다.
즉, 각각의 촬영부(120)는 2차원 좌표에서 각기 위치에 따라 기설정된 영역의 좌표를 포함한다.
예를 들어, 촬영부(120)가 사방 4개와 정중앙 1개로 구성되어 있을 때, 전체 2차원 좌표에서 사방 4곳의 일정한 영역을 각각의 위치에 해당하는 촬영부(120)의 좌표 영역으로 설정하고, 정중앙의 일정한 영역을 정중앙에 위치한 촬영부(120)의 좌표 영역으로 설정한다.
이렇게 됐을 때 전체 2차원 좌표의 영역은 촬영부(120)의 좌표영역에 의해 모두 커버 되어야 하며, 서로 겹치는 영역이 존재하도록 설정되어야 한다.
각각의 촬영부(120)에 해당하는 좌표 영역은 각 촬영부(120)가 촬영하는 영역에 따라 설정되는 것이 바람직하며, 좌표계산부(140)는 이렇게 각 촬영부(120)마다 설정된 좌표 영역에 각 촬영부(120)에서 촬영되어 인식된 눈동자를 매칭시킨다.
다음으로 좌표계산부(140)는 2차원 좌표에 매칭된 눈동자들의 시선이 응시하는 지점의 3차원 좌표값을 계산하는데 3차원 좌표값을 계산하는 방법은 동공의 굴절률을 및 동공이 향하는 방향을 이용하여 계산한다. 이러한 3차원 좌표값을 계산하는 방법은 기공지된 기술로 본원발명에서는 자세하게 서술하지 않도록 한다.
선택부(130)에서 선택된 촬영부(120)의 갯수가 많을수록 2차원 좌표에 매칭된 눈동자의 수도 많고, 따라서 각 눈동자를 이용해 3차원 좌표값을 계산하면, 각각의 눈동자에 대한 오류값으로 인해 각기 다른 지점의 좌표값이 검출될 것이다.
좌표계산부(140)는 이러한 다수개의 3차원 좌표값의 평균을 취하여 최종 시선이 응시하는 지점의 3차원 좌표값을 계산한다.
이렇게 시선이 응시하는 지점의 3차원 좌표값이 계산되면, 다음으로 숫자검출부(150)가 해당 좌표값이 텐키 표시부(110)의 어느 지점을 가리키는지 판단하여 시선이 응시하는 지점의 숫자를 검출하게 된다.
즉, 텐키 표시부(110)에 표시된 각각의 숫자에는 일정한 영역으로 3차원 좌표값이 할당되어 있는데, 사용자의 시선이 응시하는 지점의 3차원 좌표값이 어느 숫자에 해당하는 영역에 포함되는지를 판단하는 것이다.
이렇게 숫자검출부(150)에서 시선이 응시하는 지점의 3차원 좌표값이 텐키 표시부(110)의 어떤 숫자를 가리키는지 확인되면, 다음으로 잠금해제부(160)가 이렇게 검출된 숫자가 기설정된 암호의 숫자와 일치하는지 확인한다.
암호는 일반적으로 숫자 하나로 구성되지 않으며 여러개의 숫자를 순서대로 조합하여 구성되는 것이 바람직하다.
따라서 잠금해제부(160)는 숫자검출부(150)로부터 검출된 숫자를 순서대로 저장하여 기설정된 암호의 숫자 순서와 일치하는지 비교한 후 도어의 잠금을 해제한다.
이때, 숫자의 처음과 마지막을 인식하기 위해 텐키 표시부(110)의 "#" 표시 또는 "*" 표시를 인식하도록 구성될 수 있으며, 사용자는 이에 따라 미리 설정된 암호 기호를 처음과 마지막으로 인식하는 동작을 수행한다.
이러한 구성을 가지는 시선 인식을 이용한 잠금해제 장치(100)는 사용자가 서있는 위치까지 고려하여 해당 위치에 적절한 촬영부(120)를 선택한 후 시선을 인식하는데 이때, 사용자의 위치 뿐 아니라 사용자의 키까지 고려하여 시선을 인식하는 구성을 추가로 포함할 수도 있다.
도어에 장착된 시선 인식을 이용한 잠금해제 장치(100)에서 촬영부(120)가 배치되어 있는 텐키 표시부(110)를 상하로 슬라이딩 이동이 가능하도록 구성될 수 있는데 이러한 이동을 위해 구동부(160)가 추가로 포함될 수 있다.
즉, 사용자가 본인의 키에 맞춰 수동으로 텐키 표시부(110)를 위로 밀거나 아래로 밀어서 본인의 시선에 좀더 가깝게 텐키 표시부(110)를 이동시키거나, 또는 텐키 표시부(110)에 포함된 촬영부(120)에서 먼저 사람의 얼굴을 촬영하고 촬영된 영상에 사람의 얼굴 위치를 예측하여 사람의 얼굴 위치에 가까운 방향으로 텐키 표시부(110)를 이동시킬 수 있도록 구동부(160)가 구성될 수 있는 것이다.
이러한 구동부(160) 구성을 추가함으로써, 키가 작은 어린이나 키나 큰 어른에 대해서도 눈높이에 맞는 위치에서 영상을 촬영하여 시선을 정확하게 인식할 수 있도록 한다.
도 2는 본 발명의 일 실시 예에 따른 시선 인식을 이용한 잠금해제 장치의 예시도이다.
도 2을 참조하면 시선 인식을 이용한 잠금해제 장치(100)는 도어에 디지털 잠금장치의 형태로 부착되어 있으며, 텐키 표시부(110), 촬영부(121~125)를 포함하여 구성된다.
텐키 표시부(110)는 한줄에 3개의 숫자가 표시되어 있으며, 기호인 "*"과 "#"도 포함하여 총 12개의 숫자 또는 기호가 표시되어 있다.
촬영부(121~125)는 총 5개가 배치되어 있으며 , 텐키 표시부(110)의 사방 끝에 하나씩 배치되어 있고 정중앙에 한 개가 배치되어 있다.
이러한 도 2의 예시도에 표시된 시선 인식을 이용한 잠금해제 장치(100)를 이용해 사람의 시선을 인식하여 잠금을 해제하는 과정을 도 3과 도 4를 통해 자세히 알아보기로 한다.
도 3은 본 발명의 일 실시예에 따른 시선 인식을 이용한 잠금해제 방법에 관한 흐름도이다.
먼저, 텐키 표시부(110)에 적어도 5개 이상이 배치된 촬영부(120) 각각에서 사람의 얼굴을 촬영하는 단계(S101)를 수행한다.
다음으로 선택부(130)가 각각의 촬영부(120)에서 촬영된 영상에서 사람의 형상을 인식하고 인식된 사람의 위치를 조합하여 현재 사람이 서있는 위치를 검출하여, 각각의 촬영부(120) 중 사람의 위치에 가장 근접하게 배치되어 있는 촬영부(120)를 적어도 2개 선택한다(S103).
선택부(130)가 촬영부(120)를 선택하면 다음으로 좌표계산부(140)가 선택된 촬영부(120)에서 각각 촬영된 영상에서 사람의 눈동자를 인식하여 해당 영상을 촬영한 촬영부(120)에 설정되어 있는 2차원 좌표에 매칭하는 단계를 수행한다(S105).
다음으로 좌표계산부(140)가 2차원 좌표에 매칭된 눈동자의 좌표를 모두 조합하여 눈동자의 시선이 응시하는 지점의 3차원 좌표값을 계산한다(S107).
눈동자의 시선이 응시하는 지점의 3차원 좌표값이 계산되면, 숫자검출부(150)가 계산된 좌표값이 텐키 표시부(110)의 숫자 중 어느 하나의 숫자에 대응되는 좌표 영역에 포함되는지 판단하여 해당 숫자를 검출하는 단계를 수행한다(S109).
이러한 S105단계~S109단계의 좌표 매칭, 계산 및 숫자 검출 단계에 대한 예시 도면을 도 4에 나타내었다.
도 4를 참조하면 시선 인식을 이용한 잠금해제 장치(100)의 각 촬영부(121~125)의 위치에 따라 2차원 좌표 영역이 제1좌표부터 제5좌표(c1~c5)로 설정되어 있는 것을 알 수 있다.
제1좌표부터 제5좌표(c1~c5)는 촬영부(121~125)를 각각 중심으로 둥근 직사각형 형태로 설정되어 있으며, 각 좌표의 일부 영역이 이웃한 좌표 영역과 겹치는 것을 알 수 있다.
이러한 상황에서 선택부(120)가 촬영부(122, 125)를 선택하여 사람의 얼굴을 촬영한 후 눈동자를 좌표에 매칭한 경우를 도 4의 (a)에 표시하였다. 편의상 눈동자는 한쪽만 표시하기로 한다.
촬영부(122)에서 촬영된 눈동자(10)는 제2좌표(c2)의 하단 오른쪽에 표시되어 있으며, 눈동자(10)에서 동공은 왼쪽 하단을 향해 표시되어 있다.
또한 촬영부(125)에서 촬영된 눈동자(20)는 제5좌표(c5)의 상단 오른쪽에 표시되어 있으며, 눈동자(20)에서 동공은 역시 왼쪽 하단을 향해있지만 제2좌표(c2)에 표시된 눈동자(10)의 동공보다 더 아래쪽을 향하는 것을 알수 있다.
이렇게 각각의 촬영부(121~125)에 할당되어 있는 제1좌표에서 제5좌표(c1~c5)에 촬영한 영상에서 추출된 눈동자를 매칭시킨 후 좌표계산부(140)는 각각의 눈동자에 대한 굴절률을 고려하여 동공의 시선이 향하는 지점의 3차원 좌표를 계산한다.
텐키 표시부(110)의 각 숫자 또는 기호별로 3차원 좌표의 기설정된 영역에 대응되는에 숫자검출부(150)는 계산된 3차원 좌표가 텐키 표시부(110)의 어떤 숫자에 대응되는지 확인한다.
도 4를 보면, 동공의 시선이 향하는 지점의 3차원 좌표는 "지점 a"이고, 이 "지점 a"는 텐키 표시부(110)에서 기호 "#"에 근접하는 지점인 것을 알 수 있다.
도 5로 돌아와서 이러한 과정을 통해 숫자 검출부(150)가 사람의 시선이 응시하는 숫자를 검출하고, 숫자가 검출되면, 마지막으로 잠금해제부(160)가 검출된 숫자가 기설정된 암호에 해당하는 숫자와 일치하는지 판단하여 일치하는 경우 도어의 잠금을 해제한다(S111).
S111단계는 S111단계 이전에 S101단계에서 S109단계를 반복 수행하여 숫자검출부가(150) 순서대로 여러개의 숫자를 검출하면, 검출된 숫자가 순서대로 기설정된 암호의 숫자와 일치하는지를 판단하여 도어의 잠금을 해제하는 것이 더욱 바람직하다.
또한, S101 단계 이전에 사용자는 수동으로 텐키 표시부(110)를 올리거나 내려서 본인의 키에 맞도록 높이를 노정할 수 있으며, 또는 구동부(170)가 S101단계에서 촬영부(110)가 촬영한 영상을 통해 사용자의 키를 분석하여 적절한 높이로 텐키 표시부(110)의 높이를 이동시킬 수 있다.
이러한 본원발명을 통해 사람이 도어 잠금장치의 정면에 서있거나 허리를 숙이지 않아도, 사람의 위치나 높이를 고려하여 적절한 위치에 카메라를 이용해 사람의 시선을 인식할 수 있으며, 이렇게 인식한 시선이 응시하는 숫자를 검출하여 도어의 잠금을 해제함으로써 비밀번호의 유출을 막아 보안성을 높일 수 있게 된다.
이상에서 설명한 본 발명은 바람직한 실시 예들을 통하여 상세하게 설명되었지만, 본 발명은 이러한 실시 예들의 내용에 한정되는 것이 아님을 밝혀둔다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 비록 실시 예에 제시되지 않았지만 첨부된 청구항의 기재 범위 내에서 다양한 본 발명에 대한 모조나 개량이 가능하며, 이들 모두 본 발명의 기술적 범위에 속함은 너무나 자명하다 할 것이다. 이에, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 시선 인식을 이용한 잠금해제 장치
110 : 텐키 표시부 120~125 : 촬영부
130 : 선택부 140 : 좌표계산부
150 : 숫자검출부 150 : 잠금해제부
160 : 구동부

Claims (8)

  1. 도어 잠금 해제를 위한 숫자가 디스플레이 되는 텐키 표시부;
    상기 텐키 표시부에 적어도 5개가 기설정된 간격으로 배치되어 각각 사람의 얼굴을 촬영하는 촬영부;
    상기 각각의 촬영부가 촬영한 영상에서 사람의 위치를 계산하고, 상기 촬영부 중 상기 사람의 위치에 가장 근접한 촬영부를 적어도 2개 선택하는 선택부;
    상기 선택부에서 선택된 적어도 2개의 촬영부를 통해 각각 촬영된 영상에서 사람의 눈동자를 인식하여 상기 각각의 촬영부의 위치에 따라 기설정된 2차원 좌표 영역에 매칭하고, 상기 매칭된 모든 눈동자의 위치좌표를 이용하여 상기 눈동자의 시선이 응시하는 지점의 3차원 좌표값을 계산하는 좌표계산부;
    상기 좌표계산부에서 계산된 3차원 좌표값이 상기 텐키 표시부의 숫자 중 어느 하나의 숫자에 대응되는 좌표 영역에 포함되는지 판단하여 해당 숫자를 검출하는 숫자검출부; 및
    상기 숫자검출부에서 검출된 숫자가 기설정된 숫자와 일치하면 상기 도어의 잠금을 해제하는 잠금해제부; 를 포함하며,
    상기 텐키 표시부는 기설정된 위치까지 상하로 이동되는 시선 인식을 이용한 잠금해제 장치.
  2. 제 1 항에 있어서,
    상기 촬영부는 각각 촬영 영역을 확대시키는 각도로 틸트되는 시선 인식을 이용한 잠금해제 장치.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 촬영부가 상기 사람의 얼굴을 촬영하면, 상기 촬영된 영상에서 사람의 얼굴 위치를 판단하여 상기 사람의 얼굴을 정면에서 촬영할 수 있는 위치로 상기 텐키 표시부를 이동시키는 구동부; 를 더 포함하는 시선 인식을 이용한 잠금해제 장치.
  5. (a) 도어 잠금 해제를 위한 숫자가 디스플레이 되는 텐키 표시부에 적어도 5개가 기설정된 간격으로 배치된 촬영부가 각각 사람의 얼굴을 촬영하는 단계;
    (b) 선택부가 상기 촬영부가 촬영한 영상에서 각각 사람의 위치를 계산하고, 상기 촬영부 중 상기 사람의 위치에 가장 근접하게 배치되어 있는 촬영부를 적어도 2개 선택하는 단계;
    (c) 좌표매칭부가 상기 선택부에 의해 선택된 적어도 2개의 촬영부가 촬영한 각각의 영상에서 사람의 눈동자를 인식하여 상기 각각의 촬영부의 위치에 따라 기설정된 2차원 좌표 영역에 매칭하는 단계;
    (d) 좌표계산부가 상기 좌표매칭부에 매칭된 모든 눈동자의 위치좌표를 이용하여 상기 눈동자의 시선이 응시하는 지점의 3차원 좌표값을 계산하는 단계;
    (e) 숫자검출부가 상기 좌표계산부에서 계산된 3차원 좌표값이 상기 텐키 표시부의 숫자 중 어느 하나의 숫자에 대응되는 좌표 영역에 포함되는지 판단하여 해당 숫자를 검출하는 단계; 및
    (f) 잠금해제부가 상기 숫자검출부에서 검출된 숫자가 기설정된 숫자와 일치하면 상기 도어의 잠금을 해제하는 단계; 를 포함하며,
    상기 텐키 표시부는 기설정된 위치까지 상하로 이동되는 시선 인식을 이용한 잠금해제 방법.
  6. 제 5 항에 있어서,
    상기 촬영부는 각각 촬영 영역을 확대시키는 각도로 틸트되는 시선 인식을 이용한 잠금해제 방법.
  7. 삭제
  8. 제 5 항에 있어서,
    상기 (a)단계 이전에,
    (g) 상기 촬영부가 상기 사람의 얼굴을 촬영하면, 구동부가 상기 촬영된 영상에서 사람의 얼굴 위치를 판단하여 상기 사람의 얼굴을 정면에서 촬영할 수 있는 위치로 상기 텐키 표시부를 이동시키는 단계; 를 더 포함하는 시선 인식을 이용한 잠금해제 방법.
KR1020170098972A 2017-08-04 2017-08-04 시선 인식을 이용한 잠금해제 장치 및 방법 KR101946253B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170098972A KR101946253B1 (ko) 2017-08-04 2017-08-04 시선 인식을 이용한 잠금해제 장치 및 방법
PCT/KR2017/013798 WO2019027103A1 (ko) 2017-08-04 2017-11-29 시선 인식을 이용한 잠금해제 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170098972A KR101946253B1 (ko) 2017-08-04 2017-08-04 시선 인식을 이용한 잠금해제 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101946253B1 true KR101946253B1 (ko) 2019-02-11

Family

ID=65233430

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170098972A KR101946253B1 (ko) 2017-08-04 2017-08-04 시선 인식을 이용한 잠금해제 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101946253B1 (ko)
WO (1) WO2019027103A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11709919B2 (en) 2020-03-20 2023-07-25 Electronics And Telecommunications Research Institute Method and apparatus of active identity verification based on gaze path analysis

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022155026A1 (en) 2021-01-12 2022-07-21 Exxonmobil Chemical Patents Inc. Asymmetric constrained geometry catalysts
CN113256851A (zh) * 2021-04-30 2021-08-13 深圳市展拓电子技术有限公司 银行系统保密柜的验证方法及验证系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140051480A (ko) * 2012-10-04 2014-05-02 삼성전자주식회사 디스플레이 장치 및 방법
KR102034114B1 (ko) * 2013-04-03 2019-10-18 아사아블로이코리아 주식회사 투과 표시형 터치 스크린과 이를 구비한 도어록 장치
US10042994B2 (en) * 2013-10-08 2018-08-07 Princeton Identity, Inc. Validation of the right to access an object
KR102224933B1 (ko) * 2014-03-07 2021-03-08 에스케이플래닛 주식회사 눈동자 위치에 기반한 잠금 해제를 수행하는 사용자 장치, 눈동자 위치에 기반한 사용자 장치의 잠금 해제 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20160114964A (ko) * 2015-03-25 2016-10-06 경태원 지능형 잠금 방법 및 이를 이용하는 휴대용 통신 장치와 도어락

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11709919B2 (en) 2020-03-20 2023-07-25 Electronics And Telecommunications Research Institute Method and apparatus of active identity verification based on gaze path analysis

Also Published As

Publication number Publication date
WO2019027103A1 (ko) 2019-02-07

Similar Documents

Publication Publication Date Title
KR101946253B1 (ko) 시선 인식을 이용한 잠금해제 장치 및 방법
US20060039686A1 (en) Line-of-sight-based authentication apparatus and method
JP4013684B2 (ja) 個人認証システムにおける不正登録防止装置
US8493178B2 (en) Forged face detecting method and apparatus thereof
JP2002183734A (ja) 顔認証装置および顔認証方法
KR20170108735A (ko) 출입통제 시스템
JP2017049867A (ja) 認証装置、防犯システム、認証方法およびプログラム
KR20150036665A (ko) 인증 장치, 및 인증 방법
JP2007135149A (ja) 移動携帯端末
JP2006209728A (ja) 不正入室検出装置および検出方法、並びにこれを利用した入室管理システム
JP2017151556A (ja) 電子機器、認証方法および認証プログラム
JP6945391B2 (ja) 生体認証装置
JP4862518B2 (ja) 顔登録装置、顔認証装置および顔登録方法
JP4617286B2 (ja) 不正通過者検出装置及びこれを利用した不正通過者録画システム
KR20120035964A (ko) 생체 정보 수집 장치 및 방법
EP1513110B1 (en) Data entry systems with biometric devices for security access control
KR101596363B1 (ko) 얼굴 인식에 의한 출입관리장치 및 방법
KR101044079B1 (ko) 광각 카메라를 사용한 타인 인증용 홍채 인식 장치 및 방법
KR20110006971A (ko) 출입통제시스템의 출입인증 사용자에 대한 출입허가용 정면얼굴 영상 검출 방법
JP6793363B2 (ja) 個人認証方法および個人認証システム
KR101011272B1 (ko) 출입통제시스템의 복수 사용자 출입 제한 방법
JP2006219826A (ja) 入退室管理システム及び入退室管理方法
KR101057718B1 (ko) 획득 영상의 사용자 식별 가능 여부 판정 방법
JP4846891B2 (ja) 電子機器
KR101050537B1 (ko) 출입통제시스템의 출입인증 보관용 정면얼굴 이미지 검출 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant