KR20220135869A - 비대면 출입 통제 방법 및 이를 수행하는 출입 통제 시스템 - Google Patents

Abstract

실시예들은, 비대면 출입 통제를 위해 출입문 주변에 위치한 대상자를 촬영하는 촬영 장치 및 상기 촬영 장치와 통신하는 통제 서버를 포함한 출입 통제 시스템 및 이에 의해 수행되는 출입 통제 방법에 관련된다. 상기 출입 통제 방법은: 상기 촬영 장치로부터 상기 대상자의 특정 신체 부분을 포함한 촬영 영상을 획득하는 단계; 상기 통제 서버에 의해, 상기 촬영 영상에서 상기 대상자의 얼굴의 적어도 일부를 포함한 영역을 얼굴 영역으로 검출하고, 상기 대상자의 귀의 적어도 일부를 포함한 영역을 귀 영역으로 검출하는 단계; 검출된 복수의 서브 영역을 사용하여 상기 대상자가 출입 등록자에 해당하는지 대상자의 신원을 확인하는 단계; 및 상기 대상자의 신원확인 결과에 기초하여 출입문을 개방하거나, 또는 미개방하는 단계를 포함할 수도 있다.

Description

비대면 출입 통제 방법 및 이를 수행하는 출입 통제 시스템 {METHOD FOR CONTROLLING ENTRANCE OF CONTACTLESS AND SYSTEM PERFORMING THE SAME}

본 발명은 출입 통제 기술에 관한 것으로서, 보다 상세하게는 대상자의 존재를 감지하고 상기 대상자의 생체 상태를 확인하며 신원을 확인하여 대상자의 출입을 비대면으로 제어하는 출입 통제 방법 및 이를 수행하는 출입 통제 시스템에 관한 것이다.

현대 사회에서는 건물 및 사내 출입을 효율적으로 수행하고자 RFID 모듈이 포함된 사내 출입증을 활용한 출입 출입 통제 시스템이 활발히 활용되고 있다. 그러나, 사용자의 RFID 카드가 분실, 도난될 경우 사용자 불편이 발생하는 문제점을 지니고 있다.

이러한 문제점으로 인해, 종래의 시스템이 생체인식 기반의 출입출입 통제 시스템으로 점차적으로 대체되고 있는 추세이다. 생체인식 기반의 출입출입 통제 시스템은 홍채, 지문 등 대상자의 고유한 생체 정보를 식별 수단으로 사용하는데, 이 식별 수단은 분실, 도난될 우려가 없기 ‹š문이다.

하지만, 홍채 인식의 경우, 홍채 영역 검출 등에 소요되는 시간이 타 기술 대비 오래 걸린다는 점, 그리고 안경이나 콘택트렌즈 착용 등으로 인해 인식 성능이 저하된다는 한계가 있다.

그리고, 지문 인식은 단말기로의 직접적인 접촉을 요하기 때문에 대상자에게 거부감을 줄 수 있다는 한계가 있다.

최근 인공지능 기술의 발전으로 인해 얼굴인식 기반 출입 출입 통제 시스템이 이러한 한계를 극복할 수 있는 수단으로 주목받고 있다. 예를 들어, 특허문헌 1 (공개특허공보 제10-2019-0107867호 (2019.09.23.))은 출입 통제 단말기를 통해 취득된 얼굴 영상과 데이터베이스 내에 저장되어 있는 대상자 얼굴 영상 간의 비교를 통해 본인 인증을 수행함으로써 출입 허용 대상자 여부를 판단하고, 출입 허용 대상자의 출입을 허가한다.

최근 COVID-19로 인한 위험도가 증가함에 따라 감염 확산 예방을 위해 마스크 착용이 필수화 되고 있으며, 많은 인원이 출입하는 건물 등에서 출입 시 대상자를 상대로 마스크 착용 유무 및 발열 체크를 수행하는 것이 의무화 되고 있다. 이와 같이 마스크 착용이 일반화 되는 시기에서 마스크로 인한 얼굴 가림으로 인해 인식 성능이 저하되는 문제에 대한 해결이 필요하다.

특허등록공보 제10-2074312호 (2020.01.31.)

본 발명의 실시예들에 따르면, 마스크 등으로 인해 얼굴의 일부가 가려진 대상자의 신원을 확인하여 비대면으로 대상자의 출입을 통제하는 방법 및 이를 수행하는 출입 통제 시스템을 제공한다.

본 발명의 일 측면에 따른, 비대면 출입 통제를 위해 출입문 주변에 위치한 대상자를 촬영하는 촬영 장치 및 상기 촬영 장치와 통신하는 통제 서버를 포함한 출입 통제 시스템에 의해 수행되는 출입 통제 방법은: 상기 촬영 장치로부터 상기 대상자의 특정 신체 부분을 포함한 촬영 영상을 획득하는 단계; 상기 통제 서버에 의해, 상기 촬영 영상에서 상기 대상자의 얼굴의 적어도 일부를 포함한 영역을 얼굴 영역으로 검출하고, 상기 대상자의 귀의 적어도 일부를 포함한 영역을 귀 영역으로 검출하는 단계; 검출된 복수의 서브 영역을 사용하여 상기 대상자가 출입 등록자에 해당하는지 대상자의 신원을 확인하는 단계; 및 상기 대상자의 신원확인 결과에 기초하여 출입문을 개방하거나, 또는 미개방하는 단계를 포함할 수도 있다.

일 실시예에서, 상기 복수의 서브 영역을 검출하기 이전에, 상기 통제 서버에 의해, 상기 대상자의 존재 유무를 판단하는 단계를 더 포함하고, 상기 대상자의 존재 유무를 판단하는 단계는: 상기 촬영 영상에서 객체의 움직임이 발생했는지 확인하는 단계; 상기 대상자의 전신 또는 일부를 포함한 대상자 영역을 검출하는 단계; 및 검출 결과에 기초하여 대상자의 존재 여부를 판단하는 단계를 포함할 수도 있다.

일 실시예에서, 상기 신원을 확인하는 단계는, 상기 얼굴 영역에서 상기 대상자의 얼굴 특징을 추출하는 단계; 상기 귀 영역에서 상기 대상자의 귀 특징을 추출하는 단계; 상기 대상자의 얼굴 특징과 귀 특징을 결합하여 상기 대상자의 특징을 생성하는 단계; 미리 저장된 출입 등록자의 특징과 상기 대상자의 특징을 비교하여 대상자와 출입 등록자 간의 유사도를 산출하는 단계; 및 상기 유사도에 기초하여 대상자의 신원을 확인하는 단계를 포함할 수도 있다. 상기 출입 등록자의 특징은 상기 출입 등록자의 얼굴 특징과 귀 특징을 결합한 것이다.

일 실시예에서, 상기 대상자의 신원확인 결과에 기초하여 출입문을 개방하거나, 또는 미개방하는 단계는, 상기 대상자가 미리 저장된 출입 등록자로 신원확인되지 않을 경우, 상기 대상자에게 등록을 요구하는 메시지를 상기 통제 서버로부터 상기 촬영 장치를 통해 제공하는 단계를 포함할 수도 있다.

일 실시예에서, 상기 특정 신체 부분은 대상자의 얼굴 측면의 귀의 적어도 일부와 상기 대상자의 얼굴 전면부 중 적어도 일부를 포함할 수도 있다.

본 발명의 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는, 상술한 실시예들에 따른 출입 통제 방법을 수행하기 위한 프로그램을 기록한다.

본 발명의 또 다른 일 측면에 따른 출입 통제 시스템은: 비대면 출입 통제를 위해 출입문 주변에 위치한 대상자를 촬영하는 촬영 장치 및 상기 촬영 장치와 통신하는 통제 서버를 포함할 수도 있다. 상기 촬영 장치는 상기 대상자의 특정 신체 부분을 촬영하도록 설치되고, 그리고 촬영 영상을 상기 통제 서버로 전송하도록 구성된다. 상기 통제 서버는, 상기 촬영 영상에서 상기 대상자의 얼굴의 적어도 일부를 포함한 영역을 얼굴 영역으로 검출하고, 상기 대상자의 귀의 적어도 일부를 포함한 영역을 귀 영역으로 검출하고, 검출된 복수의 서브 영역을 사용하여 상기 대상자가 출입 등록자에 해당하는지 대상자의 신원을 확인하며, 그리고 상기 대상자의 신원확인 결과에 기초하여 출입문을 개방하거나, 또는 미개방하도록 구성된다.

일 실시예에서, 상기 특정 신체 부분은 대상자의 얼굴 측면의 귀의 적어도 일부와 상기 대상자의 얼굴 전면부 중 적어도 일부를 포함한다. 상기 촬영 장치의 설치 위치는 상기 출입문의 가로 길이, 세로 길이, 및 주변 조명의 설치 위치 중 적어도 하나에 의존한다.

일 실시예에서, 상기 통제 서버는, 상기 복수의 서브 영역을 검출하기 이전에 상기 대상자의 존재 유무를 판단하기 위해, 상기 촬영 영상에서 객체의 움직임이 발생했는지 확인하고, 상기 대상자의 전신 또는 일부를 포함한 대상자 영역을 검출하며, 그리고 검출 결과에 기초하여 대상자의 존재 여부를 판단하도록 더 구성될 수도 있다.

일 실시예에서, 상기 통제 서버는, 신원확인을 위해, 상기 얼굴 영역에서 상기 대상자의 얼굴 특징을 추출하고, 상기 귀 영역에서 상기 대상자의 귀 특징을 추출하며, 상기 대상자의 얼굴 특징과 귀 특징을 결합하여 상기 대상자의 특징을 생성하고, 미리 저장된 출입 등록자의 특징과 상기 대상자의 특징을 비교하여 대상자와 출입 등록자 간의 유사도를 산출하며, 그리고 상기 유사도에 기초하여 대상자의 신원을 확인하도록 구성될 수도 있다.

상기 출입 등록자의 특징은 상기 출입 등록자의 얼굴 특징과 귀 특징을 결합한 것일 수도 있다.

일 실시예에, 상기 대상자의 신원확인 결과에 기초하여 출입문을 개방하거나, 또는 미개방하기 위해, 상기 통제 서버는, 상기 대상자가 미리 저장된 출입 등록자로 신원확인되지 않을 경우, 상기 대상자에게 등록을 요구하는 메시지를 상기 통제 서버로부터 상기 촬영 장치를 통해 제공하도록 더 구성될 수도 있다.

본 발명의 일 측면에 따른 출입 통제 시스템은 촬영 장치와 대상자의 상호작용에 따른 신원확인 결과에 기초하여 상기 대상자의 출입을 허용한다. 특히, 마스크 및 선글라스 등의 착용 상태에서도 인식 성능 저하 등의 문제 없이 신원확인을 수행함으로써 효율적인 출입 통제가 가능하다.

나아가, 상기 출입 통제 시스템은 현금 자동 입출금기, CCTV, 모바일 기기 등 다양한 영상 보안 시스템에서 활용이 가능하며, 범죄 수사용 및 바이오 인증 기반 비대면 금융 서비스에서도 활용이 가능하다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 위한 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 출입 통제 시스템의 개략적인 블록도이다.
도 2a 및 도 2b는, 본 발명의 일 실시예에 따른, 촬영 장치의 설치 구조를 도시한 도면이다.
도 3a 및 도 3b는, 본 발명의 일 실시예에 따른, 영역 검출 결과를 도시한 도면이다.
도 4는, 본 발명의 일 실시예에 따른, 상기 출입 통제 시스템에 의해 수행되는 출입 통제 방법의 흐름도이다.
도 5는, 도4의 대상자가 존재하는지 여부를 판단하는 단계(S1)의 흐름도이다.
도 6은, 본 발명의 일 실시예에 따른, 도 4의 대상자의 신원을 확인하는 단계(S3)의 세부 흐름도이다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된(disclosed) 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

도 1은, 본 발명의 일 실시예에 따른, 출입 통제 시스템의 개략적인 블록도이다.

도 1을 참조하면, 출입 통제 시스템(1)은 촬영 장치(100)와 통신하며, 출입문의 개방 또는 미-개방을 제어하는 통제 서버(200)를 포함한다.

실시예들에 따른 출입 통제 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 가능한 컴퓨팅 장치일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

촬영 장치(100)는 신원확인을 위해 사용될 대상자의 영상을 획득하고, 대상자의 영상의 일부 또는 전부를 통제 서버(200)로 전송하도록 구성된다.

상기 촬영 장치(100)는 카메라로 구현될 수도 있으나, 이에 제한되지 않으며 다른 형태의 하드웨어로도 구현될 수도 있다. 예를 들어, 상기 하드웨어는 스마트 폰, 태블릿, 이미지 센서, 적외선 센서 등과 같이 물리적 신호를 사용하여 영상 데이터를 생성하는 장치를 포함한다.

상기 촬영 장치(100)는 통제 서버(200)와 유/무선 전기통신을 수행하도록 구성된다. 상기 촬영 장치(100)는 통제 서버(200)와 직접 통신하여 영상 데이터를 전송하거나, 또는 중계 기기를 통해 통신하여 영상 데이터를 전송할 수도 있다. 예를 들어, 촬영 장치(100)는 대상자의 스마트 폰, 또는 촬영 장치(100) 주변에 설치된 중계기(미도시)로 영상 데이터를 전송하고, 이들 장치가 통제 서버(200)로 전달하도록 구성될 수도 있다.

이하, 설명의 명료성을 위해, 통제 서버(200)와 통신 가능한 카메라(100)를 사용한 실시예들에 기초하여 본 발명의 실시예들을 보다 상세하게 서술한다.

도 2a 및 도 2b는, 본 발명의 일 실시예에 따른, 촬영 장치의 설치 구조를 도시한 도면이다.

도 2a를 참조하면, 상기 카메라(100)는 출입문의 진입을 시도하려는 신원확인 대상자(이하, “대상자”)의 특정 신체 부분을 촬영 가능한 위치에 설치된다. 상기 특정 신체 부분은 귀 영역 그리고 얼굴의 전면부의 일부 또는 전부 영역을 포함한다.

이러한 위치는, 대상자의 측면부를 촬영할 수 있는 출입문의 측면부로서 귀 영역을 촬영 가능한 높이에 설치될 수 있다. 예를 들어, 도 2a에 도시된 바와 같이, 출입문 측면부 부분에 지면으로부터 대략 1 내지 2m (예컨대, 대략 1.5m) 높이에 상기 카메라(100)가 설치될 수도 있다.

으나, 이에 제한되진 않는다. 대상자의 신체 중 적어도 대상자의 귀 영역과 얼굴의 전면부의 일부 영역이 프레임에 포함되는 다양한 위치에 상기 카메라(100)가 설치된다.

일 실시예에서, 상기 카메라(100)는 특정 지점에 위치한 대상자를 촬영하도록 구성될 수도 있다. 상기 특정 지점은 키와 체적의 다름에 관계 없이 대다수의 사람들의 전술한 특정 신체 부분이 시각적으로 잘 촬영되는, 카메라(100) 또는 출입문에 대한 상대적인 지점일 수도 있다. 예를 들어, 도 2b에 도시된 바와 같이, 카메라(100)는 출입문의 출입면을 기준으로 대략 50 내지 70 ° (예컨대, 대략 60 °)로 설치되어, 출입문으로부터 대략 1m에 위치한 대상자를 촬영하도록 설치될 수도 있다. 그러나, 도 2b의 사양은 단순히 예시적인 것으로서, 도 2b의 출입면을 기준으로 취급되는 tanθ 값과 같이, 출입문의 가로/세로 길이, 주변 조명의 설치 위치에 의존한다.

일 실시예에서, 상기 카메라(100)는 상기 특정 지점에 위치한 대상자를 자동으로 촬영하도록 구성될 수도 있다. 상기 카메라(100)는 상기 특정 지점에 대상자가 존재하는지 여부를 판단하고, 상기 특정 지점에 대상자가 존재하면 자동으로 대상자의 영상을 촬영한다. 이에 대해서는 아래의 도 4를 참조하여 보다 상세하게 서술한다.

대안적인 실시예들에서, 상기 시스템1은 영상 출력 장치(미도시) 및/또는 음성 출력 장치(미도시)를 더 포함할 수도 있다.

영상 출력 장치는 통제 서버(200)로부터 수신한 메시지를 영상으로 표시하도록 구성된다. 상기 영상 출력 장치는 예를 들어, LCD, OLED, 플렉서블 스크린 등을 포함할 수 있으나, 이에 제한되진 않는다.

음성 출력 장치는 통제 서버(200)로부터 수신한 메시지를 음성으로 출력하도록 구성된다. 상기 음성 출력 장치는 전기 신호를 가청 영역의 주파수를 갖는 음파로 변환한다. 통제 서버(200)로부터 수신한 메시지가 전기 신호로 변환되어 음성 출력 장치에 입력되고 최종적으로 음파가 출력된다.

일부 실시예들에서, 상기 카메라(100)는 영상 출력 장치 및/또는 음성 출력 장치와 결합된 단일 구성요소로 구현될 수도 있다. 이 경우, 영상 출력 장치 및/또는 음성 출력 장치는 카메라(100) 내부의 통신 모듈(미도시)을 통해 통제 서버(200)와 통신한다.

상기 통제 서버(200)는 촬영 장치(100)와 데이터를 송수신하여 대상자의 신원을 확인하고 신원이 확인된 대상자의 출입을 허용하여 출입구를 개방하는 것을 제어하도록 구성될 수도 있다.

상기 통제 서버(200)는 네트워크 서버로 구현되는 다수의 컴퓨터 시스템 또는 컴퓨터 소프트웨어일 수도 있다. 여기서, 네트워크 서버란, 사설 인트라넷 또는 인터넷과 같은 컴퓨터 네트워크를 통해 다른 네트워크 서버와 통신할 수 있는 하위 장치와 연결되어 작업 수행 요청을 접수하고 그에 대한 작업을 수행하여 수행 결과를 제공하는 컴퓨터 시스템 및 컴퓨터 소프트웨어(네트워크 서버 프로그램)를 의미한다. 그러나 이러한 네트워크 서버 프로그램 이외에도, 네트워크 서버 상에서 동작하는 일련의 응용 프로그램과 경우에 따라서는 내부에 구축되어 있는 각종 데이터베이스를 포함하는 넓은 개념으로 이해되어야 할 것이다. 상기 통제 서버(200)는 비대면 출입 통제 서비스를 운영하는 서버단으로 지칭될 수도 있다.

다시 도 1을 참조하면, 상기 통제 서버(200)는 영역 검출 모듈(220); 신원확인 모듈(230); 제어 모듈(250) 및 데이터베이스(280)를 포함할 수도 있다. 여기서, 데이터베이스(280)는 출입구의 개방이 미리 허용된 출입 등록자와 관련된 정보를 저장한다.

일 실시예에서, 상기 출입 등록자와 관련된 정보는 출입 등록자의 신원 정보, 출입 등록자의 얼굴 영상, 귀 영상, 얼굴 특징, 귀 특징 및/또는 상기 얼굴 특징과 귀 특징을 결합한 출입 등록자의 특징을 포함할 수도 있다. 신원 정보는 예를 들어, 성별, 성명, 소속, 주소, 전화번호, 주민번호, 운전면허 번호 등을 포함하나, 이에 제한되진 않는다.

얼굴 특징, 귀 특징에 대해서는 아래의 도 6을 참조하여 보다 상세하게 서술한다.

상기 데이터베이스(280)는 아마존닷컴(Amazon.Com, Inc.)이 제공하는 심플 스토리지 서비스(S3; Simple Storage Service)), 구글(Google Inc.)이 제공하는 구글 파일 시스템(GFS; Google File System)), 또는 마이크로소프트(Microsoft Corporation)가 제공하는 마이크로소프트 오피스 온라인(Microsoft Office Online)) 등과 같이, 애플리케이션 및 데이터가 원격 서버에 저장되는 클라우딩 데이터베이스 컴퓨팅 리소스를 나타낸다.

영역 검출 모듈(220)은 카메라(100)로부터 수신한 대상자의 영상의 전체 영역에서 대상자의 얼굴의 적어도 일부(예컨대, 전면부의 일부 또는 전부)가 시각적으로 표시된 부분을 포함한 서브 영역을 얼굴 영역으로 검출한다.

영역 검출 모듈(220)은 저장된 얼굴 검출 알고리즘을 통해 입력 영상에서 얼굴 영역을 검출할 수도 있다. 상기 얼굴 검출 알고리즘은, 예를 들어, Haar, Convolution Neural Network (CNN), Scale Invariant Feature Transform (SIFT), Histogram of Gradients (HOG), Neural Network (NN), Support Vector Machine (SVM), 및 Gabor 방식 등 중 하나 또는 이들의 조합을 수행하는 알고리즘을 포함하나, 이에 제한되진 않는다.

또한, 영역 검출 모듈(220)은 카메라(100)로부터 수신한 대상자의 영상의 전체 영역에서 대상자의 귀의 적어도 일부가 시각적으로 표시된 부분을 포함한 서브 영역을 귀 영역으로 검출한다.

이를 위해, 영역 검출 모듈(220)은 저장된 귀 검출 알고리즘을 통해 입력 영상에서 귀 영역을 검출할 수도 있다. 상기 귀 검출 알고리즘은 얼굴 검출 알고리즘과 동일 또는 유사한 알고리즘일 수도 있다. 예를 들어, 귀 검출 알고리즘은 HOG일 수도 있다. 그러나, 얼굴에 대한 서술자에 기반한 얼굴 검출 알고리즘과 달리, 귀 검출 알고리즘은 귀에 대한 서술자에 기반하여 귀 영역을 검출하도록 구성된다.

일 실시예에서, 영역 검출 모듈(220)은 검출한 서브 영역(예컨대, 얼굴 영역 또는 귀 영역)을 패치화한 패치 영상을 생성하도록 더 구성될 수도 있다.

대안적인 실시예들에서, 상기 영역 검출 모듈(220)은 촬영 영상에서 대상자의 영역을 검출하도록 더 구성될 수도 있다. 상기 대상자의 영역은 상기 특정 신체 부분을 포함한, 촬영 영상에 나타난 대상자의 전체 영역을 포함하는 영역이다. 예를 들어, 사람의 전신 또는 일부(예컨대, 상반신을 포함한 부분)가 나타난 영역이 대상자 영역으로 검출된다.

상기 대상자 영역 역시 촬영 영상 전체의 서브 영역이므로, 패치 영상화될 수도 있다.

도 3a 및 도 3b는, 본 발명의 일 실시예에 따른, 영역 검출 결과를 도시한 도면이다.

도 3a를 참조하면, 영역 검출 모듈(220)은 마스크를 착용하지 않은 대상자를 촬영한 촬영 영상으로부터 얼굴 영역(F)과 귀 영역(E)을 검출할 수도 있다.

도 3b를 참조하면, 영역 검출 모듈(220)은 마스크를 착용한 대상자를 촬영한 촬영 영상으로부터 얼굴 영역(F)과 귀 영역(E)을 검출할 수도 있다.

이와 같이, 영역 검출 모듈(220)은 마스크에 의해 가려지지 않은 귀 영역을 항상 검출하게 된다.

신원확인 모듈(230)은 각각 다른 신체 부분을 포함한 두 종류의 서브 영역 패치, 즉 귀 영역 패치와 얼굴 영역 패치를 사용하여 상기 대상자의 신원을 확인한다.

제어 모듈250은 신원확인 결과에 기초하여 출입문의 개방을 제어한다. 일 실시예에서, 제어 모듈250은 신원확인 결과에 기초하여 대상자에게 제공하기 위한 메시지를 상기 통제 서버(200)가 상기 카메라(100)로 추가로 전송하게 할 수도 있다.

신원확인 모듈(230) 및 제어 모듈250의 동작에 대해서는 아래의 도 4 내지 도 6을 참조하여 보다 상세하게 서술한다.

도 4는, 본 발명의 일 실시예에 따른, 상기 출입 통제 시스템에 의해 수행되는 출입 통제 방법의 흐름도이다.

도 4를 참조하면, 출입 통제 방법은: 카메라(100)가 촬영 영상을 생성하고 상기 카메라(100)로부터 촬영 영상을 획득하는 단계(S0); 상기 촬영 영상에서 복수의 서브 영역을 검출하는 단계(S2); 대상자가 출입 등록자에 해당하는지 대상자의 신원을 확인하는 단계(S3); 및 대상자의 신원확인 결과에 기초하여 출입문을 개방하거나, 또는 미개방하는 단계(S5 및 S6)를 포함한다. 일부 실시예에서, 상기 방법은: 영역 검출 단계(S2) 이전에 상기 촬영 영상에 기초하여 출입 대상자의 존재를 확인하는 단계(S1);를 더 포함할 수도 있다.

도 5는, 도4의 대상자가 존재하는지 여부를 판단하는 단계(S1)의 흐름도이다.

도 4를 참조하면, 단계(S0)에서 촬영 영상이 획득되고, 촬영 영상 내 대상자가 존재하는 경우에 한해 신원확인 단계(S3) 및/또는 이를 준비하는 단계(S2)가 수행될 수도 있다. 상기 대상자의 존재 유무를 판단하는 단계(S1)는: 촬영 영상에서 객체의 움직임이 발생했는지 확인하는 단계(S11); 대상자 영역을 검출하는 단계(S15); 및 검출 결과에 기초하여 대상자의 존재 여부를 판단하는 단계(S17);를 포함할 수도 있다. 여기서, 움직임의 발생 확인 및 대상자 영역 검출 동작은 순차적으로 수행되거나, 또는 하나의 동작으로 통합되어 수행될 수도 있다. 움직임이 발생한 것이 확인되면(S11), 이에 반응하여 상기 전면 영상에서 대상자가 차지하는 서브 영역을 대상자 영역으로 검출할 수도 있다(S15).

대상자의 움직임을 인식하는 단계(S1)는 다양한 방식에 의해 수행될 수도 있다.

일 실시예에서, (예컨대, 영역 검출 모듈(220)에 의해) 상기 촬영 영상에서 시간에 따른 픽셀 변화에 기초하여 움직임 여부를 판단할 수도 있다(S11). 대상자가 촬영 영상에 존재하지 않으면 배경이 그대로 유지되므로 픽셀 변화가 없을 것이다.

다른 일 실시예에서, (예컨대, 영역 검출 모듈(220)에 의해) 촬영 영상에서 특징을 추출하여 객체를 검출 또는 추적하는 알고리즘을 통해 촬영 영상에서 객체의 위치(또는 차지하는 영역)를 인식한다(S11). 대상자에 대한 인식 결과가 변화할 경우, 움직임이 있는 것으로 판단된다(S11).

예를 들어, 기계학습 기반 검출 모델을 통해 대상자를 인식할 수도 있다. 그러면, 상기 영역 검출 모듈(220)은 영상에서 사람을 인식하도록 학습된 모델을 통해 대상자를 인식할 수도 있다. 대상자에 대한 인식 결과가 변화할 경우, 움직임이 있는 것으로 판단된다.

일 실시예에서, 움직임이 발생한 것이 확인되는 것에 반응하여 대상자 영역을 검출할 수도 있다(S15). 그러면, 사람의 전신 또는 일부(예컨대, 상반신을 포함한 부분)가 나타난 영역이 대상자 영역으로 검출된다.

상기 촬영 장치(100)는 단계(S15)에서 대상자 영역이 검출되면, 출입자가 존재하는 것으로 최종 확인한다(S17). 만약, 단계(S15)에서 대상자 영역이 검출되지 않으면, 출입자가 존재하지 않는 것으로 확인한다(S17).

상기 단계(S2)는: 촬영 영상에서 얼굴 영역을 검출하는 단계(S21); 및 촬영 영상에서 귀 영역을 검출하는 단계(S22)를 포함한다.

일 실시예에서, 얼굴 영역 및/또는 귀 영역은 상기 단계(S15)에서 검출된 대상자 영역로부터 검출될 수도 있다(S21, S22). 예를 들어, 대상자 영역 패치에서 귀 영역 패치 및/또는 얼굴 영역 패치가 생성될 수도 있다.

도 6은, 본 발명의 일 실시예에 따른, 도 4의 대상자의 신원을 확인하는 단계(S3)의 세부 흐름도이다.

도 6을 참조하면, 상기 대상자의 신원을 확인하는 단계(S3)는: (예컨대, 신원확인 모듈(230)에 의해) 대상자의 영상에서 얼굴 특징을 추출하는 단계(S31); 및 상기 대상자의 영상에서 귀 특징을 추출하는 단계(S32);를 포함한다.

상기 대상자의 영상은 상기 촬영 영상, 또는 단계(S2)에서 검출된 서브 영역의 영상일 수도 있다. 단계(S31)에서는 얼굴 영역 패치에서 얼굴 특징을 추출하고, 단계(S32)에서는 귀 영역 패치에서 귀 특징을 추출한다.

신원확인 모듈(230)은 미리 지정된 특징 추출 알고리즘을 통해 영상에서 특징을 추출할 수도 있다(S31 및 S32). 이러한 특징은 특징 값으로 이루어진 특징 벡터의 형태로 추출될 수도 있다.

상기 특징 추출 알고리즘은, 예를 들어, PCA(Principal Components Analysis), LDA(Local Discriminant Analysis), ICA(Independent Components Analysis), CNN(Convolution Neural Network), LBP(Local Binary Pattern), SIFT(Scale Invariant Feature Transform), LE(Learning-based Encoding), HOG(Histogram of Oriented Gradient) 방식 등 중 하나 또는 이들의 조합을 수행하는 알고리즘을 포함하나, 이에 제한되지 않는다. 이러한 특징 추출 알고리즘을 통해 얼굴 또는 귀에 대한 전역적 특징(global features) 및/또는 지역적 특징(local features)이 추출될 수도 있다.

또한, 상기 단계(S3)는: (예컨대 신원확인 모듈(230)에 의해) 상기 대상자의 추출된 귀 특징과 얼굴 특징을 결합하여 대상자의 특징을 생성하는 단계(S33); 상기 대상자의 특징과 데이터베이스(280)에 미리 저장된 출입 등록자의 특징을 비교하여 대상자와 출입 등록자 간의 유사도를 산출하는 단계(S34); 및 유사도에 기초하여 대상자의 신원을 확인하는 단계(S35)를 포함한다.

신원확인 모듈(230)은 산출된 귀 유사도와 얼굴 유사도를 결합(concatenate)하여 대상자와 출입 등록자 간의 최종 유사도를 산출할 수도 있다(S33). 신원확인 모듈(230)은, 예를 들어 SUM, MIN, MAX, PRODUCT, Weighted SUM, SVM 등을 포함한 결합 방식을 통해 벡터 형태로 추출된 상기 대상자의 귀 특징과 얼굴 특징을 결합할 수도 있으나, 이에 제한되진 않는다.

단계(S35)에서 서로 다른 신체 부분에 대한 특징 벡터가 단일 특징 벡터로 결합된다.

상기 신원확인 모듈(230)은 상기 대상자의 특징 벡터와 미리 저장된 출입 등록자의 특징 벡터를 비교하여 특징 벡터 간의 유사도를 산출하는 다양한 유사도 비교 알고리즘을 이용할 수 있다. 상기 유사도 비교 알고리즘은, 예를 들어 유클리디언 거리(Euclidean Distance), 코사인 거리 (Cosine Distance), 마할라노비스 거리 (Mahalanobis Distance) 등을 포함할 수 있으나, 이에 제한되진 않는다.

신원확인 모듈(230)은 최종 유사도와 미리 설정된 신원 임계치를 비교하여 상기 대상자에 매칭하는 출입 등록자를 검색한다(S35). 미리 저장된 출입 등록자는 출입 통제 시스템(1)에 미리 신원 정보가 등록된 사람으로서, 상기 대상자가 출입 통제 시스템(1)에 미리 등록된 출입 등록자일 경우, 미리 설정된 신원 임계치 보다 높은 최종 유사도가 산출될 것이다. 대상자가 출입 통제 시스템(1)에 미리 등록된 출입 등록자가 아닐 경우, 신원 임계치 미만의 낮은 최종 유사도가 산출된다.

신원 임계치는 특징 추출 알고리즘, 유사도의 결합 방식 및/또는 입력 영상의 특성에 의존하여 결정된 값이거나, 사용자에 의해 지정된 특정 값일 수도 있다.

상기 입력 영상의 특성은 예를 들어, 촬영 영상의 전체 사이즈에서 얼굴 또는 귀가 차지하는 비율, 영상에 나타난 얼굴 또는 귀의 부분, 촬영 각도 등을 포함한다.

최종 유사도가 미리 설정된 신원 임계치 이상일 경우, 출입 등록자와 대상자가 매칭하는 것으로 판단하고, 대상자의 신원을 매칭한 출입 등록자의 신원으로 확인한다(S35).

반면, 최종 유사도가 임계치 미만일 경우, 신원확인 모듈(230)은 출입 등록자와 대상자가 매칭하지 않는 것으로 판단하고, 상기 대상자와 매칭하는 다른 출입 등록자에 대해서 유사도를 산출하는 과정(S38)을 계속해서 진행한다. 이 과정은 매칭하는 다른 출입 등록자가 검색되거나, 또는 모든 출입 등록자에 대해서 진행이 완료되었음에도 매칭 출입 등록자가 검색되지 않는 경우에 완료된다.

출입 등록자인지 신원확인 과정에서 사용되는 신원확인 수단, 즉 최종 유사도는 귀의 특징 및 얼굴 특징을 모두 고려하므로, 종래의 얼굴 인식의 장점과 더불어, 마스크에 의한 가림 현상을 극복할 수 있어, COVID-19가 창궐한 상태에서 특히 유용하다.

이와 같이 신원확인을 통한 출입 등록자의 인증이 수행되면(S3), (예컨대, 제어 모듈250에 의해) 출입문이 개방된다(S5). 만약 신원확인 결과 출입 등록자 본인으로 인증되지 않으면, (예컨대, 제어 모듈250에 의해) 출입문이 개방되지 않는다(S6).

대안적인 실시예들에서, 상기 단계(S6)는: 대상자에게 출입 등록자로 시스템에 등록할 것을 요구하는 메시지를 제공하는 단계를 포함할 수도 있다.

통제 서버(200)는 사전 등록이 필요하다는 문구와 같은, 등록 요구 메시지를 카메라(100)로 전송할 수도 있다(S6). 그러면, 카메라(100)에 포함된 영상 출력 장치 및/또는 음성 출력 장치를 통해 사용자에게 시각적으로 및/또는 청각적으로 상기 메시지가 전달된다.

상기 촬영 장치(100) 또는 출입 통제 시스템(1)이 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 또한, 상기 출입 통제 시스템(1)은, 네트워크 인터페이스 및 프로토콜, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.

이상에서 설명한 실시예들에 따른 비대면 출입 통제 방법 및 이를 수행하는 출입 통제 시스템의 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.

상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.

상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (11)

1. 비대면 출입 통제를 위해 출입문 주변에 위치한 대상자를 촬영하는 촬영 장치 및 상기 촬영 장치와 통신하는 통제 서버를 포함한 출입 통제 시스템에 의해 수행되는 출입 통제 방법에 있어서,
   상기 촬영 장치로부터 상기 대상자의 특정 신체 부분을 포함한 촬영 영상을 획득하는 단계;
   상기 통제 서버에 의해, 상기 촬영 영상에서 상기 대상자의 얼굴의 적어도 일부를 포함한 영역을 얼굴 영역으로 검출하고, 상기 대상자의 귀의 적어도 일부를 포함한 영역을 귀 영역으로 검출하는 단계;
   검출된 복수의 서브 영역을 사용하여 상기 대상자가 출입 등록자에 해당하는지 대상자의 신원을 확인하는 단계; 및
   상기 대상자의 신원확인 결과에 기초하여 출입문을 개방하거나, 또는 미개방하는 단계를 포함하는 출입 통제 방법.
   
2. 제1항에 있어서,
   상기 복수의 서브 영역을 검출하기 이전에, 상기 통제 서버에 의해, 상기 대상자의 존재 유무를 판단하는 단계를 더 포함하고, 상기 대상자의 존재 유무를 판단하는 단계는:
   상기 촬영 영상에서 객체의 움직임이 발생했는지 확인하는 단계;
   상기 대상자의 전신 또는 일부를 포함한 대상자 영역을 검출하는 단계; 및
   검출 결과에 기초하여 대상자의 존재 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 출입 통제 방법.
   
3. 제1항에 있어서, 상기 신원을 확인하는 단계는,
   상기 얼굴 영역에서 상기 대상자의 얼굴 특징을 추출하는 단계;
   상기 귀 영역에서 상기 대상자의 귀 특징을 추출하는 단계;
   상기 대상자의 얼굴 특징과 귀 특징을 결합하여 상기 대상자의 특징을 생성하는 단계;
   미리 저장된 출입 등록자의 특징과 상기 대상자의 특징을 비교하여 대상자와 출입 등록자 간의 유사도를 산출하는 단계; 및
   상기 유사도에 기초하여 대상자의 신원을 확인하는 단계를 포함하고,
   상기 출입 등록자의 특징은 상기 출입 등록자의 얼굴 특징과 귀 특징을 결합한 것을 특징으로 하는 출입 통제 방법.
   
4. 제1항에 있어서, 상기 대상자의 신원확인 결과에 기초하여 출입문을 개방하거나, 또는 미개방하는 단계는,
   상기 대상자가 미리 저장된 출입 등록자로 신원확인되지 않을 경우, 상기 대상자에게 등록을 요구하는 메시지를 상기 통제 서버로부터 상기 촬영 장치를 통해 제공하는 단계를 포함하는 것을 특징으로 하는 출입 통제 방법.
   
5. 제1항에 있어서, 상기 특정 신체 부분은 대상자의 얼굴 측면의 귀의 적어도 일부와 상기 대상자의 얼굴 전면부 중 적어도 일부를 포함하는 것을 특징으로 하는 출입 통제 방법.
   
6. 제1항 내지 제5항 중 어느 하나의 항에 따른 출입 통제 방법을 수행하기 위한 프로그램을 기록한, 컴퓨터 판독가능 기록매체.
   
7. 비대면 출입 통제를 위해 출입문 주변에 위치한 대상자를 촬영하는 촬영 장치 및 상기 촬영 장치와 통신하는 통제 서버를 포함하며,
   상기 촬영 장치는 상기 대상자의 특정 신체 부분을 촬영하도록 설치되고, 그리고 촬영 영상을 상기 통제 서버로 전송하도록 구성되며,
   상기 통제 서버는,
   상기 촬영 영상에서 상기 대상자의 얼굴의 적어도 일부를 포함한 영역을 얼굴 영역으로 검출하고, 상기 대상자의 귀의 적어도 일부를 포함한 영역을 귀 영역으로 검출하고,
   검출된 복수의 서브 영역을 사용하여 상기 대상자가 출입 등록자에 해당하는지 대상자의 신원을 확인하며, 그리고
   상기 대상자의 신원확인 결과에 기초하여 출입문을 개방하거나, 또는 미개방하도록 구성된 것을 특징으로 하는 출입 통제 시스템.
   
8. 제7항에 있어서,
   상기 특정 신체 부분은 대상자의 얼굴 측면의 귀의 적어도 일부와 상기 대상자의 얼굴 전면부 중 적어도 일부를 포함하고,
   상기 촬영 장치의 설치 위치는 상기 출입문의 가로 길이, 세로 길이, 및 주변 조명의 설치 위치 중 적어도 하나에 의존하는 것을 특징으로 하는 출입 통제 시스템.
   
9. 제7항에 있어서, 상기 통제 서버는,
   상기 복수의 서브 영역을 검출하기 이전에 상기 대상자의 존재 유무를 판단하기 위해, 상기 촬영 영상에서 객체의 움직임이 발생했는지 확인하고,
   상기 대상자의 전신 또는 일부를 포함한 대상자 영역을 검출하며, 그리고
   검출 결과에 기초하여 대상자의 존재 여부를 판단하도록 더 구성된 것을 특징으로 하는 출입 통제 시스템.
   
10. 제7항에 있어서, 상기 통제 서버는, 신원확인을 위해,
    상기 얼굴 영역에서 상기 대상자의 얼굴 특징을 추출하고,
    상기 귀 영역에서 상기 대상자의 귀 특징을 추출하며,
    상기 대상자의 얼굴 특징과 귀 특징을 결합하여 상기 대상자의 특징을 생성하고,
    미리 저장된 출입 등록자의 특징과 상기 대상자의 특징을 비교하여 대상자와 출입 등록자 간의 유사도를 산출하며, 그리고
    상기 유사도에 기초하여 대상자의 신원을 확인하도록 구성되고,
    상기 출입 등록자의 특징은 상기 출입 등록자의 얼굴 특징과 귀 특징을 결합한 것을 특징으로 하는 출입 통제 시스템.
    
11. 제1항에 있어서, 상기 대상자의 신원확인 결과에 기초하여 출입문을 개방하거나, 또는 미개방하기 위해, 상기 통제 서버는,
    상기 대상자가 미리 저장된 출입 등록자로 신원확인되지 않을 경우, 상기 대상자에게 등록을 요구하는 메시지를 상기 통제 서버로부터 상기 촬영 장치를 통해 제공하도록 더 구성된 것을 특징으로 하는 출입 통제 시스템.

Images