KR101821144B1 - 깊이정보 기반의 안면인식 출입통제시스템 - Google Patents

Abstract

본 발명은 깊이정보 기반의 안면인식 출입통제시스템에 관한 것으로서, 더욱 상세하게는 깊이정보를 이용하여 안면인식을 수행하는 장치와 알고리즘이 내재된 안면인식 출입통제시스템으로 출입 요청자의 안면을 인식하고 상기 안면인식 출입통제시스템에서 인식된 인물이 기 등록자이면 출입을 허가하는 방식의 출입통제 구현 기술에 관한 것이다.
본 발명에 따른 깊이정보 기반의 안면인식 출입통제시스템은 허가된 인물이 인식될 시 출입을 허가하는 출입 통제부; 비허가된 인물로 인식될 시 알람 경보를 발생하고 상황실로 긴급 메시지를 송신하는 알람 경보부; 깊이정보 기반의 안면 인식부;로 구성되는 것을 특징으로 한다.

Description

깊이정보 기반의 안면인식 출입통제시스템{Access Control System using Depth Information based Face Recognition}

본 발명은 깊이정보 기반의 안면인식 출입통제시스템에 관한 것으로서, 더욱 상세하게는 깊이정보를 이용하여 안면인식을 수행하는 장치와 알고리즘이 내재된 안면인식 출입통제시스템으로 출입 요청자의 안면을 인식하고 상기 안면인식 출입통제시스템에서 인식된 인물이 기 등록자이면 출입을 허가하는 방식의 출입통제 구현 기술에 관한 것이다.

얼굴인식(Face Recognition) 기술이란 생체인식(Boimetrics) 분야 중의 하나로 사람마다 얼굴에 담겨있는 고유한 특징 정보를 이용하여 기계가 자동으로 사람을 식별하고 인증하는 기술이다. 각종 영상매체로부터 비교적 쉽고 자연스럽게 입력 받을 수 있는 얼굴이미지는 복잡한 배경으로부터 얼굴을 분리한 다음 눈, 코, 입 등의 위치들을 찾아서 정렬 및 사이즈 정규화를 하고, 인식에 필요한 특징 정보를 추출하여 수학적 계산과 통계적인 방법 등으로 템플릿을 만들어 데이터베이스로 저장함으로써, 얼굴의 등록, 인식 및 인증에 사용한다. 생체인식 시스템 분야로는 지문(fingerprint), 정맥(vein), 홍체(iris) 인식 분야가 많이 사용되고 있고 상업화 및 제품화가 이루어져 있다. 하지만, 이러한 생체인식 시스템은 사람이 인위적으로 접촉해야 하고 데이터 수집이 어려우며 직관적이지 못하다는 단점이 있다. 이러한 측면에서 볼 때 안면인식 기술은 이미지를 촬영하는 비접촉식이라는 장점과 여기서 기록되고 사용되는 데이터가 얼굴사진이라는 측면에서 매우 직관적이라는 장점을 갖고 있다.

이러한 안면인식 기술은 영상처리기법을 이용하여 기 저장된 기준영상과 비교하여 패턴을 인식하는 기술이 보편적으로 사용되고 있다. 이는 인쇄회로기판(PCB) 제조라인에서 광학식 검사시스템을 이용하여 PCB 불량유무 판정 부문, 지능형 교통시스템을 위한 차량 번호판 자동인식 부문, 사물인터넷 기술 중 패턴 매칭 기술 부문이 대표적인 적용 및 실시 예이다. 이러한 패턴인식을 수행하기 위하여 종래의 카메라로 영상을 촬영할 때 영상이 카메라 위치에 따라 원근에 기인한 기하학적 왜곡 영상이 촬영되어 패턴의 검출 및 인식이 원활히 이루어지지 않게 하는 요인으로 작용한다. 상기 원근에 기인한 기하학적 왜곡 영상을 보정하기 위해서 보정 물체를 이용한 왜곡 계수 산출 기법, 다방향 패턴 영상 사용 기법, 선 또는 소실점의 기하학적 특징 이용 기법 등이 제안된 바 있으나 전술한 방법은 실시간으로 적용할 수 없다는 문제점이 있다. 또한 색정보를 통해 영상정보를 획득하는 방식은 색 영상에 영향을 미치는 환경 하에서는 취약하다는 문제점이 있다.

카메라를 이용한 영상촬영의 경우, 동영상 부호화 표준으로 최근에 HEVC 표준이 완성되었다. 동영상 부호화에서 움직임 추정 및 보상 방법은 시간방향의 중복성을 제거하기 위해 필수적으로 사용된다. H.264, HEVC 등에서는 움직임 추정을 위해서 현재 화면 내의 공간방향으로 이웃한 화소들의 묶음인 블록과 시간방향으로 이웃한 참조 화면 내에서 가장 가까운 블록을 찾는 블록정합 방법을 사용하고 있다. 블록정합 움직임 추정 과정에는 블록을 찾는 평가척도, 참조 화면내 탐색영역의 크기, 현재 블록의 크기 등이 고려되어야 한다. 움직임 추정은 동영상 부호화에서 구현 복잡도의 70% 이상을 차지하고 있으므로, 동영상 부호화 초창기부터 복잡도를 줄이는 고속 움직임 추정방법에 대한 연구가 진행되어 왔다. 이러한 블록정합 움직임 추정은 카메라의 좌우 이동 및 영상 속 객체의 공간 이동 등에는 추정의 정확도가 높지만, 영상 신축에는 정확도가 떨어질 수밖에 없다. 영상의 신축 움직임은 현재 화면이 참조 화면에서 확대 또는 축소되는 것을 의미하며, 확대 및 축소에 해당되는 신축 비율을 정확하게 추출하기 위해서는 가능한 모든 신축비율을 적용할 수밖에 없다. 또한, 가능한 신축비율의 수가 너무 많기 때문에 모든 경우를 적용하기에는 불가능하다. 따라서, 구현의 복잡도를 줄이기 위한 방법에 대한 기술 개발이 진행되어 왔다. 신축 움직임 추정에서 첫 번째 단계에는 선택된 몇 개의 화소들에 대하여 간략하게 움직임을 추정하고, 두 번째 단계에서 모든 화소에 대하여 정확도를 높이는 방법, 계산 효율, 정확도 등을 고려한 반복적 최소-자승 추정에 대한 다양한 개선방법, 보간된 참조 화면을 이용하는 방법, 3-D 다이어몬드 탐색 패턴을 사용하여 움직임 추정을 단순화하는 방법 등이 제안된 바 있다. 그러나, 종래의 기술은 카메라의 색상정보만을 사용하기 때문에 정확한 신축 움직임 벡터를 추정하는 것에 어려움에 있고, 추정의 복잡도를 줄이는 데에도 한계가 있다는 문제점이 있다.

본 발명에 따른 깊이정보 기반의 안면인식 출입통제시스템을 개시하려는 유사 선행기술에는 대한민국 등록특허공보 제10-1549599호 '안면인식과 태그인식을 이용하여 접근자의 신분확인 및 동선추적이 가능한 제한구역 출입 경고시스템'이 있다. 상기 유사 선행기술은 전파로 신호가능한 식별태그; 식별태그 전파신호를 수신하여 작업자 신원등록정보를 인식하는 식별태그부; 식별태그부 중 태그리더수단 하측에 위치하고 안전모 착용 작업자의 안면이미지 인식과 신원인식정보를 획득하는 신원인식부; 식별태그부로부터 신원등록정보를 수신하고 신원인식부로부터 신원인식정보를 수신하여 비교 판독한 후 동일여부를 검증하여 작업자 출입 여부 제어신호를 송신하고 출입구 접근 작업자를 확인하면서 동선을 추적하는 메인서버부;로 구성되는 기술을 개시하는 특징이 있다.

다른 유사 선행기술에는 대한민국 공개특허공보 제10-2003-0065049호 '얼굴 인식에 의한 출입 통제 방법 및 그 장치'가 있다. 상기 유사 선행기술은 출입허가자 얼굴이미지를 촬영하여 정상적 얼굴데이터로 등록하고, 다른 기준의 얼굴이미지를 촬영하여 비정상적 얼굴데이터로 등록하는 과정; 출입요청신호 검지 시 요청자 얼굴이미지를 촬영하여 이미지데이터로 변환하는 과정; 변환된 얼굴이미지데이터로 등록정보를 탐색하여 등록여부를 확인하는 과정; 등록자로 확인되면 요청자 얼굴이미지데이터를 정상적 얼굴이미지데이터 및 비정상적 얼굴이미지데이터와 비교하여, 정상적 얼굴데이터와 일치 시 도어 잠금을 해제하고, 비정상적 얼굴과 일치할 경우 네트워크로 경보신호를 발생하는 과정;이 포함되는 기술을 개시하는 특징이 있다.

또 다른 유사 선행기술에는 대한민국 등록특허공보 제10-1439348호 '얼굴인식을 이용한 출입통제 및 근태관리 시스템'이 있다. 상기 유사 선행기술은 등록된 사용자를 확인하는 얼굴스캔장치; 통신망으로 연결되어 도어 개폐 및 경보를 가동하는 개폐장치; 출입된 사용자의 얼굴인식을 통한 출입기록을 근간으로 근태를 관리하는 근태관리 장치; 미등록 사용자의 영상을 관리자 단말로 전송하여 방문자 여부 확인 및 도어 개폐를 구동하는 원격도어장치; 및 근태관리에 필요한 사용자 정보를 저장하거나, 방문자의 상태 정보를 저장하여 사용자 또는 관리자에게 해당 정보를 제공하는 데이터베이스;로 구성되는 기술을 개시하는 특징이 있다.

그러나 전술한 종래의 유사 선행 기술은 데이터베이스에 인물의 얼굴 깊이 값을 미리 저장시켜두고 깊이카메라를 통해 인물을 촬영할 때 인물이 촬영된 깊이영상을 깊이 값을 통해 보정하여 각각의 인물의 얼굴 깊이 값을 저장하고 있는 데이터베이스와 상기 촬영된 영상의 깊이 값에서 얼굴의 특징점을 추출하고 상기 추출된 얼굴 특징의 깊이 값을 상기 데이터베이스에 저장된 인물의 얼굴 데이터와 비교하여 상기 특징점이 일치할 때 해당 인물로 인식하는 깊이정보 기반의 안면인식 알고리즘으로 구동되는 출입통제시스템의 구현 기술을 제공하지 못하였다.

KR 10-1549599(B1) KR 10-2003-0065049(A) KR 10-1439348(B1)

본 발명은 상기한 발명의 배경으로부터 요구되는 기술적 필요성을 충족하는 것을 목적으로 한다. 구체적으로, 본 발명의 목적은 종래의 안면인식 출입통제시스템에서 안면인식 영상의 원근 왜곡이 발생하는 현상을 보정할 수 있는 깊이영상 회전 모듈 및 알고리즘이 내재된 안면인식 출입통제시스템을 구현하는 것에 그 목적이 있다. 또한, 종래의 안면인식 출입통제시스템에서 신축 움직임 벡터 추정이 어려운 문제점을 해결하고자 깊이정보 변환 모듈 및 알고리즘이 내재된 안면인식 출입통제시스템을 제공함으로써 고신뢰성 안면인식 출입통제시스템 구현 기술을 제공하는 것에 그 목적이 있다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

이러한 목적을 달성하기 위한 본 발명에 따른 깊이정보 기반의 안면인식 출입통제시스템은 허가된 인물이 인식될 시 출입을 허가하는 출입 통제부; 비허가된 인물로 인식될 시 알람 경보를 발생하고 상황실로 긴급 메시지를 송신하는 알람 경보부; 깊이정보 기반의 안면 인식부;로 구성되는 것을 특징으로 한다.

이상과 같이 본 발명은 깊이카메라를 통해 하나의 평면 영역을 촬영하여 깊이정보를 획득하고 대응되는 색영상에 발생하는 원근 왜곡을 깊이정보로 보정하여 처리속도와 정확도가 향상된 깊이정보 회전 모듈을 구비하게 되므로 인물 촬영이 정면에서 수행되지 않고 측면에서 촬영되어도 이를 자체적으로 원근 보정할 수 있어서 안면인식 출입통제시스템 성능이 증대되는 효과가 있다. 또한, 현재 촬영된 안면과 본인인증부에 저장된 안면 사이의 비교의 정확도를 높이기 위하여 보정을 수행하는 깊이영상 변환부를 구비하게 되므로 영상 촬영 거리에 따른 오차를 자체적으로 신축 보정이 가능하여 안면인식 출입통제시스템의 성능이 증대되는 효과가 있다.

본 발명의 기술적 효과들은 이상에서 언급한 기술적 효과들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 청구범위의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 따른 깊이정보 기반의 안면인식 출입통제시스템의 주요 모듈 구성도;
도 2는 본 발명의 일실시예에 따른 안면인식 출입통제시스템이 적용된 일반적인 출입문의 예시도;
도 3은 본 발명의 일실시예에 따른 안면인식 출입통제시스템이 적용된 차단 게이트의 예시도;
도 4는 본 발명에 따른 깊이정보 기반의 안면인식 출입통제시스템의 깊이영상 촬영부를 이용한 깊이영상 촬영 예시도;
도 5는 본 발명에 따른 깊이정보 기반의 안면인식 출입통제시스템의 깊이영상 보정부를 이용한 오차 발생 픽셀의 보정 예시도;
도 6은 본 발명에 따른 깊이정보 기반의 안면인식 출입통제시스템의 깊이영상 보정부를 이용한 안경 착용자의 안경테에 대한 보간 예시도;
도 7은 본 발명에 따른 깊이정보 기반의 안면인식 출입통제시스템의 깊이영상 변환부의 세부모듈에 대한 구성도;
도 8은 본 발명에 따른 깊이정보 기반의 안면인식 출입통제시스템의 깊이영상 변환부에서 안면 정렬이 수행되는 실시 흐름도;
도 9는 본 발명에 따른 깊이정보 기반의 안면인식 출입통제시스템의 안면 검출부에서 깊이 값을 이용하여 안면을 추출하는 과정의 예시도;
도 10은 본 발명에 따른 깊이정보 기반의 안면인식 출입통제시스템의 안면특징 추출부로 추출된 주요 특징별 깊이 값 차이에 대한 예시도;
도 11은 본 발명에 따른 깊이정보 기반의 안면인식 출입통제시스템의 안면특징 추출부로 추출된 안면 부위의 예시도;
도 12는 안면이 기울어진 상태를 보정하기 위하여 두 눈의 위치를 수평선에 평행하게 보정하는 과정의 예시도;
도 13은 안면에서 코와 코 주변의 깊이 차를 계산하여 상대적 깊이 크기를 측정하는 방법의 예시도;
도 14는 본 발명에 따른 깊이정보 기반의 안면인식 출입통제시스템을 이용한 턱 부위 추출에 대한 예시도;
도 15는 본 발명에 따른 깊이정보 기반의 안면인식 출입통제시스템을 이용한 안면 폭 측정에 대한 예시도이다.

이하에서는, 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하지만, 이는 본 발명의 더욱 용이한 이해를 위한 것으로, 본 발명의 범주가 그것에 의해 한정되는 것은 아니다. 또한 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.

본 발명의 각 구성 단계에 대한 상세한 설명에 앞서, 본 명세서 및 청구 범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위하여 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과하며 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1 내지 도3을 참조하면 본 발명에 따른 깊이정보 기반의 안면인식 출입통제시스템의 장치 구성은 허가된 인물이 인식될 시 출입을 허가하는 출입 통제부(100); 비허가된 인물로 인식될 시 알람 경보를 발생하고 상황실로 긴급 메시지를 송신하는 알람 경보부(200); 깊이정보 기반의 안면 인식부(300);로 구성되는 것을 특징으로 한다.

상기 알람 경보부(200)는 일정 시간 내에 일정 횟수 이상 인식을 시도하였으나 안면 인식이 이루어지지 않을 시 비허가된 인물의 접근으로 간주하여 현장에 알람 경보음을 송출하고 상황실에는 알람 경보음과 동시에 상기 상황실 중앙관제용 모니터에 긴급 경고 메시지를 디스플레이 하는 것을 특징으로 한다.

상기 안면 인식부(300)는 안면특징 깊이정보 저장용 안면 저장부(310); 안면깊이영상 촬영용 깊이영상 촬영부(320); 깊이값 오차보정용 깊이영상 보정부(330); 깊이영상 안면부분 추출용 안면검출부(340); 영상회전 신축 변환 및 영상촬영거리에 따른 안면영상 신축 및 안면 정렬용 깊이영상 변환부(350); 깊이영상 안면특징 추출용 안면특징 추출부(360); 상기 안면 저장부(310)에 저장된 데이터와 비교하는 안면특징 비교부(370); 저장된 데이터와의 비교결과에서 인물 일치도를 판정하는 인물 일치 판정부(380);로 구성되는 것을 특징으로 한다.

상기 안면 저장부(310)에는 식별할 인물의 안면 특징들이 깊이 값 형태로 저장되어 있는 것을 특징으로 한다. 이 때 저장될 신체적 특징은 안면의 깊이정보 외에도 눈, 코, 입의 위치와 모양, 얼굴의 너비, 코의 높이, 턱의 외곽정보인 것이 바람직하다. 또한 상기 안면 저장부(310)는 깊이 영상 내 깊이 값이 제일 작은 값이 기준 깊이 값 D_reference를 가지도록 상기 깊이영상 변환부(350)을 이용하여 변환을 적용하여 저장되는 것을 특징으로 한다.

상기 깊이영상 촬영부(320)를 인물 촬영이 가능한 곳에 설치한 후 인물 촬영을 시작하게 되면 인물의 안면이 도 4와 같이 촬영된다. 이 때 획득된 깊이영상의 특징으로는 코 부위가 상기 깊이영상 촬영부(320)와 제일 지근거리에 위치하므로 깊이 값이 가장 작게 나오게 된다. 또한 안면과 다른 영역의 깊이 값은 큰 차이가 나게 되어 안면부분을 상기 안면 검출부(340)를 이용해 깊이영상 안면부분을 추출할 수 있다. 상기 깊이영상 촬영부(320)를 통해 깊이영상을 촬영 및 획득 시 촬영영상에서 오차가 발생하는 픽셀이 발생할 수도 있다. 이 때 상기 깊이영상 보정부(330)를 이용하여 도 5와 같이 보간을 수행하면 오차가 발생한 픽셀을 보정하게 된다.

안면인식 과정에서 안경 착용자가 안면인식의 대상이 될 수도 있다. 상기 안경 착용자가 깊이영상 촬영 대상일 경우에 안경렌즈는 유리이기 때문에 깊이 값의 측정에 영향을 미치지 않지만 안경테의 경우에는 깊이 값이 있는 것으로 측정되어 안면 인식 과정에 오차를 유발할 수 있다. 따라서 안경테의 특성은 안면의 평균 깊이보다 그 깊이 값이 작다는 점을 이용하여 안경테를 안면의 영역과 구분할 수 있다. 또한, 안경테의 영역을 도 6과 같이 주변 깊이 값으로 보간함으로써 깊이영상에서 안경테 영역을 제거한 영상을 획득할 수 있다.
상기 안면 검출부(340)에서 깊이 값을 이용하여 안면을 추출하는 과정은 다음과 같다. 상기 깊이영상 촬영부(320)에서 인물을 촬영하고 깊이 값에 따른 라벨링을 통해 영역을 분리하게 된다. 이 때 안면은 상기 깊이영상 촬영부(320)와 지근거리에 있기 때문에 안면 영역의 평균 깊이 값이 가장 작게 나타나게 된다. 이를 이용하여 안면을 다른 신체 부위와도 분리할 수 있고 깊이 값이 낮을수록 밝게 나타나는 깊이영상을 확인할 수 있다. 이 때 안면 부위는 타 부위와 비교하여 깊이 값이 낮은 것을 확인할 수 있으며 이를 통해 안면 부위를 타 영역과 분리 가능하게 된다.

상기 깊이영상 촬영부(320)를 통해 인물 촬영 시 항상 정면으로 촬영되지 않을 수도 있으므로 이에 대한 보정이 필요하며 이는 상기 깊이영상 변환부(350)에서 변환을 적용하여 안면을 정렬할 수 있다.

이에 대한 원리를 보다 상세하게 설명하기 위하여 도 7을 참조하면 상기 깊이영상 변환부(350)는 상기 깊이영상 촬영부(320)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 깊이정보 산출부(341); 상기 깊이정보 산출부(341)에서 산출된 깊이정보를 이용하여 각 화소의 상기 깊이영상 촬영부(320) 좌표계에서의 위치를 계산하는 좌표 변환부(342); 상기 좌표 변환부(342)에서 계산된 각 화소의 주변정보를 이용하여 상기 화소의 국소적 법선벡터를 계산하는 국소법선벡터 산출부(343); 상기 국소법선벡터 산출부(343)에서 얻어진 국소적 법선벡터를 이용하여 전체 평면의 법선벡터를 구하는 평면법선벡터 산출부(344); 영상의 회전축과 사이 각을 계산하여 회전행렬을 구하고, 촬영 영상의 깊이 값과 상기 안면 저장부(310)에서의 기준 깊이 값을 이용하여 평행이동 행렬을 구하여 이를 조합하여 변환 행렬을 구하는 변환행렬 계산부(345); 상기 변환 행렬을 이용하여 변환을 적용하여 영상 내의 안면을 상기 안면 저장부(310)와 비교할 수 있게 정렬하는 변환 적용부(346);로 구성되는 것을 특징으로 한다.

상기 좌표 변환부(342)는 상기 깊이영상 촬영부(320)를 통해 평면을 촬영하여 깊이영상에서의 화소의 위치 P(x, y)와 그 화소에서의 깊이 값인 상기 깊이영상 촬영부(320)를 중심으로 하는 xy평면으로부터의 거리 D(x, y)를 얻고 상기 D(x, y)와 상기 깊이영상 촬영부(320)의 인자를 이용하여 상기 깊이영상 촬영부(320)의 초점을 원점으로 하고 상기 깊이영상 촬영부(320)의 정면 광학축 방향을 z축으로 하는 상기 깊이영상 촬영부(320) 좌표계로 변환하는 것을 특징으로 한다.

여기서, 상기 깊이영상 촬영부(320) 좌표계로의 변환은 상기 화소의 위치 P(x, y)는 영상의 왼쪽 상단 모서리를 원점으로 하는 깊이영상 좌표계에서의 위치정보이고 상기 깊이정보 D(x, y)는 상기 깊이영상 촬영부(320) 좌표계 내에서 z축의 거리 z_c가 되고 영상 좌표계 내에서의 상기 화소의 위치 P(x, y)를 영상 중앙이 원점이 되는 좌표계 상의 위치정보 P_v(x_v, y_v)로 변환하는 것을 특징으로 한다.

그리고 상기 좌표 변환부(342)는 각 화소의 상기 깊이영상 촬영부(320) 좌표계에서의 위치를 계산하기 위하여 상기 깊이영상 촬영부(320)의 내부 정보인 시야각과 해상도를 사용하여 영상이 투영되는 뷰포트까지의 거리 f를 상기 깊이영상 촬영부(320)의 수직 시야각 f_oVv와 상기 깊이영상 촬영부(320)의 수직 해상도 h를 통해 상기 뷰포트까지의 거리 f를 구하거나 수평 시야각 f_oVh과 상기 깊이영상 촬영부(320)의 수평 해상도 w를 통하여 구하고, 이렇게 구해진 상기 뷰포트까지의 거리 f를 이용하여 상기 깊이영상 촬영부(320) 좌표계에서의 위치 P_c(x, y)=(x_c, y_c, z_c)로 변환하여 상기 깊이영상 촬영부(320) 좌표계에서의 위치정보를 구하는 것을 특징으로 한다.

상기 국소법선벡터 산출부(343)는 영상 좌표계에서의 위치 P(x, y)에서의 상기 깊이영상 촬영부(320) 좌표계에서의 위치를 P_c(x, y)라고 한다면 화소의 상하에 위치한 점들의 상기 깊이영상 촬영부(320) 좌표계에서의 위치정보 P_c(x, y+1), P_c(x, y-1)와 좌우에 위치한 점들의 상기 깊이영상 촬영부(320) 좌표계에서의 위치정보 P_c(x+1, y), P_c(x-1, y)를 토대로 두 개의 벡터 v₁= P_c(x+1, y)- P_c(x-1, y), v₂= P_c(x, y+1)- P_c(x, y-1)를 생성하고 N_xy=v₁×v₂를 통해 두 벡터의 외적을 구하여 화소 P(x, y)에서의 국소적인 법선벡터 N_xy를 구하는 것을 특징으로 한다.

상기 평면법선벡터 산출부(344)는 상기 국소법선벡터 산출부(343)에서 구해진 각 화소의 국소적 법선벡터를 더하여 평면영역에서의 법선벡터 N을 구하고 상기 변환 적용부(346)에서 상기 깊이영상 촬영부(320)로 촬영한 영상을 회전변환을 통해 평면의 법선벡터 N을 z축에 평행하게 하여 평면영상을 xy평면에 평행한 영상으로 보정하여 원근왜곡을 제거하는 것을 특징으로 한다. 그리고 회전변환을 거친 후의 평면법선벡터의 단위벡터는 N'(0, 0, 1)이 되는 것을 특징으로 한다.

상기 변환행렬 계산부(345)는 평면영역에서의 법선벡터를 N, 회전변환을 거친 후의 평면법선벡터의 단위벡터를 N'이라 하면 회전변환의 축이 되는 단위벡터는 u=(N×N')/(｜N×N'｜)을 통해 변환 전후의 각각의 법선벡터를 외적하여 정규화한 벡터 u(u_x, u_y, u_z)이고 회전각 θ는 θ=cos^-1((NㆍN')/(｜N｜｜N'｜))를 통하여 구한 두 벡터의 사이각인 것을 특징으로 한다. 그리고 상기 변환행렬 계산부(345)에서 회전변환 행렬 R은

R=cosθI+sinθ[u]+(1-cosθ)uⓧu,

삭제

uⓧu=

삭제

[u]_x=

을 통하여 구하고 검출된 안면 영역 내 깊이 값이 제일 작은 값을 D_min로 두고, 상기 안면 저장부(100)의 D_reference를 이용하여 평행이동 행렬 T₁, T₂를
T₁=

, T₂=

로 두어, 각 화소의 상기 깊이영상 촬영부(200) 좌표계에서의 P_c(i, j)를,

=R

를 통해 변환을 하여 변환 후의 위치 P'_c(i, j)=(x'_c, y'_c, z'_c)를 구하는 것을 특징으로 한다.

삭제

상기 변환 적용부(346)는 영상이 투영되는 뷰포트까지의 거리 f, 회전변환을 하여 구해진 변환 후의 위치 P'_c(i, j)=(x'_c, y'_c, z'_c)라 하면, P'은 상기 깊이영상 촬영부(320) 좌표계 상의 좌표이므로 이를 다시 영상좌표로 변환하기 위하여 x'_v=(x'_cf)/ z'_c, y'_v=(y'_cf)/ z'_c를 이용하여 원점이 화면 중심에 존재하는 영상 좌표계에서의 위치 P'_v(x'_v, y'_v)로 변환한 다음 원점을 다시 원래대로 설정하여 보정변환 시 화소 P(x, y)에 사상되는 화소 P'(x', y')를 구하는 것과, 깊이 영상에서의 화소값인 깊이 값을 P'(x', y') 을 z'_c 로 변경하여 영상 내의 안면을 상기 안면 저장부(310)와 비교할 수 있게 정렬하는 것을 특징으로 한다.

도 8을 참조하면 상기 깊이영상 변환부(350)에서 안면 정렬이 되는 실시 흐름은 상기 깊이영상 촬영부(320)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 단계(s341); 산출된 깊이정보를 이용하여 각 화소의 상기 깊이영상 촬영부(200) 좌표계에서의 위치를 계산하는 단계(s342); 계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 단계(s343); 국소적 법선 벡터를 이용하여 전체 평면의 법선 벡터를 구하는 단계(s344); 영상의 회전축과 사이 각을 계산하고, 영상 중앙의 깊이정보와 상기 안면 저장부(310)에서의 기준 깊이 값을 이용하여 변환 행렬을 구하는 단계(s345); 상기 변환 행렬을 이용하여 변환을 적용하는 단계(s346);를 포함하는 것을 특징으로 한다.
상기 안면 검출부(340)로 안면을 검출한 후에 상기 안면 저장부(310)에 저장된 안면의 특징의 비교를 하기 위하여 안면의 특징을 상기 안면특징 추출부(360);로 추출하게 된다. 여기서 추출되는 안면의 특징은 안면 윤곽선, 눈/코/입/의 깊이 값과 위치, 턱의 모양, 광대뼈의 높이, 눈썹뼈의 높이, 코의 높이, 얼굴 폭 등이 되는 것이 바람직하다. 먼저 안면의 윤곽선을 추출한 후 눈/코/입을 추출한다. 안면의 깊이 값은 코 부위가 가장 낮고 눈 부위가 상대적으로 크기 때문에 이러한 특징을 이용하여 눈 위치와 코 위치를 검출할 수 있다. 또한 입의 깊이 값은 코의 깊이 값보다 크지만 입이 다른 안면 부위보다는 돌출되어 있기 때문에 상대적으로 깊이 값이 작게 나타날 수 있으므로 이러한 점을 이용하면 눈/코/입에 대한 특징 추출이 가능하다(도 10; 도 11). 전술한 과정에서 검출된 눈/코/입에 대한 윤곽선을 검출하고 상기 눈/코/입 위치의 상대적인 위치를 검출한다. 이 때 안면이 기울어진 상태에서 촬영되면 상기 눈/코/입 위치 변동이 발생할 수 있기 때문에 두 눈의 위치가 수평선에 평행하게 깊이영상을 회전시킨다. 그 후 두 눈의 위치에 대한 중앙점을 기준으로 두 눈의 위치, 코의 위치, 입의 위치를 측정한다(도 12). 또한 코의 높이를 추출할 수 있으며 상기 깊이영상 촬영부(320)를 통해 안면에서 코와 상대적 깊이 크기를 상기 코와 상기 코 주변의 깊이 차를 계산하여 측정할 수도 있다(도 13). 전술한 방법으로 눈 아래의 광대뼈 높이, 눈 위의 눈썹뼈의 높이를 측정하여 안면의 특징으로 활용한다. 그 후에는 턱 부위의 모양을 추출(도 14)하는데 턱은 입술 아래 부위부터 안면 최하부까지의 영역으로 간주하며 이를 통해 외곽선의 모양을 추출한다. 그리고 안면 폭을 측정하는데 상기 안면 폭은 깊이값과 깊이영상에서의 상대적 위치, 상기 깊이영상 촬영부(320) 내부 인자를 통해서 실제 거리를 구할 수가 있으며 이를 통해 실제 안면 폭을 구하여 상기 안면특징 비교부(380)에서 활용할 수 있다(도 15).

삭제

삭제

삭제

삭제

삭제

삭제

이렇게 인물을 특정할 수 있는 안면 특징을 추출하면 상기 안면 저장부(310)에 저장된 각 인물의 특징 데이터를 상기 안면특징 비교부(370)에서 비교 작업을 수행하여 비교 결과가 일정 유사도 이하일 경우에는 상기 인물 일치 판정부(380)에서 특정 인물이 아닌 것으로 판단하는 것을 특징으로 한다. 또한 상기 안면특징 비교부(370)에서 비교 작업을 수행하여 모든 특징이 일치하는 것으로 확인되면 상기 인물일치 판정부(380)에서 특정 인물이라고 판단하는 것을 특징으로 한다.

이상 본 발명의 실시예에 따른 도면을 참조하여 설명하였지만, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주 내에서 다양한 응용, 변형 및 개작을 행하는 것이 가능할 것이다. 이에, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (8)

1. 깊이정보 기반의 안면인식 출입통제시스템에 있어서,
   허가된 인물이 인식될 시 출입을 허가하는 출입 통제부(100);
   비허가된 인물로 인식될 시 알람 경보를 발생하는 알람 경보부(200);
   깊이정보 기반의 안면 인식부(300);
   상기 안면 인식부(300)는 안면특징 깊이정보 저장용 안면 저장부(310); 안면깊이영상 촬영용 깊이영상 촬영부(320); 깊이값 오차보정용 깊이영상 보정부(330); 깊이영상 안면부분 추출용 안면검출부(340); 영상회전 신축 변환 및 영상촬영거리에 따른 안면영상 신축 및 안면 정렬용 깊이영상 변환부(350); 깊이영상 안면특징 추출용 안면특징 추출부(360); 상기 안면 저장부(310)에 저장된 데이터와 비교하는 안면특징 비교부(370); 저장된 데이터와의 비교결과에서 인물 일치도를 판정하는 인물 일치 판정부(380);로 구성되며,
   상기 알람 경보부(200)는 일정 시간 내에 일정 횟수 이상 인식을 시도하였으나 안면 인식이 이루어지지 않을 시 비허가된 인물의 접근으로 간주하여 현장에 알람 경보음을 송출하고 상황실에는 알람 경보음과 동시에 상기 상황실 중앙관제용 모니터에 긴급 경고 메시지를 디스플레이 하고,
   상기 깊이영상 변환부(350)는 상기 깊이영상 촬영부(320)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 깊이정보 산출부(341); 상기 깊이정보 산출부(341)에서 산출된 깊이정보를 이용하여 상기 깊이영상 촬영부(320) 좌표계에서의 위치를 계산하는 좌표 변환부(342); 상기 좌표 변환부(342)에서 계산된 각 화소의 주변정보를 이용하여 상기 화소의 국소적 법선벡터를 계산하는 국소법선벡터 산출부(343); 상기 국소법선벡터 산출부(343)에서 얻어진 국소적 법선벡터를 이용하여 전체 평면의 법선벡터를 구하는 평면법선벡터 산출부(344); 깊이영상의 회전축과 사이 각을 계산하여 회전행렬을 구하는 변환행렬 계산부(345); 상기 변환행렬을 이용하여 변환을 적용하는 변환 적용부(346);로 구성되고,
   상기 좌표 변환부(342)는 상기 깊이영상 촬영부(320)를 통해 평면을 촬영하여 깊이영상에서의 화소 위치 P(x, y)와 상기 P(x, y)에서의 깊이 값인 D(x, y)를 얻고 상기 깊이영상 촬영부(320)의 초점을 원점으로 하여 상기 깊이영상 촬영부(320)의 정면 광학축 방향을 z축으로 하는 상기 깊이영상 촬영부(320) 좌표계로 변환하고,
   상기 국소법선벡터 산출부(343)는 상기 깊이영상 촬영부(320) 좌표계에서의 위치정보 P_c(x, y+1), P_c(x, y-1)와 좌우에 위치한 점들의 상기 깊이영상 촬영부(320) 좌표계에서의 위치정보 P_c(x+1, y), P_c(x-1, y)를 토대로 두 개의 벡터 v₁= P_c(x+1, y)- P_c(x-1, y), v₂= P_c(x, y+1)- P_c(x, y-1)를 생성하고 N_xy=v₁×v₂의 관계를 통해 두 벡터의 외적을 구하여 상기 P(x, y)에서의 국소적인 법선벡터 N_xy를 구하며,
   상기 평면법선벡터 산출부(344)는 상기 국소법선벡터 산출부(343)에서 구해진 각 화소의 국소적 법선벡터를 더하여 평면영역에서의 법선벡터 N을 구하고 상기 변환 적용부(346)에서 상기 깊이영상 촬영부(320)로 촬영한 영상을 회전변환을 통해 평면의 상기 법선벡터 N을 z축에 평행하게 하고 평면영상을 xy평면에 평행한 영상으로 보정하여 원근왜곡을 제거하는 것을 특징으로 하는 출입통제시스템.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 제 1 항에 있어서,
   상기 깊이영상 변환부(350)에서 안면 정렬 방법은,
   깊이영상 촬영부(320)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 단계(s341);
   산출된 깊이정보를 이용하여 각 화소의 상기 깊이영상 촬영부(320) 좌표계에서의 위치를 계산하는 단계(s342);
   계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 단계(s343);
   국소적 법선 벡터를 이용하여 전체 평면의 법선 벡터를 구하는 단계(s344);
   영상의 회전축과 사이 각을 계산하여 회전 행렬을 구하는 단계(s345);
   회전 변환을 적용하여 상기 깊이영상 촬영부(320)의 위치에 따른 영상의 왜곡을 보정하는 단계(s346);를 포함하는 것을 특징으로 하는 출입통제시스템.
7. 제 1 항에 있어서,
   상기 안면 검출부(340);에서 깊이 값을 이용한 안면 검출 시 상기 깊이영상 촬영부(320)에서 인물을 촬영하고 깊이 값에 따른 라벨링을 통해 영역을 분리하게 되며 상기 안면은 상기 깊이영상 촬영부(320)와 지근거리에 위치한 것에 기인한 평균 깊이 값 차이로 인하여 상기 안면에 대해서만 분리 가능하고,
   상기 안면 검출부(340)로 안면 검출 후 상기 안면 저장부(310)에 저장된 안면의 특징을 비교하기 위하여 상기 안면특징 추출부(360);로 추출하고 여기서 추출되는 안면의 특징은 안면 윤곽선, 눈/코/입의 깊이 값과 위치, 턱의 모양, 광대뼈의 높이, 눈썹뼈의 높이, 코의 높이, 얼굴 폭이 되는 것을 특징으로 하며,
   상기 안면 저장부(310)에 저장된 각 인물의 특징 데이터를 상기 안면특징 비교부(370)에서 비교 작업을 수행하여 비교 결과가 일정 유사도 이하일 경우에는 상기 인물 일치 판정부(380)에서 특정 인물이 아닌 것으로 판단하고, 상기 안면특징 비교부(370)에서 비교 작업을 수행하여 모든 특징이 일치하는 것으로 확인되면 상기 인물일치 판정부(380)에서 특정 인물이라고 판단하는 것을 특징으로 하는 출입통제시스템.
8. 삭제

Images