KR101818984B1 - 깊이정보를 이용한 안면인식시스템 - Google Patents

Abstract

본 발명은 깊이정보를 이용한 안면인식시스템에 관한 것으로서, 더욱 상세하게는 데이터베이스에 인물의 얼굴 깊이 값을 미리 저장시켜두고 깊이 카메라를 통해 인물을 촬영할 때 인물이 촬영된 깊이 영상을 깊이 값을 통해 보정하여 각각의 인물의 얼굴 깊이 값을 저장하고 있는 데이터베이스와 상기 촬영된 영상의 깊이 값에서 얼굴의 특징을 추출하고 상기 추출된 얼굴 특징의 깊이 값을 상기 데이터베이스에 저장된 인물의 얼굴 데이터와 비교하여 상기 특징이 일치할 때 해당 인물로 인식하는 기술에 관한 것이다.
본 발명에 따른 깊이정보를 이용한 안면인식시스템은 안면특징 깊이정보 저장용 안면 저장부; 안면깊이영상 촬영용 깊이영상 촬영부; 깊이값 오차보정용 깊이영상 보정부; 깊이영상 안면부분 추출용 안면 검출부; 안면 정렬을 위한 영상회전변환 및 영상촬영거리에 따른 안면영상 신축용 깊이영상 변환부; 깊이영상 안면특징 추출용 안면특징 추출부; 상기 안면 저장부에 저장된 데이터와 비교하는 안면특징 비교부; 저장된 데이터와의 비교결과에서 인물 일치도를 판정하는 인물 일치 판정부;로 구성되는 것을 특징으로 한다.

Description

깊이정보를 이용한 안면인식시스템{Face Recognition System using Depth Information}

본 발명은 깊이정보를 이용한 안면인식시스템에 관한 것으로서, 더욱 상세하게는 데이터베이스에 인물의 얼굴 깊이 값을 미리 저장시켜두고 깊이 카메라를 통해 인물을 촬영할 때 인물이 촬영된 깊이 영상의 깊이 값을 통해 보정하여 각각의 인물의 얼굴 깊이 값을 저장하고 있는 데이터베이스와 상기 촬영된 영상의 깊이 값에서 얼굴의 특징을 추출하고 상기 추출된 얼굴 특징의 깊이 값을 상기 데이터베이스에 저장된 인물의 얼굴 데이터와 비교하여 상기 특징이 일치할 때 해당 인물로 인식하는 기술에 관한 것이다.

얼굴인식(Face Recognition) 기술이란 생체인식(Boimetrics) 분야 중의 하나로 사람마다 얼굴에 담겨있는 고유한 특징 정보를 이용하여 기계가 자동으로 사람을 식별하고 인증하는 기술이다. 각종 영상매체로부터 비교적 쉽고 자연스럽게 입력 받을 수 있는 얼굴이미지는 복잡한 배경으로부터 얼굴을 분리한 다음 눈, 코, 입 등의 위치들을 찾아서 정렬 및 사이즈 정규화를 하고, 인식에 필요한 특징 정보를 추출하여 수학적 계산과 통계적인 방법 등으로 템플릿을 만들어 데이터베이스로 저장함으로써, 얼굴의 등록, 인식 및 인증에 사용한다. 생체인식 시스템 분야로는 지문(fingerprint), 정맥(vein), 홍체(iris) 인식 분야가 많이 사용되고 있고 상업화 및 제품화가 이루어져 있다. 하지만, 이러한 생체인식 시스템은 사람이 인위적으로 접촉해야 하고 데이터 수집이 어려우며 직관적이지 못하다는 단점이 있다. 이러한 측면에서 볼 때 안면인식 기술은 이미지를 촬영하는 비접촉식이라는 장점과 여기서 기록되고 사용되는 데이터가 얼굴사진이라는 측면에서 매우 직관적이라는 장점을 갖고 있다.

이러한 안면인식 기술은 영상처리기법을 이용하여 기 저장된 기준영상과 비교하여 패턴을 인식하는 기술이 보편적으로 사용되고 있다. 이는 인쇄회로기판(PCB) 제조라인에서 광학식 검사시스템을 이용하여 PCB 불량유무 판정 부문, 지능형 교통시스템을 위한 차량 번호판 자동인식 부문, 사물인터넷 기술 중 패턴 매칭 기술 부문이 대표적인 적용 및 실시 예이다. 이러한 패턴인식을 수행하기 위하여 종래의 카메라로 영상을 촬영할 때 영상이 카메라 위치에 따라 원근에 기인한 기하학적 왜곡 영상이 촬영되어 패턴의 검출 및 인식이 원활히 이루어지지 않게 하는 요인으로 작용한다. 상기 원근에 기인한 기하학적 왜곡 영상을 보정하기 위해서 보정 물체를 이용한 왜곡 계수 산출 기법, 다방향 패턴 영상 사용 기법, 선 또는 소실점의 기하학적 특징 이용 기법 등이 제안된 바 있으나 전술한 방법은 실시간으로 적용할 수 없다는 문제점이 있다. 또한 색정보를 통해 영상정보를 획득하는 방식은 색 영상에 영향을 미치는 환경 하에서는 취약하다는 문제점이 있다.

카메라를 이용한 영상촬영의 경우, 동영상 부호화 표준으로 최근에 HEVC 표준이 완성되었다. 동영상 부호화에서 움직임 추정 및 보상 방법은 시간방향의 중복성을 제거하기 위해 필수적으로 사용된다. HEVC 등에서는 움직임 추정을 위해서 현재 화면 내의 공간방향으로 이웃한 화소들의 묶음인 블록과 시간방향으로 이웃한 참조 화면 내에서 가장 가까운 블록을 찾는 블록정합 방법을 사용하고 있다. 블록정합 움직임 추정 과정에는 블록을 찾는 평가척도, 참조 화면내 탐색영역의 크기, 현재 블록의 크기 등이 고려되어야 한다. 움직임 추정은 동영상 부호화에서 구현 복잡도의 70% 이상을 차지하고 있으므로, 동영상 부호화 초창기부터 복잡도를 줄이는 고속 움직임 추정방법에 대한 연구가 진행되어 왔다. 이러한 블록정합 움직임 추정은 카메라의 좌우 이동 및 영상 속 객체의 공간 이동 등에는 추정의 정확도가 높지만, 영상 신축에는 정확도가 떨어질 수밖에 없다. 영상의 신축 움직임은 현재 화면이 참조 화면에서 확대 또는 축소되는 것을 의미하며, 확대 및 축소에 해당되는 신축 비율을 정확하게 추출하기 위해서는 가능한 모든 신축비율을 적용할 수밖에 없다. 또한, 가능한 신축비율의 수가 너무 많기 때문에 모든 경우를 적용하기에는 불가능하다. 따라서, 구현의 복잡도를 줄이기 위한 방법에 대한 기술 개발이 진행되어 왔다. 신축 움직임 추정에서 첫 번째 단계에는 선택된 몇 개의 화소들에 대하여 간략하게 움직임을 추정하고, 두 번째 단계에서 모든 화소에 대하여 정확도를 높이는 방법, 계산 효율, 정확도 등을 고려한 반복적 최소-자승 추정에 대한 다양한 개선방법, 보간된 참조 화면을 이용하는 방법, 3-D 다이어몬드 탐색 패턴을 사용하여 움직임 추정을 단순화하는 방법 등이 제안된 바 있다. 그러나, 종래의 기술은 카메라의 색상정보만을 사용하기 때문에 정확한 신축 움직임 벡터를 추정하는 것에 어려움에 있고, 추정의 복잡도를 줄이는 데에도 한계가 있다는 문제점이 있다.

본 발명에 따른 깊이정보를 이용한 안면인식시스템을 개시하려는 유사 선행기술에는 대한민국 공개특허공보 제10-2009-0011133호 '패턴인식과 RFID를 이용한 보안 관리 시스템'이 있다. 상기 유사 선행기술은 카메라로 촬영된 영상신호로부터 얼굴 영상벡터를 추출하는 패턴인식 장치부; RFID리더를 통해 ID카드의 RFID태그로부터 태그ID를 획득하고, RFID리더를 통해 제공되는 태그ID조회를 통해 1차신원을 확인하며, 1차신원이 확인된 ID카드에 대해 학습된 이미지를 리스트 및 맵핑하는 RFID장치부; 패턴인식장치부에서 추출한 얼굴영상벡터와 RFID장치부에서 맵핑한 이미지를 비교하여 2차신원을 확인하는 보안관리장치부;로 구성되는 기술을 개시하는 특징이 있다.

다른 유사 선행기술에는 대한민국 등록특허공보 제10-1549599호 '안면인식과 태그인식을 이용하여 접근자의 신분확인 및 동선추적이 가능한 제한구역 출입 경고시스템'이 있다. 상기 유사 선행기술은 신원정보와 식별신호가 등록되어 전파로 신호가능한 식별태그; 제한구역 출입구에 장착되고 식별태그 전파신호를 수신하여 작업자 신원등록정보를 인식하는 식별태그부; 식별태그부 중 태그리더수단 하측에 위치하고 안전모 착용 작업자의 안면이미지 인식과 신원인식정보를 획득하는 신원인식부; 식별태그부로부터 신원등록정보를 수신하고 신원인식부로부터 신원인식정보를 수신하여 비교판독한 후 동일여부를 검증하여 작업자 출입 여부 제어신호를 송신하고 출입구 접근 작업자를 확인하면서 동선을 추적하는 메인서버부;로 구성되는 기술을 개시하는 특징이 있다.

또 다른 유사 선행기술에는 대한민국 등록특허공보 제10-1576630호 '지능형 패턴인식을 통한 사용자별 맞춤형 화면 표시 방법'이 있다. 상기 유사 선행기술은 제어부가 이미지 센서로부터 입력된 영상정보에 대한 지능형 패턴 인식을 기반으로 사용자별 안면을 인식하는 사용자 안면인식 단계; 상기 인식된 사용자 안면이미지와 기설정된 해당 사용자 안면이미지와의 비율을 측정하여 사용자별 이격거리를 인식하는 단계; 인식된 안면을 가진 해당 사용자의 특화된 화면배율을 DB에서 찾아 디스플레이 화면배율로 지정하고, 해당 사용자의 안면이미지 간 비율에 따라 변화된 사용자별 이격거리에 상응하여 사용자별 맞춤형으로 조정해서, 리딩객체의 화면크기를 화면표시부에 표시하는 단계;가 포함되는 기술을 개시하는 특징이 있다.

그러나 전술한 종래의 유사 선행 기술은 데이터베이스에 인물의 얼굴 깊이 값을 미리 저장시켜두고 깊이 카메라를 통해 인물을 촬영할 때 인물이 촬영된 깊이 영상을 깊이 값을 통해 보정하여 각각의 인물의 얼굴 깊이 값을 저장하고 있는 데이터베이스와 상기 촬영된 영상의 깊이 값에서 얼굴의 특징을 추출하고 상기 추출된 얼굴 특징의 깊이 값을 상기 데이터베이스에 저장된 인물의 얼굴 데이터와 비교하여 상기 특징이 일치할 때 해당 인물로 인식하는 기술을 제공하지 못하였다.

KR 10-2009-0011133(A) KR 10-1549599(B1) KR 10-1576630(B1)

본 발명은 상기한 발명의 배경으로부터 요구되는 기술적 필요성을 충족하는 것을 목적으로 한다. 구체적으로, 본 발명의 목적은 종래 기술에서 영상의 원근 왜곡 보정 방법의 문제점을 해결하고자 깊이정보를 이용한 원근 왜곡 영상 보정 시스템 기반의 깊이 영상 변환부를 구비하는 안면인식시스템을 제공함으로써 고신뢰성 안면인식시스템을 구현하는 것에 그 목적이 있다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

이러한 목적을 달성하기 위한 본 발명에 따른 깊이정보를 이용한 안면인식시스템은 식별할 인물의 안면 특징들이 깊이 값 형태로 저장되어 있는 안면저장부(100); 안면의 깊이영상을 촬영하는 깊이영상 촬영부(200); 상기 깊이 영상촬영부(200)에서 획득된 영상에 대한 오차를 보정하는 깊이영상 보정부(300); 상기 깊이영상 보정부(300)의 영상에 대하여 안면을 검출하는 안면검출부(400); 상기 깊이영상 촬영부(200)를 통해 인물 촬영 시 항상 정면으로 촬영되지 않을 수도 있으므로 이에대한 안면정렬을 변환하는 깊이영상 변환부(500); 상기 깊이영상 변환부(500)에서 변환된 영상에 대하여 안면 특징부분을 추출하는 안면특징 추출부(600); 상기 안면저장부(100)에 저장된 데이터와 현재 영상을 비교하는 안면특징 비교부(700); 상기 안면특징 비교부(700)의 비교결과를 바탕으로 인물 일치도를 판정하는 인물 일치 판정부(800);로 구성하여 상기 문제점을 해결하고자 한다.

이상과 같이 본 발명은 깊이카메라를 통해 하나의 평면 영역을 촬영하여 깊이정보를 획득하고 획득한 깊이정보로 이루어진 깊이영상에 발생하는 원근 왜곡을 깊이정보로 보정하여 처리속도와 정확도가 향상된 깊이영상 변환부를 구비하게 되므로 인물 촬영이 정면에서 수행되지 않고 측면에서 촬영되어도 이를 자체적으로 원근 보정할 수 있고, 영상 촬영 거리에 따른 오차를 자체적으로 신축 보정이 가능하여 안면인식시스템의 성능이 증대되는 효과가 있다.

본 발명의 기술적 효과들은 이상에서 언급한 기술적 효과들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 청구범위의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 따른 깊이정보를 이용한 안면인식시스템의 주요 모듈 구성도;
도 2는 본 발명의 깊이영상 촬영부를 이용한 깊이영상 촬영 예시도;
도 3은 본 발명의 깊이영상 보정부를 이용한 오차 발생 픽셀의 보정 예시도;
도 4는 본 발명에 따른 깊이영상 보정부를 이용한 안경 착용자의 안경테에 대한 보간 예시도;
도 5는 본 발명에 따른 깊이영상 변환부의 세부모듈에 대한 구성도;
도 6은 본 발명에 따른 깊이영상 변환부에서 안면 정렬이 수행되는 실시 흐름도;
도 7은 본 발명에 따른 안면 검출부에서 깊이 값을 이용하여 안면을 추출하는 과정의 예시도;
도 8은 본 발명에 따른 안면특징 추출부로 추출된 주요 특징별 깊이 값 차이에 대한 예시도;
도 9는 본 발명에 따른 안면특징 추출부로 추출된 안면 부위의 예시도;
도 10은 안면이 기울어진 상태를 보정하기 위하여 두 눈의 위치를 수평선에 평행하게 보정하는 과정의 예시도;
도 11는 안면에서 코와 코 주변의 깊이 차를 계산하여 상대적 깊이 크기를 측정하는 방법의 예시도;
도 12는 본 발명에 따른 안면인식시스템을 이용한 턱 부위 추출에 대한 예시도;
도 13은 본 발명에 따른 안면인식시스템을 이용한 안면 폭 측정에 대한 예시도이다.

이하에서는, 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하지만, 이는 본 발명의 더욱 용이한 이해를 위한 것으로, 본 발명의 범주가 그것에 의해 한정되는 것은 아니다. 또한 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.

본 발명의 각 구성 단계에 대한 상세한 설명에 앞서, 본 명세서 및 청구 범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위하여 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과하며 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1을 참조하면 본 발명에 따른 깊이정보를 이용한 안면인식시스템의 장치 구성은 식별할 인물의 안면 특징들이 깊이 값 형태로 저장되어 있는 안면저장부(100); 안면의 깊이영상을 촬영하는 깊이영상 촬영부(200); 상기 깊이 영상촬영부(200)에서 획득된 영상에 대한 오차를 보정하는 깊이영상 보정부(300); 상기 깊이영상 보정부(300)의 영상에 대하여 안면을 검출하는 안면검출부(400); 상기 깊이영상 촬영부(200)를 통해 인물 촬영 시 항상 정면으로 촬영되지 않을 수도 있으므로 이에대한 안면정렬을 변환하는 깊이영상 변환부(500); 상기 깊이영상 변환부(500)에서 변환된 영상에 대하여 안면 특징부분을 추출하는 안면특징 추출부(600); 상기 안면저장부(100)에 저장된 데이터와 현재 영상을 비교하는 안면특징 비교부(700); 상기 안면특징 비교부(700)의 비교결과를 바탕으로 인물 일치도를 판정하는 인물 일치 판정부(800);로 구성되는 것을 특징으로 한다.
상기 안면 저장부(100)에는 식별할 인물의 안면 특징들이 깊이 값 형태로 저장되어 있는 것을 특징으로 한다. 이 때 저장될 신체적 특징은 안면의 깊이정보 외에도 눈, 코, 입의 위치와 모양, 얼굴의 너비, 코의 높이, 턱의 외곽정보인 것이 바람직하다. 또한 상기 안면 저장부(100)는 깊이 영상 내 깊이 값이 제일 작은 값이 기준 깊이 값 D_reference를 가지도록 상기 깊이영상 변환부(500)을 이용하여 변환을 적용하여 저장되는 것을 특징으로 한다.

삭제

상기 깊이영상 촬영부(200)를 인물 촬영이 가능한 곳에 설치한 후 인물 촬영을 시작하게 되면 인물의 안면이 도 2와 같이 촬영된다. 이 때 획득된 깊이영상의 특징으로는 코 부위가 상기 깊이영상 촬영부(200)와 제일 지근거리에 위치하므로 깊이 값이 가장 작게 나오게 된다. 또한 안면과 다른 영역의 깊이 값은 큰 차이가 나게 되어 안면부분을 상기 안면 검출부(400)를 이용해 깊이영상 안면부분을 추출할 수 있다. 상기 깊이영상 촬영부(200)를 통해 깊이영상을 촬영 및 획득 시 촬영영상에서 오차가 발생하는 픽셀이 발생할 수도 있다. 이 때 상기 깊이영상 보정부(300)를 이용하여 도 3과 같이 보간을 수행하면 오차가 발생한 픽셀을 보정하게 된다.

안면인식 과정에서 안경 착용자가 안면인식의 대상이 될 수도 있다. 상기 안경 착용자가 깊이영상 촬영 대상일 경우에 안경렌즈는 유리이기 때문에 깊이 값의 측정에 영향을 미치지 않지만 안경테의 경우에는 깊이 값이 있는 것으로 측정되어 안면 인식 과정에 오차를 유발할 수 있다. 따라서 안경테의 특성은 안면의 평균 깊이보다 그 깊이 값이 작다는 점을 이용하여 안경테를 안면의 영역과 구분할 수 있다. 또한, 안경테의 영역을 도 4와 같이 주변 깊이 값으로 보간함으로써 깊이영상에서 안경테 영역을 제거한 영상을 획득할 수 있다.
상기 안면 검출부(400)에서 깊이 값을 이용하여 안면을 추출하는 과정은 다음과 같다. 상기 깊이영상 촬영부(200)에서 인물을 촬영하고 깊이 값에 따른 라벨링을 통해 영역을 분리하게 된다. 이 때 안면은 상기 깊이영상 촬영부(200)와 지근거리에 있기 때문에 안면 영역의 평균 깊이 값이 가장 작게 나타나게 된다. 이를 이용하여 안면을 다른 신체 부위와도 분리할 수 있다. 도 7을 참조하면 깊이 값이 낮을수록 밝게 나타나는 깊이영상을 확인할 수 있다. 이 때 안면 부위는 타 부위와 비교하여 깊이 값이 낮은 것을 확인할 수 있으며 이를 통해 안면 부위를 타 영역과 분리 가능하게 된다.

상기 깊이영상 촬영부(200)를 통해 인물 촬영 시 항상 정면으로 촬영되지 않을 수도 있으므로 이에 대한 보정이 필요하며 이는 상기 깊이영상 변환부(500)에서 변환을 적용하여 안면을 정렬할 수 있다.

이에 대한 원리를 보다 상세하게 설명하기 위하여 도 5를 참조하면 상기 깊이영상 변환부(500)는 상기 깊이영상 촬영부(200)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 깊이정보 산출부(510); 상기 깊이정보 산출부(510)에서 산출된 깊이정보를 이용하여 각 화소의 상기 깊이영상 촬영부(200) 좌표계에서의 위치를 계산하는 좌표 변환부(520); 상기 좌표 변환부(520)에서 계산된 각 화소의 주변정보를 이용하여 상기 화소의 국소적 법선벡터를 계산하는 국소법선벡터 산출부(530); 상기 국소법선벡터 산출부(530)에서 얻어진 국소적 법선벡터를 이용하여 전체 평면의 법선벡터를 구하는 평면법선벡터 산출부(540); 영상의 회전축과 사이 각을 계산하여 회전행렬을 구하고, 촬영 영상의 깊이 값과 상기 안면 저장부(100)에서의 기준 깊이 값을 이용하여 평행이동 행렬을 구하여 이를 조합하여 변환 행렬을 구하는 변환행렬 계산부(550); 상기 변환 행렬을 이용하여 변환을 적용하여 영상 내의 안면을 상기 안면 저장부(100)와 비교할 수 있게 정렬하는 변환 적용부(560);구성되는 것을 특징으로 한다.

상기 좌표 변환부(520)는 상기 깊이영상 촬영부(200)를 통해 평면을 촬영하여 깊이영상에서의 화소의 위치 P(x, y)와 그 화소에서의 깊이 값인 상기 깊이영상 촬영부(200)를 중심으로 하는 xy평면으로부터의 거리 D(x, y)를 얻고 상기 D(x, y)와 상기 깊이영상 촬영부(200)의 인자를 이용하여 상기 깊이영상 촬영부(200)의 초점을 원점으로 하고 상기 깊이영상 촬영부(200)의 정면 광학축 방향을 z축으로 하는 상기 깊이영상 촬영부(200) 좌표계로 변환하는 것을 특징으로 한다.

여기서, 상기 깊이영상 촬영부(200) 좌표계로의 변환은 상기 화소의 위치 P(x, y)는 영상의 왼쪽 상단 모서리를 원점으로 하는 깊이영상 좌표계에서의 위치정보이고 상기 깊이정보 D(x, y)는 상기 깊이영상 촬영부(200) 좌표계 내에서 z축의 거리 z_c가 되고 영상 좌표계 내에서의 상기 화소의 위치 P(x, y)를 영상 중앙이 원점이 되는 좌표계 상의 위치정보 P_v(x_v, y_v)로 변환하는 것을 특징으로 한다.

그리고 상기 좌표 변환부(520)는 각 화소의 상기 깊이영상 촬영부(200) 좌표계에서의 위치를 계산하기 위하여 상기 깊이영상 촬영부(200)의 내부 정보인 시야각과 해상도를 사용하여 영상이 투영되는 뷰포트까지의 거리 f를 상기 깊이영상 촬영부(200)의 수직 시야각 fov_v와 상기 깊이영상 촬영부(200)의 수직 해상도 h를 통해 상기 뷰포트까지의 거리 f를 구하거나 수평 시야각 fov_h과 상기 깊이영상 촬영부(200)의 수평 해상도 w를 통하여 구하고, 이렇게 구해진 상기 뷰포트까지의 거리 f를 이용하여 상기 깊이영상 촬영부(200) 좌표계에서의 위치 P_c(x, y)=(x_c, y_c, z_c)로 변환하여 상기 깊이영상 촬영부(200) 좌표계에서의 위치정보를 구하는 것을 특징으로 한다.

상기 국소법선벡터 산출부(530)는 영상 좌표계에서의 위치 P(x, y)에서의 상기 깊이영상 촬영부(200) 좌표계에서의 위치를 P_c(x, y)라고 한다면 화소의 상하에 위치한 점들의 상기 깊이영상 촬영부(200) 좌표계에서의 위치정보 P_c(x, y+1), P_c(x, y-1)와 좌우에 위치한 점들의 상기 깊이영상 촬영부(200) 좌표계에서의 위치정보 P_c(x+1, y), P_c(x-1, y)를 토대로 두 개의 벡터 v₁= P_c(x+1, y)- P_c(x-1, y), v₂= P_c(x, y+1)- P_c(x, y-1)를 생성하고 N_xy=v₁×v₂를 통해 두 벡터의 외적을 구하여 화소 P(x, y)에서의 국소적인 법선벡터 N_xy를 구하는 것을 특징으로 한다.

상기 평면법선벡터 산출부(540)는 상기 국소법선벡터 산출부(530)에서 구해진 각 화소의 국소적 법선벡터를 더하여 평면영역에서의 법선벡터 N을 구하고 상기 변환 적용부(560)에서 상기 깊이영상 촬영부(200)로 촬영한 영상을 회전변환을 통해 평면의 법선벡터 N을 z축에 평행하게 하여 평면영상을 xy평면에 평행한 영상으로 보정하여 원근왜곡을 제거하는 것을 특징으로 한다. 그리고 회전변환을 거친 후의 평면법선벡터의 단위벡터는 N'(0, 0, 1)이 되는 것을 특징으로 한다.

상기 변환행렬 계산부(550)는 평면영역에서의 법선벡터를 N, 회전변환을 거친 후의 평면법선벡터의 단위벡터를 N'이라 하면 회전변환의 축이 되는 단위벡터는 u=(N×N')/(｜N×N'｜)을 통해 변환 전후의 각각의 법선벡터를 외적하여 정규화한 벡터 u(u_x, u_y, u_z)이고 회전각 θ는 θ=cos^-1((NㆍN')/(｜N｜｜N'｜))를 통하여 구한 두 벡터의 사이각인 것을 특징으로 한다. 그리고 상기 변환행렬 계산부(550)에서 회전변환 행렬 R은

R=cosθI+sinθ[u]+(1-cosθ)uⓧu,

삭제

uⓧu=

삭제

[u]_x=

을 통하여 구하고 검출된 안면 영역 내 깊이 값이 제일 작은 값을 D_min로 두고, 상기 안면 저장부(100)의 D_reference를 이용하여 평행이동 행렬 T₁, T₂를
T₁=

, T₂=

로 두어, 각 화소의 상기 깊이영상 촬영부(200) 좌표계에서의 P_c(i, j)를,

를 통해 변환을 하여 변환 후의 위치 P'_c(i, j)=(x'_c, y'_c, z'_c)를 구하는 것을 특징으로 한다.
상기 변환 적용부(560)는 영상이 투영되는 뷰포트까지의 거리 f, 회전변환을 하여 구해진 변환 후의 위치 P'_c(i, j)=(x'_c, y'_c, z'_c)라 하면, P'은 상기 깊이영상 촬영부(200) 좌표계 상의 좌표이므로 이를 다시 영상좌표로 변환하기 위하여 x'_v=(x'_cf)/ z'_c, y'_v=(y'_cf)/ z'_c를 이용하여 원점이 화면 중심에 존재하는 영상 좌표계에서의 위치 P'_v(x'_v, y'_v)로 변환한 다음 원점을 다시 원래대로 설정하여 보정변환 시 화소 P(x, y)에 사상되는 화소 P'(x', y')를 구하는 것과, 깊이 영상에서의 화소값인 깊이 값을 P'(x', y') 을 z'_c 로 변경하여 영상 내의 안면을 상기 안면 저장부(100)과 비교할 수 있게 정렬하는 것을 특징으로 한다.
도 6을 참조하면 상기 깊이영상 변환부(500)에서 안면 정렬이 되는 실시 흐름은 상기 깊이영상 촬영부(200)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 단계(s501); 산출된 깊이정보를 이용하여 각 화소의 상기 깊이영상 촬영부(200) 좌표계에서의 위치를 계산하는 단계(s502); 계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 단계(s503); 국소적 법선 벡터를 이용하여 전체 평면의 법선 벡터를 구하는 단계(s504); 영상의 회전축과 사이 각을 계산하고, 영상 중앙의 깊이정보와 상기 안면 저장부(100)에서의 기준 깊이 값을 이용하여 변환 행렬을 구하는 단계(s505); 상기 변환 행렬을 이용하여 변환을 적용하는 단계(s506);를 포함하는 것을 특징으로 한다.
상기 안면 검출부(400)로 안면을 검출한 후에 상기 안면 저장부(100)에 저장된 안면의 특징의 비교를 하기 위하여 안면의 특징을 상기 안면특징 추출부(600);로 추출하게 된다. 여기서 추출되는 안면의 특징은 안면 윤곽선, 눈/코/입/의 깊이 값과 위치, 턱의 모양, 광대뼈의 높이, 눈썹뼈의 높이, 코의 높이, 얼굴 폭 등이 되는 것이 바람직하다. 먼저 안면의 윤곽선을 추출한 후 눈/코/입을 추출한다. 안면의 깊이 값은 코 부위가 가장 낮고 눈 부위가 상대적으로 크기 때문에 이러한 특징을 이용하여 눈 위치와 코 위치를 검출할 수 있다. 또한 입의 깊이 값은 코의 깊이 값보다 크지만 입이 다른 안면 부위보다는 돌출되어 있기 때문에 상대적으로 깊이 값이 작게 나타날 수 있으므로 이러한 점을 이용하면 눈/코/입에 대한 특징 추출이 가능하다(도 8; 도 9). 전술한 과정에서 검출된 눈/코/입에 대한 윤곽선을 검출하고 상기 눈/코/입 위치의 상대적인 위치를 검출한다. 이 때 안면이 기울어진 상태에서 촬영되면 상기 눈/코/입 위치 변동이 발생할 수 있기 때문에 두 눈의 위치가 수평선에 평행하게 깊이영상을 회전시킨다. 그 후 두 눈의 위치에 대한 중앙점을 기준으로 두 눈의 위치, 코의 위치, 입의 위치를 측정한다(도 10). 또한 코의 높이를 추출할 수 있으며 상기 깊이영상 촬영부(200)를 통해 안면에서 코와 상대적 깊이 크기를 상기 코와 상기 코 주변의 깊이 차를 계산하여 측정할 수도 있다(도 11). 전술한 방법으로 눈 아래의 광대뼈 높이, 눈 위의 눈썹뼈의 높이를 측정하여 안면의 특징으로 활용한다. 그 후에는 턱 부위의 모양을 추출(도 12)하는데 턱은 입술 아래 부위부터 안면 최하부까지의 영역으로 간주하며 이를 통해 외곽선의 모양을 추출한다. 그리고 안면 폭을 측정하는데 상기 안면 폭은 깊이값과 깊이영상에서의 상대적 위치, 상기 깊이영상 촬영부(200) 내부 인자를 통해서 실제 거리를 구할 수가 있으며 이를 통해 실제 안면 폭을 구하여 상기 안면특징 비교부(700)에서 활용할 수 있다(도 13).
이렇게 인물을 특정할 수 있는 안면 특징을 추출하면 상기 안면 저장부(100)에 저장된 각 인물의 특징 데이터를 상기 안면특징 비교부(700)에서 비교 작업을 수행하여 비교 결과가 일정 유사도 이하일 경우에는 상기 인물 일치 판정부(800)에서 특정 인물이 아닌 것으로 판단하는 것을 특징으로 한다. 또한 상기 안면특징 비교부(700)에서 비교 작업을 수행하여 모든 특징이 일치하는 것으로 확인되면 상기 인물일치 판정부(800)에서 특정 인물이라고 판단하는 것을 특징으로 한다.

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

Claims (9)

1. 깊이정보를 이용한 안면인식시스템에 있어서,
   식별할 인물의 안면 특징들이 깊이 값 형태로 저장되어 있는 안면저장부(100); 안면의 깊이영상을 촬영하는 깊이영상 촬영부(200); 상기 깊이 영상촬영부(200)에서 획득된 영상에 대한 오차를 보정하는 깊이영상 보정부(300); 상기 깊이영상 보정부(300)의 영상에 대하여 안면을 검출하는 안면검출부(400); 상기 깊이영상 촬영부(200)를 통해 인물 촬영 시 항상 정면으로 촬영되지 않을 수도 있으므로 이에대한 안면정렬을 변환하는 깊이영상 변환부(500); 상기 깊이영상 변환부(500)에서 변환된 영상에 대하여 안면 특징부분을 추출하는 안면특징 추출부(600); 상기 안면저장부(100)에 저장된 데이터와 현재 영상을 비교하는 안면특징 비교부(700); 상기 안면특징 비교부(700)의 비교결과를 바탕으로 인물 일치도를 판정하는 인물 일치 판정부(800);로 구성되며,
   상기 깊이영상 변환부(500)는 상기 깊이영상 촬영부(200)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 깊이정보 산출부(510); 상기 깊이정보 산출부(510)에서 산출된 깊이정보를 이용하여 상기 깊이영상 촬영부(200) 좌표계에서의 위치를 계산하는 좌표 변환부(520); 상기 좌표 변환부(520)에서 계산된 각 화소의 주변정보를 이용하여 상기 화소의 국소적 법선벡터를 계산하는 국소법선벡터 산출부(530); 상기 국소법선벡터 산출부(530)에서 얻어진 국소적 법선벡터를 이용하여 전체 평면의 법선벡터를 구하는 평면법선벡터 산출부(540); 깊이영상의 회전축과 사이 각을 계산하여 회전행렬을 구하는 변환행렬 계산부(550); 상기 변환행렬을 이용하여 변환을 적용하는 변환 적용부(560);로 구성되며,
   상기 좌표 변환부(520)는 상기 깊이영상 촬영부(200)를 통해 평면을 촬영하여 깊이영상에서의 화소 위치 P(x, y)와 상기 P(x, y)에서의 깊이 값인 D(x, y)를 얻고 상기 깊이영상 촬영부(200)의 초점을 원점으로 하여 상기 깊이영상 촬영부(200)의 정면 광학축 방향을 z축으로 하는 상기 깊이영상 촬영부(200) 좌표계로 변환하고, 상기 깊이영상 촬영부(200) 좌표계로의 변환에 있어서 상기 P(x, y)는 깊이영상의 왼쪽 상단 모서리를 원점으로 하는 깊이영상 좌표계에서의 위치정보이고 상기 D(x, y)는 상기 깊이영상 촬영부(200) 좌표계 내에서 z축의 거리 z_c가 되고 상기 깊이영상 좌표계 내에서의 상기 P(x, y)를 깊이영상 중앙이 원점이 되는 좌표계 상의 위치정보 P_v(x_v, y_v)로 변환하며, 상기 좌표 변환부(520)는 깊이영상이 투영되는 뷰포트까지의 거리 f를 상기 깊이영상 촬영부(200)의 수직 시야각 fov_v와 상기 깊이영상 촬영부(200)의 수직 해상도 h를 통해

   

   과 같이 f를 구하거나, 상기 깊이영상 촬영부(200)의 수평 시야각 fov_h과 상기 깊이영상 촬영부(200)의 수평 해상도 w를 통하여

   

   과 같이 f를 구하고, 상기 뷰포트까지의 거리 f를 이용하여 상기 깊이영상 촬영부(200) 좌표계에서의 위치 P_c(x, y)=(x_c, y_c, z_c)로 변환하여 상기 깊이영상 촬영부(200) 좌표계에서의 위치정보를 구하는 것을 특징으로 하는 안면인식시스템.
2. 제 1 항에 있어서,
   상기 안면 저장부(100)는 식별 대상 인물의 안면 특징이 깊이 값 형태로 저장되어 있고, 상기 안면 저장부(100)에 저장되는 신체적 특징은 안면의 깊이정보, 눈, 코, 입의 위치와 모양, 얼굴의 너비, 코의 높이, 턱의 외곽에 대한 깊이정보이고,
   상기 깊이영상 촬영부(200)로 획득된 인물의 깊이영상은 코 부위가 상기 깊이영상 촬영부(200)와 지근거리에 위치하여 깊이 값이 가장 작게 나타나고 안면과 상기 안면 외의 영역에 대한 깊이 값의 차이로 상기 안면 부분을 상기 안면 검출부(400)를 이용하여 상기 안면 부분만 깊이영상 데이터로 추출 가능하며, 촬영영상에서 오차가 발생하는 픽셀은 상기 깊이영상 보정부(300)에서 보간을 수행하여 오차 발생 픽셀을 보정할 수 있고, 인물 촬영 시 안면이 정면으로 촬영되지 아니하거나 촬영된 안면의 깊이 값과 상기 안면 저장부(100)에서의 기준 깊이 값과 다른 경우에는 상기 깊이영상 변환부(500)에서 변환을 적용하여 안면을 정렬하는 것을 특징으로 하는 안면인식시스템.
3. 삭제
4. 삭제
5. 제 1 항에 있어서,
   상기 국소법선벡터 산출부(530)는 상기 깊이영상 촬영부(200) 좌표계에서의 위치정보 P_c(x, y+1), P_c(x, y-1)와 좌우에 위치한 점들의 상기 깊이영상 촬영부(200) 좌표계에서의 위치정보 P_c(x+1, y), P_c(x-1, y)를 토대로 두 개의 벡터 v₁= P_c(x+1, y)- P_c(x-1, y), v₂= P_c(x, y+1)- P_c(x, y-1)를 생성하고 N_xy=v₁×v₂의 관계를 통해 두 벡터의 외적을 구하여 상기 P(x, y)에서의 국소적인 법선벡터 N_xy를 구하고,
   상기 평면법선벡터 산출부(540)는 상기 국소법선벡터 산출부(530)에서 구해진 각 화소의 국소적 법선벡터를 더하여 평면영역에서의 법선벡터 N을 구하고 상기 변환 적용부(560)에서 상기 깊이영상 촬영부(200)로 촬영한 영상을 회전변환 및 평행이동 변환을 통해 평면의 상기 법선벡터 N을 z축에 평행하게 하고 평면영상을 xy평면에 평행한 영상으로 보정하여 원근왜곡을 제거하며, 상기 평행이동 변환을 통해 좌표계 z축상에서 평행이동시킴으로써 영상을 신축시키며, 상기 변환을 거친 후의 평면법선벡터의 단위벡터는 N'(0, 0, 1)이 되고, 얼굴 크기를 상기 안면 저장부(100)와 일치시키는 것을 특징으로 하는 안면인식시스템.
6. 제 1 항에 있어서,
   상기 변환행렬 계산부(550)는 평면영역에서의 법선벡터 N과 회전변환을 거친 후의 평면법선벡터의 단위벡터 N'에 있어서 상기 회전변환의 축이 되는 단위벡터는 u=(N×N')/(｜N×N'｜)을 통해 상기 회전변환 전후에 대한 각각의 법선벡터를 외적하여 정규화한 벡터 u(u_x, u_y, u_z)이고 회전각 θ는 θ=cos^-1((NㆍN')/(｜N｜｜N'｜))의 관계를 통하여 구한 두 벡터의 사이각고, 상기 변환행렬 계산부(550)에서 회전변환 행렬 R은 R=cosθI+sinθ[u]+(1-cosθ)uⓧu의 관계에서 uⓧu=

   

   , [u]_x=

   

   을 통하여 구하고 평행이동 행렬 T₁, T₂는 검출된 안면 영역 내 깊이 값이 제일 작은 값을 D_min로 두고, 상기 안면 저장부(100)의 D_reference를 이용하여 T₁=

   

   , T₂=

   

   로 두어, 상기 R, T₁, T₂를 통해 각 화소의 상기 깊이영상 촬영부(200) 좌표계에서의 위치 P_c(i, j)를 P_c(i, j)를

   

   의 관계를 이용하여 변환 함으로써 변환 후의 위치인 P'_c(i, j)=(x'_c, y'_c, z'_c)를 구할 수 있으며,
   상기 변환 적용부(560)는 깊이영상이 투영되는 뷰포트까지의 거리 f, 회전변환으로 구해진 변환 후 위치 P'_c(i, j)=(x'_c, y'_c, z'_c)에 있어서, P'은 상기 깊이영상 촬영부(200) 좌표계 상의 좌표이므로 이를 다시 영상좌표로 변환하고자 x'_v=(x'_cf)/ z'_c, y'_v=(y'_cf)/ z'_c를 이용하여 원점이 화면 중심에 존재하는 영상 좌표계에서의 위치 P'_v(x'_v, y'_v)로 변환한 다음 원점을 다시 원래대로 설정하여 보정변환 시 P(x, y)에 사상되는 P'(x', y')를 구할 수 있고, 화소의 값을 z_c로 변경하여 변환 후 깊이 영상을 보정할 수 있는 것을 특징으로 하는 안면인식시스템.
   
7. 삭제
8. 제 1 항에 있어서,
   상기 깊이영상 촬영부(200)를 통해 인물 촬영 시 인물의 깊이영상이 촬영되고
   상기 안면 검출부(400);에서 깊이 값을 이용한 안면 검출 시 상기 깊이영상 촬영부(200)에서 인물을 촬영하고 깊이 값에 따른 라벨링을 통해 영역을 분리하게 되며 상기 안면은 상기 깊이영상 촬영부(200)와 지근거리에 위치한 것에 기인한 평균 깊이 값 차이로 인하여 상기 안면에 대해서만 분리 가능하며,
   상기 안면 검출부(400)로 안면 검출 후 상기 안면 저장부(100)에 저장된 안면의 특징을 비교하기 위하여 상기 안면특징 추출부(600);로 추출하고 여기서 추출되는 안면의 특징은 안면 윤곽선, 눈/코/입의 깊이 값과 위치, 턱의 모양, 광대뼈의 높이, 눈썹뼈의 높이, 코의 높이, 얼굴 폭이 되며,
   상기 안면 저장부(100)에 저장된 각 인물의 특징 데이터를 상기 안면특징 비교부(700)에서 비교 작업을 수행하여 비교 결과가 일정 유사도 이하일 경우에는 상기 인물 일치 판정부(800)에서 특정 인물이 아닌 것으로 판단하고, 상기 안면특징 비교부(700)에서 비교 작업을 수행하여 모든 특징이 일치하는 것으로 확인되면 상기 인물일치 판정부(800)에서 특정 인물이라고 판단하는 것을 특징으로 하는 안면인식시스템.
9. 삭제

Images