KR101785814B1 - 깊이정보 기반의 안면인식 금융결제시스템 - Google Patents

Abstract

본 발명에 따른 깊이정보 기반의 안면인식 금융결제시스템은 깊이정보 안면인식시스템(1)을 적용한 본인인증부(10); 상기 본인인증부(10)를 통하여 인증된 인물에 대해 결제를 수행하는 결제 수행부(20); 각 인물의 결제를 수행하는데 필요한 결제 정보를 저장하는 결제정보 저장부(30); 를 포함하고, 본인인증부에 깊이정보를 이용한 신축비율을 계산하여 움직임 추정 차신호를 저감시키고 추정 정확도가 향상된 깊이영상 신축부를 구비하여 성능이 증대된 깊이정보 안면시스템을 적용함으로써, 근본적으로 도용의 문제점을 해결하는 효과를 가진다.

Description

깊이정보 기반의 안면인식 금융결제시스템{Payment System using Face Recognition with Depth}

본 발명은 깊이정보 기반의 안면인식 금융결제시스템 에 관한 것으로서, 더욱 상세하게는 데이터베이스에 인물의 얼굴 깊이 값을 미리 저장시켜두고 깊이 카메라를 통해 인물을 촬영할 때 인물이 촬영된 깊이 영상의 깊이 값을 통해 보정하여 각각의 인물의 얼굴 깊이 값을 저장하고 있는 데이터베이스와 상기 촬영된 영상의 깊이 값에서 얼굴의 특징을 추출하고 상기 추출된 얼굴 특징의 깊이 값을 상기 데이터베이스에 저장된 인물의 얼굴 데이터와 비교하여 상기 특징이 일치할 때 해당 인물로 인식하는 기술을 이용한 금융결제시스템에 관한 것이다.

일반적으로 전자결제는 MS(Magnetic Stripe) 카드, IC(Integrated Circuit) 카드 또는 USIM 칩을 포함하는 소정의 카드매체에 신용카드, 체크카드 또는 직불카드 및 금융계좌 중에 어느 하나를 포함하는 결제수단을 통해 이루어진다.

이어서, 카드매체로부터 결제수단에 대응하는 소정의 결제수단 정보를 독출하여 결제수단 정보와 소정의 결제정보 및 가맹점 정보를 포함하는 소정의 전자결제 요청 전문을 생성한다.

그리고, 소정의 결제 네트워크(예컨대, VAN(Value Added Network))를 통해 생성된 전자결제 요청 전문을 카드사 또는 금융사 서버로 전송하고, 카드사 또는 금융사 서버로부터 전자결제 요청 전문을 수신하는 과정을 통해 현금 없이 소정의 금액에 대한 결제를 수행한다.

최근에, 금융거래 시스템으로서 일반화되어 있는 것이 바로 카드 결제 시스템과 계좌이체 및 조회업무를 담당하는 인터넷 뱅킹 시스템이다.

카드결제는 주로 오프라인상에서 많이 이용되었으나, 최근에 전자상거래가 활성화되면서 온라인에서도 수많은 카드결제가 이루어지고 있다.

일 예로 온라인상에서의 카드결제 처리과정을 살펴보면, 카드소지자는 쇼핑몰을 통해 물품을 구매하고 그 결제수단으로서 카드정보, 보다 구체적으로는 카드명, 카드번호, 유효기간, CVC와 같은 정보를 입력하고 공인인증서를 이용하여 승인을 요청한다.

이러한 카드정보는 밴(VAN)사를 통해 카드사 측으로 전송되고, 카드사 측에서는 전송된 카드정보를 조회하여 신용승인 처리함으로써 카드결제 프로세스가 종료된다.

그러나, 상술한 바와 같이 온라인을 통한 카드결제 과정에서는 카드번호, CVC, 카드명 등의 정보가 통신망을 통해 직접적으로 전송됨에 따라 고도화된 해킹기술 등에 의해 악의의 제3자에게 노출될 소지가 있는 문제점이 있었다.

상기와 같은 문제점을 해결하기 위한 방법으로, 대한민국 등록특허공보 제10-1413971호 'OTP카드를 이용한 본인인증 결제시스템 및 그 방법' 이 개시되어 있다. 상기 선행기술은 OTP 고유번호가 내장된 OTP 발생기를 통해 생성된 일회용 비밀번호를 전달받는 인증단말기; 상기 OTP 발생기의 OTP 고유번호에 매칭된 카드 정보가 저장되며, 상기 인증단말기로부터 출력되어 전달된 상기 일회용 비밀번호가 유효하면, 상기 일회용 비밀번호가 생성된 OTP 발생기의 OTP 고유번호에 매칭된 카드의 결제 승인을 금융기관 승인서버로 요청하는 OTP 인증서버; 및 판매자 단말기로부터 OTP 고유번호를 전달받아 상기 인증단말기로 인증 요청메시지를 전달하고, 상기 인증단말기로부터 전달된 일회용 비밀번호를 상기 OTP 인증서버로 전달하며, 상기 OTP 인증서버로부터 승인 결과를 전달받아 상기 판매자 단말기로 전달하는 중개서버;가 포함되는 기술을 개시하는 특징이 있다.

그러나 전술한 종래의 선행기술은 결제할 때 마다 별도로 OTP 발생기를 소지하여야 하는 번거로움과 분실시 재발급과정이 복잡하여 그 효율성이 떨어지고, 고도화된 해킹기술 등에 의하여 여전히 도용의 문제점이 있었다.

KR 10-1413971 B1

KR 10-1203828 B1

KR 10-2005-0111653 A

KR 10-2015-0103264 A

본 발명은 상기한 발명의 배경으로부터 요구되는 기술적 필요성을 충족하는 것을 목적으로 한다. 구체적으로, 본 발명의 목적은 별도의 기기를 소지하여야 하는 번거로움과 도용의 문제점을 해결하고자 깊이정보 안면인식시스템을 적용한 본인인증부를 구현하는 것에 그 목적이 있다.

이러한 목적을 달성하기 위한 본 발명에 따른 깊이정보 기반의 안면인식 금융결제시스템은 깊이정보 안면인식시스템(1)을 적용한 본인인증부(10); 상기 본인인증부(10)를 통하여 인증된 인물에 대해 결제를 수행하는 결제 수행부(20); 각 인물의 결제를 수행하는데 필요한 결제 정보를 저장하는 결제정보 저장부(30); 를 포함하는 것을 특징으로 한다.

이상과 같이 본 발명은 본인인증부에 현재 촬영된 안면과 본인인증부에 저장된 안면 사이의 비교의 정확도를 높이기 위하여 보정을 수행하는 깊이영상 변환부를 구비하여 성능이 증대된 깊이정보 안면시스템을 적용함으로써, 근본적으로 도용의 문제점을 해결하는 효과를 가진다.

도 1은 본 발명에 따른 깊이정보 기반의 안면인식 금융결제시스템의 주요 모듈 구성도;
도 2는 본 발명에 따른 안면인식시스템의 상세 모듈 구성도;
도 3는 발명에 따른 깊이정보 기반의 안면인식 금융결제시스템의 깊이영상 촬영부를 이용한 깊이영상 촬영 예시도;
도 4는 발명에 따른 깊이정보 기반의 안면인식 금융결제시스템의 깊이영상 보정부를 이용한 오차 발생 픽셀의 보정 예시도;
도 5는 본 발명에 따른 발명에 따른 깊이정보 기반의 안면인식 금융결제시스템의 깊이영상 보정부를 이용한 안경 착용자의 안경테에 대한 보간 예시도;
도 6는 발명에 따른 깊이정보 기반의 안면인식 금융결제시스템의 깊이영상 변환부의 세부모듈에 대한 구성도;
도 7은 발명에 따른 깊이정보 기반의 안면인식 금융결제시스템의 깊이영상 변환부에서 안면 정렬이 수행되는 실시 흐름도;
도 8은 발명에 따른 깊이정보 기반의 안면인식 금융결제시스템의 안면 검출부에서 깊이 값을 이용하여 안면을 추출하는 과정의 예시도;
도 9는 발명에 따른 깊이정보 기반의 안면인식 금융결제시스템의 안면특징 추출부로 추출된 주요 특징별 깊이 값 차이에 대한 예시도;
도 10은 발명에 따른 깊이정보 기반의 안면인식 금융결제시스템의 안면특징 추출부로 추출된 안면 부위의 예시도;
도 11은 안면이 기울어진 상태를 보정하기 위하여 두 눈의 위치를 수평선에 평행하게 보정하는 과정의 예시도;
도 12는 안면에서 코와 코 주변의 깊이 차를 계산하여 상대적 깊이 크기를 측정하는 방법의 예시도;
도 13은 발명에 따른 깊이정보 기반의 안면인식 금융결제시스템을 이용한 턱 부위 추출에 대한 예시도;
도 14는 발명에 따른 깊이정보 기반의 안면인식 금융결제시스템을 이용한 안면 폭 측정에 대한 예시도이다.

이하에서는, 본 발명의 실시예에 따른 도면을 참조하여 설명하지만, 이는 본 발명의 더욱 용이한 이해를 위한 것으로, 본 발명의 범주가 그것에 의해 한정되는 것은 아니다.

삭제

도 1을 참고하면, 본 발명에 따른 깊이정보 기반의 안면인식 금융결제시스템은 깊이정보 안면인식시스템(1)을 적용한 본인인증부(10); 상기 본인인증부(10)를 통하여 인증된 인물에 대해 결제를 수행하는 결제 수행부(20); 각 인물의 결제를 수행하는데 필요한 결제 정보를 저장하는 결제정보 저장부(30); 로 구성되는 것을 특징으로 한다.

구체적으로 상기 결제정보 저장부(30)는 신용카드 데이터, 멤버십카드 데이터, 쿠폰 데이터, 할인권 데이터, 상품권 데이터 중에서 사용자가 등록한 정보를 데이터베이스로 저장하여, 사용자가 안면인식을 통하여 결제시 해당점포에서 사용 가능한 쿠폰이나 할인권 등을 소지하고 있으면 이를 알려주어 사용자가 선택적으로 사용할 수 있도록 보조하는 역할을 할 수 있다.

도 2를 참조하면 본 발명에 따른 안면인식시스템(1)의 장치구성은 안면특징 깊이정보 저장용 안면 저장부(100); 안면깊이영상 촬영용 깊이영상 촬영부(200); 깊이값 오차보정용 깊이영상 보정부(300); 깊이영상 안면부분 추출용 안면 검출부(400); 영상회전 신축 변환 및 영상촬영거리에 따른 안면영상 신축 및 안면 정렬용 깊이영상 변환부(500); 깊이영상 안면특징 추출용 안면특징 추출부(600); 상기 안면 저장부(100)에 저장된 데이터와 비교하는 안면특징 비교부(700); 저장된 데이터와의 비교결과에서 인물 일치도를 판정하는 인물 일치 판정부(800);로 구성되는 것을 특징으로 한다.

상기 안면 저장부(100)에는 식별할 인물의 안면 특징들이 깊이 값 형태로 저장되어 있는 것을 특징으로 한다. 이 때 저장될 신체적 특징은 안면의 깊이정보 외에도 눈, 코, 입의 위치와 모양, 얼굴의 너비, 코의 높이, 턱의 외곽정보인 것이 바람직하다.

상기 깊이영상 촬영부(200)를 인물 촬영이 가능한 곳에 설치한 후 인물 촬영을 시작하게 되면 인물의 안면이 도 3과 같이 촬영된다. 이 때 획득된 깊이영상의 특징으로는 코 부위가 상기 깊이영상 촬영부(200)와 제일 지근거리에 위치하므로 깊이 값이 가장 작게 나오게 된다. 또한 안면과 다른 영역의 깊이 값은 큰 차이가 나게 되어 안면부분을 상기 안면 검출부(400)를 이용해 깊이영상 안면부분을 추출할 수 있다. 상기 깊이영상 촬영부(200)를 통해 깊이영상을 촬영 및 획득 시 촬영영상에서 오차가 발생하는 픽셀이 발생할 수도 있다. 이 때 상기 깊이영상 보정부(300)를 이용하여 도 4와 같이 보간을 수행하면 오차가 발생한 픽셀을 보정하게 된다.

안면인식 과정에서 안경 착용자가 안면인식의 대상이 될 수도 있다. 상기 안경 착용자가 깊이영상 촬영 대상일 경우에 안경렌즈는 유리이기 때문에 깊이 값의 측정에 영향을 미치지 않지만 안경테의 경우에는 깊이 값이 있는 것으로 측정되어 안면 인식 과정에 오차를 유발할 수 있다. 따라서 안경테의 특성은 안면의 평균 깊이보다 그 깊이 값이 작다는 점을 이용하여 안경테를 안면의 영역과 구분할 수 있다. 또한, 안경테의 영역을 도 5와 같이 주변 깊이 값으로 보간함으로써 깊이영상에서 안경테 영역을 제거한 영상을 획득할 수 있다.
상기 안면 검출부(400)에서 깊이 값을 이용하여 안면을 추출하는 과정은 다음과 같다. 상기 깊이영상 촬영부(200)에서 인물을 촬영하고 깊이 값에 따른 라벨링을 통해 영역을 분리하게 된다. 이 때 안면은 상기 깊이영상 촬영부(200)와 지근거리에 있기 때문에 안면 영역의 평균 깊이 값이 가장 작게 나타나게 된다. 이를 이용하여 안면을 다른 신체 부위와도 분리할 수 있다. 도 7을 참조하면 깊이 값이 낮을수록 밝게 나타나는 깊이영상을 확인할 수 있다. 이 때 안면 부위는 타 부위와 비교하여 깊이 값이 낮은 것을 확인할 수 있으며 이를 통해 안면 부위를 타 영역과 분리 가능하게 된다.

상기 깊이영상 촬영부(200)를 통해 인물 촬영 시 항상 정면으로 촬영되지 않을 수도 있으므로 이에 대한 보정이 필요하며 이는 상기 깊이영상 변환부(500)에서 변환을 적용하여 안면을 정렬할 수 있다.

이에 대한 원리를 보다 상세하게 설명하기 위하여 도 6을 참조하면 상기 깊이영상 변환부(500)는 상기 깊이영상 촬영부(200)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 깊이정보 산출부(510); 상기 깊이정보 산출부(510)에서 산출된 깊이정보를 이용하여 각 화소의 상기 깊이영상 촬영부(200) 좌표계에서의 위치를 계산하는 좌표 변환부(520); 상기 좌표 변환부(520)에서 계산된 각 화소의 주변정보를 이용하여 상기 화소의 국소적 법선벡터를 계산하는 국소법선벡터 산출부(530); 상기 국소법선벡터 산출부(530)에서 얻어진 국소적 법선벡터를 이용하여 전체 평면의 법선벡터를 구하는 평면법선벡터 산출부(540); 영상의 회전축과 사이 각을 계산하여 회전행렬을 구하는 것을 특징으로 한다.

상기 좌표 변환부(520)는 상기 깊이영상 촬영부(200)를 통해 평면을 촬영하여 깊이영상에서의 화소의 위치 P(x, y)와 그 화소에서의 깊이 값인 상기 깊이영상 촬영부(200)를 중심으로 하는 xy평면으로부터의 거리 D(x, y)를 얻고 상기 D(x, y)와 상기 깊이영상 촬영부(200)의 인자를 이용하여 상기 깊이영상 촬영부(200)의 초점을 원점으로 하고 상기 깊이영상 촬영부(200)의 정면 광학축 방향을 z축으로 하는 상기 깊이영상 촬영부(200) 좌표계로 변환하는 것을 특징으로 한다.

여기서, 상기 깊이영상 촬영부(200) 좌표계로의 변환은 상기 화소의 위치 P(x, y)는 영상의 왼쪽 상단 모서리를 원점으로 하는 깊이영상 좌표계에서의 위치정보이고 상기 깊이정보 D(x, y)는 상기 깊이영상 촬영부(200) 좌표계 내에서 z축의 거리 z_c가 되고 영상 좌표계 내에서의 상기 화소의 위치 P(x, y)를 영상 중앙이 원점이 되는 좌표계 상의 위치정보 P_v(x_v, y_v)로 변환하는 것을 특징으로 한다.

그리고 상기 좌표 변환부(520)는 각 화소의 상기 깊이영상 촬영부(200) 좌표계에서의 위치를 계산하기 위하여 상기 깊이영상 촬영부(200)의 내부 정보인 시야각과 해상도를 사용하여 영상이 투영되는 뷰포트까지의 거리 f를 상기 깊이영상 촬영부(200)의 수직 시야각 f_oVv와 상기 깊이영상 촬영부(200)의 수직 해상도 h를 통해 상기 뷰포트까지의 거리 f를 구하거나 수평 시야각 f_oVh과 상기 깊이영상 촬영부(200)의 수평 해상도 w를 통하여 구하고, 이렇게 구해진 상기 뷰포트까지의 거리 f를 이용하여 상기 깊이영상 촬영부(200) 좌표계에서의 위치 P_c(x, y)=(x_c, y_c, z_c)로 변환하여 상기 깊이영상 촬영부(200) 좌표계에서의 위치정보를 구하는 것을 특징으로 한다.

상기 국소법선벡터 산출부(530)는 영상 좌표계에서의 위치 P(x, y)에서의 상기 깊이영상 촬영부(200) 좌표계에서의 위치를 P_c(x, y)라고 한다면 화소의 상하에 위치한 점들의 상기 깊이영상 촬영부(200) 좌표계에서의 위치정보 P_c(x, y+1), P_c(x, y-1)와 좌우에 위치한 점들의 상기 깊이영상 촬영부(200) 좌표계에서의 위치정보 P_c(x+1, y), P_c(x-1, y)를 토대로 두 개의 벡터 v₁= P_c(x+1, y)- P_c(x-1, y), v₂= P_c(x, y+1)- P_c(x, y-1)를 생성하고 N_xy=v₁×v₂를 통해 두 벡터의 외적을 구하여 화소 P(x, y)에서의 국소적인 법선벡터 N_xy를 구하는 것을 특징으로 한다.

상기 평면법선벡터 산출부(540)는 상기 국소법선벡터 산출부(530)에서 구해진 각 화소의 국소적 법선벡터를 더하여 평면영역에서의 법선벡터 N을 구하고 상기 변환 적용부(560)에서 상기 깊이영상 촬영부(200)로 촬영한 영상을 회전변환을 통해 평면의 법선벡터 N을 z축에 평행하게 하여 평면영상을 xy평면에 평행한 영상으로 보정하여 원근왜곡을 제거하는 것을 특징으로 한다. 그리고 회전변환을 거친 후의 평면법선벡터의 단위벡터는 N'(0, 0, 1)이 되는 것을 특징으로 한다.

상기 변환행렬 계산부(550)는 평면영역에서의 법선벡터를 N, 회전변환을 거친 후의 평면법선벡터의 단위벡터를 N'이라 하면 회전변환의 축이 되는 단위벡터는 u=(N×N')/(｜N×N'｜)을 통해 변환 전후의 각각의 법선벡터를 외적하여 정규화한 벡터 u(u_x, u_y, u_z)이고 회전각 θ는 θ=cos^-1((NㆍN')/(｜N｜｜N'｜))를 통하여 구한 두 벡터의 사이각인 것을 특징으로 한다. 그리고 상기 변환행렬 계산부(550)에서 회전변환 행렬 R은

R=cosθI+sinθ[u]+(1-cosθ)uⓧu,

삭제

삭제

삭제

상기 변환 적용부(560)는 영상이 투영되는 뷰포트까지의 거리 f, 회전변환을 하여 구해진 변환 후의 위치 P'_c(i, j)=(x'_c, y'_c, z'_c)라 하면, P'은 상기 깊이영상 촬영부(200) 좌표계 상의 좌표이므로 이를 다시 영상좌표로 변환하기 위하여 x'_v=(x'_cf)/ z'_c, y'_v=(y'_cf)/ z'_c를 이용하여 원점이 화면 중심에 존재하는 영상 좌표계에서의 위치 P'_v(x'_v, y'_v)로 변환한 다음 원점을 다시 원래대로 설정하여 보정변환 시 화소 P(x, y)에 사상되는 화소 P'(x', y')를 구하는 것을 특징으로 한다.

도 7을 참조하면 상기 깊이영상 변환부(500)에서 안면 정렬이 되는 실시 흐름은 상기 깊이영상 촬영부(200)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 단계(s501); 산출된 깊이정보를 이용하여 각 화소의 상기 깊이영상 촬영부(200) 좌표계에서의 위치를 계산하는 단계(s502); 계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 단계(s503); 국소적 법선 벡터를 이용하여 전체 평면의 법선 벡터를 구하는 단계(s504); 영상의 회전축과 사이 각을 계산하고, 영상 중앙의 깊이정보와 상기 안면 저장부(100)에서의 기준 깊이 값을 이용하여 변환 행렬을 구하는 단계(s505); 상기 변환 행렬을 이용하여 변환을 적용하는 단계(s506);를 포함하는 것을 특징으로 한다.

상기 안면 검출부(400)로 안면을 검출한 후에 상기 안면 저장부(100)에 저장된 안면의 특징의 비교를 하기 위하여 안면의 특징을 상기 안면특징 추출부(600);로 추출하게 된다. 여기서 추출되는 안면의 특징은 안면 윤곽선, 눈/코/입/의 깊이 값과 위치, 턱의 모양, 광대뼈의 높이, 눈썹뼈의 높이, 코의 높이, 얼굴 폭 등이 되는 것이 바람직하다. 먼저 안면의 윤곽선을 추출한 후 눈/코/입을 추출한다. 안면의 깊이 값은 코 부위가 가장 낮고 눈 부위가 상대적으로 크기 때문에 이러한 특징을 이용하여 눈 위치와 코 위치를 검출할 수 있다. 또한 입의 깊이 값은 코의 깊이 값보다 크지만 입이 다른 안면 부위보다는 돌출되어 있기 때문에 상대적으로 깊이 값이 작게 나타날 수 있으므로 이러한 점을 이용하면 눈/코/입에 대한 특징 추출이 가능하다(도 9; 도 10). 전술한 과정에서 검출된 눈/코/입에 대한 윤곽선을 검출하고 상기 눈/코/입 위치의 상대적인 위치를 검출한다. 이 때 안면이 기울어진 상태에서 촬영되면 상기 눈/코/입 위치 변동이 발생할 수 있기 때문에 두 눈의 위치가 수평선에 평행하게 깊이영상을 회전시킨다. 그 후 두 눈의 위치에 대한 중앙점을 기준으로 두 눈의 위치, 코의 위치, 입의 위치를 측정한다(도 11). 또한 코의 높이를 추출할 수 있으며 상기 깊이영상 촬영부(200)를 통해 안면에서 코와 상대적 깊이 크기를 상기 코와 상기 코 주변의 깊이 차를 계산하여 측정할 수도 있다(도 12). 전술한 방법으로 눈 아래의 광대뼈 높이, 눈 위의 눈썹뼈의 높이를 측정하여 안면의 특징으로 활용한다. 그 후에는 턱 부위의 모양을 추출(도 13)하는데 턱은 입술 아래 부위부터 안면 최하부까지의 영역으로 간주하며 이를 통해 외곽선의 모양을 추출한다. 그리고 안면 폭을 측정하는데 상기 안면 폭은 깊이값과 깊이영상에서의 상대적 위치, 상기 깊이영상 촬영부(200) 내부 인자를 통해서 실제 거리를 구할 수가 있으며 이를 통해 실제 안면 폭을 구하여 상기 안면특징 비교부(800)에서 활용할 수 있다(도 14).

삭제

삭제

삭제

삭제

삭제

이렇게 인물을 특정할 수 있는 안면 특징을 추출하면 상기 안면 저장부(100)에 저장된 각 인물의 특징 데이터를 상기 안면특징 비교부(800)에서 비교 작업을 수행하여 비교 결과가 일정 유사도 이하일 경우에는 상기 인물 일치 판정부(900)에서 특정 인물이 아닌 것으로 판단하는 것을 특징으로 한다. 또한 상기 안면특징 비교부(800)에서 비교 작업을 수행하여 모든 특징이 일치하는 것으로 확인되면 상기 인물일치 판정부(900)에서 특정 인물이라고 판단하는 것을 특징으로 한다.

이상 본 발명의 실시예에 따른 도면을 참조하여 설명하였지만, 본 발명이 속한 분야에서 통상의 지식을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주 내에서 다양한 응용 및 변형을 행하는 것이 가능할 것이다.

Claims (6)

1. 영상의 깊이 정보를 이용한 안면인식 금융결제 시스템에 있어서,
   깊이정보 안면인식시스템(1)을 적용한 본인인증부(10);
   상기 본인인증부(10)를 통하여 인증된 인물에 대해 결제를 수행하는 결제 수행부(20);
   각 인물의 결제를 수행하는데 필요한 결제 정보를 저장하는 결제정보 저장부(30); 상기 본인인증부(10)의 깊이정보 안면인식시스템(1)은,
   눈, 코, 입의 위치와 모양, 얼굴의 너비, 코의 높이, 턱의 외관과 같은 안면의 특징적인 깊이정보를 저장하는 안면 저장부(100);
   안면깊이영상 촬영용 깊이영상 촬영부(200);
   깊이값 오차보정용 깊이영상 보정부(300);
   깊이영상 안면부분 추출용 안면 검출부(400);
   영상회전신축변환 및 안면 정렬용 깊이영상 변환부(500);
   깊이영상 안면특징 추출용 안면특징 추출부(600);
   상기 안면 저장부(100)에 저장된 데이터와 비교하는 안면특징 비교부(700); 인물 일치도를 판정하는 인물 일치 판정부(800);로 구성되며,
   상기 깊이영상 변환부(500)는 상기 깊이영상 촬영부(200)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 깊이정보 산출부(510); 상기 깊이정보 산출부(510)에서 산출된 깊이정보를 이용하여 상기 깊이영상 촬영부(200) 좌표계에서의 위치를 계산하는 좌표 변환부(520); 상기 좌표 변환부(520)에서 계산된 각 화소의 주변정보를 이용하여 상기 화소의 국소적 법선벡터를 계산하는 국소법선벡터 산출부(530); 상기 국소법선벡터 산출부(530)에서 얻어진 국소적 법선벡터를 이용하여 전체 평면의 법선벡터를 구하는 평면법선벡터 산출부(540); 깊이영상의 회전축과 사이 각을 계산하여 회전행렬을 구하는 변환행렬 계산부(550); 상기 변환행렬을 이용하여 변환을 적용하는 변환 적용부(560);로 구성되며,
   상기 깊이영상 변환부(500)에서 안면 정렬이 되는 실시 흐름은 상기 깊이영상 촬영부(200)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 단계(s501); 산출된 깊이정보를 이용하여 각 화소의 상기 깊이영상 촬영부(200) 좌표계에서의 위치를 계산하는 단계(s502); 계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 단계(s503); 국소적 법선 벡터를 이용하여 전체 평면의 법선 벡터를 구하는 단계(s504); 영상의 회전축과 사이 각을 계산하고, 영상 중앙의 깊이정보와 상기 안면 저장부(100)에서의 기준 깊이 값을 이용하여 변환 행렬을 구하는 단계(s505); 상기 변환 행렬을 이용하여 변환을 적용하는 단계(s506);로 구성되는 것을 특징으로 하는 영상의 깊이 정보를 이용한 안면인식 금융결제 시스템
   
2. 삭제
3. 삭제
4. 삭제
5. 제 1 항에 있어서,
   상기 안면 검출부(400)로 안면 검출 후 상기 안면 저장부(100)에 저장된 안면의 특징을 비교하기 위하여 상기 안면특징 추출부(600);로 추출하고 여기서 추출되는 안면의 특징은 안면 윤곽선, 눈/코/입의 깊이 값과 위치, 턱의 모양, 광대뼈의 높이, 눈썹뼈의 높이, 코의 높이, 얼굴 폭이 되는 것을 특징으로 하는 영상의 깊이 정보를 이용한 안면인식 금융결제 시스템
6. 제 1 항에 있어서,
   상기 결제정보 저장부(30)는 신용카드 데이터, 멤버십카드 데이터, 쿠폰 데이터, 할인권 데이터, 상품권 데이터 중에서 사용자가 등록한 정보를 데이터베이스로 저장하는 것을 특징으로 하는 영상의 깊이 정보를 이용한 안면인식 금융결제 시스템

Images