KR102529552B1 - 신경망을 이용한 영상통화 기반의 인증 모니터링 방법 및 시스템 - Google Patents

Abstract

본 발명은 신경망을 이용한 영상통화 기반의 인증 모니터링 방법으로, 사용자의 안면 이미지 또는 신분증 이미지를 수신하는 단계; 상기 영상통화 중 비대면 인증에 대한 상담원의 상담 데이터를 수신하는 단계; 신경망을 통해 상기 수신된 안면 이미지 또는 신분증 이미지에 포함된 식별 요소 별 존재 확률에 대한 예측 결과를 산출하는 단계; 상기 산출된 예측 결과와 상기 상담원의 상담 데이터를 비교하는 단계; 및 비교 결과에 따라 상기 상담 데이터의 검수를 요청하는 단계를 포함할 수 있다. 본 발명에 따르면 상담원의 상담 업무를 진행 중에 실시간으로 상담 내용을 모니터링하여 비대면 기반의 영상통화를 이용한 비대면 인증의 인증율과 상담 업무의 품질을 높일 수 있다.

Description

신경망을 이용한 영상통화 기반의 인증 모니터링 방법 및 시스템{Method for monitoring authentication based on video call using neural network and system for the method}

본 발명은 영상통화 신경망을 이용한 영상통화 기반의 인증 모니터링 방법에 관한 것으로, 신경망을 통해 영상통화 상담원들의 상담 업무를 모니터링하는 방법에 관한 것이다.

최근에는 이동통신단말기, 특히 스마트폰과 모바일 통신 기술의 발달에 힘입어 모바일 어플리케이션을 통해 과거에 오프라인을 통해 수행하던 기능을 언제 어디서나 간편하고 편리하게 이용할 수 있다.

특히, 최근 들어 사용자의 편의성을 향상시키는 측면에서 어플리케이션을 통해 금융 업무까지 비대면(非對面)으로 처리하는 기술이 개발되어 서비스되고 있으며 비대면 신분 인증은 상담원과의 영상통화를 통해 본인 확인이 이루어지는 방식으로 수행된다.

이러한 영상통화를 이용한 안면 인면인증의 인증의 품질은 영상을 통해 직접 육안으로 동일인 여부를 확인해야하는 상담원에 의존적일수 밖에 없다. 따라서, 정확한 본인 확인과 높은 상담 품질을 유지하기 위해서 비대면 기반의 서비스를 제공하는 서비스 주체는 상담원들을 별도로 평가하거나 관리할 수 있는 프로세스를 구축할 필요가 있다.

하지만, 영상통화의 상담과정은 진행 중에 정량적으로 평가가 어렵기 때문에 품질의 객관적인 평가가 어려운 점이 있으며, 영상통화를 통한 상담이 이루어진 후 상담에 이용된 샘플을 추출하여 검수하거나 또는 사용자의 피드백을 통해서 평가하는 간접적인 방식들이 이용되고 있다.

따라서, 정량적으로 상담원의 영상통화 상담행위를 모니터링하고 품질을 객관적으로 평가함으로써 비대면 방식의 서비스 품질을 높일 수 있는 방법이 요구되고 있다.

본 발명은 신경망을 통해 상담원의 영상통화 상담 내용을 평가하고, 모니터링하는 방법을 제안하는 것을 목적으로 한다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 영상통화 기반의 인증 모니터링 방법은 사용자의 안면 이미지 또는 신분증 이미지를 수신하는 단계; 상기 영상통화 중 비대면 인증에 대한 상담원의 상담 데이터를 수신하는 단계; 신경망을 통해 상기 수신된 안면 이미지 또는 신분증 이미지에 포함된 식별 요소 별 존재 확률에 대한 예측 결과를 산출하는 단계; 상기 산출된 예측 결과와 상기 상담원의 상담 데이터를 비교하는 단계; 및 비교 결과에 따라 상기 상담 데이터의 검수를 요청하는 단계를 포함한다.

상기 식별 요소는 상기 사용자의 비대면 인증을 위해 판단되는 미리 결정된 항목 또는 항목 별 척도로 구분되는 이미지 상의 특징 정보인 것이 바람직하다.

상기 신경망은 기 검증된 상담 데이터를 기준으로 레이블링 된 이미지를 학습 데이터로 이용하여 학습된 것이 바람직하다.

상기 상담 데이터는 상기 안면 이미지 또는 상기 신분증 이미지에 포함된 식별 요소들의 존재 여부에 대한 상담원의 수기 작성된 메타 정보인 것이 바람직하다.

상기 검수 요청에 따라 상기 상담 데이터와 상기 예측 결과를 검수하는 단계; 및 상기 검수 결과 상기 신경망을 통해 산출된 예측 결과가 부정확하다고 판단된 경우, 상기 상담 데이터를 기준으로 레이블링 된 상기 안면 이미지 또는 상기 신분증 이미지를 학습데이터로 상기 신경망을 학습시키는 단계를 더 포함한다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 신경망을 이용한 영상통화 기반의 인증 모니터링을 수행하는 상담 서버는 사용자의 안면 이미지 또는 신분증 이미지, 및 상기 영상통화 중 비대면 인증에 대한 상담원의 상담 데이터를 수신하는 통신부; 신경망을 통해 상기 수신된 안면 이미지 또는 신분증 이미지에 포함된 식별 요소 별 존재 확률에 대한 예측 결과를 산출하는 예측 결과 산출부; 상기 산출된 예측 결과와 상기 상담원의 상담 데이터를 비교하는 비교부; 및 비교 결과에 따라 상기 상담 데이터의 검수를 요청하는 검수 요청부를 포함한다.

상기 식별 요소는 상기 사용자의 비대면 인증을 위해 판단되는 미리 결정된 항목 또는 항목 별 척도로 구분되는 이미지 상의 특징 정보인 것이 바람직하다.

상기 신경망은 기 검증된 상담 데이터를 기준으로 레이블링 된 이미지를 학습 데이터로 이용하여 학습된 것이 바람직하다.

상기 상담 데이터는 상기 안면 이미지 또는 상기 신분증 이미지에 포함된 식별 요소들의 존재 여부에 대한 상담원의 수기 작성된 메타 정보인 것이 바람직하다.

상기 검수 요청에 따라 상기 상담 데이터와 상기 예측 결과를 검수하는 검수부; 및 상기 검수 결과 상기 신경망을 통해 산출된 예측 결과가 부정확하다고 판단된 경우, 상기 상담 데이터를 기준으로 레이블링 된 상기 안면 이미지 또는 상기 신분증 이미지를 학습데이터로 상기 신경망을 학습시키는 학습부를 더 포함한다.

본 발명에 따르면 상담원의 상담 업무를 진행 중에 실시간으로 상담 내용을 모니터링하여 비대면 기반의 영상통화를 이용한 비대면 인증의 인증율과 상담 업무의 품질을 높일 수 있다.

또한, 본 발명에 따르면 신경망을 이용하여 재 검수가 필요한 검수 대상을 줄이고, 검수 대상에 대해서만 보다 까다로운 절차의 검증을 수행함으로 비대면 인증의 효율과 정확도를 모두 높일 수 있다.

또한, 본 발명은 신경망을 이용하여 정량적 지표로 나타나는 식별 요소로 인증 과정을 객관화함으로써 상담원의 상담 품질을 보다 정확히 평가할 수 있다.

또한, 상담 업무 중의 신경망의 출력과 실제 상담원의 판단 내용을 비교하여 신경망을 추가로 학습시킴으로써 신경망의 예측 성능을 지속적으로 높일 수 있다.

도 1은 본 발명의 일 실시예에 따른 상담 모니터링 시스템을 나타낸 예시도이다.
도 2는 본 발명의 일 실시예에 따른 상담 서버의 신경망을 이용한 영상통화 기반의 인증 모니터링 방법을 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 상담 데이터를 예시하는 도이다.
도 4는 본 발명의 일 실시예에 따른 신경망의 구성을 나타낸 도이다.
도 5는 본 발명의 일 실시예에 따른 복수의 신경망을 통한 구현 예를 나타내는 도이다.
도 6은 본 발명의 일 실시예에 따른 상담 모니터링 시스템을 나타낸 예시도이다.
도 7은 본 발명의 일 실시예에 따른 상담 서버의 구성을 나타낸 블록도이다.

이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시 되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이외같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.

또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 상담 모니터링 시스템을 나타낸 예시도이다.

도 1을 참조하면, 상담 모니터링 시스템(1000)은 사용자 단말(200)을 이용하여 본인 인증을 수행하는 사용자(10)와 사용자(10)로부터 입력되는 정보를 이용하여 본인 인증 여부를 판단하고 기타 비대면 상담 업무를 수행하는 상담원(20) 및 상담원(20)의 상담업무를 보조하고, 모니터링하는 상담 서버(100)로 구성될 수 있다.

사용자(10)는 사용자 단말(200)을 이용하여 본인 인증을 위해 영상 통화를 수행하고, 자신의 신분증 이미지(14)를 직접 촬영하여 상담 서버(100)로 송신할 수 있다.

상담원(20)은 상담 서버(100)에 접속하여 사용자(10)로부터 송신된 신분증 이미지(14)와 영상 통화 상의 사용자(10)의 안면 이미지(12)를 비교하여 본인 인증 여부를 판단할 수 있다. 또한, 상담원(20)은 본인 인증 결과에 따라 통장 개설, 대출, 카드 발급 등과 같은 여러 금융관련 업무를 수행하기 위한 프로세스를 후속하여 진행할 수 있다.

이때, 상담원(20)은 본인 인증을 위한 상담 업무 중에 본인 확인 결과로서 상담 데이터(22)를 작성하여 상담 서버(100)로 전송할 수 있다. 상담 데이터(22)는 본인과 타인의 식별에 기준이 될 수 있는 사용자의 특징 정보들에 대한 메타 정보일 수 있다. 예를 들어 안경의 착용 여부, 머리 스타일 등에 대한 상담원(20)의 수기 입력 정보를 포함할 수 있다.

상담 서버(100)는 신경망을 통해 사용자(10)로부터 수신된 안면 이미지(12) 또는 신분증 이미지(14)에 대한 특징 정보의 포함 여부에 대한 예측 결과를 산출하고, 신경망을 통해 출력된 예측 결과와 상담원(20)이 작성한 상담 데이터(22)를 비교하여 상담원(20)의 상담업무를 모니터링할 수 있다.

이하에서는 도 2를 참조하여 상담 서버(100)의 신경망을 이용한 영상통화 기반의 인증 모니터링 방법에 대해 구체적으로 설명한다.

도 2는 본 발명의 일 실시예에 따른 상담 서버(100)의 신경망을 이용한 영상통화 기반의 인증 모니터링 방법을 나타낸 흐름도이다.

도 2를 참조하면, 상담 서버(100)는 영상통화에서 획득된 사용자(10)의 안면 이미지(12)나 사용자(10)가 촬영한 신분증 이미지(14)를 수신할 수 있다(S100). 여기서, 안면 이미지(12)는 영상통화에서 획득되는 사용자(10)의 안면이 적어도 일부 이상 포함되는 이미지 데이터로써, 연속적으로 촬영되는 영상 프레임의 형태로 수신될 수 있다.

신분증 이미지(14)는 사용자(10)가 본인 인증을 위해 촬영한 신분증의 전체 또는 전체 촬영 이미지 중에서 신분증에 인쇄된 증명 사진 부분 만을 별도로 추출한 부분 이미지 일 수 있다.

또는 상담 서버(100)는 사용자(10)가 과거 본인 인증이나 회원 가입을 통해 촬영되어 저장된 신분증 이미지(14)를 별도의 데이터베이스 상으로부터 전달받거나, 기타 신분증을 발급하고 관리하는 외부 기관의 서버로부터 전달받아 이용하는 것도 가능하다.

다음, 상담 서버(100)는 상담원(20)으로부터 영상통화 기반의 비대면 인증에 대한 상담원의 상담 데이터(22)를 수신할 수 있다(S200). 상술한 바와 같이 상담 데이터(22)는 상담원(20)이 사용자(10)와 영상통화를 통한 상담업무를 진행하면서 입력한 메타정보로써 안면 이미지(12)나 신분증 이미지(14)에 포함된 특징 정보의 존재에 대한 판단 결과를 포함한다.

구체적으로 상담 데이터(22)에 대하여 도 3을 참조하여 보다 설명한다.

도 3은 본 발명의 일 실시예에 따른 상담 데이터(22)를 나타낸 도이다.

도 3을 참조하면, 상담 데이터(22)는 신분증 이미지(14) 내에 특징 정보의 존재 여부를 신분증 상태(22-1)에 대한 메타 정보로 정의할 수 있다.

또한, 안면 이미지(12)에 대한 특징 정보의 존재 여부를 영상통화 상태(22-2)에 대한 메타 정보로 정의할 수 있다.

즉, 상담 데이터(22)는 이미지에 포함될 수 있는 특징 정보로서, 상담원의 육안에 따른 식별 요소의 존재 여부에 대한 판단 결과를 포함한다. 따라서 상담 데이터(22)는 이미지 별로 신분증 이미지(14)의 상태와 안면 이미지(12) 내에 포함될 수 있는 특징 정보와 특징 정보에 대한 상태 값으로 구성될 수 있다.

구체적으로 식별 요소 들은 존재 여부를 수신되는 이미지 상에 포함되는 정보들로 상담원이 육안으로 식별하고 정량적으로 판단할 수 있는 특징 정보들로 미리 정의될 수 있다.

예를 들어, 신분증 이미지(14) 내에 포함될 수 있는 식별 요소로는 신분증 자체의 상태에 대한 식별 요소로 신분증 이미지의 초점의 흐림 여부, 보정된 사진 이용여부, 홀로그램 유무, 빛 반사 유무, 20년 이상 또는 10년 이상 등의 신분증의 발급 정보, 신분증에 부착되는 스티커의 유무, 오랜 사용에 의한 까짐 유무, 깨짐 유무로 정의될 수 있다.

또한 안면 이미지(12) 내에 포함될 수 있는 영상 통화 상태로서 주변의 밝기, 실내 여부, 실외 여부 등의 환경 정보들도 식별 요소로 포함할 수 있다.

또한, 신분증 이미지(14)와 안면 이미지(12) 모두의 특징으로 안면 자체에 대한 식별 요소인 안경 착용 유무, 모자 유무, 화장 유무나 헤어 스타일과 같이 머리카락이 귀를 가리는지, 눈썹 가리는지, 이마 가리는지 또는 머리의 길이와 같이 설정된 척도에 따라 정량적으로 판단될 수 있는 요소들로 구성될 수 있다.

또한, 상담 데이터(22)는 추가적으로 사용자(10)와 상담하면서 발생한 특이 사항이나 처리 결과 등을 정성적으로 상담 메모에 입력 가능하도록 구현될 수 있다.

다만, 본 실시예에서는 정량적인 식별 요소로 입력된 상담원(20)의 상담 데이터(22)를 기초로 상담원(20)의 본인 인증 업무의 품질을 신경망을 이용하여 모니터링 할 수 있다.

이를 위해 상담원(20)에 의해 작성된 상담 데이터(22)는 상담 서버(100)로 전송될 수 있다. 상담 서버(100)는 수신된 상담 데이터(22)를 신경망의 출력 값과 비교함으로써 상담원의 판단 정확도를 확인할 수 있으며, 상담원의 본인 확인에 대한 추가적인 검수의 필요 여부를 더욱 판단할 수 있다.

또한, 상담 서버(100)는 검수 결과에 따라 수정되는 레이블링 정보를 신경망의 학습데이터로 재 이용할 수 있다.

상담 서버(100)는 신경망을 통해 수신된 안면 이미지(12)나 신분증 이미지(14)에 포함된 식별 요소 별 존재 확률에 대한 예측 결과를 산출한다(S300).

구체적으로, 상담 서버(100)는 안면 이미지(12) 또는 신분증 이미지(14)에 포함된 식별 요소 들의 존재 여부 또는 정량적으로 구분된 척도에 따른 해당 여부의 예측 결과를 산출하도록 학습된 신경망을 이용하여 안면 이미지(12)나 신분증 이미지(14)에 포함된 식별 요소에 대한 확률 값을 출력할 수 있다.

여기서, 신경망은 임의로 생성된 식별 요소를 포함하는 것으로 레이블링된 안면 이미지(120) 또는 신분증 이미지(14)를 이용하여 학습될 수 있으며, 또는 상담원(20)의 검증된 상담 데이터(22)를 기초로 레이블링된 레이블링 데이터와 실제 상담에 이용된 안면 이미지(12)나 신분증 이미지(14)를 학습 데이터 셋으로 구성하여 학습에 이용하는 것도 가능하다.

구체적으로 신경망은 입력된 사용자의 안면 이미지(12)나 신분증 이미지(14) 내 포함된 식별 요소의 존재 확률을 나타내는 예측 결과를 수치적으로 산출하여 출력한다. 따라서, 예측 결과는 안면 이미지(12)나 신분증 이미지(14) 내의 식별 요소로서 홀로그램, 빛 반사, 안경 착용 등과 같은 특징 들의 존재 여부에 대한 예측 확률 값으로 정의될 수 있다.

이하에서, 본 실시예에 따른 신경망의 구조와 관련하여 도 4를 참조하여 보다 상세히 설명한다.

도 4는 본 발명의 일 실시예에 따른 신경망의 구성을 나타낸 도이다.

도 4를 참조하면, 본 실시예에 따른 신경망(30)은 복수의 합성곱 연산을 수행하는 레이어로 구성된 CNN(Convolution Neural Network) 모델로 구성될 수 있다.

안면 이미지(12)나 신분증 이미지(14)가 학습된 신경망(30)에 입력되면, 신경망(30) 내부의 레이어들을 거치면서 이미지 내에 포함된 식별 요소를 나타내는 고유의 형상이나 색상에 따른 특징 값들은 합성곱을 통해 강조될 수 있다.

안면 이미지(12)나 신분증 이미지(14) 별 식별 요소로서 이미지 데이터에 포함된 다양한 특징 값들은 각각의 합성곱 레이어(Convolution layer) 별로 결정된 필터와의 연산을 통해 새로운 특징 맵의 형태로 출력되며, 레이어 별 반복 연산을 통해 생성된 최종 특징 맵은 완전 연결 레이어(Fully-connected layer)로 입력되어 평탄화 될 수 있다. 평탄화된 특징 정보와 식별 요소 별로 정의된 기준 특징 정보간의 차이를 산출하고, 산출된 차이에 따라 식별 요소의 존재 확률을 예측 결과(32)로 출력할 수 있다.

이러한 신경망(30)의 학습은 안면에 대한 이미지 데이터와 식별 요소의 존재 여부에 대한 판단 결과를 포함하는 레이블링 데이터로, 식별 요소 별로 분류(classification)된 학습 데이터 셋으로 수행될 수 있다. 예를 들어 신분증 이미지에 대한 식별 요소로 그림자, 반사, 홀로그램 등이 각각 존재하는 것으로 레이블링 된 복수의 이미지 데이터들을 학습 데이터로 신경망을 학습시킬 수 있으며, 안면 이미지에 대한 식별 요소로 안경을 착용한 안면 이미지, 가르마가 있는 헤어스타일을 갖는 안면 이미지를 이용하여 학습을 수행할 수 있다.

학습된 신경망(30)은 입력된 안면 이미지(12)나 신분증 이미지(14)에 대하여 식별 요소의 존재 여부를 판단하고 각 식별 요소 별 예측 확률 값을 예측 결과(32)로 제공할 수 있다.

또한, 본 실시예에 따른 신경망(30)은 안면 이미지(12)나 신분증 이미지(14)를 구분하여 각각의 식별 요소를 포함하는 것으로 레이블링 된 학습 데이터를 통해, 안면 이미지(12)나 신분증 이미지(14) 내 포함된 특징 정보들을 하나의 식별 대상으로서 식별 요소의 존재를 예측하도록 학습될 수 있다.

이를 통해 안면 이미지(12) 상에 포함되는 특유의 특징 요소에 대한 판단 결과와 신분증 이미지(14)의 판단 결과들을 구분하여 출력하도록 하는 것도 가능하다.

안면 이미지(12)와 신분증 이미지(14) 내 공통적으로 해당되는 식별 요소(안면 특징 정보)를 통해 동일인 여부의 판단에 대한 모니터링 근거로 활용하도록 하는 것도 가능하다.

예를 들어, 도 4 (a)의 경우에는 안면 이미지(12)가 신경망(30)에 입력되는 경우에 안면 이미지(12) 내에 존재하는 식별 요소 중 안경 착용 확률은 0.1, 가르마의 존재 확률은 0.8로 예측 결과(32)가 산출될 수 있다.

또한, (b)의 경우로 신분증 이미지(14)가 신경망(30)에 입력되는 경우, 신분증 이미지(14)내에 존재하는 식별 요소 중 안경 착용 확률은 0.2, 가르마의 존재 확률은 0.6으로 예측 결과가 산출되는 경우 안경을 미착용하고 가르마는 존재하는 것으로 공통적으로 판단할 수 있다.

나아가, 다른 실시예로 상담 서버(100)는 식별 요소 마다 학습된 각각의 신경망(30)을 이용하여 식별 요소의 존재 확률로 예측 결과를 출력하도록 구성하는 것도 가능하다.

도 5는 본 발명의 일 실시예에 따른 복수의 신경망(30)을 통한 구현 예를 나타내는 도이다.

도 5를 참조하면, 상담 서버(100)는 안면 이미지(12)(또는 신분증 이미지(14))의 식별 요소 각각에 대응되는 신경망(30-1, 30-2, 30-3)을 이용하여 병렬 적으로 예측 결과(32)를 출력하도록 구성할 수 있다.

예를 들어, 상담 서버(100)는 안경 착용, 가르마 있음, 모자 착용 여부를 개별적으로 판단하여 산출하도록 학습된 각각의 신경망(30-1, 30-2, 30-3)들을 이용할 수 있다. 따라서, 각 신경망(30-1, 30-2, 30-3)은 하나의 안면 이미지(12)에 대하여 보다 정확한 식별 요소 별 예측 결과를 산출할 수 있다.

이때, 각각의 신경망(30-1, 30-2, 30-3)들은 구체적인 예측 결과의 산출을 위해 해당 식별 요소 별로 존재 여부 또는 구분된 척도에 따라 레이블링된 학습 데이터를 이용하여 학습될 수 있다.

예를 들어 헤어스타일과 관련된 특징 요소를 가르마의 존재 여부를 레이블링하여 학습하는 것도 가능하며 정량적으로 머리의 길이를 짧음, 중간, 긴 머리로 3단계로 구분하여 학습하고 학습된 결과를 출력하도록 하는 것도 가능하다.

나아가, 본 실시예에서 영상통화로 입력되는 안면 이미지(12)는 복수의 프레임으로 연속적으로 입력될 수 있는데 이때에는 해당 프레임 별로 예측 결과를 신경망을 통해 출력하고, 예측 결과의 최대 값 또는 평균 값을 통계적으로 산출하여 이용할 수 있다.

이어서, 상담 서버(100)는 산출된 예측 결과와 상담원의 상담 데이터를 비교할 수 있다(S400). 구체적으로, 상담 서버(100)는 예측 결과에 포함된 식별 요소의 확률이 임계값을 초과하는 경우에 해당 식별 요소가 신분증 이미지(14)나 안면 이미지(12)에 존재한다고 판단하고, 상담원(20)의 상담 데이터(22)와 비교하여 비교 결과를 산출할 수 있다. 여기서, 비교 결과는 예측 결과와 상담 데이터가 일치하지 여부에 대한 값으로서 식별 요소의 항목 별로 결과가 생성될 수 있다.

예를 들어, 신경망의 출력에 따라 안경의 착용 여부에 대한 예측 결과가 60% 이상으로 나왔으나 상담 데이터(22) 상에는 안경을 착용한 것으로 기재되지 않은 경우에는 비 일치 항목으로 결과가 생성될 수 있다.

이때, 임계값은 예측 결과에 포함된 식별 요소의 존재 확률의 기준이 되는 값으로 식별 요소 마다 다르게 결정될 수 있으며, 신분증의 종류, 신분증 이미지의 발급 년도, 신분증의 촬영에 이용되는 사용자 단말의 종류, 영상 통화에 이용되는 사용자 단말의 종류, 영상통화의 품질 상태 등에 의해 동적으로 결정되는 가변 값일 수 있다.

이상의 과정을 통해 상담 서버(100)는 신경망을 통해 판단된 예측 결과와 상담원(20)의 상담 데이터를 비교하고 예측 결과와 상담 데이터가 일치하는 정도를 비교 결과로 산출할 수 있다.

다음, 상담 서버(100)는 산출된 비교 결과에 따라 해당 상담 데이터의 검수 여부를 결정한다(S500).

구체적으로, 상담 서버(100)는 비교 결과가 검수 요건을 충족하는 경우, 검수자(40)의 검수 단말기로 해당 상담 데이터의 검수 요청을 전송할 수 있다. 여기서, 검수 기준은 검수 여부를 결정하는 기준으로써, 비 일치 항목의 개수 나 정도로 결정될 수 있다.

또한, 검수 기준은 신경망의 성능 평가 결과에 따라 결정되는 가변값으로 설정될 수 있다. 즉, 신경망의 성능 평가가 낮을수록 검수 기준을 보다 까다롭게 결정될 수 있다. 예를 들어, 신경망의 예측 결과와 상담 데이터의 비 일치 항목의 개수로 검수 대상을 결정하는 경우 신경망의 성능 평가 결과가 개선될 수록 검수 대상이 되는 상담 데이터의 허용 비 일치 항목의 개수를 높여 검수 대상을 단계적으로 줄이는 것도 가능하다. 즉, 검수 결과를 활용한 신경망의 지속적인 학습에 의해 성능 평가 결과가 개선되는 경우 이에 따라 검수 기준을 갱신한다.

즉, 초기 검수 기준으로 비 일치 항목의 개수를 1개로 결정한 경우 상담 데이터와 예측 결과 상 다른 항목이 1개라도 포함되면 상담 데이터를 검수 대상으로 결정하는데, 예를 들어 신경망 예측 결과 상 가르마의 존재 확률이 80% 이상으로 신경망에서 높은 확률로 출력되었으나 가르마가 없는 것으로 상담 데이터(22)에 기재된 경우에는 상담 서버(100)는 해당 상담원(20)의 상담 업무 또는 신경망에 문제가 있다고 판단하고 검수자(40)에게 추가적인 검수 과정을 요청할 수 있다.

상담 서버(100)는 상담 데이터(22)의 비교 결과 상 비 일치 항목이 검수 기준인 비 일치 항목의 개수 이상인 경우, 검수자(40)에게 검수를 요청할 수 있다.

이하, 도 6을 참조하여 구체적인 검수 과정에 대해서 설명한다.

도 6을 참조하면, 상담 서버(100)는 상담원(20)으로부터 수신된 상담 데이터(22)와 예측 결과가 서로 다른 경우, 검수자(40)에게 검수를 요청할 수 있다. 상담 서버(100)는 검수자(40)의 검수 단말에 검수 요청 정보를 송신하고, 검수 단말은 상담 데이터(22), 신경망의 예측 결과, 안면 이미지, 신분증 이미지를 수신하고, 검수자(40)에 의해 수행된 검수 결과로 검수 결과 데이터를 상담 서버(100)로 전송할 수 있다.

검수자(40)는 상담 서버(100)로부터 검수 요청이 있는 경우, 해당 안면 이미지(12)와 신분증 이미지(14)에 기초하여 예측 결과와 해당 상담원(20)의 상담 데이터(22)를 서로 대조하여 비교할 수 있다.

검수 과정을 통해 상담 데이터(22)와 신경망의 예측 결과를 검수한 결과, 해당 상담원(20)의 오 판단으로 판명된 경우에 해당 상담원(20)에 주의를 요청하거나 사후 조치를 통해 본인 인증 과정의 신뢰도를 확보할 수 있다.

반대로, 신경망(30)을 통해 산출된 예측 결과가 부정확한 것으로 판명된 경우, 검수자(40)는 상담 서버로(100)로 검수 결과 데이터를 전송할 수 있다.

여기서, 검수 결과 데이터는 검수자(40)가 상담 업무를 직접 검수한 결과로써, 신경망의 예측 결과 중 오 판단된 부분에 대한 내용을 포함하며 해당 상담 데이터(22)에 대한 검수자(40)에 따른 판단 값이 레이블링된 신분증 이미지(14)나 안면 이미지(12)를 포함할 수 있다.

상담 서버(100)는 검수자(40)에게 검수 결과 데이터를 수신하고, 상담 서버(100)는 검수 결과 데이터를 기초로 학습데이터를 생성하거나 검수 결과 데이터 자체를 학습데이터로 이용하여 신경망(30)을 추가로 학습시킬 수 있다.

이상 본 발명에 따른 상담 서버(11)는 신경망의 정량적으로 수치화된 확률에 따른 지표인 식별 요소의 존재 확률을 이용하여 상담원(20)의 영상통화 상담과정을 객관화하여 평가할 수 있다.

또한, 영상통화 상담원(20)의 상담 업무를 실시간으로 모니터링하여 영상통화를 이용한 비대면 인증의 인증율과 상담 업무의 품질을 높일 수 있으며, 검수 결과를 반영하여 신경망을 재 학습시키는 것을 통해 예측 성능을 높일 수 있다.

이하, 도 7을 참조하여 상담 서버(100)의 구성에 대하여 설명한다.

도 7은 본 발명의 일 실시예에 따른 상담 서버(100)의 구성을 나타낸 블록도이다.

도 7을 참조하면, 상담 서버(100)는 통신부(110), 예측 결과 산출부(120), 비교부(130), 검수 요청부(140) 및 학습부(150)로 구성될 수 있다.

통신부(110)는 사용자(10)나 상담원(20)으로부터 본인 인증에 필요한 데이터들을 송수신할 수 있다.

구체적으로, 통신부(110)는 사용자(10) 로부터 영상통화에서 획득된 사용자의 안면 이미지(12) 또는 신분증 이미지(14)를 수신할 수 있다.

또한, 통신부(110)는 상담원(20)으로부터 영상통화의 본인 인증에 대한 상담원(20)의 상담 데이터(22)를 수신할 수 있다.

또한, 통신부(110)는 검수자(40)에게 상담원(20)의 상담 데이터(22)를 검수하도록 검수요청을 송신할 수 있으며, 검수자(40)로부터 검수결과로 검수 결과 데이터를 재 수신할 수도 있다.

예측 결과 산출부(120)는 신경망(30)을 통해 수신된 안면 이미지(12) 또는 신분증 이미지(14)에 포함된 식별 요소 별 존재 확률에 대한 예측 결과를 산출할 수 있다.

구체적으로, 예측 결과 산출부(120)는 안면 이미지 또는 신분증 이미지에 포함된 식별 요소의 유무에 따라 예측 결과를 산출하도록 학습된 신경망(30)을 이용하여 예측 결과를 산출할 수 있다. 여기서, 식별 요소는 사용자(10)의 비대면 인증을 위해 판단되는 안면 상의 특징 정보의 존재에 대한 정량적 판단 항목일 수 있다.

신경망은 판단 항목 별로 레이블링된 이미지 데이터를 학습 데이터로 이용하며, 기 검증된 실제 상담원의 상담 데이터 또는 검수를 통해 재 레이블링된 데이터들을 학습 데이터로 이용하여 학습될 수 있다.

비교부(130)는 예측 결과 산출부(120)에서 산출된 예측 결과와 상담원(20)의 상담 데이터를 서로 비교하여 비교 결과를 산출할 수 있다.

구체적으로, 비교부(130)는 예측 결과에 포함된 식별 요소의 확률이 임계값을 초과하는 경우에는 해당 식별 요소가 신분증 이미지(14)나 안면 이미지(12)에 존재한다고 판단하고, 예측 결과에 포함된 식별 요소의 확률이 임계값 이하인 경우에는 해당 식별 요소가 신분증 이미지(14)나 안면 이미지(12)에 존재하지 않는다고 판단하며, 신경망의 예측 결과를 전제로 상담원(20)의 상담 데이터와 비교하여 비교 결과를 산출할 수 있다.

검수 요청부(140)는 비교부(130)의 비교 결과에 따라 해당 상담 데이터의 검수 여부를 결정할 수 있다. 검수 요청부(140)는 비교 결과 상담 데이터와 신경망의 출력에 따른 예측 결과가 모두 일치하는 경우에는 해당 상담원(20)의 상담 업무에 문제가 없다고 판단하고 추가적인 검수과정을 거치지 않고 본인 인증 결과를 출력하도록 할 수 있다.

반면, 비교 결과 비 일치 항목이 존재하는 경우에는 해당 상담원(20)의 상담 데이터를 검수하도록 검수자에게 검수요청을 하도록 통신부(110)를 통해 검수 요청을 수행할 수 있다.

또한 학습부(150)는 검수자(40)의 검수 결과 신경망을 통해 산출된 예측 결과가 부정확하다고 판단된 경우, 검수 결과 데이터 또는 해당 상담 데이터를 기준으로 신규의 레이블 정보를 획득하고 레이블링 된 이미지를 학습데이터로 상기 신경망을 학습시킬 수 있다.

이상, 상술한 본발명에 따르면, 신경망을 이용하여 검수가 필요한 검수 대상을 줄여 검수 비용을 절감할 수 있다.

또한, 본 발명은 학습에 필요한 학습데이터를 별도로 제작하는 과정없이 상담원의 상담업무의 과정으로 학습데이터를 축적할 수 있어 효율적이며, 학습환경과 적용환경을 동일하게 설정하여 신경망의 추론 성능을 더욱 높일 수 있다.

나아가, 여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어 모듈 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 씌여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리 모듈에 저장되고, 제어모듈에 의해 실행될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.

따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

10 : 사용자 20 : 상담원
30 : 신경망 100 : 상담 서버
110 : 통신부 120 : 예측 결과 산출부
130 : 비교부 140 : 검수 요청부
150 : 학습부

Claims (13)

1. 상담 서버에서 수행되는 신경망을 이용한 영상통화 기반의 인증 모니터링 방법에 있어서,
   사용자의 안면 이미지 또는 신분증 이미지를 수신하는 단계;
   상기 영상통화 중 비대면 인증에 대한 상담원의 상담 데이터를 수신하는 단계;
   신경망을 통해, 상기 수신된 안면 이미지 또는 신분증 이미지에 포함된 식별 요소 별 존재 확률에 대한 예측 결과를 산출하는 단계;
   상기 산출된 예측 결과 중 임계값 이상의 존재 확률을 갖는 식별 요소의 예측 결과와 상기 상담원의 상담 데이터를 비교하는 단계;
   상기 비교의 결과 상기 식별 요소의 상기 예측 결과와 상기 상담 데이터 간의 비 일치 항목의 개수에 따라 상기 상담 데이터의 검수를 검수자에게 요청하는 단계; 및
   상기 검수 요청에 따라 상기 상담 데이터와 상기 예측 결과를 검수한 결과 상기 신경망을 통해 산출된 예측 결과가 부정확하다고 판단된 경우, 상기 검수자의 검수 결과 데이터로 레이블링 된 상기 안면 이미지 또는 상기 신분증 이미지를 학습데이터로 상기 신경망을 학습시키는 단계를 포함하고,
   상기 임계값은 신분증 또는 영상 통화의 특성에 따라 동적으로 결정되는 가변 값인 것을 특징으로 하는 신경망을 이용한 영상통화 기반의 인증 모니터링 방법.
2. 제 1 항에 있어서,
   상기 식별 요소는 상기 사용자의 비대면 인증을 위해 판단되는 미리 결정된 항목 또는 항목 별 척도로 구분되는 이미지 상의 특징 정보인 것을 특징으로 하는 신경망을 이용한 영상통화 기반의 인증 모니터링 방법.
3. 제 1 항에 있어서,
   상기 신경망은 기 검증된 상담 데이터를 기준으로 레이블링 된 이미지를 학습 데이터로 이용하여 학습된 것을 특징으로 하는 신경망을 이용한 영상통화 기반의 인증 모니터링 방법.
4. 제 1 항에 있어서,
   상기 상담 데이터는 상기 안면 이미지 또는 상기 신분증 이미지에 포함된 식별 요소들의 존재 여부에 대한 상담원의 수기 작성된 메타 정보인 것을 특징으로 하는 신경망을 이용한 영상통화 기반의 인증 모니터링 방법.
5. 제 1 항에 있어서,
   상기 검수 요청에 따라 상기 상담 데이터와 상기 예측 결과를 검수하는 단계; 및
   상기 검수 결과 상기 신경망을 통해 산출된 예측 결과가 부정확하다고 판단된 경우, 상기 상담 데이터를 기준으로 레이블링 된 상기 안면 이미지 또는 상기 신분증 이미지를 학습데이터로 상기 신경망을 학습시키는 단계를 더 포함하는 것을 특징으로 하는 신경망을 이용한 영상통화 기반의 인증 모니터링 방법.
6. 제 1 항에 있어서,
   상기 비교의 결과에 따라 상기 상담 데이터의 검수를 요청하는 단계는,
   상기 임계값 이상의 존재 확률을 갖는 식별 요소의 예측 결과와 상기 상담원의 상담 데이터 간 비교 결과가 미리 결정된 검수 기준을 만족하는 경우, 상기 상담 데이터의 검수를 요청하는 단계를 포함하는 신경망을 이용한 영상통화 기반의 인증 모니터링 방법.
7. 신경망을 이용한 영상통화 기반의 인증 모니터링을 수행하는 상담 서버에 있어서,
   사용자의 안면 이미지 또는 신분증 이미지, 및 상기 영상통화 중 비대면 인증에 대한 상담원의 상담 데이터를 수신하는 통신부;
   신경망을 통해 상기 수신된 안면 이미지 또는 신분증 이미지에 포함된 식별 요소 별 존재 확률에 대한 예측 결과를 산출하는 예측 결과 산출부;
   상기 산출된 예측 결과 중 임계값 이상의 존재 확률을 갖는 식별 요소의 예측 결과와 상기 상담원의 상담 데이터를 비교하는 비교부;
   상기 비교의 결과 상기 식별 요소의 상기 예측 결과와 상기 상담 데이터 간의 비 일치 항목의 개수에 따라 상기 상담 데이터의 검수를 검수자에게 요청하는 검수 요청부; 및
   상기 검수 요청에 따라 상기 상담 데이터와 상기 예측 결과를 검수한 결과 상기 신경망을 통해 산출된 예측 결과가 부정확하다고 판단된 경우, 상기 검수자의 검수 결과 데이터로 레이블링 된 상기 안면 이미지 또는 상기 신분증 이미지를 학습데이터로 상기 신경망을 학습시키는 학습부를 포함하고,
   상기 임계값은 신분증 또는 영상 통화의 특성에 따라 동적으로 결정되는 가변 값인 것을 특징으로 하는 상담 서버.
8. 제 7 항에 있어서,
   상기 식별 요소는 상기 사용자의 비대면 인증을 위해 판단되는 미리 결정된 항목 또는 항목 별 척도로 구분되는 이미지 상의 특징 정보인 것을 특징으로 하는 상담 서버.
9. 제 7 항에 있어서,
   상기 신경망은 기 검증된 상담 데이터를 기준으로 레이블링 된 이미지를 학습 데이터로 이용하여 학습된 것을 특징으로 하는 상담 서버.
10. 제 7 항에 있어서,
    상기 상담 데이터는 상기 안면 이미지 또는 상기 신분증 이미지에 포함된 식별 요소들의 존재 여부에 대한 상담원의 수기 작성된 메타 정보인 것을 특징으로 하는 상담 서버.
11. 제 7 항에 있어서,
    상기 검수 요청에 따라 상기 상담 데이터와 상기 예측 결과를 검수하는 검수부를 더 포함하고,
    상기 학습부는 상기 검수 결과 상기 신경망을 통해 산출된 예측 결과가 부정확하다고 판단된 경우, 상기 상담 데이터를 기준으로 레이블링 된 상기 안면 이미지 또는 상기 신분증 이미지를 학습데이터로 상기 신경망을 학습시키는 것을 특징으로 하는 상담 서버.
12. 제 7 항에 있어서,
    상기 검수 요청부는,
    상기 임계값 이상의 존재 확률을 갖는 식별 요소의 예측 결과와 상기 상담원의 상담 데이터 간 비교 결과가 미리 결정된 검수 기준을 만족하는 경우, 상기 상담 데이터의 검수를 요청하는 것을 특징으로 하는 상담 서버.
13. 제 1 항 내지 제 6 항 중 어느 한 항에 따른 신경망을 이용한 영상통화 기반의 인증 모니터링 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체.

Images