KR102524163B1 - 신분증 인식 방법 및 장치 - Google Patents

Abstract

신분증 인식 방법 및 장치가 개시된다. 본 개시의 일 실시 예에 따른 신분증 인식 방법은, 신분증 이미지를 획득하는 단계와, 영상 메트릭 정류(image metric rectification) 알고리즘을 기반으로, 신분증 이미지의 신분증 영역으로부터 직교 수정된 신분증 영역을 추출하는 단계와, 직교 수정된 신분증 영역에서 사진 영역 및 문자 영역을 각각 검출하는 단계를 포함할 수 있다.

Description

신분증 인식 방법 및 장치{METHOD AND APPARATUS FOR DETECTING IDENTITY CARD}

본 개시는 영상 메트릭 정류(image metric rectification) 알고리즘을 통해 신분증이 촬영된 이미지의 정류 및 자동 인식을 수행하는 신분증 인식 방법 및 장치에 관한 것이다.

최근에는 사회 모든 분야에 있어서 비대면 방식이 적용되고 있다. 비대면은 다른 말로 디지털 소통이라고 할 수 있다. 비대면 방식에 따른 디지털 소통을 하려면 먼저 디지털 전환이 이루어져야 한다. 온라인 교육, 화상회의, 재택근무 등이 디지털 전환의 예다.

특히 온라인 시험은 갑자기 시행된 경우가 많아 커닝 등의 부정행위가 발생할 우려가 있지만, 4차 산업혁명 시대에 걸맞게 대규모 현장 시험의 사회적 비용 및 시간을 줄여주는 장점을 가진다.

일반적으로 기업들은 채용 시험부터 면허 자격을 취득하기 위한 자격 시험 또한 온라인으로 진행하고 있다. 기업뿐만 아니라 유치원, 중고등학교부터 대학교에 이르기까지 온라인으로 수업을 진행하면서 중간기말고사 등의 시험을 온라인으로 진행하는 추세다.

이 경우, 시험자의 신분을 확인하기 위해, 시험장에 입장하거나 시험을 수행하기 전, 시험장에 구비된 카메라 또는 시험자의 단말에 설치된 카메라를 통해 신분증 이미지를 촬영하는 등의 방법으로 신분증 이미지를 획득하게 된다.

이때 촬영된 신분증 이미지는, 사진과 내용을 인식하기 용이하도록 정해진 프레임에 맞게 촬영될 수 있지만, 특히, 시험장에 구비된 카메라에 신분증을 가져가 촬영해야 하는 상황에서는 다양한 형태로 신분증 이미지가 촬영될 수 있다.

이에, 정해진 프레임을 벗어나는 다양한 형태의 신분증 이미지를 사진과 내용 인식에 용이하도록 변환하고 인식할 수 있는 알고리즘 및 그 알고리즘의 정확도 향상 및 비용 감소 등의 방안에 대한 필요성이 대두되고 있다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

선행기술 1: 미국 공개특허공보 2021/0192260 (2021.06.24)

본 개시의 실시 예의 일 과제는, 다양한 형태의 신분증 이미지에 대하여, 영상 메트릭 정류 알고리즘을 통해 비율을 보존하면서 직교 수정된 상태로 변환하여 사진 영역과 문자 영역을 추출하는데 있다.

또한 본 개시의 실시 예의 일 과제는, 직교 수정된 상태로 변환 추출된 사진 영역과 문자 영역에 대해, 머신러닝 기반 검출 및 분류 알고리즘을 적용하여 활용 가능하도록 하는데 있다.

본 개시의 실시예의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.

본 개시의 일 실시 예에 따른 신분증 인식 방법은, 신분증 이미지를 획득하는 단계와, 영상 메트릭 정류(image metric rectification) 알고리즘을 기반으로, 신분증 이미지의 신분증 영역으로부터 직교 수정된 신분증 영역을 추출하는 단계와, 직교 수정된 신분증 영역에서 사진 영역 및 문자 영역을 각각 검출하는 단계를 포함할 수 있다.

이 외에도, 본 발명의 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 개시의 실시 예에 의하면, 다양한 형태의 신분증 이미지에 대하여, 영상 메트릭 정류 알고리즘을 통해 비율을 보존하면서 직교 수정된 상태로 변환함으로써, 사진 영역과 문자 영역의 추출 정확도를 향상시킬 수 있다.

또한, 직교 수정된 상태로 변환 추출된 사진 영역과 문자 영역에 대해, 머신러닝 기반 검출 및 분류 알고리즘을 적용하여, 신분증을 기반으로 하는 다양한 분야에서 활용 가능하도록 할 수 있다.

또한, 비대면 상황에서 획득한 신분증 이미지를 기반으로, 신분증 내용 검출 및 본인 대조를 실시간 수행함으로써, 신분증과 사용자가 일치하지 않는 상황을 검출하고 즉각적 대응이 가능하도록 할 수 있다.

본 개시의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시 예에 따른 신분증 인식 시스템을 개략적으로 도시한 도면이다.
도 2는 일 실시 예에 따른 신분증 인식 장치를 개략적으로 나타낸 블록도이다.
도 3은 일 실시 예에 따른 신분증의 얼굴 정보 기반 선분 검출을 설명하기 위한 예시도이다.
도 4는 일 실시 예에 따른 원근 변환 및 좌표계 변환을 설명하기 위한 예시도이다.
도 5는 일 실시 예에 따른 순환 일관성을 통해 소실점을 검출하는 과정을 설명하기 위한 도면이다.
도 6 및 도 7은 일 실시 예에 따른 비닝(binning) 과정을 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른 신분증의 가장자리 선분 및 꼭짓점 검출을 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 원근 변환 행렬을 이용한 사각영역의 직교 수정을 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른 신분증 자동 정류화를 이용한 사진 영역 및 신분증 번호 추출 결과의 예시도이다.
도 11은 일 실시 예에 따른 신분증 인식 방법을 설명하기 위한 흐름도이다.

본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다.

그러나 본 개시는 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 개시가 완전하도록 하며, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 개시의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 개시를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하, 본 개시에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 일 실시 예에 따른 신분증 인식 시스템을 개략적으로 도시한 도면이다.

도 1을 참조하면, 신분증 인식 시스템(1)은 신분증 인식 장치(100), 사용자 단말(200), 서버(300) 및 네트워크(400)를 포함할 수 있다.

신분증 인식 시스템(1)은 신분증이 찍힌 이미지에서 사진 영역과 문자 영역(숫자 영역 포함)을 추출하기 위한 것으로, 사진 영역과 문자 영역에 대해 영상 메트릭 정류(image metric rectification) 알고리즘을 통해 비율을 보존하며 직교 수정된 상태로 추출할 수 있다.

이러한 신분증 인식 시스템(1)은 신분증이 촬영된 이미지에서 신분증 영역을 검출하고, 신분증에 있는 각종 정보를 직교 검출하기 위해, 먼저 신분증 이미지에서 신분증 영역을 검출한 후, 검출된 신분증 영역에 대한 영상 메트릭 정류(또는 수정)를 수행할 수 있다.

그리고 신분증 인식 시스템(1)은 검출한 사진 영역 및 문자 영역의 내용을 자동 인식하거나 다른 데이터와의 비교 및 분류를 수행하는 머신러닝 기반 알고리즘을 적용하여, 사진 영역 및 문자 영역을 활용할 수 있다.

일 실시 예에서는, 주민등록증을 신분증의 실시 예로 하여 설명하고 있으나, 이에 한정되지 않고, 사진이 포함된 모든 개인 식별 증명 서류에 대해서도 신분증 인식 시스템(1)을 적용할 수 있다. 또한 실시 예에 따라서는 사진이 포함되지 않더라도 신분증 내 일부 영역(예를 들어, 도장 크기, 서명 공간 크기 등)의 크기가 기 설정된 신분증도 가능할 수 있다.

한편 일 실시 예에서는, 사용자들이 사용자 단말(200)에서 구현되는 어플리케이션 또는 웹사이트에 접속하여, 신분증 인식 장치(100)의 영상 메트릭 정류 알고리즘 수행 및 설정 변경, 그리고 머신러닝 네트워크를 생성 및 학습하는 등의 과정을 수행할 수 있다.

이러한 사용자 단말(200)은 사용자가 조작하는 데스크 탑 컴퓨터, 스마트폰, 노트북, 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다.

또한, 사용자 단말(200)은 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 단말기 일 수 있다. 사용자 단말(200)은 상술한 내용에 제한되지 아니하며, 웹 브라우징이 가능한 단말기는 제한 없이 차용될 수 있다.

일 실시 예에서, 신분증 인식 시스템(1)은 신분증 인식 장치(100) 및/또는 서버(300)에 의해 구현될 수 있다.

일 실시 예에서, 신분증 인식 장치(100)는 서버(300)에서 구현될 수 있는데, 이때 서버(300)는 신분증 인식 장치(100)가 포함되는 신분증 인식 시스템(1)을 운용하기 위한 서버이거나 신분증 인식 장치(100)의 일부분 또는 전 부분을 구현하는 서버일 수 있다.

일 실시 예에서, 서버(300)는 신분증이 촬영된 이미지에서 신분증 영역을 검출하고, 신분증 영역 내의 각종 정보에 대해 메트릭 수정 알고리즘을 통해 비율을 보존하며 직교 수정된 상태로 추출하는 전반의 프로세스에 대한 신분증 인식 장치(100)의 동작을 제어하는 서버일 수 있다.

또한, 서버(300)는 신분증 인식 장치(100)를 동작시키는 데이터를 제공하는 데이터베이스 서버일 수 있다. 그 밖에 서버(300)는 웹 서버 또는 어플리케이션 서버 또는 딥러닝 네트워크 제공 서버를 포함할 수 있다.

그리고 서버(300)는 각종 인공 지능 알고리즘을 적용하는데 필요한 빅데이터 서버 및 AI 서버, 각종 알고리즘의 연산을 수행하는 연산 서버 등을 포함할 수 있다.

또한 본 실시 예에서, 서버(300)는 상술하는 서버들을 포함하거나 이러한 서버들과 네트워킹 할 수 있다. 즉, 본 실시 예에서, 서버(300)는 상기의 웹 서버 및 AI 서버를 포함하거나 이러한 서버들과 네트워킹 할 수 있다.

신분증 인식 시스템(1)에서 신분증 인식 장치(100) 및 서버(300)는 네트워크(400)에 의해 연결될 수 있다. 이러한 네트워크(400)는 예컨대 LANs(local area networks), WANs(Wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 개시의 범위가 이에 한정되는 것은 아니다. 또한 네트워크(400)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다.

또한, 네트워크(400)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(400)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(400)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 네트워크(400)는 사물 등 분산된 구성 요소들 간에 정보를 주고받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신을 지원할 수 있다.

도 2는 일 실시 예에 따른 신분증 인식 장치를 개략적으로 나타낸 블록도이다.

도 2를 참조하면, 신분증 인식 장치(100)는 통신부(110), 사용자 인터페이스(120), 메모리(130) 및 프로세서(140)를 포함할 수 있다.

통신부(110)는 네트워크(400)와 연동하여 외부 장치 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다. 또한 통신부(110)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

즉, 프로세서(140)는 통신부(110)를 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다.

일 실시 예에서, 사용자 인터페이스(120)는 신분증 인식 장치(100)의 동작(예컨대, 네트워크의 파라미터 변경, 네트워크의 학습 조건 변경 등)을 제어하기 위한 사용자 요청 및 명령들이 입력되는 입력 인터페이스를 포함할 수 있다.

그리고 일 실시 예에서, 사용자 인터페이스(120)는 신분증 정류 및 인식 결과를 출력하는 등의 출력 인터페이스를 포함할 수 있다. 즉, 사용자 인터페이스(120)는 사용자 요청 및 명령에 따른 결과를 출력할 수 있다. 이러한 사용자 인터페이스(120)의 입력 인터페이스와 출력 인터페이스는 동일한 인터페이스에서 구현될 수 있다.

메모리(130)는 신분증 인식 장치(100)의 동작의 제어(연산)에 필요한 각종 정보들을 저장하고, 제어 소프트웨어를 저장할 수 있는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다.

메모리(130)는 하나 이상의 프로세서(140)와 전기적 또는 내부 통신 인터페이스로 연결되고, 프로세서(140)에 의해 실행될 때, 프로세서(140)로 하여금 신분증 인식 장치(100)를 제어하도록 야기하는(cause) 코드들을 저장할 수 있다.

여기서, 메모리(130)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media) 등의 비 일시적 저장매체이거나 램(RAM) 등의 일시적 저장매체를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(130)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD. CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.

그리고, 메모리(130)에는 본 개시에 따른 학습을 수행하기 위한 알고리즘에 관련된 정보가 저장될 수 있다. 그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(130)에 저장될 수 있으며, 메모리(130)에 저장된 정보는 서버 또는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.

프로세서(140)는 신분증 인식 장치(100)의 전반적인 동작을 제어할 수 있다. 구체적으로, 프로세서(140)는 메모리(130)를 포함하는 신분증 인식 장치(100)의 구성과 연결되며, 메모리(130)에 저장된 적어도 하나의 명령을 실행하여 신분증 인식 장치(100)의 동작을 전반적으로 제어할 수 있다.

프로세서(140)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(140)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(Hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다.

프로세서(140)는 일종의 중앙처리장치로서 메모리(130)에 탑재된 제어 소프트웨어를 구동하여 신분증 인식 장치(100)의 동작을 제어할 수 있다. 프로세서(140)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령어로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다.

일 실시 예에서, 프로세서(140)는 신분증이 찍힌 이미지에서 증명사진 영역과 번호 영역을 추출하기 위해서, 사진 영역과 번호 영역을 영상 메트릭 정류 알고리즘을 통해 비율을 보존하며 직교 수정된 상태로 추출할 수 있다.

즉, 프로세서(140)는 신분증이 촬영된 이미지에서 신분증 영역을 검출하고, 신분증의 실제 종횡비를 활용하여, 검출된 신분증 영역에 대한 영상 메트릭 수정을 수행한 후 신분증 내용을 인식할 수 있다.

프로세서(140)는 영상 메트릭 정류를 위해서, 먼저 신분증 이미지에서 신분증의 네 꼭짓점들을 추출할 수 있다. 이하에서는 신분증 이미지에서 꼭짓점들을 추출하는 방법에 대해 설명한다.

도 3은 일 실시 예에 따른 신분증의 얼굴 정보 기반 선분 검출을 설명하기 위한 예시도이다.

프로세서(140)는 신분증 이미지에서 선분을 검출한 뒤, 이 선분들을 이용해 신분증 영역을 빈틈없이 둘러싸는 사각형을 검출할 수 있다. 프로세서(140)는 이 사각형의 네 꼭짓점을 이용해, 이후 직교 수정을 진행할 수 있다.

프로세서(140)는 라인 검출기(예를 들어, 오픈 소스인 Fast Line Detector)를 사용하여, 도 3(a)에 도시된 바와 같이, 초기 선분을 검출할 수 있다. 이때, 프로세서(140)는 노이즈 선분들의 검출을 막기 위해, 예를 들어, 가우시안 블러를 사용해 이미지를 전처리 한 후 선분을 검출할 수 있다. 여기서, 가우시안 블러의 커널 사이즈는 (5,5)가 사용될 수 있다.

검출된 초기 선분에는 얼굴 사진의 머리카락이나 배경, 신분증의 무늬 등에서 신분증의 가로 세로 방향과 상관없는 선분들이 포함될 수 있다. 따라서, 프로세서(140)는 이와 같은 선분들을 걸러 내어 올바른 소실점을 찾기 위해 신분증의 얼굴 정보를 사용할 수 있다.

일 실시 예에서는, 신분증의 얼굴 사진에서 두 눈을 연결하는 선분을 얼굴의 가로 선분이라 하고, 두 눈의 중심과 입의 중심을 연결하는 선분을 얼굴의 세로 선분이라고 할 때, 이 두 선분들을 사용하여 신분증 전체의 가로 및 세로 방향과 어긋나는 선분들을 거칠게 걸러 낼 수 있다.

이러한 과정을 수행하기 위해, 프로세서(140)는 얼굴 검출기를 사용하여, 신분증 이미지(또는 신분증 이미지의 사진 영역)로부터 얼굴 랜드마크(예를 들어, 68개)를 출력할 수 있다. 이때, 프로세서(140)는 데이터에 정의되어 있는 얼굴 랜드마크의 인덱스에 따라 필요한 인덱스들을 추출할 수 있다(이 경우, 왼쪽 눈, 오른쪽 눈, 입이 해당될 수 있다).

이를 이용해, 프로세서(140)는 왼쪽 눈의 중심 및 오른쪽 눈의 중심을 연결하는 얼굴의 수평 선분과, 양 눈의 중심 및 입의 중심을 연결하는 얼굴의 수직 선분을 검출할 수 있다.

그리고, 프로세서(140)는 초기에 검출된 선분들을 얼굴의 수평, 수직 선분과 비교하여 22.5° 이내에 들어오도록 필터링 할 수 있다.

일 실시 예에서는, 이 방식을 통해 수평 방향으로 걸러진 선분들은 수평 소실점을 찾는 데 사용하고, 수직 방향으로 걸러진 선분들은 수직 소실점을 찾는 데 사용할 수 있다.

도 3은 얼굴 정보 기반 선분 검출 과정을 시각화 한 것으로, 도 3(b)는 신분증 얼굴의 가로 선분을 사용하여 필터링 한 가로 선분을 나타내고, 도 3(c)는 신분증 얼굴의 세로 선분을 사용하여 필터링 한 세로 선분을 나타낸다.

그리고 프로세서(140)는 얼굴 정보를 이용해 걸러진 수평 방향의 선분 및 수직 방향의 선분들을 사용하여, 각각에 대응하는 소실점(Vanishing Point)을 검출할 수 있다. 예를 들어, 소실점을 검출하는 알고리즘은 RANSAC이 사용될 수 있다.

프로세서(140)는 임의의 선분 두 개를 선정해 해당 선분을 지나가는 소실점을 검출하고, 나머지 모든 선분들에 대하여, 선분의 중심과 현재 소실점까지의 각도를 산출할 수 있다. 그리고 프로세서(140)는 상기 산출한 각도가 임계값 보다 작으면 선분의 길이를 소실점의 가중치에 더할 수 있다.

이때, 프로세서(140)는, 상술한 임의의 선분 두 개를 선정해 소실점을 검출하고 소실점의 가중치에 더하는 과정을 반복하여, 가장 높은 가중치를 가지는 소실점을 검출할 수 있다.

즉, 프로세서(140)는 상기의 과정을 수직 방향과 수평 방향 각각에 적용하여 두 개의 소실점을 얻을 수 있다.

도 4는 일 실시 예에 따른 원근 변환 및 좌표계 변환을 설명하기 위한 예시도이고, 도 5는 일 실시 예에 따른 순환 일관성을 통해 소실점을 검출하는 과정을 설명하기 위한 도면이며, 도 6 및 도 7은 일 실시 예에 따른 비닝(binning) 과정을 설명하기 위한 도면이고, 도 8은 일 실시 예에 따른 신분증의 가장자리 선분 및 꼭짓점 검출을 설명하기 위한 도면이다.

일 실시 예에서는, 보다 정확한 신분증 가장자리 선을 검출하기 위해 이미지에 호모그래피 변환(Homography transform)을 적용할 수 있다. 일 실시 예에서, 호모그래피 변환은 두 개의 소실점을 이용한 원근 변환(Perspective transform)단계와 좌표계 변환 단계를 통해 수행될 수 있다.

도 4를 참조하면, 원근 변환은 도 4(a)의 원근이 존재하는 입력 이미지를 도 4(b)의 원근이 제거된 이미지로 변환하는 것이다.

프로세서(140)는 원근 변환을 수행하기 위해 상기에서 검출한 두 개의 소실점을 사용할 수 있다.

보다 구체적으로, 프로세서(140)는 두 개의 소실점 u, v에 대한 소실선(vanishing line)

를 다음 수학식 1과 같이 정의할 수 있다.

이러한 수학식 1을 이용하여, 프로세서(140)는 다음 수학식 2와 같은 원근 변환 행렬 P를 생성할 수 있다.

이 원근 변환 행렬 P는 두 소실점을 무한으로 보내 이미지에서 원근을 제거할 수 있다.

그러나 원근 변환을 진행하면 원근이 제거된 이미지를 얻을 수 있지만, 도 4(b)와 같이, 이미지의 x, y축과 정렬되지 않은 결과를 얻게 될 수 있다.

이를 보정하기 위해, 프로세서(140)는 좌표계 변환을 수행하여 도 4(c)와 같은 이미지를 얻을 수 있다.

보다 구체적으로, 프로세서(140)는 두 소실점에 원근 변환 행렬 P를 적용한 소실점을 각각 u′, v′라고 할 때, 다음 수학식 3 및 수학식 4와 같이 좌표 변환 행렬 A를 정의할 수 있다. 이 좌표 변환 행렬 A는 표준 좌표계의 요소를 u′, v′의 좌표로 변환할 수 있다.

따라서, 프로세서(140)는 원근 변환 행렬 A의 역행렬과 좌표계 변환 행렬 P의 곱(A^-1P)을 통해 최종적인 호모그래피 행렬을 정의할 수 있다.

즉, 프로세서(140)는 이지미의 모든 픽셀과 선분에 대해 상기 호모그래피 행렬을 적용하여, 도 4(c)와 같은 이미지를 검출할 수 있다.

하지만 이 과정에서 배경의 노이즈로 인해 잘못된 소실점이 선택될 경우, 좌표계가 잘못 변환되는 문제가 발생할 수 있다. 다시 말해, 이 단계가 잘못되면 이후 모든 단계에서 신분증 사진이 올바르지 않게 직교 투영될 수 있기 때문에, 이 단계에서의 강건성을 획득하는 것이 필수적이다.

즉, 프로세서(140)는 더욱 정확한 직교화를 위해 도 5와 같은 순환 일관성을 이용할 수 있다.

도 5를 참조하면, 프로세서(140)는 가장 높은 가중치를 가지는 소실점 k개를 선정한 후, 각 소실점에 대한 원근 변환 행렬을 생성할 수 있다. 그리고 프로세서(140)는 이 원근 변환 행렬을 이용해 이미지와 이미지의 모든 선분에 대해 좌표계 변환을 수행할 수 있다.

또한, 프로세서(140)는 좌표계 변환이 수행된 이미지에서 또다시 얼굴 검출을 수행한 뒤, 좌표계 변환이 적용된 얼굴 선분을 비교해 순환 일관성(cycle consistency)을 검사할 수 있다. 이때, 두 쌍의 얼굴 선분이 일치하면 해당 소실점은 올바른 소실점으로 인식되어 다음 단계로 넘어가게 된다.

따라서, 일 실시 예에서는, 이러한 순환 일관성을 이용해 신분증 사진에서 올바른 소실점을 프로그램이 자가 검사할 수 있게 하여 강건성을 향상시킬 수 있다.

즉, 프로세서(140)는 원근 변환한 이미지의 모든 픽셀과 선분에 대해 호모그래피 변환을 적용하여 획득한 이미지의 선분들을 이용해, 신분증을 빈틈없이 둘러싸는 사각형을 검출하는 과정을 수행할 수 있다. 이하에서는, 신분증의 가장자리 선분을 검출하는 과정을 구체적으로 설명하도록 한다.

이미지의 상태에 따라, 배경 등에서 신분증과 관계없는 긴 선분이 신분증의 가장자리 선분으로 인식될 수 있다.

일반적으로 특정 종류의 모든 신분증에서 얼굴이 차지하는 영역이 동일하다고 가정할 수 있기 때문에, 프로세서(140)는 binning 과정을 통해, 상기에서 검출한 얼굴 선분들을 이용하여 관계없는 선분들을 걸러내고 신뢰성 있는 신분증 가장자리 선분을 결정할 수 있다.

이를 위해, 프로세서(140)는 도 6에 도시된 바와 같이, 얼굴로부터 검출한 가로, 세로 선분을 단위 길이로 하여 얼굴을 중심으로 상하좌우의 후보 영역을 생성할 수 있다. 이후, 프로세서(140)는 후보 영역들에 일정한 간격을 두어 bin을 생성할 수 있다.

일 실시 예에서는, 예를 들어, 도 7에 도시된 바와 같이, 주민등록증 사진의 경우 두 개의 신분증의 가로 선분 후보 영역은, 얼굴 세로 선분의 길이를 단위길이로 하여 이미지 공간 상의 위쪽 방향으로 1 단위 길이에서 4 단위 길이 영역과 아래 방향으로 4 단위 길이에서 8 단위 길이 영역으로 결정될 수 있다.

그리고 프로세서(140)는 모든 선분들을 대상으로 해당 선분의 중심이 속한 bin에 선분의 길이를 가중치로 더할 수 있다. 프로세서(140)는 가중치 계산이 끝난 뒤, 가장 가중치가 높은 bin의 선분들 중 가장 긴 길이를 가지는 선분을 해당 영역의 선분으로 결정할 수 있다. 이때 각 영역의 bin 길이는 0.5 단위 길이일 수 있다.

즉, 프로세서(140)는 후보 영역들 중 긴 선분들이 많은 영역을 랭킹을 매겨 고른 후 해당 영역 안에서 가장 긴 선분을 선택하여 신분증의 가장자리를 대표하는 선분을 올바르게 검출할 수 있다.

일 실시 예에서는, 상기 binning 과정에 대해 도 6 및 도 7과 같이 수행하면, 도 8(b)와 같이 신분증을 빈틈없이 둘러싸는 가장자리 선분들을 검출할 수 있다. 도 8(a)는 binning을 수행하기 전 모든 선분을 시각화한 것으로, 빨간색 선분은 가로 선분이고, 초록색 선분은 세로 선분이다. 즉, 일 실시 예에서는, 도 8(a)의 모든 선분들에 대해 binning을 수행하여 도 8(b)와 같은 신분증의 네 가장자리 선분을 검출할 수 있다.

또한, 도 8(b)의 신분증의 가장자리에 해당하는 네 개의 선분을 각각

,

,

,

라고 할 때, 프로세서(140)는 도 8(c)에 도시된 신분증의 네 꼭짓점을 다음 수학식 5와 같이 선분을 외적하여 결정할 수 있다.

이와 같이, 신분증의 네 개의 꼭짓점이 검출되면, 프로세서(140)는 네 개의 꼭짓점을 사용하여, 영상 메트릭 정류 과정을 수행할 수 있다. 이에 영상 메트릭 정류를 거쳐 직교 수정된 신분증 이미지가 도출되게 된다.

도 9는 일 실시 예에 따른 원근 변환 행렬을 이용한 사각영역의 직교 수정을 설명하기 위한 도면이다.

도 9에 도시된 바와 같이, 프로세서(140)는 촬영된 이미지에 있는 신분증의 네 꼭짓점의 위치와 각 꼭짓점의 변환 후 위치를 알고 있을 때, 이를 이용해 신분증 이미지를 직교 수정된 상태로 정류화 할 수 있다. 이때, 각 꼭짓점의 변환 후 위치는 신분증의 실제 크기를 반영하여 (0, 0), (0, 550), (860, 550), (860, 0)으로 주어질 수 있다.

상술한 바와 같이, 일 실시 예에서는, 이미지에서 신분증의 네 꼭짓점 위치

와 해당 꼭짓점 변환 후 위치

가 주어졌다고 가정할 수 있다.

프로세서(140)는 상기의 네 개의 꼭짓점으로부터 다음 수학식 6과 같은 3 X 3 원근 변환 행렬(perspective transform matrix) H를 정의할 수 있다.

이러한 원근 변환 행렬 H를 이미지의 각 픽셀에 다음 수학식 7과 같이 적용하여 이미지를 직교 수정된 상태로 변환할 수 있다.

상술한 원근 변환을 이용한 사각영역의 직교 수정은 다음 표 1과 같은 오픈 소스 라이브러리 코드로 구현될 수 있다.

도 10은 일 실시 예에 따른 신분증 자동 정류화를 이용한 사진 영역 및 신분증 번호 추출 결과의 예시도이다.

도 10(a)는 신분증이 찍힌 이미지이고, 도 10(b)는 영상 메트릭 정류를 통해 추출한 신분증 이미지이다. 즉, 도 10(a) 및 도 10(b)는 획득한 이미지에서 자동으로 신분증 영역을 검출하고, 검출된 신분증 영역에 메트릭 수정을 수행한 결과를 나타낸다.

일 실시 예에서, 상기의 과정은 자동으로 이루어질 수 있고, 특별한 제한사항을 사용자에게 요구하지 않을 수 있다. 다만 이에 한정되지 않고, 사용자의 필요에 따라 설정사항 등이 변경될 수 있다.

또한, 도 10(c)와 도 10(d)는 도 10(b)에서 추출한 증명사진 영역과 신분증 번호 영역의 추출 결과를 나타낸다. 이와 같이, 일 실시 예에서는, 신분증 종류에 따라 정해진 사진 영역과 번호영역을 정류화 된 이미지에서 추출할 수 있다.

한편, 일 실시 예에서는, 사용자가 비대면 시험을 보는 등의 비대면 상황에서, 응시자의 얼굴과 신분증의 일치 여부를 판단할 수 있다. 즉, 프로세서(140)는 신분증 인식 구간에서 인공신경망을 이용해 화면 내의 응시자의 얼굴과 신분증을 탐지할 수 있다. 이때, 프로세서(140)는 신분증 인식에 실패하였을 경우 재 탐색이 필요하다는 요청을 응시자에게 전송할 수 있다.

보다 구체적으로, 프로세서(140)는 응시자의 얼굴과 신분증에 있는 응시자 사진을 이용하여 본인 확인을 수행할 수 있다. 예를 들어, 프로세서(140)는 얼굴의 유사도 분석을 통하여 본인 확인을 진행하며, 이 과정에서 각 사진에 있는 얼굴의 특징점 추출 및 대조를 이용할 수 있다.

또한, 일 실시 예에서는, 검출한 신분증 번호 영역을 활용할 수 있는데, 인공신경망을 통한 신분증 인식 알고리즘으로 신분증 내의 이름, 생년월일을 추출할 수 있다. 그리고 일 실시 예에서는, 응시자의 신분증 정보(이름, 생년월일)를 이용하여 본인 확인에 이용할 수 있다.

또한, 일 실시 예에서는, 응시자 화면 및 카메라 녹화 화면에 대한, 저장 및 전송에 보안을 강화하기 위하여, 인증 및 암호화 알고리즘을 적용할 수 있다. 예를 들어, 일 실시 예에서는, 시험의 증빙을 위해 응시자의 화면과 카메라 데이터를 서버에 전송하고 녹화할 수 있으며, 이때 개인정보 보호를 위한 암호화 기술을 적용할 수 있다.

그리고 일 실시 예에서는, 암호화를 통해 영상 및 음성데이터를 전송 및 저장할 수 있다. 이때 일 실시 예에서는, 응시자가 접속하면 서버에서 암호화키가 전송되도록 하여, 종단 간 암호화를 통해 영상 및 음성데이터를 서버로 전송하고, 서버에는 암호화된 영상 및 음성데이터가 저장되도록 할 수 있다. 저장된 데이터는 인증된 관리자만 접속 및 열람 가능하도록 하여, 신분증 사진 영역에 대해 활용할 수 있도록 제공할 수 있다.

도 11은 일 실시 예에 따른 신분증 인식 방법을 설명하기 위한 흐름도이다.

도 11을 참조하면, S100단계에서, 프로세서(140)는 신분증 이미지를 획득한다.

이때, 신분증은 사진이 포함된 것일 수 있으며(예를 들어, 주민등록증, 운전면허증 등), 신분증의 종횡비가 기 설정될 수 있고, 신분증 내 사진 영역의 크기가 기 설정될 수 있다.

또한, 일 실시 예에서는, 사용자가 신분증을 고정한 상태에서 카메라를 이동시켜 신분증을 촬영하는 상황뿐만 아니라, 특히, 카메라가 비대면 현장 등에 고정되어 있는 상태에서 신분증을 이동시켜 신분증을 촬영하는 상황에서 적용 가능할 수 있다.

즉, 일 실시 예에서는, 카메라가 고정되어 있는 상태에서 신분증을 촬영한 신분증 이미지를 획득하게 되는데, 이 경우 카메라를 이동시켜 신분증을 촬영한 이미지보다 신분증 영역의 형태가 다양하고 랜덤하게 쵤영될 가능성이 크다.

S200단계에서, 프로세서(140)는 영상 메트릭 정류(image metric rectification) 알고리즘을 기반으로, 신분증 이미지의 신분증 영역으로부터 직교 수정된 신분증 영역을 추출한다.

프로세서(140)는 신분증 이미지에서 검출되는 선분을 기반으로 산출된 소실점을 이용하여 신분증 영역의 꼭짓점 좌표를 도출할 수 있다.

또한, 프로세서(140)는 신분증 이미지에 대한 원본 신분증의 기 설정된 종횡비를 기반으로, 신분증 영역의 꼭짓점 좌표를 통해 원근 변환 행렬을 산출하여 직교 수정된 형태의 신분증 이미지를 추출할 수 있다.

프로세서(140)는 신분증 영역의 꼭짓점 좌표를 도출하기 위해, 신분증 이미지의 신분증 영역과 연계된 선분들을 검출하고, 신분증 영역과 연계된 선분들 중 가로 선분 및 세로 선분 각각에 대한 두 개의 소실점을 산출할 수 있다. 그리고 프로세서(140)는 두 개의 소실점을 기반으로 신분증 영역의 네 개의 외곽선을 추출하고, 네 개의 외곽선을 기반으로 신분증 영역의 네 개의 꼭짓점 좌표를 도출할 수 있다.

즉, 프로세서(140)는 신분증 영역과 연계된 선분들을 검출하기 위해, 신분증 이미지의 초기 선분을 검출하고, 신분증 이미지에서 검출되는 얼굴 특징 정보를 기반으로, 신분증 이미지의 가로 선분 및 세로 선분을 포함하는 얼굴 선분을 검출할 수 있으며, 초기 선분에서 가로 선분 및 세로 선분 기반 일정 각도 이내의 선분들을 신분증 영역과 연계된 선분들로 결정할 수 있다.

여기서, 초기 선분은, 선분 검출기(예를 들어, 오픈 소스인 Fast Line Detector)를 이용하여 신분증 이미지에서 검출되는 모든 종류의 선분들을 의미할 수 있다. 실시 예에 따라서, 선분 검출기에서 노이즈 선분들이 검출되지 않도록 하기 위해 가우시안 블러 등의 이미지 전처리를 수행한 후 검출된 선분을 초기 선분이라고 할 수 있다.

이러한 선분 검출기는 n개의 에지 포인트 모음을 사용하여, 에지가 있는 모든 선을 찾는 알고리즘으로, 예를 들어, Hough 변환 방법 및 컨볼루션 기반 방법에 의해 구현될 수 있다.

프로세서(140)는 신분증 이미지 내 사진에서 얼굴 랜드마크를 검출하여, 얼굴 랜드마크 중 왼쪽 눈의 중심과 오른쪽 눈의 중심을 연결하는 얼굴의 가로 선분을 검출하고, 얼굴 랜드마크 중 양쪽 눈의 중심과 입의 중심을 연결하는 얼굴의 세로 선분을 검출할 수 있다.

그리고 프로세서(140)는 두 개의 소실점을 산출하기 위하여, 가로 선분 및 세로 선분 각각에 대해, 임의의 선분 두 개를 선정하여, 상기 선정한 두 개의 선분을 지나가는 소실점을 검출할 수 있다.

또한 프로세서(140)는 가로 선분 및 세로 선분 각각에 대해, 선정한 두 개의 선분을 제외한 나머지 선분들의 선분의 중심과 검출한 소실점까지의 각도를 계산하고, 계산한 각도가 임계값 미만이면 해당 선분의 길이를 소실점의 가중치에 합할 수 있다.

이후 프로세서(140)는 가로 선분 및 세로 선분 각각에 대해, 상기 소실점을 검출하고, 상기 각도를 계산하며, 상기 가중치를 합하는 과정을 반복하여, 가장 높은 가중치를 가지는 소실점을 산출할 수 있다.

프로세서(140)는 네 개의 외곽선을 추출하기 위해, 두 개의 소실점을 이용하여 원근 변환을 수행하고, 원근 변환을 수행한 신분증 이미지의 축 정렬을 위해 좌표계 변환을 수행할 수 있다.

이때, 프로세서(140)는 두 개의 소실점(u, v)을 무한으로 보내는 소실선

(

)을 이용하여, 신분증 이미지에서 원근을 제거하는 원근 변환 행렬 P를 다음 수학식 1과 같이 산출할 수 있다.

[수학식 1]

그리고 프로세서(140)는 표준 좌표계의 요소를, 상기 두 개의 소실점(u, v)에 원근 변환 행렬 P를 적용한 소실점 각각(u′, v′)의 좌표로 변환하는 좌표계 변환 행렬 A를 다음 수학식 2와 같이 산출할 수 있다.

[수학식 2]

,

따라서, 프로세서(140)는 좌표계 변환 행렬 A의 역행렬과 상기 원근 변환 행렬 P의 곱으로 산출되는 호모그래피 행렬을 신분증 이미지의 모든 픽셀과 선분에 대해 적용하여 신분증 영역의 네 개의 외곽선을 추출할 수 있다.

한편, 일 실시 예에서, 프로세서(140)는 직교 강건화를 위해 올바른 소실점을 얻을 수 있는 검증을 수행할 수 있다.

즉, 프로세서(140)는 호모그래피 행렬이 적용되어 변환된 신분증 이미지에서 얼굴 특징 정보를 검출할 수 있다. 그리고 프로세서(!40)는 얼굴 특징 정보를 기반으로 변환된 신분증 이미지에서 검출한 얼굴 선분과, 호모그래피 행렬이 적용되어 변환된 얼굴 선분을 비교하여, 순환 일관성(cycle consistency)을 검증할 수 있다.

이때, 프로세서(140)는 순환 일관성을 검증하기 위해, 변환된 신분증 이미지에서 검출한 얼굴 선분과, 변환된 얼굴 선분이 일치하면, 해당 소실점을 올바른 소실점으로 판단하여, 다음 단계가 수행되도록 할 수 있다.

프로세서(140)는 기 설정된 신분증 영역 내 사진 영역의 크기 비율을 기반으로, 얼굴 선분의 가로 선분 및 세로 선분 각각을 단위 길이로 하여 얼굴을 중심으로 상하좌우의 후보 영역을 생성할 수 있다. 그리고 프로세서(140)는 후보 영역들에 일정한 간격을 두어 빈(bin)을 생성하고, 신분증 이미지의 모든 선분에 대해, 해당 선분의 중심이 속한 빈에 선분의 길이를 가중치로 합한 후, 가장 가중치가 높은 빈의 선분들 중 가장 긴 길이를 가지는 선분을 해당 영역의 선분으로 결정할 수 있다.

그리고 프로세서(140)는 직교 수정된 신분증 영역을 추출하기 위해, 신분증 영역의 네 개의 꼭짓점 좌표

와, 신분증 이미지의 원본 신분증의 기 설정된 종횡비를 기반으로 추정한 신분증 영역의 네 개의 변환 꼭짓점 좌표

를 통해, 다음 수학식 3과 같이, 3 X 3 원근 변환 행렬 H를 산출할 수 있다. 또한, 프로세서(140)는 3 X 3 원근 변환 행렬 H를 신분증 영역의 각 픽셀에 다음 수학식 4와 같이 적용하여, 직교 수정된 신분증 영역을 추출할 수 있다.

[수학식 3]

[수학식 4]

S300단계에서, 프로세서(140)는 직교 수정된 형태의 신분증 영역에서 사진 영역 및 문자 영역을 각각 검출한다.

즉 일 실시 예에서는, 검출한 사진 영역을 활용할 수 있는데, 사용자가 비대면 시험을 보는 등의 비대면 상황에서, 응시자의 얼굴과 신분증의 일치 여부를 판단할 수 있다. 즉, 프로세서(140)는 신분증 인식 구간에서 인공신경망을 이용해 화면 내의 응시자의 얼굴과 신분증을 탐지할 수 있다. 이때, 프로세서(140)는 신분증 인식에 실패하였을 경우 재 탐색이 필요하다는 요청을 응시자에게 전송할 수 있다.

또한, 일 실시 예에서는, 검출한 신분증 번호 영역을 활용할 수 있는데, 인공신경망을 통한 신분증 인식 알고리즘으로 신분증 내의 이름, 생년월일을 추출할 수 있다. 그리고 일 실시 예에서는, 응시자의 신분증 정보(이름, 생년월일)를 이용하여 본인 확인에 이용할 수 있다.

이상 설명된 본 개시에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

한편, 상기 컴퓨터 프로그램은 본 개시를 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 개시의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 개시에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 개시에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다. 본 개시에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 개시의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 개시의 사상의 범주에 속한다고 할 것이다.

1 : 신분증 인식 시스템
100 : 신분증 인식 장치
110 : 통신부
120 : 사용자 인터페이스
130 : 메모리
140 : 프로세서
200 : 사용자 단말
300 : 서버
400 : 네트워크

Claims (20)

1. 각 단계의 적어도 일부가 프로세서에 의해 수행되는, 사진을 포함한 신분증 이미지의 정류(rectification) 및 인식(detection)을 수행하는 신분증 인식 방법으로서,
   신분증 이미지를 획득하는 단계;
   영상 메트릭 정류(image metric rectification) 알고리즘을 기반으로, 상기 신분증 이미지의 신분증 영역으로부터 직교 수정된 신분증 영역을 추출하는 단계; 및
   상기 직교 수정된 신분증 영역에서 사진 영역 및 문자 영역을 각각 검출하는 단계를 포함하며,
   상기 직교 수정된 신분증 영역을 추출하는 단계는,
   상기 신분증 이미지에서 검출되는 선분을 기반으로 산출된 소실점을 이용하여 상기 신분증 영역의 꼭짓점 좌표를 도출하는 단계; 및
   상기 신분증 이미지에 대한 원본 신분증의 기 설정된 종횡비를 기반으로, 상기 신분증 영역의 꼭짓점 좌표를 통해 원근 변환 행렬을 산출하여 상기 직교 수정된 신분증 영역을 추출하는 단계를 포함하고,
   상기 신분증 영역의 꼭짓점 좌표를 도출하는 단계는,
   상기 신분증 이미지의 상기 신분증 영역과 연계된 선분들을 검출하는 단계;
   상기 신분증 영역과 연계된 선분들 중 가로 선분 및 세로 선분 각각에 대한 두 개의 소실점을 산출하는 단계;
   상기 두 개의 소실점을 기반으로 상기 신분증 영역의 네 개의 외곽선을 추출하는 단계; 및
   상기 네 개의 외곽선을 기반으로 상기 신분증 영역의 네 개의 꼭짓점 좌표를 도출하는 단계를 포함하는,
   신분증 인식 방법.
2. 삭제
3. 삭제
4. 제 1 항에 있어서,
   상기 신분증 영역과 연계된 선분들을 검출하는 단계는,
   상기 신분증 이미지의 초기 선분을 검출하는 단계;
   상기 신분증 이미지에서 검출되는 얼굴 특징 정보를 기반으로, 상기 신분증 이미지의 가로 선분 및 세로 선분을 포함하는 얼굴 선분을 검출하는 단계; 및
   상기 초기 선분에서 상기 가로 선분 및 상기 세로 선분 기반 일정 각도 이내의 선분들을 상기 신분증 영역과 연계된 선분들로 결정하는 단계를 포함하는,
   신분증 인식 방법.
5. 제 4 항에 있어서,
   상기 가로 선분 및 세로 선분을 포함하는 얼굴 선분을 검출하는 단계는,
   상기 신분증 이미지 내 사진에서 얼굴 랜드마크를 검출하는 단계;
   상기 얼굴 랜드마크 중 왼쪽 눈의 중심과 오른쪽 눈의 중심을 연결하는 얼굴의 가로 선분을 검출하는 단계; 및
   상기 얼굴 랜드마크 중 양쪽 눈의 중심과 입의 중심을 연결하는 얼굴의 세로 선분을 검출하는 단계를 포함하는,
   신분증 인식 방법.
6. 제 1 항에 있어서,
   상기 두 개의 소실점을 산출하는 단계는,
   상기 가로 선분 및 상기 세로 선분 각각에 대해, 임의의 선분 두 개를 선정하여, 상기 선정한 두 개의 선분을 지나가는 소실점을 검출하는 단계;
   상기 가로 선분 및 상기 세로 선분 각각에 대해, 상기 선정한 두 개의 선분을 제외한 나머지 선분들의 선분의 중심과 검출한 소실점까지의 각도를 계산하는 단계;
   상기 가로 선분 및 상기 세로 선분 각각에 대해, 상기 계산한 각도가 임계값 미만이면 해당 선분의 길이를 소실점의 가중치에 합하는 단계; 및
   상기 가로 선분 및 상기 세로 선분 각각에 대해, 상기 소실점을 검출하는 단계, 상기 각도를 계산하는 단계 및 상기 가중치에 합하는 단계를 반복하여, 가장 높은 가중치를 가지는 소실점을 산출하는 단계를 포함하는,
   신분증 인식 방법.
7. 제 4 항에 있어서,
   상기 네 개의 외곽선을 추출하는 단계는,
   상기 두 개의 소실점을 이용하여 원근 변환을 수행하는 단계; 및
   상기 원근 변환을 수행한 신분증 이미지의 축 정렬을 위해 좌표계 변환을 수행하는 단계를 포함하는,
   신분증 인식 방법.
8. 제 7 항에 있어서,
   상기 원근 변환을 수행하는 단계는,
   상기 두 개의 소실점(u, v)을 무한으로 보내는 소실선 ()을 이용하여, 상기 신분증 이미지에서 원근을 제거하는 원근 변환 행렬 P를 수학식 1과 같이 산출하는 단계를 포함하는,
   신분증 인식 방법.
   [수학식 1]
   

   
9. 제 8 항에 있어서,
   상기 좌표계 변환을 수행하는 단계는,
   표준 좌표계의 요소를, 상기 두 개의 소실점(u, v)에 상기 원근 변환 행렬 P를 적용한 소실점 각각(u′, v′)의 좌표로 변환하는 좌표계 변환 행렬 A를 수학식 2와 같이 산출하는 단계를 포함하는,
   신분증 인식 방법.
   [수학식 2]
   

   

   ,

   
10. 제 9 항에 있어서,
    상기 네 개의 외곽선을 추출하는 단계는,
    상기 좌표계 변환 행렬 A의 역행렬과 상기 원근 변환 행렬 P의 곱으로 산출되는 호모그래피(homography) 행렬을 상기 신분증 이미지의 모든 픽셀과 선분에 대해 적용하여 상기 신분증 영역의 네 개의 외곽선을 추출하는 단계를 더 포함하는,
    신분증 인식 방법.
11. 제 10 항에 있어서,
    상기 네 개의 외곽선을 추출하는 단계는,
    상기 호모그래피 행렬이 적용되어 변환된 상기 신분증 이미지에서 얼굴 특징 정보를 검출하는 단계; 및
    상기 얼굴 특징 정보를 기반으로 상기 변환된 상기 신분증 이미지에서 검출한 얼굴 선분과, 상기 호모그래피 행렬이 적용되어 변환된 얼굴 선분을 비교하여, 순환 일관성(cycle consistency)을 검증하는 단계를 더 포함하고,
    상기 순환 일관성을 검증하는 단계는,
    상기 변환된 상기 신분증 이미지에서 검출한 얼굴 선분과, 상기 변환된 얼굴 선분이 일치하면, 해당 소실점을 올바른 소실점으로 판단하는 단계를 포함하는,
    신분증 인식 방법.
12. 제 11 항에 있어서,
    상기 네 개의 외곽선을 추출하는 단계는,
    기 설정된 신분증 영역 내 사진 영역의 크기 비율을 기반으로, 상기 얼굴 선분의 가로 선분 및 세로 선분 각각을 단위 길이로 하여 얼굴을 중심으로 상하좌우의 후보 영역을 생성하는 단계;
    상기 후보 영역들에 일정한 간격을 두어 빈(bin)을 생성하는 단계;
    상기 신분증 이미지의 모든 선분에 대해, 해당 선분의 중심이 속한 빈에 선분의 길이를 가중치로 합하는 단계; 및
    상기 가중치로 합한 후, 가장 가중치가 높은 빈의 선분들 중 가장 긴 길이를 가지는 선분을 해당 영역의 선분으로 결정하는 단계를 포함하는,
    신분증 인식 방법.
13. 각 단계의 적어도 일부가 프로세서에 의해 수행되는, 사진을 포함한 신분증 이미지의 정류(rectification) 및 인식(detection)을 수행하는 신분증 인식 방법으로서,
    신분증 이미지를 획득하는 단계;
    영상 메트릭 정류(image metric rectification) 알고리즘을 기반으로, 상기 신분증 이미지의 신분증 영역으로부터 직교 수정된 신분증 영역을 추출하는 단계; 및
    상기 직교 수정된 신분증 영역에서 사진 영역 및 문자 영역을 각각 검출하는 단계를 포함하며,
    상기 직교 수정된 신분증 영역을 추출하는 단계는,
    상기 신분증 이미지에서 검출되는 선분을 기반으로 산출된 소실점을 이용하여 상기 신분증 영역의 꼭짓점 좌표를 도출하는 단계; 및
    상기 신분증 이미지에 대한 원본 신분증의 기 설정된 종횡비를 기반으로, 상기 신분증 영역의 꼭짓점 좌표를 통해 원근 변환 행렬을 산출하여 상기 직교 수정된 신분증 영역을 추출하는 단계를 포함하고,
    상기 직교 수정된 신분증 영역을 추출하는 단계는,
    상기 신분증 영역의 네 개의 꼭짓점 좌표

    

    와, 상기 신분증 이미지의 원본 신분증의 기 설정된 종횡비를 기반으로 추정한 상기 신분증 영역의 네 개의 변환 꼭짓점 좌표

    

    를 통해, 수학식 3과 같이, 3 X 3 원근 변환 행렬 H를 산출하는 단계; 및
    상기 3 X 3 원근 변환 행렬 H를 상기 신분증 영역의 각 픽셀에 수학식 4와 같이 적용하여, 직교 수정된 신분증 영역을 추출하는 단계를 포함하는,
    신분증 인식 방법.
    [수학식 3]
    

    

    
    [수학식 4]
    

    
14. 사진을 포함한 신분증 이미지의 정류(rectification) 및 인식(detection)을 수행하는 신분증 인식 장치로서,
    메모리; 및
    상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    신분증 이미지를 획득하는 동작,
    영상 메트릭 정류(image metric rectification) 알고리즘을 기반으로, 상기 신분증 이미지의 신분증 영역으로부터 직교 수정된 신분증 영역을 추출하는 동작, 및
    상기 직교 수정된 신분증 영역에서 사진 영역 및 문자 영역을 각각 검출하는 동작을 수행하도록 설정되고,
    상기 직교 수정된 신분증 영역을 추출하는 동작은,
    상기 신분증 이미지에서 검출되는 선분을 기반으로 산출된 소실점을 이용하여 상기 신분증 영역의 꼭짓점 좌표를 도출하는 동작, 및
    상기 신분증 이미지에 대한 원본 신분증의 기 설정된 종횡비를 기반으로, 상기 신분증 영역의 꼭짓점 좌표를 통해 원근 변환 행렬을 산출하여 상기 직교 수정된 신분증 영역을 추출하는 동작을 포함하며,
    상기 신분증 영역의 꼭짓점 좌표를 도출하는 동작은,
    상기 신분증 이미지의 상기 신분증 영역과 연계된 선분들을 검출하는 동작,
    상기 신분증 영역과 연계된 선분들 중 가로 선분 및 세로 선분 각각에 대한 두 개의 소실점을 산출하는 동작,
    상기 두 개의 소실점을 기반으로 상기 신분증 영역의 네 개의 외곽선을 추출하는 동작, 및
    상기 네 개의 외곽선을 기반으로 상기 신분증 영역의 네 개의 꼭짓점 좌표를 도출하는 동작을 포함하는,
    신분증 인식 장치.
15. 삭제
16. 삭제
17. 제 14 항에 있어서,
    상기 신분증 영역과 연계된 선분들을 검출하는 동작은,
    상기 신분증 이미지의 초기 선분을 검출하는 동작,
    상기 신분증 이미지에서 검출되는 얼굴 특징 정보를 기반으로, 상기 신분증 이미지의 가로 선분 및 세로 선분을 포함하는 얼굴 선분을 검출하는 동작, 및
    상기 초기 선분에서 상기 가로 선분 및 상기 세로 선분 기반 일정 각도 이내의 선분들을 상기 신분증 영역과 연계된 선분들로 결정하는 동작을 포함하는,
    신분증 인식 장치.
18. 제 17 항에 있어서,
    상기 두 개의 소실점을 산출하는 동작은,
    상기 가로 선분 및 상기 세로 선분 각각에 대해, 임의의 선분 두 개를 선정하여, 상기 선정한 두 개의 선분을 지나가는 소실점을 검출하는 동작,
    상기 가로 선분 및 상기 세로 선분 각각에 대해, 상기 선정한 두 개의 선분을 제외한 나머지 선분들의 선분의 중심과 검출한 소실점까지의 각도를 계산하는 동작,
    상기 가로 선분 및 상기 세로 선분 각각에 대해, 상기 계산한 각도가 임계값 미만이면 해당 선분의 길이를 소실점의 가중치에 합하는 동작, 및
    상기 가로 선분 및 상기 세로 선분 각각에 대해, 상기 소실점을 검출하는 동작, 상기 각도를 계산하는 동작 및 상기 가중치에 합하는 동작을 반복하여, 가장 높은 가중치를 가지는 소실점을 산출하는 동작을 포함하는,
    신분증 인식 장치.
19. 제 17 항에 있어서,
    상기 네 개의 외곽선을 추출하는 동작은,
    상기 두 개의 소실점을 이용하여 원근 변환을 수행하는 동작, 및
    상기 원근 변환을 수행한 신분증 이미지의 축 정렬을 위해 좌표계 변환을 수행하는 동작을 포함하는,
    신분증 인식 장치.
20. 제 17 항에 있어서,
    상기 네 개의 외곽선을 추출하는 동작은,
    기 설정된 신분증 영역 내 사진 영역의 크기 비율을 기반으로, 상기 얼굴 선분의 가로 선분 및 세로 선분 각각을 단위 길이로 하여 얼굴을 중심으로 상하좌우의 후보 영역을 생성하는 동작,
    상기 후보 영역들에 일정한 간격을 두어 빈(bin)을 생성하는 단계;
    상기 신분증 이미지의 모든 선분에 대해, 해당 선분의 중심이 속한 빈에 선분의 길이를 가중치로 합하는 동작, 및
    상기 가중치로 합한 후, 가장 가중치가 높은 빈의 선분들 중 가장 긴 길이를 가지는 선분을 해당 영역의 선분으로 결정하는 동작을 포함하는,
    신분증 인식 장치.

Images