KR20050045773A - 3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의얼굴 인증과 검색 방법 및 장치 - Google Patents

3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의얼굴 인증과 검색 방법 및 장치 Download PDF

Info

Publication number
KR20050045773A
KR20050045773A KR20030079968A KR20030079968A KR20050045773A KR 20050045773 A KR20050045773 A KR 20050045773A KR 20030079968 A KR20030079968 A KR 20030079968A KR 20030079968 A KR20030079968 A KR 20030079968A KR 20050045773 A KR20050045773 A KR 20050045773A
Authority
KR
South Korea
Prior art keywords
face
image
mobile terminal
search
feature information
Prior art date
Application number
KR20030079968A
Other languages
English (en)
Inventor
황본우
이동휘
Original Assignee
(주)버추얼미디어
정보통신연구진흥원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)버추얼미디어, 정보통신연구진흥원 filed Critical (주)버추얼미디어
Priority to KR20030079968A priority Critical patent/KR20050045773A/ko
Publication of KR20050045773A publication Critical patent/KR20050045773A/ko

Links

Landscapes

  • Collating Specific Patterns (AREA)

Abstract

본 발명은 타인이 모바일 단말기를 무단으로 사용하는 것을 방지하기 위해 모바일 단말기에 부착되어 있는 카메라를 통하여 입력되는 사용자의 얼굴 영상과 미리 등록되어 있는 사용자의 얼굴 영상을 바탕으로 단말기 사용자를 인증하거나 카메라로부터 입력된 피촬영자의 얼굴 영상과 사전에 등록된 다수의 얼굴 영상을 검색하여 사용자가 쉽게 피촬영자를 확인할 수 있도록 가장 유사한 순서로 정해진 수의 얼굴 영상을 3차원으로 표현하는 기능을 갖는 얼굴 인증과 검색 방법 및 장치에 관한 것이다.
모바일 단말기(100)에 부착되어 있는 카메라로부터 얼굴 영상을 입력받아, 단말기 메모리에 미리 저장된 사용자를 대상으로 인증 작업을 통하여 사용자의 신원을 확인하고 타인이 모바일 단말기를 무단으로 사용하는 것을 방지한다. 또한 모바일 단말기(100)에 부착되어 있는 카메라로부터 촬영된 피촬영자의 사진 영상의 일굴 특징 정보를 부호화하여 통신망(300)을 통하여 원격지의 검색 서버(200)로 전달하고, 원격지의 검색 서버(200)에서는 복호화 과정을 거쳐 전송된 데이터를 수신하여, 원격지 검색 서버(200)에 사전에 구축된 등록자들의 얼굴 정보와의 비교 연산을 통해 검색 작업을 수행한다. 검색 결과로 선정된 사전에 정해진 수의 3차원 얼굴 정보를 부호화 과정을 거쳐 모바일 단말기(100)로 전송하고 단말기에서는 이를 복호화하여 사용자에게 3차원으로 영상으로 표시함으로써 사용자는 촬영된 피촬영자의 실제 모습과 비교하여 피촬영자와 등록된 검색 대상자의 일치 여부를 정확하게 판별할 수 있는 효과를 제공한다.

Description

3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의 얼굴 인증과 검색 방법 및 장치{Person Verification and Identification Method and Apparatus with 3D Facial Representation for Mobile Device}
본 발명은 3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의 얼굴 인증과 검색 방법 및 장치에 관한 것으로, 모바일 단말기에 부착되어 있는 카메라를 통하여 입력되는 사용자의 얼굴 영상과 미리 등록되어 있는 얼굴 영상을 자동 비교하여 인증하는 기술을 바탕으로 타인이 모바일 단말기를 무단으로 사용하는 것을 방지하고, 모바일 단말기에 부착되어 있는 카메라를 통하여 입력되는 얼굴의 얼굴 특징 정보를 통신망을 이용하여 전송한 다음, 검색 서버에 기등록된 얼굴 영상의 특징 정보와의 비교 연산을 통해 검색 작업을 수행하여 검색 결과로 선정된 얼굴의 3차원 정보를 부호화 과정을 거쳐 모바일 단말기로 전송하고 모바일 단말기에서는 이를 복호화하여 검색된 결과 얼굴의 3차원 형태 정보와 3차원 질감 정보를 합성하여 사용자에게 3차원으로 영상으로 표시함으로써 사용자는 촬영된 피촬영자의 실제 모습과 비교하여 정확하게 판별할 수 있는 얼굴 인증과 검색 기능을 제공하고자 하는 새로운 고안이다.
최근 들어서는 지문 인식, 정맥 인식, 홍채 인식, 음성 인식, 얼굴 인식 등의 생체 인식 기술을 보안이나 감시 시스템에 적용하는 사례가 증가하고 있다. 특히 얼굴 인식의 경우, 불과 5년 전만 해도 개인의 얼굴 인증과 검색 시스템을 도입하기에는 너무 많은 비용이 소요되었고, 또 복잡해서 실생활에 적용될 수 없을 것이라 여겨졌다. 그후 많은 연구자들의 성공적인 연구 결과로 개인의 얼굴을 인증하고 검색하는데 필요한 연산량을 줄이는 데 성공했으며, 컴퓨터의 연산 속도의 발달로 실용적인 범위에서 짧은 시간 내에 얼굴 자료들을 검색할 수 있게 되었다.
얼굴 인증 및 인식 기술의 이러한 발전은 홍채 인식, 정맥 인식, 지문 인식, 음성 인식 등의 생체 인식 기술을 출입 통제와 신원 확인에 접목하려는 관심이 높아지는 가운데서 나온 것이다. 이렇듯 생체 인식이 신원 확인, 출입 통제의 대안으로 떠오르고 있는 이유는 암호나 개인 비밀번호 등이 쉽게 노출되거나 도용될 수 있다는 가능성 때문이다. 이 중에서도 얼굴 인증 기술은, 지문 인식 시스템에 손가락을 넣거나, 정맥인식기에 손을 넣을 때의 거부감이나 홍채인식 시스템에 눈을 가까이 할 때 느끼는 두려움 같은 것이 없어서 앞으로 일반 대중에게 가장 접근성이 높은 방법이다.
그러나, 이러한 사용자의 얼굴을 패스워드 대신에 사용하거나 다수의 얼굴 영상으로부터 유사한 얼굴을 인식하여 출력해 주는 전문 얼굴 인증 및 얼굴 검색장치는 매우 고가이거나 휴대에 문제가 있으므로 노트북, PDA, 휴대폰 등과 같이 대중화된 각종 모바일 단말기를 사용하여 얼굴 인증과 검색 장치로 이용할 수 있는 다양한 솔루션이 개발이 필요하며, 각도에 따라 다양하게 변하는 3차원 형태의 얼굴의 경우에는 얼굴 검색 결과를 단순히 한 장의 2차원 영상으로만 사용자에게 제시할 경우 사용자에 의한 정확한 판별이 힘들다는 단점이 있다.
이에, 본 발명은 상기한 홍채 인식, 정맥 인식, 지문 인식 등을 이용한 신원인증 시스템 사용 시 사용자가 느끼게 되는 거부감을 없애기 위한 방안으로, 급속도로 사용이 증가하고 있는 모바일 단말기 시스템에서 이미 부착되어 있거나 쉽게 부착할 수 있는 카메라를 통하여 입력되는 얼굴 영상을 기반으로 모바일 단말기 사용자의 얼굴을 인증하고, 모바일 단말기로 촬영된 피촬영자를 사전에 등록된 검색 대상자를 대상으로 검색하여, 검색 결과를 3차원 얼굴 영상으로 표현하는 기능을 갖는 얼굴 인증과 검색 방법 및 장치를 제공하고자 하는 것이다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의 얼굴 인증과 검색 방법은 모바일 단말기(100)를 통해 사용자를 인증함으로써 허용된 사용자이외의 부적격자의 모바일 단말기 사용을 방지하고, 촬영된 얼굴의 얼굴 특징 정보, 기타 필요한 데이터를 부호화하여 통신망(300)을 통해 원격지 검색 서버(200)로 전달하고 검색 서버(200)에서 얼굴 검색을 수행한 결과를 다시 통신망(300)을 통해 모바일 단말기로 전송하여 이를 다양한 각도로 재현할 수 있는 3차원 얼굴 영상으로 표현함으로써 사용자가 쉽게 모바일 단말기(100)에서 촬영된 사람과 검색 서버(200)에서 검색된 결과로 제공된 얼굴의 일치 여부를 쉽게 판별할 수 있는 방법 및 장치를 제공한다.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 바람직한 실시 예에 따른 모바일 단말기 상에서의 얼굴 인증과 검색 장치의 개략적인 블록구성도로서, 모바일 단말기에 부착되어 있는 카메라로부터 얼굴 영상을 입력받아 입력된 얼굴 영상을 표현하고, 각종 영상 처리 과정을 거쳐 단말기 사용자의 얼굴 특징 정보를 저장하고, 사용자 인증 작업을 요청하면 저장된 단말기 사용자의 얼굴 특징 정보와의 비교 연산을 통해 단말기 사용자를 인증하고, 인증 결과에 따라 단말기의 동작을 제어하며, 검색 작업 수행시 얼굴 특징 정보에 대한 네트워크 상의 데이터 보안 및 전송 효율을 높이기 위해 암호화 및 데이터 압축을 수행하고, 통신망을 통해 데이터를 전송하며, 검색 서버로부터 전송된 검색 결과 정보를 수신하여 복호화하고, 복호화된 3차원 형태 및 질감 정보를 합성하여, 3차원 얼굴 영상을 표시하는 모바일 단말기 및 스캐너, 디지털카메라 등의 영상 입력 장치와 키보드로 구성되어 검색 대상자들의 얼굴 영상과 신상 정보 등을 등록하고, 등록된 검색 대상자의 얼굴 특징 정보를 저장하고, 모바일 단말기로부터 들어오는 얼굴 특징 데이터를 복호화하고, 모바일 단말기로부터 전송된 얼굴 특징 정보와 검색 서버의 검색 대상자 데이터베이스에 저장된 얼굴 특징 정보의 비교 연산을 통해 얼굴 검색 과정을 수행하고, 검색 결과 선정된 검색 대상자에 대응하는 3차원 형태 및 질감 정보를 부호화하여 모바일 단말기에 통신망을 통해 전송하는 검색 서버(200) 및 모바일 단말기와 검색 서버 간의 데이터를 전송하는 통신망(300)으로 구성된다.
상기 모바일 단말기(100)는 모바일 단말기에 부착되어 있는 카메라로부터 얼굴 영상을 입력받는 얼굴 입력부(110), 입력된 얼굴 영상을 표현하고, 검색된 3차원 얼굴 결과 영상을 표현해 주는 디스플레이부(120), 각종 영상 처리 과정을 거쳐 얼굴을 등록 또는 인증하는 프로세서(130), 단말기 사용자의 얼굴 특징 정보를 저장하기 위한 사용자 데이터베이스(140), 인증 결과에 따라 단말기의 동작을 제어하는 제어부(150), 네트워크 상의 데이터 보안 및 전송 효율을 높이기 위해 암호화 및 데이터 압축을 수행하고, 통신망(300)을 통해 데이터를 전송하기 위한 통신 제어부(160)로 구성되며, 상기 검색 서버(200)는 통신망(300)을 통해 들어오는 데이터를 복호화하고 전송을 위해 데이터의 암호화 및 압축을 수행하는 통신 제어부(210), 검색 대상자 등록 및 검색 작업 내역을 표시하는 디스플레이부(220), 모바일 단말기로부터 전송된 얼굴 특징 정보와 검색 서버의 검색 대상자 데이터베이스에 저장된 얼굴 특징 정보의 비교 연산을 통해 얼굴 검색 과정을 수행하는 프로세서(230), 등록된 검색자의 얼굴 특징 정보를 저장하는 검색 대상자 데이터베이스(240), 스캐너, 디지털카메라 등의 영상 입력 장치와 키보드로 구성되어 검색 대상자들의 얼굴 영상과 신상 정보 등을 등록하는 등록부(250), 등록 시 입력된 얼굴영상을 바탕으로 3차원 얼굴 영상의 형태 및 질감 정보를 복원하는 3차원 얼굴 복원부(260)로 구성된다.
도 1에 도시된 본 발명의 블록 구성도를 바탕으로, 바람직한 실시 예를 통하여 단말기와 검색 서버에서 작동하는 얼굴 인증과 검색 과정을 도 2에 도시하였다.
먼저 모바일 단말기(100)에서 작업이 시작되면 먼저 모바일 단말기가 잠김모드인지 아닌지를 확인(S101)한다. 모바일 단말기는 기본적으로 단말기 잠금 상태를 설정함으로써 타인의 단말기 무단 사용을 방지한다. 잠김 모드가 아닌 경우에는 검색 서버를 통해 얼굴 검색 작업 확인 단계(S110)로 진행한다. 잠김 모드인 경우에는 사용자마다 부여된 고유 아이디를 입력(S102)하고, 카메라로부터 영상을 입력(S103)받아 디스플레이부에 영상을 표시(S104)한다. 입력된 얼굴 영상으로부터 얼굴 특징 정보를 추출(S104)하여, 단말기 사용자 데이터베이스에 저장된 고유 아이디에 대응하는 얼굴 특징 정보와 비교(S106)한다. 얼굴 특징 정보를 비교하여 등록된 얼굴인지 아닌지를 확인(S107)하여 등록된 얼굴이 아닌 경우에는 다시 잠김 모드 확인 단계(S101)로 진행하고, 등록된 얼굴인 경우에는 단말기 사용자 데이터베이스에 저장된 얼굴 특징 정보를 새로 입력된 얼굴 영상의 특징 정보로 갱신(S108)하고, 단말기의 잠금 상태를 해제(S109)한다. 단말기 잠금 상태를 해제 한 후에는 검색 서버에서의 검색 작업 수행 여부를 확인(S110)하여 서버 검색 작업을 수행하지 않을 경우에는 단말기를 다시 잠금 상태로 변경(S111)한다. 서버 검색 작업을 수행할 경우에는 모바일 단말기에 부착된 카메라로부터 영상을 입력(S112)받아, 디스플레이부에 카메라로부터 입력받은 영상을 표시(S113)하고, 얼굴 영상으로부터 얼굴 특징 정보를 추출(S114)하고 이를 전송을 위해 암호화 및 압축의 부호화(S115)를 수행한다.
검색 서버(200)에서는 통신망(300)을 통해 검색 서버에 전송된 얼굴 특징 정보를 복호화(S116)한다. 복호화된 얼굴 특징 정보를 검색 서버의 검색 대상자 데이터베이스에 저장된 기등록된 검색 대상자들의 얼굴 특징 정보와의 비교(S117) 작업을 수행하고, 검색 결과 선정된 정해진 수의 검색 대상자에 대한 3차원 형태 및 질감 정보를 부호화하여 모바일 단말기에 통신망(300)을 통해 전송한다.
다음으로, 모바일 단말기(100)에서는 전송된 검색 결과 정보를 수신하여 복호화(S119)하고, 복호화된 3차원 형태 및 질감 정보를 합성하여, 디스플레이부에 3차원 얼굴 영상을 표시(S120)한다. 사용자는 모바일 단말기로 촬영한 사람과 검색된 결과로 표시된 3차원 얼굴 영상을 바탕으로 최종적인 일치 여부를 판단한다.
상기 실시 예에서 모바일 단말기(100)의 연산 능력이 떨어질 경우 서버 검색작업을 위한 모바일 단말기에서의 얼굴 특징 추출 단계(S114)는 검색 서버(200)에서 수행할 수도 있으며, 이 경우에는 얼굴 특징 정보 대신 얼굴 영상 자체가 부호화되어 전송된다.
도 3에서는 모바일 단말기 상에서의 얼굴 인증과 검색 장치에서 모바일 단말기 사용자의 등록 과정에 대한 실시 예를 보여준다. 우선 단말기 사용자가 한 명이 아닐 경우를 고려하기 하기 위해 단말기 사용자의 고유 아이디를 부여(S201)한다. 고유 아이디를 부여한 다음 단말기에 부착된 카메라를 통해 얼굴 영상을 입력(S202)받는다. 단말기의 디스플레이부를 통해 카메라로 입력된 얼굴 영상이 등록에 적합한 얼굴 영상인지를 확인(S203)하여 적절하지 못할 경우 카메라 영상 입력 단계(S202)로 진행하여 다시 영상을 입력받는다. 등록에 적절한 정상적인 얼굴 영상일 경우에는 영상의 밝기, 대비 등을 조절하여 영상의 품질을 개선하는 전처리 과정(S204)을 수행한다. 전처리 과정 후에는 얼굴 영상으로부터 얼굴 특징 추출에 필요한 얼굴 영역만을 추출(S205)하고, 얼굴 영상의 촬영에서 생기는 다양한 얼굴의 크기, 회전 변화를 보정하는 얼굴 영역 정규화(S206) 과정을 수행한다. 얼굴 영역이 정규화된 영상으로부터 얼굴 특징 비교를 통해 인증에 사용될 얼굴 특징 정보를 추출(S207)하고, 추출된 얼굴 특징 정보를 저장(S208)한다. 다음으로 모바일 단말기를 사용할 사용자가 모두 등록되었는지를 확인(S209)하여 등록이 완료된 경우에는 등록 작업을 완료하고, 등록이 완료되지 않은 경우에는 다시 고유 아이디 부여단계(S201)로 진행하여 등록 작업이 완료될 때까지 상기 과정을 반복한다.
도 4에서는 도 2에 도시된 검색 서버에서 얼굴 인증과 검색 장치에서 검색 대상자의 등록 과정의 실시 예를 보여준다. 우선 다수의 검색 대상자를 등록하여 관리하기 위해 검색 대상자의 고유 아이디를 부여(S301)한다. 고유 아이디를 부여한 다음 스캐너, 디지털카메라 또는 사전에 디지털화된 사진 영상 파일로부터 얼굴영상을 입력(S302)받는다. 입력된 얼굴 영상에 대해 영상의 밝기, 대비 등을 조절하여 영상의 품질을 개선하는 전처리 과정(S303)을 수행하고, 전처리 과정 후에는 얼굴 영상으로부터 얼굴 특징 추출에 필요한 얼굴 영역만을 추출(S304)한다. 추출된 얼굴 영역에 대해 얼굴 영상의 촬영에서 생기는 다양한 얼굴의 크기, 회전 등을 보정하는 얼굴 영역 정규화(S305) 과정을 수행하고, 정규화된 얼굴 영역으로부터 얼굴 특징 비교를 통해 검색에 사용될 얼굴 특징 정보를 추출한다. 얼굴 특징 정보를 추출한 다음에는 얼굴 영역 정규화 단계(S305)에서 정규화된 얼굴 영역으로부터 소정의 참조 얼굴 영상에 대한 변형장으로 표시되는 형태 정보와 상기 참조 얼굴 영상에 매핑된 얼굴 영상의 질감 정보를 추출(S306)한다. 다음으로 형태 정보/질감 정보 확인 단계(S308)에서 형태 정보에 해당하면, 추출된 2차원 형태 정보로부터 3차원 형태 정보를 복원(S309)하고, 질감 정보일 경우에는 2차원 질감 정보로부터 3차원 질감 정보를 복원(S310)한다. 복원된 얼굴 특징 정보와 3차원 형태 및 질감정보를 저장(S311)하고, 검색 대상자가 모두 등록되었는지를 확인(S312)하여 완료된 경우에는 등록 작업을 완료하고, 등록이 완료되지 않은 경우에는 다시 고유 아이디 부여 단계(S301)로 진행하여 검색 대상자의 등록 작업이 완료될 때까지 상기 과정을 반복한다.
상기 3차원 형태 정보 복원 단계(S309), 3차원 질감 정보 복원 단계(S310)의 처리 과정으로는 통계적 모형을 이용한 정면 얼굴 영상으로부터의 3차원 얼굴 영상 복원 방법, 3차원 표준 얼굴 모형을 이용한 방법 등이 있으며 패턴 인식 분야에 있어서, 공지된 기술이므로 본 명세서에서는 구체적인 설명을 생략한다.
이상의 설명은 하나의 실시 예를 설명한 것에 불과하고, 본 발명은 상술한 실시 예에 한정되지 않으며 첨부한 특허 청구 범위 내에서 다양하게 변경 가능한 것이다. 예를 들어 본 발명의 실시 예에 구체적으로 나타난 각 구성 요서의 형상 및 구조는 변형하여 실시할 수 있는 것이다.
본 발명의 실시 예를 통해서 살펴본 바와 같이 본 발명에 따르면, 모바일 단말기에 기본적으로 부착되어 있거나 쉽게 부착 가능한 카메라로부터 입력되는 사용자의 얼굴 영상과 미리 등록되어 있는 얼굴 영상을 자동 비교하여 인증하는 기술을 바탕으로 타인이 모바일 단말기를 무단으로 사용하는 것을 방지하고, 모바일 단말기에 부착되어 있는 카메라를 통하여 입력되는 얼굴의 얼굴 특징 정보를 통신망을 이용하여 전송한 다음, 검색 서버에 기등록된 얼굴 영상의 특징 정보와의 비교 연산을 통해 검색 작업을 수행하고 검색 결과로 선정된 얼굴의 3차원 정보를 부호화 과정을 거쳐 모바일 단말기로 전송하고 모바일 단말기에서는 이를 복호화하여 사용자에게 사용자에게 3차원으로 영상으로 표시함으로써 사용자는 촬영된 피촬영자의 실제 모습과 비교하여 피촬영자와 등록된 검색 대상자의 일치 여부를 정확하게 판별할 수 있는 효과를 제공할 수 있는 장점이 있다.
또한, 본 발명은 적용할 모바일 단말기의 종류, CPU 성능, 메모리 한계 등에 따라 서로 다른 적용 사례 및 효과를 얻을 수 있다.
먼저 노트북 단말기에 본 발명을 적용할 경우, PDA와 휴대폰과는 달리 CPU 성능 및 메모리 성능이 일반 데스크탑 컴퓨터와 거의 유사하기 때문에 본 발명의 모바일 단말기부와 검색 서버부를 모두 노트북에 탑재하여 사용할 수 있다. 그러나 이 경우 여러 대의 노트북에 검색 대상자를 실시간으로 업데이트하기가 용이하지 않다는 점과 다른 단말기에 비해 휴대성이 떨어진다는 문제점이 있다. 그러나 이러한 점은 노트북에 설치된 검색 서버의 검색 대상자 데이터베이스를 무선 랜 등의 네트워크를 통해 실시간으로 업데이트할 수 있도록 구성하고, 노트북을 보다 소형화, 경량화함으로써 해결할 수 있다.
다음으로, PDA의 경우 노트북과 휴대폰의 중간 단계의 연산 능력과 메모리를 보유하고 있다. 따라서 현 시점에서 본 발명에서 구성한 실시예에 가장 부합하는 장치라 할 수 있다. 얼굴 영상을 부착된 카메라를 통해 입력받아 전처리 과정, 얼굴 영역 추출, 얼굴 영역 정규화, 얼굴 특징 정보 추출 과정 등을 PDA 단말기에서 수행할 수 있으며, 검색 결과로 표현되는 3차원 얼굴 영상도 적절히 표현할 수 있다.
마지막으로, 휴대폰 단말기는 현 시점에서 크기 및 무게의 한계 때문에 통신기능과 일부 단말기 조작을 위한 아주 기본적인 프로세서와 메모리를 가지고 있다. 따라서 본 발명을 휴대폰에 적용할 경우, 단말기 자체에서는 카메라를 통해 입력된 얼굴 영상을 검색 서버에 전송하여 인증하고 검색하여 인증되거나, 검색된 결과만을 전송받아 디스플레이하는 방식으로 적용될 수 있다.
상기의 단말기 종류별 적용 형태는 현 시점에서의 단말기별 연산 능력, 메모리 크기 등을 고려한 것으로 단말기 하드웨어 및 소프트웨어의 발달과 새로운 형태의 모바일 단말기의 등장에 따라 적절한 형태로 변형되어 적용될 수 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 모바일 단말기 상에서의 얼굴 인증과 검색 장치의 개략적인 블록구성도.
도 2는 도 1에 도시된 모바일 단말기 상에서의 얼굴 인증과 검색 장치의 바람직한 실시 예를 통하여 동작 과정을 설명하기 위한 흐름도.
도 3은 도 2에 도시된 모바일 단말기 상에서의 얼굴 인증과 검색 장치에서 모바일 단말기 사용자 등록 과정을 설명하기 위한 흐름도.
도 4는 도 2에 도시된 모바일 단말기 상에서의 얼굴 인증과 검색 장치에서 검색 대상자의 등록 과정을 설명하기 위한 흐름도.
＜도면의 주요 부분에 대한 부호의 설명＞
100 : 모바일 단말기 200 : 검색 서버
300 : 통신망 110 : 단말기 얼굴 입력부
120 : 단말기 디스플레이부 130 : 단말기 프로세서
140 : 단말기 사용자 데이터베이스 150 : 단말기 제어부
160 : 단말기 통신 장치부 210 : 검색 서버 통신 장치부
220 : 검색 서버 디스플레이부 230 : 검색 서버 프로세서
240 : 검색 서버 검색 대상자 데이터베이스
250 : 검색 서버 등록부
260 : 검색 서버 3차원 얼굴 복원부

Claims (7)

  1. 모바일 단말기에 부착되어 있는 카메라로부터 얼굴 영상을 입력받아 입력된 얼굴 영상을 표현하고, 각종 영상 처리 과정을 거쳐 얼굴을 등록하며, 단말기 사용자의 얼굴 특징 정보를 저장하고, 사용자 인증 작업을 요청하면 저장된 단말기 사용자의 얼굴 특징 정보와의 비교 연산을 통해 단말기 사용자를 인증하고, 인증 결과에 따라 단말기의 동작을 제어하며, 검색 작업 수행 시 얼굴 특징 정보에 대한 네트워크 상의 데이터 보안 및 전송 효율을 높이기 위해 암호화 및 데이터 압축을 수행하고, 통신망을 통해 데이터를 전송하며, 검색 서버로부터 전송된 검색 결과 정보를 수신하여 복호화하고, 복호화된 3차원 형태 및 질감 정보를 합성하여, 3차원 얼굴 영상을 표시하는 모바일 단말기; 및
    스캐너, 디지털카메라 등의 영상 입력 장치와 키보드로 구성되어 검색 대상자들의 얼굴 영상과 신상 정보 등을 등록하고, 등록된 검색 대상자의 얼굴 특징 정보를 저장하고, 모바일 단말기로부터 들어오는 얼굴 특징 데이터를 복호화하고, 모바일 단말기로부터 전송된 얼굴 특징 정보와 검색 서버의 검색 대상자 데이터베이스에 저장된 얼굴 특징 정보의 비교 연산을 통해 얼굴 검색 과정을 수행하고, 검색결과 선정된 검색 대상자에 대응하는 3차원 형태 및 질감 정보를 부호화하여 모바일 단말기에 통신망을 통해 전송하는 검색 서버; 및
    모바일 단말기와 검색 서버 간의 데이터를 전송하는 통신망으로 구성됨을 특징으로 하는 3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의 얼굴 인증과 검색 장치
  2. 제 1항에 있어서, 상기 모바일 단말기는
    모바일 단말기에 부착되어 있는 카메라로부터 얼굴 영상을 입력받는 얼굴 입력부;
    입력된 얼굴 영상을 표현하고, 검색된 3차원 얼굴 결과 영상을 표현해 주는 디스플레이부;
    각종 영상 처리 과정을 거쳐 얼굴을 등록 또는 인증하는 프로세서;
    단말기 사용자의 얼굴 특징 정보를 저장하기 위한 단말기 사용자 데이터베이스;
    인증 결과에 따라 단말기의 동작을 제어하는 단말기 제어부;
    네트워크 상의 데이터 보안 및 전송 효율을 높이기 위해 암호화 및 데이터 압축을 수행하고, 통신망을 통해 데이터를 전송하기 위한 통신 제어부를 포함하여 구성됨을 특징으로 하는 3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의 얼굴 인증과 검색 장치
  3. 제 1항에 있어서, 상기 검색 서버는
    통신망을 통해 들어오는 데이터를 복호화하고 전송을 위해 데이터의 암호화 및 압축을 수행하는 통신 제어부;
    검색 대상자 등록 및 검색 작업 내역을 표시하는 디스플레이부;
    모바일 단말기로부터 전송된 얼굴 특징 정보와 검색 서버의 검색 대상자 데이터베이스에 저장된 얼굴 특징 정보의 비교 연산을 통해 얼굴 검색 과정을 수행하는 프로세서;
    등록된 검색 대상자의 얼굴 특징 정보를 저장하는 검색 대상자 데이터베이스;
    스캐너, 디지털카메라 등의 영상 입력 장치와 키보드로 구성되어 검색 대상자들의 얼굴 영상과 신상 정보 등을 등록하는 등록부;
    등록 시 입력된 얼굴 영상을 바탕으로 3차원 얼굴 영상의 형태 및 질감 정보를 복원하는 3차원 얼굴 복원부를 포함하여 구성됨을 특징으로 하는 3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의 얼굴 인증과 검색 장치
  4. 제 1항에 있어서 디스플레이부는
    상기 3차원 복원부에서 복원된 얼굴 영상에 대한 형태 정보와 질감 정보를 합성하여 3차원 얼굴 영상을 표현하는 것을 특징으로 하는 3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의 얼굴 인증과 검색 장치
  5. (a) 모바일 단말기가 잠김 모드인지 아닌지를 확인하는 단계;
    (b) (a)단계에서 잠김 모드로 판단되면, 사용자마다 부여된 고유 아이디를 입력하는 단계;
    (c) 카메라로부터 영상을 입력받는 단계;
    (d) (c) 단계에서 입력받은 영상을 표시하는 단계;
    (e) 입력된 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 단계;
    (f) 고유 아이디에 대응하는 단말기 사용자 데이터베이스에 저장된 얼굴 특징 정보와 비교하는 단계;
    (g) (f) 단계에서 얼굴 특징 정보를 비교하여 등록된 얼굴인지 아닌지를 판단하는 단계;
    (h) (g) 단계에서 등록된 얼굴로 판단되면, 단말기 사용자 데이터베이스에 저장된 얼굴 특징 정보를 새로 입력된 얼굴 영상의 특징 정보로 갱신하는 단계;
    (i) 단말기의 잠금 상태를 해제하는 단계;
    (j) 현재 단말기 상태가 서버 검색 작업인지를 확인하는 단계;
    (k) (j) 단계에서 서버 검색 작업 단계로 판단되면, 모바일 단말기에 부착된 카메라로부터 영상을 입력받는 단계;
    (l) 카메라로부터 입력받은 영상을 표시하는 단계;
    (m) 입력받은 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 단계;
    (n) (m) 단계에서 추출된 얼굴 특징 정보를 전송을 위해 암호화 및 압축의 부호화를 수행하는 단계;
    (o) 검색 서버에서 통신망을 통해 검색 서버에 전송된 얼굴 특징 정보를 복호화하는 단계;
    (p) 복호화된 얼굴 특징 정보를 검색 대상자 데이터베이스에 저장된 검색 대상자들의 얼굴 특징 정보와의 비교하는 단계;
    (q) (p) 단계에서 검색 결과로 선정된 정해진 수의 검색 대상자에 대한 3차원 형태 및 질감 정보를 부호화하는 단계;
    (r) 모바일 단말기에서 전송된 3차원 형태 및 질감 정보를 수신하여 복호화하는 단계;
    (s) 복호화된 3차원 형태 및 질감 정보를 합성하여, 3차원 얼굴 영상을 표시하는 단계를 포함하여 이루어지는 것을 특징으로 하는 3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의 얼굴 인증과 검색 방법
  6. (a) 단말기 사용자가 한 명이 아닐 경우를 고려하기 하기 위해 단말기 사용자의 고유 아이디를 부여하는 단계;
    (b) 단말기에 부착된 카메라를 통해 얼굴 영상을 입력받는 단계;
    (c) 카메라로 입력된 얼굴 영상이 등록에 적합한 얼굴 영상인지를 확인하는 단계;
    (d) 등록에 적절한 정상적인 얼굴 영상이라고 판단되면, 영상의 밝기, 대비 등을 조절하여 영상의 품질을 개선하는 전처리 과정을 수행하는 단계;
    (e) (d) 단계에서 전처리 과정을 수행한 얼굴 영상에 대해 얼굴 특징 추출에 필요한 얼굴 영역만을 추출하는 단계;
    (f) (e) 단계에서 추출된 얼굴 영역에 대해 얼굴 영상의 촬영에서 생기는 다양한 얼굴의 크기, 회전 등을 보정하는 얼굴 영역 정규화 단계;
    (g) (f) 단계에서 얼굴 영역이 정규화된 영상으로부터 얼굴 특징 비교를 통해 인증에 사용될 얼굴 특징 정보를 추출하는 단계;
    (h) (g) 단계에서 추출된 얼굴 특징 정보를 저장하는 단계;
    (g) 모바일 단말기를 사용할 사용자가 모두 등록되었는지를 확인하는 단계를 포함하여 이루어지는 것을 특징으로 하는 3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의 얼굴 인증과 검색 방법
  7. (a) 다수의 검색 대상자를 등록하여 관리하기 위해 검색 대상자의 고유 아이디를 부여하는 단계
    (b) 스캐너, 디지털카메라 또는 사전에 디지털화된 사진 영상 파일로부터 얼굴 영상을 입력받는 단계;
    (c) 입력된 얼굴 영상에 대해 영상의 밝기, 대비 등을 조절하여 영상의 품질을 개선하는 전처리 단계;
    (d) 얼굴 영상으로부터 얼굴 특징 추출에 필요한 얼굴 영역만을 추출하는 단계;
    (e) (d) 단계에서 추출된 얼굴 영역에 대해 얼굴 영상의 촬영에서 생기는 다양한 얼굴의 크기, 회전 변화를 보정하는 얼굴 영역 정규화 단계;
    (f) (e) 단계에서 정규화된 얼굴 영역으로부터 검색에 사용될 얼굴 특징 정보를 추출하는 단계;
    (g) (e) 단계에서 추출된 얼굴 영역으로부터 소정의 참조 얼굴 영상에 대한 변형장으로 표시되는 형태 정보와 상기 참조 얼굴 영상에 매핑된 얼굴 영상의 질감정보를 추출하는 단계;
    (h) 추출된 형태 정보로부터 3차원 형태 정보를 복원하는 단계;
    (i) 추출된 질감 정보로부터 3차원 질감 정보를 복원하는 단계;
    (j) 검색 대상자가 모두 등록되었는지를 확인하는 단계를 포함하여 이루어지는 것을 특징으로 하는 3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의 얼굴인증과 검색 방법
KR20030079968A 2003-11-12 2003-11-12 3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의얼굴 인증과 검색 방법 및 장치 KR20050045773A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20030079968A KR20050045773A (ko) 2003-11-12 2003-11-12 3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의얼굴 인증과 검색 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20030079968A KR20050045773A (ko) 2003-11-12 2003-11-12 3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의얼굴 인증과 검색 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20050045773A true KR20050045773A (ko) 2005-05-17

Family

ID=37245407

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20030079968A KR20050045773A (ko) 2003-11-12 2003-11-12 3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의얼굴 인증과 검색 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20050045773A (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100651826B1 (ko) 2005-12-21 2006-12-01 주식회사 팬택 카메라가 장착된 휴대 단말기에서의 부분적인 이미지인식을 통한 기능 실행 방법 및 그 장치
KR100699575B1 (ko) * 2005-05-03 2007-03-23 에스케이 텔레콤주식회사 이동 화상 전화를 이용한 신원 조회 방법 및 시스템
KR100705177B1 (ko) * 2006-01-09 2007-04-06 엘지전자 주식회사 이동통신 단말기 및 이를 이용한 사진영상 분류 방법
KR100734849B1 (ko) * 2005-11-26 2007-07-03 한국전자통신연구원 얼굴 인식 방법 및 그 장치
KR100827294B1 (ko) * 2007-01-29 2008-05-07 (주)누리봄 멀티미디어 출력 장치와 방법, 및 카메라를 이용한 교육장치
KR100919104B1 (ko) * 2008-01-03 2009-09-28 에스케이 텔레콤주식회사 발신자의 3차원 얼굴 표시장치 및 방법
WO2011062339A1 (en) * 2009-11-17 2011-05-26 Lg Electronics Inc. Method for user authentication, and video communication apparatus and display apparatus thereof
KR101104731B1 (ko) * 2009-10-28 2012-01-11 에스케이플래닛 주식회사 단말기의 잠금 설정 해지 방법
WO2012087708A2 (en) * 2010-12-23 2012-06-28 Intel Corporation User identity attestation in mobile commerce
KR101345018B1 (ko) * 2012-06-21 2014-01-22 주식회사 에스원 단말기 및 이를 이용한 보안 인증 시스템
KR20150015619A (ko) * 2013-07-31 2015-02-11 엘지전자 주식회사 모바일 디바이스 및 제어 방법
US9003173B2 (en) 2007-09-28 2015-04-07 Microsoft Technology Licensing, Llc Multi-OS (operating system) boot via mobile device
CN111310510A (zh) * 2018-12-11 2020-06-19 杭州海康威视数字技术股份有限公司 一种人脸识别结果的显示方法、装置及存储介质

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100699575B1 (ko) * 2005-05-03 2007-03-23 에스케이 텔레콤주식회사 이동 화상 전화를 이용한 신원 조회 방법 및 시스템
KR100734849B1 (ko) * 2005-11-26 2007-07-03 한국전자통신연구원 얼굴 인식 방법 및 그 장치
US7873189B2 (en) 2005-11-26 2011-01-18 Electronics And Telecommunications Research Institute Face recognition by dividing an image and evaluating a similarity vector with a support vector machine
KR100651826B1 (ko) 2005-12-21 2006-12-01 주식회사 팬택 카메라가 장착된 휴대 단말기에서의 부분적인 이미지인식을 통한 기능 실행 방법 및 그 장치
KR100705177B1 (ko) * 2006-01-09 2007-04-06 엘지전자 주식회사 이동통신 단말기 및 이를 이용한 사진영상 분류 방법
KR100827294B1 (ko) * 2007-01-29 2008-05-07 (주)누리봄 멀티미디어 출력 장치와 방법, 및 카메라를 이용한 교육장치
US9003173B2 (en) 2007-09-28 2015-04-07 Microsoft Technology Licensing, Llc Multi-OS (operating system) boot via mobile device
KR100919104B1 (ko) * 2008-01-03 2009-09-28 에스케이 텔레콤주식회사 발신자의 3차원 얼굴 표시장치 및 방법
KR101104731B1 (ko) * 2009-10-28 2012-01-11 에스케이플래닛 주식회사 단말기의 잠금 설정 해지 방법
US8311200B2 (en) 2009-11-17 2012-11-13 Lg Electronics Inc. Method for user authentication, and video communication apparatus and display apparatus thereof
WO2011062339A1 (en) * 2009-11-17 2011-05-26 Lg Electronics Inc. Method for user authentication, and video communication apparatus and display apparatus thereof
WO2012087708A3 (en) * 2010-12-23 2012-10-11 Intel Corporation User identity attestation in mobile commerce
CN103270529A (zh) * 2010-12-23 2013-08-28 英特尔公司 移动商务中的用户身份证实
US8996879B2 (en) 2010-12-23 2015-03-31 Intel Corporation User identity attestation in mobile commerce
WO2012087708A2 (en) * 2010-12-23 2012-06-28 Intel Corporation User identity attestation in mobile commerce
CN103270529B (zh) * 2010-12-23 2016-08-10 英特尔公司 移动商务中的用户身份证实
KR101345018B1 (ko) * 2012-06-21 2014-01-22 주식회사 에스원 단말기 및 이를 이용한 보안 인증 시스템
KR20150015619A (ko) * 2013-07-31 2015-02-11 엘지전자 주식회사 모바일 디바이스 및 제어 방법
CN111310510A (zh) * 2018-12-11 2020-06-19 杭州海康威视数字技术股份有限公司 一种人脸识别结果的显示方法、装置及存储介质
CN111310510B (zh) * 2018-12-11 2023-08-29 杭州海康威视数字技术股份有限公司 一种人脸识别结果的显示方法、装置及存储介质

Similar Documents

Publication Publication Date Title
US11783018B2 (en) Biometric authentication
KR101997371B1 (ko) 신원 인증 방법 및 장치, 단말기 및 서버
JP4616335B2 (ja) 認証サーバ装置及び端末装置及び認証システム及び認証方法
US10313338B2 (en) Authentication method and device using a single-use password including biometric image information
KR101938033B1 (ko) 카메라 장착 디바이스들과 관련된 생체인식 인증
US6735695B1 (en) Methods and apparatus for restricting access of a user using random partial biometrics
TWI727329B (zh) 用於基於深度學習方法提供對資源之選擇性存取之防欺騙系統及方法
US20090293119A1 (en) User authentication method and system and password management system
US9262615B2 (en) Methods and systems for improving the security of secret authentication data during authentication transactions
AU2012250291B2 (en) Methods and Systems for Improving the Security of Secret Authentication Data During Authentication Transactions
US10963552B2 (en) Method and electronic device for authenticating a user
US20120117633A1 (en) Enhanced Security For Pervasive Devices Using A Weighting System
KR20010074059A (ko) 모바일 단말기용 얼굴 기반 개인 신원 검증 방법 및 장치
KR20050045773A (ko) 3차원 얼굴 표현 기능을 갖는 모바일 단말기 상에서의얼굴 인증과 검색 방법 및 장치
CN111815833A (zh) 一种基于智能识别与加密技术的酒店门禁认证系统
US11586717B2 (en) Method and electronic device for authenticating a user
US12019719B2 (en) Method and electronic device for authenticating a user
KR102060563B1 (ko) 음성 및 안면 데이터를 이용한 인증 제공 방법 및 장치
KR101906141B1 (ko) 이동 통신 단말에서의 다중 레벨 홍채 인식 장치 및 방법
KR20120014533A (ko) 생체 인식을 이용한 원거리 개인인증 시스템 및 방법
KR20180051742A (ko) 얼굴 인식 시스템 및 그 방법
Metri et al. MOBILE BIOMETRICS: MULTIMODEL BIOMETRICS FOR MOBILE PLATFORM
KR20060002571A (ko) 개인용 휴대단말기의 영상인식을 이용한 생체인증방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application