KR20050045772A - 얼굴 영상을 이용한 3차원 이상형 얼굴 검색 시스템과 그제어 방법 - Google Patents

Abstract

본 발명은 인터넷상에서 얼굴 영상을 이용하여 원하는 얼굴형과 유사한 3차원 이상형 검색 시스템에 관한 것으로서, 회원 가입 정보와 얼굴 영상 정보를 생성하고 필요한 영상 및 회원 정보를 검색하는 사용자 인터페이스부와, 이 다수개의 사용자 인터페이스부로부터 입력된 영상 및 문자 정보 검색 신호에 따라 회원 가입정보 및 최적의 얼굴 영상 정보를 검색하여 3차원 얼굴을 복원한 다음 상기 해당 사용자 인터페이스부로 전송하는 웹서버 시스템부로 이루어진다.

상기와 같은 구성으로 이루어진 본 발명은 다양한 얼굴 영상 정보가 저장된 데이터베이스 내에서 인증된 사용자로부터 입력된 얼굴 영상 정보와 유사도가 높은 정보를 검색하고 그 검색된 정보를 바탕으로 3차원 복원된 얼굴을 다른 요구 정보와 함께 사용자에게 전송해주도록 함으로써, 3차원 얼굴 영상 정보를 사용자가 확인할 수 있으므로 그에 따라 정보 이용성의 극대화를 이룰 수 있음은 물론 얼굴 영상을 사용자의 기호에 부합되도록 얼굴 영상 정보의 일부분을 미세 조정한 다음 영상 검색을 실행하게 되므로 사용자가 원하는 이상형의 3차원 영상 정보를 정확히 검색할 수가 있다.

Description

얼굴 영상을 이용한 3차원 이상형 얼굴 검색 시스템과 그 제어 방법{System and method for Searching Ideal 3D Face Using Facial Image}

본 발명은 얼굴 영상을 이용한 3차원 이상형 검색시스템과 그 제어 방법에 관한 것으로, 특히 다양한 얼굴 영상 정보가 저장된 데이터베이스 내에서 인증된 사용자로부터 입력된 얼굴 영상 정보에 대해 유사도가 높은 영상 정보들을 검색하고 그 검색된 정보들을 토대로 3차원 얼굴로 복원하여 다른 요구 정보와 함께 사용자에게 전송한 다음 사용자가 그 유사도가 높은 n명의 정보 중에서 선택 이용하도록 함으로써, 정보 이용성의 극대화를 이룰 수 있음은 물론 얼굴 영상을 사용자의 기호에 부합되도록 얼굴 영상 정보의 일부분을 미세 조정한 다음 데이터베이스에 저장하게 되므로 그에 따라 얼굴 영상 정보의 가공성도 극대화 시킬 수 있는 얼굴영상을 이용한 3차원 이상형 검색 시스템 및 그 제어 방법에 관한 것이다.

일반적으로 특정 정보를 검색하는 정보 검색 시스템들은 텍스트 정보 위주로 검색 서비스를 시행하고 있는 것이 보통이다. 일례로 결혼 정보 회사에서 실행하는 정보 검색 시스템을 살펴보면, 이러한 시스템의 제어 방법은 도 1에 도시된 바와 같이 사이트접속 확인단계(S1)에서 특정 사용자가 본 시스템의 인터넷 사이트에 접속했는지를 판단하고 만약 특정 사용자가 인터넷 사이트에 접속되었다면 초기메뉴화면 전송단계(S2)로 진행하여 현재 접속된 사용자의 단말기상에 초기 메뉴 화면을 표시하게 된다. 그리고, 상기 초기메뉴화면 전송단계(S2)후에 특정인 검색판단단계(S3)로 진행하여 현재 사용자가 초기 메뉴 화면상에서 특정인 검색을 요구하는 신호를 입력하였는지를 판단한다. 이때 상기 특정인 검색판단단계(S3)중에 만약 현재 사용자가 초기 메뉴 화면상에서 특정인 검색을 요구하는 신호를 입력하지 않았을 경우는 유저정보 입력단계(S4)로 진행하여 유저 개인의 텍스트 정보와 화상 정보 예컨데, 학력, 주소, 연락처 등의 개인정보를 프로그램의 안내에 따라 입력을 받아 서버의 데이터베이스에 저장한다.

한편, 상기 특정인 검색판단단계(S3)중에 만약 현재 사용자가 초기 메뉴 화면상에서 특정인을 검색할 것을 요구하는 신호를 입력하였을 경우는 특정인 검색조건 입력단계(S5)로 진행하여 현재의 사용자가 자신이 원하는 특정인의 검색 조건을 프로그램의 안내에 따라 순차적으로 입력하게 된다. 그리고, 상기 특정인 검색조건 입력단계(S5)후에 검색판단단계(S6)로 진행하여 상기 단계(S5)에 의해 입력된 조건에 따라 검색을 실행한 다음 사용자가 설정한 검색 조건에 맞는 특정인이 있는지를 판단한다. 이때 상기 검색판단단계(S6)중에 판단한 결과 만약 사용자가 설정한 검색 조건에 맞는 특정인이 데이터베이스 내에 없을 경우는 상기 단계(S3)로 복귀하여 루프를 반복 수행한다.

그러나, 상기 검색판단단계(S6)중에 판단한 결과 만약 사용자가 설정한 검색조건에 맞는 특정인이 데이터베이스 내에 존재할 경우는 정보출력단계(S7)로 진행하여 그 선택된 특정인에 관한 신상 정보를 출력시켜주고 종료한다.

즉, 상기와 같은 결혼 정보 검색 시스템의 제어 방법은 회원 가입 시에 혹은 가입 후에 자신의 정보를 비롯해서 원하는 이상형의 이성에 대한 정보를 텍스트로 인터넷 상에서 입력받아 데이터베이스에 저장한다.

이때, 본인의 사진도 같이 입력할 수 있는데, 이 입력한 사진 정보는 이상형 검색에 사용되지 않고 단지 추가적인 영상 정보만을 제공할 뿐이다.

그리고, 이러한 텍스트 기반의 시스템에서 이상형의 검색은 본인이 원하는 이상형에 대한 가정, 학력 등의 조건에 의해 검색이 이루어지고 검색된 결과를 기준으로 하여 상대방의 정보를 확인할 수 있다.

그러나, 상기와 같은 종래 정보 검색 시스템은 텍스트 정보를 기반으로 검색을 시행하여 사용자가 원하는 조건과 부합하는 이상형 검색을 실행하고 있기 때문에 사용자가 원하는 얼굴형과 유사한 이상형을 검색할 수 없었으며, 또한, 최근에 개발된 얼굴 영상을 검색하는 시스템 역시 사전에 정해놓은 얼굴 요소의 조합으로 생성하여 한정된 얼굴형을 생성해야 하므로 사용자가 원하는 이상형의 3차원 얼굴영상 정보를 검색하기 힘들고 검색된 영상이 2차원 영상이므로 사실감이 결여되어 있다는 문제점이 있었다.

이에 본 발명은 상기와 같은 제반 문제점을 해결하기 위해 발명된 것으로, 다양한 얼굴 영상 정보가 저장된 데이터베이스 내에서 인증된 사용자로부터 입력된 얼굴 영상 정보와 유사성을 이루는 정보를 검색하고 그 검색된 정보를 바탕으로 3차원 복원된 얼굴을 다른 요구 정보와 함께 사용자에게 전송해 주도록 함으로써, 유사도가 높은 상위 n명의 얼굴 영상 정보를 이용하게 되므로 그에 따라 정보 이용성의 극대화를 이룰 수 있는 얼굴 영상을 이용한 3차원 이상형 검색 시스템 및 그 제어 방법을 제공함에 그 목적이 있다.

본 발명의 다른 목적은 얼굴 영상을 사용자의 기호에 부합되도록 얼굴 영상정보의 일부분을 미세 조정한 다음 데이터베이스에 저장하게 되므로 그에 따라 얼굴 영상 정보의 가공성도 극대화시킬 수 있는 얼굴 영상을 이용한 이상형 검색 시스템 및 그 제어 방법을 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위해 본 발명은 회원 가입 정보와 얼굴 영상 정보를 생성하고 필요한 영상 및 회원 정보를 검색하는 사용자 인터페이스부와, 이 다수개의 사용자 인터페이스부로부터 입력된 영상 및 문자 정보 검색 신호에 따라 회원 가입 정보 및 최적의 얼굴 영상 정보를 검색하여 상기 해당 사용자 인터페이스부로 전송하는 웹서버 시스템부로 이루어진 얼굴 영상을 이용한 이상형 검색 시스템을 제공한다.

본 발명의 또 다른 특징은 얼굴 영상을 이용한 이상형 검색 시스템에서 사용자가 정보 검색 기능을 설정하였을 경우는 설정된 문자 및 영상 검색 정보를 웹서버 시스템부로 전송하는 통신실행단계와, 상기 통신실행단계에 의해 사용자 인터페이스부로부터 문자 및 영상 검색 정보가 포함된 사용자 정보가 웹서버 시스템부로 입력되면 입력된 영상 정보로부터 3차원 얼굴로 복원하여 사용자 인터페이스부의 디스플레이에 출력하는 3차원 얼굴 복원 및 출력단계와, 현재 사용자 인터페이스부로부터 입력된 사용자가 인증된 사용자인지를 판단하는 사용자인증 판단단계와, 상기 사용자인증 판단단계 중에 판단한 결과 현재 웹서버 시스템부에 접속된 사용자가 인증된 사용자일 경우는 현재 사용자 인터페이스부로부터 입력된 문자 및 영상검색 정보를 데이터베이스에 저장된 영상 검색 정보와 비교 분석하여 유사도가 높은 n개의 영상 정보를 영상 정보 데이터베이스 내에서 검색하는 문자 및 얼굴 영상정보 검색 실행단계와 검색된 n개의 영상정보와 관련된 n개의 3차원 영상정보를 사용자 인터페이스부의 디스플레이상에 출력하는 3차원 얼굴 출력단계와, 상기 문자 및 얼굴영상정보 검색실행단계 후에 데이터베이스 내에서 검색된 유사도가 높은 n개의 3차원 얼굴 영상 정보 중에서 사용자가 만족하는 이상형이 있을 경우에는 그 검색된 n명의 3차원 얼굴 영상 가운데서 사용자가 선택한 인물 영상 정보와 일치하는 개인 신상 정보에 대해 사용자가 정보 전송을 원하는 지를 판단하는 특정인물 정보요구 판단단계와, 상기 특정인물 정보요구 판단단계 중에 판단한 결과 사용자가 선택한 인물 영상 정보와 일치하는 개인 신상 정보에 대해 사용자가 정보 전송을 원할 경우는 상기 선택된 인물 영상 정보와 일치하는 개인 신상 정보를 사용자 인터페이스부로 전송하는 특정 인물 정보 전송단계로 이루어진 얼굴 영상을 이용한 3차원 이상형 검색 시스템의 제어 방법을 제공한다.

이하, 본 발명을 첨부된 예시 도면에 의거 상세히 설명한다.

본 발명의 시스템은 도 2에 도시된 바와 같이 회원 가입 정보와 얼굴 영상 정보를 생성하고 필요한 영상 및 회원 정보를 검색하는 사용자 인터페이스부(1)와, 이 다수개의 사용자 인터페이스부(1)로부터 입력된 영상 및 문자 정보 검색 신호에 따라 회원 가입 정보 및 유사도가 높은 상위 n개의 얼굴 영상 정보를 검색하여 검색된 얼굴에 대응하는 기 등록된 3차원 얼굴 영상 정보를 상기 해당 사용자 인터페이스부(1)로 전송하고 본 발명 시스템을 전반적으로 제어하는 웹서버 시스템부(2)로 이루어진다.

그리고, 상기 사용자 인터페이스부(1)는 사용자의 입력 제어 신호 예컨데, 회원 가입 정보 및 얼굴 영상 정보 생성 제어 신호 등을 입력시키는 키패널부(3)와, 이 키패널부(3)를 통해 질의된 사용자의 얼굴 영상 정보 생성 제어 신호에 따라 기존에 존재하는 얼굴 혹은 가상의 얼굴 영상을 기반으로 원하는 질의 얼굴 영상 정보를 만들어주거나 혹은 기 저장된 얼굴 영상과 얼굴 요소 정보를 이용하여 얼굴 영상 정보를 생성하는 얼굴 영상 정보 생성부(4)와, 이 얼굴 영상 정보 생성부(4)와 연결되어 실제로 존재하는 특정인 예컨데, 연예인이나 이미 지정되어 있는 복수개의 가상 얼굴들과 얼굴 요소들을 저장하고 있는 데이터베이스(5)와, 상기 얼굴 영상 정보 생성부(4)에 의해 설정된 얼굴 영상 정보의 얼굴 요소에 미리 정의되어 있는 제어점들을 이용하여 각 얼굴 요소들을 미세하게 조정하게 해주는 얼굴 요소 조정부(6)와, 상기 얼굴 영상 정보 생성부(4)에서 사용자가 입력한 정보를 바탕으로 생성되어진 질의 얼굴 영상 정보 혹은 문자 정보 등을 출력하여주는 출력 장치부(7)와, 상기 얼굴 영상 정보 생성부(4)에서 생성되어진 질의 얼굴 영상 정보와 사용자가 입력한 문자정보의 통신 신호를 웹서버 시스템부(2)로 전송해주는 통신 장치부(8)로 이루어진다.

여기서, 상기 키패널부(3)는 예컨데, 질의로 사용될 얼굴 영상이나 정보를 사용자가 직접 입력할 수 있도록 스캐너, 키보드, 디지털 카메라 등으로 구성 할 수도 있으며, 상기 출력 장치부(7)는 예컨데, 모니터와 프린터 등이 사용될 수 있다. 또한, 사용자 인터페이스부(1)의 제어부(20)는 키패널부(3)와, 출력장치부(7)와, 얼굴 영상 정보 생성부(4)와, 얼굴 요소 조정부(6)와, 통신 장치부(8)의 데이터 입출력을 제어하는 역할을 한다.

한편, 상기 웹서버 시스템부(2)는 상기 사용자 인터페이스부(1)와 네트워크로 연결되어 입출력되는 문자 및 영상 정보의 통신 신호를 전송해주는 통신 장치부(8)와, 이 통신 장치부(8)를 경유하여 입력되는 사용자의 문자 및 영상 정보 검색에 따른 질의를 분석하여 각 처리 장치부를 통해 사용자 요구 정보 예컨데, 유사도가 높은 상위 n개의 얼굴 영상 정보의 검색과 그 검색결과를 토대로 3차원 얼굴의 산출을 제어하는 중앙연산 처리부(9)와, 이 중앙연산 처리부(9)의 제어 명령에 따라 인증된 사용자의 요구 정보 산출과 지속적인 관리 및 검색 횟수에 따른 요금을 부과하기 위한 사용자 관리부(10)와, 상기 중앙연산 처리부(9)의 영상 검색 제어신호에 따라 질의된 얼굴 영상과 유사한 n개의 얼굴 영상 정보를 검색하는 얼굴 영상 정보 검색부(11)와, 얼굴 영상 정보를 바탕으로 3차원 얼굴로 복원하는 3차원 얼굴 복원부(21)와, 상기 사용자의 문자, 영상 정보 및 복원된 3차원 영상 정보 등을 저장하는 복수개의 데이터베이스부(12)로 이루어진다.

그리고, 상기 중앙연산 처리부(9)에는 상기 통신 장치부(8)를 경유하여 입력되는 사용자의 문자 및 영상 정보 검색에 따른 질의를 분석하여 각 처리 장치부를 통해 사용자 요구 정보 예컨데, n개의 얼굴 영상 정보의 검색 및 3차원 얼굴 영상정보의 산출을 제어하는 데이터 제어부(13)와, 이 데이터 제어부(13)에 의해 처리된 데이터를 일시 저장하는 임시 버퍼(14)와, 상기 데이터 제어부(13)의 구동 프로그램을 저장하는 롬(15)과, 상기 데이터 제어부(13)의 기능 실행 중 발생된 데이터들을 저장하는 램(16)으로 이루어진다.

또한, 상기 데이터베이스부(12)는 사용자 정보를 저장하는 사용자 정보 데이터베이스(17)와, 영상 정보 예컨데, 얼굴 영상 정보를 저장하는 영상 정보 데이터베이스(18)와, 3차원 얼굴 영상정보를 저장하는 3차윈 영상 정보 데이터베이스로 구성된다.

다음에는 상기와 같은 시스템에 적용되는 본 발명의 방법의 실시 예들을 설명한다.

본 발명의 일 실시 예의 방법은 도 3에 도시된 바와 같이 초기상태(S1)에서 정보입력 판단단계(S2)로 진행하여 현재 사용자가 원하는 이상형의 조건 정보 또는 사용자의 개인 신상 정보를 입력할 것인지를 판단한다. 이때 상기 정보입력 판단단계(S2)중에 판단한 결과 만약 사용자가 정보 입력을 실행하지 않을 경우 문자 및 영상정보생성기능 판단단계(S3)로 진행하여 사용자가 특정 영상 정보의 검색을 위한 영상 정보 생성 기능을 설정하였는지를 판단한다. 그리고, 이 문자 및 영상정보생성기능 판단단계(S3)중에 사용자가 문자 및 특정 영상 정보의 검색을 위한 영상정보 생성 기능을 일정 시간 내에 설정하지 않았을 경우는 이전 단계(S1)로 복귀하여 루프를 반복 수행한다.

그러나, 상기 문자 및 영상정보생성기능 판단단계(S3)중에 판단한 결과 사용자가 문자 정보 및 특정 영상 정보의 검색을 위한 영상 정보 생성 기능을 설정하였을 경우는 문자 및 영상정보직접입력 판단단계(S4)로 진행하여 현재 자신이 최적이라고 원하는 영상 정보 예컨데, 자신이 찾고자하는 최적의 영상 정보가 담긴 사진영상 정보 및 질의 정보를 직접 입력할 것인지를 판단한다. 이때 상기 문자 및 영상정보직접입력 판단단계(S4)중에 판단한 결과 현재 자신이 최적이라고 원하는 영상정보 예컨데, 자신이 찾고자하는 최적의 영상 정보가 담긴 사진 영상 정보 및 문자 질의 정보 등을 직접 입력할 경우는 얼굴요소만족 판단단계(S10)로 진행한다.

그러나, 상기 문자 및 영상정보직접입력 판단단계(S4)중에 판단한 결과 현재 자신이 최적이라고 원하는 영상 정보를 일정 시간 내에 직접 입력하지 않을 경우 영상DB이용 판단단계(S6)로 진행하여 현재 영상 정보 데이터베이스 내에 저장되어 있는 영상 정보를 이용하여 영상 검색 정보를 설정할 것인지를 판단한다. 이때, 상기 영상DB이용 판단단계(S6)중에 판단한 결과 영상 정보 데이터베이스 내에 저장되어 있는 영상 정보 중에서 영상 검색 정보로 설정할 경우 영상DB이용 영상정보검색단계(S7)로 진행하여 영상 정보 데이터베이스 내에 저장된 영상 정보 중에서 자신이 찾는 영상 검색 정보가 있는지 검색한다. 그러나, 상기 영상DB이용 판단단계(S6)중에 판단한 결과 사용자가 영상 정보 데이터베이스 내에 저장되어 있는 영상정보를 영상 검색 정보로 이용하지 않을 경우는 가상얼굴형 선택실행단계(S8)로 진행하여 자신이 찾는 영상 검색 정보 예컨데, 이상형의 얼굴 정보를 예컨데, 얼굴패턴이 미리 설정되어 있는 몽타주 사진 정보 등을 이용하여 영상 검색 정보를 설정한다.

한편, 상기 영상DB이용 영상정보검색단계(S7)후에 영상DB판단단계(S9)로 진행하여 영상 정보 데이터베이스 내에 저장된 영상 정보 중에서 자신이 찾는 영상검색 정보가 있는지를 판단하고, 만약 자신이 찾는 영상 정보가 이 영상 정보 데이터베이스 내에 없을 경우는 상기 가상얼굴형 선택실행단계(S8)로 진행한다.

그러나, 상기 영상DB판단단계(S9)중에 판단한 결과 영상 정보 데이터베이스 내에 저장된 영상 정보 중에서 자신이 찾는 영상 검색 정보가 있을 경우는 그 정보를 영상 검색 정보로 설정하고 얼굴요소만족 판단단계(S10)로 진행하여 현재 설정된 영상 검색 정보의 얼굴 요소가 만족스러운지를 판단한다. 그리고, 상기 얼굴요소만족 판단단계(S10)중에 판단한 결과 현재 설정된 영상 검색 정보의 얼굴 요소가 만족스러울 경우는 통신실행단계(S5)로 진행하여 현재 설정된 문자 및 영상 검색 정보를 웹서버 시스템부로 전송한다.

그러나, 상기 얼굴요소만족 판단단계(S10)중에 판단한 결과 현재 설정된 영상 검색 정보의 얼굴 요소가 만족스럽지 않을 경우는 얼굴요소조절 실행단계(S11)로 진행하여 현재 설정된 영상 검색 정보의 일부 얼굴 요소를 자신이 원하는 형상으로 조절 동작을 실행하고 상기 통신실행단계(S5)로 진행하여 현재 설정된 문자 및 영상 검색 정보를 웹서버 시스템부로 전송한다.

즉, 사용자가 사용자 인터페이스부(1)의 키패널부(3)를 이용하여 문자 및 영상 정보 검색을 위한 영상 정보 생성 명령 신호를 설정해주게 되면 이 사용자 인터페이스부(1)의 얼굴 영상 정보 생성부(4)가 이를 인식하여 사용자로부터 질의 얼굴영상 혹은 질의 정보 예컨데, 얼굴 모양, 머리 길이, 안경 착용 여부, 입 모양 등의 정보를 선택적으로 입력받는다. 이때, 상기 얼굴 영상 정보 생성부(4)는 만약 사용자가 얼굴 영상을 직접 입력한 경우 입력받은 얼굴 영상을 선택하고, 그렇지 않을 경우 데이터베이스(5) 내에 저장된 연예인 등의 실존하는 인물의 얼굴 영상 혹은 이미 지정되어 있는 복수개의 가상 얼굴 영상 가운데 하나를 선택하게 한다. 이때, 상기 얼굴 영상 정보 생성부(4)는 출력 장치부(7)의 디스플레이 화면상에서 사응자가 원하는 얼굴 영상을 기준으로 하여 눈, 코, 입, 얼굴 윤곽 등의 특정 얼굴 요소들을 교체한다. 이때 각 얼굴 구성 요소는 사용자 인터페이스부(1)의 데이터베이스(5)내에 저장된 구성 요소들을 사용하여 교체한다.

그런 다음, 상기 얼굴 영상 정보 생성부(4)는 그 설정된 영상 검색 정보가 예컨데, 그 선택된 질의 얼굴 영상을 사용자가 만족하지 못할 경우 얼굴 요소 조정부(6)를 통해 미세 조정을 실행하게 되는데, 예컨데, 상기 영상 검색 정보가 출력 장치부(7)의 디스플레이 화면상에는 도 4와 같이 표시된다. 그러면, 사용자는 상기 출력 장치부(7)의 디스플레이 화면에 표시된 제어점 형상으로 구분되어 표시된 영상 검색 정보 상에서 키패널부(3)를 이용하여 질의 얼굴 영상 내에 존재하는 각 얼굴 요소의 제어점들을 움직여주면 얼굴 요소 조정부(6)가 이를 인식하여 그 선택되는 제어점을 미세 조정하여 사용자가 원하는 질의 얼굴 영상을 완성하게 한다. 그런 다음, 상기 얼굴 영상 정보 생성부(4)는 그 설정된 문자 및 영상 검색 정보를 통신 장치부(8)를 통해 웹서버 시스템부(2)의 통신 장치부(8)로 입력시킨다.

예컨데, 도 4에 도시된 바와 같이 키패널부(3)등을 이용하여 "A"와 같은 제어점을 움직여주면 얼굴 요소 조정부(6)가 이를 인식하여 도 5와 같이 영상검색정보를 미세 조정하여 준다.

여기서, 사용자가 입력한 영상의 경우에는 각 얼굴 구성 요소들의 제어점들을 사용자 인터페이스에서 자동으로 생성해 줄 수 있고, 보다 효과적인 미세 조정을 위해 사용자가 수동으로 지정해 줄 수 있다.

한편, 얼굴 요소 조정부(6)에 의해 제어점들을 이용한 미세 조정이 끝난 후에는 검색에 사용될 얼굴 구성 요소들의 가중치를 설정하게 된다.

환언하면, 상기 영상 검색 정보의 각 제어점은 상기 과정에서 가상 얼굴을 선택했다면 자동으로 패턴 형상이 부여되고, 사진을 입력받은 경우에는 사용자가 지정하여 조정할 수 있다. 또한 키패널부(3)의 키를 이용하여 좌우/상하 대칭 변환 혹은 가로/세로 비율을 유지하면서 변형시키는 것이 가능하다. 이 과정에서 각 제어점의 조정 범위는 임계값을 이용하여 얼굴 형태가 터무니없이 변화하는 것을 배제하고 사용자가 원하는 다양한 질의 얼굴 영상을 생성한다.

한편, 상기 정보입력 판단단계(S2)중에 판단한 결과 만약 사용자가 정보 입력을 실행하였을 경우는 일반정보 입력실행단계(S12)로 진행하여 사용자의 현재 일반 정보 예컨데, 사용자가 원하는 이상형의 조건 정보 또는 사용자의 개인 신상 정보의 입력을 받아 상기 통신실행단계(S5)로 진행하여 등록 정보를 웹서버 시스템부로 전송한다.

한편, 상기 통신실행단계(S5)에 의해 사용자 인터페이스부로부터 문자 및 영상 검색 정보 또는 등록 정보가 포함된 사용자 정보가 웹서버 시스템부로 입력되면 3차원 얼굴 복원 및 출력 단계(S13)로 진행하여 현재 사용자 인터페이스부(1)로부터 입력된 얼굴 영상 정보를 토대로 3차원 얼굴로 복원하여 사용자 인터페이스부(1)의 출력장치부(7)에 출력하고 사용자인증 판단단계(S14)로 진행하여 현재 사용자가 인증된 사용자인지를 판단한다. 그리고, 상기 사용자인증 판단단계(S14)중에 판단한 결과 만약 현재 웹서버 시스템부에 접속된 사용자가 인증된 사용자가 아닐 경우 일반기능실행단계(S15)로 진행하여 일반 기능 예컨데, 사이트 소개나 회원 가입 권유 등의 정보를 사용자 인터페이스부로 전송하거나 사용자로부터 전송 받은 등록 정보를 저장한다. 그러나, 상기 사용자인증 판단단계(S14)중에 판단한 결과 만약 현재 웹서버 시스템부에 접속된 사용자가 인증된 사용자일 경우는 문자 및 얼굴영상정보 검색실행단계(S16)로 진행하여 현재 사용자 인터페이스부로부터 입력된 문자 및 영상 검색 정보를 데이터베이스에 저장된 영상 검색 정보와 비교 분석하여 최적으로 유사한 n개의 얼굴 영상 정보를 검색하여 3차원 얼굴 출력단계(S17)에서 검색결과에 해당하는 3차원 얼굴 영상을 3차원 영상 정보 데이터베이스에서 가져와 사용자 인터페이스부의 디스플레이 상에 출력한다.

한편, 상기 3차원 얼굴 출력단계(S16)후에 검색정보만족 판단단계(S18)로 진행하여 현재 사용자가 요구한 영상 검색 정보에 따라 데이터베이스 내에서 검색된 유사도가 높은 상위 n개의 3차원 얼굴 영상 정보들을 사용자가 만족하는지 판단한다. 그리고, 상기 검색정보만족 판단단계(S18)에서 판단한 결과 데이터베이스 내에서 검색된 사용자 질의에 대해 유사도가 높은 n개의 3차원 얼굴 영상 정보에 대해서 사용자가 만족하지 않을 경우는 초기단계(S1)로 진행한다. 그러나, 상기 검색정보만족 판단단계(S18)중에 판단한 결과 데이터베이스 내에서 검색된 n개의 3차원 인물 영상 정보 중에 사용자가 자신의 질의에 대한 인물 영상 정보로 만족되는 정보가 있다면 특정인물정보요구 판단단계(S19)로 진행하여 현재 선택된 인물 영상 정보와 일치하는 개인 신상 정보에 대해 사용자가 정보 전송을 원하는지를 판단한다. 이때, 상기 특정인물정보요구 판단단계(S19)중에 판단한 결과 만약 현재 선택된 인물 영상 정보와 일치하는 개인 신상 정보에 대해 사용자가 정보 전송을 원치 않을 경우는 종료 단계로 진행한다. 그러나, 상기 특정인물정보요구 판단단계(S19) 중에 판단한 결과 현재 선택된 인물 영상 정보와 일치하는 개인 신상 정보에 대해 사용자가 정보 전송을 원할 경우는 특정인물정보 전송단계(S20)로 진행하여 상기 선택된 인물 영상 정보와 일치하는 개인 신상 정보를 사용자 인터페이스부로 전송한다.

즉, 사용자 인터페이스부(1)의 통신 장치부(8)를 통해 웹서버 시스템부(2)의 통신 장치부(8)로 문자 및 영상 정보 검색 신호가 포함된 사용자 정보가 전송되면 중앙연산 처리부(9)의 데이터 제어부(13)는 롬(15)에 들어있는 운용 프로그램에 따라 이를 인식하여 3차원 얼굴 복원부(21)에서 3차원 얼굴 정보를 복원하여 3차원 영상 데이터베이스에 저장하거나 사용자 인터페이스부에 출력하고 사용자 정보를 사용자 관리부(10)로 전송한다. 그러면, 이 사용자 관리부(10)는 사용자 정보 데이터베이스(17) 내에 저장된 사용자 정보들과 비교하여 접속을 시도하는 사용자가 등록된 사용자인지 판단한다. 그리고, 이 사용자 관리부(10)에서 판단한 결과 만약 비회원일 경우에는 등록 과정과 약관, 얼굴 영상 검색 서비스에 대한 설명을 제공하는 가입 권유 메시지를 통신 장치부(8)을 통해 사용자 인터페이스부(1)의 출력장치부(7)상에 표시한다. 그러면, 사용자가 가입을 원할 경우 사용자가 입력한 문자정보, 얼굴 영상 정보 및 복원된 3차원 영상 정보가 웹 서버 시스템부(2)의 데이터베이스부(12)에 저장되어 사용자 인증 또는 이상형 검색에 사용된다. 그러나, 상기 사용자 관리부(10)에서 판단한 결과 인증된 회원일 경우에는 환영 메시지와 함께 남은 검색 횟수를 사용자에게 전송하게 된다.

한편, 상기 사용자 관리부(10)에 의해서 현재 사용자 정보가 인증되면 데이터 제어부(13)는 얼굴 영상 정보 검색부(11)를 통해 현재 사용자 인터페이스부(1)로부터 입력된 영상 검색 정보 예컨데, 질의 얼굴 영상을 영상 정보 데이터베이스(18)와 비교하여 검색을 수행한 다음 그 검색결과와 관련된 3차원 얼굴 영상 정보를 사용자 인터페이스부에 전달하는 데, 이때, 이러한 영상 정보 검색은 PCA를 이용한 방법, SVM을 이용한 방법 등이 사용될 수 있다.

그리고, 상기 얼굴 영상 정보 검색부(11)가 상기 과정에서와 같이 검색한 결과를 중앙연산 처리부(9)를 통해 사용자 인터페이스부(1)의 출력 장치부(7)상에 표시한다.

그러면, 사용자는 전송 받은 n개의 3차원 얼굴 영상들을 살펴보고 원하는 이상형이 있을 경우 웹서버 시스템부(2)로 해당 인물에 대한 개인 신상 정보 자료를 요청할 수 있다. 따라서, 이 웹서버 시스템부(2)의 중앙연산 처리부(9)는 사용자 인터페이스부(1)로부터 특정 인물에 대한 정보를 요구하면 사용자 관리부(10)를 이용하여 해당 인물에 대한 개인 신상 정보를 상기 사용자 인터페이스부(1)로 전송해준다.

여기서, 상기 임시 버퍼(14)는 질의 얼굴 영상이나 등록시 얼굴 영상과 텍스트 정보 등이 처리되기 전에 저장되는 부분으로서, 대용량의 용량을 보장하도록 구성하는 반면에 램(16)은 대용량보다는 데이터 제어부(13)와 빠른 접근 속도를 보장하도록 처리된다.

한편, 상기 과정 중에서 얼굴 영상 정보 검색부(11)의 기능을 다시 설명하면, 이 얼굴 영상 정보 검색부(11)는 도 7에 도시된 바와 같이 사용자가 질의한 얼굴 영상에 대해 유사한 얼굴 영상을 검색하는 기능을 수행한다. 이 얼굴 영상 정보 검색부(11)는 등록된 사용자의 얼굴 영상을 대상으로 검색하며, 질의 얼굴 영상의 특징 정보를 추출하여 기 등록된 회원의 특징 정보와 비교함으로서 검색이 이루어진다.

검색 결과로서 질의 얼굴 영상과 가장 유사한 순서로 상위 n개의 아이디를 전송하게 되고, 중앙연산 처리부(9)의 데이터 제어부(13)는 이를 받아서 해당 아이디의 3차원 얼굴 영상을 3차원 영상 정보 데이터베이스(19)로부터 가져와서 사용자에게 전송한다. 사용자는 검색 결과를 받아서 3차원 얼굴 영상들을 살펴보고 원하는 이상형이 있을 경우, 해당 인물의 상세한 정보를 사용자 관리 장치를 통해서 요구할 수 있다. 이때, 데이터베이스부(12)의 각 데이터베이스는 동일한 아이디의 각기 다른 정보를 저장하는 데 사용자가 입력한 문자정보는 사용자 정보 데이터베이스(17)에, 얼굴 영상 정보는 영상 정보 데이터베이스(18)에, 복원된 3차원 얼굴 정보는 3차원 영상 정보 데이터베이스에 저장된다.

얼굴 영상 등록 혹은 얼굴 영상 검색은 얼굴 영상 정보 검색부(11)를 통해서 이루어지고 있다. 일반적인 얼굴 영상 검색 방법은 고유 벡터를 이용한 주성분 방법, 형판 정합 방법, 신경망을 이용한 방법 등이 있으며 본 발명에서 얼굴 영상 검색 장치는 상기 방법 중 하나로 이루어질 수 있으며, 패턴 인식 분야에 있어서, 공지된 기술이므로 본 명세서에서는 구체적인 설명을 생략한다.

3차원 얼굴의 복원은 3차원 얼굴 복원부(21)를 통해서 이루어지고 있다. 일반적인 3차원 얼굴 복원 방법은 통계적 모형을 이용한 정면 얼굴 영상으로부터의 3차원 얼굴 영상 복원 방법, 3차원 표준 얼굴 모형을 이용한 방법 등이 있으며, 패턴 인식 분야에 있어서, 공지된 기술이므로 본 명세서에서는 구체적인 설명을 생략한다.

얼굴 영상 검색의 경우 상기 수순과 같이 순수하게 얼굴 영상에 대한 질의만을 수행할 수 있으며, 텍스트 정보(검색 대상 인물의 조건)를 이용하여 검색 범위를 줄일 수 있다. 이러한 정보 또한 중앙연산 처리부(9)의 임시 버퍼(14)를 이용하여 임시로 저장되며 사용자 정보 데이터베이스(17)내의 정보를 한정하여 해당 조건에 맞는 회원의 얼굴 영상만의 검색을 시도할 수 있다.

이상 설명에서와 같이 본 발명은 다양한 얼굴 영상 정보가 저장된 데이터베이스 내에서 인증된 사용자로부터 입력된 얼굴 영상 정보와 유사도가 높은 n개의 정보를 검색하고 그 검색된 정보를 3차원 복원하여 복원된 3차원 얼굴 정보 및 다른 요구 정보와 함께 사용자에게 전송해주도록 함으로써, 유사도가 높은 얼굴 영상정보를 이용하게 되므로 그에 따라 정보 이용성의 극대화를 이룰 수 있음은 물론 얼굴 영상을 사용자의 기호에 부합되도록 얼굴 영상 정보의 일부분을 미세 조정한 다음 3차원 얼굴 영상으로 복원하여 확인한 후 영상 검색을 실행하게되므로 그에 따라 사용자가 원하는 이상형의 3차원 얼굴 영상 정보를 정확히 검색할 수 있는 효과가 있다.

본 발명의 다른 특징은 사용자의 신상 정보 및 원하는 이상형의 정보를 보유하고 있는 사용자 정보 데이터베이스와 효율적인 검색을 위해 얼굴 영상만을 따로 저장해 놓은 영상 정보 데이터베이스를 운영하며 세 개의 데이터베이스는 사용자에게 부여한 아이디를 기준으로 동기화를 수행하도록 구성하였다.

이렇게 하는 것에 의해 기존에 텍스트 기반의 정보를 이용한 이상형 검색에 부가해서 원하는 얼굴 영상에 가장 유사한 3차원 이상형을 순서대로 검색할 수 있는 효과가 있다.

도 1은 종래 결혼 정보 검색 시스템의 제어 방법을 설명하는 설명도.

도 2는 본 발명의 3차원 이상형 검색 시스템을 설명하는 블록도.

도 3은 본 발명의 플로우차트.

도 4는 본 발명의 얼굴 영상 검색 정보에 대한 제어점 표시화면의 설명도.

도 5는 도 4의 제어점을 미세 조정한 얼굴 영상 검색 정보를 설명하는 설명도.

＜부호의 상세한 설명＞

1 : 인터페이스부 2 : 웹서버 시스템부

3 : 키패널부 4 : 얼굴 영상 정보 생성부

5 : 데이터베이스 6 : 얼굴 요소 조정부

7 : 출력 장치부 8 : 통신 장치부

9 : 중앙연산 처리부 10: 사용자 관리부

11: 얼굴 영상 정보 검색부 12: 데이터베이스부

13: 데이터 제어부 14: 임시 버퍼

15: 롬 16: 램

17: 사용자 정보 데이터베이스 18: 영상 정보 데이터베이스

19: 3차원 영상정보 데이터베이스 20: 제어부

Claims (11)

1. 회원 가입 정보와 얼굴 영상 정보를 생성하고 필요한 영상 및 회원 정보를 검색하는 사용자 인터페이스부와, 이 다수개의 사용자 인터페이스부로부터 입력된 영상 및 문자 정보 검색 신호에 따라 회원 가입 정보 및 유사도가 높은 얼굴 영상정보들을 검색하여 3차원 복원한 다음 상기 해당 사용자 인터페이스부로 전송하는 웹서버 시스템부로 이루어진 것을 특징으로 하는 얼굴 영상을 이용한 3차원 이상형 검색 시스템.
2. 제 1항에 있어서, 상기 사용자 인터페이스부는 질의된 사용자의 얼굴 영상 정보 생성 제어 신호에 따라 기존에 존재하는 얼굴 혹은 가상의 얼굴 영상을 기반으로 원하는 질의 얼굴 영상 정보를 만들어주거나 혹은 기 저장된 얼굴 영상과 얼굴 요소 정보를 이용하여 얼굴 영상 정보를 생성하는 얼굴 영상 정보 생성부와, 이 얼굴 영상 정보 생성부와 연결되어 실제로 존재하는 특정인이나 이미 지정되어 있는 복수개의 가상 얼굴들과 얼굴 요소들을 저장하고 있는 데이터베이스와, 상기 얼굴 영상 정보 생성부에 의해 설정된 얼굴 영상 정보의 얼굴 요소에 미리 정의되어 있는 제어점들을 이용하여 각 얼굴 요소들을 미세하게 조정하게 해주는 얼굴 요소 조정부와, 상기 입력 키패널부와 출력장치부와, 얼굴 영상 정보 생성부 및 얼굴 요소 조정부와 연결되어 입출력 데이터를 제어하고 통신장치부를 통하여 문자 및 영상정보의 통신신호를 웹서버 시스템부로 전송해주는 제어부를 포함하는 것을 특징으로 하는 얼굴 영상을 이용한 3차원 이상형 검색 시스템.
3. 제 1항에 있어서, 상기 웹서버 시스템부는 상기 사용자 인터페이스부와 네트워크로 연결되어 입출력되는 문자 및 영상 정보의 통신 신호를 전송해주는 통신 장치부와, 이 통신 장치부를 경유하여 입력되는 사용자의 문자 및 영상 정보 검색에 따른 질의를 분석하여 각 처리 장치부를 통해 유사도가 높은 n개의 얼굴 영상 정보를 검색하여 3차원 얼굴정보의 산출을 제어하는 중앙연산 처리부와, 이 중앙연산 처리부의 제어 명령에 따라 인증된 사용자의 요구 정보 산출과 지속적인 관리를 실행하는 사용자 관리부와, 상기 중앙연산 처리부의 영상 검색 제어 신호에 따라 질의된 얼굴 영상과 유사한 얼굴 영상 정보를 검색하는 얼굴 영상 정보 검색부와, 상기 중앙연산처리부의 3차원 복원 제어 신호에 따라 얼굴 영상 정보를 토대로 3차원 얼굴을 복원하는 3차원 얼굴 복원부와, 상기 사용자의 문자 및 영상 정보 등을 저장하는 데이터베이스부를 구비하는 것을 특징으로 하는 얼굴 영상을 이용한 3차원 이상형 검색 시스템.
4. 제 3항에 있어서, 상기 중앙연산 처리부는 상기 통신 장치부를 경유하여 입력되는 사용자의 문자 및 영상 정보 검색에 따른 질의를 분석하여 각 처리 장치부를 통해 사용자 요구 정보를 처리하는 데이터 제어부와, 이 데이터 제어부에 의해 처리된 데이터를 일시 저장하는 임시 버퍼를 포함하는 것을 특징으로 하는 얼굴 영상을 이용한 3차원 이상형 검색 시스템.
5. 제 3항에 있어서, 상기 데이터베이스부가 사용자 정보를 저장하는 사용자 정보 데이터베이스와, 얼굴 영상 정보를 저장하는 영상 정보 데이터베이스와, 복원된 3차원 얼굴 영상 정보를 저장하는 3차원 얼굴 영상 정보 데이터베이스로 구성되는 것을 특징으로 하는 얼굴 영상을 이용한 3차원 이상형 검색 시스템.
6. 제 2항에 있어서, 상기 얼굴 요소 조정부가 얼굴 영상 정보에서 눈, 코, 입, 얼굴 윤곽 등의 얼굴 구성 요소마다 조정 가능한 제어점들을 두어 각 제어점을 미세 조정하는 것을 특징으로 하는 얼굴 영상을 이용한 3차원 이상형 검색 시스템.
7. 제 3항에 있어서, 상기 얼굴 영상 정보 검색부는 얼굴 영상 검색시에 질의 얼굴 영상 정보의 눈, 코, 입, 얼굴 윤곽 등의 각 얼굴 요소마다 가중치를 두어 얼굴 요소를 중점적으로 검색하는 것을 특징으로 하는 얼굴 영상을 이용한 3차원 이상형 검색 시스템.
8. 제 2항에 있어서, 상기 3차원 얼굴 복원부는 사용자 인터페이스부에서 사용자의 얼굴 영상 정보 생성 제어 신호에 따라 기존에 존재하는 얼굴 혹은 가상의 얼굴 영상을 기반으로 원하는 질의 얼굴 영상 정보를 전달 받거나, 혹은 기 저장된 얼굴 영상과 얼굴 요소 정보를 이용하여 생성된 얼굴 영상 정보를 전달 받거나, 얼굴 영상 정보 생성부와 연결된 데이터베이스로부터 연예인 등의 특정 인물의 얼굴영상 정보를 전달받아 3차원 얼굴을 복원하는 것을 특징으로 하는 얼굴 영상을 이응한 3차원 이상형 검색 시스템
9. 얼굴 영상을 이용한 3차원 이상형 검색 시스템에서 사용자가 정보 검색 기능을 설정하였을 경우는 설정된 문자 및 영상 검색 정보를 웹서버 시스템부로 전송하는 통신실행단계와, 상기 통신실행단계에 의해 사용자 인터페이스부로부터 문자 및 영상 검색 정보가 포함된 사용자 정보가 웹서버 시스템부로 입력되면 3차원 얼굴로 복원하여 사용자 인터페이스부에 출력하는 3차원 얼굴 출력 단계와, 현재 사용자 인터페이스부로부터 입력된 사용자가 인증된 사용자인지를 판단하는 사용자인증 판단단계와, 상기 사용자인증 판단단계 중에 판단한 결과 현재 웹서버 시스템부에 접속된 사용자가 인증된 사용자일 경우는 현재 사용자 인터페이스부로부터 입력된 문자 및 영상 검색 정보를 데이터베이스에 저장된 영상 검색 정보와 비교 분석하여 유사도가 높은 n개의 영상 정보를 영상 정보 데이터베이스 내에서 검색하는 문자 및 얼굴영상정보 검색실행단계와, 그 검색된 n개의 영상 정보에 관련된 n개의 복원된 3차원 얼굴 정보를 인터페이스부의 디스플레이상에 출력하는 3차원 얼굴 출력단계와, n개의 3차원 영상 정보 중에서 사용자가 만족하는 이상형이 있을 경우에는 그 검색된 n명의 3차원 영상 가운데서 사용자가 선택한 3차원 인물 영상 정보와 일치하는 개인 신상 정보에 대해 사용자가 정보 전송을 원하는지를 판단하는 특정인물정보요구 판단단계와, 상기 특정인물정보요구 판단단계 중에 판단한 결과 사용자가 선택한 3차원 인물 영상 정보와 일치하는 개인 신상 정보에 대해 사용자가 정보전송을 원할 경우는 상기 선택된 3차원 인물 영상 정보와 일치하는 개인 신상 정보를 사용자 인터페이스부로 전송하는 특정정보 전송단계로 이루어진 것을 특징으로 하는 얼굴 영상을 이용한 3차원 이상형 검색 시스템의 제어 방법.
10. 얼굴 영상을 이용한 3차원 이상형 검색 시스템에서 사용자가 특정 영상 정보의 검색을 위한 영상 정보 생성 기능을 설정하고 자신이 찾고자하는 최적의 영상정보가 담긴 사진 영상 정보를 직접 입력할 경우는 그 직접 입력한 현재의 영상정보를 웹서버 시스템부로 전송하는 영상정보직접입력 판단단계를 더 구비하는 것을 특징으로 하는 얼굴 영상을 이용한 3차원 이상형 검색 시스템의 제어 방법.
11. 제 8항 또는 제 9항 중 어느 한 항에 있어서, 상기 영상정보직접입력 판단단계 중에 판단한 결과 현재 자신이 최적이라고 원하는 영상 정보를 일정 시간 내에 직접 입력하지 않을 경우 현재 영상 정보 데이터베이스 내에 저장되어 있는 영상 정보를 이용하여 영상 검색 정보를 설정할 것인지를 판단하는 영상DB이용 판단단계와, 상기 영상DB이용 판단단계 중에 판단한 결과 영상 정보 데이터베이스 내에 저장되어있는 영상 정보 중에서 영상 검색 정보로 설정할 경우 영상 정보 데이터베이스 내에 저장된 영상 정보 중에서 자신이 찾는 영상 검색 정보가 있는지 검색하는 영상DB이용 영상정보검색단계와, 상기 영상DB이용 판단단계 중에 판단한 결과 사용자가 영상 정보 데이터베이스 내에 저장되어 있는 영상 정보를 영상 검색 정보로 이용하지 않을 경우는 이상형의 얼굴 정보를 얼굴 패턴이 미리 설정되어 있는 몽타주 사진 정보 등을 이용하여 영상 검색 정보를 설정하는 가상얼굴형 선택실행단계와, 상기 영상 데이터베이스를 이용한 영상정보검색단계 중에 영상정보 데이터베이스 내에 저장된 영상 정보 중에서 자신이 찾는 영상 검색 정보가 있을 경우는 그 정보를 영상 검색 정보로 설정하고 현재 설정된 영상 검색 정보의 얼굴 요소가 만족스러운지를 판단하는 얼굴요소만족 판단단계와, 상기 얼굴요소만족 판단단계 중에 판단한 결과 현재 설정된 영상 검색 정보의 얼굴 요소가 만족스러울 경우는 현재 설정된 문자 및 영상 검색 정보를 웹서버 시스템부로 전송하는 상기 통신실행단계와, 상기 얼굴요소만족 판단단계 중에 판단한 결과 현재 설정된 영상 검색 정보의 얼굴 요소가 만족스럽지 않을 경우는 현재 설정된 영상 검색 정보의 일부 얼굴요소를 자신이 원하는 형상으로 조절 동작을 실행하는 얼굴요소조절 실행단계를 더 포함하는 것을 특징으로 하는 얼굴 영상을 이용한 3차원 이상형 검색 시스템의 제어 방법.