KR20010069820A

KR20010069820A - 2차원 영상으로부터 3차원 얼굴형상의 획득 방법 및 시스템

Info

Publication number: KR20010069820A
Application number: KR1020010026057A
Authority: KR
Inventors: 정욱진; 심재창
Original assignee: 정욱진
Priority date: 2001-05-14
Filing date: 2001-05-14
Publication date: 2001-07-25
Also published as: WO2002093493A1; KR100474352B1

Abstract

본 발명은 2차원 영상으로부터 3차원 얼굴형상의 획득 방법 및 시스템에 있어서, 고객이 얼굴의 정면 및 측면 사진을 온라인으로 전송하면, 먼저 웹 서버를 경유하여 얼굴형상을 제작하는 시스템으로 전송된다. 얼굴형상을 제작하는 시스템은 디지털 정면 및 측면사진으로부터 눈, 코, 입, 귀, 눈썹 그리고 얼굴 외곽선, 콧등을 지나는 외곽선 모형, 머리카락의 특징 등을 추출한 후, 많은 실제 사람얼굴들이 축적된 데이터베이스를 특징별로 분류한 얼굴특징과 사진으로부터 추출된 얼굴특징을 비교 검색하는 과정을 통하여 사진의 얼굴과 가장 유사한 3차원 얼굴형상을 선정하고, 선정된 3차원 얼굴형상 데이터들을 웹 서버로 전송하면, 고객은 웹 브라우저를 통하여 3차원 얼굴형상을 보면서 이미 전송한 얼굴사진과 가장 유사한 3차원 얼굴형상을 선정하며, 부분적인 수정 요구도 웹 브라우저를 통하여 할 수 있도록 하는 방법으로 고객의 사진과 유사하게 닮은 3차원 얼굴형상을 온라인으로 그리고 실시간으로 제작할 수 있는 3차원 얼굴형상 획득 방법 및 시스템에 관한 것이다.

Description

2차원 영상으로부터 3차원 얼굴형상의 획득 방법 및 시스템 {Method and system for acquiring a 3D face digital data from 2D photograph}

본 발명은 2차원 영상으로부터 3차원 얼굴형상의 획득 방법 및 시스템에 관한 것으로서, 임의의 사람 얼굴을 나타내는 2차원 영상 데이터로부터 2차원 영상의 특징을 추출한 정보와 미리 저장해둔 실제의 여러 사람의 3차원 얼굴형상 데이터 베이스를 활용하여 얻은 3차원 얼굴형상의 특징을 나타내는 정보를 비교 검색하는 방법으로 2차원 영상 당사자의 얼굴과 가장 닮은 3차원 얼굴형상을 자동으로 제작할 수 있는 방법 및 시스템에 관한 것이다.

3차원 형상 데이터는 물체의 공간상 좌표를 표시한 것으로 2차원 영상의 색상을 가질 수 없는 반면 형체를 가지고 있으므로 실물을 제작하거나, 인터넷의 전자상거래 등의 분야에 다양한 응용이 가능하다. 3차원 형상 데이터를 얻기 위한 기술로서는 사람의 두 눈에 의한 광각을 모방하여 물체의 높이 정보를 얻는 스테레오 기술을 응용한 카메라 시스템이 있다. 그리고 다른 방법으로는 x축 방향으로 레이저 빔을 피사체에 주사하고 광 삼각법을 이용하여 평면정보 이외에 z축 방향의 높이정보를 얻는 방식으로 y축 방향에 대하여 스캔함으로써 피사체의 형상정보를 비접촉방법에 의해 실측치로 얻을 수 있는 카메라 시스템이 개발되어 있다. 하지만 이미 실제 물체가 세상에 현존하지 않고 사진만 존재하는 경우와 3차원 형상 입력 시스템이 있는 곳까지 이동할 수 없는 경우 3차원 형상데이터를 얻을 수 있는 유일한 방법은 사진정보로부터 3차원 형상으로 변환하는 기술이 유일한 대안이다. 그리고 3차원 카메라 시스템으로 형상을 찍을 수 없는 환경도 많다.

2차원 얼굴영상을 3차원 얼굴형상으로 변환하는 종래의 기술로서, 상용화된 제품인 3D-Max등의 3차원 데이터 처리용 전문 소프트웨어를 이용하여 2차원 영상 데이터를 3차원 형상으로 변환하는 기술이 있다. 이 기술은 임의의 사람 얼굴을 2차원 영상에서 3차원 형상으로 변환한다고 할 때 2차원 영상 데이터는 실제 사람의 3차원 형상에 소요되는 높이 정보가 대부분 유실된 상태이므로 실제의 사람 형상과 동일한 형상을 복구하는 것이 기술적으로 불가능하다. 그리고 3차원 얼굴형상 변환기술은 기술자들의 자의적 표현능력에 따라 3차원 형상의 모양이 다르게 나타날 수 있고, 따라서 보다 사실적인 데이터 변환을 위해서는 기술자의 미술적 전문 감각이 동시에 요구되는 고난도의 작업이다. 즉 2차원 얼굴사진에서는 이미 3차원 정보가 대부분 유실된 상태이므로 3차원 얼굴형상을 제작하기 위해서는 2차원 사진정보이외에 머리 뒤를 기준으로 귀와 코는 높이 차이가 난다는 높이 정보를 복구해야 하는데, 사람의 얼굴모양에 대한 전문적 지식과 3차원 형상 수정에 필요한 컴퓨터 소프트웨어에 능통한 사람이 직접 실시하는 경우에도 매우 많은 시간과 시행착오를 거쳐야 하므로 소요 비용 또한 많이 드는 문제점이 있다. 또 다른 기술로서는 사람얼굴의 부분 부분을 조각으로 조합하여 3차원 얼굴형상을 얻으려고 하는 기술이 연구되어지고 있다. 이 기술은 사람얼굴의 3차원 형상을 부분적으로 보관하고 있으면서, 몽타쥬를 만드는 기법으로 필요에 따라 사람얼굴의 각 부분을 조합하여 2차원 영상 데이터와 가장 유사한 3차원 얼굴형상을 얻는 기술이다. 하지만 눈으로 사람얼굴을 인식하는 정도는 사람얼굴의 색상과 외곽선 정보에 의해 대부분 결정되고나머지 일부분이 3차원 얼굴형상 정보로 이용되므로 3차원 얼굴형상 정보만으로는 여러 사람들의 얼굴 특징을 확인하는 것이 어려우며, 따라서 2차원 사진 영상으로 몽타쥬를 만드는 것 보다 3차원 얼굴형상을 몽타쥬 기법으로 만드는 것이 더욱 어렵다. 또한 부분적으로 조합하여 전체적인 3차원 얼굴형상을 만드는 경우 소비자의 요구에 부응할 수 있도록 보다 섬세하고 사실적인 3차원 얼굴형상을 만드는 점에 있어서도 어려운 문제점이 있다.

본 발명은 상기한 실정을 감안하여 임의의 사람 얼굴을 나타내는 2차원 영상 데이터로부터 3차원 얼굴형상을 만드는 기술로, 먼저 2차원 영상의 특징을 추출하고, 여러 사람의 3차원 얼굴형상이 저장되어 있는 데이터 베이스를 활용하여 2차원 영상 당사자의 얼굴과 가장 닮은 3차원 얼굴형상을 자동으로 추출하며, 추출된 3차원 형상이 정말 본인과 닮았는지를 여러 개의 검색된 3차원 얼굴형상들 중에서 제작을 의뢰한 당사자가 눈으로 직접 선택하게 하고, 수요자의 요구조건과 부합하지 않는 상이한 부분에 대해서 설명을 하게 되면 3차원 형상 에디터를 이용하여 수정하는 방법으로 수요자가 만족할 수 있는 수준의 3차원 얼굴형상을 획득할 수 있도록 하는 방법 및 시스템이다. 이상의 본 발명을 이루기 위해서는 패턴인식 기술 등을 이용하여 2차원 얼굴사진에서 특징을 추출하는 기술, 기 축적된 3차원 얼굴형상 데이터로부터 얼굴형상의 특징을 추출하는 기술, 2차원 얼굴에서의 특징과 3차원 얼굴에서의 특징을 상호 비교 검색하여 2차원 얼굴 영상 데이터로부터 컴퓨터가 자동으로 가장 유사한 3차원 얼굴형상 데이터를 추출하는 기술, 추출된 3차원 얼굴 골격으로 에디터가 수정 및 편집을 하는 제작 과정을 실시함으로써 제작시간을 최소화하면서 3차원 얼굴형상 제작의 완성도는 향상시킬 수 있는 3차원 얼굴형상 획득 방법 및 시스템을 제공하는데 목적이 있다.

도 1은 3차원 얼굴형상을 제작하는 시스템의 구성을 나타내는 도면

도 2는 3차원 얼굴형상 제작공정 순서를 나타내는 도면

도 3은 정면사진으로부터 얼굴의 부분적 특징을 추출하는 방법을 나타내는 도면

도 4는 정면사진으로부터 얼굴의 전체적 특징을 추출하는 방법을 나타내는 도면

도 5는 3차원 얼굴형상으로부터 특징을 추출하는 방법을 나타내는 도면

*도면의 주요 부분에 대한 부호의 설명*

1....고객의 컴퓨터 2....웹 브라우저 3....고객 사용자 번호 4....인터넷 5....웹 서버 6....웹 페이지 7....얼굴사진과 고객정보 데이터베이스 8....3차원 얼굴형상 제작시스템 9....사진 얼굴특징 추출결과 저장장치 10....유사한 3차원 얼굴형상 자동검색기 11....3차원 얼굴특징 추출 저장장치 12,14....3차원 얼굴형상 데이터베이스 13....검색결과 저장장치 15,17....3차원 얼굴형상 저장장치 16....3차원 얼굴형상 가공

상기한 목적을 달성하기 위한 본 발명은 2차원 사진으로 전송되어진 데이터로부터 본인의 얼굴형상과 가장 유사한 3차원 얼굴형상을 찾는 방법에 의해 고객이 원하는 3차원 얼굴형상을 제작할 수 있는 방법 및 시스템에 대한 것으로서, 먼저 고객이 3차원 얼굴형상 제작을 의뢰하고자 하는 얼굴의 정면 및 측면 사진을 인터넷 웹 브라우저(2)로 인터넷(4)을 통하여 온라인으로 전송하면, 2차원 사진을 3차원 형상으로 변환해주는 서비스 회사(이하 서비스 회사라고 한다)의 웹 서버(5)에 디지털 사진이 도착하게 되고, 도착된 디지털 사진은 다시 3차원 얼굴형상 제작시스템(8)으로 전송된다. 3차원 얼굴형상 제작시스템(8)은 디지털 정면 사진으로부터 눈, 코, 입, 귀, 눈썹 그리고 얼굴 외곽선의 특징을 추출하고, 측면 사진으로부터 콧등을 지나는 외곽선 모형, 코, 눈, 입, 머리카락의 특징을 추출한다. 고객으로부터 전송되어온 사진으로부터 임의의 사람 얼굴 특징들을 추출한 결과를 저장장치(9)에 저장한 후, 이미 많은 실제 사람들의 3차원 얼굴형상들이 3차원 카메라 촬영으로 축적된 데이터베이스(12)에서 3차원 얼굴형상을 특징별로 분류한 결과가 저장된 저장장치(11)와 저장장치(9)로부터의 데이터를 각각 유사한 3차원 얼굴형상 자동검색기(10)에 입력하면 사진으로부터 추출된 얼굴특징과 3차원 얼굴형상으로부터의 얼굴특징들을 비교 검색하는 과정을 통하여 사진의 얼굴특징을 닮은 3차원 얼굴형상 특징들의 검색결과를 저장장치(13)에 저장하고, 저장장치(13)의 검색결과에 일치하는 3차원 얼굴형상 데이터를 데이터베이스(12)에서 읽어와서 데이터베이스(14)에 저장하고, 다음 단계로 데이터베이스(14)에서 3차원 얼굴형상 데이터를 4개씩 또는 6개씩 선별적으로 선정한 다음 2차원 사진영상을 텍스쳐 매핑(texture mapping)한 결과를 저장장치(15)에 저장하며, 동시에 텍스쳐 매핑된 3차원 얼굴형상 데이터를 웹 서버(5)로 전송하면, 고객은 웹 브라우저(2)를 통하여 웹 서버(5)로부터 전송되는 3차원 얼굴형상을 보면서 이미 전송한 얼굴사진과 가장 유사한 3차원 얼굴형상을 선택한다. 그리고 고객이 선정한 3차원 얼굴형상에 대하여 부분적인 수정 요구도 웹 브라우저를 통하여 할 수 있으며, 고객으로부터 수정요구가 들어오면 온라인으로 연결된 전문인력에게 수정요구에 대한 얼굴형상 수정작업을 3차원 형상 에디터를 이용하여 실시한 후 3차원 얼굴형상 제작을 완료한다.

상기한 본 발명의 기술적 핵심내용은 고객의 정면 및 측면 사진으로부터 3차원 얼굴형상을 제작하기 위한 방법 및 시스템으로서, 3차원 카메라 촬영에 의해 많은 사람들의 실제 얼굴형상들이 축적된 데이터베이스로부터 얻은 3차원 얼굴형상의 특징과 사진으로부터 추출된 고객의 얼굴특징을 비교 검색하는 방법에 의해 고객의 얼굴과 가장 유사한 3차원 얼굴형상을 제작하는 방법이며, 사진에 의한 고객의 얼굴특징 추출기술 및 3차원 얼굴 데이터 베이스에서 3차원 얼굴형상의 특징을 추출하는 기술, 패턴 인식기술을 이용한 얼굴형상 비교 검색기술이다.

이하 첨부 도면을 참조하여 본 발명에 대하여 상세하게 설명한다.

도 1은 본 발명의 3차원 얼굴형상을 제작하는 시스템의 구성을 나타내는 도면으로서, 고객의 컴퓨터(1)와 인터넷(4)으로 연결된 서비스 회사의 웹 서버(5), 그리고 웹 서버(5)와 전기적으로 연결되어 데이터를 상호 교환할 수 있는 3차원 얼굴형상 제작시스템(8)이 있다. 고객의 컴퓨터(1)에서는 웹 브라우저(2)를 통하여 웹 서버(5)로부터 제공되는 각종 웹 페이지들(6)을 볼 수 있으며, 고객이 사진 전송에 의한 3차원 얼굴형상 제작의뢰 절차를 실시하고자 하는 경우에는 웹 서버(5)에 고객의 회원인증 절차를 거쳐 사용자 번호(3)를 웹 서버(5)로부터 받은 후 고객의 사진을 전송할 수 있고, 이후 지속적인 제작의뢰 절차에 대해서는 처음 거래시 부여받은 사용자 번호(3)를 사용함으로써 여러 번의 회원인증 절차를 받지 않아도 된다. 고객의 컴퓨터(1)와 인터넷(4)의 TCP/IP 프로토콜로 데이터를 주고 받는 웹 서버(5)는 고객을 위한 시작페이지, 안내페이지 등의 여러 웹 페이지들(6)을 고객에게 제공하고, 동시에 고객으로부터 정면 및 측면의 사진을 온라인으로 전송 받을 수 있는 업로드 기능을 가지며, 이때 업로드되는 얼굴 데이터 사진과 고객의 정보가 일치되어 저장될 수 있는 데이터베이스(7)를 갖는다. 그리고 웹 서버(5)는 고객의 전송 사진 얼굴과 유사한 3차원 얼굴형상에 사진이 텍스쳐 매핑되어 저장된 저장장치(15)에서 데이터를 읽어와서 고객에게 보여주기 위한 웹 페이지(6)를 제공한다. 다음으로 웹 서버(5)와 3차원 얼굴형상 제작시스템(8)은 전기적으로 연결되어 데이터를 상호 교환할 수 있으며, 웹 서버(5)로부터 전송된 고객의 디지털 정면 사진으로부터 눈, 코, 입, 귀, 눈썹 그리고 얼굴 외곽선의 특징을 추출하고, 측면 사진으로부터 콧등을 지나는 외곽선 모형, 귀에서 코끝까지의 거리, 코, 눈, 입, 머리카락의 특징을 추출한 결과를 저장장치(9)에 저장한다. 그리고 레이저 빔을 피사체에 주사하고 광 삼각법을 이용하여 피사체의 형상정보를 비접촉 방법에 의해 실측치로 얻을 수 있는 카메라 시스템으로부터 축적된 3차원 얼굴형상 데이터베이스(12)로부터 3차원 얼굴형상의 특징을 추출한 결과를 저장장치(11)에 저장한다. 다음 유사한 3차원 얼굴형상 자동 검색기(10)로 저장장치(11)과 저장장치(9)의 데이터 저장 값들을 전송한다. 유사한 3차원 얼굴형상 자동 검색기(10)에서는 2차원 얼굴사진 영상과 3차원 얼굴형상의 비교를 위하여 눈, 코, 입, 귀, 눈썹 그리고 얼굴 외곽선의 특징, 콧등을 지나는 외곽선 모형, 귀에서 코끝까지의 거리, 머리카락의 모양, 양 눈 사이의 거리, 코끝과 두 눈, 코끝과 입의 양쪽 끝 부분, 양 눈의 중심과 입의 양쪽 끝을 연결하는 다각형을 구성하고 2차원 영상과 3차원 형상에서의 닮은 정도를 3차원 얼굴형상 자동검색기(10)에 의해서 계산하고 유사도가 높은 3차원 얼굴형상에 대한 검색결과를 저장장치(13)에 저장한다. 이때 3차원 얼굴형상의 특징을 추출하는 방법으로 얻어진 눈, 코, 입의 형상정보를 2차원으로 변환하였을 경우의 위치정보와 동일인의 2차원 영상정보에서 얻어진 눈, 코, 입의 가장자리 정보가 일치하는 점을 이용하여 2차원 얼굴사진과 가장 닮은 3차원 얼굴형상을 찾는 기술이 본 발명의 특징이다. 그리고 저장장치(13)에 저장된 검색결과에 일치하는 3차원 얼굴형상 데이터들을 3차원 얼굴형상 데이터베이스(12)로부터 읽어와서, 고객이 전송한 사진과 유사한 3차원 얼굴형상 데이터 100개를 데이터베이스(14)에 저장한다. 100개의 3차원 얼굴형상 데이터들로부터 임의로 선정한 4개 또는 6개의 3차원 얼굴형상을 선정한 후 2차원 사진영상을 텍스쳐 매핑한 후 저장장치(15)에 저장한다. 저장장치(15)에 저장된 임의의 4개 또는 6개의 3차원 얼굴형상 데이터들은 웹 서버(5)를 통하여 고객의 컴퓨터(1)로 전송되고, 전송된 3차원 얼굴형상들 중에서 고객의 요구를 만족시키는 3차원얼굴을 고객으로 하여금 선택하도록 실시하며, 4개 또는 6개 모두가 고객의 요구에 부합하지 않는 경우 3차원 얼굴형상 데이터베이스(14)에서 먼저 선정된 데이터를 제외한 나머지 데이터들 중에서 4개 또는 6개를 다시 선정하여 고객에게 보내주며, 고객의 요구가 만족될 때까지 순차적으로 실시한다. 그리고 고객이 선정한 3차원 얼굴형상을 다시 고객의 요구에 의해 부분적으로 수정하는 경우 고객의 요구사항을 문자로 전송 받아 고객이 선정한 3차원 얼굴형상 데이터와 함께 온라인으로 3차원 얼굴형상가공(16)을 의뢰한다. 이 방법은 보다 섬세한 고객의 요구를 만족시키기 위해 실시하는 반자동 3차원 얼굴형상 제작 방법이며, 서비스회사에 고용된 3차원 얼굴형상 수정 전문가에 의해 3차원 형상 에디터를 이용하여 수정된 후 서비스회사로 반송되어져 오면 고객의 요구에 의한 완성품으로서의 3차원 얼굴형상 데이터를 저장장치(17)에 저장하는 것으로 3차원 얼굴형상 제작 공정이 모두 완료된다. 이상의 전체공정에서 3차원 얼굴형상 제조방법은 모두 온라인으로 자동 제작하는 것을 특징으로 하며, 고객의 요구에 의한 수정작업만을 반자동 공정으로 실시한다.

도 2는 3차원 얼굴형상 제작 공정 순서를 나타내는 도면으로서, 고객이 3차원 얼굴형상 제작을 의뢰하기 위해서 사용자번호(3)를 입력하거나 회원인증 절차를 거쳐 사용자번호(3)를 부여받고 로그인하는 단계(S100), 고객이 요구하는 얼굴의 정면 및 측면 사진을 웹 서버(5)로 전송하는 단계(S101), 서비스 회사는 웹서버(5)로 전송되어온 고객의 사진으로부터 얼굴 특징들을 추출하고 저장하는 단계(S102) 후 3차원 얼굴형상 검색기(10)로 전송한다. 동시에 3차원 얼굴형상들이 데이터 베이스(12)에 축적되는 단계(S103)로부터 3차원 얼굴특징을 추출하여 저장하는 단계(S104) 후, 3차원 얼굴형상 추출결과를 자동으로 유사한 3차원 얼굴형상 자동 검색기(10)로 전송하며, 3차원 얼굴형상 자동 검색기(10)에서 고객의 사진으로부터 추출된 얼굴특징들과 3차원 얼굴특징들을 비교 검색하는 단계(S105), 다음 단계로 3차원 얼굴형상 자동검색기(10)에서 검색된 유사한 3차원 얼굴형상 검색결과를 저장하는 단계(S106), 3차원 얼굴형상 데이터베이스(12)로부터 3차원 얼굴형상 자동검색기(10)에서 검색된 검색결과와 일치하는 3차원 얼굴형상 데이터 100개를 데이터베이스(14)에 저장하는 단계(S107), 다음 단계로 데이터베이스(14)에 저장된 3차원 얼굴형상들 중에서 4개 또는 6개를 먼저 선정하여 고객의 사진을 텍스쳐 매핑하고 저장하는 단계(S108) 후 고객의 요구에 가장 부합하는 3차원 얼굴형상을 고객이 직접 선택하게 하는 단계(S109)를 실시하며, 고객의 요구에 부합하는 3차원 얼굴형상 데이터가 고객에게 제공되지 않는 경우 다시 4개 또는 6개의 데이터를 보여주는 방법을 순차적으로 실시하며, 고객의 선택이 이루어지면, 고객이 선택한 3차원 얼굴형상 데이터의 수정 여부를 묻는 단계(S110)에서 고객이 수정을 요구하면 수정이 필요한 부분에 대한 고객의 요구사항을 문자로 온라인 전송 받아 서비스 회사가 고용한 3차원 얼굴형상 수정 전문가에게 수정하는 단계(S111)를 실시하고 최종 완성된 3차원 얼굴형상 데이터를 저장장치(17)에 저장하는 것으로 제작을 완료하는 단계(S112)로 제작공정 순서를 구성한다. 이상의 전 공정은 고객이 인터넷으로 연결된 상태에서 고객이 요구하는 사진에 대하여 3차원 얼굴형상 데이터를 제작할 수 있는 작업 시스템 및 작업공정 방법에 대하여 설명한 것이며, 고객이 3차원 얼굴형상을 선택한 후 보다 섬세한 부분의 수정작업을 위하여 선택적으로 요구하는 공정을 제외하면, 전공정을 자동으로 온라인 상태에서 실시할 수 있는 특징이 있으며, 인터넷 통신선의 전달속도와 3차원 얼굴형상 데이터베이스에서의 검색에 소요되는 시간을 감안하면 거의 실시간으로 고객이 제시한 사진에 해당하는 3차원 얼굴형상을 제작할 수 있는 방법 및 시스템이다.

도 3은 정면사진으로부터 얼굴의 부분적 특징을 추출하는 방법을 나타내는 도면으로서, 사람의 얼굴 색상이 살색인 점을 고려하여 전체영상에서 색상정보를 이용하여 얼굴을 추출하는 얼굴분할 단계(S200), 다음으로 눈, 코, 입의 위치를 투영하는 단계(S201), 마지막으로 눈, 코, 입의 가장자리를 찾는 단계(S202)로 구성되어 있다. 상세하게 설명하면 얼굴의 눈, 코, 입 위치정보에 대한 특징을 추출하기 위한 방법으로, 얼굴 분할된 영상에서 눈 부분, 코 부분, 입 부분에서의 가장자리는 영상에서 급격히 변화되는 부분을 의미하며, 얼굴의 뺨이나 부드럽게 변화되는 부분은 나타나지 않고 눈이나 코 입 등의 영상 화소 값이 급격히 변화되는 곳을 추출하는 영상처리 기법을 활용하여 가장자리 부분을 추출한 다음, 추출된 가장자리 영상을 다시 가로 및 세로 축으로 누적시켜서 투영 데이터를 구한다. 그리고 투영 데이터에 임계값을 적용하여 눈의 위치, 코의 위치 및 입의 가장자리 위치 좌표를 추출함으로서 정면 얼굴사진으로부터의 부분해석을 실시하는 방법으로 정면 사진으로부터의 얼굴특징을 추출한다.

도 4는 정면사진으로부터 얼굴의 전체적 특징을 추출하는 방법을 나타내는 도면으로서, 사람의 얼굴 색상이 살색인 점을 고려하여 전체영상에서 색상정보를 이용하여 얼굴을 추출하는 얼굴분할 단계(S300), 다음 단계로 얼굴 윤곽선을 추출하는 단계(S301) 후 코끝, 인중, 입, 미간의 윤곽선을 추출하는 단계(S302)로서 얼굴의 전체적인 특징을 추출한다.

도 5는 3차원 얼굴형상으로부터 특징을 추출하는 방법을 나타내는 도면으로서, 먼저 3차원 형상에서 코의 끝을 찾는 단계(S400)와 입, 눈의 위치 찾기 및 정규화 단계(S401), 다음으로 코끝, 양 눈의 중심, 입 가장자리 찾는 단계(S402)를 실시하는 방법으로 3차원 얼굴형상의 특징을 추출한다. 상세하게 설명하면 코의 끝을 찾는 단계(S400)에서는 3차원 코를 먼저 찾고, 코와 인중 양미간을 지나는 콧등의 위치를 찾는다. 다음 입, 눈의 위치 찾기 및 정규화 단계(S401)에서는 3차원 형상을 일정크기로 맞추어 주는 정규화 과정을 실시하며, 마지막으로 코끝, 양 눈의 중심, 입 가장자리 찾는 단계(S402)에서는 코에서 아래쪽에 위치하면서 아래 입술과 윗입술의 형태를 가지는 부분을 추출하는 방법으로 입의 위치를 찾고, 입의 끝 부분에 있는 입의 가장자리를 찾고, 코의 위쪽 11시 방향과 1시 방향에 존재하며 주변보다 약간 움푹 들어간 특징을 갖는 눈의 위치를 찾는다. 이상의 방법으로 얻어진 눈, 코, 입의 형상정보를 2차원으로 변환하였을 경우의 위치정보와 동일인의 2차원 영상정보에서 얻어진 눈, 코, 입의 가장자리 정보가 일치하는 점을 이용하여2차원 얼굴사진과 가장 닮은 3차원 얼굴형상을 찾는 기술로 활용한다.

이상 설명한 바와 같이 본 발명 2차원 영상으로부터 3차원 얼굴형상의 획득 방법 및 시스템에 의하면, 고객에 의해 전달되는 2차원 사진 정보로부터 3차원 얼굴형상을 제작하는 방법이 거의 실시간으로 실시되기 때문에 제작에 소요되는 시간이 거의 들지 않으며, 자동제작시스템이므로 1개의 사진으로부터 3차원 얼굴형상을 제작하는데 소요되는 비용도 사람이 제작하는 것보다 상대적으로 적게 들며, 실제 사람 얼굴로부터 축적된 3차원 얼굴형상 데이터베이스를 활용함으로써 보다 실질적인 모습과 유사한 3차원 얼굴형상을 제작할 수 있는 효과가 있다. 이 방법은 사람의 얼굴형상이 유전적으로 부모 자식관계 형제관계에서 가장 유사하다는 점을 이용한 기술로서, 사람의 사진 데이터로부터 3차원 얼굴형상 데이터를 사람이 직접 제작하는 것 보다 기술적으로는 더욱 사실적인 3차원 얼굴형상을 제조할 수 있는 효과가 있다. 그리고 3차원 얼굴형상 제작에 있어서 보다 섬세한 부분의 수정을 위하여 반자동 공정을 선택적으로 도입함으로서 사용자의 편의성을 확대하고, 모든 고객으로부터의 구매과정을 인터넷을 이용하여 온라인으로 처리할 수 있는 장점이 있다.

Claims

인터넷(4)을 통하여 전송된 고객의 얼굴사진 데이터가 웹 서버(5)를 경유하여 3차원 얼굴형상 제작시스템(8)으로 전송되면, 3차원 얼굴형상 제작시스템(8)에서는 디지털 사진으로부터 얼굴 특징들을 추출한 결과가 저장장치(9)에 저장되고, 데이터베이스(12)의 3차원 얼굴형상 데이터들의 특징을 분류한 결과가 저장장치(11)에 저장되고, 저장장치(11)와 저장장치(9)로부터의 데이터가 각각 3차원 얼굴형상 자동검색기(10)에 입력되며, 입력된 얼굴특징들을 사용하여 3차원 얼굴형상 자동검색기(10)에서 검색한 결과가 저장장치(13)에 저장되고, 검색결과에 일치하는 3차원 얼굴형상 데이터들을 데이터베이스(12)에서 읽어와서 데이터베이스(14)에 저장하고, 데이터베이스(14)에서 임의로 선정한 3차원 얼굴형상 데이터들을 사진영상 데이터로 영상처리한 후 저장장치(15)에 저장하며, 저장장치(15)의 3차원 얼굴형상 데이터들이 웹 서버(5)를 경유하여 고객에게 전송되면, 고객은 웹 브라우저(2)를 통하여 여러 개의 3차원 얼굴형상들 중에서 얼굴사진과 가장 유사한 3차원 얼굴형상을 직접 선택하는 방법으로 3차원 얼굴형상을 획득할 수 있는 방법.
제 1 항에 있어서, 정면의 얼굴사진으로부터 눈, 코, 입, 귀, 눈썹 그리고 얼굴 외곽선의 특징을 추출하여 3차원 얼굴형상 자동검색기(10)의 사진으로부터의 얼굴특징 입력으로 사용하는 방법.
제 1 항에 있어서, 측면의 얼굴사진으로부터 콧등을 지나는 외곽선 모형, 귀에서 코끝까지의 거리, 코, 눈, 입, 머리카락의 특징을 추출하여 3차원 얼굴형상 자동검색기(10)의 사진으로부터의 얼굴특징 입력으로 사용하는 방법.
제 1 항에 있어서, 3차원 얼굴형상 외곽선의 특징, 콧등을 지나는 외곽선 모형, 귀에서 코끝까지의 거리, 머리카락의 모양, 양 눈 사이의 거리, 코끝과 두 눈, 코끝과 입의 양쪽 끝 부분, 양 눈의 중심과 입의 양쪽 끝을 연결하는 다각형을 구성하는 방법으로 3차원 얼굴형상의 특징을 추출하는 방법.
제 1 항에 있어서, 3차원 얼굴형상의 특징을 추출하는 방법으로 얻어진 눈, 코, 입의 형상정보를 2차원으로 변환하였을 경우의 위치정보와 동일인의 2차원 사진 영상정보에서 얻어진 눈, 코, 입의 가장자리 정보를 비교하는 방법으로 3차원 얼굴형상 자동 검색기(10)에서 검색하는 방법.
제 1 항에 있어서, 고객이 전송한 사진과 유사한 3차원 얼굴형상 데이터들이 저장된 데이터베이스(14)로부터 임의로 4개 또는 6개의 3차원 얼굴형상을 선정한 후 2차원 사진영상을 텍스쳐 매핑한 후 저장장치(15)에 저장하는 방법.
제 1 항에 있어서, 고객의 요구에 의해 부분적인 수정이 요구되는 3차원 얼굴형상 데이터는 고객의 요구사항을 문자로 전송 받은 후 3차원 얼굴형상 수정 인력이3차원 형상 에디터를 이용하여 수동으로 수정을 할 수 있도록 하는 반자동 3차원 얼굴형상 제작 방법.
제 1 항에 있어서, 얼굴을 추출하는 얼굴분할 단계(S200);

얼굴 분할된 영상에서 눈 부분, 코 부분, 입 부분에서의 가장자리 부분으로 얼굴의 위치정보에 대한 특징을 추출하고, 추출된 가장자리 영상을 이용하여 다시 가로 및 세로 축으로 누적시켜서 눈, 코, 입의 위치를 투영하는 단계(S201);

투영 데이터에 임계값을 적용하여 눈의 위치, 코의 위치 및 입의 위치 좌표를 추출하여 가장자리를 찾는 단계(S202)로 구성된 정면사진으로부터 얼굴 특징을 추출하는 방법.
제 1 항에 있어서, 3차원 형상에서 코를 먼저 찾고, 코와 인중 양미간을 지나는 콧등의 위치를 찾는 단계(S400);

코에서 아래쪽에 위치하면서 아래 입술과 윗입술의 형태를 가지는 부분을 추출하는 방법으로 입의 위치를 찾고, 입의 끝 부분에 있는 입의 가장자리를 찾고, 코의 위쪽 11시 방향과 1시 방향에 존재하며 주변보다 약간 움푹 들어간 특징을 갖는 눈의 위치를 찾으며, 3차원 형상을 일정크기로 맞추어 주는 정규화 과정을 실시하는 단계(S401);

다음으로 코끝, 양 눈의 중심, 입 가장자리 찾는 단계(S402)로 구성된 3차원 얼굴형상으로부터의 얼굴특징 추출 방법.
고객이 3차원 얼굴형상 제작을 의뢰하기 위한 공정 순서로서, 사용자번호(3)를 입력하거나 회원인증 절차를 거쳐 사용자번호(3)를 부여받고 로그인하는 단계(S100);

고객이 요구하는 얼굴의 정면 및 측면 사진을 웹 서버(5)로 전송하는 단계(S101);

웹서버(5)로 전송되어온 고객의 사진으로부터 서비스 회사가 얼굴 특징들을 추출하고 저장하는 단계(S102);

3차원 얼굴형상들이 3차원 얼굴형상 데이터 베이스(12)에 축적되는 단계(S103);

3차원 얼굴특징을 추출하여 저장하는 단계(S104);

3차원 얼굴특징의 추출 결과와 고객의 사진으로부터 추출된 얼굴특징들을 자동으로 비교 검색하는 단계(S105);

유사한 3차원 얼굴형상 검색기(10)의 검색결과를 저장하는 단계(S106);

3차원 얼굴형상 데이터베이스(12)로부터 검색결과와 일치하는 3차원 얼굴형상 데이터들을 데이터베이스(14)에 저장하는 단계(S107);

검색결과에 의해 저장된 3차원 얼굴형상들 중에서 4개 또는 6개를 먼저 선정하여 고객의 사진을 텍스쳐 매핑하고 저장하는 단계(S108);

고객의 요구에 가장 부합하는 3차원 얼굴형상을 고객이 직접 선택하게 하는 단계(S109);

고객의 요구에 부합하지 않는 경우, 데이터베이스(14)로부터 새로운 3차원 얼굴형상 데이터를 텍스쳐 매핑하여 보여주는 것을 순차적으로 실시하며, 고객의 선택이이루어지면, 고객이 선택한 3차원 얼굴형상 데이터의 수정 여부를 묻는 단계(S110);

고객이 수정을 요구하면 수정이 필요한 부분에 대한 고객의 요구사항을 문자로 온라인 전송 받아 서비스 회사가 고용한 3차원 얼굴형상 수정 전문가에게 수정하는 단계(S111);

고객이 수정을 필요로 하지 않으면 3차원 얼굴형상 제작과정을 완료하는 단계(S112)로 구성된 3차원 얼굴형상 획득 방법.
고객의 컴퓨터(1)와 인터넷(4)으로 연결된 서비스 회사의 웹 서버(5), 그리고 웹 서버(5)와 전기적으로 연결되어 데이터를 상호 교환할 수 있는 3차원 얼굴형상 제작시스템(8)으로 구성되어 있으며, 3차원 얼굴형상 제작시스템의 상세한 구성은 사진으로부터 추출한 얼굴 특징을 저장하는 저장장치(9)와 3차원 얼굴형상 데이터베이스(12)로부터 3차원 얼굴특징을 추출한 결과를 저장하는 저장장치(11)와 얼굴특징들을 이용하여 얼굴 사진과 3차원 얼굴형상을 자동으로 검색할 수 있는 검색기(10), 검색기에서 검색된 결과를 잠시 저장할 수 있는 저장장치(13), 검색결과에 따른 3차원 얼굴형상들을 데이터베이스(12)에서 가져와 다시 저장하는 데이터베이스(14), 그리고 수요자에게 선택을 요구하기 위하여 임의로 선정한 3차원 얼굴형상을 저장할 수 있는 저장장치(15)를 포함하고 있는 2차원 영상으로부터 3차원 얼굴형상을 획득할 수 있는 시스템.