KR101818005B1 - 얼굴 데이터 관리 시스템 및 그 방법 - Google Patents

얼굴 데이터 관리 시스템 및 그 방법 Download PDF

Info

Publication number
KR101818005B1
KR101818005B1 KR1020110090282A KR20110090282A KR101818005B1 KR 101818005 B1 KR101818005 B1 KR 101818005B1 KR 1020110090282 A KR1020110090282 A KR 1020110090282A KR 20110090282 A KR20110090282 A KR 20110090282A KR 101818005 B1 KR101818005 B1 KR 101818005B1
Authority
KR
South Korea
Prior art keywords
face
data
global
local
face data
Prior art date
Application number
KR1020110090282A
Other languages
English (en)
Other versions
KR20130026854A (ko
Inventor
황본우
김갑기
윤승욱
구본기
이지형
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110090282A priority Critical patent/KR101818005B1/ko
Priority to US13/566,938 priority patent/US8902305B2/en
Publication of KR20130026854A publication Critical patent/KR20130026854A/ko
Application granted granted Critical
Publication of KR101818005B1 publication Critical patent/KR101818005B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole

Abstract

본 발명은 전역 얼굴 데이터와 국부 얼굴 데이터를 자동으로 정합하고 이를 얼굴 영역 탐색에 사용함으로써, 사용자가 저배율 전역 얼굴 데이터와 고배율 국부 영역 데이터를 효과적 전환하며 탐색할 수 있는 얼굴 데이터 관리 시스템 및 방법에 관한 것이다.
이를 위하여 본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템은 전역 얼굴 영상을 촬영하는 전역 얼굴 촬영부와, 전역 얼굴 영상으로부터 위상 변화를 측정하여 얼굴의 삼차원 위치를 추정하여 전역 얼굴 데이터의 형태 정보와 전역 얼굴 데이터의 질감 정보를 획득하며, 형태 정보와 질감 정보를 이용하여 전역 얼굴 데이터를 생성하는 전역 얼굴 데이터 생성부와, 얼굴의 표면에 접촉 또는 기 설정된 간격으로 근접하여 다수의 국부 얼굴 영상을 촬영하는 국부 얼굴 촬영부와, 국부 얼굴 촬영부를 이용한 국부 얼굴 영상 촬영 시 피 촬영자의 얼굴 위치와 방향을 추정하여 전역 얼굴 자세를 추출하는 전역 얼굴 자세 추출부와, 국부 촬영부의 자세 정보를 추출하는 국부 촬영 장치 자세 추출부와, 국부 얼굴 영상 각각에 대한 영상 처리를 수행하여 질감 정보와 형태 정보를 생성하며, 질감 정보와 형태 정보를 기반으로 국부 얼굴 데이터를 생성하는 국부 얼굴 데이터 생성부를 포함할 수 있다.

Description

얼굴 데이터 관리 시스템 및 그 방법{Apparatus and Method for Managing Face Data}
본 발명은 얼굴 데이터 생성 및 탐색에 관한 것으로, 더욱 상세하게는 저배율 전역 얼굴 데이터와 고배율 국부 얼굴 데이터로 이루어진 이형(異形) 얼굴 데이터를 생성하여 저장하고, 이를 탐색할 수 있는 얼굴 데이터 관리 시스템과 그 방법에 관한 것이다.
현재의 피부 및 의료를 목적으로 얼굴 영상을 촬영하는 경우에는 전역 얼굴 영상을 고해상도 영상으로 찍어 확대하여 국부 영역을 탐색하거나, 필요한 경우 얼굴의 국부 영역만을 국부 얼굴 촬영 장치를 통해 촬영하여 사용한다. 이러한 경우 전역 얼굴 영역 데이터와 국부 얼굴 데이터는 독립적으로 취급하거나 두 데이터의 관계를 사용자가 수작업을 통해 지정한다. 예를 들어 국부 얼굴 데이터의 촬영 영역에 따라 오른쪽 눈가, 오른쪽 상부 뺨 등의 간단한 텍스트 서술자를 붙이거나 얼굴 영역 영상에 직접 대응점을 지칭함으로써 전역 얼굴 데이터와의 상관 관계를 설정한다. 마치 고해상도 지도(저축적 지도)와 저해상도 지도(고축적 지도)를 따로따로 놓고 사용자가 일일이 수작업을 통해 대응 관계를 설정한 후 두 지도를 비교 탐색하는 것과 유사하다.
대한민국 특허"출원 번호: 10-2007-0101334, 장기 외부의 해부학적 특징부를 사용한 장기의 이미지의 정합"에는 장기 외부의 해부학적 특징에 기반해 장기 부근의 삼차원 영상을 얻어 이로부터 형상 모델(geometrical model)을 생성하고, 침습적 프로브를 사용하여 장기를 포함하는 또 다른 삼차원 영상을 획득해 이를 앞서 생성한 형상 모델에 정합하는 기술이 언급되어 있습니다. 또한, 선행기술문헌에서 언급한 "GARCIA와 FRIED의 2001년 논문(IMAGE-GUIDED ENDOSCOPIC SINUSSURGERY)"에는 삼차원 CT 스캔 데이터와 내시경 촬영 영상을 정합하여 부비동수술시 실시간으로 보여주는 장치에 관해 기술이 언급되어 있습니다.
전술한 바와 같은 종래 기술은 저배율로 촬영한 전역 얼굴 데이터와 고배율 촬영한 국부 얼굴 데이터를 따로따로 탐색하거나 수작업을 통해 얻어진 대략적인 대응 관계만을 이용하여 부분적으로만 탐색에 이용할 수 있는 단점이 있다.
이와는 별도로 선행기술문헌에서 언급한 특허 "출원 번호: 10-2007-0101334, 장기 외부의 해부학적 특징부를 사용한 장기의 이미지의 정합"에는 장기 외부의 해부학적 특징에 기반해 장기 부근의 삼차원 영상을 얻어 이로부터 형상 모델(geometrical model)을 생성하고, 침습적 프로브를 사용하여 장기를 포함하는 또 다른 삼차원 영상을 획득해 이를 앞서 생성한 형상 모델에 정합하는 방법에 관한 것이나, 다루는 대상 객체가 신체 내 장기에 국한되어 있다.
또한, 선행기술문헌에서 언급한 "GARCIA와 FRIED의 2001년 논문(IMAGE-GUIDED ENDOSCOPIC SINUSSURGERY)"에 언급된 기술에서는 삼차원 CT 스캔 데이터와 내시경 촬영 영상을 정합하여 부비동수술시 실시간으로 보여주는 장치에 관해 기술하고 있으나, 이 역시 다루는 대상 객체, 그 발명의 구성 요소와 응용에 있어 국한되어 있다.
본 발명은 이와 같은 종래 기술의 문제점을 해결하기 위해 제안한 것으로서, 전역 얼굴 데이터와 국부 얼굴 데이터를 자동으로 정합하고 이를 얼굴 영역 탐색에 사용함으로써, 사용자가 저배율 전역 얼굴 데이터와 고배율 국부 영역 데이터를 효과적 전환하며 탐색할 수 있는 얼굴 데이터 관리 시스템 및 방법을 제공한다.
또한, 본 발명은 종래 기술과 같이 전역 얼굴 데이터와 국부 얼굴 데이터를 독립적으로 관리하거나, 수작업을 통해 삽입한 단순 텍스트 또는 대략적인 위치 정보로 대응 관계를 설정하는 것에서 벗어나, 자동으로 전체 얼굴 데이터와 국부 얼굴 데이터의 대응 관계를 설정하고, 이를 탐색에 사용함으로써 사용자가 탐색을 원하는 영역을 원하는 배율로 자유롭게 선택해 탐색할 수 있는 얼굴 데이터 관리 시스템 및 방법을 제공한다.
본 발명의 일 관점에 따르면, 본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템은 전역 얼굴 영상을 촬영하는 전역 얼굴 촬영부와, 상기 전역 얼굴 영상으로부터 위상 변화를 측정하여 얼굴의 삼차원 위치를 추정하여 전역 얼굴 데이터의 형태 정보와 전역 얼굴 데이터의 질감 정보를 획득하며, 상기 형태 정보와 질감 정보를 이용하여 상기 전역 얼굴 데이터를 생성하는 전역 얼굴 데이터 생성부와, 얼굴의 표면에 접촉 또는 기 설정된 간격으로 근접하여 다수의 국부 얼굴 영상을 촬영하는 국부 얼굴 촬영부와, 상기 국부 얼굴 촬영부를 이용한 국부 얼굴 영상 촬영 시 피 촬영자의 얼굴 위치와 방향을 추정하여 전역 얼굴 자세를 추출하는 전역 얼굴 자세 추출부와, 상기 국부 촬영부의 자세 정보를 추출하는 국부 촬영 장치 자세 추출부와, 상기 국부 얼굴 영상 각각에 대한 영상 처리를 수행하여 질감 정보와 형태 정보를 생성하며, 상기 질감 정보와 형태 정보를 기반으로 국부 얼굴 데이터를 생성하는 국부 얼굴 데이터 생성부를 포함할 수 있다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템에서 상기 전역 얼굴 촬영부는, 구조광이 투영된 상기 전역 얼굴 영상을 촬영하며, 상기 전역 얼굴 데이터 생성부는, 상기 구조광이 투영된 영상으로부터 위상 변화를 측정하여 얼굴의 삼차원 위치를 추정하여 전역 얼굴 데이터의 형태 정보를 획득하며, 상기 구조광이 없는 영상을 촬영하여 상기 전역 얼굴 데이터의 질감 정보를 획득하며, 상기 형태 정보와 질감 정보를 이용하여 상기 전역 얼굴 데이터를 생성하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템에서 상기 전역 얼굴 촬영부는, 스테레오 또는 적어도 둘 이상의 카메라를 이용하여 n개의 명도 또는 색상의 상기 전역 얼굴 영상을 촬영하며, 상기 전역 얼굴 데이터 생성부는, 상기 n개의 얼굴 영상간의 대응 관계로부터 삼각법을 이용하여 얼굴의 삼차원 위치를 추정하여 전역 얼굴 데이터의 형태 정보를 획득하며, 상기 촬영된 n개의 영상 중 기준이 되는 영상을 선택하여 상기 전역 얼굴 데이터의 질감 정보를 획득하며, 상기 형태 정보와 질감 정보를 이용하여 상기 전역 얼굴 데이터를 생성하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템에서 상기 국부 영상 촬영부는, 얼굴 표면에 접촉 또는 기 설정된 간격으로 근접하여 피부를 촬영하여 상기 국부 얼굴 영상 각각에 대응되는 가시 광선 영상 또는 자외선 영상을 획득하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템에서 상기 국부 얼굴 데이터 생성부는, 상기 국부 영상 촬영부로부터 획득한 상기 가시 광선 영상 또는 자외선 영상을 이용하여 질감 정보를 생성하고, 상기 가시광선 영상 또는 자외선 영상을 이용하여 삼차원 좌표 위치로 형태 정보를 생성하며, 상기 자세 추출부에서 추정한 상기 국부 얼굴 촬영부의 자세 정보 및 상기 질감 정보를 이용하여 이웃하는 국부 얼굴 영상 간의 대응 관계를 생성, 정합 또는 합성하여 상기 이웃하는 국부 얼굴 영상의 질감 정보와 형태 정보를 통합하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템에서 상기 국부 촬영 장치 자세 추출부는, 상기 국부 얼굴 촬영부에 장착된 자이로 센서와 가속도 센서를 이용하여 상기 국부 얼굴 촬영부의 위치와 방향을 추정하여 상기 국부 얼굴 촬영부의 자세 정보를 추출하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템에서 상기 국부 촬영 장치 자세 추출부는, 상기 국부 얼굴 촬영부의 적외선 센서와 상기 국부 얼굴 촬영부에 부착된 반사체를 이용하여 상기 국부 얼굴 촬영부의 위치와 방향을 추정하여 상기 국부 얼굴 촬영부의 자세 정보를 추출하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템은 상기 국부 얼굴 촬영 장치 자세 추출부에서 추정된 얼굴의 위치 및 방향과 동일하도록 상기 전역 얼굴 데이터를 변환하고, 상기 변환된 전역 얼굴 데이터와 상기 국부 얼굴 데이터를 정합하는 데이터 정합부를 더 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템에서 상기 데이터 정합부는, 상기 전역 얼굴 데이터의 질감 정보와 상기 국부 얼굴 데이터의 질감 정보를 이용하여 상기 변환된 전역 얼굴 데이터와 상기 국부 얼굴 데이터를 정합하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템은 상기 전역 얼굴 데이터, 국부 얼굴 데이터 및 상기 데이터 정합부에서 정합된 데이터를 저장하기 위한 저장장치를 더 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템은 인터페이스를 통해 사용자로부터 입력받은 배율 정보를 기반으로 상기 국부 얼굴 데이터 및 전역 얼굴 데이터 중 어느 하나를 선택하여 출력해주는 탐색 장치를 더 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템은 상기 인터페이스를 통해 입력된 배율 정보가 기 설정된 임계치 이상인 경우 국부 얼굴 데이터를 선택하며, 상기 기 설정됨 임계치 미만인 경우 상기 전역 얼굴 데이터를 선택하는 데이터 선택부와, 상기 데이터 선택부에서 선택된 데이터에 렌더링을 수행한 후 이를 표시 장치에 출력하는 렌더링부를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템에서 상기 데이터 선택부는,
상기 배율 정보에 관계없이 사용자의 선택에 의해 상기 국부 얼굴 데이터 및 전역 얼굴 데이터 중 어느 하나를 선택하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템에서 상기 렌더링부는, 상기 데이터 선택부에 의해 선택된 전역 및 국부 얼굴 데이터를 렌더링하며, 상기 탐색 장치는, 상기 렌더링한 데이터를 단계적 가변 알파맵을 통해 합성하여 전역 얼굴 데이터에서 국부 전역 데이터로 또는 국부 얼굴 데이터에서 전역 얼굴 데이터로 전환되는 효과를 표현하는 영상열(image sqeunce)을 생성하는 전환 영상 생성부를 더 포함하는 것을 특징으로 한다.
본 발명의 다른 관점에 따르면, 본 발명의 실시 예에 따른 얼굴 데이터 관리 방법은 전역 얼굴 영상을 촬영하는 단계와, 상기 전역 얼굴 영상으로부터 위상 변화를 측정하여 얼굴의 삼차원 위치를 추정하여 전역 얼굴 데이터의 형태 정보와 전역 얼굴 데이터의 질감 정보를 획득하며, 상기 형태 정보와 질감 정보를 이용하여 상기 전역 얼굴 데이터를 생성하는 단계와, 얼굴의 표면에 접촉 또는 기 설정된 간격으로 근접하여 다수의 국부 얼굴 영상을 촬영하는 단계와, 상기 국부 얼굴 영상 촬영 시 피 촬영자의 얼굴 위치와 방향을 추정하여 전역 얼굴 자세를 추출하는 단계와, 상기 국부 얼굴 영상 촬영을 위한 장치의 자세 정보를 추출하는 단계와, 상기 국부 얼굴 영상 각각에 대한 영상 처리를 수행하여 질감 정보와 형태 정보를 생성하며, 상기 질감 정보와 형태 정보를 기반으로 국부 얼굴 데이터를 생성하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 방법에서 상기 전역 얼굴 영상을 촬영하는 단계는, 구조광이 투영된 상기 전역 얼굴 영상을 촬영하며, 상기 전역 얼굴 데이터를 생성하는 단계는, 상기 구조광이 투영된 영상으로부터 위상 변화를 측정하여 얼굴의 삼차원 위치를 추정하여 전역 얼굴 데이터의 형태 정보를 획득하는 단계와, 상기 구조광이 없는 영상을 촬영하여 상기 전역 얼굴 데이터의 질감 정보를 획득하는 단계와, 상기 형태 정보와 질감 정보를 이용하여 상기 전역 얼굴 데이터를 생성하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 방법에서 상기 전역 얼굴 영상을 촬영하는 단계는, 스테레오 또는 적어도 둘 이상의 카메라를 이용하여 n개의 명도 또는 색상의 상기 전역 얼굴 영상을 촬영하며, 상기 전역 얼굴 데이터를 생성하는 단계는, 상기 n개의 얼굴 영상간의 대응 관계로부터 삼각법을 이용하여 얼굴의 삼차원 위치를 추정하여 전역 얼굴 데이터의 형태 정보를 획득하는 단계와, 상기 촬영된 n개의 영상 중 기준이 되는 영상을 선택하여 상기 전역 얼굴 데이터의 질감 정보를 획득하는 단계와, 상기 형태 정보와 질감 정보를 이용하여 상기 전역 얼굴 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 방법에서 상기 국부 영상을 촬영하는 단계는, 얼굴 표면에 접촉 또는 기 설정된 간격으로 근접하여 피부를 촬영하여 상기 국부 얼굴 영상 각각에 대응되는 가시 광선 영상 또는 자외선 영상을 획득하며, 상기 국부 얼굴 데이터를 생성하는 단계는, 상기 가시 광선 영상 또는 자외선 영상을 이용하여 질감 정보를 생성하고, 상기 가시광선 영상을 이용하여 삼차원 좌표 위치로 형태 정보를 생성하는 단계와, 상기 국부 얼굴 촬영을 위한 장치의 자세 정보 및 상기 질감 정보를 이용하여 이웃하는 국부 얼굴 영상 간의 대응 관계를 생성, 정합 또는 합성하여 상기 이웃하는 국부 얼굴 영상의 질감 정보와 형태 정보를 통합함으로써, 상기 국부 얼굴 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 방법은 상기 추정된 얼굴의 위치 및 방향과 동일하도록 상기 전역 얼굴 데이터를 변환하는 단계와, 상기 변환된 전역 얼굴 데이터와 상기 국부 얼굴 데이터를 정합하여 정합 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 얼굴 데이터 관리 방법은 인터페이스를 통해 사용자로부터 입력받은 배율 정보를 기반으로 상기 국부 얼굴 데이터 및 전역 얼굴 데이터 중 어느 하나를 선택하여 출력해주는 단계를 더 포함하는 것을 특징으로 한다.
본 발명은 전역 얼굴 데이터, 국부 얼굴 데이터와 전역 얼굴 데이터와 국부 얼굴 데이터 간의 대응 관계를 나타내는 얼굴 정합 데이터를 자동으로 생성 및 저장할 수 있는 장치 및 방법을 제공한다. 이를 통해 사용자는 마우스와 키보드 등의 인터페이스 장치를 이용하여 원하는 얼굴의 위치, 방향 및 배율로 얼굴 데이터를 탐색해 모니터와 같은 디스플레이 장치를 통해 볼 수 있는 이점이 있다.
도 1은 본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템을 도시한 블록도,
도 2는 본 발명의 실시 예에 따른 얼굴 데이터 생성 과정을 도시한 도시한 흐름도
도 3은 본 발명의 실시 예에 따른 얼굴 데이터 생성과 탐색 장치의 얼굴 데이터 탐색 과정을 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템을 도시한 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 얼굴 데이터 관리 시스템은 전역 얼굴 데이터, 국부 얼굴 데이터, 전역 얼굴 데이터와 국부 얼굴 데이터의 대응 관계를 나타내는 전역 및 국부 얼굴 정합 데이터를 생성하는 얼굴 데이터 생성 장치(100), 얼굴 데이터 생성 장치(100)에서 생성된 전역 얼굴 데이터, 국부 얼굴 데이터, 전역 및 국부 얼굴 정합 데이터를 저장한 얼굴 데이터 저장 장치(200) 및 마우스와 키보드 등의 사용자 인터페이스 장치를 이용하여 사용자의 입력을 받아 모니터 등의 디스플레이 장치에 사용자가 보기 원하는 얼굴의 위치, 방향 및 배율로 얼굴 영상을 출력하여 볼 수 있도록 하는 얼굴 데이터 탐색 장치(300)를 포함할 수 있다.
먼저, 얼굴 데이터 생성 장치(100)는 전역 얼굴 촬영부(110), 전역 얼굴 데이터 생성부(112), 전역 얼굴 자세 추출부(114), 국부 얼굴 촬영부(120), 국부 촬영 장치 자세 추출부(122), 국부 얼굴 데이터 생성부(124), 전역 및 국부 얼굴 데이터 정합부(130) 등으로 구성될 수 있다.
전역 얼굴 촬영부(110)는 프로젝터와 같은 구조광 생성부(110a)를 이용하여 코드화된 패턴을 연속적으로 투영하고, 카메라(110b)를 통해 구조광이 투영된 장면의 영상을 촬영하거나, 스테레오 또는 다수의 카메라(110b)를 사용하여 N쌍의 명도 또는 색상 영상을 촬영하여 하드디스크, 램 등과 같은 저장매체(110c)에 저장할 수 있다.
전역 얼굴 데이터 생성부(112)는 구조광이 투영된 영상으로부터 위상 변화를 측정하여 얼굴의 삼차원 위치를 추정하거나, 영상 쌍 간의 대응 관계로부터 삼각법(triangulation)을 이용하여 얼굴의 삼차원 위치를 얻음으로써 전역 얼굴 데이터의 형태 정보를 생성할 수 있다.
전역 얼굴 데이터의 질감 정보는 구조광 방식의 경우에 전역 얼굴 촬영부(110)에서 구조광 없는 영상을 별도로 촬영하여 추출되고, 스테레오 방식의 경우에 촬영된 영상 쌍 중에서 형태 정보 생성에 기준되는 영상을 선택하여 추출될 수 있다.
전역 얼굴 자세 추출부(114)는 모션 캡쳐 카메라 등에 널리 사용되는 적외선 센서와 머리에 부착된 전역 얼굴 자세 추출용 반사체 고정 장치 등을 이용하여 국부 얼굴 데이터 촬영 시피 촬영자의 얼굴 위치와 방향을 추정함으로써, 전역 얼굴 자세를 추출할 수 있다.
국부 얼굴 촬영부(120)는 자체 가시 광선 조명 장치와 자외선 발광 장치 등을 내장하고 얼굴 표면에 접촉 또는 근접하여 피부를 고배율로 확대된 가시 광선 영상 또는 자외선 영상으로 촬영할 수 있다.
국부 촬영 장치 자세 추출부(122)는 모션 캡쳐 카메라 등에 널리 사용되는 적외선 센서와 국부 얼굴 촬영부(120)에 부착된 반사체 등을 이용하거나, 국부 얼굴 촬영부(120)의 몸체에 내장된 자이로 센서와 가속도 센서를 이용하여 국부 얼굴 촬영부(120)의 위치와 방향을 추정함으로써,국부 얼굴 촬영부(120)의 자세 정보를 추출할 수 있다.
국부 얼굴 데이터 생성부(124)는 고배율의 가시 광선 영상 또는 자외선 영상으로부터 영상 처리를 통해 일반 피부 영상, 피지 분포 영상, 멜라닌 분포 영상, 헤모글로빈 분포 영상 등의 질감 정보를 생성하고, 선택적으로 가시 광선 영상의 밝기 정보를 이용하여 밝은 피부 영역의 좌표를 피부 평면의 위치로 추정하고, 주름 또는 모공에 의해 어두운 부분을 피부 평면 보다 들어간 삼차원 좌표 위치로 추정하여 형태 정보를 생성할 수 있다.추가적으로 국부 얼굴 데이터 생성부(124)에서는 국부 촬영 장치 자세 추출부(122)에서 추정된 국부 얼굴 촬영부(120)의 위치와 방향 그리고 각 촬영 위치에서 얻어진 질감 정보를 이용해 이웃하는 국부 얼굴 데이터 간의 대응 관계를 생성, 정합(registration), 합성(merging)함으로써 이웃하는 국부 얼굴 데이터의 질감 정보와 형태 정보를 통합할 수 있다.
전역 및 국부 얼굴 정합부(130)는 국부 촬영 장치 자세 추출부(122)에서 추정된 얼굴의 위치 및 방형 정보를 사용하여 국부 얼굴 촬영 시 얼굴 위치 및 방향과 동일하도록 전역 얼굴 데이터를 변환하며, 변환된 전역 얼굴 데이터와 국부 얼굴 데이터를 정합할 수 있다.
또한, 전역 및 얼굴 정합부(130)는 전역 얼굴 데이터의 질감 정보와 국부 얼굴 데이터의 질감 정보를 정합 과정에 이용할 수 있다.
상기와 같은 과정을 통해 생성된 전역 얼굴 데이터는 저장 장치(200)의 전역 얼굴 데이터 저장부(210)에 저장되며, 국부 얼굴 데이터는 저장 장치(200)의 국부 얼굴 데이터 저장부(220)에 저장될 수 있다.
또한, 국부 얼굴 데이터와 전역 얼굴 데이터를 정합한 데이터는 정합 데이터 저장부(230)에 저장될 수 있다.
즉, 전역 얼굴 데이터 저장부(210)는 전역 얼굴 데이터 생성부(112)에서 생성된 전역 얼굴 형태 정보 및 질감 정보를 저장할 수 있다.
국부 얼굴 데이터 저장부(220)는 국부 얼굴 데이터 생성부(124)에서 생성된 국부 얼굴 형태 정보 및 질감 정보를 저장할 수 있다.
정합 데이터 저장부(230)는 전역 및 국부 얼굴 정합부(130)에서 생성된 전역 얼굴 데이터와 국부 얼굴 데이터의 대응관계를 나타내는 얼굴 정합 데이터를 저장할 수 있다.
도 2는 본 발명의 실시 예에 따른 얼굴 데이터 생성 과정을 도시한 도시한 흐름도이다.
도 2에 도시된 바와 같이, 먼저 전역 얼굴 촬영부(110)는 구조광 생성부(110a)를 이용하여 코드화된 패턴을 연속적으로 투영하고, 카메라(110b)를 통해 구조광이 투영된 장면의 영상을 촬영하거나, 스테레오 또는 다수의 카메라를 사용하여 N 쌍의 명도 또는 색상 영상을 촬영하여 저장 매체(110c)에 저장한다(S400).
그런 다음, 전역 얼굴 데이터 생성부(112)는 촬영된 얼굴 영상으로부터 형태 정보와 질감 정보를 생성함으로써, 전역 얼굴 데이터(3차원 전역 얼굴 데이터)를 생성한다(S402).
그리고 나서, 전역 얼굴 자세 추출부(114)는 모션 캡쳐 카메라 등에 널리 사용되는 적외선 센서와 머리에 부착된 전역 얼굴 자세 추출용 반사체 고정 장치 등을 이용하여 국부 얼굴 촬영부(120)의 촬영 시 피촬영자의 얼굴 위치와 방향을 추정하는 전역 얼굴 위치와 방향 정보 추출한다(S404).
국부 촬영 장치 자세 추출부(122)는 모션 캡쳐 카메라 등에 널리 사용되는 적외선 센서와 국부 얼굴 촬영부(120)에 부착된 반사체 등을 이용하거나, 국부 얼굴 촬영부(120)의 몸체에 내장된 자이로 센서와 가속도 센서를 이용하여 국부 얼굴 촬영부(120)의 위치와 방향을 추정한다(S406).
국부 얼굴 촬영부(120)는 자체 가시 광선 조명 장치와 자외선 발광 장치 등을 이용하여 얼굴 표면에 접촉 또는 근접하여 얼굴 피부를 고배율로 확대된 가시 광선 영상 또는 자외선 영상으로 촬영함으로써, 국부 얼굴 영상을 생성한다(S408).
국부 얼굴 데이터 생성부(124)는 국부 얼굴 촬영부(120)를 통해 촬영된 가시 광선 영상 또는 자외선 영상에 대한 영상 처리를 통해 일반 피부 영상, 피지 분포 영상, 멜라닌 분포 영상, 헤모글로빈 분포 영상 등의 질감 정보와 선택적으로 가시 광선 영상의 밝기 정보를 이용하여 국부 얼굴의 형태 정보를 생성할 수 있는데, 즉 밝은 피부 영역의 좌표를 피부 평면의 위치로 추정하고, 주름 또는 모공에 의해 어두운 부분을 피부 평면 보다 들어간 삼차원 좌표 위치로 형태 정보를 추정하여 국부 얼굴 데이터를 생성한다(S410).
그런 다음, 전역 및 국부 얼굴 정합부(130)는S406에서 추정된 얼굴 위치 및 방향 정보를 사용하여 국부 얼굴 촬영시의 얼굴 위치와 방향과 동일하도록 전역 얼굴 데이터를 변환하고, 변환된 전역 얼굴 데이터와 국부 얼굴 데이터를 정합함으로, 정합 데이터를 생성한다(S412).
그리고 나서, S402에서 생성된 얼굴 형태 정보 및 질감 정보의 전역 얼굴 데이터, S410에서 생성된 국부 얼굴 형태 정보 및 질감 정보의 국부 얼굴 데이터 및S412에서 생성된 정합 데이터를 저장 장치(200)의 각 저장부에 저장한다(S414).
본 발명의 실시 예에 따라 생성된 전역 얼굴 데이터, 국부 얼굴 데이터 및 정합 데이터는 얼굴 데이터 탐색 장치(300)에 의해서 탐색될 수 있는데, 이러한 얼굴 데이터 탐색 장치(300)는 데이터 선택부(310), 렌더링부(320), 전환 영상 생성부(330) 및 디스플레이부(340)로 구성될 수 있다.
데이터 선택부(310)는 배율 정보, 위치, 방향 등을 입력할 수 있는 인터페이스를 제공하며, 인터페이스를 통해 입력된 배율 정보를 기반으로 전역 및 국부 얼굴 데이터 중에서 사용자가 원하는 위치와 확대 또는 축소 배율에 해당하는 얼굴 데이터를 선택할 수 있다. 예를 들어, 정해진 임계 확대/축소 배율을 기준으로 높은 배율을 원하는 경우에는 국부 얼굴 데이터를 선택하고, 낮은 배율을 원하는 경우에는 전역 얼굴 데이터를 선택한다.
또한, 데이터 선택부(310)는 사용자의 의도에 따라 강제로 전역 또는 국부 얼굴 데이터의 결정을 제한할 수도 있다. 예를 들어, 전역 얼굴 데이터를 확대하여 보고 싶을 경우에는 임계 배율보다 높은 배율에서도 국부 얼굴 데이터로의 전환 없이 전역 얼굴 데이터를 선택할 수 있으며, 반대로 국부 얼굴 데이터를 축소하여 보고 싶을 경우에는 임계 배율 보다 낮은 배율에서도 전역 얼굴 데이터로의 전환 없이 국부 얼굴 데이터를 선택할 수 있다.
이와 같이, 데이터 선택부(310)에 의해 선택된 얼굴 데이터는 렌더링부(320)에 제공되며, 렌더링부(320)는 데이터 선택부(310)에서 선택된 얼굴 데이터에 대해 사용자가 원하는 시점과 배율에 해당하는 렌더링을 수행하여 얼굴 영상을 생성할 수 있다.
전환 영상 생성부(330)는 전역 얼굴 데이터에서 국부 얼굴 데이터로 또는 국부 얼굴 데이터에서 전역 얼굴 데이터로 이전에 결정된 얼굴 데이터와 현재의 얼굴 데이터 간의 전환이 이루어지는 전환 영상을 생성할 수 있는데, 즉 렌더링부(320)를 통해 전역 및 국부 얼굴 데이터를 모두 렌더링한결과를 이용하여 단계적 가변 알파맵을 통해 합성함으로써, 전역 얼굴 데이터에서 국부 전역 데이터로 또는 국부 얼굴 데이터에서 전역 얼굴 데이터로 전환되는 효과를 표현하는 영상열(image sqeunce)을 생성할 수 있다.
디스플레이부(340)는 렌더링부(320)에서 생성된 영상을 LCD, CRT 등의 디스플레이 장치를 통해 출력할 수 있다.
도 3은 본 발명의 실시 예에 따른 얼굴 데이터 생성과 탐색 장치의 얼굴 데이터 탐색 과정을 도시한 도면이다.
본 발명의 실시 예에 따른 얼굴 데이터 탐색 방법은, 도 3에 도시된 바와 같이, 얼굴 데이터 탐색 장치(300)는 초기값으로 미리 주어진 위치, 방향 및 위치, 방향과 배율로 전역 얼굴 데이터의 렌더링 영상을 디스플레이 장치를 통해 출력한다(S500).
그런 다음, 데이터 선택부(310)는 S500에서 출력된 영상을 사용자가 확인하면서 키보드, 마우스 등의 사용자 입력 장치(미도시됨)를 통해 보기 원하는 얼굴의 위치, 방향과 배율을 설정할 수 있는 인터페이스를 제공(S502)한다. 이후, 데이터 선택부(310)는 인터페이스를 통해 얼굴 위치, 방향 및 배율을 설정함에 따라 사용자가 설정한 얼굴의 확대/축소 배율과 기 설정된 임계 배율을 비교한다(S504).
설정한 얼굴의 배율이 기 설정된 임계 배율 이상인 경우 데이터 선택부(310)는 국부 얼굴 데이터를 선택(S506)하고, 임계 배율 미만인 경우에 전역 얼굴 데이터를 선택(S508)한다.
그런 다음, 렌더링부(320)는 데이터 선택부(310)에서 선택된 얼굴 데이터에 대한 렌더링을 수행하여 얼굴 영상을 생성하고, 생성된 얼굴 영상을 디스플레이 장치를 통해 출력한다(S510).
본 발명의 실시 예에 따른 탐색 방법에서 전역 얼굴 데이터에서 국부 얼굴 데이터로 또는 국부 얼굴 데이터에서 전역 얼굴 데이터로 이전에 결정된 얼굴 데이터와 현재의 얼굴 데이터 간의 전환 효과 생성 요청이 있는 경우 렌더링부(320)는 전역 및 국부 얼굴 데이터를 모두 렌더링하여전환 영상 생성부(330)에 제공하며, 전환 영상 생성부(330)는 렌더링된 결과를 단계적 가변 알파맵을 통해 합성함으로써, 전역 얼굴 데이터에서 국부 전역 데이터로 또는 국부 얼굴 데이터에서 전역 얼굴 데이터로 전환되는 효과를 표현하는 영상열(image sqeunce)을 생성한 후 디스플레이부(340)를 통해 출력할 수 있다(S512).
본 발명의 실시 예에 따르면, 전역 얼굴 데이터, 국부 얼굴 데이터와 전역 얼굴 데이터와 국부 얼굴 데이터 간의 대응 관계를 나타내는 얼굴 정합 데이터를 자동으로 생성 및 저장할 수 있기 때문에 사용자는 마우스와 키보드 등의 장치를 이용하여 원하는 얼굴의 위치, 방향 및 배율로 얼굴 데이터를 탐색해 모니터와 같은 디스플레이 장치를 통해 볼 수 있다.
100 :얼굴 데이터 생성 장치
200 :얼굴 데이터 저장 장치
300 : 얼굴 데이터 탐색 장치

Claims (20)

  1. 전역 얼굴 영상을 촬영하는 전역 얼굴 촬영부와,
    상기 전역 얼굴 영상으로부터 위상 변화를 측정하여 얼굴의 삼차원 위치를 추정하여 전역 얼굴 데이터의 형태 정보와 전역 얼굴 데이터의 질감 정보를 획득하며, 상기 형태 정보와 질감 정보를 이용하여 상기 전역 얼굴 데이터를 생성하는 전역 얼굴 데이터 생성부와,
    얼굴의 표면에 접촉 또는 기 설정된 간격으로 근접하여 다수의 국부 얼굴 영상을 촬영하는 국부 얼굴 촬영부와,
    상기 국부 얼굴 촬영부를 이용한 국부 얼굴 영상 촬영 시 피 촬영자의 얼굴 위치와 방향을 추정하여 전역 얼굴 자세를 추출하는 전역 얼굴 자세 추출부와,
    상기 국부 얼굴 촬영부의 자세 정보를 추출하는 국부 촬영 장치 자세 추출부와,
    상기 국부 얼굴 영상 각각에 대한 영상 처리를 수행하여 질감 정보와 형태 정보를 생성하며, 상기 질감 정보와 형태 정보를 기반으로 국부 얼굴 데이터를 생성하는 국부 얼굴 데이터 생성부를 포함하는
    얼굴 데이터 관리 시스템.
  2. 제 1 항에 있어서,
    상기 전역 얼굴 촬영부는, 구조광이 투영된 상기 전역 얼굴 영상을 촬영하며,
    상기 전역 얼굴 데이터 생성부는, 상기 구조광이 투영된 영상으로부터 위상 변화를 측정하여 얼굴의 삼차원 위치를 추정하여 전역 얼굴 데이터의 형태 정보를 획득하며, 상기 구조광이 없는 영상을 촬영하여 상기 전역 얼굴 데이터의 질감 정보를 획득하며, 상기 형태 정보와 질감 정보를 이용하여 상기 전역 얼굴 데이터를 생성하는 것을 특징으로 하는
    얼굴 데이터 관리 시스템.
  3. 제 1 항에 있어서,
    상기 전역 얼굴 촬영부는, 스테레오 또는 적어도 둘 이상의 카메라를 이용하여 n개의 명도 또는 색상의 상기 전역 얼굴 영상을 촬영하며,
    상기 전역 얼굴 데이터 생성부는, 상기 n개의 얼굴 영상간의 대응 관계로부터 삼각법을 이용하여 얼굴의 삼차원 위치를 추정하여 전역 얼굴 데이터의 형태 정보를 획득하며, 상기 촬영된 n개의 영상 중 기준이 되는 영상을 선택하여 상기 전역 얼굴 데이터의 질감 정보를 획득하며, 상기 형태 정보와 질감 정보를 이용하여 상기 전역 얼굴 데이터를 생성하는 것을 특징으로 하는
    얼굴 데이터 관리 시스템.
  4. 제 1 항에 있어서,
    상기 국부 얼굴 촬영부는, 얼굴 표면에 접촉 또는 기 설정된 간격으로 근접하여 피부를 촬영하여 상기 국부 얼굴 영상 각각에 대응되는 가시 광선 영상 또는 자외선 영상을 획득하는 것을 특징으로 하는
    얼굴 데이터 관리 시스템.
  5. 제 4 항에 있어서,
    상기 국부 얼굴 데이터 생성부는,
    상기 국부 얼굴 촬영부로부터 획득한 상기 가시 광선 영상 또는 자외선 영상을 이용하여 질감 정보를 생성하고, 상기 가시광선 영상을 이용하여 삼차원 좌표 위치로 형태 정보를 생성하며, 상기 자세 추출부에서 추정한 상기 국부 얼굴 촬영부의 자세 정보 및 상기 질감 정보를 이용하여 이웃하는 국부 얼굴 영상 간의 대응 관계를 생성, 정합 또는 합성하여 상기 이웃하는 국부 얼굴 영상의 질감 정보와 형태 정보를 통합하는 것을 특징으로 하는
    얼굴 데이터 관리 시스템.
  6. 제 1 항에 있어서,
    상기 국부 촬영 장치 자세 추출부는,
    상기 국부 얼굴 촬영부에 장착된 자이로 센서와 가속도 센서를 이용하여 상기 국부 얼굴 촬영부의 위치와 방향을 추정하여 상기 국부 얼굴 촬영부의 자세 정보를 추출하는 것을 특징으로 하는
    얼굴 데이터 관리 시스템.
  7. 제 1 항에 있어서,
    상기 국부 촬영 장치 자세 추출부는,
    상기 국부 얼굴 촬영부의 적외선 센서와 상기 국부 얼굴 촬영부에 부착된 반사체를 이용하여 상기 국부 얼굴 촬영부의 위치와 방향을 추정하여 상기 국부 얼굴 촬영부의 자세 정보를 추출하는 것을 특징으로 하는
    얼굴 데이터 관리 시스템.
  8. 제 1 항에 있어서,
    상기 얼굴 데이터 관리 시스템은,
    상기 국부 얼굴 촬영 장치 자세 추출부에서 추정된 얼굴의 위치 및 방향과 동일하도록 상기 전역 얼굴 데이터를 변환하고, 상기 변환된 전역 얼굴 데이터와 상기 국부 얼굴 데이터를 정합하는 데이터 정합부를 더 포함하는 것을 특징으로 하는
    얼굴 데이터 관리 시스템.
  9. 제 8 항에 있어서,
    상기 데이터 정합부는,
    상기 전역 얼굴 데이터의 질감 정보와 상기 국부 얼굴 데이터의 질감 정보를 이용하여 상기 변환된 전역 얼굴 데이터와 상기 국부 얼굴 데이터를 정합하는 것을 특징으로 하는
    얼굴 데이터 관리 시스템.
  10. 제 8 항에 있어서,
    상기 전역 얼굴 데이터, 국부 얼굴 데이터 및 상기 데이터 정합부에서 정합된 데이터를 저장하기 위한 저장장치를 더 포함하는 것을 특징으로 하는
    얼굴 데이터 관리 시스템.
  11. 제 1 항에 있어서,
    인터페이스를 통해 사용자로부터 입력받은 배율 정보를 기반으로 상기 국부 얼굴 데이터 및 전역 얼굴 데이터 중 어느 하나를 선택하여 출력해주는 탐색 장치를 더 포함하는 것을 특징으로 하는
    얼굴 데이터 관리 시스템.
  12. 제 11 항에 있어서,
    상기 탐색 장치는,
    상기 인터페이스를 통해 입력된 배율 정보가 기 설정된 임계치 이상인 경우 국부 얼굴 데이터를 선택하며, 상기 기 설정된 임계치 미만인 경우 상기 전역 얼굴 데이터를 선택하는 데이터 선택부와,
    상기 데이터 선택부에서 선택된 데이터에 렌더링을 수행한 후 이를 표시 장치에 출력하는 렌더링부를 포함하는 것을 특징으로 하는
    얼굴 데이터 관리 시스템.
  13. 제 12 항에 있어서,
    상기 데이터 선택부는,
    상기 배율 정보에 관계없이 사용자의 선택에 의해 상기 국부 얼굴 데이터 및 전역 얼굴 데이터 중 어느 하나를 선택하는 것을 특징으로 하는
    얼굴 데이터 관리 시스템.
  14. 제 13 항에 있어서,
    상기 렌더링부는, 상기 데이터 선택부에 의해 선택된 전역 및 국부 얼굴 데이터를 렌더링하며,
    상기 탐색 장치는, 상기 렌더링한 데이터를 단계적 가변 알파맵을 통해 합성하여 전역 얼굴 데이터에서 국부 전역 데이터로 또는 국부 얼굴 데이터에서 전역 얼굴 데이터로 전환되는 효과를 표현하는 영상열(image sqeunce)을 생성하는 전환 영상 생성부를 더 포함하는 것을 특징으로 하는
    얼굴 데이터 관리 시스템.
  15. 전역 얼굴 영상을 촬영하는 단계와,
    상기 전역 얼굴 영상으로부터 위상 변화를 측정하여 얼굴의 삼차원 위치를 추정하여 전역 얼굴 데이터의 형태 정보와 전역 얼굴 데이터의 질감 정보를 획득하며, 상기 형태 정보와 질감 정보를 이용하여 상기 전역 얼굴 데이터를 생성하는 단계와,
    얼굴의 표면에 접촉 또는 기 설정된 간격으로 근접하여 다수의 국부 얼굴 영상을 촬영하는 단계와,
    상기 국부 얼굴 영상 촬영 시 피 촬영자의 얼굴 위치와 방향을 추정하여 전역 얼굴 자세를 추출하는 단계와,
    상기 국부 얼굴 영상 촬영을 위한 장치의 자세 정보를 추출하는 단계와,
    상기 국부 얼굴 영상 각각에 대한 영상 처리를 수행하여 질감 정보와 형태 정보를 생성하며, 상기 질감 정보와 형태 정보를 기반으로 국부 얼굴 데이터를 생성하는 단계를 포함하는
    얼굴 데이터 관리 방법.
  16. 제 15 항에 있어서,
    상기 전역 얼굴 영상을 촬영하는 단계는, 구조광이 투영된 상기 전역 얼굴 영상을 촬영하며,
    상기 전역 얼굴 데이터를 생성하는 단계는,
    상기 구조광이 투영된 영상으로부터 위상 변화를 측정하여 얼굴의 삼차원 위치를 추정하여 전역 얼굴 데이터의 형태 정보를 획득하는 단계와,
    상기 구조광이 없는 영상을 촬영하여 상기 전역 얼굴 데이터의 질감 정보를 획득하는 단계와,
    상기 형태 정보와 질감 정보를 이용하여 상기 전역 얼굴 데이터를 생성하는 단계를 포함하는
    얼굴 데이터 관리 방법.
  17. 제 15 항에 있어서,
    상기 전역 얼굴 영상을 촬영하는 단계는, 스테레오 또는 적어도 둘 이상의 카메라를 이용하여 n개의 명도 또는 색상의 상기 전역 얼굴 영상을 촬영하며,
    상기 전역 얼굴 데이터를 생성하는 단계는,
    상기 n개의 얼굴 영상간의 대응 관계로부터 삼각법을 이용하여 얼굴의 삼차원 위치를 추정하여 전역 얼굴 데이터의 형태 정보를 획득하는 단계와,
    상기 촬영된 n개의 영상 중 기준이 되는 영상을 선택하여 상기 전역 얼굴 데이터의 질감 정보를 획득하는 단계와,
    상기 형태 정보와 질감 정보를 이용하여 상기 전역 얼굴 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는
    얼굴 데이터 관리 방법.
  18. 제 15 항에 있어서,
    상기 국부 얼굴 영상을 촬영하는 단계는,
    얼굴 표면에 접촉 또는 기 설정된 간격으로 근접하여 피부를 촬영하여 상기 국부 얼굴 영상 각각에 대응되는 가시 광선 영상 또는 자외선 영상을 획득하며,
    상기 국부 얼굴 데이터를 생성하는 단계는,
    상기 가시 광선 영상 또는 자외선 영상을 이용하여 질감 정보를 생성하고, 상기 가시광선 영상을 이용하여 삼차원 좌표 위치로 형태 정보를 생성하는 단계와,
    상기 국부 얼굴 촬영을 위한 장치의 자세 정보 및 상기 질감 정보를 이용하여 이웃하는 국부 얼굴 영상 간의 대응 관계를 생성, 정합 또는 합성하여 상기 이웃하는 국부 얼굴 영상의 질감 정보와 형태 정보를 통합함으로써, 상기 국부 얼굴 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는
    얼굴 데이터 관리 방법
  19. 제 15항에 있어서,
    상기 얼굴 데이터 관리 방법은,
    상기 추정된 얼굴의 위치 및 방향과 동일하도록 상기 전역 얼굴 데이터를 변환하는 단계와,
    상기 변환된 전역 얼굴 데이터와 상기 국부 얼굴 데이터를 정합하여 정합 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는
    얼굴 데이터 관리 방법.
  20. 제 15항에 있어서,
    상기 얼굴 데이터 관리 방법은,
    인터페이스를 통해 사용자로부터 입력받은 배율 정보를 기반으로 상기 국부 얼굴 데이터 및 전역 얼굴 데이터 중 어느 하나를 선택하여 출력해주는 단계를 더 포함하는 것을 특징으로 하는
    얼굴 데이터 관리 방법.

KR1020110090282A 2011-09-06 2011-09-06 얼굴 데이터 관리 시스템 및 그 방법 KR101818005B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110090282A KR101818005B1 (ko) 2011-09-06 2011-09-06 얼굴 데이터 관리 시스템 및 그 방법
US13/566,938 US8902305B2 (en) 2011-09-06 2012-08-03 System and method for managing face data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110090282A KR101818005B1 (ko) 2011-09-06 2011-09-06 얼굴 데이터 관리 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130026854A KR20130026854A (ko) 2013-03-14
KR101818005B1 true KR101818005B1 (ko) 2018-01-16

Family

ID=47752840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110090282A KR101818005B1 (ko) 2011-09-06 2011-09-06 얼굴 데이터 관리 시스템 및 그 방법

Country Status (2)

Country Link
US (1) US8902305B2 (ko)
KR (1) KR101818005B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101538935B1 (ko) * 2013-05-28 2015-07-24 주식회사 포디컬쳐 깊이 차이를 이용한 얼굴 구성요소의 자동 분류 방법
KR102135770B1 (ko) 2014-02-10 2020-07-20 한국전자통신연구원 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
US9762791B2 (en) * 2014-11-07 2017-09-12 Intel Corporation Production of face images having preferred perspective angles
CN108629290A (zh) * 2018-04-12 2018-10-09 Oppo广东移动通信有限公司 基于结构光的年龄推测方法、装置及移动终端、存储介质
CN109919876B (zh) * 2019-03-11 2020-09-01 四川川大智胜软件股份有限公司 一种三维真脸建模方法及三维真脸照相系统
CN113569790B (zh) * 2019-07-30 2022-07-29 北京市商汤科技开发有限公司 图像处理方法及装置、处理器、电子设备及存储介质
CN111543943A (zh) * 2020-04-08 2020-08-18 深圳市视泰奇科技有限公司 一种脸部检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070047775A1 (en) * 2005-08-29 2007-03-01 Atsushi Okubo Image processing apparatus and method and program
US20100002912A1 (en) * 2005-01-10 2010-01-07 Solinsky James C Facial feature evaluation based on eye location

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040075672A (ko) 2003-02-21 2004-08-30 정보통신연구진흥원 계층적 가상 성형시뮬레이션 방법
US7996060B2 (en) 2006-10-09 2011-08-09 Biosense Webster, Inc. Apparatus, method, and computer software product for registration of images of an organ using anatomical features outside the organ
US8064712B2 (en) 2007-01-24 2011-11-22 Utc Fire & Security Americas Corporation, Inc. System and method for reconstructing restored facial images from video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100002912A1 (en) * 2005-01-10 2010-01-07 Solinsky James C Facial feature evaluation based on eye location
US20070047775A1 (en) * 2005-08-29 2007-03-01 Atsushi Okubo Image processing apparatus and method and program

Also Published As

Publication number Publication date
US20130057656A1 (en) 2013-03-07
US8902305B2 (en) 2014-12-02
KR20130026854A (ko) 2013-03-14

Similar Documents

Publication Publication Date Title
KR101818005B1 (ko) 얼굴 데이터 관리 시스템 및 그 방법
JP6323183B2 (ja) 画像処理装置および画像処理方法
CN107016717B (zh) 用于患者的透视视图的系统和方法
JP6808320B2 (ja) 三次元物体上の注視点を決定するシステム
KR101841668B1 (ko) 입체 모델 생성 장치 및 방법
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
US8659595B2 (en) Method and system for combining 2D image and 3D model and non-transitory computer readable storage medium thereof
JP6685827B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5110138B2 (ja) Ａｒ処理装置、ａｒ処理方法及びプログラム
TWI520576B (zh) 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體
CN109429060B (zh) 瞳孔距离测量方法、可穿戴眼部设备及存储介质
WO2018075053A1 (en) Object pose based on matching 2.5d depth information to 3d information
KR101792541B1 (ko) 피부 진단 정보를 이용한 스마트기기 피부관리 서비스 제공시스템
JP2015228955A (ja) 画像処理装置、画像処理方法、並びにプログラム
CN104732586A (zh) 一种三维人体动态形体和三维运动光流快速重建方法
JP2004062393A (ja) 注目判定方法及び注目判定装置
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
JP7341736B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2005092451A (ja) 頭部検出装置及び頭部検出方法、並びに頭部検出プログラム
JP2004030408A (ja) 三次元画像表示装置及び表示方法
JP2017205343A (ja) 内視鏡装置、内視鏡装置の作動方法
JP7057086B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2015053319A1 (ja) 画像処理装置、及び手術顕微鏡システム
CN113228117A (zh) 创作装置、创作方法和创作程序
JP5092093B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant