KR101635730B1 - 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체 - Google Patents

몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체 Download PDF

Info

Publication number
KR101635730B1
KR101635730B1 KR1020140135786A KR20140135786A KR101635730B1 KR 101635730 B1 KR101635730 B1 KR 101635730B1 KR 1020140135786 A KR1020140135786 A KR 1020140135786A KR 20140135786 A KR20140135786 A KR 20140135786A KR 101635730 B1 KR101635730 B1 KR 101635730B1
Authority
KR
South Korea
Prior art keywords
dimensional
unit
montage
feature
impression
Prior art date
Application number
KR1020140135786A
Other languages
English (en)
Other versions
KR20160041570A (ko
Inventor
김익재
최영주
홍유진
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020140135786A priority Critical patent/KR101635730B1/ko
Publication of KR20160041570A publication Critical patent/KR20160041570A/ko
Application granted granted Critical
Publication of KR101635730B1 publication Critical patent/KR101635730B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00268Feature extraction; Face representation
    • G06K9/00281Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/48Extraction of features or characteristics of the image by coding the contour of the pattern contour related features or features from contour like patterns, e.g. hand-drawn point-sequence
    • G06K9/481Extraction of features or characteristics of the image by coding the contour of the pattern contour related features or features from contour like patterns, e.g. hand-drawn point-sequence using vector-coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/64Methods or arrangements for recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references, e.g. resistor matrix
    • G06K9/66Methods or arrangements for recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references, e.g. resistor matrix references adjustable by an adaptive method, e.g. learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205Re-meshing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K2009/00322Acquiring or recognising human faces, facial parts, facial sketches, facial expressions estimating age from face image; using age information for improving recognition

Abstract

몽타주 생성 장치는, 얼굴 영상 및 얼굴의 부위별 영상 정보가 미리 저장되어 있는 데이터 베이스; 각 교차점에 능동 가중치가 적용되는 얼굴 와이어 프레임(wireframe)을 기본 얼굴 스케치 이미지에 적용시키는 와이어 프레임부; 상기 데이터 베이스로부터 선택된 영상들을 합성하여, 상기 와이어 프레임이 적용된 2차원 얼굴 모델을 형성하는 얼굴 합성부; 및 상기 와이어 프레임이 적용된 2차원 얼굴 모델을 기초로, 사용자 입력에 따라 2차원 얼굴 모델을 변환하는 모델 변환부를 포함한다. 이에 따라, 효율적이고 정확도가 향상된 몽타주를 생성할 수 있다.

Description

몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체{APPARATUS AND METHOD FOR GENERATING MONTAGE, RECORDING MEDIUM FOR PERFORMING THE METHOD}
본 발명은 범죄 수사에 적용되는 몽타주 시스템의 고도화 및 다기능을 지원하는 지능형 통합 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체에 관한 것이다.
몽타주 작성은 범죄 사건 해결을 위한 하나의 방법으로 용의자의 얼굴을 목격한 사람들의 기억에 의거하여 용의자의 특징과 유사점을 찾아내고, 다양한 접근법을 적용하여 용의자의 예측된 얼굴 이미지를 생성한다.
몽타주 생성 접근 방법은 크게 부분적 합성법과 전체적 합성법으로 나눌 수 있다. 부분적 합성은 인간이 기억하는 얼굴 정보는 단편적인 부분별 특징들이라 보고 있다. 이를 기반으로 한 몽타주 시스템은 얼굴 윤곽, 눈썹, 눈, 코, 입, 귀, 턱 등 얼굴 부위의 DB을 미리 구축하고 기억하는 부위의 형상을 DB에서 선택하여 조합함으로써 몽타주를 생성한다. 적용된 시스템의 예에는 대한민국 경찰에서 사용중인 '한국형 몽타주 프로그램'과 국외의 'E-fit', 'Identikit', 'FACETTE', 'FACES', 'CD-FIT' 등이 있다.
이에 반해 전체적 합성법은 비교적 최신기술로, 인간이 얼굴을 인지하는데 단편적(piecemeal)이 아닌 전체론적(holistic)으로 인식한다는 심리학 및 인지과학의 이론을 기반으로 구성된 접근법이다. 이는 부위가 아닌 얼굴 전체에 대한 조합을 통해 몽타주를 작성하는 기법으로 목격자는 주어진 얼굴 이미지들에서 본인이 기억하는 가장 유사한 얼굴들을 선택하게 되고 선택된 얼굴들의 진화론적 과정을 반복적으로 거쳐 최종적으로 원하는 몽타주에 수렴하게 된다. 적용된 시스템으로는 'EFIT-V', 'EvoFit' 등이 있다. 전체적 합성법은 부분적 합성법에 비해 빠르게 몽타주 생성이 가능하고, 그 생성 결과의 정확성도 부분적 합성법에 비해 높은 것으로 연구되었다.
그러나, 기존 시스템의 문제로는 합성 시 자연스럽지 못한 결과를 들 수 있다. 또한, 다른 문제로서 섬세한 얼굴 수정을 위한 자유변형 기능의 부족이다. 이에 현장에서는 몽타주 시스템으로 생성된 이미지를 포토샵 프로그램을 통해 재수정하는 번거로운 과정을 거치곤 한다.
KR 10-1339900 B1 KR 10-2014-0059076 A
EvoFit: a holistic, evolutionary facial imaging system. (FROWD, C. 2001. PhD thesis, University of Stirling.)
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 효율적이고 고도화된 몽타주 생성 장치를 제공하는 것이다.
본 발명의 다른 목적은 효율적이고 고도화된 몽타주 생성 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 상기 몽타주 생성 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 몽타주 생성 장치는, 얼굴 영상 및 얼굴의 부위별 영상 정보가 미리 저장되어 있는 데이터 베이스; 각 교차점에 능동 가중치가 적용되는 얼굴 와이어 프레임(wireframe)을 기본 얼굴 스케치 이미지에 적용시키는 와이어 프레임부; 상기 데이터 베이스로부터 선택된 영상들을 합성하여, 상기 와이어 프레임이 적용된 2차원 얼굴 모델을 형성하는 얼굴 합성부; 및 상기 와이어 프레임이 적용된 2차원 얼굴 모델을 기초로, 사용자 입력에 따라 2차원 얼굴 모델을 변환하는 모델 변환부를 포함한다.
본 발명의 실시예에서, 상기 모델 변환부는, 사용자의 선택에 따라 상기 2차원 얼굴 모델의 인상을 자동으로 변환하는 인상 변환부를 포함할 수 있다.
본 발명의 실시예에서, 상기 인상 변환부는, 얼굴의 정면 영상, 사용자 평가를 통해 수집된 인상 점수 및 얼굴 형상의 특징점들 간의 거리를 나타내는 특징 벡터를 학습 데이터로 하여 인상 추정 함수를 생성하는 인상 추정부; 및 상기 인상 추정 함수를 적용하여 상기 2차원 얼굴 모델의 인상을 변환하여 출력하는 인상 변환 출력부를 포함할 수 있다.
본 발명의 실시예에서, 상기 모델 변환부는, 상기 2차원 얼굴 모델의 나이를 변환하는 나이 변환부를 포함할 수 있다.
본 발명의 실시예에서, 상기 나이 변환부는, 전역적 특징 정보를 반영한 나이 변환 함수를 수행하는 전역적 특징 적용부; 지역적 특징 정보를 반영한 나이 변환 함수를 수행하는 지역적 특징 적용부; 및 상기 전역적 특징 적용부 및 상기 지역적 특징 적용부의 결과를 합성하여 출력하는 나이 변환 출력부를 포함할 수 있다.
본 발명의 실시예에서, 상기 모델 변환부는, 사용자의 입력에 따라 상기 2차원 얼굴 모델의 형태를 변환하는 자유 변환부를 포함할 수 있다.
본 발명의 실시예에서, 상기 모델 변환부는, 상기 2차원 얼굴 모델의 편집 기능을 제공하는 이미지 편집부를 포함할 수 있다.
본 발명의 실시예에서, 상기 모델 변환부는, 상기 2차원 얼굴 모델에 부가 정보를 추가할 수 있는 꾸미기 기능을 제공하는 꾸미기부를 포함할 수 있다.
본 발명의 실시예에서, 상기 얼굴 합성부는, 사용자가 선택하는 얼굴을 부모 유전자로 하여 교차 및 변이연산을 반복 수행하여 목표 얼굴에 가까워지는 전체 합성 방법을 이용할 수 있다.
본 발명의 실시예에서, 상기 얼굴 합성부는, 얼굴의 부위별 조합을 통해 전체 얼굴을 합성하는 부분 합성 방법을 이용할 수 있다.
본 발명의 실시예에서, 상기 몽타주 생성 장치는, 상기 2차원 얼굴 모델의 특징점을 추출하여 3차원 표준 얼굴형들 간의 가중치 선형 조합을 통해 3차원 얼굴 모델을 생성하는 3차원 모델 형성부를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 3차원 모델 형성부는, 자동 표정 변화, 자유 변환 제공, 배경 변경 제공, 꾸미기 제공 중 적어도 하나의 기능을 제공할 수 있다.
본 발명의 실시예에서, 상기 몽타주 생성 장치는, 최종 몽타주를 출력하는 출력부를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 몽타주 생성 장치는, 최종 몽타주의 얼굴을 인식하여 범죄자 사진 데이터 베이스로부터 가장 유사한 얼굴을 선정하는 얼굴 인식부를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 얼굴 인식부는, 상기 범죄자의 사진으로부터 지역적 특징 표현자를 추출하는 사진 특징 추출부; 상기 최종 몽타주로부터 지역적 특징 표현자를 추출하는 몽타주 특징 추출부; 상기 사진의 지역적 특징 표현자 및 상기 몽타주의 지역적 특징 표현자를 동일한 공간상으로 투영하는 투영부; 및 상기 사진의 지역적 특징 표현자 및 상기 몽타주의 지역적 특징 표현자의 최소 거리를 비교하는 비교 연산부를 포함할 수 있다.
본 발명의 실시예에서, 상기 몽타주 생성 장치는, 상기 데이터 베이스의 유지 보수를 위한 데이터 베이스 관리부를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 몽타주 생성 장치는, 작성한 몽타주를 저장하고 불러오기 기능을 제공하는 저장부를 더 포함할 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 몽타주 생성 방법은, 각 교차점에 능동 가중치가 적용되는 얼굴 와이어 프레임(wireframe)을 기본 얼굴 스케치 이미지에 적용시키는 단계; 얼굴 영상 및 얼굴의 부위별 영상 정보가 미리 저장되어 있는 데이터 베이스로부터 선택된 영상들을 합성하여, 상기 와이어 프레임이 적용된 2차원 얼굴 모델을 형성하는 단계; 및 상기 와이어 프레임이 적용된 2차원 얼굴 모델을 기초로, 사용자 입력에 따라 2차원 얼굴 모델을 변환하는 단계를 포함한다.
본 발명의 실시예에서, 상기 사용자 입력에 따라 2차원 얼굴 모델을 변환하는 단계는, 인상 변환, 나이 변환, 자유 변환 제공, 이미지 편집 제공, 꾸미기 제공 중 적어도 하나의 기능을 수행할 수 있다.
본 발명의 실시예에서, 상기 몽타주의 2차원 얼굴 모델을 형성하는 단계는, 전체 합성 방법 또는 부분 합성 방법을 이용할 수 있다.
본 발명의 실시예에서, 상기 몽타주 생성 방법은, 상기 2차원 얼굴 모델의 특징점을 추출하여 3차원 표준 얼굴형들 간의 가중치 선형 조합을 통해 3차원 얼굴 모델을 생성하는 단계를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 3차원 얼굴 모델을 생성하는 단계는, 자동 표정 변화, 자유 변환 제공, 배경 변경 제공, 꾸미기 제공 중 적어도 하나의 기능을 수행할 수 있다.
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 몽타주 생성 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.
이와 같은 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체에 따르면, 몽타주 시스템에서 다각도로 요구되는 기능들이 하나의 통합 시스템을 이룸으로써 합성 결과의 향상뿐만 아니라 합성 시간의 단축을 통해 효율적인 몽타주 시스템을 제공한다.
특히, 몽타주 시스템의 고도화를 통해서 몽타주 합성 성능을 향상시킬 수 있다. DB 변경, 텍스처 합성 방법 변경을 통해서 기존에 발생되던 부자연스러운 합성을 해결하고 와이어 프레임(wireframe)을 기반으로 미세 얼굴 조정 기능을 추가하여 자유도 높은 얼굴변형이 가능하다. 또한, 합성에 사용되는 DB를 선택하는 방식의 변경은 더욱 효율적이고 빠른 DB 접근을 제공하며, 나이변환 기능은 신뢰할만한 다양한 나이의 얼굴 이미지를 생성해준다. 또한, 새롭게 추가되는 기능들은 몽타주의 정확도(실제 용의자와의 유사도)를 향상시키며 범죄 수사 시 몽타주의 효율적인 적용 가능성을 제공한다.
도 1은 본 발명의 일 실시예에 따른 몽타주 생성 장치의 전체 개념도이다.
도 2는 도 1의 2차원 모델 형성부의 블록도이다.
도 3은 도 2의 와이어 프레임부에서의 와이어 프레임 적용을 설명하기 위한 개념도이다.
도 4는 부모 영상의 교차 연산을 통해 양산된 자식 영상의 예를 보여준다.
도 5는 합성 비율에 따른 얼굴 생성의 예를 보여준다.
도 6은 부위별 부분 합성의 예를 보여준다.
도 7은 도 2의 모델 변환부의 블록도이다.
도 8은 스케치에 적용된 인상 변환 결과의 예를 보여준다.
도 9는 나이 변환 결과의 예를 보여준다.
도 10은 꾸미기에 사용되는 데이터 항목의 예를 보여준다.
도 11은 본 발명의 일 실시예에 따른 몽타주 생성 방법의 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 몽타주 생성 장치의 전체 개념도이다. 도 2는 도 1의 2차원 모델 형성부의 블록도이다.
도 1을 참조하면, 본 발명에 따른 몽타주 생성 장치(1)는 목격자 진술을 토대로 2차원 몽타주를 생성하기 위해 영상을 합성하고, 인상 변환, 나이 변환, 그림 편집, 자유 변형, 꾸미기 기능 등을 지원하는 2차원 모델 형성부(10)를 포함한다. 또한, 상기 몽타주 생성 장치(1)는 상기 2차원 모델 형성부(10)에서 생성한 2차원 얼굴 모델을 기초로 3차원 얼굴 모델을 생성하는 3차원 모델 형성부(30)를 더 포함할 수 있으며, 데이터 베이스 관리부(50), 얼굴 인식부(60), 출력부(70), 저장부(80) 중 적어도 하나의 구성을 더 포함할 수 있다.
상기 몽타주 생성 장치(1)는 유무선 통신이 가능하며, 이동성을 갖거나 고정될 수 있다. 상기 몽타주 생성 장치(1)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal) 등 다른 용어로 불릴 수 있다.
도 2를 참조하면, 상기 2차원 모델 형성부(10)는 데이터 베이스(110), 와이어 프레임부(130), 얼굴 합성부(150) 및 모델 변환부(170)를 포함한다.
상기 데이터 베이스(110)는 얼굴 영상 및 얼굴의 부위별 영상 정보가 미리 저장되어 있다. 상기 데이터 베이스(110)는 다양한 인종, 국가에 적합한 데이터를 저장할 수 있다. 예를 들어, 상기 몽타주 생성 장치(1)를 대한민국 범죄 수사를 목적으로 하는 경우, 한국인의 데이터로 구축할 수 있으며, 적은 수의 외국인 데이터를 포함할 수 있다.
상기 와이어 프레임부(130)는 각 교차점에 능동 가중치가 적용되는 얼굴 와이어 프레임(wireframe)을 기본 얼굴 스케치 이미지에 적용시킨다.
도 3은 몽타주 작성에 사용되는 데이터의 구조이다.
도 3을 참조하면, 헤어가 분리된 기본 얼굴 스케치 이미지와 얼굴의 형상 정보를 나타내는 와이어 프레임(wireframe) 구조로 이루어진다. 기본 얼굴 스케치 이미지는 헤어가 없는 형태이고, 이는 스케치에 헤어와 얼굴이 동일 영역에 있을 경우 전체 합성 또는 부분 합성 시 다양한 헤어 스타일로 인해 부자연스러운 합성 결과를 만들 수 있기 때문이다. 따라서, 헤어는 꾸미기 기능을 통해 몽타주 얼굴을 생성한 후 추가하는 형태로 생성할 수 있다.
얼굴 와이어 프레임은 표준 obj 파일 형식을 따를 수 있다. 이러한 와이어 프레임을 적용하여 사용자는 특정점을 선택하여 원하는 변형이 가능하고, 다수의 점을 선택하여 이동시킬 수도 있다. 상기 얼굴 와이어 프레임의 각 교차점에는 능동 가중치가 적용되고, 특징점을 움직일 때 주변점들이 가변적인 가중치 값을 가지며 함께 움직이므로, 자연스러운 변형이 가능하다.
상기 얼굴 합성부(150)는 상기 데이터 베이스(110)로부터 선택된 영상들을 합성하여, 상기 와이어 프레임이 적용된 2차원 얼굴 모델을 형성한다. 이를 위해, 상기 얼굴 합성부(150)는 전체 합성 방법 또는 부분 합성 방법을 이용할 수 있으며, 이러한 방법은 선택적으로 사용되거나 함께 사용될 수 있다.
상기 전체 합성 방법은, 사용자가 선택하는 얼굴을 진화론적 알고리즘에 의해 부모 유전자로 하여 교차 및 변이연산을 반복 수행하여 목표 얼굴에 가까워지게 하는 방법이다. 먼저, 상기 전체 합성 방법의 전 처리로 인상에 따른 얼굴 영상 데이터 베이스를 인상 그룹별로 분류한다.
온라인 단계는 두 단계로 구성이 되는데, 첫 번째 단계는 범죄자 얼굴이 속한 얼굴 인상 그룹을 예측하는 단계(Group level convergence)이다. 시스템은 전 처리 단계에서 분류한 인상 그룹에서 후보 얼굴들을 골고루 선정하여 목격자에게 후보 군으로 보여주고, 목격자는 이 후보군 중 유사하다 여겨지는 얼굴들을 선택한다. 이 과정을 반복적으로 수행하면서 시스템은 목격자가 선택하는 인상 그룹들 중 신뢰도가 가장 높은 인상 그룹을 최종적으로 결정한다.
마지막 단계는 하이브리드 방식의 대화형 진화 연산을 통한 몽타주 생성 이다. 대화형 진화 연산은 앞 단에서 선정된 인상 그룹내의 얼굴을 뽑아 목격자에게 후보 얼굴 군으로 보여주고 보여진 후보들에서 목격자는 용의자와 유사한 얼굴들을 선택한다. 선택된 얼굴들은 하나의 부모 유전자가 되어 교차(Cross-over) 및 변이연산(Mutation)이 적용되어 부모와 유사하나 새로운 자식세대의 얼굴들을 생성한다. 위 과정을 반복 수행하면서 최종 목표 얼굴에 수렴하도록 한다. 도 4는 전체 합성 방법을 통해 6개의 부모 영상과 교차 연산을 통해 양산된 자식 영상의 예이다.
그러나, 위 과정만을 수행할 경우, 목격자가 정확히 기억하고 있는 얼굴 요소에 대해서는 반영하기 어렵다. 이에 본 발명에서는 특정 얼굴 요소를 임의로 설정하여 조합하는 부분 합성 방법을 적용한다. 이에 따라, 부분 합성과 대화형 진화 연산과정을 반복 수행함으로써 목격자가 진술하는 얼굴에 더 빠르게 수렴할 수 있게 된다.
상기 부분 합성 방법은 얼굴에 대한 정보를 부위별로 나누어 하나의 얼굴을 생성함에 있어서 부위별 조합을 통해 수행한다. 상기 부분 합성 방법은 전체 합성에서 특정 부위에 대한 기억 정보를 사용하지 못한다는 점을 보완 하며 부위별 얼굴을 기억하는 목격자를 위해서 적합한 방법이다.
부분 합성에 사용되는 한국인 얼굴 스케치 데이터 베이스는 각 부위별, 형태별로 그룹화하여 구축된다. 부분 합성 과정은 2단계로 이루어진다. 첫 번째 단계는 얼굴형 생성 단계이다. 도 5를 참조하면, 목격자가 진술하는 얼굴형에 따라 가장 유사한 얼굴들을 선택하고 선택된 얼굴들 간의 비율을 조절하면서 원하는 얼굴형을 생성한다.
다음 단계는 생성된 얼굴형에 부위별 이미지를 합성하는 단계이다. 도 6을 참조하면, 앞 단계와 마찬가지로 형태에 따라 분류된 부위 이미지에서 원하는 이미지를 선택하여 얼굴형과 합성하게 된다. 이러한 합성은 도 3에 도시된 얼굴의 구조 정보를 나타내는 2차원의 와이어 프레임 정보를 적용하고, 이를 기반으로 수행된다. 따라서, 실제적 합성은 주어진 합성비율에 따라 1차로 형상의 합성을 수행하고, 합성된 형상 정보를 기반으로 2차로 텍스처 합성을 수행한다.
상기 모델 변환부(170)는 상기 와이어 프레임이 적용된 2차원 얼굴 모델을 기초로, 사용자 입력에 따라 2차원 얼굴 모델을 변환한다. 이를 위해, 상기 모델 변환부(170)는 다양한 기능을 제공 및 수행할 수 있고, 다양한 기능을 위한 각 모듈을 포함할 수 있다. 또한, 상기 기능은 사용자 인터페이스(User Interface)에 의해 제공될 수 있다.
도 7을 참조하면, 상기 모델 변환부(170)는 인상 변환부(11), 나이 변환부(13), 자유 변환부(15), 이미지 편집부(17) 및 꾸미기부(19)를 포함할 수 있다. 그러나, 상기 모델 변환부(170)는 필요에 따라, 각 기능을 수행하는 모듈을 통합, 분리, 삭제, 추가 등을 할 수 있다.
상기 인상 변환부(11)는 상기 2차원 얼굴 모델을 사용자가 선택한 인상으로 자동 변환한다. 인상 변환은 미리 학습된 얼굴 데이터 베이스를 이용해서 대상 얼굴의 본질적인 정체성은 유지시켜주면서 사용자가 원하는 다양한 인상으로 자동변환 시켜주는 기능이다.
이를 위해, 상기 인상 변환부(11)는 얼굴의 정면 영상, 사용자 평가를 통해 수집된 인상 점수 및 얼굴 형상의 특징점들 간의 거리를 나타내는 특징 벡터를 학습 데이터로 하여 인상 추정 함수를 생성하는 인상 추정부 및 상기 인상 추정 함수를 적용하여 상기 2차원 얼굴 모델의 인상을 변환하여 출력하는 인상 변환 출력부를 포함할 수 있다.
상기 학습 데이터로 사용되는 인상 점수는 특정 인상(앳됨, 여성스러움, 남성스러움, 험악함 등)에 대한 사용자 평가를 통해 수집되고, 특징 벡터는 얼굴 형상을 나타내는 특징 점들간의 거리로 구성한다. 구축된 데이터 베이스 집합을 이용하여 특정 인상에 대한 인상 점수 추정함수를 생성하고, 추정 함수를 통해 입력된 얼굴을 원 얼굴과 유사하며 인상 점수가 높은 얼굴로 변화시킨다. 도 8은 사용자가 여성스러움을 선택한 경우 결과 이미지를 보여준다.
상기 나이 변환부(13)는 상기 2차원 얼굴 모델의 나이를 변환한다. 도 9는 나이 변환 결과의 영상을 보여준다. 나이 변환은 이미지 상의 나이 정보를 나타내는 전역적, 지역적 특징 정보를 활용하여 구성된다. 입력된 영상으로부터 얼굴의 주요 특징점을 추출하고, 예를 들어, 지역적 특징인 주름(wrinkle), 피부 특징(skin feature)과 전역적 특징인 외관(Appearance), 형상 파라미터(shape parameter)를 추출한다.
추출된 정보들을 기반으로 얼굴의 전역적 특징을 통한 나이변환 함수와, 지역적 특징 정보를 통한 나이변환 함수를 함께 수행하여 최종의 목적 얼굴을 생성한다.
이를 위해, 상기 나이 변환부(13)는 전역적 특징 정보를 반영한 나이 변환 함수를 수행하는 전역적 특징 적용부, 지역적 특징 정보를 반영한 나이 변환 함수를 수행하는 지역적 특징 적용부 및 상기 전역적 특징 적용부 및 상기 지역적 특징 적용부의 결과를 합성하여 상기 2차원 얼굴 모델을 재구성하고, 이를 출력하는 나이 변환 출력부를 포함할 수 있다.
종래에 단순히 이미지 효과를 통한 나이 변형은 실제와 많은 차이를 보임으로써 범인을 찾는데 역효과를 줄 우려가 있었다. 이에 반해, 본원 발명은 통계적으로 적절한 만족도의 정확성을 보장하는 나이 변환 시스템을 제공한다.
상기 자유 변환부(15)는 사용자의 입력에 따라 상기 2차원 얼굴 모델의 형태를 변환한다.
도 3과 같이 본 발명에 따른 몽타주 생성 장치(1)는 와이어 프레임 기반 스케치 데이터 구조를 갖는다. 따라서, 얼굴의 합성 또는 변형에 있어서 골격 정보를 직접 제어함으로써, 얼굴 이미지의 형태를 변형시킬 수 있다. 특히, 와이어 프레임 내의 정점을 직접 x축, y축 방향으로 자유롭게 이동 시킴으로써 자유변형을 수행할 수 있다.
상기 이미지 편집부(17)는 몽타주 생성 후 이미지 기반 편집 기능을 제공 함으로써 후 처리로 섬세한 변경이 가능하도록 한다. 예를 들어, 각 기능 항목은 아래의 표 1과 같다.
기능 구분 기능 명 세부 기능
기본 기능 이미지 변형 이미지 확대/축소/이동/회전
툴 박스 색상 팔레트, 펜 선택 툴, 패턴 선택 툴, 이미지 정보 창
펜 그리기 브러시 및 패턴 활용 펜 그리기
선 그리기 브러시 및 패턴 활용 선 그리기
사각형 그리기 브러시 및 패턴 활용 사각형 그리기
원 그리기 브러시 및 패턴 활용 원 그리기
채우기 같은 톤으로 채우기
파일 관리 이미지 파일 로딩 및 저장
특수 기능 매직툴 선택한 유사톤 영역 지정
선택한 영역에 대하여 민감도 및 투명도 조절 옵션 제공
곡선 선택툴 자유곡선으로 선택한 영역에 대하여 색도/채도/Blend 조절 기능 제공
얼굴만 확대 전체 이미지가 아닌 얼굴 부분만 확대하는 기능
화질 개선 화질 개선 알고리즘 적용 기능
이미지 반전 상하/좌우 이미지 반전 기능
가우시안 블러 가우시안 블러를 활용한 전체 이미지 블러 효과 적용 기능
번짐 효과 이미지 전체에 번짐 효과 조절
선명 효과 이미지 전체에 선명도를 높일 수 있는 필터 적용 기능
상기 꾸미기부(19)는 다양한 스킨 텍스처 및 악세서리 소품 등을 이용하여 몽타주 얼굴에 부가 정보를 추가할 수 있다. 스킨 텍스처를 이용해 다양한 얼굴 표현이 가능하며, 특히 안경 모자 등을 통해 실제 범죄자의 착의와 유사한 몽타주를 작성할 수 있게 한다.
상기 꾸미기부(19)는 예를 들어, 도 10에 도시된 각 항목별 데이터를 이용할 수 있으며, 얼굴을 꾸밀 수 있는 데이터는 상기 데이터 베이스(110)에 저장될 수 있다.
이와 같이, 본 발명에 따른 몽타주 생성 장치(1)는 인상 정보를 이용하는 전체론적 합성 기법을 도입함으로써 기존에 특징별 부분 조합으로만 이루어지던 시스템에서 목격자의 기억 유형에 따라 적절한 방법을 선택하여 적용할 수 있다. 특히, 이미 몇몇 심리학 연구보고에도 발표된 바와 같이 얼굴의 특징점보다 인상을 기억하는 것이 좀 더 오래가며 몽타주 생성시 범죄자와 유사한 얼굴을 생성할 확률이 높다고 알려져 있다. 이러한 이론을 기반으로 유추할 때 부분 합성 기법만을 적용했을 때보다 전체적 합성 기법을 추가한 것이 몽타주의 정확도를 높여 범죄자 검거에 좀 더 높은 기여를 할 것으로 전망된다.
또한, 자동 인상 변환 기능은 생성된 몽타주가 인지적으로 적합하지 않을 경우 이 기능을 통해 보완 수정함으로써 목격자가 기억하는 인상과 좀 더 유사한 범죄자의 몽타주 생성이 가능하게 한다. 2D 이미지 편집 기능은 포토샵 프로그램과 같이 다양한 이미지의 편집 기능을 제공하는 것으로 그 동안 몽타주 생성 후, 후 처리를 위해 다른 프로그램을 통해 재편집을 했던 과정을 통합 몽타주 생성 장치에서 함께 제공함으로써 몽타주 제작의 편리성을 제공하고 기존 시스템보다 좀 더 섬세한 몽타주를 만들 수 있게 한다.
상기 3차원 모델 형성부(30)는 상기 2차원 모델 형성부(10)에서 생성한 2차원 얼굴 모델의 특징점을 추출하여 3차원 표준 얼굴형들 간의 가중치 선형 조합을 통해 3차원 얼굴 모델을 생성한다.
구체적으로, 입력된 2차원의 얼굴영상으로부터 눈, 코, 입, 얼굴 윤곽에 대한 특징점을 추출한다. 추출된 2차원의 특징점을 기준으로 한국인을 대표하는 3D 표준 얼굴 형들간의 가중치 선형 조합을 통해 대상 이미지의 3차원 얼굴을 생성한다. 생성된 3차원 얼굴은 다양한 한국인 표준 모델을 기저로 하여 생성되어 좀 더 한국적인 3D 얼굴이 생성될 수 있다.
목격자는 범죄자의 얼굴을 정면만이 아니라 다양한 시점의 방향에서 목격한다. 이에 정면 얼굴을 기억하기 보다는 다른 각도의 얼굴을 더 잘 기억 할 수 있음에도 고정된 정면 얼굴만을 합성하는 경우 목격자가 기억하는 정보의 활용이 어렵다. 또한, 목격자가 목격하는 범죄자의 얼굴은 2D 스케치 얼굴이 아니라 3D 공간상의 얼굴이다. 이와 연계되어 그 시점에서의 주변 광원 및 배경은 그 사람의 얼굴의 이미지를 나타내는데 중요한 요소임에도 불구하고 기존 시스템에서는 간과된 부분이다. 이에 본 발명은 3차원 얼굴을 생성하고 다양한 시점의 얼굴을 복원함으로써 사실성 있는 몽타주를 작성할 수 있다.
상기 3차원 모델 형성부(30)는, 자동 표정 변화, 자유 변환 제공, 배경 변경 제공, 꾸미기 제공 중 적어도 하나의 기능을 제공할 수 있다. 이러한 기능을 수행하기 위해 각 모듈을 포함하거나 통합 모듈을 포함할 수 있다.
자동 표정 변화 기능은 3차원 얼굴 모델의 다양한 얼굴 표정을 범주내의 값 조절을 통해 설정하는 기능으로 전문 애니메이터들의 수작업으로 이루어지는 기능을 손쉽게 다룰 수 있게 제공한다. 이는 기 구축된 3차원 표준 모델들의 표정 정보를 생성된 3차원 몽타주 모델에 전이시켜 표정 모델을 자동으로 생성하는 기법으로, 다양한 표정(기쁨, 슬픔, 화남, 놀람, 미소)의 3차원 기저 세트를 구성하고 무표정 모델과 적절한 가중치의 선형 조합으로 원하는 표정을 만든다. 만들어진 표정 얼굴 소스를 대상 몽타주 3차원 모델에 적용함으로써 최종 목적인 표정이 변화된 대상 모델을 생성한다.
자유 변환 제공 기능은 특징점 기반 방법 또는 스케치 기반 방법이 가능하다. 특징점 기반의 자유 변환은 3차원 모델 에디터로써, 3차원 모델에 부위별 특징점을 설정하여 설정된 점의 자유 변형(회전, 이동, 스케일)을 통해 부위별 얼굴 모델을 변형시킨다. 특징점은 얼굴 정보를 가장 잘 표현하는 위치에 설정하여 설정된 특징점 만으로도 최대의 변형을 제공하되 사용자에게 사용하기 쉬운 변형 기능툴을 제공한다.
스케치 기반의 자유 변환은 3차원 모델 변형 시 사용자가 직접 편집하고자 하는 얼굴의 실루엣 및 수정 실루엣을 그려서 얼굴의 실루엣 모양을 변형하는 에디터 기술이다. 특히, 스케치 기반 변형 유저 인터페이스(User interface)를 통해 실루엣으로 표현되는 얼굴 형상(shape)에 대해 섬세한 변형이 가능하며, 동시에 사용자에게 얼굴 모델 변형에 있어 최대한의 자유를 제공한다.
배경 변경 제공 기능은 3차원 모델이 보이는 공간의 변환을 통해 3차원 모델이 보이는 이미지에 대해 사실성을 부여하고 좀 더 다양한 상황 재현을 가능토록 하여 목적 얼굴과 좀더 유사한 생성을 유도한다. 이에 배경 변환 항목에는 얼굴의 이미지에 가장 큰 영향을 끼치는 배경 광원 조정과 색상 조정이 있다. 또한, 전체적을 이미지가 보여지는 느낌을 조정하기 위한 다양한 렌더링 기법을 제공한다.
꾸미기 제공 기능은 3차원 모델에 다양한 액세서리를 착용시켜 다양한 스타일을 꾸밀 수 있게 한다. 이는 스타일에 따라 얼굴의 이미지가 많이 변한다는 점을 고려하여 목적 얼굴과 더 유사한 형태를 생성하기 위해 필요한 요소가 된다. 3차원 꾸미기 항목에는 안경, 모자, 헤어, 액세서리 등이 있다. 각 소품은 에디터 툴에 의해 위치 이동 및 스케일 변형을 통해 대상 모델에 적절히 위치 시킬 수 있다.
본 발명의 몽타주 생성 장치(1)에서 제공하는 3D 변환 기능은 2D로 작성된 몽타주 이미지를 자동으로 3D화 하는 기능으로 2D 몽타주가 갖고 있는 사실성의 결여, 시점 불변, 주변 환경 고려 불가능이라는 문제점을 극복할 수 있다. 특히, 3D 몽타주의 자유로운 표정변화 및 얼굴형 변화 기능과 꾸미기 기능을 제공함으로써 목격자가 기억하는 범죄자의 인상과 가장 유사한 얼굴을 생성할 수 있도록 한다. 각 기능은 사용자가 조작하기 쉬운 UI를 통해 제공되어 몽타주 작성에 용의함을 제공한다. 특히, 꾸미기 기능은 헤어, 스킨텍스처, 모자, 수염, 안경, 두건, 악서세리 등을 통해 좀더 현실 감 있는 용의자의 인상을 만들 수 있도록 한다.
이 외에도, 본 발명에 따른 상기 몽타주 생성 장치(1)는 다양한 기능을 수행하는 모듈을 포함할 수 있다.
상기 데이터 베이스 관리부(50)는 상기 데이터 베이스의 유지 보수를 위한 기능을 수행하며, 데이터 베이스를 구축할 뿐만 아니라 데이터를 생성, 저장, 삭제 등 계속적으로 데이터의 확충을 용이하게 한다.
상기 얼굴 인식부(60)는 최종 몽타주의 얼굴을 인식하여 범죄자 사진 데이터 베이스로부터 가장 유사한 얼굴을 선정하는 기능을 수행한다. 사진과 몽타주는 서로 다른 성질의 비교 대상으로써 각각의 특징 추출 자는 비교가 가능한 대상이 될 수 없다. 따라서, 두 추출자를 같은 공간상으로 투영하는 과정을 거쳐 비교연산을 수행한다.
이를 위해, 상기 얼굴 인식부(60)는 상기 범죄자의 사진으로부터 지역적 특징 표현자를 추출하는 사진 특징 추출부, 상기 최종 몽타주로부터 지역적 특징 표현자를 추출하는 몽타주 특징 추출부, 상기 사진의 지역적 특징 표현자 및 상기 몽타주의 지역적 특징 표현자를 동일한 공간상으로 투영하는 투영부 및 상기 사진의 지역적 특징 표현자 및 상기 몽타주의 지역적 특징 표현자의 최소 거리를 비교하는 비교 연산부를 포함할 수 있다.
일반적으로 사건 수사 시 범죄자 검거를 위해, 기존 범죄자 데이터 베이스를 분석하게 된다. 따라서, 생성된 몽타주 이미지를 실제 범죄자 사진 데이터 베이스와 대조하여 유사한 얼굴을 찾아주는 기능은 사건 수사의 효율성을 상승시키는 중요한 요소가 될 수 있다.
상기 출력부(70)는 몽타주를 배포하기 위해 몽타주 이미지를 다양한 사이즈에 맞는 형태로 출력할 수 있도록 하는 프린트 설정 기능을 제공한다. 상기 저장부(80)는 작성된 몽타주 데이터를 저장하고 다시 불러와 재사용이 가능하도록 지원할 수 있다.
도 11은 본 발명의 일 실시예에 따른 몽타주 생성 방법의 흐름도이다.
본 실시예에 따른 몽타주 생성 방법은, 도 1의 몽타주 생성 장치(1)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 몽타주 생성 장치(1)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다.
또는, 본 실시예에 따른 몽타주 생성 방법은 몽타주 생성을 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.
도 11을 참조하면, 본 실시예에 따른 몽타주 생성 방법은, 각 교차점에 능동 가중치가 적용되는 얼굴 와이어 프레임(wireframe)을 기본 얼굴 스케치 이미지에 적용한다(단계 S10).
몽타주 생성 시, 상기 와이어 프레임을 적용하여 사용자는 특정점을 선택하여 원하는 변형이 가능하고, 다수의 점을 선택하여 이동시킬 수도 있다. 상기 얼굴 와이어 프레임의 각 교차점에는 능동 가중치가 적용되고, 특징점을 움직일 때 주변점들이 가변적인 가중치 값을 가지며 함께 움직이므로, 자연스러운 변형이 가능하다.
얼굴 영상 및 얼굴의 부위별 영상 정보가 미리 저장되어 있는 데이터 베이스로부터 선택된 영상들을 합성하여, 상기 와이어 프레임이 적용된 2차원 얼굴 모델을 형성한다(단계 S30). 영상의 합성은 전체 합성 방법 또는 부분 합성 방법을 이용할 수 있으며, 이러한 방법은 선택적으로 사용되거나 함께 사용될 수 있다.
상기 와이어 프레임이 적용된 2차원 얼굴 모델을 기초로, 사용자 입력에 따라 2차원 얼굴 모델을 변환한다(단계 S50). 2차원 얼굴 모델을 변환을 위해, 인상 변환, 나이 변환, 자유 변환 제공, 이미지 편집 제공, 꾸미기 제공 중 적어도 하나의 기능을 제공하고, 사용자 입력에 따라 2차원 얼굴 모델을 변환할 수 있다.
또한, 선택적으로 상기 2차원 얼굴 모델의 특징점을 추출하여 3차원 표준 얼굴형들간의 가중치 선형 조합을 통해 3차원 얼굴 모델을 생성할 수 있다(단계 S70). 3차원 얼굴 모델을 생성한 후, 자동 표정 변화, 자유 변환 제공, 배경 변경 제공, 꾸미기 제공 중 적어도 하나의 기능을 제공하고, 사용자 입력에 따라 3차원 얼굴 모델을 변환할 수 있다.
이 외에도, 프린트 출력, 얼굴 인식, 데이터 베이스 구축, 데이터 저장 및 불러오기 등 다양한 기능을 제공하고, 상기 기능들을 위한 UI를 제공할 수 있다.
본 발명에 따른 몽타주 생성 방법은 기존의 몽타주 시스템들의 장단점 분석을 통한 기존 시스템의 고도화를 달성하고, 사용자 분석을 통해 새롭게 요구되는 기능들을 추가하였다.
구체적으로, 1) DB 변경(얼굴 스케치 방식 변경, 얼굴 형상 정보의 구조 변경), 2) 텍스처 합성 방법 변경, 3) DB 선택 구조 변경(UI 및 DB 구축 관점), 4) 얼굴 미세 조정 기능(wireframe 조정), 5) 성능평가를 통해 정확성을 보장하는 나이변환 기능을 보완하여 기존 몽타주 시스템의 고도화를 달성한다. 또한, 1) 얼굴의 인상 정보(전체론적)를 활용한 진화적 기법을 통한 얼굴 생성, 2) 얼굴 인상 자동 변환, 3) 몽타주 얼굴 인식 기능, 4) 2D 이미지 편집 기능, 5) 2D 스케치 얼굴의 3D화 및 3D 상에서의 자유 변형 및 꾸미기 기능을 추가하였다.
이와 같은, 몽타주 생성 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명은 몽타주 시스템의 고도화를 통해서 몽타주 합성 성능을 향상 시키고, 새롭게 추가되는 기능들을 통해 몽타주의 정확도(실제 용의자와의 유사도)를 향상시킬 수 있다. 따라서, 범죄 수사 시 몽타주의 효율적인 적용 가능성을 제공한다.
1: 몽타주 생성 장치 10: 2차원 모델 형성부
30: 3차원 모델 형성부 50: 데이터 베이스 관리부
60: 얼굴 인식부 70: 출력부
80: 저장부 110: 데이터 베이스
130: 와이어 프레임부 150: 얼굴 합성부
170: 모델 변환부 11: 인상 변환부
13: 나이 변환부 15: 자유 변환부
17: 이미지 편집부 19: 꾸미기부

Claims (23)

  1. 얼굴 영상 및 얼굴의 부위별 영상 정보가 미리 저장되어 있는 데이터 베이스;
    각 교차점에 능동 가중치가 적용되는 얼굴 와이어 프레임(wireframe)을 기본 얼굴 스케치 이미지에 적용시키는 와이어 프레임부;
    상기 데이터 베이스로부터 선택된 영상들을 합성하여, 상기 와이어 프레임이 적용된 2차원 얼굴 모델을 형성하는 얼굴 합성부;
    상기 와이어 프레임이 적용된 2차원 얼굴 모델을 기초로, 사용자 입력에 따라 2차원 얼굴 모델을 변환하는 모델 변환부; 및
    유사한 얼굴을 선정하는 얼굴 인식부를 포함하고, 상기 얼굴 인식부는,
    범죄자의 사진으로부터 지역적 특징 표현자를 추출하는 사진 특징 추출부;
    최종 몽타주로부터 지역적 특징 표현자를 추출하는 몽타주 특징 추출부;
    상기 사진의 지역적 특징 표현자 및 상기 몽타주의 지역적 특징 표현자를 동일한 공간상으로 투영하는 투영부; 및
    상기 사진의 지역적 특징 표현자 및 상기 몽타주의 지역적 특징 표현자의 거리를 비교하여 최소 거리를 가진 범죄자 사진을 가장 유사한 얼굴을 선정하는 비교 연산부를 포함하는, 몽타주 생성 장치.
  2. 제1항에 있어서, 상기 모델 변환부는,
    사용자의 선택에 따라 상기 2차원 얼굴 모델의 인상을 자동으로 변환하는 인상 변환부를 포함하는, 몽타주 생성 장치.
  3. 제2항에 있어서, 상기 인상 변환부는,
    얼굴의 정면 영상, 사용자 평가를 통해 수집된 인상 점수 및 얼굴 형상의 특징점들 간의 거리를 나타내는 특징 벡터를 학습 데이터로 하여 인상 추정 함수를 생성하는 인상 추정부; 및
    상기 인상 추정 함수를 적용하여 상기 2차원 얼굴 모델의 인상을 변환하여 출력하는 인상 변환 출력부를 포함하는, 몽타주 생성 장치.
  4. 제1항에 있어서, 상기 모델 변환부는,
    상기 2차원 얼굴 모델의 나이를 변환하는 나이 변환부를 포함하는, 몽타주 생성 장치.
  5. 제4항에 있어서, 상기 나이 변환부는,
    전역적 특징 정보를 반영한 나이 변환 함수를 수행하는 전역적 특징 적용부;
    지역적 특징 정보를 반영한 나이 변환 함수를 수행하는 지역적 특징 적용부; 및
    상기 전역적 특징 적용부 및 상기 지역적 특징 적용부의 결과를 합성하여 출력하는 나이 변환 출력부를 포함하는, 몽타주 생성 장치.
  6. 제1항에 있어서, 상기 모델 변환부는,
    사용자의 입력에 따라 상기 2차원 얼굴 모델의 형태를 변환하는 자유 변환부를 포함하는, 몽타주 생성 장치.
  7. 제1항에 있어서, 상기 모델 변환부는,
    상기 2차원 얼굴 모델의 편집 기능을 제공하는 이미지 편집부를 포함하는, 몽타주 생성 장치.
  8. 제1항에 있어서, 상기 모델 변환부는,
    상기 2차원 얼굴 모델에 부가 정보를 추가할 수 있는 꾸미기 기능을 제공하는 꾸미기부를 포함하는, 몽타주 생성 장치.
  9. 제1항에 있어서, 상기 얼굴 합성부는,
    사용자가 선택하는 얼굴을 부모 유전자로 하여 교차 및 변이연산을 반복 수행하여 목표 얼굴에 가까워지는 전체 합성 방법을 이용하는, 몽타주 생성 장치.
  10. 제1항에 있어서, 상기 얼굴 합성부는,
    얼굴의 부위별 조합을 통해 전체 얼굴을 합성하는 부분 합성 방법을 이용하는, 몽타주 생성 장치.
  11. 제1항에 있어서,
    상기 2차원 얼굴 모델의 특징점을 추출하여 3차원 표준 얼굴형들 간의 가중치 선형 조합을 통해 3차원 얼굴 모델을 생성하는 3차원 모델 형성부를 더 포함하는, 몽타주 생성 장치.
  12. 제11항에 있어서, 상기 3차원 모델 형성부는,
    자동 표정 변화, 자유 변환 제공, 배경 변경 제공, 꾸미기 제공 중 적어도 하나의 기능을 제공하는, 몽타주 생성 장치.
  13. 제1항에 있어서,
    최종 몽타주를 출력하는 출력부를 더 포함하는, 몽타주 생성 장치.
  14. 삭제
  15. 삭제
  16. 제1항에 있어서,
    상기 데이터 베이스의 유지 보수를 위한 데이터 베이스 관리부를 더 포함하는, 몽타주 생성 장치.
  17. 제1항에 있어서,
    작성한 몽타주를 저장하고 불러오기 기능을 제공하는 저장부를 더 포함하는, 몽타주 생성 장치.
  18. 각 교차점에 능동 가중치가 적용되는 얼굴 와이어 프레임(wireframe)을 기본 얼굴 스케치 이미지에 적용시키는 단계;
    얼굴 영상 및 얼굴의 부위별 영상 정보가 미리 저장되어 있는 데이터 베이스로부터 선택된 영상들을 합성하여, 상기 와이어 프레임이 적용된 2차원 얼굴 모델을 형성하는 단계;
    상기 와이어 프레임이 적용된 2차원 얼굴 모델을 기초로, 사용자 입력에 따라 2차원 얼굴 모델을 변환하는 단계; 및
    최종 몽타주의 얼굴을 인식하여 범죄자 사진 데이터 베이스로부터 상기 최종 몽타주와 가장 유사한 얼굴을 선정하는 단계를 포함하고, 상기 최종 몽타주와 가장 유사한 얼굴을 선정하는 단계는,
    상기 범죄자의 사진으로부터 지역적 특징 표현자를 추출하는 단계;
    상기 최종 몽타주로부터 지역적 특징 표현자를 추출하는 단계;
    상기 사진의 지역적 특징 표현자 및 상기 몽타주의 지역적 특징 표현자를 동일한 공간상으로 투영하는 단계; 및
    상기 사진의 지역적 특징 표현자 및 상기 몽타주의 지역적 특징 표현자의 거리를 비교하여 최소 거리를 가진 범죄자 사진을 가장 유사한 얼굴을 선정하는 단계를 포함하는, 몽타주 생성 방법.
  19. 제18항에 있어서, 상기 사용자 입력에 따라 2차원 얼굴 모델을 변환하는 단계는,
    인상 변환, 나이 변환, 자유 변환 제공, 이미지 편집 제공, 꾸미기 제공 중 적어도 하나의 기능을 수행하는, 몽타주 생성 방법.
  20. 제18항에 있어서, 상기 몽타주의 2차원 얼굴 모델을 형성하는 단계는,
    전체 합성 방법 또는 부분 합성 방법을 이용하는, 몽타주 생성 방법.
  21. 제18항에 있어서,
    상기 2차원 얼굴 모델의 특징점을 추출하여 3차원 표준 얼굴형들 간의 가중치 선형 조합을 통해 3차원 얼굴 모델을 생성하는 단계를 더 포함하는, 몽타주 생성 방법.
  22. 제21항에 있어서, 상기 3차원 얼굴 모델을 생성하는 단계는,
    자동 표정 변화, 자유 변환 제공, 배경 변경 제공, 꾸미기 제공 중 적어도 하나의 기능을 수행하는, 몽타주 생성 방법.
  23. 제18항 내지 제22항 중 어느 하나의 항에 따른 몽타주 생성 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020140135786A 2014-10-08 2014-10-08 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체 KR101635730B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140135786A KR101635730B1 (ko) 2014-10-08 2014-10-08 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140135786A KR101635730B1 (ko) 2014-10-08 2014-10-08 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
US14/863,772 US9734613B2 (en) 2014-10-08 2015-09-24 Apparatus and method for generating facial composite image, recording medium for performing the method
CN201510647084.2A CN105513125B (zh) 2014-10-08 2015-10-08 合成图像生成装置及方法、用于执行该方法的记录介质

Publications (2)

Publication Number Publication Date
KR20160041570A KR20160041570A (ko) 2016-04-18
KR101635730B1 true KR101635730B1 (ko) 2016-07-20

Family

ID=55655804

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140135786A KR101635730B1 (ko) 2014-10-08 2014-10-08 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체

Country Status (3)

Country Link
US (1) US9734613B2 (ko)
KR (1) KR101635730B1 (ko)
CN (1) CN105513125B (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160284122A1 (en) * 2015-03-26 2016-09-29 Intel Corporation 3d model recognition apparatus and method
CN106791091B (zh) * 2016-12-20 2020-03-27 北京安云世纪科技有限公司 图像生成方法、装置和移动终端
US10311326B2 (en) 2017-03-31 2019-06-04 Qualcomm Incorporated Systems and methods for improved image textures
CN107153816B (en) * 2017-04-16 2021-03-23 五邑大学 Data enhancement method for robust face recognition
CN107194868A (zh) * 2017-05-19 2017-09-22 成都通甲优博科技有限责任公司 一种人脸图像生成方法及装置
WO2018232717A1 (zh) * 2017-06-23 2018-12-27 中国科学院自动化研究所 基于透视失真特性的人脸图像鉴伪方法、存储、处理设备
CN109086721A (zh) * 2018-08-03 2018-12-25 厦门大学 用于人脸画像合成的主动表观模型
CN109285205A (zh) * 2018-10-29 2019-01-29 重庆中科云丛科技有限公司 一种人脸互换方法、系统、计算机可读存储介质及设备
CN110222588B (zh) * 2019-05-15 2020-03-27 合肥进毅智能技术有限公司 一种人脸素描图像衰老合成方法、装置及存储介质
CN111754415A (zh) * 2019-08-28 2020-10-09 北京市商汤科技开发有限公司 人脸图像处理方法及装置、图像设备及存储介质
KR102156899B1 (ko) * 2019-11-14 2020-09-16 한국광기술원 디자인 생성장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101339900B1 (ko) * 2012-03-09 2014-01-08 한국과학기술연구원 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661906B1 (en) * 1996-12-19 2003-12-09 Omron Corporation Image creating apparatus
WO1999027838A2 (en) * 1997-12-01 1999-06-10 Eraslan Arsev H Three-dimensional face identification system
KR20000064110A (ko) * 2000-08-22 2000-11-06 이성환 얼굴 영상에 기반한 캐릭터 자동 생성 장치 및 방법
US6664956B1 (en) * 2000-10-12 2003-12-16 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A. S. Method for generating a personalized 3-D face model
US20080298643A1 (en) * 2007-05-30 2008-12-04 Lawther Joel S Composite person model from image collection
KR20140043394A (ko) 2011-06-15 2014-04-09 마이크로소프트 코포레이션 콘텐트 파일을 제시하는 맞춤 객체 생성 기법
TWI567570B (zh) 2011-06-15 2017-01-21 微軟技術授權有限責任公司 用於產生代表內容檔案之客製物件的技術
KR101494880B1 (ko) 2012-11-07 2015-02-25 한국과학기술연구원 인지적 아바타 생성 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101339900B1 (ko) * 2012-03-09 2014-01-08 한국과학기술연구원 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
데이터 기반 자동 얼굴 인상 변형 방법, 한국컴퓨터그래픽스학회 논문집(2013)*
몽타주와 얼굴사진의 유사도 산출, 한국정보과학회 학술발표논문집 제33권제2호(2006)*
전체합성 및 부분조합을 통한 몽타주 생성 시스템, 한국컴퓨터그래픽스학회 논문집(2013)*

Also Published As

Publication number Publication date
US9734613B2 (en) 2017-08-15
CN105513125B (zh) 2018-09-25
CN105513125A (zh) 2016-04-20
US20160104309A1 (en) 2016-04-14
KR20160041570A (ko) 2016-04-18

Similar Documents

Publication Publication Date Title
Saito et al. Real-time facial segmentation and performance capture from rgb input
Jeni et al. Dense 3D face alignment from 2D videos in real-time
US9734628B2 (en) Techniques for processing reconstructed three-dimensional image data
Lassner et al. A generative model of people in clothing
Cao et al. Real-time facial animation with image-based dynamic avatars
Ichim et al. Dynamic 3d avatar creation from hand-held video input
Shi et al. Automatic acquisition of high-fidelity facial performances using monocular videos
Lewis et al. Practice and Theory of Blendshape Facial Models.
Kemelmacher-Shlizerman et al. Illumination-aware age progression
US10796480B2 (en) Methods of generating personalized 3D head models or 3D body models
CN105144247B (zh) 用户的三维表示的生成
US9710912B2 (en) Method and apparatus for obtaining 3D face model using portable camera
Kähler et al. Geometry-based muscle modeling for facial animation
Pishchulin et al. Learning people detection models from few training samples
CN106778928B (zh) 图像处理方法及装置
CN100468463C (zh) 用于处理图像的方法、装置
Chai et al. Autohair: Fully automatic hair modeling from a single image
US6556196B1 (en) Method and apparatus for the processing of images
US20160128450A1 (en) Information processing apparatus, information processing method, and computer-readable storage medium
US9058765B1 (en) System and method for creating and sharing personalized virtual makeovers
JP5829371B2 (ja) モーションキャプチャデータを使用する顔面アニメーション
Hu et al. Avatar digitization from a single image for real-time rendering
KR20200026808A (ko) 가상 얼굴 메이크업 제거, 빠른 얼굴 검출, 및 랜드마크 추적
Golovinskiy et al. A statistical model for synthesis of detailed facial geometry
Sifakis et al. Simulating speech with a physics-based facial muscle model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant