KR20200018341A - 유전자 정보를 이용한 얼굴 재현 장치 및 방법 - Google Patents

유전자 정보를 이용한 얼굴 재현 장치 및 방법 Download PDF

Info

Publication number
KR20200018341A
KR20200018341A KR1020190097357A KR20190097357A KR20200018341A KR 20200018341 A KR20200018341 A KR 20200018341A KR 1020190097357 A KR1020190097357 A KR 1020190097357A KR 20190097357 A KR20190097357 A KR 20190097357A KR 20200018341 A KR20200018341 A KR 20200018341A
Authority
KR
South Korea
Prior art keywords
face
information
genetic information
snp
learning
Prior art date
Application number
KR1020190097357A
Other languages
English (en)
Other versions
KR102240237B1 (ko
Inventor
박진수
Original Assignee
순천향대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천향대학교 산학협력단 filed Critical 순천향대학교 산학협력단
Publication of KR20200018341A publication Critical patent/KR20200018341A/ko
Application granted granted Critical
Publication of KR102240237B1 publication Critical patent/KR102240237B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 유전자 정보를 이용한 얼굴 재현 장치 및 방법을 개시한다. 본 발명의 일 측면에 따른 유전자 정보를 이용한 얼굴 재현 장치는, 생체정보에서 추출된 유전자 정보를 기초로하여 사람의 얼굴을 추정함으로써, 실종자의 얼굴 모습을 보다 효과적으로 추정할 수 있어 실종사건을 보다 효과적으로 해결할 수 있다.

Description

유전자 정보를 이용한 얼굴 재현 장치 및 방법{APPARATUS AND METHOD FOR FACIAL REPRODUCTION USING GENETIC INFORMATION}
본 발명은 유전자 정보를 이용한 얼굴 재현 장치 및 방법 에 관한 것으로, 더욱 상세하게는 사람의 생체정보에서 유전자 정보를 추출하여 추출된 유전자 정보를 기초로 사람의 얼굴을 재현하는 유전자 정보를 이용한 얼굴 재현 장치 및 방법에 관한 것이다.
종래 기술에서는 얼굴 재현을 위해 3D 얼굴 모델 등을 이용하여 장기 실종자 얼굴 및 범죄자 얼굴 추정하거나, 미리 저장된 DNA 정보와 취득한 DNA 정보를 대조하여 실종자 얼굴 및 범죄자 얼굴을 추정하는 사례가 있었다. 하지만, 종래 기술에 따른 얼굴 재현을 위해서는 대조를 위한 DNA 정보가 사전에 저장되어 있어야만 가능하였고, 3D 얼굴 모델을 이용하는 종래 기술에 따라 재현된 얼굴은 목격자의 진술에 따르므로 실제 실종자 및 범죄자의 얼굴과 차이가 많아 실제적으로 활용도가 떨어지는 문제점이 발생한다.
한국공개특허 제2004-0009460호(2004.01.31 공개)
본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로서, 피, 땀, 피부세포, 머리카락 등과 같은 사람의 생체정보에서 유전자 정보를 추출하고, 추출된 유전자 정보를 기초로하여 사람의 얼굴을 재현하는 생체정보 기반의 얼굴 재현 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 일 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따른 생체정보 기반의 얼굴 재현 장치는, 획득한 생체시료에서 유전자 정보를 분석하는 유전자 정보 분석부; 상기 분석된 유전자 정보로부터 SNP 정보를 추출하는 SNP 추출부; 상기 유전자 정보를 머신러닝 기법을 통해 학습하는 딥러닝 학습부; 및 상기 추출된 SNP 정보를 기초로 얼굴 이미지를 재현하는 얼굴 재현부;를 포함한다.
목격자로부터 진술된 정보 또는 CCTV 영상을 기초로 추정된 얼굴 이미지를 보정하는 보정부;를 더 포함하는 것을 특징으로 한다.
상기 유전자 정보 분석부는, 분석된 유전자 정보로부터 성별, 인종, 혈통의 정보 중 적어도 어느 하나를 추출하는 것을 특징으로 한다.
상기 딥러닝 학습부는, CNN(Convolutional Neural Network) 모델을 활용하여 유전자 정보를 학습하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 다른 측면에 따른 유전자 정보를 이용한 얼굴 재현 장치에서의 얼굴 재현 방법은, 획득한 생체시료에서 유전자 정보를 분석하는 단계; 상기 분석된 유전자 정보로부터 SNP 정보를 추출하는 단계; 상기 유전자 정보를 머신러닝 기법을 통해 학습하는 단계; 및 상기 추출된 SNP 정보를 기초로 얼굴 이미지를 재현하는 단계;를 포함한다.
목격자로부터 진술된 정보 또는 CCTV 영상을 기초로 추정된 얼굴 이미지를 보정하는 단계;를 더 포함하는 것을 특징으로 한다.
상기 유전자 정보를 분석하는 단계는, 분석된 유전자 정보로부터 성별, 인종, 혈통의 정보 중 적어도 어느 하나를 추출하는 것을 특징으로 한다.
상기 유전자 정보를 머신러닝 기법을 통해 학습하는 단계는, CNN(Convolutional Neural Network) 모델을 활용하여 유전자 정보를 학습하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 생체정보에서 추출된 유전자 정보를 기초로하여 사람의 얼굴을 추정함으로써, 실종자의 얼굴 모습을 보다 효과적으로 추정할 수 있어 실종사건을 보다 효과적으로 해결할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명을 실시하기 위한 구체적인 내용들과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 얼굴 재현 장치의 개략적인 기능 블록도,
도 2는 본 발명의 다른 실시예에 따른 얼굴 재현 장치의 개략적인 기능 블록도,
도 3은 본 발명의 일 실시예에 따른 얼굴 재현 방법의 개략적인 흐름도이다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “…부” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 발명에 따른 얼굴 재현 장치는 범죄 현장에서 목격자나 CCTV를 통한 범죄자 얼굴에 대한 실마리가 주어지지 않아 용의자를 가리기 힘든 경우 현장에 남겨진 생체정보를 기초로 몽타주를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴 재현 장치의 개략적인 기능 블록도, 도 2는 본 발명의 다른 실시예에 따른 얼굴 재현 장치의 개략적인 기능 블록도이다.
도 1을 참조하면, 본 실시예에 따른 얼굴 재현 장치(100)는 유전자 정보 분석부(110), SNP 추출부(120), 딥러닝 학습부(130) 및 얼굴 재현부(140)를 포함한다.
유전자 정보 분석부(110)는 획득한 생체시료에서 유전자 정보를 분석한다. 이때, 생체시료는 피, 땀, 피부세포, 머리카락 등과 같은 사람의 생체정보를 포함하는 것일 수 있다. 이때, 분석된 유전자 정보로부터 성별, 인종, 혈통 등의 정보 중 적어도 어느 하나를 추출할 수 있다. 한편, 유전자 정보 분석부(110)는 분석된 유전자 정보를 별도의 저장공간인 데이터베이스에 저장하여 빅데이터화시킬 수 있다. 예컨대, 유전자 정보 분석부(110)는 유전자 정보와 이에 대응하는 사람들의 얼굴 이미지를 수집하여, 수집된 정보를 얼굴 이미지 재현에 활용할 수도 있다. 한편, 데이터베이스에는 사전에 얼굴 영상 정보와 DNA 정보를 수집하여, 얼굴 영상 정보로부터 얼굴 형태에 관련한 특징 성분을 추출하고, DNA 정보로부터 얼굴 생김새에 영향을 주는 SNP 정보를 추출하며, 추출된 얼굴 형태에 관한 부위별 속성값과 SNP 정보 간의 통계적 분석을 통하여 모델링된 상관 관계도가 저장될 수 있다.
SNP 추출부(120)는 분석된 유전자 정보로부터 SNP 정보를 추출할 수 있다. SNP(Single Nucleotide Polymorphism : 단일 뉴클레오타이드 다형성)는 얼굴 생김새에 영향을 주는 정보일 수 있다. 한편, 유전자는 DNA 상의 염기 배열 방식으로 DNA의 성분인 네 가지 염기 즉, 아데닌(A), 구아닌(G), 사이토신(C), 티민(T)이 DNA에서 어떤 순서로 배열되었는지에 따라 유전 정보를 저장한다. 결국, 유전자란, 쉽게 말해 4종류 알파벳(A, G, C, T)으로 이루어진 설명문이라고 할 수 있다. 이때, DNA 염기서열에서 하나의 염기서얼(A, T, G, C)의 차이를 보이는 유전적 변화 또는 변이를 SNP라고 한다. 인구집단에서 1% 이상의 빈도로 존재하는 2개 이상의 대립 염기서열이 발생하는 위치를 SNP라고 하며, 대립유전자형이 5% 이상의 빈도로 존재하는 경우 공통 다형성이라고 하며, 1 내지 5%인 경우 희귀 다형성으로 분류한다. SNP는 각 개인마다 많은 변이를 보이는 부분이므로 DNA 지문 분석에 많이 사용된다. 본 실시예에서는 얼굴 생김새에 영향을 주는 SNP를 기초로하여, 얼굴 재현을 추정하는데 사용된다.
딥러닝 학습부(130)는 빅데이터화된 유전자 정보를 머신러닝 기법을 통해 학습한다. 딥러닝 학습부(130)는 저장된 데이터를 일정 비율 형태로 학습할 수 있다. 이때, 일정 비율은 8:2일 수 있으며, 학습 데이터를 8로 테스트 데이터를 2로 하여 학습할 수 있다. 머신러닝 기법은 공지된 기술로 자세한 설명은 생략하기로 한다. 학습시 딥러닝 모델로는 CNN(Convolutional Neural Network)을 활용할 수 있으며, CNN(Convolutional Neural Network) 활용시 입력으로는 유전자 정보를 사용하고, 출력으로는 얼굴 데이터를 사용할 수 있다. 보다 자세하게, 딥러닝 학습부(130)는 유전자 정보와 얼굴 이미지 사이의 관계를 머신러닝 기법을 통해 학습시키고 모델링하여 별도의 저장공간인 데이터베이스에 저장할 수 있다. 이때, 모델링된 정보는 얼굴 이미지와 SNP 정보 간의 관계식으로 표현될 수 있다. 한편, 데이터베이스에는 얼굴 영상 및 얼굴의 부위별 영상 정보가 더 저장될 수 있다. 데이터베이스는 다양한 인종, 국가에 적합한 데이터를 저장할 수 있다.
얼굴 재현부(140)는 SNP 정보를 기초로 사람의 얼굴 이미지를 추정할 수 있다. 즉, 얼굴 재현부(140)는 SNP 추출부(120)에서 추출된 SNP 정보를 딥러닝 학습부(130)에 의해 학습되어 모델링된 정보와 매칭시켜 사람의 얼굴 이미지를 추정할 수 있다. 다시 말해, 얼굴 재현부(140)는 추출된 SNP 정보를 머신러닝 기법을 통해 학습되어 모델링된 정보에 반영하여 얼굴 이미지를 추정할 수 있다.
한편, 본 실시예에 따른 얼굴 재현 장치(100)는 보정부(210)를 더 포함할 수 있다.
보정부(210)는 목격자로부터 진술된 정보 및/또는 CCTV의 영상 정보를 기초로 얼굴 재현부(140)를 통해 추정된 얼굴 이미지를 보정할 수 있다. 이에 따라, 직접 증거인 생체 정보를 이용하여 추정된 용의자의 얼굴을 목격자나 CCTV 등의 간접 증거를 부가시켜 얼굴 이미지를 보정할 수 있다. 이러한 경우에는, 사람의 얼굴 이미지의 정확도를 높일 수 있는 효과가 있다.
또한, 본 실시예에 따른 얼굴 재현 장치(100)는 모델링부(미도시)를 더 포함할 수 있다.
모델링부는 얼굴 형태를 분류하여 얻은 얼굴 형태의 부위별 속성값과 SNP 정보 간의 통계적 분석을 통해 상관 관계를 모델링할 수 있으며, 모델링은 얼굴 형태와 SNP 정보 간의 관계식으로 표현될 수 있다. 이후, 모델링부에서 얼굴 형태와 SNP 정보 간의 상관 관계가 모델링되면, 얼굴 재현부(130)는 이후 입력되는 생체 시료로부터 유전자 정보를 이용한 얼굴을 추정할 수도 있다. 얼굴 재현부(130)가 모델링부에서 생성된 얼굴 형태를 이용하여 얼굴의 형태를 추정하는 경우, SNP 추출부(120)에서 추출된 SNP 정보를 모델링부(미도시)에서 생성된 얼굴 형태와 SNP 정보 간의 상관 관계의 분석 모델에 입력하여, 얼굴 부위가 분류된 각 속성에 대해 어떤 속성값을 갖는지 예측함으로써 얼굴의 형태를 추정할 수 있다. 이때, 얼굴 형태에 관련한 특징 성분은 별도의 얼굴 특징 추출부(미도시)에 의해 추출될 수 있다. 얼굴 부위 특징의 기준은 사용자에 의해 속성값이 정의될 수 있으며, 각 속성값은 단계별로 나타내어 사용될 수 있다. 한편, 표현된 얼굴의 속성값은 가변적으로 변경될 수도 있다.
한편, 얼굴 재현부(140)는 SNP 정보를 기초로 사람의 얼굴 이미지를 추정하되, SNP 추출부(120)에서 추출된 SNP 정보를 모델링부(미도시)에서 생성된 얼굴 형태와 SNP 정보 간의 상관 관계의 분석 모델에 입력하여, 얼굴 부위가 얼굴 특징 추출부(미도시)에서 분류된 각 속성에 대해 어떤 속성값을 갖는지 예측함으로써 얼굴의 형태를 추정할 수도 있다.
또한, 본 실시예에 따른 얼굴 재현 장치는 얼굴 형태를 추정하기 이전에 초기얼굴 형태를 추정하는 얼굴 추정부(미도시)를 더 포함하여, 추정된 초기얼굴에 얼굴 부위별 속성값에 가중치를 적용하여 얼굴의 부위별 형태를 병합함에 따라 보다 정확하게 얼굴을 재현할 수도 있다.
상술한 바에 따른 얼굴 재현 장치는 사람의 얼굴을 2차원 얼굴 모델 형태로 재현할 수 있다. 이때, 본 발명의 다른 실시예에 따르면, 얼굴 재현 장치는 재현된 2차원 얼굴 모델 형태를 3차원 형태로 재현하는 3차원 모델 형성부(미도시)를 더 포함하여 입체적인 얼굴 형태를 재현할 수도 있다.
3차원 모델 형성부는 얼굴 재현부(140)에 의해 생성된 2차원 얼굴 모델에서 특징점을 추출하여 3차원 표준 얼굴형들 간의 가중치 선형 조합을 통해 3차원 얼굴 모델을 생성할 수 있다. 구체적으로, 입력된 2차원 얼굴 영상으로부터 눈, 코, 입, 얼굴 윤곽에 대한 특징점을 추출하고, 추출된 2차원의 특징점을 기준으로 한국인을 대표하는 3D 표준 얼굴 형들간의 가중치 선형 조합을 통해 대상 이미지의 3차원 얼굴을 생성할 수 있다. 이때, 생성된 3차원 얼굴은 다양한 한국인 표준 모델을 기초로하여 생성될 수 있다.
또한, 3차원 모델 형성부는 자동 표정 변화, 자유 변환 제공, 배경 변경 제공, 꾸미기 제공 중 적어도 하나의 기능을 제공할 수 있다. 자동 표정 변화 기능은 3차원 얼굴 모델의 다양한 얼굴 표정을 범주내의 값 조절을 통해 설정하는 기능으로 전문가의 수작업으로 이루어지는 기능을 손쉽게 다룰 수 있게 제공한다. 이는 기 구축된 3차원 표준 모델들의 표정 정보를 생성된 3차원 몽타주 모델에 전이시켜 표정 모델을 자동으로 생성하는 기법으로, 다양한 표정의 3차원 기초 세트를 구성하고 무표정 모델과 적절한 가중치의 선형 조합으로 원하는 표정을 만들어 낼 수 있다. 만들어진 표정 얼굴 소스를 대상 몽타주 3차원 모델에 적용함으로써 최종 목적인 표정이 변화된 대상 모델을 생성할 수 있다.
자유 변환 제공 기능은 특징점 기반 방법 또는 스케치 기반 방법이 가능하다. 특징점 기반의 자유 변환은 3차원 모델 에디터로써, 3차원 모델에 부위별 특징점을 설정하여 설정된 점의 자유 변형(회전, 이동, 스케일)을 통해 부위별 얼굴 모델을 변형시킨다. 특징점은 얼굴 정보를 가장 잘 표현하는 위치에 설정하여 설정된 특징점만으로도 최대의 변형을 제공하되 사용자에게 사용하기 쉬운 변형 기능들을 제공할 수 있다.
스케치 기반의 자유 변환은 3차원 모델 변형 시 사용자가 직접 편집하고자 하는 얼굴의 실루엣 및 수정 실루엣을 그려서 얼굴의 실루엣 모양을 변형하는 에디터 기술이다. 특히, 스케치 기반 변형 유저 인터페이스를 통해 실루엣으로 표현되는 얼굴 형상에 대해 섬세한 변형이 가능하며, 동시에 사용자에게 얼굴 모델 변형에 있어 최대한의 자유를 제공할 수 있다.
배경 변경 제공 기능은 3차원 모델이 보이는 공간의 변환을 통해 3차원 모델이 보이는 이미지에 대해 사실성을 부여하고 좀 더 다양한 상황 재현을 가능토록 하여 목적 얼굴과 좀 더 유사하게 생성하는 것을 유도할 수 있다. 이에, 배경 변환 항목에는 얼굴의 이미지에 가장 큰 영향을 끼치는 배경 광원 조정과 색상 조정이 있다. 또한, 전체적인 이미지가 보여지는 느낌을 조정하기 위한 다양한 렌더링 기법을 제공할 수도 있다.
꾸미기 제공 기능은 3차원 모델에 다양한 액세서리를 착용시켜 다양한 스타일을 꾸밀 수 있게 할 수 있다. 이는, 스타일에 따라 얼굴의 이미지가 많이 변한다는 점을 고려하여 목적 얼굴과 더 유사한 형태를 생성하기 위해 필요한 요소가 된다. 3차원 꾸미기 항목에는 안경, 모자, 헤어, 엑세서리 등이 있다. 각 소품은 에디터 툴에 의해 위치 이동 및 스케일 변형을 통해 대상 모델에 적절하게 위치시킬 수 있다.
도 3은 본 발명의 일 실시예에 따른 얼굴 재현 방법의 개략적인 흐름도이다.
도 3을 참조하면, 먼저 얼굴 재현 장치(100)는 획득한 생체시료에서 유전자 정보를 분석한다(S310). 이때, 생체시료는 피, 땀, 피부세포, 머리카락 등과 같은 사람의 생체정보를 포함하는 것일 수 있다. 이때, 얼굴 재현 장치(100)는 분석된 유전자 정보로부터 성별, 인종, 혈통 등의 정보 중 적어도 어느 하나를 추출할 수 있다. 한편, 얼굴 재현 장치(100)는 분석된 유전자 정보를 별도의 저장공간인 데이터베이스에 저장하여 빅데이터화시킬 수 있다.
다음으로, 얼굴 재현 장치(100)는 분석된 유전자 정보로부터 SNP 정보를 추출한다(S320). SNP(Single Nucleotide Polymorphism : 단일 뉴클레오타이드 다형성)는 얼굴 생김새에 영향을 주는 정보일 수 있다.
다음으로, 얼굴 재현 장치(100)는 유전자 정보를 머신러닝 기법을 통해 학습한다(S330). 학습시 딥러닝 모델로는 CNN(Convolutional Neural Network)을 활용할 수 있으며, CNN(Convolutional Neural Network) 활용시 입력으로는 유전자 정보를 사용하고, 출력으로는 얼굴 데이터를 사용할 수 있다.
다음으로, 얼굴 재현 장치(100)는 추출된 SNP 정보를 기초로 얼굴 이미지를 재현한다(S340). 얼굴 재현 장치(100)는 추출된 SNP 정보를 머신러닝 모델에 의해 학습되어 모델링된 정보와 매칭시켜 사람의 얼굴 이미지를 추정할 수 있다.
한편, 얼굴 재현 장치(100)는 목격자로부터 진술된 정보 또는 CCTV 영상을 기초로 추정된 얼굴 이미지를 보정한다(S350).
본 발명은, 생체정보에 포함되는 유전자 정보를 기반으로 얼굴을 재현하는 하는 것으로, 사람들의 생체정보 즉, 피, 땀, 피부세포, 머리카락 등을 통해 추출 가능한 유전자 정보를 빅데이터화 한 다음, 빅데이터화된 유전자 정보를 머신러닝 기법을 통해 학습한 후, 얼굴이 알려지지 않은 사람의 생체정보를 이용하여 사람의 얼굴을 재현해볼 수 있다. 이에 따라, 실종자 및/또는 범죄자의 얼굴을 추정하거나 고대 인물을 재현하는 등에 활용할 수 있다.
본 발명의 실시예에 따른 방법들은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는, 본 발명을 위한 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 아니 된다. 또한, 본 명세서의 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서의 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.
도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 앱 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니다.
100 : 얼굴 재현 장치
110 : 유전자 정보 분석부
120 : SNP 추출부
130 : 딥러닝 학습부
140 : 얼굴 재현부
210 : 보정부

Claims (8)

  1. 획득한 생체시료에서 유전자 정보를 분석하는 유전자 정보 분석부;
    상기 분석된 유전자 정보로부터 SNP 정보를 추출하는 SNP 추출부;
    상기 유전자 정보를 머신러닝 기법을 통해 학습하는 딥러닝 학습부; 및
    상기 추출된 SNP 정보를 기초로 얼굴 이미지를 재현하는 얼굴 재현부;를 포함하는 유전자 정보를 이용한 얼굴 재현 장치.
  2. 제 1 항에 있어서,
    목격자로부터 진술된 정보 또는 CCTV 영상을 기초로 추정된 얼굴 이미지를 보정하는 보정부;를 더 포함하는 것을 특징으로 하는 유전자 정보를 이용한 얼굴 재현 장치.
  3. 제 1 항에 있어서,
    상기 유전자 정보 분석부는,
    분석된 유전자 정보로부터 성별, 인종, 혈통의 정보 중 적어도 어느 하나를 추출하는 것을 특징으로 하는 유전자 정보를 이용한 얼굴 재현 장치.
  4. 제 1 항에 있어서,
    상기 딥러닝 학습부는,
    CNN(Convolutional Neural Network) 모델을 활용하여 유전자 정보를 학습하는 것을 특징으로 하는 유전자 정보를 이용한 얼굴 재현 장치.
  5. 유전자 정보를 이용한 얼굴 재현 장치에서의 얼굴 재현 방법에 있어서,
    획득한 생체시료에서 유전자 정보를 분석하는 단계;
    상기 분석된 유전자 정보로부터 SNP 정보를 추출하는 단계;
    상기 유전자 정보를 머신러닝 기법을 통해 학습하는 단계; 및
    상기 추출된 SNP 정보를 기초로 얼굴 이미지를 재현하는 단계;를 포함하는 얼굴 재현 방법.
  6. 제 5 항에 있어서,
    목격자로부터 진술된 정보 또는 CCTV 영상을 기초로 추정된 얼굴 이미지를 보정하는 단계;를 더 포함하는 것을 특징으로 하는 얼굴 재현 방법.
  7. 제 5 항에 있어서,
    상기 유전자 정보를 분석하는 단계는,
    분석된 유전자 정보로부터 성별, 인종, 혈통의 정보 중 적어도 어느 하나를 추출하는 것을 특징으로 하는 얼굴 재현 방법.
  8. 제 5 항에 있어서,
    상기 유전자 정보를 머신러닝 기법을 통해 학습하는 단계는,
    CNN(Convolutional Neural Network) 모델을 활용하여 유전자 정보를 학습하는 것을 특징으로 하는 얼굴 재현 방법.

KR1020190097357A 2018-08-09 2019-08-09 유전자 정보를 이용한 얼굴 재현 장치 및 방법 KR102240237B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180092858 2018-08-09
KR1020180092858 2018-08-09

Publications (2)

Publication Number Publication Date
KR20200018341A true KR20200018341A (ko) 2020-02-19
KR102240237B1 KR102240237B1 (ko) 2021-04-14

Family

ID=69670238

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190097357A KR102240237B1 (ko) 2018-08-09 2019-08-09 유전자 정보를 이용한 얼굴 재현 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102240237B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220094997A (ko) * 2020-12-29 2022-07-06 주식회사 테라젠바이오 유전정보 기반 미래 얼굴 예측 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030046181A (ko) * 2001-12-05 2003-06-12 한국전자통신연구원 에스.브이.엠(svm)을 이용한 얼굴 등록/인증 시스템 및방법
KR20040009460A (ko) 2002-07-23 2004-01-31 주식회사 페이스쓰리디 3차원얼굴 몽타주 획득 시스템 및 방법
WO2011063819A1 (en) * 2009-11-27 2011-06-03 Technical University Of Denmark Genome-wide association study identifying determinants of facial characteristics
US20130121548A1 (en) * 2010-07-26 2013-05-16 Kjaya, Llc Adaptive visualization for direct physician use
KR20160041570A (ko) * 2014-10-08 2016-04-18 한국과학기술연구원 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
KR20170083522A (ko) * 2015-09-08 2017-07-18 한국과학기술연구원 Dna 정보를 이용한 얼굴 추정 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20180062917A (ko) * 2016-11-30 2018-06-11 한국전자통신연구원 유전체 정보와 건강검진데이터를 이용한 심혈관질환 진단 장치 및 그 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030046181A (ko) * 2001-12-05 2003-06-12 한국전자통신연구원 에스.브이.엠(svm)을 이용한 얼굴 등록/인증 시스템 및방법
KR20040009460A (ko) 2002-07-23 2004-01-31 주식회사 페이스쓰리디 3차원얼굴 몽타주 획득 시스템 및 방법
WO2011063819A1 (en) * 2009-11-27 2011-06-03 Technical University Of Denmark Genome-wide association study identifying determinants of facial characteristics
US20130039548A1 (en) * 2009-11-27 2013-02-14 Technical University Of Denmark Genome-Wide Association Study Identifying Determinants Of Facial Characteristics For Facial Image Generation
US20130121548A1 (en) * 2010-07-26 2013-05-16 Kjaya, Llc Adaptive visualization for direct physician use
JP2013537445A (ja) * 2010-07-26 2013-10-03 ケイジャヤ、エルエルシー 内科医が直接用いるのに適応したビジュアライゼーション
KR20160041570A (ko) * 2014-10-08 2016-04-18 한국과학기술연구원 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
KR20170083522A (ko) * 2015-09-08 2017-07-18 한국과학기술연구원 Dna 정보를 이용한 얼굴 추정 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20180062917A (ko) * 2016-11-30 2018-06-11 한국전자통신연구원 유전체 정보와 건강검진데이터를 이용한 심혈관질환 진단 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220094997A (ko) * 2020-12-29 2022-07-06 주식회사 테라젠바이오 유전정보 기반 미래 얼굴 예측 방법 및 장치

Also Published As

Publication number Publication date
KR102240237B1 (ko) 2021-04-14

Similar Documents

Publication Publication Date Title
Aizawa et al. Building a manga dataset “manga109” with annotations for multimedia applications
US9734613B2 (en) Apparatus and method for generating facial composite image, recording medium for performing the method
JP4640155B2 (ja) 画像処理装置および方法、並びにプログラム
CN109472198A (zh) 一种姿态鲁棒的视频笑脸识别方法
CN111339913A (zh) 一种视频中的人物情绪识别方法及装置
James et al. Emotion based music recommendation system
KR20130073812A (ko) 객체 포즈 추정을 위한 장치 및 방법
WO2017177367A1 (en) Method and system for object tracking
CN112750185A (zh) 一种肖像画视频生成方法、装置、电子设备及存储介质
Chakrabarti et al. Facial expression recognition using eigenspaces
KR102084782B1 (ko) 적대적 생성 신경망 알고리즘을 기반으로 한 의인화 캐릭터 생성 방법
US10825224B2 (en) Automatic viseme detection for generating animatable puppet
CN113850169B (zh) 一种基于图像分割和生成对抗网络的人脸属性迁移方法
CN111126280A (zh) 基于融合手势识别的失语症患者辅助康复训练系统及方法
CN106558042B (zh) 一种对图像进行关键点定位的方法和装置
Nugraha et al. Video recognition of American sign language using two-stream convolution neural networks
CN116704085A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
KR102240237B1 (ko) 유전자 정보를 이용한 얼굴 재현 장치 및 방법
Gervasi et al. A method for predicting words by interpreting labial movements
KR102339478B1 (ko) Dna 정보를 이용한 얼굴 추정 방법, 이를 수행하기 위한 기록 매체 및 장치
CN113963306B (zh) 基于人工智能的课件片头制作方法和装置
KR20240013613A (ko) 영상만으로 ai 휴먼 3차원 모션을 생성하는 방법 및 그 기록매체
CN113781271A (zh) 化妆教学方法及装置、电子设备、存储介质
JP7448006B2 (ja) 物体位置推定装置
Rehman et al. A Real-Time Approach for Finger Spelling Interpretation Based on American Sign Language Using Neural Networks

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant