KR20220094997A - 유전정보 기반 미래 얼굴 예측 방법 및 장치 - Google Patents

유전정보 기반 미래 얼굴 예측 방법 및 장치 Download PDF

Info

Publication number
KR20220094997A
KR20220094997A KR1020200186789A KR20200186789A KR20220094997A KR 20220094997 A KR20220094997 A KR 20220094997A KR 1020200186789 A KR1020200186789 A KR 1020200186789A KR 20200186789 A KR20200186789 A KR 20200186789A KR 20220094997 A KR20220094997 A KR 20220094997A
Authority
KR
South Korea
Prior art keywords
prediction
face
genetic information
future
distance
Prior art date
Application number
KR1020200186789A
Other languages
English (en)
Other versions
KR102481555B1 (ko
Inventor
황태순
홍경원
최자은
김익재
Original Assignee
주식회사 테라젠바이오
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테라젠바이오, 한국과학기술연구원 filed Critical 주식회사 테라젠바이오
Priority to KR1020200186789A priority Critical patent/KR102481555B1/ko
Publication of KR20220094997A publication Critical patent/KR20220094997A/ko
Application granted granted Critical
Publication of KR102481555B1 publication Critical patent/KR102481555B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
    • C12Q1/6876—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes
    • C12Q1/6888—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes for detection or identification of organisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B20/00—ICT specially adapted for functional genomics or proteomics, e.g. genotype-phenotype associations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B30/00—ICT specially adapted for sequence analysis involving nucleotides or amino acids
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q2600/00—Oligonucleotides characterized by their use
    • C12Q2600/124—Animal traits, i.e. production traits, including athletic performance or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Analytical Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Organic Chemistry (AREA)
  • Biophysics (AREA)
  • Biotechnology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Wood Science & Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Zoology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Genetics & Genomics (AREA)
  • Microbiology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

유전정보 기반 미래 얼굴 예측 방법에 있어서, 예측 대상자와 관련된 유전정보가 포함된 예측용 데이터를 수신하는 단계, 예측 대상자의 얼굴이 포함된 입력 이미지를 수신하는 단계, 입력 이미지로부터 얼굴에 포함된 적어도 하나의 특징점을 추출하고, 특징점 사이의 거리를 측정하는 단계, 예측용 데이터를 미리 생성된 예측식에 적용하여 거리의 변화량을 산출하는 단계 및 산출된 변화량을 특징점 사이의 거리에 합산하여 미래 얼굴 이미지를 생성하는 단계를 포함하여, 얼굴 예측 시 개인별 유전적 요인 또는 유전적 감수성을 고려할 수 있어, 미래 얼굴 예측의 정확도를 향상시킬 수 있다.

Description

유전정보 기반 미래 얼굴 예측 방법 및 장치 {FUTURE FACE PREDICTION METHOD AND DEVICE BASED ON GENETIC INFORMATION}
실시예들은 유전정보 기반 미래 얼굴 예측 장치 및 방법에 관한 것이다. 보다 상세하게는, 개인별 유전정보를 기반으로 개인의 미래 얼굴을 예측하는 장치 및 방법에 관한 것이다.
최근 전자·정보통신 기술의 발달로 이미지를 처리, 변환하는 기술이 발빠르게 발전하고 있다. 일 예로, 이미지로부터 사람의 얼굴을 인식하고 이미지를 구성하는 데이터를 처리하여 원하는 모습으로 변환하는 기술이 이목을 끌고 있다.
사람의 얼굴 인식 기법은 신원을 식별하는 방법 중 널리 이용되는 방법으로, 연구자들뿐만 아니라 일반 대중들의 관심도가 높은 기술 분야이다. 이에 따라, 얼굴 인식 기법은 다양한 산업분야에 활용될 수 있다. 예를 들어, 얼굴 인식 기법은 실종 아동 찾기, 신원 확인에 활용될 수 있다.
또한, 사진으로부터 인식된 얼굴 이미지 데이터를 처리하여 과거 또는 미래 시점의 얼굴로 변환할 수 있으며, 이는 법의학, 성형의학, 미용산업 등에 응용될 수도 있다.
대한민국 공개특허 제10-2020-0098875호 대한민국 공개특허 제10-2010-0001684호 대한민국 공개특허 제10-2020-0010993호
종래에는 사진과 같은 이미지 데이터만을 이용하여 과거 또는 미래 얼굴을 예측할 수 있었다. 그러나, 종래기술은 개인별로 차이가 있는 유전적인 영향력은 고려하지 못하고, 시간에 따른 노화에 의한 얼굴 텍스쳐 변화만을 고려하는 것 이어서, 유전자의 영향을 많이 받는 얼굴 표현형에 대한 미래 얼굴 예측 시 정확도에 한계가 있었다. 이에 따라, 유전적인 정보를 고려하여 개인별 최적화된 미래 얼굴을 예측하는 기술이 요구되는 실정이다.
실시예들은 시간에 따른 얼굴 텍스처 변화만을 고려하는 것이 아닌, 유전자 정보를 이용하여 개인별로 특이적인 유전적 영향력을 고려함으로써, 종래기술보다 높은 정확도로 미래 얼굴 예측을 할 수 있다.
본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
일 실시예에 관한 유전정보 기반 미래 얼굴 예측 방법은 예측 대상자와 관련된 유전정보가 포함된 예측용 데이터를 수신하는 단계; 상기 예측 대상자의 얼굴이 포함된 입력 이미지를 수신하는 단계; 상기 입력 이미지로부터 상기 얼굴에 포함된 적어도 하나의 특징점을 추출하고, 상기 특징점 사이의 거리를 측정하는 단계; 상기 예측용 데이터를 미리 생성된 예측식에 적용하여 상기 거리의 변화량을 산출하는 단계; 및 산출된 상기 변화량을 상기 특징점 사이의 거리에 합산하여 미래 얼굴 이미지를 생성하는 단계;를 포함할 수 있다.
또한, 상기 유전정보는 얼굴 예측에 필요한 적어도 하나의 SNP(Single Nucleotide Polymorphism)염기를 포함할 수 있다.
또한, 상기 SNP염기는 개인별 생김새 차이와 관련된 제 1 SNP염기 및 개인별 노화 차이와 관련된 제 2 SNP염기를 포함할 수 있다.
또한, 상기 예측용 데이터는 상기 예측 대상자의 나이 및 성별을 더 포함할 수 있다.
또한, 상기 예측식은, 개인별 생김새 차이와 관련된 제 1 예측식, 개인별 노화 양상 차이와 관련된 제 2 예측식 및 평균적인 얼굴 변화와 관련된 제 3 예측식을 포함할 수 있다.
또한, 상기 제 1 예측식은 예측 대상자의 나이, 성별 및 제 1 SNP염기에 의존하고, 상기 제 2 예측식은 상기 예측 대상자의 성별 및 제 2 SNP염기에 의존할 수 있다.
또한, 상기 예측식은 다중선형회귀분석에 의해 생성될 수 있다.
또한, 상기 특징점은 눈, 눈썹, 코, 입, 귀, 이마 및 턱 중 적어도 어느 한 곳을 포함할 수 있다.
또한, 상기 SNP염기를 인코딩하여 상기 예측식에 적용할 수 있도록 가공하는 단계;를 더 포함할 수 있다.
또한, 수신된 상기 예측용 데이터, 상기 입력 이미지 및 미래 얼굴 이미지 중 적어도 어느 하나를 데이터베이스에 저장하는 단계;를 더 포함할 수 있다.
일 실시예에 관한 유전정보 기반 미래 얼굴 예측 장치는 적어도 하나의 인스트럭션을 저장하는 메모리; 상기 적어도 하나의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하고, 상기 프로세서는, 예측 대상자와 관련된 유전정보가 포함된 예측용 데이터를 수신하고, 상기 예측 대상자의 얼굴이 포함된 입력 이미지를 수신하고, 상기 입력 이미지로부터 상기 얼굴에 포함된 적어도 하나의 특징점을 추출하고, 상기 특징점 사이의 거리를 측정하고, 상기 예측용 데이터를 미리 생성된 예측식에 적용하여 상기 거리의 변화량을 산출하고, 산출된 상기 변화량을 상기 특징점 사이의 거리에 합산하여 미래 얼굴 이미지를 생성할 수 있다.
일 실시예에 관한 유전정보 기반 신원 확인 방법은 예측 대상자와 관련된 유전정보가 포함된 예측용 데이터를 수신하는 단계; 상기 예측 대상자의 얼굴이 포함된 입력 이미지를 수신하는 단계; 상기 입력 이미지로부터 상기 얼굴에 포함된 적어도 하나의 특징점을 추출하고, 상기 특징점 사이의 거리를 측정하는 단계; 상기 예측용 데이터를 미리 생성된 예측식에 적용하여 상기 거리의 변화량을 산출하는 단계; 산출된 상기 변화량을 상기 특징점 사이의 거리에 합산하여 미래 얼굴 이미지를 생성하는 단계; 및 상기 미래 얼굴 이미지를 미리 학습된 인공지능 모델에 입력하여 상기 예측 대상자의 신원을 확인하는 단계;를 포함할 수 있다.
또한, 상기 미래 얼굴 이미지를 학습 데이터로 이용하여 상기 인공지능 모델을 업데이트하는 단계;를 더 포함할 수 있다.
일 실시예에 관한 유전정보 기반 신원 확인 장치는 적어도 하나의 인스트럭션을 저장하는 메모리; 상기 적어도 하나의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하고, 상기 프로세서는, 예측 대상자와 관련된 유전정보가 포함된 예측용 데이터를 수신하고, 상기 예측 대상자의 얼굴이 포함된 입력 이미지를 수신하고, 상기 입력 이미지로부터 상기 얼굴에 포함된 적어도 하나의 특징점을 추출하고, 상기 특징점 사이의 거리를 측정하고, 상기 예측용 데이터를 미리 생성된 예측식에 적용하여 상기 거리의 변화량을 산출하고, 산출된 상기 변화량을 상기 특징점 사이의 거리에 합산하여 미래 얼굴 이미지를 생성하고, 상기 미래 얼굴 이미지를 미리 학습된 인공지능 모델에 입력하여 상기 예측 대상자의 신원을 확인할 수 있다.
일 실시예에 따른 매체에 저장된 컴퓨터 프로그램은 하드웨어와 결합되어 상기 유전정보 기반 미래 얼굴 예측 방법 및 상기 유전정보 기반 신원 확인 방법 중 어느 하나를 실행시킬 수 있다.
상술한 실시예들에 따르면, 미래의 얼굴 예측 시 개인별 유전적 영향력 또는 유전적 감수성을 고려할 수 있어, 미래 얼굴 예측의 정확도를 향상시킬 수 있다.
또한, 가족의 유전자 등을 이용하여 개인별로 최적화된 신원 확인이 가능해짐에 따라, 미아센터, 경찰청 등에서 실종 아동 찾기에 활용될 수 있다.
또한, 얼굴 변화에 관한 개인별 맞춤 가이드를 제공할 수 있어, 건강산업, 성형산업 및 미용산업에 활용될 수 있다.
실시예들의 효과는 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일 실시예에 관한 유전정보 기반 미래 얼굴 예측 방법의 흐름도이다.
도 2는 일 실시예에 관한 적어도 하나의 특징점 및 적어도 하나의 표현형에 대하여 설명하기 위한 도면이다.
도 3은 유전정보로부터 SNP염기를 수집하고 인코딩하는 것에 대하여 설명하기 위한 도면이다.
도 4는 다양한 실시예들에 따른 예측식을 통하여 도출된 표현형 Phe2의 실측치에 대한 예측치의 일치율을 비교하여 나타낸 도면이다.
도 5는 일 실시예에 관한 특징점 사이의 거리에 서로 다른 변화량을 합산한 결과를 나타내는 도면이다.
도 6은 나이의 변화에 따른 실제 얼굴 이미지와 생성된 미래 얼굴 이미지를 나타내는 도면이다.
도 7는 일 실시예에 관한 유전정보 기반 신원 확인 방법의 흐름도이다.
도 8은 일 실시예에 관한 유전정보 기반 미래 얼굴 예측 장치의 구성을 도시한 블록도이다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서", "일 예시에 따른" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.
실시예들은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 일부 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 실시예들을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 실시예들의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 명세서에서 사용한 용어들은 단지 실시예들의 설명을 위해 사용된 것으로, 실시예들을 한정하려는 의도가 아니다.
실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 실시예들이 속하는 기술 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 부분에서 상세히 그 의미를 기재할 것이다. 따라서 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 실시예들 전반에 걸친 내용을 토대로 정의되어야 한다.
“메커니즘”, "데이터베이스", “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 또한, 명세서에 기재된 "-부", "-모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
또한, 도면 상의 일부 구성 요소는 그 크기나 비율 등이 다소　과장되어　도시되었을 수 있다. 또한, 어떤 도면 상에 도시된 구성 요소가 다른 도면 상에는 도시되지 않을 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예들에 대하여 해당 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시의 실시예들은 여러 가지 상이한 형태로 구현될 수 있으며, 본 개시에서 설명하는 실시예에 한정되지 않는다.
명세서 전체에서 '실시예'는 본 개시에서 발명을 용이하게 설명하기 위한 임의의 구분으로서, 실시예 각각이 서로 배타적일 필요는 없다. 예를 들어, 일 실시예에 개시된 구성들은 다른 실시예에 적용 및/또는 구현될 수 있으며, 본 개시의 범위를 벗어나지 않는 한도에서 변경되어 적용 및/또는 구현될 수 있다.
또한, 본 개시에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 실시예들을 제한하고자 하는 것은 아니다. 본 개시에서 단수형은 특별히 언급하지 않는 한 복수형도 포함한다.
이하에서는 도면을 참조하여 본 발명을 상세히 설명한다.
도 1은 일 실시예에 관한 유전정보 기반 미래 얼굴 예측 방법의 흐름도이다.
도 1을 참조하면, 유전정보 기반 미래 얼굴 예측 방법을 수행하는 단계들이 도시되어 있다. 각 단계들은 적어도 하나의 프로세서를 포함하는 시스템에 의해 구현될 수 있다. 예를 들어, 시스템은 PC(Personal Computer), 노트북, 스마트폰 또는 태블릿 장치일 수 있으나, 이에 한정되는 것은 아니다.
단계 110에서, 예측 대상자와 관련된 유전정보가 포함된 예측용 데이터를 수신할 수 있다.
예측 대상자는 실시예에 따른 유전정보 기반 미래 얼굴 예측 방법에 의해 미래 얼굴의 예측 대상이 되는 사람일 수 있다. 일 예로, 예측 대상자는 미아일 수 있으며, 다른 예로 예측 대상자는 성형수술을 받을 환자일 수도 있다.
예측용 데이터는 예측 대상자와 관련된 유전정보를 포함한다. 여기에서, 예측 대상자와 관련된 유전정보는, 예를 들어, 예측 대상자의 머리카락, 혈액 또는 피부와 같은 생체시료로부터 획득될 수 있다.
다른 예로, 예측 대상자와 관련된 유전정보는 예측 대상자의 생물학적으로 가족관계에 있는 다른 사람의 생체시료로부터 획득될 수도 있다.
일 실시예에 따르면, 유전정보는 미래의 얼굴 예측에 필요한 적어도 하나의 SNP(Single Nucleotide Polymorphism)염기를 포함할 수 있다. SNP는 단일 뉴클레오티드 다형성으로서, 핵산 서열에서 하나의 뉴클레오티드의 차이를 보이는 유전적 변화 또는 변이를 말한다.
SNP에 의해 유전체의 특정 부위에 유전적 변이가 나타날 수 있으며, 이 부위를 다형성 부위(polymorphic site)라 한다. 다형성 부위는 집단에서 약 1% 이상 또는 약 5% 이상, 2% 내지 4.5%, 3 내지 4%, 2.5% 내지 3.4%의 빈도로 존재하는 2개 이상의 대립 염기서열이 발생하는 위치일 수 있다.
즉, SNP에 의해 DNA 염기서열의 특정 부분에서 사람에 따라 다른 변이가 나타날 수 있으며, 이는 사람의 얼굴 생김새, 노화 양상 및 성격 등에 영향을 줄 수 있다. 예를 들어, 다형성 부위에 위치하는 SNP 염기는 사람의 외모와 관련된 정보를 포함할 수 있다.
실시예들에서, 얼굴의 표현형에 관여하는 것으로 공지된 SNP는 모두 이용될 수 있다. 구체적으로, SNP염기는 개인별 생김새 차이와 연관된 제 1 SNP염기 및 개인별 노화 차이와 연관된 제 2 SNP염기를 포함할 수 있다.
제 1 SNP염기는 예를 들어, 사람의 눈 모양, 코 길이, 입 꼬리의 길이 등에 영향을 미치는 정보를 포함할 수 있고, 제 2 SNP염기는 예를 들어, 사람의 피부 형성, 피부 탄력 등에 영향을 미치는 정보를 포함할 수 있다.
그러나, 제 1 SNP염기 및 제 2 SNP염기가 포함하는 정보는 상술한 예시에 한정되지 않음을 실시예에 따른 기술분야의 통상의 기술자라면 이해할 수 있을 것이다.
일 실시예에 따르면, 예측용 데이터는 예측 대상자의 나이, 성별, 신체 정보, 건강기록, 식습관 및 이들의 조합을 더 포함할 수 있다. 예를 들어, 예측 대상자가 대략 5년 전에 실종된 5세 남아였을 경우, 예측용 데이터는 나이는 10세이고, 성별은 남자라는 정보를 더 포함할 수 있다.
다른 예로, 예측용 데이터는 예측 대상자의 식습관과 관련된 정보를 더 포함할 수 있다. 이를 통해, 얼굴의 특정 부위와 연관성이 높은 영양소가 분석되면, 미래 얼굴 예측 시 식습관과 관련된 정보 및/또는 영양소 정보를 추가적으로 고려하여 음식 섭취에 따른 얼굴 변화를 예측할 수도 있다.
단계 120에서, 예측 대상자의 얼굴이 포함된 입력 이미지를 수신할 수 있다. 입력 이미지는 과거 또는 현재를 불문하고, 예측 대상자의 얼굴이 포함된 이미지라면 모두 해당될 수 있다. 예를 들어, 예측 대상자가 실종 당시 5세였을 경우, 5세 당시의 사진 또는 그보다 어린 시점에서의 사진은 입력 이미지에 해당될 수 있다.
데이터의 수신은 시스템과 연결된 유무선 통신망, 키보드, 스캐너 및 카메라와 같은 입력장치를 통하여 이루어 질 수 있다.
단계 130에서, 입력 이미지로부터 얼굴에 포함된 적어도 하나의 특징점을 추출하고, 특징점 사이의 거리를 측정할 수 있다. 특징점이 추출되기 위해서는 입력 이미지로부터 얼굴 영역이 먼저 감지되어야 하며, 이는 공지된 기술에 의해 구현될 수 있다.
얼굴 영역 감지는, 예를 들어, 얼굴 영역 감지는 Dlib 얼굴 검출기, Open CV 얼굴 검출 알고리즘 및/또는 이를 구현하기 위한 프로그래밍 언어를 통해 생성된 프로그램을 통하여 구현될 수 있으나, 이에 한정되지 않는다.
특징점이란, 얼굴의 특징을 나타내는 랜드마크로서, 한 사람과 다른 사람들을 구별되게 하는 얼굴의 특정 위치 또는 지점을 의미할 수 있다.
특징점은 예를 들어, 눈, 눈썹, 코, 입, 귀, 이마 및 턱 중 적어도 어느 한 곳을 포함할 수 있다. 구체적으로, 눈의 양 끝점, 눈썹의 양 끝점, 코의 시작점, 코 끝점, 미간의 중심, 인중의 중심, 입꼬리의 양 끝점, 턱의 중심, 귀의 중심 등이 특징점에 포함될 수 있다.
특징점 사이의 거리는 전술한 다양한 특징점들 중에서 선택된 두 특징점 사이의 거리를 의미하며, 특징점 사이의 거리는 특징점들의 조합에 따라 얼굴의 특징을 나타내는 다양한 종류일 수 있으며, 다양한 값을 가질 수 있다.
특징점 사이의 거리는 예를 들어, 왼쪽 눈에서 코에 인접한 끝점과 오른쪽 눈에서 코에 인접한 끝점 사이의 거리일 수 있다. 이와 같이, 특징점 사이의 거리는 사람의 얼굴을 나타내는 일종의 표현형(Phe; phenotype)이 될 수 있다.
이하에서는 도 2를 참조하여, 일 실시예에 관한 얼굴의 특징점 및 표현형에 대해 상세히 설명한다.
도 2는 일 실시예에 관한 적어도 하나의 특징점 및 적어도 하나의 표현형에 대하여 설명하기 위한 도면이다.
도 2를 참조하면, 사람의 얼굴에는 26개의 특징점이 포함될 수 있다. 예를 들어, 특징점은 정면을 기준으로, 눈, 코, 입, 이마, 턱 등에 위치하는 특징점 1 내지 특징점 22 및 정면 얼굴의 좌우 양 끝에 위치하는 특징점 a 내지 특징점 d를 포함할 수 있다.
전술한 바와 같이, 이러한 특징점들의 다양한 조합에 의해 하나의 특징점에서 다른 특징점 사이의 거리가 측정될 수 있다. 특징점 사이의 거리는 예를 들어, 이마와 눈에 위치하는 특징점 간의 거리, 코와 입에 위치하는 특징점 간의 거리, 얼굴의 너비 등을 포함할 수 있다.
구체적인 예로, 특징점 사이의 거리(또는 표현형)는, 양 눈의 안쪽 끝점 사이의 거리(3 - 4 사이의 거리)를 나타내는 Phe1(phenotype 1) 내지 하관의 너비(c - d 사이의 거리)를 나타내는 Phe41(phenotype 41)까지 총 41 가지로 분류될 수 있다.
이와 같은 예시에서, 사람의 얼굴은 Phe1 내지 Phe41의 조합으로 특정될 수 있다고 가정할 수 있으며, Phe1 내지 Phe41 각각은 전술한 SNP염기와 유전적인 연관성을 가질 수 있다.
특징점 사이의 거리는, 예를 들어, 두 눈의 홍채 중심 사이의 거리를 기준으로 정규화될 수 있다. 예를 들어, 얼굴 구조상 두 눈의 홍채 중심 사이의 거리보다 짧은 Phe1은 1보다 작은 값일 수 있으며, 두 눈의 홍채 중심 사이의 거리보다 먼 Phe41은 1보다 큰 값일 수 있다.
단계 140에서, 예측용 데이터를 미리 생성된 예측식에 적용하여 특징점 사이 거리의 변화량을 산출할 수 있다.
예측식은 유전정보에 기반하여 시간의 흐름에 따라 변화하는 개인별 특징점의 위치, 특징점 사이의 거리 및 특징점 사이의 거리의 변화 중 적어도 어느 하나를 산출하는 식을 의미하며, 예측식은 특징점 또는 특징점에 대응하는 표현형에 따라 달라질 수 있다.
구체적으로, 표현형 Phe2에 대하여 일 실시예에 따른 예측식을 적용할 경우, 특정 나이에서의 Phe2 거리가 산출될 수 있다. 또한, Phe2에 대하여 다른 실시예에 따른 예측식을 적용할 경우, 예측 기준 나이(예: 과거 나이)에 대비 예측하고자 하는 나이(예: 미래 나이)에서의 Phe2 거리 변화량이 산출될 수 있다.
예측식은 다중선형회귀분석에 의해 생성될 수 있다. 다중선형회귀분석에 이용되는 데이터는, 예를 들어, 하나 이상의 과거 얼굴 이미지, 하나 이상의 현재 얼굴 이미지 및 하나 이상의 얼굴 이미지에서 해당 얼굴을 가진 사람들의 정보(예: 나이, 성별, 유전정보)일 수 있다.
과거 얼굴에서의 특징점 사이의 거리와 현재 얼굴에서의 특징점 사이의 거리 및 해당 얼굴을 가진 사람의 SNP염기를 분석함으로써, 시간의 흐름에 따라, 어떤 유전정보가 얼굴의 어느 부위의 변화에 영향을 주는지 또는 어떤 유전정보가 얼굴의 어느 부위와 연관이 있는지에 대하여 분석할 수 있다.
일 실시예에 관한 예측식(PM: Predict Measurement formula)은 개인별 생김새 차이와 관련된 제 1 예측식(ID: Individual Difference formula), 개인별 노화 양상의 차이와 관련된 제 2 예측식(AD: Aging Difference formula) 및 평균적인 얼굴 변화와 관련된 제 3 예측식(dAM)을 포함할 수 있다.
일 실시예에 따르면, 제 1 예측식은 예측 대상자의 나이, 성별 및 제 1 SNP염기에 의존할 수 있다. 제 1 예측식은 예를 들어, 아래 수학식 1과 같이 표현될 수 있다.
Figure pat00001
여기에서, AGE, SEX 및 SNPn은 변수로서, AGE는 나이에 따라 인코딩된 값, SEX는 성별에 따라 인코딩된 값, SNPn는 개인별 생김새 차이와 관련된 제 1 SNP염기들을 제 1 예측식에 적용할 수 있도록 인코딩 또는 가공된 값일 수 있다.
도 3은 유전정보로부터 SNP염기를 수집하고 인코딩하는 것에 대하여 설명하기 위한 도면이다.
도 3을 참조하면, 유전정보로부터 수집된 하나 이상의 SNP염기와 인코딩된 값이 도시되어 있다. SNP염기는 하나 이상의 아데닌(A), 구아닌(G), 시토신(C) 및 티민(T)을 포함할 수 있다.
예를 들어, SNP염기는 AA, CT, GG, AT, CC일 수 있으며, AA는 3으로, CT는 2로, GG는 1로, AT는 2로, 그리고 CC는 3으로 인코딩될 수 있다. 그러나, 이는 일 예시에 불과하고, SNP염기는 표현형 및 βn에 따라 다른 값으로 인코딩될 수도 있다.
한편, βo는 절편값(bias)이고, βn은 각각의 변수에 대응되는 일정한 값을 가지는 계수(coefficient)이며, 다중선형회귀분석에 의해 도출될 수 있다.
일 실시예에 따르면, 제 2 예측식은 예측 대상자의 성별 및 제 2 SNP염기에 의존할 수 있다. 제 2 예측식은 예를 들어, 아래 수학식 2과 같이 표현될 수 있다.
Figure pat00002
여기에서, SEX 및 SNPn은 변수로서, SEX는 성별에 따라 인코딩된 값, SNPn는 개인별 생김새 차이와 관련된 제 2 SNP염기들을 제 2 예측식에 적용할 수 있도록 인코딩 또는 가공된 값을 의미할 수 있다. 한편, βo는 절편값이고, βn은 SNPn에 대응되는 일정한 값을 가지는 계수이다.
수학식 2에서의 SNPn 및 βn은 수학식 1에서의 SNPn 및 βn 과 다른 값일 수 있으며, βn은 다중선형회귀분석에 의해 도출될 수 있다.
제 1 예측식, 제 2 예측식, 이들에 포함되는 계수 및 변수들은 다중선형회귀분석에 이용되는 데이터에 따라 변경될 수 있다.
일 실시예에 따르면, 제 3 예측식은 평균적인(또는 표준적인) 얼굴 변화와 관련된 것으로, 유전정보와 무관할 수 있다.
예를 들어, 제 3 예측식은 예측하고자 하는 나이에서의 특징점 사이의 평균적인 거리와 과거 시점의 나이에서의 특징점 사이의 평균적인 거리의 차이일 수 있다. 제 3 예측식은 예를 들어, 아래 수학식 3과 같이 표현될 수 있다.
Figure pat00003
여기에서, Standard measurement(target age)는 통계적으로 도출된 예측하고자 하는 나이에서의 특징점 사이의 평균적인 거리이고, Standard measurement(past age)는 통계적으로 도출된 과거 특정 시점의 나이에서의 특징점 사이의 평균적인 거리를 의미할 수 있다.
이와 같이, 평균적인 얼굴 변화를 고려하기 위하여 특정 나이에서의 특정한 특징점 사이의 거리에 관한 데이터가 사전적으로 요구될 수 있다. 예를 들어, 사전적으로 분석된 나이별 Phe1 내지 Phe41의 평균값을 포함하는 데이터가 요구될 수 있다.
도 4는 다양한 실시예들에 따른 예측식을 통하여 도출된 표현형 Phe2의 실측치에 대한 예측치의 일치율을 비교하여 나타낸 도면이다.
도 4를 참조하면, 현재 나이가 7세이고, 예측 나이가 14세일 때, 제 3 예측식에 따른 예측치(PM1 = a)의 실측치(RM: Real Measurement)에 대한 일치율은 94.28%, 제 3 예측식 및 제 1 예측식을 포함하는 경우에 따른 예측치(PM2 = a + b)의 실측치(RM)에 대한 일치율은 99.23%, 제 3 예측식, 제 1 예측식 및 제 3 예측식을 모두 포함하는 경우에 따른 예측치(PM3 = a + b + c)의 실측치(RM)에 대한 일치율은 99.59%로 나타났다.
여기에서, a는 Phe2에 대한 7세 아이들의 평균값과 14세 아이들의 평균값의 차이, b는 Phe2에 대한 예측 대상자의 생김새와 관련된 유전적 영향력이 고려되어 산출된 수치, c는 Phe2에 대한 예측 대상자의 노화 양상과 관련된 유전적 영향력이 고려되어 산출된 수치이고, a, b 및 c는 양수 또는 음수일 수 있다.
실시예에 따른 방법은 개인별 얼굴 생김새 차이에 따른 유전적인 영향력과 개인별 노화 과정(또는 양상)에 따른 유전적인 영향력뿐만 아니라, 개인별 유전적인 차이에 기인한 것이 아닌, 특정 나이에서의 노화의 평균적인 영향력까지 고려할 수 있다.
다시 말해, 예측식에 제 1 예측식, 제 2 예측식 및 제 3 예측식이 모두 포함됨에 따라, 실시예에 따른 미래 얼굴 예측 방법의 예측 정확도가 향상될 수 있다.
단계 150에서, 산출된 변화량을 특징점 사이의 거리에 합산하여 미래 얼굴 이미지를 생성할 수 있다. 여기에서, 합산은 단순한 덧셈 및 뺄셈뿐만 아니라, 미리 지정된 가중치가 적용된 가중합을 모두 포함하는 의미이다.
미래 얼굴 이미지는 예측 대상자의 얼굴에 실시예에 따른 얼굴 예측 방법을 적용하여 생성된 이미지이다. 미래 얼굴 이미지는 예측 대상자의 얼굴에 포함된 하나 이상의 특징점 사이의 거리에, 단계 140에 따라 산출된 변화량을 합산하여 생성될 수 있다.
예를 들어, 미래 얼굴 이미지는, 과거 얼굴 이미지에 도 2에서 설명한 Phe1 내지 Phe41 각각의 변화량이 합산되어 변경된 이미지일 수 있다.
이하에서 도 5를 참조하여 하나의 특징점 사이의 거리에 변화량을 합산하여 변화하는 얼굴 이미지에 대해 설명하도록 한다.
도 5는 일 실시예에 관한 특징점 사이의 거리에 서로 다른 변화량을 합산한 결과를 나타내는 도면이다.
도 5를 참조하면, Phe4에 대응되는 특징점 사이의 거리(도 2에서의 특징점 9 - 10 사이의 거리)가 표시된 세 개의 얼굴이 도시되어 있다.
중간 얼굴(510)은 변화량 합산 전 얼굴이고, 좌측 얼굴(520)은 변화량 합산 후 Phe4의 거리가 증가한 얼굴이며, 우측 얼굴(530)은 변화량 합산 후 Phe4의 거리가 감소한 얼굴에 해당한다.
예를 들어, 전술한 제 3 예측식에 따른 평균적인 얼굴 변화는 특정 나이에서의 평균적인 Phe4 거리와 예측 시점 나이에서의 평균적인 Phe4 거리의 차이일 수 있다. 제 3 예측식에 따른 변화량은 개인별 유전적인 영향력을 고려하는 것이 아니므로, 좌측 얼굴(520) 및 우측 얼굴(530) 에서 -0.0011으로 동일하다.
그러나, 제 1 예측식에 따른 개인별 생김새 차이에 따른 거리 변화량 및 제 2 예측식에 따른 개인별 노화 차이에 따른 거리 변화량은 좌측 얼굴(520)에서 각각 0.0025 및 -0.0015이고, 우측 얼굴(530)에서는 각각 -0.001 및 -0.0015로, 좌측 얼굴(520)과 우측 얼굴(530)에서 차이가 있을 수 있다.
즉, 좌측 얼굴(520)은 양 눈 사이의 거리를 증가시키는 유전자의 영향을 상대적으로 많이 받은 것이며, 우측 얼굴(530)은 양 눈 사이의 거리를 감소시키는 유전자의 영향을 상대적으로 많이 받은 것일 수 있다.
위 예시와 같이, 서로 다른 총변화량들에 기초할 때, 좌측 얼굴(520)은 중간 얼굴(510)에 비하여 양 눈 사이의 거리가 증가하고, 우측 얼굴(530)은 중간 얼굴(510)에 비하여 양 눈 사이의 거리가 감소할 수 있다.
도 5에서 확인할 수 있는 얼굴의 변화는 하나의 표현형(예: 양 눈 사이의 거리)에 기초한 것이므로, 더 다양한 표현형들에 기초한다면, 얼굴에 보다 확연한 변화가 나타날 것임을 본 실시예에 관한 기술분야의 통상의 기술자라면 이해할 수 있을 것이다.
도 6은 나이의 변화에 따른 실제 얼굴 이미지와 생성된 미래 얼굴 이미지를 나타내는 도면이다.
도 6을 참조하면, 상단 영역(610)에는 5세, 10세, 15세, 20세, 25세의 실제 얼굴 이미지와 이로부터 도출된 Phe1 내지 Phe41의 실측치가 도시되어 있으며, 하단 영역(620)에는 실시예에 따른 방법에 의해 도출된 Phe1 내지 Phe41의 예측치 및 이에 기초하여 생성된 10세, 15세, 20세, 25세의 미래 얼굴 이미지가 도시되어 있다.
예측치와 실측치의 유사도를 확인하기 위하여 Phe1에 대하여 분석해보면, 5세 남아의 실제 얼굴 이미지로부터 도출된 Phe1은 0.62701이고, 예측식에 따라 산출된 Phe1의 변화량은 -0.07271일 때, 이를 합산하여 도출한 15세 남아의 Phe1 예측치는 0.5543일 수 있다.
15세 남아의 실제 얼굴 이미지로부터 도출된 실측치 Phe1은 0.58542이므로, 예측치와 실측치 사이에서 발생하는 오차율은 대략 5.3%이다. 이러한 결과에 기초할 때 15세를 기준으로 실제 이미지로부터 도출된 Phe1 값과 생성된 미래 얼굴 이미지에서의 Phe1 값이 유사하며, 실시예에 따른 방법에 의하면 높은 정확도로 미래 얼굴 예측이 가능함을 알 수 있다.
일 실시예에 따른 유전정보 기반 미래 얼굴 예측 방법은, 생성된 미래 얼굴 이미지를 출력 장치를 통하여 출력하는 단계를 더 포함할 수 있다. 출력 장치에는 생성된 미래 얼굴 이미지뿐만 아니라, 예측 정확도가 함께 출력될 수 있다. 출력 장치는, 예를 들어, 모니터 또는 프린터와 같은 출력장치일 수 있다.
다른 실시예에 따르면, 생성된 미래 얼굴 이미지를 후처리(post-processing)하여, 보정하는 단계를 더 포함할 수도 있다. 여기에서, 후처리는 다양한 영상처리기법(예: 이미지 깊이 변경, 기하학적 변환, 색 변환, 이미지 중첩) 또는 공지된 얼굴 텍스처 변화 기법을 통하여 구현될 수 있다. 이에 따라, 생성된 미래 얼굴 이미지는 보다 사실적이고 자연스러운 느낌을 갖는 이미지로 변경될 수 있다.
또 다른 실시예에 따른 유전정보 기반 미래 얼굴 예측 방법은, 수신된 예측용 데이터, 입력 이미지 및 미래 얼굴 이미지 중 적어도 어느 하나를 데이터베이스에 저장하는 단계를 더 포함할 수 있다.
데이터베이스에 저장된 예측용 데이터, 유전정보 데이터, 입력 이미지 및 미래 얼굴 이미지는, 예를 들어, 전술한 다중선형회귀분석에 이용되거나, 평균적인 얼굴 변화에 관련된 데이터로 이용될 수 있으며, 후술하는 유전정보 기반 신원 확인 방법에서 인공지능 모델 업데이트 시 이용될 수도 있다.
도 7는 일 실시예에 관한 유전정보 기반 신원 확인 방법의 흐름도이다.
도 7을 참조하면, 유전정보 기반 신원 확인 방법을 수행하는 단계들이 도시되어 있다. 단계 710 내지 750은 각각 도 1의 단계 110 내지 150과 동일 또는 유사할 수 있으며, 이하에서 중복되는 설명은 생략하도록 한다.
단계 760에서, 미래 얼굴 이미지를 미리 학습된 인공지능 모델에 입력하여 예측 대상자의 신원을 확인할 수 있다.
일 실시예에 따르면, 인공지능 모델은 기계 학습을 통해 학습될 수 있다. 여기에서, 기계 학습이란 컴퓨터 등의 시스템에서 학습 대상에 대한 반복적인 학습을 통하여 학습 대상이 갖는 속성을 분류할 수 있는 규칙 또는 패턴을 형성하는 것으로, 인공신경망을 통해 이루어 질 수 있다.
인공신경망은, 예를 들어, CNN(Convolutional Neural Network), DNN(Deep Neural Network) 알고리즘을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 따르면, 인공지능 모델의 학습 데이터는 복수의 예측용 데이터, 예측 대상자의 과거 또는 현재의 얼굴이 포함된 입력 이미지, 생성된 미래 얼굴 이미지 및 이들의 조합을 포함할 수 있다.
예를 들어, 학습된 인공지능 모델은 특정한 대상자의 과거 얼굴이 포함된 이미지 입력 시, 특정한 예측 대상자의 현재 얼굴이 포함된 이미지 또는 그 이미지와 관련된 레이블을 출력할 수 있다.
다른 실시예에 따른 유전정보 기반 신원 확인 방법은 생성된 미래 얼굴 이미지를 학습 데이터로 이용하여 인공지능 모델을 업데이트하는 단계를 더 포함할 수 있다.
미래 얼굴 예측 시에 이용되는 데이터들뿐만 아니라, 생성된 미래 얼굴 이미지를 인공지능 모델 학습에 이용함으로써, 미리 학습된 인공지능 모델을 업데이트 또는 재훈련 할 수 있으며, 이에 따라 인공지능 모델이 신원 확인에 보다 최적화 될 수 있다.
일 실시예에 따르면, 학습된 인공지능 모델은 생성된 미래 얼굴 이미지를 이용하여, 데이터베이스에 저장된 이미지와 유사도가 가장 높은 얼굴을 포함하는 이미지를 검색, 탐색 및/또는 분류할 수 있다.
예를 드어, 유사도가 가장 높은 것으로 분류된 이미지가 미리 지정된 임계값보다 높은 유사도를 갖는 이미지일 경우, 해당 이미지에 나타난 인물은 예측 대상자와 동일한 인물인 것으로 판단될 수 있고, 이에 따라 예측 대상자의 신원 확인이 이루어 질 수 있다.
구체적으로, 실종 당시 5세였던 미아의 이미지로부터 생성된 15세의 미래 얼굴 이미지를 학습된 인공지능 모델에 입력하면, CCTV를 통해 촬영된 이미지들 중에서 임계값 보다 높은 유사도를 갖는 이미지가 매칭될 수 있으며, 매칭된 이미지에 포함된 인물과 미아는 동일한 인물인 것으로 판단될 수 있다.
도 8은 일 실시예에 관한 유전정보 기반 미래 얼굴 예측 장치의 구성을 도시한 블록도이다.
일 실시예에 관한 유전정보 기반 미래 얼굴 예측 장치(800)는 프로세서(810), 메모리, 입력부(830) 및 출력부(840)를 포함할 수 있다. 다만 도 8에 도시된 구성 요소들 외에도, 범용적인 구성 요소들이 유전정보 기반 미래 얼굴 예측 장치(800)에 더 포함될 수 있다.
프로세서(810)는 유전정보 기반 미래 얼굴 예측 장치(800)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(810)는 유전정보 기반 미래 얼굴 예측 방법의 각 단계를 수행할 수 있다.
일 실시예에 따르면, 프로세서(810)는 예측 대상자와 관련된 유전정보가 포함된 예측용 데이터를 수신하고, 예측 대상자의 얼굴이 포함된 입력 이미지를 수신하고, 입력 이미지로부터 얼굴에 포함된 적어도 하나의 특징점을 추출하고, 특징점 사이의 거리를 측정하고, 예측용 데이터를 미리 생성된 예측식에 적용하여 거리의 변화량을 산출하고, 산출된 변화량을 특징점 사이의 거리에 합산하여 미래 얼굴 이미지를 생성할 수 있다. 즉, 프로세서(810)는 도 1에서 설명한 각 단계들을 수행할 수 있다.
프로세서(810)는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
메모리(820)는, 프로세서(810)의 처리 및 제어를 위한 데이터(예: 예측용 데이터, 입력 이미지)를 저장할 수 있다.
일 실시예에 따르면, 메모리(820)는 예측 대상자와 관련된 유전정보, 나이, 성별 등의 인적 정보, 얼굴이 포함된 입력 이미지들, 입력 이미지들에 포함된 얼굴에서 측정된 특징점 사이의 거리 및 생성된 미래 얼굴 이미지들을 저장하는 데이터베이스를 포함할 수 있다.
구체적으로, 데이터베이스는 유전체 정보 DB, 예측 대상자와 관련된 신상정보 DB, 얼굴 이미지 DB, 얼굴 이미지로부터 추출된 표준 얼굴 DB 및 표현형 DB를 포함할 수 있다.
데이터베이스에 저장된 데이터들은 실시예에 따른 미래 얼굴 예측 및 신원 확인 시에 이용될 수 있으며, 전술한 바와 같이, 인공지능 모델 학습시에도 이용될 수 있다.
메모리(820)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
입력부(830)는 실시예들에 따른 유전정보 기반 미래 얼굴 예측 장치(800) 및 유전정보 기반 신원 확인 장치에 필요한 데이터를 입력 받기 위한 구성일 수 있다.
예를 들어, 입력부(830)는 예측 대상자와 관련된 유전정보가 포함된 예측용 데이터를 입력 받을 수 있는 사용자 입력 장치(예: 키보드, 터치패드), 스캐너 및 카메라 중 적어도 어느 하나를 포함할 수 있다.
출력부(840)는 실시예들에 따른 유전정보 기반 미래 얼굴 예측 장치(800) 및 유전정보 기반 신원 확인 장치에서 도출된 결과물을 출력하기 위한 장치일 수 있다. 예를 들어, 출력부(840)는 생성된 미래 얼굴 이미지를 출력할 수 있는 디스플레이를 포함할 수 있다.
일 실시예에 관한 유전정보 기반 미래 얼굴 예측 장치(800)는 배터리(미도시)를 더 포함할 수 있다. 배터리는, 유전정보 기반 미래 얼굴 예측 장치(800)가 동작하는데 필요한 전력을 공급할 수 있다. 예를 들어, 배터리는 프로세서(810)가 작동할 수 있도록 전력을 공급할 수 있고, 입력부(830) 및 출력부(840)가 동작하는데 필요한 전력을 공급할 수 있다.
일 실시예에 관한 유전정보 기반 신원 확인 장치는 도 8의 개념도와 동일한 구성을 포함할 수 있다.
일 실시예에 관한 유전정보 기반 신원 확인 장치에 포함된 프로세서는 예측 대상자와 관련된 유전정보가 포함된 예측용 데이터를 수신하고, 예측 대상자의 얼굴이 포함된 입력 이미지를 수신하고, 입력 이미지로부터 얼굴에 포함된 적어도 하나의 특징점을 추출하고, 특징점 사이의 거리를 측정하고, 예측용 데이터를 미리 생성된 예측식에 적용하여 거리의 변화량을 산출하고, 산출된 변화량을 특징점 사이의 거리에 합산하여 미래 얼굴 이미지를 생성하고, 미래 얼굴 이미지를 미리 학습된 인공지능 모델에 입력하여 예측 대상자의 신원을 확인할 수 있다. 즉, 프로세서는 도 7에서 설명한 각 단계들을 수행할 수 있다.
본 실시 예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다.
컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 명세서의 설명은 예시를 위한 것이며, 본 명세서의 내용이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
한편, 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 발명의 범위는 전술한 설명이 아니라 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 발명에 포함된 것으로 해석되어야 할 것이다.
800: 유전정보 기반 미래 얼굴 예측 장치
810: 프로세서
820: 메모리
830: 입력부
840: 출력부

Claims (15)

  1. 유전정보 기반 미래 얼굴 예측 방법에 있어서,
    예측 대상자와 관련된 유전정보가 포함된 예측용 데이터를 수신하는 단계;
    상기 예측 대상자의 얼굴이 포함된 입력 이미지를 수신하는 단계;
    상기 입력 이미지로부터 상기 얼굴에 포함된 적어도 하나의 특징점을 추출하고, 상기 특징점 사이의 거리를 측정하는 단계;
    상기 예측용 데이터를 미리 생성된 예측식에 적용하여 상기 거리의 변화량을 산출하는 단계; 및
    산출된 상기 변화량을 상기 특징점 사이의 거리에 합산하여 미래 얼굴 이미지를 생성하는 단계;를 포함하는, 유전정보 기반 미래 얼굴 예측 방법.
  2. 제 1 항에 있어서,
    상기 유전정보는 얼굴 예측에 필요한 적어도 하나의 SNP(Single Nucleotide Polymorphism)염기를 포함하는, 유전정보 기반 미래 얼굴 예측 방법.
  3. 제 2 항에 있어서,
    상기 SNP염기는 개인별 생김새 차이와 관련된 제 1 SNP염기 및 개인별 노화 차이와 관련된 제 2 SNP염기를 포함하는, 유정정보 기반 미래 얼굴 예측 방법.
  4. 제 3 항에 있어서,
    상기 예측용 데이터는 상기 예측 대상자의 나이 및 성별을 더 포함하는, 유전정보 기반 미래 얼굴 예측 방법.
  5. 제 4 항에 있어서,
    상기 예측식은,
    개인별 생김새 차이와 관련된 제 1 예측식,
    개인별 노화 양상 차이와 관련된 제 2 예측식 및
    평균적인 얼굴 변화와 관련된 제 3 예측식을 포함하는, 유전정보 기반 미래 얼굴 예측 방법.
  6. 제 5 항에 있어서,
    상기 제 1 예측식은 예측 대상자의 나이, 성별 및 제 1 SNP염기에 의존하고,
    상기 제 2 예측식은 상기 예측 대상자의 성별 및 제 2 SNP염기에 의존하는, 유전정보 기반 미래 얼굴 예측 방법.
  7. 제 1 항에 있어서,
    상기 예측식은 다중선형회귀분석에 의해 생성되는, 유전정보 기반 미래 얼굴 예측 방법.
  8. 제 1 항에 있어서,
    상기 특징점은 눈, 눈썹, 코, 입, 귀, 이마 및 턱 중 적어도 어느 한 곳을 포함하는, 유전정보 기반 미래 얼굴 예측 방법.
  9. 제 2 항에 있어서,
    상기 SNP염기를 인코딩하여 상기 예측식에 적용할 수 있도록 가공하는 단계;를 더 포함하는, 유전정보 기반 미래 얼굴 예측 방법.
  10. 제 1 항에 있어서,
    수신된 상기 예측용 데이터, 상기 입력 이미지 및 미래 얼굴 이미지 중 적어도 어느 하나를 데이터베이스에 저장하는 단계;를 더 포함하는, 유전정보 기반 미래 얼굴 예측 방법.
  11. 유전정보 기반 미래 얼굴 예측 장치에 있어서,
    적어도 하나의 인스트럭션을 저장하는 메모리;
    상기 적어도 하나의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하고,
    상기 프로세서는,
    예측 대상자와 관련된 유전정보가 포함된 예측용 데이터를 수신하고, 상기 예측 대상자의 얼굴이 포함된 입력 이미지를 수신하고, 상기 입력 이미지로부터 상기 얼굴에 포함된 적어도 하나의 특징점을 추출하고, 상기 특징점 사이의 거리를 측정하고, 상기 예측용 데이터를 미리 생성된 예측식에 적용하여 상기 거리의 변화량을 산출하고, 산출된 상기 변화량을 상기 특징점 사이의 거리에 합산하여 미래 얼굴 이미지를 생성하는, 유전정보 기반 미래 얼굴 예측 장치.
  12. 유전정보 기반 신원 확인 방법에 있어서,
    예측 대상자와 관련된 유전정보가 포함된 예측용 데이터를 수신하는 단계;
    상기 예측 대상자의 얼굴이 포함된 입력 이미지를 수신하는 단계;
    상기 입력 이미지로부터 상기 얼굴에 포함된 적어도 하나의 특징점을 추출하고, 상기 특징점 사이의 거리를 측정하는 단계;
    상기 예측용 데이터를 미리 생성된 예측식에 적용하여 상기 거리의 변화량을 산출하는 단계;
    산출된 상기 변화량을 상기 특징점 사이의 거리에 합산하여 미래 얼굴 이미지를 생성하는 단계; 및
    상기 미래 얼굴 이미지를 미리 학습된 인공지능 모델에 입력하여 상기 예측 대상자의 신원을 확인하는 단계;를 포함하는, 유전정보 기반 신원 확인 방법.
  13. 제 12 항에 있어서,
    상기 미래 얼굴 이미지를 학습 데이터로 이용하여 상기 인공지능 모델을 업데이트하는 단계;를 더 포함하는, 유전정보 기반 신원 확인 방법.
  14. 유전정보 기반 신원 확인 장치에 있어서,
    적어도 하나의 인스트럭션을 저장하는 메모리;
    상기 적어도 하나의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하고,
    상기 프로세서는,
    예측 대상자와 관련된 유전정보가 포함된 예측용 데이터를 수신하고, 상기 예측 대상자의 얼굴이 포함된 입력 이미지를 수신하고, 상기 입력 이미지로부터 상기 얼굴에 포함된 적어도 하나의 특징점을 추출하고, 상기 특징점 사이의 거리를 측정하고, 상기 예측용 데이터를 미리 생성된 예측식에 적용하여 상기 거리의 변화량을 산출하고, 산출된 상기 변화량을 상기 특징점 사이의 거리에 합산하여 미래 얼굴 이미지를 생성하고, 상기 미래 얼굴 이미지를 미리 학습된 인공지능 모델에 입력하여 상기 예측 대상자의 신원을 확인하는, 유전정보 기반 신원 확인 장치.
  15. 하드웨어와 결합되어 제 1 항 및 제 12 항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
KR1020200186789A 2020-12-29 2020-12-29 유전정보 기반 미래 얼굴 예측 방법 및 장치 KR102481555B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200186789A KR102481555B1 (ko) 2020-12-29 2020-12-29 유전정보 기반 미래 얼굴 예측 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200186789A KR102481555B1 (ko) 2020-12-29 2020-12-29 유전정보 기반 미래 얼굴 예측 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220094997A true KR20220094997A (ko) 2022-07-06
KR102481555B1 KR102481555B1 (ko) 2022-12-27

Family

ID=82400629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200186789A KR102481555B1 (ko) 2020-12-29 2020-12-29 유전정보 기반 미래 얼굴 예측 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102481555B1 (ko)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060133563A (ko) * 2004-02-02 2006-12-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 온라인 학습을 통한 지속적인 얼굴 인식
KR20100001684A (ko) 2008-06-27 2010-01-06 주식회사 케이티 얼굴 분석을 이용한 가족 검색 시스템 및 방법
KR20160073427A (ko) * 2013-11-30 2016-06-24 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 얼굴 이미지들의 데이터로부터 얼굴 특징들을 추출하는 방법 및 시스템
KR20170083522A (ko) * 2015-09-08 2017-07-18 한국과학기술연구원 Dna 정보를 이용한 얼굴 추정 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20190113005A (ko) * 2018-03-27 2019-10-08 (주) 메디젠휴먼케어 단일염기다형성을 이용한 피부 표현형 예측 방법
KR20200010993A (ko) 2018-07-11 2020-01-31 삼성전자주식회사 보완된 cnn을 통해 이미지 속 얼굴의 속성 및 신원을 인식하는 전자 장치.
KR20200018341A (ko) * 2018-08-09 2020-02-19 순천향대학교 산학협력단 유전자 정보를 이용한 얼굴 재현 장치 및 방법
KR102139548B1 (ko) * 2020-04-16 2020-07-30 주식회사 한국정보보호경영연구소 안면인식 기술 기반 분산화된 신원증명 시스템 및 방법
KR20200098875A (ko) 2019-02-13 2020-08-21 주식회사 휴먼아이씨티 3ｄ 얼굴인식 시스템 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060133563A (ko) * 2004-02-02 2006-12-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 온라인 학습을 통한 지속적인 얼굴 인식
KR20100001684A (ko) 2008-06-27 2010-01-06 주식회사 케이티 얼굴 분석을 이용한 가족 검색 시스템 및 방법
KR20160073427A (ko) * 2013-11-30 2016-06-24 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 얼굴 이미지들의 데이터로부터 얼굴 특징들을 추출하는 방법 및 시스템
KR20170083522A (ko) * 2015-09-08 2017-07-18 한국과학기술연구원 Dna 정보를 이용한 얼굴 추정 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20190113005A (ko) * 2018-03-27 2019-10-08 (주) 메디젠휴먼케어 단일염기다형성을 이용한 피부 표현형 예측 방법
KR20200010993A (ko) 2018-07-11 2020-01-31 삼성전자주식회사 보완된 cnn을 통해 이미지 속 얼굴의 속성 및 신원을 인식하는 전자 장치.
KR20200018341A (ko) * 2018-08-09 2020-02-19 순천향대학교 산학협력단 유전자 정보를 이용한 얼굴 재현 장치 및 방법
KR20200098875A (ko) 2019-02-13 2020-08-21 주식회사 휴먼아이씨티 3ｄ 얼굴인식 시스템 및 방법
KR102139548B1 (ko) * 2020-04-16 2020-07-30 주식회사 한국정보보호경영연구소 안면인식 기술 기반 분산화된 신원증명 시스템 및 방법

Also Published As

Publication number Publication date
KR102481555B1 (ko) 2022-12-27

Similar Documents

Publication Publication Date Title
Johnston et al. A review of image-based automatic facial landmark identification techniques
CN112990054B (zh) 紧凑的无语言面部表情嵌入和新颖三元组的训练方案
Sikka et al. Classification and weakly supervised pain localization using multiple segment representation
Wang et al. Expression of Concern: Facial feature discovery for ethnicity recognition
KR20180117704A (ko) 콘볼루셔널 신경 네트워크들에서의 구조 학습
Wang et al. Relative attribute SVM+ learning for age estimation
CN108197592B (zh) 信息获取方法和装置
US20210023331A1 (en) Computer architecture for identifying sleep stages
Passalis et al. Dimensionality reduction using similarity-induced embeddings
JP7461485B2 (ja) 復号ニューラルネットワークを使用した画像の真正性の検証
WO2019137538A1 (en) Emotion representative image to derive health rating
CN111881671A (zh) 一种属性词提取方法
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
Franc et al. Learning CNNs from weakly annotated facial images
Najar et al. A new hybrid discriminative/generative model using the full-covariance multivariate generalized Gaussian mixture models
Sathyavathi et al. An intelligent human age prediction from face image framework based on deep learning algorithms
Maupomé et al. Leveraging Textual Similarity to Predict Beck Depression Inventory Answers.
Gomes et al. Facial point graphs for stroke identification
Al-Saidi et al. Cognitive Classifier of Hand Gesture Images for Automated Sign Language Recognition: Soft Robot Assistance Based on Neutrosophic Markov Chain Paradigm
KR102481555B1 (ko) 유전정보 기반 미래 얼굴 예측 방법 및 장치
CN111582404B (zh) 内容分类方法、装置及可读存储介质
Zhou et al. Kernel nonnegative representation-based classifier
CN113643283A (zh) 一种人体衰老状况的检测方法、装置、设备及存储介质
CN110223771B (zh) 基于nhpp的消化内科电子数据分析方法
Haase et al. Efficient Measuring of Facial Action Unit Activation Intensities using Active Appearance Models.

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant