KR102160128B1 - 인공지능 기반 스마트 앨범 생성 방법 및 장치 - Google Patents
인공지능 기반 스마트 앨범 생성 방법 및 장치 Download PDFInfo
- Publication number
- KR102160128B1 KR102160128B1 KR1020200031789A KR20200031789A KR102160128B1 KR 102160128 B1 KR102160128 B1 KR 102160128B1 KR 1020200031789 A KR1020200031789 A KR 1020200031789A KR 20200031789 A KR20200031789 A KR 20200031789A KR 102160128 B1 KR102160128 B1 KR 102160128B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- information
- training
- neural network
- control device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 22
- 238000012937 correction Methods 0.000 claims abstract description 78
- 238000012549 training Methods 0.000 claims description 127
- 238000013528 artificial neural network Methods 0.000 claims description 116
- 239000013598 vector Substances 0.000 claims description 75
- 210000001508 eye Anatomy 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 230000001815 facial effect Effects 0.000 claims description 19
- 210000003128 head Anatomy 0.000 claims description 15
- 210000004709 eyebrow Anatomy 0.000 claims description 13
- 210000001331 nose Anatomy 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 10
- 210000000216 zygoma Anatomy 0.000 claims description 4
- 210000000492 nasalseptum Anatomy 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 24
- 206010000496 acne Diseases 0.000 description 17
- 239000000284 extract Substances 0.000 description 17
- 208000002874 Acne Vulgaris Diseases 0.000 description 16
- 239000002245 particle Substances 0.000 description 16
- 231100000241 scar Toxicity 0.000 description 15
- 230000037303 wrinkles Effects 0.000 description 15
- 210000000887 face Anatomy 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 210000005069 ears Anatomy 0.000 description 8
- 208000032544 Cicatrix Diseases 0.000 description 7
- 210000000088 lip Anatomy 0.000 description 7
- 230000037387 scars Effects 0.000 description 7
- 206010040954 Skin wrinkling Diseases 0.000 description 6
- 230000004913 activation Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013433 optimization analysis Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010073150 Multiple endocrine neoplasia Type 1 Diseases 0.000 description 1
- 206010039509 Scab Diseases 0.000 description 1
- 206010052428 Wound Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- -1 electricity Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003780 keratinization Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
-
- G06K9/00228—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
인공지능 기반 스마트 앨범 생성 방법 및 장치가 개시된다. 일실시예에 따른 인공지능 기반 스마트 앨범 생성 방법은 카메라를 제어해 얼굴을 포함한 영상 및 사진을 획득하고, 영상 및 사진에 기초하여, 얼굴 정보를 획득하고, 얼굴 정보에 기초하여, 3차원 모델을 생성하고, 얼굴 정보에 기초하여, 피부 정보를 생성하고, 3차원 모델 및 피부 정보에 기초하여, 자동 보정 필터를 적용할 수 있다.
Description
아래 실시예들은 인공지능 기반 스마트 앨범 생성 방법 및 장치에 관한 것이다.
사용자의 편의를 위한 스마트 앨범 생성은 현재 사람에서부터 사물들에 이르기까지 자동 분류를 위한 시스템으로 사용되고 있다. 더불어 사람 및 사물을 특정하는 기술을 바탕으로 사람의 얼굴을 수정 및 보정하는 필터가 개발되어 사용되고 있다.
다만, 이러한 기술은 스스로 검증하는 시스템이 부재하고, 단순히 미리 학습된 데이터에 의존하는 경우가 많다. 이에 따라 오류가 종종 발생하고, 발생한 오류가 수정되지 않은 채 지속적으로 반복되어 나타나는 경우가 많다. 또한 개별 사람의 얼굴 특성에 따라 다른 필터 적용을 할 수 없고, 이미 촬영되어 저장된 영상을 자동 보정할 수 있는 기술 또한 상당히 미흡한 상태이다. 따라서, 스스로 검증을 진행하고, 검증한 내용은 자동으로 스스로 학습하며, 개별 사람의 얼굴 특성에 맞는 자동 보정 필터를 적용하고, 이미 저장된 영상에도 자동 보정 기술을 적용할 수 있는 인공지능을 이용한 스마트 앨범 생성 방법의 연구가 요구된다.
실시예들은 3차원 모델과 피부 정보를 활용해 개별 얼굴에 최적화된 자동 보정 필터를 적용하고자 한다.
실시예들은 촬영된 영상 및 사진의 얼굴을 카테고리화 하여 개별 앨범으로 분류하고자 한다.
실시예들은 병렬식 인공 신경망 연결을 통해 오류를 최소화하고자 한다.
실시예들은 인공 신경망의 비교 점검을 통한 높은 정확도를 수행하고자 한다.
일실시예에 따른 인공지능 기반 스마트 앨범 생성 방법은 인공지능을 기반으로 한 스마트 앨범의 생성 방법에 있어서, 제어 장치가 카메라를 제어해 얼굴을 포함한 영상 및 사진을 획득하는 단계; 상기 영상 및 사진에 기초하여, 얼굴 정보를 획득하는 단계; 상기 얼굴 정보에 기초하여, 3차원 모델을 생성하는 단계; 상기 얼굴 정보에 기초하여, 피부 정보를 생성하는 단계; 및 상기 3차원 모델 및 상기 피부 정보에 기초하여, 자동 보정 필터를 적용하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 제어 장치가 상기 얼굴 정보를 획득하는 단계는 상기 영상 및 사진의 얼굴 이미지를 획득하는 단계; 상기 얼굴 이미지 내 적어도 하나의 얼굴을 포함하는 얼굴 그룹 객체를 배경으로부터 분리하는 단계; 상기 얼굴 그룹 객체의 곡률들의 변화율의 연속성에 기초하여 얼굴 객체들을 식별하는 단계; 상기 얼굴 객체들의 외관 특징들, 패턴 특징들 및 색상 특징들을 추출하는 단계; 상기 추출된 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제1 특징 벡터를 생성하는 단계; 상기 제1 특징 벡터를 미리 학습된 제1 인공 신경망에 적용하여 제1 출력을 획득하는 단계; 및 상기 제1 출력에 기초하여 얼굴 정보를 획득하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 제1 인공 신경망은 상기 제1 특징 벡터를 입력으로 하는 병렬적 구성의 제1 내지 제5 컨볼루션 신경망; 및 상기 제1 내지 제5 컨볼루션 신경망의 출력을 비교하여 최적화된 얼굴 정보를 출력하는 제1 뉴럴 네트워크를 포함할 수 있다.
일실시예에 따르면, 상기 제어 장치가 레이블드 트레이닝 얼굴 이미지들을 획득하는 단계; 상기 레이블드 트레이닝 얼굴 이미지들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제1 트레이닝 특징 벡터들을 생성하는 단계; 상기 제1 트레이닝 특징 벡터들을 상기 제1 인공 신경망에 적용하여 제1 트레이닝 출력들을 획득하는 단계; 및 상기 제1 트레이닝 출력들 및 제1 레이블들에 기초하여 상기 제1 인공 신경망을 학습시키는 단계를 더 포함할 수 있다.,
일실시예에 따르면, 상기 제어 장치가 상기 3차원 모델을 생성하는 단계는 상기 얼굴 정보에 기초하여, 얼굴 특징점-상기 특징점은 상기 얼굴 정보 내부의 미간 중심, 눈썹의 양끝, 눈의 양 끝, 눈 옆 얼굴 외연 끝, 눈의 상연 최상단점, 눈의 하연 최하단점, 코 끝 중심, 코 양 옆 끝, 비중격 끝, 윗입술 상연 중심, 윗입술 상연 최상단점, 아랫입술 하연 중심, 아랫입술 하연 최대 변곡점, 입술 양 끝, 턱 끝 중심, 턱 양 옆 각, 양쪽 광대끝, 귀 상연 최상단점, 귀 하연 최하단점, 귀 중심, 귀 양 끝, 머리 양 끝 및 머리 상연 최상단점을 포함함-을 획득하는 단계; 상기 얼굴 특징점에 기초하여, 제2 특징 벡터를 생성하는 단계; 상기 제2 특징 벡터를 미리 학습된 제2 인공 신경망에 적용하여 3차원 표지점을 포함하는 제2 출력을 획득하는 단계; 상기 제2 출력에 기초하여, 상기 3차원 모델을 생성하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 제어 장치가 레이블드 트레이닝 얼굴 정보들을 획득하는 단계; 상기 레이블드 트레이닝 얼굴 정보들에 기초하여, 얼굴 정보에 포함된 얼굴 구조들의 특징으로부터 특징점들을 획득하는 단계; 상기 특징점들에 기초하여 제2 트레이닝 특징 벡터들을 생성하는 단계; 상기 제2 트레이닝 특징 벡터들을 상기 제2 인공 신경망에 적용하여 제2 트레이닝 출력들을 획득하는 단계; 및 상기 제2 트레이닝 출력들 및 제2 레이블들에 기초하여 상기 제2 인공 신경망을 학습시키는 단계를 더 포함할 수 있다.
일실시예에 따르면, 상기 제어 장치가 상기 피부 정보를 생성하는 단계는 상기 얼굴 정보 내 색상 정보 및 텍스쳐 정보에 기초하여, 유효 피부 경계를 식별하는 단계; 상기 식별된 유효 피부 경계로 분리되는 유효 피부 영역 내 입자 객체들의 외관 특징들을 추출하는 단계; 상기 추출된 외관 특징들에 기초하여, 상기 입자 객체들 중 적어도 하나의 이물질 객체를 식별하고, 상기 이물질 객체를 상기 유효 피부 영역으로부터 제거하는 단계; 상기 이물질 객체가 제거된 상기 유효 피부 영역 내 입자 객체들의 종류 특징들을 추출하는 단계; 상기 종류 특징들에 기초하여, 상기 입자 객체들을 점 객체, 여드름 객체, 흉터 객체 및 주름 객체 중 어느 하나로 각각 분류하는 단계; 상기 점 객체로 분류된 적어도 하나의 입자 객체의 상기 피부 영역 내 제1 비율을 생성하는 단계; 상기 여드름 객체, 상기 흉터 객체 및 상기 주름 객체로 분류된 적어도 하나의 입자 객체의 상기 유효 피부 영역 내 제2 비율들을 생성하는 단계; 상기 이물질 객체의 상기 유효 피부 영역 내 제3 비율을 생성하는 단계; 상기 이물질 객체가 제거된 상기 유효 피부 영역의 색상 특징에 기초하여, 피부색 정보를 생성하는 단계; 상기 제1 비율, 상기 제2 비율들, 상기 제3 비율 및 상기 피부색 정보에 기초하여, 표피 정보를 생성하는 단계; 상기 표피 정보에 기초하여, 상기 유효 피부 영역에 대응하는 제3 특징 벡터를 생성하는 단계; 상기 제3 특징 벡터를 미리 학습된 제3 인공 신경망에 적용하여 제3 출력을 획득하는 단계; 및 상기 제3 출력에 기초하여 상기 유효 피부 영역에 대응하는 피부 정보를 생성하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 제어 장치가 레이블드 트레이닝 얼굴 정보들을 획득하는 단계; 상기 레이블드 트레이닝 얼굴 정보들의 색상 정보, 텍스쳐 정보 및 입자 객체들의 외관 특징들, 종류 특징들 중 적어도 하나에 기초하여 점 객체에 대응하는 제1 비율, 여드름 객체, 흉터 객체 및 주름 객체에 대응하는 제2 비율들, 이물질 객체에 대응하는 제3 비율 및 피부색 정보에 기초하여 표피 정보를 생성하는 단계; 상기 표피 정보에 기초하여 제3 트레이닝 특징 벡터들을 생성하는 단계; 상기 제2 트레이닝 특징 벡터들을 상기 제3 인공 신경망에 적용하여 제3 트레이닝 출력들을 획득하는 단계; 및 상기 제3 트레이닝 출력들 및 제3 레이블들에 기초하여 상기 제3 인공 신경망을 학습시키는 단계를 더 포함할 수 있다.
일실시예에 따르면, 상기 제어 장치가 상기 자동 보정 필터를 적용하는 단계는 상기 3차원 모델 및 상기 피부 정보에 기초하여, 상기 자동 보정 필터를 획득하는 단계; 상기 자동 보정 필터를 상기 영상 및 사진에 적용하는 단계를 더 포함할 수 있다.
일실시예에 따르면, 상기 제어 장치가 상기 자동 보정 필터를 획득하는 단계는 상기 3차원 모델 및 상기 피부 정보에 기초하여 제4 특징 벡터를 생성하는 단계; 상기 제4 특징 벡터를 미리 학습된 제4 인공 신경망에 적용하여 제4 출력을 획득하는 단계; 상기 제4 출력에 기초하여 상기 사진 및 영상에 대한 보정 정보를 생성하는 단계; 및 상기 생성된 보정 정보에 기초하여 최적화된 상기 자동 보정 필터를 획득하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 자동 보정 필터는 상기 보정 정보로부터 선택된 상기 자동 보정 필터에 기초하여, 상기 3차원 모델로부터 상기 3차원 표지점의 위치를 수정 및 고정하고, 상기 영상 내 상기 사용자의 움직임에 따라 상기 얼굴에 상기 3차원 표지점의 수정 위치가 반영되도록 하고, 상기 얼굴과 배경을 분리하여, 각각 색상, 채도, 명도, 블러 및 선명도를 따로 조절할 수 있다.
일실시예에 따르면, 상기 제어 장치가 레이블드 트레이닝 3차원 모델 및 레이블드 트레이닝 피부 정보들을 획득하는 단계; 상기 레이블드 트레이닝 3차원 모델 및 상기 레이블드 트레이닝 피부 정보들에 기초하여 제4 트레이닝 특징 벡터들을 생성하는 단계; 상기 제4 트레이닝 특징 벡터들을 상기 제4 인공 신경망에 적용하여 제4 트레이닝 출력들을 획득하는 단계; 및 상기 제4 트레이닝 출력들 및 제4 레이블들에 기초하여 상기 제4 인공 신경망을 학습시키는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 제어 장치가 상기 3차원 모델 및 피부 정보에 기초하여, 카테고리를 획득하는 단계; 및 상기 카테고리를 상기 영상 및 사진에 연결하는 단계를 더 포함할 수 있다.
일실시예에 따르면, 상기 제어 장치가 상기 3차원 모델 및 상기 피부 정보에 기초하여, 제5 특징 벡터를 생성하는 단계; 상기 제5 특징 벡터를 미리 학습된 제5 인공 신경망에 적용하여 제5 출력을 획득하는 단계; 및 상기 제5 출력에 기초하여 상기 사진 및 영상에 대한 카테고리를 획득하는 단계를 포함하고, 상기 카테고리는 사진 속 얼굴이 속하는 최적화된 분류로서, 상기 얼굴이 속하는 분류로부터 상기 얼굴을 독립적인 분류로 관리하고, 상기 제어 장치 내 데이터베이스에 저장하며, 사용자의 검색을 통한 사진 찾기 기능에 사용되고, 상기 얼굴이 복수인 경우, 영상 및 사진을 해당하는 모든 카테고리에 포함되도록 분류할 수 있다.
일실시예에 따르면, 상기 제어 장치가 레이블드 트레이닝 3차원 모델 및 레이블드 트레이닝 피부 정보들을 획득하는 단계; 상기 레이블드 트레이닝 3차원 모델 및 상기 레이블드 트레이닝 피부 정보들에 기초하여 제5 트레이닝 특징 벡터들을 생성하는 단계; 상기 제5 트레이닝 특징 벡터들을 상기 제5 인공 신경망에 적용하여 제5 트레이닝 출력들을 획득하는 단계; 및 상기 제5 트레이닝 출력들 및 제5 레이블들에 기초하여 상기 제5 인공 신경망을 학습시키는 단계를 포함할 수 있다.
일실시예에 따른 장치는 하드웨어와 결합되어 상술한 방법들 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램에 의해 제어될 수 있다.
실시예들은 3차원 모델과 피부 정보를 활용해 개별 얼굴에 최적화된 자동 보정 필터를 적용할 수 있다.
실시예들은 촬영된 영상 및 사진의 얼굴을 카테고리화 하여 개별 앨범으로 분류할 수 있다.
실시예들은 병렬식 인공 신경망 연결을 통해 오류를 최소화할 수 있다.
실시예들은 인공 신경망의 비교 점검을 통한 높은 정확도를 수행할 수 있다.
도 1은 일실시예에 따른 인공지능 기반 스마트 앨범 생성 방법을 설명하기 위한 순서도이다.
도 2는 일실시예에 따른 영상 및 사진 속 얼굴 이미지를 처리하는 방법을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 영상 및 사진 속 얼굴 이미지를 처리하는데 채용되는 인공 신경망을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 영상 및 사진 속 얼굴 이미지를 처리하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 3차원 모델을 생성하는 방법을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 3차원 모델을 생성하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 피부 정보를 처리하는 방법을 설명하기 위한 도면이다.
도 8은 일실시예에 따른 피부 정보를 처리하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
도 9는 일실시예에 따른 3차원 모델과 피부 정보에 따른 보정 정보를 판단하는 방법을 설명하기 위한 도면이다.
도 10은 일실시예에 따른 보정 정보에 따른 자동 보정 필터를 적용하는 방법을 설명하기 위한 도면이다.
도 11은 일실시예에 따른 3차원 모델과 피부 정보에 따른 보정 정보를 판단하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
도 12는 일실시예에 따른 3차원 모델과 피부 정보에 따른 카테고리를 판단하는 방법을 설명하기 위한 도면이다.
도 13은 일실시예에 따른 3차원 모델과 피부 정보에 따른 카테고리를 설명하기 위한 도면이다.
도 14는 일실시예에 따른 3차원 모델과 피부 정보에 따른 카테고리를 판단하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
도 15는 일실시예에 따른 장치의 구성의 예시도이다.
도 2는 일실시예에 따른 영상 및 사진 속 얼굴 이미지를 처리하는 방법을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 영상 및 사진 속 얼굴 이미지를 처리하는데 채용되는 인공 신경망을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 영상 및 사진 속 얼굴 이미지를 처리하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 3차원 모델을 생성하는 방법을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 3차원 모델을 생성하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 피부 정보를 처리하는 방법을 설명하기 위한 도면이다.
도 8은 일실시예에 따른 피부 정보를 처리하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
도 9는 일실시예에 따른 3차원 모델과 피부 정보에 따른 보정 정보를 판단하는 방법을 설명하기 위한 도면이다.
도 10은 일실시예에 따른 보정 정보에 따른 자동 보정 필터를 적용하는 방법을 설명하기 위한 도면이다.
도 11은 일실시예에 따른 3차원 모델과 피부 정보에 따른 보정 정보를 판단하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
도 12는 일실시예에 따른 3차원 모델과 피부 정보에 따른 카테고리를 판단하는 방법을 설명하기 위한 도면이다.
도 13은 일실시예에 따른 3차원 모델과 피부 정보에 따른 카테고리를 설명하기 위한 도면이다.
도 14는 일실시예에 따른 3차원 모델과 피부 정보에 따른 카테고리를 판단하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
도 15는 일실시예에 따른 장치의 구성의 예시도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.
도 1은 일실시예에 따른 인공지능 기반 스마트 앨범 생성 방법을 설명하기 위한 순서도이다.
도 1을 참조하면, 인공지능을 기반으로 한 스마트 앨범의 생성 방법에 있어서, 스마트 앨범 생성을 위한 제어 장치(이하, 제어 장치)는 카메라를 제어해 얼굴을 포함한 영상 및 사진을 획득할 수 있다(101). 제어 장치는 인공지능 기반 스마트 앨범 생성 방법을 수행하는 장치로서, 예를 들어 하드웨어 모듈, 소프트웨어 모듈 또는 이들의 조합으로 구현될 수 있다.
일실시예에 따르면, 제어 장치는 서버로 구현될 수 있다. 서버는 단말과 통신할 수 있고, 필요한 정보를 데이터베이스로부터 열람하여 판단 동작에 채용하고, 판단의 결과물을 기반으로 데이터베이스를 갱신할 수 있다. 예를 들어, 제어 장치는 사용자의 카메라를 제어해 실시간으로 또는 메모리 저장을 통해 영상 및 사진을 획득하고, 획득된 영상 및 사진을 바탕으로 얼굴 이미지와 관련된 정보를 갱신하고, 갱신된 정보를 기반으로 획득하는 자동 보정 필터의 종류 및 카테고리를 갱신할 수 있다.
일실시예에 따르면, 제어 장치는 GPS(Global Positioning System) 기반 측위 기술, 와이파이(Wi-Fi) 기반 측위 기술, WCDMA, WiBro, 3G, LTE, 5G, WiMAX 등 이동통신 또는 셀룰러 기반 측위 기술, 근거리 통신(RFID, ZigBee, NFC, Bluetooth) 및 기타 다중 인프라들과 같이 다양한 방식을 통해 사용자의 위치를 획득할 수 있으며, 위치 획득 방식에는 다양한 기법들이 적용 및 응용될 수 있다. 제어 장치는 서버 및 단말 중 적어도 하나로 구현될 수 있다. 제어 장치에 의해 수행되는 동작은 서버 및 단말 중 어느 하나 단독으로 구현될 수도 있지만, 서버 및 단말의 상호작용에 의해 구현될 수도 있다. 서버 및 단말은 전자 장치를 포함할 수 있다.
일실시예에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
일실시예에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
일실시예에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 일실시예에에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 일실시예에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 일실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다. 다양한 실시예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
일실시예에 따른 전자 장치는 프로세서, 메모리, 사용자 인터페이스 및 통신 인터페이스를 포함하고, 다른 전자 장치와 네트워크를 통해 연결될 수 있다. 통신 인터페이스는 유, 무선 네트워크 또는 유선 직렬 통신 등을 통하여 소정 거리 이내의 다른 전자 장치와 데이터를 송수신할 수 있다. 네트워크는 일실시예에 따른 전자 장치와 다양한 개체들(entities) 간의 유, 무선 통신을 가능하게 한다. 전자 장치는 네트워크를 통해 다양한 개체들과 통신할 수 있고, 네트워크는 표준 통신 기술 및/또는 프로토콜들을 사용할 수 있다. 이때, 네트워크(network)는 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network) 등을 포함하나 이에 한정되지 않으며, 정보를 송, 수신할 수 있는 다른 종류의 네트워크가 될 수도 있음을 통신 기술 분야의 통상의 지식을 가진 자라면 알 수 있다.
일실시예에 따른 휴대용 단말기는 통신 기능이 포함된 전자 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크톱 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트카(smart car) 또는 스마트 와치(smartwatch)중 적어도 하나를 포함할 수 있다.
일실시예에 따르면, 사용자는 사용자 단말을 이용하여 얼굴을 포함한 영상 및 사진을 촬영하고, 제어 장치는 사용자에 의해 촬영된 얼굴 이미지를 수신할 수 있다. 제어 장치는 사용자로부터 수신한 이미지가 얼굴을 충분히 포함했는지 여부를 판단하고, 이에 부합하는 경우 얼굴 이미지를 데이터베이스에 기록할 수 있다
일실시예에 따르면, 제어 장치는 영상 및 사진에 기초하여, 얼굴 정보를 획득할 수 있다(102).
일실시예에 따르면, 제어 장치는 데이터베이스에 기록한 영상 및 사진의 얼굴 이미지에 기초하여, 얼굴에 대한 정보들을 담은 얼굴 정보를 획득할 수 있다. 얼굴 정보는 얼굴의 구조를 식별하는 정보로서, 얼굴의 특징점을 구분하기 위한 구조 정보를 포함한다. 예를 들어, 얼굴 정보는 머리, 눈썹, 눈, 코, 귀, 입술 및 얼굴 골격 등을 포함할 수 있고, 성별, 연령 및 인종의 특징들이 반영된 정보일 수 있다.
일실시예에 따르면, 제어 장치는 얼굴 정보를 기준으로 이미지 처리를 통해 피부 상태에 대한 정보를 획득할 수 있는데, 피부 상태는 점, 여드름, 흉터 및 주름 등의 다양한 변수에 의해 설명될 수 있다. 예를 들어 성별에 따라 점, 여드름, 흉터 및 주름에 대한 보정 정도를 일반적으로 다르게 요구할 수 있는데, 이는 얼굴 정보를 바탕으로 한 성별 판단 및 피부 정보로부터 판단될 수 있다.
일실시예에 따르면, 제어 장치는 얼굴의 비대칭 및 위치 부조화에 대한 판단 결과를 얼굴 정보로부터 획득할 수 있으며, 사용자에게 얼굴 정보를 전송해 확인하도록 할 수 있다. 사용자의 확인에 따라 수정된 얼굴 정보는 다음 단계의 진행에 반영될 수 있다. 얼굴 정보를 획득하는 자세한 방법은 도 2, 도 3 및 도 4를 참조하여 후술한다.
일실시예에 따르면, 제어 장치는 얼굴 정보에 기초하여, 3차원 모델을 생성할 수 있다(103).
일실시예에 따르면, 제어 장치는 영상 및 사진을 통해 획득한 얼굴 이미지로부터 이미지 처리 결과에 기반하여, 얼굴의 특징점 및 3차원 표지점을 획득할 수 있다. 획득된 특징점 및 3차원 표지점은 스마트 앨범과 연관시켜 데이터베이스에 기록할 수 있다. 제어 장치는 3차원 표지점을 기반으로 3차원 모델을 생성할 수 있으며, 생성한 3차원 모델을 자동 보정 필터의 적용에 사용할 수 있다. 사용자는 자동 보정 필터의 적용 외에도 3차원 표지점 수정 및 이동을 통한 얼굴 이미지의 외형을 변화시킬 수 있다. 3차원 모델을 생성하는 자세한 방법은 도 5 및 도 6을 참조하여 후술한다.
일실시예에 따르면, 제어 장치는 얼굴 정보에 기초하여, 피부 정보를 생성할 수 있다(104).
일실시예에 따르면, 제어 장치는 얼굴 이미지 처리 결과에 기반하여 얼굴 이미지 내에 유효 피부 영역과 관련된 피부 정보를 생성하고, 생성된 피부 정보를 스마트 앨범과 연관시켜 데이터베이스에 기록할 수 있다. 제어 장치는 피부정보를 기반으로 자동 보정 필터를 통해 보정하기 위한 보정 정보를 사용자에게 제공할 수 있다. 피부 정보를 획득하는 자세한 방법은 도 7 및 8을 참고하여 후술한다.
일실시예에 따르면, 제어 장치는 3차원 모델 및 피부 정보에 기초하여, 자동 보정 필터를 적용할 수 있다(105).
일실시예에 따르면, 제어 장치는 3차원 모델 및 피부 정보로부터 보정이 필요한 범위, 보정의 종류 및 정도 등을 포함한 보정 정보를 획득할 수 있다. 제어 장치는 보정 정보에 기초하여, 자동 보정 필터의 종류 및 강도의 세부 사항을 선택할 수 있으며, 선택한 자동 보정 필터를 자동으로 적용할 수 있다. 사용자는 자동 보정 필터에 대한 피드백을 제어 장치에 송신할 수 있으며, 제어 장치는 수신된 정보로부터, 자동 보정 필터를 수정 및 학습 시킬 수 있다. 3차원 모델과 피부 정보에 기초하여 자동 보정 필터를 적용하는 내용은 도 9 내지 도 11을 참조하여 후술한다.
도 2는 일실시예에 따른 영상 및 사진 속 얼굴 이미지를 처리하는 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 제어 장치는 영상 및 사진을 통해 획득한 얼굴 이미지로부터 얼굴 정보(210)를 획득할 수 있다. 제어 장치는 얼굴을 식별하는 시각적인 요소를 추출하고, 추출된 시각적인 요소를 특징으로 정의하고, 그 특징으로부터 얼굴을 식별하는 이미지 처리 과정을 수행할 수 있다.
도 2를 참조하면, 제어 장치는 영상 및 사진의 얼굴 이미지(201)를 획득할 수 있다. 상술한 바와 같이, 얼굴 이미지(201)는 사용자에 의해 촬영된 얼굴의 이미지일 수 있다.
일실시예에 따르면, 제어 장치는 얼굴 이미지(201) 내 적어도 하나의 얼굴을 포함하는 얼굴 그룹 객체(202)를 배경으로부터 분리할 수 있다. 제어 장치는 얼굴 이미지(201)에서 얼굴과 관련 있는 영역과 나머지 영역을 분류할 수 있다. 제어 장치는 얼굴의 외관, 패턴 및 색상을 기초로 픽셀 별로 얼굴인지 그렇지 않은지 여부를 판단할 수 있다. 예를 들어, 제어 장치는 관심 영역과 나머지 영역을 분류하는 분류기를 통해 얼굴 이미지(201)로부터 얼굴 그룹 객체(202)를 분류할 수 있다.
일실시예에 따르면, 제어 장치는 얼굴 그룹 객체(202)의 곡률들의 변화율의 연속성에 기초하여 얼굴 객체(203)들을 식별할 수 있다. 제어 장치는 얼굴 그룹 객체(202)에서 완전한 얼굴의 이미지가 확보되는 개별 얼굴 객체를 식별하기 위해, 각 얼굴의 곡률의 변화율의 연속성을 판단할 수 있다. 제어 장치는 얼굴 객체의 테두리를 식별하고, 미리 정의된 영역 단위로 테두리의 곡률들을 추출할 수 있다. 미리 정의된 영역 단위는 2x2 픽셀 등 이미지 처리를 위한 하드웨어 및 소프트웨어 성능에 따라 설계될 수 있다.
일실시예에 따르면, 제어 장치는 추출된 곡률들의 변화율들을 계산할 수 있다. 제어 장치는 계산된 변화율들이 연속적으로 변화하는지 불연속적으로 변화하는지를 판단할 수 있고, 불연속적으로 변화하지 않고 연속되는 변화율들을 지닌 얼굴 객체(203)를 식별할 수 있다. 제어 장치는 식별된 얼굴 객체(203)를 통해 외관, 패턴 및 색상을 기준으로 얼굴 정보(210)를 판단할 수 있으며, 모든 식별된 얼굴 객체(203)에 대해 해당 판단을 수행할 수 있다.
일실시예에 따르면, 제어 장치는 기 학습된 인공 신경망으로 적용하기 위한 특징을 얼굴 객체(203)들로부터 추출할 수 있다. 얼굴은 성별, 연령 및 인종에 따라 그 특징들이 달라지기 때문에, 분류의 필요가 있다. 제어 장치는 얼굴을 시각적으로 구분하는데 주요한 요인인 개별 단위의 얼굴의 외관, 패턴 및 색상을 변수로 인공 신경망이 분류하도록 미리 학습시키고, 기 학습된 인공 신경망으로 얼굴 객체(203)로부터 추출된 특징을 적용하여 얼굴 이미지(201)로부터 얼굴 정보(210)를 생성할 수 있다.
일실시예에 따르면, 제어 장치는 얼굴 객체(203)들의 외관 특징들(204)을 추출할 수 있다. 제어 장치는 얼굴 객체(203)들의 테두리를 추출하여 외관 특징들(204)을 생성할 수 있다. 제어 장치는 얼굴 객체(203)들과 배경 영역을 분리하는 픽셀들의 위치에 기반하여 외관 특징들(204)을 생성할 수 있다.
일실시예에 따르면, 제어 장치는 얼굴 객체(203)들의 패턴 특징들(205)을 추출할 수 있다. 제어 장치는 얼굴 객체(203)들 내에 있는 텍스쳐 정보를 추출하고, 추출된 정보를 기반으로 패턴 특징들(205)을 생성할 수 있다. 제어 장치는 텍스쳐 정보를 추출하기 위한 필터를 얼굴 객체(203)들 별로 적용할 수 있고, 필터링 된 값을 기반으로 패턴 특징들(205)을 생성할 수 있다.
일실시예에 따르면, 제어 장치는 얼굴 객체(203)들의 색상 특징들(206)을 추출할 수 있다. 제어 장치는 얼굴 객체(203)들 내에 있는 픽셀들의 RGB 값들을 획득하고, 그 RGB 값들 중 지배적인 값과 보조적인 값을 추출하고, 추출된 값들을 기반으로 색상 특징들(206)을 생성할 수 있다. 제어 장치가 색상 특징들(206)을 추출하는 방식에는 다양한 기법이 채용될 수 있다.
일실시예에 따르면, 제어 장치는 외관 특징들(204), 패턴 특징들(205) 및 색상 특징들(206)에 기초하여 제1 특징 벡터(207)를 생성할 수 있다. 제1 특징 벡터(207)는 외관 특징들(204), 패턴 특징들(205) 및 색상 특징들(206)의 가중 합이 적용된 다차원의 벡터일 수 있는데, 가중 합에 적용되는 가중치들은 각 특징들이 평균에서 멀어질수록 커지도록 조정될 수 있다. 여기서, 벡터는 one-hot 벡터, 실수 벡터 등 설계 의도에 따라 다양한 형태로 정의될 수 있다. 특징 벡터 생성 시 접속 요청 패킷 내 다양한 변수들에 각각 가중치들이 적용될 수 있다. 가중치들은 인공 신경망의 학습 시 최적화될 수 있다.
일실시예에 따르면, 제어 장치는 제1 특징 벡터(207)를 기 학습된 제1 인공 신경망(208)으로 인가할 수 있다. 제1 특징 벡터(207)는 제1 인공 신경망(208)의 입력 레이어에 대응할 수 있다.
일실시예에 따르면, 제어 장치는 제1 특징 벡터가 인가된 제1 인공 신경망(208)로부터 생성된 제1 출력(209)을 획득할 수 있다. 제1 출력(209)은 제1 인공 신경망(208)의 출력 레이어에 대응할 수 있다. 제어 장치는 제1 출력(209)에 기초하여 영상 및 사진 내의 얼굴 이미지(201)에 대응하는 얼굴 정보(210)를 획득할 수 있다. 얼굴 정보(210)의 값은 얼굴을 분류하는 식별 정보로 표현되거나, 얼굴의 특성 별로 등급화되어 표현되는 이산적이거나 연속된 값으로 표현될 수 있다.
일실시예에 따르면, 제어 장치는 제1 출력(209)에 기초하여 얼굴 내의 머리, 눈썹, 눈, 코, 입술, 귀 및 외형을 포함하는 얼굴 정보(210)를 생성할 수 있다. 제어 장치는 식별 정보로부터 데이터베이스를 조회하여 성별, 연령 및 인종에 따라 다른 얼굴 정보(210)의 특성을 적용할 수 있다. 제어 장치는 얼굴 이미지로부터 얼굴을 식별하기 위해 인공 신경망을 학습시킬 수 있는데, 예를 들어 영상 처리에 활용되는 컨볼루션 신경망 및 뉴럴 네트워크를 채용할 수 있다. 얼굴 이미지 처리를 위한 학습과 관련된 내용은 도 4를 참조하여 후술된다.
도 3은 일실시예에 따른 영상 및 사진 속 얼굴 이미지를 처리하는데 채용되는 인공 신경망을 설명하기 위한 도면이다.
도 3을 참조하면, 제1 인공 신경망은 제1 특징 벡터를 입력으로 하는 병렬적 구성의 제1 내지 제5 컨볼루션 신경망(310, 320, 330, 340, 350); 및 제1 내지 제5 컨볼루션 신경망(310, 320, 330, 340, 350)의 출력을 비교하여 최적화된 얼굴 정보를 출력하는 제1 뉴럴 네트워크 (360)를 포함할 수 있다.
일실시예에 따르면, 제어 장치는 영상 이미지를 제1 내지 제5 컨볼루션 신경망(310, 320, 330, 340, 350)에 적절한 형태로 인코딩할 수 있다. 제어 장치는 영상 이미지로부터 외관 특징들, 패턴 특징들 및 색상 특징들을 추출해 제1 벡터 형태로 가중 합하는 방식으로 제1 특징 벡터를 인코딩해 생성할 수 있다..
일실시예에 따르면, 제1 내지 제5 컨볼루션 신경망(310, 320, 330, 340, 350)은 제1 특징 벡터(207)를 바탕으로 특징 추출 신경망과 분류 신경망을 통해 얼굴의 구조들을 분류할 수 있다. 특징 추출 신경망은 컨볼루션 계층과 풀링 계층을 차례로 쌓아 진행한다. 컨볼루션 계층은 컨볼루션 연산, 컨볼루션 필터 및 활성함수를 포함하고 있다. 컨볼루션 필터의 계산은 대상 입력의 행렬 크기에 따라 조정되나 일반적으로 9X9 행렬을 사용한다. 활성 함수는 일반적으로 ReLU 함수, 시그모이드 함수, 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 풀링 계층은 입력의 행렬 크기를 줄이는 역할을 하는 계층으로, 특정 영역의 픽셀을 묶어 대표값을 추출하는 방식을 사용한다. 풀링 계층의 연산에는 일반적으로 평균값이나 최대값을 많이 사용하나 이에 한정하지 않는다. 해당 연산은 정방 행렬을 사용하여 진행되는데, 제1 내지 제5 컨볼루션 신경망(310, 320, 330, 340, 350)에 따라 각각 4X4, 5X5, 9X9, 12X12 및 16X16 행렬을 사용할 수 있으나, 이에 국한하지 않는다. 컨볼루션 계층과 풀링 계층은 해당 입력이 차이를 유지한 상태에서 충분히 작아질 때까지 번갈아 반복 진행될 수 있다. 분류 신경망은 은닉층과 출력층을 가지고 있다. 인공지능 기반 스마트 앨범 생성 방법을 위한 제1 내지 제5 컨볼루션 신경망(310, 320, 330, 340, 350)에서는 은닉층이 3개~5개 사이에 존재하며, 각 은닉층의 노드 또한 80~140개로 지정할 수 있으며, 컨볼루션 신경망의 종류에 따라 서로 다른 값으로 지정될 수 있다. 제1 내지 제5 컨볼루션 신경망(310, 320, 330, 340, 350)의 풀링 계층의 연산, 은닉층의 수 및 은닉층 노드의 수는 모두 서로 다른 값을 가질 수 있으며, 이는 서로 다른 구조를 가지면서 동일한 속도 및 성능을 유지하고, 동일한 테스트 데이터에 대해 서로 다른 변수의 영향을 받도록 하기 위함일 수 있다. 은닉층의 활성함수는 주로 ReLU 함수, 시그모이드 함수 및 tanh 함수 등을 사용하나, 이에 한정하지 않는다. 제1 내지 제5 컨볼루션 신경망(310, 320, 330, 340, 350)의 출력층 노드는 얼굴 정보가 포함해야 하는 머리, 눈썹, 눈, 귀, 코, 입술 및 얼굴 골격 등의 형태 벡터 및 좌표를 지시할 수 있으며, 제1 내지 제5 컨볼루션 신경망(310, 320, 330, 340, 350)의 출력은 모두 동일한 형태이나, 그 값은 모두 다를 수 있다.
일실시예에 따른 인공지능 기반 스마트 앨범 생성 장치는 병렬식 인공 신경망 연결을 통해 오류를 최소화할 수 있다.
일실시예에 따른 제1 뉴럴 네트워크(360)는 제1 내지 제5 컨볼루션 신경망(310, 320, 330, 340, 350)의 출력들을 종합해 이를 비교, 분석 및 통합하는 기능을 수행할 수 있다. 제1 뉴럴 네트워크(360)는 제1 내지 제5 컨볼루션 신경망(310, 320, 330, 340, 350)의 출력으로부터 단순히 이를 평균화 하거나, 다수결에 따라 결정되는 방식이 아닌, 최적화 분석을 통한 통합을 수행하도록 할 수 있다. 최적화 분석은 얼굴 정보가 포함하는 머리, 눈썹, 눈, 코, 귀, 입술 및 얼굴 골격 등의 정보를 모두 포함하면서, 각 구조의 상대적 위치의 합리성 판단을 하는 것을 의미할 수 있다. 제1 뉴럴 네트워크(360)는 제1 내지 제5 컨볼루션 신경망(310, 320, 330, 340, 350)의 출력으로 나타난 얼굴 구조들을 종합해 각 얼굴 구조들을 통합한 얼굴 정보를 추론할 수 있다.
일실시예에 따르면, 제1 뉴럴 네트워크(360)의 은닉층은 3개 이상 존재하며, 각 은닉층의 노드는 80개로 지정하나 경우에 따라 그 이상 또는 이하로 정할 수 있다. 은닉층 노드의 수는 학습을 최적화하고, 연산 오류를 최소화할 수 있는 수일 수 있다. 은닉층의 활성함수는 ReLU 함수, 시그모이드 함수 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 제1 뉴럴 네트워크(360)는 은닉층을 통해 제1 내지 제5 컨볼루션 신경망(310, 320, 330, 340, 350)의 출력들을 통합한 최적화된 얼굴 정보를 찾을 수 있다. 제1 뉴럴 네트워크(360)의 출력층은 얼굴 정보가 포함해야 하는 머리, 눈썹, 눈, 귀, 코, 입술 및 얼굴 골격 등의 형태 벡터 및 좌표를 지시할 수 있다.
일실시예에 따른 인공지능 기반 스마트 앨범 생성 장치는 인공 신경망의 비교 점검을 통한 높은 정확도를 수행할 수 있다.
도 4는 일실시예에 따른 영상 및 사진 속 얼굴 이미지를 처리하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 학습 장치는 얼굴 이미지로부터 얼굴 정보를 획득하는데 필요한 정보를 추정하기 위한 인공 신경망(406)을 학습시킬 수 있다. 학습 장치는 제어 장치와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니다.
일실시예에 따르면, 인공 신경망은 트레이닝 샘플들이 입력되는 입력 레이어와 트레이닝 출력들을 출력하는 출력 레이어를 포함하고, 트레이닝 출력들과 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 레이블들은 얼굴 이미지들 및 얼굴 이미지들에 대응하는 식별 정보에 기초하여 정의될 수 있다. 인공 신경망은 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다.
학습 장치는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 인공 신경망을 학습시킬 수 있다. 학습 장치는 인공 신경망의 출력들 및 레이블들 의해 설계된 손실 함수를 이용할 수 있다.
학습 장치는 미리 정의된 손실 함수(loss function)를 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 인공 신경망 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.
학습 장치는 역전파(backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 인공 신경망 내 노드들 사이의 관계들이다. 학습 장치는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 학습 장치는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.
일실시예에 따르면, 학습 장치는 레이블드 트레이닝 얼굴 이미지들(401)을 획득할 수 있다. 학습 장치는 얼굴 이미지들(401)에 각각 미리 레이블링된 정보를 획득할 수 있는데, 얼굴 이미지들(401)은 미리 분류된 얼굴 정보에 따라 레이블링될 수 있다.
일실시예에 따르면, 학습 장치는 레이블드 트레이닝 얼굴 이미지들(401)의 외관 특징들(402), 패턴 특징들(403) 및 색상 특징들(404)에 기초하여 제1 트레이닝 특징 벡터들(405)을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.
일실시예에 따르면, 학습 장치는 제1 트레이닝 특징 벡터들(405)을 제1 인공 신경망(406)에 적용하여 제1 트레이닝 출력들(407)을 획득할 수 있다. 학습 장치는 제1 트레이닝 출력들(407)과 제1 레이블들(408)에 기초하여 제1 인공 신경망(406)를 학습시킬 수 있다. 학습 장치는 제1 트레이닝 출력들(407)에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 제1 인공 신경망(406) 내 노드들의 연결 관계를 최적화하여 제1 인공 신경망(406)을 학습시킬 수 있다. 제어 장치는 학습이 완료된 제1 인공 신경망(406)을 이용하여 얼굴 이미지로부터 영상 및 사진 내의 얼굴 정보를 획득할 수 있다.
도 5는 일실시예에 따른 3차원 모델을 생성하는 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 제어 장치는 얼굴 정보(501)로부터 3차원 표지점(506)을 획득할 수 있다. 제어 장치는 얼굴 정보로부터 특징점(502)을 추출하고, 추출된 특징점(502)들로부터 3차원 좌표를 포함하는 3차원 표지점(506)의 획득 및 이로부터 3차원 모델(507)의 생성 과정을 수행할 수 있다.
도 5를 참조하면, 제어 장치는 얼굴 정보(501)에 기초하여, 얼굴의 특징점(502)들을 획득할 수 있다. 특징점(502)은 얼굴 정보 내부의 미간 중심, 눈썹의 양끝, 눈의 양 끝, 눈 옆 얼굴 외연 끝, 눈의 상연 최상단점, 눈의 하연 최하단점, 코 끝 중심, 코 양 옆 끝, 비중격 끝, 윗입술 상연 중심, 윗입술 상연 최상단점, 아랫입술 하연 중심, 아랫입술 하연 최대 변곡점, 입술 양 끝, 턱 끝 중심, 턱 양 옆 각, 양쪽 광대끝, 귀 상연 최상단점, 귀 하연 최하단점, 귀 중심, 귀 양 끝, 머리 양 끝 및 머리 상연 최상단점을 포함할 수 있으나, 이에 국한하지 않는다.
일실시예에 따르면, 얼굴의 특징점(502)은 얼굴 정보(501)가 포함하는 얼굴의 구조들로부터 얻어질 수 있는데, 각 구조들의 벡터 및 위치로부터 상대적 위치 개념을 도입해 개별 특징점(502)의 위치를 추론할 수 있다. 예를 들면, 눈썹의 양끝과 같이 구조들의 벡터 및 위치로부터 바로 구해지는 값이 있는 반면, 미간 중심과 같이 다른 구조의 위치로부터 특정되는 점들이 있을 수 있다. 미간 중심의 계산은 눈썹 양끝 중 얼굴 중심부 쪽 끝의 좌우측 두 점의 중심 및 코 끝 중심과 머리 상연 최상단점의 중심을 기준으로 삼을 수 있다.
일실시예에 따르면, 제어 장치는 특징점(502)에 기초하여 제2 특징 벡터(503)를 생성할 수 있다. 제2 특징 벡터(503)는 특징점(502)의 좌표 및 깊이 정보에 대한 가중 합이 적용된 다차원의 벡터일 수 있는데, 가중 합에 적용되는 가중치들은 각 특징들이 평균에서 멀어질수록 커지도록 조정될 수 있다. 깊이 정보는 영상의 경우에 프레임 이동에 따른 특징점(502)의 위치 변화를 통해 추론될 수 있고, 사진의 경우에 상대적인 픽셀 별 포커스 심도 차이를 통해 추론될 수 있다. 제2 특징 벡터(503)는 one-hot 벡터, 실수 벡터 등 설계 의도에 따라 다양한 형태로 정의될 수 있다. 특징 벡터 생성 시 접속 요청 패킷 내 다양한 변수들에 각각 가중치들이 적용될 수 있다. 가중치들은 인공 신경망의 학습 시 최적화될 수 있다.
일실시예에 따르면, 제어 장치는 제2 특징 벡터(503)를 기 학습된 제2 인공 신경망(504)로 인가할 수 있다. 제2 특징 벡터(503)는 제2 인공 신경망(504)의 입력 레이어에 대응할 수 있다.
일실시예에 따르면, 제어 장치는 제2 특징 벡터(503)가 인가된 제2 인공 신경망(504)으로부터 생성된 제2 출력(506)을 획득할 수 있다. 제2 출력(506)은 제2 인공 신경망(504)의 출력 레이어에 대응할 수 있다. 제어 장치는 제2 출력(506)에 기초하여 특징점(502)에 대응하는 3차원 표지점(506)을 획득할 수 있다. 3차원 표지점(506)의 값은 x, y 및 z 축으로 이뤄지는 3차원 좌표계로 표현되는 점으로서, 2차원 평면 상의 영상 및 사진으로부터 3차원 모델(507)을 생성하기 위해 사용될 수 있다.
일실시예에 따르면, 제어 장치는 제2 출력(409)이 포함하는 3차원 표지점(506)에 기초하여 3차원 모델(507)을 생성할 수 있다. 제어 장치는 각 특징점(502)에 대응하는 3차원 표지점(506)을 3차원의 평면 상에서 가상으로 연결하고, 이를 바탕으로 가장 합리적인 3차원 모델(507)을 생성할 수 있다. 3차원 모델(507)에서 3차원 표지점(506)들은 일반적으로 직선으로 연결되나, 얼굴의 특성을 고려하여 몇몇 지점에서는 완만한 곡선형태로 연결될 수 있다. 예를 들어, 눈의 하연 최하단점은 이와 연결되는 눈의 양 끝과 완만한 곡선 형태로 연결될 수 있는데, 이는 얼굴의 형태를 반영하기 위한 것일 수 있다. 3차원 모델(506)은 미리 저장된 영상 외에도, 카메라를 통해 실시간으로 캐시 메모리에 저장되는 영상 속 얼굴에도 반영될 수 있다. 3차원 모델(506)은 카메라를 통해 실시간으로 캐시 메모리에 저장되는 영상 속 얼굴의 움직임에 따라 위치를 자동으로 수정할 수 있는데, 이 과정에서 제1 내지 제2 인공 신경망을 이용하는 영상 처리 과정이 반복될 수 있다.
일실시예에 따르면, 제어 장치는 얼굴 정보(501)로부터 3차원 표지점(506)을 식별하기 위해 인공 신경망을 학습시킬 수 있다. 3차원 모델 생성을 위한 학습과 관련된 내용은 도 6을 참조하여 후술한다.
도 6은 일실시예에 따른 3차원 모델을 생성하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 학습 장치는 얼굴 정보로부터 3차원 표지점을 획득하는데 필요한 정보를 추정하기 위한 인공 신경망(604)를 학습시킬 수 있다. 학습 장치는 제어 장치와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니다.
일실시예에 따르면, 인공 신경망은 트레이닝 샘플들이 입력되는 입력 레이어와 트레이닝 출력들을 출력하는 출력 레이어를 포함하고, 트레이닝 출력들과 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 레이블들은 얼굴 정보를 통해 획득한 특징점 및 특징점에 대응하는 3차원 표지점에 기초하여 정의될 수 있다. 인공 신경망은 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다.
학습 장치는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 인공 신경망을 학습시킬 수 있다. 학습 장치는 인공 신경망의 출력들 및 레이블들 의해 설계된 손실 함수를 이용할 수 있다.
학습 장치는 미리 정의된 손실 함수(loss function)을 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 인공 신경망 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.
학습 장치는 역전파(backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 인공 신경망 내 노드들 사이의 관계들이다. 학습 장치는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 학습 장치는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.
일실시예에 따르면, 학습 장치는 레이블드 트레이닝 얼굴 정보들(601)을 획득할 수 있다. 학습 장치는 얼굴 정보들(601)에 각각 미리 레이블링된 정보를 획득할 수 있는데, 얼굴 정보들(601)은 미리 분류된 3차원 표지점들에 따라 레이블링될 수 있다.
일실시예에 따르면, 학습 장치는 레이블드 트레이닝 얼굴 정보들(601)의 특징점들(602)에 기초하여 제2 트레이닝 특징 벡터들(603)을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.
일실시예에 따르면, 학습 장치는 제2 트레이닝 특징 벡터들(603)을 제2 인공 신경망(604)에 적용하여 제2 트레이닝 출력들(605)을 획득할 수 있다. 학습 장치는 제2 트레이닝 출력들(605)과 제2 레이블들(606)에 기초하여 제2 인공 신경망(604)를 학습시킬 수 있다. 학습 장치는 제2 트레이닝 출력들(605)에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 제2 인공 신경망(604) 내 노드들의 연결 관계를 최적화하여 제2 인공 신경망(604)을 학습시킬 수 있다. 제어 장치는 학습이 완료된 제2 인공 신경망(604)을 이용하여 얼굴 정보로부터 3차원 표지점을 획득할 수 있다.
도 7은 일실시예에 따른 피부 정보를 처리하는 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 제어 장치는 얼굴 이미지를 분석하여 얼굴 정보를 추정하고, 추정된 정보를 데이터베이스로 관리할 수 있다. 제어 장치는 영상 및 사진을 통한 얼굴 이미지로부터 얼굴 정보(701)를 획득할 수 있다.
일실시예에 따르면, 제어 장치는 얼굴 정보(701) 내 색상 정보 및 텍스쳐 정보에 기초하여 유효 피부 경계(702)를 식별할 수 있다. 제어 장치는 영역 별로 머리인지 얼굴인지 여부를 색상과 텍스쳐를 기반으로 판단할 수 있다. 제어 장치는 미리 정의된 단위의 필터를 슬라이딩하여 각 영역 별로 피부 여부를 판단할 수 있고, 그 필터는 색상과 텍스쳐에 따라 결과를 출력하도록 설계될 수 있다.
일실시예에 따르면, 제어 장치는 얼굴 정보(701) 내에서 유효 피부 경계로 분리되는 유효 피부 영역(703)를 추출할 수 있다. 제어 장치는 유효 피부 영역(703) 내 입자 객체들의 외관 특징들을 추출할 수 있다.
일실시예에 따르면, 제어 장치는 추출된 외관 특징들에 기초하여, 입자 객체들 중 이물질 객체(704)를 식별하고, 이물질 객체(704)를 유효 피부 영역(703)로부터 제거할 수 있다. 제어 장치는 유효 피부 영역(703) 내 분포하는 점, 여드름, 흉터 및 주름의 외관, 색상 및 텍스쳐 정보를 기준으로 미리 정의된 범위를 벗어나는 객체를 식별하고, 식별된 객체를 이물질 객체(704)로 판단할 수 있다.
일실시예에 따르면, 제어 장치는 이물질 객체가 제거된 유효 피부 영역(703) 내 입자 객체들의 종류 특징들(706 내지 709)을 추출할 수 있다. 제어 장치는 유효 피부 영역(703) 내 입자 객체들을 식별하고, 식별된 입자 객체들을 설명하는 정보 중 종류 특징들(706 내지 709)을 종류 별로 추출할 수 있다. 제어 장치는 점, 여드름, 흉터 및 주름을 분류하는데 기준이 되는 범위에 따라 종류 특징들(706 내지 709)을 종류 별로 추출하고 분류할 수 있다.
일실시예에 따르면, 제어 장치는 추출된 종류 특징들(706 내지 709)에 기초하여 입자 객체들을 점 객체(706), 여드름 객체(707), 흉터 객체(708) 및 주름 객체(709) 중 어느 하나로 각각 분류할 수 있다. 제어 장치는 점 객체(706)로 분류된 적어도 하나의 입자 객체의 유효 피부 영역(703) 내 제1 비율을 생성할 수 있다. 제1 비율은 유효 피부 영역(703) 내 점의 비율과 대응할 수 있다. 점은 주변 피부보다 채도 및 명도가 낮은 짙은 색을 띠고 있으며, 경우에 따라 융기된 양상을 보이는데, 제어 장치는 제1 비율을 이용하여 이러한 특성이 반영된 피부 정보를 생성할 수 있다.
일실시예에 따르면, 제어 장치는 여드름 객체(707), 흉터 객체(708) 및 주름 객체(709)로 분류된 적어도 하나의 입자 객체의 유효 피부 영역(703) 내 제2 비율들을 생성할 수 있다. 제2 비율은 유효 피부 영역(703) 내 여드름, 흉터 및 주름의 각 비율들과 대응할 수 있다. 여드름은 주변의 피부보다 하얗거나, 연붉은 양상을 보이며 경우에 따라 융기된 양상을 보일 수도 있다. 때에 따라 검붉은 양상을 보이기도 하는데, 이는 여드름이 터져 피가 고인 것으로 이 또한 여드름의 일종으로 분류될 수 있다. 일반적으로 둥그런 형태를 보이는 것을 특징으로 할 수 있다.
흉터는 일반적으로 기다란 양상을 보이며, 주변 피부보다 하얗고, 융기된 양상을 보일 수 있다. 딱지가 앉은 상처의 경우, 텍스쳐가 거칠고 두꺼운 입자 특성을 보일 수 있다. 주름은 일반적으로 기다란 양상을 보이며, 침몰된 양상을 보일 수 있다. 영상 및 사진 상에서 빛을 못 받아 주변보다 명도가 낮은 검은 선으로 나타나는 것이 일반적일 수 있다.
일실시예에 따르면, 제어 장치는 이물질 객체의 유효 피부 영역(703) 내 제3 비율을 생성할 수 있다. 여기서, 비율은 영역 내 차지하는 비율을 의미할 수 있다.
일실시예에 따르면, 제어 장치는 유효 피부 영역(703) 내 색상 특징을 추출할 수 있다. 제어 장치는 색상 특징에 기초하여 피부색 정보를 생성할 수 있다. 피부의 색은 인종을 분류하는 데 중요한 사항의 하나이며, 자동 보정 필터를 통한 보정 시 보정 정도를 결정하는 자료로 삼을 수도 있다. 피부색은 인종에 따른 자연스러운 보정 결과를 제공하기 위한 정보일 수 있다. 피부색은 색상으로 구분하면서, 명도와 채도를 활용하여 표현될 수 있다.
일실시예에 따르면, 제어 장치는 제1 비율, 제2 비율들, 제3 비율 및 피부색 정보에 기초하여 표피 정보를 생성할 수 있다. 표피 정보는 피부의 잡티 정도, 각화 정도, 수분 정도 및 관리 상태를 판단하는 기준이 될 수 있다.
일실시예에 따르면, 제어 장치는 식별된 표피 정보에 기초하여 유효 피부 영역(703)에 대응하는 제3 특징 벡터(710)를 생성할 수 있다. 제어 장치는 제3 특징 벡터(710)를 미리 학습된 제3 인공 신경망(711)로 적용하여 제3 출력(712)을 획득할 수 있다. 제3 인공 신경망(711)는 얼굴 정보(701)로부터 추출된 특징들을 기반으로 생성된 표피 정보에 따른 입력으로부터 피부 정보를 추정하도록 학습될 수 있다. 제어 장치는 제3 출력(712)에 기초하여 유효 피부 영역(703)에 대응하는 피부 정보를 생성할 수 있다. 제3 출력(712)은 피부 환경을 설명하는 변수들로 설계될 수 있다. 또한, 제3 출력(712)은 인종의 분류에 따라 이산적으로 설계될 수 있는데, 예를 들어 제3 인공 신경망(711)의 출력 레이어의 출력 노드들은 각각 흑인, 백인 및 황인 등에 각각 대응하고, 출력 노드들은 각 인종 분류들 별로 확률값들을 각각 출력할 수 있다. 이하 도 8을 참조하여 제3 인공 신경망(711)의 학습 내용이 후술된다.
도 8은 일실시예에 따른 피부 정보를 처리하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 학습 장치는 얼굴 정보로부터 피부 정보를 획득하는데 필요한 정보를 추정하기 위한 인공 신경망(804)을 학습시킬 수 있다. 학습 장치는 제어 장치와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니고, 상술한 학습 방법과 중복되는 내용은 생략된다.
일실시예에 따르면, 학습 장치는 레이블드 트레이닝 얼굴 정보들(801)을 획득할 수 있다. 학습 장치는 트레이닝 얼굴 정보들(801)에 각각 미리 레이블링된 정보를 획득할 수 있는데, 트레이닝 얼굴 정보들(801)은 미리 분류된 피부 정보에 따라 레이블링될 수 있다.
일실시예에 따르면, 학습 장치는 레이블드 트레이닝 얼굴 정보들(801)의 색상 정보, 텍스쳐 정보 및 입자 객체들의 외관 특징들, 종류 특징들 중 적어도 하나에 기초하여 점 객체에 대응하는 제1 비율, 여드름 객체, 흉터 객체 및 주름 객체에 대응하는 제2 비율들, 이물질 객체에 대응하는 제3 비율 및 피부색 정보에 기초하여 표피 정보(802)를 생성할 수 있다. 학습 장치는 표피 정보(802)에 기초하여 제3 트레이닝 특징 벡터들(803)을 생성할 수 있다.
일실시예에 따르면, 학습 장치는 제3 트레이닝 특징 벡터들(803)을 제3 인공 신경망(804)에 적용하여 제3 트레이닝 출력들(805)을 획득할 수 있다. 학습 장치는 제3 트레이닝 출력들(805)과 제3 레이블들(806)에 기초하여 제3 인공 신경망(804)를 학습시킬 수 있다. 학습 장치는 제3 트레이닝 출력들(805)에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 제3 인공 신경망(804) 내 노드들의 연결 관계를 최적화하여 제3 인공 신경망(804)을 학습시킬 수 있다. 제어 장치는 학습이 완료된 제3 인공 신경망(804)을 이용하여 얼굴 정보로부터 피부 정보를 획득할 수 있다.
도 9는 일실시예에 따른 3차원 모델과 피부 정보에 따른 보정 정보를 판단하는 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 제어 장치는 3차원 모델과 피부 정보에 기초하여 자동 보정 필터를 획득할 수 있다. 여기서, 3차원 모델 및 피부 정보는 각각 도 5 및 도 7을 참조하여 상술된 기법에 의해 생성될 수 있다.
일실시예에 따르면, 제어 장치는 3차원 모델(901) 및 피부 정보(902)에 기초하여 제4 특징 벡터(903)를 생성할 수 있다. 제어 장치는 제4 특징 벡터(903)를 미리 학습된 제4 인공 신경망(904)에 적용하여 제4 출력(905)을 획득할 수 있다. 제어 장치는 제4 출력(905)에 기초하여 자동 보정 필터의 선택을 위한 보정 정보(906)를 생성할 수 있다. 제어 장치는 생성된 보정 정보(906)에 기초하여 어떠한 자동 보정 필터를 적용할지 여부에 대한 판단 결과를 생성할 수 있다. 제어 장치는 3차원 모델(901) 및 피부 정보(902) 사이의 연관 관계를 고려하여 보정 정보를 딥 러닝을 통해 추정할 수 있다. 이하 도 11을 참조하여 제4 인공 신경망(904)의 학습 내용이 후술된다.
일실시예에 따른 인공지능 기반 스마트 앨범 생성 장치는 3차원 모델과 피부 정보를 활용해 개별 얼굴에 최적화된 자동 보정 필터를 적용할 수 있다.
도 10은 일실시예에 따른 보정 정보에 따른 자동 보정 필터를 적용하는 방법을 설명하기 위한 도면이다.
도 10을 참조하면 제어 장치는 보정 정보(1001)에 기초하여, 영상 및 사진 속 얼굴에 자동 보정 필터(1002)를 적용할 수 있다. 보정 정보(1001)는 얼굴 정보를 통해 획득한 3차원 모델 및 피부 정보로부터 생성할 수 있는데, 보정을 위해 필요한 보정 위치, 종류 및 정도 등을 포함하는 정보일 수 있다.
일실시예에 따르면, 제어 장치는 영상 및 사진 속 얼굴과 3차원 모델을 매칭하여 3차원 표지점의 위치를 수정 및 고정하여 반영하도록 할 수 있다. 특히 영상의 경우, 제어 장치는 영상 내 사용자의 움직임에 따라 이동을 반영한 3차원 표지점의 수정 위치를 반영되도록 할 수 있다. 3차원 표지점의 수정은 실시간 영상에 대해서도 적용될 수 있는데, 사용자가 카메라를 이용해 실시간으로 캐시 메모리에 저장하는 영상이 이에 해당할 수 있다.
일실시예에 따르면, 자동 보정 필터(1002)에 저장된 데이터는 각 3차원 표지점의 절대값이 아닌 상대적 비율값의 수정으로서, 상대적 위치를 통해 3차원 모델의 형태를 변형할 수 있다. 상대적 위치의 기준은 눈 옆 얼굴 외연 끝 사이의 거리로서, 이 거리를 기준으로 눈, 눈썹, 코, 광대, 이마, 입술 및 턱의 위치를 조정할 수 있다. 자동 보정 필터(1002)에 저장된 데이터는 단순히 정면을 바라본 상태의 상대적 비율값뿐만 아니라 얼굴이 회전하는 동안의 궤적 내 모든 상대적 비율값을 포함할 수 있다. 제어 장치는 상대적 비율값에 따라 조정되는 위치가 기존의 3차원 표지점 위치로부터 연결된 다른 표지점과의 거리의 20% 이상 벗어나도록 조정될 경우, 20% 까지만 조정을 하고 그 이상 위치를 이동하지 않도록 할 수 있다. 이는 3차원 모델에서의 위치 조정에 따라 얼굴의 왜곡이 심한 경우를 대비하기 위함으로, 필요에 따라 각 점으로부터 다른 점과의 연결을 곡선화 처리할 수 있으나, 이에 국한하지 않는다.
일실시예에 따르면, 제어 장치는 사용자의 3차원 표지점에 기초하여, 사용자의 얼굴과 배경을 분리할 수 있으며, 이로부터 얼굴과 배경을 분리하여 색상, 채도, 명도, 선명도 등의 값을 자동으로 조절할 수 있다. 자동 보정 필터(1002)를 통해 자동 조절되는 색상, 채도 및 명도는 일반적으로 RGB 가산혼합을 통해 이뤄질 수 있으며, 8비트를 해당하는 빨강, 초록, 파랑의 색상에 할당함으로써, 각 색상마다 256가지의 명도, 채도를 결정하도록 할 수 있다. 이 시스템을 통해 2563인 16,777,216가지의 색상, 채도, 명도를 표현할 수 있다. 예를 들어, 검정 색은 빨강, 초록, 파랑 색을 각각 수치화한 삼원색의 삼차원 직교 좌표계에서 (0,0,0)으로 표현 가능하며, 하얀 색은 (255,255,255)로 표현될 수 있다. 빨강은 (255,0,0), 초록은 (0,255,0), 파랑은 (0,0,255)일 수 있다. 경우에 따라 색상은 CMYK 감산혼합 방법을 사용할 수 있다. 자동 보정 필터(1002)의 블러는 피부 정보(1001)를 통해 점 객체, 여드름 객체, 흉터 객체 및 주름 객체 등을 제거하기 위한 목적으로 사용될 수 있으며, 그 정도에 따라 자동 보정 필터(1002)의 강도가 조정될 수 있다. 자동 보정 필터(1002)의 선명도는 카메라의 포커스와 마찬가지로, 빛의 간섭 무늬에 의한 흐릿함을 조절하는 값을 의미할 수 있다. 일반적으로 자동 보정 필터(1002)는 촬영되는 영상 및 사진의 배경을 대상보다 흐릿하게 처리함으로써, 대상을 돋보이도록 하는 데 쓰일 수 있다. 선명도는 블러 필터를 적용하는 방식을 사용할 수 있는데, 한 방향성을 가진 모션 블러와 방사 방향 및 회전 방향을 가진 래디얼 블러 등이 있을 수 있으나, 이에 국한하지 않는다. 보정 정보(1001)에 따라 지정된 자동 보정 필터(1002)의 종류에 따라 보정의 강도가 달라질 수 있다.
일실시예에 따르면, 제어 장치는 자동 보정 필터(1002)를 통해 보정 전 얼굴(1003)을 자동으로 보정할 수 있다. 예를 들어, 제어 장치는 보정 전 얼굴(1003)로부터 얼굴 이미지를 획득하고, 이로부터 머리, 눈썹, 눈, 코, 입술, 귀 및 얼굴 골격을 포함하는 얼굴 정보를 생성하고, 얼굴 정보에 기초하여 3차원 모델 및 피부 정보를 획득할 수 있다. 제어 장치는 보정 전 얼굴(1003)의 얼굴 정보에 기초하여, 특징점으로부터 3차원 표지점을 판단하고, 그로부터 3차원 모델을 생성할 수 있다. 제어 장치는 보정 전 얼굴(1003)의 얼굴 정보에 기초하여, 점 객체, 여드름 객체, 흉터 객체 및 주름 객체를 찾고, 이로부터 피부 정보를 획득할 수 있다. 제어 장치는 자동 보정 필터(1002)를 통해 보정 전 얼굴(1003)의 점, 여드름, 흉터 및 주름을 삭제하고, 얼굴의 구조 및 골격을 조절하여 보정 후 얼굴(1004)을 생성할 수 있다.
도 11은 일실시예에 따른 3차원 모델과 피부 정보에 따른 보정 정보를 판단하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 학습 장치는 3차원 모델과 피부 정보에 따른 보정 정보를 추정하기 위한 인공 신경망(1104)를 학습시킬 수 있다. 학습 장치는 제어 장치와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니고, 상술한 학습 방법과 중복되는 내용은 생략된다.
일실시예에 따르면, 학습 장치는 레이블드 트레이닝 3차원 모델들(1101) 및 레이블드 트레이닝 피부 정보들(1102)을 획득할 수 있다. 학습 장치는 트레이닝 3차원 모델들(1101) 및 트레이닝 피부 정보들(1102)에 각각 미리 레이블링된 정보를 획득할 수 있는데, 트레이닝 3차원 모델들(1101) 및 트레이닝 피부 정보들(1102)은 미리 분류된 보정 정보들에 따라 레이블링될 수 있다.
일실시예에 따르면, 학습 장치는 레이블드 트레이닝 3차원 모델들(1101) 및 레이블드 트레이닝 피부 정보들(1102)에 기초하여 제4 트레이닝 특징 벡터들(1103)을 생성할 수 있다. 학습 장치는 제4 트레이닝 특징 벡터들(1103)을 제4 인공 신경망(1104)에 적용하여 제4 트레이닝 출력들(1105)을 획득할 수 있다. 학습 장치는 제4 트레이닝 출력들(1105)과 제4 레이블들(1106)에 기초하여 제4 인공 신경망(1104)를 학습시킬 수 있다. 학습 장치는 제4 트레이닝 출력들(1105)에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 제4 인공 신경망(1104) 내 노드들의 연결 관계를 최적화하여 제4 인공 신경망(1104)를 학습시킬 수 있다. 제어 장치는 학습이 완료된 제4 인공 신경망(1104)를 이용하여 3차원 모델 및 피부 정보에 적합한 보정 정보를 판단할 수 있다.
도 12는 일실시예에 따른 3차원 모델과 피부 정보에 따른 카테고리를 판단하는 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 제어 장치는 3차원 모델과 피부 정보에 기초하여 카테고리를 획득할 수 있다. 여기서, 3차원 모델 및 피부 정보는 각각 도 5 및 도 7을 참조하여 상술된 기법에 의해 생성될 수 있다.
일실시예에 따르면, 제어 장치는 3차원 모델(1201) 및 피부 정보(1202)에 기초하여 제5 특징 벡터(1203)를 생성할 수 있다. 제어 장치는 제5 특징 벡터(1203)를 미리 학습된 제5 인공 신경망(1204)에 적용하여 제5 출력(1205)을 획득할 수 있다. 제어 장치는 제5 출력(1205)에 기초하여 데이터베이스로부터 카테고리(1206)를 검색 및 생성할 수 있다. 제어 장치는 생성된 카테고리(1206)에 기초하여 영상 및 사진과의 연결 관계에 대한 판단 결과를 생성할 수 있다. 제어 장치는 3차원 모델(1201) 및 피부 정보(1202) 사이의 연관 관계를 고려하여 카테고리를 딥 러닝을 통해 추정할 수 있다. 이하 도 14을 참조하여 제5 인공 신경망(1204)의 학습 내용이 후술된다.
일실시예에 따른 인공지능 기반 스마트 앨범 생성 장치는 촬영된 영상 및 사진의 얼굴을 카테고리화 하여 개별 앨범으로 분류할 수 있다.
도 13은 일실시예에 따른 3차원 모델과 피부 정보에 따른 카테고리를 설명하기 위한 도면이다.
도 13을 참조하면, 카테고리는 일반적으로 대상이 속하는 최적화된 분류를 의미하는 것일 수 있는데, 이는 인공지능 기반 스마트 앨범 생성 장치가 구별할 수 있는 최적화된 분류를 의미하는 것일 수 있다. 예를 들어, 제5 인공 신경망은 '성인'으로 분류된 사람에 대해서는 '남성'과 '여성'과 같은 성별을 추가적으로 분류할 수 있지만, '아기'나 '노인'에게서는 성별에 따른 세부 분류를 하지 않을 수 있다. 제5 인공 신경망은 기존에 존재하는 카테고리에 영상 및 사진을 분류해 연결함과 동시에 개별 얼굴에 대해 하위 카테고리를 생성해 관리할 수 있다. 예를 들어, '성인 남성'에 해당하는 A와 B라는 다른 인물의 영상 및 사진이 있다면, '성인 남자1' 및 '성인 남자2'로 분리하여 '성인 남자'의 하위 카테고리로 연결할 수 있다. 이후, A나 B의 영상 및 사진이 추가되면 '성인 남자1' 및 '성인 남자2' 카테고리에 연결될 수 있다. 사용자는 '성인 남자1'로 분류된 카테고리의 이름을 설정할 수 있으며, 설정되기 전에는 해당 카테고리 명칭의 뒤에 상수를 붙이는 형식으로 생성될 수 있다.
일실시예에 따르면, 카테고리는 제5 인공 신경망이 분류할 수 있는 최소 단위를 기준으로 결정될 수 있으며, 제5 인공 신경망의 학습에 따라 카테고리의 양이 결정될 수 있다. 카테고리는 제어 장치 내 데이터베이스 내에 미리 저장돼있을 수 있다.
일실시예에 따른 카테고리는 사용자의 편의를 위해 검색을 통한 영상 및 사진 찾기 기능을 제공할 수 있는데, 이는 카테고리가 해당 영상 및 사진과 연결되는 방식에 따라 결정될 수 있다. 카테고리와 해당 사진 및 영상의 연결은 직접 링크를 연결하는 방식이 있을 수 있으며, 추가적으로 해시태그와 같은 메타 분류 기법을 사용할 수도 있다. 사진 및 영상의 대상이 복수인 경우는 해당하는 모든 카테고리에 포함되도록 분류하고, 연결되도록 할 수 있다. 예를 들어, 사진 속에 A와 B라는 인물의 얼굴이 함께 찍힌 경우, 해당 사진은 A 인물을 연결하는 카테고리 및 B 인물을 연결하는 카테고리 모두에 포함된 것으로 분류될 수 있다.
도 14은 일실시예에 따른 3차원 모델과 피부 정보에 따른 카테고리를 판단하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 학습 장치는 3차원 모델과 피부 정보에 따른 카테고리를 추정하기 위한 인공 신경망(1404)를 학습시킬 수 있다. 학습 장치는 제어 장치와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니고, 상술한 학습 방법과 중복되는 내용은 생략된다.
일실시예에 따르면, 학습 장치는 레이블드 트레이닝 3차원 모델들(1401) 및 레이블드 트레이닝 피부 정보들(1402)을 획득할 수 있다. 학습 장치는 트레이닝 3차원 모델들(1401) 및 트레이닝 피부 정보들(1402)에 각각 미리 레이블링된 정보를 획득할 수 있는데, 트레이닝 3차원 모델들(1401) 및 트레이닝 피부 정보들(1402)은 미리 분류된 카테고리들에 따라 레이블링될 수 있다.
일실시예에 따르면, 학습 장치는 레이블드 트레이닝 3차원 모델들(1401) 및 레이블드 트레이닝 피부 정보들(1402)에 기초하여 제4 트레이닝 특징 벡터들(1403)을 생성할 수 있다. 학습 장치는 제4 트레이닝 특징 벡터들(1403)을 제4 인공 신경망(1404)에 적용하여 제4 트레이닝 출력들(1405)을 획득할 수 있다. 학습 장치는 제4 트레이닝 출력들(1405)과 제4 레이블들(1406)에 기초하여 제4 인공 신경망(1404)를 학습시킬 수 있다. 학습 장치는 제4 트레이닝 출력들(1405)에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 제4 인공 신경망(1404) 내 노드들의 연결 관계를 최적화하여 제4 인공 신경망(1404)를 학습시킬 수 있다. 제어 장치는 학습이 완료된 제4 인공 신경망(1404)를 이용하여 3차원 모델 및 피부 정보에 적합한 카테고리를 판단할 수 있다.
도 15는 일실시예에 따른 장치의 구성의 예시도이다.
일실시예에 따른 장치(1501)는 프로세서(1502) 및 메모리(1503)를 포함한다. 일실시예에 따른 장치(1501)는 상술한 서버 또는 단말일 수 있다. 프로세서는 도 1 내지 도 14을 통하여 전술한 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 14을 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(1503)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(1503)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.
프로세서(1502)는 프로그램을 실행하고, 장치(1501)를 제어할 수 있다. 프로세서(1502)에 의하여 실행되는 프로그램의 코드는 메모리(1503)에 저장될 수 있다. 장치(1501)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
Claims (5)
- 인공지능을 기반으로 한 스마트 앨범의 생성 방법에 있어서,
제어 장치가
카메라를 제어해 얼굴을 포함한 영상 및 사진을 획득하는 단계;
상기 영상 및 사진에 기초하여, 얼굴 정보를 획득하는 단계;
상기 얼굴 정보에 기초하여, 3차원 모델을 생성하는 단계;
상기 얼굴 정보에 기초하여, 피부 정보를 생성하는 단계; 및
상기 3차원 모델 및 상기 피부 정보에 기초하여, 자동 보정 필터를 적용하는 단계
를 포함하고,
상기 얼굴 정보를 획득하는 단계는
상기 영상 및 사진의 얼굴 이미지를 획득하는 단계;
상기 얼굴 이미지 내 적어도 하나의 얼굴을 포함하는 얼굴 그룹 객체를 배경으로부터 분리하는 단계;
상기 얼굴 그룹 객체의 곡률들의 변화율의 연속성에 기초하여 얼굴 객체들을 식별하는 단계;
상기 얼굴 객체들의 외관 특징들, 패턴 특징들 및 색상 특징들을 추출하는 단계;
상기 추출된 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제1 특징 벡터를 생성하는 단계;
상기 제1 특징 벡터를 미리 학습된 제1 인공 신경망에 적용하여 제1 출력을 획득하는 단계; 및
상기 제1 출력에 기초하여 얼굴 정보를 획득하는 단계
를 포함하는,
인공지능 기반 스마트 앨범 생성 방법.
- 제1항에 있어서,
상기 제1 인공 신경망은
상기 제1 특징 벡터를 입력으로 하는 병렬적 구성의 제1 내지 제5 컨볼루션 신경망; 및
상기 제1 내지 제5 컨볼루션 신경망의 출력을 비교하여 최적화된 얼굴 정보를 출력하는 제1 뉴럴 네트워크
를 포함하고,
상기 제어 장치가
레이블드 트레이닝 얼굴 이미지들을 획득하는 단계;
상기 레이블드 트레이닝 얼굴 이미지들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제1 트레이닝 특징 벡터들을 생성하는 단계;
상기 제1 트레이닝 특징 벡터들을 상기 제1 인공 신경망에 적용하여 제1 트레이닝 출력들을 획득하는 단계; 및
상기 제1 트레이닝 출력들 및 제1 레이블들에 기초하여 상기 제1 인공 신경망을 학습시키는 단계
를 더 포함하는,
인공지능 기반 스마트 앨범 생성 방법.
- 제1항에 있어서,
상기 제어 장치가
상기 3차원 모델을 생성하는 단계는
상기 얼굴 정보에 기초하여, 얼굴 특징점-상기 특징점은 상기 얼굴 정보 내부의 미간 중심, 눈썹의 양끝, 눈의 양 끝, 눈 옆 얼굴 외연 끝, 눈의 상연 최상단점, 눈의 하연 최하단점, 코 끝 중심, 코 양 옆 끝, 비중격 끝, 윗입술 상연 중심, 윗입술 상연 최상단점, 아랫입술 하연 중심, 아랫입술 하연 최대 변곡점, 입술 양 끝, 턱 끝 중심, 턱 양 옆 각, 양쪽 광대끝, 귀 상연 최상단점, 귀 하연 최하단점, 귀 중심, 귀 양 끝, 머리 양 끝 및 머리 상연 최상단점을 포함함-을 획득하는 단계;
상기 얼굴 특징점에 기초하여, 제2 특징 벡터를 생성하는 단계;
상기 제2 특징 벡터를 미리 학습된 제2 인공 신경망에 적용하여 3차원 표지점을 포함하는 제2 출력을 획득하는 단계;
상기 제2 출력에 기초하여, 상기 3차원 모델을 생성하는 단계
를 포함하고,
상기 제어 장치가
레이블드 트레이닝 얼굴 정보들을 획득하는 단계;
상기 레이블드 트레이닝 얼굴 정보들에 기초하여, 얼굴 정보에 포함된 얼굴 구조들의 특징으로부터 특징점들을 획득하는 단계;
상기 특징점들에 기초하여 제2 트레이닝 특징 벡터들을 생성하는 단계;
상기 제2 트레이닝 특징 벡터들을 상기 제2 인공 신경망에 적용하여 제2 트레이닝 출력들을 획득하는 단계; 및
상기 제2 트레이닝 출력들 및 제2 레이블들에 기초하여 상기 제2 인공 신경망을 학습시키는 단계
를 더 포함하는,
인공지능 기반 스마트 앨범 생성 방법.
- 삭제
- 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200013324 | 2020-02-04 | ||
| KR20200013324 | 2020-02-04 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102160128B1 true KR102160128B1 (ko) | 2020-09-25 |
Family
ID=72707765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200031789A KR102160128B1 (ko) | 2020-02-04 | 2020-03-16 | 인공지능 기반 스마트 앨범 생성 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102160128B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112702635A (zh) * | 2020-12-28 | 2021-04-23 | 深圳康佳电子科技有限公司 | 一种基于人脸识别的图片投屏方法、系统及智能电视 |
| KR102555166B1 (ko) * | 2022-10-04 | 2023-07-12 | 인하대학교 산학협력단 | 매우 미세한 얼굴 피부 정보를 포함하는 얼굴 텍스처 생성 방법 및 시스템 |
| KR102589253B1 (ko) * | 2022-06-22 | 2023-10-13 | 주식회사 드랩 | 인공지능 기반 컨텐츠 가공 서비스 제공 방법, 서버 및 컴퓨터 프로그램 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100651206B1 (ko) | 2005-07-29 | 2006-12-01 | 주식회사 팬택 | 안면인식 알고리즘을 이용한 휴대폰의 영상 촬영 시스템 및그 방법 |
| KR101007276B1 (ko) | 2002-10-07 | 2011-01-13 | 테크니온 리서치 앤드 디벨롭먼트 파운데이션 리미티드 | 3차원 안면 인식 |
| KR101640014B1 (ko) | 2014-07-17 | 2016-07-15 | 크루셜텍 (주) | 허위 안면 이미지 분류가 가능한 홍채 인식 장치 |
| KR101841641B1 (ko) | 2016-02-15 | 2018-03-26 | (주)유신당피씨에스 | 히스토리별 사진군 포토앨범 자동 분류시스템 |
-
2020
- 2020-03-16 KR KR1020200031789A patent/KR102160128B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101007276B1 (ko) | 2002-10-07 | 2011-01-13 | 테크니온 리서치 앤드 디벨롭먼트 파운데이션 리미티드 | 3차원 안면 인식 |
| KR100651206B1 (ko) | 2005-07-29 | 2006-12-01 | 주식회사 팬택 | 안면인식 알고리즘을 이용한 휴대폰의 영상 촬영 시스템 및그 방법 |
| KR101640014B1 (ko) | 2014-07-17 | 2016-07-15 | 크루셜텍 (주) | 허위 안면 이미지 분류가 가능한 홍채 인식 장치 |
| KR101841641B1 (ko) | 2016-02-15 | 2018-03-26 | (주)유신당피씨에스 | 히스토리별 사진군 포토앨범 자동 분류시스템 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112702635A (zh) * | 2020-12-28 | 2021-04-23 | 深圳康佳电子科技有限公司 | 一种基于人脸识别的图片投屏方法、系统及智能电视 |
| CN112702635B (zh) * | 2020-12-28 | 2023-10-27 | 深圳康佳电子科技有限公司 | 基于人脸识别的图片投屏方法、系统、智能电视及介质 |
| KR102589253B1 (ko) * | 2022-06-22 | 2023-10-13 | 주식회사 드랩 | 인공지능 기반 컨텐츠 가공 서비스 제공 방법, 서버 및 컴퓨터 프로그램 |
| KR102555166B1 (ko) * | 2022-10-04 | 2023-07-12 | 인하대학교 산학협력단 | 매우 미세한 얼굴 피부 정보를 포함하는 얼굴 텍스처 생성 방법 및 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11455495B2 (en) | System and method for visual recognition using synthetic training data | |
| US20210073953A1 (en) | Method for applying bokeh effect to image and recording medium | |
| US20210004589A1 (en) | Scene and user-input context aided visual search | |
| WO2019128508A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US10217195B1 (en) | Generation of semantic depth of field effect | |
| KR102160128B1 (ko) | 인공지능 기반 스마트 앨범 생성 방법 및 장치 | |
| US20220172450A1 (en) | Depth-based object re-identification | |
| US11651229B2 (en) | Methods and systems for face recognition | |
| Betancourt et al. | The evolution of first person vision methods: A survey | |
| WO2020078119A1 (zh) | 模拟用户穿戴服装饰品的方法、装置和系统 | |
| WO2020125499A1 (zh) | 一种操作提示方法及眼镜 | |
| CN109614910B (zh) | 一种人脸识别方法和装置 | |
| US11430124B2 (en) | Visual object instance segmentation using foreground-specialized model imitation | |
| CN110503703A (zh) | 用于生成图像的方法和装置 | |
| US20210174539A1 (en) | A method for estimating the pose of a camera in the frame of reference of a three-dimensional scene, device, augmented reality system and computer program therefor | |
| EP3647992A1 (en) | Face image processing method and apparatus, storage medium, and electronic device | |
| US11468571B2 (en) | Apparatus and method for generating image | |
| Weber et al. | High-level geometry-based features of video modality for emotion prediction | |
| CN113591763A (zh) | 人脸脸型的分类识别方法、装置、存储介质及计算机设备 | |
| CN112446322A (zh) | 眼球特征检测方法、装置、设备及计算机可读存储介质 | |
| CN110516598A (zh) | 用于生成图像的方法和装置 | |
| Ahn et al. | Implement of an automated unmanned recording system for tracking objects on mobile phones by image processing method | |
| US20140050404A1 (en) | Combining Multiple Image Detectors | |
| KR102300500B1 (ko) | 제품 입체컷 이미지 처리 방법, 장치 및 시스템 | |
| US20230035282A1 (en) | Adaptive bounding for three-dimensional morphable models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |