KR102390252B1 - 이미지 데이터에 가상 조명 조정들을 제공하기 위한 기술 - Google Patents
이미지 데이터에 가상 조명 조정들을 제공하기 위한 기술 Download PDFInfo
- Publication number
- KR102390252B1 KR102390252B1 KR1020207007973A KR20207007973A KR102390252B1 KR 102390252 B1 KR102390252 B1 KR 102390252B1 KR 1020207007973 A KR1020207007973 A KR 1020207007973A KR 20207007973 A KR20207007973 A KR 20207007973A KR 102390252 B1 KR102390252 B1 KR 102390252B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- masks
- virtual
- region
- headshot
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000005259 measurement Methods 0.000 claims abstract description 48
- 238000005286 illumination Methods 0.000 claims description 71
- 238000010801 machine learning Methods 0.000 claims description 18
- 230000001815 facial effect Effects 0.000 claims description 12
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 25
- 210000004709 eyebrow Anatomy 0.000 description 19
- 210000001061 forehead Anatomy 0.000 description 15
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 230000009467 reduction Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010004950 Birth mark Diseases 0.000 description 1
- 206010014970 Ephelides Diseases 0.000 description 1
- 208000003351 Melanosis Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G06T5/008—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Ophthalmology & Optometry (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
본 개시내용의 실시예들은 이미지 데이터에 가상 조명 조정들을 제공하기 위한 시스템들, 방법들, 및 컴퓨터 판독가능 매체를 제공할 수 있다. 이미지 데이터를 제시 및/또는 수정하기 위한 사용자 인터페이스가 전자 디바이스를 통해 제공될 수 있다. 가상 조명 모드의 선택을 나타내는 사용자 입력이 수신될 수 있다. 이미지 데이터의 픽셀들의 세트에 대응하는 랜드마크 포인트들은 픽셀들의 세트의 심도 측정 값들에 적어도 부분적으로 기초하여 식별될 수 있다. 하나 이상의 마스크가 랜드마크 포인트들로부터 생성될 수 있다. 선택된 가상 조명 모드와 연관된 하나 이상의 가상 조명 조정은 이 마스크들(또는 랜드마크 포인트들 및 랜드마크 포인트들의 암시된 기하학적 구조)을 사용하여 이미지 데이터에 대해 이루어질 수 있다. 조정된/수정된 이미지는 전자 디바이스에서 사용자 인터페이스를 통해 사용자에게 제시될 수 있다.
Description
관련 출원의 상호 참조
본 출원은, 2017년 9월 9일자로 출원된 미국 가출원 제62/556,411호의 우선권의 이익을 주장하는, 2018년 7월 11일자로 출원된 미국 정식 출원 제16/032,418호의 우선권을 주장하며, 이 출원들의 개시내용들은 이로써 모든 목적을 위해 그 전체가 참고로 포함된다.
사람들이 그들의 일상 생활의 과정 중에 사진을 촬영하는 것은 더욱 흔한 일이 되었다. 많은 퍼스널 디바이스들(예컨대, 스마트폰, 웨어러블 디바이스, 태블릿 등)이 이제 디지털 카메라를 포함하여, 사진 촬영을 쉽게 접근가능한 활동이 되게 한다. 독립형 디지털 카메라들은 계속해서 인기 있어왔다. 소셜 미디어는 사용자들이 종종 그 자신들이나 사랑하는 사람들의 사진들을 그들의 소셜 그룹에 포스팅함에 따라 이미지들을 통해 경험들을 공유하는 것의 증가된 관심을 자극해 왔다. 대부분의 퍼스널 디바이스들 상에 제공되는 디지털 카메라들이 전문 사진 장비처럼 반드시 강력한 것은 아니다. 또한, 일부 전문 장비는 부피가 크고 수송하기 어려울 수 있다. 퍼스널 디바이스들 및 독립형 디지털 카메라들은 많은 진보된 특징부들을 포함할 수 있지만, 사용자가 그러한 특징부들을 효과적으로 이용하기 위한 경험이나 훈련이 없을 수 있다. 사용되는 매체에 상관없이, 사용자에 의해 캡처된 이미지가 전문 사진들에서 발견되는 품질을 결여한 경우가 종종 있을 수 있다. 전문적인 품질의 사진들을 얻기 위해, 개인이 종종 스튜디오를 방문해야 하거나 또는 전문 사진가와 만나야 한다. 이는 많은 사용자들에게 불편하거나, 심지어 비용이 과중할 수 있다.
본 개시내용의 실시예들은 이미지 데이터(예컨대, 디지털 사진들)에 가상 조명 조정들을 제공하기 위한 시스템들, 방법들, 및 컴퓨터 판독가능 매체를 제공할 수 있다. 일부 예들에서, 컴퓨팅 디바이스(예컨대, 랩톱, 모바일 폰 또는 다른 휴대용, 핸드헬드 디바이스)는 다양한 가상 광들의 적용을 가능하게 하는 사용자 인터페이스들을 제시하는 데 사용될 수 있다. 가상 광들은 전문적인 도움을 구하는 비용 또는 불편함 없이 이미지 데이터를 수정하여 전문적으로 보이는 이미지를 생성하기 위해 사용될 수 있다.
일부 실시예들에서, 이미지 데이터에 가상 조명 조정들을 제공하기 위한 컴퓨터 구현 방법이 개시된다. 본 방법은, 전자 디바이스에 의해, 이미지 데이터를 수정하기 위한 사용자 인터페이스를 제시하는 단계를 포함할 수 있다. 일부 실시예들에서, 이미지 데이터는 헤드샷(headshot) 이미지 데이터를 포함할 수 있다. 본 방법은 사용자 인터페이스에서, 가상 조명 모드의 선택을 나타내는 사용자 입력을 수신하는 단계를 추가로 포함할 수 있다. 가상 조명 모드의 선택을 나타내는 사용자 입력은 이미지 캡처 디바이스에 의해 이미지 데이터가 캡처되기 전 또는 후에 수신될 수 있다는 것이 이해되어야 한다. 본 방법은 헤드샷 이미지 데이터로부터 복수의 랜드마크 포인트들을 식별하는 단계를 추가로 포함할 수 있다. 일부 실시예들에서, 복수의 랜드마크 포인트들 각각은 헤드샷 이미지 데이터의 픽셀들의 세트에 대응할 수 있다. 복수의 랜드마크 포인트들은 픽셀들의 세트와 연관된 심도 측정 값들에 적어도 부분적으로 기초하여 개별적으로 식별될 수 있다. 본 방법은 헤드샷 이미지 데이터에 대한 하나 이상의 마스크를 결정하는 단계를 추가로 포함할 수 있다. 하나 이상의 마스크의 마스크는 헤드샷 이미지 데이터의 영역의 픽셀 위치들의 세트에 대응할 수 있다. 하나 이상의 마스크는 복수의 랜드마크 포인트들에 적어도 부분적으로 기초하여 결정될 수 있다. 본 방법은 하나 이상의 마스크 중 적어도 하나에 따라 헤드샷 이미지 데이터에 복수의 가상 조명 조정들의 서브세트를 적용함으로써 헤드샷 이미지 데이터를 수정하는 단계를 추가로 포함할 수 있다. 헤드샷 이미지 데이터는 선택된 가상 조명 모드의 선택 및 픽셀들의 세트와 연관된 심도 측정 값들에 적어도 부분적으로 기초하여 수정될 수 있다.
일부 실시예들에서, 이미지 데이터에 가상 조명 조정들을 제공하기 위한 컴퓨터 구현 방법이 개시된다. 본 방법은, 전자 디바이스에 의해, 이미지 데이터를 수정하기 위한 사용자 인터페이스를 (예컨대, 캡처 시간에 또는 후처리시 나중에) 제시하는 단계를 포함할 수 있다. 일부 실시예들에서, 이미지 데이터는 헤드샷 이미지 데이터를 포함할 수 있다. 본 방법은 사용자 인터페이스에서, 가상 윤곽 조명 모드의 선택을 나타내는 사용자 입력을 수신하는 단계를 추가로 포함할 수 있다. 본 방법은 헤드샷 이미지 데이터로부터 복수의 랜드마크 포인트들을 식별하는 단계를 추가로 포함할 수 있다. 일부 실시예들에서, 복수의 랜드마크 포인트들 각각은 헤드샷 이미지 데이터의 픽셀들의 세트에 대응할 수 있다. 본 방법은 헤드샷 이미지 데이터에 대한 하나 이상의 마스크를 결정하는 단계를 추가로 포함할 수 있다. 일부 실시예들에서, 마스크는 헤드샷 이미지 데이터의 영역의 픽셀 위치들의 세트에 대응할 수 있다. 하나 이상의 마스크는 복수의 랜드마크 포인트들에 적어도 부분적으로 기초하여 결정될 수 있다. 본 방법은 가상 윤곽 조명 모드의 선택에 따라, 하나 이상의 마스크 중 제1 마스크의 측면 영역과 연관된 제1 복수의 픽셀들에 충돌하는 인지된 조도(illumination)를 감소시키는 단계를 추가로 포함할 수 있다. 인지된 조도를 감소시키는 단계는 제1 복수의 픽셀들이 더 어두운 것으로 보이게 하면서, 여전히 이미지 데이터의 대상의 피부-톤을 보존하게 할 수 있다. 본 방법은 가상 윤곽 조명 모드의 선택에 따라, 하나 이상의 마스크 중 제2 마스크의 코 영역의 측면과 연관된 제2 복수의 픽셀들의 휘도를 감소시키는 단계를 추가로 포함할 수 있다. 본 방법은 가상 윤곽 조명 모드의 선택에 따라, 하나 이상의 마스크 중 제2 마스크의 코 영역과 연관된 제3 복수의 픽셀들의 휘도를 증가시키는 단계를 추가로 포함할 수 있다. 본 방법은 가상 윤곽 조명 모드의 선택에 따라, 하나 이상의 마스크 중 제3 마스크의 이마 영역과 연관된 제4 복수의 픽셀들의 발광(luminescence)를 증가시키는 단계를 추가로 포함할 수 있다. 본 방법은 가상 윤곽 조명 모드의 선택에 따라, 헤드샷 이미지 데이터의 목 영역과 연관된 제5 복수의 픽셀의 휘도를 감소시키는 단계를 추가로 포함할 수 있다.
일부 실시예들에서, 이미지 데이터에 가상 조명 조정들을 제공하기 위한 컴퓨터 구현 방법이 개시된다. 본 방법은, 전자 디바이스에 의해, 이미지 데이터를 수정하기 위한 사용자 인터페이스를 제시하는 단계를 포함할 수 있다. 일부 실시예들에서, 이미지 데이터는 헤드샷 이미지 데이터를 포함한다. 본 방법은, 사용자 인터페이스에서, 스튜디오 조명 모드의 선택을 나타내는 사용자 입력을 수신하는 단계를 추가로 포함할 수 있다. 본 방법은 헤드샷 이미지 데이터로부터 복수의 랜드마크 포인트들을 식별하는 단계를 추가로 포함할 수 있다. 일부 실시예들에서, 복수의 랜드마크 포인트들 각각은 헤드샷 이미지 데이터의 픽셀들의 세트에 대응할 수 있다. 본 방법은 헤드샷 이미지 데이터에 대한 하나 이상의 마스크를 결정하는 단계를 추가로 포함할 수 있다. 일부 실시예들에서, 이들 마스크들은 헤드샷 이미지 데이터의 영역의 픽셀 위치들의 세트에 대응할 수 있다. 마스크들은 복수의 랜드마크 포인트들에 적어도 부분적으로 기초하여 결정될 수 있다. 본 방법은, 스튜디오 조명 모드의 선택에 따라, 하나 이상의 마스크의 제1 마스크의 이마 영역과 연관된 제1 복수의 픽셀들의 휘도를 증가시키는 단계를 추가로 포함할 수 있다. 본 방법은 선택된 스튜디오 조명 모드에 따라, 하나 이상의 마스크 중 제2 마스크의 눈 아래 영역과 연관된 제2 복수의 픽셀들의 휘도를 증가시키는 단계를 추가로 포함할 수 있다. 본 방법은 선택된 스튜디오 조명 모드에 따라, 하나 이상의 마스크 중 제3 마스크의 측면 영역과 연관된 제3 복수의 픽셀들의 휘도를 증가시키는 단계를 추가로 포함할 수 있다. 본 방법은 선택된 스튜디오 조명 모드에 따라, 하나 이상의 마스크 중 제4 마스크의 코 영역과 연관된 제4 복수의 픽셀들의 휘도를 증가시키는 단계를 추가로 포함할 수 있다. 본 방법은 선택된 스튜디오 조명 모드에 따라, 하나 이상의 마스크 중 제5 마스크의 턱 영역과 연관된 제5 복수의 픽셀들의 휘도를 증가시키는 단계를 추가로 포함할 수 있다. 본 명세서에 기술된 마스크들은 별개의 마스크들일 수 있다는 것을 이해하여야 한다. 대안적으로, 픽셀들의 임의의 적합한 조합의 휘도를 증가/감소시키기 위해 본 명세서에 기술된 마스크들의 임의의 적합한 조합 대신에 단일 마스크가 이용될 수 있다.
첨부 도면들과 함께 하기의 상세한 설명은 본 개시내용의 본질 및 이점들에 대한 보다 양호한 이해를 제공할 것이다.
도 1은 적어도 하나의 실시예에 따른, 본 명세서에 기술된 바와 같은 가상 조명 조정들을 제공하기 위해 이미지 데이터를 수정하기 위한 예시적인 프로세스를 도시하는 단순화된 블록도이다.
도 2는 적어도 하나의 실시예에 따른, 이미지 데이터를 제시 및 수정하기 위한 예시적인 사용자 인터페이스를 도시하는 단순화된 개략도이다.
도 3은 적어도 하나의 실시예에 따른, 이미지의 랜드마크 포인트들의 예시적인 세트를 도시하는 단순화된 개략도이다.
도 4는 적어도 하나의 실시예에 따른, 이미지와 연관된 랜드마크 포인트들의 예시적인 구성을 도시하는 단순화된 개략도이다.
도 5는 적어도 하나의 실시예에 따른, 이미지에 대응하는 예시적인 마스크를 도시하는 단순화된 개략도이다.
도 6은 적어도 하나의 실시예에 따른, 마스크 내의 조명 조정 영역들의 세트의 예시적인 구성을 도시하는 단순화된 개략도이다.
도 7은 적어도 하나의 실시예에 따른, 마스크 내의 조명 조정 영역들의 다른 세트의 다른 예시적인 구성을 도시하는 단순화된 개략도이다.
도 8은 적어도 하나의 실시예에 따른, 또 다른 조명 조정 영역을 도시하는 단순화된 개략도이다.
도 9는 적어도 하나의 실시예에 따른, 가상 광 제거를 수행하기 위한 추가적인 조명 조정 영역들을 도시하는 단순화된 개략도이다.
도 10은 적어도 하나의 실시예에 따른, 이미지를 수정하는 데 이용될 수 있는 마스크에 대응하는 섀도우 영역을 도시하는 단순화된 개략도이다.
도 11은 적어도 하나의 실시예에 따른, 윤곽 모드 선택에 따라 헤드샷 이미지 데이터를 수정하기 위한 예시적인 프로세스를 도시하는 단순화된 흐름도이다.
도 12는 적어도 하나의 실시예에 따른, 스튜디오 모드 선택에 따라 헤드샷 이미지 데이터를 수정하기 위한 예시적인 프로세스를 도시하는 단순화된 흐름도이다.
도 13은 적어도 하나의 실시예에 따른, 스테이지 모드 선택에 따라 헤드샷 이미지 데이터를 수정하기 위한 예시적인 프로세스를 도시하는 단순화된 흐름도이다.
도 14는 적어도 하나의 실시예에 따른, 본 명세서에 기술된 기능들을 수행할 수 있는 복수의 모듈들을 포함하는 예시적인 컴퓨터 아키텍처를 개략적으로 도시한다.
도 15는 적어도 하나의 실시예에 따른, 본 명세서에 기술된 바와 같은 이미지 데이터를 수정하기 위한 예시적인 프로세스를 도시하는 단순화된 흐름도이다.
도 16은 적어도 하나의 실시예에 따른, 본 명세서에 기술된 바와 같은 윤곽 모드 선택에 따라 이미지 데이터를 수정하기 위한 예시적인 프로세스를 도시하는 단순화된 흐름도이다.
도 17은 적어도 하나의 실시예에 따른, 본 명세서에 기술된 바와 같은 윤곽 모드 선택에 따라 이미지 데이터를 수정하기 위한 예시적인 프로세스를 도시하는 단순화된 흐름도이다.
도 2는 적어도 하나의 실시예에 따른, 이미지 데이터를 제시 및 수정하기 위한 예시적인 사용자 인터페이스를 도시하는 단순화된 개략도이다.
도 3은 적어도 하나의 실시예에 따른, 이미지의 랜드마크 포인트들의 예시적인 세트를 도시하는 단순화된 개략도이다.
도 4는 적어도 하나의 실시예에 따른, 이미지와 연관된 랜드마크 포인트들의 예시적인 구성을 도시하는 단순화된 개략도이다.
도 5는 적어도 하나의 실시예에 따른, 이미지에 대응하는 예시적인 마스크를 도시하는 단순화된 개략도이다.
도 6은 적어도 하나의 실시예에 따른, 마스크 내의 조명 조정 영역들의 세트의 예시적인 구성을 도시하는 단순화된 개략도이다.
도 7은 적어도 하나의 실시예에 따른, 마스크 내의 조명 조정 영역들의 다른 세트의 다른 예시적인 구성을 도시하는 단순화된 개략도이다.
도 8은 적어도 하나의 실시예에 따른, 또 다른 조명 조정 영역을 도시하는 단순화된 개략도이다.
도 9는 적어도 하나의 실시예에 따른, 가상 광 제거를 수행하기 위한 추가적인 조명 조정 영역들을 도시하는 단순화된 개략도이다.
도 10은 적어도 하나의 실시예에 따른, 이미지를 수정하는 데 이용될 수 있는 마스크에 대응하는 섀도우 영역을 도시하는 단순화된 개략도이다.
도 11은 적어도 하나의 실시예에 따른, 윤곽 모드 선택에 따라 헤드샷 이미지 데이터를 수정하기 위한 예시적인 프로세스를 도시하는 단순화된 흐름도이다.
도 12는 적어도 하나의 실시예에 따른, 스튜디오 모드 선택에 따라 헤드샷 이미지 데이터를 수정하기 위한 예시적인 프로세스를 도시하는 단순화된 흐름도이다.
도 13은 적어도 하나의 실시예에 따른, 스테이지 모드 선택에 따라 헤드샷 이미지 데이터를 수정하기 위한 예시적인 프로세스를 도시하는 단순화된 흐름도이다.
도 14는 적어도 하나의 실시예에 따른, 본 명세서에 기술된 기능들을 수행할 수 있는 복수의 모듈들을 포함하는 예시적인 컴퓨터 아키텍처를 개략적으로 도시한다.
도 15는 적어도 하나의 실시예에 따른, 본 명세서에 기술된 바와 같은 이미지 데이터를 수정하기 위한 예시적인 프로세스를 도시하는 단순화된 흐름도이다.
도 16은 적어도 하나의 실시예에 따른, 본 명세서에 기술된 바와 같은 윤곽 모드 선택에 따라 이미지 데이터를 수정하기 위한 예시적인 프로세스를 도시하는 단순화된 흐름도이다.
도 17은 적어도 하나의 실시예에 따른, 본 명세서에 기술된 바와 같은 윤곽 모드 선택에 따라 이미지 데이터를 수정하기 위한 예시적인 프로세스를 도시하는 단순화된 흐름도이다.
본 개시내용의 특정 실시예들은 가상 조명 조정들을 제공하기 위해 이미지 데이터를 수정하기 위한 디바이스들, 컴퓨터 판독가능 매체, 사용자 인터페이스들, 및 방법들에 관한 것이다. "이미지 데이터"는 디지털 이미지와 관련된 임의의 적합한 정보(예컨대, RGB 값, 심도 맵들에 대응하는 심도 측정 값들, 2 차원(2D) 이미지 데이터, 3 차원(3D) 이미지 데이터 등)를 지칭하도록 의도된다. 일부 예들에서, 이미지 데이터는 이미지의 대상에 관련된 "헤드샷 이미지 데이터", 예컨대 대상의 헤드샷(예컨대, 얼굴의 영역 및/또는 대상의 목, 어깨, 가슴 등과 같은 얼굴의 약간의 거리 내의 영역)을 나타내는 이미지의 부분을 포함할 수 있다. 본 명세서의 예들이 단일 대상(예컨대, 사람)의 이미지를 포함하는 디지털 이미지들의 맥락에서 제공될 수 있지만, 하나 초과의 대상을 포함하는 디지털 이미지들이 후술되는 기법들을 사용하여 유사하게 수정될 수 있다는 것이 이해되어야 한다.
일단 이미지가 캡처되면, 사용자는 이미지를 미리보기(preview)하고 다양한 조명 모드들로부터 선택할 수 있다. 일부 실시예들에서, 사용자는, 캡처된 이미지가 이전에 선택된 조명 모드에 따라 수정될 수 있도록, 캡처 시간 이전에 조명 모드를 선택할 수 있다. 각각의 조명 모드는 미리 정의된 방식에 따라 이미지 내의 픽셀들의 인지된 휘도(예컨대, 밝기)를 증가 또는 감소시키는 데 사용될 수 있다. 다시 말하면, 각각의 조명 모드는 대상의 특정 영역들(또는 영역) 및 그러한 영역(들) 내의 픽셀들의 휘도가 수정되어야 하는 특정 방식과 연관될 수 있다. 따라서, 이미지는 대상의 일부 부분들이 밝게 보이고/보이거나 다른 부분들이 어둡게 보이도록 조명 모드에 따라 수정될 수 있다. 픽셀들의 휘도 및/또는 밝기를 조정하는 것에 대한 임의의 언급은, 픽셀들의 휘도 및/또는 밝기가 실제로 수정되는지 여부에 관계없이, 휘도 및/또는 밝기가 조정되는 것으로 보이는(인지될 수 있는) 상황들에 동일하게 적용될 수 있다는 것이 이해되어야 한다. 본 명세서에 기술된 기법들을 이용함으로써, 사용자는 이미지를 전문적으로 캡처되거나 편집된 디지털 이미지와 더 밀접하게 유사하도록 캡처 시간에 수정할 수 있다. 따라서, 전문 사진가와 협의하고/협의하거나 고가의 사진 장비를 구매할 필요 없이 디지털 이미지의 품질이 개선될 수 있다.
예로서, 사용자는 이미지를 캡처하기 위해 이미지 캡처 기능/하드웨어(예컨대, 스마트폰, 웨어러블 디바이스, 랩톱 등)를 갖는 퍼스널 컴퓨팅 디바이스를 사용할 수 있다. 캡처된 이미지는 이미지 내의 임의의 적합한 개수의 대상들에 대응하는 헤드샷 이미지 데이터를 포함할 수 있다. 캡처된 이미지의 미리보기는 사용자의 퍼스널 디바이스의 스크린 상에 디스플레이될 수 있다. 일부 예들에서, 캡처 동안에 생성된 이미지 노이즈를 감소시키기 위해 평탄화(smoothing) 기법(예컨대, 노이즈 감소 알고리즘)이 미리보기 이미지에 적용될 수 있다. 일부 실시예들에서, 섀도우들 및 불균일 조도를 매끄럽게 하기 위해 "보조(fill)" 광이 이미지 내의 대상(들)(예컨대, 대상(들)의 얼굴(들))에 적용될 수 있다. 이미지를 워싱 아웃(washing out)하지 않고 조명 조정들을 제공하기 위해 대상(들)의 피부-톤이 유지될 수 있다. 이는 전문 사진가에 의해 물리적으로 수행되는 조명 조정들과 밀접하게 유사한 더욱 현실적인 수정을 제공하는 효과를 가질 수 있다. 사용자로 하여금 미리보기 이미지를 수정할 다양한 조명 모드들(예컨대, 윤곽, 스튜디오, 스테이지 등) 중 하나를 선택할 수 있게 하는 사용자 인터페이스가 제공될 수 있다.
본 명세서에서 논의되는 바와 같이, 조명 모드들의 세트는 윤곽 모드, 스튜디오 모드, 및 스테이지 모드를 포함할 수 있다. 윤곽 모드는, 적어도 부분적으로, 얼굴의 전면을 향해 밝기를 증가시키고 얼굴의 측면(들)을 어두워지게 하는 수정된 이미지를 생성하는 데 이용될 수 있다. 스튜디오 모드는 일반적으로 얼굴을 밝게 하고 얼굴의 측면(들)을 강조(highlight)하는 데 이용될 수 있다. 얼굴이 검출되지 않는 예들에서, 이미지의 전경은 스튜디오 모드에서 밝아질 수 있다. 스테이지 모드는 적어도 어두워진 배경으로부터 나오는 것으로 대상을 나타낼 수 있다. 일부 예들에서, 흑백으로 그리고 어두워진 배경으로부터 나오는 것으로 대상을 나타내는 추가의 스테이지 모드(예컨대, 스테이지 모드 흑백)가 제공될 수 있다. 어느 스테이지 모드에서나, 얼굴 특징부들이 검출되지 않더라도, 이미지의 배경은 어두워질 수 있다(또는 블랙 아웃될 수 있다). 사용자 인터페이스 요소들의 임의의 적합한 조합이 제공될 수 있고, 이들 인터페이스 요소들은 본 명세서에 기술된 조명 모드들의 임의의 적합한 조합에 대응할 수 있다. 본 명세서에 기술된 조명 모드들은 사실상 예시적이며, 상이한 조명 모드 조정들을 제공하는 다른 모드들이 고려된다는 것이 이해되어야 한다.
특정 조명 모드의 사용자 선택을 수신함에 따라, (예컨대, 대상의 얼굴 내의 및/또는 그 주위의 영역에 대응하는) 헤드샷 이미지 데이터를 식별하기 위해 이미지 데이터가 분석될 수 있다. 랜드마크 포인트들은 헤드샷 이미지의 특정 위치들/부분들을 식별하는 데 사용될 수 있다. 이미지 데이터의 심도 측정 값들을 분석하는 것에 적어도 부분적으로 기초하여 (헤드샷 이미지 데이터를 포함하는) 이미지 데이터를 사용하여 임의의 적합한 개수의 랜드마크 포인트들이 획득될 수 있다. 랜드마크 포인트들의 세트가 헤드샷의 특정 영역을 정의할 수 있다. 예로서, 랜드마크 포인트들의 하나의 세트는 대상의 머리의 윤곽을 정의할 수 있는 반면, 랜드마크 포인트들의 다른 세트는 대상의 눈썹(들), 입, 눈(들), 코, 치아 등에 대응하는 영역을 정의할 수 있다.
다수의 마스크들(예컨대, 하나 이상)이 랜드마크 포인트들로부터 생성될 수 있다. 국부화된 조명 수정들이 이미지에 대해 이루어질 수 있도록 이 마스크들은 이미지의 영역에 따라 생성될 수 있다. 이 마스크들 중 적어도 하나는 이미지의 2D 이미지 데이터 및 심도 측정 값들로부터 생성된 3D 가상 모델일 수 있다. 일부 예들에서, 마스크는 대상의 머리의 윤곽을 포함할 수 있지만, 대상의 눈, 눈썹, 코, 입, 치아 등에 대응하는 영역을 배제할 수 있다. 따라서, 일부 실시예들에서, 마스크는 그 안에 대상의 피부가 표현된 이미지의 부분들(예컨대, 얼굴, 데콜타주, 어깨, 목 등)을 정의할 수 있다. 또 다른 예들에서, 마스크는 대상의 부분들, 예컨대 이마, 턱, 뺨, 코, 눈, 또는 대상의 임의의 적합한 부분을 정의할 수 있다. 일반적으로, 광의 적용이 이미지 내에서 피부의 외관에 어떻게 영향을 미칠 수 있는지를 결정하기 위해 가상 광(들)이 마스크(들)의 다양한 부분들로 지향될 수 있다.
일부 실시예들에서, 헤드샷의 서브 부분들에 대응하는 픽셀 위치들의 세트들을 식별하기 위해 마스크가 이용될 수 있다. 예를 들어, 마스크는 볼/광대뼈 영역, 턱 영역, 이마, 얼굴의 측면, 관자놀이, 또는 이미지의 대상의 임의의 적합한 부분의 임의의 적합한 조합을 식별하기 위해 이용될 수 있다. 식별되면, 선택된 조명 모드에 따라 픽셀 위치들의 세트들에 대응하는 이미지 데이터가 수정될 수 있다.
일부 실시예들에서, 이미지 데이터의 심도 측정 값들은 조명 모드에 따라 이미지가 수정되는 정도에 영향을 줄 수 있다. 심도 측정 값은 시점으로부터의 장면 객체들의 표면의 거리를 정량화할 수 있다. 심도 측정 값들은 이미지 내의 대상의 심도뿐만 아니라, 대상의 얼굴 또는 다른 부분들의 다양한 지점들의 심도를 결정하는 데 사용될 수 있다. 일부 경우들에서, 이미지의 배경(예컨대, 일부 임계 심도 값 초과) 내의 대상의 이미지는 이미지의 전경(예컨대, 임계 심도 값 아래) 내의 상이한 대상의 이미지와 상이한 방식으로 수정될 수 있다. 예로서, 조명 모드는 전경 대상 이미지가 배경 대상 이미지에 적용된 것들보다 더 광범위한 휘도 변화들로 수정되게 할 수 있다. 일부 실시예들에서, 전경 대상 이미지 단독은 조명 모드 선택에 따라 수정될 수 있는 반면, 배경 대상은 임계 심도 값 너머에 있는 심도에서 배향되는 것으로 결정되기 때문에 배경 대상 이미지는 무시된다. 적어도 부분적으로 심도에 기초하여 대상 이미지에 대한 조명 모드의 효과를 변화시킴으로써, 조명 모드가 대상 이미지의 심도와 무관하게 각각의 대상 이미지에 보편적으로 적용되었던 경우보다 더 현실적인 이미지가 제공될 수 있다.
일부 실시예들에서, 대상의 얼굴의 얼굴 크기 및/또는 배향이 조명 수정들을 행하는 데 이용될 수 있다. 예로서, 이미지 내의 대상이 이미지 내에서 비스듬히 향하고 있을 수 있다. 따라서, 대상에 대한 조명 모드의 효과는 대상이 배향되는 방식에 적어도 부분적으로 기초하여 달라질 수 있다. 즉, 카메라로부터 빗나가 있는 것으로 보이는 대상의 얼굴 측면은 카메라를 향해 대면하고 있는 것으로 보이는 대상의 얼굴 측면보다 더 적은 양의 조명 수정들로 수정될 수 있다.
전술된 기법들이 하기의 도면들에 관하여 아래에서 더 상세히 논의된다.
도 1은 적어도 하나의 실시예에 따른, 본 명세서에 기술된 바와 같은 가상 조명 조정들을 제공하기 위해 이미지 데이터(102)를 수정하기 위한 예시적인 프로세스(100)를 도시하는 간략화된 블록도이다. 이미지 캡처 시간에, 또는 이미지를 캡처하거나 달리 획득하는 것에 후속한 임의의 적합한 시간에 가상 조명 조정들이 이루어질 수 있음을 이해해야 한다. 예를 들어, 이미지 데이터(102)는 임의의 적합한 시간에 수집될 수 있다. 비제한적인 예로서, 이미지 데이터(102)는 이미지 캡처 디바이스(예컨대, 카메라)를 사용하여 수집된 임의의 적합한 개수의 디지털 이미지들에 대응할 수 있다. 일부 실시예들에서, 이미지 캡처 디바이스는 사용자의 퍼스널 디바이스(예컨대, 스마트폰)의 일부일 수 있다. 이미지 데이터(102)는 하나 이상의 대상(예컨대, 사람)을 개별적으로 나타내는 각각의 이미지들에 대응할 수 있다. 이미지 데이터(102)는 RGB 값들, 이미지의 심도 맵에 대응하는 심도 측정 값들, 2 차원(2D) 이미지 데이터, 3 차원(3D) 이미지 데이터, 또는 이들의 임의의 적합한 조합을 포함할 수 있다.
일부 실시예들에서, 이미지 데이터(102)의 심도 측정 값들(예컨대, 심도 맵)이 랜드마크 포인트들(104)을 결정하는 데 이용될 수 있다. 예로서, 심도 측정 값들은 기계 학습 모델로의 입력으로서 사용될 수 있다. 심도 측정 값들이 본 명세서의 예들에서 이용될 수 있지만, 일부 실시예들에서, 랜드마크 포인트들은 RGB 이미지 데이터에 적어도 부분적으로 기초하여 식별될 수 있다는 것을 이해되어야 한다. 따라서, 예시의 목적들을 위해 심도 측정 값을 이용할 수 있는 본 명세서의 임의의 예는 추가적으로 또는 대안적으로 RGB 이미지 데이터를 이용하여 수행될 수 있다. 일부 실시예들에서, 기계 학습 모델은 특정 랜드마크 포인트들이 알려져 있고 식별되는 이미지들을 갖는 감독된 기계 학습 기법들을 이용하여 훈련될 수 있다. 일단 훈련되면, 기계 학습 모델은 입력으로서 심도 측정 값들을 취하고 랜드마크 포인트들의 세트를 출력으로서 제공하도록 구성될 수 있다.
랜드마크 포인트들(104)은 하나 이상의 마스크(들)(106)(예컨대, 하나 이상의 3D 가상 모델, 하나 이상의 암시된 기하학적 구조)를 생성하는 데 사용될 수 있다. 예를 들어, 랜드마크 포인트들(104)(또는 랜드마크 포인트(104)들의 서브세트)은 이미지의 대상의 헤드샷에 대응하는 다양한 영역들을 식별하는 데 이용될 수 있다. 비제한적인 예로서, 랜드마크 포인트들(104)은 헤드샷의 영역의 윤곽을 제공할 수 있다. 확인된 영역들은 얼굴, 목, 어깨, 데콜타주, 눈(들), 눈썹(들), 코, 입, 및 치아의 영역들을 포함할 수 있지만, 이에 한정되지 않는다. 일부 실시예에서, 마스크(들)(106)는 얼굴의 개별 영역(들)(또는 영역들의 조합들)을 포함하지만, 눈(들), 코, 눈썹, 입 및 치아에 대응하는 영역들을 배제하도록 생성될 수 있다. 일부 실시예들에 따르면, 마스크(들)(106)는 대상 이미지의 헤드샷 내에 피부를 나타내는 영역(들)을 정의할 수 있다. 일부 실시예들에서, 본 명세서에서 논의되는 조명 조정들은 마스크를 전혀 이용하지 않으면서 랜드마크 포인트들 및 랜드마크 포인트들의 암시된 기하학적 구조를 사용하여 이루어질 수 있다.
이미지 데이터(102)는 수정된 이미지(110)를 생성하기 위해 인물 모드 조명 수정들(108)의 세트에 따라 수정될 수 있다. 인물 모드 조명 수정들(108)은 다양한 인자들에 적어도 부분적으로 기초하여 결정될 수 있다. 예를 들어, 사용자 선택(112)은 특정 조명 모드(예컨대, 윤곽, 스튜디오, 스테이지, 흑백 스테이지 등)를 특정할 수 있다. 선택된 특정 조명 모드는 이미지 데이터(102) 및/또는 마스크(들)(106) 상에서 수행될 가상 조명 조정들(114)을 식별하는 데 사용될 수 있다. 지정된 조명 모드에 대해 식별된 가상 조명 조정들(114)은 휘도(및/또는 인지된 휘도)가 증가(예컨대, 밝아짐) 또는 감소(예컨대, 어두워짐)될 헤드샷의 특정 영역(들)에 대응할 수 있다. 마스크(들)(106)(또는 임의의 적합한 마스크)에 대한 가상 조명 조정들(114)이 변환되어 임의의 적합한 시간에 이미지 데이터(102)에 적용될 수 있다.
일부 실시예들에서, 이미지 데이터(102)(예컨대, 심도 측정 값들)는, 인물 모드 조명 수정들(108)이 이미지 데이터(102)를 변경시키는 정도, 또는 다시 말하면, 헤드샷의 영역들의 휘도가 수정되는 양을 결정하는 데 추가로 이용될 수 있다. 예로서, 얕은 심도 측정 값들에 대응하는 헤드샷의 픽셀들/영역들은 더 깊은 심도 측정 값들에 대응하는 픽셀들/영역들보다 큰 정도로 수정될 수 있다. 따라서, 더 가깝게 보이는 헤드샷의 영역들은 더 멀리 보이는 헤드샷의 영역들보다 더 밝아질 수 있다. 일부 실시예들에서, 조명 수정들을 행할 때 헤드샷 내의 얼굴의 크기 및/또는 헤드샷 내의 얼굴의 배향이 고려될 수 있다. 예를 들어, 카메라로부터 빗나가 있는 헤드샷의 영역들은 카메라를 향해 대면하고 있는 헤드샷의 영역들보다 더 적은 정도로 수정될 수 있다. 유사하게, 일부 실시예들에서, 더 작은 얼굴들에 적용되는 것들보다 더 큰 조명 수정들이 더 큰 얼굴들에 적용될 수 있다.
구체적인 비제한적인 예로서, 사용자 선택(112)은 조명 모드 "A"가 선택되었음을 나타낼 수 있다. 조명 모드 A는 가상 조명 조정들(114)과 연관될 수 있다. 이러한 가상 조명 조정들(114)은 이미지의 이마 영역이 밝아져야 함을 명시할 수 있다. 인물 모드 조명 수정들(108)을 수행하는 것의 일부로서, 이마 영역과 연관된 픽셀들의 세트가 마스크(들)(106)를 이용하여 이미지 데이터(102)로부터 식별될 수 있다. 달리 말하면, 이마 영역은 마스크(들)(106) 내에서 결정될 수 있고, 이어서 그 영역과 연관된 픽셀들이 이미지 데이터(102)로부터 식별될 수 있다. 이어서, 이마에 대응하는 픽셀들은 가상 조명 조정들(114)에 따라 밝아질 수 있다. 일부 실시예들에서, 이마는 각각의 픽셀의 각각의 심도 측정 값에 따라 밝아질 수 있다. 따라서, 더 가까워 보이는 이마의 부분을 표현하는 픽셀들은 더 멀리 보이는 이마의 부분들을 표현하는 픽셀들보다 더 밝아질 수 있다. 일부 경우들에서, 이마에 대응하는 픽셀들은 각각의 픽셀의 각자의 심도 측정 값에 상관없이 가상 조명 조정들(114)에 따라 보편적으로 밝아질 수 있다. 이 예에서, 일단 인물 모드 조명 수정들(108)이 완료되면, 수정된 이미지(110)는 밝아진 이마 영역을 갖는 이미지 데이터(102)에 의해 정의되는 것으로서 본래의 이미지를 표현할 수 있다.
도 2는 적어도 하나의 실시예에 따른, 이미지 데이터(예컨대, 도 1 의 이미지 데이터(102))를 제시 및 수정하기 위한 예시적인 사용자 인터페이스(200)를 도시하는 단순화된 개략도이다. 사용자 인터페이스(200)는 디스플레이(202)를 통해 제공될 수 있다. 디스플레이(202)는 퍼스널 디바이스(예컨대, 스마트폰, 모바일 폰, 웨어러블 디바이스, 랩톱 등)의 하드웨어 컴포넌트일 수 있다. 사용자 인터페이스(200) 내에, 관찰 영역(204)이 제공된다. 관찰 영역(204)은 이미지(203)(예컨대, 대상(206)을 포함하는 이미지)를 제시하도록 구성될 수 있다. 이미지(203)가 본질적으로 예시적인 것으로 의도되며, 임의의 적합한 이미지가 관찰 영역(204) 내에 제시될 수 있다는 것이 이해되어야 한다.
일부 실시예들에서, 다수의 사용자 인터페이스(UI) 요소들이 제공될 수 있다. 예를 들어, UI 요소(208)가 제공될 수 있다. UI 요소(208)는 퍼스널 디바이스의 캡처 디바이스(예컨대, 카메라)에 의해 캡처된 바와 같은 이미지(203)의 뷰에 대응하는 자연 광 모드에 대응할 수 있다. UI 요소(210)가 제공될 수 있고, 윤곽 조명 모드를 선택하기 위한 옵션에 대응할 수 있다. UI 요소(212)가 제공될 수 있고, 스튜디오 조명 모드를 선택하기 위한 옵션에 대응할 수 있다. UI 요소(214)가 제공될 수 있고, 스테이지 조명 모드를 선택하기 위한 옵션에 대응할 수 있다. UI 요소(216)가 제공될 수 있고, 흑백 스테이지 조명 모드를 선택하기 위한 옵션에 대응할 수 있다. 도시된 바와 같이 UI 요소들(208 내지 216)이 사용자 인터페이스(200) 내에 제시될 수 있거나, UI 요소들(208 내지 216)이 사용자 인터페이스(200) 내에 상이한 배열로 도시될 수 있다. 도 2 에 도시된 바와 같이 UI 요소들(208 내지 216)이 아이콘들로 제시될 수 있고/있거나, UI 요소들(208 내지 216)이 체크박스들, 라디오 버튼들, 또는 조명 모드를 선택하는 수단을 사용자에게 제공하기에 적합한 임의의 적합한 인터페이스 요소를 통해 메뉴에 제공될 수 있다. 도 2에 도시된 것들보다 더 많거나 더 적은 조명 모드 옵션들이 제공될 수 있다는 것이 이해되어야 한다.
UI 요소들(208 내지 216)(예컨대, 조명 모드들) 중 임의의 하나의 선택은 선택에 따라 이미지(203)의 이미지 데이터가 수정되게 할 수 있다. 즉, UI 요소의 선택 시, 전체로서의 이미지(203) 및/또는 이미지(203)의 부분(예컨대, 대상(206))은 선택된 UI 요소에 대응하는 조명 모드에 따라 수정될 수 있다. 수정된 이미지(도시되지 않음)가 관찰 영역(204)에서 이미지(203)를 대체할 수 있다. 사용자가 상이한 조명 모드에 대응하는 다른 UI 요소를 선택하였다면, 관찰 영역(204)은 새롭게 선택된 조명 모드에 따라 수정되는 바와 같이 이미지(203)에 대응하는 수정된 이미지를 제시할 수 있다.
일부 실시예들에서, 사용자 인터페이스(200)는 추가적인 편집 옵션들(218)을 포함할 수 있다. 추가적인 편집 옵션들(218)은, 이미지를 크로핑하는 것, 이미지 내에서(인지된 또는 실제) 색상들을 조정하는 것, 및 이미지의 콘트라스트 및/또는 밝기(인지된 또는 실제 콘트라스트 및/또는 밝기)를 조정하는 것과 같은, 그러나 이들로 제한되지 않는 다양한 종래의 이미지 편집 기법들에 대응할 수 있다. 다른 배열들이 고려되지만, 추가의 편집 옵션들(218)이 도 2에 도시된 바와 같이 배열될 수 있다.
사용자 인터페이스(200)는 취소 옵션(220) 및 완료 옵션(222)을 포함할 수 있다. 일부 실시예들에서, 취소 옵션(220)의 선택은 관찰 영역(204) 내의 현재 디스플레이된 이미지를 원래 상태(예컨대, 임의의 편집 및/또는 조정들의 적용 이전의 이미지(203))로 복귀하게 할 수 있다. 완료 옵션(222)의 선택은 사용자가 그의 편집 및/또는 조정들을 완료하였음을 나타낼 수 있다. 완료 옵션(222)을 선택함에 따라, 관찰 영역(204) 내에 현재 제시되고 있는 이미지가 자동으로 저장될 수 있거나, 사용자에게 이미지를 저장하기 위한 옵션이 제시될 수 있다.
도 3은 적어도 하나의 실시예에 따른, 이미지의 랜드마크 포인트들의 예시적인 세트(예컨대, 도 2의 이미지(203))를 도시하는 단순화된 개략도(300)이다. 랜드마크 포인트(302)는 이미지(203)의 랜드마크 포인트들의 세트 중 하나로서 도시된다. 랜드마크 포인트(302)를 포함하는 임의의 설명은 도 3에 도시된 랜드마크 포인트들 중 임의의 것에 유사하게 적용될 수 있다. 랜드마크 포인트(302)는 이미지 데이터(예컨대, 이미지(203)의 이미지 픽셀들에 대응하는 심도 측정 값들을 포함하는 도 1의 이미지 데이터(102))를 이용하여 식별될 수 있다. 일부 실시예들에서, 랜드마크 포인트(302)를 결정하기 위해 임의의 적합한 개수의 심도 측정 값들이 이용될 수 있다.
도 3에 도시된 랜드마크 포인트들의 개수는 사실상 예시적인 것으로 의도된다. 임의의 적합한 개수의 랜드마크 포인트들이 식별될 수 있다. 일부 실시예들에서, 랜드마크 포인트(302)는 라벨 또는 식별자와 연관될 수 있다. 라벨/식별자는 랜드마크 포인트(302)에 대해 고유할 수 있거나, 라벨/식별자는 랜드마크 포인트(302)와 하나 이상의 추가적인 랜드마크 포인트들 사이에서 공유될 수 있다. 예로서, 랜드마크 포인트들(304)이 식별되고 대상(206)의 좌안 영역과 개별적으로 연관된 라벨/식별자일 수 있다. 유사하게, 랜드마크 포인트들(306)이 식별되고 대상(206)의 좌측 눈썹 영역과 연관된 라벨/식별자와 개별적으로 연관될 수 있다. 랜드마크 식별 및 라벨링 기법들이 도 14에 관하여 아래에서 더 상세히 설명될 것이다.
도 4는 적어도 하나의 실시예에 따른, 이미지와 연관된 랜드마크 포인트들의 예시적인 구성(400)을 도시하는 단순화된 개략도이다. 구성(400)은 63 개의 랜드마크 포인트들을 포함한다. 그러나, 임의의 적합한 개수의 랜드마크 포인트들이 이용될 수 있다. 각각의 랜드마크 포인트(예컨대, 랜드마크 포인트들 0 내지 63)는 이미지 데이터(예컨대, 도 1의 이미지 데이터(102))를 사용하여 선택된 픽셀에 대응할 수 있다. 각각의 랜드마크 포인트는 주어진 영역 내의 픽셀들의 심도 측정 값들(및/또는 RGB 값들)에 적어도 부분적으로 기초하여 주어진 영역 내의 임의의 적합한 개수의 픽셀들로부터 선택될 수 있다. 예로서, 랜드마크 포인트(0)는 영역(402) 내의 픽셀들로부터 선택될 수 있고, 랜드마크 포인트(1)는 영역(404) 내의 픽셀들로부터 선택될 수 있고, 랜드마크(2)는 영역(406) 내의 픽셀들로부터 선택될 수 있고, 랜드마크(3)는 영역(408) 내의 픽셀들로부터 선택될 수 있다. 랜드마크 포인트가 선택되는 영역은 미리 결정된 방식에 따라 크기 및 형상이 달라질 수 있다.
이미지 데이터로부터 특정 랜드마크를 선택 및/또는 식별하기 위해, 영역(402) 내의 각각의 픽셀에 대응하는 심도 측정 값들(및/또는 RGB 값들)(또는 도 2의 이미지(203)와 같은 이미지의 픽셀들의 세트)이 기계 학습 모델에 대한 입력으로서 제공될 수 있다. 기계 학습 모델은 랜드마크 포인트들이 알려져 있는 이력 도면들로(예컨대, 감독된 학습 기법들을 이용하여) 훈련될 수 있다. 따라서, 기계 학습 모델은 이력 이미지들의 대응하는 랜드마크 포인트들과 가장 밀접하게 유사한 영역(402) 내의 단일 픽셀(좌측 눈썹의 최좌측 포인트에 대응하는 랜드마크 포인트(0))을 식별하는 데 이용될 수 있다. 달리 말하면, 기계 학습 모델은 영역(402) 내의 픽셀들의 각각의 심도 측정 값들을 이용하여 좌측 눈썹의 최좌측 포인트에 있을 가능성이 가장 큰 (랜드마크 포인트(0)에 대응하는) 픽셀을 식별할 수 있다.
식별된 각각의 랜드마크 포인트는 특정 랜드마크(예컨대, 얼굴 특징부)에 대응하는 라벨 또는 식별자와 연관될 수 있다. 도 4에 도시된 바와 같이, 랜드마크 포인트들(0 내지 3)은 랜드마크 포인트들(0 내지 3)이 좌측 눈썹에 대응함을 나타내는 라벨/식별자와 연관될 수 있다. 유사하게, 랜드마크 포인트들(4 내지 7)은 랜드마크 포인트들(4 내지 7)이 우측 눈썹에 대응함을 나타내는 라벨/식별자와 연관될 수 있다. 랜드마크 포인트들(8 내지 15)은 좌안에 대응하는 관련 라벨/식별자일 수 있는 반면, 랜드마크 포인트들(16 내지 23)은 우안에 대응하는 라벨/식별자와 연관될 수 있다. 랜드마크 포인트들(24 내지 31)은 입(또는 입술)에 대응하는 것으로 연관되거나 식별될 수 있다. 랜드마크 포인트들(32 내지 39)은 치아에 대응하는 것으로서 라벨링되거나 식별될 수 있다. 랜드마크 포인트들(40 내지 50)은 얼굴의 윤곽에 대응하는 것으로서 라벨링되거나 식별될 수 있다. 랜드마크 포인트들(51 내지 62)은 코에 대응하는 것으로서 라벨링되거나 식별될 수 있다.
도 5는 적어도 하나의 실시예에 따른, 이미지(예컨대, 도 2의 이미지(203))에 대응하는 예시적인 마스크(502)를 도시하는 단순화된 개략도(500)이다. 마스크(502)는 도 3 또는 도 4의 랜드마크 포인트들로부터 생성될 수 있다. 일부 실시예에서, 마스크(502)는 기술된 바와 같이 이용될 수 있는 반면, 다른 실시예들에서, 마스크(502)는 조명 조정들이 이루어질 수 있는 하나 이상의 마스크를 포함할 수 있다. 설명의 편의를 위해, 마스크(502)는 단일 마스크를 포함할 수 있지만, 다수의 마스크들이 이용되는 경우들을 사용하기 위해 본 명세서에 제공된 예들이 유사하게 적용될 수 있다는 것이 이해되어야 한다. 따라서, "마스크(502)"를 지칭하는 임의의 예가 "하나 이상의 마스크 중의 마스크"와 동의어로 이용될 수 있다. 얼굴 영역(503)(대상(206)의 얼굴 및 귀를 포함함)은 도 3의 랜드마크 포인트들의 서브세트로부터 결정될 수 있다. 좌측 눈썹 영역(504), 우측 눈썹 영역(506), 좌안 영역(508), 우안 영역(510), 코 영역(512), 및 입 영역(514)은 도 3에 도시된 랜드마크 포인트들의 각각의 서브세트들로부터 결정될 수 있다. 적어도 하나의 실시예에서, 마스크(502)는 얼굴 영역(503)으로부터 영역들(504 내지 514)을 제거하거나 배제함으로써 생성될 수 있다. 일부 예들에서, 마스크(502)는 후속 가상 조명 조정들이 적용될 영역을 정의할 수 있다. 마스크(502) 외부의 영역들은 가상 조명 조정의 적용으로부터 배제될 수 있다. 따라서, 마스크(502)에 의해 정의된 영역은 이미지(203)의 픽셀들의 서브세트에 대응할 수 있다. 마스크의 추가의 세부사항들이 도 14와 관련하여 하기에 기술될 것이다.
도 6은 마스크(601)(예컨대, 도 5의 마스크(502)) 내의 조명 조정 영역들의 세트의 예시적인 구성(600)을 도시한 단순화된 개략도이다. 도 6 내지 도 10의 마스크들은 마스크(502)와 동일한 것이거나 상이한 마스크일 수 있고/있거나 마스크(502)에 의존할 수 있거나 그렇지 않을 수 있다. 일부 실시예들에서, 조명 조정의 각각의 유형이 상이한 마스크를 이용할 수 있다. 일부 실시예들에서, 마스크(601)가 이용되지 않을 수 있지만, 오히려, 랜드마크 포인트들 및 랜드마크 포인트들의 암시된 기하학적 구조를 사용하여 조명 조정들이 이루어질 수 있다. 조명 조정 영역은 조명 조정이 이루어질 경계부를 한정할 수 있다. 도 6의 조명 조정 영역들은 조명 조정 영역(602), 조명 조정 영역(604), 조명 조정 영역(606), 및 조명 조정 영역(608)을 포함할 수 있지만, 임의의 적합한 개수 또는 구성의 조명 조정 영역들이 이용될 수 있다. 조명 조정 영역들(602 내지 608)은 개별적으로 또는 집합적으로 특정 조명 모드(예컨대, 윤곽, 스튜디오, 스테이지, 흑백 스테이지 등)와 연관될 수 있다. 조명 조정 영역들(602 내지 608)의 위치 및 형상은 미리 정의될 수 있다. 조명 조정 영역들(602 내지 608)의 특정 위치들 및 형상들이 도 6 에 제공되지만, 그러한 위치들/형상들은 사실상 단지 예시적인 것이며 다른 위치들 및/또는 형상들이 사용될 수 있다는 것이 이해되어야 한다.
적어도 하나의 실시예에서, 조명 조정 영역들(602 내지 608) 각각은 대응하는 가상 스포트라이트를 시뮬레이션하기 위해 조명 조정들을 적용하는 데 이용될 수 있다. 가상 스포트라이트 조명 조정은 대상의 특정 위치/영역으로 지향되는 광 빔을 투사하기 위해 물리적 광을 사용하는 시각적 효과를 시뮬레이션하는 데 이용될 수 있다. 일부 실시예들에서, 조명 조정 영역들(602 내지 608) 각각이 고유한 가상 스포트라이트에 대응할 수 있거나, 또는 조명 조정 영역들(602 내지 608)의 조합이 단일 가상 스포트라이트에 대응할 수 있다. 설명의 편의를 위해, 조명 조정 영역들(602 내지 608)은, 다수의 물리적 광들의 빔들을 시뮬레이션하는 단일의 가상 스포트라이트 또는 전체 얼굴에 광을 비출 수 있는 시뮬레이션된 넓은 영역 광원(이는 인물 사진가 "소프트 박스"를 시뮬레이션함)에 대응하는 것으로 간주될 수 있다.
적어도 하나의 실시예에서, 조명 조정 영역들(602 내지 608)이 마스크(601)와 관련하여 정의될 수 있다. 예로서, 조명 조정 영역(602)은 좌측 눈썹 영역(504)과 우측 눈썹 영역(506) 사이의 마스크(601)의 영역(또는 랜드마크 포인트들 및 암시된 기하학적 구조에 의해 정의된 영역)에 대응하는 것으로 미리 정의될 수 있다. 조명 조정 영역(602)의 위치, 크기, 형상, 및/또는 배향은 도 6에 도시된 것과 같을 수 있거나, 조명 조정 영역(602)의 위치, 크기, 형상 및/또는 배향은 도 6에 도시된 것과 상이할 수 있다.
조명 조정 영역(604)은 좌안 영역(508) 아래의 마스크(601)의 영역(또는 랜드마크 포인트들 및 암시된 기하학적 구조에 의해 정의된 영역)에 대응하는 것으로 미리 정의될 수 있다. 조명 조정 영역(606)은 우안 영역(510) 아래의 마스크(601)의 영역(또는 랜드마크 포인트들 및 암시된 기하학적 구조에 의해 정의된 영역)에 대응하는 것으로 미리 정의될 수 있다. 조명 조정 영역(604) 및/또는 조명 조정 영역(606)의 위치, 크기, 형상, 및/또는 배향은 도 6에 도시된 것과 같을 수 있거나, 그러한 영역들의 위치, 크기, 형상, 및/또는 배향은 도 6에 도시된 것들과 상이할 수 있다.
조명 조정 영역(608)은 마스크(601)의 턱 영역(또는 랜드마크 포인트들 및 암시된 기하학적 구조에 의해 정의된 영역)에 대응하는 것으로 미리 정의될 수 있다. 일부 예들에서, 턱 영역은 2 개의 랜드마크 포인트들 사이의 영역으로서 정의될 수 있다. 예를 들어, 도 4의 랜드마크 포인트(30)와 랜드마크 포인트(45) 사이의 중간 거리가 계산되고 마스크(601)의 턱 영역(또는 랜드마크 포인트들 및 암시된 기하학적 구조에 의해 정의된 영역)과 연관될 수 있다. 조명 조정 영역(608)의 위치, 크기, 형상, 및/또는 배향은 도 6에 도시된 바와 같을 수 있거나, 조명 조정 영역(608)의 위치, 크기, 형상 및/또는 배향은 도 6에 도시된 것과 상이할 수 있다.
일단 식별되면, 마스크(601)의 조명 조정 영역들(602 내지 608)(또는 랜드마크 포인트들 및 암시된 기하학적 구조에 의해 정의된 영역)은 이미지의 픽셀들의 대응하는 세트들(예컨대, 도 2의 이미지(203))을 식별하는 데 이용될 수 있다. 다양한 가상 조명 조정들이 대응하는 픽셀들의 세트들에 적용될 수 있다. 일부 실시예들에서, 동일한 가상 조명 조정이 조명 조정 영역들(602 내지 608)에 보편적으로 적용될 수 있거나, 가상 조명 조정이 조명 조정 영역들(602 내지 608) 사이에서 상이할 수 있다. 예로서, 보편적으로 적용된 가상 조명 조정의 적용은 조명 조정 영역들(602 내지 608)에 대한 픽셀들 각각의 각자의 밝기 값들을 특정 양만큼 밝아지게 할 수 있다(예컨대, 각각 각자의 픽셀의 원래 밝기 값의 10% 증가, 각각의 밝기 값이 공통 정수 값만큼 증가될 수 있음, 기타). 일부 경우들에서, 픽셀의 원래 밝기가 추가되는 광량을 제어하여, 그늘 내의 이미지들이 직사광 내의 이미지들보다 더 많은/적은 광이 추가될 수 있다.
일부 실시예들에서, 마스크(601)(또는 랜드마크 포인트들)에 대응하는 픽셀들의 이미지 데이터(예컨대, 심도 측정 값들)는 이미지의 기울기, 회전, 및/또는 대상을 결정하는 데 이용될 수 있다. 일부 예들에서, 조명 조정 영역들(602 내지 608)을 이용하여 수행되는 조명 조정은 대상이 기울어지거나, 회전되거나, 또는 배향되는 방식에 의존할 수 있다. 비제한적인 예로서, 대상의 머리가 회전된 것으로 결정될 때, 조명 조정 영역(604)에 대응하는 픽셀들의 밝기를 증가시키는 조정은 조명 조정 영역(606)에 대응하는 픽셀들보다 더 작은 정도로 증가될 수 있다. 이는 조명 조정 영역(604)이 조명 조정 영역(604)에 대응하는 대상의 부분보다 더 뒤에 있는 것으로 보이는 대상의 부분에 대응할 수 있기 때문인 경우일 수 있다.
도 7은 적어도 하나의 실시예에 따른, 마스크(701)(예컨대, 도 5 의 마스크(502), 도 6 의 마스크(601), 또는 상이한 마스크) 내의 조명 조정 영역들의 다른 세트의 다른 예시적인 구성(700)을 도시하는 단순화된 개략도이다. 일부 실시예들에서, 마스크(701)가 이용되지 않을 수 있지만, 오히려, 랜드마크 포인트들 및 랜드마크 포인트들의 암시된 기하학적 구조를 사용하여 조명 조정들이 이루어질 수 있다. 도 7의 조명 조정 영역들은 조명 조정 영역(702) 및 조명 조정 영역(704)을 포함할 수 있지만, 임의의 적합한 개수 또는 구성의 조명 조정 영역들이 이용될 수 있다. 조명 조정 영역들(702 내지 704)은 개별적으로 또는 집합적으로 특정 조명 모드(예컨대, 윤곽, 스튜디오, 스테이지, 흑백 스테이지 등)와 연관될 수 있다. 조명 조정 영역들(702 내지 704)의 위치, 폭, 높이, 및 형상은 미리 정의될 수 있다. 조명 조정 영역들(702 내지 704)의 특정 위치들, 폭들, 높이들, 및 형상들이 도 7 에 제공되지만, 조명 조정 영역들(702 내지 704)의 이들 속성들은 사실상 단지 예시적이라는 것이 이해되어야 한다.
적어도 하나의 실시예에서, 조명 조정 영역들(702 내지 704) 각각은 대응하는 가상 킥 광을 시뮬레이션하기 위해 조명 조정들을 적용하는 데 이용될 수 있다. 가상 킥 광 조명 조정은 얼굴의 측면 부분에 지향된 각도로 물리적 광을 비추는 시각적 효과를 시뮬레이션하는 데 이용될 수 있는데, 이는 얼굴의 측면 부분을 시각적으로 강조 및/또는 덜 강조할 수 있다. 유사하게, 조명 조정 영역들(702 내지 704)의 일부 조합은 가상 광 제거에 관한 조명 조정들을 적용하는 데 이용될 수 있다. 조명 조정 영역들(702 내지 704)을 이용하는 가상 광 제거 기법들을 수행하는 것은 객체(예컨대, 얼굴)의 측면 부분을 어둡게 할 수 있으며, 이는 대상이 어두운 천에 의해 둘러싸인 것처럼, 측면 부분을 덜 강조되게 할 수 있다.
적어도 하나의 실시예에서, 조명 조정 영역들(702 내지 704)은 마스크(701)와 관련하여 또는 랜드마크 포인트들 및 랜드마크 포인트들의 암시된 기하학적 구조에 의해 정의된 영역과 관련하여 정의될 수 있다. 예로서, 조명 조정 영역(702)은 마스크(502)의 좌측에 대응하는 영역에 대응하는 것으로서 미리 정의될 수 있다. 조명 조정 영역(702)은 높이(706) 및 폭(708)과 연관될 수 있다. 높이(706) 및/또는 폭(708)은 미리 정의될 수 있거나, 높이(706) 및/또는 폭(708)은 조명 조정 영역(702)에 대응하는 픽셀들의 심도 측정 값들에 적어도 부분적으로 기초하여 계산될 수 있다. 조명 조정 영역(702)의 위치, 크기, 형상, 및/또는 배향은 도 7에 도시된 바와 같을 수 있거나, 조명 조정 영역(702)의 위치, 크기, 형상 및/또는 배향은 도 7에 도시된 것과 상이할 수 있다. 일부 실시예들에서, 조명 조정 영역(702)의 위치, 형상, 높이(706), 또는 폭(708)은 마스크(701) 및/또는 랜드마크 포인트들 및 암시된 기하학적 구조로부터 확인되는 바와 같은 대상의 기울기, 회전, 및/또는 배향에 적어도 부분적으로 기초하여 계산될 수 있다.
다른 예로서, 조명 조정 영역(704)은 대상의 우측에 대응하는 영역에 대응하는 것으로 미리 정의될 수 있다. 조명 조정 영역(704)은 높이(710) 및 폭(712)과 연관될 수 있다. 높이(710) 및/또는 폭(712)은 미리 정의될 수 있거나, 높이(710) 및/또는 폭(712)은 조명 조정 영역(704)에 대응하는 픽셀들의 심도 측정 값들에 적어도 부분적으로 기초하여 계산될 수 있다. 조명 조정 영역(704)의 위치, 크기, 형상, 및/또는 배향은 도 7에 도시된 바와 같을 수 있거나, 조명 조정 영역(704)의 위치, 크기, 형상 및/또는 배향은 도 7에 도시된 것과 상이할 수 있다.
일부 실시예들에서, 마스크(701)에 대응하는 픽셀들의 이미지 데이터(예컨대, 심도 측정 값들), 또는 랜드마크 포인트들의 개수 및 랜드마크 포인트들의 암시된 기하학적 구조가 대상의 기울기, 회전, 및/또는 배향을 결정하는 데 이용될 수 있다. 일부 예들에서, 조명 조정 영역들(702 내지 704)은 대상이 기울어지거나, 회전되거나, 또는 배향되는 방식에 적어도 부분적으로 기초하여 결정될 수 있다. 예로서, 조명 조정 영역(702)의 폭(708)은 대상이 주어진 방향으로 회전된 것으로 결정될 때 조명 조정 영역(704)의 폭(712)보다 더 작을 수 있다. 따라서, 회전된 얼굴의 측면에 대응하는 조명 조정 영역(702)의 폭(708)은 이미지가 캡처되었을 때 이미지 캡처 디바이스에 더 가까이 있는 얼굴의 측면에 대응하는 조명 조정 영역(704)의 폭(712)보다 더 좁을 수 있다.
일단 식별되면, (예컨대, 마스크(701)에 의해 정의된 바와 같은 또는 랜드마크 포인트들의 세트 및 랜드마크 포인트들의 암시된 기하학적 구조에 의해 정의된 바와 같은) 조명 조정 영역들(702 내지 704)은 이미지의 픽셀들의 대응하는 세트들(예컨대, 도 2의 이미지(203))을 식별하는 데 이용될 수 있다. 다양한 가상 조명 조정(예컨대, 브라이트닝(brightening) 및/또는 다크닝(darkening))이 대응하는 픽셀들의 세트들에 적용될 수 있다. 일부 실시예들에서, 동일한 가상 조명 조정은 조명 조정 영역들(702 내지 704)에 보편적으로 적용될 수 있거나, 가상 조명 조정은 조명 조정 영역들(702 내지 704) 사이에서 상이할 수 있다. 예로서, 보편적으로 적용된 가상 조명 조정의 적용은 조명 조정 영역들(702 내지 704)에 대한 픽셀들 각각의 각자의 밝기 값들을 특정 양만큼 밝아지게 할 수있다(예컨대, 각각 각자의 픽셀의 원래 밝기 값의 10% 증가, 각각의 밝기 값이 공통 정수 값만큼 증가될 수 있음, 기타). 다른 예에서, 가상 조명 조정은 조명 조정 영역들(702 내지 704) 중 하나를 밝게 할 수 있는 반면, 다른 가상 조명 조정은 다른 것을 어둡게 할 수 있다. 또 다른 예들에서, 가상 조명 조정은 조명 조정 영역들(702 내지 704) 둘 모두를, 그러나 상이한 양만큼 밝게 하거나 어둡게 할 수 있다.
도 8은 적어도 하나의 실시예에 따른, 또 다른 조명 조정 영역(예컨대, 조명 조정 영역(802))을 도시하는 단순화된 개략도(800)이다. 조명 조정 영역(802)은 특정 조명 모드(예컨대, 윤곽, 스튜디오, 스테이지, 흑백 스테이지 등)와 연관될 수 있다. 조명 조정 영역(802)의 위치 및 형상은 미리 정의될 수 있다. 조명 조정 영역(802)의 특정 위치 및 형상이 도 8에 제공되지만, 조명 조정 영역(802)의 속성들은 사실상 단지 예시적인 것임이 이해되어야 한다. 조명 영역(802)이 마스크(801)(예컨대, 도 5 내지 도 7의 마스크(502), 마스크(601), 마스크(701))에 대해 정의될 수 있는 반면, 다른 실시예들에서 마스크(801)가 이용되지 않을 수 있다. 일부 실시예들에서, 조명 조정들은 마스크를 전혀 이용하지 않고 랜드마크 포인트들 및 랜드마크 포인트들의 암시된 기하학적 구조를 사용하여 이루어질 수 있다.
적어도 하나의 실시예에서, 조명 조정 영역(802)은 가상 스트로브 광을 시뮬레이션하기 위해 조명 조정들을 적용하는 데 이용될 수 있다. 가상 스트로브 광 조명 조정은 대상의 특정 영역으로 지향되는 물리적 스트로브 광을 비추는 시각적 효과를 시뮬레이션하는 데 이용될 수 있다. 적어도 하나의 실시예에서, 조명 조정 영역(802)은 이미지의 대상(예컨대, 도 2의 이미지(203)의 대상(206))의 코 영역(804)(예컨대, 마스크(501)의 부분에 의해 정의됨, 도 4의 랜드마크 포인트들(51 내지 62)에 의해 정의된 영역, 등)에 대응하는 것으로서 미리 정의될 수 있다. 적어도 하나의 예에서, 가상 스트로브 광 조명 조정의 적용은 코의 브리지가 밝아지게 할 수 있지만, 가상 스트로브 광 조명 조정은 이미지의 다른 영역들에 유사하게 적용될 수 있다.
일부 실시예들에서, 코 영역(804)에 대응하는 픽셀들의 이미지 데이터(예컨대, 심도 측정 값들)가 대상의 부분(예컨대, 코 영역(804)에 대응하는 부분)의 기울기, 회전, 및/또는 배향을 결정하는 데 이용될 수 있다. 따라서, 더 깊은 심도 측정 값들을 갖는 조명 조정 영역(802)의 부분들은 더 얕은 심도 측정 값들을 갖는 조명 조정 영역(802)의 부분들보다 적어도 어느 정도 덜 밝아질 수 있다.
일단 식별되면, 조명 조정 영역들(802)은 이미지의 픽셀들의 세트(예컨대, 도 2의 이미지(203))를 식별하는 데 이용될 수 있다. 이어서, 픽셀들의 세트의 밝기 값들은 전술된 바와 같이 미리 결정된 기법에 따라 그리고 일부 경우들에서, 대상 및/또는 코 영역(804)의 기울기, 회전, 및/또는 배향에 따라, 수정될 수 있다.
도 9는 적어도 하나의 실시예에 따른, 가상 광 제거를 수행하기 위한 추가의 조명 조정 영역들(예컨대, 조명 조정 영역(902) 및 조명 조정 영역(904))을 도시하는 간략화된 개략도(900)이다. 조명 조정 영역들(902 내지 904)은 특정 조명 모드(예컨대, 윤곽, 스튜디오, 스테이지, 흑백 스테이지 등)와 연관될 수 있다. 조명 조정 영역들(902 내지 904)의 위치 및 형상은 미리 정의될 수 있다. 조명 조정 영역들(902 내지 904)의 특정 위치들 및 형상들이 도 9에 제공되지만, 조명 조정 영역들(902 내지 904)의 속성들은 사실상 단지 예시적이라는 것이 이해되어야 한다. 조명 영역들(902 내지 904)은 마스크(901)(예컨대, 도 5 내지 도 8의 마스크(502), 마스크(601), 마스크(701), 마스크(801))에 대해 정의될 수 있는 반면, 다른 실시예들에서 마스크(901)가 이용되지 않을 수 있다. 일부 실시예들에서, 조명 조정들은 마스크를 전혀 이용하지 않고 랜드마크 포인트들 및 랜드마크 포인트들의 암시된 기하학적 구조를 사용하여 이루어질 수 있다.
적어도 하나의 실시예에서, 조명 조정 영역들(902 내지 904)은 개별적으로, 또는 집합적으로, 대상의 부분을 어둡게 하기 위해 조명 조정들을 적용하는 데 이용될 수 있다. 대상의 부분을 어둡게 하는 조명 조정들을 수행하는 것은 가상 광 제거로 지칭될 수 있다. 적어도 하나의 실시예에서, 조명 조정 영역들(902 내지 904)은 코 영역(906)의 측면 부분들(예컨대, 마스크(901)로 정의된 영역, 도 4의 랜드마크 포인트들(51 내지 62)에 의해 정의된 코 영역, 등) 또는 이미지의 대상의 임의의 적합한 부분들(예컨대, 도 2의 이미지(203)의 대상(206))을 포함하는 것으로서 미리 정의될 수 있다. 적어도 하나의 예에서, 가상 광 제거는 코의 측면들이 원래의 이미지에 대해 어두워지게 할 수 있다.
일부 실시예들에서, 코 영역(906)의 측면 부분들에 대응하는 픽셀들의 이미지 데이터(예컨대, 심도 측정 값들)가 코 영역(906)의 기울기, 회전, 및/또는 배향을 결정하는 데 이용될 수 있다. 따라서, 더 깊은 심도 측정 값들을 갖는 조명 조정 영역들(902 내지 904)의 부분들은 더 얕은 심도 측정 값들을 갖는 조명 조정 영역들(902 내지 904)의 부분들보다 더 많은 광이 제거되었을 수 있다.
일단 식별되면, 조명 조정 영역들(902 내지 904)은 이미지(예컨대, 도 2의 이미지(203))의 픽셀들의 세트를 식별하는 데 이용될 수 있다. 이어서, 픽셀들의 세트의 밝기 값들은 전술된 바와 같이 미리 결정된 기법에 따라 그리고 일부 경우들에서, 코 영역(906)의 기울기, 회전, 및/또는 배향에 따라, 픽셀들의 적어도 일부를 어둡게 하도록 수정될 수 있다.
도 10은 적어도 하나의 실시예에 따른, 이미지를 수정하는 데 이용될 수 있는 섀도우 영역(1002)을 도시하는 단순화된 개략도(1000)이다. 섀도우 영역(1002)은 특정 조명 모드(예컨대, 윤곽, 스튜디오, 스테이지, 흑백 스테이지 등)와 연관될 수 있다. 섀도우 영역(1002)의 위치 및 형상은 미리 정의될 수 있거나, 또는 섀도우 영역(1002)의 위치 및 형상은 대상의 기울기, 회전, 또는 배향에 적어도 부분적으로 기초하여 결정될 수 있다. 일부 실시예들에서, 섀도우 영역(1002)은 본 명세서에서 논의되는 하나 이상의 마스크에 적어도 부분적으로 기초하여 정의될 수 있거나, 또는 섀도우 영역(1002)은 랜드마크 포인트들의 세트 및 랜드마크 포인트들의 세트의 암시된 기하학적 구조에 적어도 부분적으로 기초하여 정의될 수 있다. 섀도우 영역(1002)의 특정 크기 및 형상이 도 10에 제공되지만, 섀도우 영역(1002)의 속성들은 사실상 단지 예시적인 것임이 이해되어야 한다.
적어도 하나의 실시예에서, 섀도우 영역(1002)은 대상의 부분을 어둡게 하기 위해 조명 조정들을 적용하는 데 이용될 수 있다. 도 10에 도시된 예에서, 섀도우 영역(1002)은 대상의 얼굴 특징부들 외부의 영역을 어둡게 하는 데 사용될 수 있고, 대상의 목 아래 어느 정도의 적절한 거리로 연장된다.
일부 실시예들에서, 이미지 데이터(예컨대, 섀도우 영역(1002)에 대응하는 이미지의 픽셀들의 세트)는 보편적으로 조정될 수 있거나, 이미지 데이터가 섀도우 영역(1002)과 연관된 미리 정의된 기법에 적어도 부분적으로 기초하여 가변적으로 조정될 수 있다. 예를 들어, 섀도우 영역(1002)에 대응하는 이미지 데이터의 픽셀들의 세트는 픽셀들 각각의 각자의 밝기 값들로부터 공통 값(예컨대, 10, 20 등)을 감산함으로써 적합한 양만큼 각각 어두워질 수 있다. 다른 예로서, 미리 정의된 기법은 섀도우 영역(1002)의 영역(1004)에 대응하는 픽셀들이 영역(1004)의 외부에 있는 섀도우 영역(1002)에 대응하는 픽셀들보다 더 큰 정도로 어두워질 수 있다는 것을 특정할 수 있다.
도 11 내지 도 13은 조명 조정들이 이미지 데이터(예컨대, 도 2의 이미지(203)에 대응하는 도 1의 이미지 데이터(102))에 적용되는 다수의 예들에 관한 것이다. 도 11 내지 도 13의 예들은 도 5 내지 도 10의 조명 조정 영역들의 특정 조합들 및 이 영역들에 대응하는 조정들이 적용될 수 있는 특정 순서들을 도시한다. 상기 도면들에 기술된 바와 같이, 조명 조정 영역들은 하나 이상의 마스크 및/또는 랜드마크 포인트들의 다양한 세트들 및 랜드마크 포인트들의 암시된 기하학적 구조에 의해 정의될 수 있다. 조명 조정 영역들의 조합들 및 도시된 조정들의 순서는 사실상 예시적이며, 본 발명의 범주를 제한하도록 의도되지 않는다는 것이 이해되어야 한다. 도 5 내지 도 10의 조명 조정 영역들은 임의의 적합한 순서로, 임의의 적합한 조합으로 이용될 수 있다. 도 5 내지 도 10에 전술된 것들 외의 추가의 조명 조정 영역들이 도 5 내지 도 10의 조명 조정 영역들과 함께, 또는 그 대신에, 이용될 수 있다. 이 추가적인 조명 조정 영역들은 임의의 적합한 크기 또는 형상일 수 있고, 마스크(502) 내의 상이한 픽셀 위치들, 특징부 영역들(예컨대, 좌측 눈썹 영역(504), 우측 눈썹 영역(506), 좌안 영역(508), 우안 영역(510), 코 영역(512), 입 영역(514), 치아 영역, 또는 마스크(502)의 임의의 적합한 특징부 영역을 포함하는 도 5의 특징부 영역들), 이미지 데이터, 헤드샷 이미지 데이터 등으로 지향될 수 있다. 도 5 내지 도 10의 조명 조정 영역들과 마찬가지로, 추가적인 조명 조정 영역들이 하나 이상의 가상 조명 모드에 대응할 수 있고, 영역 내의 가상 조명 조정들이 이루어지는 방식을 정의하는 고유 프로토콜 세트들과 연관될 수 있다.
도 11은 적어도 하나의 실시예에 따른, 윤곽 모드 선택에 따라 이미지 데이터를 수정하기 위한 예시적인 프로세스(1100)를 도시하는 단순화된 흐름도이다. 프로세스(1100)는 윤곽 조명 모드에 대응하는 조명 조정들을 도시할 수 있다. 프로세스(1100)는 구성(600)에 따른 도 6의 조명 조정 영역들에 따라 가상 조명 조정들이 이미지 데이터에 대해 이루어질 수 있는 단계(1102)에서 시작될 수 있다.
단계(1104)에서, 단계(1102)에서 변경된 바와 같이, 추가적인 가상 조명 조정들이 이미지 데이터에 대해 이루어질 수 있다. 단계(1104)에서 이루어지는 추가적인 가상 조명 조정들은 도 7의 조명 조정 영역들 및 구성(700)에 따를 수 있다.
단계(1106)에서, 단계(1106)에서 변경된 바와 같이, 추가적인 가상 조명 조정들이 이미지 데이터에 대해 이루어질 수 있다. 단계(1106)에서 이루어지는 추가적인 가상 조명 조정들은 도 9의 조명 조정 영역들 및 구성(900)에 따를 수 있다.
단계(1108)에서, 단계(1106)에서 변경된 바와 같이, 추가적인 가상 조명 조정들이 이미지 데이터에 대해 이루어질 수 있다. 단계(1108)에서 이루어지는 추가적인 가상 조명 조정들은 도 8의 조명 조정 영역 및 구성(800)에 따를 수 있다.
단계(1110)에서, 단계(1108)에서 변경된 바와 같이, 도 10의 섀도우 영역(1002)에 대응하는 추가적인 가상 조명 조정들이 이미지 데이터에 대해 이루어질 수 있다.
도 12는 적어도 하나의 실시예에 따른, 스튜디오 모드 선택에 따라 이미지 데이터를 수정하기 위한 예시적인 프로세스를 도시하는 단순화된 흐름도이다. 프로세스(1200)는 스튜디오 조명 모드에 대응하는 조명 조정들을 도시할 수 있다. 프로세스(1200)는 도 6의 조명 조정 영역들의 일부에 따라 가상 조명 조정들이 이미지 데이터에 대해 이루어질 수 있는 단계(1202)에서 시작될 수 있다. 예를 들어, 스튜디오 조명 모드와 연관된 프로토콜 세트에 따라 대응하는 조명 조정들을 이미지 데이터에 대해 수행하기 위해, 단계(1202)에서 조명 조정 영역(602), 조명 조정 영역(604), 및 조명 조정 영역(606)이 사용될 수 있다.
단계(1204)에서, 단계(1202)에서 변경된 바와 같이, 추가적인 가상 조명 조정들이 이미지 데이터에 대해 이루어질 수 있다. 예로서, 스튜디오 조명 모드와 연관된 프로토콜 세트에 따라 대응하는 조명 조정들을 이미지 데이터에 대해 수행하기 위해 도 6의 턱 영역(608)이 사용될 수 있다.
단계(1206)에서, 단계(1204)에서 변경된 바와 같이, 추가적인 가상 조명 조정들이 이미지 데이터에 대해 이루어질 수 있다. 단계(1106)에서 이루어지는 추가적인 가상 조명 조정은 도 7의 조명 조정 영역들 및 구성(700)에 따를 수 있다.
단계(1208)에서, 단계(1206)에서 변경된 바와 같이, 추가적인 가상 조명 조정들이 이미지 데이터에 대해 이루어질 수 있다. 단계(1208)에서 이루어지는 추가적인 가상 조명 조정은 도 8의 조명 조정 영역 및 구성(800)에 따를 수 있다.
도 13은 적어도 하나의 실시예에 따른, 흑백 스테이지 모드 선택에 따라 이미지 데이터를 수정하기 위한 예시적인 프로세스(1300)를 도시하는 단순화된 흐름도이다. 프로세스(1300)는 흑백 스튜디오 조명 모드에 대응하는 조명 조정들을 도시할 수 있다. 프로세스(1300)는 이미지의 흑백 버전이 도 6의 조명 조정 영역들 중 일부에 따라 가상 조명 조정들을 제공하는 데 사용될 수 있는 단계(1302)에서 시작될 수 있다. 예를 들어, 스튜디오 조명 모드와 연관된 프로토콜 세트에 따라 대응하는 조명 조정들을 이미지 데이터에 대해 수행하기 위해, 단계(1302)에서 조명 조정 영역(602), 조명 조정 영역(604), 및 조명 조정 영역(606)이 사용될 수 있다.
단계(1304)에서, 단계(1302)에서 변경된 바와 같이, 추가적인 가상 조명 조정들이 이미지 데이터에 대해 이루어질 수 있다. 예로서, 스튜디오 조명 모드와 연관된 프로토콜 세트에 따라 대응하는 조명 조정들을 이미지 데이터에 대해 수행하기 위해 도 6의 턱 영역(608)이 사용될 수 있다.
단계(1306)에서, 단계(1304)에서 변경된 바와 같이, 추가적인 가상 조명 조정들이 이미지 데이터에 대해 이루어질 수 있다. 단계(1306)에서 이루어지는 추가적인 가상 조명 조정은 도 7의 조명 조정 영역들 및 구성(700)에 따를 수 있다.
단계(1308)에서, 단계(1306)에서 변경된 바와 같이, 추가적인 가상 조명 조정들이 이미지 데이터에 대해 이루어질 수 있다. 단계(1308)에서 이루어지는 추가적인 가상 조명 조정은 도 8의 조명 조정 영역 및 구성(800)에 따를 수 있다.
단계(1310)에서, 단계(1306)에서 변경된 바와 같은 이미지 데이터를 사용하여, 추가적인 가상 조명 조정들이 이미지 데이터에 대해 이루어질 수 있다. 예를 들어, 이미지 데이터의 배경(예컨대, 이미지의 대상을 도시하는 헤드샷 이미지 데이터 뒤의 영역)이 검게 될(또는 어두워질) 수 있다. 추가적으로, 단계(1312)에 도시된 바와 같이 구배 효과(gradient effect)가 적용될 수 있다. 구배 효과는 이미지의 대상이 검게 된 배경으로부터 나오도록 할 수 있다.
도 14는 적어도 하나의 실시예에 따른, 본 명세서에 기술된 기능들을 수행할 수 있는 복수의 모듈들을 포함하는 예시적인 컴퓨터 아키텍처(1400)를 개략적으로 도시한다. 일부 예들에서, 예시적인 아키텍처(1400)의 컴퓨팅 디바이스(1402)(예컨대, 스마트폰, 웨어러블 디바이스, 랩톱 등과 같은 퍼스널 디바이스)가 사용자 인터페이스(예컨대, 사용자 인터페이스들(200))를 제시하도록 구성될 수 있다. 사용자 인터페이스는 임의의 적합한 개수 및 구성의 상기 사용자 인터페이스 요소들을 포함할 수 있다.
위에 언급된 바와 같이, 컴퓨팅 디바이스(1402)는 사용자 인터페이스(예컨대, 사용자 인터페이스(200))를 제시하고 이미지 데이터에 조명 모드 조정들을 제공하기 위한 애플리케이션들 또는 명령어들을 실행하거나 달리 관리하도록 구성될 수 있다. 컴퓨팅 디바이스(1402)는 이동 전화기(예컨대, 스마트폰), 태블릿 컴퓨터, PDA(personal digital assistant), 랩톱 컴퓨터, 데스크톱 컴퓨터, 씬 클라이언트(thin-client) 디바이스, 스마트 워치, 무선 헤드셋 등과 같은, 그러나 이에 제한되지 않는 임의의 유형의 컴퓨팅 디바이스일 수 있다.
하나의 예시적인 구성에서, 컴퓨팅 디바이스(1402)는 적어도 하나의 메모리(1414) 및 하나 이상의 프로세싱 유닛(또는 프로세서(들))(1416)을 포함할 수 있다. 프로세서(들)(1416)는 적절하게는 하드웨어, 컴퓨터 실행가능 명령어들, 또는 이들의 조합들로 구현될 수 있다. 프로세서(들)(1416)의 컴퓨터 실행가능 명령어 또는 펌웨어 구현예들은 설명된 다양한 기능들을 수행하기 위해 임의의 적합한 프로그램 언어로 기록된 컴퓨터 실행가능 또는 머신 실행가능 명령어들을 포함할 수 있다.
메모리(1414)는 프로세서(들)(1416) 상에 로딩가능하고 실행가능한 프로그램 명령어들, 및 이 프로그램들의 실행 동안 생성되는 데이터를 저장할 수 있다. 컴퓨팅 디바이스(1402)의 구성 및 유형에 따라, 메모리(1414)는 휘발성(예컨대, RAM(random access memory)) 및/또는 비휘발성(예컨대, ROM(read-only memory), 플래시 메모리 등)일 수 있다. 컴퓨팅 디바이스(1402)는 또한 자기 저장소, 광 디스크, 및/또는 테이프 저장소를 포함하지만 이에 제한되지 않는 추가의 제거가능 저장소 및/또는 제거불가능 저장소(1426)를 포함할 수 있다. 디스크 드라이브들 및 이들의 연관된 비일시적 컴퓨터 판독가능 매체는 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 및 다른 데이터의 비휘발성 저장을 컴퓨팅 디바이스에 제공할 수 있다. 일부 구현예들에서, 메모리(1414)는 다수의 상이한 유형의 메모리, 예컨대, SRAM(static random access memory), DRAM(dynamic random access memory), 또는 ROM을 포함할 수 있다. 본 명세서에서 설명되는 휘발성 메모리가 RAM으로 지칭될 수 있지만, 일단 호스트 및/또는 전원으로부터 플러그해제되면 저장되어 있는 데이터를 유지할 수 없는 임의의 휘발성 메모리가 적절할 것이다.
제거가능한 그리고 제거불가능한 메모리(1414) 및 추가의 저장소(1426) 모두가 비일시적 컴퓨터 판독가능 저장 매체의 예들이다. 예를 들어, 비일시적 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 또는 비휘발성, 제거가능 또는 제거불가능 매체를 포함할 수 있다. 메모리(1414) 및 추가의 저장소(1426) 둘 모두는 비일시적 컴퓨터 저장 매체의 예들이다. 컴퓨팅 디바이스(1402) 내에 존재할 수 있는 추가 유형의 컴퓨터 저장 매체는 PRAM(phase-change RAM), SRAM, DRAM, RAM, ROM, EEPROM(electrically erasable programmable read-only memory), 플래시 메모리 또는 다른 메모리 기술, CD-ROM(compact disc read-only memory), DVD(digital video disc) 또는 다른 광학 저장소, 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, 또는 원하는 정보를 저장하는 데 사용될 수 있고 컴퓨팅 디바이스(1402)에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있지만 이에 제한되지 않는다. 임의의 상기한 것의 조합들이 또한 비일시적 컴퓨터 판독가능 저장 매체의 범주 내에 포함되어야 한다.
대안적으로, 컴퓨터 판독가능 통신 매체는 컴퓨터 판독가능 명령어들, 프로그램 모듈들, 또는 데이터 신호, 예컨대, 반송파, 또는 다른 송신물 내에서 전송되는 다른 데이터를 포함할 수 있다. 그러나, 본 명세서에서 사용되는 바와 같이, 컴퓨터 판독가능 저장 매체가 컴퓨터 판독가능 통신 매체를 포함하지는 않는다.
컴퓨팅 디바이스(1402)는 또한 하나 이상의 네트워크를 통해 컴퓨팅 디바이스(1402)가 데이터 저장소, 다른 컴퓨팅 디바이스 또는 서버, 사용자 터미널들, 및/또는 다른 디바이스들과 통신할 수 있게 하는 통신 접속부(들)(1428)를 포함할 수 있다. 그러한 네트워크들은 케이블 네트워크들, 인터넷, 무선 네트워크들, 셀방식(cellular) 네트워크들, 위성 네트워크들, 다른 사설 및/또는 공중 네트워크들, 또는 이들의 임의의 조합과 같은 많은 상이한 유형의 네트워크들 중 임의의 하나 또는 이들의 조합을 포함할 수 있다. 컴퓨팅 디바이스(1402)는 또한 I/O 디바이스(들)(1430), 예컨대, 터치 입력 디바이스, 키보드, 마우스, 펜, 음성 입력 디바이스, 디스플레이, 스피커, 프린터 등을 포함할 수 있다.
메모리(1414)의 콘텐츠를 더 상세히 참조하면, 메모리(1414)는 운영 시스템(1432) 및/또는 본 명세서에 개시된 특징부들을 구현하기 위한 하나 이상의 애플리케이션 프로그램 또는 서비스를 포함할 수 있다. 메모리(1414)는 이미지 데이터(예컨대, 도 1 의 이미지 데이터(102))를 저장하도록 구성될 수 있는 이미지 데이터 저장소(1433)를 포함할 수 있다. 메모리(1414)는 적어도 하나의 실시예에 따라 기능들을 수행하기 위한 복수의 모듈들을 포함할 수 있다. 모듈들은 사용자 인터페이스 모듈(1434), 랜드마크 식별 모듈(1436), 마스크 생성 모듈(1438), 노이즈 감소 모듈(1436), 및 가상 조명 조정 모듈(1442)을 포함할 수 있다. 모듈들은 소프트웨어 모듈들, 하드웨어 모듈들, 또는 이들의 조합일 수 있다. 모듈들이 소프트웨어 모듈들인 경우, 모듈들은 컴퓨터 판독가능 매체 상에 구현될 수 있고, 본 명세서에 기술된 컴퓨터 시스템들 중 임의의 컴퓨터 시스템 내의 프로세서에 의해 프로세싱될 수 있다. 일부 실시예들에서, 임의의 모듈은 대응하는 계산들을 행하는 데 필요한 유형의 데이터를 관리하는 것을 담당하는 서비스일 수 있음에 유의해야 한다.
일부 예들에서, 사용자 인터페이스 모듈(1434)은 컴퓨팅 디바이스(1402)에서 (예컨대, I/O 디바이스(들)(1430)의 디스플레이에서) 사용자 인터페이스(200)를 제공하도록 구성될 수 있다. 사용자 인터페이스(200)를 제공하는 것의 일부로서, 사용자 인터페이스 모듈(1434)은 사용자 인터페이스(200)에서 디지털 이미지를 제시하기 위해 이미지 데이터를(예컨대, 이미지 데이터 저장소(1433)로부터) 검색하도록 구성될 수 있다. 일부 예들에서, 이미지 데이터는 디지털 이미지의 대상의 헤드샷에 대응하는 헤드샷 이미지 데이터를 포함할 수 있다. 일부 예들에서, 사용자 인터페이스 모듈(1434)은 사용자 인터페이스(200), 또는 이미지 데이터를 제시 및/또는 수정하기 위한 임의의 적합한 사용자 인터페이스를 제시할 수 있다. 추가적으로, 일부 예들에서, 사용자 인터페이스 모듈(1434)은 사용자 인터페이스(200)와 상호작용하기 위한 사용자 입력, 사용자 인터페이스 요소 선택들, 및/또는 제스처 정보를 (예컨대, 터치 스크린을 통해) 수신하고/하거나 해석하도록 구성될 수 있다. 일부 실시예들에서, 사용자 인터페이스 모듈(1434)은 이미지 데이터 및/또는 사용자 인터페이스 요소 선택들에 관한 정보를 랜드마크 식별 모듈(1436)에 제공하도록 구성될 수 있다.
적어도 하나의 실시예에서, 랜드마크 식별 모듈(1436)은 이미지 데이터에 대응하는 랜드마크 포인트들의 세트를 획득하도록 구성될 수 있다. 랜드마크 식별 모듈(1436)은 랜드마크 포인트들의 소스로부터 랜드마크 포인트들의 세트를 요청할 수 있다. 예로서, 랜드마크 식별 모듈(1436)은 이미지 데이터로부터 랜드마크 포인트들의 세트를 결정하는 것을 담당하는 시스템 또는 서비스로부터 랜드마크 포인트들을 요청할 수 있다. 일부 예들에서, 요청은 이미지 데이터를 포함할 수 있고, 응답은 랜드마크 포인트들의 세트에 대응하여(예컨대, 애플리케이션 프로그래밍 인터페이스를 통해) 반환될 수 있다. 요청된/반환된 랜드마크 포인트들의 세트는 이미지 데이터의 부분(예컨대, 헤드샷 이미지 데이터)에 대응할 수 있거나, 또는 요청된/반환된 랜드마크 포인트들의 세트는 하나 이상의 특정 특징부 영역(예컨대, 코 영역, 눈 영역, 눈썹 영역, 입 영역, 치아 영역 등)에 대응할 수 있다.
적어도 하나의 실시예에서, 랜드마크 식별 모듈(1436)은 이미지 데이터로부터 랜드마크 포인트들의 세트를 결정하도록 구성될 수 있다. 이미지 데이터는 기계 학습 모델에 대한 입력으로서 랜드마크 식별 모듈(1436)에 의해 제공될 수 있다. 기계 학습 모델은 랜드마크 포인트들이 알려져 있는 이력 도면들로(예컨대, 감독된 학습 기법들을 이용하여) 훈련될 수 있다. 따라서, 기계 학습 모델은 단일 픽셀 및 영역을 식별하는 데 이용될 수 있는데, 여기서 단일 픽셀은 이력 이미지들의 대응하는 랜드마크 포인트들과 가장 밀접하게 유사하다.
적어도 하나의 실시예에서, 마스크 생성 모듈(1438)은 랜드마크 포인트들의 세트로부터 마스크(예컨대, 도 5 의 마스크(502))를 생성하도록 구성될 수 있다. 예로서, 마스크 생성 모듈(1438)은 랜드마크 식별 모듈(1436)에 의해 획득된 랜드마크 포인트들의 세트를 수신할 수 있다. 랜드마크 포인트들의 세트는 하나 이상의 영역(예컨대, 얼굴 영역, 입 영역, 치아 영역, 눈 영역, 눈썹 영역 등)에 대응할 수 있다. 미리 정의된 프로토콜 세트에 적어도 부분적으로 기초하여, 마스크 생성 모듈(1438)은 얼굴 영역에 대응하는 마스크(또는 3D 모델)를 생성하도록 구성될 수 있다. 일부 예들에서, 마스크 생성 모듈(1438)은 눈 영역, 눈썹 영역, 입 영역, 치아 영역 등의 임의의 적합한 조합과 같은 하나 이상의 서브 영역을 마스크로부터 배제할 수 있다. 비제한적인 예로서, 마스크는 2 개의 눈 영역들 및 입 영역을 배제할 수 있다. 일부 예에서, 마스크 생성 모듈(1438)은 눈 영역, 눈썹 영역, 입 영역, 치아 영역 등의 임의의 적합한 조합에 대응하는 추가의 마스크들을 생성할 수 있다. 마스크는 랜드마크 포인트들의 세트로부터 경계 영역을 정의하는 것에 적어도 부분적으로 기초하여 생성될 수 있다. 마스크(예컨대, 3D 모델)는 이미지 데이터의 2D 정보 및/또는 심도 측정 값들에 대응할 수 있다. 따라서, 일부 예들에서, 마스크에 적용되는 조정들(예컨대, 조명 조정들)이 변환되고, 임의의 적합한 시간에 이미지 데이터에 유사하게 적용될 수 있다.
적어도 하나의 실시예에서, 노이즈 감소 모듈(1440)은 마스크 생성 모듈(1438) 및/또는 이미지 데이터에 의해 생성된 마스크를 이용하는 노이즈 감소 기법들의 임의의 적합한 조합을 수행하도록 구성될 수 있다. 예를 들어, 콘트라스트 조정 알고리즘은 마스크에 대응하는 영역 내의 이미지 데이터의 국부적 콘트라스트를 감소시키기 위해 사용될 수 있다. 일부 실시예들에서, 주근깨, 모반 등과 같은 얼굴 특징부들이 마스크로부터 제거될 수 있다. 얼굴 특징부들이 검출되지 않더라도, 이미지의 콘트라스트를 증가 및/또는 감소시키기 위해 콘트라스트 조정 알고리즘이 이미지에 적용될 수 있다. 일부 실시예들에서, 콘트라스트 조정 알고리즘은 가우스(Gaussian) 함수에 의해 결정되는 요소들을 포함하는 가우스 마스크와 같은 선형 필터에 대응할 수 있다. 이 경우에, (예컨대, 마스크에 대응하는) 이미지 데이터의 각각의 픽셀의 값은 그의 이웃들의 값들과 조화되어 더 근접해질 수 있다. 평탄화 필터는 각각의 픽셀을 그 자신 및 그 근처의 이웃들의 평균 값 또는 가중 평균으로 설정할 수 있다. 일부 실시예들에서, 평탄화 필터는 이미지를 블러링하여 현저히 더 높은 및/또는 낮은 픽셀 강도 값들을 제거할 수 있는데, 그러한 값들이 이웃의 평균/가중 평균을 왜곡시킬 수 있기 때문이다. 노이즈 감소 분야의 당업자에게 명백할 바와 같이, 적응형 필터들, 비선형 필터들, 및/또는 메디안(median) 필터들과 같은 다른 적합한 노이즈 감소 기법들이 사용될 수 있다. 적어도 하나의 예에서, 노이즈 감소 모듈(1440)은 하나 이상의 노이즈 관련 알고리즘이 이미지 내에서 노이즈를 감소 또는 증가시키는 데 사용된 후에 이미지에 대응하는 수정된 이미지 데이터를 저장하도록 구성될 수 있다.
적어도 하나의 실시예에서, 가상 조명 조정 모듈(1442)은 이미지 데이터를 수신 또는 획득하도록 구성될 수 있다. 일부 실시예들에서, 가상 조명 조정 모듈(1442)은 이미지 데이터 저장소(1433) 및/또는 노이즈 감소 모듈(1440)로부터 이미지 데이터를 획득할 수 있다. 수신/획득된 이미지 데이터는 이미지 캡처 디바이스(예컨대, 카메라)에 의해 캡처된 바와 같은 원래의 이미지 데이터일 수 있거나, 수신된/획득된 이미지 데이터가 하나 이상의 노이즈 감소 알고리즘이 적용된 이미지 데이터일 수 있다. 적어도 하나의 실시예에서, 가상 조명 조정 모듈(1442)은 (예컨대, 마스크 생성 모듈(1438)로부터 또는 마스크들을 저장하도록 구성된 적합한 저장소 위치로부터) 이미지 데이터를 위한 마스크를 수신/획득하도록 구성될 수 있다.
가상 조명 조정 모듈(1442)은 사용자에 의해 선택된 조명 조정 모드에 대응하는 정보를 수신/획득하도록 구성될 수 있다. 선택된 조명 조정 모드에 따라, 가상 조명 조정 모듈(1442)은 이미지 데이터에 대해 이루어져야 하는 조명 조정들의 세트를 정의하는 프로토콜 세트(예컨대, 규칙들)를 식별할 수 있다. 조명 조정 모드와 연관된 프로토콜 세트는 하나 이상의 가상 광, 가상 광 제거, 및/또는 섀도우 영역들에 대응하는 조명 조정들의 개수(및 일부 경우에, 순서)를 정의할 수 있다. 프로토콜 세트는 픽셀의 휘도가 심도 측정 값에 적어도 부분적으로 기초하여 조정되어야 하는 양 또는 정도를 추가로 정의할 수 있다. 일부 실시예들에서, 픽셀들은, 이미지의 대상, 마스크, 또는 특징부 영역 중 적어도 하나의 기울기/회전/배향에 적어도 부분적으로 기초하여 밝아지거나 어두워질 수 있다. 다양한 조명 모드들에 대응하는 특정 조명 조정들이 도 11 내지 도 13에 관하여 위에서 논의되었다.
일부 실시예들에서, 가상 조명 조정 모듈(1442)은 (예컨대, 조명 조정 모드에 대응하는 프로토콜 세트에 의해 정의된 바와 같은) 조명 조정들을 이미지 데이터(예컨대, 헤드샷 이미지 데이터), 마스크, 및/또는 얼굴 영역에 적용하도록 구성될 수 있다. 마스크에 적용되는 경우, 가상 조명 조정 모듈(1442)은 마스크 내의 포인트들에 대응하는 이미지 데이터의 대응하는 픽셀들을 결정하도록 구성될 수 있다. 일단 결정되면, 가상 조명 조정 모듈(1442)은 가상 조명 조정들이 이미지 데이터에 적용되게 할 수 있다. 적어도 하나의 실시예에서, 가상 조명 조정 모듈(1442)은 컴퓨팅 디바이스(1402)를 통해 수정된 이미지 데이터(예컨대, 가상 조명 조정들이 적용된 후의 이미지 데이터에 대응함)를 제공하도록 구성될 수 있다. 예로서, 가상 조명 조정 모듈(1442)은 (예컨대, 컴퓨팅 디바이스(1402)의 디스플레이를 통해) 사용자 인터페이스(200)에서 수정된 이미지 데이터를 제시하도록 구성될 수 있다.
도 15 내지 도 17은 본 명세서에 기술된 바와 같이 이미지 데이터에 조명 모드 조정들을 제공하기 위한 각각의 방법들(1500, 1600, 1700)을 보여주는 단순화된 흐름도를 도시한다. 이 방법들(1500, 1600, 1700)은 논리 흐름도들로서 도시되는데, 이들의 각각의 동작은 하드웨어, 컴퓨터 명령어들, 또는 이들의 조합으로 구현될 수 있는 동작들의 시퀀스를 표현한다. 컴퓨터 명령어들의 맥락에서, 동작들은, 하나 이상의 프로세서에 의해 실행될 때, 인용된 동작들을 수행하는 하나 이상의 컴퓨터 판독가능 저장 매체에 저장되는 컴퓨터 실행가능 명령어들을 표현한다. 대체적으로, 컴퓨터 실행가능 명령어들은, 특정 기능들을 수행하거나 특정한 데이터 유형들을 구현하는 루틴들, 프로그램들, 객체들, 컴포넌트들, 데이터 구조들 등을 포함한다. 동작들이 설명되는 순서는 제한으로서 해석되게 하려는 의도는 아니며, 임의의 개수의 설명된 동작들은 프로세스들을 구현하도록 병렬로 그리고/또는 임의의 순서로 조합될 수 있다.
더욱이, 일부의, 임의의, 또는 모든 프로세스들은 실행가능 명령어들로 구성된 하나 이상의 컴퓨터 시스템의 제어 하에서 수행될 수 있고, 하나 이상의 프로세서 상에서, 하드웨어에 의해, 또는 이들의 조합들로 집합적으로 실행되는 코드(예컨대, 실행가능 명령어들, 하나 이상의 컴퓨터 프로그램, 또는 하나 이상의 애플리케이션)로서 구현될 수 있다. 앞서 언급된 바와 같이, 코드는 컴퓨터 판독가능 저장 매체에, 예를 들어, 하나 이상의 프로세서에 의해 실행가능한 복수의 명령어들을 포함하는 컴퓨터 프로그램의 형태로 저장될 수 있다. 컴퓨터 판독가능 저장 매체는 비일시적이다.
도 15는 적어도 하나의 실시예에 따른, 가상 조명 모드에 따라 이미지 데이터를 수정하기 위한 예시적인 방법(1500)을 도시하는 단순화된 흐름도이다. 일부 예들에서, 방법(1500)은 도 14의 컴퓨팅 디바이스(1402)에 의해 수행될 수 있다. 방법(1500)은 이미지 데이터를 수정하기 위한 사용자 인터페이스가 전자 디바이스(예컨대, 도 14 의 사용자 인터페이스 모듈(1434)을 이용하는 컴퓨팅 디바이스(1402))에 의해 제시될 수 있는 단계(1502)에서 시작될 수 있다. 일부 실시예들에서, 이미지 데이터는 헤드샷 이미지 데이터를 포함한다. 예로서, 사용자 인터페이스(200)는 사용자가 (예컨대, 도 2 의 이미지(203)에 대응하는) 도 1의 이미지 데이터(102)를 수정할 수 있게 하기 위해 (예컨대, 컴퓨팅 디바이스(1402)의 디스플레이를 통해) 컴퓨팅 디바이스(1402)상에 제시될 수 있다.
단계(1504)에서, 사용자 입력이 사용자 인터페이스(예컨대, 사용자 인터페이스(200))에서 수신될 수 있다. 일부 실시예들에서, 사용자 입력은 가상 조명 모드(예컨대, 윤곽 모드, 스튜디오 모드, 스테이지 모드, 흑백 스테이지 모드 등)의 선택을 나타낼 수 있다.
단계(1506)에서, (예컨대, 도 14의 랜드마크 식별 모듈(1436)에 의해) 헤드샷 이미지 데이터로부터 복수의 랜드마크 포인트들이 식별될 수 있다. 일부 실시예들에서, 복수의 랜드마크 포인트들 각각은 헤드샷 이미지 데이터의 픽셀들의 세트에 대응할 수 있다. 복수의 랜드마크 포인트들은 픽셀들의 세트와 연관된 심도 측정 값들에 적어도 부분적으로 기초하여 개별적으로 식별될 수 있다.
단계(1508)에서, 하나 이상의 마스크(예컨대, 본 명세서에서 논의되는 마스크들 중 임의의 마스크)가 (예컨대, 마스크 생성 모듈(1438)에 의해) 헤드샷 이미지 데이터에 대해 결정될 수 있다. 일부 실시예들에서, 마스크는 헤드샷 이미지 데이터의 영역의 픽셀 위치들의 세트에 대응할 수 있다. 마스크는 복수의 랜드마크 포인트들에 적어도 부분적으로 기초하여 결정(생성)될 수 있다. 일부 실시예들에서, 헤드샷 이미지 데이터의 영역들은 복수의 랜드마크 포인트들 및 복수의 랜드마크 포인트들의 암시된 기하학적 구조에 기초하여 결정될 수 있다.
단계(1510)에서, 헤드샷 이미지 데이터는 하나 이상의 마스크(들)에 따라 복수의 가상 조명 조정들의 서브세트를 헤드샷 이미지 데이터에 적용함으로써 (예컨대, 도 14의 가상 조명 조정 모듈(1442)에 의해) 수정될 수 있다. 예로서, 가상 조명 조정들이 마스크(예컨대, 3D 모델)에 적용될 수 있고, 헤드샷 이미지 데이터의 대응하는 픽셀들이 수정된 마스크에 따라 조정될 수 있다. 일부 실시예들에서, 헤드샷 이미지 데이터는 랜드마크 포인트들의 세트 및 랜드마크 포인트들의 세트의 암시된 기하학적 구조에 따라 복수의 가상 조명 조정들의 서브세트를 헤드샷 이미지 데이터에 적용함으로써 (예컨대, 도 14의 가상 조명 조정 모듈(1442)에 의해) 수정될 수 있다. 일부 실시예들에서, 헤드샷 이미지 데이터는 선택된 가상 조명 모드의 선택 및 픽셀들의 세트와 연관된 심도 측정 값들에 적어도 부분적으로 기초하여 수정될 수 있다. 다시 말하면, (예컨대, 마스크의 영역 또는 랜드마크 포인트들의 세트에 대응하는) 픽셀들의 세트의 심도 측정 값들은 픽셀들의 세트에 대해 휘도가 조정되는 양에 영향을 줄 수 있다. 더 깊은 심도를 갖는 픽셀들은 더 얕은 심도를 갖는 픽셀들보다 덜 현저하게 조정될 수 있다.
도 16은 적어도 하나의 실시예에 따른, 본 명세서에 기술된 바와 같은 가상 윤곽 조명 모드 선택에 따라 이미지 데이터를 수정하기 위한 예시적인 프로세스(1600)를 도시하는 단순화된 흐름도이다. 일부 예들에서, 프로세스(1600)는 도 14의 컴퓨팅 디바이스(1402)에 의해 수행될 수 있다. 프로세스(1600)는 이미지 데이터를 수정하기 위한 사용자 인터페이스가 전자 디바이스(예컨대, 도 14의 사용자 인터페이스 모듈(1434)을 이용하는 컴퓨팅 디바이스(1402))에 의해 제시될 수 있는 단계(1602)에서 시작될 수 있다. 일부 실시예들에서, 이미지 데이터는 헤드샷 이미지 데이터를 포함한다. 예로서, 사용자 인터페이스(200)는 사용자가 (예컨대, 도 2 의 이미지(203)에 대응하는) 도 1의 이미지 데이터(102)를 수정할 수 있게 하기 위해 (예컨대, 컴퓨팅 디바이스(1402)의 디스플레이를 통해) 컴퓨팅 디바이스(1402)상에 제시될 수 있다.
단계(1604)에서, 사용자 입력이 사용자 인터페이스(예컨대, 사용자 인터페이스(200))에서 수신될 수 있다. 일부 실시예들에서, 사용자 입력은 가상 윤곽 조명 모드의 선택을 나타낼 수 있다. 가상 윤곽 조명 모드는 가상 조명 조정들이 이루어지는 방식을 정의하는 프로토콜 세트와 연관될 수 있다. 프로토콜 세트는 휘도 증가/감소가 이미지 데이터(헤드샷 이미지 데이터 포함) 및/또는 마스크를 이용하여 이루어지는 위치들, 영역들, 및/또는 양/백분율을 정의할 수 있다.
단계(1606)에서, (예컨대, 도 14의 랜드마크 식별 모듈(1436)에 의해) 헤드샷 이미지 데이터로부터 복수의 랜드마크 포인트들이 식별될 수 있다. 일부 실시예들에서, 복수의 랜드마크 포인트들 각각은 헤드샷 이미지 데이터의 픽셀들의 세트에 대응할 수 있다. 복수의 랜드마크 포인트들은 픽셀들의 세트와 연관된 심도 측정 값들에 적어도 부분적으로 기초하여 개별적으로 식별될 수 있다.
단계(1608)에서,(예컨대, 마스크 생성 모듈(1438)에 의해) 헤드샷 이미지 데이터에 대해 마스크(예컨대, 상기 도면들의 하나 이상의 마스크)가 결정될 수 있다. 일부 실시예들에서, 마스크는 헤드샷 이미지 데이터의 영역의 픽셀 위치들의 세트에 대응할 수 있다. 마스크는 복수의 랜드마크 포인트들에 적어도 부분적으로 기초하여 결정(생성)될 수 있다. 일부 실시예들에서, 도 16과 관련하여 논의된 조명 조정들은 하나 이상의 마스크 및/또는 랜드마크 포인트들의 하나 이상의 세트 및 랜드마크 포인트들의 하나 이상의 세트의 암시된 기하학적 구조를 이용할 수 있다.
단계(1610)에서, 가상 윤곽 조명 모드의 선택에 따라 마스크(들)의 이마 영역, 눈 아래 영역, 및 턱 영역과 연관된 제1 복수의 픽셀들의 휘도가 증가될 수 있다. 예로서, 휘도는 도 11의 단계(1102)에 도시된 바와 같이 조정될 수 있다.
단계(1612)에서, 가상 윤곽 조명 모드의 선택에 따라 하나 이상의 마스크의 측면 영역과 연관된 제2 복수의 픽셀들의 휘도가 증가될 수 있다. 예로서, 휘도는 도 11의 단계(1104)에 도시된 바와 같이 조정될 수 있다.
단계(1614)에서, 가상 윤곽 조명 모드의 선택에 따라 마스크의 측면 코 영역과 연관된 제3 복수의 픽셀들의 휘도가 감소될 수 있다. 예로서, 휘도는 도 11의 단계(1106)에 도시된 바와 같이 조정될 수 있다.
단계(1616)에서, 가상 윤곽 조명 모드의 선택에 따라 마스크의 측면 코 영역과 연관된 제4 복수의 픽셀들의 휘도가 감소될 수 있다. 예로서, 휘도는 도 11의 단계(1108)에 도시된 바와 같이 조정될 수 있다.
단계(1618)에서, 가상 윤곽 조명 모드의 선택에 따라 헤드샷 이미지 데이터의 목 영역과 연관된 제5 복수의 픽셀들의 휘도가 감소될 수 있다. 예로서, 휘도는 도 11의 단계(1110)에 도시된 바와 같이 조정될 수 있다.
도 17은 적어도 하나의 실시예에 따른, 본 명세서에 기술된 바와 같은 가상 스튜디오 모드 선택에 따라 이미지 데이터를 수정하기 위한 예시적인 프로세스(1700)를 도시하는 단순화된 흐름도이다. 일부 예들에서, 프로세스(1700)는 도 14의 컴퓨팅 디바이스(1402)에 의해 수행될 수 있다. 일부 실시예들에서, 도 17과 관련하여 논의된 조명 조정들은 하나 이상의 마스크 및/또는 랜드마크 포인트들의 하나 이상의 세트 및 랜드마크 포인트들의 하나 이상의 세트의 암시된 기하학적 구조를 이용할 수 있다.
프로세스(1700)는 이미지 데이터를 수정하기 위한 사용자 인터페이스가 전자 디바이스(예컨대, 도 14의 사용자 인터페이스 모듈(1434)을 이용하는 컴퓨팅 디바이스(1402))에 의해 제시될 수 있는 단계(1702)에서 시작될 수 있다. 일부 실시예들에서, 이미지 데이터는 헤드샷 이미지 데이터를 포함한다. 예로서, 사용자 인터페이스(200)는 사용자가 (예컨대, 도 2 의 이미지(203)에 대응하는) 도 1의 이미지 데이터(102)를 수정할 수 있게 하기 위해 (예컨대, 컴퓨팅 디바이스(1402)의 디스플레이를 통해) 컴퓨팅 디바이스(1402)상에 제시될 수 있다.
단계(1704)에서, 사용자 입력이 사용자 인터페이스(예컨대, 사용자 인터페이스(200))에서 수신될 수 있다. 일부 실시예들에서, 사용자 입력은 가상 스튜디오 조명 모드의 선택을 나타낼 수 있다. 가상 스튜디오 조명 모드는 가상 조명 조정들이 이루어지는 방식을 정의하는 프로토콜 세트와 연관될 수 있다. 프로토콜 세트는 휘도 증가/감소가 이미지 데이터(헤드샷 이미지 데이터 포함) 및/또는 하나 이상의 마스크를 이용하여 이루어지는 위치들, 영역들, 및/또는 양/백분율을 정의할 수 있다.
단계(1706)에서, (예컨대, 도 14의 랜드마크 식별 모듈(1436)에 의해) 헤드샷 이미지 데이터로부터 복수의 랜드마크 포인트들이 식별될 수 있다. 일부 실시예들에서, 복수의 랜드마크 포인트들 각각은 헤드샷 이미지 데이터의 픽셀들의 세트에 대응할 수 있다. 복수의 랜드마크 포인트들은 픽셀들의 세트와 연관된 심도 측정 값들에 적어도 부분적으로 기초하여 개별적으로 식별될 수 있다.
단계(1708)에서, 하나 이상의 마스크(예컨대, 위의 도면들에 묘사된 마스크들 중 임의의 마스크)가 (예컨대, 마스크 생성 모듈(1438)에 의해) 헤드샷 이미지 데이터에 대해 결정될 수 있다. 일부 실시예들에서, 마스크는 헤드샷 이미지 데이터의 영역의 픽셀 위치들의 세트에 대응할 수 있다. 마스크(들)은 복수의 랜드마크 포인트들에 적어도 부분적으로 기초하여 결정(생성)될 수 있다.
단계(1710)에서, 가상 윤곽 조명 모드의 선택에 따라 하나 이상의 마스크의 이마 영역과 연관된 제1 복수의 픽셀들의 휘도가 증가될 수 있다. 예로서, 휘도는 도 11의 단계(1102)에 도시된 바와 같이 조명 조정 영역(602)을 사용하여 조정될 수 있다.
단계(1712)에서, 가상 윤곽 조명 모드의 선택에 따라 하나 이상의 마스크의 눈 아래 영역과 연관된 제2 복수의 픽셀들의 휘도가 증가될 수 있다. 예로서, 휘도는 도 12의 단계(1202)에 도시된 바와 같이 조명 조정 영역(604)을 사용하여 조정될 수 있다.
단계(1714)에서, 가상 윤곽 조명 모드의 선택에 따라 하나 이상의 마스크의 턱 영역과 연관된 제3 복수의 픽셀들의 휘도가 증가될 수 있다. 예로서, 휘도는 도 12의 단계(1204)에 도시된 바와 같이 조명 조정 영역(608)을 사용하여 조정될 수 있다.
단계(1716)에서, 가상 윤곽 조명 모드의 선택에 따라 하나 이상의 마스크의 측면 영역과 연관된 제4 복수의 픽셀들의 휘도가 증가될 수 있다. 예로서, 휘도는 도 12의 단계(1206)에 도시된 바와 같이 조정될 수 있다.
단계(1718)에서, 가상 윤곽 조명 모드의 선택에 따라 헤드샷 이미지 데이터의 코 영역과 연관된 제5 복수의 픽셀들의 휘도가 증가될 수 있다. 예로서, 휘도는 도 12의 단계(1208)에 도시된 바와 같이 조정될 수 있다.
Claims (20)
- 방법으로서,
전자 디바이스에 의해, 이미지 데이터를 수정하기 위한 사용자 인터페이스를 제시하는 단계 - 상기 이미지 데이터는 헤드샷(headshot) 이미지 데이터를 포함함 -;
상기 사용자 인터페이스에서, 가상 조명 모드의 선택을 나타내는 사용자 입력을 수신하는 단계;
상기 헤드샷 이미지 데이터로부터 복수의 랜드마크 포인트들을 식별하는 단계 - 상기 복수의 랜드마크 포인트들 각각은 상기 헤드샷 이미지 데이터의 픽셀들의 세트에 대응하고, 상기 복수의 랜드마크 포인트들은 상기 픽셀들의 세트와 연관된 심도 측정 값들에 적어도 부분적으로 기초하여 개별적으로 식별됨 -;
상기 헤드샷 이미지 데이터에 대한 복수의 마스크들을 생성하는 단계 - 각각의 마스크는 상기 헤드샷 이미지 데이터의 영역의 픽셀 위치들의 세트에 대응하고, 각각의 마스크는 상기 복수의 랜드마크 포인트들에 적어도 부분적으로 기초하여 결정됨 -; 및
상기 복수의 마스크들에 대응하는 상기 헤드샷 이미지 데이터의 영역들 상의 복수의 가상 조명 조정들로부터의 가상 조명 조정들의 서브세트를 이용하여 상기 헤드샷 이미지 데이터를 수정하는 단계를 포함하고, 이용되는 상기 가상 조명 조정들의 서브세트는 선택된 상기 가상 조명 모드에 적어도 부분적으로 기초하여 수정되고, 상기 가상 조명 조정들의 서브세트 각각은 상기 복수의 마스크들의 상이한 마스크를 이용하고,
각각의 가상 조명 조정은, 휘도 또는 인지된 휘도가 증가 또는 감소될 상기 헤드샷 이미지 데이터의 특정 영역들에 대응하는, 방법. - 제1항에 있어서, 상기 제시하는 단계는,
상기 전자 디바이스의 이미지 캡처 디바이스에 의해, 상기 헤드샷 이미지 데이터를 포함하는 상기 이미지 데이터를 캡처하는 단계; 및
상기 전자 디바이스의 디스플레이 상에, 상기 헤드샷 이미지 데이터를 포함하는 상기 이미지 데이터의 미리보기(preview)를 디스플레이하는 단계를 추가로 포함하는, 방법. - 제1항에 있어서, 상기 수정하는 단계는,
상기 전자 디바이스의 디스플레이 상에, 상기 수정된 헤드샷 이미지 데이터의 미리보기를 디스플레이하는 단계를 추가로 포함하는, 방법. - 제1항에 있어서, 상기 복수의 마스크들을 생성하는 단계는,
상기 복수의 마스크들 중 적어도 하나의 마스크에 대해, 상기 헤드샷 이미지 데이터의 적어도 하나의 특징부 영역을 결정하는 단계 - 상기 특징부 영역은 상기 이미지 데이터의 복수의 픽셀들에 대응하고, 상기 특징부 영역은, 대상의 코 영역, 상기 대상의 적어도 하나의 눈 영역, 상기 대상의 입 영역, 상기 대상의 치아 영역, 또는 상기 대상의 적어도 하나의 얼굴 모발 영역 중 적어도 하나에 대응함 -; 및
상기 적어도 하나의 마스크로부터 상기 적어도 하나의 서브 영역을 배제하는 단계를 추가로 포함하는, 방법. - 제1항에 있어서, 상기 복수의 가상 조명 조정들의 상기 서브세트는,
상기 복수의 마스크들 중 적어도 하나의 마스크의 제1 서브 영역과 연관된 픽셀들의 제1 그룹의 휘도를 증가시키는 가상 스포트라이트 조명 조정;
상기 복수의 마스크들 중 적어도 하나의 마스크의 제2 서브 영역과 연관된 픽셀들의 제2 그룹의 휘도를 증가시키는 가상 스트로브 광 조명 조정; 및
상기 복수의 마스크들 중 적어도 하나의 마스크의 측면 영역과 연관된 픽셀들의 제3 그룹의 휘도를 증가시키는 가상 킥 광 조명 조정 중 적어도 하나를 포함하는, 방법. - 제5항에 있어서, 상기 픽셀들의 제1 그룹의 상기 휘도는, 상기 적어도 하나의 마스크의 서브 영역에 대응하는 영역 크기를 상기 이미지 데이터에 의해 정의되는 이미지의 전체 면적과 비교한 것에 적어도 부분적으로 기초하여 증가되는, 방법.
- 제1항에 있어서,
선택된 상기 가상 조명 모드에 적어도 부분적으로 기초하여 가상 광 제거 기법을 이용하여 상기 하나 이상의 마스크의 서브 영역을 어두워지게 하는 단계를 추가로 포함하는, 방법. - 제4항에 있어서,
상기 헤드샷 이미지 데이터에 적어도 부분적으로 기초하여 상기 복수의 마스크들의 배향 및 기울기를 식별하는 단계; 및
상기 배향 및 상기 기울기에 적어도 부분적으로 기초하여 상기 복수의 마스크들의 서브 영역들에 대응하는 복수의 조명 조정 영역들의 치수들을 결정하는 단계를 추가로 포함하고, 상기 복수의 조명 조정 영역들은 상기 복수의 마스크들을 이용하여 상기 복수의 가상 광들의 상기 서브세트를 상기 헤드샷 이미지 데이터에 적용하는 데 이용되는, 방법. - 제1항에 있어서, 상기 복수의 랜드마크 포인트들은 상기 픽셀들의 세트와 연관된 상기 심도 측정 값들을 기계 학습 모델에 제공하는 것에 적어도 부분적으로 기초하여 추가로 식별되며, 상기 기계 학습 모델은 랜드마크 포인트들이 알려진 이력(historical) 이미지들에 대해 훈련되는, 방법.
- 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어들은, 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
전자 디바이스에 의해, 이미지를 정의하는 이미지 데이터를 수정하기 위한 사용자 인터페이스를 제시하게 하고 - 상기 이미지 데이터는 상기 이미지의 대상의 헤드샷 이미지 데이터를 포함함 -;
상기 사용자 인터페이스에서, 가상 조명 모드의 선택을 나타내는 사용자 입력을 수신하게 하고;
상기 헤드샷 이미지 데이터로부터 복수의 랜드마크 포인트들을 식별하게 하고 - 상기 복수의 랜드마크 포인트들 각각은 상기 헤드샷 이미지 데이터의 픽셀들의 세트에 대응하고, 상기 복수의 랜드마크 포인트들은 상기 픽셀들의 세트와 연관된 심도 측정 값들에 적어도 부분적으로 기초하여 개별적으로 식별됨 -;
상기 헤드샷 이미지 데이터에 대한 복수의 마스크들을 생성하게 하고 - 각각의 마스크는 상기 헤드샷 이미지 데이터의 영역의 픽셀 위치들의 세트에 대응하고, 각각의 마스크는 상기 복수의 랜드마크 포인트들의 상기 위치들에 적어도 부분적으로 기초하여 결정됨 -;
상기 복수의 마스크들에 대응하는 상기 헤드샷 이미지 데이터의 영역들 상의 복수의 가상 조명 조정들로부터의 가상 조명 조정들의 서브세트를 이용하여 상기 헤드샷 이미지 데이터를 수정하게 하는 명령어들을 포함하며, 이용되는 상기 가상 조명 조정들의 서브세트는 선택된 상기 가상 조명 모드에 적어도 부분적으로 기초하여 수정되고, 상기 가상 조명 조정들의 서브세트 각각은 상기 복수의 마스크들의 상이한 마스크를 이용하고,
각각의 가상 조명 조정은, 휘도 또는 인지된 휘도가 증가 또는 감소될 상기 헤드샷 이미지 데이터의 특정 영역들에 대응하는, 비일시적 컴퓨터 판독가능 매체. - 제10항에 있어서, 상기 복수의 마스크들을 생성하기 위한 상기 명령어들은,
상기 복수의 마스크들 중 적어도 하나의 마스크에 대해, 상기 헤드샷 이미지 데이터의 적어도 하나의 특징부 영역을 결정하고 - 상기 특징부 영역은 상기 이미지 데이터의 복수의 픽셀들에 대응하고, 상기 특징부 영역은, 상기 대상의 코 영역, 상기 대상의 적어도 하나의 눈 영역, 상기 대상의 입 영역, 상기 대상의 치아 영역, 또는 상기 대상의 적어도 하나의 얼굴 모발 영역 중 적어도 하나에 대응함 -;
상기 적어도 하나의 마스크로부터 상기 적어도 하나의 서브 영역을 배제하기 위한 명령어들을 추가로 포함하는, 비일시적 컴퓨터 판독가능 매체. - 제10항에 있어서, 상기 복수의 가상 조명 조정들의 상기 서브세트는,
상기 복수의 마스크들 중 적어도 하나의 마스크의 제1 서브 영역과 연관된 픽셀들의 제1 그룹의 휘도를 증가시키는 가상 스포트라이트 조명 조정;
상기 복수의 마스크들 중 적어도 하나의 마스크의 제2 서브 영역과 연관된 픽셀들의 제2 그룹의 휘도를 증가시키는 가상 스트로브 광 조명 조정; 및
상기 복수의 마스크들 중 적어도 하나의 마스크의 측면 영역과 연관된 픽셀들의 제3 그룹의 휘도를 증가시키는 가상 킥 광 조명 조정 중 적어도 하나를 포함하는, 비일시적 컴퓨터 판독가능 매체. - 제11항에 있어서, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
상기 헤드샷 이미지 데이터에 적어도 부분적으로 기초하여 상기 복수의 마스크들의 배향 및 기울기를 식별하게 하고;
상기 배향 및 상기 기울기에 적어도 부분적으로 기초하여 상기 복수의 마스크들의 서브 영역들에 대응하는 복수의 조명 조정 영역들의 치수들을 결정하게 하는 명령어들을 추가로 포함하고, 상기 복수의 조명 조정 영역들은 상기 복수의 마스크들을 이용하여 상기 복수의 가상 광들의 상기 서브세트를 상기 헤드샷 이미지 데이터에 적용하는 데 이용되는, 비일시적 컴퓨터 판독가능 매체. - 제10항에 있어서, 상기 복수의 랜드마크 포인트들은 상기 픽셀들의 세트와 연관된 상기 심도 측정 값들을 기계 학습 모델에 제공하는 것에 적어도 부분적으로 기초하여 추가로 식별되며, 상기 기계 학습 모델은 랜드마크 포인트들이 알려진 이력 이미지들에 대해 훈련되는, 비일시적 컴퓨터 판독가능 매체.
- 전자 디바이스로서,
디스플레이;
이미지 캡처 디바이스;
하나 이상의 프로세서들; 및
명령어들을 포함하는 메모리를 포함하고, 상기 명령어들은, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금,
상기 이미지 캡처 디바이스에 의해 캡처된 이미지를 정의하는 이미지 데이터를 수정하기 위한 사용자 인터페이스를 상기 전자 디바이스의 상기 디스플레이 상에 제시하게 하고 - 상기 이미지 데이터는 상기 이미지의 대상의 헤드샷 이미지 데이터를 포함함 -;
상기 사용자 인터페이스에서, 가상 조명 모드의 선택을 나타내는 사용자 입력을 수신하게 하고;
상기 헤드샷 이미지 데이터로부터 복수의 랜드마크 포인트들을 식별하게 하고 - 상기 복수의 랜드마크 포인트들 각각은 상기 헤드샷 이미지 데이터의 픽셀들의 세트에 대응하고, 상기 복수의 랜드마크 포인트들은 상기 픽셀들의 세트와 연관된 심도 측정 값들에 적어도 부분적으로 기초하여 개별적으로 식별됨 -;
상기 헤드샷 이미지 데이터에 대한 복수의 마스크들을 생성하게 하고 - 각각의 마스크는 상기 헤드샷 이미지 데이터의 영역의 픽셀 위치들의 세트에 대응하고, 각각의 마스크는 상기 복수의 랜드마크 포인트들의 상기 위치들에 적어도 부분적으로 기초하여 결정됨 -;
상기 복수의 마스크들에 대응하는 상기 헤드샷 이미지 데이터의 영역들 상의 복수의 가상 조명 조정들로부터의 가상 조명 조정들의 서브세트를 이용하여 상기 헤드샷 이미지 데이터를 수정하게 하며, 이용되는 상기 가상 조명 조정들의 서브세트는 선택된 상기 가상 조명 모드에 적어도 부분적으로 기초하여 수정되고, 상기 가상 조명 조정들의 서브세트 각각은 상기 복수의 마스크들의 상이한 마스크를 이용하고,
각각의 가상 조명 조정은, 휘도 또는 인지된 휘도가 증가 또는 감소될 상기 헤드샷 이미지 데이터의 특정 영역들에 대응하는, 전자 디바이스. - 제15항에 있어서, 상기 복수의 마스크들을 생성하기 위한 상기 명령어들은,
상기 복수의 마스크들 중 적어도 하나의 마스크에 대해, 상기 헤드샷 이미지 데이터의 적어도 하나의 특징부 영역을 결정하고 - 상기 특징부 영역은 상기 이미지 데이터의 복수의 픽셀들에 대응하고, 상기 특징부 영역은, 상기 대상의 코 영역, 상기 대상의 적어도 하나의 눈 영역, 상기 대상의 입 영역, 상기 대상의 치아 영역, 또는 상기 대상의 적어도 하나의 얼굴 모발 영역 중 적어도 하나에 대응함 -;
상기 적어도 하나의 마스크로부터 상기 적어도 하나의 서브 영역을 배제하기 위한 명령어들을 추가로 포함하는, 전자 디바이스. - 제15항에 있어서, 상기 복수의 가상 조명 조정들의 상기 서브세트는,
상기 복수의 마스크들 중 적어도 하나의 마스크의 제1 서브 영역과 연관된 픽셀들의 제1 그룹의 휘도를 증가시키는 가상 스포트라이트 조명 조정;
상기 복수의 마스크들 중 적어도 하나의 마스크의 제2 서브 영역과 연관된 픽셀들의 제2 그룹의 휘도를 증가시키는 가상 스트로브 광 조명 조정; 및
상기 복수의 마스크들 중 적어도 하나의 마스크의 측면 영역과 연관된 픽셀들의 제3 그룹의 휘도를 증가시키는 가상 킥 광 조명 조정 중 적어도 하나를 포함하는, 전자 디바이스. - 제16항에 있어서, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
상기 헤드샷 이미지 데이터에 적어도 부분적으로 기초하여 상기 복수의 마스크들의 배향 및 기울기를 식별하게 하고;
상기 배향 및 상기 기울기에 적어도 부분적으로 기초하여 상기 복수의 마스크들의 서브 영역들에 대응하는 복수의 조명 조정 영역들의 치수들을 결정하게 하는 명령어들을 추가로 포함하고, 상기 복수의 조명 조정 영역들은 상기 복수의 마스크들을 이용하여 상기 복수의 가상 광들의 상기 서브세트를 상기 헤드샷 이미지 데이터에 적용하는 데 이용되는, 전자 디바이스. - 제15항에 있어서, 수정하기 위한 상기 명령어들은, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
상기 전자 디바이스의 상기 디스플레이 상에, 상기 수정된 헤드샷 이미지 데이터의 미리보기를 디스플레이하게 하는 명령어들을 추가로 포함하는, 전자 디바이스. - 제15항에 있어서, 상기 복수의 랜드마크 포인트들은 상기 픽셀들의 세트와 연관된 상기 심도 측정 값들을 기계 학습 모델에 제공하는 것에 적어도 부분적으로 기초하여 추가로 식별되며, 상기 기계 학습 모델은 랜드마크 포인트들이 알려진 이력 이미지들에 대해 훈련되는, 전자 디바이스.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762556411P | 2017-09-09 | 2017-09-09 | |
| US62/556,411 | 2017-09-09 | ||
| US16/032,418 US10740959B2 (en) | 2017-09-09 | 2018-07-11 | Techniques for providing virtual light adjustments to image data |
| US16/032,418 | 2018-07-11 | ||
| PCT/US2018/041792 WO2019050621A1 (en) | 2017-09-09 | 2018-07-12 | TECHNIQUES FOR PROVIDING VIRTUAL LIGHT ADJUSTMENTS TO IMAGE DATA |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200043432A KR20200043432A (ko) | 2020-04-27 |
| KR102390252B1 true KR102390252B1 (ko) | 2022-04-22 |
Family
ID=65631420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207007973A KR102390252B1 (ko) | 2017-09-09 | 2018-07-12 | 이미지 데이터에 가상 조명 조정들을 제공하기 위한 기술 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10740959B2 (ko) |
| EP (1) | EP3679513B1 (ko) |
| KR (1) | KR102390252B1 (ko) |
| CN (1) | CN111066026B (ko) |
| AU (1) | AU2018327983B2 (ko) |
| WO (1) | WO2019050621A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830892B (zh) * | 2018-06-13 | 2020-03-06 | 北京微播视界科技有限公司 | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 |
| GB2578789A (en) * | 2018-11-09 | 2020-05-27 | Sony Corp | A method, apparatus and computer program for image processing |
| US11030798B2 (en) * | 2019-01-30 | 2021-06-08 | Perfect Mobile Corp. | Systems and methods for virtual application of makeup effects based on lighting conditions and surface properties of makeup effects |
| CN111291218B (zh) * | 2020-01-20 | 2023-09-08 | 北京百度网讯科技有限公司 | 视频融合方法、装置、电子设备及可读存储介质 |
| US11615587B2 (en) * | 2020-06-13 | 2023-03-28 | Qualcomm Incorporated | Object reconstruction with texture parsing |
| CN113965664B (zh) * | 2020-07-20 | 2024-02-09 | 武汉Tcl集团工业研究院有限公司 | 一种图像虚化方法、存储介质以及终端设备 |
| CN111901529A (zh) * | 2020-08-17 | 2020-11-06 | 珠海格力电器股份有限公司 | 目标对象拍摄方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060204034A1 (en) * | 2003-06-26 | 2006-09-14 | Eran Steinberg | Modification of viewing parameters for digital images using face detection information |
| JP2012178191A (ja) * | 2012-06-18 | 2012-09-13 | Canon Inc | 画像処理装置及び画像処理方法 |
| US20140341442A1 (en) * | 2013-05-14 | 2014-11-20 | Google Inc. | Image masks for face-related selection and processing in images |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2731810C (en) * | 2008-04-01 | 2017-07-04 | Amo Development, Llc | Ophthalmic laser system with high resolution imaging and kit therefor |
| KR101590868B1 (ko) | 2009-07-17 | 2016-02-02 | 삼성전자주식회사 | 피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체 |
| US20110103655A1 (en) * | 2009-11-03 | 2011-05-05 | Young Warren G | Fundus information processing apparatus and fundus information processing method |
| CN103155004B (zh) * | 2010-09-01 | 2016-05-18 | 玛斯柯有限公司 | 通过图像渲染来演示照明方案的设备、系统和方法 |
| JP2013172166A (ja) | 2012-02-17 | 2013-09-02 | Nikon Corp | 画像処理装置、撮像装置及びプログラム |
| US8854412B2 (en) * | 2012-09-21 | 2014-10-07 | Cisco Technology, Inc. | Real-time automatic scene relighting in video conference sessions |
| US8983176B2 (en) * | 2013-01-02 | 2015-03-17 | International Business Machines Corporation | Image selection and masking using imported depth information |
| US9754154B2 (en) * | 2013-02-15 | 2017-09-05 | Microsoft Technology Licensing, Llc | Identification using depth-based head-detection data |
| GB2519363A (en) * | 2013-10-21 | 2015-04-22 | Nokia Technologies Oy | Method, apparatus and computer program product for modifying illumination in an image |
| US9898849B2 (en) * | 2014-11-05 | 2018-02-20 | Intel Corporation | Facial expression based avatar rendering in video animation and method |
| WO2017149315A1 (en) * | 2016-03-02 | 2017-09-08 | Holition Limited | Locating and augmenting object features in images |
| CN106780359A (zh) | 2016-11-14 | 2017-05-31 | 北京奇虎科技有限公司 | 一种数据编辑方法、装置及移动终端 |
| US10515636B2 (en) * | 2016-12-21 | 2019-12-24 | Intel Corporation | Speech recognition using depth information |
-
2018
- 2018-07-11 US US16/032,418 patent/US10740959B2/en active Active
- 2018-07-12 CN CN201880058280.8A patent/CN111066026B/zh active Active
- 2018-07-12 AU AU2018327983A patent/AU2018327983B2/en active Active
- 2018-07-12 EP EP18755329.2A patent/EP3679513B1/en active Active
- 2018-07-12 WO PCT/US2018/041792 patent/WO2019050621A1/en active Application Filing
- 2018-07-12 KR KR1020207007973A patent/KR102390252B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060204034A1 (en) * | 2003-06-26 | 2006-09-14 | Eran Steinberg | Modification of viewing parameters for digital images using face detection information |
| JP2012178191A (ja) * | 2012-06-18 | 2012-09-13 | Canon Inc | 画像処理装置及び画像処理方法 |
| US20140341442A1 (en) * | 2013-05-14 | 2014-11-20 | Google Inc. | Image masks for face-related selection and processing in images |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111066026A (zh) | 2020-04-24 |
| EP3679513A1 (en) | 2020-07-15 |
| CN111066026B (zh) | 2023-12-15 |
| EP3679513B1 (en) | 2022-12-07 |
| AU2018327983A1 (en) | 2020-03-19 |
| US20190080508A1 (en) | 2019-03-14 |
| KR20200043432A (ko) | 2020-04-27 |
| WO2019050621A1 (en) | 2019-03-14 |
| AU2018327983B2 (en) | 2021-02-25 |
| US10740959B2 (en) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102390252B1 (ko) | 이미지 데이터에 가상 조명 조정들을 제공하기 위한 기술 | |
| CN106548455B (zh) | 用于调整图像的亮度的设备和方法 | |
| CN107771336B (zh) | 基于颜色分布的图像中的特征检测和掩模 | |
| US8698796B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2020535561A (ja) | 画像処理のための方法および装置、ならびにコンピュータ可読記憶媒体 | |
| US10325175B2 (en) | Generation of salient contours using live video | |
| WO2018221092A1 (ja) | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム | |
| US10762692B2 (en) | Techniques for providing virtual lighting adjustments utilizing regression analysis and functional lightmaps | |
| CN110321768B (zh) | 用于生成头部相关传递函数滤波器的布置 | |
| US8237730B1 (en) | Tone mapping for motion pictures | |
| JP5949331B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| CN107302694B (zh) | 通过虚拟现实设备呈现场景的方法、设备及虚拟现实设备 | |
| KR20210118233A (ko) | 모바일 전자 기기를 사용한 고품질 플래쉬 사진을 위해 복수의 이미지를 촬영 및 블렌딩하는 장치 및 방법 | |
| US20140078170A1 (en) | Image processing apparatus and method, and program | |
| CN114096986A (zh) | 自动地分割和调整图像 | |
| JP2013168146A (ja) | 実物体のテクスチャ描写を生成する方法、装置、およびシステム | |
| CN109447931B (zh) | 图像处理方法及装置 | |
| CN109427089B (zh) | 基于环境光照条件的混合现实对象呈现 | |
| EP4150560B1 (en) | Single image 3d photography with soft-layering and depth-aware inpainting | |
| JP2015184701A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN114902277A (zh) | 用于处理肖像图像帧上的阴影的系统和方法 | |
| KR102606373B1 (ko) | 영상에서 검출되는 얼굴의 랜드마크를 조절하기 위한 방법 및 장치 | |
| KR102501411B1 (ko) | 비대칭 얼굴 형태를 유지하며 대칭 표정을 생성하는 전자 장치의 제어 방법 | |
| WO2023097791A1 (zh) | 一种ar设备的拍照方法及其ar设备 | |
| US20230067584A1 (en) | Adaptive Quantization Matrix for Extended Reality Video Encoding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |