KR20210106990A - 피부 반사율 데이터베이스에 기초하여 장면 발광체를 추정하는 방법 및 장치 - Google Patents

피부 반사율 데이터베이스에 기초하여 장면 발광체를 추정하는 방법 및 장치 Download PDF

Info

Publication number
KR20210106990A
KR20210106990A KR1020217016170A KR20217016170A KR20210106990A KR 20210106990 A KR20210106990 A KR 20210106990A KR 1020217016170 A KR1020217016170 A KR 1020217016170A KR 20217016170 A KR20217016170 A KR 20217016170A KR 20210106990 A KR20210106990 A KR 20210106990A
Authority
KR
South Korea
Prior art keywords
skin
illuminant
color value
image
representative
Prior art date
Application number
KR1020217016170A
Other languages
English (en)
Inventor
데이비드 위블
Original Assignee
피씨엠에스 홀딩스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 피씨엠에스 홀딩스, 인크. filed Critical 피씨엠에스 홀딩스, 인크.
Publication of KR20210106990A publication Critical patent/KR20210106990A/ko

Links

Images

Classifications

    • G06K9/00234—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G06K9/4652—
    • G06K9/4661—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Spectroscopy & Molecular Physics (AREA)

Abstract

방법의 일부 실시예들은 실세계 환경의 이미지를 획득하는 단계, 실세계 환경의 발광체의 추정된 발광체 스펙트럼 전력 분포를 결정하는 단계, 및 사람 피부를 나타내는 이미지의 영역을 검출하는 단계를 포함할 수 있다. 방법은 영역의 대표 피부 컬러 값을 결정하는 단계, 및 추정된 발광체 스펙트럼 전력 분포 및 대표 컬러 값에 가장 가깝게 매칭하는 대표 피부 컬러 값에 기초하여, 후보 피부 반사율 스펙트럼을 선택하는 단계를 더 포함할 수 있다. 방법은 대표 피부 컬러 값 및 선택된 후보 피부 반사율 스펙트럼에 기초하여, 추정된 발광체 스펙트럼 전력 분포를 업데이트하는 단계를 더 포함할 수 있다.

Description

피부 반사 데이터베이스를 기반으로 장면 조명을 추정하는 방법 및 장치
관련 출원에 대한 상호 참조
본 출원은 2018년 11월 30일자로 출원된, 발명의 명칭이 "Method and Apparatus to Estimate Scene Illuminant Based on Skin Reflectance Database"인 미국 가특허 출원 제62/774,048호의 정식 출원으로서, 35 U.S.C.§119(e) 하의 이익을 주장하며, 그러한 가특허 출원은 그 전체가 본 명세서에 참고로 포함된다.
많은 컬러-정확한 렌더링 프로세스들(color-accurate rendering processes)이 이미지의 조명을 고려한다. 장면의 이미지에서 발견되는 특징들을 이용하여 장면 발광체(scene illuminant)의 위치를 추정하기 위한 알고리즘들이 존재한다. 사람 피부의 스펙트럼 반사율(spectral reflectance)은 적은 수의 파라미터들로 모델링될 수 있다. 증강 현실 애플리케이션들(augmented reality applications)은 가상 객체들(virtual objects)을 실세계 객체들(real-world objects)과 병치(juxtaposing)함으로써 특정 도전과제들을 제시한다. 가상 객체들의 컬러들에서의 현실감(realism) 또는 정확도의 결여는 가상 객체들이 실제 객체들과 함께 보여질 때 사용자들에게 특히 명백할 수 있다.
예시적인 방법의 일부 실시예들은, 실세계 장면의 이미지를 획득하는 단계; 실세계 장면의 발광체에 대한 제1 추정된 발광체 스펙트럼 전력 분포를 결정하는 단계; 이미지 내에서, 사람 피부를 나타내는 적어도 제1 영역을 식별하는 단계; 이미지로부터, 제1 영역에 대한 대표 피부 컬러 값(representative skin color value)을 결정하는 단계; 제1 추정된 발광체 스펙트럼 전력 분포 및 대표 피부 컬러 값에 기초하여, 제1 후보 피부 반사율 스펙트럼(candidate skin reflectance spectrum)을 선택하는 단계; 및 대표 피부 컬러 값 및 선택된 제1 후보 피부 반사율 스펙트럼에 기초하여 제1 업데이트된 추정된 발광체 스펙트럼 전력 분포를 선택하는 단계를 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 실세계 장면의 이미지를 획득하는 단계는 카메라로 이미지를 캡처하는 단계를 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 대표 피부 컬러 값을 결정하는 단계는 대표 RGB 좌표들을 디바이스-독립적 컬러 좌표들(device-independent color coordinates)로 변환하는 단계를 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 제1 후보 피부 반사율 스펙트럼을 선택하는 단계는, 복수의 저장된 피부 반사율 스펙트럼들 각각에 대해, 제1 추정된 발광체 스펙트럼 전력 분포를 개개의 저장된 피부 반사율 스펙트럼에 적용함으로써, 개개의 예상된 컬러 값(expected color value)을 결정하는 단계; 및 개개의 예상된 컬러 값들과 대표 피부 컬러 값의 비교에 기초하여 복수의 저장된 피부 반사율 스펙트럼들 중에서 제1 후보 피부 반사율 스펙트럼을 선택하는 단계를 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 제1 후보 피부 반사율 스펙트럼은 제1 후보 피부 반사율 스펙트럼과 연관된 예상된 컬러 값과 대표 피부 컬러 값 사이의 컬러 차이를 실질적으로 최소화하도록 선택될 수 있다.
예시적인 방법의 일부 실시예들의 경우, 제1 후보 피부 반사율 스펙트럼을 선택하는 단계는, 파라미터화된 피부 반사율 모델의 적어도 하나의 파라미터 값을 선택하여, (i) 제1 추정된 발광체 스펙트럼 전력 분포를 선택된 파라미터 값에 의해 파라미터화된 피부 반사율 스펙트럼에 적용함으로써 획득된 예상된 컬러 값과 (ii) 대표 피부 컬러 값 사이의 컬러 차이를 실질적으로 최소화하는 단계를 포함할 수 있고, 제1 후보 피부 반사율 스펙트럼은 선택된 파라미터 값에 의해 파라미터화된 피부 반사율 스펙트럼일 수 있다.
예시적인 방법의 일부 실시예들의 경우, 제1 업데이트된 추정된 발광체를 선택하는 단계는, 복수의 저장된 발광체 스펙트럼 전력 분포들 각각에 대해, 저장된 발광체 스펙트럼 전력 분포를 제1 후보 피부 반사율 스펙트럼에 적용함으로써, 개개의 예상된 컬러 값을 결정하는 단계; 및 개개의 예상된 컬러 값들과 대표 컬러 값의 비교에 기초하여 후보 중에서 제1 업데이트된 추정된 발광체를 선택하는 단계를 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 개개의 예상된 컬러 값을 결정하는 단계는, 스펙트럼 카메라 모델을 적용하여 카메라 RGB 좌표들을 생성하는 단계; 및 카메라 RGB 좌표들을 개개의 예상된 컬러 값을 나타내는 디바이스-독립적 컬러 좌표들로 변환하는 단계를 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 복수의 저장된 발광체 스펙트럼 전력 분포들은 복수의 국제 조명 위원회(International Commission on Illumination)(CIE) 표준 발광체들을 포함할 수 있다.
예시적인 방법의 일부 실시예들은, 제1 업데이트된 추정된 발광체 스펙트럼 전력 분포 및 대표 피부 컬러 값에 기초하여, 제2 후보 피부 반사율 스펙트럼을 선택하는 단계; 및 대표 피부 컬러 값 및 선택된 제2 후보 피부 반사율 스펙트럼에 기초하여 제2 업데이트된 추정된 발광체 스펙트럼 전력 분포를 선택하는 단계를 포함할 수 있는 방법에 의해 반복적 정제를 수행하는 단계를 더 포함할 수 있다.
예시적인 방법의 일부 실시예들은, 증강 현실 디바이스에 의해 수행될 수 있고, 방법은 제1 업데이트된 추정된 발광체 스펙트럼 전력 분포를 가상 객체의 발광체로서 이용하여 가상 객체를 렌더링하는 단계를 더 포함할 수 있다.
예시적인 시스템의 일부 실시예들은, 프로세서, 및 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체를 포함할 수 있고, 명령어들은, 실세계 장면의 이미지를 획득하는 단계; 실세계 장면의 발광체에 대한 제1 추정된 발광체 스펙트럼 전력 분포를 결정하는 단계; 이미지 내에서, 사람 피부를 나타내는 적어도 제1 영역을 식별하는 단계; 이미지로부터, 제1 영역에 대한 대표 피부 컬러 값을 결정하는 단계; 제1 추정된 발광체 스펙트럼 전력 분포 및 대표 피부 컬러 값에 기초하여, 제1 후보 피부 반사율 스펙트럼을 선택하는 단계; 및 대표 피부 컬러 값 및 선택된 제1 후보 피부 반사율 스펙트럼에 기초하여 제1 업데이트된 추정된 발광체 스펙트럼 전력 분포를 선택하는 단계를 포함할 수 있는 방법을 수행하도록 동작한다.
추가의 예시적인 방법의 일부 실시예들은, 실세계 장면의 이미지를 획득하는 단계; 이미지 내에서, 사람 피부를 나타내는 적어도 제1 영역을 식별하는 단계; 이미지로부터, 제1 영역에 대한 대표 피부 컬러 값을 결정하는 단계; 대표 컬러 값에 기초하여, 복수의 후보 피부 컬러 값들 중에서 적어도 하나의 후보 피부 컬러 값을 선택하는 단계―후보 피부 컬러 값들 각각은 개개의 발광체와 연관됨―; 및 실세계 장면에 대한 추정된 발광체로서, 선택된 후보 피부 컬러 값과 연관된 개개의 발광체를 선택하는 단계를 포함할 수 있다.
추가의 예시적인 방법의 일부 실시예들은, 증강 현실 디바이스에 의해 수행될 수 있고, 방법은 추정된 발광체를 가상 객체의 발광체로서 이용하여 가상 객체를 렌더링하는 단계를 더 포함할 수 있다.
추가의 예시적인 방법의 일부 실시예들의 경우, 후보 피부 컬러 값들은 개개의 미리 결정된 발광체들과 연관된 저장된 피부 컬러 값들일 수 있다.
도 1a는 일부 실시예들에 따른, 예시적인 통신 시스템을 도시하는 시스템도이다.
도 1b는 일부 실시예들에 따른, 도 1a에 도시된 통신 시스템 내에서 이용될 수 있는 예시적인 무선 송신/수신 유닛(WTRU)을 도시하는 시스템도이다.
도 2a 및 도 2b는 일부 실시예들에 따른, 조명 기하 구조를 고려하는 증강 현실(AR) 객체의 이미지에 대한 예시적인 추가를 도시하는 도면들이다.
도 3은 일부 실시예들에 따른, 이미지에서의 소스 스펙트럼 전력 분포를 결정하기 위한 예시적인 프로세스를 도시하는 흐름도이다.
도 4는 일부 실시예들에 따른, 예시적인 장면 조명 추정 프로세스를 도시하는 흐름도이다.
도 5는 일부 실시예들에 따른, 발광체 및 반사율 모델 파라미터들 및/또는 값들을 결정하기 위한 예시적인 프로세스를 도시하는 도면이다.
도 6은 일부 실시예들에 따른, 발광체 및 반사율 모델 파라미터들 및/또는 값들을 정제하기 위한 예시적인 프로세스를 도시하는 도면이다.
도 7은 일부 실시예들에 따른, 캡처된 이미지와 비교하여 피부 반사율 모델에 대한 에러들을 최소화하는 발광체를 선택하기 위한 예시적인 프로세스를 도시하는 메시지 시퀀싱 도면이다.
도 8은 일부 실시예들에 따른, 사람 피부를 나타내는 캡처된 이미지의 하나 이상의 영역에 대한 발광체를 선택하기 위한 예시적인 프로세스를 도시하는 흐름도이다.
도 9는 일부 실시예들에서 이용될 수 있는 피부 타입들 및 발광체 타입들에 대한 피부 색도 데이터(skin chromaticity data)의 개략도이다.
다양한 도면들에 도시되고 다양한 도면들과 관련하여 설명되는 엔티티들, 접속들, 배열들 등은 제한이 아니라 예로써 제시된다. 이와 같이, 특정 도면이 무엇을 "묘사하는지", 특정 도면에서의 특정 요소 또는 엔티티가 "무엇인지" 또는 무엇을 "갖는지"에 관한 임의의 및 모든 진술들 또는 다른 표시들, 및 단독으로 그리고 문맥으로부터 벗어나 절대적인 것으로 읽혀질 수 있고, 그에 따라 제한적인 것인 임의의 및 모든 유사한 진술들은 "적어도 하나의 실시예에서,..."와 같은 절에 의해 건설적으로 선행되는 것으로서만 적절히 읽혀질 수 있다. 제시의 간결성 및 명료성을 위해, 이 암시된 선행하는 절은 상세한 설명에서 구식으로 반복되지 않는다.
실시예들의 구현을 위한 예시적인 네트워크들
무선 송신/수신 유닛(WTRU)은, 예를 들어, 본 명세서에 설명된 일부 실시예들에서 카메라, 조명 추정기, 및/또는 증강 현실 디스플레이 디바이스로서 이용될 수 있다.
도 1a는 하나 이상의 개시된 실시예가 구현될 수 있는 예시적인 통신 시스템(100)의 도면이다. 통신 시스템(100)은 음성, 데이터, 비디오, 메시징, 브로드캐스트 등과 같은 콘텐츠를 다수의 무선 사용자들에게 제공하는 다중 액세스 시스템일 수 있다. 통신 시스템(100)은 다수의 무선 사용자들이, 무선 대역폭을 포함한, 시스템 자원들의 공유를 통해 그러한 콘텐츠에 액세스하게 할 수 있다. 예를 들어, 통신 시스템들(100)은 CDMA(code division multiple access), TDMA(time division multiple access), FDMA(frequency division multiple access), OFDMA(orthogonal FDMA), SC-FDMA(single-carrier FDMA), ZT UW DTS-s OFDM(zero-tail unique-word DFT-Spread OFDM), UW-OFDM(unique word OFDM), 자원 블록 필터링된(resource block-filtered) OFDM, FBMC(filter bank multicarrier) 등과 같은 하나 이상의 채널 액세스 방법을 이용할 수 있다.
도 1a에 도시된 바와 같이, 통신 시스템(100)은 WTRU(wireless transmit/receive unit)들(102a, 102b, 102c, 102d), RAN(104/113), CN(106/115), PSTN(public switched telephone network)(108), 인터넷(110), 및 다른 네트워크들(112)을 포함할 수 있지만, 개시된 실시예들은 임의의 수의 WTRU들, 기지국들, 네트워크들 및/또는 네트워크 요소들을 고려한다는 것을 이해할 것이다. WTRU들(102a, 102b, 102c, 102d) 각각은 무선 환경에서 동작하고/하거나 통신하도록 구성된 임의의 타입의 디바이스일 수 있다. 예로써, WTRU들(102a, 102b, 102c, 102d)―이들 중 임의의 것은 "스테이션(station)" 및/또는 "STA"라고 지칭될 수 있음―은 무선 신호들을 송신 및/또는 수신하도록 구성될 수 있고, 사용자 장비(UE), 이동국, 고정 또는 모바일 가입자 유닛, 가입 기반 유닛, 페이저, 셀룰러 전화, PDA(personal digital assistant), 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 핫스폿 또는 Mi-Fi 디바이스, IoT(Internet of Things) 디바이스, 시계 또는 다른 웨어러블, HMD(head-mounted display), 차량, 드론, 의료 디바이스 및 애플리케이션들(예를 들어, 원격 수술), 산업 디바이스 및 애플리케이션들(예를 들어, 로봇 및/또는 산업 및/또는 자동화된 처리 체인 컨텍스트들에서 동작하는 다른 무선 디바이스들), 소비자 전자 디바이스, 상업 및/또는 산업 무선 네트워크들 상에서 동작하는 디바이스 등을 포함할 수 있다. WTRU들(102a, 102b, 102c 및 102d) 중 임의의 것은 UE라고 상호교환가능하게 지칭될 수 있다.
통신 시스템들(100)은 또한 기지국(114a) 및/또는 기지국(114b)을 포함할 수 있다. 기지국들(114a, 114b) 각각은, CN(106/115), 인터넷(110), 및/또는 다른 네트워크들(112)과 같은 하나 이상의 통신 네트워크에 대한 액세스를 용이하게 하기 위해 WTRU들(102a, 102b, 102c, 102d) 중 적어도 하나와 무선으로 인터페이스하도록 구성된 임의의 타입의 디바이스일 수 있다. 예로써, 기지국(114a, 114b)은 베이스 트랜시버 스테이션(base transceiver station)(BTS), Node-B, eNode B, Home Node B, Home eNode B, gNB, NR NodeB, 사이트 제어기(site controller), 액세스 포인트(AP), 무선 라우터 등일 수 있다. 기지국들(114a, 114b)은 각각이 단일 요소로서 도시되어 있지만, 기지국들(114a, 114b)이 임의의 수의 상호접속된 기지국들 및/또는 네트워크 요소들을 포함할 수 있다는 것을 잘 알 것이다.
기지국(114a)은 기지국 제어기(base station controller)(BSC), 라디오 네트워크 제어기(radio network controller)(RNC), 릴레이 노드들(relay nodes) 등과 같은 다른 기지국들 및/또는 네트워크 요소들(도시되지 않음)도 포함할 수 있는 RAN(104/113)의 일부일 수 있다. 기지국(114a) 및/또는 기지국(114b)은 셀(cell)(도시되지 않음)이라고 지칭될 수 있는 하나 이상의 캐리어 주파수 상에서 무선 신호들을 송신 및/또는 수신하도록 구성될 수 있다. 이러한 주파수들은 허가 스펙트럼(licensed spectrum), 비허가 스펙트럼, 또는 허가 스펙트럼과 비허가 스펙트럼의 조합일 수 있다. 셀은 비교적 고정될 수 있거나 시간 경과에 따라 변할 수 있는 특정 지리적 영역에 무선 서비스에 대한 커버리지를 제공할 수 있다. 셀은 셀 섹터들(cell sectors)로 추가로 분할될 수 있다. 예를 들어, 기지국(114a)과 연관된 셀은 3개의 섹터들로 분할될 수 있다. 따라서, 일 실시예에서 기지국(114a)은 3개의 트랜시버들, 즉, 셀의 각각의 섹터마다 하나씩의 트랜시버를 포함할 수 있다. 실시예에서, 기지국(114a)은 MIMO(multiple-input multiple-output) 기술을 이용할 수 있고, 셀의 각각의 섹터에 대해 다수의 트랜시버들을 이용할 수 있다. 예를 들어, 빔형성(beamforming)은 신호들을 원하는 공간 방향들로 송신 및/또는 수신하는데 이용될 수 있다.
기지국들(114a, 114b)은 임의의 적절한 무선 통신 링크(예를 들어, RF(radio frequency), 마이크로파, 센티미터파(centimeter wave), 마이크로미터파(micrometer wave), IR(infrared), UV(ultraviolet), 가시광 등)일 수 있는 공중 인터페이스(air interface)(116)를 통해 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상과 통신할 수 있다. 공중 인터페이스(116)는 임의의 적절한 RAT(radio access technology)를 이용하여 확립될 수 있다.
보다 구체적으로, 앞서 살펴본 바와 같이, 통신 시스템(100)은 다중 액세스 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식들을 이용할 수 있다. 예를 들어, RAN(104/113)에서의 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 WCDMA(wideband CDMA)를 이용하여 공중 인터페이스(115/116/117)를 확립할 수 있는 UTRA(Universal Mobile Telecommunications System(UMTS) Terrestrial Radio Access)와 같은 라디오 기술을 구현할 수 있다. WCDMA는 HSPA(High-Speed Packet Access) 및/또는 HSPA+(Evolved HSPA)와 같은 통신 프로토콜들을 포함할 수 있다. HSPA는 HSDPA(High-Speed Downlink(DL) Packet Access) 및/또는 HSUPA(High-Speed UL Packet Access)를 포함할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 LTE(Long Term Evolution) 및/또는 LTE-A(LTE-Advanced) 및/또는 LTE-A Pro(LTE-Advanced Pro)를 이용하여 공중 인터페이스(116)를 확립할 수 있는 E-UTRA(Evolved UMTS Terrestrial Radio Access)와 같은 라디오 기술을 구현할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은, NR(New Radio)을 이용하여 공중 인터페이스(116)를 확립할 수 있는, NR 라디오 액세스와 같은 라디오 기술을 구현할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 다수의 라디오 액세스 기술들을 구현할 수 있다. 예를 들어, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은, 예를 들어, 듀얼 접속(dual connectivity)(DC) 원리들을 이용하여, LTE 라디오 액세스 및 NR 라디오 액세스를 함께 구현할 수 있다. 따라서, WTRU들(102a, 102b, 102c)에 의해 이용된 공중 인터페이스는 다수의 타입들의 기지국들(예를 들어, eNB 및 gNB)로/로부터 전송된 다수의 타입들의 라디오 액세스 기술들 및/또는 송신들에 의해 특징지어질 수 있다.
다른 실시예들에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 IEEE 802.11(즉, WiFi(Wireless Fidelity), IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, IS-2000(Interim Standard 2000), IS-95(Interim Standard 95), IS-856(Interim Standard 856), GSM(Global System for Mobile communications), EDGE(Enhanced Data rates for GSM Evolution), GSM EDGE(GERAN) 등과 같은 라디오 기술들을 구현할 수 있다.
도 1a에서의 기지국(114b)은, 예를 들어, 무선 라우터, Home Node B, Home eNode B, 또는 액세스 포인트일 수 있고, 사업장, 가정, 차량, 캠퍼스, 산업 설비, (예를 들어, 드론들에 의한 이용을 위한) 공중 회랑(air corridor), 도로(roadway) 등과 같은 지역화된 영역에서의 무선 접속을 용이하게 하기 위해 임의의 적절한 RAT를 이용할 수 있다. 일 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 WLAN(wireless local area network)을 확립하기 위해 IEEE 802.11과 같은 라디오 기술을 구현할 수 있다. 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 WPAN(wireless personal area network)을 확립하기 위해 IEEE 802.15와 같은 라디오 기술을 구현할 수 있다. 또 다른 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 피코셀(picocell) 또는 펨토셀(femtocell)을 확립하기 위해 셀룰러 기반 RAT(cellular-based RAT)(예를 들어, WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A Pro, NR 등)를 이용할 수 있다. 도 1a에 도시된 바와 같이, 기지국(114b)은 인터넷(110)에 대한 직접 접속(direct connection)을 가질 수 있다. 따라서, 기지국(114b)은 CN(106/115)을 통해 인터넷(110)에 액세스할 필요가 없을 수 있다.
RAN(104/113)은 음성, 데이터, 애플리케이션들, 및/또는 VoIP(voice over internet protocol) 서비스들을 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상에 제공하도록 구성된 임의의 타입의 네트워크일 수 있는 CN(106/115)과 통신할 수 있다. 데이터는 상이한 처리량 요건들, 레이턴시 요건들, 에러 허용오차 요건들, 신뢰성 요건들, 데이터 처리량 요건들, 이동성 요건들 등과 같은 다양한 서비스 품질(QoS) 요건들을 가질 수 있다. CN(106/115)은 호 제어(call control), 과금 서비스들, 모바일 위치 기반 서비스들, 선불 전화(pre-paid calling), 인터넷 접속, 비디오 배포 등을 제공하고/하거나 사용자 인증과 같은 높은 수준 보안 기능들을 수행할 수 있다. 도 1a에 도시되어 있지는 않지만, RAN(104/113) 및/또는 CN(106/115)이 RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 이용하는 다른 RAN들과 직접 또는 간접 통신을 할 수 있음을 잘 알 것이다. 예를 들어, NR 라디오 기술을 이용하고 있을 수 있는 RAN(104/113)에 접속되는 것에 부가하여, CN(106/115)은 또한 GSM, UMTS, CDMA2000, WiMAX, E-UTRA, 또는 WiFi 라디오 기술을 이용하는 다른 RAN(도시되지 않음)과 통신할 수 있다.
CN(106/115)은 또한 WTRU들(102a, 102b, 102c, 102d)이 PSTN(108), 인터넷(110), 및/또는 다른 네트워크들(112)에 액세스하기 위한 게이트웨이로서 역할할 수 있다. PSTN(108)은 POTS(plain old telephone service)를 제공하는 회선 교환 전화 네트워크들(circuit-switched telephone networks)을 포함할 수 있다. 인터넷(110)은 TCP/IP 인터넷 프로토콜 세트에서의 송신 제어 프로토콜(TCP), 사용자 데이터그램 프로토콜(UDP) 및/또는 인터넷 프로토콜(IP)과 같은 공통 통신 프로토콜들을 이용하는 상호접속된 컴퓨터 네트워크들 및 디바이스들의 글로벌 시스템을 포함할 수 있다. 네트워크들(112)은 다른 서비스 제공자들에 의해 소유되고/되거나 운영되는 유선 및/또는 무선 통신 네트워크들을 포함할 수 있다. 예를 들어, 네트워크들(112)은 RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 이용할 수 있는 하나 이상의 RAN에 접속된 다른 CN을 포함할 수 있다.
통신 시스템(100)에서의 WTRU들(102a, 102b, 102c, 102d) 중 일부 또는 전부는 다중 모드 능력들을 포함할 수 있다(예를 들어, WTRU들(102a, 102b, 102c, 및 102d)은 상이한 무선 링크들을 통해 상이한 무선 네트워크들과 통신하기 위해 다수의 트랜시버들을 포함할 수 있다). 예를 들어, 도 1a에 도시된 WTRU(102c)는 셀룰러 기반 라디오 기술을 이용할 수 있는 기지국(114a), 및 IEEE 802 라디오 기술을 이용할 수 있는 기지국(114b)과 통신하도록 구성될 수 있다.
도 1b는 예시적인 WTRU(102)를 도시하는 시스템도이다. 도 1b에 도시된 바와 같이, WTRU(102)는, 다른 것들 중에서, 프로세서(118), 트랜시버(120), 송신/수신 요소(transmit/receive element)(122), 스피커/마이크로폰(124), 키패드(126), 디스플레이/터치패드(128), 비이동식 메모리(130), 이동식 메모리(132), 전원(134), GPS(global positioning system) 칩셋(136), 및/또는 다른 주변기기들(138)을 포함할 수 있다. 실시예와 부합한 채로 있으면서 WTRU(102)가 전술한 요소들의 임의의 부조합(sub-combination)을 포함할 수 있다는 것이 이해될 것이다.
프로세서(118)는 범용 프로세서, 특수 목적 프로세서, 종래의 프로세서, DSP(digital signal processor), 복수의 마이크로프로세서들, DSP 코어와 연관된 하나 이상의 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit)들, FPGA(Field Programmable Gate Array) 회로들, 임의의 다른 타입의 IC(integrated circuit), 상태 머신(state machine) 등일 수 있다. 프로세서(118)는 WTRU(102)가 무선 환경에서 동작할 수 있게 하는 신호 코딩, 데이터 처리, 전력 제어, 입력/출력 처리, 및/또는 임의의 다른 기능을 수행할 수 있다. 프로세서(118)는 트랜시버(120)에 결합될 수 있고, 트랜시버(120)는 송신/수신 요소(122)에 결합될 수 있다. 도 1b가 프로세서(118) 및 트랜시버(120)를 별도의 컴포넌트들로서 도시하고 있지만, 프로세서(118) 및 트랜시버(120)가 전자 패키지 또는 칩에 함께 통합되어 있을 수 있다는 것을 잘 알 것이다.
송신/수신 요소(122)는 공중 인터페이스(116)를 통해 기지국(예를 들어, 기지국(114a))으로 신호들을 송신하거나 기지국으로부터 신호들을 수신하도록 구성될 수 있다. 예를 들어, 일 실시예에서, 송신/수신 요소(122)는 RF 신호들을 송신 및/또는 수신하도록 구성된 안테나일 수 있다. 실시예에서, 송신/수신 요소(122)는, 예를 들어, IR, UV 또는 가시광 신호들을 송신 및/또는 수신하도록 구성된 방출기/검출기일 수 있다. 또 다른 실시예에서, 송신/수신 요소(122)는 RF 및 광 신호들 둘다를 송신 및/또는 수신하도록 구성될 수 있다. 송신/수신 요소(122)가 무선 신호들의 임의의 조합을 송신 및/또는 수신하도록 구성될 수 있다는 것이 이해될 것이다.
또한, 송신/수신 요소(122)가 단일 요소로서 도 1b에 도시되어 있지만, WTRU(102)는 임의의 수의 송신/수신 요소들(122)을 포함할 수 있다. 보다 구체적으로는, WTRU(102)는 MIMO 기술을 이용할 수 있다. 따라서, 일 실시예에서, WTRU(102)는 공중 인터페이스(116)를 통해 무선 신호들을 송신 및 수신하기 위한 2개 이상의 송신/수신 요소들(122)(예를 들어, 다수의 안테나들)을 포함할 수 있다.
트랜시버(120)는 송신/수신 요소(122)에 의해 송신되는 신호들을 변조하고, 송신/수신 요소(122)에 의해 수신되는 신호들을 복조하도록 구성될 수 있다. 앞서 살펴본 바와 같이, WTRU(102)는 다중 모드 능력들을 가질 수 있다. 따라서, 트랜시버(120)는, 예를 들어, NR 및 IEEE 802.11과 같은 다수의 RAT들을 통해 WTRU(102)가 통신할 수 있게 하는 다수의 트랜시버들을 포함할 수 있다.
WTRU(102)의 프로세서(118)는 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)(예를 들어, LCD(liquid crystal display) 디스플레이 유닛 또는 OLED(organic light-emitting diode) 디스플레이 유닛)에 결합될 수 있고, 그로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(118)는 또한 사용자 데이터를 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)에 출력할 수 있다. 더욱이, 프로세서(118)는 비이동식 메모리(130) 및/또는 이동식 메모리(132)와 같은 임의의 타입의 적절한 메모리로부터의 정보에 액세스하거나 그 메모리에 데이터를 저장할 수 있다. 비이동식 메모리(130)는 RAM(random-access memory), ROM(read-only memory), 하드 디스크, 또는 임의의 다른 타입의 메모리 저장 디바이스를 포함할 수 있다. 이동식 메모리(132)는 SIM(subscriber identity module) 카드, 메모리 스틱, SD(secure digital) 메모리 카드 등을 포함할 수 있다. 다른 실시예들에서, 프로세서(118)는, 서버 또는 홈 컴퓨터(도시되지 않음) 상에 있는 것과 같이, WTRU(102) 상에 물리적으로 위치되지 않은 메모리로부터의 정보에 액세스하고 그 메모리에 데이터를 저장할 수 있다.
프로세서(118)는 전원(134)으로부터 전력을 공급받을 수 있고, WTRU(102)에서의 다른 컴포넌트들에 전력을 분배하고/하거나 전력을 제어하도록 구성될 수 있다. 전원(134)은 WTRU(102)에 전력을 공급하기 위한 임의의 적절한 디바이스일 수 있다. 예를 들어, 전원(134)은 하나 이상의 건전지(예를 들어, 니켈 카드뮴(NiCd), 니켈 아연(NiZn), 니켈 금속 수소화물(NiMH), 리튬 이온(Li-ion) 등), 태양 전지들(solar cells), 연료 전지들(fuel cells) 등을 포함할 수 있다.
프로세서(118)는 또한 WTRU(102)의 현재 위치에 관한 위치 정보(예를 들어, 경도 및 위도)를 제공하도록 구성될 수 있는 GPS 칩셋(136)에 결합될 수 있다. GPS 칩셋(136)으로부터의 정보에 부가하여 또는 그 대신에, WTRU(102)는 기지국(예를 들어, 기지국들(114a, 114b))으로부터 공중 인터페이스(116)를 통해 위치 정보를 수신할 수 있고/있거나 2개 이상의 근방의 기지국들로부터 수신되고 있는 신호들의 타이밍에 기초하여 그의 위치를 결정할 수 있다. WTRU(102)가 실시예와 부합한 채로 있으면서 임의의 적절한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것이 이해될 것이다.
프로세서(118)는, 추가의 특징들, 기능 및/또는 유선 또는 무선 접속을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수 있는, 다른 주변기기들(138)에 추가로 결합될 수 있다. 예를 들어, 주변기기들(138)은 가속도계, e-나침반(e-compass), 위성 트랜시버, 디지털 카메라(사진 및/또는 비디오용), USB(universal serial bus) 포트, 진동 디바이스, 텔레비전 트랜시버, 핸즈 프리(hands free) 헤드셋, Bluetooth® 모듈, FM(frequency modulated) 라디오 유닛, 디지털 음악 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저, VR/AR(Virtual Reality and/or Augmented Reality) 디바이스, 활동 추적기(activity tracker) 등을 포함할 수 있다. 주변기기들(138)은 하나 이상의 센서를 포함할 수 있고, 센서들은 자이로스코프, 가속도계, 홀 효과 센서(hall effect sensor), 자력계(magnetometer), 배향 센서, 근접 센서, 온도 센서, 시간 센서, 지오로케이션 센서(geolocation sensor), 고도계, 광 센서, 터치 센서, 자력계, 기압계, 제스처 센서, 생체인식 센서(biometric sensor), 및/또는 습도 센서 중 하나 이상일 수 있다.
WTRU(102)는 (예를 들어, (예를 들어, 송신을 위한) UL 및 (예를 들어, 수신을 위한) 다운링크 둘다에 대한 특정 서브프레임들과 연관된) 신호들의 일부 또는 전부의 송신 및 수신이 공존하고/하거나 동시적일 수 있는 풀 듀플렉스 라디오(full duplex radio)를 포함할 수 있다. 풀 듀플렉스 라디오는 하드웨어(예를 들어, 초크(choke)) 또는 프로세서(예를 들어, 별도의 프로세서(도시되지 않음) 또는 프로세서(118))를 통한 신호 처리 중 어느 하나를 통한 자기-간섭(self-interference)을 감소 및/또는 실질적으로 제거하는 간섭 관리 유닛을 포함할 수 있다. 실시예에서, WRTU(102)는 (예를 들어, (예를 들어, 송신을 위한) UL 또는 (예를 들어, 수신을 위한) 다운링크 중 어느 하나에 대한 특정 서브프레임들과 연관된) 신호들의 일부 또는 전부의 송신 및 수신을 위한 하프 듀플렉스 라디오(half-duplex radio)를 포함할 수 있다.
도 1a 및 도 1b, 및 도 1a 및 도 1b의 대응하는 설명에 비추어, WTRU(102a-d), 기지국(114a-b), 및/또는 본 명세서에 설명된 임의의 다른 디바이스(들) 중 하나 이상과 관련하여 본 명세서에 설명된 기능들 중 하나 이상 또는 전부는 하나 이상의 에뮬레이션 디바이스(도시되지 않음)에 의해 수행될 수 있다. 에뮬레이션 디바이스들은 본 명세서에 설명된 기능들 중 하나 이상 또는 전부를 에뮬레이션하도록 구성된 하나 이상의 디바이스일 수 있다. 예를 들어, 에뮬레이션 디바이스들은 다른 디바이스들을 테스트하고/하거나 네트워크 및/또는 WTRU 기능들을 시뮬레이션하기 위해 이용될 수 있다.
에뮬레이션 디바이스들은 실험실 환경 및/또는 운영자 네트워크 환경에서 다른 디바이스들의 하나 이상의 테스트를 구현하도록 설계될 수 있다. 예를 들어, 하나 이상의 에뮬레이션 디바이스는 통신 네트워크 내의 다른 디바이스들을 테스트하기 위해 유선 및/또는 무선 통신 네트워크의 일부로서 완전히 또는 부분적으로 구현 및/또는 배치되면서 하나 이상의 또는 모든 기능을 수행할 수 있다. 하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 일시적으로 구현/배치되면서 하나 이상의 또는 모든 기능들을 수행할 수 있다. 에뮬레이션 디바이스는 테스트를 위해 다른 디바이스에 직접 결합될 수 있고/있거나 오버-디-에어(over-the-air) 무선 통신을 이용하여 테스트를 수행할 수 있다.
하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 구현/배치되지 않으면서, 모든 기능들을 포함하는 하나 이상의 기능을 수행할 수 있다. 예를 들어, 에뮬레이션 디바이스들은 하나 이상의 컴포넌트의 테스트를 구현하기 위해 테스팅 실험실 및/또는 비-배치된(non-deployed) (예를 들어, 테스팅) 유선 및/또는 무선 통신 네트워크에서의 테스팅 시나리오에서 이용될 수 있다. 하나 이상의 에뮬레이션 디바이스는 테스트 장비일 수 있다. RF 회로(예를 들어, 하나 이상의 안테나를 포함할 수 있음)를 통한 직접 RF 결합 및/또는 무선 통신들은 데이터를 송신 및/또는 수신하기 위해 에뮬레이션 디바이스들에 의해 이용될 수 있다.
상세한 설명
이미지들을 캡처 및 디스플레이하는 시스템(예를 들어, 헤드 장착형 디스플레이, 전화, 또는 태블릿)은 이미지들의 가장 정확한 렌더링들을 생성하기 위해 이미지들을 디스플레이에 렌더링할 때 장면 발광체를 고려한다. AR 콘텐츠가 실세계 이미지 내에 정확하게 삽입되어야 하는 경우, AR 콘텐츠는 동일한 장면 발광체 하에서 렌더링될 수 있다. 많은 디지털 카메라들은 장면에서의 발광체에 적응하지 않는다. 따라서, 장면 발광체가 변화되면, 객체에 대한 RGB 신호들이 변화된다. 일부 발광체 추정 알고리즘들은 얼굴들 또는 피부 톤들에 관련되지 않은 장면 특징들에 기초한다. 피부 컬러들의 렌더링은 그러한 방법들에 대해 저하될 수 있다.
일부 시스템들에서의 장면 조명은 (예를 들어, 감독(director)에 의해) 제어되거나, (예를 들어, 비색계(colorimeter)로) 측정되거나, 추정될 수 있다. 하나의 시스템(미국 특허 제8,811,729호)은 장면으로부터 반사된 광을 캡처할 때 컬러 필터들의 2개의 상이한 세트들을 이용하고, "크로마제닉 발광체 추정(chromagenic illuminant estimation) 방법에서 상이한 필터링을 갖는 상호 대응하는 이미지들로부터의 픽셀들이 비교되고, 가장 밝은 픽셀들의 일부가 후속 크로마제닉 추정을 위해 선택된다."(미국 특허 제8,811,729호 요약).
피부 톤들이 조명을 위한 조정들로 렌더링되면, 렌더링된 장면의 외관이 개선될 수 있다. 장면의 이미지에서의 조명의 컬러 및 스펙트럼 전력 분포가 추정되고, 이미지에 추가된 AR 객체들을 렌더링하는데 이용될 수 있다. 일부 이미징 디바이스들에 기초한 발광체의 추정은 적색-녹색-청색(RGB) 또는 다른 컬러 좌표들로 제한될 수 있다. 발광체에 대한 스펙트럼 전력 분포 데이터는 AR 이미지의 더 정확한 렌더링을 가능하게 할 수 있고, 관찰자의 시각 속성들에 대해 컬러 관리 시스템이 최적화되게 할 수 있다. 장면의 이미지에 대한 조명 데이터는 이미지의 다른 속성들 중에서, 컬러 일관성을 보존하고, 컬러들을 밸런싱하고, 광 노출을 제어하기 위해 이용될 수 있다. 부정확한 조명은 증강 및/또는 혼합 현실 상황에서 합성 콘텐츠의 현실감에 대한 영향 및 이미지 변경을 검출하는데 이용될 수 있다.
조명 소스의 스펙트럼 전력 분포는 시스템의 균형의 스펙트럼 특성을 조정하는 것을 포함할 수 있는 스펙트럼 작업흐름에 적용될 수 있다. 일부 실시예들의 경우, 비-메타메릭 렌더링 프로세스(non-metameric rendering process)는, 삽입된 이미지의 스펙트럼 반사율 속성들 뿐만 아니라, 관찰자 개인화된 컬러 매칭 함수들의 세트에 대한 데이터와 함께 이용될 수 있다. 그러한 프로세스는 이미지에 추가된 삽입된 AR 객체들의 현실감을 증가시킬 수 있다.
도 2a 및 도 2b는 일부 실시예들에 따른 조명 기하 구조를 고려하는 증강 현실(AR) 객체의 이미지에 대한 예시적인 추가를 도시하는 도면들이다. 도 2a는 이미지에 추가된 임의의 증강 현실 객체들이 없는 해변의 원래 이미지(200)를 도시한다. 도 2b는 벤치(bench)(252)의 AR 객체가 이미지(250)에 추가된 동일한 이미지(250)를 도시한다. 가상 벤치(252) 및 주변 영역은 장면의 발광체 및 조명 기하 구조를 고려하도록 조정될 수 있다.
투시(see-through) 증강 현실(AR) 헤드 장착형 디스플레이(HMD) 상에서 구현되는 실시예에 대한 하나의 이용 사례에서, AR HMD의 사용자는 가구가 배치되지 않은 방에 있고, 방이 상이한 가구들로 어떻게 보일지 AR 표현을 보기를 원한다. 이를 위해, 사용자의 AR HMD는, 예를 들어, 특정 소파의 가상 모델을 획득한다. AR 디스플레이는 방에서의 실제 조명 조건들을 고려하지 않고 방에서의 소파의 표현을 보여줄 수 있다. 소파의 그러한 표현은 소파가 방을 위한 적절한 크기인지를 결정하는데 유용할 수 있지만, 소파 컬러의 부정확한 표현을 제공할 가능성이 있다. 소파 컬러의 더 정확한 표현을 제공하기 위해, 예시적인 실시예들은 실세계 조명 조건들을 추정하고, 추정된 실세계 조명 조건들 하에서 조명된 것처럼 보이도록 소파를 렌더링하도록 동작한다. 실세계 조명 조건들을 추정하기 위해, 사용자의 AR HMD는 실세계 장면의 이미지를 캡처하고, 이미지에서 가시적인 사람 피부의 영역을 자동으로 식별한다. AR HMD는 피부 영역의 검출된 컬러에 기초하여 조명 조건들의 추정치를 결정한다. 예를 들어, AR HMD는 미리 결정된 조명 조건들의 세트 중에서, 어느 조명 조건들이 검출된 피부 컬러를 생성할 가능성이 가장 높은지를 선택할 수 있다. 가상 소파는 이어서 선택된 조명 조건들을 이용하여 렌더링될 수 있고, 실제 소파가 현재 조명 조건들 하에서 방에서 어떻게 보일지에 대한 보다 정확한 표현을 사용자에게 제공한다.
일부 실시예들에 대한 예시적인 프로세스는 카우치(couch)와 같은 증강 현실(AR) 객체를 거실에 있는 사람의 실세계 환경의 이미지에 추가할 수 있다. 발광체의 스펙트럼은 피부로부터 반사된 광의 관찰들 및 (피부 컬러 매칭들의 세트를 포함할 수 있는) 사람 피부의 스펙트럼 반사율의 데이터베이스 또는 피부 반사율의 파라메트릭 모델(parametric model)을 이용하여 추정될 수 있다. 실세계 환경의 이미지는 사람의 얼굴 또는 사람 피부를 나타내는 다른 영역들을 포함할 수 있다. 카우치와 같은 AR 객체가 실세계 이미지를 포함하는 AR 환경에 추가될 수 있다. (카우치와 같은) AR 객체의 조명이 조정될 수 있다. 예시적인 프로세스는 (장면에 대한 발광체일 수 있는) 화이트 포인트(white point)를 추정하고, 이미지에서 캡처된 AR 환경에 추가된 (AR 콘텐츠의 조명과 같은) AR 콘텐츠를 적응시킬 수 있다. 일부 실시예들은 사람 및 거실의 이미지를 포함할 수 있는 실세계 이미지의 조명을 조정할 수 있다. 예를 들어, 실세계 환경의 이미지는 AR 환경에서 상이한 조명 컬러를 이용하도록 조정될 수 있다. 실세계 환경의 이미지를 포함하는 AR 환경에 추가된 하나 이상의 AR 객체의 조명을 조정하는데 이용될 수 있는 예시적인 프로세스가 도 3과 관련하여 이하에서 설명된다.
헤드 장착형 디스플레이(HMD) 또는 핸드헬드(hand-held) 카메라 또는 디스플레이(예를 들어, 전화 또는 태블릿) 시스템은 카메라 및 관찰자가 보는 디스플레이를 포함할 수 있다. 본 명세서에 설명된 방법들의 일부 실시예들은 광학 투시 헤드 장착형 디스플레이(HMD) 또는 투시 증강 현실(AR) 디스플레이 디바이스로 수행될 수 있다. 투시 AR 디스플레이 디바이스는 실세계 환경의 이미지들을 캡처하기 위한 카메라를 포함할 수 있다. 투시 AR 디스플레이 디바이스는 AR 디스플레이 상에 가상 객체를 디스플레이할 수 있고, 사용자가 실세계 환경의 이미지의 최상부에서 AR 객체를 볼 수 있게 할 수 있다. 일부 실시예들의 경우, 장면 화이트 포인트가 추정되어 디스플레이 이미지를 위한 렌더링 화이트 포인트로서 이용될 수 있다. 일부 실시예들은 장면 화이트 포인트를 3개의 컬러 좌표들로서가 아니라 스펙트럼적으로 추정할 수 있다. 본 명세서에 설명된 방법들은 카메라의 스펙트럼 감도 및 사람 피부 반사율 스펙트럼들의 저-파라미터 모델(low-parameter model) 및/또는 사람 피부 반사율 스펙트럼들에 대한 데이터베이스를 이용할 수 있다. 아래에 이용된 "얼굴들"이라는 용어는 일부 실시예들의 경우 이미지의 "피부 톤들" 또는 "피부 영역들"이라는 용어들로 대체될 수 있다.
일부 실시예들의 경우, 부트스트랩(bootstrap) 방법은 장면 화이트 포인트의 스펙트럼 전력 분포(SPD)를 추정하는데 이용될 수 있다. 화이트 포인트의 컬러 좌표들은 RGB 카메라 데이터에 기초하여 결정될 수 있다. 얼굴들(또는 사람 피부를 나타내는 영역들)이 이미지에서 검출될 수 있다. 하나 이상의 얼굴의 스펙트럼 반사율은 추정된 화이트 포인트와 동일한 컬러를 갖는 광으로 가상적으로 조명함으로써 피부 반사율 스펙트럼 데이터베이스 모델을 이용하여 추정될 수 있다. 장면 화이트 포인트의 스펙트럼 전력 분포는 얼굴 스펙트럼 반사율 및 카메라 스펙트럼 감도 함수들(및 일부 실시예들의 경우, 투과율(transmittance)과 같은 다른 고글 파라미터들(goggle parameters))로부터 추정될 수 있다. 하나 이상의 얼굴은 장면 화이트 포인트의 스펙트럼 전력 분포의 추정과 함께 이용될 수 있다. 더 많은 얼굴들을 이용하는 것은 더 나은 스펙트럼 전력 분포 추정을 야기할 수 있다.
일부 실시예들은 RGB 이미지 카메라 데이터 및 MERL/ETH 피부 반사율 데이터베이스와 같은 피부 반사율의 스펙트럼 데이터베이스를 이용하여 발광체의 스펙트럼 전력 분포를 결정할 수 있다. 이미지에 추가된 AR 이미지 객체는 그러한 프로세스를 이용하여 렌더링될 수 있고, 이것은 컬러 관리 시스템이 관찰자의 시각 속성들을 고려할 수 있게 한다. 증강 현실 디바이스는 (업데이트된) 추정된 발광체 스펙트럼 전력 분포를 가상 객체의 발광체로서 이용하여 가상 객체를 렌더링하는데 이용될 수 있다.
도 3은 일부 실시예들에 따른, 이미지에서의 소스 스펙트럼 전력 분포를 결정하기 위한 예시적인 프로세스를 도시하는 흐름도이다. 시스템은, 일부 실시예들의 경우, 적색-녹색-청색(RGB) 값들로부터 국제 조명 위원회 XYZ 삼자극 값들(CIE XYZ)을 추정할 수 있는 교정된 카메라, 관찰자가 보는 (HMD, 전화, 또는 태블릿과 같은) 디스플레이, 및 피부 반사율 데이터베이스 및 가능성 있는(probable) 발광체들의 데이터베이스에 대한 액세스를 갖는 프로세서를 포함할 수 있다.
일부 실시예들의 경우, 예시적인 프로세스(300)가 도 3에 도시된다. 도 3에 도시된 예와 같이, 카메라 이미지가 캡처(또는 수신(302))될 수 있다. 카메라 이미지의 소스 및 피부(또는 얼굴) 영역들은 자동으로 결정될 수 있다. 예상(prospective) 발광체의 추정치가 생성될 수 있다. 소스의 스펙트럼 전력 분포의 초기 추정치가 생성(304)될 수 있다. 생성된 스펙트럼 전력 분포는 예상 발광체 추정치에 기초할 수 있다. 일부 실시예들의 경우, 추정된 발광체를 결정하기 위해 반복 프로세스가 이용될 수 있다. 그러한 반복 프로세스는 복수의 발광체들로부터 예상 발광체를 선택할 수 있고, 다른 예상 발광체를 선택하기 위해 반복될 수 있다. 시스템은 데이터베이스를 검색하여, 각각의 피부 영역에 대한 피부 컬러 및/또는 피부 반사율과의 매칭(또는 일부 실시예들의 경우 최상의 매칭)을 찾을 수 있다(306). 소스의 스펙트럼 전력 분포(SPD)는 피부 반사율, 카메라 모델, 및 이미지에 대한 RGB 데이터와 같은 데이터를 이용하여 재계산되고 최적화(308)될 수 있다. 이 최적화 프로세스는 캡처된 이미지와 (픽셀과 같은) 영역의 일부에 대한 계산된 컬러 사이의 컬러 차이가 임계값보다 작을 때까지 계속되는 반복 프로세스일 수 있다. 계산된 컬러는 소스 SPD, 피부 반사율 모델, 카메라 모델, 및 RGB 데이터를 이용하여 계산될 수 있다. 시스템이, 컬러 차이가 임계값보다 작다고 결정하면, 시스템은 최종 소스 스펙트럼 전력 분포를 결정(310)하여 출력할 수 있다. 소스 SPD의 계산은 일부 실시예들의 경우 복수의 발광체들로부터 발광체를 반복적으로 선택하는 반복 프로세스일 수 있다. 도 3에 도시된 프로세스(300)는 아래에서 더 상세히 설명된다. 일부 실시예들의 경우, 추정된 발광체 타입을 업데이트하는 반복 프로세스는, 추정된 발광체 타입을 이용하여 영역의 일부에 대한 예상된 컬러 값을 결정하는 것; 및 예상된 컬러 값과 영역의 일부의 캡처된 컬러 값 사이의 차이를 감소시키도록 추정된 발광체 타입을 업데이트하여, 차이가 임계값보다 작을 때까지 반복 프로세스가 반복되게 하는 것을 포함할 수 있다.
업데이트된 추정된 발광체를 선택하는 것은 복수의 저장된 발광체 스펙트럼 전력 분포들 각각에 대해, 저장된 발광체 스펙트럼 전력 분포를 후보 피부 반사율 스펙트럼에 적용함으로써 개개의 예상된 컬러 값을 결정하고, 개개의 예상된 컬러 값들과 이미지 상의 영역에 대한 대표 컬러 값의 비교에 기초하여 업데이트된 추정된 발광체를 선택하는 것을 포함할 수 있다.
도 4는 일부 실시예들에 따른, 예시적인 장면 조명 추정 프로세스를 도시하는 흐름도이다. 예시적인 장면 조명 추정 프로세스(400)는, 일부 실시예들의 경우, 카메라 데이터를 이용하여 장면 화이트 포인트의 컬러 좌표들을 추론(또는 추정(402))하는 것을 포함할 수 있다. 장면의 이미지가 캡처될 수 있고, 관찰자가 보는 장면에 대해 RGB 데이터가 생성될 수 있다. 장면의 발광체를 추정하기 위해 발광체 추정 알고리즘이 적용될 수 있다. 그러한 알고리즘들의 예들은, 다른 기술들 중에서, 회색 세계 가정(gray-world assumption)을 적용하는 것, 반사 하이라이트들(specular highlights)을 검색하는 것, 또는 가정된 화이트 재료를 검색하는 것을 포함한다. RGB 데이터는 캡처된 이미지의 식별된 장면 화이트 포인트에 대해 추출(또는 결정)될 수 있다. 장면 화이트 포인트에 대한 RGB 데이터는 (CIE XYZ 또는 CIELAB 값들과 같은) 디바이스-독립적 컬러 좌표들을 추정하기 위하여 카메라 모델로 처리될 수 있다.
일부 실시예들의 경우, 화이트 포인트에 대한 CIE XYZ 또는 CIELAB 값들은 색도 좌표들 x 및 y로 변환될 수 있다. 대응하는 CIE 일광 직렬 발광체(daylight series illuminant)의 스펙트럼 전력 분포(SPD)가 계산될 수 있다(404). 기술 보고서 Colorimetry, INTERNATIONAL COMMISSION ON ILLUMINATION, CIE Publication 15: 2004 (2004)] 및 저널 논문 DB Judd, DL MacAdam, G Wyszecki, Spectral Power Distribution of Typical Daylight as a Function of Correlated Color Temperature, 54 J. of the Optical Society of America 1031-1040 (1964)는 대응하는 CIE 일광 시리즈 발광체의 스펙트럼 전력 분포(SPD)를 계산하는데 이용될 수 있는 방법들 및 정보를 기술한다. 추가의 정보는 문헌 Colorimetry, 4TH Ed, CIE 015:2018에 제공되어 있다. 하나 이상의 발광체 소스가 추정될 수 있고, 발광체 소스는 복수의 (또는 심지어 무한한 수의) 선택들로부터 선택될 수 있다.
장면 조명 추정 프로세스(400)는, 일부 실시예들의 경우, 장면의 캡처된 이미지에서 피부 영역들(또는 일부 실시예들의 경우 얼굴들)의 컬러를 결정(406)할 수 있다. 하나 이상의 피부 영역이 캡처된 이미지에서 식별될 수 있다. 평균 RGB 좌표 데이터가 장면에 대해 캡처(또는 생성)될 수 있다. 평균 RGB 좌표 데이터는 각각의 식별된 피부 영역에 대해 추출될 수 있다. 각각의 피부 영역에 대한 추출된 평균 RGB 좌표 데이터는 (CIE XYZ 또는 CIELAB 데이터와 같은) 디바이스-독립적 컬러 좌표들을 추정하기 위해 카메라 모델로 처리될 수 있다. 추정된 디바이스-독립적 컬러 좌표들은 장면 소스 및 피부 반사율을 포함하는 컬러를 표시할 수 있다. 일부 실시예들은 캡처된 이미지의 피부 영역에 대한 대표 컬러 값을 이용할 수 있다. 대표 컬러 값은, 예를 들어, sRGB(standardized Red Green Blue), CIE XYZ(International Commission of Illumination XYZ), CIELUV(International Commission of Illumination LUV), 또는 CIELAB(International Commission of Illumination L*a*b)을 이용하여 표현될 수 있다.
장면 조명 추정 프로세스의 일부 실시예들은 장면에서의 피부 영역들의 반사율을 추정(408)할 수 있다. 각각의 피부 영역에 대한 피부 컬러에 대한 매칭(또는 일부 실시예들의 경우 최상의 매칭)은 추정된 발광체의 SPD를 이용하여 피부 반사율 데이터베이스에서 발견될 수 있다. 추정된 발광체의 SPD는 전술한 바와 같이 발광체 소스에 대해 결정된 SPD일 수 있고, 피부 컬러는 전술한 바와 같이 추정된 디바이스-독립적 컬러 좌표들일 수 있다. 피부 반사율 데이터베이스는, 예를 들어, (i) 영역의 피부 컬러와 (ii) 추정된 발광체를 데이터베이스에서의 개개의 엔트리들의 반사율 정보에 적용함으로써 생성된 컬러 사이의 최소 에러를 발견함으로써, 일부 실시예들의 경우 매칭을 결정하기 위해 검색될 수 있다. 일부 실시예들은 피부 데이터베이스 주요 컴포넌트들을 발광체의 SPD에 대해 회귀(regressing)시키는 것과 같은 통계적 방법을 이용함으로써 매칭을 결정할 수 있다. PCA(principal components analysis) 방법은 피부 영역의 일부분에 대한 캡처된 이미지의 컬러에 더 가까운 매칭을 발생시킬 수 있다. 회귀는 PCA를 이용하여 피부 반사율 데이터베이스로부터 도출된 스펙트럼 성분들에 가중치들을 피팅(fit)할 수 있다. PCA가 이용되는 경우, 추정된 피부 스펙트럼 반사율은 추정된 가중치들을 주요 컴포넌트들에 적용함으로써 재구성될 수 있다. 일부 실시예들의 경우, 예상된 피부 값은 추정된 또는 예상 발광체의 SPD에 부분적으로 기초하여 각각의 피부 영역에 대해 계산될 수 있다. 예상된 피부 값은 피부 영역의 피부 반사율에 부분적으로 기초하여 추가로 계산될 수 있다. 일부 실시예들의 경우, 발광체 타입을 식별하는 것은, 복수의 발광체들로부터 선택된 각각의 예상 발광체에 대해, 복수의 발광체들로부터 예상 발광체를 선택하는 것; 및 대표 컬러 값을 예상 발광체를 이용하여 결정된 예상된 피부 값과 비교하는 것을 포함하는 반복 발광체 비교 프로세스를 수행하는 것을 포함할 수 있다. 발광체 타입을 식별하는 것은 대표 컬러 값과 개개의 예상 발광체를 이용하여 결정된 예상된 피부 값의 비교를 이용하여 복수의 발광체들로부터 발광체 타입을 선택하는 것을 더 포함할 수 있다.
일부 실시예들의 경우 장면 조명 추정 프로세스(400)는 발광체의 추정된 SPD를 재계산(410)할 수 있다. 발광체에 대한 추정된 SPD의 재계산은 반복 최적화 프로세스일 수 있다. 후보 SPD가 선택될 수 있고, 데이터베이스로부터 검색된 피부 반사율 모델을 이용하여 피부 영역으로부터의 가상 반사율이 생성될 수 있다. 가상으로 반사된 광은 카메라 스펙트럼 감도 데이터를 포함할 수 있는 카메라의 스펙트럼 모델을 통과할 수 있다. 카메라 RGB 데이터는 카메라의 스펙트럼 모델의 출력일 수 있다. 카메라 RGB 데이터는 카메라 모델을 통해 처리되어 디바이스-독립적 컬러 좌표들(예를 들어, CIE XYZ 또는 CIELAB)을 생성할 수 있다. 일부 실시예들은 관찰자의 시각의 속성들을 적용하여 관찰자 특정 매칭을 생성할 수 있다. 캡처된 이미지에서의 피부 영역의 일부에 대한 컬러와 가상 반사율의 디바이스-독립적 컬러 좌표들 사이의 차이가 계산될 수 있다. 차이가 임계 품질 레벨보다 작은 경우(412), 반복 최적화 프로세스가 종료될 수 있다. 그렇지 않으면, 발광체에 대한 SPD가 재계산(410)될 수 있다. 캡처된 이미지에서의 피부 영역들의 컬러(또는 대표 컬러 값)를 가상 반사율 컬러(또는 예상된 피부 값)와 비교하는 것은, 예상된 피부 값이 예상 발광체의 스펙트럼 전력 분포를 이용하여 결정되도록, 예를 들어, 전술한 프로세스를 이용하여 예상 발광체의 스펙트럼 전력 분포를 계산하는 것을 포함할 수 있다.
장면 조명 추정 프로세스의 일부 실시예들은 반복적일 수 있다. 장면 조명 추정 프로세스는 반복 최적화 프로세스에 의해 결정된 추정된 SPD를 이용하여 반복적으로 반복될 수 있다. 프로세스 또는 계산은 추정된 발광체에 대한 추정된 SPD를 더 정제할지를 결정하는데 이용될 수 있다. 추정된 SPD가 정제되어야 하는 경우(414), 다른 후보 SPD가 선택될 수 있고, 반복 최적화 프로세스가 선택된 후보 SPD로 반복될 수 있다. 일부 실시예들은 캡처된 이미지의 피부 영역(또는 일부 실시예들의 경우 피부 영역의 일부)의 대표 컬러에 대한 디바이스-의존적 값들을 이용할 수 있다. 가상 반사율을 위한 피부 영역의 예상된 컬러 값들(또는 일부 실시예들의 경우 예상된 컬러 좌표들 또는 예상된 픽셀 값들)은 일부 실시예들의 경우 디바이스-의존적 값들일 수 있다. 장면 발광체 추정치를 선택하는 것은 일부 실시예들의 경우 디바이스-의존적 컬러 공간에서 수행될 수 있다. 장면 발광체 추정치를 선택하는 것은 일부 실시예들의 경우 디바이스-독립적 컬러 공간에서 수행될 수 있다. 결국, 최종 SPD가 식별(416)될 수 있다. 반복 정제 프로세스는 대표 피부 컬러 값 및 업데이트된 추정된 발광체 스펙트럼 전력 분포에 기초하여 후보 피부 반사율 스펙트럼을 선택하는 것, 및 대표 피부 컬러 값 및 선택된 후보 피부 반사율 스펙트럼에 기초하여 추가 업데이트된 추정된 발광체 스펙트럼 전력 분포를 선택하는 것을 포함할 수 있다.
도 5는 일부 실시예들에 따른, 발광체 및 반사율 모델 파라미터들 및/또는 값들을 결정하기 위한 예시적인 프로세스를 도시하는 도면이다. 도 5에서, 파선 원은 소스 영역을 나타내고, 실선 원들은 피부 영역들을 나타낸다. 원들은 도 5에 도시된 사진에서 영역들을 식별하는 것을 돕기 위해 이용되지만, 실제 영역들은 상이한 형상들을 가질 수 있다. 예시적인 프로세스(500)는 하나 이상의 정반사 하이라이트(예를 들어, 파선 원(514)에서의 밝은 점)에 기초하여 이미지(502)의 장면 화이트 포인트의 초기 추정치를 생성하도록 수행될 수 있다. 하나 이상의 피부 영역(504, 506, 508, 510, 512)(도 5에서 실선 원들로 표시됨)이 검출될 수 있다. 캡처된 이미지에서의 각각의 피부 영역(예를 들어, 512)의 각각의 부분(예를 들어, 516)에 대한 컬러가 결정될 수 있다. 일부 실시예들의 경우, 캡처된 이미지(502)에서의 각각의 피부 영역의 각각의 부분의 컬러는 피부 영역의 부분들의 2개 이상의 컬러 값들의 평균인 대표 컬러 값일 수 있다. 추정된 발광체 및 캡처된 이미지에서의 피부 영역(예를 들어, 512)의 부분(예를 들어, 516)의 컬러(또는, 예를 들어, 파장(524))는 각각의 식별된 피부 영역의 각각의 부분에 대해 매칭하는(또는 일부 실시예들의 경우 최적합(526)인) 피부 반사율 값(522) 또는 피부 반사율 모델 파라미터들의 세트를 데이터베이스에서 찾는데 이용될 수 있다. 대표 값(516)과 피부 컬러 값(518) 사이의 차이(520)는 최소화되어 발광체를 추정하는데 이용될 수 있다. 추정된 발광체는 피부 컬러 값(518)의 파장(524)에 대한 피부 반사율 값(522)을 결정하는데 이용될 수 있다. 피부 반사율 값은 실세계 환경에 대한 발광체 타입을 식별하는데 이용될 수 있다.
일부 실시예들의 경우, 후보 피부 반사율 스펙트럼을 선택하는 것은, 복수의 저장된 피부 반사율 스펙트럼들 각각에 대해, 추정된 발광체 스펙트럼 전력 분포를 개개의 저장된 피부 반사율 스펙트럼에 적용함으로써 개개의 예상된 컬러 값을 결정하는 것, 및 개개의 예상된 컬러 값들과 대표 피부 컬러 값의 비교에 기초하여 복수의 저장된 피부 반사율 스펙트럼들 중에서 후보 피부 반사율 스펙트럼을 선택하는 것을 포함할 수 있다. 후보 피부 반사율 스펙트럼은 후보 피부 반사율 스펙트럼과 연관된 예상된 컬러 값과 대표 피부 컬러 값 사이의 컬러 차이를 실질적으로 최소화하거나 감소시키도록 선택될 수 있다. 일부 실시예들의 갱우, 후보 피부 반사율 스펙트럼을 선택하는 것은 파라미터화된 피부 반사율 모델의 적어도 하나의 파라미터 값을 선택하여, (i) 제1 추정된 발광체 스펙트럼 전력 분포를 선택된 파라미터 값에 의해 파라미터화된 피부 반사율 스펙트럼에 적용함으로써 획득된 예상된 컬러 값과 (ii) 대표 피부 컬러 값 사이의 컬러 차이를 실질적으로 최소화하거나 감소시킴으로써, 후보 피부 반사율 스펙트럼이 선택된 파라미터 값에 의해 파라미터화된 피부 반사율 스펙트럼이 되게 하는 것을 포함할 수 있다.
도 6은 일부 실시예들에 따른, 발광체 및 반사율 모델 파라미터들 및/또는 값들을 정제하기 위한 예시적인 프로세스를 도시하는 도면이다. 도 6에 도시된 예시적인 프로세스(600)는 반사율(모델 파라미터들 및/또는 값들)을 이용하여 조명의 추정을 정제할 수 있다. 이미지(602)와 오버레이되는 실선 원들(604, 606, 608, 610, 612)은 캡처된 이미지(602)에서 식별된 피부 영역들을 나타낸다. 도 6의 하부의 실선 원들(624, 626, 628, 630, 632)은 캡처된 이미지(602)에서의 식별된 피부 영역들(604, 606, 608, 610, 612)과 매칭하는(또는 일부 실시예들의 경우 최상의 추정치들을 나타내는) 데이터베이스에서 발견된 피부 반사율 값들에 대응하는 피부 컬러 값들을 나타낸다. 추정된 발광체는 각각의 피부 영역의 반사율을 계산하고, 각각의 피부 영역에 대해 관찰된 피부 컬러들과의 스펙트럼 매칭들을 결정하기 위해 이용될 수 있다. 프로세스는 관찰된 컬러(614, 616, 618, 620, 622)과 추정된 발광체 및 피부 반사율 값 및/또는 피부 반사율 파라미터들의 세트를 이용하여 결정된 컬러(624, 626, 628, 630, 632) 사이의 피부 영역에 대한 컬러 차이들(634, 636, 638, 640, 642)을 최소화할 수 있다. 일부 실시예들의 경우, 피부 컬러 값을 선택하는 것은 대표 컬러 값(예를 들어, 614, 616, 618, 620, 622)과 예상 컬러 값(예를 들어, 624, 626, 628, 630, 632) 사이의 컬러 차이 값(예를 들어, 634, 636, 638, 640, 642)을 최소화하는 것을 포함할 수 있다. 프로세스의 일부 실시예들은 각각의 피부 영역에 대한 컬러 차이 값을 계산하고, 복수의 피부 영역들에 대한 각각의 컬러 차이 값을 합산하고, 총계를 최소화할 수 있다. 프로세스의 출력은 에러를 최소화한 발광체이다. 일부 실시예들의 경우, 반사율 결과들은 추정된 발광체를 반복적으로 업데이트하는데 이용될 수 있다. 일부 실시예들의 경우, 예상(또는 테스트 후보) 발광체는 각각의 피부 영역에 대한 예상된 피부 값과 대표 컬러 값 사이의 차이가 임계값보다 작을 때까지 반복적으로 업데이트될 수 있다. 일부 실시예들은 각각의 피부 영역의 에러의 합이 임계값보다 작을 때까지 예상 발광체를 반복적으로 업데이트할 수 있다.
도 7은 일부 실시예들에 따른, 캡처된 이미지와 비교하여 피부 반사율 모델에 대한 에러들을 최소화하는 발광체를 선택하기 위한 예시적인 프로세스를 도시하는 메시지 시퀀싱 도면이다. 프로세스(700)의 일부 실시예들의 경우, 카메라(702)는 실세계 장면의 이미지를 캡처(708)하고, 이미지를 조명 추정기(704)로 전송(710)할 수 있다. 이미지는 비디오의 프레임일 수 있거나, 이미지는 비디오로부터의 일련의 프레임들 중 하나일 수 있다. 일부 실시예들의 경우, 조명 추정기(704)는 실세계 장면의 이미지를 획득(또는 수신)할 수 있다. 조명 추정기(704)는 소프트웨어 및/또는 하드웨어 모듈일 수 있다. 일부 실시예들은 카메라의 일부로서 조명 추정기(704)를 가질 수 있고, 일부 실시예들은 서버 상의 개별 모듈로서 조명 추정기(704)를 가질 수 있다. 조명 추정기(704)는 캡처된 이미지에서 장면 화이트 포인트(또는 일부 실시예들의 경우 장면 발광체)를 추정(712)할 수 있고, 캡처된 이미지에서 피부 영역들을 검출(714)할 수 있다. 피부 영역은 일부 실시예들의 경우 이미지에서의 하나 이상의 픽셀의 그룹일 수 있다. 조명 추정기(704)는 데이터베이스/모델 저장소(706)로부터 피부 반사율 데이터베이스/모델과 관련된 정보를 수신(716)할 수 있다. 피부 반사율 모델은 장면 발광체 추정치의 피부 반사율을 근사화하는 하나 이상의 피부 반사율 함수의 세트일 수 있다. 피부 반사율 모델은 피부 반사율의 파라미터화된 모델인 하나 이상의 피부 반사율 함수의 세트일 수 있다. 일부 실시예들의 경우, 데이터베이스/모델 저장소(706)는 조명 추정기(704) 및/또는 카메라에 국부적으로 접속되는 메모리 저장소일 수 있고, 일부 실시예들의 경우, 데이터베이스/모델 저장소(706)는 서버 상에 있을 수 있다. 조명 추정기(704)는 데이터베이스/모델로부터 피부 반사율 함수를 결정(718)할 수 있다. 일부 실시예들은 발광체의 스펙트럼(또는 SPD) 및 피부 반사율 함수들의 세트에 대응하는 예상된 픽셀 값을 결정할 수 있다. 조명 추정기(704)는 반사율 및 이미지 데이터를 이용하여 후보 발광체들을 테스트(720)할 수 있다. 후보 발광체들의 테스트는 반복적으로 수행될 수 있다. 캡처된 이미지와 비교하여 에러를 최소화하는(또는 일부 실시예들의 경우 에러를 임계값 미만으로 감소시키는) 발광체가 선택(722)될 수 있고, 추정된 발광체인 것으로 결정(724)될 수 있다. 추정된 발광체를 결정하고 선택하는 것은, 각각의 피부 영역에 대해, 추정된 발광체의 피부 반사율을 근사화하는 하나 이상의 피부 반사율 함수의 세트를 반복적으로 결정하는 것을 포함하는 반복 프로세스일 수 있다.
일부 실시예들의 경우, 장면 발광체 추정치를 선택하는 것은, 각각의 피부 영역에 대해, 장면 발광체 추정치의 피부 반사율을 근사화하는 하나 이상의 피부 반사율 함수의 세트를 결정하는 것을 포함하는 반복 프로세스일 수 있다. 반복 프로세스는, 각각의 피부 영역에 대해, 추정된 장면 발광체의 발광체 스펙트럼 및 피부 반사율 함수들의 세트에 대응하는 예상된 픽셀 값을 결정하는 것을 포함할 수 있다. 반복 프로세스는, 사람 피부를 나타내는 픽셀들의 각각의 영역에 대해, 각각의 컬러 값과 예상된 픽셀 값 사이의 에러가 임계값보다 작을 때까지, 장면 발광체 추정치, 및 각각의 피부 영역에 대한, 하나 이상의 피부 반사율 함수의 세트 및 예상된 픽셀 값을 반복적으로 업데이트하는 것을 포함할 수 있다. 일부 실시예들의 경우, 장면 발광체 추정치를 선택하는 것은, 사람 피부를 나타내는 픽셀들의 각각의 영역에 대해, 이미지의 대응하는 픽셀의 컬러 값과 장면 발광체 추정치의 발광체 스펙트럼 및 장면 발광체 추정치의 피부 반사율을 근사화하는 피부 반사율 함수들의 세트에 대응하는 예상된 픽셀 값 사이의 에러를 최소화하는 프로세스일 수 있다. 일부 실시예들의 경우, 프로세스는, 실세계 장면의 이미지를 획득하는 것; 제1 장면 발광체 추정치를 결정하는 것; 사람 피부를 나타내는 이미지에서의 픽셀들의 하나 이상의 영역을 결정하는 것; 사람 피부를 나타내는 픽셀들의 각각의 영역에 대해, 제1 장면 발광체 추정치의 피부 반사율을 근사화하는 하나 이상의 피부 반사율 함수의 제1 세트를 결정하는 것; 사람 피부를 나타내는 픽셀들의 각각의 영역에 대해, 제1 장면 발광체 추정치의 발광체 스펙트럼 및 피부 반사율 함수들의 제1 세트에 대응하는 제1 예상된 픽셀 값을 결정하는 것; 및 사람 피부를 나타내는 픽셀들의 각각의 영역에 대해, 이미지의 대응하는 픽셀의 컬러 값과 제2 장면 발광체 추정치의 발광체 스펙트럼 및 제2 장면 발광체 추정치의 피부 반사율을 근사화하는 피부 반사율 함수들의 제2 세트에 대응하는 제2 예상된 픽셀 값 사이의 에러를 최소화하기 위해 제2 장면 발광체 추정치를 선택하는 것을 더 포함할 수 있다. 후보 피부 컬러 값들은 미리 결정된 발광체들과 연관되는 저장된 피부 컬러 값들일 수 있다.
도 8은 일부 실시예들에 따른, 사람 피부를 나타내는 캡처된 이미지의 하나 이상의 영역에 대한 발광체를 선택하기 위한 예시적인 프로세스를 도시하는 흐름도이다. 일부 실시예들의 경우, 발광체 추정 프로세스(800)는 실세계 환경의 실세계 이미지를 획득(802)하는 것을 포함할 수 있다. 이미지는 조명 추정 프로세스(800)에 의해 캡처되거나 프로세스(800)에 의해 수신될 수 있다. 프로세스(800)는 사람 피부를 나타내는 실세계 이미지의 적어도 하나의 영역을 결정(804)하는 것을 포함할 수 있다. 결정된 영역은 일부 실시예들의 경우 얼굴의 일부일 수 있고, 일부 실시예들의 경우 피부에 의해 덮인 신체의 다른 부분들일 수 있다. 발광체 추정 프로세스(800)는, 사람 피부를 나타내는 실세계 이미지의 결정된 영역들 중 적어도 하나에 대해, 개개의 대표 컬러 값을 결정(806)하는 것을 포함할 수 있다. 대표 컬러 값은 sRGB, CIE RGB, CIE XYZ, CIELUV, CIELAB, 또는 일부 실시예들의 경우 다른 패러다임에 대해 포맷팅될 수 있다. 대표 컬러 값은 또한 일부 실시예들의 경우 하나의 포맷으로부터 다른 포맷으로 변환될 수 있다. 발광체 추정 프로세스(800)는, 대표 컬러 값들 중 적어도 하나에 대해, 대표 컬러 값을 복수의 예상된 피부 컬러 값과 비교(808)하는 것을 포함할 수 있으며, 각각의 예상된 피부 컬러 값은 복수의 예상 발광체들 각각과 연관된다. 비교는 일부 실시예들의 경우 대표 컬러 값을 데이터베이스에 저장된 값들과 비교할 수 있다. 일부 실시예들은 복수의 발광체들로부터 선택된 각각의 예상 발광체에 대해 발광체 비교 프로세스를 수행할 수 있다. 그러한 발광체 비교 프로세스는 복수의 발광체들로부터 예상 발광체를 선택(810)하고, 이미지의 각각의 피부 영역에 대해, 대표 컬러 값을 예상된 피부 값과 비교할 수 있으며, 예상된 피부 값은 예상 발광체에 기초하여 결정된다. 발광체 추정 프로세스(800)는, 사람 피부를 나타내는 실세계 이미지의 적어도 하나의 결정된 영역 각각에 대해, 대표 컬러 값들 중 적어도 하나의 비교에 기초하여 복수의 발광체들로부터 추정된 발광체를 선택(810)하는 것을 포함할 수 있다. 일부 실시예들의 경우, 선택은 추정된 발광체를, 대표 컬러와 발광체에 기초하여 결정된 예상된 피부 값 사이의 에러를 최소화하는(또는 일부 실시예들의 경우 에러를 임계값 미만으로 감소시키는) 발광체로서 선택할 수 있다. 대안적인 실시예들에서, 예상된 피부 값들은 전술한 예시적인 프로세스들 중 하나에 따라 결정된 피부 반사율과 같은 피부 반사율에 기초하여 결정될 수 있다.
프로세스(800)는 사람 피부를 나타내는 실세계 이미지의 적어도 하나의 결정된 영역 각각에 대해 선택된 발광체에 기초하여 계산된 컬러 값들을 이용하여 가상 객체를 렌더링(812)하는 것을 포함할 수 있다. 가상 객체를 렌더링하는 것은 실세계 이미지의 조명과 매칭되거나 유사하도록 가상 객체의 조명을 조정하는 것을 포함할 수 있다. 가상 객체를 렌더링하는 것은 실세계 장면의 추정된 발광체를 통합하기 위해 가상 객체의 부분들에 대한 컬러 값들을 조정하는 것을 포함할 수 있다. 피부 반사율의 파라미터화된 모델은 추정된 발광체와 유사한 조명 조건들을 갖는 가상 객체를 렌더링하는데 이용될 수 있다. 예를 들어, 발광체에 대한 피부 반사율과 객체 컬러 조정 사이의 관계가 결정될 수 있고, 그러한 관계는 증강 현실 환경에서 가상 객체를 렌더링하는데 이용될 수 있다. 일부 실시예들은, 프로세서 및 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체를 포함하는 장치로서, 명령어들은 프로세서에 의해 실행될 때, 예를 들어, 도 8에 설명된 방법과 같은 본 명세서에 설명된 방법을 수행하도록 동작하는, 장치일 수 있다. 일부 실시예들은 실세계 환경의 원시(raw) 이미지 데이터를 캡처 또는 획득하고, 추정된 발광체를 결정하고 추정된 발광체에 기초하여 가상 객체를 렌더링하는 것의 일부로서 원시 이미지 데이터를 수정하지 않을 수 있다. 일부 실시예들의 경우, 실세계 발광체는 증강 현실 환경에서 가상 발광체를 생성하는데 이용된다. 프로세스(800)는 실시간으로 수행될 수 있다.
일부 실시예들의 경우, 프로세스는, 실세계 환경의 이미지를 캡처하는 것; 사람 피부를 나타내는 이미지의 영역을 검출하는 것; 영역의 대표 컬러 값을 결정하는 것; 복수의 예상 컬러 값들로부터, 대표 컬러 값에 가장 가깝게 매칭하는 피부 컬러 값을 선택하는 것; 피부 컬러 값과 연관된 발광체 타입을 식별하는 것; 및 식별된 발광체 타입에 기초하여 선택된 컬러들을 갖는 가상 객체를 렌더링하는 것을 포함할 수 있다. 일부 실시예들의 경우, 프로세스는 실세계 장면의 이미지를 획득하는 것; 실세계 장면의 발광체에 대한 제1 추정된 발광체 스펙트럼 전력 분포를 결정하는 것; 이미지 내에서, 사람 피부를 나타내는 적어도 제1 영역을 식별하는 것; 이미지로부터, 제1 영역에 대한 대표 피부 컬러 값을 결정하는 것; 제1 추정된 발광체 스펙트럼 전력 분포 및 대표 피부 컬러 값에 기초하여, 제1 후보 피부 반사율 스펙트럼을 선택하는 것; 및 대표 피부 컬러 값 및 선택된 제1 후보 피부 반사율 스펙트럼에 기초하여, 제1 업데이트된 추정된 발광체 스펙트럼 전력 분포를 선택하는 것을 포함할 수 있다. 그러한 프로세스는 프로세서, 및 프로세스를 수행하도록 동작하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체를 갖는 시스템에 의해 수행될 수 있다. 일부 실시예들의 경우, 프로세스는 실세계 장면의 이미지를 획득하는 것; 이미지 내에서, 사람 피부를 나타내는 적어도 제1 영역을 식별하는 것; 이미지로부터, 제1 영역에 대한 대표 피부 컬러 값을 결정하는 것; 대표 컬러 값에 기초하여, 복수의 후보 피부 컬러 값들 중에서 적어도 하나의 후보 피부 컬러 값을 선택하는 것―후보 피부 컬러 값들 각각은 개개의 발광체와 연괌됨―; 및 실세계 장면에 대한 추정된 발광체로서, 선택된 후보 피부 컬러 값과 연관된 개개의 발광체를 선택하는 것을 포함할 수 있다. 예상 컬러 값들은 프로세스를 실행하는 디바이스 상에 국부적으로 저장된 데이터베이스에 또는 서버 상에 저장된 데이터베이스에 있을 수 있다. 가상 객체를 렌더링하는 것은 헤드 장착형 디스플레이(HMD)의 증강 현실 디스플레이 환경에서 가상 객체를 렌더링할 수 있다. 가상 객체를 렌더링하는 것은 실세계 환경의 캡처된 이미지의 최상부에 가상 객체를 오버레이할 수 있다. 그러한 오버레이 프로세스는 캡처된 이미지의 픽셀 값들 중 일부가 가상 객체의 픽셀 값들로 대체되게 할 수 있다. 본 명세서에 설명된 방법을 실행할 수 있는 장치는 카메라, 프로세서, 및 프로세서에 의해 실행될 때 방법을 수행하도록 동작하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 장치는 증강 현실 헤드 장착형 디스플레이(HMD)일 수 있다.
도 9는 일부 실시예들에서 이용될 수 있는 피부 타입들 및 발광체 타입들에 대한 피부 색도 데이터의 개략도이다. 데이터(900)는 데이터베이스, 표, 또는 다른 데이터 구조에 저장될 수 있다. 각각의 엔트리(926, 928, 930, 932, 934, 936, 938, 940, 942, 944, 946, 948, 950, 952, 954, 956, 958, 960, 962, 964, 966, 968, 970, 972)는 개개의 피부 타입(914) 및 개개의 발광체 타입(924)과 연관된다. 피부 타입들(914)은, 예를 들어, 피츠패트릭 스케일(Fitzpatrick scale)의 피부 타입들 I-VI(902, 904, 906, 908, 910, 912)일 수 있지만(여기서 타입 I는 가장 밝은 피부이고 타입 VI는 가장 어두운 피부임), 보다 미세한 입도의(finer-grained) 또는 보다 굵은 입도의(coarser-grained) 스케일이 대안적으로 이용될 수 있다. 발광체 타입들(924)은 국제 조명 위원회(CIE)에 의해 공개된 것들과 같은 표준 발광체 타입들을 포함할 수 있다. 도 9의 예시에서, 데이터는 표준 발광체 타입들 A(916), C(918), D65(920) 및 F2(922)에 대한 엔트리들을 포함한다.
일부 실시예들에서, 도 9의 데이터(900)에서의 각각의 엔트리(926, 928, 930, 932, 934, 936, 938, 940, 942, 944, 946, 948, 950, 952, 954, 956, 958, 960, 962, 964, 966, 968, 970, 972)는 색도 좌표들 (x, y)와 같은 한 쌍의 색도 값들을 포함한다. 색도 좌표들은 카메라-의존적 또는 카메라-독립적 형태로 저장될 수 있다. 색도 좌표들은 연관된 발광체 타입 하에서 연관된 피부 타입의 색도를 나타낸다. 색도 데이터는 CIE x,y 좌표들의 형태, 또는 CIEXY, CIELAB, CIELUV 등을 포함하는 다른 형태일 수 있다.
일부 실시예들에서, 각각의 엔트리의 색도 좌표들은 다음과 같이 결정된다. 연관된 발광체 타입의 발광체 스펙트럼에, 연관된 피부 타입의 반사율 스펙트럼을 곱하여, 반사된 스펙트럼을 획득한다. 반사된 스펙트럼은, AR 디바이스의 카메라의 카메라 스펙트럼 감도 데이터를 이용하여 반사된 스펙트럼에 대한 RGB 값들을 생성하는 카메라 스펙트럼 모델을 통해 처리된다. 이어서, RGB 값들은 색도 좌표들로 변환된다.
일부 실시예들의 경우, 카메라는 실세계 환경의 RGB 이미지를 캡처하는데 이용될 수 있다. RGB 이미지 데이터는 실세계 환경의 발광체 컬러를 추정하는데 이용될 수 있다. 발광체 컬러에 대해 스펙트럼 전력 분포가 추정될 수 있다. 피부 톤들을 나타내는 이미지의 영역들이 검출될 수 있고, RGB 이미지 데이터는 그러한 영역들에서의 피부 톤들의 컬러를 추정하는데 이용될 수 있다. 추정된 피부 톤 컬러들을 이용하여 피부 톤 데이터베이스로부터 스펙트럼 반사율이 획득될 수 있다. 스펙트럼 카메라 모델은 스펙트럼 반사율을 획득하기 위해 이용될 수 있다. 예상된 컬러 값을 결정하는 것은, 카메라 RGB 좌표들을 생성하기 위해 스펙트럼 카메라 모델을 적용하는 것 및 카메라 RGB 좌표들을 예상된 컬러 값을 나타내는 디바이스-독립적 컬러 좌표들로 변환하는 것을 포함할 수 있다. 대표 피부 컬러 값을 결정하는 것은 RGB 좌표들을 디바이스-독립적 컬러 좌표들로 변환하는 것을 포함할 수 있다. 스펙트럼 반사율은 추정된 조명 소스를 이용하여 획득될 수 있다. 반복 프로세스는 이미지에서 검출된 각각의 피부 톤 영역에 대해 수행될 수 있다. 반복 프로세스는, 하나 이상의 발광체가 이미지에서 검출된 피부 톤 영역들에 적합한 것으로 결정될 때까지 후보 스펙트럼 발광체들에 걸쳐 반복될 수 있다. 일부 실시예들의 경우, 실세계 환경의 장면 발광체의 스펙트럼 추정은 실세계 환경이 실내 또는 실외인지를 결정하는 것을 포함할 수 있다. 실내 또는 실외의 결정은 장면 발광체의 초기 스펙트럼 추정치를 결정하는데 이용될 수 있다. 후보 스펙트럼 발광체들은 복수의 국제 조명 위원회(CIE) 표준 발광체들을 포함하는 복수의 저장된 피부 반사율 스펙트럼들 중에서 선택될 수 있다.
도 9의 데이터를 이용함에 있어서, AR 디바이스의 카메라는 실세계 장면의 이미지를 캡처하고, 장면에서의 노출된 피부의 영역은 (예를 들어, 알려된 얼굴 검출 기술들을 이용하여) 자동으로 검출된다. 예를 들어, 개인의 피부 영역을 나타내기 위해 높은 신뢰도로 결정되는 복수의 이미지 픽셀들의 RGB 값들을 평균화하고 평균 RGB 값을 대표 색도 좌표들로 변환함으로써, 피부 포함 영역의 대표 컬러 값이 결정된다. 도 9의 예시적인 엔트리들(926, 928, 930, 932, 934, 936, 938, 940, 942, 944, 946, 948, 950, 952, 954, 956, 958, 960, 962, 964, 966, 968, 970, 972)를 통해 검색을 수행하여, 어느 엔트리가 이미지로부터의 대표 색도 좌표들에 가장 가깝게 대응하는 저장된 색도 좌표들을 포함하는지를 결정한다. 매칭은 저장된 색도 좌표들과 대표 색도 좌표들 사이의 최소 에러 항을 찾음으로써 결정될 수 있다. 에러 항은, 예를 들어, x 및 y 색도 좌표들에 대한 절대 에러들의 합 또는 제곱 에러들의 합으로서 측정될 수 있다. 그 다음, 매칭하는 엔트리와 연관된 발광체는 AR 디스플레이 상의 디스플레이를 위한 가상 콘텐츠의 렌더링에 이용된다.
도 9에 도시된 발광체 타입들은 예들이고, 일부 실시예들은 도시된 예들과 상이한 타입들 및/또는 상이한 수의 발광체 타입들을 가질 수 있다. 발광체 타입들의 일부 예들은, A(백열등), B(정오의 직사 일광), C(북쪽 하늘 일광), D50(5000K 수평선 광), D55(5500K 중간-아침/중간-오후 광), D65(6500K 정오 일광), D75(7500K 북쪽 하늘 일광), E(동일 광(equal light)), F1(일광 형광), F2(냉백색 형광), F3(백색 형광), F4(온백색 형광), F5(일광 형광), F6(밝은 백색 형광), F7(D65 시뮬레이션), F8(D50 시뮬레이션), F9(냉백색 디럭스 형광), F10(5000K 형광), F11(4000K 형광), F12(3000K 형광), TL83(F12 발광체의 상업적 조명 시뮬레이션), TL84(F11 발광체의 상업적 조명 시뮬레이션), 및 TL85(F10 발광체의 상업적 조명 시뮬레이션)를 포함할 수 있다. 일부 실시예들의 경우, 발광체 타입을 식별하는 것은 피부 컬러 값에 대응하는 피부 반사율 값을 결정하는 것을 포함할 수 있다. 발광체 타입을 식별하는 것은, 복수의 예상 발광체 타입들로부터 추정된 발광체 타입을 선택하는 것; 피부 컬러 값 및 추정된 발광체 타입에 대응하는 반사율 값을 결정하는 것; 및 결정된 반사율 값, 대표 컬러 값, 및 선택된 피부 컬러 값 중 적어도 하나를 이용하여, 추정된 발광체 타입을 식별된 발광체 타입이 되도록 반복적으로 업데이트하는 것을 포함할 수 있다.
대안적인 실시예들에서, 파라메트릭 피부 컬러 모델이 이용될 수 있다. 일 예로서, 특정 발광체 하에서의 피부 색도 값들 (x, y)는 파라미터 p의 함수로서 표현될 수 있고, 여기서 p는 피부 멜라닌의 레벨(예를 들어, 백분율) 또는 다른 파라미터를 나타낼 수 있다. 그러면, 각각의 발광체는 발광체 D65(일광) 하에서의 색도에 대한 함수 (x, y) = fD65(p) 또는 발광체 A(백열등) 하에서의 색도에 대한 함수 (x, y) = fA(p)와 같은 상이한 함수와 연관될 수 있다. 그러한 실시예들에서, 선택된 발광체는 다음과 같이 발견될 수 있다. 각각의 이용가능한 발광체 Z에 대해, 계산된 색도 (x, y) = fZ(pZ)와 실세계 이미지로부터 생성된 대표 색도 사이의 에러 EZ를 최소화하는 값 pZ를 찾고, 최저 에러 EZ를 제공하는 발광체 Z를 선택한다. 에러 EZ는, 예를 들어, x 및 y 색도 좌표들에 대한 절대 에러들의 합 또는 제곱 에러들의 합으로서 계산될 수 있다. 일부 실시예들의 경우, 예상 컬러 값들은 파라미터화된 모델로부터 생성될 수 있거나, 예를 들어, 전술한 바와 같이 파라미터화된 모델을 이용하여 결정될 수 있다. 피부 컬러 값을 선택하는 것은, 선택된 예상 피부 컬러 값이 대표 피부 컬러 값과 비교하여 (예를 들어, 전술한 바와 같은) 최소 에러 측정치를 갖도록, 복수의 피부 컬러 값들로부터 예상 피부 컬러 값을 선택하는 것을 포함할 수 있다.
일부 실시예들은 장면 또는 캡처된 이미지에서의 피부(또는 얼굴) 영역의 스펙트럼들(또는 스펙트럼 전력 분포)을 결정하기 위해 스펙트럼 이미징을 이용할 수 있다. 예를 들어, 장면 발광체는 직접 측정되지 않을 수 있다. 일부 실시예들은 필드에서의 화이트 객체 또는 결정된 정반사를 측정할 수 있거나, 발광체의 스펙트럼 전력을 결정하기 위해 다른 방법을 이용할 수 있다.
일부 실시예들은 조명 스펙트럼 분포를 반복적으로 추정하기 위해 피부 반사율 데이터의 데이터베이스에 부가하여 또는 그 대신에 피부 반사율의 저-파라미터 모델을 이용할 수 있다. 장면에서의 피부(또는 얼굴) 영역의 반사율을 추정하는 것은 최상의 매칭(또는 일부 실시예들의 경우 임계값보다 작은 에러를 생성하는 매칭)을 데이터베이스에서 검색하는 대신에 피부 반사율 모델의 파라미터들을 (일부 실시예들의 경우 반복적으로) 정제할 수 있다. 파라미터화된 모델은 일부 실시예들에서 스펙트럼 반사율 함수를 생성하는데 이용될 수 있고, 스펙트럼 반사율 함수는 피부 반사율 데이터를 결정하는데 이용될 수 있다.
일부 장면들은 다수의 발광체들(예를 들어, 백열등 및 백색 LED 조명의 혼합된 환경)을 포함할 수 있다. 일부 실시예들은 혼합된 발광체의 스펙트럼 전력 분포(SPD)를 결정할 수 있고, 혼합된 발광체의 SPD에 기초하여 가상 객체를 렌더링할 수 있다.
일부 실시예들은 얼굴 인식 방법들로 하나 이상의 피부 영역의 스펙트럼 반사율을 이용할 수 있다. 일부 현재의 얼굴 인식 방법들은 일반적으로 (눈들 사이의 거리와 같은) 공간 정보, 및 (음성 또는 걸음걸이와 같은) 행동 특징들을 포함하는 생리학적 특징들에 의존한다. 보고서 Facial Recognition Technology: Commercial Uses, Privacy Issues, and Applicable Federal Law, United States Government Accountability Office, Report ID GAO-15-621 (2015년 7월)을 참조한다. 얼굴 인식 알고리즘들에 피부 반사율을 추가하는 것은 그러한 검색 알고리즘들의 정확도를 증가시킬 수 있다.
일부 실시예들에 따른 방법들 및 시스템들이 증강 현실(AR)의 맥락에서 논의되지만, 일부 실시예들은 혼합 현실(MR)/가상 현실(VR) 맥락들에도 적용될 수 있다. 또한, "헤드 장착형 디스플레이(HMD)"라는 용어가 일부 실시예들에 따라 본 명세서에서 이용되지만, 일부 실시예들은, 예를 들어, 일부 실시예들의 경우 VR, AR, 및/또는 MR이 가능한 웨어러블 디바이스(헤드에 부착되거나 부착되지 않을 수 있음)에 적용될 수 있다.
(RGB) 이미지 캡처 및 디스플레이 시스템은 실세계 환경의 발광체의 상대적인 스펙트럼 전력 분포(SPD)를 수신할 수 있다. 다른 컴포넌트들의 스펙트럼 특성(예를 들어, 카메라 감도들, 디스플레이 속성들, 및 관찰자 속성들)은 선험적으로 결정될 수 있다. RGB 또는 다른 컬러 좌표들로부터 장면 발광체의 스펙트럼 특성을 추정하기 위해, 피부 스펙트럼 반사율 데이터베이스가 장면에서 발견되는 피부 톤들과 비교될 수 있다. 부트스트랩 방법은 장면 스펙트럼 발광체를 결정하고, 캡처된 이미지와 데이터베이스로부터의 가상 피부 컬러들 사이의 컬러 차이를 최소화하기 위해, 반복적으로 적용될 수 있다.
방법의 일부 실시예들은, 실세계 환경의 이미지를 획득하는 단계; 사람 피부를 나타내는 이미지의 적어도 하나의 영역을 결정하는 단계; 사람 피부를 나타내는 이미지의 결정된 영역들 중 적어도 하나에 대해, 개개의 대표 컬러 값을 결정하는 단계; 대표 컬러 값들 중 적어도 하나에 대해, 사람 피부를 나타내는 이미지의 적어도 하나의 결정된 영역 각각에 대해, 대표 컬러 값을 복수의 발광체들로부터 선택된 예상 발광체에 기초하여 결정된 예상된 피부 값과 비교하는 단계; 대표 컬러 값들 중 적어도 하나의 비교에 기초하여 복수의 발광체들로부터 추정된 발광체를 선택하는 단계; 및 사람 피부를 나타내는 이미지의 적어도 하나의 결정된 영역 각각에 대해 선택된 추정된 발광체에 기초하여 계산된 컬러 값들을 이용하여 가상 객체를 렌더링하는 단계를 포함할 수 있다.
일부 실시예들의 경우, 사람 피부를 나타내는 이미지의 적어도 하나의 결정된 영역 각각에 대해, 대표 컬러 값은 사람 피부를 나타내는 이미지의 적어도 하나의 결정된 영역 중 적어도 일부를 포함하는 이미지의 일부에 대한 컬러 값들의 평균일 수 있다.
일부 실시예들의 경우, 사람 피부를 나타내는 이미지의 적어도 하나의 결정된 영역 각각에 대해, 대표 컬러 값은 sRGB, CIE RGB, CIE XYZ, CIELUV, 및 CIELAB로 구성되는 그룹으로부터 선택될 수 있다.
일부 실시예들에서, 대표 컬러 값을 결정하고, 대표 컬러 값을 복수의 예상된 피부 값들과 비교하는 것은 사람 피부를 나타내는 이미지의 적어도 하나의 결정된 영역 각각에 대한 디바이스-의존적 컬러 공간에서 수행될 수 있다.
일부 실시예들의 경우, 대표 컬러 값을 결정하고, 대표 컬러 값을 복수의 예상된 피부 값들과 비교하는 것은 사람 피부를 나타내는 이미지의 적어도 하나의 결정된 영역 각각에 대한 디바이스-독립적 컬러 공간에서 수행될 수 있다.
일부 실시예들의 경우, 방법은, 예상 발광체의 스펙트럼 전력 분포를 계산하는 단계를 더 포함할 수 있고, 사람 피부를 나타내는 이미지의 적어도 하나의 결정된 영역 각각에 대한 예상된 피부 값은 예상 발광체의 스펙트럼 전력 분포에 기초하여 더 결정될 수 있다.
방법의 일부 실시예들에서, 사람 피부를 나타내는 이미지의 적어도 하나의 결정된 영역 각각에 대한 예상된 피부 값은 결정된 영역의 피부 반사율에 기초하여 더 결정될 수 있다.
일부 실시예들의 경우, 추정된 발광체를 선택하는 것은 복수의 차이 값들을 최소화하는 것을 포함할 수 있고, 각각의 차이 값은 대표 컬러 값과 예상된 피부 값 사이의, 사람 피부를 나타내는 이미지의 적어도 하나의 결정된 영역 중 하나에 대한 차이에 대응한다.
일부 실시예들에서, 방법은 사람 피부를 나타내는 이미지의 적어도 하나의 결정된 영역 각각에 대해, 대표 컬러 값과 예상된 피부 값 사이의 차이가 임계값보다 작을 때까지 업데이트하기 전에 대표 컬러 값과 예상 발광체에 대응하는 예상된 피부 값의 비교에 기초하여 예상 발광체를 반복적으로 업데이트하는 단계를 더 포함할 수 있다.
일부 실시예들에서, 예상 발광체는 복수의 발광체들로부터 선택된 2개 이상의 발광체들의 혼합이다.
방법의 일부 실시예들은, 실세계 장면의 이미지를 획득하는 단계; 제1 장면 발광체 추정치를 결정하는 단계; 사람 피부를 나타내는 이미지에서의 픽셀들의 하나 이상의 영역을 결정하는 단계; 사람 피부를 나타내는 픽셀들의 각각의 영역에 대해, 제1 장면 발광체 추정치의 피부 반사율을 근사화하는 하나 이상의 피부 반사율 함수의 제1 세트를 결정하는 단계; 사람 피부를 나타내는 픽셀들의 각각의 영역에 대해, 제1 장면 발광체 추정치의 발광체 스펙트럼 및 피부 반사율 함수들의 제1 세트에 대응하는 제1 예상된 픽셀 값을 결정하는 단계; 및 사람 피부를 나타내는 픽셀들의 각각의 영역에 대해, 이미지의 대응하는 픽셀의 컬러 값과 제2 장면 발광체 추정치의 발광체 스펙트럼 및 제2 장면 발광체 추정치의 피부 반사율을 근사화하는 피부 반사율 함수들의 제2 세트에 대응하는 제2 예상된 픽셀 값 사이의 에러를 최소화하기 위해 제2 장면 발광체 추정치를 선택하는 단계를 포함할 수 있다.
일부 실시예들에서, 하나 이상의 피부 반사율 함수들의 제1 세트를 결정하는 것은 복수의 피부 반사율 함수들의 데이터베이스에 액세스하는 것을 포함할 수 있다.
방법의 일부 실시예들의 경우, 하나 이상의 피부 반사율 함수의 제1 세트는 피부 반사율의 파라미터화된 모델을 포함할 수 있다.
방법의 일부 실시예들에서, 제2 장면 발광체 추정치를 선택하는 단계는, 사람 피부를 나타내는 픽셀들의 각각의 영역에 대해, 제2 장면 발광체 추정치의 피부 반사율을 근사화하는 하나 이상의 피부 반사율 함수의 제2 세트를 결정하는 단계를 포함할 수 있다.
방법의 일부 실시예들의 경우, 제2 장면 발광체 추정치를 선택하는 단계는, 사람 피부를 나타내는 픽셀들의 각각의 영역에 대해, 제2 장면 발광체 추정치의 피부 반사율을 근사화하는 하나 이상의 피부 반사율 함수의 제2 세트를 결정하는 단계; 사람 피부를 나타내는 픽셀들의 각각의 영역에 대해, 제2 장면 발광체 추정치의 발광체 스펙트럼 및 피부 반사율 함수들의 제2 세트에 대응하는 제2 예상된 픽셀 값을 결정하는 단계; 및 사람 피부를 나타내는 픽셀들의 각각의 영역에 대해, 각각의 컬러 값과 제2 예상된 픽셀 값 사이의 에러가 임계값보다 작을 때까지, 제2 장면 발광체 추정치, 및 사람 피부를 나타내는 픽셀들의 각각의 영역에 대한, 하나 이상의 피부 반사율 함수의 제2 세트 및 제2 예상된 픽셀 값을 반복적으로 업데이트하는 단계를 포함할 수 있다.
방법의 일부 실시예들에서, 제1 장면 발광체 추정치는 2개 이상의 장면 발광체들의 혼합이다.
일부 실시예들의 경우, 방법은 제2 장면 발광체 추정치에 대해 결정된 발광체 스펙트럼을 이용하여 가상 객체를 렌더링하는 단계를 더 포함할 수 있다.
방법의 일부 실시예들은, 하나 이상의 피부 반사율 함수의 제1 세트를 결정하는 단계, 제1 예상된 픽셀 값을 결정하는 단계, 및 제2 장면 발광체 추정치를 선택하는 단계를 포함할 수 있고, 제2 장면 발광체 추정치를 선택하는 것은 디바이스-의존적 컬러 공간에서 수행된다.
일부 실시예들의 경우, 방법은 하나 이상의 피부 반사율 함수의 제1 세트를 결정하는 단계, 제1 예상된 픽셀 값을 결정하는 단계, 및 제2 장면 발광체 추정치를 선택하는 단계를 포함할 수 있고, 제2 장면 발광체 추정치를 선택하는 것은 디바이스-독립적 컬러 공간에서 수행된다.
장치의 일부 실시예들은 프로세서; 및 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체를 포함할 수 있고, 명령어들은 프로세서에 의해 실행될 때, 본 명세서에 설명된 방법을 수행하도록 동작한다.
일부 실시예들에 따른 예시적인 방법은, 실세계 장면의 이미지를 획득하는 단계; 제1 장면 발광체 추정치를 결정하는 단계; 사람 피부를 나타내는 이미지에서의 픽셀들의 하나 이상의 영역을 결정하는 단계; 사람 피부를 나타내는 픽셀들의 각각의 영역에 대해, 제1 장면 발광체 추정치의 피부 반사율을 근사화하는 하나 이상의 피부 반사율 함수의 제1 세트를 결정하는 단계; 사람 피부를 나타내는 픽셀들의 각각의 영역에 대해, 제1 장면 발광체 추정치의 발광체 스펙트럼 및 피부 반사율 함수들의 제1 세트에 대응하는 제1 예상된 픽셀 값을 결정하는 단계; 및 사람 피부를 나타내는 픽셀들의 각각의 영역에 대해, 이미지의 대응하는 픽셀의 컬러 값과 제2 장면 발광체 추정치의 발광체 스펙트럼 및 제2 장면 발광체 추정치의 피부 반사율을 근사화하는 피부 반사율 함수들의 제2 세트에 대응하는 제2 예상된 픽셀 값 사이의 에러를 최소화하기 위해 제2 장면 발광체 추정치를 선택하는 단계를 포함할 수 있다.
일부 실시예들에 따른 예시적인 방법은, 실세계 환경의 이미지를 캡처하는 단계; 사람 피부를 나타내는 이미지의 영역을 검출하는 단계; 영역의 대표 컬러 값을 결정하는 단계; 복수의 예상 컬러 값들로부터, 대표 컬러 값에 가장 가깝게 매칭하는 피부 컬러 값을 선택하는 단계; 및 피부 컬러 값과 연관된 발광체 타입을 식별하는 단계를 포함할 수 있다.
예시적인 방법의 일부 실시예들은 식별된 발광체 타입에 기초하여 선택된 컬러들을 갖는 가상 객체를 렌더링하는 단계를 더 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 복수의 예상 컬러 값들은 데이터베이스를 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 복수의 예상 컬러 값들은 파라미터화된 모델을 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 영역의 대표 컬러 값을 결정하는 단계는 영역의 개개의 부분과 각각 연관된 2개 이상의 컬러 값들을 평균화하는 단계를 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 복수의 예상 컬러 값들은 디바이스-의존적 컬러 공간을 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 복수의 예상 컬러 값들은 디바이스-독립적 컬러 공간을 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 피부 컬러 값을 선택하는 단계는 대표 컬러 값과 복수의 예상 컬러 값들 사이의 복수의 개개의 차이 값들을 최소화하는 단계를 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 발광체 타입을 식별하는 단계는 피부 컬러 값에 대응하는 피부 반사율 값을 결정하는 단계를 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 발광체 타입을 식별하는 단계는, 복수의 예상 발광체 타입들로부터 추정된 발광체 타입을 선택하는 단계; 피부 컬러 값 및 추정된 발광체 타입에 대응하는 반사율 값을 결정하는 단계; 및 결정된 반사율 값, 대표 컬러 값, 및 선택된 피부 컬러 값 중 적어도 하나를 이용하여, 추정된 발광체 타입을 식별된 발광체 타입이 되도록 반복적으로 업데이트하는 단계를 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 추정된 발광체 타입을 반복적으로 업데이트하는 단계는, 추정된 발광체 타입을 이용하여 영역의 일부에 대한 예상된 컬러 값을 결정하는 것; 및 예상된 컬러 값과 영역의 일부의 캡처된 컬러 값 사이의 차이를 감소시키기 위해 추정된 발광체 타입을 업데이트하는 것을 포함할 수 있는 반복 프로세스를 수행하는 단계를 포함할 수 있고, 여기서, 반복 프로세스는 차이가 임계값보다 작을 때까지 반복될 수 있다.
예시적인 방법의 일부 실시예들의 경우, 발광체 타입을 식별하는 단계는, 복수의 발광체들로부터 선택된 각각의 예상 발광체에 대해, 복수의 발광체들로부터 예상 발광체를 선택하는 것; 및 대표 컬러 값을 예상 발광체를 이용하여 결정된 예상된 피부 값과 비교하는 것을 포함할 수 있는 반복 발광체 비교 프로세스를 수행하는 단계; 및 대표 컬러 값과 개개의 예상 발광체를 이용하여 결정된 예상된 피부 값의 비교를 이용하여 복수의 발광체들로부터 발광체 타입을 선택하는 단계를 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 대표 컬러 값을 예상된 피부 값과 비교하는 단계는, 예상 발광체의 스펙트럼 전력 분포를 계산하는 단계를 포함할 수 있고, 여기서 예상된 피부 값은 예상 발광체의 스펙트럼 전력 분포를 이용하여 결정될 수 있다.
예시적인 방법의 일부 실시예들의 경우, 가상 객체를 렌더링하는 단계는 헤드 장착형 디바이스(HMD)의 증강 현실 디스플레이 환경에서 가상 객체를 렌더링할 수 있고, 가상 객체를 렌더링하는 단계는 실세계 환경의 캡처된 이미지 위에 가상 객체를 오버레이할 수 있다.
예시적인 방법의 일부 실시예들은 투시 증강 현실 디스플레이 상에 가상 객체를 디스플레이하는 단계를 더 포함할 수 있고, 이미지를 캡처하는 것은 투시 증강 현실 디스플레이의 카메라에 의해 캡처될 수 있다.
예시적인 방법의 일부 실시예들의 경우, 방법은 실시간으로 수행될 수 있다.
예시적인 방법의 일부 실시예들의 경우, 이미지는 비디오의 적어도 하나의 프레임을 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 피부 컬러 값을 선택하는 단계는 대표 피부 컬러 값과 비교하여 최소 에러 측정치를 갖는 복수의 피부 컬러 값들로부터 예상 피부 컬러 값을 선택하는 단계를 포함할 수 있다.
예시적인 방법의 일부 실시예들의 경우, 발광체 타입은 백열등, 형광, 일광, 및 시뮬레이션된 발광체들로 구성되는 그룹으로부터 선택될 수 있다.
일부 실시예들에 따른 예시적인 장치는, 카메라; 프로세서; 및 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체를 포함할 수 있고, 명령어들은 프로세서에 의해 실행될 때, 본 명세서에 설명된 방법들 중 임의의 것을 수행하도록 동작한다.
예시적인 장치의 일부 실시예들의 경우, 장치는 증강 현실 헤드 장착형 디바이스(HMD)일 수 있다.
설명된 실시예들 중 하나 이상의 실시예의 다양한 하드웨어 요소들은 각각의 모듈들과 관련하여 본 명세서에 설명된 다양한 기능들을 수행(즉, 수행, 실행 등)하는 "모듈들"로서 지칭된다는 점에 유의한다. 본 명세서에서 이용된 바와 같이, 모듈은 주어진 구현에 대해 관련 기술분야의 통상의 기술자에 의해 적절하다고 생각되는 하드웨어(예를 들어, 하나 이상의 프로세서, 하나 이상의 마이크로프로세서, 하나 이상의 마이크로제어기, 하나 이상의 마이크로칩, 하나 이상의 ASIC(application-specific integrated circuit), 하나 이상의 FPGA(field programmable gate array), 하나 이상의 메모리 디바이스)를 포함한다. 각각의 설명된 모듈은 각각의 모듈에 의해 수행되는 것으로 설명된 하나 이상의 기능을 수행하기 위해 실행가능한 명령어들을 또한 포함할 수 있고, 그러한 명령어들은 하드웨어(즉, 하드와이어드) 명령어들, 펌웨어 명령어들, 소프트웨어 명령어들 등의 형태를 취하거나 이들을 포함할 수 있고, 통상적으로 RAM, ROM 등으로 지칭되는 임의의 적절한 비일시적 컴퓨터 판독가능 매체 또는 매체들에 저장될 수 있다는 점에 유의한다.
특징부들 및 요소들이 위에서 특정한 조합들로 설명되었지만, 본 기술분야의 통상의 기술자는 각각 특징부 또는 요소가 단독적으로, 또는 다른 특징부들 및 요소들과 임의의 조합으로 이용될 수 있다는 것을 이해할 것이다. 또한, 본 명세서에 설명된 방법들은 컴퓨터 또는 프로세서에 의해 실행하기 위한 컴퓨터 판독가능 매체에 통합된 컴퓨터 프로그램, 소프트웨어, 또는 펌웨어로 구현될 수 있다. 컴퓨터 판독가능 저장 매체들의 예들은, 제한적인 것은 아니지만, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스들, 내부 하드 디스크들 및 이동식 디스크들과 같은 자기 매체들, 광자기 매체들(magneto-optical media), 및 CD-ROM 디스크들과 같은 광학 매체들 및 DVD(digital versatile disk)들을 포함한다. 소프트웨어와 연관된 프로세서는 WTRU, UE, 단말기, 기지국, RNC, 또는 임의의 호스트 컴퓨터에서 이용하기 위한 라디오 주파수 트랜시버를 구현하는데 이용될 수 있다.

Claims (15)

  1. 방법으로서,
    실세계 장면의 이미지를 획득하는 단계;
    상기 실세계 장면의 발광체에 대한 제1 추정된 발광체 스펙트럼 전력 분포를 결정하는 단계;
    상기 이미지 내에서, 사람 피부를 나타내는 적어도 제1 영역을 식별하는 단계;
    상기 이미지로부터, 상기 제1 영역에 대한 대표 피부 컬러 값을 결정하는 단계;
    상기 제1 추정된 발광체 스펙트럼 전력 분포 및 상기 대표 피부 컬러 값에 기초하여, 제1 후보 피부 반사율 스펙트럼을 선택하는 단계; 및
    상기 대표 피부 컬러 값 및 상기 선택된 제1 후보 피부 반사율 스펙트럼에 기초하여 제1 업데이트된 추정된 발광체 스펙트럼 전력 분포를 선택하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 실세계 장면의 상기 이미지를 획득하는 단계는 카메라로 상기 이미지를 캡처하는 단계를 포함하는, 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 대표 피부 컬러 값을 결정하는 단계는 대표 RGB 좌표들을 디바이스-독립적 컬러 좌표들로 변환하는 단계를 포함하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제1 후보 피부 반사율 스펙트럼을 선택하는 단계는,
    복수의 저장된 피부 반사율 스펙트럼들 각각에 대해, 상기 제1 추정된 발광체 스펙트럼 전력 분포를 개개의 저장된 피부 반사율 스펙트럼에 적용함으로써, 개개의 예상된 컬러 값을 결정하는 단계; 및
    상기 개개의 예상된 컬러 값들과 상기 대표 피부 컬러 값의 비교에 기초하여 상기 복수의 저장된 피부 반사율 스펙트럼들 중에서 상기 제1 후보 피부 반사율 스펙트럼을 선택하는 단계를 포함하는, 방법.
  5. 제4항에 있어서,
    상기 제1 후보 피부 반사율 스펙트럼은 상기 제1 후보 피부 반사율 스펙트럼과 연관된 상기 예상된 컬러 값과 상기 대표 피부 컬러 값 사이의 컬러 차이를 실질적으로 최소화하도록 선택되는, 방법.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제1 후보 피부 반사율 스펙트럼을 선택하는 단계는,
    파라미터화된 피부 반사율 모델의 적어도 하나의 파라미터 값을 선택하여, (i) 상기 제1 추정된 발광체 스펙트럼 전력 분포를 상기 선택된 파라미터 값에 의해 파라미터화된 피부 반사율 스펙트럼에 적용함으로써 획득된 예상된 컬러 값과 (ii) 상기 대표 피부 컬러 값 사이의 컬러 차이를 실질적으로 최소화하는 단계를 포함하고,
    상기 제1 후보 피부 반사율 스펙트럼은 상기 선택된 파라미터 값에 의해 파라미터화된 상기 피부 반사율 스펙트럼인, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제1 업데이트된 추정된 발광체를 선택하는 단계는,
    복수의 저장된 발광체 스펙트럼 전력 분포들 각각에 대해, 상기 저장된 발광체 스펙트럼 전력 분포를 상기 제1 후보 피부 반사율 스펙트럼에 적용함으로써, 개개의 예상된 컬러 값을 결정하는 단계; 및
    상기 개개의 예상된 컬러 값들과 상기 대표 컬러 값의 비교에 기초하여 상기 복수의 저장된 발광체 스펙트럼 전력 분포들 중에서 상기 제1 업데이트된 추정된 발광체를 선택하는 단계를 포함하는, 방법.
  8. 제7항에 있어서,
    상기 개개의 예상된 컬러 값을 결정하는 단계는,
    스펙트럼 카메라 모델을 적용하여 카메라 RGB 좌표들을 생성하는 단계; 및
    상기 카메라 RGB 좌표들을 상기 개개의 예상된 컬러 값을 나타내는 디바이스-독립적 컬러 좌표들로 변환하는 단계를 포함하는, 방법.
  9. 제7항 또는 제8항에 있어서,
    상기 복수의 저장된 발광체 스펙트럼 전력 분포들은 복수의 국제 조명 위원회(CIE) 표준 발광체들을 포함하는, 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 제1 업데이트된 추정된 발광체 스펙트럼 전력 분포 및 상기 대표 피부 컬러 값에 기초하여, 제2 후보 피부 반사율 스펙트럼을 선택하는 단계; 및
    상기 대표 피부 컬러 값 및 상기 선택된 제2 후보 피부 반사율 스펙트럼에 기초하여 제2 업데이트된 추정된 발광체 스펙트럼 전력 분포를 선택하는 단계
    를 포함하는 방법에 의해 반복적 정제를 수행하는 단계를 더 포함하는, 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    증강 현실 디바이스에 의해 수행되고, 상기 방법은 상기 제1 업데이트된 추정된 발광체 스펙트럼 전력 분포를 가상 객체의 발광체로서 이용하여 상기 가상 객체를 렌더링하는 단계를 더 포함하는, 방법.
  12. 프로세서, 및 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체를 포함하는 시스템으로서,
    상기 명령어들은,
    실세계 장면의 이미지를 획득하는 단계;
    상기 실세계 장면의 발광체에 대한 제1 추정된 발광체 스펙트럼 전력 분포를 결정하는 단계;
    상기 이미지 내에서, 사람 피부를 나타내는 적어도 제1 영역을 식별하는 단계;
    상기 이미지로부터, 상기 제1 영역에 대한 대표 피부 컬러 값을 결정하는 단계;
    상기 제1 추정된 발광체 스펙트럼 전력 분포 및 상기 대표 피부 컬러 값에 기초하여, 제1 후보 피부 반사율 스펙트럼을 선택하는 단계; 및
    상기 대표 피부 컬러 값 및 상기 선택된 제1 후보 피부 반사율 스펙트럼에 기초하여 제1 업데이트된 추정된 발광체 스펙트럼 전력 분포를 선택하는 단계
    를 포함하는 방법을 수행하도록 동작하는, 시스템.
  13. 방법으로서,
    실세계 장면의 이미지를 획득하는 단계;
    상기 이미지 내에서, 사람 피부를 나타내는 적어도 제1 영역을 식별하는 단계;
    상기 이미지로부터, 상기 제1 영역에 대한 대표 피부 컬러 값을 결정하는 단계;
    상기 대표 컬러 값에 기초하여, 복수의 후보 피부 컬러 값들 중에서 적어도 하나의 후보 피부 컬러 값을 선택하는 단계―상기 후보 피부 컬러 값들 각각은 개개의 발광체와 연관됨―; 및
    상기 실세계 장면에 대한 추정된 발광체로서, 상기 선택된 후보 피부 컬러 값과 연관된 상기 개개의 발광체를 선택하는 단계
    를 포함하는 방법.
  14. 제13항에 있어서,
    증강 현실 디바이스에 의해 수행되고, 상기 방법은 상기 추정된 발광체를 가상 객체의 발광체로서 이용하여 상기 가상 객체를 렌더링하는 단계를 더 포함하는, 방법.
  15. 제13항 또는 제14항에 있어서,
    상기 후보 피부 컬러 값들은 개개의 미리 결정된 발광체들과 연관된 저장된 피부 컬러 값들인, 방법.
KR1020217016170A 2018-11-30 2019-11-22 피부 반사율 데이터베이스에 기초하여 장면 발광체를 추정하는 방법 및 장치 KR20210106990A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862774048P 2018-11-30 2018-11-30
US62/774,048 2018-11-30
PCT/US2019/062846 WO2020112560A1 (en) 2018-11-30 2019-11-22 Method and apparatus to estimate scene illuminant based on skin reflectance database

Publications (1)

Publication Number Publication Date
KR20210106990A true KR20210106990A (ko) 2021-08-31

Family

ID=68944402

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217016170A KR20210106990A (ko) 2018-11-30 2019-11-22 피부 반사율 데이터베이스에 기초하여 장면 발광체를 추정하는 방법 및 장치

Country Status (4)

Country Link
US (2) US11908234B2 (ko)
KR (1) KR20210106990A (ko)
CN (1) CN113196288A (ko)
WO (1) WO2020112560A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230097307A (ko) 2021-12-24 2023-07-03 권성훈 스탠다드 카드가 포함된 이미지를 통한 피부색 진단 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742137A (zh) * 2022-03-25 2022-07-12 智谋纪(深圳)科技有限公司 照明光谱生成方法、光谱匹配方法及装置、设备、介质
CN118057830A (zh) * 2022-11-18 2024-05-21 华为技术有限公司 图像处理方法、电子设备、计算机程序产品及存储介质

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6081612A (en) 1997-02-28 2000-06-27 Electro Optical Sciences Inc. Systems and methods for the multispectral imaging and characterization of skin tissue
JPH11143031A (ja) 1997-11-11 1999-05-28 Konica Corp 非可視画像情報を用いた可視画像出力方法および可視画像形成方法
JP2923894B1 (ja) * 1998-03-31 1999-07-26 日本電気株式会社 光源判定方法、肌色補正方法、カラー画像補正方法、光源判定装置、肌色補正装置、カラー画像補正装置及びコンピュータ読み取り可能な記録媒体
US7173622B1 (en) 2002-04-04 2007-02-06 Figment 3D Enterprises Inc. Apparatus and method for generating 3D images
WO2004012442A1 (en) 2002-07-30 2004-02-05 Canon Kabushiki Kaisha Image processing system, apparatus, and method, and color reproduction method
US7508961B2 (en) * 2003-03-12 2009-03-24 Eastman Kodak Company Method and system for face detection in digital images
US7587068B1 (en) 2004-01-22 2009-09-08 Fotonation Vision Limited Classification database for consumer digital images
US8154612B2 (en) * 2005-08-18 2012-04-10 Qualcomm Incorporated Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
US8103094B2 (en) 2005-09-22 2012-01-24 Adobe Systems Incorporated Color correction based on skin color
US7728904B2 (en) * 2005-11-08 2010-06-01 Qualcomm Incorporated Skin color prioritized automatic focus control via sensor-dependent skin color detection
GB0622250D0 (en) 2006-11-08 2006-12-20 Univ East Anglia Illuminant estimation
WO2010093503A2 (en) * 2007-01-05 2010-08-19 Myskin, Inc. Skin analysis methods
US9070192B1 (en) 2007-05-15 2015-06-30 Vision Interface Technologies, LLC Implementing rich color transition curve tracking for applications
WO2009117192A1 (en) 2008-03-20 2009-09-24 Exxonmobil Upstream Research Company Enhancing emulsion stability
JP5402293B2 (ja) 2009-06-22 2014-01-29 ソニー株式会社 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
EP2473975B1 (en) * 2009-09-03 2021-11-10 National ICT Australia Limited Estimating reflectance model parameters from an image
US9380270B1 (en) 2011-08-31 2016-06-28 Amazon Technologies, Inc. Skin detection in an augmented reality environment
US9619911B2 (en) 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
EP3039864B1 (en) 2013-08-26 2018-09-19 Intel Corporation Automatic white balancing with skin tone correction for image processing
WO2015048911A1 (en) 2013-10-04 2015-04-09 University Of Manitoba Color correction method for optical see-through displays
AU2014202744B2 (en) 2014-05-20 2016-10-20 Canon Kabushiki Kaisha System and method for re-configuring a lighting arrangement
US11030778B2 (en) 2014-03-31 2021-06-08 Healthy.Io Ltd. Methods and apparatus for enhancing color vision and quantifying color interpretation
JP6646659B2 (ja) 2014-06-14 2020-02-14 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想および拡張現実を作成する方法およびシステム
US10192134B2 (en) 2014-06-30 2019-01-29 Microsoft Technology Licensing, Llc Color identification using infrared imaging
KR20160030690A (ko) 2014-09-11 2016-03-21 서울바이오시스 주식회사 피부 상태의 모니터링을 위한 얼굴 위치 교정 장치 및 이를 이용하는 모니터링 방법
NZ773844A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US9509902B1 (en) 2015-06-10 2016-11-29 Microsoft Technology Licensing, Llc Methods and devices for correction of camera module sensitivity and flash color variation
KR102633000B1 (ko) 2015-11-04 2024-02-01 매직 립, 인코포레이티드 눈-추적 기반 동적 디스플레이 교정
WO2017124186A1 (en) 2016-01-18 2017-07-27 Arcane Technologies Inc. System and method for interactive virtual lighting of a virtual sample representative of a real-life manufactured object
US10304446B2 (en) 2016-02-03 2019-05-28 Disney Enterprises, Inc. Self calibration for smartphone goggles
KR20200026808A (ko) * 2017-07-13 2020-03-11 시쉐이도 아메리카스 코포레이션 가상 얼굴 메이크업 제거, 빠른 얼굴 검출, 및 랜드마크 추적
CN109671046B (zh) * 2017-10-12 2021-08-17 精诚工坊电子集成技术（北京）有限公司 利用皮肤图像分析皮肤水分的方法及装置
CN117238224A (zh) * 2018-08-31 2023-12-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
US10636218B2 (en) * 2018-09-24 2020-04-28 Universal City Studios Llc Augmented reality for an amusement ride
US11049330B2 (en) 2019-06-27 2021-06-29 Facebook Technologies, Llc Color reference for overlaid images
US11676366B1 (en) * 2019-11-06 2023-06-13 Ramona Optics Inc. Methods to detect image features from variably-illuminated images
US11156843B2 (en) 2020-01-10 2021-10-26 Facebook Technologies, Llc End-to-end artificial reality calibration testing
US11490584B1 (en) * 2020-10-22 2022-11-08 Pioneer Hi-Bred International, Inc. Maize hybrid X13N234

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230097307A (ko) 2021-12-24 2023-07-03 권성훈 스탠다드 카드가 포함된 이미지를 통한 피부색 진단 방법

Also Published As

Publication number Publication date
CN113196288A (zh) 2021-07-30
US20220130131A1 (en) 2022-04-28
US11908234B2 (en) 2024-02-20
WO2020112560A1 (en) 2020-06-04
US20240144716A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
US20240144716A1 (en) Method and apparatus to estimate scene illuminant based on skin reflectance database
US10872582B2 (en) Method and apparatus for increased color accuracy of display by compensating for observer's color vision properties
US9420248B2 (en) Multi-LED camera flash for color temperature matching
EP3097542B1 (en) Creating a realistic color for a virtual object in an augmented reality environment
EP2914942B1 (en) Computer-implemented system and method for color sensing, storage and comparison
CN104978946B (zh) 显示设备背光自适应调整的方法和装置
US11948228B2 (en) Color correction method for panoramic image and electronic device
EP3775810B1 (en) Calibrated brightness estimation using ambient color sensors
US11410400B2 (en) Method and system for maintaining color calibration using common objects
WO2019019870A1 (zh) 图像的白平衡处理方法、装置和终端设备
US11448554B2 (en) Method and device for estimating ambient light
US20230419196A1 (en) Method for rendering of augmented reality content in combination with external display
US10038500B1 (en) Visible light communication
US20120308131A1 (en) Image Content-Based Color Balancing
KR20190080732A (ko) 자동 화이트 밸런싱에서 조명 색도의 추정
KR20180116704A (ko) 외부 객체에 대응되는 기준 색상 정보를 이용하여 촬영된 이미지의 색온도를 보정하는 전자 장치 및 그 전자 장치의 제어 방법
US20210100336A1 (en) Color reproduction services
CN115118963A (zh) 画质调整方法、电子设备及存储介质
WO2015154533A1 (zh) 投影方法、装置、终端及服务器
Oleari et al. Digital image‐color conversion between different illuminants by color‐constancy actuation in a color‐vision model based on the OSA‐UCS system
CN116700646B (zh) 图像色差处理方法和装置
US20210397387A1 (en) Apparatus and method for controlling the same
US10887567B2 (en) Camera color image processing
EP4261771A1 (en) Image processing method and related electronic device
CN117710344A (zh) 一种印品色相稳定性检测方法、装置及电子设备

Legal Events

Date Code Title Description
A201 Request for examination