KR20210146353A

KR20210146353A - 수정된 셰이프 프롬 셰이딩(sfs) 방식을 이용한 삼각형 3 차원 메쉬의 형상-세분화

Info

Publication number: KR20210146353A
Application number: KR1020217034704A
Authority: KR
Inventors: 제 후; 알칸사리 모하메드 가라비
Original assignee: 소니그룹주식회사
Priority date: 2019-07-18
Filing date: 2020-07-09
Publication date: 2021-12-03
Also published as: US20210019939A1; JP7362044B2; US10922884B2; KR102487918B1; WO2021009631A1; CN113826148A; EP3984004A1; JP2022542548A

Abstract

전자 장치 및 방법은 수정된 셰이프 프롬 셰이딩(SFS) 방식을 이용한 삼각형 3D 메쉬의 형상-세분화를 위하여 제공된다. 전자 장치는 복수의 정사각형 그리드 정점들을 포함하는 이미지 평면 상에서의 초기 3 차원(3D) 삼각형 메쉬의 직교 투영에 기초하여 평탄한 2 차원(2D) 메쉬를 생성한다. 전자 장치는 수정된 SFS 방식에 기초하여 평탄한 2D 메쉬의 각각의 정사각형 그리드 정점에 대한 최종적인 그리드 깊이 값을 추정한다. 수정된 SFS 방식은 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 참조 그리드 이미지 세기 값, 초기 그리드 깊이 값, 및 그리드 알베도 값 사이의 목적 관계에 대응한다. 전자 장치는 초기 3D 삼각형 메쉬 및 추정된 최종적인 그리드 깊이 값에 기초하여 최종적인 3D 삼각형 메쉬를 추정한다.

Description

수정된 셰이프 프롬 셰이딩(SFS) 방식을 이용한 삼각형 3 차원 메쉬의 형상-세분화

관련된 출원들에 대한 상호-참조/참조에 의한 편입

없음

개시내용의 다양한 실시예들은 3 차원(three-dimensional)(3D) 모델링, 가상 인간 기술(virtual human technology), 및 가상 현실(virtual reality)에 관한 것이다. 더 구체적으로, 개시내용의 다양한 실시예들은 수정된 셰이프 프롬 셰이딩(Shape from Shading)(SFS) 방식을 이용한 삼각형 3D 메쉬(mesh)의 형상-세분화(shape-refinement)를 위한 전자 장치 및 방법에 관한 것이다.

3 차원(3D) 컴퓨터 그래픽 및 3D 모델링의 분야에서의 진보들은 컴퓨터-생성된 화상(computer-generated imagery)(CGI) 환경과 같은 3D 환경에서의 상이한 유형들의 객체들(예컨대, 인간 얼굴)의 현실적인 3D 모델들의 개발 및 시각화를 위한 길을 마련하였다. 전형적으로, 관심 있는 객체의 3D 모델은 관심 있는 객체의 형상 및 기하구조를 정의하기 위하여 다각형 표면들을 이용하는 3D 메쉬로부터 렌더링(render)될 수 있다. 관심 있는 객체의 현실적인 3D 모델을 생성하기 위하여, 3D 모델의 형상 및 컬러 텍스처는 관심 있는 객체의 실제적인 텍스처 및 형상과 정합하도록 세분화될 필요가 있을 수 있다.

전형적으로, 상이한 객체들은 그 개개의 표면들과 연관된 상이한 반사 성질들을 가진다. 이 성질들은 주어진 조명 조건 하에서 이미지들에서의 객체들의 표면 상의 상이한 셰이딩 패턴(shading pattern)들로 귀착된다. 예를 들어, 현실적인 형상 모델들을 취득하기 위하여 3D 인간 얼굴을 모델링할 때, 일반적인 형상 뿐만 아니라, 주름(wrinkle)들 및 점(mole)들과 같은 얼굴 세부사항들도 정확하게 모델링되도록 요구된다. 일부 시나리오들에서, 기존의 셰이프-프롬-셰이딩(SFS) 방법은 3D 모델의 형상을 세분화하기 위하여 이용될 수 있다. 기존의 SFS 방법은 객체의 입력 이미지를 이용하여 3D 모델을 세분화하고 얼굴 세부사항들과 같은 세부사항들을 재구성하기 위한 폭넓게 이용된 방법이다. 그러나, SFS 방법은 통상적으로, 객체의 3D 삼각형 메쉬에 대한 비선형 최적화를 요구한다. 이것은 불필요한 시간 소모를 초래할 수 있고, 특히, 메모리/프로세싱 제약된 시스템에 대하여 연산적으로 비효율적일 수 있다.

기존의, 그리고 전통적인 접근법들의 추가의 제한들 및 단점들은 설명된 시스템들과, 본 출원의 나머지에서, 그리고 도면들을 참조하여 기재된 바와 같은 본 개시내용의 일부 양태들과의 비교를 통해, 본 기술 분야의 통상의 기술자에게 명백해질 것이다.

수정된 셰이프 프롬 셰이딩(SFS) 방식을 이용한 삼각형 3D 메쉬의 형상-세분화를 위한 전자 장치 및 방법은 청구항들에서 더 완전하게 기재된 바와 같은 도면들 중의 적어도 하나에서 도시되고, 및/또는 이러한 도면들 중의 적어도 하나와 관련하여 설명된 바와 같이 실질적으로 제공된다.

본 개시내용의 이러한 그리고 다른 특징들 및 장점들은 유사한 참조 번호들이 그 전반에 걸쳐 유사한 부분들을 지칭하는 동반된 도면들과 함께, 본 개시내용의 다음의 상세한 설명의 검토로부터 인식될 수 있다.

도 1은 개시내용의 실시예에 따른, 수정된 셰이프 프롬 셰이딩(SFS) 방식을 이용한 삼각형 3 차원(3D) 메쉬의 형상-세분화를 위한 예시적인 네트워크 환경을 예시하는 블록도이다.
도 2는 개시내용의 실시예에 따른, 수정된 SFS 방식을 이용한 삼각형 3D 메쉬의 형상-세분화를 위한 예시적인 전자 장치의 블록도이다.
도 3은 개시내용의 실시예에 따른, 수정된 SFS 방식을 이용한 삼각형 3D 메쉬의 형상-세분화를 위한 예시적인 동작들을 예시한다.
도 4는 개시내용의 실시예에 따른, 이미지 평면 상에 놓여 있는 정사각형 그리드 정점(square grid vertex)에 대한 초기 그리드 깊이 값들, 이미지 세기 값들, 및 알베도(albedo) 값들의 추정을 위한 예시적인 시나리오를 예시한다.
도 5는 개시내용의 실시예에 따른, 수정된 SFS 방식을 이용한 삼각형 3D 메쉬의 형상-세분화를 위한 예시적인 방법을 예시하는 플로우차트이다.

다음의 설명된 구현예들은 수정된 셰이프 프롬 셰이딩(SFS) 방식을 이용한 삼각형 3 차원(3D) 메쉬의 형상-세분화를 위한 개시된 장치 및 방법에서 발견될 수 있다. 개시내용의 예시적인 양태들은 인간 얼굴 부분과 같은 객체 부분의 삼각형 3D 메쉬의 형상-세분화를 위한 전자 장치를 제공한다. 개시된 전자 장치는 수정된 SFS 방식을 이용함으로써 초기 삼각형 3D 메쉬의 세부사항들(예컨대, 얼굴 세부사항들)을 모델링하도록 구성된다. 초기 삼각형 3D 메쉬는 객체 부분의 대응하는 텍스처 맵(texture map) 및 컬러 이미지(color image)와 함께, 초기 삼각형 3D 메쉬로부터 형상-세분화된 3D 삼각형 메쉬로서의 최종적인 3D 삼각형 메쉬를 추정하기 위하여 이용될 수 있다. 직교 투영(orthographic projection)은 정사각형 그리드들을 갖는 2D 이미지 평면 상에서 초기 삼각형 3D 메쉬를 투영하도록 채택된다. 수정된 셰이프 프롬 셰이딩(SFS) 방식은 정사각형 그리드의 매 정점에 대한 z-좌표 값을 재추정하도록 추가로 적용된다. 그 다음으로, 초기 삼각형 3D 메쉬의 각각의 정점에 대한 z-좌표 값은 SFS 방식의 결과들에 기초하여 업데이팅된다. 2D 이미지 평면으로의 초기 삼각형 3D 메쉬의 투영, 즉, 정사각형 그리드들 상의 메쉬는 직교 투영에 기초한다. 메쉬 그리드들의 각각의 정점에 대한 깊이, 이미지 세기, 및 알베도의 값들은 무게중심 보간(barycentric interpolation)에 의해 추정된다. 수정된 SFS 방식, 및 램버시안 반사율 모델(Lambertian reflectance model)과 같은 반사율 모델은 정사각형 그리드들의 각각의 정점 상의 깊이 값을 개량하기 위하여 추가로 이용된다. 정사각형 그리드들 상의 메쉬로부터의 형상-세분화된 3D 삼각형 메쉬의 재추정은 선형 최적화 모델들의 적용에 의해 수행된다.

일반적으로, 예를 들어, 현실적인 형상 모델링을 달성하기 위하여 3D 인간 얼굴을 모델링할 때, 일반적인 형상 뿐만 아니라, 주름들, 점들, 및 주름골(furrow) 라인들과 같은 얼굴 세부사항들도 정확하게 모델링되도록 요구된다. 입력 이미지를 이용하여 형상 모델(메쉬들)을 세분화할 수 있는 현존하는 SFS 방식들은 통상적으로, 정사각형 그리드들 상의 메쉬들에 대해 작동하고, 이것은 통상적으로, 최적화를 선형 함수로서 단순화한다. 삼각형 3D 메쉬에 대한 현존하는 SFS 방식을 위한 효율적인 해결책들이 없다. 이 개시내용에서는, 삼각형 3D 메쉬에 대해 작동하는 효율적이고 수정된 SFS 방식이 제시된다. 삼각형 3D 메쉬에 대한 현존하는 SFS 방식은 통상적으로, 시간 소모적이고 연산적으로 비효율적인 비선형 최적화 문제를 직접적으로 해결한다.

도 1은 개시내용의 실시예에 따른, 수정된 셰이프 프롬 셰이딩(SFS) 방식을 이용한 삼각형 3D 메쉬의 형상-세분화를 위한 예시적인 네트워크 환경을 예시하는 블록도이다. 도 1을 참조하면, 네트워크 환경(100)이 도시되어 있다. 네트워크 환경(100)은 전자 장치(102), 스캐닝 디바이스(104), 및 서버(106)를 포함할 수 있다. 스캐닝 디바이스(104)는 이미지 센서(104A) 및 깊이 센서(104B)를 포함할 수 있다. 전자 장치(102), 스캐닝 디바이스(104), 및 서버(106)는 통신 네트워크(108)를 통해 서로 통신가능하게 결합될 수 있다. 예로서 도시되었지만, 전자 장치(102)는 얼굴 부분과 같은 객체 부분의 컬러 이미지(110), 컬러 이미지(110)에 대응하는 깊이 정보(112), 및 얼굴 부분과 같은 객체 부분의 초기 3 차원(3D) 삼각형 메쉬(114)를 저장하도록 구성될 수 있다. 전자 장치(102) 및/또는 스캐닝 디바이스(104)와 연관될 수 있는 사용자(116)가 추가로 도시되어 있다.

전자 장치(102)는 복수의 정사각형 그리드 정점들을 포함하는 이미지 평면 상의 초기 3D 삼각형 메쉬(114)의 직교 투영에 기초하여 객체 부분의 평탄한 2 차원(two-dimensional)(2D) 메쉬를 생성하도록 구성될 수 있는 적당한 로직, 회로부, 및 인터페이스들을 포함할 수 있다. 생성된 평탄한 2D 메쉬는 정사각형 그리드들 상의 메쉬에 대응할 수 있다. 전자 장치(102)는 수정된 SFS 방식에 기초하여 평탄한 2D 메쉬의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 최종적인 그리드 깊이 값을 추정하도록 추가로 구성될 수 있다. 전자 장치(102)는 초기 3D 삼각형 메쉬(114), 및 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 추정된 최종적인 그리드 깊이 값에 기초하여, 형상-세분화된 3D 삼각형 메쉬로서의 최종적인 3D 삼각형 메쉬를 추정하도록 추가로 구성될 수 있다. 전자 장치(102)의 예들은 컴퓨팅 디바이스, 비디오-회의 시스템, 가상 현실(Virtual Reality)(VR)-기반 디바이스, 증강 현실(Augmented Reality)(AR)-기반 디바이스, 게이밍 디바이스, 메인프레임 머신, 서버, 컴퓨터 워크스테이션, 및/또는 소비자 가전(consumer electronic)(CE) 디바이스를 포함할 수 있지만, 이것으로 제한되지는 않는다.

스캐닝 디바이스(104)는 사용자(116)의 얼굴 부분과 같은 객체 부분을 스캐닝하도록 구성될 수 있는 적당한 로직, 회로부, 및 인터페이스들을 포함할 수 있다. 스캐닝 디바이스(104)는 하나 이상의 시야각(viewing angle)들로부터 사용자(116)의 얼굴과 같은 객체 부분의 복수의 컬러 이미지들 및 대응하는 깊이 정보를 캡처하도록 구성될 수 있다. 스캐닝 디바이스(104)는 캡처된 복수의 컬러 이미지들 및 대응하는 깊이 정보를 통신 네트워크(108)를 통해 전자 장치(102) 및 서버(106)로 송신하도록 추가로 구성될 수 있다. 스캐닝 디바이스(104)는 상이한 시야각들로부터 객체 부분을 스캐닝하기 위하여 이용될 수 있는 (이미지 센서(104A)와 같은) 이미지 센서, (깊이 센서(104B)와 같은) 깊이 센서, (적색-녹색-청색(RGB) 센서와 같은) 컬러 센서, 및/또는 적외선(infrared)(IR) 센서의 조합과 같은 복수의 센서들을 포함할 수 있다. 스캐닝 디바이스(104)의 예들은 깊이 센서, RGB 센서, IR 센서, 3D-메쉬 구조 생성기, 이미지 센서, 또는 모션-검출 디바이스를 포함할 수 있지만, 이것으로 제한되지는 않는다.

실시예에 따르면, 스캐닝 디바이스(104)는 3D 공간에서 객체 부분의 3D 구조를 캡처하기 위하여 방사선(radiation)들 또는 광에 의존하는 능동 3D 스캐너를 포함할 수 있다. 예를 들어, 능동 3D 스캐너는 비행-시간(time-of-flight)(TOF)-기반 3D 레이저 스캐너, 레이저 거리 측정기(laser range-finder), TOF 카메라, 핸드헬드 레이저 스캐너, 구조화된 광 3D 스캐너, 변조된 광 3D 스캐너, 포인트 클라우드 데이터를 출력하는 CT 스캐너, 항공 광 검출 및 거리측정(Light Detection And Ranging)(LiDAR) 레이저 스캐너, 3D LiDAR, 3D 모션 센서 등일 수 있다.

도 1에서, 스캐닝 디바이스(104)는 전자 장치(102)로부터의 별도의 디바이스로서 도시된다. 그러나, 개시내용은 그렇게 제한되지 않을 수 있고, 일부 실시예들에서, 스캐닝 디바이스(104)는 전자 장치(102)와 통합될 수 있다. 대안적으로, 스캐닝 디바이스(104)의 전체 기능성은 본 개시내용의 범위로부터 이탈하지 않으면서, 전자 장치(102) 내에 편입될 수 있다.

서버(106)는 스캐닝 디바이스(104)에 의해 캡처된 복수의 컬러 이미지들 및 대응하는 깊이 정보를 저장하도록 구성될 수 있는 적당한 로직, 회로부, 및 인터페이스들을 포함할 수 있다. 실시예에 따르면, 서버(106)는 초기 3D 삼각형 메쉬(114)를 저장하도록 추가로 구성될 수 있다. 서버(106)의 예들은 데이터베이스 서버, 파일 서버, 웹 서버, 클라우드 서버, 애플리케이션 서버, 메인프레임 서버, 또는 다른 유형들의 서버들을 포함할 수 있지만, 이것으로 제한되지는 않는다.

통신 네트워크(108)는 통신 매체를 포함할 수 있고, 통신 매체를 통해, 전자 장치(102), 스캐닝 디바이스(104), 및 서버(106)는 서로 통신할 수 있다. 통신 네트워크(108)의 예들은 인터넷, 클라우드 네트워크, 무선 충실도(Wireless Fidelity)(Wi-Fi) 네트워크, 개인 영역 네트워크(Personal Area Network)(PAN), 로컬 영역 네트워크(Local Area Network)(LAN), 또는 대도시 영역 네트워크(Metropolitan Area Network)(MAN)을 포함할 수 있지만, 이것으로 제한되지는 않는다. 네트워크 환경(100)에서의 다양한 디바이스들은 다양한 유선 및 무선 통신 프로토콜들에 따라 통신 네트워크(108)에 접속하도록 구성될 수 있다. 이러한 유선 및 무선 통신 프로토콜들의 예들은 전송 제어 프로토콜 및 인터넷 프로토콜(Transmission Control Protocol and Internet Protocol)(TCP/IP), 사용자 데이터그램 프로토콜(User Datagram Protocol)(UDP), 하이퍼텍스트 전송 프로토콜(Hypertext Transfer Protocol)(HTTP), 파일 전송 프로토콜(File Transfer Protocol)(FTP), 지그비(Zig Bee), EDGE, IEEE 802.11, 광 충실도(light fidelity)(Li-Fi), 802.16, IEEE 802.11s, IEEE 802.11g, 멀티-도약(multi-hop) 통신, 무선 액세스 포인트(wireless access point)(AP), 디바이스 대 디바이스 통신, 셀룰러 통신 프로토콜들, 및 블루투스(Bluetooth)(BT) 통신 프로토콜들 중의 적어도 하나를 포함할 수 있지만, 이것으로 제한되지는 않는다.

동작 시에, 스캐닝 디바이스(104)는 인간, 로봇, 동물, 생물 객체, 무생물 객체, 또는 임의의 다른 유형의 관심-객체(object-of-interest)와 같은 관심-객체의 객체 부분을 스캐닝하도록 구성될 수 있다. 예시적인 실시예에서, 관심-객체는 사용자(116)에 대응할 수 있고, 객체 부분은 사용자(116)의 얼굴 부분에 대응할 수 있다. 스캐닝 디바이스(104)는 객체 부분이 스캐닝 디바이스(104)의 관측-시야(Field-of-View)(FoV)에 있는 동안에, 하나 이상의 시야각들로부터 사용자(116)의 얼굴과 같은 객체 부분을 스캐닝하도록 구성될 수 있다.

스캐닝 동작을 위하여, 스캐닝 디바이스(104)는 객체 부분의 복수의 컬러 이미지들 및 대응하는 깊이 정보를 캡처하도록 추가로 구성될 수 있다. 복수의 컬러 이미지들 및 대응하는 깊이 정보는 동시에 캡처될 수 있는 반면(즉, 시간-동기화됨), 복수의 컬러 이미지들의 각각에 대한 FoV는 객체 부분의 깊이 정보의 대응하는 부분의 FoV와 정렬된다. 복수의 컬러 이미지들에 대응하는 깊이 정보는 3D 공간에서의 사용자(116)의 얼굴 부분과 같은 객체 부분의 "Z" 좌표들에 대한 정보를 포함할 수 있다. 복수의 컬러 이미지들 및 대응하는 깊이 정보는 3D 관점으로부터의 객체 부분의 각각의 영역의 상이한 형상 특징들 및 깊이의 증대된 이해를 제공할 수 있다. 일부 실시예들에서, 각각의 컬러 이미지 및 깊이 정보의 대응하는 깊이 부분은 고해상도(예컨대, 풀 고해상도(Full High Definition)(FHD), 울트라 HD(Ultra HD)(UHD) 등)에서 캡처될 수 있고, 객체 부분의 모든 필요한 형상 및 텍스처-관련된 세부사항들을 집합적으로 보유할 수 있다.

예로서, 이미지 센서(104A)는 하나 이상의 시야각들로부터 사용자(116)의 얼굴의 복수의 컬러 이미지들을 캡처하도록 구성될 수 있다. 유사하게, 깊이 센서(104B)는 사용자(116)의 얼굴의 복수의 컬러 이미지들에 대응하는 깊이 정보를 캡처하도록 구성될 수 있다. 캡처된 복수의 컬러 이미지들의 각각의 컬러 이미지는 대응하는 깊이 이미지를 가질 수 있다. 복수의 컬러 이미지들에 대응하는 깊이 정보는 사용자(116)의 얼굴과 같은 객체 부분의 상이한 영역들의 세부사항들에 대한 정보를 표시할 수 있다. 예로서, 주름들을 가지는 얼굴 부분의 상이한 영역들은 주름들을 갖지 않는 다른 영역들과 비교하여 상이한 깊이 값들을 가질 수 있다. 주름들을 가지는 이 상이한 영역들은 3D 모델링하면서 정확한 형상-세분화를 요구할 수 있는 현저한 영역들일 수 있다.

스캐닝 디바이스(104)는 복수의 컬러 이미지들 및 대응하는 깊이 정보를 통신 네트워크(108)를 통해 전자 장치(102) 및 서버(106)로 송신하도록 추가로 구성될 수 있다. 전자 장치(102)는 복수의 컬러 이미지들의 컬러 이미지(110) 및 컬러 이미지(110)에 대응하는 깊이 정보(112)를 저장하도록 구성될 수 있다. 또한, 전자 장치(102)는 사용자(116)의 얼굴과 같은 객체 부분의 초기 3D 삼각형 메쉬(114)를 저장하도록 추가로 구성될 수 있다. 초기 3D 삼각형 메쉬(114)는 객체 부분의 형상-비세분화된 삼각형 메쉬에 대응할 수 있는 사전-추정된 3D 삼각형 메쉬일 수 있다. 형상-비세분화된 삼각형 메쉬는 대응하는 깊이 값들이 객체 부분 상의 대응하는 포인트의 진정한 깊이 값과 오정합하는 상이한 정점들을 포함할 수 있다. 객체 부분의 일부 부분의 형상은 초기 3D 삼각형 메쉬(114)에서 부정확하게 캡처될 수 있고, 객체 부분의 실제적인/현실적인 형상을 표현하지 않을 수 있다. 예로서, 주름들, 주름골 라인들, 점들과 같은 복잡한 형상-특징들은 사용자(116)의 얼굴 부분의 초기 3D 삼각형 메쉬(114)에서 부재할 수 있거나 부분적으로 캡처될 수 있다.

일부 실시예들에서, 초기 3D 삼각형 메쉬(114)는 서버(106)와 같은 서버 상에서 저장될 수 있다. 이러한 경우들에는, 전자 장치(102)가 통신 네트워크(108)를 통해 서버(106)로부터 초기 3D 삼각형 메쉬(114)를 취출하도록 구성될 수 있다. 일부 다른 실시예들에서, 전자 장치(102)는 캡처된 복수의 컬러 이미지들 및 대응하는 깊이 정보에 기초하여, 객체 부분의 초기 3D 삼각형 메쉬(114)를 생성하도록 구성될 수 있다.

전자 장치(102)는 이미지 평면 상에서의 초기 3D 삼각형 메쉬(114)의 직교 투영에 기초하여 평탄한 2D 메쉬를 생성하도록 추가로 구성될 수 있다. 이미지 평면은 복수의 정사각형 그리드 정점들을 포함하는 2D 평면일 수 있다. 평탄한 2D 메쉬는 2D 평면 상으로 투영된 초기 3D 삼각형 메쉬(114)의 2D 대응성일 수 있고, 2D 공간에서의 초기 3D 삼각형 메쉬(114)를 표현할 수 있다. 초기 3D 삼각형 메쉬(114)의 각각의 정점은 3D 좌표(즉, x, y, 및 z 좌표 값들)의 측면에서 표현될 수 있다. 유사하게, 초기 3D 삼각형 메쉬(114)의 대응하는 정점에 대한 평탄한 2D 메쉬 상의 각각의 투영된 포인트는 2D 좌표(즉, x 및 y 좌표 값들)의 측면에서 표현될 수 있다. 이미지 평면 상의 각각의 투영된 포인트에 대한 (x, y) 좌표 값들은 초기 3D 삼각형 메쉬(114)의 대응하는 정점에 대한 (x, y) 좌표 값들과 동일할 수 있다.

초기 3D 삼각형 메쉬(114)에 대한 기존의 SFS 방식의 적용은 비선형 최적화를 요구할 수 있으므로, 기존의 SFS 방식의 적용에 기초하여 초기 3D 삼각형 메쉬(114)의 각각의 정점에 대한 깊이 값을 재추정하는 것은 시간 소모적일 수 있다. 평탄한 2D 메쉬는 초기 3D 삼각형 메쉬(114)의 각각의 정점의 깊이 값을 재추정하기 위하여 생성될 수 있다. 초기 3D 삼각형 메쉬(114)의 각각의 정점의 깊이 값은 평탄한 2D 메쉬에 대한 수정된 SFS의 적용에 기초하여 재추정될 수 있다. 평탄한 2D 메쉬에 대한 수정된 SFS의 적용은 재추정 프로세스를 선형 최적화 문제로서 단순화한다. 또한, 평탄한 2D 메쉬에 대한 수정된 SFS의 적용에 기초한 초기 3D 삼각형 메쉬(114)의 각각의 정점의 깊이 값의 재추정은 기존의 SFS 방식과 비교하여 더 적은 컴퓨팅 시간이 걸린다.

전형적으로, 초기 3D 삼각형 메쉬(114)의 상이한 정점들은 초기 3D 삼각형 메쉬(114)의 상이한 정점들에 대해 적용되어야 할 (깊이 정정과 같은) 위치 정정을 필요로 할 수 있다. 이것은 초기 3D 삼각형 메쉬(114)가 부정확한 표면 배향(surface orientation)들을 가질 수 있기 때문에 필요할 수 있고, 본 개시내용의 목표는 객체 부분의 주름들, 모델들, 및 주름골 라인들과 같은 상이한 형상 특징들을 정밀하게 모델링하는 형상-세분화된 3D 삼각형 메쉬를 획득하기 위한 것이다. 위치 정정은 초기 3D 삼각형 메쉬(114)로부터 렌더링될 수 있는 3D 모델의 표면의 배향(또는 표면 패치(surface patch))을 복원하도록 요구될 수 있다. 본 개시내용은 위치 정정을 초기 3D 삼각형 메쉬(114)의 상이한 정점들에 적용하기 위하여 객체 부분의 단일 컬러 이미지 및 수정된 셰이프 프롬 셰이딩(SFS) 방식을 이용하고, 형상-세분화된 3D 삼각형 메쉬를 획득한다. 수정된 SFS 방식을 이용하는 목표는 표면 법선(surface normal)들을 추정하고, 또한, 초기 3D 삼각형 메쉬(114)의 상이한 정점들에 대한 올바른 위치 값들을 추정하기 위한 것이다.

전자 장치(102)는 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트를 추정하도록 구성될 수 있다. 초기 깊이 값들의 세트는 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 3D 좌표들의 대응하는 세트에 기초하여 추정될 수 있다. 초기 깊이 값들의 세트는 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트의 Z-좌표 값들의 세트일 수 있다.

전자 장치(102)는 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 추정된 세트의 무게중심 보간에 기초하여, 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점의 초기 그리드 깊이 값을 추정하도록 추가로 구성될 수 있다. 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점의 초기 그리드 깊이 값의 추정은 예를 들어, 도 3 및 도 4에서 상세하게 추가로 설명된다.

전자 장치(102)는 수정된 SFS 방식에 기초하여 평탄한 2D 메쉬의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 최종적인 그리드 깊이 값을 추정하도록 구성될 수 있다. 수정된 SFS 방식은 이미지 평면 상의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 참조 그리드 이미지 세기 값, 초기 그리드 깊이 값, 및 그리드 알베도 값 사이의 목적 관계(objective relationship)에 대응할 수 있다. 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점의 최종적인 그리드 깊이 값은 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 재추정된 깊이 값일 수 있다. 최종적인 깊이 값은 사용자(116)의 얼굴과 같은 객체 부분의 컬러 이미지(110)의 조명 조건들에 기초하여 추가로 추정될 수 있다. 조명 조건들은 램버시안 반사율 모델과 같은 반사율 모델을 이용하여 정의될 수 있다. 일부 실시예들에서는, 확산된 반사만이 컬러 이미지(110)의 조명 조건들로서 고려될 수 있다. 평탄한 2D 메쉬의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 최종적인 그리드 깊이 값의 추정은 예를 들어, 도 3에서 상세하게 추가로 설명된다.

전자 장치(102)는 초기 3D 삼각형 메쉬(114), 및 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 추정된 최종적인 그리드 깊이 값에 기초하여, 형상-세분화된 3D 삼각형 메쉬로서의 최종적인 3D 삼각형 메쉬를 추정하도록 추가로 구성될 수 있다. 추정된 최종적인 3D 삼각형 메쉬의 형상은 사용자(116)의 얼굴과 같은 객체 부분의 실제적인 형상과 유사할 수 있다. 전자 장치(102)는 추정된 최종적인 3D 삼각형 메쉬에 기초하여 객체 부분의 3D 모델을 렌더링하기 위하여 디스플레이 디바이스를 제어하도록 추가로 구성될 수 있다. 객체 부분의 3D 모델은 객체 부분의 표면 특징들을 현실적으로 표현할 수 있다. 일부 예시적인 시나리오들에서, 3D 모델은 사용자(116)의 얼굴 부분과 같은 객체 부분을 표현하기 위하여 가상 현실(VR) 또는 증강 현실(AR) 환경에서 추가로 렌더링될 수 있다. 객체 부분의 3D 모델의 적용은 비디오 게임들, 시각적 효과들(Visual Effects)(VFX), 컴퓨터-생성된 화상(Computer-Generated Imagery)(CGI), 및 3D 모델-기반 비디오 회의에서의 애니메이션들을 포함할 수 있다.

도 2는 개시내용의 실시예에 따른, 수정된 SFS 방식을 이용한 삼각형 3D 메쉬의 형상-세분화를 위한 예시적인 전자 장치의 블록도이다. 도 2는 도 1로부터의 엘리먼트들과 함께 설명된다. 도 2를 참조하면, 전자 장치(102)의 블록도(200)가 도시되어 있다. 전자 장치(102)는 회로부(202)를 포함할 수 있다. 회로부(202)는 프로세서(204)와 같은 하나 이상의 프로세서들을 더 포함할 수 있다. 전자 장치(102)는 메모리(206), 입력/출력(I/O) 디바이스(208), 및 네트워크 인터페이스(214)를 더 포함할 수 있다. I/O 디바이스(208)는 그래픽 사용자 인터페이스(Graphical User Interface)(GUI)(212)를 렌더링하기 위하여 사용될 수 있는 디스플레이 디바이스(210)를 포함할 수 있다. 회로부(202)는 메모리(206) 및 I/O 디바이스(208)에 통신가능하게 결합될 수 있다. 회로부(202)는 네트워크 인터페이스(214)의 이용에 의해 스캐닝 디바이스(104) 및 서버(106)와 통신하도록 구성될 수 있다.

프로세서(204)는 메모리(206) 내에 저장된 명령들을 실행하도록 구성될 수 있는 적당한 로직, 회로부, 인터페이스들을 포함할 수 있다. 프로세서(204)는 초기 3D 삼각형 메쉬(114)에 기초하여 객체 부분의 평탄한 2D 메쉬를 생성하고, 수정된 SFS 방식에 기초하여 평탄한 2D 메쉬의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 최종적인 그리드 깊이 값을 추정하도록 구성될 수 있다. 프로세서(204)는 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 추정된 최종적인 그리드 깊이 값 및 초기 3D 삼각형 메쉬(114)에 기초하여 형상-세분화된 3D 삼각형 메쉬로서의 최종적인 3D 삼각형 메쉬를 추정하도록 추가로 구성될 수 있다. 프로세서(204)는 본 기술분야에서 공지된 다수의 프로세서 기술들에 기초하여 구현될 수 있다. 프로세서 기술들의 예들은 중앙 프로세싱 유닛(Central Processing Unit)(CPU), X86-기반 프로세서, 축소 명령 세트 컴퓨팅(Reduced Instruction Set Computing)(RISC) 프로세서, 애플리케이션-특정 집적 회로(Application-Specific Integrated Circuit)(ASIC) 프로세서, 복합 명령 세트 컴퓨팅(Complex Instruction Set Computing)(CISC) 프로세서, 그래픽 프로세싱 유닛(Graphical Processing Unit)(GPU), 및 다른 프로세서들을 포함할 수 있지만, 이것으로 제한되지는 않는다.

메모리(206)는 프로세서(204)에 의해 실행되어야 할 명령들을 저장하도록 구성될 수 있는 적당한 로직, 회로부, 및 인터페이스들을 포함할 수 있다. 메모리(206)는 초기 3D 삼각형 메쉬(114)를 저장하도록 추가로 구성될 수 있다. 메모리(206)는 컬러 이미지(110) 및 컬러 이미지(110)에 대응하는 깊이 정보(112)를 저장하도록 추가로 구성될 수 있다. 메모리(206)의 구현의 예들은 랜덤 액세스 메모리(Random Access Memory)(RAM), 판독 전용 메모리(Read Only Memory)(ROM), 전기적 소거가능 프로그래밍가능 판독-전용 메모리(Electrically Erasable Programmable Read-Only Memory)(EEPROM), 하드 디스크 드라이브(Hard Disk Drive)(HDD), 솔리드-스테이트 드라이브(Solid-State Drive)(SSD), CPU 캐시, 및/또는 시큐어 디지털(Secure Digital)(SD) 카드를 포함할 수 있지만, 이것으로 제한되지는 않는다.

I/O 디바이스(208)는 (사용자(116)와 같은) 사용자로부터 입력을 수신하고 사용자로부터의 수신된 입력에 기초하여 출력을 사용자에게 제공하도록 구성될 수 있는 적당한 로직, 회로부, 및 인터페이스들을 포함할 수 있다. 다양한 입력 및 출력 디바이스들을 포함할 수 있는 I/O 디바이스(208)는 회로부(202)와 통신하도록 구성될 수 있다. I/O 디바이스(208)의 예들은 터치 스크린, 키보드, 마우스, 조이스틱, 마이크로폰, 디스플레이 디바이스(예를 들어, 디스플레이 디바이스(210)), 및 스피커를 포함할 수 있지만, 이것으로 제한되지는 않는다.

디스플레이 디바이스(210)는 객체 부분의 초기 3D 삼각형 메쉬(114)의 형상-세분화에 기초하여 객체 부분의 3D 모델을 디스플레이하도록 구성될 수 있는 적당한 로직, 회로부, 및 인터페이스들을 포함할 수 있다. 일부 실시예들에서, 디스플레이 디바이스(210)는 전자 장치(102)와 연관된 외부 디스플레이 디바이스일 수 있다. 일부 실시예들에서, 디스플레이 디바이스(210)는 사용자(116)와 같은 사용자가 디스플레이 디바이스(210)를 통해 사용자 입력을 제공하는 것을 가능하게 할 수 있는 터치 스크린일 수 있다. 터치 스크린은 저항성 터치 스크린, 용량성 터치 스크린, 또는 열 터치 스크린 중의 적어도 하나일 수 있다. 디스플레이 디바이스(210)는, 액정 디스플레이(Liquid Crystal Display)(LCD) 디스플레이, 발광 다이오드(Light Emitting Diode)(LED) 디스플레이, 플라즈마 디스플레이, 또는 유기 LED(Organic LED)(OLED) 디스플레이 기술 중의 적어도 하나, 또는 다른 디스플레이 디바이스들과 같은, 그러나 이것으로 제한되지는 않는 몇몇 공지된 기술들을 통해 실현될 수 있다. 실시예에 따르면, 디스플레이 디바이스(210)는 헤드 장착형 디바이스(head mounted device)(HMD), 스마트-유리 디바이스, 시스루(see-through) 디스플레이, 투영-기반 디스플레이, 전기변색(electro-chromic) 디스플레이, 또는 투명 디스플레이의 디스플레이 스크린을 지칭할 수 있다.

GUI(212)는 디스플레이 디바이스(210)와 같은 디스플레이 디바이스 상에서 렌더링된 사용자 인터페이스(user interface)(UI)에 대응할 수 있다. GUI(212)는 객체 부분의 3D 모델을 디스플레이하도록 구성될 수 있다. 일부 실시예들에서, GUI(212)는 전자 장치(102)에 통신가능하게 결합될 수 있는 외부 디스플레이 스크린 상에서 렌더링될 수 있다. GUI(212)는 정보를 디스플레이하고 3D 모델 및/또는 디스플레이된 3D 모델과 연관된 정보의 디스플레이를 제어(또는 이와 상호작용)하기 위하여 이용될 수 있는 상이한 GUI 및 비-GUI 엘리먼트들을 포함할 수 있다.

네트워크 인터페이스(214)는 통신 네트워크(108)를 통한 전자 장치(102), 스캐닝 디바이스(104), 및 서버(106) 사이의 통신을 용이하게 하도록 구성될 수 있는 적당한 로직, 회로부, 및 인터페이스들을 포함할 수 있다. 네트워크 인터페이스(214)는 통신 네트워크(108)와의 전자 장치(102)의 유선 또는 무선 통신을 지원하기 위한 다양한 공지된 기술들의 이용에 의해 구현될 수 있다. 네트워크 인터페이스(214)는 안테나, 라디오 주파수(radio frequency)(RF) 트랜시버, 하나 이상의 증폭기들, 튜너(tuner), 하나 이상의 발진기들, 디지털 신호 프로세서, 코더-디코더(coder-decoder)(CODEC) 칩셋, 가입자 식별 모듈(subscriber identity module)(SIM) 카드, 또는 로컬 버퍼 회로부를 포함할 수 있지만, 이것으로 제한되지는 않는다.

네트워크 인터페이스(214)는 인터넷, 인트라넷, 또는 무선 네트워크와 같은 네트워크들, 예컨대, 셀룰러 전화 네트워크, 무선 로컬 영역 네트워크(LAN), 대도시 영역 네트워크(MAN)와 무선 통신을 통해 통신하도록 구성될 수 있다. 무선 통신은 이동 통신을 위한 글로벌 시스템(Global System for Mobile Communications)(GSM), 증대된 데이터 GSM 환경(Enhanced Data GSM Environment)(EDGE), 광대역 코드 분할 다중 액세스(wideband code division multiple access)(W-CDMA), 롱텀 에볼루션(Long Term Evolution)(LTE), 코드 분할 다중 액세스(code division multiple access)(CDMA), 시간 분할 다중 액세스(time division multiple access)(TDMA), 블루투스, (IEEE 802.11a, IEEE 802.11b, IEEE 802.11g, 또는 IEEE 802.11n과 같은) 무선 충실도(Wi-Fi), 보이스 오버 인터넷 프로토콜(voice over Internet Protocol)(VoIP), 광 충실도(Li-Fi), 마이크로파 액세스를 위한 전세계 상호운영성(Worldwide Interoperability for Microwave Access)(Wi-MAX), 이메일을 위한 프로토콜, 인스턴트 메시징, 및 단문 메시지 서비스(Short Message Service)(SMS)와 같은 복수의 통신 표준들, 프로토콜들, 및 기술들 중의 하나 이상을 이용하도록 구성될 수 있다. 회로부(202)의 동작은 예를 들어, 도 3 및 도 4에서 상세하게 설명된다.

도 3은 개시내용의 실시예에 따른, 수정된 SFS 방식을 이용한 삼각형 3D 메쉬의 형상-세분화를 위한 예시적인 동작들을 예시한다. 도 3은 도 1 및 도 2로부터의 엘리먼트들과 함께 설명된다. 도 3을 참조하면, 초기 3D 삼각형 메쉬(114)의 형상-세분화를 위한 프로세싱 파이프라인(300)의 일부로서의 예시적인 동작의 시퀀스가 도시되어 있다.

302에서는, 평탄한 2D 메쉬 생성 동작이 실행될 수 있다. 평탄한 2D 메쉬 생성 동작에서, 프로세서(204)는 메모리(206)로부터 초기 3D 삼각형 메쉬(114)를 취출하도록 구성될 수 있다. 일부 실시예들에서, 프로세서(204)는 통신 네트워크(108)를 통해 서버(106)로부터 초기 3D 삼각형 메쉬(114)를 취출하도록 구성될 수 있다.

프로세서(204)는 이미지 평면 상에서의 초기 3D 삼각형 메쉬(114)의 직교 투영에 기초하여 평탄한 2D 메쉬(302A)를 생성하도록 추가로 구성될 수 있다. 예로서, 이미지 평면은 사용자(116)의 얼굴과 같은 객체 부분의 전방 뷰에 대응할 수 있다. 직교 투영은 2D 공간에서의 이미지 평면 상에서 초기 3D 삼각형 메쉬(114)를 투영하기 위하여 사용될 수 있다. 평탄한 2D 메쉬(302A)는 복수의 다각형들(예를 들어, 정사각형 그리드 메쉬)로 이루어질 수 있다. 평탄한 2D 메쉬(302A)는 복수의 정사각형 그리드 정점들을 포함할 수 있고, 객체 부분의 표면의 투영을 표현할 수 있다.

304에서는, 초기 그리드 깊이 추정 동작이 실행될 수 있다. 초기 그리드 깊이 추정 동작에서, 프로세서(204)는 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 초기 그리드 깊이 값을 추정하도록 구성될 수 있다. 초기 그리드 깊이 값의 추정의 프로세스가 여기에서 설명된다.

먼저, 프로세서(204)는 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트를 추정하도록 구성될 수 있다. 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트는 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 3D 좌표들의 대응하는 세트에 기초하여 추정될 수 있다. 예로서, 프로세서(204)는 초기 3D 삼각형 메쉬(114)의 제1 삼각형의 제1 정점, 제2 정점, 및 제3 정점에 대한 초기 깊이 값들의 세트를 추정하도록 구성될 수 있다. 초기 깊이 값들의 세트는 제1 삼각형의 제1 정점, 제2 정점, 및 제3 정점의 각각에 대한 Z-좌표 값을 포함할 수 있다. 제1 삼각형의 제1 정점, 제2 정점, 및 제3 정점의 각각에 대한 Z-좌표 값의 추정은 제1 삼각형의 제1 정점, 제2 정점, 및 제3 정점의 대응하는 3D 좌표들에 기초하여 수행될 수 있다.

프로세서(204)는 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 초기 그리드 깊이 값을 추정하도록 추가로 구성될 수 있다. 초기 그리드 깊이 값은 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 추정된 세트의 무게중심 보간에 기초하여, 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대하여 추정될 수 있다. 예로서, 프로세서(204)는 초기 3D 삼각형 메쉬(114)의 대응하는 제1 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 추정된 세트의 무게중심 보간에 기초하여, 복수의 정사각형 그리드 정점들의 제1 정사각형 그리드 정점에 대한 초기 그리드 깊이 값을 추정하도록 구성될 수 있다. 제1 정사각형 그리드 정점에 대한 초기 그리드 깊이 값은 초기 3D 삼각형 메쉬(114)의 제1 삼각형의 무게중심 좌표에 대응할 수 있다.

프로세서(204)는 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 참조 이미지 세기 값들의 세트를 추정하도록 추가로 구성될 수 있다. 참조 이미지 세기 값들의 세트는 객체 부분의 컬러 이미지(110) 상에서의 정점들의 대응하는 세트의 투영에 기초하여 추정될 수 있다. 예로서, 프로세서(204)는 초기 3D 삼각형 메쉬(114)의 제1 삼각형의 제1 정점, 제2 정점, 및 제3 정점에 대한 참조 이미지 세기 값들의 세트를 추정하도록 구성될 수 있다. 제1 삼각형의 제1 정점, 제2 정점, 및 제3 정점의 참조 이미지 세기 값들의 세트는 컬러 이미지(110) 상에서의 제1 삼각형의 제1 정점, 제2 정점, 및 제3 정점의 대응하는 투영된 위치들에서의 세기 값들일 수 있다.

프로세서(204)는 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 참조 그리드 이미지 세기 값을 추정하도록 추가로 구성될 수 있다. 각각의 정사각형 그리드 정점에 대한 참조 그리드 이미지 세기 값은 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 참조 이미지 세기 값들의 추정된 세트의 무게중심 보간에 기초하여 추정될 수 있다. 예로서, 프로세서(204)는 초기 3D 삼각형 메쉬(114)의 대응하는 제1 삼각형의 대응하는 제1 정점, 제2 정점, 및 제3 정점에 대한 참조 이미지 세기 값들의 추정된 세트의 무게중심 보간에 기초하여, 복수의 정사각형 그리드 정점들의 제1 정사각형 그리드 정점에 대한 참조 그리드 이미지 세기 값을 추정하도록 구성될 수 있다.

프로세서(204)는 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 알베도 값들의 세트를 추정하도록 추가로 구성될 수 있다. 대응하는 삼각형의 정점들의 대응하는 세트에 대한 알베도 값들의 세트는 사용자(116)의 얼굴과 같은 객체 부분의 텍스처 맵에 기초하여 추정될 수 있다. 예로서, 프로세서(204)는 초기 3D 삼각형 메쉬(114)의 제1 삼각형의 제1 정점, 제2 정점, 및 제3 정점에 대한 알베도 값들의 세트를 추정하도록 구성될 수 있다. 알베도 값들의 세트는 임의의 외부 광원들로부터의 조명 영향을 갖지 않는 객체 부분의 표면의 실제의 컬러의 척도일 수 있다. 제1 삼각형의 제1 정점, 제2 정점, 및 제3 정점에 대한 알베도 값은 텍스처 맵의 대응하는 정점으로부터 추출될 수 있다. 또한, 텍스처 맵은 객체 부분의 텍스처 정보 또는 컬러 정보를 표현할 수 있다. 텍스처 맵은 반사율 모델에 기초할 수 있다. 반사율 모델은 표면 상의 포인트들의 조명을 위한 경험적 모델일 수 있다. 반사율 모델의 예는 컬러 이미지(110)에서의 객체 부분의 확산 반사가 모델링되는 램버시안 반사율 모델일 수 있다. 반사율 모델은 표면(예컨대, 사용자(116)의 얼굴)이 확산 반사에 기초하여 광을 반사할 수 있는 방식을 예시할 수 있다. 반사율 모델은 예를 들어, 다음과 같이 수학식 (1)을 이용하여 표현될 수 있다:

(1)

여기서,

은 객체 부분의 표면 상에서의 조명 조건들의 고조파 확장의 계수들을 표현하고;

은 객체 부분의 표면 상에서의 복수의 포인트들의 각각의 표면 법선을 표현하고;

은 복수의 포인트들의 표면 법선에서 평가된 표면 구형 고조파 베이스들을 표현하고; 그리고

은 복수의 포인트들의 각각에서의 알베도 값을 표현한다.

수학식 (1)의 단순화된 형태는 예를 들어, 다음과 같이 수학식 (2)에 의해 표현될 수 있다:

(2)

여기서,

은 복수의 포인트들의 각각에서의 알베도 값을 표현하고;

은 객체 부분의 표면 상에서의 조명 방향 및 조명 강도를 표현하고; 그리고

은 표면 구형 고조파의 1차 근사화를 표현한다.

프로세서(204)는 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 알베도 값들의 추정된 세트의 무게중심 보간에 기초하여, 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 그리드 알베도 값을 추정하도록 추가로 구성될 수 있다. 예로서, 프로세서(204)는 초기 3D 삼각형 메쉬(114)의 대응하는 제1 삼각형의 대응하는 제1 정점, 제2 정점, 및 제3 정점에 대한 알베도 값들의 추정된 세트의 무게중심 보간에 기초하여, 복수의 정사각형 그리드 정점들의 제1 정사각형 그리드 정점에 대한 그리드 알베도 값을 추정하도록 구성될 수 있다. 제1 정사각형 그리드 정점의 그리드 알베도 값은 임의의 외부 광원들로부터의 조명 영향을 갖지 않는 초기 3D 삼각형 메쉬(114)의 대응하는 제1 삼각형 상의 포인트의 실제의 컬러 값의 척도에 대응할 수 있다.

306에서는, 수정된 SFS 방식 적용 동작이 실행될 수 있다. 수정된 SFS 방식 적용 동작에서, 프로세서(204)는 평탄한 2D 메쉬(302A)에 대해 수정된 SFS 방식을 적용하도록 구성될 수 있다. 수정된 SFS 방식은 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 참조 그리드 이미지 세기 값, 초기 그리드 깊이 값, 및 그리드 알베도 값 사이의 목적 관계에 대응할 수 있다. 수정된 SFS 동작은 표면 법선 추정 동작 및 최종적인 그리드 깊이 추정을 포함할 수 있다.

306A에서는, 표면 법선 추정 동작이 실행된다. 표면 법선 추정 동작에서, 프로세서(204)는 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 표면 법선을 추정하도록 구성될 수 있다. 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 표면 법선은 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 2D 좌표들 및 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 초기 그리드 깊이 값에 기초하여 추정될 수 있다. 각각의 정사각형 그리드 정점에 대한 표면 법선은 예를 들어, 다음과 같이 주어진 수학식 (3), 수학식 (4), 및 수학식 (5)를 이용하여 추정될 수 있다:

(3)

(4)

(5)

여기서,

p는 X-축에 따른 깊이 값의 경도(gradient)를 표현하고;

q는 Y-축에 따른 깊이 값의 경도를 표현하고;

n(v')는 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 표면 법선을 표현하고;

x는 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점의 X-좌표를 표현하고; 그리고

y는 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점의 Y-좌표를 표현한다.

306B에서는, 최종적인 그리드 깊이 추정 동작이 실행될 수 있다. 최종적인 그리드 깊이 추정 동작에서, 프로세서(204)는 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 최종적인 그리드 깊이 값을 추정하도록 구성될 수 있다. 각각의 정사각형 그리드 정점에 대한 최종적인 그리드 깊이 값은 객체 부분의 표면 상의 표면 법선, 알베도, 및 조명을 이용하여 렌더링된 이미지와 객체 부분의 컬러 이미지(110) 사이의 컬러 차이에 대한 목적 관계의 최소화(또는 최적화)에 기초하여 추정될 수 있다. 목적 관계는 예를 들어, 다음과 같이 수학식 (6)에 의해 표현될 수 있다:

(6)

여기서,

I는 컬러 이미지(110)를 표현하고;

z'는 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점의 최종적인 그리드 깊이 값을 표현하고;

n(v')는 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 표면 법선을 표현하고;

은 제1 평활화 항을 표현하고; 그리고

은 제2 평활화 항을 표현하고; 그리고

은 가우시안(Gaussian)의 라플라시안(Laplacian)을 표현한다.

수학식 (6)에 의해 표현된 목적 관계의 최적화 동안에, 수학식 (3)의 항 "p² + q² + 1"은 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트가 "p" 및 "q"를 계산하기 위하여 고려될 수 있을 때에 상수로서 고려될 수 있다. 또한, 목적 관계의 최적화 동안에, 수학식 (6)에서 표현된 바와 같은 표면 구형 고조파(즉,

)의 1차 근사화가 고려될 수 있다. 그 결과, 목적 함수(objective function)는 기존의 비선형 최적화 문제 대신에, 선형 최적화 문제로서 단순화될 수 있다.

308에서는, 초기 3D 삼각형 메쉬(114)에 대한 최종적인 깊이 연산 동작이 실행될 수 있다. 최종적인 깊이 연산 동작에서, 프로세서(204)는 대응하는 삼각형 내에 놓여 있는 대응하는 정사각형 그리드 정점에 대한 추정된 최종적인 그리드 깊이 값에 기초하여, 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 최종적인 깊이 값들의 세트를 연산하도록 구성될 수 있다. 최종적인 깊이 값들의 세트는 초기 3D 삼각형 메쉬(114)의 복수의 삼각형들의 각각의 삼각형에 대하여 추가로 추정될 수 있다. 예로서, 프로세서(204)는 대응하는 제1 삼각형 내에 놓여 있는 제1 정사각형 그리드 정점의 추정된 최종적인 그리드 깊이 값에 기초하여, 제1 삼각형의 정점들의 대응하는 세트에 대한 최종적인 깊이 값들의 세트를 연산하도록 구성될 수 있다.

310에서는, 최종적인 3D 삼각형 메쉬 추정 동작이 실행될 수 있다. 최종적인 3D 삼각형 메쉬 추정에서, 프로세서(204)는 초기 3D 삼각형 메쉬(114) 및 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 최종적인 깊이 값들의 연산된 세트에 기초하여, 형상-세분화된 3D 삼각형 메쉬로서의 최종적인 3D 삼각형 메쉬(310A)를 추정하도록 추가로 구성될 수 있다. 최종적인 깊이 값들의 세트는 대응하는 삼각형 내에 놓여 있는 대응하는 정사각형 그리드 정점에 대한 추정된 최종적인 그리드 깊이 값에 기초하여 연산될 수 있다.

최종적인 3D 삼각형 메쉬(310A)의 추정의 세부사항들이 여기에서 설명된다. 프로세서(204)는 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 최종적인 깊이 값들의 연산된 세트에 기초하여, 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트를 업데이팅하도록 추가로 구성될 수 있다. 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트를 업데이팅하기 위하여, 최적화 문제는 수정된 SFS 방식의 결과에 대하여 공식화될 수 있다. (308에서 추정된) 최종적인 깊이 값들의 세트는 수정된 SFS 방식에 대한 결과로서 지칭될 수 있다. 최적화 문제는 목적 함수와 연관될 수 있다. 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트는 목적 함수의 최소화에 기초하여 업데이팅될 수 있다.

목적 함수는 대응하는 삼각형 내에 놓여 있는 대응하는 정사각형 그리드 정점에 대한 초기 그리드 깊이 값과 최종적인 그리드 깊이 값 사이의 관계, 및 대응하는 삼각형 상의 각각의 정점 및 인접한 정점에 대한 최종적인 깊이 값들 사이의 제곱된 차이를 포함할 수 있다. 목적 함수는 예를 들어, 다음과 같이 주어진 수학식 (7)에 의해 표현될 수 있다:

(7)

여기서,

은 정사각형 그리드 정점 "k"의 초기 그리드 깊이 값을 표현하고;

은 정사각형 그리드 정점 "k"의 최종적인 그리드 깊이 값을 표현하고;

z_i는 대응하는 삼각형 상의 그리드 정점 "i"의 깊이 값을 표현하고; 그리고

z_j는 대응하는 삼각형 상의 그리드 정점 "j"의 깊이 값을 표현한다. 실시예에 따르면, 최종적인 깊이 값들의 세트는 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 초기 그리드 깊이 값을 추정하면서 결정될 수 있는 무게중심 보간 파라미터들의 세트의 계수와, 복수의 정사각형 그리드 정점들의 최종적인 깊이 값들의 세트와의 선형적인 조합으로서 표현될 수 있다.

도 4는 개시내용의 실시예에 따른, 이미지 평면 상에 놓여 있는 정사각형 그리드 정점에 대한 초기 그리드 깊이 값들, 이미지 세기 값들, 및 알베도 값들의 추정을 위한 예시적인 시나리오를 예시한다. 도 4는 도 1, 도 2, 및 도 3으로부터의 엘리먼트들과 함께 설명된다. 도 4를 참조하면, 이미지 평면 상에 놓여 있는 복수의 정사각형 그리드 정점들의 초기 그리드 깊이 값들의 추정을 위한 예시적인 시나리오(400)가 도시되어 있다. 예시적인 시나리오(400)에서는, 컬러 이미지(402), 평탄한 2D 메쉬(404), 컬러 이미지(402)의 제1 삼각형(406), 및 평탄한 2D 메쉬(404) 상의 제2 삼각형(408)이 도시되어 있다. 평탄한 2D 메쉬(404)는 도 3의 평탄한 2D 메쉬(302A)에 대응할 수 있다. 제1 정사각형 그리드 정점(410)(또한, "p5"에 의해 표현됨), 제1 정점(412A)(또한, "t1"에 의해 표현됨), 제2 정점(412B)(또한, "t2"에 의해 표현됨), 및 제3 정점(412C)(또한, "t3"에 의해 표현됨)이 추가로 도시되어 있다. 제1 정점(412A), 제2 정점(412B), 및 제3 정점(412C)은 초기 3D 삼각형 메쉬의 대응하는 삼각형에 속할 수 있다.

프로세서(204)는 컬러 이미지(402) 상의 제1 삼각형(406)을 평탄한 2D 메쉬(404) 상의 제2 삼각형(408)으로 맵핑하도록 구성될 수 있다. 제1 삼각형(406)은 이미지 평면 상으로의 컬러 이미지(402)의 투영에 기초하여 제2 삼각형(408)으로 맵핑될 수 있다. 프로세서(204)는 제2 삼각형(408)의 정점들의 대응하는 세트의 3D 좌표들의 세트에 기초하여, 제2 삼각형(408)의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트를 추정하도록 추가로 구성될 수 있다. 예를 들어, 프로세서(204)는 컬러 이미지(402) 및 깊이 정보에 기초하여, 제2 삼각형(406)의 ("t1"에 의해 표현된 바와 같은) 제1 정점(412A), ("t2"에 의해 표현된 바와 같은) 제2 정점(412B), 및 ("t3"에 의해 표현된 바와 같은) 제3 정점(412C)의 각각의 초기 깊이 값을 추정하도록 구성될 수 있다.

프로세서(204)는 ("t1"에 의해 표현된 바와 같은) 제1 정점(412A), ("t2"에 의해 표현된 바와 같은) 제2 정점(412B), 및 ("t3"에 의해 표현된 바와 같은) 제3 정점(412C)에 대응하는 초기 깊이 값들의 추정된 세트의 무게중심 보간에 기초하여, ("p5"에 의해 표현된 바와 같은) 제1 정사각형 그리드 정점(410)의 초기 그리드 깊이 값을 추정하도록 추가로 구성될 수 있다.

프로세서(204)는 컬러 이미지(402) 상에서의 정점들의 대응하는 세트의 투영에 기초하여, 제2 삼각형(408)의 정점들의 대응하는 세트에 대한 참조 이미지 세기 값들의 세트를 추정하도록 추가로 구성될 수 있다. 예를 들어, 프로세서(204)는 제2 삼각형(408)의 ("t1"에 의해 표현된 바와 같은) 제1 정점(412A), ("t2"에 의해 표현된 바와 같은) 제2 정점(412B), 및 ("t3"에 의해 표현된 바와 같은) 제3 정점(412C)의 각각에 대한 참조 이미지 세기 값을 추정하도록 구성될 수 있다.

프로세서(204)는 ("t1"에 의해 표현된 바와 같은) 제1 정점(412A), ("t2"에 의해 표현된 바와 같은) 제2 정점(412B), 및 ("t3"에 의해 표현된 바와 같은) 제3 정점(412C)에 대응하는 참조 이미지 세기 값들의 추정된 세트의 무게중심 보간에 기초하여, ("p5"에 의해 표현된 바와 같은) 제1 정사각형 그리드 정점(410)에 대한 참조 그리드 이미지 세기 값을 추정하도록 추가로 구성될 수 있다.

프로세서(204)는 사용자(116)의 얼굴과 같은 객체 부분의 텍스처 맵에 기초하여, 제2 삼각형(408)의 정점들의 세트에 대한 알베도 값들의 세트를 추정하도록 추가로 구성될 수 있다. 예를 들어, 프로세서(204)는 제2 삼각형(408)의 ("t1"에 의해 표현된 바와 같은) 제1 정점(412A), ("t2"에 의해 표현된 바와 같은) 제2 정점(412B), 및 ("t3"에 의해 표현된 바와 같은) 제3 정점(412C)의 각각에 대한 알베도 값을 추정하도록 구성될 수 있다. 프로세서(204)는 ("t1"에 의해 표현된 바와 같은) 제1 정점(412A), ("t2"에 의해 표현된 바와 같은) 제2 정점(412B), 및 ("t3"에 의해 표현된 바와 같은) 제3 정점(412C)에 대한 알베도 값들의 추정된 세트의 무게중심 보간에 기초하여, ("p5"에 의해 표현된 바와 같은) 제1 정사각형 그리드 정점(410)에 대한 그리드 알베도 값을 추정하도록 추가로 구성될 수 있다.

도 5는 개시내용의 실시예에 따른, 수정된 SFS 방식을 이용한 삼각형 3D 메쉬의 형상-세분화를 위한 예시적인 방법을 예시하는 플로우차트이다. 도 5는 도 1, 도 2, 도 3, 및 도 4로부터의 엘리먼트들과 함께 설명된다. 도 5를 참조하면, 플로우차트(500)가 도시되어 있다. 플로우차트(500)의 동작들은 전자 장치(102)에서 실행될 수 있다. 동작들은 502에서 시작될 수 있고 504로 진행할 수 있다.

504에서, 평탄한 2D 메쉬(302A)는 복수의 정사각형 그리드 정점들을 포함하는 이미지 평면 상에서의 초기 3D 삼각형 메쉬(114)의 직교 투영에 기초하여 생성될 수 있다. 프로세서(204)는 이미지 평면 상에서의 초기 3D 삼각형 메쉬(114)의 직교 투영에 기초하여 평탄한 2D 메쉬(302A)를 생성하도록 구성될 수 있다. 평탄한 2D 메쉬(302A)는 2D 공간에서의 초기 3D 삼각형 메쉬(114)를 표현할 수 있다. 평탄한 2D 메쉬(302A)의 생성은 예를 들어, 도 1 및 도 3에서 설명된다.

506에서, 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트는 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 3D 좌표들의 대응하는 세트에 기초하여 추정될 수 있다. 프로세서(204)는 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트를 추정하도록 구성될 수 있다. 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트는 사용자(116)의 얼굴과 같은 객체 부분의 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 3D 좌표들의 대응하는 세트에 기초하여 추정될 수 있다. 초기 깊이 값들의 세트의 추정은 예를 들어, 도 3에서 설명된다.

508에서, 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 초기 그리드 깊이 값은 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 추정된 세트의 무게중심 보간에 기초하여 추정될 수 있다. 프로세서(204)는 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 초기 그리드 깊이 값을 추정하도록 구성될 수 있다. 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점의 초기 그리드 깊이 값의 추정은 예를 들어, 도 3 및 도 4에서 설명된다.

510에서, 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 최종적인 그리드 깊이 값은 수정된 SFS 방식에 기초하여 추정될 수 있다. 프로세서(204)는 수정된 SFS 방식에 기초하여 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 최종적인 그리드 깊이 값을 추정하도록 구성될 수 있다. 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점의 최종적인 그리드 깊이 값은 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 재추정된 깊이 값일 수 있다. 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 최종적인 그리드 깊이 값의 추정은 예를 들어, 도 3에서 설명된다.

512에서, 형상-세분화된 3D 삼각형 메쉬로서의 최종적인 3D 삼각형 메쉬(310A)는 초기 3D 삼각형 메쉬(114), 및 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 추정된 최종적인 그리드 깊이 값에 기초하여 추정될 수 있다. 프로세서(204)는 초기 3D 삼각형 메쉬(114), 및 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 추정된 최종적인 그리드 깊이 값에 기초하여, 사용자(116)의 얼굴과 같은 객체 부분의 형상-세분화된 3D 삼각형 메쉬로서의 최종적인 3D 삼각형 메쉬(310A)를 추정하도록 구성될 수 있다. 최종적인 3D 삼각형 메쉬(310A)는 객체 부분의 실제적인 형상 및 표면 특징들을 표현할 수 있다. 최종적인 3D 삼각형 메쉬(310A)의 추정은 예를 들어, 도 3에서 설명된다. 제어는 종료로 전달될 수 있다.

개시내용의 다양한 실시예들은 수정된 SFS 방식을 이용한 삼각형 3D 메쉬의 형상-세분화를 위한, 전자 장치(102)와 같은 머신 및/또는 컴퓨터에 의해 실행가능한 명령들을 저장한 비-일시적 컴퓨터-판독가능 매체 및/또는 저장 매체, 및/또는 비-일시적 머신 판독가능 매체 및/또는 저장 매체를 제공할 수 있다. 적어도 하나의 코드 섹션은 머신 및/또는 컴퓨터로 하여금, 복수의 정사각형 그리드 정점들을 포함하는 이미지 평면 상에서의 초기 3 차원(3D) 삼각형 메쉬의 직교 투영에 기초한 평탄한 2D 메쉬의 생성을 포함하는 동작들을 수행하게 할 수 있다. 초기 3D 삼각형 메쉬는 객체 부분의 형상-비세분화된 삼각형 메쉬에 대응할 수 있다. 동작들은 수정된 셰이프 프롬 셰이딩(SFS) 방식에 기초한 평탄한 2D 메쉬의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 최종적인 그리드 깊이 값의 추정을 더 포함한다. 수정된 SFS 방식은 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 참조 그리드 이미지 세기 값, 초기 그리드 깊이 값, 및 그리드 알베도 값 사이의 목적 관계에 대응할 수 있다. 동작들은 초기 3D 삼각형 메쉬, 및 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 추정된 최종적인 그리드 깊이 값에 기초하여, 형상-세분화된 3D 삼각형 메쉬로서의 최종적인 3D 삼각형 메쉬를 추정하는 것을 더 포함한다.

개시내용의 예시적인 양태들은 회로부(202)를 포함하는 전자 장치(102)를 포함할 수 있다. 회로부(202)는 복수의 정사각형 그리드 정점들을 포함하는 이미지 평면 상에서의 초기 3D 삼각형 메쉬(114)의 직교 투영에 기초하여 평탄한 2D 메쉬(302A)를 생성하도록 구성될 수 있다. 초기 3D 삼각형 메쉬(114)는 객체 부분의 형상-비세분화된 삼각형 메쉬에 대응할 수 있다. 회로부(202)는 수정된 SFS 방식에 기초하여 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 최종적인 그리드 깊이 값을 추정하도록 추가로 구성될 수 있다. 수정된 SFS 방식은 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 참조 그리드 이미지 세기 값, 초기 그리드 깊이 값, 및 그리드 알베도 값 사이의 목적 관계에 대응할 수 있다. 회로부(202)는 초기 3D 삼각형 메쉬(114), 및 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 추정된 최종적인 그리드 깊이 값에 기초하여, 형상-세분화된 3D 삼각형 메쉬로서의 최종적인 3D 삼각형 메쉬(310A)를 추정하도록 추가로 구성될 수 있다.

실시예에 따르면, 전자 장치(102)는 객체 부분의 복수의 컬러 이미지들 및 복수의 컬러 이미지들에 대응하는 깊이 정보를 캡처하도록 구성된 스캐닝 디바이스(104)를 더 포함할 수 있다. 회로부(202)는 캡처된 복수의 컬러 이미지들 및 대응하는 깊이 정보에 기초하여, 객체 부분의 형상-비세분화된 삼각형 메쉬에 대응하는 초기 3D 삼각형 메쉬(114)를 생성하도록 추가로 구성될 수 있다.

실시예에 따르면, 회로부(202)는 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트를 추정하도록 추가로 구성될 수 있다. 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트는 초기 3D 삼각형 메쉬의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 3D 좌표들의 대응하는 세트에 기초하여 추정될 수 있다. 회로부(202)는 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 추정된 세트의 무게중심 보간에 기초하여, 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 초기 그리드 깊이 값을 추정하도록 추가로 구성될 수 있다.

회로부(202)는 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 참조 이미지 세기 값들의 세트를 추정하도록 추가로 구성될 수 있다. 대응하는 삼각형의 정점들의 대응하는 세트에 대한 참조 이미지 세기 값들의 세트는 객체 부분의 컬러 이미지(110) 상에서의 정점들의 대응하는 세트의 투영에 기초하여 추정될 수 있다. 회로부(202)는 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 참조 그리드 이미지 세기 값을 추정하도록 추가로 구성될 수 있다. 각각의 정사각형 그리드 정점에 대한 참조 그리드 이미지 세기 값은 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 참조 이미지 세기 값들의 추정된 세트의 무게중심 보간에 기초하여 추정될 수 있다.

회로부(202)는 객체 부분의 텍스처 맵에 기초하여, 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 알베도 값들의 세트를 추정하도록 추가로 구성될 수 있다. 회로부(202)는 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 그리드 알베도 값을 추정하도록 추가로 구성될 수 있다. 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 그리드 알베도 값은 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 알베도 값들의 추정된 세트의 무게중심 보간에 기초하여 추정될 수 있다.

실시예에 따르면, 수정된 SFS 방식에서, 회로부(202)는 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 표면 법선을 추정하도록 추가로 구성될 수 있다. 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 표면 법선은 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 2D 좌표들 및 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 초기 그리드 깊이 값에 기초하여 추정될 수 있다. 수정된 SFS 방식에서, 회로부(202)는 평탄한 2D 메쉬(302A)의 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 최종적인 그리드 깊이 값을 추정하도록 추가로 구성될 수 있다. 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 최종적인 그리드 깊이 값은 객체 부분의 표면 법선, 알베도, 및 조명을 이용하여 렌더링된 이미지와 객체 부분의 컬러 이미지(110) 사이의 컬러 차이에 대한 목적 관계의 최소화에 기초하여 추정될 수 있다.

회로부(202)는 초기 3D 삼각형 메쉬(114)의 복수의 삼각형들의 각각의 삼각형에 대하여, 대응하는 삼각형의 정점들의 대응하는 세트에 대한 최종적인 깊이 값들의 세트를 연산하도록 추가로 구성될 수 있다. 대응하는 삼각형의 정점들의 대응하는 세트에 대한 최종적인 깊이 값들의 세트는 대응하는 삼각형 내에 놓여 있는 대응하는 정사각형 그리드 정점에 대한 추정된 최종적인 그리드 깊이 값에 기초하여 연산될 수 있다. 회로부(202)는 초기 3D 삼각형 메쉬(114)의 복수의 삼각형들의 각각의 삼각형에 대하여, 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트를 업데이팅하도록 추가로 구성될 수 있다. 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트는 대응하는 삼각형의 정점들의 대응하는 세트에 대한 최종적인 깊이 값들의 연산된 세트에 기초하여 업데이팅될 수 있다.

회로부(202)는 초기 3D 삼각형 메쉬(114)의 복수의 삼각형들의 각각의 삼각형에 대하여, 목적 함수의 최소화에 기초하여, 초기 3D 삼각형 메쉬(114)의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트를 업데이팅하도록 추가로 구성될 수 있다. 목적 함수는 대응하는 삼각형 내에 놓여 있는 대응하는 정사각형 그리드 정점에 대한 초기 그리드 깊이 값과 최종적인 그리드 깊이 값 사이의 관계, 및 대응하는 삼각형 상의 각각의 정점 및 인접한 정점에 대한 최종적인 깊이 값들 사이의 제곱된 차이를 포함할 수 있다. 회로부(202)는 추정된 최종적인 3D 삼각형 메쉬(310A)에 기초하여 객체 부분의 3D 모델을 렌더링하기 위하여 디스플레이 디바이스를 제어하도록 추가로 구성될 수 있다.

본 개시내용은 하드웨어, 또는 하드웨어 및 소프트웨어의 조합으로 실현될 수 있다. 본 개시내용은 적어도 하나의 컴퓨터 시스템에서 중앙집중화된 방식으로, 또는 분산된 방식으로 실현될 수 있고, 여기서, 상이한 엘리먼트들은 몇몇 상호접속된 컴퓨터 시스템들에 걸쳐 확산될 수 있다. 본 명세서에서 설명된 방법들을 수행하도록 구성된 컴퓨터 시스템 또는 다른 장치가 적합할 수 있다. 하드웨어 및 소프트웨어의 조합은, 로딩되거나 실행될 때, 본 명세서에서 설명된 방법들을 수행하도록 컴퓨터 시스템을 제어할 수 있는 컴퓨터 프로그램을 갖는 범용 컴퓨터 시스템일 수 있다. 본 개시내용은 다른 기능들을 또한 수행하는 집적 회로의 부분을 포함하는 하드웨어로 실현될 수 있다.

본 개시내용은, 본 명세서에서 설명된 방법들의 구현을 가능하게 하는 모든 특징들을 포함하고, 컴퓨터 시스템에서 로딩될 때, 이 방법들을 수행할 수 있는 컴퓨터 프로그램 제품에서 또한 구체화될 수 있다. 본 맥락에서의 컴퓨터 프로그램은, 정보 프로세싱 능력을 갖는 시스템으로 하여금, 특정한 기능을 직접적으로, 또는 다음: a) 또 다른 언어, 코드, 또는 표기로의 변환; b) 상이한 자료 형태에서의 재현 중의 어느 하나 또는 양자 후에 수행하게 하도록 의도된 명령들의 세트의, 임의의 언어, 코드, 또는 표기로된 임의의 표현을 의미한다.

본 개시내용은 어떤 실시예들을 참조하여 설명되지만, 본 개시내용의 범위로부터의 이탈 없이, 다양한 변경들이 행해질 수 있고 등가물들이 대체될 수 있다는 것이 본 기술 분야의 통상의 기술자들에 의해 이해될 것이다. 추가적으로, 그 범위로부터 이탈하지 않으면서, 특정한 상황 또는 자료를 본 개시내용의 교시사항들에 적응시키기 위하여 많은 수정들이 행해질 수 있다. 그러므로, 본 개시내용은 개시된 특정한 실시예에 제한되는 것이 아니라, 본 개시내용은 첨부된 청구항들의 범위 내에 속하는 모든 실시예들을 포함할 것이라는 점이 의도된다.

Claims

전자 장치로서,
회로부
를 포함하고,
상기 회로부는,
복수의 정사각형 그리드 정점들을 포함하는 이미지 평면 상에서의 초기 3 차원(3D) 삼각형 메쉬의 직교 투영에 기초하여 객체 부분의 평탄한 2 차원(2D) 메쉬를 생성하고;
수정된 셰이프 프롬 셰이딩(shape from shading)(SFS) 방식에 기초하여 상기 평탄한 2D 메쉬의 상기 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 최종적인 그리드 깊이 값을 추정하고 -
상기 수정된 SFS 방식은 상기 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 참조 그리드 이미지 세기 값, 초기 그리드 깊이 값, 및 그리드 알베도(albedo) 값 사이의 목적 관계에 대응함 -; 그리고
상기 초기 3D 삼각형 메쉬, 및 상기 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 상기 추정된 최종적인 그리드 깊이 값에 기초하여, 형상-세분화된 3D 삼각형 메쉬로서의 최종적인 3D 삼각형 메쉬를 추정하도록 구성되는, 전자 장치.
제1항에 있어서, 상기 객체 부분의 복수의 컬러 이미지들 및 상기 복수의 컬러 이미지들에 대응하는 깊이 정보를 캡처하도록 구성된 스캐닝 디바이스를 더 포함하는, 전자 장치.
제2항에 있어서, 상기 회로부는 상기 캡처된 복수의 컬러 이미지들 및 상기 깊이 정보에 기초하여, 상기 객체 부분의 형상-비세분화된 삼각형 메쉬에 대응하는 상기 초기 3D 삼각형 메쉬를 생성하도록 추가로 구성되는, 전자 장치.
제1항에 있어서, 상기 회로부는 상기 초기 3D 삼각형 메쉬의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 3D 좌표들의 대응하는 세트에 기초하여, 상기 초기 3D 삼각형 메쉬의 상기 대응하는 삼각형의 상기 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트를 추정하도록 추가로 구성되는, 전자 장치.
제4항에 있어서, 상기 회로부는 상기 초기 3D 삼각형 메쉬의 상기 대응하는 삼각형의 상기 정점들의 대응하는 세트에 대한 상기 초기 깊이 값들의 추정된 세트의 무게중심 보간에 기초하여, 상기 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 상기 초기 그리드 깊이 값을 추정하도록 추가로 구성되는, 전자 장치.
제1항에 있어서, 상기 회로부는 상기 객체 부분의 컬러 이미지 상에서의 정점들의 대응하는 세트의 투영에 기초하여, 상기 초기 3D 삼각형 메쉬의 대응하는 삼각형의 상기 정점들의 대응하는 세트에 대한 참조 이미지 세기 값들의 세트를 추정하도록 추가로 구성되는, 전자 장치.
제6항에 있어서, 상기 회로부는 상기 초기 3D 삼각형 메쉬의 상기 대응하는 삼각형의 상기 정점들의 대응하는 세트에 대한 상기 참조 이미지 세기 값들의 추정된 세트의 무게중심 보간에 기초하여, 상기 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 상기 참조 그리드 이미지 세기 값을 추정하도록 추가로 구성되는, 전자 장치.
제1항에 있어서, 상기 회로부는 상기 객체 부분의 텍스처 맵에 기초하여, 상기 초기 3D 삼각형 메쉬의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 알베도 값들의 세트를 추정하도록 추가로 구성되는, 전자 장치.
제8항에 있어서, 상기 회로부는 상기 초기 3D 삼각형 메쉬의 상기 대응하는 삼각형의 상기 정점들의 대응하는 세트에 대한 상기 알베도 값들의 추정된 세트의 무게중심 보간에 기초하여, 상기 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 상기 그리드 알베도 값을 추정하도록 추가로 구성되는, 전자 장치.
제1항에 있어서, 상기 수정된 SFS 방식에서, 상기 회로부는 상기 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 2D 좌표들 및 상기 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 상기 초기 그리드 깊이 값에 기초하여, 상기 평탄한 2D 메쉬의 상기 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 표면 법선을 추정하도록 추가로 구성되는, 전자 장치.
제1항에 있어서, 상기 수정된 SFS 방식에서, 상기 회로부는 상기 객체 부분의 표면 법선, 알베도, 및 상기 객체 부분의 표면 상의 조명을 이용하여 렌더링된 이미지와 상기 객체 부분의 컬러 이미지 사이의 컬러 차이에 대한 상기 목적 관계의 최소화에 기초하여, 상기 평탄한 2D 메쉬의 상기 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 상기 최종적인 그리드 깊이 값을 추정하도록 추가로 구성되는, 전자 장치.
제11항에 있어서, 상기 회로부는 상기 초기 3D 삼각형 메쉬의 복수의 삼각형들의 각각의 삼각형에 대하여, 상기 대응하는 삼각형 내에 놓여 있는 대응하는 정사각형 그리드 정점에 대한 상기 추정된 최종적인 그리드 깊이 값에 기초하여, 상기 초기 3D 삼각형 메쉬의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 최종적인 깊이 값들의 세트를 연산하도록 추가로 구성되는, 전자 장치.
제12항에 있어서, 상기 회로부는 상기 초기 3D 삼각형 메쉬의 상기 복수의 삼각형들의 각각의 삼각형에 대하여, 상기 대응하는 삼각형의 상기 정점들의 대응하는 세트에 대한 상기 최종적인 깊이 값들의 연산된 세트에 기초하여, 상기 대응하는 삼각형의 상기 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트를 업데이팅하도록 추가로 구성되는, 전자 장치.
제12항에 있어서, 상기 회로부는 상기 초기 3D 삼각형 메쉬의 상기 복수의 삼각형들의 각각의 삼각형에 대하여, 목적 함수의 최소화에 기초하여, 상기 초기 3D 삼각형 메쉬의 상기 대응하는 삼각형의 상기 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트를 업데이팅하도록 추가로 구성되고, 그리고
상기 목적 함수는 상기 대응하는 삼각형 내에 놓여 있는 대응하는 정사각형 그리드 정점에 대한 상기 초기 그리드 깊이 값과 상기 최종적인 그리드 깊이 값 사이의 관계, 및 상기 대응하는 삼각형 상의 각각의 정점 및 인접한 정점에 대한 최종적인 깊이 값들 사이의 제곱된 차이를 포함하는, 전자 장치.
제1항에 있어서, 상기 회로부는 상기 추정된 최종적인 3D 삼각형 메쉬에 기초하여, 상기 객체 부분의 3D 모델을 렌더링하기 위하여 디스플레이 디바이스를 제어하도록 추가로 구성되는, 전자 장치.
제1항에 있어서, 상기 초기 3D 삼각형 메쉬는 상기 객체 부분의 형상-비세분화된 삼각형 메쉬에 대응하는, 전자 장치.
방법으로서,
전자 장치에서,
복수의 정사각형 그리드 정점들을 포함하는 이미지 평면 상에서의 초기 3 차원(3D) 삼각형 메쉬의 직교 투영에 기초하여, 객체 부분에 대한 평탄한 2 차원(2D) 메쉬를 생성하는 단계;
수정된 셰이프 프롬 셰이딩(SFS) 방식에 기초하여, 상기 평탄한 2D 메쉬의 상기 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 최종적인 그리드 깊이 값을 추정하는 단계 -
상기 수정된 SFS 방식은 상기 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 참조 그리드 이미지 세기 값, 초기 그리드 깊이 값, 및 그리드 알베도 값 사이의 목적 관계에 대응함 -; 및
상기 초기 3D 삼각형 메쉬, 및 상기 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 상기 추정된 최종적인 그리드 깊이 값에 기초하여, 형상-세분화된 3D 삼각형 메쉬로서의 최종적인 3D 삼각형 메쉬를 추정하는 단계
를 포함하는, 방법.
제17항에 있어서, 상기 초기 3D 삼각형 메쉬의 대응하는 삼각형의 정점들의 대응하는 세트에 대한 3D 좌표들의 대응하는 세트에 기초하여, 상기 초기 3D 삼각형 메쉬의 상기 대응하는 삼각형의 상기 정점들의 대응하는 세트에 대한 초기 깊이 값들의 세트를 추정하는 단계를 더 포함하는, 방법.
제18항에 있어서, 상기 초기 3D 삼각형 메쉬의 상기 대응하는 삼각형의 상기 정점들의 대응하는 세트에 대한 상기 초기 깊이 값들의 추정된 세트의 무게중심 보간에 기초하여, 상기 복수의 정사각형 그리드 정점들의 각각의 정사각형 그리드 정점에 대한 상기 초기 그리드 깊이 값을 추정하는 단계를 더 포함하는, 방법.
제17항에 있어서, 상기 객체 부분의 컬러 이미지 상에서의 상기 정점들의 대응하는 세트의 투영에 기초하여, 상기 초기 3D 삼각형 메쉬의 대응하는 삼각형의 상기 정점들의 대응하는 세트에 대한 참조 이미지 세기 값들의 세트를 추정하는 단계를 더 포함하는, 방법.