KR20240096361A

KR20240096361A - 사용자-컨텍스트 인식 렌더링 데이터세트 선택

Info

Publication number: KR20240096361A
Application number: KR1020230173470A
Authority: KR
Inventors: 이고르 보나치
Original assignee: 구글 엘엘씨
Priority date: 2022-12-16
Filing date: 2023-12-04
Publication date: 2024-06-26

Abstract

증강 가상 환경을 생성하고 제공하기 위한 시스템 및 방법은 사용자 데이터를 획득하는 단계, 사용자 데이터와 연관된 복수의 객체들을 결정하기 위해 사용자 데이터를 프로세싱하는 단계, 및 환경에서 객체들의 하나 이상의 렌더링들을 생성하는 단계를 포함한다. 렌더링들은 사용자에게 이용가능한 것으로 결정된 복수의 결정된 객체들에 기초하여 획득된 복수의 렌더링 데이터세트들에 기초하여 생성될 수 있다. 복수의 데이터세트들은 복수의 3차원 메쉬들 및/또는 복수의 뉴럴 래디언스 필드(neural radiance field) 데이터세트들을 포함할 수 있다. 하나 이상의 렌더링들은 사용자가 환경 내 객체들의 서로 다른 뷰(view)들의 렌더링들을 다양한 포지션 및 뷰 방향에서 볼 수 있도록 하는 인터렉티브 사용자 인터페이스를 통해 제공될 수 있다.

Description

사용자-컨텍스트 인식 렌더링 데이터세트 선택{USER-CONTEXT AWARE RENDERING DATASET SELECTION}

본 출원은 2022년 12월 16일에 출원된 미국 임시 특허 출원 번호 63/433,111 및 2022년 12월 19일에 출원된 미국 임시 특허 출원 번호 63/433,559에 대한 우선권 및 이익을 주장한다. 미국 임시 특허 출원 번호 63/433,111 및 미국 임시 특허 출원 번호 63/433,559는 그 전체 내용이 참조로 본 명세서에 포함된다.

본 개시는 일반적으로 증강 가상 환경을 생성하고 제공하는 것에 관한 것이다. 보다 구체적으로, 본 개시는 사용자 데이터를 획득하고, 사용자 데이터와 연관된 하나 이상의 객체들을 결정하고, 선택된 객체들이 사용자에게 이용가능하다고 결정된 객체들인 환경에서 하나 이상의 객체들을 묘사하는 하나 이상의 렌더링들을 생성하는 것에 관한 것이다.

검색 쿼리에 응답하는 검색 결과들은 사용자가 관심을 갖는 객체들을 포함할 수 있다; 그러나 검색 결과들은 사용자가 이용할 수 없는 객체들을 포함할 수 있으며/또는 객체의 정확한 시각적 표현들을 제공하지 못할 수도 있다. 예를 들어, 검색 결과들과 연관된 객체들의 이미지들은 사용자 환경과 유사한 표현을 제공하지 않을 수 있다. 또한, 사용자가 이용할 수 없는 검색 결과들이 노출되어 사용자에게 혼란과 불만을 야기할 수 있다.

방 꾸미기, 자동차 커스터마이징, 개인용 컴퓨터 제작 및/또는 마당 조경에 있어서, 사용자는 수동 측정에 기초하여 환경의 크기 레이아웃을 결정할 수 있다; 그러나 환경의 복합적인 외관을 보는 것은 각 뷰에 대한 지루한 사진 조작에 의존할 수 있다. 특정 포즈의 이미지에 대한 접근 부족, 적절한 스케일링의 어려움, 균일한 조명의 어려움으로 인해 합성 생성이 어려울 수 있다. 사용자는 객체의 보완적인 외관을 원할 수 있으며, 이러한 문제로 인해 사용자는 아이템을 구매하고, 아이템이 일치하지 않는다고 결정하고, 비호환적인(uncomplimentary) 성질에 기초하여 하나 이상의 아이템을 반품하게 될 수 있다.

본 개시의 실시예의 양태 및 이점은 다음 설명에서 부분적으로 설명되거나, 설명으로부터 학습될 수 있거나, 실시예의 실시를 통해 학습될 수 있다.

본 개시의 하나의 예시적인 측면은 환경 제안을 제공하기 위한 컴퓨팅 시스템에 관한 것이다. 시스템은 하나 이상의 프로세서들 및 하나 이상의 프로세서들에 의해 실행될 때 컴퓨팅 시스템으로 하여금 동작들을 수행하게 하는 명령어들을 집합적으로 저장하는 하나 이상의 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 동작들은 사용자 데이터를 획득하는 동작을 포함할 수 있다. 사용자 데이터는 특정 사용자와 연관될 수 있다. 사용자 데이터는 특정 사용자와 연관된 컨텍스트 정보를 기술하는 컨텍스트 데이터를 포함할 수 있다. 동작들은 사용자 데이터와 연관된 복수의 객체들을 결정하는 동작을 포함할 수 있다. 복수의 객체들은 하나 이상의 제품 유형들과 연관된 복수의 제품들을 포함할 수 있다. 동작들은 복수의 객체들 및 컨텍스트 데이터에 기초하여 복수의 렌더링 데이터세트들을 획득하는 동작을 포함할 수 있다. 복수의 객체들 중 각 객체는 복수의 렌더링 데이터세트들 중 하나 이상의 렌더링 데이터세트들과 연관될 수 있다. 동작들은 복수의 렌더링 데이터세트들에 기초하여 가상 환경을 생성하는 동작을 포함할 수 있다. 가상 환경은 예시적인 환경 내의 복수의 객체들을 기술할 수 있다. 동작들은 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 가상 환경을 제공하는 동작을 포함할 수 있다. 인터렉티브 사용자 인터페이스는 가상 환경의 복수의 서로 다른 뷰들을 제공하도록 구성될 수 있다.

일부 구현예에서, 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 가상 환경을 제공하는 동작은 복수의 렌더링 데이터세트들 중 하나 이상에 기초하여 제1 뷰 렌더링을 생성하는 동작을 포함할 수 있다. 제1 뷰 렌더링은 제1 포지션 및 제1 방향으로부터 가상 환경의 적어도 제1 부분을 기술하는 제1 이미지를 포함할 수 있다. 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 가상 환경을 제공하는 동작은 디스플레이를 위한 제1 뷰 렌더링을 제공하는 동작을 포함할 수 있다. 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 가상 환경을 제공하는 동작은 사용자 인터페이스 입력을 획득하는 동작을 더 포함할 수 있다. 사용자 인터페이스 입력은 인터렉티브 사용자 인터페이스와의 탐색 인터렉션을 포함할 수 있다. 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 가상 환경을 제공하는 동작은 복수의 렌더링 데이터세트들 중 하나 이상에 기초하여 제2 뷰 렌더링을 생성하는 동작을 더 포함할 수 있다. 제2 뷰 렌더링은 제2 포지션 및 제2 방향으로부터 가상 환경의 적어도 제2 부분을 기술하는 제2 이미지를 포함할 수 있다. 인터렉티브 사용자 인터페이스에서 디스플레이하기 위한 가상 환경을 제공하는 동작은 디스플레이를 위한 제2 뷰 렌더링을 제공하는 동작을 더 포함할 수 있다.

일부 구현예에서, 복수의 렌더링 데이터세트들은 복수의 메쉬(mesh)들 및 복수의 뉴럴 래디언스 필드(neural radiance field) 모델들을 포함할 수 있다. 각 뉴럴 래디언스 필드 모델은 복수의 객체들 중 서로 다른 각각의 객체의 하나 이상의 뷰 렌더링들을 생성하도록 트레이닝되었을 수 있다. 복수의 메쉬들은 특정 사용자가 가상 환경에서 뷰 포인트 및 뷰 방향을 이동할 때 복수의 객체들을 렌더링하는 데 활용될 수 있다. 복수의 뉴럴 래디언스 필드 모델들은 가상 환경에서 복수의 객체들을 뷰 포인트 및 뷰 방향이 정체된 상태로 렌더링하는 데 활용될 수 있다. 일부 구현예에서, 사용자 데이터는 특정 사용자와 연관된 하나 이상의 이전 검색 쿼리들과 연관된 검색 기록 데이터를 포함할 수 있다. 사용자 데이터는 브라우저 데이터를 포함할 수 있다. 브라우저 데이터는 이전에 본 하나 이상의 웹 페이지들과 연관될 수 있다.

일부 구현예에서, 사용자 데이터는 검색 쿼리를 포함할 수 있다. 사용자 데이터와 연관된 복수의 객체들을 결정하는 동작은 렌더링 자산 데이터베이스 내의 하나 이상의 렌더링 데이터세트들이 검색 쿼리의 적어도 일부와 연관되어 있는지 결정하는 동작을 포함할 수 있다. 검색 쿼리는 하나 이상의 쿼리 이미지들을 포함할 수 있다. 사용자 데이터와 연관된 복수의 객체들을 결정하는 동작은 하나 이상의 묘사된 객체들을 결정하기 위해 하나 이상의 쿼리 이미지들을 프로세싱하는 동작; 및 하나 이상의 묘사된 객체들에 기초하여 렌더링 자산 데이터베이스에 쿼리하는 동작을 포함할 수 있다. 사용자 데이터는 하나 이상의 저장된 데이터세트들을 기술하는 데이터를 포함할 수 있으며, 여기서 하나 이상의 저장된 데이터세트들은 하나 이상의 이전 사용자 인터렉션들에 응답하여 저장되었다.

본 개시의 또 다른 예시적인 측면은 증강 현실 미리보기를 제공하기 위한 컴퓨터 구현 방법에 관한 것이다. 방법은 하나 이상의 프로세서들을 포함하는 컴퓨팅 시스템에 의해, 사용자 데이터 및 이미지 데이터를 획득하는 단계를 포함할 수 있다. 사용자 데이터는 특정 사용자와 연관될 수 있다. 일부 구현예에서, 이미지 데이터는 사용자 환경을 기술할 수 있다. 방법은 컴퓨팅 시스템에 의해, 사용자 데이터와 연관된 복수의 객체들을 결정하는 단계를 포함할 수 있다. 복수의 객체들은 하나 이상의 제품 유형들과 연관된 복수의 제품들을 포함할 수 있다. 방법은 컴퓨팅 시스템에 의해, 복수의 객체들에 기초하여 복수의 렌더링 데이터세트들을 획득하는 단계를 포함할 수 있다. 복수의 객체들 중 각 객체는 복수의 렌더링 데이터세트들 중 하나 이상의 렌더링 데이터세트들과 연관될 수 있다. 방법은 컴퓨팅 시스템에 의해, 복수의 렌더링 데이터세트들에 기초하여 증강 이미지 데이터를 생성하는 단계를 포함할 수 있다. 증강 이미지 데이터는 사용자 환경 내의 복수의 객체들을 기술할 수 있다. 방법은 컴퓨팅 시스템에 의해, 인터렉티브 사용자 인터페이스를 통해 디스플레이하기 위한 증강 이미지 데이터를 제공하는 단계를 포함할 수 있다. 인터렉티브 사용자 인터페이스는 사용자 환경 내의 복수의 객체들에 대한 복수의 서로 다른 뷰(view)들을 제공하도록 구성될 수 있다.

일부 구현예에서, 증강 이미지 데이터는 하나 이상의 증강 이미지들을 포함할 수 있다. 하나 이상의 증강 이미지들은 하나 이상의 뉴럴 래디언스 필드(neural radiance field) 모델들에 의해 생성된 복수의 예측 색상 값들 및 복수의 예측 밀도 값들에 기초하여 생성될 수 있다. 복수의 객체들은 복수의 서로 다른 가구 아이템들을 포함할 수 있다. 복수의 서로 다른 가구 아이템들은 제1 제품과 연관된 특정 시트를 포함할 수 있다. 복수의 서로 다른 가구 아이템들은 제2 제품과 연관된 특정 테이블을 포함할 수 있다. 일부 구현예에서, 방법은 복수의 제품들 중 특정 제품과 연관된 특정 렌더링과 연관된 사용자 입력 데이터를 획득하는 단계 및 특정 렌더링을 다른 렌더링으로 대체하기 위해 증강 이미지 데이터를 조정하는 단계를 포함할 수 있다. 다른 렌더링은 복수의 제품들 각각과 상이한 다른 제품과 연관될 수 있다.

본 개시의 또 다른 예시적인 측면은 하나 이상의 컴퓨팅 장치들에 의해 실행될 때, 하나 이상의 컴퓨팅 장치로 하여금 동작들을 수행하게 하는 명령어들을 집합적으로 저장하는 하나 이상의 비일시적 컴퓨터 판독가능 매체에 관한 것이다. 동작들은 검색 쿼리를 획득하는 동작을 포함할 수 있다. 동작들은 하나 이상의 검색 결과들을 결정하기 위해 검색 쿼리를 프로세싱하는 동작을 포함할 수 있다. 하나 이상의 검색 결과들은 하나 이상의 특정 객체들과 연관될 수 있다. 동작들은 하나 이상의 검색 결과들이 렌더링 자산 데이터베이스 내의 하나 이상의 렌더링 데이터세트들과 연관되어 있는지 결정하는 동작을 포함할 수 있다. 렌더링 자산 데이터베이스는 복수의 서로 다른 객체들과 연관된 복수의 저장된 렌더링 데이터세트들을 포함할 수 있다. 동작들은 렌더링 자산 데이터베이스로부터 하나 이상의 렌더링 데이터세트들을 획득하는 동작을 포함할 수 있다. 하나 이상의 렌더링 데이터세트들은 하나 이상의 특정 객체들과 연관된 하나 이상의 메쉬(mesh)들 및 하나 이상의 뉴럴 래디언스 필드(neural radiance field) 모델들을 포함할 수 있다. 동작들은 이미지 데이터를 획득하는 동작을 포함할 수 있다. 이미지 데이터는 하나 이상의 이미지 센서들을 사용하여 생성될 수 있다. 일부 구현예에서, 이미지 데이터는 사용자 환경을 기술할 수 있다. 동작들은 하나 이상의 렌더링 데이터세트들에 기초하여 증강 이미지 데이터를 생성하는 동작을 포함할 수 있다. 증강 이미지 데이터는 사용자 환경 내의 하나 이상의 객체들을 기술할 수 있다. 동작들은 인터렉티브 사용자 인터페이스를 통해 디스플레이하기 위한 증강 이미지 데이터를 제공하는 동작을 포함할 수 있다. 인터렉티브 사용자 인터페이스는 사용자 환경 내의 하나 이상의 객체들에 대한 복수의 서로 다른 뷰(view)들을 제공하도록 구성될 수 있다.

일부 구현예에서, 동작들은 특정 제품과 연관된 특정 렌더링을 선택하는 사용자 입력 데이터를 획득하는 동작을 포함할 수 있다. 특정 제품은 하나 이상의 객체들과 연관될 수 있다. 동작들은 특정 제품과 연관된 제품 정보를 획득하는 동작 및 디스플레이를 위한 제품 정보를 제공하는 동작을 포함할 수 있다. 일부 구현예에서, 동작들은 특정 제품과 연관된 특정 렌더링을 선택하는 사용자 입력 데이터를 획득하는 동작을 포함할 수 있다. 특정 제품은 하나 이상의 객체들과 연관될 수 있다. 동작들은 특정 제품과 연관된 제품 링크를 획득하는 동작 및 사용자 컴퓨팅 시스템에 제품 링크를 제공하는 동작을 포함할 수 있다.

본 개시의 다른 측면은 다양한 시스템, 장치, 비일시적 컴퓨터 판독가능 매체, 사용자 인터페이스 및 전자 장치에 관한 것이다.

본 개시의 다양한 실시예의 이들 및 기타 구성, 측면 및 이점은 다음의 설명 및 첨부된 청구범위를 참조하여 더 잘 이해될 것이다. 본 명세서에 포함되어 일부를 구성하는 첨부 도면은 본 발명의 예시적인 실시예를 예시하고, 설명과 함께 관련 원리를 설명하는 역할을 한다.

당업자에 관한 실시예의 상세한 논의는 첨부된 도면을 참조하는 명세서에 기재되어 있으며, 그 중:
도 1은 본 개시의 예시적인 실시예에 따른 예시적인 정보화된 객체 선택 시스템의 블록도를 도시한다.
도 2는 본 개시의 예시적인 실시예에 따른 예시적인 가상 환경 생성의 블록도를 도시한다.
도 3은 본 개시의 예시적인 실시예에 따른 예시적인 증강 이미지 데이터 생성의 블록도를 도시한다.
도 4는 본 개시의 예시적인 실시예에 따라 가상 환경 생성을 수행하는 예시적인 방법의 흐름도를 도시한다.
도 5는 본 개시의 예시적인 실시예에 따른 예시적인 사용자 데이터 프로세싱 시스템의 블록도를 도시한다.
도 6은 본 개시의 예시적인 실시예에 따른 예시적인 검색 쿼리 프로세싱 시스템의 블록도를 도시한다.
도 7은 본 개시의 예시적인 실시예에 따라 증강 이미지 데이터 생성을 수행하는 예시적인 방법의 흐름도를 도시한다.
도 8은 본 개시의 예시적인 실시예에 따라 검색 쿼리 프로세싱을 수행하는 예시적인 방법의 흐름도를 도시한다.
도 9는 본 개시의 예시적인 실시예에 따른 예시적인 렌더링 흐름 시스템의 블록도를 도시한다.
도 10은 본 개시의 예시적인 실시예에 따른 예시적인 뉴럴 래디언스 필드 모델 트레이닝의 블록도를 도시한다.
도 11은 본 개시의 예시적인 실시예에 따른 예시적인 정보화된 객체 선택 및 렌더링 시스템의 블록도를 도시한다.
도 12는 본 개시의 예시적인 실시예에 따른 예시적인 증강 환경 생성 시스템의 블록도를 도시한다.
도 13a는 본 개시의 예시적인 실시예에 따라 가상 환경 생성을 수행하는 예시적인 컴퓨팅 시스템의 블록도를 도시한다.
도 13b는 본 개시의 예시적인 실시예에 따라 가상 환경 생성을 수행하는 예시적인 컴퓨팅 장치의 블록도를 도시한다.
도 13c는 본 개시의 예시적인 실시예에 따라 가상 환경 생성을 수행하는 예시적인 컴퓨팅 장치의 블록도를 도시한다.
도 14는 본 개시의 예시적인 실시예에 따라 컨텍스트 기반 렌더링 데이터세트 선택을 수행하는 예시적인 방법의 흐름도를 도시한다.
도 15는 본 개시의 예시적인 실시예에 따른 예시적인 뷰 합성 이미지 생성 시스템의 블록도를 도시한다.
복수의 도면에 걸쳐 반복되는 참조 번호는 다양한 구현예에서 동일한 구성을 식별하기 위한 것이다.

일반적으로, 본 개시는 획득된 데이터에 기초하여 증강 가상 환경을 생성하고 제공하기 위한 시스템 및 방법에 관한 것이다. 특히, 여기에 개시된 시스템 및 방법은 사용자 데이터에 기초하여 획득할 렌더링 자산을 결정할 수 있고 획득된 렌더링 자산에 기초하여 가상 환경을 생성할 수 있다. 본 문서에 공개된 시스템 및 방법은 사용자가 환경(예를 들어, 템플릿 룸 및/또는 사용자 룸의 렌더링)에서 하나 이상의 객체들을 미리볼 수 있는 매체를 제공할 수 있다. 미리보기는 사용자가 다양한 포지션 및 뷰 방향(예를 들어, 새 옷장이 있는 사용자 침실의 복수 뷰들)에서 증강 환경을 볼 수 있게 하는 인터렉티브 사용자 인터페이스를 통해 제공될 수 있다. 인터렉티브 사용자 인터페이스는 3차원 표현과 모델링을 활용하여 3차원 인식 미리보기를 제공할 수 있으며, 이를 통해 보다 기하학적으로 인식되는 렌더링으로 더 폭넓은 뷰 선택이 가능해진다(예를 들어, 사용자는 가상 룸 전체를 탐색하여 새로운 객체가 여러 각도에서 어떻게 보이는지 확인할 수 있다). 추가적으로 및/또는 대안적으로, 렌더링 및 객체 선택은 사용자의 학습된 선호도 및/또는 하나 이상의 입력에 기초할 수 있다. 입력은 개별 아이템 또는 아이템 컬렉션의 가격 범위를 기술할 수 있으며, 여기에는 미리 정의된 예산 기준을 충족하는 객체들만 제안하는 것을 포함할 수 있다. 증강 환경의 2차원 렌더링들은 가능한 뷰의 스냅샷을 제공할 수 있다; 그러나 단일 스냅샷은 제안된 환경의 전반적인 모습에 대한 제한된 양의 정보만 제공할 수 있다. 환경의 3차원 모델링을 활용함으로써, 사용자는 환경을 스크롤하여 자신의 경로와 속도에 맞춰 이동 경로를 시뮬레이션할 수 있다. 이러한 상호작용은 사용자가 하나 이상의 새로운 객체들이 포함된 룸을 탐색할 때 선택할 수 있는 경로(예: 침실에서 현관까지 이동하는 경로)에 대한 시뮬레이션을 제공할 수 있다. 따라서 시스템 및 방법을 통해 사용자는 하나 이상의 새로운 후보 객체들(예: 새 소파, 새 테이블 및/또는 새 램프)로 거실이 어떻게 보일지 미리 볼 수 있다.

일부 구현예에서, 미리보기는 템플릿 환경 및/또는 사용자 제공 환경(예를 들어, 하나 이상의 사용자 이미지의 프로세싱을 통해 생성된 사용자 환경)으로 렌더링하기 위한 객체들의 하나 이상의 선택에 기초할 수 있다. 특히, 사용자는 장바구니에 제품을 추가한 다음 구매하기 전에 미리 볼 수 있다. 대안적으로 및/또는 추가적으로, 하나 이상의 객체들은 가격대, 스타일, 객체 유형 및/또는 공간의 양에 기초하여 제안된 객체일 수 있다. 제안은 학습된 사용자 선호도(예: 브라우징 기록, 검색 기록 및/또는 구매 기록에 기초하여 학습된 선호도), 사용자 쿼리 및/또는 하나 이상의 검색 파라미터 선택에 기초할 수 있다. 미리보기는 룸 장식(또는 가구 제공)의 불확실성을 일부 완화할 수 있는 동적 시각적 디스플레이를 제공할 수 있다. 추가적으로 및/또는 대안적으로, 제안은 사용자 컨텍스트 정보에 기초할 수 있다. 예를 들어, 하나 이상의 객체들은 사용자에 대한 가용성, 가격 범위 내에 있는 가격, 크기 기준 및/또는 사용자 컨텍스트와 연관된 객체의 하나 이상의 알려진 특성들에 기초하여 선택될 수 있다.

제품에 대한 검색 결과들은 웹에서 검색될 수 있다; 그러나 검색 결과들은 사용자가 이용할 수 없거나 사용자의 가격 범위를 벗어난 제품이 표시될 수 있다. 또한, 사용자가 이용할 수 있는 유형의 제품이 사용자가 사용할 제품을 정확하게 묘사하는 매체에 디스플레이되지 않을 수도 있다.

본 문서에 공개된 시스템 및 방법은 사용자 선호도(예: 가격 범위)와 일치하고 사용자가 이용할 수 있는 제품을 사용하여 "영감을 주는(inspirational)" 이미지를 생성할 수 있다. 예를 들어, NERF 데이터베이스를 활용하여 템플릿 환경 및/또는 사용자 환경에서 사용자가 이용할 수 있는 제품 렌더링을 제공할 수 있다. NERF 및 기타 3차원 표현 기술을 활용하여 보기 위한 인터렉티브 사용자 인터페이스를 생성할 수 있다.

예를 들어, 시스템 및 방법은 사용자 데이터(예를 들어, 검색 쿼리, 선호도, 과거 데이터 및/또는 사용자 프로필 데이터)를 획득하는 것을 포함할 수 있다. 사용자 데이터는 특정 사용자와 연관될 수 있다. 사용자 데이터는 특정 사용자에 대한 컨텍스트 정보(예를 들어, 사용자 위치, 사용자 가격 범위, 사용자가 물건을 배치하는 데 사용할 수 있는 공간의 양 등)를 기술하는 컨텍스트 데이터를 포함할 수 있다. 시스템 및 방법은 사용자 데이터와 연관된 하나 이상의 객체들(예를 들어, 검색 쿼리의 하나 이상의 검색어들과 연관된 복수의 객체들)을 결정하는 것을 포함할 수 있다. 일부 구현예에서, 하나 이상의 객체들은 하나 이상의 제품 유형들과 연관된 하나 이상의 제품들을 포함할 수 있다. 시스템 및 방법은 하나 이상의 객체들에 기초하여 하나 이상의 렌더링 데이터세트들을 획득하는 것을 포함할 수 있다. 하나 이상의 객체들의 각 객체는 하나 이상의 렌더링 데이터세트들의 렌더링 데이터세트와 연관될 수 있다. 하나 이상의 객체들 및/또는 하나 이상의 렌더링 데이터세트들은 컨텍스트 데이터에 기초하여 획득 및/또는 결정될 수 있다. 예를 들어, 하나 이상의 렌더링 데이터세트들은 접근성 및 가격에 기초하여 객체가 사용자에게 이용가능하다는 결정에 기초하여 획득될 수 있다. 선택은 객체의 하나 이상의 알려진 특성들에 기초할 수 있다. 시스템 및 방법은 하나 이상의 렌더링 데이터세트들에 기초하여 가상 환경을 생성하는 것을 포함할 수 있다. 일부 구현예에서, 가상 환경은 예시적인 환경 내의 하나 이상의 객체들을 기술할 수 있다. 시스템 및 방법은 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 가상 환경을 제공하는 것을 포함할 수 있다. 인터렉티브 사용자 인터페이스는 가상 환경의 복수의 서로 다른 뷰들을 제공하도록 구성될 수 있다.

시스템 및 방법은 사용자 데이터를 획득할 수 있다. 사용자 데이터는 특정 사용자와 연관될 수 있다. 사용자 데이터는 특정 사용자와 연관된 컨텍스트 정보를 기술하는 컨텍스트 데이터를 포함할 수 있다. 일부 구현예에서, 사용자 데이터는 특정 사용자와 연관된 하나 이상의 이전 검색 쿼리들과 연관된 검색 기록 데이터를 포함할 수 있다. 사용자 데이터는 브라우저 데이터를 포함할 수 있다. 브라우저 데이터는 이전에 본 하나 이상의 웹 페이지들과 연관될 수 있다. 일부 구현예에서, 사용자 데이터는 하나 이상의 저장된 데이터세트들을 기술하는 데이터를 포함할 수 있다. 하나 이상의 저장된 데이터세트들은 하나 이상의 이전 사용자 인터렉션들에 응답하여 저장되었을 수 있다. 사용자 데이터는 사용자가 선택한 데이터를 포함할 수 있다. 컨텍스트 데이터는 위치, 접근성 제약, 룸의 크기 제약, 사용자의 실현가능한 가격 범위 및/또는 기타 컨텍스트 정보를 기술할 수 있다.

복수의 객체들이 사용자 데이터와 연관된 것으로 결정될 수 있다. 복수의 객체들은 하나 이상의 제품 유형들과 연관된 복수의 제품들을 포함할 수 있다. 복수의 객체들은 복수의 서로 다른 가구 아이템, 복수의 서로 다른 의류 아이템, 복수의 서로 다른 사용자 정의 구성, 복수의 서로 다른 조경 아이템 및/또는 복수의 서로 다른 장식을 포함할 수 있다. 복수의 객체들은 사용자 검색 기록, 사용자 브라우징 기록, 사용자 프로필, 사용자 사진 데이터베이스, 사용자 구매 기록, 사용자 위치 데이터 및/또는 사용자 선호도 데이터에 기초하여 획득될 수 있다.

일부 구현예에서, 사용자 데이터는 검색 쿼리를 포함할 수 있다. 사용자 데이터와 연관된 복수의 객체들을 결정하는 것은 렌더링 자산 데이터베이스 내의 하나 이상의 렌더링 데이터세트들이 검색 쿼리의 적어도 일부와 연관되어 있는지 결정하는 것을 포함할 수 있다. 결정은 색인화된 엔터티, 색인화된 링크, 색인화된 라벨 및/또는 하나 이상의 다른 식별자에 기초하여 이루어질 수 있다.

추가적으로 및/또는 대안적으로, 검색 쿼리는 하나 이상의 쿼리 이미지들을 포함할 수 있다. 사용자 데이터와 연관된 복수의 객체들을 결정하는 것은 하나 이상의 묘사된 객체들을 결정하기 위해 하나 이상의 쿼리 이미지들을 프로세싱하는 것 및 하나 이상의 결정된 객체들에 기초하여 렌더링 자산 데이터베이스에 쿼리하는 것을 더 포함할 수 있다. 결정은 임베딩 최근접 이웃 결정, 특징 매칭, 및/또는 라벨 매칭에 기초할 수 있다.

시스템 및 방법은 복수의 객체들 및/또는 컨텍스트 데이터에 기초하여 복수의 렌더링 데이터세트들을 획득할 수 있다. 복수의 객체들 중 각 객체는 복수의 렌더링 데이터세트들 중 하나 이상의 렌더링 데이터세트들과 연관될 수 있다. 일부 구현예에서, 복수의 렌더링 데이터세트들은 복수의 메쉬(mesh)들 및 복수의 뉴럴 래디언스 필드(neural radiance field) 모델들을 포함할 수 있다. 각 뉴럴 래디언스 필드 모델은 복수의 객체들 중 서로 다른 각각의 객체의 하나 이상의 뷰 렌더링들을 생성하도록 트레이닝되었을 수 있다. 특정 사용자가 가상 환경에서 뷰 포인트 및 뷰 방향을 이동할 때 복수의 메쉬들을 활용하여 복수의 객체들을 렌더링할 수 있다. 일부 구현예에서, 복수의 뉴럴 래디언스 필드 모델들은 가상 환경에서의 뷰 포인트 및 뷰 방향이 정체됨에 따라 복수의 객체들을 렌더링하는 데 활용될 수 있다. 일부 구현예에서, 하나 이상의 렌더링 데이터세트들은 사용자 데이터의 컨텍스트 데이터와 연관된 기준에 응답하는(예를 들어, 충족 및/또는 일치하는) 하나 이상의 렌더링 데이터세트에 대응하는 하나 이상의 객체들과 연관된 알려진 특성들에 기초하여 획득될 수 있다. 예를 들어, 하나 이상의 렌더링 데이터세트들은 사용자가 이용할 수 있는 렌더링 데이터세트와 연관된 객체에 기초하여 획득될 수 있으며, 여기에는 구매 접근성(예: 구매 위치, 전송 위치 및/또는 가격 범위)이 포함될 수 있다.

복수의 렌더링 데이터세트들에 기초하여 가상 환경이 생성될 수 있다. 가상 환경은 예시적인 환경 내의 복수의 객체들을 기술할 수 있다. 가상 환경은 복수의 3차원 표현들에 기초하여 생성될 수 있다. 3차원 표현들 중 하나 이상은 기계 학습될 수 있다. 가상 환경은 템플릿 3차원 환경에서 하나 이상의 렌더링 자산들의 앵커링(anchoring)과 연관될 수 있다. 템플릿은 사용자가 선택하거나, 결정론적으로(deterministically) 제공하거나, 무작위로 결정하거나, 과거 사용자 데이터에 기초하여 결정될 수 있다.

가상 환경은 인터렉티브 사용자 인터페이스에 디스플레이되도록 제공될 수 있다. 인터렉티브 사용자 인터페이스는 가상 환경의 복수의 서로 다른 뷰들을 제공하도록 구성될 수 있다. 가상 환경은 증강 현실 경험, 가상 현실 경험, 혼합 현실 경험, 및/또는 하나 이상의 다른 사용자 인터페이스 요소들을 통해 디스플레이를 위해 제공될 수 있다.

일부 구현예에서, 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 가상 환경을 제공하는 것은 복수의 렌더링 데이터세트들 중 하나 이상에 기초하여 제1 뷰 렌더링을 생성하는 것을 포함할 수 있다. 제1 뷰 렌더링은 제1 포지션 및 제1 방향으로부터 가상 환경의 적어도 제1 부분을 기술하는 제1 이미지를 포함할 수 있다. 인터렉티브 사용자 인터페이스에서 디스플레이하기 위한 가상 환경을 제공하는 것은 디스플레이를 위한 제1 뷰 렌더링을 제공하는 것을 포함할 수 있다.

추가적으로 및/또는 대안적으로, 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 가상 환경을 제공하는 것은 사용자 인터페이스 입력을 획득하는 것을 더 포함할 수 있다. 사용자 인터페이스 입력은 인터렉티브 사용자 인터페이스와의 탐색 인터렉션을 포함할 수 있다. 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 가상 환경을 제공하는 것은 복수의 렌더링 데이터세트들 중 하나 이상에 기초하여 제2 뷰 렌더링을 생성하는 것을 더 포함할 수 있다. 제2 뷰 렌더링은 제2 포지션 및 제2 방향으로부터 가상 환경의 적어도 제2 부분을 기술하는 제2 이미지를 포함할 수 있다. 일부 구현예에서, 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 가상 환경을 제공하는 것은 디스플레이를 위한 제2 뷰 렌더링을 제공하는 것을 더 포함할 수 있다.

추가적으로 및/또는 대안적으로, 시스템 및 방법은 획득된 이미지 데이터에 기초하여 생성된 사용자 환경에서 렌더링된 결정된 객체들을 묘사하는 증강 이미지 데이터를 생성하는 데 활용될 수 있다. 예를 들어, 시스템 및 방법은 사용자 데이터 및 이미지 데이터를 획득하는 것을 포함할 수 있다. 사용자 데이터는 특정 사용자와 연관될 수 있다. 일부 구현예에서, 이미지 데이터는 사용자 환경을 기술할 수 있다. 시스템 및 방법은 사용자 데이터와 연관된 복수의 객체들을 결정하는 것을 포함할 수 있다. 복수의 객체들은 하나 이상의 제품 유형들과 연관된 복수의 제품들을 포함할 수 있다. 시스템 및 방법은 복수의 객체들에 기초하여 복수의 렌더링 데이터세트들을 획득하는 것을 포함할 수 있다. 복수의 객체들 중 각 객체는 복수의 렌더링 데이터세트들 중 하나 이상의 렌더링 데이터세트들과 연관될 수 있다. 시스템 및 방법은 복수의 렌더링 데이터세트들에 기초하여 증강 이미지 데이터를 생성하는 것을 포함할 수 있다. 일부 구현예에서, 증강 이미지 데이터는 사용자 환경 내의 복수의 객체들을 기술할 수 있다. 시스템 및 방법은 인터렉티브 사용자 인터페이스를 통해 디스플레이하기 위한 증강 이미지 데이터를 제공하는 것을 포함할 수 있다. 인터렉티브 사용자 인터페이스는 사용자 환경에서 복수의 객체들에 대한 복수의 서로 다른 뷰들을 제공하도록 구성될 수 있다.

시스템 및 방법은 사용자 데이터 및 이미지 데이터를 획득할 수 있다. 사용자 데이터는 특정 사용자와 연관될 수 있다. 사용자 데이터는 사용자와 연관된 과거 데이터, 사용자와 연관된 사용자 입력 데이터, 및/또는 사용자와 연관된 센서 데이터를 기술할 수 있다. 이미지 데이터는 사용자 환경을 기술할 수 있다. 예를 들어, 사용자 환경은 사용자의 침실, 사용자의 거실, 사용자의 마당, 사용자의 자동차 및/또는 사용자의 사무실이 될 수 있다.

복수의 객체들이 사용자 데이터와 연관된 것으로 결정될 수 있다. 복수의 객체들은 하나 이상의 제품 유형들과 연관된 복수의 제품들을 포함할 수 있다. 일부 구현예에서, 복수의 객체들은 복수의 서로 다른 가구 아이템을 포함할 수 있다. 복수의 서로 다른 가구 아이템들은 제1 제품과 연관된 특정 시트를 포함할 수 있다. 일부 구현예에서, 복수의 서로 다른 가구 아이템들은 제2 제품과 연관된 특정 테이블을 포함할 수 있다.

복수의 객체들에 기초하여 복수의 렌더링 데이터세트들이 획득될 수 있다. 복수의 객체들 중 각 객체는 복수의 렌더링 데이터세트들 중 하나 이상의 렌더링 데이터세트들과 연관될 수 있다. 각 렌더링 데이터세트는 증강 현실 렌더링 데이터세트, 가상 현실 렌더링 데이터세트 및/또는 다른 렌더링 데이터세트 유형을 포함할 수 있다. 일부 구현예에서, 각 렌더링 데이터세트는 학습된 3차원 표현과 연관된 하나 이상의 학습된 파라미터들을 갖는 하나 이상의 메쉬들 및/또는 하나 이상의 뉴럴 래디언스 필드 모델들을 포함할 수 있다.

그 후, 복수의 렌더링 데이터세트들에 기초하여 증강 이미지 데이터가 생성될 수 있다. 증강 이미지 데이터는 사용자 환경 내의 복수의 객체들을 기술할 수 있다. 일부 구현예에서, 증강 이미지 데이터는 하나 이상의 증강 이미지들을 포함할 수 있다. 하나 이상의 증강 이미지들은 하나 이상의 뉴럴 래디언스 필드 모델들에 의해 생성된 복수의 예측 색상 값들 및 복수의 예측 밀도 값들에 기초하여 생성될 수 있다.

증강 이미지 데이터는 인터렉티브 사용자 인터페이스를 통해 디스플레이되도록 제공될 수 있다. 인터렉티브 사용자 인터페이스는 사용자 환경에서 복수의 객체들에 대한 복수의 서로 다른 뷰들을 제공하도록 구성될 수 있다. 인터렉티브 사용자 인터페이스는 증강 현실 경험, 가상 현실 경험 및/또는 혼합 현실 경험을 포함할 수 있다. 일부 구현예에서, 인터렉티브 사용자 인터페이스는 환경에 렌더링된 객체들을 사용하여 사용자 환경의 하나 이상의 각도들을 볼 수 있도록 구성될 수 있다.

일부 구현예에서, 시스템 및 방법은 복수의 제품들 중 특정 제품과 연관된 특정 렌더링과 연관된 사용자 입력 데이터를 획득하고 증강 이미지 데이터를 조정하여 특정 렌더링을 다른 렌더링으로 대체할 수 있다. 다른 렌더링은 복수의 제품들 각각과 상이한 다른 제품과 연관될 수 있다.

일부 구현예에서, 획득된 사용자 데이터는 하나 이상의 검색 쿼리들을 획득하는 것을 포함할 수 있다. 하나 이상의 검색 쿼리들은 획득하여 사용자 환경으로 렌더링할 하나 이상의 객체들을 결정하는 데 활용될 수 있다. 예를 들어, 시스템 및 방법은 검색 쿼리를 획득하는 것을 포함할 수 있다. 시스템 및 방법은 하나 이상의 검색 결과들을 결정하기 위해 검색 쿼리를 프로세싱하는 것을 포함할 수 있다. 하나 이상의 검색 결과들은 하나 이상의 특정 객체들과 연관될 수 있다. 시스템 및 방법은 하나 이상의 검색 결과들이 렌더링 자산 데이터베이스 내의 하나 이상의 렌더링 데이터세트들과 연관되어 있는지 결정하는 것을 포함할 수 있다. 렌더링 자산 데이터베이스는 복수의 서로 다른 객체들과 연관된 복수의 저장된 렌더링 데이터세트들을 포함할 수 있다. 일부 구현예에서, 시스템 및 방법은 렌더링 자산 데이터베이스로부터 하나 이상의 렌더링 데이터세트들을 획득하는 것을 포함할 수 있다. 하나 이상의 렌더링 데이터세트들은 하나 이상의 메쉬들 및 하나 이상의 특정 객체들과 연관된 하나 이상의 뉴럴 래디언스 필드 모델들을 포함할 수 있다. 시스템 및 방법은 이미지 데이터를 획득하는 것을 포함할 수 있다. 이미지 데이터는 하나 이상의 이미지 센서들을 사용하여 생성될 수 있다. 일부 구현예에서, 이미지 데이터는 사용자 환경을 기술할 수 있다. 시스템 및 방법은 하나 이상의 렌더링 데이터세트들에 기초하여 증강 이미지 데이터를 생성하는 것을 포함할 수 있다. 증강 이미지 데이터는 사용자 환경 내의 하나 이상의 객체들을 기술할 수 있다. 시스템 및 방법은 인터렉티브 사용자 인터페이스를 통해 디스플레이하기 위한 증강 이미지 데이터를 제공하는 것을 포함할 수 있다. 인터렉티브 사용자 인터페이스는 사용자 환경 내의 하나 이상의 객체들에 대한 복수의 서로 다른 뷰들을 제공하도록 구성될 수 있다.

검색 쿼리는 사용자로부터 획득될 수 있다. 검색 쿼리는 복수의 문자들을 포함할 수 있다. 대안적으로 및/또는 추가적으로, 검색 쿼리는 하나 이상의 쿼리 이미지들을 포함할 수 있다. 검색 쿼리는 사용자 인터페이스의 쿼리 입력창을 통해 수신되는 입력을 통해 획득될 수 있다. 검색 쿼리는 검색 애플리케이션 및/또는 브라우저 애플리케이션을 통해 획득될 수 있다.

검색 쿼리는 하나 이상의 검색 결과들을 결정하기 위해 프로세싱될 수 있다. 하나 이상의 검색 결과들은 하나 이상의 특정 객체들과 연관될 수 있다. 하나 이상의 검색 결과들은 검색 쿼리, 사용자 프로필 데이터, 위치 데이터, 과거 데이터, 추세 데이터 및/또는 선호도 데이터에 기초하여 결정될 수 있다.

하나 이상의 검색 결과들은 렌더링 자산 데이터베이스 내의 하나 이상의 렌더링 데이터세트들과 연관된 것으로 결정될 수 있다. 렌더링 자산 데이터베이스는 복수의 서로 다른 객체들과 연관된 복수의 저장된 렌더링 데이터세트들을 포함할 수 있다. 각 렌더링 데이터세트는 하나 이상의 메쉬들, 하나 이상의 3차원 표현들, 하나 이상의 기계 학습 모델들(예를 들어, 하나 이상의 뉴럴 래디언스 필드 모델들), 뉴럴 래디언스 필드 데이터, 이미지 데이터, 비디오 데이터 및/또는 하나 이상의 기타 데이터 파일을 포함할 수 있다.

하나 이상의 렌더링 데이터세트들은 렌더링 자산 데이터베이스로부터 획득될 수 있다. 하나 이상의 렌더링 데이터세트들은 하나 이상의 메쉬들 및 하나 이상의 특정 객체들과 연관된 하나 이상의 뉴럴 래디언스 필드 모델들을 포함할 수 있다. 하나 이상의 메쉬들은 뉴럴 래디언스 필드 모델이 포지션 및 뷰 방향을 프로세싱하여 새로운 뷰 렌더링을 생성하므로 3차원 시각화로 활용될 수 있다.

그 다음 이미지 데이터가 사용자로부터 획득될 수 있다. 이미지 데이터는 하나 이상의 이미지 센서들을 사용하여 생성될 수 있다. 일부 구현예에서, 이미지 데이터는 사용자 환경을 기술할 수 있다. 이미지 데이터는 모바일 컴퓨팅 장치로부터 획득될 수 있고 모바일 컴퓨팅 장치의 하나 이상의 이미지 센서들을 통해 생성될 수 있다. 이미지 데이터는 침실, 거실, 주방, 욕실, 차고, 잔디밭, 공원 및/또는 다른 환경을 포함할 수 있는 사용자 환경을 기술할 수 있다.

증강 이미지 데이터는 하나 이상의 렌더링 데이터세트들에 기초하여 생성될 수 있다. 증강 이미지 데이터는 사용자 환경 내의 하나 이상의 객체들을 기술할 수 있다. 증강 이미지 데이터는 하나 이상의 렌더링 데이터세트들 및 이미지 데이터를 증강 모델로 프로세싱하여 생성될 수 있다. 하나 이상의 렌더링 데이터세트들은 하나 이상의 객체들의 하나 이상의 렌더링들을 생성하는 데 활용될 수 있으며, 증강 모델은 하나 이상의 렌더링들을 포함하도록 이미지 데이터를 증강할 수 있다.

증강 이미지 데이터는 인터렉티브 사용자 인터페이스를 통해 디스플레이되도록 제공될 수 있다. 인터렉티브 사용자 인터페이스는 사용자 환경에서 하나 이상의 객체들에 대한 복수의 서로 다른 뷰들을 제공하도록 구성될 수 있다. 인터렉티브 사용자 인터페이스를 통해 사용자는 렌더링된 환경에 대한 뷰 포인트, 뷰 방향 및 크기 조정을 변경할 수 있다. 사용자는 환경의 일부를 선택할 수 있고 선택기를 새로운 포지션으로 이동하여 환경을 기울일 수 있다. 대안적으로 및/또는 추가적으로, 환경의 위치는 해당 뷰 포인트에서 환경을 보기 위해 선택될 수 있다. 일부 구현예에서, 인터렉티브 사용자 인터페이스는 증강 환경의 시청 경험을 조정하기 위한 사용자 인터페이스 요소를 포함할 수 있다.

일부 구현예에서, 특정 제품과 연관된 특정 렌더링을 선택하는 사용자 입력 데이터가 획득될 수 있다. 특정 제품은 하나 이상의 객체들과 연관될 수 있다. 그 다음 특정 제품과 관련된 제품 정보를 획득할 수 있다. 그 다음 제품 정보가 디스플레이를 위해 제공될 수 있다.

대안적으로 및/또는 추가적으로, 특정 제품과 연관된 특정 렌더링을 선택하는 사용자 입력 데이터가 사용자로부터 획득될 수 있다. 특정 제품은 하나 이상의 객체들과 연관될 수 있다. 그 다음 특정 제품과 관련된 제품 링크를 획득할 수 있다. 그 다음 제품 링크가 사용자 컴퓨팅 시스템에 제공될 수 있다.

일부 구현예에서, 하나 이상의 객체들은 이미지 데이터의 하나 이상의 이미지들로 렌더링될 수 있는 하나 이상의 제품들을 포함할 수 있다. 하나 이상의 제품들은 하나 이상의 렌더링 데이터세트들과 연관될 수 있다. 렌더링 데이터세트들은 제품과 연관된 하나 이상의 엔터티들(예를 들어, 제조업체, 소매업체 및/또는 제품 소유자)에 의해 생성될 수 있다. 하나 이상의 렌더링 데이터세트들은 하나 이상의 제품 이미지들에 기초하여 하나 이상의 파라미터들을 트레이닝하는 것을 포함할 수 있다. 트레이닝은 하나 이상의 포지션들 및/또는 하나 이상의 뷰 방향들을 프로세싱하는 것에 응답하여 하나 이상의 예측 색상 값들 및/또는 하나 이상의 밀도 값들을 생성하기 위해 뉴럴 래디언스 필드 모델의 하나 이상의 파라미터들을 조정하는 것을 포함할 수 있다. 일부 구현예에서, 하나 이상의 학습된 파라미터들은 하나 이상의 증강 모델, 하나 이상의 렌더링 모델, 하나 이상의 분류 모델, 하나 이상의 분할 모델, 하나 이상의 검출 모델, 하나 이상의 인식 모델, 하나 이상의 메쉬 모델 및/또는 하나 이상의 예측 모델과 연관될 수 있다. 대안적으로 및/또는 추가적으로, 렌더링 데이터세트들은 수동으로 구성될 수 있다.

시스템 및 방법은 하나 이상의 렌더링 데이터세트들을 생성하기 위해 소프트웨어 개발 키트(SDK) 및/또는 애플리케이션을 하나 이상의 사용자에게 제공하는 것을 포함할 수 있다. 예를 들어, 한 명 이상의 사용자에게는 렌더링 데이터세트를 생성하기 위해 하나 이상의 입력을 수신할 수 있는 애플리케이션이 제공될 수 있다. 렌더링 데이터세트는 서버 컴퓨팅 시스템에 제공되어 렌더링 데이터베이스에 저장될 수 있다. 하나 이상의 입력은 렌더링 생성 인터페이스의 하나 이상의 선택, 하나 이상의 이미지, 하나 이상의 포지션 데이터세트, 웹 페이지나 웹 데이터베이스에서 가져온 하나 이상의 세부정보, 하나 이상의 뷰 포인트 데이터세트 및/또는 하나 이상의 관성 센서 데이터세트를 포함할 수 있다. 대안적으로 및/또는 추가적으로, 시스템 및 방법은 하나 이상의 사용자가 하나 이상의 애플리케이션 및/또는 플랫폼에서 렌더링 데이터세트를 생성할 수 있도록 구성될 수 있는 소프트웨어 개발 키트를 제공하는 것을 포함할 수 있다.

인터렉티브 사용자 인터페이스는 검색 애플리케이션, 브라우저 애플리케이션, 지도 서비스 애플리케이션, 마켓플레이스 애플리케이션, 발견 애플리케이션 및/또는 하나 이상의 다른 엔트리 포인트에서 제공될 수 있다.

추가로 및/또는 대안적으로, 인터렉티브 사용자 인터페이스는 환경에서 객체의 서로 다른 구성을 보기 위해 객체의 렌더링을 추가 및 제거하는 하나 이상의 옵션을 포함할 수 있다. 예를 들어, 사용자는 제1 특정 소파(예: 특정 직물, 색상, 디자인 및/또는 제조업체의 특정 소파), 제2 특정 소파(예: 특정 직물, 색상, 디자인 및/또는 제조업체의 특정 소파), 제1 테이블(예: 특정 마감, 특정 모양, 특정 크기, 특정 재료, 특정 제조업체, 특정 브랜드 및/또는 특정 기능을 갖는 특정 테이블), 제1 의자(예: 특정 마감, 특정 모양, 특정 크기, 특정 재료, 특정 제조업체, 특정 브랜드 및/또는 특정 기능을 갖춘 특정 의자), 제2 의자, 제1 그림(예: 특정 장식 그림) 및 제1 전자 장치(예: 특정 텔레비전)가 있는 거실을 기술하는 가상 환경을 생성하기 위해 프로세싱될 수 있는 사용자 데이터를 제공할 수 있다. 시스템 및 방법은 특정 제1 소파, 제2 특정 소파, 제1 테이블, 제1 의자, 제2 의자, 제1 그림 및 제1 전자 장치 중 하나 이상을 제거 및/또는 대체하기 위한 사용자 입력을 획득할 수 있다. 예를 들어, 제3 소파, 제2 테이블, 제3 의자, 제2 그림 및/또는 제2 전자 장치가 하나 이상의 원본 렌더링 대신에 및/또는 이에 추가하여 가상 환경에 렌더링될 수 있다. 대안적으로 및/또는 추가적으로, 인터렉티브 사용자 인터페이스는 하나 이상의 입력을 수신하고 증강된 색상, 증강된 크기, 증강된 배향, 증강된 위치, 증강된 직물 및/또는 증강된 구성을 포함하도록 객체 렌더링을 증강하도록 구성될 수 있다. 사용자는 환경에 렌더링할 하나 이상의 대체 객체들 및/또는 추가 객체들을 결정하기 위해 추가 검색 쿼리를 제공할 수 있다.

하나 이상의 객체들은 가격 범위, 브랜드, 크기, 제품 품질, 위치, 하나 이상의 학습된 선호도, 하나 이상의 이전 검색 쿼리 또는 인터렉션, 재료 유형, 소매점, 가용성 및/또는 특정 스타일에 기초하여 결정될 수 있다. 하나 이상의 객체들은 하나 이상의 다른 객체들(예를 들어, 하나 이상의 다른 결정된 객체들 및/또는 하나 이상의 기존 객체들(예를 들어, 하나 이상의 이전 구매 객체들, 사용자에 의해 지정된 하나 이상의 객체들, 장바구니에 있는 하나 이상의 객체들, 하나 이상의 저장 서비스를 통해 저장된 하나 이상의 객체들(예를 들어, 위시 리스트, 저장된 사진, 저장된 웹 페이지 및/또는 저장된 메모) 및/또는 하나 이상의 사용자 입력 이미지들에 기초하여 결정된 하나 이상의 객체들)과의 결정된 보완 스타일에 기초하여 결정될 수 있다.

하나 이상의 객체들은 환경의 결정된 크기 및 결정된 조명에 기초할 수 있는 예측된 크기 및 예측된 조명을 사용하여 환경에 렌더링될 수 있다. 예를 들어, 객체가 렌더링될 수 있으며, 그런 다음 렌더링을 조정하여 환경에 비례하도록 렌더링 크기를 조정할 수 있다. 추가적으로 및/또는 대안적으로, 렌더링의 색상은 다양한 조명 파라미터들을 고려할 수 있는 환경의 보다 사실적인 렌더링을 제공하기 위해 결정된 조명에 기초하여 조정될 수 있다.

본 명세서에 개시된 시스템 및 방법은 사용자로부터 이미지 데이터를 획득하는 것, 사용자가 제공한 이미지 데이터에 대해 뉴럴 래디언스 필드 모델을 트레이닝하는 것 및 트레이닝된 뉴럴 래디언스 필드 모델을 활용하여 이미지 데이터에 묘사된 하나 이상의 객체들(예를 들어, 사용자가 캡처한 이미지에 묘사된 하나 이상의 의자)의 하나 이상의 렌더링들을 생성하는 것을 포함할 수 있다. 사용자가 제공한 이미지 데이터에 대해 트레이닝된 뉴럴 래디언스 필드 모델은 사용자, 엔터티 및/또는 객체와 연관된 하나 이상의 데이터베이스에 저장될 수 있다. 예를 들어, 사용자는 뉴럴 래디언스 필드 모델 및 사용자 제공 이미지 데이터를 활용하여 사용자 의류의 복수의 3차원 표현을 학습하여 의상을 계획하는데 도움이 될 수 있는 균일한 포즈와 조명으로 다양한 의류 항목을 사용자가 볼 수 있는 가상 옷장을 제공할 수 있다. 추가적으로 및/또는 대안적으로, 사용자는 트레이닝된 뉴럴 래디언스 필드 모델을 활용하여 사용자에게 제품 렌더링을 제공하는 소매업체일 수 있다.

사용자는 3차원 모델링, 객체 분할 및 새로운 뷰 렌더링에 접근할 수 없을 수 있다. 이러한 구성들은 객체들을 검색, 재배열된 환경 시각화, 객체 이해, 객체를 물리적으로 나란히 놓지 않고도 객체 비교에 도움이 될 수 있다.

본 명세서에 개시된 시스템 및 방법은 사용자가 광범위한 수준에서 고품질 3D 컨텐츠를 생성, 저장, 공유 및 볼 수 있도록 뉴럴 래디언스 필드 모델(NERF)의 데모크라타이제이션(democratization)을 활용할 수 있다. 이는 리모델링, 의상 디자인, 객체 비교 및 카탈로그 생성에 도움이 될 수 있다(예를 들어, 판매자는 제품에 대한 고품질 3D 컨텐츠를 구축하고 웹 사이트에 추가할 수 있다).

추가적으로 및/또는 대안적으로, 제품에 대한 검색 결과들은 웹에서 검색될 수 있다; 그러나, 검색 결과에는 사용자가 이용할 수 없거나 사용자의 가격 범위를 벗어난 제품이 표시될 수 있다. 또한, 사용자가 이용할 수 있는 유형의 제품들은 사용자가 사용할 제품을 정확하게 묘사하는 매체에 디스플레이되지 않을 수도 있다.

본 문서에 공개된 시스템 및 방법은 사용자 선호도(예를 들어, 가격 범위)와 일치하고 사용자가 이용할 수 있는 제품을 사용하여 "영감을 주는" 이미지를 렌더링할 수 있다. 예를 들어, NERF 데이터베이스를 활용하여 템플릿 환경 및/또는 사용자 환경에서 사용자가 이용할 수 있는 제품 렌더링을 제공할 수 있다. NERF 및 기타 3차원 표현 기술을 활용하여 보기 위한 인터렉티브 사용자 인터페이스를 생성할 수 있다. 추가적으로 및/또는 대안적으로, NERF 데이터베이스에 저장된 알려진 가용성 및 특성을 가진 데이터세트들을 사용하면 획득된 렌더링 데이터세트와 연관된 지식 그래프가 활용될 수 있으므로 보다 정확한 검색을 제공할 수 있다.

제품 시각화에 있어서 일부 기존 기술은 증강 현실을 활용하여 가능한 환경 변화의 시각화를 제공한다; 그러나, 증강 현실 기술은 사용자가 원하는 위치에 있는 것으로 제한될 수 있다. 추가적으로, 환경에서 복수의 증강 현실 렌더링들을 렌더링하는 것은 계산 비용이 많이 들고 객체의 고정 및 크기 조정에 어려움을 초래할 수 있다. 환경 내 객체의 2차원 렌더링은 가능한 환경의 스냅샷을 제공할 수 있다. 그러나 단일 스냅샷은 3차원 인식 없이 제한된 정보를 제공할 수 있다. 기존 방법은 크기 결정 및 조명 수정을 제공하지 못할 수도 있다.

본 개시의 시스템 및 방법은 다수의 기술적 효과 및 이점을 제공한다. 일례로서, 시스템 및 방법은 하나 이상의 객체들이 있는 환경을 묘사할 수 있는 인터렉티브 사용자 인터페이스를 제공할 수 있다. 특히, 본 명세서에 개시된 시스템 및 방법은 제안된 객체들이 있는 환경의 미리보기를 보기 위한 인터렉티브 사용자 인터페이스를 제공하기 위해 객체 예측/제안, 하나 이상의 증강 모델, 및/또는 하나 이상의 사용자 인터페이스 요소들을 활용할 수 있다. 예를 들어, 시스템 및 방법은 사용자 입력, 사용자 선호도 및/또는 사용자 과거 데이터와 연관될 수 있는 객체들을 예측할 수 있다. 결정된 객체들은 템플릿 환경 및/또는 사용자 환경(예를 들어, 하나 이상의 사용자 입력 이미지들에 기초하여 렌더링된 사용자 환경)으로 렌더링될 수 있다. 인터페이스는 하나 이상의 객체들이 함께 및/또는 특정 환경에서 어떻게 보이는지 사용자에게 알릴 수 있는 렌더링들을 제공할 수 있다. 인터페이스는 즉각적인 렌더링을 위해 객체 메쉬들을 활용할 수 있으며, 이는 현실적인(realistic) 뉴럴 래디언스 필드 기반 렌더링으로 대체될 수 있다. 렌더링은 기하학적으로 인식되고 장면에 맞게 조명이 조정될 수 있으며, 생성된 환경과 관련하여 차원적으로 정확할 수 있다.

본 개시의 시스템 및 방법의 또 다른 기술적 이점은 컨텍스트 데이터 및 렌더링 데이터세트들을 활용하여 사용자가 이용할 수 있는 객체들의 뷰 합성 이미지들을 생성할 수 있는 능력이다. 예를 들어, 기존 검색 결과들은 사용자 쿼리에 응답하지만 하나 이상의 가용성 기준에 따라 사용자가 이용할 수 없는 검색 결과를 표면적으로 나타낼 수 있다. 본 명세서에 개시된 시스템 및 방법은 하나 이상의 객체들의 알려진 특성 및 컨텍스트 데이터를 프로세싱하여 사용자가 이용가능한 하나 이상의 객체들을 결정할 수 있다. 하나 이상의 결정된 객체들에 대한 렌더링 데이터세트(들)는 이용가능한 객체들의 하나 이상의 뷰 합성 이미지들은 생성하기 위해 획득될 수 있다. 따라서 사용자는 실제로 이용가능한 제품의 이미지를 볼 수 있다. 추가적으로, 사용자는 구매 링크, 객체 사양 등을 포함할 수 있는 객체와 연관된 추가 링크 및/또는 세부사항을 제공하는 검색 결과를 얻기 위해 활용될 수 있는 시각적 쿼리로서 하나 이상의 뷰 합성 이미지들을 활용할 수 있다.

특히, 여기에 개시된 시스템 및 방법은 상황에 맞게 관련된 객체들을 포함하는 고유한 이미지를 사용자에게 제공할 수 있다. 추가적으로 및/또는 대안적으로, 알려진 특성을 가진 객체들은 사용자 환경 및/또는 사용자 환경과 유사한 템플릿 환경의 이미지로 렌더링될 수 있다. 일부 구현예에서, 뷰 합성 이미지를 사용한 시각적 검색은 쿼리 이미지가 알려진 객체들을 포함하기 때문에 더 나은 및/또는 더 관련성 높은 결과를 제공할 수 있다. 예를 들어, 시각적 검색 결과는 하나 이상의 시각적 검색 기술로 인식될 수 있는 알려진 특성을 가진 알려진 객체인 뷰 합성 이미지의 객체에 기초하여 개선될 수 있다. 일부 구현예에서, 여기에 개시된 시스템 및 방법의 한 가지 이점은 사용자의 선호도를 암시적으로 충족하고/하거나 사용자의 검색 쿼리에 명시적으로 응답하는 특성을 갖는 쇼핑 결과를 포함할 수 있다(예를 들어, 쇼핑 결과는 사용자가 원하는 가격대로 사용자가 있는 위치에서 구매할 수 있음).

본 개시의 시스템 및 방법의 또 다른 기술적 이점은 하나 이상의 기계 학습 모델들을 활용하여 렌더링 데이터세트들을 생성하는 능력이다. 예를 들어, 시스템 및 방법은 트레이닝 이미지 데이터, 트레이닝 텍스트 데이터, 트레이닝 잠재 인코딩 데이터, 트레이닝 라벨 및/또는 트레이닝 메쉬 데이터에 기초하여 객체 및/또는 환경의 렌더링을 생성하도록 하나 이상의 기계 학습 모델들을 트레이닝할 수 있다. 트레이닝 데이터는 한 명 이상의 사용자에 의해 제공될 수 있다. 일부 구현예에서, 복수의 트레이닝 데이터세트들은 렌더링 데이터베이스에 저장될 복수의 렌더링 데이터세트들을 생성하기 위해 복수의 사용자로부터 획득될 수 있다.

기술적 효과 및 이점의 또 다른 예는 향상된 계산 효율성 및 컴퓨팅 시스템 기능의 개선과 관련된다. 예를 들어, 여기에 개시된 시스템 및 방법은 메쉬 데이터를 활용하여 환경 이동 중에 활용되는 렌더링을 생성할 수 있다. 사용자가 환경 이동을 멈추면, 하나 이상의 뉴럴 래디언스 필드 모델들을 활용하여 객체 및/또는 환경에 대한 보다 사실적인 렌더링을 생성할 수 있다. 메쉬 데이터를 활용하면 계산 비용이 덜 들고 사용자가 뷰 포인트 및/또는 뷰 방향 사이를 탐색할 때 환경을 유연하게 렌더링할 수 있다.

이제 도면을 참조하여, 본 발명의 예시적인 실시예가 더 자세히 논의될 것이다.

도 1은 본 개시의 예시적인 실시예에 따른 예시적인 정보화된(informed) 객체 선택 시스템(100)의 블록도를 도시한다. 특히, 정보화된 객체 선택 시스템(100)은 사용자의 컨텍스트 정보(114) 및/또는 사용자에 대한 가용성에 기초하여 하나 이상의 객체들과 연관된 렌더링 데이터세트들(112)의 선택을 포함할 수 있다. 정보화된 객체 선택 시스템(100)은 컨텍스트 정보(114) 및/또는 다른 사용자 데이터를 활용하여 사용자가 획득(예를 들어, 구매)할 수 있는 객체들과 연관된 렌더링 데이터세트들(112)을 결정할 수 있다.

예를 들어, 컨텍스트 정보(114)는 사용자 컴퓨팅 시스템으로부터 획득될 수 있다. 컨텍스트 정보(114)는 하나 이상의 검색 쿼리, 사용자의 위치, 가격 범위, 사용자에 대한 다른 가용성 기준, 선호도, 과거 데이터(예를 들어, 검색 기록 데이터, 브라우징 기록 데이터 및/또는 구매 기록 데이터) 및/또는 사용자 프로필 데이터를 포함할 수 있다. 검색 쿼리는 하나 이상의 객체, 하나 이상의 스타일 및/또는 하나 이상의 기타 세부사항과 연관될 수 있다.

컨텍스트 정보(114)는 객체 선택(116)을 위해 프로세싱될 수 있다. 객체 선택(116)은 컨텍스트 정보(114)와 연관된 렌더링 데이터세트와 연관된 객체를 결정하는 것을 포함할 수 있다. 선택된 렌더링 데이터세트(130)는 복수의 렌더링 데이터세트들(112)로부터의 렌더링 데이터세트일 수 있다. 복수의 렌더링 데이터세트들(112)은 알려진 특성을 갖는 복수의 객체들과 연관된 복수의 저장된 뉴럴 래디언스 필드(NeRF, Neural Radiance Field) 모델들을 포함할 수 있다. 복수의 렌더링 데이터세트들(112)은 렌더링 데이터세트 라이브러리에 저장될 수 있으며 위치, 가격, 액션 링크(예를 들어, 웹사이트의 세부정보에 대한 링크, 객체와 연관된 제품을 구매하기 위한 링크 및/또는 추적 링크) 및/또는 추가적인 알려진 특성과 연관된 메타데이터와 함께 저장될 수 있다.

객체 선택(116)은 컨텍스트 정보(114)에 기초하여 사용자와 연관된 위치 및/또는 가격 범위를 결정하는 것을 포함할 수 있고, 사용자의 위치 및/또는 사용자의 가격 범위 내에서 이용가능한 객체에 기초하여 특정 객체를 선택할 수 있다. 객체 선택(116)은 검색 쿼리에 응답하여 검색 결과들을 결정하는데 활용될 수 있고 및/또는 사용자에게 제안을 제공하는데 활용될 수 있다. 일부 구현예에서, 선택된 렌더링 데이터 세트(130)는 검색 결과 인터페이스 및/또는 제안 인터페이스(예를 들어, 발견 인터페이스)에 디스플레이될 수 있는 하나 이상의 렌더링들을 생성하는 데 활용될 수 있다. 렌더링들은 사용자 환경 및/또는 템플릿 환경 내의 객체들을 기술할 수 있다. 따라서, 정보화된 객체 선택 시스템(100)은 렌더링 데이터세트가 위치, 크기 및/또는 가격 범위에 기초하여 사용자에게 이용가능한 객체를 기술하는 라이브 시착 경험 및/또는 다른 렌더링 태스크를 위한 렌더링 데이터세트와 함께 검색 결과들 및/또는 제안들을 제공하는데 활용될 수 있다.

도 2는 본 개시의 예시적인 실시예에 따른 예시적인 가상 환경 생성(200)의 블록도를 도시한다. 특히, 도 2는 인터렉티브 사용자 인터페이스(218)를 통해 디스플레이를 위해 제공될 수 있는, 가상 환경(216)을 생성하기 위해 프로세싱되는 사용자 데이터(202)를 도시한다.

사용자 데이터(202)는 사용자 컴퓨팅 시스템으로부터 획득될 수 있다. 사용자 데이터(202)는 검색 쿼리, 과거 데이터(예를 들어, 검색 기록, 브라우징 기록, 구매 기록 및/또는 인터렉션 기록), 선호도 데이터 및/또는 사용자 프로필 데이터를 포함할 수 있다. 사용자 데이터(202)는 사용자 데이터(202)와 연관된 하나 이상의 객체들(206)을 결정하기 위해 제안 블록(204)에 의해 프로세싱될 수 있다. 하나 이상의 객체들(206)은 구매를 위한 하나 이상의 제품들과 연관될 수 있다. 그 다음 하나 이상의 렌더링 데이터세트들(210)이 하나 이상의 객체들(206)에 기초하여 렌더링 자산 데이터베이스(208)로부터 획득될 수 있다. 하나 이상의 렌더링 데이터세트들(210)은 하나 이상의 객체들(206)과 연관된 데이터로 렌더링 자산 데이터베이스(208)에 쿼리함으로써 획득될 수 있다. 일부 구현예에서, 하나 이상의 렌더링 데이터세트들(210)은 (예를 들어, 하나 이상의 라벨을 통해) 하나 이상의 객체들(206)과 미리 연관될 수 있다.

그 다음 하나 이상의 템플릿들(212)이 획득될 수 있다. 하나 이상의 템플릿들(212)은 하나 이상의 예시적인 환경(예를 들어, 예시적인 방, 예시적인 잔디밭 및/또는 예시적인 자동차)과 연관될 수 있다. 하나 이상의 템플릿들(212)은 사용자 데이터(202) 및/또는 하나 이상의 객체들(206)에 기초하여 결정될 수 있다. 템플릿들(212)은 이미지 데이터, 메쉬 데이터, 트레이닝된 뉴럴 래디언스 필드 모델, 3차원 표현 및/또는 가상 현실 경험을 포함할 수 있다.

하나 이상의 템플릿들(212) 및 하나 이상의 렌더링 데이터세트들(210)은 렌더링 모델(214)로 프로세싱되어 가상 환경(216)을 생성할 수 있다. 렌더링 모델(214)은 하나 이상의 뉴럴 래디언스 필드 모델, 하나 이상의 증강 모델, 및/또는 하나 이상의 메쉬 모델을 포함할 수 있다.

가상 환경(216)은 템플릿 환경에 렌더링된 하나 이상의 객체들(206)을 기술할 수 있다. 가상 환경(216)은 하나 이상의 템플릿들(212) 및 하나 이상의 렌더링 데이터세트들(210)에 기초하여 생성될 수 있다. 가상 환경(216)은 인터렉티브 사용자 인터페이스(218)에 디스플레이되도록 제공될 수 있다. 일부 구현예에서, 사용자는 인터렉티브 사용자 인터페이스(218)와 인터렉션하여 가상 환경(216)을 다양한 각도 및/또는 다양한 스케일링으로 볼 수 있다.

도 3은 본 개시의 예시적인 실시예에 따른 예시적인 증강 이미지 데이터 생성(300)의 블록도를 도시한다. 특히, 도 3은 인터렉티브 사용자 인터페이스(318)를 통해 디스플레이를 위해 제공될 수 있는, 증강 이미지 데이터(316)를 생성하기 위해 프로세싱되는 사용자 데이터(302) 및 이미지 데이터(312)를 도시한다.

사용자 데이터(302)는 사용자 컴퓨팅 시스템으로부터 획득될 수 있다. 사용자 데이터(302)는 검색 쿼리, 과거 데이터(예를 들어, 검색 기록, 브라우징 기록, 구매 기록 및/또는 인터렉션 기록), 선호도 데이터 및/또는 사용자 프로필 데이터를 포함할 수 있다. 사용자 데이터(302)는 사용자 데이터(302)와 연관된 하나 이상의 객체들(306)을 결정하기 위해 제안 블록(304)에 의해 프로세싱될 수 있다. 하나 이상의 객체들(306)은 구매를 위한 하나 이상의 제품들과 연관될 수 있다. 그 다음 하나 이상의 렌더링 데이터세트들(310)이 하나 이상의 객체들(306)에 기초하여 렌더링 자산 데이터베이스(308)로부터 획득될 수 있다. 하나 이상의 렌더링 데이터세트들(310)은 하나 이상의 객체들(306)과 연관된 데이터로 렌더링 자산 데이터베이스(308)에 쿼리함으로써 획득될 수 있다. 일부 구현예에서, 하나 이상의 렌더링 데이터 세트들(310)은 (예를 들어, 하나 이상의 라벨을 통해) 하나 이상의 객체들(306)와 미리 연관될 수 있다.

그 다음 이미지 데이터(312)가 획득될 수 있다. 이미지 데이터(312)는 하나 이상의 사용자 환경(예를 들어, 사용자의 거실, 사용자의 침실, 사용자가 있는 현재 환경, 사용자의 잔디밭, 및/또는 사용자와 연관된 특정 자동차)과 연관될 수 있다. 이미지 데이터(312)는 사용자에 의한 하나 이상의 선택에 응답하여 획득될 수 있다. 이미지 데이터(312)는 환경의 하나 이상의 이미지들을 포함할 수 있다. 일부 구현예에서, 이미지 데이터(312)는 하나 이상의 기계 학습 모델들(예를 들어, 하나 이상의 뉴럴 래디언스 필드 모델들)을 트레이닝하는 데 활용될 수 있다.

이미지 데이터(312) 및 하나 이상의 렌더링 데이터세트들(310)은 렌더링 모델(314)로 프로세싱되어 증강 이미지 데이터(316)를 생성할 수 있다. 렌더링 모델(314)은 하나 이상의 뉴럴 래디언스 필드 모델, 하나 이상의 증강 모델, 및/또는 하나 이상의 메쉬 모델을 포함할 수 있다.

증강 이미지 데이터(316)는 사용자 환경에 렌더링되는 하나 이상의 객체들(306)을 기술할 수 있다. 증강 이미지 데이터(316)는 이미지 데이터(312) 및 하나 이상의 렌더링 데이터세트들(310)에 기초하여 생성될 수 있다. 증강 이미지 데이터(316)는 인터렉티브 사용자 인터페이스(318)에 디스플레이되도록 제공될 수 있다. 일부 구현예에서, 사용자는 증강 사용자 환경에 대한 다양한 각도 및/또는 다양한 스케일링을 기술하는 증강 이미지 데이터(316)의 하나 이상의 다양한 렌더링들을 보기 위해 인터렉티브 사용자 인터페이스(318)와 인터렉션할 수 있다.

도 4는 본 개시의 예시적인 실시예에 따라 수행하는 예시적인 방법의 흐름도를 도시한다. 도 4는 예시 및 논의의 목적으로 특정 순서로 수행되는 단계를 묘사하지만, 본 개시의 방법은 특별히 예시된 순서 또는 배열에 제한되지 않는다. 방법(400)의 다양한 단계는 본 개시의 범위를 벗어나지 않고 다양한 방식으로 생략, 재배열, 결합 및/또는 적응될 수 있다.

402에서, 컴퓨팅 시스템은 사용자 데이터를 획득할 수 있다. 사용자 데이터는 특정 사용자와 연관될 수 있다. 일부 구현예에서, 사용자 데이터는 특정 사용자와 연관된 하나 이상의 이전 검색 쿼리들과 연관된 검색 기록 데이터를 포함할 수 있다. 사용자 데이터는 브라우저 데이터를 포함할 수 있다. 브라우저 데이터는 이전에 본 하나 이상의 웹 페이지들과 연관될 수 있다. 일부 구현예에서, 사용자 데이터는 하나 이상의 저장된 데이터세트들을 기술하는 데이터를 포함할 수 있다. 하나 이상의 저장된 데이터 세트들은 하나 이상의 이전 사용자 인터렉션들에 대한 응답으로 저장되었을 수 있다. 사용자 데이터는 특정 사용자와 연관된 컨텍스트 정보를 기술하는 컨텍스트 데이터를 포함할 수 있다.

404에서, 컴퓨팅 시스템은 사용자 데이터와 연관된 복수의 객체들을 결정할 수 있다. 복수의 객체들은 하나 이상의 제품 유형들과 연관된 복수의 제품들을 포함할 수 있다. 복수의 객체들은 복수의 서로 다른 가구 아이템, 복수의 서로 다른 의류 아이템, 복수의 서로 다른 사용자 정의 기능, 복수의 서로 다른 조경 아이템 및/또는 복수의 서로 다른 장식을 포함할 수 있다. 복수의 객체들은 사용자 검색 기록, 사용자 검색 기록, 사용자 프로필, 사용자 사진 데이터베이스, 사용자 구매 기록, 사용자 위치 데이터 및/또는 사용자 선호도 데이터에 기초하여 획득될 수 있다.

일부 구현예에서, 사용자 데이터는 검색 쿼리를 포함할 수 있다. 사용자 데이터와 연관된 복수의 객체들을 결정하는 것은 렌더링 자산 데이터베이스 내의 하나 이상의 렌더링 데이터 세트들이 검색 쿼리의 적어도 일부와 연관되어 있는지 결정하는 것을 포함할 수 있다. 결정은 색인화된 엔터티, 색인화된 링크, 색인화된 라벨 및/또는 하나 이상의 다른 식별자에 기초하여 이루어질 수 있다.

406에서, 컴퓨팅 시스템은 복수의 객체들에 기초하여 복수의 렌더링 데이터세트들을 획득할 수 있다. 일부 구현예에서, 복수의 렌더링 데이터세트들은 컨텍스트 데이터에 기초하여 획득될 수 있다(예를 들어, 가용성 기준, 가격 기준 및/또는 크기 기준을 충족하는 객체들과 연관된 데이터세트들을 획득). 복수의 객체들 중 각 객체는 복수의 렌더링 데이터세트들 중 하나 이상의 렌더링 데이터세트들과 연관될 수 있다. 일부 구현예에서, 복수의 렌더링 데이터세트들은 복수의 메쉬들 및 복수의 뉴럴 래디언스 필드 모델들을 포함할 수 있다. 각 뉴럴 래디언스 필드 모델은 복수의 객체들 중 서로 다른 각각의 객체의 하나 이상의 뷰 렌더링들을 생성하도록 트레이닝되었을 수 있다. 특정 사용자가 가상 환경에서 뷰 포인트 및 뷰 방향을 이동할 때 복수의 메쉬들을 활용하여 복수의 객체들을 렌더링할 수 있다. 일부 구현예에서, 복수의 뉴럴 래디언스 필드 모델들은 가상 환경에서의 뷰 포인트 및 뷰 방향이 정체됨에 따라 복수의 객체들을 렌더링하는 데 활용될 수 있다.

408에서, 컴퓨팅 시스템은 복수의 렌더링 데이터세트들에 기초하여 가상 환경을 생성할 수 있다. 가상 환경은 예시적인 환경 내의 복수의 객체들을 기술할 수 있다. 가상 환경은 복수의 3차원 표현들에 기초하여 생성될 수 있다. 3차원 표현들 중 하나 이상은 기계 학습될 수 있다. 가상 환경은 템플릿 3차원 환경에서 하나 이상의 렌더링 자산들의 앵커링과 연관될 수 있다. 템플릿은 사용자가 선택하거나, 결정론적으로 제공하거나, 무작위로 결정하거나, 과거 사용자 데이터에 기초하여 결정될 수 있다.

410에서, 컴퓨팅 시스템은 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 가상 환경을 제공할 수 있다. 인터렉티브 사용자 인터페이스는 가상 환경의 복수의 서로 다른 뷰들을 제공하도록 구성될 수 있다. 가상 환경은 증강 현실 경험, 가상 현실 경험, 혼합 현실 경험, 및/또는 하나 이상의 다른 사용자 인터페이스 요소들을 통해 디스플레이를 위해 제공될 수 있다.

일부 구현예에서, 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 가상 환경을 제공하는 것은 복수의 렌더링 데이터세트들 중 하나 이상에 기초하여 제1 뷰 렌더링을 생성하는 것을 포함할 수 있다. 제1 뷰 렌더링은 제1 포지션 및 제1 방향으로부터 가상 환경의 적어도 제1 부분을 기술하는 제1 이미지를 포함할 수 있다. 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 가상 환경을 제공하는 것은 디스플레이를 위한 제1 뷰 렌더링을 제공하는 것을 포함할 수 있다.

추가적으로 및/또는 대안적으로, 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 가상 환경을 제공하는 것은 사용자 인터페이스 입력을 획득하는 것을 더 포함할 수 있다. 사용자 인터페이스 입력은 인터렉티브 사용자 인터페이스와의 탐색 인터렉션을 포함할 수 있다. 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 가상 환경을 제공하는 것은 복수의 렌더링 데이터세트들 중 하나 이상에 기초하여 제2 뷰 렌더링을 생성하는 것을 더 포함할 수 있다. 제2 뷰 렌더링은 제2 포지션 및 제2 방향으로부터 가상 환경의 적어도 제2 부분을 기술하는 제2 이미지를 포함할 수 있다. 일부 구현예에서, 인터렉티브 사용자 인터페이스에서 디스플레이하기 위한 가상 환경을 제공하는 것은 디스플레이를 위한 제2 뷰 렌더링을 제공하는 것을 더 포함할 수 있다.

도 5는 본 개시의 예시적인 실시예에 따른 예시적인 사용자 데이터 프로세싱 시스템(500)의 블록도를 도시한다. 특히, 도 5는 인터렉티브 사용자 인터페이스(506)를 통해 제공될 가상 환경을 생성하기 위해 생성 블록(504)으로 사용자 데이터(502)를 프로세싱하는 것을 도시한다.

사용자 데이터(502)는 검색 기록 데이터(예를 들어, 특정 사용자 및/또는 사용자 그룹에 의해 이전에 입력된 검색 쿼리, 이전에 선택된 검색 결과 및/또는 이전에 입력된 검색 파라미터), 하나 이상의 검색 쿼리(예를 들어, 하나 이상의 검색어, 하나 이상의 쿼리 이미지 및/또는 하나 이상의 오디오 쿼리), 구매 기록 데이터(예를 들어, 이전에 구매한 제품, 이전에 사용자의 장바구니에 담았던 제품 및/또는 위시리스트 객체), 이미지 데이터(예를 들어, 환경에 대한 하나 이상의 이미지 및/또는 하나 이상의 객체에 대한 하나 이상의 이미지), 프로필 데이터(예를 들어, 한 명 이상의 사용자와 연관된 하나 이상의 프로필과 연관된 데이터), 선호도 데이터(예를 들어, 하나 이상의 사용자 인터렉션에 기초하여 수동으로 입력 및/또는 추론된 하나 이상의 선호도) 및/또는 기타 데이터를 포함할 수 있다.

사용자 데이터(502)는 하나 이상의 렌더링 블록(예를 들어, 하나 이상의 뉴럴 래디언스 필드 모델), 하나 이상의 분할 모델, 하나 이상의 객체 검출 모델, 하나 이상의 객체 인식 모델, 하나 이상의 자연어 프로세싱 모델, 하나 이상의 증강 모델 및/또는 하나 이상의 의미론적(semantic) 이해 모델을 포함할 수 있는 생성 블록(504)에 의해 프로세싱될 수 있다.

인터렉티브 사용자 인터페이스(506)는 생성 블록(504)에 의해 생성된 하나 이상의 가상 환경을 활용하여 제안된 증강 환경을 보기 위한 인터렉티브 경험을 제공할 수 있다. 인터렉티브 사용자 인터페이스(506)는 환경 내의 하나 이상의 객체들의 하나 이상의 뷰 렌더링들을 생성하기 위해 하나 이상의 메쉬들 및/또는 하나 이상의 뉴럴 래디언스 필드 모델들을 활용할 수 있다. 대안적으로 및/또는 추가적으로, 인터렉티브 사용자 인터페이스(506)는 디스플레이를 위한 가상 환경을 제공하기 위해 증강 현실 경험 및/또는 가상 현실 경험을 활용할 수 있다. 예를 들어, 객체가 렌더링된 환경의 3차원 표현은 증강 현실 및/또는 가상 현실을 통해 디스플레이되도록 제공될 수 있다.

추가적으로 및/또는 대안적으로, 인터렉티브 사용자 인터페이스(506)는 디스플레이하기 위한 정보를 제공하고 및/또는 입력을 수신하기 위해 하나 이상의 사용자 인터페이스 요소들을 활용할 수 있다. 예를 들어, 사용자 인터페이스 요소들은 자동으로 및/또는 하나 이상의 선택에 기초하여 하나 이상의 객체들에 대한 추가 정보를 제공할 수 있다. 하나 이상의 사용자 인터페이스 요소들은 가상 환경의 하나 이상의 서로 다른 각도 및/또는 포지션을 보기 위해 가상 환경을 탐색하는 데 활용될 수 있다. 추가적으로 및/또는 대안적으로, 사용자 인터페이스 요소들은 사용자가 가상 환경을 스케일링하여 가상 환경을 다양한 크기로 볼 수 있게 할 수 있다. 일부 구현예에서, 하나 이상의 사용자 인터페이스 요소들은 환경에서 하나 이상의 객체들을 재배치하고, 하나 이상의 객체들을 제거하고, 하나 이상의 객체들을 추가하고, 및/또는 하나 이상의 객체들을 대체하는 데 활용될 수 있다.

도 6은 본 발명의 예시적인 실시예에 따른 예시적인 검색 쿼리 프로세싱 시스템(600)의 블록도를 도시한다. 특히, 도 6은 인터렉티브 사용자 인터페이스(618)를 통해 디스플레이를 위해 제공될 수 있는 증강 이미지 데이터(616)를 생성하기 위해 프로세싱되는 검색 쿼리(602) 및/또는 이미지 데이터(612)를 도시한다.

검색 쿼리(602)는 사용자 컴퓨팅 시스템으로부터 획득될 수 있다. 검색 쿼리(602)는 하나 이상의 문자들(예를 들어, 하나 이상의 단어들), 이미지 데이터(예를 들어, 객체의 하나 이상의 이미지들, 스타일의 하나 이상의 이미지들 및/또는 비디오), 오디오 데이터(예를 들어, 스피치 데이터) 및/또는 제스처 데이터이다. 검색 쿼리(602)는 검색 쿼리(602)와 연관된 하나 이상의 검색 결과들(606)(예를 들어, 검색 쿼리(602)에 응답하는 하나 이상의 객체들)을 결정하기 위해 검색 엔진(604)에 의해 프로세싱될 수 있다. 하나 이상의 검색 결과들(606)은 구매를 위한 하나 이상의 제품들과 연관될 수 있다. 하나 이상의 검색 결과들(606)은 검색 쿼리(602)에 응답하는 하나 이상의 객체들을 기술할 수 있다. 하나 이상의 객체들은 구매할 제품들을 포함할 수 있다. 예를 들어, 검색 쿼리(602)는 가격 범위, 스타일, 환경 유형, 제품 유형 및/또는 하나 이상의 품질을 기술할 수 있다. 하나 이상의 검색 결과들(606)은 검색 쿼리(602)의 기술하는 구성에 응답하는 하나 이상의 제품일 수 있다. 그 다음 하나 이상의 렌더링 데이터세트들(610)이 하나 이상의 검색 결과들(606)에 기초하여 렌더링 자산 데이터베이스(608)로부터 획득될 수 있다. 하나 이상의 렌더링 데이터세트들(610)은 하나 이상의 검색 결과들(606) 및/또는 검색 쿼리(602)와 연관된 데이터로 렌더링 자산 데이터베이스(608)에 쿼리함으로써 획득될 수 있다. 일부 구현예에서, 하나 이상의 렌더링 데이터세트들(610) 은 (예를 들어, 하나 이상의 라벨을 통해) 하나 이상의 검색 결과들(606)과 연관된 하나 이상의 객체들과 미리 연관될 수 있다.

그 다음 이미지 데이터(612A)가 획득될 수 있다. 이미지 데이터(612A)는 하나 이상의 사용자 환경(예를 들어, 사용자의 거실, 사용자의 침실, 사용자가 있는 현재 환경, 사용자의 잔디밭, 및/또는 사용자와 연관된 특정 자동차)과 연관될 수 있다. 이미지 데이터(612A)는 사용자에 의한 하나 이상의 선택에 응답하여 획득될 수 있다. 이미지 데이터(612A)는 환경의 하나 이상의 이미지들을 포함할 수 있다. 일부 구현예에서, 이미지 데이터(612A)는 하나 이상의 기계 학습 모델들(예를 들어, 하나 이상의 뉴럴 래디언스 필드 모델들)을 트레이닝하는 데 활용될 수 있다.

대안적으로 및/또는 추가적으로, 하나 이상의 템플릿들(612B)이 획득될 수 있다. 하나 이상의 템플릿들(612B)은 하나 이상의 예시적인 환경(예를 들어, 예시적인 방, 예시적인 잔디밭 및/또는 예시적인 자동차)과 연관될 수 있다. 하나 이상의 템플릿들(612B)은 검색 쿼리(602) 및/또는 하나 이상의 검색 결과들(606)에 기초하여 결정될 수 있다. 템플릿들(612B)은 이미지 데이터, 메쉬 데이터, 트레이닝된 뉴럴 래디언스 필드 모델, 3차원 표현 및/또는 가상 현실 경험을 포함할 수 있다.

이미지 데이터(612A), 하나 이상의 템플릿들(612B) 및/또는 하나 이상의 렌더링 데이터세트들(610)은 렌더링 모델(614)을 사용하여 프로세싱되어 증강 이미지 데이터(616)를 생성할 수 있다. 렌더링 모델(614)은 하나 이상의 뉴럴 래디언스 필드 모델, 하나 이상의 증강 모델, 및/또는 하나 이상의 메쉬 모델을 포함할 수 있다.

증강 이미지 데이터(616)는 사용자 환경에 렌더링되는 하나 이상의 검색 결과들(606)과 연관된 하나 이상의 객체들을 기술할 수 있다. 증강 이미지 데이터(616)는 이미지 데이터(612A), 하나 이상의 템플릿들(612B) 및/또는 하나 이상의 렌더링 데이터세트들(610)에 기초하여 생성될 수 있다. 증강 이미지 데이터(616)는 인터렉티브 사용자 인터페이스(618)에 디스플레이되도록 제공될 수 있다. 일부 구현예에서, 사용자는 증강 사용자 환경에 대한 다양한 각도 및/또는 다양한 스케일링을 기술하는 증강 이미지 데이터(616)의 하나 이상의 다양한 렌더링들을 보기 위해 인터렉티브 사용자 인터페이스(618)와 인터렉션할 수 있다.

도 7은 본 발명의 예시적인 실시예에 따라 수행하는 예시적인 방법의 흐름도를 도시한다. 도 7에서는 예시 및 논의의 목적으로 특정 순서로 수행되는 단계를 묘사하지만, 본 개시의 방법은 특별히 예시된 순서 또는 배열에 제한되지 않는다. 방법(700)의 다양한 단계는 본 개시의 범위를 벗어나지 않고 다양한 방식으로 생략, 재배열, 결합 및/또는 적응될 수 있다.

702에서, 컴퓨팅 시스템은 사용자 데이터 및 이미지 데이터를 획득할 수 있다. 사용자 데이터는 특정 사용자와 연관될 수 있다. 사용자 데이터는 사용자와 연관된 과거 데이터, 사용자와 연관된 사용자 입력 데이터, 및/또는 사용자와 연관된 센서 데이터를 기술할 수 있다. 이미지 데이터는 사용자 환경을 기술할 수 있다. 예를 들어, 사용자 환경은 사용자의 침실, 사용자의 거실, 사용자의 마당, 사용자의 자동차 및/또는 사용자의 사무실이 될 수 있다.

704에서, 컴퓨팅 시스템은 사용자 데이터와 연관된 복수의 객체들을 결정할 수 있다. 복수의 객체들은 하나 이상의 제품 유형들과 연관된 복수의 제품들을 포함할 수 있다. 일부 구현예에서, 복수의 객체들은 복수의 서로 다른 가구 아이템들을 포함할 수 있다. 복수의 서로 다른 가구 아이템들은 제1 제품과 연관된 특정 시트를 포함할 수 있다. 일부 구현예에서, 복수의 서로 다른 가구 아이템들은 제2 제품과 연관된 특정 테이블을 포함할 수 있다.

706에서, 컴퓨팅 시스템은 복수의 객체들에 기초하여 복수의 렌더링 데이터세트들을 획득할 수 있다. 복수의 객체들 중 각 객체는 복수의 렌더링 데이터세트들 중 하나 이상의 렌더링 데이터세트들과 연관될 수 있다. 각 렌더링 데이터세트는 증강 현실 렌더링 데이터세트, 가상 현실 렌더링 데이터세트 및/또는 다른 렌더링 데이터세트 유형을 포함할 수 있다. 일부 구현예에서, 각 렌더링 데이터세트는 학습된 3차원 표현과 연관된 하나 이상의 학습된 파라미터들을 갖는 하나 이상의 메쉬들 및/또는 하나 이상의 뉴럴 래디언스 필드 모델들을 포함할 수 있다.

708에서, 컴퓨팅 시스템은 복수의 렌더링 데이터세트들에 기초하여 증강 이미지 데이터를 생성할 수 있다. 증강 이미지 데이터는 사용자 환경 내의 복수의 객체들을 기술할 수 있다. 일부 구현예에서, 증강 이미지 데이터는 하나 이상의 증강 이미지들을 포함할 수 있다. 하나 이상의 증강 이미지들은 하나 이상의 뉴럴 래디언스 필드 모델들에 의해 생성된 복수의 예측 색상 값들 및 복수의 예측 밀도 값들에 기초하여 생성될 수 있다.

710에서, 컴퓨팅 시스템은 인터렉티브 사용자 인터페이스를 통해 디스플레이하기 위한 증강 이미지 데이터를 제공할 수 있다. 인터렉티브 사용자 인터페이스는 사용자 환경에서 복수의 객체들에 대한 복수의 서로 다른 뷰들을 제공하도록 구성될 수 있다. 인터렉티브 사용자 인터페이스는 증강 현실 경험, 가상 현실 경험 및/또는 혼합 현실 경험을 포함할 수 있다. 일부 구현예에서, 인터렉티브 사용자 인터페이스는 환경에 렌더링된 객체들을 사용하여 사용자 환경의 하나 이상의 각도들을 볼 수 있도록 구성될 수 있다.

일부 구현예에서, 컴퓨팅 시스템은 복수의 제품들 중 특정 제품과 연관된 특정 렌더링과 연관된 사용자 입력 데이터를 획득하고 증강 이미지 데이터를 조정하여 특정 렌더링을 다른 렌더링으로 대체할 수 있다. 다른 렌더링은 복수의 제품들 각각과 상이한 다른 제품과 연관될 수 있다.

도 8은 본 발명의 예시적인 실시예에 따라 수행하는 예시적인 방법의 흐름도를 도시한다. 도 8에서는 예시 및 논의의 목적으로 특정 순서로 수행되는 단계를 묘사하지만, 본 개시의 방법은 특별히 예시된 순서 또는 배열에 제한되지 않는다. 방법(800)의 다양한 단계는 본 개시의 범위를 벗어나지 않고 다양한 방식으로 생략, 재배열, 결합 및/또는 적응될 수 있다.

802에서, 컴퓨팅 시스템은 검색 쿼리를 획득하고 검색 쿼리를 프로세싱하여 하나 이상의 검색 결과들을 결정할 수 있다. 검색 쿼리는 복수의 문자들을 포함할 수 있다. 대안적으로 및/또는 추가적으로, 검색 쿼리는 하나 이상의 쿼리 이미지들을 포함할 수 있다. 검색 쿼리는 사용자 인터페이스의 쿼리 입력창을 통해 수신되는 입력을 통해 획득될 수 있다. 검색 쿼리는 검색 애플리케이션 및/또는 브라우저 애플리케이션을 통해 획득될 수 있다.

하나 이상의 검색 결과들은 하나 이상의 특정 객체들과 연관될 수 있다. 하나 이상의 검색 결과들은 검색 쿼리, 사용자 프로필 데이터, 위치 데이터, 과거 데이터, 추세 데이터 및/또는 선호도 데이터에 기초하여 결정될 수 있다.

804에서, 컴퓨팅 시스템은 하나 이상의 검색 결과들이 렌더링 자산 데이터베이스 내의 하나 이상의 렌더링 데이터세트들과 연관되어 있는지 결정할 수 있다. 렌더링 자산 데이터베이스는 복수의 서로 다른 객체들과 연관된 복수의 저장된 렌더링 데이터세트들을 포함할 수 있다. 각 렌더링 데이터세트는 하나 이상의 메쉬들, 하나 이상의 3차원 표현들, 하나 이상의 기계 학습 모델들(예를 들어, 하나 이상의 뉴럴 래디언스 필드 모델들), 뉴럴 래디언스 필드 데이터, 이미지 데이터, 비디오 데이터 및/또는 하나 이상의 기타 데이터 파일을 포함할 수 있다.

806에서, 컴퓨팅 시스템은 렌더링 자산 데이터베이스로부터 하나 이상의 렌더링 데이터세트들을 획득할 수 있다. 하나 이상의 렌더링 데이터세트들은 하나 이상의 메쉬들 및 하나 이상의 특정 객체들과 연관된 하나 이상의 뉴럴 래디언스 필드 모델들을 포함할 수 있다. 하나 이상의 메쉬들은 뉴럴 래디언스 필드 모델이 포지션 및 뷰 방향을 프로세싱하여 새로운 뷰 렌더링을 생성하므로 3차원 시각화로 활용될 수 있다.

808에서, 컴퓨팅 시스템은 이미지 데이터를 획득할 수 있다. 이미지 데이터는 하나 이상의 이미지 센서들을 사용하여 생성될 수 있다. 일부 구현예에서, 이미지 데이터는 사용자 환경을 기술할 수 있다. 이미지 데이터는 모바일 컴퓨팅 장치로부터 획득될 수 있고 모바일 컴퓨팅 장치의 하나 이상의 이미지 센서들을 통해 생성될 수 있다. 이미지 데이터는 침실, 거실, 주방, 욕실, 차고, 잔디밭, 공원 및/또는 다른 환경을 포함할 수 있는 사용자 환경을 기술할 수 있다.

810에서, 컴퓨팅 시스템은 하나 이상의 렌더링 데이터세트들에 기초하여 증강 이미지 데이터를 생성할 수 있다. 증강 이미지 데이터는 사용자 환경의 하나 이상의 객체들을 기술할 수 있다. 증강 이미지 데이터는 하나 이상의 렌더링 데이터세트들 및 이미지 데이터를 증강 모델로 프로세싱하여 생성될 수 있다. 하나 이상의 렌더링 데이터세트들은 하나 이상의 객체들의 하나 이상의 렌더링들을 생성하는 데 활용될 수 있으며, 증강 모델은 하나 이상의 렌더링들을 포함하도록 이미지 데이터를 증강할 수 있다.

812에서, 컴퓨팅 시스템은 인터렉티브 사용자 인터페이스를 통해 디스플레이하기 위한 증강 이미지 데이터를 제공할 수 있다. 인터렉티브 사용자 인터페이스는 사용자 환경 내의 하나 이상의 객체들에 대한 복수의 서로 다른 뷰들을 제공하도록 구성될 수 있다. 인터렉티브 사용자 인터페이스를 통해 사용자는 렌더링된 환경에 대한 뷰 포인트, 뷰 방향 및 크기 조정을 변경할 수 있다. 사용자는 환경의 일부를 선택할 수 있고 선택기를 새로운 포지션으로 이동하여 환경을 기울일 수 있다. 대안적으로 및/또는 추가적으로, 환경의 위치는 해당 뷰 포인트에서 환경을 보기 위해 선택될 수 있다. 일부 구현예에서, 인터렉티브 사용자 인터페이스는 증강 환경의 시청 경험을 조정하기 위한 사용자 인터페이스 요소를 포함할 수 있다.

도 9는 본 개시 내용의 예시적인 실시예에 따른 예시적인 렌더링 흐름 시스템(900)의 블록도를 도시한다. 도 5와 유사하게, 도 9는 인터렉티브 사용자 인터페이스(906)를 통해 디스플레이를 위해 제공될 수 있는 가상 환경을 생성하기 위해 생성 블록(904)으로 사용자 데이터(902)를 프로세싱하는 것을 도시한다. 추가적으로, 도 9는 가상 환경의 초기 렌더링(910)을 디스플레이하는 것을 도시한다. 초기 렌더링(910)은 뷰 렌더링을 생성하기 위해 하나 이상의 뉴럴 래디언스 필드 모델들을 사용하여 포지션 및 뷰 방향을 프로세싱하는 것에 기초하여 생성될 수 있다. 대안적으로 및/또는 추가적으로, 초기 렌더링(910)은 하나 이상의 객체들을 포함하도록 하나 이상의 이미지들을 확대함으로써 생성될 수 있다.

사용자는 하나 이상의 추가 입력을 제공함으로써 가상 환경과 추가로 인터렉션할 수 있다. 예를 들어, 사용자는 탐색 입력(920)을 제공할 수 있다. 탐색 입력(920)은 다른 각도 및/또는 다른 포지션에서 가상 환경을 보기 위해 가상 환경 전체를 탐색하는 하나 이상의 입력을 기술할 수 있다. 일부 구현예에서, 인터렉티브 사용자 인터페이스(906)는 디스플레이가 제1 포지션 및/또는 제1 뷰 방향에서 제2 포지션 및/또는 제2 뷰 방향으로 전환할 때 이동 파이프라인을 활용할 수 있고, 인터렉티브 사용자 인터페이스(906)는 적어도 임계 기간 동안 디스플레이되는 뷰 포지션 및 뷰 방향에 대해 정체된(stagnant) 파이프라인을 활용할 수 있다.

이동 파이프라인은 디스플레이가 제1 포지션 및/또는 제1 뷰 방향에서 제2 포지션 및/또는 제2 뷰 방향으로 전환될 때 디스플레이될 하나 이상의 탐색 렌더링들(924)을 생성하기 위해 메쉬 모델(922)로 탐색 입력(920)을 프로세싱하는 것을 포함할 수 있다. 메쉬 모델(922)은 하나 이상의 3차원 메쉬들을 활용하여 객체 및/또는 환경의 모양 및/또는 색상을 렌더링할 수 있다.

정체된 파이프라인은 탐색 입력(920)과 연관된 최종 포지션 및 최종 뷰 방향을 결정하기 위해 포지션/방향 결정 블록(926)으로 탐색 입력(920)을 프로세싱할 수 있다. 결정된 포지션 및 결정된 뷰 방향은 하나 이상의 뉴럴 래디언스 필드 모델들(928)에 의해 프로세싱되어 정제된(refined) 렌더링(930)을 생성할 수 있다. 정제된 렌더링(930)은 하나 이상의 탐색 렌더링들(924)을 대체할 수 있다. 추가적으로 및/또는 대안적으로, 정제된 렌더링(930)의 디스플레이 직전에 디스플레이를 위한 하나 이상의 탐색 렌더링들이 제공될 수 있다.

대안적으로 및/또는 추가적으로, 하나 이상의 추가 입력은 정보 입력(940)을 포함할 수 있다. 예를 들어, 특정 객체 및/또는 복수의 객체들에 대한 추가 정보를 획득하기 위한 요청을 기술할 수 있는 정보 입력(940)이 획득될 수 있다. 검색 블록(942)(예를 들어, 검색 엔진 및/또는 의미론적 이해 모델)은 정보 입력(940)을 프로세싱하여 정보 출력(944)을 생성할 수 있다. 정보 출력(944)은 가격(또는 가격 범위), 스타일, 재료, 색상 옵션, 무게, 크기, 배송 시간, 기타 옵션, 객체와 연관된 엔터티, 객체 이름, 객체와 연관된 웹사이트, 소매점 및/또는 설명을 포함할 수 있는, 하나 이상의 객체들에 대한 추가 정보를 포함할 수 있다. 그 다음 정보 출력(944)은 하나 이상의 사용자 인터페이스 요소들(예를 들어, 팝업 창, 정보 오버레이, 오디오 알림, 별도의 창 등)을 통해 디스플레이되도록 제공될 수 있다.

일부 구현예에서, 추가 입력은 대체/삭제 입력(950)을 포함할 수 있다. 대체/삭제 입력(950)은 하나 이상의 객체 렌더링들을 대체 및/또는 제거하는 것을 기술할 수 있다. 대체/삭제 입력(950)은 프로세싱될 수 있고, 대체 또는 제거를 완료하기 위한 하나 이상의 옵션들을 사용자에게 제공하기 위해 하나 이상의 사용자 인터페이스 요소들이 제공될 수 있다. 예를 들어, 선택된 객체를 대체하는 데 사용될 수 있는 특정 객체 클래스의 다른 객체에 대한 하나 이상의 대체 옵션이 디스플레이를 위해 제공될 수 있다. 다른 물건들은 동일한 가격 범위, 동일한 재료, 동일한 색상일 수 있으며/또는 하나 이상의 측면에서 다를 수 있다. 대체/삭제 입력(950)은 그 후 렌더링 블록(950)에 의해 프로세싱되어 조정된 렌더링(954)을 생성할 수 있다. 조정된 렌더링(954)은 하나 이상의 선택된 객체들이 대체 및/또는 삭제된 가상 환경을 기술할 수 있다.

도 10은 본 개시의 예시적인 실시예에 따른 예시적인 뉴럴 래디언스 필드 모델 트레이닝(1000)의 블록도를 도시한다. 뉴럴 래디언스 필드 모델(1006)을 트레이닝하는 것은 하나 이상의 트레이닝 데이터세트들을 프로세싱하는 것을 포함할 수 있다. 하나 이상의 트레이닝 데이터세트들은 하나 이상의 객체 및/또는 하나 이상의 환경에 특정될 수 있다. 예를 들어, 뉴럴 래디언스 필드 모델(1006)은 트레이닝 포지션(1002)(예를 들어, 3차원 포지션) 및 트레이닝 뷰 방향(1004)(예를 들어, 2차원 뷰 방향 및/또는 벡터)을 프로세싱하여 하나 이상의 예측 색상 값들(1008) 및/또는 하나 이상의 예측 밀도 값들(1010)을 생성할 수 있다. 하나 이상의 예측 색상 값들(1008) 및 하나 이상의 예측 밀도 값들(1010)은 뷰 렌더링(1012)을 생성하는 데 활용될 수 있다.

트레이닝 포지션(1002) 및 트레이닝 뷰 방향(1004)과 연관된 트레이닝 이미지(1014)가 획득될 수 있다. 트레이닝 이미지(1014) 및 뷰 렌더링(1012)은 손실 함수(1016)를 평가하는데 활용될 수 있다. 그런 다음 평가는 뉴럴 래디언스 필드 모델(1006)의 하나 이상의 파라미터들을 조정하는 데 활용될 수 있다. 예를 들어, 트레이닝 이미지(1014) 및 뷰 렌더링(1012)은 손실 함수(1016)를 평가하여 경사 하강을 생성하는 데 활용될 수 있으며, 이는 하나 이상의 파라미터들을 조정하기 위해 역전파될 수 있다. 손실 함수(1016)는 L2 손실 함수, 인지적 손실 함수, 평균 제곱 손실 함수, 교차 엔트로피 손실 함수, 및/또는 힌지 손실 함수를 포함할 수 있다.

도 11은 본 개시의 예시적인 실시예에 따른 예시적인 정보화된 객체 선택 및 렌더링 시스템(1100)의 블록도를 도시한다. 특히, 정보화된 객체 선택 및 렌더링 시스템(1100)은 사용자의 컨텍스트 정보(1114) 및/또는 사용자에 대한 가용성에 기초하여 하나 이상의 객체들과 연관된 렌더링 데이터세트들(1112)의 선택을 포함할 수 있다. 정보화된 객체 선택 시스템(1100)은 컨텍스트 정보(1114) 및/또는 다른 사용자 데이터를 활용하여 사용자가 획득(예를 들어 구매)할 수 있는 객체들과 연관된 렌더링 데이터세트들(1112)을 결정할 수 있다.

예를 들어, 컨텍스트 정보(1114)는 사용자 컴퓨팅 시스템으로부터 획득될 수 있다. 컨텍스트 정보(1114)는 하나 이상의 검색 쿼리, 사용자의 위치, 가격 범위, 사용자에 대한 다른 가용성 기준, 선호도, 과거 데이터(예를 들어, 검색 기록 데이터, 브라우징 기록 데이터 및/또는 구매 기록 데이터) 및/또는 사용자 프로필 데이터를 포함할 수 있다. 검색 쿼리는 하나 이상의 객체, 하나 이상의 스타일 및/또는 하나 이상의 기타 세부사항과 연관될 수 있다.

컨텍스트 정보(1114)는 객체 선택(1116)을 위해 프로세싱될 수 있다. 객체 선택(1116)은 컨텍스트 정보(1114)와 연관된 렌더링 데이터세트와 연관된 객체를 결정하는 것을 포함할 수 있다. 선택된 렌더링 데이터세트(1112)는 복수의 렌더링 데이터세트들(1112)로부터의 렌더링 데이터세트일 수 있다. 복수의 렌더링 데이터세트들(1112)은 알려진 특성을 갖는 복수의 객체들과 연관된 복수의 저장된 뉴럴 래디언스 필드(NeRF) 모델들을 포함할 수 있다. 복수의 렌더링 데이터세트들(1112)은 렌더링 데이터세트 라이브러리에 저장될 수 있으며 위치, 가격, 액션 링크(예를 들어, 웹사이트의 세부정보에 대한 링크, 객체와 연관된 제품을 구매하기 위한 링크 및/또는 추적 링크) 및/또는 추가적인 알려진 특성과 연관된 메타데이터와 함께 저장될 수 있다.

객체 선택(1116)은 컨텍스트 정보(1114)에 기초하여 사용자와 연관된 위치 및/또는 가격 범위를 결정하는 것을 포함할 수 있고, 사용자의 위치 및/또는 사용자의 가격 범위 내에서 이용가능한 객체에 기초하여 특정 객체를 선택할 수 있다. 객체 선택(1116)은 검색 쿼리에 응답하여 검색 결과들을 결정하는데 활용될 수 있고 및/또는 사용자에게 제안들을 제공하는데 활용될 수 있다. 일부 구현예에서, 선택된 렌더링 데이터 세트(1130)는 검색 결과 인터페이스 및/또는 제안 인터페이스(예를 들어, 발견 인터페이스)에 디스플레이될 수 있는 하나 이상의 렌더링들을 생성하는 데 활용될 수 있다. 렌더링들은 사용자 환경 및/또는 템플릿 환경 내의 객체들을 기술할 수 있다. 따라서, 정보화된 객체 선택 시스템(1100)은 렌더링 데이터세트가 위치, 크기 및/또는 가격 범위에 기초하여 사용자에게 이용가능한 객체를 기술하는 라이브 시착 경험 및/또는 다른 렌더링 태스크를 위한 렌더링 데이터세트와 함께 검색 결과들 및/또는 제안들을 제공하는데 활용될 수 있다.

예를 들어, 선택된 렌더링 데이터 세트는 렌더링 블록(1118)으로 프로세싱되어 하나 이상의 뷰 합성 이미지들(1120)을 생성할 수 있다. 하나 이상의 뷰 합성 이미지들(1120)은 인터렉티브 사용자 인터페이스(1122)를 통해 디스플레이되도록 제공될 수 있다. 하나 이상의 뷰 합성 이미지들(1120)은 객체의 새로운 뷰를 기술할 수 있고/있거나 객체가 환경(예를 들어, 사용자 환경 및/또는 템플릿 환경)으로 렌더링될 수 있다. 인터렉티브 사용자 인터페이스(1122)는 선택된 렌더링 데이터세트 및 렌더링 블록(1118)을 활용하여 객체가 환경에 렌더링된 환경의 가상 워크스루(walkthrough)를 생성 및/또는 제공할 수 있다. 예를 들어, 인터렉티브 사용자 인터페이스(1122)는 사용자가 객체와 함께 렌더링된 환경을 통해 탐색할 수 있게 해줄 수 있으며, 이는 하나 이상의 탐색 선택에 응답하여 업데이트된 뷰 렌더링들을 생성하는 것을 포함할 수 있다.

추가적으로 및/또는 대안적으로, 인터렉티브 사용자 인터페이스(1122)는 추가 렌더링 데이터세트들을 획득하고 활용하는 데 활용될 수 있는 하나 이상의 사용자 정의 옵션을 포함할 수 있으며, 이는 업데이트된 선택 및/또는 다수의 렌더링된 객체들을 한 번에 보기 위한 추가 선택을 포함할 수 있다. 일부 구현예에서, 렌더링된 환경은 사용자와 연관된 하나 이상의 렌더링 데이터세트들을 포함할 수 있으며, 이는 사용자 이미지 데이터에 대해 트레이닝된 뉴럴 래디언스 필드 모델을 포함할 수 있다. 사용자 정의에는 객체 이동, 객체 대체, 객체 추가 및/또는 객체 제거가 포함될 수 있다.

일부 구현예에서, 하나 이상의 뷰 합성 이미지들(1120) 및/또는 선택된 렌더링 데이터세트와 연관된 데이터는 하나 이상의 시각적 검색 결과들(1126)를 획득하기 위한 시각적 검색 쿼리(1124)로서 활용될 수 있다. 하나 이상의 시각적 검색 결과들(1126)은 하나 이상의 선호도 기준을 충족하는 알려진 가용성을 갖는 알려진 객체들과 연관될 수 있다. 하나 이상의 시각적 검색 결과들(1126)은 선택된 렌더링 데이터세트와 미리 연관될 수 있다. 대안적으로 및/또는 추가적으로, 하나 이상의 시각적 검색 결과들(1126)은 하나 이상의 뷰 합성 이미지들(1120)과의 시각적 유사성에 기초할 수 있다. 일부 구현예에서, 검색 엔진은 하나 이상의 시각적 검색 결과들(1126)을 결정하기 위해 하나 이상의 뷰 합성 이미지들(1120) 및 컨텍스트 정보(1114)를 프로세싱할 수 있다.

시각적 검색 쿼리(1124)는 특정 뷰 합성 이미지를 포함할 수 있고, 뷰 합성 이미지의 잘린 부분 및/또는 선택된 렌더링 데이터세트와 연관된 하나 이상의 트레이닝 이미지들을 포함할 수 있다. 예를 들어, 시각적 검색 쿼리(1124)는 특정 뷰 합성 이미지의 분할된 부분을 포함할 수 있다. 사용자는 하나 이상의 뷰 합성 이미지들(1120)에서 객체를 선택하여 이미지에서 객체를 분할한 다음 시각적 검색 쿼리(1124)로 활용할 수 있다.

도 12는 본 개시의 예시적인 실시예에 따른 예시적인 증강 환경 생성 시스템(1200)의 블록도를 도시한다. 특히, 도 12는 사용자 데이터(1202)(예를 들어, 검색 쿼리, 검색 파라미터, 선호도 데이터, 과거 사용자 데이터 및/또는 이미지 데이터)를 획득하고, 환경(1206)으로 렌더링된 복수의 객체들(1204)을 포함하는 증강 환경(1208)의 3차원 표현을 기술하는 인터렉티브 사용자 인터페이스(1210)를 사용자에게 출력하는 것을 포함하는 증강 환경 생성 시스템(1200)을 묘사한다.

예를 들어, 사용자와 연관된 사용자 데이터(1202)가 획득될 수 있다. 사용자 데이터(1202)는 검색 쿼리(예를 들어, 하나 이상의 키워드 및/또는 하나 이상의 쿼리 이미지), 과거 데이터(예를 들어, 사용자의 검색 기록, 사용자의 브라우저 기록 및/또는 사용자의 구매 기록), 선호도 데이터(예를 들어, 명시적으로 입력된 선호도, 학습된 선호도 및/또는 선호도의 가중치 조정), 정제 파라미터들(예를 들어, 가격 범위, 위치, 브랜드, 등급 및/또는 크기) 및/또는 생성된 컬렉션(예를 들어, 쇼핑 카트 및/또는 가상 관심 보드를 포함할 수 있는 사용자에 의해 생성된 컬렉션)을 포함할 수 있다.

사용자 데이터(1202)는 하나 이상의 객체들(1204)를 결정하는 데 활용될 수 있다. 하나 이상의 객체들(1204)은 사용자 데이터(1202)에 응답할 수 있다. 예를 들어, 하나 이상의 객체들(1204)은 검색 쿼리 및/또는 하나 이상의 정제 파라미터들에 응답하는 검색 결과들과 연관될 수 있다. 일부 구현예에서, 하나 이상의 객체들(1204)은 객체를 제안하도록 트레이닝된 하나 이상의 기계 학습 모델로 사용자 데이터(1202)를 프로세싱함으로써 결정될 수 있다.

하나 이상의 객체들(1204)과 연관된 하나 이상의 렌더링 데이터세트들은 인터렉티브 사용자 인터페이스(1210)에 제공될 수 있는 증강 환경(1208)을 생성하기 위해 강화 및 환경(1206)을 위해 획득될 수 있다. 하나 이상의 렌더링 데이터세트들은 각 특정 객체에 대한 하나 이상의 메쉬들 및 하나 이상의 뉴럴 래디언스 필드 데이터세트들(예를 들어, 객체와 연관된 하나 이상의 학습된 파라미터들을 갖는 하나 이상의 뉴럴 래디언스 필드 모델들)을 포함할 수 있다.

증강 환경(1208)은 환경 탐색의 인스턴스 동안 환경(1206)에서 렌더링된 메쉬들로서 제공될 수 있고 특정 포지션 및 뷰 방향으로부터 증강 환경(1208)을 보는 동안 획득되는 임계 시간의 인스턴스 동안 환경(1206)에서 뉴럴 래디언스 필드 렌더링들과 함께 제공될 수 있다.

탐색 및 정체는 인터렉티브 사용자 인터페이스(1210)와의 인터렉션에 응답하여 발생할 수 있다. 인터렉티브 사용자 인터페이스(1210)는 하나 이상의 객체들(1204)에 대한 추가 정보를 제공하기 위한 팝업 요소를 포함할 수 있고/있거나 객체들(1204)를 대체/추가/삭제하는 데 활용될 수 있다.

환경(1206)은 템플릿 환경일 수 있고/있거나 하나 이상의 사용자 입력(예를 들어, 가상 모델 생성 및/또는 하나 이상의 입력 이미지)에 기초하여 생성된 사용자 환경일 수 있다.

도 13a는 본 개시의 예시적인 실시예에 따라 가상 환경 생성을 수행하는 예시적인 컴퓨팅 시스템(1300)의 블록도를 도시한다. 시스템(1300)은 네트워크(1380)를 통해 통신가능하게 연결된 사용자 컴퓨팅 장치(1302), 서버 컴퓨팅 시스템(1330) 및 트레이닝 컴퓨팅 시스템(1350)을 포함한다.

사용자 컴퓨팅 장치(1302)는 예를 들어, 개인용 컴퓨팅 장치(예: 랩탑 또는 데스크탑), 모바일 컴퓨팅 장치(예: 스마트폰 또는 태블릿), 게임 콘솔 또는 컨트롤러, 웨어러블 컴퓨팅 장치, 내장형 컴퓨팅 장치 또는 기타 모든 유형의 컴퓨팅 장치와 같은 임의의 유형의 컴퓨팅 장치일 수 있다.

사용자 컴퓨팅 장치(1302)는 하나 이상의 프로세서들(1312) 및 메모리(1314)를 포함한다. 하나 이상의 프로세서들(1312)은 임의의 적합한 프로세싱 장치(예를 들어, 프로세서 코어, 마이크로프로세서, ASIC, FPGA, 컨트롤러, 마이크로컨트롤러 등)일 수 있으며, 하나의 프로세서 또는 작동가능하게 연결된 복수의 프로세서들일 수 있다. 메모리(1314)는 RAM, ROM, EEPROM, EPROM, 플래시 메모리 장치, 자기 디스크 등과 같은 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체 및 이들의 조합을 포함할 수 있다. 메모리(1314)는 사용자 컴퓨팅 장치(1302)로 하여금 동작들을 수행하게 하기 위해 프로세서(1312)에 의해 실행되는 데이터(1316) 및 명령어들(1318)을 저장할 수 있다.

일부 구현예에서, 사용자 컴퓨팅 장치(1302)는 하나 이상의 기계 학습 모델들(1320)(예를 들어, 하나 이상의 뉴럴 래디언스 필드 모델들)을 저장하거나 포함할 수 있다. 예를 들어, 기계 학습 모델들(1320)은 뉴럴 네트워크(예: 심층 뉴럴 네트워크) 또는 비선형 모델 및/또는 선형 모델을 포함한 다른 유형의 기계 학습 모델과 같은 다양한 기계 학습 모델이거나 이를 포함할 수 있다. 뉴럴 네트워크는 피드포워드 뉴럴 네트워크, 순환 뉴럴 네트워크(예: 장단기 기억 순환 뉴럴 네트워크), 컨벌루션 뉴럴 네트워크 또는 기타 형태의 뉴럴 네트워크를 포함할 수 있다. 예시적인 기계 학습 모델(1320)은 도 2 내지 5 & 도 9 내지 10을 참조하여 논의된다.

일부 구현예에서, 하나 이상의 기계 학습 모델들(1320)은 네트워크(1380)를 통해 서버 컴퓨팅 시스템(1330)으로부터 수신되고, 사용자 컴퓨팅 장치 메모리(1314)에 저장된 후, 하나 이상의 프로세서들(1312)에 의해 사용되거나 구현될 수 있다. 일부 구현예에서, 사용자 컴퓨팅 장치(1302)는 (예를 들어, 뷰 포지션 및/또는 뷰 방향 요청의 다수의 인스턴스에 걸쳐 병렬 뷰 렌더링 합성을 수행하기 위해) 단일 기계 학습 모델(1320)의 다수의 병렬 인스턴스를 구현할 수 있다.

보다 구체적으로, 하나 이상의 기계 학습 모델(1320)은 포지션 및 뷰 방향을 프로세싱하고 하나 이상의 렌더링들을 출력하도록 트레이닝될 수 있는 하나 이상의 뉴럴 래디언스 필드 모델들을 포함할 수 있다. 하나 이상의 렌더링들은 뷰 렌더링을 생성하기 위해 이미지 데이터와 연결될 수 있는 하나 이상의 객체들을 기술할 수 있다. 대안적으로 및/또는 추가적으로, 하나 이상의 렌더링들은 객체가 있는 환경을 기술할 수 있다. 일부 구현예에서, 하나 이상의 기계 학습 모델들(1320)은 객체 검출 모델, 객체 인식 모델, 및/또는 분할 모델을 포함할 수 있다. 모델(들)은 템플릿 환경 및/또는 사용자 환경에서 객체를 렌더링하기 위한 하나 이상의 렌더링 데이터세트들을 생성하는 데 활용될 수 있다. 예를 들어, 하나 이상의 이미지들이 획득될 수 있다. 객체 검출 모델은 하나 이상의 이미지들을 프로세싱하여 이미지에서 하나 이상의 검출된 객체들과 연관된 하나 이상의 경계 상자들을 생성할 수 있다. 하나 이상의 경계 상자들과 연관된 데이터는 하나 이상의 분류를 생성하기 위해 객체 인식 모델로 프로세싱될 수 있다. 추가적으로 및/또는 대안적으로, 하나 이상의 경계 상자들과 연관된 데이터는 분할된 객체 데이터를 생성하기 위해 분할 모델로 프로세싱될 수 있다. 분할된 객체 데이터 및 하나 이상의 분류는 이후 뉴럴 래디언스 필드 모델을 트레이닝하고 및/또는 증강 이미지 데이터를 생성하는 데 활용되도록 저장될 수 있다.

일부 구현예에서, 하나 이상의 기계 학습 모델들(1320)은 하나 이상의 객체 제안 및/또는 템플릿 제안을 생성하기 위해 사용자 데이터를 프로세싱하는 하나 이상의 제안 모델을 포함할 수 있다. 추가적으로 및/또는 대안적으로, 하나 이상의 제안 모델은 결정된 템플릿, 획득된 이미지, 및/또는 하나 이상의 다른 객체 제안에 기초하여 제안을 조건화하도록 트레이닝될 수 있다.

추가적으로 또는 대안적으로, 하나 이상의 기계 학습 모델들(1340)(예를 들어, 하나 이상의 뉴럴 래디언스 필드 모델들)은 클라이언트-서버 관계에 따라 사용자 컴퓨팅 장치(1302)와 통신하는 서버 컴퓨팅 시스템(1330)에 포함되거나 저장되고 구현될 수 있다. 예를 들어, 기계 학습 모델들(1340)은 서버 컴퓨팅 시스템(1340)에 의해 웹 서비스(예를 들어, 가상 환경 생성 서비스)의 일부로 구현될 수 있다. 따라서, 하나 이상의 모델들(1320)은 사용자 컴퓨팅 장치(1302)에 저장되고 구현될 수 있고/있거나 하나 이상의 모델들(1340)은 서버 컴퓨팅 시스템(1330)에 저장되고 구현될 수 있다.

사용자 컴퓨팅 장치(1302)는 또한 사용자 입력을 수신하는 하나 이상의 사용자 입력 구성요소들(1322)을 포함할 수 있다. 예를 들어, 사용자 입력 구성요소들(1322)은 사용자 입력 객체(예를 들어, 손가락 또는 스타일러스)의 터치에 민감한 터치 감지 구성요소(예를 들어, 터치 감지 디스플레이 스크린 또는 터치 패드)일 수 있다. 터치 감지 구성요소는 가상 키보드를 구현하는 역할을 할 수 있다. 다른 예시적인 사용자 입력 구성 요소에는 마이크로폰, 기존 키보드 또는 사용자가 사용자 입력을 제공할 수 있는 기타 수단이 포함된다.

서버 컴퓨팅 시스템(1330)은 하나 이상의 프로세서들(1332) 및 메모리(1334)를 포함한다. 하나 이상의 프로세서들(1332)은 임의의 적합한 프로세싱 장치(예를 들어, 프로세서 코어, 마이크로프로세서, ASIC, FPGA, 컨트롤러, 마이크로컨트롤러 등) 일 수 있으며, 하나의 프로세서 또는 작동 가능하게 연결된 복수의 프로세서들일 수 있다. 메모리(1334)는 RAM, ROM, EEPROM, EPROM, 플래시 메모리 장치, 자기 디스크 등과 같은 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체 및 이들의 조합을 포함할 수 있다. 메모리(1334)는 서버 컴퓨팅 시스템(1330)으로 하여금 동작들을 수행하게 하기 위해 프로세서(1332)에 의해 실행되는 데이터(1336) 및 명령어들(1338)을 저장할 수 있다.

일부 구현예에서, 서버 컴퓨팅 시스템(1330)은 하나 이상의 서버 컴퓨팅 장치들을 포함하거나 이에 의해 구현된다. 서버 컴퓨팅 시스템(1330)이 복수의 서버 컴퓨팅 장치들을 포함하는 경우, 그러한 서버 컴퓨팅 장치들은 순차 컴퓨팅 아키텍처, 병렬 컴퓨팅 아키텍처, 또는 이들의 일부 조합에 따라 동작할 수 있다.

전술한 바와 같이, 서버 컴퓨팅 시스템(1330)은 하나 이상의 기계 학습 모델들(1340)을 저장하거나 포함할 수 있다. 예를 들어, 모델들(1340)은 다양한 기계 학습 모델일 수 있거나 포함할 수 있다. 기계 학습 모델의 예로는 뉴럴 네트워크 또는 기타 다층 비선형 모델이 있다. 뉴럴 네트워크의 예로는 피드포워드 뉴럴 네트워크, 심층 뉴럴 네트워크, 순환 뉴럴 네트워크 및 컨볼루션 뉴럴 네트워크가 있다. 예시 모델(1340)은 도 2 내지 5 & 도 9 내지 10을 참조하여 논의된다.

사용자 컴퓨팅 장치(1302) 및/또는 서버 컴퓨팅 시스템(1330)은 네트워크(1380)를 통해 통신가능하게 연결된 트레이닝 컴퓨팅 시스템(1350)과의 인터렉션을 통해 모델(1320 및/또는 1340)을 트레이닝할 수 있다. 트레이닝 컴퓨팅 시스템(1350)은 서버 컴퓨팅 시스템(1330)과 별개일 수 있거나 서버 컴퓨팅 시스템(1330)의 일부일 수 있다.

트레이닝 컴퓨팅 시스템(1350)은 하나 이상의 프로세서들(1352) 및 메모리(1354)를 포함한다. 하나 이상의 프로세서들(1352)은 임의의 적합한 프로세싱 장치(예를 들어, 프로세서 코어, 마이크로프로세서, ASIC, FPGA, 컨트롤러, 마이크로컨트롤러 등)일 수 있으며, 하나의 프로세서 또는 작동가능하게 연결된 복수의 프로세서들일 수 있다. 메모리(1354)는 RAM, ROM, EEPROM, EPROM, 플래시 메모리 장치, 자기 디스크 등과 같은 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체 및 이들의 조합을 포함할 수 있다. 메모리(1354)는 트레이닝 컴퓨팅 시스템(1350)으로 하여금 동작들을 수행하게 하기 위해 프로세서(1352)에 의해 실행되는 데이터(11356) 및 명령어들(1358)을 저장할 수 있다. 일부 구현예에서, 트레이닝 컴퓨팅 시스템(1350)은 하나 이상의 서버 컴퓨팅 장치들을 포함하거나 이에 의해 구현된다.

트레이닝 컴퓨팅 시스템(1350)은 예를 들어 오류의 역전파와 같은 다양한 트레이닝 또는 학습 기술을 사용하여 사용자 컴퓨팅 장치(1302) 및/또는 서버 컴퓨팅 시스템(1330)에 저장된 기계 학습 모델(1320 및/또는 1340)을 트레이닝하는 모델 트레이너(1360)를 포함할 수 있다. 예를 들어, 손실 함수는 모델을 통해 역전파되어 (예: 손실 함수의 기울기에 기초하여) 모델의 하나 이상의 파라미터들을 업데이트할 수 있다. 평균 제곱 오차, 우도 손실, 교차 엔트로피 손실, 힌지 손실 및/또는 다양한 기타 손실 함수와 같은 다양한 손실 함수가 사용될 수 있다. 경사하강법을 사용하면 여러 번의 트레이닝 반복을 통해 파라미터들을 반복적으로 업데이트할 수 있다.

일부 구현예에서, 오류의 역전파를 수행하는 것은 시간에 따른 절단된 역전파를 수행하는 것을 포함할 수 있다. 모델 트레이너(1360)는 트레이닝되는 모델의 일반화 능력을 향상시키기 위해 다수의 일반화 기술(예를 들어, 가중치 감소, 드롭아웃 등)을 수행할 수 있다.

특히, 모델 트레이너(1360)는 트레이닝 데이터 세트(1362)에 기초하여 기계 학습 모델(1320 및/또는 1340)을 트레이닝할 수 있다. 트레이닝 데이터(1362)는 예를 들어 트레이닝 이미지 데이터, 트레이닝 텍스트 데이터, 트레이닝 잠재 인코딩 데이터, 트레이닝 라벨 데이터, 트레이닝 증강 데이터, 트레이닝 분할 마스크 데이터, 트레이닝 바운딩 박스, 트레이닝 통계적 예측, 및/또는 기타 트레이닝 데이터를 포함할 수 있다. 일부 구현예에서, 트레이닝 데이터(1362)는 실측 데이터를 포함할 수 있다.

일부 구현예에서, 사용자가 동의를 제공한 경우, 트레이닝 예는 사용자 컴퓨팅 장치(1302)에 의해 제공될 수 있다. 따라서, 그러한 구현예에서, 사용자 컴퓨팅 장치(1302)에 제공되는 모델(1320)은 사용자 컴퓨팅 장치(1302)로부터 수신된 사용자 특정 데이터에 대해 트레이닝 컴퓨팅 시스템(1350)에 의해 트레이닝될 수 있다. 어떤 경우에는 이 프로세스를 모델 개인화라고 할 수 있다.

모델 트레이너(1360)는 원하는 기능을 제공하는 데 활용되는 컴퓨터 로직을 포함한다. 모델 트레이너(1360)는 하드웨어, 펌웨어, 및/또는 범용 프로세서를 제어하는 소프트웨어로 구현될 수 있다. 예를 들어, 일부 구현예에서, 모델 트레이너(1360)는 저장 장치에 저장되고, 메모리에 로드되고, 하나 이상의 프로세서들에 의해 실행되는 프로그램 파일을 포함한다. 다른 구현예에서, 모델 트레이너(1360)는 RAM 하드 디스크 또는 광학 또는 자기 매체와 같은 유형의 컴퓨터 판독가능 저장 매체에 저장되는 하나 이상의 컴퓨터 실행가능 명령어들의 세트를 포함한다.

네트워크(1380)는 근거리 통신망(예를 들어, 인트라넷), 광역 네트워크(예를 들어, 인터넷), 또는 이들의 일부 조합과 같은 임의의 유형의 통신 네트워크일 수 있으며 임의의 수의 유선 또는 무선 링크를 포함할 수 있다. 일반적으로, 네트워크(1380)를 통한 통신은 다양한 통신 프로토콜(예: TCP/IP, HTTP, SMTP, FTP), 인코딩 또는 형식(예: HTML, XML) 및/또는 보호 체계(예: VPN, 보안 HTTP, SSL)를 사용하여 임의 유형의 유선 및/또는 무선 연결을 통해 수행될 수 있다.

본 명세서에 설명된 기계 학습 모델은 다양한 태스크, 애플리케이션 및/또는 사용 사례에서 사용될 수 있다.

일부 구현예에서, 본 개시의 기계 학습 모델(들)에 대한 입력은 이미지 데이터일 수 있다. 기계 학습 모델은 이미지 데이터를 프로세싱하여 출력을 생성할 수 있다. 예를 들어, 기계 학습 모델(들)은 이미지 데이터를 프로세싱하여 이미지 인식 출력(예를 들어, 이미지 데이터의 인식, 이미지 데이터의 잠재 임베딩, 이미지 데이터의 인코딩된 표현, 이미지 데이터의 해시 등)을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 이미지 데이터를 프로세싱하여 이미지 분할 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 이미지 데이터를 프로세싱하여 이미지 분류 출력을 생성할 수 있다. 또 다른 예로서, 기계 학습 모델(들)은 이미지 데이터를 프로세싱하여 이미지 데이터 수정 출력(예를 들어, 이미지 데이터의 변경 등)을 생성할 수 있다. 또 다른 예로서, 기계 학습 모델(들)은 이미지 데이터를 프로세싱하여 인코딩된 이미지 데이터 출력(예를 들어, 이미지 데이터의 인코딩 및/또는 압축된 표현 등)을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 이미지 데이터를 프로세싱하여 확대된 이미지 데이터 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 이미지 데이터를 프로세싱하여 예측 출력을 생성할 수 있다.

일부 구현예에서, 본 개시의 기계 학습 모델(들)에 대한 입력은 텍스트 또는 자연어 데이터일 수 있다. 기계 학습 모델은 텍스트 또는 자연어 데이터를 프로세싱하여 출력을 생성할 수 있다. 예를 들어, 기계 학습 모델은 자연어 데이터를 프로세싱하여 언어 인코딩 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 텍스트 또는 자연어 데이터를 프로세싱하여 잠재 텍스트 임베딩 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 텍스트 또는 자연어 데이터를 프로세싱하여 번역 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 텍스트 또는 자연어 데이터를 프로세싱하여 분류 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 텍스트 또는 자연어 데이터를 프로세싱하여 텍스트 분할 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 텍스트 또는 자연어 데이터를 프로세싱하여 의미론적 의도 출력을 생성할 수 있다. 또 다른 예로서, 기계 학습 모델(들)은 텍스트 또는 자연어 데이터를 프로세싱하여 확대된 텍스트 또는 자연어 출력(예를 들어, 입력 텍스트 또는 자연어보다 품질이 높은 텍스트 또는 자연어 데이터 등)을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 텍스트 또는 자연어 데이터를 프로세싱하여 예측 출력을 생성할 수 있다.

일부 구현예에서, 본 개시의 기계 학습 모델(들)에 대한 입력은 스피치 데이터(예를 들어, 오디오 입력을 통해 제공되는 사용자 요청)일 수 있다. 기계 학습 모델은 스피치 데이터를 프로세싱하여 출력을 생성할 수 있다. 예를 들어, 기계 학습 모델은 스피치 데이터를 프로세싱하여 스피치 인식 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 스피치 데이터를 프로세싱하여 스피치 번역 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 스피치 데이터를 프로세싱하여 잠재 임베딩 출력을 생성할 수 있다. 또 다른 예로서, 기계 학습 모델(들)은 스피치 데이터를 프로세싱하여 인코딩된 스피치 출력(예를 들어, 스피치 데이터의 인코딩된 및/또는 압축된 표현 등)을 생성할 수 있다. 또 다른 예로서, 기계 학습 모델(들)은 스피치 데이터를 프로세싱하여 확대된 스피치 출력(예를 들어, 입력 스피치 데이터보다 품질이 높은 스피치 데이터 등)을 생성할 수 있다. 또 다른 예로서, 기계 학습 모델(들)은 스피치 데이터를 스피치 텍스트 표현 출력(예를 들어, 입력 스피치 데이터의 텍스트 표현 등)을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 스피치 데이터를 프로세싱하여 예측 출력을 생성할 수 있다.

일부 구현예에서, 본 개시의 기계 학습 모델(들)에 대한 입력은 잠재 인코딩 데이터(예를 들어, 입력의 잠재 공간 표현 등)일 수 있다. 기계 학습 모델은 잠재 인코딩 데이터를 프로세싱하여 출력을 생성할 수 있다. 예를 들어, 기계 학습 모델은 잠재 인코딩 데이터를 프로세싱하여 인식 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 잠재 인코딩 데이터를 프로세싱하여 재구성 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 잠재 인코딩 데이터를 프로세싱하여 검색 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 잠재 인코딩 데이터를 프로세싱하여 재클러스터링 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 잠재 인코딩 데이터를 프로세싱하여 예측 출력을 생성할 수 있다.

일부 구현예에서, 본 발명의 기계 학습 모델(들)에 대한 입력은 통계 데이터(예를 들어, 통계 광자 신호 데이터, 추세 데이터, 시간 로그 등)일 수 있다. 기계 학습 모델은 통계 데이터를 프로세싱하여 출력을 생성할 수 있다. 예를 들어, 기계 학습 모델은 통계 데이터를 프로세싱하여 인식 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 통계 데이터를 프로세싱하여 예측 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 통계 데이터를 프로세싱하여 분류 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 통계 데이터를 프로세싱하여 분할 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 통계 데이터를 프로세싱하여 분할 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 통계 데이터를 프로세싱하여 시각화 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 통계 데이터를 프로세싱하여 진단 출력을 생성할 수 있다.

일부 구현예에서, 본 개시의 기계 학습 모델(들)에 대한 입력은 센서 데이터일 수 있다. 기계 학습 모델은 센서 데이터를 프로세싱하여 출력을 생성할 수 있다. 예를 들어, 기계 학습 모델은 센서 데이터를 프로세싱하여 인식 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 센서 데이터를 프로세싱하여 예측 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 센서 데이터를 프로세싱하여 분류 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 센서 데이터를 프로세싱하여 분할 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 센서 데이터를 프로세싱하여 분할 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 센서 데이터를 프로세싱하여 시각화 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 센서 데이터를 프로세싱하여 진단 출력을 생성할 수 있다. 또 다른 예로, 기계 학습 모델은 센서 데이터를 프로세싱하여 검출 출력을 생성할 수 있다.

일부 경우에, 기계 학습 모델(들)은 신뢰할 수 있는 및/또는 효율적인 전송 또는 저장(및/또는 대응하는 디코딩)을 위해 입력 데이터를 인코딩하는 것을 포함하는 태스크를 수행하도록 구성될 수 있다. 예를 들어 태스크는 오디오 압축 태스크일 수 있다. 입력은 오디오 데이터를 포함할 수 있고 출력은 압축된 오디오 데이터를 포함할 수 있다. 다른 예에서, 입력은 시각적 데이터(예를 들어, 하나 이상의 이미지 또는 비디오)를 포함하고, 출력은 압축된 시각적 데이터를 포함하며, 태스크는 시각적 데이터 압축 태스크이다. 다른 예에서, 태스크는 입력 데이터(예를 들어, 입력 오디오 또는 시각적 데이터)에 대한 임베딩을 생성하는 것을 포함할 수 있다.

일부 경우에, 입력은 시각적 데이터를 포함하고 태스크는 컴퓨터 비전(vision) 태스크이다. 어떤 경우에는, 입력은 하나 이상의 이미지에 대한 픽셀 데이터를 포함하며 태스크는 이미지 프로세싱 태스크이다. 예를 들어 이미지 프로세싱 태스크는 이미지 분류일 수 있으며, 여기서 출력은 점수 세트이며, 각 점수는 서로 다른 객체 클래스에 대응하고 하나 이상의 이미지가 객체 클래스에 속하는 객체를 묘사할 가능성을 나타낸다. 이미지 프로세싱 태스크는 객체 검출일 수 있으며, 여기서 이미지 프로세싱 출력은 하나 이상의 이미지에서 하나 이상의 영역을 식별하고 각 영역에 대해 해당 영역이 관심 객체를 묘사할 가능성을 식별한다. 다른 예로서, 이미지 프로세싱 태스크는 이미지 분할일 수 있으며, 여기서 이미지 프로세싱 출력은 하나 이상의 이미지의 각 픽셀에 대해 미리 결정된 카테고리 세트의 각 카테고리에 대한 각각의 가능성을 정의한다. 예를 들어, 카테고리 세트는 전경 및 배경일 수 있다. 또 다른 예로, 카테고리 세트는 객체 클래스일 수 있다. 다른 예로서, 이미지 프로세싱 태스크는 깊이 추정일 수 있으며, 여기서 이미지 프로세싱 출력은 하나 이상의 이미지의 각 픽셀에 대해 각각의 깊이 값을 정의한다. 또 다른 예로, 이미지 프로세싱 태스크는 움직임 추정이 될 수 있으며, 여기서 네트워크 입력은 다수의 이미지를 포함하고 이미지 프로세싱 출력은 입력 이미지 중 하나의 각 픽셀에 대해 네트워크 입력의 이미지 사이의 픽셀에 묘사된 장면의 모션을 정의한다.

일부 경우에, 입력은 스피치 발화를 나타내는 오디오 데이터를 포함하고 태스크는 스피치 인식 태스크이다. 출력은 스피치 발화에 매핑되는 텍스트 출력을 포함할 수 있다. 일부 경우에, 태스크는 입력 데이터 암호화 또는 암호 해독을 포함한다. 일부 경우에, 태스크는 분기 예측이나 메모리 주소 변환과 같은 마이크로프로세서 성능 태스크를 포함한다.

도 13a는 본 개시를 구현하는 데 사용될 수 있는 하나의 예시적인 컴퓨팅 시스템을 도시한다. 다른 컴퓨팅 시스템도 사용할 수 있다. 예를 들어, 일부 구현예에서, 사용자 컴퓨팅 장치(1302)는 모델 트레이너(1360) 및 트레이닝 데이터세트(1362)를 포함할 수 있다. 그러한 구현예에서, 모델(1320)은 사용자 컴퓨팅 장치(1302)에서 로컬로 트레이닝되고 사용될 수 있다. 그러한 구현예 중 일부에서, 사용자 컴퓨팅 장치(1302)는 사용자 특정 데이터에 기초하여 모델(1320)을 개인화하기 위해 모델 트레이너(1360)를 구현할 수 있다.

추가적으로 및/또는 대안적으로, 사용자 컴퓨팅 장치(1302)는 하나 이상의 사용자 입력 구성요소들(1322)을 포함할 수 있다. 하나 이상의 사용자 입력 구성요소들(1322)은 하나 이상의 출력을 생성하기 위해 하나 이상의 블록에 의해 프로세싱될 수 있는 하나 이상의 사용자 입력을 획득 및/또는 생성하는 데 활용될 수 있다. 하나 이상의 사용자 입력 구성요소들(1322)은 키보드, 마우스, 터치 디스플레이, 마이크로폰, 하나 이상의 전도성 센서, 하나 이상의 물리적 센서, 및/또는 하나 이상의 적외선 센서를 포함 및/또는 이와 연관될 수 있다.

사용자 컴퓨팅 장치(1302)는 사용자 환경의 하나 이상의 이미지를 캡처하는 데 활용될 수 있는 하나 이상의 이미지 센서들(1324)을 포함할 수 있다. 하나 이상의 캡처된 이미지는 사용자 환경의 하나 이상의 표현을 생성하기 위해 프로세싱될 수 있다. 대안적으로 및/또는 추가적으로, 하나 이상의 캡처된 이미지는 하나 이상의 렌더링 데이터 세트를 생성하는 데 활용될 수 있다. 예를 들어, 하나 이상의 캡처된 이미지는 하나 이상의 뉴럴 래디언스 필드 모델을 트레이닝하는 데 활용될 수 있다.

추가적으로 및/또는 대안적으로, 서버 컴퓨팅 시스템(1330)은 하나 이상의 템플릿 데이터베이스(1342), 하나 이상의 렌더링 데이터베이스(1344) 및/또는 하나 이상의 소프트웨어 개발 키트(1346)를 저장 및/또는 포함할 수 있다. 하나 이상의 템플릿 데이터베이스(1342)는 복수의 템플릿 이미지, 기계 학습 모델, 표현, 및/또는 복수의 템플릿 환경과 연관된 다른 데이터 세트를 저장할 수 있다. 하나 이상의 렌더링 데이터베이스(1344)는 복수의 서로 다른 객체 유형, 복수의 서로 다른 가격 범위 및/또는 복수의 서로 다른 크기와 연관된 복수의 객체와 연관된 복수의 렌더링 데이터 세트를 저장할 수 있다. 하나 이상의 템플릿 데이터베이스(1342) 및/또는 하나 이상의 렌더링 데이터베이스(1344)는 하나 이상의 쿼리를 수신할 때 하나 이상의 특정 데이터세트들을 획득하기 위해 검색가능할 수 있다.

하나 이상의 소프트웨어 개발 키트(1346)는 하나 이상의 컴퓨팅 시스템으로 전송되어 하나 이상의 제3자 및/또는 하나 이상의 사용자가 여기에 개시된 시스템 및 방법에 의해 활용될 렌더링 데이터 세트를 생성할 수 있게 한다.

도 13b는 본 개시의 예시적인 실시예에 따라 수행하는 예시적인 컴퓨팅 장치(10)의 블록도를 도시한다. 컴퓨팅 장치(10)는 사용자 컴퓨팅 장치 또는 서버 컴퓨팅 장치일 수 있다.

컴퓨팅 장치(10)는 다수의 애플리케이션(예를 들어, 애플리케이션 1 내지 N)을 포함한다. 각 애플리케이션에는 자체 기계 학습 라이브러리와 기계 학습 모델이 포함되어 있다. 예를 들어 각 애플리케이션에는 기계 학습 모델이 포함될 수 있다. 예시적인 애플리케이션에는 문자 메시지 애플리케이션, 이메일 애플리케이션, 받아쓰기 애플리케이션, 가상 키보드 애플리케이션, 브라우저 애플리케이션 등이 포함된다.

도 13b에 도시된 바와 같이, 각 애플리케이션은 예를 들어 하나 이상의 센서들, 컨텍스트 관리자, 장치 상태 구성요소 및/또는 추가 구성요소들과 같은 컴퓨팅 장치의 다수의 다른 구성요소들과 통신할 수 있다. 일부 구현예에서, 각 애플리케이션은 API(예: 공개 API)를 사용하여 각 장치 구성요소와 통신할 수 있다. 일부 구현예에서는 각 애플리케이션에서 사용하는 API가 해당 애플리케이션에만 적용된다.

도 13c는 본 개시 내용의 예시적인 실시예에 따라 수행하는 예시적인 컴퓨팅 장치(50)의 블록도를 도시한다. 컴퓨팅 장치(50)는 사용자 컴퓨팅 장치 또는 서버 컴퓨팅 장치일 수 있다.

컴퓨팅 장치 (50)는 다수의 애플리케이션(예를 들어, 애플리케이션 1 내지 N)을 포함한다. 각 애플리케이션은 중앙 인텔리전스 계층과 통신한다. 예시적인 애플리케이션에는 문자 메시지 애플리케이션, 이메일 애플리케이션, 받아쓰기 애플리케이션, 가상 키보드 애플리케이션, 브라우저 애플리케이션 등이 포함된다. 일부 구현예에서, 각 애플리케이션은 API(예: 모든 애플리케이션에 걸친 공통 API)를 사용하여 중앙 인텔리전스 계층(및 여기에 저장된 모델(들))과 통신할 수 있다.

중앙 인텔리전스 계층은 다수의 기계 학습 모델들을 포함한다. 예를 들어, 도 13c에 도시된 바와 같이, 각 기계 학습 모델(예: 모델)이 각 애플리케이션에 제공되고 중앙 인텔리전스 계층에 의해 관리될 수 있다. 다른 구현예에서는 두 개 이상의 애플리케이션이 단일 기계 학습 모델을 공유할 수 있다. 예를 들어 일부 구현예에서는 중앙 인텔리전스 계층은 모든 애플리케이션에 대한 단일 모델(예: 단일 모델)을 제공할 수 있다. 일부 구현예에서, 중앙 인텔리전스 계층은 컴퓨팅 장치(50)의 운영 체제 내에 포함되거나 그렇지 않으면 이에 의해 구현된다.

중앙 인텔리전스 계층은 중앙 장치 데이터 계층과 통신할 수 있다. 중앙 장치 데이터 계층은 컴퓨팅 장치(50)에 대한 데이터의 중앙 집중식 저장소일 수 있다. 도 13c에 도시된 바와 같이, 중앙 장치 데이터 계층은 예를 들어 하나 이상의 센서(들), 컨텍스트 관리자, 장치 상태 구성요소 및/또는 추가 구성요소들과 같은 컴퓨팅 장치의 다수의 다른 구성요소들과 통신할 수 있다. 일부 구현예에서, 중앙 장치 데이터 계층은 API(예: 개인 API)를 사용하여 각 장치 구성요소와 통신할 수 있다.

도 14는 본 개시의 예시적인 실시예에 따라 수행하는 예시적인 방법의 흐름도를 도시한다. 도 14는 예시 및 논의의 목적으로 특정 순서로 수행되는 단계를 묘사하지만, 본 개시의 방법은 특별히 예시된 순서 또는 배열로 제한되지 않는다. 방법(1400)의 다양한 단계는 본 개시의 범위를 벗어나지 않고 다양한 방식으로 생략, 재배열, 결합 및/또는 적응될 수 있다.

1402에서, 컴퓨팅 시스템은 컨텍스트 데이터를 획득할 수 있다. 컨텍스트 데이터는 특정 사용자와 연관된 사용자 컴퓨팅 시스템으로부터 획득될 수 있다. 컨텍스트 데이터는 사용자 위치, 사용자가 사용할 수 있는 배송 옵션, 사용자 예산(예를 들어, 가격 범위), 크기 제약 조건(예를 들어, 방에서 사용가능한 크기 및/또는 원하는 위치로 전달하기 위한 통로 크기) 및/또는 하나 이상의 기타 컨텍스트를 포함할 수 있는, 사용자에 대한 객체 가용성을 결정하는 데 활용될 수 있는 하나 이상의 컨텍스트와 연관될 수 있다. 컨텍스트 데이터는 하나 이상의 선호도, 과거 데이터(예를 들어, 사용자 검색 기록, 사용자 브라우징 기록 및/또는 사용자 구매 기록) 및/또는 사용자 프로필 데이터를 포함할 수 있다. 컨텍스트 데이터는 선호하는 스타일 및/또는 선호하는 미학을 기술하는 데이터를 포함할 수 있다.

1404에서, 컴퓨팅 시스템은 컨텍스트 데이터와 연관된 알려진 특성들을 포함하는 하나 이상의 객체들과 연관된 하나 이상의 렌더링 데이터세트들을 결정할 수 있다. 특히, 컴퓨팅 시스템은 사용자 위치 및/또는 사용자 배송 옵션에 기초하여 사용자가 액세스할 수 있는 하나 이상의 객체들을 결정할 수 있다. 추가적으로 및/또는 대안적으로, 결정은 객체의 가격 및/또는 객체가 구매를 위해 제공되는지 여부에 기초할 수 있다(예를 들어, 가격 범위를 벗어나거나 단종된 객체는 알려진 특성들을 포함하는 것으로 결정되지 않을 수 있다). 일부 구현예에서, 하나 이상의 렌더링 데이터세트들은 사용자가 선호하는 것으로 결정된 스타일 및/또는 미학과 연관된 하나 이상의 객체들에 기초하여 선택될 수 있다(예를 들어, 과거 데이터 및/또는 선호도 데이터에 기초하여 결정됨).

1406에서, 컴퓨팅 시스템은 하나 이상의 렌더링 데이터세트들에 기초하여 하나 이상의 뷰 합성 이미지들을 생성할 수 있다. 하나 이상의 뷰 합성 이미지들은 고립된 상태 및/또는 환경 내의 객체의 하나 이상의 렌더링들을 포함할 수 있다. 일부 구현예에서, 하나 이상의 뷰 합성 이미지들은 사용자 환경(예를 들어, 사용자에 의해 제공되는 이미지(예를 들어, 사용자 카메라로부터의 라이브 피드)) 및/또는 템플릿 환경의 객체를 기술할 수 있다.

1408에서, 컴퓨팅 시스템은 하나 이상의 뷰 합성 이미지들을 사용자 컴퓨팅 시스템에 제공할 수 있다. 하나 이상의 뷰 합성 이미지들은 사용자 인터페이스를 통해 제공될 수 있다. 사용자 인터페이스는 객체를 증강 현실 자산으로 렌더링하는 뷰파인더 인터페이스를 포함할 수 있다. 일부 구현예에서, 하나 이상의 뷰 합성 이미지들은 캐러셀(carousel) 인터페이스에 제공될 수 있다.

1410에서, 컴퓨팅 시스템은 하나 이상의 뷰 합성 이미지들을 검색 엔진에 제공할 수 있다. 하나 이상의 뷰 합성 이미지들은 생성 시 검색 엔진에 제공될 수 있고/있거나 하나 이상의 사용자 입력(예를 들어, 사용자 선택)에 응답하여 검색 엔진에 제공될 수 있다. 검색 엔진은 하나 이상의 데이터베이스와 연결될 수 있다. 일부 구현예에서, 검색 엔진에는 렌더링 데이터 세트와 연관된 컨텍스트 데이터 및/또는 메타데이터가 제공될 수 있다.

1412에서, 컴퓨팅 시스템은 검색 엔진으로부터 하나 이상의 검색 결과들을 획득할 수 있다. 하나 이상의 검색 결과들은 하나 이상의 시각적 검색 기술에 기초하여 결정될 수 있다. 하나 이상의 검색 결과들은 렌더링 데이터세트의 객체와 관련된 링크, 이미지 및/또는 세부정보를 기술할 수 있다. 하나 이상의 검색 결과들은 객체를 획득하기 위한 하나 이상의 액션 사용자 인터페이스 요소들을 포함할 수 있다.

일부 구현예에서, 하나 이상의 렌더링 데이터세트들은 하나 이상의 다른 사용자(예를 들어, 피어 사용자, 소매업체, 객체 제조업체 등)에 의해 생성된 하나 이상의 렌더링 데이터세트들을 포함할 수 있다. 생성된 렌더링 데이터세트들은 제1자 사용자 및/또는 제3자 사용자와 연관된 요청 데이터에 기초하여 렌더링하는 데 활용될 수 있다.

도 15는 본 발명의 예시적인 실시예에 따른 예시적인 뷰 합성 이미지 생성 시스템(1500)의 블록도를 도시한다. 특히, 뷰 합성 이미지 생성 시스템(1500)은 사용자(1502)로부터(예를 들어, 사용자 컴퓨팅 시스템으로부터) 사용자 이미지 데이터(1504) 및/또는 요청 데이터(1508)을 획득할 수 있다. 사용자 이미지 데이터(1504) 및/또는 요청 데이터(1508)는 시간 이벤트, 하나 이상의 사용자 입력, 애플리케이션 다운로드 및 프로필 설정, 및/또는 트리거 이벤트 결정에 응답하여 획득될 수 있다. 사용자 이미지 데이터(1504) 및/또는 요청 데이터(1508)는 플랫폼(예를 들어, 웹 플랫폼)과의 하나 이상의 인터렉션을 통해 획득될 수 있다. 일부 구현예에서, 플랫폼과 연관된 애플리케이션 프로그래밍 인터페이스는 하나 이상의 입력에 응답하여 사용자 이미지 데이터(1504) 및/또는 요청 데이터(1508)를 획득 및/또는 생성할 수 있다. 사용자(1502)는 개인, 소매업자, 제조업체, 서비스 제공자 및/또는 다른 엔터티일 수 있다.

사용자 이미지 데이터(1504)는 사용자 이미지 데이터에 묘사된 사용자 객체(16)의 3차원 모델들을 생성(1506)하는 데 활용될 수 있다. 3차원 모델들을 생성하는 것(1506)은 사용자 이미지 데이터(1504)에 대해 하나 이상의 뉴럴 래디언스 필드 모델들을 트레이닝함으로써 각각의 객체의 3차원 표현을 학습하는 것을 포함할 수 있다.

렌더링 블록(1510)은 요청 데이터(1508)를 프로세싱할 수 있고 생성된 3차원 모델들을 활용하여 객체(들)의 하나 이상의 뷰 합성 이미지들(1512)을 렌더링할 수 있다. 요청 데이터(1508)는 사용자 환경에서 뷰 합성 렌더링(예를 들어, 증강 현실 렌더링)을 생성하라는 명시적인 사용자 요청 및/또는 하나 이상의 추가 객체들 또는 구성들과 결합하여 하나 이상의 객체들을 렌더링하라는 사용자 요청을 기술할 수 있다. 요청 데이터(1508)는 객체가 렌더링되는 방식에 영향을 미칠 수 있는 컨텍스트 및/또는 파라미터들(예를 들어, 조명, 환경 객체의 크기, 시간, 환경 내 다른 객체의 포지션 및 방향 및/또는 생성과 연관된 기타 컨텍스트)을 기술할 수 있다. 요청 데이터(1508)는 사용자의 컨텍스트에 응답하여 생성 및/또는 획득될 수 있다.

객체들의 뷰 합성 이미지들(1512) 뷰 파인더, 정적 이미지, 카탈로그 사용자 인터페이스 및/또는 가상 현실 경험을 통해 제공될 수 있다. 생성된 뷰 합성 이미지들(1512)은 사용자 프로필과 연관되어 로컬 및/또는 서버에 저장될 수 있다. 일부 구현예에서, 객체들의 뷰 합성 이미지들(1512)은 플랫폼과 연관된 하나 이상의 서버 컴퓨팅 시스템을 통해 플랫폼에 의해 저장될 수 있다. 추가적으로 및/또는 대안적으로, 객체들의 뷰 합성 이미지들(1512)은 플랫폼과 연관된 사용자 인터페이스를 통해 디스플레이 및/또는 인터렉션을 위해 제공될 수 있다. 사용자는 객체들의 뷰 합성 이미지들(1512)을 사용자와 연관된 하나 이상의 컬렉션에 추가할 수 있으며, 이는 컬렉션 사용자 인터페이스를 통해 집합체로 보일 수 있다.

본 명세서에 논의된 기술은 서버, 데이터베이스, 소프트웨어 애플리케이션 및 기타 컴퓨터 기반 시스템뿐만 아니라 그러한 시스템으로/로부터 전송된 정보 및 취해진 조치를 참조한다. 컴퓨터 기반 시스템의 고유한 유연성으로 인해 구성요소 간 태스크 및 기능의 매우 다양한 구성, 조합, 분할이 가능하다. 예를 들어, 본 명세서에 논의된 프로세스는 단일 장치 또는 구성요소 또는 조합하여 작동하는 다중 장치 또는 구성요소를 사용하여 구현될 수 있다. 데이터베이스와 애플리케이션은 단일 시스템에서 구현되거나 여러 시스템에 분산될 수 있다. 분산 구성요소는 순차적으로 또는 병렬로 동작할 수 있다.

본 주제가 그의 다양한 특정 예시적인 실시예에 대해 상세히 설명되었지만, 각각의 예는 설명의 방식으로 제공되는 것이지 개시 내용을 제한하는 것이 아니다. 당업자는 전술한 내용을 이해하면 이러한 실시예에 대한 변경, 변형 및 등가물을 쉽게 생성할 수 있다. 따라서, 본 개시 내용은 당업자에게 쉽게 명백한 바와 같이 본 주제에 대한 그러한 수정, 변경 및/또는 추가의 포함을 배제하지 않는다. 예를 들어, 하나의 실시예의 일부로서 예시되거나 설명된 구성은 또 다른 실시예와 함께 사용되어 또 다른 실시예를 생성할 수 있다. 따라서, 본 개시는 그러한 변경, 변형 및 등가물을 포괄하도록 의도된다.

Claims

환경 제안을 제공하기 위한 컴퓨팅 시스템으로서, 상기 시스템은:
하나 이상의 프로세서들; 및
하나 이상의 프로세서들에 의해 실행될 때 컴퓨팅 시스템으로 하여금 동작들을 수행하게 하는 명령어들을 집합적으로 저장하는 하나 이상의 비일시적 컴퓨터 판독가능 매체를 포함하고, 상기 동작들은:
사용자 데이터를 획득하는 동작, 상기 사용자 데이터는 특정 사용자와 연관되어 있고, 상기 사용자 데이터는 특정 사용자와 연관된 컨텍스트 정보를 기술하는 컨텍스트 데이터를 포함하며;
상기 사용자 데이터와 연관된 복수의 객체들을 결정하는 동작, 상기 복수의 객체들은 하나 이상의 제품 유형들과 연관된 복수의 제품들을 포함하고;
상기 복수의 객체들 및 상기 컨텍스트 데이터에 기초하여 복수의 렌더링 데이터세트들을 획득하는 동작, 상기 복수의 객체들 중 각 객체는 상기 복수의 렌더링 데이터세트들 중 하나 이상의 렌더링 데이터세트들과 연관되어 있으며;
상기 복수의 렌더링 데이터세트들에 기초하여 가상 환경을 생성하는 동작, 상기 가상 환경은 예시적인 환경 내의 상기 복수의 객체들을 기술하며; 및
인터렉티브 사용자 인터페이스에 디스플레이하기 위한 상기 가상 환경을 제공하는 동작을 포함하고, 상기 인터렉티브 사용자 인터페이스는 상기 가상 환경의 복수의 서로 다른 뷰(view)들을 제공하도록 구성되는, 시스템.
제1항에 있어서,
상기 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 상기 가상 환경을 제공하는 동작은:
상기 복수의 렌더링 데이터세트들 중 하나 이상에 기초하여 제1 뷰 렌더링을 생성하는 동작, 상기 제1 뷰 렌더링은 제1 포지션 및 제1 방향으로부터 상기 가상 환경의 적어도 제1 부분을 기술하는 제1 이미지를 포함하고; 및
디스플레이를 위해 상기 제1 뷰 렌더링을 제공하는 동작을 포함하는, 시스템.
제2항에 있어서,
상기 인터렉티브 사용자 인터페이스에 디스플레이하기 위한 상기 가상 환경을 제공하는 동작은:
사용자 인터페이스 입력을 획득하는 동작, 상기 사용자 인터페이스 입력은 상기 인터렉티브 사용자 인터페이스와의 탐색 인터렉션을 포함하고;
상기 복수의 렌더링 데이터세트들 중 하나 이상에 기초하여 제2 뷰 렌더링을 생성하는 동작, 상기 제2 뷰 렌더링은 제2 포지션 및 제2 방향으로부터 상기 가상 환경의 적어도 제2 부분을 기술하는 제2 이미지를 포함하고; 및
디스플레이를 위해 상기 제2 뷰 렌더링을 제공하는 동작을 포함하는, 시스템.
제1항에 있어서,
상기 복수의 렌더링 데이터세트들은 복수의 메쉬(mesh)들 및 복수의 뉴럴 래디언스 필드(neural radiance field) 모델들을 포함하는, 시스템.
제4항에 있어서,
상기 각 뉴럴 래디언스 필드 모델은 상기 복수의 객체들 중 서로 다른 각각의 객체의 하나 이상의 뷰 렌더링들을 생성하도록 트레이닝된, 시스템.
제4항에 있어서,
상기 복수의 메쉬들은 특정 사용자가 상기 가상 환경에서 뷰 포인트 및 뷰 방향을 이동할 때 상기 복수의 객체들을 렌더링하는 데 활용되는, 시스템.
제1항에 있어서,
상기 복수의 객체들 중 하나 이상의 객체들은 상기 컨텍스트 정보와 연관된 하나 이상의 특성들을 포함하는 하나 이상의 객체들에 기초하여 결정되고, 하나 이상의 알려진 특성들은 특정 사용자에 대한 가용성(availability)과 연관되는, 시스템.
제1항에 있어서,
상기 사용자 데이터는 특정 사용자와 연관된 하나 이상의 이전 검색 쿼리들과 연관된 검색 기록 데이터를 포함하는, 시스템.
제1항에 있어서,
상기 사용자 데이터는 브라우저 데이터를 포함하고, 상기 브라우저 데이터는 이전에 본 하나 이상의 웹 페이지들과 연관되는, 시스템.
제1항에 있어서,
상기 사용자 데이터는 검색 쿼리를 포함하고, 상기 사용자 데이터와 연관된 복수의 객체들을 결정하는 동작은:
렌더링 자산 데이터베이스 내의 하나 이상의 렌더링 데이터세트들이 상기 검색 쿼리의 적어도 일부와 연관되어 있는지 결정하는 동작을 포함하는, 시스템.
제10항에 있어서,
상기 검색 쿼리는 하나 이상의 쿼리 이미지들을 포함하고, 상기 사용자 데이터와 연관된 복수의 객체들을 결정하는 동작은:
하나 이상의 묘사된 객체들을 결정하기 위해 상기 하나 이상의 쿼리 이미지들을 프로세싱하는 동작; 및
하나 이상의 묘사된 객체들에 기초하여 상기 렌더링 자산 데이터베이스에 쿼리하는 동작을 포함하는, 시스템.
제1항에 있어서,
상기 사용자 데이터는 하나 이상의 저장된 데이터세트들을 기술하는 데이터를 포함하고, 상기 하나 이상의 저장된 데이터세트들은 하나 이상의 이전 사용자 인터렉션들에 응답하여 저장되는, 시스템.
증강 현실 미리보기를 제공하기 위한 컴퓨터 구현 방법으로서, 상기 방법은:
하나 이상의 프로세서들을 포함하는 컴퓨팅 시스템에 의해, 사용자 데이터 및 이미지 데이터를 획득하는 단계, 상기 사용자 데이터는 특정 사용자와 연관되어 있고, 상기 이미지 데이터는 사용자 환경을 기술하며;
컴퓨팅 시스템에 의해, 상기 사용자 데이터와 연관된 복수의 객체들을 결정하는 단계, 상기 복수의 객체들은 하나 이상의 제품 유형들과 연관된 복수의 제품들을 포함하고;
컴퓨팅 시스템에 의해, 상기 복수의 객체들에 기초하여 복수의 렌더링 데이터세트들을 획득하는 단계, 상기 복수의 객체들 중 각 객체는 상기 복수의 렌더링 데이터세트들 중 하나 이상의 렌더링 데이터세트들과 연관되어 있으며;
컴퓨팅 시스템에 의해, 상기 복수의 렌더링 데이터세트들에 기초하여 증강 이미지 데이터를 생성하는 단계, 상기 증강 이미지 데이터는 사용자 환경 내의 상기 복수의 객체들을 기술하며; 및
컴퓨팅 시스템에 의해, 인터렉티브 사용자 인터페이스를 통해 디스플레이하기 위한 상기 증강 이미지 데이터를 제공하는 단계를 포함하며, 상기 인터렉티브 사용자 인터페이스는 사용자 환경 내의 상기 복수의 객체들에 대한 복수의 서로 다른 뷰(view)들을 제공하도록 구성되는, 방법.
제13항에 있어서,
상기 증강 이미지 데이터는 하나 이상의 증강 이미지들을 포함하고, 상기 하나 이상의 증강 이미지들은 하나 이상의 뉴럴 래디언스 필드(neural radiance field) 모델들에 의해 생성된 복수의 예측 색상 값들 및 복수의 예측 밀도 값들에 기초하여 생성되는, 방법.
제13항에 있어서,
상기 복수의 객체들은 복수의 서로 다른 가구 아이템들을 포함하는, 방법.
제15항에 있어서,
상기 복수의 서로 다른 가구 아이템들은 제1 제품과 연관된 특정 시트를 포함하고, 상기 복수의 서로 다른 가구 아이템들은 제2 제품과 연관된 특정 테이블을 포함하는, 방법.
제13항에 있어서,
상기 복수의 제품들 중 특정 제품과 연관된 특정 렌더링과 연관된 사용자 입력 데이터를 획득하는 단계; 및
상기 특정 렌더링을 다른 렌더링으로 대체하기 위해 상기 증강 이미지 데이터를 조정하는 단계를 더 포함하고, 상기 다른 렌더링은 상기 복수의 제품들 각각과 상이한 다른 제품과 연관되는, 방법.
하나 이상의 컴퓨팅 장치들에 의해 실행될 때, 하나 이상의 컴퓨팅 장치로 하여금 동작들을 수행하게 하는 명령어들을 집합적으로 저장하는 하나 이상의 비일시적 컴퓨터 판독가능 매체로서, 상기 동작들은:
검색 쿼리를 획득하는 동작;
하나 이상의 검색 결과들을 결정하기 위해 상기 검색 쿼리를 프로세싱하는 동작, 상기 하나 이상의 검색 결과들은 하나 이상의 특정 객체들과 연관되며;
상기 하나 이상의 검색 결과들이 렌더링 자산 데이터베이스 내의 하나 이상의 렌더링 데이터세트들과 연관되어 있는지 결정하는 동작, 상기 렌더링 자산 데이터베이스는 복수의 서로 다른 객체들과 연관된 복수의 저장된 렌더링 데이터세트들을 포함하고;
상기 렌더링 자산 데이터베이스로부터 상기 하나 이상의 렌더링 데이터세트들을 획득하는 동작, 상기 하나 이상의 렌더링 데이터세트들은 하나 이상의 특정 객체들과 연관된 하나 이상의 메쉬(mesh)들 및 하나 이상의 뉴럴 래디언스 필드(neural radiance field) 모델들을 포함하고;
이미지 데이터를 획득하는 동작, 상기 이미지 데이터는 하나 이상의 이미지 센서들을 사용하여 생성되고, 상기 이미지 데이터는 사용자 환경을 기술하며;
상기 하나 이상의 렌더링 데이터세트들에 기초하여 증강 이미지 데이터를 생성하는 동작, 상기 증강 이미지 데이터는 사용자 환경 내의 하나 이상의 객체들을 기술하고; 및
인터렉티브 사용자 인터페이스를 통해 디스플레이하기 위한 상기 증강 이미지 데이터를 제공하는 동작을 포함하며, 상기 인터렉티브 사용자 인터페이스는 사용자 환경 내의 상기 하나 이상의 객체들에 대한 복수의 서로 다른 뷰(view)들을 제공하도록 구성되는, 하나 이상의 비일시적 컴퓨터 판독가능 매체.
제18항에 있어서,
상기 동작들은:
특정 제품과 연관된 특정 렌더링을 선택하는 사용자 입력 데이터를 획득하는 동작, 상기 특정 제품은 상기 하나 이상의 객체들과 연관되며;
상기 특정 제품과 연관된 제품 정보를 획득하는 동작; 및
디스플레이를 위해 상기 제품 정보를 제공하는 동작을 더 포함하는, 하나 이상의 비일시적 컴퓨터 판독가능 매체.
제18항에 있어서,
상기 동작들은:
특정 제품과 연관된 특정 렌더링을 선택하는 사용자 입력 데이터를 획득하는 동작, 상기 특정 제품은 상기 하나 이상의 객체들과 연관되며;
상기 특정 제품과 연관된 제품 링크를 획득하는 동작; 및
사용자 컴퓨팅 시스템에 상기 제품 링크를 제공하는 동작을 더 포함하는, 하나 이상의 비일시적 컴퓨터 판독가능 매체.