KR20220127718A - 전자 장치 및 전자 장치의 제어 방법 - Google Patents

전자 장치 및 전자 장치의 제어 방법 Download PDF

Info

Publication number
KR20220127718A
KR20220127718A KR1020210074887A KR20210074887A KR20220127718A KR 20220127718 A KR20220127718 A KR 20220127718A KR 1020210074887 A KR1020210074887 A KR 1020210074887A KR 20210074887 A KR20210074887 A KR 20210074887A KR 20220127718 A KR20220127718 A KR 20220127718A
Authority
KR
South Korea
Prior art keywords
feature points
depth
points
sparse
electronic device
Prior art date
Application number
KR1020210074887A
Other languages
English (en)
Inventor
앤소니 크리스토퍼 페리
잉옌 시앙
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2021/013997 priority Critical patent/WO2022191373A1/en
Publication of KR20220127718A publication Critical patent/KR20220127718A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/08—Bandwidth reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Selective Calling Equipment (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

방법은 확장 현실(XR: extended reality) 디스플레이 디바이스 상에 표시될 이미지 프레임에 대응되는 이미지 데이터 및 깊이 데이터에 액세스하는 단계, 및 이미지 데이터 및 깊이 데이터의 다중층 샘플링에 기초하여 이미지 프레임에 대응되는 특징 포인트의 세트를 결정하는 단계를 포함한다. 본 방법은 특징 포인트의 세트의 통합에 기초하여 희소(sparse) 특징 포인트의 세트를 생성하는 단계를 추가로 포함한다. 희소 특징 포인트의 세트는 특징 포인트의 세트에 대한 깊이 데이터의 상대적 변화에 기초하여 결정된다. 본 방법은 희소 특징 포인트의 세트 및 깊이 데이터에 기초하여 희소 깊이 포인트의 세트를 생성하는 단계 및 희소 깊이 포인트의 세트를 이용하여 이미지 프레임에 대응되는 조밀(dense) 깊이 맵의 재구성을 위해 희소 깊이 포인트의 세트를 외부 장치로 전송하는 단계를 추가로 포함한다.

Description

전자 장치 및 전자 장치의 제어 방법{ELECTRONIC DEVICE AND CONTROLLING METHOD OF ELECTRONIC DEVICE}
본 개시는 일반적으로 네트워크 환경 내의 데이터베이스 및 파일 관리에 관한 것이다.
구체적으로, 본 개시는 전자 장치 및 전자 장치의 제어 방법에 관한 것으로서, 구체적으로는 확장 현실 시스템을 제공하기 위한 전자 장치 및 전자 장치의 제어 방법에 관한 것이다.
확장 현실(XR: extended reality) 시스템은 일반적으로 컴퓨터-생성 환경 및/또는 적어도 일부 XR 아티팩트를 포함하는 실제 환경을 포함할 수 있다. 이러한 XR 시스템 또는 세계 및 연관된 XR 아티팩트는 통상적으로 다양한 어플리케이션(예를 들어, 비디오 게임)을 포함하며, 이는 사용자가 컴퓨터-생성 표현(예를 들어, 아바타)의 형태로 실재를 조작하여 이러한 XR 아티팩트(artifacts)를 이용하도록 할 수 있다.
통상적인 XR 시스템에서, 이미지 데이터는 예를 들어, 기본 그래픽 생성 디바이스 또는 이미지 데이터 생성을 담당하는 클라우드 기반 서비스에 물리적 유선 또는 무선 연결을 통해 커플링될 수 있는 견고한 헤드-마운트 디스플레이(HMD: head-mounted display) 상에 렌더링될 수 있다.
그러나, HMD가 예를 들어 더 강력한 헤드셋 디바이스와 반대로 경량의 XR 안경 또는 스펙터클을 포함하는 일부 경우에, XR 안경 또는 스펙터클은 비교할 때 감소된 프로세싱 능력, 저해상도/저비용 카메라 및/또는 비교적 단순한 추적 광학 기기를 포함할 수 있다. 또한, 더 작은 아키텍처 면적으로 인해, XR 안경 또는 스펙터클은 또한 감소된 전력 관리(예를 들어, 배터리, 배터리 크기) 및 열 관리(예를 들어, 냉각 팬, 열 싱크) 전자 기기를 포함할 수 있다. 이는 종종 이러한 디바이스가 전력 소비를 줄이면서 성능을 최대화하지 못하게 할 수 있다.
따라서 경량 XR 시스템을 개선하는 기술을 제공하는 것이 유용할 수 있다.
본 개시는 상술한 바와 같은 필요성에 따른 것으로서, 본 개시의 목적은 경량화된 확장 현실 시스템을 제공하기 위한 전자 장치 및 전자 장치의 제어 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법은 상기 전자 장치와 연관되며 확장 현실(XR: extended reality)을 제공하기 위한 외부 장치 상에 표시될 하나 이상의 이미지 프레임들에 대응되는 이미지 데이터 및 깊이 데이터(depth data)를 획득하는 단계, 상기 이미지 데이터 및 상기 깊이 데이터의 다중층 샘플링(multi-layer sampling)에 기초하여 상기 하나 이상의 이미지 프레임들에 대응되는 복수의 특징 포인트들의 세트들을 결정하는 단계, 상기 복수의 특징 포인트들의 세트들의 통합에 기초하여, 상기 복수의 특징 포인트들의 세트들에 대한 깊이 데이터의 상대적 변화들에 기초하여 결정되는 희소 특징 포인트들(sparse feature points)의 세트를 생성하는 단계, 상기 희소 특징 포인트들의 세트 및 상기 깊이 데이터에 기초하여 희소 깊이 포인트들의 세트를 생성하는 단계 및 상기 희소 깊이 포인트들의 세트를 이용하여 상기 하나 이상의 이미지 프레임들에 대응되는 조밀 깊이 맵(dense depth map)의 재구성을 위해 상기 희소 깊이 포인트들의 세트를 상기 외부 장치로 전송하는 단계를 포함한다.
여기서, 상기 복수의 특징 포인트들의 세트들은 객체 특징 포인트들의 세트, 에지(edge) 특징 포인트들의 세트, 객체 컨투어(contour) 포인트들의 세트, 또는 이미지 컨투어 포인트들의 세트 중 2개 이상을 포함할 수 있다.
한편, 상기 이미지 데이터 및 상기 깊이 데이터의 상기 다중층 샘플링은 가우시안 차(DoG: Difference of Gaussian) 필터, 가우시안의 라플라시안(LoG: Laplacian of Gaussian) 필터, 캐니(Canny) 필터 또는 소벨(Sobel) 필터 중 2개 이상을 이용하여 상기 복수의 특징 포인트들의 세트들을 추출함으로써 수행될 수 있다.
여기서, 상기 복수의 특징 포인트들의 세트들은 상기 하나 이상의 이미지 프레임들에 대응되는 복수의 스케일링된 표현들 각각에 대해 추출될 수 있다.
여기서, 상기 희소 특징 포인트들의 세트를 생성하는 단계는 상기 복수의 스케일링된 표현들 각각에 대해 추출된 상기 복수의 특징 포인트들의 세트들을 통합하는 단계 및 특징 포인트들의 서브세트와 각각의 이웃하는 특징 포인트들 사이의 깊이 데이터의 상대적 변화들에 기초하여 상기 통합된 복수의 특징 포인트들의 세트들로부터 상기 특징 포인트들의 서브세트를 제거하는 단계를 포함할 수 있다.
한편, 상기 희소 깊이 포인트들의 세트는 상기 희소 특징 포인트들의 세트와 연관된 사전 결정된 신뢰 스코어들에 추가로 기초하여 생성되고, 각각의 사전 결정된 신뢰 스코어(confidence score)는 상기 연관된 특징 포인트가 상기 하나 이상의 이미지 프레임들의 결정적인 특징에 대응될 가능성을 나타낼 수 있다.
한편, 상기 이미지 데이터를 상기 외부 장치로 전송하는 단계를 더 포함하고, 상기 하나 이상의 이미지 프레임들에 대응되는 상기 조밀 깊이 맵은 상기 희소 깊이 포인트들의 세트 및 상기 이미지 데이터에 기초하여 상기 외부 장치에 의해 재투사될 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 명령들을 포함하는 메모리 및 상기 메모리에 연결된 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는 상기 명령들을 실행함으로써, 상기 전자 장치와 연관된 확장 현실(XR) 디스플레이 디바이스 상에 표시될 하나 이상의 이미지 프레임들에 대응되는 이미지 데이터 및 깊이 데이터(depth data)를 획득하고, 상기 이미지 데이터 및 상기 깊이 데이터의 다중층 샘플링(multi-layer sampling)에 기초하여 상기 하나 이상의 이미지 프레임들에 대응되는 복수의 특징 포인트들의 세트들을 결정하며, 상기 복수의 특징 포인트들의 세트들의 통합에 기초하여, 상기 복수의 특징 포인트들의 세트들에 대한 깊이 데이터의 상대적 변화들에 기초하여 결정되는 희소 특징 포인트들(sparse feature points)의 세트를 생성하고, 상기 희소 특징 포인트들의 세트 및 상기 깊이 데이터에 기초하여 희소 깊이 포인트들의 세트를 생성하며, 상기 희소 깊이 포인트들의 세트를 이용하여 상기 하나 이상의 이미지 프레임들에 대응되는 조밀 깊이 맵(dense depth map)의 재구성을 위해 상기 희소 깊이 포인트들의 세트를 상기 외부 장치로 전송한다.
여기서, 상기 복수의 특징 포인트들의 세트들은 객체 특징 포인트들의 세트, 에지(edge) 특징 포인트들의 세트, 객체 컨투어(contour) 포인트들의 세트, 또는 이미지 컨투어 포인트들의 세트 중 2개 이상을 포함할 수 있다.
한편, 상기 이미지 데이터 및 상기 깊이 데이터의 상기 다중층 샘플링은 가우시안 차 (DoG: Difference of Gaussian) 필터, 가우시안의 라플라시안 (LoG: Laplacian of Gaussian) 필터, 캐니(Canny) 필터 또는 소벨(Sobel) 필터 중 2개 이상을 이용하여 상기 복수의 특징 포인트들의 세트들을 추출함으로써 수행될 수 있다.
여기서, 상기 복수의 특징 포인트들의 세트들은 상기 하나 이상의 이미지 프레임들에 대응되는 복수의 스케일링된 표현들 각각에 대해 추출될 수 있다.
여기서, 상기 하나 이상의 프로세서는 상기 복수의 스케일링된 표현들 각각에 대해 추출된 상기 복수의 특징 포인트들의 세트들을 통합하고, 특징 포인트들의 서브세트와 각각의 이웃하는 특징 포인트들 사이의 깊이 데이터의 상대적 변화들에 기초하여 상기 통합된 복수의 특징 포인트들의 세트들로부터 상기 특징 포인트들의 서브세트를 제거할 수 있다.
한편, 상기 희소 깊이 포인트들의 세트는 상기 희소 특징 포인트들의 세트와 연관된 사전 결정된 신뢰 스코어(confidence score)들에 추가로 기초하여 생성되고, 각각의 사전 결정된 신뢰 스코어는 상기 연관된 특징 포인트가 상기 하나 이상의 이미지 프레임들의 결정적인 특징에 대응될 가능성을 나타낼 수 있다.
한편, 상기 하나 이상의 프로세서는 상기 이미지 데이터를 상기 외부 장치로 전송하고, 상기 하나 이상의 이미지 프레임들에 대응되는 상기 조밀 깊이 맵은 상기 희소 깊이 포인트들의 세트 및 상기 이미지 데이터에 기초하여 상기 외부 장치에 의해 재투사될 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서, 상기 전자 장치의 제어 방법은 상기 전자 장치와 연관되며 확장 현실(XR: extended reality)을 제공하기 위한 외부 장치 상에 표시될 하나 이상의 이미지 프레임들에 대응되는 이미지 데이터 및 깊이 데이터(depth data)를 획득하는 단계, 상기 이미지 데이터 및 상기 깊이 데이터의 다중층 샘플링(multi-layer sampling)에 기초하여 상기 하나 이상의 이미지 프레임들에 대응되는 복수의 특징 포인트들의 세트들을 결정하는 단계, 상기 복수의 특징 포인트들의 세트들의 통합에 기초하여, 상기 복수의 특징 포인트들의 세트들에 대한 깊이 데이터의 상대적 변화들에 기초하여 결정되는 희소 특징 포인트들(sparse feature points)의 세트를 생성하는 단계, 상기 희소 특징 포인트들의 세트 및 상기 깊이 데이터에 기초하여 희소 깊이 포인트들의 세트를 생성하는 단계 및 상기 희소 깊이 포인트들의 세트를 이용하여 상기 하나 이상의 이미지 프레임들에 대응되는 조밀 깊이 맵(dense depth map)의 재구성을 위해 상기 희소 깊이 포인트들의 세트를 상기 외부 장치로 전송하는 단계를 포함한다.
여기서, 상기 복수의 특징 포인트들의 세트들은 객체 특징 포인트들의 세트, 에지(edge) 특징 포인트들의 세트, 객체 컨투어(contour) 포인트들의 세트, 또는 이미지 컨투어 포인트들의 세트 중 2개 이상을 포함할 수 있다.
한편, 상기 이미지 데이터 및 상기 깊이 데이터의 상기 다중층 샘플링은 가우시안 차(DoG: Difference of Gaussian) 필터, 가우시안의 라플라시안(LoG: Laplacian of Gaussian) 필터, 캐니(Canny) 필터 또는 소벨(Sobel) 필터 중 2개 이상을 이용하여 상기 복수의 특징 포인트들의 세트들을 추출함으로써 수행될 수 있다.
한편, 상기 전자 장치의 제어 방법은 상기 복수의 스케일링된 표현들 각각에 대해 추출된 상기 복수의 특징 포인트들의 세트들을 통합하는 단계 및 특징 포인트들의 서브세트와 각각의 이웃하는 특징 포인트들 사이의 깊이 데이터의 상대적 변화들에 기초하여 상기 통합된 복수의 특징 포인트들의 세트들로부터 상기 특징 포인트들의 서브세트를 제거하는 단계를 더 포함할 수 있다.
한편, 상기 희소 깊이 포인트들의 세트는 상기 희소 특징 포인트들의 세트와 연관된 사전 결정된 신뢰 스코어들에 추가로 기초하여 생성되고, 각각의 사전 결정된 신뢰 스코어(confidence score)는 상기 연관된 특징 포인트가 상기 하나 이상의 이미지 프레임들의 결정적인 특징에 대응될 가능성을 나타낼 수 있다.
한편, 상기 전자 장치의 제어 방법은 상기 이미지 데이터를 상기 외부 장치로 전송하는 단계를 더 포함하고, 상기 하나 이상의 이미지 프레임들에 대응되는 상기 조밀 깊이 맵은 상기 희소 깊이 포인트들의 세트 및 상기 이미지 데이터에 기초하여 상기 외부 장치에 의해 재투사될 수 있다.
도 1은 본 개시의 일 실시 예에 따른 확장 현실(XR) 시스템을 나타내는 도면,
도 2는 희소 깊이 포인트의 세트를 생성하고 생성된 희소 깊이 포인트에 기초하여 조밀 깊이 맵을 재구성하기 위한 각각의 워크플로우 다이어그램을 각각 나타내는 도면,
도 3은 다중-스케일 특징 포인트 추출의 예시적인 다이어그램을 나타내는 도면,
도 4a, 도 4b, 도 4c, 도 4d 및 도 4e는 각각의 예시적인 소스 이미지 및 특징 포인트, 에지, 객체 컨투어 및 이미지 컨투어의 세트를 생성하기 위한 기술의 실행 예를 나타내는 도면,
도 5a는 검출된 이미지 특징을 희소 깊이 포인트의 세트에 통합하는 결과적인 예를 나타내는 도면,
도 5b는 추출된 희소 깊이 포인트 세트로부터 재구성된 예시적인 깊이 맵 결과를 나타내는 도면,
도 6은 생성된 희소 깊이 포인트의 세트에 기초하여 조밀 깊이 맵을 재구성하기 위한 예시적인 다이어그램을 나타내는 도면,
도 7은 희소 깊이 포인트의 세트를 생성하고 생성된 희소 깊이 포인트에 기초하여 조밀 깊이 맵을 재구성하기 위한 방법의 흐름도, 그리고,
도 8은 본 개시의 일 실시 예에 따른 예시적인 컴퓨터 시스템을 나타내는 도면이다.
본 실시예는 희소 깊이 포인트의 세트를 생성하고 전자 장치(컴퓨팅 디바이스라고 지칭할 수도 있음)와 외부 장치(확장 현실(XR: extended reality) 디스플레이 디바이스라고 지칭할 수도 있음) 사이의 데이터 스루풋(throughput) 및 계산 부하를 감소시키기 위해 생성된 희소 깊이 포인트(sparse depth point)에 기초하여 조밀 깊이 맵(dense depth map)을 재구성하기 위한 기술에 관한 것이다.
특정 실시예에서, 전자 장치는 전자 장치와 연관된 외부 장치 상에 표시될 하나 이상의 이미지 프레임에 대응되는 이미지 데이터 및 깊이 데이터를 획득할 수 있다.
특정 실시예에서, 전자 장치는 이미지 데이터 및 깊이 데이터의 다중층 샘플링(multi-layer sampling)에 기초하여 하나 이상의 이미지 프레임에 대응되는 특징 포인트의 세트의 수를 결정할 수 있다.
특정 실시예에서, 전자 장치는 이미지 데이터 및 깊이 데이터의 다중층 샘플링에 기초하여 하나 이상의 이미지 프레임에 대응되는 특징 포인트의 세트의 수를 결정할 수 있다. 예를 들어, 특정 실시예에서, 특징 포인트의 세트의 수는 객체 특징 포인트의 세트, 에지 특징 포인트의 세트, 객체 컨투어 포인트의 세트 또는 이미지 컨투어 포인트의 세트 중 2개 이상을 포함할 수 있다.
특정 실시예에서, 전자 장치는 이미지 데이터 및 깊이 데이터의 다중층 샘플링에 기초하여 하나 이상의 이미지 프레임에 대응되는 특징 포인트의 세트의 수를 결정할 수 있다. 예를 들어, 특정 실시예에서, 이미지 데이터 및 깊이 데이터의 다중층 샘플링은 가우시안 차(DoG: Difference of Gaussian) 필터, 가우시안의 라플라시안(LoG: Laplacian of Gaussian) 필터, 캐니(Canny) 필터 또는 소벨(Sobel) 필터 중 2개 이상을 이용하여 다수의 특징 포인트를 추출함으로써 수행될 수 있다. 예를 들어, 특정 실시예에서, 하나 이상의 이미지 프레임에 대응되는 다수의 스케일링된 표현 각각에 대해 다수의 특징 포인트 세트가 추출될 수 있다.
특정 실시예에서, 전자 장치는 특징 포인트의 세트의 수의 통합에 기초하여 희소 특징 포인트(sparse feature points)의 세트를 생성할 수 있으며, 여기서 희소 특징 포인트의 세트는 복수의 특징 포인트의 세트에 대한 깊이 데이터의 상대적 변화에 기초하여 결정될 수 있다. 예를 들어, 특정 실시예에서, 전자 장치는 복수의 스케일링된 표현 각각에 대해 추출된 특징 포인트 세트의 수를 통합하고 특징 포인트의 서브세트와 각각의 이웃 특징 포인트 간의 깊이 데이터의 상대적 변화에 기초하여 통합된 수의 특징 포인트의 세트로부터 특징 포인트의 서브세트를 제거함으로써 희소 특징 포인트 세트를 생성할 수 있다.
특정 실시예에서, 전자 장치는 희소 특징 포인트 및 깊이 데이터의 세트에 기초하여 희소 깊이 포인트의 세트를 생성할 수 있다. 예를 들어, 특정 실시예에서, 희소 깊이 포인트의 세트는 희소 특징 포인트의 세트와 연관된 사전 결정된 신뢰 스코어(confidence score)에 기초하여 생성될 수 있으며, 여기서 각각의 사전 결정된 신뢰 스코어는 연관된 특징 포인트가 하나 이상의 이미지 프레임의 결정적인 특징에 대응될 가능성을 나타낼 수 있다.
특정 실시예에서, 전자 장치는 희소 깊이 포인트의 세트를 이용하여 하나 이상의 이미지 프레임의 재구성을 위해 희소 깊이 포인트의 세트를 외부 장치로 전송할 수 있다. 예를 들어, 특정 실시예에서, 전자 장치는 이미지 데이터와 함께 희소 깊이 포인트의 세트를 외부 장치로 전송할 수 있으며, 외부 장치는 이미지 데이터를 대응되는 희소 깊이 포인트의 세트와 결합함으로써 하나 이상의 이미지 프레임을 재구성할 수 있다.
따라서, 본 개시의 실시예에 따르면, 전자 장치와 외부 장치 사이의 네트워크 트래픽을 감소시키고, 외부 장치의 전력 소비 및 열 출력을 감소시키기 위해, 전자 장치는 객체 컨투어, 객체 에지 및 객체 특징과 같이 깊이가 갑자기 변하는 깊이 맵 또는 하나 이상의 RGB-D 이미지 프레임으로부터 특징 포인트를 추출하는 적응 프로세스를 수행할 수 있다.
반대로, 전자 장치는 깊이 맵의 평면, 큐브 및 평활한 표면(smooth surfaces) 또는 하나 이상의 RGB-D 이미지 프레임과 같이 깊이가 단지 최소한으로 변하거나(예를 들어, 평활한 천이(smoothly transition)) 전혀 변하지 않는 특징 포인트를 추출하는 것을 포기할 수 있다.
이러한 방식으로, 전자 장치는 원래 깊이 맵 또는 전자 장치에 의해 생성된 하나 이상의 원래 RGB-D 이미지 프레임의 깊이 정보를 효과적이고 효율적으로 복구하기 위해 희소 깊이 포인트 및 충분한 객체 정보만을 포함하는 재구성 및 재투사를 위한 깊이 맵을 외부 장치에 제공할 수 있다. 따라서, 본 개시의 실시예에 따르면, 외부 장치의 디스플레이 상에 궁극적으로 투사되고/투사되거나 재투사된 재구성 깊이 맵 또는 RGB-D 프레임에 대해 바람직한 이미지 품질을 유지하면서 데이터 스루풋(예를 들어, Wi-Fi 데이터 스루풋)을 감소시키고 전자 장치와 외부 장치 간의 부하를 계산할 수 있다.
본 개시에 대한 설명에서 사용되는 "확장 현실"은 예를 들어, 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 시뮬레이팅된 현실, 몰입 현실, 홀로그래피 또는 이들의 임의의 조합을 포함하여 사용자에게 제시하기 전에 일정한 방식으로든 조작된 전자-기반 현실의 형태를 지칭할 수 있다. 예를 들어, "확장 현실" 컨텐츠는 완전히 컴퓨터-생성된 컨텐츠 또는 캡처된 컨텐츠(예를 들어, 실제 이미지)와 결합된 부분적으로 컴퓨터-생성된 컨텐츠를 포함할 수 있다.
일부 실시예에서, "확장 현실" 컨텐츠는 또한 비디오, 오디오, 햅틱 피드백 또는 이들의 일부 조합을 포함할 수 있으며, 이들 중 임의의 것은 단일 채널 또는 (뷰어에게 3차원(3D) 효과를 생성하는 스테레오 비디오와 같은) 다중 채널로 제시될 수 있다.
또한, 본 개시에 대한 설명에서 사용되는 바와 같이, "확장 현실"은 예를 들어, 확장 현실에서 컨텐츠를 생성하기 위해 이용될 수 있고/있거나 확장 현실에서 이용될 수 있는(예를 들어, 활동을 수행) 어플리케이션, 제품, 액세서리, 서비스 또는 이들의 조합과 연관될 수 있음을 이해해야 한다.
따라서 "확장 현실" 컨텐츠는 하나 이상의 뷰어에게 확장 현실 컨텐츠를 제공할 수 있는 호스트 컴퓨터 시스템에 연결된 헤드-마운트 디바이스(HMD), 독립형 HMD, 모바일 디바이스 또는 컴퓨팅 시스템 또는 임의의 다른 하드웨어 플랫폼을 포함하는 다양한 플랫폼 상에서 구현될 수 있다.
또한, 본 개시에 대한 설명에서 사용되는 "현재 이미지 프레임"은 컴퓨팅 플랫폼으로부터 외부 장치로 전송(예를 들어, 푸시(push))되거나 이미지 또는 깊이 프로세싱 및 분석을 위해 외부 장치에 의해 컴퓨팅 플랫폼으로부터 로드(예를 들어, 풀링(pulling))될 수 있는 가장 최근의 이미지 프레임 또는 가장 최근의 이미지 프레임의 세트를 지칭할 수 있다.
예를 들어, 특정 실시예에서, "현재 이미지 프레임"은 외부 장치로 푸시되거나 외부 장치에 의해 풀링될 수 있는 (컴퓨팅 플랫폼에 의해 렌더링되는 RGB-D 이미지 프레임의 N 세트의) 최근 이미지 프레임에 단순히 대응될대응될 수 있다. 즉, RGB-D 이미지 프레임의 N 세트의 모든 이미지 프레임이 컴퓨팅 플랫폼으로부터 외부 장치로 제공되지 않을 수 있으므로, "현재 이미지 프레임"은 실제로 컴퓨팅 플랫폼으로부터 외부 장치로 전송되는 가장 최근의 이미지를 단순히 지칭할 수 있다.
도 1은 본 개시의 일 실시예에 따른 이미지 및 깊이 데이터 및 포즈(pose) 데이터 업데이트에 기초하여 깊이 맵을 선택적으로 재투사하기에 적합할 수 있는 예시적인 확장 현실(XR) 시스템(100)을 나타내는 도면이다.
특정 실시예에서, XR 시스템(100)은 외부 장치(102), 네트워크(104) 및 전자 장치(106)를 포함할 수 있다. 특정 실시예에서, 사용자는 시각적 확장 현실 컨텐츠를 사용자에게 표시할 수 있는 외부 장치(102)를 착용할 수 있다. 외부 장치(102)는 오디오 확장 현실 컨텐츠를 사용자에게 제공할 수 있는 오디오 디바이스를 포함할 수 있다.
특정 실시예에서, 외부 장치(102)는 환경의 이미지 및 비디오를 캡처할 수 있는 하나 이상의 카메라를 포함할 수 있다. 외부 장치(102)는 사용자의 버전스(vergence) 거리를 결정하기 위한 눈(eye) 추적 시스템을 포함할 수 있다.
특정 실시예에서, 외부 장치(102)는 경량 헤드-마운트 디스플레이(HMD)(예를 들어, 고글, 안경, 스펙터클, 바이저 등)를 포함할 수 있다.
특정 실시예에서, 외부 장치(102)는 또한 경량 휴대용 디스플레이 디바이스 또는 하나 이상의 레이저 투사 스펙터클(예를 들어, 투사할 사용자의 망막 상으로 저전력 레이저를 투사하여 이미지 또는 깊이 데이터를 사용자에게 표시할 수 있는 스펙터클)과 같은 논(non)-HMD 디바이스를 포함할 수 있다. 특정 실시예에서, 네트워크(104)는 예를 들어, 외부 장치(102)를 전자 장치(106)와 통신 할 수 있도록 커플링하기에 적합할 수 있는 임의의 다양한 무선 통신 네트워크(예를 들어, WLAN, WAN, PAN, 셀룰러, WMN, WiMAX, GAN, 6LowPAN 등)를 포함할 수 있다.
특정 실시예에서, 전자 장치(106)는 예를 들어, 독립형 호스트 컴퓨팅 시스템, 외부 장치(102)와 통합된 온-보드 컴퓨터 시스템, 모바일 디바이스, 또는 확장 현실 컨텐츠를 외부 장치(102)에 제공할 수 있는 임의의 다른 하드웨어 플랫폼을 포함할 수 있다.
특정 실시예에서, 전자 장치(106)는 예를 들어, XR 전자 장치(102) 상에서 실행되는 XR 어플리케이션 또는 경험을 호스팅하고 서비스하는 데 적합한 클라우드-기반 컴퓨팅 아키텍처(하나 이상의 서버(108) 및 데이터 저장소(110)를 포함)를 포함할 수 있다. 예를 들어, 특정 실시예에서, 전자 장치(106)는 서비스로서의 플랫폼(PaaS: Platform as a Service) 아키텍처, 서비스로서의 소프트웨어(SaaS: Software as a Service) 아키텍처 및 서비스로서의 인프라스트럭처(IaaS: Infrastructure as a Service) 또는 다른 유사한 클라우드-기반 컴퓨팅 아키텍처를 포함할 수 있다.
이해될 수 있는 바와 같이, 외부 장치(102)가 고글, 안경, 스펙터클, 바이저 등과 같은 경량 디바이스를 포함하는 특정 실시예에서, 외부 장치(102)는 더 작은 아키텍처 면적으로 인해 감소된 전력 관리(예를 들어, 배터리들, 배터리 크기) 및 열 관리(예를 들어, 냉각 팬, 열 싱크 등) 전자 기기를 포함할 수 있다.
도 2는 희소 깊이 포인트의 세트를 생성하고 생성된 희소 깊이 포인트에 기초하여 조밀 깊이 맵을 재구성하기 위한 워크플로우 다이어그램(200A) 및 워크플로우 다이어그램(200B)을 나타내는 도면이다.
특정 실시예에서, 워크플로우 다이어그램(200A)은 예를 들어, 도 1과 관련하여 위에서 논의된 바와 같이 전자 장치(106)에 대응하고 이에 의해 수행될 수 있다. 유사하게, 특정 실시예에서, 워크플로우 다이어그램(200B)은 예를 들어, 도 1과 관련하여 위에서 논의된 바와 같이 외부 장치(102)에 대응하고 이에 의해 수행될 수 있다.
특정 실시예에서, 워크플로우 다이어그램(200A)은 예를 들어, 사용자에게 렌더링하기 위해 외부 장치(102)에 제공될 하나 이상의 2D, 2.5D 또는 3D 이미지에 대해 업데이트된 적색((R)ed), 녹색((G)reen), 청색((B)lue), 이미지 데이터(202A) 및 깊이((D)epth) 데이터(204)에 액세스(획득)하는 전자 장치(106)로 시작할 수 있다. 특정 실시예에서, 워크플로우 다이어그램(200A)은 전자 장치(106)가 적응적 깊이 포인트 추출 프로세스(206)를 수행하는 것을 계속할 수 있다.
특정 실시예에서, 전자 장치(106)는 우선 객체 특징 포인트 추출(208)을 수행할 수 있다. 예를 들어, 특정 실시예에서, 전자 장치(106)는 픽셀 강도 값 및 깊이 값이 예를 들어, 객체 특징 포인트를 추출하기 위해 다중-스케일 특징 포인트 추출 알고리즘에 기초하여 급격히 변할 수 있는 픽셀 위치에서 객체 특징 포인트 추출(208)을 수행할 수 있다. 예를 들어, 특정 실시예에서, RGB 이미지 데이터(202A)의 다중층 샘플링의 초기 층 샘플링은 예를 들어, 가우시안 차(DoG: Difference of Gaussian) 필터, 가우시안의 라플라시안(LoG: Laplacian of Gaussian) 필터, 또는 RGB 이미지 데이터(202A)의 다수의 스케일링된 표현(예를 들어, 가우시안 스케일 공간 표현) 중 하나 이상으로부터 객체 특징 포인트를 추출하는 데 유용할 수 있는 다른 유사한 필터를 이용하여 객체 특징 포인트를 추출함으로써 수행될 수 있다.
특정 실시예에서, RGB 이미지 데이터(202A)의 스케일링된 표현의 수 중 하나 이상으로부터 객체 특징 포인트를 추출한 후, 전자 장치(106)는 모든 스케일링된 표현의 객체 특징 포인트를 통합하고 각각의 객체 특징 포인트를 대응되는 깊이 데이터(204)(예를 들어, 단색 깊이 맵, RGB-D 이미지 프레임)로 검증할 수 있다. 예를 들어, 특정 실시예에서, 전자 장치(106)는 RGB 이미지 데이터(202A) 내의 각각의 이웃하는 객체 특징 포인트와 비교하여 깊이 데이터(204)(예를 들어, 단색 깊이 맵, RGB-D 이미지 프레임)가 단지 최소로 변하거나(예를 들어, 평활한 천이) (예를 들어, 평면, 큐브, 평활한 표면 등을 따라) 전혀 변하지 않는 픽셀 위치에서 임의의 객체 특징 포인트를 제거할 수 있다.
특정 실시예에서, 객체 특징 포인트 추출(208) 동안, 전자 장치(106)는 또한 하나 이상의 신뢰 스코어(예를 들어, "0" 내지 "100"의 범위) 또는 신뢰 맵을 생성할 수 있으며, 이는 연관된 객체 특징 포인트가 RGB 이미지 데이터(202A) 내의 객체의 결정적 특징에 대응될 가능성의 표시를 포함할 수 있다.
특정 실시예에서, 전자 장치(106)는 그 후 객체 에지 검출 및 추출(210)을 수행할 수 있다. 예를 들어, 특정 실시예에서, RGB 이미지 데이터(202A)의 다중층 샘플링의 다른 층 샘플링이 예를 들어, RGB 이미지 데이터(202A)의 객체의 구조를 정확하게 캡처하기 위해, 예를 들어, 캐니(Canny) 필터, 소벨(Sobel) 필터, 또는 RGB 이미지 데이터(202A)의 스케일링된 표현(예를 들어, 가우시안 스케일 공간 표현)의 수 중 하나 이상으로부터 객체 에지 특징을 추출하는 데 유용할 수 있는 다른 유사한 필터를 이용하여 객체 에지 특징을 추출함으로써 수행될 수 있다.
특정 실시예에서, RGB 이미지 데이터(202A)의 스케일링된 표현의 수 중 하나 이상으로부터 객체 에지 특징을 추출한 후, 전자 장치(106)는 모든 스케일링된 표현의 객체 에지 특징을 통합하고 각각의 객체 에지 특징을 대응되는 깊이 데이터(204)(예를 들어, 단색 깊이 맵, RGB-D 이미지 프레임)로 검증할 수 있다.
예를 들어, 특정 실시예에서, 객체 에지 특징은 깊이 변화에 대응되는 RGB 이미지 데이터(202A) 내의 객체 형상 변화를 나타낼 수 있다. 특정 실시예에서, 전자 장치(106)는 RGB 이미지 데이터(202A) 내의 각각의 이웃하는 객체 에지 특징과 비교하여 깊이 데이터(204)(예를 들어, 단색 깊이 맵, RGB-D 이미지 프레임)가 단지 최소로 변하거나(예를 들어, 평활하게 천이), (예를 들어, 평면, 큐브, 평활한 표면 등을 따라) 전혀 변하지 않는 픽셀 위치에서 임의의 객체 에지 특징을 제거할 수 있다. 특정 실시예에서, 객체 에지 검출 및 추출(210) 동안, 전자 장치(106)는 또한 예를 들어, 연관된 객체 에지 특징이 RGB 이미지 데이터(202A) 내의 객체의 결정적 특징에 대응될 가능성의 표시를 포함할 수 있는 하나 이상의 신뢰 스코어(예를 들어, "0" 내지 "100"의 범위) 또는 신뢰 맵을 생성할 수 있다.
특정 실시예에서, 전자 장치(106)는 객체 컨투어 검출 및 추출(212) 및 이미지 컨투어 검출 및 추출(214)을 수행할 수 있다. 예를 들어, 특정 실시예에서, RGB 이미지 데이터(202A)의 다중층 샘플링의 다른 층 샘플링은 예를 들어, 객체 특징 포인트 및 객체 에지 특징을 보충하기 위해 이용될 수 있는 객체 컨투어 특징 및 이미지 컨투어 특징(예를 들어, 배경 픽셀)을 추출함으로써 수행될 수 있다. 예를 들어, 특정 실시예에서, 객체 컨투어 검출 및 추출(212) 및 이미지 컨투어 검출 및 추출(214) 없이, 재구성된 이미지 프레임은 특정 객체 컨투어 위치로부터 누락된 스무딩 아웃된(smoothed out) 특징 및/또는 특징 포인트와 같은 RGB 이미지 데이터(202A) 및 깊이 데이터(204)(예를 들어, 단색 깊이 맵, RGB-D 이미지 프레임) 정보를 잃을 수 있다.
특정 실시예에서, 객체 컨투어 검출 및 추출(212) 및 이미지 컨투어 검출 및 추출(214) 동안, 전자 장치(106)는 또한 하나 이상의 신뢰 스코어(예를 들어, "0" 내지 "100" 범위) 또는 신뢰 맵을 생성할 수 있으며, 이는 예를 들어, 연관된 객체 컨투어 및 이미지 컨투어가 RGB 이미지 데이터(202A) 내의 객체의 결정적 특징에 대응될 가능성의 표시를 포함할 수 있다.
특정 실시예에서, 객체 특징 포인트 추출(208), 객체 에지 검출 및 추출(210), 및 객체 컨투어 검출 및 추출(212) 및 이미지 컨투어 검출 및 추출(214)을 수행한 후, 전자 장치(106)는 추출되고 검증된 특징 포인트의 수, 추출되고 검증된 에지 특징의 수, 추출되고 검증된 객체 및 이미지 컨투어 특징의 수를 통합하여 희소 특징 포인트의 세트를 생성한다. 예를 들어, 특정 실시예에서, 전자 장치(106)는 우선 객체 컨투어 라벨링(216)을 수행할 수 있으며, 이는 예를 들어, 객체 인식, 폐쇄, 3D 분석 등과 같은 어플리케이션을 위한 특정 객체 또는 특징을 분류하는 데 이용될 수 있다.
특정 실시예에서, 전자 장치(106)는 추출되고 검증된 특징 포인트의 수, 추출되고 검증된 수의 통합(218)을 수행할 수 있다. 예를 들어, 특정 실시예에서, 전자 장치(106)는 특징 검출 및 추출(208), 에지 검출 및 추출(210), 객체 컨투어 검출 및 추출(212) 및 이미지 컨투어 검출 및 추출(214)로부터 생성된 특징 포인트를 함께 통합하여 입상 및 희소 특징 포인트의 세트를 생성한다.
특정 실시예에서, 통합(218) 과정을 수행하는 동안, 전자 장치(106)는 하나 이상의 추가 검증을 수행하여 중복된 특징 포인트 및/또는 각각 개별적으로 해상되기에 너무 가깝게 위치된 특징 포인트를 결정하여 필터링 아웃(filtering out)할 수 있다.
특정 실시예에서, 전자 장치(106)는 생성된 희소 특징 포인트의 세트와 대응되는 깊이 데이터(204)(예를 들어, 단색 깊이 맵, RGB-D 이미지 프레임)의 통합(220)을 수행할 수 있다. 특정 실시예에서, 전자 장치(106)는 깊이 데이터(204)(예를 들어, 단색 깊이 맵, RGB-D 이미지 프레임)가 RGB 이미지 데이터(202A) 내의 각각의 이웃하는 희소 특징 포인트와 비교하여 단지 최소한으로 변하거나(예를 들어, 평활하게 천이) 전혀 변하지 않는 픽셀 위치에서 특징 포인트의 희소 세트 중 임의의 것을 제거하기 위해 하나 이상의 추가 검증을 수행할 수 있다.
특정 실시예에서, 깊이 데이터(204)로 희소 특징 포인트의 세트의 검증에 기초하여, 전자 장치(106)는 입상 및 희소 깊이 포인트의 세트(222)를 생성할 수 있다. 특정 실시예에서, 전자 장치(106)는 위에서 논의된 객체 특징 포인트 추출(208), 객체 에지 검출 및 추출(210), 및 객체 컨투어 검출 및 추출(212) 및 이미지 컨투어 검출 및 추출(214)에 대해 사전 결정된 각각의 신뢰 스코어 또는 신뢰 맵에 기초하여 예를 들어, 2개 이상의 희소 깊이 포인트의 레벨로 희소 깊이 포인트의 세트를 분할할 수 있다.
특정 실시예에서, 전자 장치(106)는 네트워크(104)를 통해 외부 장치(102)로 희소 깊이 포인트의 세트(224)를 전송할 수 있다. 예를 들어, 특정 실시예에서, 각각의 신뢰 스코어 또는 신뢰 맵에 따라 분할된 2개 이상의 레벨의 희소 깊이 포인트를 생성함으로써, 전자 장치(106)는 외부 장치(102)에 의해 수행되는 깊이 맵 재구성 및 재투사의 품질을 손상시키지 않고 임의의 시점에서 외부 장치(102)로 전송되는 예를 들어, 깊이 포인트의 수를 제어하고 감소시킬 수 있다. 예를 들어, 특정 실시예에서, 네트워크(104) 대역폭 및/또는 스루풋 조건이 대규모 데이터 전송에 적합할 때, 더 큰 희소 깊이 포인트의 세트가 외부 장치(102)로 전송될 수 있으며, 반대로, 네트워크(104) 대역폭 및/또는 스루풋 조건이 대규모 데이터 전송에 적합하지 않을 때, 감소된 크기의 희소 깊이 포인트의 세트가 외부 장치(102)로 전송될 수 있다.
특정 실시예에서, 위에 논의된 바와 같이, 외부 장치(102)는 전자 장치(106)로부터 희소 깊이 포인트의 세트(224)를 수신할 수 있다. 특정 실시예에서, 외부 장치(102)는 또한 전자 장치(106)로부터 RGB 이미지 데이터(202B)(예를 들어, 하나 이상의 현재 RGB 이미지 프레임)를 수신할 수 있다.
특정 실시예에서, 외부 장치(102)는 전자 장치(106)로부터 수신된 희소 깊이 포인트의 세트(224)에 기초하여 조밀 깊이 맵 재구성(226)을 수행할 수 있다. 특정 실시예에서, 외부 장치(102)는 RGB 이미지 데이터(202B) 내의 픽셀 위치 r과 하나 이상의 각각의 이웃하는 픽셀 위치 s(예를 들어, 이웃하는 픽셀 위치 s의 가중 평균) 사이의 하나 이상의 깊이 차이를 계산할 수 있다. 예를 들어, 특정 실시예에서, 외부 장치(102)는 아래에 표현된 바와 같이 하나 이상의 깊이 차이를 계산할 수 있다:
Figure pat00001
(1)
여기서,
D(r)은 픽셀 r에서의 깊이이고,
D(s)는 픽셀 s에서의 깊이이고,
N(r)은 픽셀 r의 이웃이고,
s는 픽셀 r의 이웃 픽셀이고,
Wrs는 이웃 픽셀로 생성된 가중치이고,
Figure pat00002
(2)
C는 상수이고,
I(r)은 픽셀 r에서의 강도이고,
I(s)는 픽셀 s에서의 강도이고,
Figure pat00003
은 r 주위의 윈도우에서의 강도의 분산이고,
또한 다른 형태의 가중치를 사용할 수 있으며,
Figure pat00004
(3)
Figure pat00005
은 r 주위의 윈도우에서의 강도의 평균(mean)이다.
특정 실시예에서, 외부 장치(102)는 하나 이상의 특정 픽셀 위치 r에서의 깊이를 결정하기 위해 하나 이상의 깊이 차이(230)를 최소화할 수 있고, 각각의 픽셀 위치 r에서의 깊이가 결정될 때까지 하나 이상의 깊이 차이(230)의 최소화를 반복적으로 수행할 수 있다. 예를 들어, 특정 실시예에서, 깊이가 결정되지 않은 각각의 픽셀 위치 r에 대해, 외부 장치(102)는 각각의 이웃하는 픽셀 위치 s를 갖는 윈도우를 규정하고 깊이 차이의 목적 함수를 생성할 수 있다. 특정 실시예에서, 외부 장치(102)는 각각의 픽셀 위치 r에서 깊이를 얻기 위해 목적 함수를 최소화할 수 있다. 예를 들어, 특정 실시예에서, 외부 장치(102)는 다음으로 표현되는 바와 같이 하나 이상의 특정 픽셀 위치 r에서의 깊이를 결정하기 위해 하나 이상의 깊이 차이(230)를 최소화할 수 있다:
Figure pat00006
(4)
특정 실시예에서, 외부 장치(102)는 예를 들어, 원래 깊이 데이터(204)의 재구성 또는 부분 재구성을 포함할 수 있는 조밀 깊이 맵(232)을 재구성할 수 있다. 특정 실시예에서, RGB 이미지 데이터(202B) 및 조밀 깊이 맵(232)에 기초하여, 외부 장치(102)는 외부 장치(102)의 디스플레이 상으로의 RGB-D 이미지 프레임의 하나 이상의 재투사(234)를 수행할 수 있다.
따라서, 현재 개시된 실시예에 따르면, 외부 장치(102)와 전자 장치(106) 사이의 네트워크 트래픽을 감소시키고, 확장에 의해, 외부 장치(102)의 전력 소비 및 열 출력을 감소시키기 위해, 컴퓨팅은 디바이스(106)는 객체 컨투어, 객체 에지 및 객체 특징과 같이 깊이가 급격히 변하는 픽셀 위치에서 RGB 이미지 데이터(202A) 및 깊이 데이터(204)(예를 들어, 그레이스케일 깊이 이미지 프레임)로부터 특징 포인트를 추출하는 적응 프로세스를 수행할 수 있다.
반대로, 전자 장치(106)는 RGB 이미지 데이터(202A) 및 깊이 데이터(204)의 평면, 큐브 및 평활한 표면과 같이 깊이가 단지 최소한으로 변하거나(예를 들어, 평활하게 천이) 전혀 변하지 않는 특징 포인트, 에지 포인트, 컨투어 포인트 등의 추출을 포기할 수 있다.
이러한 방식으로, 전자 장치(106)는 전자 장치(106)에 의해 생성된 원래 RGB 이미지 데이터(202A) 및 깊이 데이터(204)(예를 들어, 그레이스케일 깊이 이미지 프레임)의 깊이 정보를 효과적이고 효율적으로 복구하기 위해 희소 깊이 포인트 및 충분한 객체 정보만을 포함하는 재구성 및 재투사를 위한 깊이 맵을 외부 장치(102)에 제공할 수 있다. 따라서, 현재 개시된 실시예는 궁극적으로 외부 장치(102)의 디스플레이 상으로 투사 및/또는 재투사되는 재구성된 이미지 데이터(202A) 및 깊이 데이터(204)(예를 들어, 그레이스케일 깊이 이미지 프레임)와 관련하여 바람직한 이미지 품질을 유지하면서 데이터 스루풋(예를 들어, Wi-Fi 데이터 스루풋) 및 전자 장치(106)와 외부 장치(102) 사이의 계산 부하를 감소시킬 수 있다.
도 3은 도 2와 관련하여 위에서 논의된 바와 같이 RGB 이미지 데이터(202A)의 특징 포인트의 검출의 예시적인 다이어그램(300)을 나타내는 도면이다.
예를 들어, 특정 실시예에서, RGB 이미지 데이터(202)는 다수의 스케일링된 표현(304, 306 및 308)(예를 들어, 가우시안 스케일 공간 표현)으로 스케일링될 수 있다. 예를 들어, 특정 실시예에서, 스케일링된 표현(304, 306 및 308)(예를 들어, 가우시안 스케일 공간 표현)의 수 각각은 예를 들어, RGB 이미지 데이터(202A)를 최소 블러링(blurring)(스케일링된 표현(304))으로부터 최대 블러링(예를 들어, 스케일링된 표현(308))으로 스케일링된 일련의 상이하게 블러링된 이미지로서 나타낼 수 있다.
특정 실시예에서, 도 2와 관련하여 위에서 논의된 바와 같이, 스케일링된 표현(304, 306 및 308)(예를 들어, 가우시안 스케일 공간 표현)의 수는 결합기(310)에 의해 통합될 수 있고(예를 들어, 함께 합산), RGB 이미지 데이터(202A)의 특징 포인트의 통합된 세트(312)를 생성하기 위해 이용될 수 있다. 실제로, 예시적인 다이어그램(300)은 RGB 이미지 데이터(202A)의 특징 포인트의 검출 및 추출의 일 실시예만을 나타낸다는 것을 이해해야 한다. 현재 개시된 실시예에 따르면, 예시적인 다이어그램(300)에 의해 나타낸 프로세스는 RGB 이미지 데이터(202A)의 특징 포인트, 에지 특징, 및 객체 및 이미지 컨투어 특징의 검출 및 추출 각각에 대해 개별적으로 수행될 수 있다.
도 4a, 도 4b, 도 4c, 도 4d 및 도 4e는 도 2와 관련하여 위에서 논의된 바와 같이, 희소 깊이 포인트의 세트를 생성하고 생성된 희소 깊이 포인트에 기초하여 조밀 깊이 맵을 재구성하기 위한 기술의 각각의 실행 예를 나타내는 도면이다.
예를 들어, 도 4a는 전자 장치(106)에 의해 생성되고 외부 장치(102)에 의해 표시될 수 있는 원래 RGB-D 이미지(400A)를 나타낸다. 도 4b는 도 2와 관련하여 위에서 논의된 바와 같이 특징 포인트의 검출, 추출, 통합 및 깊이 검증의 예시적인 결과(400B)를 나타내고, 특징 포인트는 신뢰 스코어와 관련하여 컬러-코딩된다.
도 4b는 도 2와 관련하여 위에서 논의된 바와 같이 특징 포인트의 검출, 추출, 통합 및 깊이 검증의 예시적인 결과(400B)를 나타내며, 특징 포인트는 신뢰 스코어와 관련하여 컬러-코딩된다.
도 4c는 도 2와 관련하여 위에서 논의된 바와 같이 에지 특징의 검출, 추출, 통합 및 깊이 검증의 예시적인 결과(400C)를 나타낸다.
도 4d는 객체 컨투어 특징의 검출, 추출 및 깊이 검증의 예시적인 결과(400D)를 나타내고, 도 4e는 각각 도 2와 관련하여 위에서 논의된 바와 같이, 이미지 컨투어 특징의 검출, 추출, 통합 및 깊이 검증의 예시적인 결과(400E)를 나타내다.
도 5a는 본 개시의 일 실시예에 따라 도 4a, 도 4b, 도 4c, 도 4d 및 도 4e에 나타낸 추출된 특징 포인트, 에지 특징, 컨투어 특징에 대응되는 원래 깊이 맵(204)으로부터 선택된 희소 깊이 포인트의 세트를 통합하는 결과적인 예(500A)를 나타내는 도면이다.
예를 들어, 도 5a에 나타낸 바와 같이. 그리고 본 개시의 일 실시예에 따라, 예(500)는 예를 들어, 검출, 추출, 통합 및 깊이 검증된 특징 포인트(예를 들어, 도 4b에 나타낸 바와 같음), 에지 특징(예를 들어, 도 4c에 나타낸 바와 같음), 및 객체 컨투어 및 이미지 컨투어 특징(각각 도 4d 및 도 4e에 나타낸 바와 같음)으로부터 도출된 희소 특징 포인트의 통합된 세트에 기초하여 결정된 희소 깊이 포인트의 세트에 기초하여 재구성된 도 4a의 원래 RGB-D 이미지(400A)의 재구성을 나타낼 수 있다.
도 5b는 본 개시의 일 실시예에 따라, 추출된 희소 깊이 포인트 세트로부터 재구성된 예시적인 깊이 맵 결과를 나타내는 도면이다.
예를 들어, 도 5b에 나타낸 바와 같이, 그리고 본 개시의 일 실시예에 따라서, 예(502) 및 예(504)는 각각 16494 깊이 포인트 및 1823 깊이 포인트로부터 재구성된 깊이 맵을 나타낸다. 이러한 방식으로, 전자 장치(106)는 전자 장치(106)에 의해 생성된 원래 RGB 이미지 데이터(202A) 및 깊이 데이터(204)(예를 들어, 그레이스케일 깊이 이미지 프레임)의 깊이 정보를 효과적이고 효율적으로 복구하기 위해 희소 깊이 포인트의 세트 및 충분한 객체 정보만을 포함하는 재구성 및 재투사를 위한 깊이 맵을 외부 장치(102)에 제공할 수 있다.
따라서, 본 개시의 일 실시예에 따르면, 궁극적으로 외부 장치(102)의 디스플레이 상에 투사 및/또는 재투사된 재구성된 이미지 데이터(202A) 및 깊이 데이터(204)(예를 들어, 그레이스케일 깊이 이미지 프레임)에 대해 바람직한 이미지 품질을 유지하면서, 데이터 스루풋(예를 들어, Wi-Fi 데이터 스루풋) 및 전자 장치(106)와 외부 장치(102) 사이의 계산 부하를 감소시킬 수 있다.
도 6은 도 2의 워크플로우 다이어그램(200B)에 대해 일반적으로 위에서 논의된 바와 같이, 예를 들어 전자 장치(106)로부터 수신된 희소 깊이 포인트의 세트에 기초한 조밀 깊이 맵의 재구성의 예시적인 다이어그램(600)을 나타내는 도면이다.
예를 들어, RGB 픽셀 그리드(602)에 의해 도시된 바와 같이, 특정 실시예에서, 외부 장치(102)는 예를 들어, RGB 픽셀 그리드(602) 내의 픽셀 위치(604)(예를 들어, 픽셀 위치 r)와 하나 이상의 각각의 이웃하는 픽셀 위치(606 및 608)(이웃 픽셀 s) 사이의 하나 이상의 깊이 차이를 계산할 수 있다.
특정 실시예에서, 외부 장치(102)는 하나 이상의 특정 픽셀 위치(604)(예를 들어, 픽셀 위치 r)에서의 깊이를 결정하기 위해 하나 이상의 깊이 차이를 최소화할 수 있으며, 각각의 픽셀 위치(604)(예를 들어, 픽셀 위치 r)에서의 깊이가 결정될 때까지 하나 이상의 깊이 차이의 최소화를 반복적으로 수행할 수 있다. 예를 들어, 특정 실시예에서, 깊이가 결정되지 않은 각각의 픽셀 위치(604)(예를 들어, 픽셀 위치 r)에 대해, 외부 장치(102)는 각각의 이웃하는 픽셀 위치(606, 608)(예를 들어, 이웃 픽셀 위치 s)를 갖는 윈도우를 규정하고 깊이 차이의 목적 함수를 생성할 수 있다.
특정 실시예에서, 외부 장치(102)는 각각의 픽셀 위치(604)(예를 들어, 픽셀 위치 r)에서 깊이를 얻기 위해 목적 함수를 최소화할 수 있다. 예를 들어, 누락된 픽셀 위치(610)는 깊이가 결정되지 않은 픽셀 위치를 나타낼 수 있으며, 따라서 위에 언급된 깊이 차이 및 최소화 기술이 각각의 누락된 픽셀 위치(610)에 대한 깊이를 결정하기 위해 반복적으로 수행될 수 있다.
특정 실시예에서, 데이터가 RGB 픽셀 그리드(602)의 각각의 픽셀에 대해 결정되면, 외부 장치(102)는 조밀 깊이 맵을 재구성하고 하나 이상의 RGB-D 이미지 프레임을 재투사할 수 있다.
도 7은 본 개시의 일 실시예에 따라, 희소 깊이 포인트의 세트를 생성하고 생성된 희소 깊이 포인트에 기초하여 조밀 깊이 맵을 재구성하기 위한 방법(700)의 흐름도이다.
본 방법(700)은 하드웨어(예를 들어, 범용 프로세서, 그래픽 프로세싱 유닛(GPU), 어플리케이션-특정 집적 회로(ASIC), 시스템-온-칩(SoC: system-on-chip), 마이크로컨트롤러, 필드-프로그래머블 게이트 어레이(FPGA: field-programmable gate array), 중앙 처리 장치(CPU), 어플리케이션 프로세서(AP), 시각적 프로세싱 유닛(VPU), 신경 프로세싱 유닛(NPU), 신경 결정 프로세서(NDP) 또는 이미지 데이터 프로세싱에 적합할 수 있는 임의의 다른 프로세싱 디바이스(들)), 소프트웨어(예를 들어, 하나 이상의 프로세서 상에서 동작/실행되는 명령), 펌웨어(예를 들어, 마이크로코드), 또는 이들의 일부 조합을 포함할 수 있는 하나 이상의 프로세싱 디바이스(예를 들어, 전자 장치(106))를 이용하여 수행될 수 있다.
본 방법(700)은 하나 이상의 프로세싱 디바이스(예를 들어, 전자 장치(106))가 전자 장치와 연관된 확장 현실(XR) 디스플레이 디바이스(예를 들어, 외부 장치(102)) 상에 표시될 하나 이상의 이미지 프레임에 대응되는 이미지 데이터 및 깊이 데이터에 액세스하여 획득하는 블록(702)을 개시할 수 있다.
그 후, 본 방법(700)은 하나 이상의 프로세싱 디바이스(예를 들어, 전자 장치(106))가 이미지 데이터 및 깊이 데이터의 다중층 샘플링에 기초하여 하나 이상의 이미지 프레임에 대응되는 복수의 특징 포인트의 세트를 결정하는 블록(704)에서 계속될 수 있다.
그 후, 본 방법(700)은 하나 이상의 프로세싱 디바이스(예를 들어, 전자 장치(106))가 복수의 특징 포인트의 세트의 통합에 기초하여 희소 특징 포인트의 세트를 생성하는 블록(706)에서 계속될 수 있으며, 여기서 희소 특징 포인트의 세트는 복수의 특징 포인트의 세트에 대한 깊이 데이터의 상대적 변화에 기초하여 결정된다.
그 후, 본 방법(700)은 하나 이상의 프로세싱 디바이스(예를 들어, 전자 장치(106))가 희소 특징 포인트의 세트 및 깊이 데이터에 기초하여 희소 깊이 포인트의 세트를 생성하는 블록(708)에서 계속될 수 있다.
그 후, 본 방법(700)은 하나 이상의 프로세싱 디바이스(예를 들어, 전자 장치(106))가 희소 깊이 포인트의 세트를 이용하여 하나 이상의 이미지 프레임의 재구성을 위해 외부 장치에 희소 깊이 포인트의 세트를 전송하는 블록(710)에서 종료될 수 있다.
따라서, 본 개시의 일 실시예에 따르면, 외부 장치(102)와 전자 장치(106) 사이의 네트워크 트래픽을 감소시키고, 확장에 의해, 외부 장치(102)의 전력 소비 및 열 출력을 감소시키기 위해, 전자 장치(106)는 객체 컨투어, 객체 에지 및 객체 특징과 같이 깊이가 급격하게 변하는 픽셀 위치에서 RGB 이미지 데이터(202A) 및 깊이 데이터(204)(예를 들어, RGB-D 이미지 프레임)로부터 특징 포인트를 추출하는 적응 프로세스를 수행할 수 있다.
반대로, 전자 장치(106)는 RGB 이미지 데이터(202A) 및 깊이 데이터(204)의 평면, 큐브 및 평활한 표면과 같이 깊이가 단지 최소한으로 변하거나(예를 들어, 평활하게 천이) 전혀 변하지 않는 특징 포인트, 에지 포인트, 컨투어 포인트 등을 추출하는 것을 포기할 수 있다.
이러한 방식으로, 전자 장치(106)는 전자 장치(106)에 의해 생성된 원래 RGB 이미지 데이터(202A) 및 깊이 데이터(204)(예를 들어, RGB-D 이미지 프레임)의 깊이 정보를 효과적이고 효율적으로 복구하기 위해 희소 깊이 포인트 및 충분한 객체 정보만을 포함하는 재구성 및 재투사를 위한 깊이 맵을 외부 장치(102)에 제공할 수 있다. 따라서, 본 개시의 일 실시예는 궁극적으로 외부 장치(102)의 디스플레이 상에 투사 및/또는 재투사된 재구성된 이미지 데이터(202A) 및 깊이 데이터(204)(예를 들어, RGB-D 이미지 프레임)와 관련하여 바람직한 이미지 품질을 유지하면서 데이터 스루풋(예를 들어, Wi-Fi 데이터 스루풋) 및 전자 장치(106)와 외부 장치(102) 사이의 계산 부하를 감소시킬 수 있다.
도 8은 본 개시의 일 실시예에 따라, 희소 깊이 포인트의 세트를 생성하고 생성된 희소 깊이 포인트에 기초하여 조밀 깊이 맵을 재구성하기 위해 이용될 수 있는 예시적인 컴퓨터 시스템(800)을 나타내는 도면이다.
특정 실시예에서, 하나 이상의 컴퓨터 시스템(800)은 본원에 설명되거나 나타내어진 하나 이상의 방법의 하나 이상의 단계를 수행한다. 특정 실시예에서, 하나 이상의 컴퓨터 시스템(800)은 본원에 설명되거나 나타내어진 기능을 제공한다. 특정 실시예에서, 하나 이상의 컴퓨터 시스템(800) 상에서 실행되는 소프트웨어는 본원에 설명되거나 나타내어진 하나 이상의 방법의 하나 이상의 단계를 수행하거나 본원에 설명되거나 나타내어진 기능을 제공한다.
특정 실시예는 하나 이상의 컴퓨터 시스템(800)의 하나 이상의 부분을 포함한다. 여기서, 컴퓨터 시스템은 전자 장치(106)를 포함할 수 있으며, 그 반대도 가능하다. 또한, 컴퓨터 시스템은 하나 이상의 컴퓨터 시스템을 포함할 수 있다.
본 개시는 임의의 적절한 수의 컴퓨터 시스템(800)을 고려한다. 본 개시는 임의의 적절한 물리적 형태를 취하는 컴퓨터 시스템(800)을 고려한다. 제한의 방식이 아닌 예로서, 컴퓨터 시스템(800)은 매립형 컴퓨터 시스템, 시스템-온-칩(SOC), 단일-보드 컴퓨터 시스템(SBC)(예를 들어, 컴퓨터-온-모듈(COM) 또는 시스템-온-모듈(SOM)), 데스크탑 컴퓨터 시스템, 랩탑 또는 노트북 컴퓨터 시스템, 대화형 키오스크, 메인프레임, 컴퓨터 시스템의 메쉬, 모바일 전화, 퍼스널 디지털 어시스턴트(PDA: personal digital assistant), 서버, 태블릿 컴퓨터 시스템, 증강/가상 현실 디바이스 또는 이들 중 둘 이상의 조합일 수 있다. 적절한 경우, 컴퓨터 시스템(800)은 단일형 또는 분산형이거나; 복수의 위치에 걸쳐 있거나; 복수의 기계에 걸쳐 있거나; 복수의 데이터 센터에 걸쳐 있거나; 하나 이상의 네트워크에서 하나 이상의 클라우드 구성 요소를 포함할 수 있는 클라우드에 상주하는 하나 이상의 컴퓨터 시스템(800)을 포함할 수 있다.
적절한 경우, 하나 이상의 컴퓨터 시스템(800)은 실질적인 공간적 또는 시간적 제한 없이 본원에 설명되거나 나타내어진 하나 이상의 방법의 하나 이상의 단계를 수행할 수 있다. 제한의 방식이 아닌 예로서, 하나 이상의 컴퓨터 시스템(800)은 본원에 설명되거나 나타내어진 하나 이상의 방법의 하나 이상의 단계를 실시간으로 또는 배치 모드로 수행할 수 있다. 하나 이상의 컴퓨터 시스템(800)은 적절한 경우, 본원에 설명되거나 나타내어진 하나 이상의 방법의 하나 이상의 단계를 상이한 시간 또는 상이한 위치에서 수행할 수 있다.
특정 실시예에서, 컴퓨터 시스템(800) 또는 컴퓨터 시스템에 포함되는 전자 장치(106)은 프로세서(802), 메모리(804), 저장소(806), 입력/출력(I/O) 인터페이스(808), 통신 인터페이스(810) 및 버스(812)를 포함한다. 본 개시가 특정 배열에서 특정 수의 특정 구성 요소를 갖는 특정 컴퓨터 시스템을 설명하고 나타내지만, 본 개시는 임의의 적절한 배열에서 임의의 적절한 수의 임의의 적절한 구성 요소를 갖는 임의의 적절한 컴퓨터 시스템을 고려한다.
특정 실시예에서, 프로세서(802)는 컴퓨터 프로그램을 구성하는 명령과 같은 명령을 실행하기 위한 하드웨어를 포함한다. 제한의 방식이 아닌 예로서, 명령을 실행하기 위해, 프로세서(802)는 내부 레지스터, 내부 캐시, 메모리(804), 또는 저장소(806)로부터 명령을 검색(또는 페치)하고; 이를 디코딩 및 실행하고; 그 후 하나 이상의 결과를 내부 레지스터, 내부 캐시, 메모리(804) 또는 저장소(806)에 기록한다. 특정 실시예에서, 프로세서(802)는 데이터, 명령 또는 주소를 위한 하나 이상의 내부 캐시를 포함할 수 있다. 본 개시는 적절한 경우 임의의 적절한 수의 임의의 적절한 내부 캐시를 포함하는 프로세서(802)를 고려한다. 제한의 방식이 아닌 예로서, 프로세서(802)는 하나 이상의 명령 캐시, 하나 이상의 데이터 캐시 및 하나 이상의 변환 색인 버퍼(TLB: translation lookaside buffer)를 포함할 수 있다. 명령 캐시의 명령은 메모리(804) 또는 저장소(806)의 명령의 사본일 수 있으며, 명령 캐시는 프로세서(802)에 의한 이러한 명령의 검색 속도를 높일 수 있다.
데이터 캐시의 데이터는 프로세서(802)에서 실행되는 명령; 프로세서(802)에서 실행되는 후속 명령에 의한 액세스 또는 메모리(804) 또는 저장소(806)에 기록하기 위해 프로세서(802)에서 실행되는 이전 명령의 결과; 또는 다른 적절한 데이터에 대한 메모리(804) 또는 저장소(806)에 있는 데이터의 사본일 수 있다. 데이터 캐시는 프로세서(802)에 의한 읽기 또는 쓰기 동작의 속도를 높일 수 있다. TLB는 프로세서(802)에 대한 가상-주소 변환 속도를 높일 수 있다. 특정 실시예에서, 프로세서(802)는 데이터, 명령 또는 주소에 대한 하나 이상의 내부 레지스터를 포함할 수 있다. 본 개시는 적절한 경우 임의의 적절한 수의 임의의 적절한 내부 레지스터를 포함하는 프로세서(802)를 고려한다. 적절한 경우, 프로세서(802)는 멀티-코어 프로세서이거나; 하나 이상의 프로세서(802)를 포함하는 하나 이상의 산술 논리 유닛(ALU)을 포함할 수 있다. 본 개시가 특정 프로세서를 설명하고 나타내지만, 본 개시는 임의의 적절한 프로세서를 고려한다.
특정 실시예에서, 메모리(804)는 프로세서(802)가 실행할 명령 또는 프로세서(802)가 동작할 데이터를 저장하기 위한 주 메모리를 포함한다. 제한의 방식이 아닌 예로서, 컴퓨터 시스템(800)은 저장소(806) 또는 (예를 들어, 다른 컴퓨터 시스템(800)과 같은) 다른 소스로부터 메모리(804)로 명령을 로드할 수 있다. 프로세서(802)는 그 후 메모리(804)로부터 명령을 내부 레지스터 또는 내부 캐시로 로드할 수 있다. 명령을 실행하기 위해, 프로세서(802)는 내부 레지스터 또는 내부 캐시로부터 명령을 검색하고 이를 디코딩할 수 있다. 명령의 실행 동안 또는 실행 후에, 프로세서(802)는 하나 이상의 결과(중간 또는 최종 결과일 수 있음)를 내부 레지스터 또는 내부 캐시에 기록할 수 있다. 그 후, 프로세서(802)는 이러한 결과 중 하나 이상을 메모리(804)에 기록할 수 있다. 특정 실시예에서, 프로세서(802)는 (저장소(806) 또는 다른 곳과 반대로) 하나 이상의 내부 레지스터 또는 내부 캐시 또는 메모리(804)에서 명령만을 실행하고 (저장소(806) 또는 다른 곳과 반대로) 하나 이상의 내부 레지스터 또는 내부 캐시 또는 메모리(804)에 있는 데이터에 대해서만 동작한다.
하나 이상의 메모리 버스(각각 주소 버스 및 데이터 버스를 포함할 수 있음)는 프로세서(802)를 메모리(804)에 커플링할 수 있다. 버스(812)는 후술하는 바와 같이 하나 이상의 메모리 버스를 포함할 수 있다. 특정 실시예에서, 하나 이상의 메모리 관리 유닛(MMU)은 프로세서(802)와 메모리(804) 사이에 상주하고 프로세서(802)에 의해 요청된 메모리(804)에 대한 액세스를 용이하게 한다. 특정 실시예에서, 메모리(804)는 랜덤 액세스 메모리(RAM)를 포함한다. 이러한 RAM은 적절한 경우 휘발성 메모리일 수 있다. 적절한 경우, 이러한 RAM은 동적 RAM(DRAM) 또는 정적 RAM(SRAM)일 수 있다. 또한 적절한 경우, 이러한 RAM은 단일-포팅 또는 다중-포팅된 RAM일 수 있다. 본 개시는 임의의 적절한 RAM을 고려한다. 적절한 경우, 메모리(804)는 하나 이상의 메모리(804)를 포함할 수 있다. 본 개시가 특정 메모리를 설명하고 나타내지만, 본 개시는 임의의 적절한 메모리를 고려한다.
특정 실시예에서, 저장소(806)는 데이터 또는 명령을 위한 대용량 저장소를 포함한다. 제한의 방식이 아닌 예로서, 저장소(806)는 하드 디스크 드라이브(HDD), 플로피 디스크 드라이브, 플래시 메모리, 광 디스크, 광-자기 디스크, 자기 테이프, 또는 범용 직렬 버스(USB: Universal Serial Bus) 드라이브 또는 이들의 둘 이상의 조합을 포함할 수 있다. 적절한 경우, 저장소(806)는 제거 가능 또는 제거 불가능(또는 고정) 매체를 포함할 수 있다. 적절한 경우, 저장소(806)는 컴퓨터 시스템(800)의 내부 또는 외부에 있을 수 있다. 특정 실시예에서, 저장소(806)는 비휘발성, 솔리드-스테이트 메모리이다. 특정 실시예에서, 저장소(806)는 판독-전용 메모리(ROM)를 포함한다. 적절한 경우, 이러한 ROM은 마스크-프로그래밍된 ROM, 프로그래머블 ROM(PROM), 삭제 가능 PROM(EPROM), 전기적 삭제 가능 PROM(EEPROM), 전기적 변경 가능 ROM(EAROM) 또는 플래시 메모리 또는 이들 중 둘 이상의 조합일 수 있다. 본 개시는 임의의 적절한 물리적 형태를 취하는 대용량 저장소(806)를 고려한다. 저장소(806)는 적절한 경우 프로세서(802)와 저장소(806) 간의 통신을 용이하게 하는 하나 이상의 저장 제어 유닛을 포함할 수 있다. 적절한 경우, 저장소(806)는 하나 이상의 저장소(806)를 포함할 수 있다. 본 개시가 특정 저장소를 설명하고 나타내지만, 본 개시는 임의의 적절한 저장소를 고려한다.
특정 실시예에서, I/O 인터페이스(808)는 컴퓨터 시스템(800)과 하나 이상의 I/O 디바이스 사이의 통신을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 둘 모두를 포함한다. 컴퓨터 시스템(800)은 적절한 경우 이러한 I/O 디바이스 중 하나 이상을 포함할 수 있다. 이러한 I/O 디바이스 중 하나 이상은 사람과 컴퓨터 시스템(800) 사이의 통신을 가능하게 할 수 있다. 제한의 방식이 아닌 예로서, I/O 디바이스는 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라, 스타일러스, 태블릿, 터치 스크린, 트랙볼, 비디오 카메라, 다른 적절한 I/O 디바이스 또는 이들 중 둘 이상의 조합을 포함할 수 있다. I/O 디바이스는 하나 이상의 센서를 포함할 수 있다. 본 개시는 임의의 적절한 I/O 디바이스 및 이에 대한 임의의 적절한 I/O 인터페이스(806)를 고려한다. 적절한 경우, I/O 인터페이스(808)는 프로세서(802)가 하나 이상의 이러한 I/O 디바이스를 구동할 수 있게 하는 하나 이상의 디바이스 또는 소프트웨어 드라이버를 포함할 수 있다. I/O 인터페이스(808)는 적절한 경우 하나 이상의 I/O 인터페이스(806)를 포함할 수 있다. 본 개시가 특정 I/O 인터페이스를 설명하고 나타내지만, 본 개시는 임의의 적절한 I/O 인터페이스를 고려한다.
특정 실시예에서, 통신 인터페이스(810)는 컴퓨터 시스템(800)과 하나 이상의 다른 컴퓨터 시스템(800) 또는 하나 이상의 네트워크 간의 (예를 들어, 패킷-기반 통신과 같은) 통신을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 둘 모두를 포함한다. 제한의 방식이 아닌 예로서, 통신 인터페이스(810)는 이더넷(Ethernet) 또는 다른 유선-기반 네트워크와 통신하기 위한 네트워크 인터페이스 컨트롤러(NIC) 또는 네트워크 어댑터 또는 무선 NIC(WNIC) 또는 WI-FI 네트워크와 같은 무선 네트워크와 통신하기 위한 무선 어댑터를 포함할 수 있다. 본 개시는 임의의 적절한 네트워크 및 이를 위한 임의의 적절한 통신 인터페이스(810)를 고려한다.
제한의 방식이 아닌 예로서, 컴퓨터 시스템(800)은 애드 혹(ad hoc) 네트워크, 개인 영역 네트워크(PAN), 근거리 네트워크(LAN), 광역 네트워크(WAN), 메트로폴리탄 영역 네트워크(MAN: metropolitan area network), 또는 인터넷의 하나 이상의 부분 또는 이들 중 둘 이상의 조합과 통신할 수 있다. 하나 이상의 이러한 네트워크의 하나 이상의 부분은 유선 또는 무선일 수 있다. 예로서, 컴퓨터 시스템(800)은 (예를 들어, BLUETOOTH WPAN과 같은) 무선 PAN(WPAN), WI-FI 네트워크, WI-MAX 네트워크, (예를 들어, 모바일 통신을 위한 글로벌 시스템(GSM: Global System for Mobile Communications) 네트워크와 같은) 셀룰러 전화 네트워크 또는 다른 적절한 무선 네트워크 또는 이들 중 둘 이상의 조합과 통신할 수 있다. 컴퓨터 시스템(800)은 적절한 경우 이들 네트워크 중 임의의 것에 대한 임의의 적절한 통신 인터페이스(810)를 포함할 수 있다. 적절한 경우, 통신 인터페이스(810)는 하나 이상의 통신 인터페이스(810)를 포함할 수 있다. 본 개시가 특정 통신 인터페이스를 설명하고 나타내지만, 본 개시는 임의의 적절한 통신 인터페이스를 고려한다.
특정 실시예에서, 버스(812)는 컴퓨터 시스템(800)의 구성 요소를 서로 커플링하는 하드웨어, 소프트웨어 또는 둘 모두를 포함한다. 제한의 방식이 아닌 예로서, 버스(812)는 가속화된 그래픽 포트(AGP: Accelerated Graphics Port) 또는 다른 그래픽 버스, 향상된 산업 표준 아키텍처(EISA: Enhanced Industry Standard Architecture) 버스, 프론트-사이드 버스(FSB: front-side bus), HYPERTRANSPORT(HT) 인터커넥트, 산업 표준 아키텍처(ISA: Industry Standard Architecture) 버스, INFINIBAND 인터커넥트, 로우-핀-카운트(LPC: Low-pin-Count) 버스, 메모리 버스, 마이크로 채널 아키텍처(MCA: Micro Channel Architecture) 버스, 주변 장치 인터커넥트(PCI: Peripheral Component Interconnect) 버스, PCI-익스프레스(PCIe) 버스, 시리얼 어드밴스드 테크놀로지 어태치먼트(SATA: Serial Advanced technology attachment) 버스, 비디오 전자 기기 표준 연관 로컬(VLB: Video Electronics Standards Association local) 버스 또는 다른 적절한 버스 또는 이들 중 둘 이상의 조합을 포함할 수 있다. 적절한 경우, 버스(812)는 하나 이상의 버스(812)를 포함할 수 있다. 본 개시가 특정 버스를 설명하고 나타내지만, 본 개시는 임의의 적절한 버스 또는 인터커넥트를 고려한다.
여기서, 컴퓨터-판독 가능 비일시적 저장 매체 또는 매체는 (예를 들어, 필드-프로그래머블 게이트 어레이(FPGA) 또는 어플리케이션-특정 IC(ASIC)와 같은) 하나 이상의 반도체-기반 또는 다른 집적 회로(IC), 하드 디스크 드라이브(HDD), 하이브리드 하드 드라이브(HHD), 광 디스크, 광 디스크 드라이브(ODD), 자기-광 디스크, 자기-광 드라이브, 플로피 디스켓, 플로피 디스크 드라이브(FDD), 자기 테이프, 솔리드-스테이트 드라이브(SSD: solid-state drive), RAM-드라이브, SECURE DIGITAL 카드 또는 드라이브, 임의의 다른 적절한 컴퓨터-판독 가능 비일시적 저장 매체 또는 적절한 경우 이들 중 둘 이상의 임의의 적절한 조합을 포함할 수 있다. 컴퓨터-판독 가능 비일시적 저장 매체는 적절한 경우 휘발성, 비휘발성 또는 휘발성과 비휘발성의 조합일 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본원에서, "또는"은 명시적으로 달리 표시되거나 문맥에 의해 달리 표시되지 않는 한 포괄적이고 배타적이지 않다. 따라서, 본원에서, "A 또는 B"는 달리 명시 적으로 표시되거나 문맥에 의해 달리 표시되지 않는 한 "A, B 또는 둘 모두"를 의미한다. 또한, "및(and)"은 달리 명시적으로 표시되거나 문맥에 의해 달리 표시되지 않는 한 공동 및 각각 모두이다. 따라서, 본원에서 "A 및 B"는 달리 명시적으로 표시되거나 문맥에 의해 달리 표시되지 않는 한 "A 및 B, 공동으로 또는 각각"을 의미한다.
본원에서, "자동으로" 및 그 파생어는 달리 명시 적으로 표시되거나 문맥 상 달리 표시되지 않는 한 "인간의 개입 없이"를 의미한다.
본원에 개시된 실시예는 단지 예시일 뿐이며, 본 개시의 범위는 이에 한정되지 않는다. 본 발명에 따른 실시예는 특히 방법, 저장 매체, 시스템 및 컴퓨터 프로그램 제품에 관한 첨부된 청구 범위에 개시되며, 여기서 하나의 청구항 범주, 예를 들어, 방법에서 언급된 임의의 특징은 다른 청구항 범주, 예를 들어, 시스템에서도 청구될 수 있다. 첨부된 청구항의 종속성 또는 역 참조는 공식적인 이유로만 선택된다. 그러나, 임의의 이전 청구항(특히 다중 종속 관계)에 대한 고의적인 역 참조로 인해 발생하는 임의의 주제도 청구될 수 있으므로, 청구항 및 그 특징의 임의의 조합이 개시되고 첨부된 청구항에서 선택된 종속 관계에 관계 없이 청구될 수 있다. 청구될 수 있는 주제는 첨부된 청구 범위에 명시된 특징의 조합뿐만 아니라 청구항의 특징의 임의의 다른 조합도 포함하며, 여기서 청구항에 언급된 각각의 특징은 임의의 다른 특징 또는 청구항의 다른 특징의 조합과 결합될 수 있다. 또한, 본원에 설명되거나 도시된 임의의 실시예 및 특징은 별도의 청구항에서 및/또는 본원에 설명되거나 도시된 임의의 실시예 또는 특징 또는 첨부된 청구항의 임의의 특징과 임의의 조합으로 청구될 수 있다.
본 개시의 범위는 본 기술 분야의 통상의 기술자가 이해하는 본원에 설명되거나 나타내어진 예시적인 실시예에 대한 모든 변화, 치환, 변형, 변경 및 수정을 포함한다. 본 개시의 범위는 본원에 설명되거나 나타낸 예시적인 실시예로 제한되지 않는다. 또한, 본 개시가 특정의 구성 요소, 요소, 특징, 기능, 동작 또는 단계를 포함하는 것으로 본원에서 각각의 실시예를 설명하고 나타내지만, 이들 실시예 중 임의의 것은 본 기술 분야의 통상의 기술자가 이해하는 본원의 임의의 곳에 설명되거나 나타낸 임의의 구성 요소, 요소, 특징, 기능, 동작 도는 단계의 임의의 조합 또는 치환을 포함할 수 있다. 또한, 첨부된 청구항에서 특정 기능을 수행하도록 적응, 배열, 기능, 구성, 활성화, 동작 가능 또는 동작하는 장치 또는 시스템 또는 장치 또는 시스템의 구성 요소에 대한 참조는 해당 특정 기능이 활성화되는지, 켜졌는지, 잠금 해제되었는지 여부에 관계 없이, 해당 장치, 시스템 또는 구성 요소가 그렇게 적응, 배열, 기능, 구성, 활성화, 동작 가능 또는 동작하는 한 해당 장치, 시스템, 구성 요소를 포함한다. 또한, 본 개시가 특정 이점을 제공하는 것으로 특정 실시예를 설명하거나 나타내지만, 특정 실시예는 이러한 이점을 제공하지 않거나, 이러한 이점의 일부 또는 모두를 제공할 수 있다.
100: XR 시스템 102: 외부 장치
104: 네트워크 106: 전자 장치

Claims (20)

  1. 전자 장치의 제어 방법에 있어서,
    상기 전자 장치와 연관되며 확장 현실(XR: extended reality)을 제공하기 위한 외부 장치 상에 표시될 하나 이상의 이미지 프레임들에 대응되는 이미지 데이터 및 깊이 데이터(depth data)를 획득하는 단계;
    상기 이미지 데이터 및 상기 깊이 데이터의 다중층 샘플링(multi-layer sampling)에 기초하여 상기 하나 이상의 이미지 프레임들에 대응되는 복수의 특징 포인트들의 세트들을 결정하는 단계;
    상기 복수의 특징 포인트들의 세트들의 통합에 기초하여, 상기 복수의 특징 포인트들의 세트들에 대한 깊이 데이터의 상대적 변화들에 기초하여 결정되는 희소 특징 포인트들(sparse feature points)의 세트를 생성하는 단계;
    상기 희소 특징 포인트들의 세트 및 상기 깊이 데이터에 기초하여 희소 깊이 포인트들의 세트를 생성하는 단계; 및
    상기 희소 깊이 포인트들의 세트를 이용하여 상기 하나 이상의 이미지 프레임들에 대응되는 조밀 깊이 맵(dense depth map)의 재구성을 위해 상기 희소 깊이 포인트들의 세트를 상기 외부 장치로 전송하는 단계; 를 포함하는 전자 장치의 제어 방법.
  2. 제1항에 있어서,
    상기 복수의 특징 포인트들의 세트들은 객체 특징 포인트들의 세트, 에지(edge) 특징 포인트들의 세트, 객체 컨투어(contour) 포인트들의 세트, 또는 이미지 컨투어 포인트들의 세트 중 2개 이상을 포함하는 전자 장치의 제어 방법.
  3. 제1항에 있어서,
    상기 이미지 데이터 및 상기 깊이 데이터의 상기 다중층 샘플링은 가우시안 차(DoG: Difference of Gaussian) 필터, 가우시안의 라플라시안(LoG: Laplacian of Gaussian) 필터, 캐니(Canny) 필터 또는 소벨(Sobel) 필터 중 2개 이상을 이용하여 상기 복수의 특징 포인트들의 세트들을 추출함으로써 수행되는 전자 장치의 제어 방법.
  4. 제3항에 있어서,
    상기 복수의 특징 포인트들의 세트들은 상기 하나 이상의 이미지 프레임들에 대응되는 복수의 스케일링된 표현들 각각에 대해 추출되는 전자 장치의 제어 방법.
  5. 제4항에 있어서,
    상기 희소 특징 포인트들의 세트를 생성하는 단계는,
    상기 복수의 스케일링된 표현들 각각에 대해 추출된 상기 복수의 특징 포인트들의 세트들을 통합하는 단계; 및
    특징 포인트들의 서브세트와 각각의 이웃하는 특징 포인트들 사이의 깊이 데이터의 상대적 변화들에 기초하여 상기 통합된 복수의 특징 포인트들의 세트들로부터 상기 특징 포인트들의 서브세트를 제거하는 단계; 를 포함하는 전자 장치의 제어 방법.
  6. 제1항에 있어서,
    상기 희소 깊이 포인트들의 세트는 상기 희소 특징 포인트들의 세트와 연관된 사전 결정된 신뢰 스코어들에 추가로 기초하여 생성되고, 각각의 사전 결정된 신뢰 스코어(confidence score)는 상기 연관된 특징 포인트가 상기 하나 이상의 이미지 프레임들의 결정적인 특징에 대응될 가능성을 나타내는 전자 장치의 제어 방법.
  7. 제1항에 있어서,
    상기 이미지 데이터를 상기 외부 장치로 전송하는 단계; 를 더 포함하고,
    상기 하나 이상의 이미지 프레임들에 대응되는 상기 조밀 깊이 맵은 상기 희소 깊이 포인트들의 세트 및 상기 이미지 데이터에 기초하여 상기 외부 장치에 의해 재투사되는 전자 장치의 제어 방법.
  8. 전자 장치에 있어서,
    명령들을 포함하는 메모리; 및
    상기 메모리에 연결된 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는 상기 명령들을 실행함으로써,
    상기 전자 장치와 연관된 확장 현실(XR) 디스플레이 디바이스 상에 표시될 하나 이상의 이미지 프레임들에 대응되는 이미지 데이터 및 깊이 데이터(depth data)를 획득하고,
    상기 이미지 데이터 및 상기 깊이 데이터의 다중층 샘플링(multi-layer sampling)에 기초하여 상기 하나 이상의 이미지 프레임들에 대응되는 복수의 특징 포인트들의 세트들을 결정하며,
    상기 복수의 특징 포인트들의 세트들의 통합에 기초하여, 상기 복수의 특징 포인트들의 세트들에 대한 깊이 데이터의 상대적 변화들에 기초하여 결정되는 희소 특징 포인트들(sparse feature points)의 세트를 생성하고,
    상기 희소 특징 포인트들의 세트 및 상기 깊이 데이터에 기초하여 희소 깊이 포인트들의 세트를 생성하며,
    상기 희소 깊이 포인트들의 세트를 이용하여 상기 하나 이상의 이미지 프레임들에 대응되는 조밀 깊이 맵(dense depth map)의 재구성을 위해 상기 희소 깊이 포인트들의 세트를 상기 외부 장치로 전송하는 전자 장치.
  9. 제8항에 있어서,
    상기 복수의 특징 포인트들의 세트들은 객체 특징 포인트들의 세트, 에지(edge) 특징 포인트들의 세트, 객체 컨투어(contour) 포인트들의 세트, 또는 이미지 컨투어 포인트들의 세트 중 2개 이상을 포함하는 전자 장치.
  10. 제8항에 있어서,
    상기 이미지 데이터 및 상기 깊이 데이터의 상기 다중층 샘플링은 가우시안 차 (DoG: Difference of Gaussian) 필터, 가우시안의 라플라시안 (LoG: Laplacian of Gaussian) 필터, 캐니(Canny) 필터 또는 소벨(Sobel) 필터 중 2개 이상을 이용하여 상기 복수의 특징 포인트들의 세트들을 추출함으로써 수행되는 전자 장치.
  11. 제10항에 있어서,
    상기 복수의 특징 포인트들의 세트들은 상기 하나 이상의 이미지 프레임들에 대응되는 복수의 스케일링된 표현들 각각에 대해 추출되는 전자 장치.
  12. 제11항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 복수의 스케일링된 표현들 각각에 대해 추출된 상기 복수의 특징 포인트들의 세트들을 통합하고,
    특징 포인트들의 서브세트와 각각의 이웃하는 특징 포인트들 사이의 깊이 데이터의 상대적 변화들에 기초하여 상기 통합된 복수의 특징 포인트들의 세트들로부터 상기 특징 포인트들의 서브세트를 제거하는 전자 장치.
  13. 제8항에 있어서,
    상기 희소 깊이 포인트들의 세트는 상기 희소 특징 포인트들의 세트와 연관된 사전 결정된 신뢰 스코어(confidence score)들에 추가로 기초하여 생성되고, 각각의 사전 결정된 신뢰 스코어는 상기 연관된 특징 포인트가 상기 하나 이상의 이미지 프레임들의 결정적인 특징에 대응될 가능성을 나타내는 전자 장치.
  14. 제8항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 이미지 데이터를 상기 외부 장치로 전송하고,
    상기 하나 이상의 이미지 프레임들에 대응되는 상기 조밀 깊이 맵은 상기 희소 깊이 포인트들의 세트 및 상기 이미지 데이터에 기초하여 상기 외부 장치에 의해 재투사되는 전자 장치.
  15. 전자 장치의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서,
    상기 전자 장치의 제어 방법은,
    상기 전자 장치와 연관되며 확장 현실(XR: extended reality)을 제공하기 위한 외부 장치 상에 표시될 하나 이상의 이미지 프레임들에 대응되는 이미지 데이터 및 깊이 데이터(depth data)를 획득하는 단계;
    상기 이미지 데이터 및 상기 깊이 데이터의 다중층 샘플링(multi-layer sampling)에 기초하여 상기 하나 이상의 이미지 프레임들에 대응되는 복수의 특징 포인트들의 세트들을 결정하는 단계;
    상기 복수의 특징 포인트들의 세트들의 통합에 기초하여, 상기 복수의 특징 포인트들의 세트들에 대한 깊이 데이터의 상대적 변화들에 기초하여 결정되는 희소 특징 포인트들(sparse feature points)의 세트를 생성하는 단계;
    상기 희소 특징 포인트들의 세트 및 상기 깊이 데이터에 기초하여 희소 깊이 포인트들의 세트를 생성하는 단계; 및
    상기 희소 깊이 포인트들의 세트를 이용하여 상기 하나 이상의 이미지 프레임들에 대응되는 조밀 깊이 맵(dense depth map)의 재구성을 위해 상기 희소 깊이 포인트들의 세트를 상기 외부 장치로 전송하는 단계; 를 포함하는 컴퓨터 판독 가능 기록매체.
  16. 제15항에 있어서,
    상기 복수의 특징 포인트들의 세트들은 객체 특징 포인트들의 세트, 에지(edge) 특징 포인트들의 세트, 객체 컨투어(contour) 포인트들의 세트, 또는 이미지 컨투어 포인트들의 세트 중 2개 이상을 포함하는 컴퓨터 판독 가능 기록매체.
  17. 제15항에 있어서,
    상기 이미지 데이터 및 상기 깊이 데이터의 상기 다중층 샘플링은 가우시안 차(DoG: Difference of Gaussian) 필터, 가우시안의 라플라시안(LoG: Laplacian of Gaussian) 필터, 캐니(Canny) 필터 또는 소벨(Sobel) 필터 중 2개 이상을 이용하여 상기 복수의 특징 포인트들의 세트들을 추출함으로써 수행되는 컴퓨터 판독 가능 기록매체.
  18. 제17항에 있어서,
    상기 전자 장치의 제어 방법은,
    상기 복수의 스케일링된 표현들 각각에 대해 추출된 상기 복수의 특징 포인트들의 세트들을 통합하는 단계; 및
    특징 포인트들의 서브세트와 각각의 이웃하는 특징 포인트들 사이의 깊이 데이터의 상대적 변화들에 기초하여 상기 통합된 복수의 특징 포인트들의 세트들로부터 상기 특징 포인트들의 서브세트를 제거하는 단계; 를 더 포함하는 컴퓨터 판독 가능 기록매체.
  19. 제15항에 있어서,
    상기 희소 깊이 포인트들의 세트는 상기 희소 특징 포인트들의 세트와 연관된 사전 결정된 신뢰 스코어들에 추가로 기초하여 생성되고, 각각의 사전 결정된 신뢰 스코어(confidence score)는 상기 연관된 특징 포인트가 상기 하나 이상의 이미지 프레임들의 결정적인 특징에 대응될 가능성을 나타내는 컴퓨터 판독 가능 기록매체.
  20. 제15항에 있어서,
    상기 전자 장치의 제어 방법은,
    상기 이미지 데이터를 상기 외부 장치로 전송하는 단계; 를 더 포함하고,
    상기 하나 이상의 이미지 프레임들에 대응되는 상기 조밀 깊이 맵은 상기 희소 깊이 포인트들의 세트 및 상기 이미지 데이터에 기초하여 상기 외부 장치에 의해 재투사되는 컴퓨터 판독 가능 기록매체.
KR1020210074887A 2020-04-14 2021-06-09 전자 장치 및 전자 장치의 제어 방법 KR20220127718A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2021/013997 WO2022191373A1 (en) 2021-03-11 2021-10-12 Electronic device and controlling method of electronic device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063010016P 2020-04-14 2020-04-14
US17/198,997 US11688073B2 (en) 2020-04-14 2021-03-11 Method and system for depth map reconstruction
US17/198,997 2021-03-11

Publications (1)

Publication Number Publication Date
KR20220127718A true KR20220127718A (ko) 2022-09-20

Family

ID=78007231

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210074887A KR20220127718A (ko) 2020-04-14 2021-06-09 전자 장치 및 전자 장치의 제어 방법

Country Status (2)

Country Link
US (1) US11688073B2 (ko)
KR (1) KR20220127718A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839560B1 (en) * 2019-02-26 2020-11-17 Facebook Technologies, Llc Mirror reconstruction
US11615594B2 (en) 2021-01-21 2023-03-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556704B1 (en) 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
DE602005004125T2 (de) 2004-02-17 2008-12-18 Koninklijke Philips Electronics N.V. Erzeugen einer tiefenkarte
CA2553473A1 (en) 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
KR101497503B1 (ko) 2008-09-25 2015-03-04 삼성전자주식회사 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치
KR101491556B1 (ko) 2008-12-02 2015-02-09 삼성전자주식회사 깊이 추정 장치 및 방법
US8908043B2 (en) 2010-04-12 2014-12-09 Symbol Technologies, Inc. System and method for location-based operation of a head mounted display
US9348141B2 (en) 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US8737769B2 (en) 2010-11-26 2014-05-27 Microsoft Corporation Reconstruction of sparse data
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
KR101290197B1 (ko) 2012-02-21 2013-07-30 중앙대학교 산학협력단 영상의 깊이 정보 추정 장치 및 방법
WO2013125768A1 (ko) 2012-02-21 2013-08-29 중앙대학교 산학협력단 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출 및 깊이 정보 추정장치 및 방법
US20130321564A1 (en) 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
CN112651288B (zh) 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和系统
US20150381972A1 (en) 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector
US20160248995A1 (en) 2015-02-19 2016-08-25 Daqri, Llc System and method for using millimeter wave in a wearable device
KR101745493B1 (ko) 2015-09-07 2017-06-09 한국과학기술원 깊이 지도 생성 장치 및 방법
KR102501752B1 (ko) 2015-09-21 2023-02-20 삼성전자주식회사 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치
KR101775272B1 (ko) 2016-04-11 2017-09-06 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 애퍼처 카메라에서 스파스 깊이 이미지들의 깊이 개선 방법 및 시스템
US10643391B2 (en) 2016-09-23 2020-05-05 Apple Inc. Immersive virtual display
KR101891201B1 (ko) 2016-12-09 2018-08-23 한국과학기술원 전방향 카메라의 깊이 지도 획득 방법 및 장치
EP3349176B1 (en) 2017-01-17 2021-05-12 Facebook, Inc. Three-dimensional scene reconstruction from set of two-dimensional images for consumption in virtual reality
US9866286B1 (en) 2017-02-15 2018-01-09 Oculus Vr, Llc Positional tracking assisted beam forming in wireless virtual reality systems
US10368047B2 (en) 2017-02-15 2019-07-30 Adone Inc. Six-degree of freedom video playback of a single monoscopic 360-degree video
US10523918B2 (en) 2017-03-24 2019-12-31 Samsung Electronics Co., Ltd. System and method for depth map
US10198858B2 (en) * 2017-03-27 2019-02-05 3Dflow Srl Method for 3D modelling based on structure from motion processing of sparse 2D images
US11062176B2 (en) * 2017-11-30 2021-07-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
US10706505B2 (en) 2018-01-24 2020-07-07 GM Global Technology Operations LLC Method and system for generating a range image using sparse depth data
CN108416840B (zh) * 2018-03-14 2020-02-18 大连理工大学 一种基于单目相机的三维场景稠密重建方法
US10861215B2 (en) 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
JP7445642B2 (ja) * 2018-08-13 2024-03-07 マジック リープ， インコーポレイテッド クロスリアリティシステム
CN109300190B (zh) 2018-09-06 2021-08-10 百度在线网络技术（北京）有限公司 三维数据的处理方法、装置、设备和存储介质
US11127214B2 (en) 2018-09-17 2021-09-21 Qualcomm Incorporated Cross layer traffic optimization for split XR
US10620697B2 (en) 2018-09-27 2020-04-14 Intel Corporation Wireless communication management for virtual reality devices
CN111465962B (zh) 2018-10-04 2024-03-01 谷歌有限责任公司 用于手持式用户设备的增强现实的运动深度
US11164326B2 (en) 2018-12-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for calculating depth map
US10965929B1 (en) 2019-01-04 2021-03-30 Rockwell Collins, Inc. Depth mapping and parallel distortion correction for mixed reality
KR20200097865A (ko) 2019-02-08 2020-08-20 삼성전자주식회사 깊이 측정을 위한 이미지 처리 시스템 및 이의 동작 방법
CN114730498A (zh) * 2019-06-14 2022-07-08 奇跃公司 跨现实系统中的可缩放三维对象识别
CN114051629A (zh) 2019-06-26 2022-02-15 奇跃公司 密集3d重建数据的缓存和更新
CN110738731B (zh) 2019-10-16 2023-09-22 光沦科技(深圳)有限公司 一种用于双目视觉的3d重建方法和系统
TW202119358A (zh) * 2019-11-05 2021-05-16 財團法人資訊工業策進會 計算機裝置與合成深度圖產生方法
US11288543B1 (en) * 2020-02-11 2022-03-29 Facebook Technologies, Llc. Systems and methods for depth refinement using machine learning
US11501489B2 (en) * 2020-02-27 2022-11-15 Magic Leap, Inc. Cross reality system for large scale environment reconstruction
US11107290B1 (en) 2020-02-27 2021-08-31 Samsung Electronics Company, Ltd. Depth map re-projection on user electronic devices
US11032530B1 (en) 2020-05-15 2021-06-08 Microsoft Technology Licensing, Llc Gradual fallback from full parallax correction to planar reprojection
US11568555B2 (en) 2020-06-22 2023-01-31 Microsoft Technology Licensing, Llc Dense depth computations aided by sparse feature matching
CN111563923B (zh) 2020-07-15 2020-11-10 浙江大华技术股份有限公司 获得稠密深度图的方法及相关装置

Also Published As

Publication number Publication date
US20210319569A1 (en) 2021-10-14
US11688073B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
US11288857B2 (en) Neural rerendering from 3D models
CN115699114B (zh) 用于分析的图像增广的方法和装置
CN114072846A (zh) 动画化来自头戴式装置相机的虚拟形象
CN107967707B (zh) 用于处理图像的设备和方法
JP2016522485A (ja) 再構成からの隠消現実感効果および媒介現実感効果
KR20220127718A (ko) 전자 장치 및 전자 장치의 제어 방법
CN113723317B (zh) 3d人脸的重建方法、装置、电子设备和存储介质
US11748913B2 (en) Modeling objects from monocular camera outputs
US11869172B2 (en) Kernel reshaping-powered splatting-based efficient image space lens blur
US11451758B1 (en) Systems, methods, and media for colorizing grayscale images
CN116228962A (zh) 大场景神经视图合成
Bauer et al. Fovolnet: Fast volume rendering using foveated deep neural networks
WO2022182441A1 (en) Latency-resilient cloud rendering
US8891857B2 (en) Concave surface modeling in image-based visual hull
US11615594B2 (en) Systems and methods for reconstruction of dense depth maps
US11704877B2 (en) Depth map re-projection on user electronic devices
US11715272B2 (en) 3D reconstruction of a moving object
US11348320B2 (en) Object identification utilizing paired electronic devices
US20230147244A1 (en) Methods and apparatus for occlusion handling techniques
US20220139026A1 (en) Latency-Resilient Cloud Rendering
US11410387B1 (en) Systems, methods, and media for generating visualization of physical environment in artificial reality
WO2022191373A1 (en) Electronic device and controlling method of electronic device
US20240144595A1 (en) 3d scene reconstruction with additional scene attributes
US10776995B2 (en) Light fields as better backgrounds in rendering
CN109685882B (zh) 在渲染中将光场作为更好的背景