KR20240057994A - 입체 디스플레이 콘텐츠를 생성하기 위한 방법 및 장치 - Google Patents

입체 디스플레이 콘텐츠를 생성하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20240057994A
KR20240057994A KR1020230128608A KR20230128608A KR20240057994A KR 20240057994 A KR20240057994 A KR 20240057994A KR 1020230128608 A KR1020230128608 A KR 1020230128608A KR 20230128608 A KR20230128608 A KR 20230128608A KR 20240057994 A KR20240057994 A KR 20240057994A
Authority
KR
South Korea
Prior art keywords
image
rgb
disparity map
disparity
pixel
Prior art date
Application number
KR1020230128608A
Other languages
English (en)
Inventor
신 시에
난 수
수 첸
Original Assignee
오르벡 3디 테크놀로지 인터내셔널, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/973,086 external-priority patent/US20240236288A9/en
Application filed by 오르벡 3디 테크놀로지 인터내셔널, 인크. filed Critical 오르벡 3디 테크놀로지 인터내셔널, 인크.
Publication of KR20240057994A publication Critical patent/KR20240057994A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

입체 디스플레이 콘텐츠를 생성하는 방법은, 프로세서를 사용하여 RGB-D(Red, Green, Blue plus Distance) 이미지로부터 제1 RGB(Red, Green, Blue) 이미지 및 깊이 이미지를 획득하는 단계; 깊이 이미지 내의 깊이 값에 기초하여, RGB-D 이미지에 따른 제1 시차 맵을 결정하는 단계; 시차 분포 비율을 사용하여 상기 제1 시차 맵을 변환함으로써, 제2 시차 맵 및 제3 시차 맵을 결정하는 단계; 및 프로세서에 의해, 제2 RGB 이미지 및 제3 RGB 이미지를 포함하는 입체 이미지 쌍을 생성하는 단계를 포함하고, 제2 RGB 이미지는 제2 시차 맵에 기초하여 제1 RGB 이미지 내의 제1 픽셀 세트를 시프트함으로써 생성되고, 제3 RGB 이미지는 제3 시차 맵에 기초하여 제1 RGB 이미지 내의 제2 픽셀 세트를 시프트함으로써 생성된다.

Description

입체 디스플레이 콘텐츠를 생성하기 위한 방법 및 장치{METHOD AND APPARATUS FOR GENERATING STEREOSCOPIC DISPLAY CONTENTS}
이 개시는 입체 시(stereo vision), 특히 입체(stereoscopic) 디스플레이 콘텐츠를 생성하는 것에 관한 것이다.
차세대 인간-컴퓨터 상호작용 방법으로서 가상 현실(virtual reality; VR), 증강 현실(augmented reality; AR), 혼합 현실(mixed reality; MR)은 몰입감이 높고 직관적이다. 고품질의 입체 이미지 이미지와 비디오를 생성하는 것은 가장 몰입감 있는 VR, AR, MR 뷰잉(viewing) 경험을 제공하는 데 필요하다.
현재, 3차원 깊이의 인식은, 두 개 이상의 카메라를 사용하여 각 눈에 약간 상이한 두 개의 이미지를 생성함으로써 실현될 수 있다. 그러나, 이것은 복잡하고 컴퓨팅 집약적인 프로세스가 될 수 있다. 아울러, 정확한 깊이 정보가 없으면, 생성된 VR, AR, MR 환경은 사람들에게 좋은 뷰잉 경험을 제공할 수 없다.
본 명세서에서는, 입체 디스플레이 콘텐츠를 생성하기 위한 방법, 장치 및 시스템의 구현이 개시된다.
일 양태에서, 입체 디스플레이 콘텐츠를 생성하는 방법이 개시된다. 방법은, 프로세서를 사용하여 RGB-D(Red, Green, Blue plus Distance) 이미지로부터 제1 RGB(Red, Green, Blue) 이미지 및 깊이 이미지를 획득하는 단계; 깊이 이미지 내의 깊이 값에 기초하여, RGB-D 이미지에 따른 제1 시차 맵(disparity map)을 결정하는 단계 - 제1 시차 맵은, 입체 이미지 쌍으로 변환될 제1 RGB 이미지에 대한 복수의 시차 값을 포함함 - ; 시차 분포 비율을 사용하여 제1 시차 맵을 변환함으로써, 제2 시차 맵 및 제3 시차 맵을 결정하는 단계; 및 프로세서에 의해, 제2 RGB 이미지 및 제3 RGB 이미지를 포함하는 입체 이미지 쌍을 생성하는 단계를 포함하고, 제2 RGB 이미지는 제2 시차 맵에 기초하여 제1 RGB 이미지 내의 제1 픽셀 세트를 시프트함으로써 생성되고, 제3 RGB 이미지는 제3 시차 맵에 기초하여 제1 RGB 이미지 내의 제2 픽셀 세트를 시프트함으로써 생성된다.
또 다른 양태에서, 입체 디스플레이 콘텐츠를 생성하기 위한 장치가 개시된다. 장치는 비일시적 메모리; 및 프로세서를 포함하고, 비일시적 메모리는 프로세서에 의해 실행 가능한 명령어를 포함하여, RGB-D 이미지로부터 제1 적색, 녹색 및 청색(RGB) 이미지 및 깊이 이미지를 획득하고, 깊이 이미지 내의 깊이 값에 기초하여, RGB-D 이미지에 따른 제1 시차 맵을 결정하고 - 제1 시차 맵은, 입체 이미지 쌍으로 변환될 제1 RGB 이미지에 대한 복수의 시차 값을 포함함 - ; 시차 분포 비율을 사용하여 제1 시차 맵을 변환함으로써, 제2 시차 맵 및 제3 시차 맵을 결정하고; 프로세서에 의해, 제2 RGB 이미지 및 제3 RGB 이미지를 포함하는 입체 이미지 쌍을 생성하며, 제2 RGB 이미지는 제2 시차 맵에 기초하여 제1 RGB 이미지 내의 제1 픽셀 세트를 시프트함으로써 생성되고, 제3 RGB 이미지는 제3 시차 맵에 기초하여 제1 RGB 이미지 내의 제2 픽셀 세트를 시프트함으로써 생성된다.
또 다른 양태에서는, 입체 디스플레이 컨텐츠를 생성하기 위한 컴퓨터 프로그램을 저장하도록 구성된 비일시적 컴퓨터 판독 가능 저장 매체가 개시된다. 컴퓨터 프로그램은 프로세서에 의해 실행 가능한 명령어를 포함하여, RGB-D 이미지로부터 제1 적색, 녹색 및 청색(RGB) 이미지 및 깊이 이미지를 획득하고, 깊이 이미지 내의 깊이 값에 기초하여, RGB-D 이미지에 따른 제1 시차 맵을 결정하고 - 제1 시차 맵은, 입체 이미지 쌍으로 변환될 제1 RGB 이미지에 대한 복수의 시차 값을 포함함 - ; 시차 분포 비율을 사용하여 제1 시차 맵을 변환함으로써, 제2 시차 맵 및 제3 시차 맵을 결정하고; 프로세서에 의해, 제2 RGB 이미지 및 제3 RGB 이미지를 포함하는 입체 이미지 쌍을 생성하며, 제2 RGB 이미지는 제2 시차 맵에 기초하여 제1 RGB 이미지 내의 제1 픽셀 세트를 시프트함으로써 생성되고, 제3 RGB 이미지는 제3 시차 맵에 기초하여 제1 RGB 이미지 내의 제2 픽셀 세트를 시프트함으로써 생성된다.
개시는 첨부된 도면과 함께 읽을 때 다음의 상세한 설명으로부터 가장 잘 이해된다. 통상적인 관행에 따르면, 도면의 다양한 피처는 축척에 맞게 그려지지 않는다는 점이 강조된다. 반대로, 다양한 피처의 치수는 명확성을 위해 임의로 확대 또는 축소된다.
도 1은 컴퓨팅 및 통신을 위한 장치의 예시적인 블록의 다이어그램이다.
도 2는 양안 입체 시 원리를 예시하기 위한 예시적인 다이어그램이다.
도 3은 이 개시의 일부 구현에 따른 입체 디스플레이 콘텐츠를 생성하기 위한 예시적인 프로세스의 흐름도이다.
도 4는 이 개시의 일부 구현에 따라 인간의 좌안과 우안에 대한 시차 값을 결정하기 위한 예시이다.
도 5는 이 개시의 일부 구현에 따라 입체 이미지 쌍을 생성하기 위한 예시적인 흐름도이다.
가상 현실(VR), 증강 현실(AR), 혼합 현실(MR) 기법은, 예를 들어, 가상 관광 및 여행, 디지털 가상 엔터테인먼트(예컨대, VR 게임 및 VR 영화), 가상 훈련 및 교육, VR 노출 치료 등과 같은 일부 애플리케이션 영역에서 개발되어 왔다. 한편, 사람들이 참여할 수 있는 3D 몰입형 환경을 시뮬레이션하기 위해, VR 헤드셋, VR 헬멧, 및 AR/MR 앱 및 안경과 같은 VR/AR/MR 디바이스가 사용되어 왔다. VR/AR/MR 헤드셋을 착용한 사용자가 그 또는 그녀의 머리를 움직일 때, 시뮬레이션된 3D 환경은 사용자의 움직임을 따라가며, 이는 사용자 앞에 디스플레이된다.
시뮬레이션된 3D 몰입형 환경은 양안시(binocular vision)를 통해 실현될 수 있다. 사람의 좌안과 우안은 약간 상이한 시점(viewpoint)로부터 사물을 본다. 관찰된 상이한 2차원(2D) 이미지는 그 다음 뇌에서 프로세싱되어 3D 깊이에 대한 인식을 생성한다. 양안시에 기초하여, VR/AR/MR을 위한 입체 시는 두 개의 2D 이미지를 각각 좌안과 우안 입력으로 사용하여 생성된다(예컨대, 좌안을 위한 하나의 이미지 및 우안을 위한 하나의 이미지). 두 개의 2D 이미지는 상이한 시점(point of view)으로부터의 두 개의 카메라에 의해 동일한 장면에 대해 획득된다. 전통적으로 가상 현실(VR)/증강 현실(AR)/혼합 현실(MR) 헬멧/안경에 사용되는 입체 시 디스플레이 이미지 쌍(예컨대, 좌안을 위한 하나의 이미지 우안을 위한 하나의 이미지)은 역 수정(inverse rectification) 프로세스를 사용하는 것으로부터 생성된다. 2D 이미지는 거리/깊이 정보를 포함하지 않고, 이러한 프로세스로부터 생성된 3D VR/AR/MR 디스플레이 콘텐츠는 부정확한 거리 추정으로 인한 부조화(incongruity)의 감각 또는 심지어 3D 어지럼증을 야기할 수 있다.
이 개시의 구현에 따르면, 방법은 RGB-D 센서로부터 기록된 정확한 거리/깊이 정보를 갖는 3차원 RGB-D 이미지를 사용하여 VR/AR/MR 3D 디스플레이 콘텐츠를 생성하는 데 사용된다. RGB-D 센서는, 예를 들어, 구조화된 광 기반 RGB-D 센서, 액티브/패시브 입체 시 기반 RGB-D 센서, 비행 시간(time-of-flight) RGB-D 센서 또는 이들의 조합 중 임의의 것 등을 포함할 수 있다. 전통적인 적색, 녹색 및 청색(RGB) 이미지는 2D 이미지 내의 RGB 색상 값의 분포만을 설명하는 x-좌표와 y-좌표의 함수이다. 예를 들어, (x, y) 좌표에 위치된 Red=1, Green=1, 및 Blue=1의 디스플레이 색상을 갖는 픽셀은 Pixel (x, y) = (1, 1, 1)로 표현될 수 있으며, 이는 이미지 상의 x 및 y 좌표에서 검은색 픽셀을 나타낸다. RGB-D 센서로부터 기록된 RGB-D 이미지는 RGB 이미지의 각 픽셀에 추가적인 깊이 정보를 제공한다. 예를 들어, (x, y, z) 좌표에 위치된 Red=1, Green=1, 및 Blue=1의 디스플레이 색상을 갖는 픽셀은 Pixel (x, y) = (1, 1, 1, z)로 표현될 수 있으며, 이는 z 단위 거리(예컨대, 밀리미터)만큼 떨어져 있고 이미지 상의 x 및 y 좌표에서의 검은색 픽셀을 나타낸다.
이 개시의 구현에 따르면, 입체 디스플레이 콘텐츠를 생성하기 위해, RGB-D 센서는 RGB-D 이미지를 생성하기 위해 사용될 수 있다. RGB-D 이미지에 기초하여, 대응하는 RGB 이미지와 깊이 이미지가 획득될 수 있다. 깊이 이미지는 RGB 이미지 내의 픽셀에 대응하는 객체(object)에 대한 거리 정보를 나타낸다. 삼각 측량 관계(triangulation relationship)에 기초하여, RGB 이미지 내의 각 픽셀에 대한 거리, 초점 길이, 동공 간 거리를 사용함으로써 RGB 이미지에 대한 총 시차 맵이 생성될 수 있다. 총 시차 맵은 2D 매트릭스이고, 여기서　각각의 요소는 RGB 이미지 내의 픽셀에 대한 시차 값을 나타낸다. 좌측 시차 맵은 시차 분포 비율(k)과 총 시차 맵에 의해 결정될 수 있다. 우측 시차 맵은 시차 분포 비율(k)과 총 시차 맵에 의해 결정될 수 있다. 따라서, 입체 이미지 쌍은 좌측 시차 맵과 우측 시차 맵에 기초하여 RGB 이미지로부터 생성될 수 있다. 입체 이미지 쌍은 좌안 이미지와 우안 이미지를 포함한다. 좌안 이미지와 우안 이미지는, 증강 현실(AR), 가상 현실(VR) 또는 혼합 현실(MR) 디바이스의 디스플레이 요구 사항에 따라, 좌측 디스플레이 이미지와 우측 디스플레이 이미지를 생성하기 위해, 줌(zoom)되거나, 크롭(crop)되거나, 크기 조절(resize)될 수 있다.
이 개시의 애플리케이션 및 구현은 예시로 제한되지 않으며, 이 개시의 구현의 대체, 변형 또는 수정이, 임의의 컴퓨터 사용(computation) 환경에 대해 달성될 수 있음에 유의해야 한다. 개시된 방법, 장치 및 시스템의 세부 사항은, 시스템 및 코딩 구조에 대한 개요 이후에 아래에 제시될 것이다. 개시된 방법 및 서버의 세부 사항이 아래에 제시될 것이다.
도 1은 이 개시의 구현에 따른 컴퓨팅 및 통신을 위한 장치(100)의 내부 컴포넌트를 예시하는, 예시적인 블록 다이어그램이다. 도 1에 도시된 바와 같이, 컴퓨팅 및 통신을 위한 장치(100)는 메모리(104), 프로세서(106), 통신 유닛(108), 입력/출력(I/O) 컴포넌트(110), 센서(112), 전력 공급 장치(114) 및 버스(102)를 포함할 수 있다. 버스(102)는 내부 신호를 분배하는 데 사용될 수 있다. 버스(102)는 하나 이상의 버스(주소 버스, 데이터 버스 또는 이들의 조합과 같은)일 수 있는 것을 나타낸다. 장치는, RGB-D 카메라, 브리지 카메라, 필름 카메라, 스마트폰 카메라, 어안 카메라, 마이크로 컴퓨터, 메인 프레임 컴퓨터, 범용 컴퓨터, 데이터베이스 컴퓨터, 특수 목적/전용 컴퓨터, 원격 서버 컴퓨터, 개인용 컴퓨터, 태블릿 컴퓨터, 랩톱 컴퓨터, 셀룰러 폰, 임베디드 컴퓨팅/에지 컴퓨팅 디바이스, 단일 보드 컴퓨터, ASIC(Application-specific integrated circuit) 칩, FPGA 칩(Field-programmable gate array), SoC(system on a chip) 칩, 클라우드 컴퓨팅 디바이스/서비스, 또는 웨어러블 컴퓨팅 디바이스와 같은 하나 이상의 컴퓨팅 디바이스의 임의의 구성에 의해 구현될 수 있다, 일부 구현에서, 상이한 장치가, 상이한 지리적 위치에 있고 예를 들어 네트워크를 통해서 서로 통신할 수 있는 RGB-D 카메라의 다수의 그룹의 형태로 구현될 수 있다. 일부 구현에서, 상이한 장치는 상이한 동작으로 구성된다. 일부 구현에서, 컴퓨팅 및 통신을 위한 장치는 본 명세서에 설명된 방법 및 시스템의 하나 이상의 양태를 수행할 수 있다. 예를 들어, 특수 칩을 포함하는 RGB-D 카메라 내의 특수 목적 프로세서는, 본 명세서에 설명된 방법 및 시스템의 하나 이상의 양태 또는 요소를 구현하는 데 사용될 수 있다.
도 1은, 컴퓨팅 및 통신을 위한 장치(100)가 메모리(104), 프로세서(106), 통신 유닛(108), 입력/출력(I/O) 컴포넌트(110), 센서(112), 전력 공급 장치(114) 및 버스(102)를 포함하는 것을 도시한다. 일부 구현에서, 컴퓨팅 및 통신을 위한 장치(100)는 임의의 수의 메모리 유닛, 프로세서 유닛, 통신 유닛, 입력/출력(I/O) 컴포넌트, 센서 유닛, 전력 공급 유닛, 및 버스 유닛을 포함할 수 있다.
메모리(104)는, 2차 또는 영구 장기간 저장소와 같은 더 긴 시간 기간 동안 프로그램 코드 및/또는 데이터를 저장하는 비일시적 컴퓨터 판독 가능 매체를 포함하지만, 이에 제한되지 않는다. 메모리(104)는 데이터를 검색하거나, 데이터를 저장하거나, 또는 둘 다를 수행할 수 있다. 본 명세서에서 메모리(104)는 판독 전용 메모리(read-only memory; ROM) 디바이스, 하드 드라이브, 랜덤 액세스 메모리(random-access memory; RAM), 플래시 드라이브, SSD(solid state drive), EMMC(embedded multimedia card), 광학/자기 디스크, 보안 디지털(security digital; SD) 카드, 또는 저장 디바이스의 임의의 적합한 유형의 임의의 조합일 수 있다.
프로세서(106)는 메모리(104), 통신 유닛(108), I/O 컴포넌트(110), 센서(112), 또는 이들의 조합으로부터 수신될 수 있는 정보를 조작하거나 프로세싱하는 데 사용될 수 있다. 일부 구현에서, 프로세서(106)는 디지털 신호 프로세서(digital signal processor; DSP), 중앙 프로세서(예컨대, 중앙 프로세싱 유닛 또는 CPU), 애플리케이션 특정 명령어 세트 프로세서(application-specific instruction set processor; ASIP), 임베디드 컴퓨팅/에지 컴퓨팅 디바이스, 단일 보드 컴퓨터, ASIC(Application-specific integrated circuit) 칩, FPGA 칩(Field-programmable gate array), SoC(system on a chip) 칩, 클라우드 컴퓨팅 서비스, 그래픽 프로세서(예컨대, GPU의 그래픽 프로세싱 유닛)를 포함할 수 있다. 프로세서(106)는 버스(102)를 통해 메모리(104)에 저장된 컴퓨터 명령어에 액세스할 수 있다. 일부 구현에서, 하나 이상의 프로세서는 본 명세서에 설명된 방법 및 시스템의 하나 이상의 양태를 수행하기 위한 컴퓨터 명령어를 실행 또는 프로세싱하는 것을 포함하는 데이터 프로세싱의 속도를 향상시키는 데 사용될 수 있다. 프로세서(106)로부터의 출력 데이터는, 버스(102)를 통해 메모리(104), 통신 유닛(108), I/O 컴포넌트(110), 센서(112)로 분배될 수 있다. 프로세서(106)는 하나 이상의 구성되거나 임베딩된 동작을 수행하기 위해 컴퓨팅 및 통신을 위한 장치(100)를 제어하도록 동작 가능한 임의의 유형의 디바이스 또는 디바이스들일 수 있다.
프로세서(106) 및 메모리(104)에 더해, 장치(100)는 센서(112)를 포함할 수 있다. 예를 들어, 장치(100)의 동작 환경의 하나 이상의 조건은 센서(112)에 의해 감지, 캡처 또는 결정될 수 있다. 일부 구현에서, 센서(112)는, 하나 이상의 전하 결합 디바이스(charge-coupled device; CCD), 액티브 픽셀 센서(CMOS 센서), 또는 다른 가시광 또는 비가시광 검출 및 캡처 유닛을 포함할 수 있다. 컴퓨팅 및 통신을 위한 장치(100)의 동작 환경의 감지된 양태에 대한 캡처된 데이터는, 센서(112)로부터 메모리(104), 프로세서(106), 통신 유닛(108), 입력/출력(I/O) 컴포넌트(110), 전력 공급 장치(114) 및 버스(102)로 전송될 수 있다. 일부 구현에서, 예를 들어, 라이다 유닛, 마이크, RGB-D 감지 디바이스, 초음파 유닛 또는 압력 센서와 같은, 다수의 센서가 장치(100)에 포함될 수 있다. 전술한 센서는, 컴퓨팅 및 통신을 위한 장치(100)의 동작 환경의 하나 이상의 조건을 캡처, 검출 또는 결정할 수 있다.
프로세서(106) 및 메모리(104)에 더해, 장치(100)는 I/O 컴포넌트(110)를 포함할 수 있다. I/O 컴포넌트(110)는 사용자 입력을 수신할 수 있다. I/O 컴포넌트(110)는 사용자 입력을 버스(102), 전력 공급 장치(114), 메모리(104), 통신 유닛(108), 센서(112), 프로세서(106), 또는 이들의 조합으로 전송할 수 있다. I/O 컴포넌트(110)는 개인에게 시각적 출력 또는 디스플레이 출력을 제공할 수 있다. 일부 구현에서, I/O 컴포넌트(110)는 신호 및/또는 데이터를 전송하기 위한 통신 디바이스로 형성될 수 있다.
프로세서(106) 및 메모리(104)에 더해, 장치(100)는 통신 유닛(108)을 포함할 수 있다. 장치(100)는 통신 유닛(108)을 사용하여 셀룰러 데이터 네트워크, 광역 네트워크(wide area network; WAN), 가상 사설 네트워크(virtual private network; VPN) 또는 인터넷과 같은 하나 이상의 통신 네트워크를 통해 유선 또는 무선 통신 프로토콜을 사용하여 또 다른 디바이스와 통신할 수 있다.
프로세서(106) 및 메모리(104)에 더해, 장치(100)는 전력 공급 장치(114)를 포함할 수 있다. 전력 공급 장치(114)는 버스(102), 메모리(104), 통신 유닛(108), 센서(112), 프로세서(106) 및 버스(102)를 경유하는 I/O 컴포넌트(110)와 같은, 장치(100) 내의 다른 컴포넌트에 전력을 제공할 수 있다. 일부 구현에서, 전력 공급 장치(114)는 충전 가능 배터리와 같은 배터리일 수 있다. 일부 구현에서, 전력 공급 장치(114)는 외부 전원으로부터 에너지를 수신할 수 있는 전력 입력 연결부를 포함할 수 있다.
프로세서(106) 및 메모리(104)에 더해, 장치(100)는 버스(102)를 포함할 수 있다. 전력 공급 장치(114)로부터의 전력 신호 및 내부 데이터 신호는 버스(102)를 통해 메모리(104), 통신 유닛(108), 센서(112), 프로세서(106), I/O 컴포넌트(110) 및 전력 공급 장치(114) 간에 분배될 수 있다.
입체 디스플레이 콘텐츠를 생성하기 위한 장치 및 시스템의 부품 또는 컴포넌트는 도 1에 도시된 것으로 제한되지 않는 요소를 포함할 수 있음에 유의해야 한다. 이 개시의 범위를 벗어나지 않고, 입체 디스플레이 콘텐츠를 생성하기 위하 장치 및 시스템은 입체 디스플레이 콘텐츠를 생성하는 것에 더하여 또는 이와 관련하여 다양한 기능을 수행하기 위한 더 많거나 더 적은 부품, 컴포넌트 및 하드웨어 또는 소프트웨어 모듈을 포함할 수 있다.
도 2는 양안 입체 시 원리를 예시하기 위한 예시적인 다이어그램(200)을 도시한다. 다이어그램(200)은 좌측 이미지(230), 우측 이미지(240), 좌측 광학 중심 O'(0, 0), 우측 광학 중심 O"(0,0), 좌측 초점 포인트(focus point) L = (XL, YL, ZL), 우측 초점 포인트 R = (XR, YR, ZR) 및 타겟 포인트 P = (Xc, Yc, Zc)를 포함한다. 좌측 광학 중심 O'는 좌측 이미지(230)의 중심에 있는 픽셀 포인트이다. 우측 광학 중심 O"은 우측 이미지(240)의 중심에 있는 또 다른 픽셀 포인트이다. 좌측 광학 중심 O'의 픽셀 좌표는 좌측 이미지(230)에서 (0, 0)이다. 우측 광학 중심 O"의 픽셀 좌표는 우측 이미지(240)에서 (0, 0)이다. 세계 좌표 포인트(예컨대, 3D 포인트)로서의 타겟 포인트 P는, 좌측 초점 포인트 L을 통해 좌측 이미지(230)에서 2D 좌표 포인트 P' = (Xleft, Y)로 변환되고 투사될 수 있다. 우측 초점 포인트 R을 통해, 타겟 포인트 P는 우측 이미지(240)에서 또 다른 2D 좌표 포인트 P" = (Xright, Y)로 변환되고 투사될 수 있다. 좌측 초점 포인트 L과 우측 초점 포인트 R 사이의 거리가 기준선 b이다.
2D 좌표 포인트 P' 및 2D 좌표 포인트 P"는, 동일한 타겟 포인트 P에 대해 좌측 이미지(230) 및 우측 이미지(240)에 각각 투사된 두 개의 포인트이다. 좌측 이미지(230) 및 우측 이미지(240)에서 P'와 P" 사이의 수평 좌표의 차이(예컨대, 시차: d = Xleft - Xright)는 타겟 포인트 P와 두 초점 포인트(예컨대, 좌측 초점 포인트 L 및 우측 초점 포인트 R) 사이의 거리를 평가하는 데 활용될 수 있다. 일부 구현에서, 타겟 포인트 P는 3D 객체 내의 3D 세계 좌표 포인트이다. 3D 객체 내의 각 3D 세계 좌표 포인트는, 좌측 이미지(230)와 우측 이미지(240) 모두에 투사될 수 있다. 3D 객체에 대한 대응하는 픽셀은 좌측 이미지(230)와 우측 이미지(240) 사이에서 발견되고 매칭될 수 있다. 각 픽셀에 대한 시차(예를 들어, 타겟 포인트 P에 대한 시차: d = Xleft - Xright)가 계산될 수 있으며, 계산된 시차에 기초하여, 3D 객체에 대해 시차 맵이 생성될 수 있다. 세계 좌표계 내의 3D 객체는 시차 맵을 사용하여 재구성될 수 있다.
일부 구현에서, 인간의 좌안이 좌측 초점 포인트 L이 될 수 있다. 인간의 우안이 우측 초점 포인트 R이 될 수 있다. 인간의 좌안과 우안은 주변 세계에 대해 약간 상이한 뷰를 가질 수 있다. 그 경우에, 기준선 b는 좌안과 우안 사이의 동공 거리(예컨대, 50 내지 75mm)이다. 타겟 포인트 P는 인간이 관찰하는 임의의 세계 좌표 포인트가 될 수 있다. 타겟 포인트 P는 인간의 좌안 이미지와 우안 이미지에 모두 투사될 수 있다. 좌안 이미지와 우안 이미지 사이의 대응 픽셀의 시차는, 타겟 포인트 P와 인간 사이의 거리를 계산하는 데 사용될 수 있다. 그 경우에, 스테레오 이미지 쌍으로서 좌안 이미지와 우안 이미지는 인간의 뇌에 의해 주변 세계에 대한 입체 시를 생성하는 데 사용될 수 있다.
일부 구현에서, 상이한 위치에 있는 두 개의 카메라(예를 들어, 좌측 카메라 및 우측 카메라)는 동일한 3D 객체에 대해 상이한 2D 픽셀을 포함하는 좌측 이미지(230) 및 우측 이미지(240)를 생성할 수 있다. 좌측 카메라의 초점 포인트는 좌측 초점 포인트 L 일 수 있다. 우측 카메라의 초점 포인트는 우측 초점 포인트 R일 수 있다. 좌측 카메라와 우측 카메라의 두 초점 포인트 사이의 거리는 기준선 b일 수 있다. 일부 경우에, 좌측 카메라와 우측 카메라가 수평으로 배치되지 않은 경우, 좌측 이미지(230)와 우측 이미지(240)는 좌측 이미지(230)와 우측 이미지(240) 모두에서 모든 픽셀에 대한 시차 맵을 정확하게 나타내도록 교정될 수 있다. 좌측 이미지(230)와 우측 이미지(240)에 대한 시차 맵은, 좌측 카메라와 우측 카메라에 의해 캡처된 3D 환경을 재구성하기 위해 각 픽셀에 대한 깊이 정보를 생성하는 데 사용될 수 있다.
일부 구현에서, 2개 이상의 이미지 센서를 갖는 스테레오 카메라는 동일한 3D 객체에 대해 상이한 2D 픽셀을 포함하는 좌측 이미지(230) 및 우측 이미지(240)를 생성하는 데 사용될 수 있다. 예를 들어, 스테레오 카메라가 두 개의 이미지 센서(예를 들어, 좌측 이미지 센서 및 우측 이미지 센서)를 포함하는 경우, 스테레오 카메라는 깊이 정보로 3D 객체를 재구성하는 데 사용될 수 있다. 좌측 이미지 센서는 좌측 이미지(230)를 생성하는 데 사용될 수 있다. 우측 이미지 센서는 우측 이미지(240)를 생성하는 데 사용될 수 있다. 좌측 이미지 센서와 우측 이미지 센서 사이의 수평 거리는 기준선 b가 될 수 있다. 시차 맵은 주변 세계에 대한 약간 상이한 뷰를 나타내는 좌측 이미지(230)와 우측 이미지(240)에 기초하여 계산될 수 있다.
일반적으로, 양안 입체 시의 실현은 패럴랙스(parallax)(예컨대, 시차)의 원리에 기초한다. 예를 들어, 도 2에서, 두 이미지(예컨대, 좌측 이미지(230)와 우측 이미지(240))는 행-정렬되며, 이는 좌측 이미지(230)와 우측 이미지(240)가 동일한 평면 내에 있음을 의미한다. 타겟 포인트 P는 상이한 픽셀 좌표로 좌측 이미지(230)와 우측 이미지(240) 각각에 투사될 수 있다. 픽셀 좌표의 차이(예컨대, 시차: d = Xleft - Xright)는 타겟 포인트 P와 두 이미지(예컨대, 좌측 이미지(230) 및 우측 이미지(240)) 사이의 거리를 계산하는 데 사용될 수 있다. 계산된 거리 정보는 주변 세계 내에 3D 객체를 재구성하는 데 사용될 수 있다.
도 3은 이 개시의 일부 구현에 따른 입체 디스플레이 콘텐츠를 생성하기 위한 예시적인 프로세스(300)의 흐름도이다. 프로세스(300)는 도 1의 장치(100) 내의 소프트웨어 및/또는 하드웨어 모듈로 구현될 수 있다. 예를 들어, 프로세스(300)는 도 1의 장치(100)와 같은 카메라의 프로세서(106)에 의해 실행 가능한 데이터 및/또는 명령어로서 메모리(104)에 저장된 소프트웨어 모듈로서 구현될 수 있다. 또 다른 예시에서, 프로세스(300)는 특수 칩에 의해 실행 가능한 명령어를 저장하는 특수 칩으로서 하드웨어에 구현될 수 있다. 프로세스(300)의 동작의 일부 또는 전부는 도 4와 관련하여 아래에 설명되는 것과 같은 시차 맵을 사용하여 구현될 수 있다. 위에서 설명된 바와 같이, 본 명세서에서 설명된 개시의 양태의 전부 또는 일부는, 실행될 때, 본 명세서에서 설명된 각각의 기법, 알고리즘, 및/또는 명령어 중 임의의 것을 실행하는 컴퓨터 프로그램을 갖는 범용 컴퓨터/프로세서를 사용하여 구현될 수 있다. 이에 더해, 또는 대안적으로, 예를 들어, 본 명세서에 설명된 기법, 알고리즘 또는 명령어 중 임의의 것을 수행하기 위한 특수 하드웨어를 포함할 수 있는 특수 목적 컴퓨터/프로세서가 활용될 수 있다.
동작(302)에서, 프로세서를 사용하여 제1 적색, 녹색 및 청색(RGB) 이미지 및 깊이 이미지가 RGB-D 이미지로부터 획득될 수 있다. 예를 들어, 프로세서는 도 1의 프로세서(106)일 수 있다. 일부 경우에, 도 1의 장치(100)의 센서(112)는 장치(100)의 동작 환경에서 RGB-D 이미지를 획득하는 데 사용될 수 있다. RGB-D 이미지는 버스(102)를 통해 프로세서(106)로 전송되어 RGB 이미지와 깊이 이미지를 획득할 수 있다. 깊이 이미지는 RGB 이미지 내의 대응하는 객체(또는 다수의 대응하는 객체)에 대한 거리 정보를 나타낸다.
도 5를 예시로서 사용하면, RGB-D 이미지가 RGB-D 센서(502)에 의해 획득될 수 있다. RGB-D 이미지는 임의의 기법에 의해 RGB 이미지(512) 및 깊이 이미지(514)를 획득하기 위해 프로세싱될 수 있다. 일부 구현에서, RGB-D 이미지는 RGB-D 센서에 의해 캡처될 수 있다. 예를 들어, RGB-D 센서는 도 1의 센서(112)일 수 있다. RGB 이미지(512)는, 예를 들어, 인간, 동물, 소파, 책상 및 다른 객체와 같은 다양한 객체를 포함할 수 있다. 깊이 이미지(514)에서, 도 5에서 상이한 거리를 나타내기 위해 상이한 음영(shade)이 사용되며, 더 어두운 음영이 더 가까운 거리를 나타낸다. 깊이 이미지(514)는 RGB 이미지(512)에서 대응하는 객체에 대한 거리를 나타낸다.
일부 구현에서, 깊이 이미지 내의 픽셀은 RGB-D 센서와 RGB-D 이미지 내의 캡처된 대응하는 객체 사이의 거리를 나타낸다. 예를 들어, RGB-D 이미지 내의 픽셀은 깊이 이미지 내의 픽셀에 대응할 수 있다. RGB-D 이미지 내의 픽셀은 객체에 속하는 포인트를 나타낸다. 깊이 이미지에서 동일한 위치에 있는 대응하는 픽셀은 대응하는 객체와 RGB-D 센서 사이의 거리를 나타낼 수 있다.
도 5의 예시에서, 깊이 이미지(514) 내의 픽셀은 RGB-D 센서(502)와 RGB 이미지(512) 내의 캡처된 대응하는 객체 사이의 거리를 나타낸다. 대응하는 객체는, 예를 들어, 도 5의 객체(516)(예컨대, 장난감 곰)를 포함할 수 있다. RGB 이미지(512) 내의 각 픽셀은 객체(예컨대, 객체(516))와 연관될 수 있다. RGB 이미지(512)의 각 픽셀에 대한 깊이 이미지(514) 내의 대응하는 픽셀은 RGB-D 센서(502)와 대응하는 객체 사이의 거리를 나타낸다.
도 3으로 돌아가서, 동작(304)에서, RGB-D 이미지에 따른 제1 시차 맵은 깊이 이미지 내의 깊이 값에 기초하여 결정될 수 있고, 제1 시차 맵은 입체 이미지 쌍으로 변환될 제1 RGB 이미지에 대한 복수의 시차 값을 포함한다. 일부 경우에, 제1 시차 맵은 제1 RGB 이미지에 대한 복수의 시차 값을 포함하며, 여기서 시차 값은 입체 시 이미지 쌍을 생성하는 데 사용될 수 있다.
각 픽셀에 대한 시차 값은 도 4를 예시로 사용하여 깊이 이미지 내의 깊이 값에 기초하여 결정될 수 있다. 도 4는 이 개시의 일부 구현에 따라 인간의 좌안과 우안에 대한 시차 값을 결정하는 예시를 도시하는 다이어그램이다. 예를 들어, 도 4에서, 타겟 포인트(O)에 대한 거리는 거리(Z)이고, 타겟 포인트(O)에 대한 시차 값은 f*b / Z이며, 여기서 f는 초점 길이, b는 좌안(E1)과 우안(E2) 사이의 동공 간 거리이고, Z는 타겟 포인트(O)와 RGB-D 센서 사이의 거리이다. 도 4의 삼각 측량 관계로부터, 제1 RGB 이미지 내의 각 픽셀에 대해 대응하는 시차 값이 결정될 수 있다(예컨대, f*b / Z). 일반적으로, 삼각 측량 관계에 기초하여, 깊이 이미지 내의 각 픽셀의 깊이 값, 초점 길이 및 동공 간 거리는, 제1 RGB 이미지(예컨대, RGB 이미지) 내의 각 픽셀에 대한 시차 값을 결정하는 데 사용될 수 있다. 도 4에 따르면, 제1 시차 맵에서의 시차 값은, 예를 들어, 아래에서 논의될 식 (5)를 사용하여 결정될 수 있다.
도 5의 예시에서, RGB-D 이미지는 RGB-D 센서(502)에 의해 획득될 수 있다. 깊이 이미지(514) 내의 픽셀은 RGB 이미지(512) 내의 대응하는 객체와 RGB-D 센서 사이의 거리(즉, 깊이)를 나타낸다. 예를 들어, RGB 이미지(512) 내의 객체(516)에 대한 거리가 깊이 이미지(514) 내에 디스플레이된다. 깊이 이미지(514) 내의 각 픽셀의 깊이에 기초하여, RGB 이미지(512)에 대한 총 시차 맵(522)이 결정될 수 있다. 일부 구현에서, 총 시차 맵(522)은 좌안과 우안 사이의 동공 간 거리, 각 픽셀의 깊이 값, 및 RGB-D 센서의 초점 길이를 사용하여 결정될 수 있다. 예를 들어, 총 시차 맵(522)은 아래에 설명될 식(5)를 사용하여 결정될 수 있다. 예를 들어, 객체(516)는 그레이스케일에 의해 표현되는 시차 값으로 도 5의 총 시차 맵(522)에 도시된다. 그 다음, 총 시차 맵(522)은 아래에서 논의되는 바와 같이 RGB 이미지를 입체 이미지 쌍(예컨대, 좌안 이미지(542) 및 우안 이미지(544))로 변환하는 데 사용될 수 있다.
일부 구현에서, 제1 시차 맵은 각각의 요소가 시차 값을 나타내는 2차원(2D) 매트릭스이다. 도 5를 예시로서 사용하면, 제1 시차 맵(예컨대, 총 시차 맵(522))은 깊이 이미지(514) 및 RGB 이미지(512)에 기초하여 결정될 수 있다. 총 시차 맵(522)은 2D 매트릭스일 수 있으며, 여기서 각각의 요소는 RGB 이미지(512) 내의 픽셀에 대한 시차 값을 나타낸다.
일부 구현에서, 제1 시차 맵은 초점 길이(f) 또는 동공 간 거리(b) 중 적어도 하나를 사용하여 결정될 수 있다. 도 4를 예시로 사용하면, 타겟 포인트(O)에 대한 제1 시차 맵에서의 시차 값(예컨대, )는 초점 길이(f), 좌안(E1)과 우안(E2) 사이의 동공 거리(b) 및 거리(Z)에 기초하여 결정될 수 있다. 예를 들어, 아래에서 논의되는 식 (5)를 사용하여 시차 값이 결정될 수 있다.
도 5의 예시에서, RGB 이미지(512) 내의 픽셀은 깊이 이미지(514) 내의 거리와 연관된다. 초점 길이(f) 또는 동공 간 거리(b)는 공개 데이터로부터 사전 정의되거나 수동 입력에 의해 설정될 수 있다. 초점 길이(f) 및 동공 간 거리(b)와 거리는 RGB 이미지(512)에 대한 총 시차 맵(522)을 결정하는 데 사용될 수 있다.
도 3으로 돌아가서, 동작(306)에서, 시차 분포 비율을 사용하여 제1 시차 맵을 변환함으로써, 제2 시차 맵 및 제3 시차 맵이 결정될 수 있다. 다시 말해, 제2 및 제3 시차 맵은 시차 분포 비율을 사용하여 동일한 원래의 시차 맵에 기초하여 결정될 수 있다. 일부 구현에서, 제1 시차 맵은, 예를 들어, 식 (1)을 사용하여 제2 시차 맵으로, 그리고, 예를 들어, 아래 식 (2)를 사용하여 시차 분포 비율(k)에 기초하여 제3 시차 맵으로 변환될 수 있다.
식 (1)
식 (2)
는 제2 시차 맵에서의 시차 값이고 는 제3 시차 맵에서의 시차 값이다. 는 제1 시차 맵에서의 시차 값이고, 는 RGB 이미지 내의 픽셀(x, y)과 연관된 대응하는 객체와 RGB-D 센서 사이의 거리를 나타내고, k는 시차 분포 비율이고, 시차 분포 비율(k)은 좌안과 우안 사이의 관찰 포인트의 위치를 나타내는 상수 값일 수 있다. 일부 구현에서, 시차 분포 비율(k)는 사전 설정된 상수 값일 수 있다.
일부 구현에서, 식 (1) 및 (2)를 사용하지 않고, 다른 방식으로 제1 시차 맵으로부터 제2 시차 맵 및 제3 시차 맵이 결정될 수 있다. 예를 들어, 제2 시차 맵과 제3 시차 맵은 시차 분포 비율(k)에 더해, 오프셋을 사용하여 결정될 수 있다.
제1 시차 맵의 시차 값 은, 예를 들어, 아래에서 논의되는 식 (5)를 사용하여 결정될 수 있으며, 여기서 f는 초점 길이이고 b는 좌안과 우안 사이의 동공 간 거리이다.
도 4를 예시로 사용하면, 타겟 포인트(O)에 대한 제1 시차 맵에서의 시차 값 는, 초점 길이(f)(예컨대, f = f1 =f2), 동공 간 거리(b) 및 거리(Z)에 기초하여 결정될 수 있다. 시차 분포 비율(k)에 기초하여, 제2 시차 맵에서의 시차 값 와 제3 시차 맵에서의 시차 값 는, 위에서 논의된 바와 같이, 타겟 포인트(O)에 대해 식 (1) 및 (2)를 사용하여 결정될 수 있다.
도 5의 예시에서, RGB 이미지(512)와 깊이 이미지(514)에 기초하여, 총 시차 맵(522)이 결정될 수 있다. 시차 분포 비율(k)에 기초하여, 좌측 시차 맵(534) 및 우측 시차 맵(536)은 아래에서 논의되는 식 (3) 및 (4)를 각각 사용하여 결정될 수 있다. 좌측 시차 맵(534) 및 우측 시차 맵(536)은 RGB 이미지를 입체 이미지 쌍으로 변환하는 데 사용될 수 있다.
도 3으로 돌아가서, 동작(308)에서, 제2 RGB 이미지 및 제3 RGB 이미지를 포함하는 입체 이미지 쌍이 프로세서에 의해 생성될 수 있으며, 제2 RGB 이미지는 제2 시차 맵에 기초하여 제1 RGB 이미지 내의 제1 픽셀 세트를 시프트함으로써 생성되고, 제3 RGB 이미지는 제3 시차 맵에 기초하여 제1 RGB 이미지 내의 제2 픽셀 세트를 시프트함으로써 생성된다.
제2 시차 맵 및 제3 시차 맵에서의 시차 값은 제1 RGB 이미지 내의 픽셀을 좌측 또는 우측으로 수평으로 시프트하여 제2 RGB 이미지 및 제3 RGB 이미지를 생성하는 데 사용될 수 있다. 일부 구현에서, 프로세서(예컨대, 프로세서(106))는 식 (3)을 사용하여 제2 시차 맵(예컨대, 도 5의 좌측 시차 맵(534))에 기초하여 제1 RGB 이미지(예컨대, 도 5의 RGB 이미지(532))의 제1 픽셀 세트를 시프트함으로써 제2 RGB 이미지(예컨대, 도 5의 좌안 이미지(542))를 생성할 수 있다. 프로세서는, 식 (4)를 사용하여 제3 시차 맵(예컨대, 도 5의 우측 시차 맵(536))에 기초하여 제1 RGB 이미지(예컨대, 도 5의 RGB 이미지(532)) 내의 제2 픽셀 세트를 시프트함으로써 제3 RGB 이미지(예컨대, 도 5의 우안 이미지(544))를 생성할 수 있다.
식 (3)
식 (4)
식 (3) 및 (4)에서, 은 제2 RGB 이미지 내의 픽셀(x, y)이고, 는 제3 RGB 이미지 내의 픽셀(x, y)이고, 는 제1 RGB 이미지 내의 픽셀(x, y)이고, 는 픽셀(x, y)에 대한 RGB 색상이고, 식(1)에서의 를 지칭하는 는, 제2 시차 맵에서의 시차 값을 나타내고, 를 지칭하는 는, 제3 시차 맵에서의 시차 값을 나타낸다.
일부 구현에서, 제2 시차 맵 및 제3 시차 맵에서의 시차 값은 식 (3) 및 (4)를 사용하지 않고 다른 방식으로 결정될 수 있다. 일부 구현에서, 예를 들어, 시차 값을 결정하기 위해 위에서 설명된 수평 시프트에 더하여 추가적인 픽셀 또는 추가적인 픽셀들이 상단 또는 하단에 추가될 수 있다. 일부 구현에서, 추가적인 픽셀(들)은 수평 시프트에 더하여 좌측 또는 우측에 추가될 수 있다.
도 5를 예시로서 사용하면, RGB 이미지(532)는 제1 RGB 이미지일 수 있다. 좌측 시차 맵(534)은 제2 시차 맵일 수 있다. 우측 시차 맵(536)은 제3 시차 맵일 수 있다. 좌측 시차 맵(534) 및 우측 시차 맵(536)은, 위에서 논의된 바와 같이, 시차 분포 비율(k)에 기초하여 총 시차 맵(522)을 변환함으로써 결정될 수 있다. 좌측 시차 맵(534)에 기초하여, 좌안 이미지(542)는 RGB 이미지(532) 내의 제1 픽셀 세트를 변환함으로써 생성될 수 있다. 예를 들어, 식 (3)은 좌측 시차 맵(534)과 함께 사용되어 좌안 이미지(542)를 생성할 수 있다. 식 (4)는 우측 시차 맵(536)과 함께 사용되어 우안 이미지(544)를 생성할 수 있다. 좌안 이미지(542)와 우안 이미지(544)는 입체 이미지 쌍이 될 수 있다.
일부 구현에서, 증강 현실(AR), 가상 현실(VR), 또는 혼합 현실(MR) 디바이스의 요구 사항을 디스플레이하도록 크기가 조절된, 조정된 디스플레이 이미지 쌍이, 프로세서(예컨대, 프로세서(106))에 의해 입체 이미지 쌍에 기초하여 생성될 수 있다. 도 5를 예시로서 사용하면, 입체 이미지 쌍은 좌안 이미지(542) 및 우안 이미지(544)를 포함한다. 증강 현실(AR), 가상 현실(VR), 또는 혼합 현실(MR) 디바이스의 요구 사항을 디스플레이하도록 크기가 조절된, 조정된 디스플레이 이미지 쌍은, 예를 들어, 좌안 이미지(542) 및 우안 이미지(544)에 기초하여 생성될 수 있는 좌측 디스플레이 이미지(552) 및 우측 디스플레이 이미지(554)를 포함할 수 있다.
도 4는 이 개시의 일부 구현에 따라 인간의 좌안과 우안에 대한 예시적인 시차 계산(400)의 다이어그램이다. 도 4는 좌안(E1), 우안(E2), 타겟 포인트(O), 좌안(E1)과 우안(E2) 사이의 동공 간 거리(b), 타겟 포인트(O)와 RGB 센서 사이의 거리(Z), 좌안(E1)에 대한 초점 길이(), 우안(E2)에 대한 초점 길이(), 좌안(E1) 이미지 평면 내의 타겟 포인트(O)의 투사된 포인트(O1'), 우안(E2) 이미지 평면 내의 타겟 포인트(O)의 투사된 포인트(O2'), 좌안(E1) 이미지 평면 내의 원래의 포인트(C1'), 및 우안(E2) 이미지 평면 내의 원래의 포인트(C2')를 포함할 수 있다. 일반성을 잃지 않고, 좌안 초점 길이 는 우안 초점 길이 와 같고, 여기서 와 는 모두 f와 같다.
인간의 좌안(E1)과 우안(E2)은 동공 간 거리(b)에 의해 수평으로 분리된다. 따라서, 타겟 포인트(O)는 좌안(E1) 이미지 평면과 우안(E2) 이미지 평면 각각에서 상이한 위치(예컨대, 투사된 포인트(O1') 및 투사된 포인트(O2'))에 투사될 수 있다. 투사된 포인트(O1')는 좌안(E1) 이미지 평면 내에서 원래의 포인트(C1')의 좌측에 투사된다. 좌안(E1) 이미지 평면 내의 투사된 포인트(O1')와 원래의 포인트(C1') 사이의 픽셀 거리는 U1이다. 투사된 포인트(O2')는 우안(E2) 이미지 평면 내의 원래의 포인트(C2')의 우측에 투사된다. 우안(E2) 이미지 평면 내의 투사된 포인트(O2')와 원래의 포인트(C2') 사이의 픽셀 거리는 U2이다. 픽셀 위치 차이는 타겟 포인트(O)에 대한 시차 값이다. 좌안(E1) 이미지 평면 내의 모든 픽셀은 우안(E2) 이미지 평면 내의 동일한 위치에 있는 픽셀과 매칭될 수 있다. 좌안(E1) 이미지 평면과 우안(E2) 이미지 평면 사이의 픽셀 위치 차이에 기초하여 시차 맵이 생성될 수 있다.
일부 구현에서, 깊이 이미지 내의 각 픽셀은 RGD 센서와 대응하는 객체 사이의 거리를 나타낸다. 예를 들어, 도 4에서, 타겟 포인트(O)에 대한 거리는 거리(Z)이다. 투사된 포인트(O1')와 투사된 포인트(O2') 사이의 픽셀 거리 차이는 + 이다. 도 4의 삼각 측량 관계로부터, + 는 (b*f) / Z와 같고, 여기서 b는 좌안(E1)과 우안(E2) 사이의 동공 간 거리이고, f는 좌안(E1)과 우안(E2)에 대한 초점 길이이고, Z는 타겟 포인트(O)와 RGB 센서 사이의 거리이다. 따라서 는 타겟 포인트(O)에 대한 시차 값이다. RGB 이미지 내의 각 픽셀에 대한 시차 값은 깊이 이미지 내의 각 픽셀의 깊이 값, 초점 길이 및 동공 간 거리와의 삼각 측량 관계를 사용하여 결정될 수 있다. 시차 맵은, 예를 들어, 다음 식을 사용하여 좌안(E1) 이미지 평면과 우안(E2) 이미지 평면 내의 모든 픽셀에 대해 획득될 수 있다:
식 (5)
식 (5)에서, 는 RGB 이미지 내의 픽셀(x, y)과 연관된 대응하는 객체와 RGB-D 센서 사이의 거리를 나타낸다. 는 RGB-D 센서에　의해　생성된 깊이 이미지로부터 획득될 수 있다. 식 (5)의 f(예컨대, f = f 1 = f 2 )는 좌안(E1)과 우안(E2)에 대한 초점 길이이다. 는 시차 맵 내의 각각의 요소를 나타낸다. 일부 구현에서, 도 3에 따른 시차 맵의 계산은, 예를 들어, 동작(304)에서 수행될 수 있다.
도 5는 이 개시의 일부 구현에 따라 입체 이미지 쌍을 생성하기 위한 예시적인 작업 흐름이다. 하나 또는 그보다 많은 RGB-D 센서(예컨대, RGB-D 센서(502))는 RGB-D 이미지를 획득하는 데 사용될 수 있다. RGB 이미지(512) 및 깊이 이미지(514)는 획득된 RGB-D 이미지로부터 획득될 수 있다. 깊이 이미지(514)는 RGB 이미지(512) 내의 대응하는 객체에 대한 거리를 나타낸다. 예를 들어, 객체(516)가 RGB 이미지(512) 내에 디스플레이되고, 객체(516)에 대한 거리가 깊이 이미지(514) 내에 표시된다. 일부 구현에서, 도 3에 따르면, 예를 들어, RGB-D 이미지를 획득하는 것은 동작(302)에서 수행될 수 있다.
총 시차 맵(522)은, 예를 들어, 깊이 이미지(514) 내의 거리에 기초하여 RGB 이미지(512)에 대해 결정될 수 있다. RGB 이미지(512)에 대한 총 시차 맵(522) 내의 시차 값은 깊이 이미지(514) 내의 거리, 초점 길이 및 동공 간 거리(예컨대, 도 4의 초점 길이 f = f 1 =f 2 및 동공 간 거리 b)에 기초하여 계산될 수 있다. RGB 이미지(512)에 대한 총 시차 맵(522) 내의 시차 값은, 예를 들어, 깊이 이미지(514) 내의 거리, 초점 길이 및 동공 간 거리에 기초한 삼각 측량 관계와 함께 식(5)를 사용하여 계산될 수 있다. 예를 들어, 전체 시차 맵(522) 내의 객체(516)에 대한 일부 픽셀은 객체(516)에 대한 시차 값을 나타낸다. 일부 구현에서, 도 3에 따르면, 예를 들어, 총 시차 맵(522)을 결정하는 것은 동작(304)에서 수행될 수 있다.
좌측 시차 맵(534)은 총 시차 맵(522)를 변환함으로써 시차 분포(k)에 기초하여 결정될 수 있다. 우측 시차 맵(536)은 총 시차 맵(522)을 변환함으로써 시차 분포(k)에 기초하여 결정될 수 있다. 시차 분포(k)에 기초하여, 전체 시차 맵(522)에서의 시차 값은 좌측 시차 맵(534) 및 우측 시차 맵(536)에 특정 부분 할당될 수 있다. 예를 들어, 좌측 시차 맵(534) 및 우측 시차 맵(536)은 시차 분포(k)를 사용하여 결정될 수 있다. 앞서 논의된 바와 같이, 식 (1) 및 (2)는 시차 맵을 결정하기 위해 사용될 수 있다. 일부 구현에서, 도 3에 따르면, 예를 들어, 좌측 시차 맵(534) 및 우측 시차 맵(536)을 결정하는 것은 동작(306)에서 수행될 수 있다.
입체 이미지 쌍은 좌측 시차 맵(534)과 우측 시차 맵(536)에 기초하여 생성될 수 있다. 좌안 이미지(542)는 RGB 이미지(532)(예컨대, RGB 이미지(512)) 내의 픽셀 세트를 변환함으로써 좌측 시차 맵(534)에 기초하여 생성될 수 있다. 우안 이미지(544)는 RGB 이미지(532)(예컨대, RGB 이미지(512)) 내의 또 다른 픽셀 세트를 변환함으로써 우측 시차 맵(536)에 기초하여 생성될 수 있다. 좌안 이미지(542)와 우안 이미지(544)는 입체 이미지 쌍이다. 좌안 이미지(542)는 식 (3)을 사용하여 RGB 이미지(532) 내의 픽셀 세트를 수평으로 시프트하도록 생성될 수 있다. 우안 이미지(544)는 식 (4)을 사용하여 RGB 이미지(532) 내의 픽셀 세트를 수평으로 시프트하도록 생성될 수 있다. 일부 구현에서, 도 3에 따르면, 예를 들어, 입체 이미지 쌍을 생성하는 것은 동작(308)에서 수행될 수 있다.
좌안 이미지(542)와 우안 이미지는, 증강 현실(AR), 가상 현실(VR) 또는 혼합 현실(MR) 디바이스의 디스플레이 요구 사항을 만족하는 좌측 디스플레이 이미지(552)와 우측 디스플레이 이미지(554)를 생성하기 위해, 줌되거나, 크롭되거나, 크기 조절될 수 있다.
본 명세서에 설명된 개시의 양태는 기능 블록 컴포넌트 및 다양한 프로세싱 동작의 관점에서 설명될 수 있다. 개시된 프로세스 및 시퀀스는 단독으로 또는 임의의 조합으로 수행될 수 있다. 기능 블록은, 지정된 기능을 수행하는 임의의 개수의 하드웨어 및/또는 소프트웨어 컴포넌트에 의해 실현될 수 있다. 예를 들어, 설명된 양태는, 하나 이상의 마이크로프로세서 또는 다른 제어 디바이스의 제어 하에 다양한 기능을 수행할 수 있는, 예를 들어, 메모리 요소, 프로세싱 요소, 논리 요소, 룩업 테이블 등과 같은 다양한 집적 회로 컴포넌트를 이용할 수 있다. 유사하게, 설명된 양태의 요소가 소프트웨어 프로그래밍 또는 소프트웨어 요소를 사용하여 구현되는 경우, 개시는 C, C++, 자바, 어셈블러 등과 같은 임의의 프로그래밍 또는 스크립팅 언어로 구현될 수 있으며, 다양한 알고리즘은 데이터 구조, 객체, 프로세스, 루틴 또는 다른 프로그래밍 요소의 임의의 조합으로 구현된다. 기능적 양태는 하나 이상의 프로세서에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 개시의 양태는 전자 구성, 신호 프로세싱 및/또는 제어, 데이터 프로세싱 등을 위한 임의의 개수의 종래 기법을 이용할 수 있다. "메커니즘" 및 "요소"라는 단어는 광범위하게 사용되며 기계적 또는 물리적 구현 또는 양태로 제한되지 않지만, 프로세서 등과 함께 소프트웨어 루틴을 포함할 수 있다.
위의 개시의 구현 또는 구현의 일부는, 예를 들어, 컴퓨터 사용 가능 또는 컴퓨터 판독 가능 매체로부터 액세스 가능한 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 컴퓨터 사용 가능 또는 컴퓨터 판독 가능 매체는, 예를 들어, 임의의 프로세서에 의해 또는 임의의 프로세서와 관련하여 사용하기 위한 프로그램 또는 데이터 구조를 유형적으로(tangibly) 포함, 저장, 통신 또는 전송할 수 있는 임의의 디바이스일 수 있다. 매체는, 예를 들어, 전자, 자기, 광학, 전자기 또는 반도체 디바이스일 수 있다. 다른 적합한 매체 또한 이용 가능하다. 이러한 컴퓨터 사용 가능 또는 컴퓨터 판독 가능 매체는 비일시적 메모리 또는 매체로 지칭될 수 있으며, 시간이 지남에 따라 변경될 수 있는 RAM 또는 다른 휘발성 메모리 또는 저장 디바이스를 포함할 수 있다. 본 명세서에 설명된 장치의 메모리는, 달리 명시되지 않는 한, 장치에 물리적으로 포함될 필요는 없지만, 장치에 의해 원격으로 액세스될 수 있는 것이고, 장치에 물리적으로 포함될 수 있는 다른 메모리와 인접할 필요는 없다.
개시의 예시로서 수행되는 것으로서 본 명세서에 설명된 개별 또는 조합된 기능 중 임의의 것은, 전술한 하드웨어 중 임의의 것 또는 임의의 조합의 동작을 위한 코드 형태의 기계 판독 가능한 명령어를 사용하여 구현될 수 있다. 계산 코드는, 개별 또는 조합된 기능이 계산 도구로서 수행될 수 있는 하나 이상의 모듈의 형태로 구현될 수 있으며, 각 모듈의 입력 및 출력 데이터는 본 명세서에 설명된 방법 및 시스템의 동작 동안 하나 이상의 추가 모듈로/모듈로부터 전달될 수 있다.
정보, 데이터 및 신호는 다양한 상이한 기술과 기법을 사용하여 표현될 수 있다. 예를 들어, 본 명세서에 언급된 임의의 데이터, 명령어, 커맨드, 정보, 신호, 비트, 심볼 및 칩은, 전압, 전류, 전자기파, 자기장 또는 입자, 광학 필드 또는 입자, 다른 항목, 또는 전술한 것들의 조합으로 표현될 수 있다.
본 명세서에서 "예시"라는 단어는 예시, 사례 또는 예로서의 역할을 하는 것을 의미하도록 사용된다. 본 명세서에서 “예시”로 설명된 양태 또는 설계는, 반드시 다른 양태 또는 설계보다 선호되거나 유리한 것으로 해석되어서는 안 된다. 오히려, "예시"라는 단어의 사용은 개념을 구체적인 방식으로 제시하도록 의도된다. 게다가, 이 개시 전반에 걸쳐 "양태" 또는 "일 양태"이라는 용어의 사용은, 그렇게 설명되지 않는 한 동일한 양태 또는 구현을 의미하도록 의도되지 않는다.
이 개시에서 사용된 바와 같이, "또는"이라는 용어는 결합된 두 개 이상의 요소에 대해 배타적인 "또는"이 아닌 포괄적인 "또는"을 의미하도록 의도된다. 즉, 달리 명시되거나 맥락에 의해 명확하게 달리 표시되지 않는 한, "X는 A 또는 B를 포함한다"는 그것의 임의의 자연적인 포괄적인 순열을 의미하는 것으로 의도된다. 다시 말해, X가 A를 포함하거나; X가 B를 포함하거나; 또는 X가 A와 B를 모두 포함하는 경우, 전술한 사례 중 임의의 사례 하에서 “X는 A 또는 B를 포함한다"가 만족된다. 유사하게, “X는 A와 B 중 하나를 포함한다”는 "X는 A 또는 B를 포함한다"와 균등한 것으로서 사용되도록 의도된다. 이 개시에서 사용된 "및/또는"이라는 용어는 "및" 또는 포괄적인 "또는"을 의미하도록 의도된다. 즉, 달리 명시되거나 맥락에 의해 명확하게 달리 표시되지 않는 한, "X는 A, B, 및/또는 C를 포함한다"는 X가 A, B, 및 C의 임의의 조합을 포함할 수 있다는 것을 의미하도록 의도된다. 다시 말해, X가 A를 포함하거나; X가 B를 포함하거나; X가 C를 포함하거나; X가 A와 B를 모두 포함하거나; X가 B와 C를 모두 포함하거나; X가 A와 C를 모두 포함하거나; X가 A, B 및 C를 모두 포함하는 경우, 전술한 사례 중 임의의 사례 하에서 "X는 A, B 및/또는 C를 포함한다"가 만족된다. 유사하게, “X는 A, B, 및 C 중 적어도 하나를 포함한다”는 "X는 A, B, 및/또는 C를 포함한다"와 균등한 것으로서 사용되도록 의도된다.
본 명세서에서 "포함하는" 또는 "갖는”이라는 용어 및 그 변형의 사용은, 그 뒤에 열거된 항목과 그것의 균등물뿐만 아니라, 추가의 항목을 포괄하는 것을 의미한다. 맥락에 따라, 본 명세서에서 사용된 것과 같은 “... 경우(if)”라는 단어는 “... 때(when)", “... 동안(while)” 또는 "에 응답하여”로 해석될 수 있다.
개시를 설명하는 맥락에서(특히 다음 청구항의 맥락에서) "하나(a)" 및 "하나(an)" 및 "상기(the)” 및 이와 유사한 지시 대상의 사용은, 단수 및 복수를 모두 커버하는 것으로 해석되어야 한다. 또한, 본 명세서에 달리 명시되지 않는 한, 본 명세서에서 값의 범위의 언급은 단지 범위에 속하는 각각의 개별 값을 개별적으로 지칭하는 약칭 방법의 역할을 하도록 의도되며, 각각의 개별 값은 본 명세서에서 개별적으로 언급된 것처럼 명세서에 통합된다. 마지막으로, 본 명세서에 설명된 모든 방법의 동작은 본 명세서에 달리 표시되지 않는 한 또는 맥락에 의해 명백히 모순되지 않는 한, 임의의 적합한 순서로 수행 가능하다. 본 명세서에 제공된, 예시가 설명되고 있는 것을 나타내는 언어(예컨대, “... 같은(such as)"), 또는 임의의 그리고 모든 예시의 사용은, 단지 개시를 더 잘 조명하도록 의도되며, 달리 주장되지 않는 한 개시의 범위에 제한을 가하지 않는다.
본 명세서는 다양한 제목과 부제목으로 제시되었다. 이것은 가독성을 향상시키고 명세서에서 자료를 찾고 참조하는 과정을 용이하게 하기 위해 포함된다. 이러한 제목 및 부제목은 청구항의 해석에 영향을 미치거나 그들의 범위를 어떤 방식으로든 제한하도록 의도되지 않고 그렇게 사용되어서도 안 된다. 본 명세서에 도시되고 설명된 특정 구현은, 개시의 예시적인 예시이며, 개시의 범위를 어떠한 방식으로든 달리 제한하도록 의도되지 않는다.
본 명세서에 언급된 공개, 특허 출원 및 특허를 포함한 모든 참조는, 각 참조가 참조에 의해 통합된 것으로 개별적으로 그리고 구체적으로 표시되고 본 명세서에 그것의 전체로서 제시된 것처럼, 동일한 범위로 이에 의해 참조에 의해 통합된다.
개시가 특정 실시예 및 구현과 관련하여 설명되었지만, 개시는 개시된 구현으로 제한되는 것이 아니라, 반대로 첨부된 청구항의 범위 내에 포함된 다양한 수정 및 균등한 배열을 커버하도록 의도되는 것으로 이해되어야 하며, 그 범위는 그러한 모든 수정 및 균등한 배열을 포괄하도록 법에서 허용되는 가장 넓은 해석이 부여되어야 한다.

Claims (10)

  1. 입체(stereoscopic) 디스플레이 콘텐츠를 생성하는 방법에 있어서,
    프로세서를 사용하여 RGB-D(Red, Green, Blue plus Distance) 이미지로부터 제1 적색, 녹색 및 청색(RGB) 이미지 및 깊이 이미지를 획득하는 단계;
    상기 깊이 이미지 내의 깊이 값에 기초하여, 상기 RGB-D 이미지에 따른 제1 시차 맵(disparity map)을 결정하는 단계 - 상기 제1 시차 맵은, 입체 이미지 쌍으로 변환될 상기 제1 RGB 이미지에 대한 복수의 시차 값을 포함함 - ;
    시차 분포 비율(disparity distribution ratio)을 사용하여 상기 제1 시차 맵을 변환함으로써, 제2 시차 맵 및 제3 시차 맵을 결정하는 단계; 및
    상기 프로세서에 의해, 제2 RGB 이미지 및 제3 RGB 이미지를 포함하는 상기 입체 이미지 쌍을 생성하는 단계
    를 포함하고, 상기 제2 RGB 이미지는 상기 제2 시차 맵에 기초하여 상기 제1 RGB 이미지 내의 제1 픽셀 세트를 시프트(shift)함으로써 생성되고, 상기 제3 RGB 이미지는 상기 제3 시차 맵에 기초하여 상기 제1 RGB 이미지 내의 제2 픽셀 세트를 시프트함으로써 생성되는 것인, 입체 디스플레이 콘텐츠를 생성하는 방법.
  2. 제1항에 있어서,
    상기 프로세서에 의해, 상기 입체 이미지 쌍에 기초하여, 증강 현실(AR), 가상 현실(VR) 또는 혼합 현실(MR) 디바이스의 요구 사항을 디스플레이하도록 크기가 조절된, 조정된 디스플레이 이미지 쌍을 생성하는 단계
    를 더 포함하는, 입체 디스플레이 콘텐츠를 생성하는 방법.
  3. 제1항에 있어서,
    상기 제1 시차 맵은 2차원(2D) 매트릭스이고, 각각의 요소가 시차 값을 나타내는 것인, 입체 디스플레이 콘텐츠를 생성하는 방법.
  4. 제1항에 있어서,
    상기 RGB-D 이미지는 RGB-D 센서에 의해 캡처되는 것인, 입체 디스플레이 콘텐츠를 생성하는 방법.
  5. 제4항에 있어서,
    상기 깊이 이미지 내의 픽셀은, 상기 RGB-D 이미지 내의 캡처된 대응하는 객체와 상기 RGB-D 센서 사이의 거리를 나타내는 것인, 입체 디스플레이 콘텐츠를 생성하는 방법.
  6. 제5항에 있어서,
    상기 제1 시차 맵을 결정하는 단계는,
    상기 제1 시차 맵을 결정하기 위해 초점 길이(f) 또는 동공 간 거리(b) 중 적어도 하나를 사용하는 단계
    를 포함하는 것인, 입체 디스플레이 콘텐츠를 생성하는 방법.
  7. 제6항에 있어서,
    상기 시차 분포 비율을 사용하여 상기 제1 시차 맵을 변환함으로써, 상기 제2 시차 맵을 결정하는 단계는,

    에 기초하고,
    상기 시차 분포 비율을 사용하여 상기 제1 시차 맵을 변환함으로써, 상기 제3 시차 맵을 결정하는 단계는,

    에 기초하고,
    은 상기 제2 시차 맵에서의 시차 값이고, 는 상기 제3 시차 맵에서의 시차 값이고, 는 상기 제1 시차 맵에서의 시차 값이고, 는 상기 RGB-D 이미지 내의 픽셀(x, y) 대응 객체와 상기 RGB-D 센서 사이의 거리이고, k는 상기 시차 분포 비율이며, 상기 시차 분포 비율은 좌안과 우안 사이의 관찰 포인트의 위치를 나타내는 상수 값인, 입체 디스플레이 콘텐츠를 생성하는 방법.
  8. 제7항에 있어서,
    상기 제2 시차 맵에 기초하여 상기 제1 RGB 이미지 내의 상기 제1 픽셀 세트를 시프트하는 것은,

    에 기초하고,
    상기 제3 시차 맵에 기초하여 상기 제1 RGB 이미지 내의 상기 제2 픽셀 세트를 시프트하는 것은,

    에 기초하고,
    는 상기 제2 RGB 이미지 내의 픽셀(x, y)이고, 는 상기 제3 RGB 이미지 내의 픽셀(x, y)이고, 는 상기 제1 RGB 이미지 내의 픽셀(x, y)이고, 는 상기 픽셀(x, y)에 대한 RGB 색상인 것인, 입체 디스플레이 콘텐츠를 생성하는 방법.
  9. 입체(stereoscopic) 디스플레이 콘텐츠를 생성하기 위한 장치에 있어서,
    비일시적 메모리; 및
    프로세서
    를 포함하고,
    상기 비일시적 메모리는, 제1항 내지 제8항 중 어느 한 항의 방법을 구현하도록 상기 프로세서에 의해 실행 가능한 명령어를 포함하는 것인, 입체 디스플레이 콘텐츠를 생성하기 위한 장치.
  10. 입체(stereoscopic) 디스플레이 콘텐츠를 생성하기 위한 컴퓨터 프로그램을 저장하도록 구성된 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터 프로그램은, 제1항 내지 제8항 중 어느 한 항의 방법을 구현하도록 상기 프로세서에 의해 실행 가능한 명령어를 포함하는 것인, 비일시적 컴퓨터 판독 가능 저장 매체.
KR1020230128608A 2022-10-25 2023-09-25 입체 디스플레이 콘텐츠를 생성하기 위한 방법 및 장치 KR20240057994A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/973,086 US20240236288A9 (en) 2022-10-25 Method And Apparatus For Generating Stereoscopic Display Contents
US17/973,086 2022-10-25

Publications (1)

Publication Number Publication Date
KR20240057994A true KR20240057994A (ko) 2024-05-03

Family

ID=90971189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230128608A KR20240057994A (ko) 2022-10-25 2023-09-25 입체 디스플레이 콘텐츠를 생성하기 위한 방법 및 장치

Country Status (2)

Country Link
JP (1) JP2024062935A (ko)
KR (1) KR20240057994A (ko)

Also Published As

Publication number Publication date
JP2024062935A (ja) 2024-05-10
US20240137481A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
KR102214827B1 (ko) 증강 현실 제공 장치 및 방법
RU2016141397A (ru) Стерео-просмотр
TW201206151A (en) Method and system for generating images of a plurality of views for 3D image reconstruction
CN113574863A (zh) 使用深度信息渲染3d图像的方法和系统
EP3547672A1 (en) Data processing method, device, and apparatus
US10553014B2 (en) Image generating method, device and computer executable non-volatile storage medium
CN108885342A (zh) 用于低延迟渲染的宽基线立体
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
TWI788739B (zh) 3d顯示設備、3d圖像顯示方法
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
JP2018500690A (ja) 拡大３ｄ画像を生成するための方法およびシステム
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統
CN111079673A (zh) 一种基于裸眼三维的近红外人脸识别方法
US20230316810A1 (en) Three-dimensional (3d) facial feature tracking for autostereoscopic telepresence systems
US20140347352A1 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
WO2020231484A3 (en) Detection and ranging based on a single monoscopic frame
JP6168597B2 (ja) 情報端末装置
KR101794492B1 (ko) 다시점 영상 디스플레이 시스템
KR20240057994A (ko) 입체 디스플레이 콘텐츠를 생성하기 위한 방법 및 장치
US20240236288A9 (en) Method And Apparatus For Generating Stereoscopic Display Contents
CN112085777A (zh) 六自由度vr眼镜
JP7336871B2 (ja) 全天周映像処理装置及びプログラム
JP2015125493A (ja) 画像生成方法、画像生成装置及び画像生成プログラム
US12015758B1 (en) Holographic video sessions
KR20170059879A (ko) 입체 영상 촬영 장치