KR102666871B1 - Ar 디바이스용 대용량 3차원 모델 출력 방법 및 장치 - Google Patents

Ar 디바이스용 대용량 3차원 모델 출력 방법 및 장치 Download PDF

Info

Publication number
KR102666871B1
KR102666871B1 KR1020220011536A KR20220011536A KR102666871B1 KR 102666871 B1 KR102666871 B1 KR 102666871B1 KR 1020220011536 A KR1020220011536 A KR 1020220011536A KR 20220011536 A KR20220011536 A KR 20220011536A KR 102666871 B1 KR102666871 B1 KR 102666871B1
Authority
KR
South Korea
Prior art keywords
image
camera
model
mesh
size
Prior art date
Application number
KR1020220011536A
Other languages
English (en)
Other versions
KR20230115039A (ko
Inventor
박정철
손욱호
이범렬
이용호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020220011536A priority Critical patent/KR102666871B1/ko
Priority to US17/973,817 priority patent/US20230237741A1/en
Publication of KR20230115039A publication Critical patent/KR20230115039A/ko
Application granted granted Critical
Publication of KR102666871B1 publication Critical patent/KR102666871B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

AR 디바이스용 대용량 3차원 모델 출력 방법 및 장치가 개시된다. AR 디바이스용 대용량 3차원 모델 출력 방법은 다시점 영상을 기초로 다중 텍스쳐와 3차원 메쉬를 생성하는 단계; 상기 다중 텍스쳐와 상기 3차원 메쉬를 이용하여 3차원 모델을 생성하는 단계; 및 AR(Augmented Reality) 장치의 카메라 이동 및 회전 정보에 따라 상기 3차원 모델에서 상기 카메라가 향하는 뷰의 영상을 AR 디바이스로 전송하는 단계를 포함하고, 상기 AR 디바이스는, 상기 카메라가 향하는 뷰의 영상을 출력할 수 있다.

Description

AR 디바이스용 대용량 3차원 모델 출력 방법 및 장치{METHOD AND APPARATUS FOR DISPLAYING MASSIVE 3D MODELS FOR AR DEVICE}
본 발명은 대용량 3차원 메쉬 모델을 AR 디바이스에 출력할 수 있는 방법 및 장치에 관한 것이다.
마이크로소프트사와 매직립사는 혼합현실(MR : Mixed Reality)이 가능한 홀로렌즈와 매직립원(Magic Leap One)을 출시하였다. 그리고 엔리얼사에서는 안경형태의 AR 글래스인 엔리얼 라이트(Nreal Light)를 출시하였다.
혼합 현실 장치는 현실 세계의 같은 공간에 가상 콘텐츠가 사실적으로 합성되는 장면을 생성할 수 있다. 종래의 혼합 현실 콘텐츠는 가상 객체를 단말에 업로드하고 그 가상 객체를 손을 이용한 인터렉션을 통하여 조작할 수 있는 콘텐츠였다.
그러나, 단말이 고품질의 대용량 3차원 모델에 대한 렌더링을 하는 경우, 렌더링을 수행하는 어플리케이션이 많은 메모리를 필요로 하며, 어플리케이션의 실행이 느려질 수 있다.
반면, 서버가 대용량 3차원 모델에 대한 렌더링을 수행하여 AR 디바이스로 전송하는 경우, 렌더링된 영상의 용량으로 인하여 실시간 전송이 불가능하여, AR 디바이스가 출력하는 영상이 지연되거나, 실시간 출력이 불가능하다.
따라서, 단말에 업로드하기 어려울 정도의 고품질 대용량 3차원 모델을 AR 디바이스에 렌더링하여 고품질 영상을 출력할 수 있는 방법이 요청되고 있다.
본 발명은 AR 디바이스의 카메라가 향하는 뷰의 영상만을 렌더링하여 AR 디바이스에 출력함으로써, 대용량 정보를 전송하지 않고도 대용량 3차원 모델에 해당하는 해상도의 영상을 사용자에게 제공하는 방법 및 장치를 제공할 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 방법은 다시점 영상을 기초로 다중 텍스쳐와 3차원 메쉬를 생성하는 단계; 상기 다중 텍스쳐와 상기 3차원 메쉬를 이용하여 3차원 모델을 생성하는 단계; 및 AR(Augmented Reality) 장치의 카메라 이동 및 회전 정보에 따라 상기 3차원 모델에서 상기 카메라가 향하는 뷰의 영상을 AR 디바이스로 전송하는 단계를 포함하고, 상기 AR 디바이스는, 상기 카메라가 향하는 뷰의 영상을 출력할 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 방법의 상기 다중 텍스쳐와 3차원 메쉬를 생성하는 단계는, 상기 다시점 영상을 획득하는 단계; 상기 다시점 영상을 인코딩하여 다중 텍스쳐를 생성하는 단계; 및 상기 다시점 영상에 원근 보정 보간법을 적용하여 3차원 메쉬를 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 방법의 상기 다중 텍스쳐를 생성하는 단계는, 상기 다시점 영상을 RGB 영상으로 변환하는 단계; 상기 RGB 영상을 YUV 영상으로 변환하는 단계; 및 상기 YUV 영상을 인코딩하여 상기 다중 텍스쳐를 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 방법의 상기 3차원 메쉬를 생성하는 단계는, 상기 다시점 영상에서 전경을 분리하여 마스크 영상을 생성하는 단계; 상기 마스크 영상으로 3차원 공간을 투영하여 서피스 복셀(surface voxel)을 생성하는 단계; 및 상기 서피스 복셀에 원근 보정 보간법을 적용하여 3차원 메쉬를 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 방법의 상기 다중 텍스쳐와 3차원 메쉬를 생성하는 단계는, 상기 다중 텍스쳐를 생성하는 쓰레드 풀과 3차원 메쉬를 생성하는 쓰레드 풀에 상기 다시점 영상을 입력하여 상기 다중 텍스쳐와 상기 3차원 메쉬를 병렬 생성할 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 방법의 상기 3차원 모델을 생성하는 단계는, 쉐이더로 상기 3차원 메쉬에 상기 다중 텍스쳐를 입혀 3차원 모델을 생성할 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 방법의 상기 AR 디바이스로 전송하는 단계는, 상기 AR 디바이스로부터 상기 AR 디바이스의 카메라 이동 및 회전 정보를 수신하는 단계; 상기 AR 디바이스의 카메라 이동 및 회전 정보에 따라 상기 3차원 모델에서 상기 카메라가 향하는 뷰의 영상을 렌더링하여 렌더링 영상을 생성하는 단계; 및 상기 렌더링 영상을 부호화하여 상기 AR 디바이스로 전송하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 방법의 상기 AR 디바이스는, 수신한 정보로부터 상기 렌더링 영상을 복호화하는 단계; 및 상기 렌더링 영상을 로 이미지(Raw image)에 텍스쳐링하여 상기 AR 디바이스의 디스플레이에 출력하는 단계를 수행할 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 방법의 상기 AR 디바이스는, 상기 렌더링 영상을 로 이미지에 텍스쳐링하기 전에 상기 AR 디바이스의 카메라 위치에 따라 캔버스의 크기를 제어하여 상기 로 이미지의 크기를 변경시킬 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 생성 방법은 다시점 영상을 획득하는 단계; 상기 다시점 영상을 인코딩하여 다중 텍스쳐를 생성하는 단계; 상기 다시점 영상에 원근 보정 보간법을 적용하여 3차원 메쉬를 생성하는 단계; 및 상기 다중 텍스쳐와 상기 3차원 메쉬를 유니티에서 렌더링하여 3차원 모델을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 생성 방법의 상기 다중 텍스쳐를 생성하는 단계는, 상기 다시점 영상을 RGB 영상으로 변환하는 단계; 상기 RGB 영상을 YUV 영상으로 변환하는 단계; 및 상기 YUV 영상을 인코딩하여 상기 다중 텍스쳐를 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 생성 방법의 상기 3차원 메쉬를 생성하는 단계는, 상기 다시점 영상에서 전경을 분리하여 마스크 영상을 생성하는 단계; 상기 마스크 영상으로 3차원 공간을 투영하여 서피스 복셀(surface voxel)을 생성하는 단계; 및 상기 서피스 복셀에 원근 보정 보간법을 적용하여 3차원 메쉬를 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 생성 방법의 상기 3차원 모델을 생성하는 단계는, 쉐이더로 상기 3차원 메쉬에 상기 다중 텍스쳐를 입혀 3차원 모델을 생성할 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 방법은 다시점 영상을 기초로 생성된 3차원 모델과 AR 디바이스의 카메라 이동 및 회전 정보를 수신하는 단계; 상기 AR 디바이스의 카메라 이동 및 회전 정보에 따라 상기 3차원 모델에서 상기 카메라가 향하는 뷰의 영상을 렌더링하여 렌더링 영상을 생성하는 단계; 및 상기 렌더링 영상을 부호화하여 상기 AR 디바이스로 전송하는 단계를 포함하고, 상기 AR 디바이스는, 상기 카메라가 향하는 뷰의 영상을 출력할 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 방법의 상기 AR 디바이스는, 수신한 정보로부터 상기 렌더링 영상을 복호화하는 단계; 및 상기 렌더링 영상을 로 이미지(Raw image)에 텍스쳐링하여 상기 AR 디바이스의 디스플레이에 출력하는 단계를 수행할 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 방법의 상기 AR 디바이스는, 상기 렌더링 영상을 로 이미지에 텍스쳐링하기 전에 상기 AR 디바이스의 카메라 위치에 따라 캔버스의 크기를 제어하여 상기 로 이미지의 크기를 변경시킬 수 있다.
본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 방법의 상기 3차원 모델은, 상기 다시점 영상을 인코딩하여 생성한 다중 텍스쳐와 상기 다시점 영상에 원근 보정 보간법을 적용하여 생성한 3차원 메쉬를 유니티에서 렌더링하여 생성될 수 있다.
본 발명의 일실시예에 의하면, AR 디바이스의 카메라가 향하는 뷰의 영상만을 렌더링하여 AR 디바이스에 출력함으로써, 대용량 정보를 전송하지 않고도 대용량 3차원 모델에 해당하는 해상도의 영상을 사용자에게 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 장치를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 장치의 상세 구성 및 동작 일례이다.
도 3은 본 발명의 일실시예에 따른 3차원 모델 생성 과정의 일례이다.
도 4는 본 발명의 일실시예에 따른 다중 텍스쳐 생성 과정의 일례이다.
도 5는 본 발명의 일실시예에 따라 생성한 마스크 영상의 일례이다.
도 6은 본 발명의 일실시예에 따라 생성한 3차원 메쉬의 일례이다.
도 7은 본 발명의 일실시예에 따른 3차원 모델 생성부가 마스트 영상 및 다중 텍스쳐를 생성하는 과정의 일례이다.
도 8은 본 발명의 일실시예에 따른 3차원 모델의 AR 디바이스 출력 과정의 일례이다.
도 9는 본 발명의 일실시예에 따른 3차원 모델의 AR 디바이스 출력 과정에서 카메라의 회전 정보에 따라 뷰의 영상을 렌더링하는 과정의 일례이다.
도 10은 본 발명의 일실시예에 따른 3차원 모델의 AR 디바이스 출력 과정에서 카메라의 이동에 따라 뷰의 영상을 렌더링하는 과정의 일례이다.
도 11은 본 발명의 일실시예에 따른 3차원 모델의 AR 디바이스 출력 과정에서 카메라의 이동에 따라 캔버스 사이즈를 제어하는 과정의 일례이다.
도 12는 본 발명의 일실시예에 따른 AR 디바이스에서 출력되는 렌더링 영상의 일례이다.
도 13은 본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 방법은 AR 디바이스용 대용량 3차원 모델 출력 장치(100)에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 장치를 나타내는 도면이다.
AR 디바이스용 대용량 3차원 모델 출력 장치(100)는 도 1에 도시된 바와 같이 3D 모델 생성부(110), 및 AR 디바이스 출력부(120)를 포함할 수 있다. 이때, 3D 모델 생성부(110), 및 AR 디바이스 출력부(120)는 서로 다른 프로세스, 또는 하나의 프로세스에 포함된 각각의 모듈일 수 있다. 예를 들어, AR 디바이스용 대용량 3차원 모델 출력 장치(100)는 서버, 또는 PC와 같이 이동 단말기(102)보다 데이터 처리 성능이 높은 장치일 수 있다.
또한, 3D 모델 생성부(110)는 클라이언트로 정의된 PC이고, AR 디바이스 출력부(120)는 서버, 또는 서버로 정의된 PC이며, AR 디바이스용 대용량 3차원 모델 출력 장치(100)는 클라이언트와 서버를 포함하는 3차원 모델 출력 시스템일 수 있다.
이동 단말기(102)는 휴대폰이나 태블릿과 같이 AR 디바이스(101) 및 AR 디바이스용 대용량 3차원 모델 출력 장치(100)와 통신이 가능한 휴대용 단말일 수 있다. 그리고, 이동 단말기(102)는 AR 디바이스(101)로부터 AR 디바이스 카메라 정보를 수신하여 AR 디바이스용 대용량 3차원 모델 출력 장치(100)로 전송할 수 있다. 이때, AR 디바이스 카메라 정보에는 AR 디바이스(101)의 카메라 이동 및 회전 정보가 포함될 수 있다.
3D 모델 생성부(110)는 다시점 영상을 기초로 다중 텍스쳐와 3차원 메쉬를 생성할 수 있다. 그리고, 3D 모델 생성부(110)는 다중 텍스쳐와 3차원 메쉬를 이용하여 3차원 모델을 생성할 수 있다. 또한, 3D 모델 생성부(110)는 다중 텍스쳐와 3차원 메쉬를 이용하여 3차원 모델을 생성할 수 있다.
AR 디바이스 출력부(120)는 AR(Augmented Reality) 디바이스(101)의 카메라 이동 및 회전 정보에 따라 3차원 모델에서 AR 디바이스(101)의 카메라가 향하는 뷰의 렌더링 영상을 생성하여 이동 단말기(102)로 전송할 수 있다. 그리고, 이동 단말기(102)는 AR 디바이스용 대용량 3차원 모델 출력 장치(100)로부터 수신한 렌더링 영상을 AR 디바이스(101)로 전송할 수 있다.
이때, AR 디바이스(101)는 AR 디바이스(101)의 카메라가 향하는 뷰의 영상을 출력할 수 있다.
AR 디바이스용 대용량 3차원 모델 출력 장치(100)는 AR 디바이스(101)의 카메라가 향하는 뷰의 영상만을 렌더링하여 AR 디바이스(101)에 전송함으로써, 대용량 정보를 전송하지 않고도 대용량 3차원 모델에 해당하는 해상도의 영상을 사용자에게 제공할 수 있다.
도 2는 본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 장치의 상세 구성 및 동작 일례이다.
3D 모델 생성부(110)는 도 2에 도시된 바와 같이 입력부(210), 생성부(220), 전송부(230) 및 렌더링부(240)를 포함할 수 있다. 이때, 입력부(210)는 통신기, 또는 입출력 인터페이스일 수 있다. 또한, 생성부(220) 및 렌더링부(240)는 프로세스일 수 있다.
입력부(210)는 다시점 영상(211)을 획득할 수 있다. 예를 들어, 다시점 영상은 RGRG와 같은 단일 채널의 바이엘(Bayer) 영상일 수 있다.
생성부(220)는 입력부(210)가 획득한 다시점 영상(211)을 인코딩하여 다중 텍스쳐(221)를 생성할 수 있다. 또한, 생성부(220)는 입력부(210)가 획득한 다시점 영상(211)에 원근 보정 보간법을 적용하여 3차원 메쉬(222)를 생성할 수 있다. 이때, 생성부(220)는 도 2에 도시된 바와 같이 다중 텍스쳐(221) 생성 동작과 3차원 메쉬(222) 생성 동작을 병렬 수행할 수 있다.
전송부(230)는 생성부(220)가 생성한 다중 텍스쳐(221)와 3차원 메쉬(222)를 렌더링부(240)로 전송할 수 있다. 예를 들어, 전송부(230)는 서버, 또는 PC의 정보 이동 및 동작을 제어하는 컨트롤러일 수 있다.
렌더링부(240)는 다중 텍스쳐 3D 메쉬 유니티 렌더링을 수행하여 다중 텍스쳐 3D 메쉬 유니티 렌더링된 3차원 모델(241)을 생성할 수 있다. 구체적으로, 렌더링부(240)는 쉐이더로 3차원 메쉬에 다중 텍스쳐를 입혀 3차원 모델(241)을 생성할 수 있다. 그리고, 렌더링부(240)는 생성한 3차원 모델을 AR 디바이스 출력부(120)로 전송할 수 있다.
AR 디바이스(101)는 AR 디바이스(101)의 카메라 이동 또는 회전(251)을 식별할 수 있다. 그리고, AR 디바이스(101)는 식별 결과에 따라 AR 디바이스의 카메라 이동 및 회전 정보(271)를 생성할 수 있다. 이때, AR 디바이스(101)는 AR 디바이스의 카메라 이동 및 회전 정보(251)를 AR 디바이스 출력부(120)로 전송할 수 있다. 또한, AR 디바이스 출력부(120)가 서버, 또는 서버로 정의된 PC인 경우, AR 디바이스 출력부(120)의 입력부(250)가 AR 디바이스(101)의 카메라 이동 또는 회전(251)을 식별하고, 식별 결과에 따라 AR 디바이스의 카메라 이동 및 회전 정보(271)를 생성할 수 있다.
AR 디바이스 출력부(120)는 도 2에 도시된 바와 같이 입력부(250), 생성부(260), 및 전송부(270)를 포함할 수 있다. 이때, 입력부(250), 및 전송부(270)는 통신기, 또는 입출력 인터페이스일 수 있다. 또한, 생성부(260)는 프로세스일 수 있다.
입력부(250)는 렌더링부(240)로부터 3차원 모델(241)을 수신할 수 있다. 그리고, 생성부(260)는 AR 디바이스(101)의 카메라 이동 및 회전 정보(251)에 따라 3차원 모델(241)에서 AR 디바이스(101)의 카메라가 향하는 뷰의 영상을 렌더링하여 렌더링 영상(261)을 생성할 수 있다. 또한, 전송부(270)는 렌더링 영상을 부호화하여 서버(101)로 전송할 수 있다.
AR 디바이스(101)의 출력부(280)는 렌더링 영상(261)으로부터 다중 텍스쳐 3D 매쉬 영상(281)을 복원하여 출력할 수 있다. 이때, AR 디바이스(101)의 출력부(280)는 전송부(270)로부터 수신한 정보에서 렌더링 영상을 복호화할 수 있다. 다음으로, AR 디바이스(101)의 출력부(280)는 렌더링 영상을 로 이미지(Raw image)에 텍스쳐링하여 AR 디바이스(101)의 디스플레이에 출력할 수 있다.
이때, AR 디바이스(101)의 출력부(280)는 렌더링 영상을 로 이미지에 텍스쳐링하기 전에 AR 디바이스(101)의 카메라 위치에 따라 캔버스의 크기를 제어하여 로 이미지의 크기를 변경시킬 수 있다.
도 3은 3D 모델 생성부(110)가 클라이언트로 정의된 PC이고, AR 디바이스 출력부(120)는 서버, 또는 서버로 정의된 PC인 경우, 본 발명의 일실시예에 따른 3차원 모델 생성 과정의 일례이다.
단계(310)에서 단계(211)에서 입력부(210)는 다시점 영상을 획득할 수 있다. 예를 들어, 다시점 영상은 RGRG와 같은 단일 채널의 바이엘(Bayer) 영상일 수 있다.
단계(320)에서 생성부(220)는 단계(310)에서 수신한 다시점 영상을 RGB 영상으로 변환할 수 있다.
단계(330)에서 생성부(220)는 단계(320)에서 RGB 영상을 인코딩하여 다중 텍스쳐를 생성할 수 있다. 단계(330)는 세부 단계(331) 내지 세부 단계(333)를 포함할 수 있다.
단계(331)에서 생성부(220)의 쓰레드 풀은 다시점 영상을 변환한 RGB 영상을 수신할 수 있다. 단계(332)에서 생성부(220)의 쓰레드 풀은 RGB 영상을 YUV 영상으로 변환할 수 있다. 단계(333)에서 생성부(220)의 쓰레드 풀은 YUV 영상을 인코딩하여 다중 텍스쳐를 생성할 수 있다. 예를 들어, 생성부(220)의 쓰레드 풀은 CUDA를 이용한 H.264 인코딩 과정을 수행하여 YUV 영상을 인코딩할 수 있다.
단계(340)에서 생성부(220)는 단계(320)에서 RGB 영상에 원근 보정 보간법을 적용하여 3차원 메쉬를 생성할 수 있다. 단계(340)는 세부 단계(341) 내지 세부 단계(343)를 포함할 수 있다.
단계(331)에서 생성부(220)은 RGB 영상에서 전경을 분리하여 마스크 영상을 생성할 수 있다. 단계(332)에서 생성부(220)의 쓰레드 풀은 단계(331)에서 생성한 마스크 영상으로 3차원 공간을 투영하여 서피스 복셀(surface voxel)을 생성할 수 있다. 단계(333)에서 생성부(220)의 쓰레드 풀은 단계(332)에서 생성한 서피스 복셀에 원근 보정 보간법을 적용하여 3차원 메쉬를 생성할 수 있다.
이때, 단계(330)과 단계(340)는 도 3에 도시된 바와 같이 병렬 수행될 수 있다.
단계(350)에서 전송부(230)는 생성부(220)가 생성한 다중 텍스쳐와 3차원 메쉬가 포함된 신호를 AR 디바이스 출력부(120)의 입력부(250)로 전송할 수 있다. 예를 들어, 전송부(230)는 다중 텍스쳐와 3차원 메쉬가 포함된 신호를 TCP 프로토콜을 이용하여 전송할 수 있다.
단계(360)에서 입력부(250)는 다중 텍스쳐와 3차원 메쉬(381)가 포함된 신호를 수신할 수 있다.
단계(370)에서 AR 디바이스 출력부(120)의 생성부(262)는 단계(360)에서 수신한 신호로부터 다중 텍스쳐를 복원할 수 있다 구체적으로, 단계(371)에서 생성부(260)는 다중 텍스쳐를 디코딩하여 YUV 영상을 복원할 수 있다. 그리고, 단계(372)에서 생성부(260)는 YUV 영상을 RGB 영상으로 변환할 수 있다
단계(380)에서 생성부(260)는 단계(360)에서 수신한 신호로부터 3차원 메쉬(381)를 복원할 수 있다
단계(391)에서 생성부(260)는 3차원 메쉬(381)와 단계(372)에서 변환된 RGB 영상을 유니티 인터페이스(Unity Interface)에 입력할 수 있다.
클라이언트로 정의된 PC인 3D 모델 생성부(110)와 서버, 또는 서버로 정의된 PC인 고, AR 디바이스 출력부(120) 간의 클라이언트-서버(Client-Server)에서 사용되는 전송 라이브러리는 C++ 라이브러리일 수 있다. 그러나, 유니티에서 사용되는 언어는 C#이기 때문에 C#에서 C++ 라이브러리(DLL)을 호출하는 방법을 확인할 필요가 있다.
유니티 5.x의 버전에서는 일반적인 C++ 라이브러리를 포함시켜서 클래스를 호출해서 사용했지만 그 이후 버전(Unity 2017.x)에는 유니티 인터페이스(Unity Interface) 과정을 따라야 유니티에서 사용할 수 있다. 유니티 인터페이스는 3차원 메쉬(381)와 단계(372)에서 변환된 RGB 영상에 IUnityGraphic.h와 IUnityInterface.h 두 헤더파일을 포함시킬 수 있다. 이때, IUnityInterface.h는 IUnityGraphic.h에 포함이 돼 있기 때문에 IUnityGraphics.h만 호출하면 된다. IUnityGrahpics.h 안에는 유니티에서 사용되는 렌더러를 연결 시켜 준다.
단계(390)에서 생성부(260)는 다중 텍스쳐 3D 메쉬 유니티 렌더링을 수행하여 3차원 모델을 생성할 수 있다. 구체적으로, 생성부(260)는 쉐이더로 3차원 메쉬에 다중 텍스쳐를 입혀 3차원 모델을 생성할 수 있다.
도 4는 본 발명의 일실시예에 따른 다중 텍스쳐 생성 과정의 일례이다.
단계(221)에서 생성부(220)는 입력부(210)가 획득한 다시점 영상(410)은 RGRG와 같은 단일 채널의 바이엘(Bayer) 영상일 수 있다.
이때, 생성부(220)는 다시점 영상(410)을 RGB 영상(420)으로 변환할 수 있다.
다음으로, 생성부(220)는 RGB 영상(420)을 YUV 영상(430)으로 변환할 수 있다. 이때, RGB 영상(420)은 YUV 영상(430)으로 변환되는 과정에서 용량이 1/4로 감소할 수 있다.
도 5는 본 발명의 일실시예에 따라 생성한 마스크 영상의 일례이다.
생성부(220)는 색상의 거리는 같지만 눈으로 보이는 색상 차이는 다른 것(시각적으로 차이를 보이는 것)을 시각 차이라고 정의할 수 있다. 그리고, 생성부(220)는 시각 차이를 이용하여 전경과 배경을 분리하는 알고리즘을 다시점 영상(510, 520, 530)에 적용함으로써, 다시점 영상(510, 520, 530)에서 전경이 분리된 마스크 영상(511, 521, 531)을 생성할 수 있다.
도 6은 본 발명의 일실시예에 따라 생성한 3차원 메쉬의 일례이다.
생성부(220)는 비주얼 헐(visual hull) 기법에 따라 마스크 영상을 삼차원 공간에 투영하여 선택된 서피스 복셀(surface voxel)을 생성할 수 있다. 그리고, 생성부(220)는 생성된 서피스 복셀에 대해서 원근 보정 보간법을 이용함으로써, 도 7에 도시된 바와 같은 3차원 메쉬를 생성할 수 있다.
도 7은 본 발명의 일실시예에 따른 3차원 모델 생성부가 마스트 영상 및 다중 텍스쳐를 생성하는 과정의 일례이다.
3차원 모델 생성부(110)는 병렬 처리 방법(쓰레드)을 이용하여 3차원 메쉬와 다중 텍스쳐를 병렬 생성할 수 있다.
하지만 병렬 작업이 많은 상황에서의 쓰레드 숫자의 증가는 잦은 스레드의 생성과 스케줄링으로 인해 CPU의 작업 처리량과 메모리의 증가를 가져오게 됨으로써 어플리케이션(710)의 성능이 저하될 수 있다. 따라서, 3차원 모델 생성부(110)는 쓰레드의 수를 정해 놓고 작업 큐(Queue)에 저장되어 있는 작업(Task)을 쓰레드 풀 안에 있는 쓰레드들 각각에게 제공함으로써, 쓰레드를 효율적으로 사용하는 쓰레드 풀을 이용할 수 있다.
구체적으로, 3차원 모델 생성부(110)는 어플리케이션(710)과 3차원 메쉬를 생성하는 쓰레드 풀(720)와 다중 텍스쳐를 생성하는 쓰레드 풀(730)로 구성될 수 있다. 예를 들어, 어플리케이션(710)는 서버, 또는 PC에서 수행되는 프로그램일 수 있다.
어플리케이션(710)은 다시점 영상을 RGB 영상으로 변환하고, RGB 영상을 신규 태스크(New Task)로 쓰레드 풀(730)에 입력할 수 있다. 또한, 어플리케이션(710)은 RGB 영상에서 전경을 분리하여 마스크 영상을 생성할 수 있다. 예를 들어, 마스크 영상은 다시점 전경 영상(Multi-view Mask images)일 수 있다. 이때, 어플리케이션(710)은 마스크 영상을 신규 태스크(New Task)로 쓰레드 풀(720)에 입력할 수 있다.
쓰레드 풀(720)은 한 프레임의 마스크 영상을 작업 큐(721)에 입력하고, 작업 큐(721)에서 순차적으로 기 저장되어 있던 마스크 영상들 중 가장 먼저 저장된 마스크 영상을 메쉬 생성 프로세서 쓰레드(MGP Thread : Mesh Generation Process Thread)(722)에 입력함으로써 3D 모델 정보(Vertex, Normal, Face)가 포함된 3D 메쉬를 어플리케이션(710)으로 출력할 수 있다.
쓰레드 풀(730)은 한 프레임의 RGB 영상을 작업 큐(731)에 입력하고, 작업 큐(721)에서 순차적으로 기 저장되어 있던 RGB 영상들 중 가장 먼저 저장된 RGB 영상을 다시점 영상 프로세스 쓰레드(MIP Thread : Multi-view Image Process Thread)에 입력함으로써, 다중 텍스쳐를 출력할 수 있다.
도 8은 본 발명의 일실시예에 따른 3차원 모델의 AR 디바이스 출력 과정의 일례이다.
단계(810)에서 AR 디바이스용 대용량 3차원 모델 출력 장치(100)는 3차원 메쉬에 다중 텍스쳐를 입혀 3차원 모델을 생성할 수 있다.
또한, AR 디바이스(101)는 AR 디바이스(101)의 카메라 이동 또는 회전을 식별하여 AR 디바이스(101)의 카메라 이동 및 회전 정보를 생성할 수 있다.
단계(820)에서 AR 디바이스용 대용량 3차원 모델 출력 장치(100)는 AR 디바이스(101)로부터 AR 디바이스(101)의 카메라 이동 및 회전 정보를 수신할 수 있다.
단계(830)에서 생성부(260)는 단계(820)에서 수신한 AR 디바이스(101)의 카메라 이동 및 회전 정보에 따라 AR 디바이스용 대용량 3차원 모델 출력 장치(100)의 가상 카메라의 위치를 이동시키거나, 가상 카메라를 회전시킬 수 있다. 예를 들어, 가상 카메라는 유니티 프로그램에서 설정하는 유니티 카메라일 수 있다.
단계(840)에서 생성부(260)는 단계(830)에서 위치 또는 각도가 변환된 가상 카메라에 따라 3차원 모델에서 AR 디바이스(101)의 카메라가 향하는 뷰의 영상을 렌더링하여 렌더링 영상을 생성할 수 있다.
단계(850)에서 전송부(270)는 단계(840)에서 생성한 렌더링 영상을 부호화할 수 있다. 단계(855)에서 전송부(270)는 부호화된 영상을 AR 디바이스(101)로 전송할 수 있다.
단계(860)에서 AR 디바이스(101)는 부호화된 영상으로부터 렌더링 영상을 복호화할 수 있다.
단계(870)에서 AR 디바이스(101)는 AR 디바이스(101)의 카메라 위치에 따라 캔버스의 크기를 제어하여 로 이미지의 크기를 변경시킬 수 있다.
단계(880)에서 AR 디바이스(101)는 렌더링 영상을 로 이미지(Raw image)에 텍스쳐링하여 AR 디바이스(101)의 디스플레이에 출력할 수 있다.
도 9는 본 발명의 일실시예에 따른 3차원 모델의 AR 디바이스 출력 과정에서 AR 디바이스(101)(Server for Nreal) 쪽에 있는 엔리얼 카메라가 이동했을 때 최종적으로 엔리얼에서 렌더링이 된 영상이 보여지는 과정을 나타낼 수 있다.
단계(910)에서 AR 디바이스(101) 쪽에 있는 엔리얼 카메라가 도 9에 도시된 바와 같이 회전할 수 있다. 이때, AR 디바이스(101)는 UDP를 통해서 카메라의 이동 및 회전 정보를 AR 디바이스용 대용량 3차원 모델 출력 장치(100) 쪽에 있는 유니티 카메라로 전송할 수 있다.
단계(920)에서 AR 디바이스용 대용량 3차원 모델 출력 장치(100)는 카메라의 이동 및 회전 정보에 따라 도 2에 도시된 바와 같이 유니티 카메라의 각도를 변경시킬 수 있다.
단계(930)에서 AR 디바이스용 대용량 3차원 모델 출력 장치(100)는 단계(920)에서 각도가 변경된 유니티 카메라로 오브젝트를 렌더링하여 렌더링 영상을 생성할 수 있다. 이때, AR 디바이스용 대용량 3차원 모델 출력 장치(100)의 생성부는 렌더링 영상을 획득(glReadPixel)하여 인코딩할 수 있다. 그리고, AR 디바이스용 대용량 3차원 모델 출력 장치(100)의 전송부는 인코딩 된 영상을 TCP 프로토콜을 이용하여 AR 디바이스(101)로 전송할 수 있다. 이때, AR 디바이스(101)는 수신한 영상에서 렌더링 영상을 디코딩할 수 있다.
단계(940)에서 AR 디바이스(101)는 렌더링 영상을 서버의 유니티 UI인 캔버스의 자식 노드로 있는 로 이미지(RawImage)에 텍스쳐 매핑하여 출력할 수 있다. 이때, AR 디바이스(101)는 캔버스의 크기를 조절함으로써 오브젝트를 가깝게 혹은 멀리 렌더링할 수 있다. 또한, 로 이미지는 렌더링이 된 영상을 텍스쳐링할 수 있는 UI의 일례이다.
도 10은 본 발명의 일실시예에 따른 3차원 모델의 AR 디바이스 출력 과정에서 카메라의 이동에 따라 뷰의 영상을 렌더링하는 과정의 일례이다.
엔리얼 카메라의 위치가 기준 위치(1010)인 경우, AR 디바이스(101)는 캔버스의 크기를 기준 크기(1011)로 유지할 수 있다. 이때, AR 디바이스(101)가 로 이미지에 텍스쳐 매핑하여 출력하는 렌더링 영상(1012)에 포함된 오브젝트의 크기는 변경되지 않을 수 있다.
반면, 엔리얼 카메라의 위치가 기준 위치(1010) 보다 오브젝트에서 먼 위치(1020)인 경우, AR 디바이스(101)는 캔버스의 크기를 기준 크기(1011) 보다 큰 크기(1021)로 변경할 수 있다. 이때, AR 디바이스(101)가 로 이미지에 텍스쳐 매핑하여 출력하는 렌더링 영상(1022)에 포함된 오브젝트의 크기는 도 10에 도시된 바와 같이 큰 캔버스의 크기(1021)가 기준 크기(1011)에서 증가된 비율에 반비례하여 감소될 수 있다.
또한, 엔리얼 카메라의 위치가 기준 위치(1010) 보다 오브젝트에 가까운 위치(1030)인 경우, AR 디바이스(101)는 캔버스의 크기를 기준 크기(1011) 보다 작은 크기(1031)로 유지할 수 있다. 이때, AR 디바이스(101)가 로 이미지에 텍스쳐 매핑하여 출력하는 렌더링 영상(1032)에 포함된 오브젝트의 크기는 도 10에 도시된 바와 같이 큰 캔버스의 크기(1031)가 기준 크기(1011)에서 감소된 비율에 반비례하여 증가될 수 있다.
이때, 캔버스의 사이즈 조절은 도 11과 수학식 1에 의해서 계산될 수 있다.
이때, po은 엔리얼 카메라의 기준 위치이고, p는 엔리얼 카메라의 변경된 위치이며, o는 오브젝트의 위치일 수 있다. 또한, qo은 캔버스의 기준 크기이고, q는 캔버스의 변경된 크기일 수 있다.
도 12는 캔버스의 크기를 도 10의 일례와 같이 조절한 후, 렌더링 영상을 로 이미지(RawImage)에 텍스쳐 매핑하여 출력한 결과의 일례일 수 있다.
도 13은 본 발명의 일실시예에 따른 AR 디바이스용 대용량 3차원 모델 출력 방법을 도시한 플로우차트이다.
단계(1310)에서 3D 모델 생성부(110)는 다시점 영상을 획득할 수 있다. 예를 들어, 3D 모델 생성부(110)는 사용자, 또는 AR 디바이스(101)로부터 다시점 영상을 입력받을 수 있다.
단계(1320)에서 3D 모델 생성부(110)는 단계(1310)에서 획득한 다시점 영상을 기초로 다중 텍스쳐와 3차원 메쉬를 생성할 수 있다.
단계(1330)에서 3D 모델 생성부(110)는 단계(1320)에서 생성한 다중 텍스쳐와 3차원 메쉬를 AR 디바이스(101)로 전송할 수 있다. 이때, AR 디바이스(101)는 다중 텍스쳐와 3차원 메쉬를 렌더링하여 3차원 모델을 생성할 수 있다.
단계(1340)에서 AR 디바이스 출력부(120)는 AR 디바이스(101)의 카메라 이동 및 회전 정보를 수신할 수 있다.
단계(1350)에서 AR 디바이스 출력부(120)는 AR 디바이스(101)의 카메라 이동 및 회전 정보에 따라 3차원 모델에서 AR 디바이스(101)의 카메라가 향하는 뷰의 영상을 렌더링하여 렌더링 영상을 생성할 수 있다. 이때, AR 디바이스 출력부(120)는 렌더링 영상을 AR 디바이스(101)로 전송할 수 있다.
단계(1360)에서 AR 디바이스(101)는 렌더링 영상을 출력할 수 있다. 이때, 렌더링 영상은 다중 텍스쳐 3D 메쉬 엔리얼 글래스 영상일 수 있다.
본 발명은 AR 디바이스(101)의 카메라가 향하는 뷰의 영상만을 렌더링하여 AR 디바이스(101)에 출력함으로써, 대용량 정보를 전송하지 않고도 대용량 3차원 모델에 해당하는 해상도의 영상을 사용자에게 제공할 수 있다.
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100: AR 디바이스용 대용량 3D 모델 출력 장치
101: AR 디바이스
102: 이동 단말기
110: 3D 모델 생성부
120: AR 디바이스 출력부

Claims (17)

  1. 다시점 영상을 기초로 다중 텍스쳐와 3차원 메쉬를 생성하는 단계;
    상기 다중 텍스쳐와 상기 3차원 메쉬를 이용하여 3차원 모델을 생성하는 단계; 및
    AR(Augmented Reality) 장치의 카메라 이동 및 회전 정보에 따라 상기 3차원 모델에서 상기 카메라가 향하는 뷰의 영상을 AR 디바이스로 전송하는 단계
    를 포함하고,
    상기 AR 디바이스로 전송하는 단계는,
    상기 AR 디바이스로부터 상기 AR 디바이스의 카메라 이동 및 회전 정보를 수신하는 단계;
    상기 AR 디바이스의 카메라 이동 및 회전 정보에 따라 상기 3차원 모델에서 상기 카메라가 향하는 뷰의 영상을 렌더링하여 렌더링 영상을 생성하는 단계; 및
    상기 렌더링 영상을 부호화하여 상기 AR 디바이스로 전송하는 단계
    를 포함하며,
    상기 다중 텍스쳐는,
    상기 다시점 영상을 RGB 영상으로 변환하고, 상기 RGB 영상을 YUV 영상으로 변환하여 용량을 감소시키며, 상기 YUV 영상을 인코딩하여 생성되고,
    상기 AR 디바이스는,
    수신한 정보로부터 상기 렌더링 영상을 복호화하는 단계;
    상기 AR 디바이스의 카메라 위치에 따라 캔버스의 크기를 제어하여 로 이미지(Raw image)의 크기를 변경시키는 단계; 및
    크기가 변경된 로 이미지(Raw image)에 상기 렌더링 영상을 텍스쳐링하여 상기 AR 디바이스의 디스플레이에 상기 카메라가 향하는 뷰의 영상을 출력하는 단계
    를 수행하고,
    상기 로 이미지의 크기를 변경시키는 단계는,
    상기 AR 디바이스의 카메라의 위치가 기준 위치인 경우, 캔버스의 크기를 기준 크기로 유지하고,
    상기 AR 디바이스의 카메라의 위치가 기준 위치 보다 오브젝트에서 먼 위치인 경우, AR 디바이스의 카메라의 위치와 기준 위치 간의 차이에 따라 캔버스의 크기를 증가시켜 상기 카메라가 향하는 뷰의 영상에 포함된 오브젝트의 크기가 감소되도록 하며,
    상기 AR 디바이스의 카메라의 위치가 기준 위치 보다 오브젝트에 가까운 위치인 경우, AR 디바이스의 카메라의 위치와 기준 위치 간의 차이에 따라 캔버스의 크기를 감소시켜 상기 카메라가 향하는 뷰의 영상에 포함된 오브젝트의 크기가 증가되도록 하는 AR 디바이스용 대용량 3차원 모델 출력 방법.
  2. 제1항에 있어서,
    상기 다중 텍스쳐와 3차원 메쉬를 생성하는 단계는,
    상기 다시점 영상을 획득하는 단계;
    상기 다시점 영상을 인코딩하여 다중 텍스쳐를 생성하는 단계; 및
    상기 다시점 영상에 원근 보정 보간법을 적용하여 3차원 메쉬를 생성하는 단계
    를 포함하는 AR 디바이스용 대용량 3차원 모델 출력 방법.
  3. 삭제
  4. 제2항에 있어서,
    상기 3차원 메쉬를 생성하는 단계는,
    상기 다시점 영상에서 전경을 분리하여 마스크 영상을 생성하는 단계;
    상기 마스크 영상으로 3차원 공간을 투영하여 서피스 복셀(surface voxel)을 생성하는 단계; 및
    상기 서피스 복셀에 원근 보정 보간법을 적용하여 3차원 메쉬를 생성하는 단계
    를 포함하는 AR 디바이스용 대용량 3차원 모델 출력 방법.
  5. 제1항에 있어서,
    상기 다중 텍스쳐와 3차원 메쉬를 생성하는 단계는,
    상기 다중 텍스쳐를 생성하는 쓰레드 풀과 3차원 메쉬를 생성하는 쓰레드 풀에 상기 다시점 영상을 입력하여 상기 다중 텍스쳐와 상기 3차원 메쉬를 병렬 생성하는 AR 디바이스용 대용량 3차원 모델 출력 방법.
  6. 제1항에 있어서,
    상기 3차원 모델을 생성하는 단계는,
    쉐이더로 상기 3차원 메쉬에 상기 다중 텍스쳐를 입혀 3차원 모델을 생성하는 AR 디바이스용 대용량 3차원 모델 출력 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 다시점 영상을 기초로 생성된 3차원 모델과 AR 디바이스의 카메라 이동 및 회전 정보를 수신하는 단계;
    상기 AR 디바이스의 카메라 이동 및 회전 정보에 따라 상기 3차원 모델에서 상기 카메라가 향하는 뷰의 영상을 렌더링하여 렌더링 영상을 생성하는 단계; 및
    상기 렌더링 영상을 부호화하여 상기 AR 디바이스로 전송하는 단계
    를 포함하고,
    상기 3차원 모델은,
    다시점 영상을 기초로 다중 텍스쳐와 3차원 메쉬를 생성하고, 상기 다중 텍스쳐와 상기 3차원 메쉬를 이용하여 생성되며,
    상기 다중 텍스쳐는,
    상기 다시점 영상을 RGB 영상으로 변환하고, 상기 RGB 영상을 YUV 영상으로 변환하여 용량을 감소시키며, 상기 YUV 영상을 인코딩하여 생성되고,
    상기 AR 디바이스는,
    수신한 정보로부터 상기 렌더링 영상을 복호화하는 단계;
    상기 AR 디바이스의 카메라 위치에 따라 캔버스의 크기를 제어하여 로 이미지(Raw image)의 크기를 변경시키는 단계; 및
    크기가 변경된 로 이미지(Raw image)에 상기 렌더링 영상을 텍스쳐링하여 상기 AR 디바이스의 디스플레이에 상기 카메라가 향하는 뷰의 영상을 출력하는 단계
    를 수행하고,
    상기 로 이미지의 크기를 변경시키는 단계는,
    상기 AR 디바이스의 카메라의 위치가 기준 위치인 경우, 캔버스의 크기를 기준 크기로 유지하고,
    상기 AR 디바이스의 카메라의 위치가 기준 위치 보다 오브젝트에서 먼 위치인 경우, AR 디바이스의 카메라의 위치와 기준 위치 간의 차이에 따라 캔버스의 크기를 증가시켜 상기 카메라가 향하는 뷰의 영상에 포함된 오브젝트의 크기가 감소되도록 하며,
    상기 AR 디바이스의 카메라의 위치가 기준 위치 보다 오브젝트에 가까운 위치인 경우, AR 디바이스의 카메라의 위치와 기준 위치 간의 차이에 따라 캔버스의 크기를 감소시켜 상기 카메라가 향하는 뷰의 영상에 포함된 오브젝트의 크기가 증가되도록 하는 AR 디바이스용 대용량 3차원 모델 출력 방법.
  15. 삭제
  16. 삭제
  17. 제14항에 있어서,
    상기 3차원 모델은,
    상기 다시점 영상을 인코딩하여 생성한 다중 텍스쳐와 상기 다시점 영상에 원근 보정 보간법을 적용하여 생성한 3차원 메쉬를 유니티에서 렌더링하여 생성되는 AR 디바이스용 대용량 3차원 모델 출력 방법.
KR1020220011536A 2022-01-26 2022-01-26 Ar 디바이스용 대용량 3차원 모델 출력 방법 및 장치 KR102666871B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220011536A KR102666871B1 (ko) 2022-01-26 2022-01-26 Ar 디바이스용 대용량 3차원 모델 출력 방법 및 장치
US17/973,817 US20230237741A1 (en) 2022-01-26 2022-10-26 Method and device for outputting large-capacity 3d model for ar device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220011536A KR102666871B1 (ko) 2022-01-26 2022-01-26 Ar 디바이스용 대용량 3차원 모델 출력 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20230115039A KR20230115039A (ko) 2023-08-02
KR102666871B1 true KR102666871B1 (ko) 2024-05-20

Family

ID=87314486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220011536A KR102666871B1 (ko) 2022-01-26 2022-01-26 Ar 디바이스용 대용량 3차원 모델 출력 방법 및 장치

Country Status (2)

Country Link
US (1) US20230237741A1 (ko)
KR (1) KR102666871B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102108480B1 (ko) * 2018-11-01 2020-05-08 성균관대학교산학협력단 영상 기반 모델의 재질 추정 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100918392B1 (ko) * 2006-12-05 2009-09-24 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
WO2019245303A1 (en) * 2018-06-22 2019-12-26 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
JP2022532302A (ja) * 2019-05-14 2022-07-14 インテル コーポレイション ３ＤｏＦ＋／ＭＩＶ及びＶ－ＰＣＣのための没入型ビデオコーディング技術

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102108480B1 (ko) * 2018-11-01 2020-05-08 성균관대학교산학협력단 영상 기반 모델의 재질 추정 방법 및 장치

Also Published As

Publication number Publication date
US20230237741A1 (en) 2023-07-27
KR20230115039A (ko) 2023-08-02

Similar Documents

Publication Publication Date Title
US11750787B2 (en) Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
US10839589B2 (en) Enhanced immersive media pipeline for correction of artifacts and clarity of objects in computing environments
Loop et al. Real-time high-resolution sparse voxelization with application to image-based modeling
US20100060652A1 (en) Graphics rendering system
CN113661471A (zh) 混合渲染
CN111161392B (zh) 一种视频的生成方法、装置及计算机系统
US11393158B2 (en) Utilizing voxel feature transformations for deep novel view synthesis
WO2021135320A1 (zh) 一种视频的生成方法、装置及计算机系统
WO2018208698A1 (en) Processing 3d video content
US10089782B2 (en) Generating polygon vertices using surface relief information
US11704853B2 (en) Techniques for feature-based neural rendering
Bonatto et al. Real-time depth video-based rendering for 6-DoF HMD navigation and light field displays
US20240177399A1 (en) Learning 2d texture mapping in volumetric neural rendering
CN111612878A (zh) 将静态照片制作成三维效果视频的方法及装置
CN114445257A (zh) 流式传输利用无损或有损压缩进行压缩的光场
CN106886974A (zh) 图像加速器设备及相关方法
US11138786B1 (en) Vertex attribute representation in graphics processing systems for executing a graphics processing pipeline
KR102666871B1 (ko) Ar 디바이스용 대용량 3차원 모델 출력 방법 및 장치
Xie et al. Web3D client-enhanced global illumination via GAN for health visualization
Van Bogaert et al. Novel view synthesis in embedded virtual reality devices
US11948338B1 (en) 3D volumetric content encoding using 2D videos and simplified 3D meshes
US11861788B1 (en) Resolution budgeting by area for immersive video rendering
RU2810701C2 (ru) Гибридный рендеринг
EP4290868A1 (en) 3d object streaming method, device, and program
CN116681818A (zh) 新视角重建方法、新视角重建网络的训练方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant