KR102442715B1 - 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법 - Google Patents
분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법 Download PDFInfo
- Publication number
- KR102442715B1 KR102442715B1 KR1020200166922A KR20200166922A KR102442715B1 KR 102442715 B1 KR102442715 B1 KR 102442715B1 KR 1020200166922 A KR1020200166922 A KR 1020200166922A KR 20200166922 A KR20200166922 A KR 20200166922A KR 102442715 B1 KR102442715 B1 KR 102442715B1
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- information
- image
- reality image
- content server
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000009877 rendering Methods 0.000 title claims abstract description 21
- 238000004891 communication Methods 0.000 claims abstract description 16
- 238000002156 mixing Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법이 개시된다. 본 발명의 장치는 콘텐츠 서버와 통신을 하는 통신부, 촬영 영상, 사용자의 위치정보 및 자세 정보를 포함하는 센서 정보를 수집하는 센서부 및 콘텐츠 서버로부터 분할 영상정보를 수신하면 수신된 분할 영상정보를 디코딩하여 증강현실 영상정보로 복원하고, 복원된 증강현실 영상정보와 촬영 영상을 알파 블렌딩(alpha-blending)한 후, 맵핑시켜 증강현실 영상을 생성하며, 생성된 증강현실 영상에 포함된 증강현실 콘텐츠의 위치를 보정하는 제어부를 포함한다.
Description
본 발명은 증강현실 영상을 재생하는 기술에 관한 것으로, 더욱 상세하게는 분할 렌더링 기반의 영상을 이용하여 사용자에게 현실감이 있는 증강현실 영상을 재생하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법에 관한 것이다.
최근에는 가상현실(Virtual Reality, VR) 또는 증강현실(Augmented Reality, AR)과 같은 가상의 오브제를 이용하여 다양한 콘텐츠가 다수의 대중에 소개되고 있다.
일반적으로 가상현실은 컴퓨터 등을 사용하여 인공적인 기술로 만들어낸 가상공간으로서 실제와 유사하지만 실제가 아닌 특징이 있고, 증강현실은 가상현실의 한 분야로서 실제 환경에 가상 오브제를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 이러한 증강현실은 현실세계를 바탕으로 사용자가 가상의 물체와 상호 작용함으로써, 향상된 현실감을 줄 수 있다는 특징이 있다.
따라서 증강현실에서는 사용자가 자신의 위치한 실제 환경을 인식함과 동시에, 실제 영상 위에 표현된 가상의 정보도 인식하게 된다.
이와 같은 증강 현실은 현실 영상과 가상의 그래픽을 접목하여 보여주기 때문에 보다 실감있고 정확한 영상을 얻기 위해서는 가상 객체들을 화면에서 원하는 자리에 정확히 위치시켜야 하는 과제가 있으며, 이러한 과제를 해결하기 위한 연구가 진행되고 있다.
본 발명이 이루고자 하는 기술적 과제는 분할 렌더링 기반의 영상을 맵핑하고, 좌표 보정하여 사용자에게 실감나는 증강현실 영상을 재생하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법을 제공하는데 목적이 있다.
상기 목적을 달성하기 위해 본 발명에 따른 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치는 콘텐츠 서버와 통신을 하는 통신부, 촬영 영상, 사용자의 위치정보 및 자세 정보를 포함하는 센서 정보를 수집하는 센서부 및 상기 콘텐츠 서버로부터 분할 영상정보를 수신하면 상기 수신된 분할 영상정보를 디코딩하여 증강현실 영상정보로 복원하고, 상기 복원된 증강현실 영상정보와 상기 촬영 영상을 알파 블렌딩(alpha-blending)한 후, 맵핑시켜 증강현실 영상을 생성하며, 상기 생성된 증강현실 영상에 포함된 증강현실 콘텐츠의 위치를 보정하는 제어부를 포함한다.
또한 상기 제어부는, 상기 콘텐츠 서버로부터 색상정보를 더 수신하고, 상기 증강현실 영상정보 및 상기 색상정보를 이용하여 알파 블렌딩할 색 값(color value)을 설정하며, 상기 설정된 색 값을 제거하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 증강현실 영상정보의 속성에 따라 적어도 하나의 색 값으로 설정하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 알파 블렌딩 및 상기 맵핑하는 과정을 GPU(Graphics Processing Unit)를 이용하여 수행하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 콘텐츠 서버로부터 메타데이터를 더 수신하고, 상기 센서부로부터 수집된 현재 센서 정보와 상기 메타데이터에 포함된 증강현실 콘텐츠의 위치정보 및 자세정보를 비교 분석하여 시간차에 따른 증강현실 콘텐츠의 위치 좌표를 보정하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 현재 센서 정보에 포함된 현재 위치 좌표에서의 회전값을 더 반영하여 상기 증강현실 콘텐츠의 위치 좌표를 보정하는 것을 특징으로 한다.
또한 상기 현재 수집된 센서정보는, 사용자의 시야 정보(Field of View, FOV)를 포함하는 것을 특징으로 한다.
본 발명에 따른 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 방법은 사용자 단말이 촬영 영상, 사용자의 위치정보 및 자세 정보를 포함하는 센서 정보를 수집하는 단계, 상기 사용자 단말이 상기 콘텐츠 서버로부터 분할 영상정보를 수신하면 상기 수신된 분할 영상정보를 디코딩하여 증강현실 영상정보로 복원하는 단계, 상기 사용자 단말이 상기 복원된 증강현실 영상정보와 상기 촬영 영상을 알파 블렌딩한 후, 맵핑시켜 증강현실 영상을 생성하는 단계 및 상기 사용자 단말이 상기 생성된 증강현실 영상에 포함된 증강현실 콘텐츠의 위치를 보정하는 단계를 포함한다.
본 발명의 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법은 분할 렌더링 기반의 증강현실 영상정보와 촬영 영상을 알파 블렌딩(alpha-blending)하여 맵핑한 후, 증강현실 콘텐츠의 위치 좌표를 보정하여 사용자에게 실감나는 증강현실 영상을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 증강현실 영상 제공 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 증강현실 영상 제공 시스템에서의 데이터 이동 관계를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 사용자 단말을 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 알파 블렌딩 및 맵핑하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 증강현실 콘텐츠의 위치를 보정하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 증강현실 영상을 제공하는 방법을 설명하기 위한 순서도이다.
도 2는 본 발명의 실시예에 따른 증강현실 영상 제공 시스템에서의 데이터 이동 관계를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 사용자 단말을 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 알파 블렌딩 및 맵핑하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 증강현실 콘텐츠의 위치를 보정하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 증강현실 영상을 제공하는 방법을 설명하기 위한 순서도이다.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 증강현실 영상 제공 시스템을 설명하기 위한 구성도이고, 도 2는 본 발명의 실시예에 따른 증강현실 영상 제공 시스템에서의 데이터 이동 관계를 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 증강현실 영상 제공 시스템(300)은 분할 렌더링 기반의 영상을 맵핑하고, 좌표 보정하여 사용자에게 실감나는 증강현실 영상을 재생한다. 증강현실 영상 제공 시스템(300)은 사용자 단말(100) 및 콘텐츠 서버(200)를 포함한다.
사용자 단말(100)은 사용자가 사용하는 단말로써, 증강현실 영상을 제공하며, 콘텐츠 서버(200)와의 통신을 한다. 사용자 단말(100)은 촬영 영상, 사용자의 위치정보 및 자세 정보를 포함하는 센서 정보(150)를 수집한다. 사용자 단말(100)은 수집된 센서정보(150)를 콘텐츠 서버(200)로 전송한다. 사용자 단말(100)은 콘텐츠 서버(200)로부터 전송한 센서정보(150)를 기반으로 생성된 분할 영상정보(250)를 수신한다. 여기서 분할 영상정보(250)는 증강현실 영상정보를 N(N은 자연수)개로 분할한 영상정보를 의미한다. 사용자 단말(100)은 수신된 분할 영상정보(250)를 디코딩하여 증강현실 영상정보를 복원하고, 복원된 증강현실 영상정보와 촬영 영상을 알파 블렌딩(alpha-blending)한 후, 매핑시켜 증강현실 영상을 생성한다. 사용자 단말(100)은 생성된 증강현실 영상에 포함된 증강현실 콘텐츠의 위치를 보정하고, 보정된 증강현실 영상을 출력한다. 여기서 증강현실 콘텐츠는 증강현실 영상에 포함된 증강현실 객체일 수 있다. 사용자 단말(100)은 HMD(Head mounted Display), AR 글라스, 스마트폰, 랩톱, 데스크톱, 태블릿PC, 핸드헬드PC 등을 포함한다.
콘텐츠 서버(200)는 사용자 단말(100)과의 통신을 하고, 사용자 단말(100)로부터 수신된 센서정보(150)를 이용하여 위치 측정 및 동시에 지도를 작성한다. 콘텐츠 서버(200)는 영상 내 특징점을 검출하고, 검출된 특징점을 이용하여 점간 거리, 카메라 간 거리 및 각도 중 적어도 하나의 정보를 산출한다. 여기서 특징점은 모서리(edge) 등일 수 있다. 콘텐츠 서버(200)는 산출된 정보를 기초로 삼각법을 통해 거리를 산출하는 삼각측량을 수행하여 사물까지의 거리를 반복적으로 측정한다. 콘텐츠 서버(200)는 측정된 정보를 이용하여 현재 사용자의 위치와 카메라 포즈에 대한 좌표를 산출하여 지도를 작성할 수 있다. 콘텐츠 서버(200)는 작성된 지도의 좌표를 기반으로 증강현실의 객체를 3차원 공간에 재구성한다. 콘텐츠 서버(200)는 재구성된 3차원 공간에 위치한 객체가 포함된 3차원 영상을 2차원 영상으로 렌더링하여 증강현실 영상을 생성한다. 이때 콘텐츠 서버(200)는 사용자 시점에서 재생되는 영상을 2차원 영상으로 렌더링할 수 있다. 콘텐츠 서버(200)는 복수의 GPU(Graphics Processing Unit)를 이용하여 고속 병렬 처리로 렌더링을 수행함으로써, 빠르면서도 정확하게 렌더링을 할 수 있다. 콘텐츠 서버(200)는 렌더링된 증강현실 영상을 분할하여 분할 영상정보(250)를 생성하고, 생성된 분할 영상정보(250)를 사용자 단말(100)로 전송한다. 콘텐츠 서버(200)는 미디어 분할 표준인 MPEG-DASH(Dynamic Adaptive Streaming over HTTP)를 이용하여 2차원 영상을 분할할 수 있다. 또한 콘텐츠 서버(200)는 분할 영상정보(250)를 분할된 순서 또는 기 설정된 순서에 따라 사용자 단말(100)로 전송시킬 수 있다. 콘텐츠 서버(100)는 에지 서버의 역할을 수행하며, 서버 컴퓨터, 클러스터 컴퓨터 등 컴퓨터 시스템으로 구현될 수 있다.
한편 증강현실 영상 제공 시스템(300)은 사용자 단말(100) 및 콘텐츠 서버(200) 사이에 통신망(350)을 구축하여 서로 간의 통신이 이루어지도록 한다. 통신망(350)은 백본망과 가입자망으로 구성될 수 있다. 백본망은 X.25 망, Frame Relay 망, ATM망, MPLS(Multi Protocol Label Switching) 망 및 GMPLS(Generalized Multi Protocol Label Switching) 망 중 하나 또는 복수의 통합된 망으로 구성될 수 있다. 가입자망은 FTTH(Fiber To The Home), ADSL(Asymmetric Digital Subscriber Line), 케이블망, 지그비(zigbee), 블루투스(bluetooth), Wireless LAN(IEEE 802.11b, IEEE 802.11a, IEEE 802.11g, IEEE 802.11n), Wireless Hart(ISO/IEC62591-1), ISA100.11a(ISO/IEC 62734), COAP(Constrained Application Protocol), MQTT(Multi-Client Publish/Subscribe Messaging), WIBro(Wireless Broadband), Wimax, 3G, HSDPA(High Speed Downlink Packet Access), 4G 및 5G일 수 있다. 일부 실시예로, 통신망(350)은 인터넷망일 수 있고, 이동 통신망일 수 있다. 또한 통신망(350)은 기타 널리 공지되었거나 향후 개발될 모든 무선통신 또는 유선통신 방식을 포함할 수 있다.
도 3은 본 발명의 실시예에 따른 사용자 단말을 설명하기 위한 블록도이고, 도 4는 본 발명의 실시예에 따른 알파 블렌딩 및 맵핑하는 과정을 설명하기 위한 도면이며, 도 5는 본 발명의 실시예에 따른 증강현실 콘텐츠의 위치를 보정하는 과정을 설명하기 위한 도면이다.
도 1 내지 도 5를 참조하면, 사용자 단말(100)은 통신부(10), 센서부(20) 및 제어부(30)를 포함하고, 출력부(40) 및 저장부(50)를 더 포함할 수 있다.
통신부(10)는 콘텐츠 서버(200)와의 통신을 수행한다. 통신부(10)는 콘텐츠 서버(200)로부터 분할 영상정보(250)를 수신하고, 색상정보 및 메타데이터를 더 수신할 수 있다. 또한 통신부(10)는 센서 정보(150)를 콘텐츠 서버(200)로 전송한다.
센서부(20)는 촬영 영상, 사용자의 위치정보 및 자세 정보를 포함하는 센서 정보를 수집한다. 이를 위해 센서부(20)는 적어도 하나의 카메라 및 IMU(Inertial Measurement Unit) 정보를 측정하는 적어도 하나의 센서를 포함한다. 여기서 IMU 정보는 가속도계, 각속도계, 지자기계 및 고도계를 이용하여 측정된 센싱 정보이다.
제어부(30)는 사용자 단말(100)의 전반적인 제어를 수행한다. 제어부(30)는 센서부(20)로부터 수집된 센서 정보를 콘텐츠 서버(200)로 전송시키고, 콘텐츠 서버(200)로부터 센서 정보를 기반으로 생성된 분할 영상정보(250)를 수신하면 수신된 분할 영상정보(250)를 디코딩하여 증강현실 영상정보(410)로 복원한다.
제어부(30)는 복원된 증강현실 영상정보(410)와 센서부(20)로부터 수집된 촬영 영상(420)을 알파 블렌딩(alpha-blending) 필터(430)를 통해 알파 블렌딩을 수행한다. 즉 제어부(30)는 증강현실 영상정보(410) 및 색상정보를 이용하여 알파 블렌딩할 색 값(color info)을 설정하고, 설정된 색 값을 제거한다. 이때 제어부(30)는 색 값을 증강현실 영상정보(410)의 속성에 따라 적어도 하나로 설정할 수 있다. 제어부(30)는 알파 블렌딩된 증강현실 영상정보 및 촬영 영상(420)를 매핑하여 하나의 증강현실 영상(440)을 생성한다. 여기서 제어부(30)는 알파 블렌딩 및 매핑하는 과정을 GPU(Graphics Processing Unit)를 이용하여 수행할 수 있다. 한편 증강현실 영상(440)은 촬영 영상(420)을 배경으로 증강현실 콘텐츠(450)가 추정된 위치에 맞도록 매핑된 영상이나, 증강현실 콘텐츠(450)의 위치가 부정확할 수 있다.
이에 제어부(30)는 추가적으로 증강현실 콘텐츠(450)의 위치를 보정하여 최종적인 증강현실 영상을 생성한다. 제어부(30)는 콘텐츠 서버(200)로부터 수신된 메타데이터에 포함된 증강현실 콘텐츠의 위치정보 및 자세정보와 센서부(20)로부터 수집된 현재 센서 정보를 비교 분석하여 시간차에 따른 증강현실 콘텐츠(450)의 위치 좌표를 보정한다. 이때 메타데이터에 포함된 증강현실 콘텐츠의 위치정보 및 자세정보는 콘텐츠 서버(200)의 예측 알고리즘을 통해 예측된 데이터이고, 현재 센서 정보는 사용자의 시야 정보(Field of View, FOV)를 포함하는 정보일 수 있다. 이때 제어부(30)는 센서부(20)로부터 수집된 현재 센서 정보에 포함된 현재 위치 좌표에서의 회전값을 더 반영하여 증강현실 콘텐츠의 위치 좌표를 보정함으로써, 사용자의 시점에 따라 증강현실 콘텐츠의 위치를 보정할 수 있다.
출력부(40)는 제어부(30)로부터 생성된 최종적인 증강현실 영상을 출력한다. 또한 출력부(40)는 시각적인 효과뿐만 아니라 청각적인 효과도 제공할 수 있다. 즉 출력부(40)는 증강현실 영상을 출력하는 동시에 해당 증강현실 영상에 대한 설명을 소리로 출력할 수 있다.
저장부(50)는 사용자 단말(100)이 구동하기 위한 알고리즘 또는 프로그램이 저장된다. 저장부(50)는 통신부(10)로부터 수신된 분할 영상정보가 저장되고, 센서부(20)로부터 수집된 센서 정보가 저장된다. 또한 저장부(50)는 제어부(30)로부터 생성된 증강현실 영상이 저장된다. 저장부(50)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크 및 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
도 6은 본 발명의 실시예에 따른 증강현실 영상을 제공하는 방법을 설명하기 위한 순서도이다.
도 1 및 도 6을 참조하면, 증강현실 영상을 제공하는 방법은 분할 렌더링 기반의 증강현실 영상정보와 촬영 영상을 알파 블렌딩하여 맵핑한 후, 증강현실 콘텐츠의 위치 좌표를 보정하여 사용자에게 실감나는 증강현실 영상을 제공할 수 있다.
S110 단계에서, 사용자 단말(100)은 센서 정보를 측정한다. 여기서 센서 정보는 촬영 영상, 사용자의 위치정보 및 자세 정보를 포함하는 정보를 의미한다.
S120 단계에서, 사용자 단말(100)은 센서 정보를 콘텐츠 서버(200)로 전송한다. 사용자 단말(100)은 콘텐츠 서버(200)로 센서 정보를 전송하여 콘텐츠 서버(200)가 증강현실 영상정보를 생성할 수 있도록 한다.
S130 단계에서, 사용자 단말(100)은 콘텐츠 서버(200)로부터 분할 영상정보를 수신한다. 여기서 분할된 영상정보는 콘텐츠 서버(200)로부터 생성된 증강현실 영상정보가 분할된 정보를 의미한다. 사용자 단말(100)은 분할 영상정보를 디코딩하여 증강현실 영상정보로 복원한다.
S140 단계에서, 사용자 단말(100)은 복원된 증강현실 영상정보와 S110단계에서 촬영된 촬영 영상을 알파 블렌딩한 후, 맵핑한다. 사용자 단말(100)은 증강현실 영상정보 및 색상정보를 이용하여 알파 블렌딩할 색 값을 설정하고, 설정된 색 값을 제거한다. 이때 사용자 단말(100)은 색 값을 증강현실 영상정보의 속성에 따라 적어도 하나로 설정할 수 있다. 사용자 단말(100)은 알파 블렌딩된 증강현실 영상정보 및 촬영 영상를 매핑하여 하나의 증강현실 영상을 생성한다.
S150 단계에서, 사용자 단말(100)은 생성된 증강현실 영상에 포함된 증강현실 콘텐츠의 위치를 보정한다. 사용자 단말(100)은 메타데이터에 포함된 증강현실 콘텐츠의 위치정보 및 자세정보와 현재 센서 정보를 비교 분석하여 시간차에 따른 증강현실 콘텐츠의 위치 좌표를 보정한다. 이때 메타데이터에 포함된 증강현실 콘텐츠의 위치정보 및 자세정보는 콘텐츠 서버(200)의 예측 알고리즘을 통해 예측된 데이터일 수 있다. 또한 사용자 단말(100)은 현재 센서 정보에 포함된 현재 위치 좌표에서의 회전값을 더 반영하여 증강현실 콘텐츠의 위치 좌표를 보정함으로써, 최종적인 증강현실 영상을 생성한다.
S160 단계에서, 사용자 단말(100)은 생성된 최종적인 증강현실 영상을 출력한다. 이를 통해 사용자 단말(100)은 사용자에게 실감나는 증강현실 영상을 제공할 수 있다.
본 발명의 실시 예에 따른 방법은 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체의 형태로 제공될 수도 있다. 이러한, 컴퓨터가 읽을 수 있는 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며, 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media) 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것은 아니며, 기술적 사상의 범주를 이탈함없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
10: 통신부
20: 센서부
30: 제어부
40: 출력부
50: 저장부
100: 사용자 단말
200: 콘텐츠 서버
300: 증강현실 영상 제공 시스템
350: 통신망
410: 증강현실 영상정보
420: 촬영 영상
430: 알파 블렌딩 필터
440: 증강현실 영상
450: 증강현실 콘텐츠
20: 센서부
30: 제어부
40: 출력부
50: 저장부
100: 사용자 단말
200: 콘텐츠 서버
300: 증강현실 영상 제공 시스템
350: 통신망
410: 증강현실 영상정보
420: 촬영 영상
430: 알파 블렌딩 필터
440: 증강현실 영상
450: 증강현실 콘텐츠
Claims (8)
- 콘텐츠 서버와 통신을 하는 통신부;
촬영 영상, 사용자의 위치정보 및 자세 정보를 포함하는 센서 정보를 수집하는 센서부; 및
상기 콘텐츠 서버로부터 증강현실 영상정보를 N개로 분할한 분할 영상정보를 수신하면 상기 수신된 분할 영상정보를 디코딩하여 증강현실 영상정보로 복원하고, 상기 복원된 증강현실 영상정보와 상기 촬영 영상을 알파 블렌딩(alpha-blending)한 후, 맵핑시켜 증강현실 영상을 생성하며, 상기 생성된 증강현실 영상에 포함된 증강현실 콘텐츠의 위치를 보정하는 제어부;를 포함하되,
상기 분할 영상정보는 상기 콘텐츠 서버에서 미디어 분할 표준인 MPEG-DASH (Dynamic Adaptive Streaming over HTTP)를 이용하여 2차원 영상으로부터 분할된 것이고,
상기 제어부는,
상기 콘텐츠 서버로부터 색상정보를 더 수신하고, 상기 증강현실 영상정보 및 상기 색상정보를 이용하여 알파 블렌딩할 색 값(color value)을 설정하며, 상기 설정된 색 값을 제거하는 것을 특징으로 하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치. - 삭제
- 제 1항에 있어서,
상기 제어부는,
상기 증강현실 영상정보의 속성에 따라 적어도 하나의 색 값으로 설정하는 것을 특징으로 하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치. - 제 1항에 있어서,
상기 제어부는,
상기 알파 블렌딩 및 상기 맵핑하는 과정을 GPU(Graphics Processing Unit)를 이용하여 수행하는 것을 특징으로 하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치. - 제 1항에 있어서,
상기 제어부는,
상기 콘텐츠 서버로부터 메타데이터를 더 수신하고, 상기 센서부로부터 수집된 현재 센서 정보와 상기 메타데이터에 포함된 증강현실 콘텐츠의 위치정보 및 자세정보를 비교 분석하여 시간차에 따른 증강현실 콘텐츠의 위치 좌표를 보정하는 것을 특징으로 하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치. - 제 5항에 있어서,
상기 제어부는,
상기 현재 센서 정보에 포함된 현재 위치 좌표에서의 회전값을 더 반영하여 상기 증강현실 콘텐츠의 위치 좌표를 보정하는 것을 특징으로 하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치. - 제 5항에 있어서,
상기 현재 수집된 센서정보는,
사용자의 시야 정보(Field of View, FOV)를 포함하는 것을 특징으로 하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치. - 사용자 단말이 촬영 영상, 사용자의 위치정보 및 자세 정보를 포함하는 센서 정보를 수집하는 단계;
상기 사용자 단말이 콘텐츠 서버로부터 증강현실 영상정보를 N개로 분할한 분할 영상정보를 수신하면 상기 수신된 분할 영상정보를 디코딩하여 증강현실 영상정보로 복원하는 단계;
상기 사용자 단말이 상기 복원된 증강현실 영상정보와 상기 촬영 영상을 알파 블렌딩한 후, 맵핑시켜 증강현실 영상을 생성하는 단계;
상기 사용자 단말이 상기 생성된 증강현실 영상에 포함된 증강현실 콘텐츠의 위치를 보정하는 단계; 및
상기 콘텐츠 서버로부터 색상정보를 더 수신하고, 상기 증강현실 영상정보 및 상기 색상정보를 이용하여 알파 블렌딩할 색 값(color value)을 설정하며, 상기 설정된 색 값을 제거하는 단계를 포함하고,
상기 분할 영상정보는 상기 콘텐츠 서버에서 미디어 분할 표준인 MPEG-DASH (Dynamic Adaptive Streaming over HTTP)를 이용하여 2차원 영상으로부터 분할된 것임을 특징으로 하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200166922A KR102442715B1 (ko) | 2020-12-02 | 2020-12-02 | 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법 |
| PCT/KR2020/018406 WO2022119038A1 (ko) | 2020-12-02 | 2020-12-16 | 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200166922A KR102442715B1 (ko) | 2020-12-02 | 2020-12-02 | 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220078005A KR20220078005A (ko) | 2022-06-10 |
| KR102442715B1 true KR102442715B1 (ko) | 2022-09-14 |
Family
ID=81853420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200166922A KR102442715B1 (ko) | 2020-12-02 | 2020-12-02 | 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102442715B1 (ko) |
| WO (1) | WO2022119038A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20240096010A1 (en) * | 2022-09-21 | 2024-03-21 | Apple Inc. | Image blending modes systems and methods |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101663470B1 (ko) * | 2015-03-02 | 2016-10-25 | 한국과학기술원 | 동적 db 기반 콘텐츠 서비스 제공 방법 및 시스템 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4909176B2 (ja) * | 2007-05-23 | 2012-04-04 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法、コンピュータプログラム |
| US9135735B2 (en) * | 2012-06-26 | 2015-09-15 | Qualcomm Incorporated | Transitioning 3D space information to screen aligned information for video see through augmented reality |
| KR101518696B1 (ko) | 2014-07-09 | 2015-05-08 | 정지연 | 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 |
| KR101822471B1 (ko) * | 2016-05-26 | 2018-01-29 | 경북대학교 산학협력단 | 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 |
| KR101945082B1 (ko) * | 2016-07-05 | 2019-02-01 | 안규태 | 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치 |
| WO2018129094A1 (en) * | 2017-01-06 | 2018-07-12 | Intuitive Surgical Operations, Inc. | System and method for registration and coordinated manipulation of augmented reality image components |
| WO2019147699A2 (en) * | 2018-01-24 | 2019-08-01 | Apple, Inc. | Devices, methods, and graphical user interfaces for system-wide behavior for 3d models |
-
2020
- 2020-12-02 KR KR1020200166922A patent/KR102442715B1/ko active IP Right Grant
- 2020-12-16 WO PCT/KR2020/018406 patent/WO2022119038A1/ko active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101663470B1 (ko) * | 2015-03-02 | 2016-10-25 | 한국과학기술원 | 동적 db 기반 콘텐츠 서비스 제공 방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022119038A1 (ko) | 2022-06-09 |
| KR20220078005A (ko) | 2022-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102560187B1 (ko) | 3차원(＂3d＂) 장면의 2차원(＂2d＂) 캡처 이미지를 기반으로 하는 가상 현실 콘텐츠를 렌더링하기 위한 방법 및 시스템 | |
| US11025882B2 (en) | Live action volumetric video compression/decompression and playback | |
| US11050994B2 (en) | Virtual reality parallax correction | |
| US9928655B1 (en) | Predictive rendering of augmented reality content to overlay physical structures | |
| CN109743626B (zh) | 一种图像显示方法、图像处理方法和相关设备 | |
| EP2860606A1 (en) | Information processing device, information processing method, and program | |
| US11119719B2 (en) | Screen sharing for display in VR | |
| CN111627116A (zh) | 图像渲染控制方法、装置及服务器 | |
| CN114897754B (zh) | 使用来自先前视角的渲染内容和非渲染内容生成新帧 | |
| KR102232724B1 (ko) | 복수의 모델들에 근거하는 객체들의 디스플레이 | |
| US11798181B2 (en) | Method and system for location detection of photographs using topographic techniques | |
| KR102442715B1 (ko) | 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법 | |
| CN113965773A (zh) | 直播展示方法和装置、存储介质及电子设备 | |
| US10291951B2 (en) | Video channel display method and apparatus | |
| CN108600509B (zh) | 三维场景模型中信息的分享方法及装置 | |
| US20230042078A1 (en) | Encoding and decoding views on volumetric image data | |
| US11321555B2 (en) | Face-based frame rate upsampling for video calls | |
| CN110662099B (zh) | 用于显示弹幕的方法和装置 | |
| KR20210076615A (ko) | 영상 정보 제공 방법 및 장치 | |
| CN112825198A (zh) | 移动标签显示方法、装置、终端设备及可读存储介质 | |
| KR102361178B1 (ko) | 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법 | |
| CN109348132B (zh) | 全景拍摄方法及装置 | |
| US11615767B2 (en) | Information processing apparatus, information processing method, and recording medium | |
| CN117426098A (zh) | 用于传输和渲染包括非漫射对象的多个视图的方法、服务器和设备 | |
| CN117974814A (zh) | 用于图像处理的方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |