KR20220078005A - 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법 - Google Patents

분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법 Download PDF

Info

Publication number
KR20220078005A
KR20220078005A KR1020200166922A KR20200166922A KR20220078005A KR 20220078005 A KR20220078005 A KR 20220078005A KR 1020200166922 A KR1020200166922 A KR 1020200166922A KR 20200166922 A KR20200166922 A KR 20200166922A KR 20220078005 A KR20220078005 A KR 20220078005A
Authority
KR
South Korea
Prior art keywords
augmented reality
information
image
reality image
content server
Prior art date
Application number
KR1020200166922A
Other languages
English (en)
Other versions
KR102442715B1 (ko
Inventor
장준환
박우출
양진욱
윤상필
최민수
이준석
송수호
구본재
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020200166922A priority Critical patent/KR102442715B1/ko
Priority to PCT/KR2020/018406 priority patent/WO2022119038A1/ko
Publication of KR20220078005A publication Critical patent/KR20220078005A/ko
Application granted granted Critical
Publication of KR102442715B1 publication Critical patent/KR102442715B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법이 개시된다. 본 발명의 장치는 콘텐츠 서버와 통신을 하는 통신부, 촬영 영상, 사용자의 위치정보 및 자세 정보를 포함하는 센서 정보를 수집하는 센서부 및 콘텐츠 서버로부터 분할 영상정보를 수신하면 수신된 분할 영상정보를 디코딩하여 증강현실 영상정보로 복원하고, 복원된 증강현실 영상정보와 촬영 영상을 알파 블렌딩(alpha-blending)한 후, 맵핑시켜 증강현실 영상을 생성하며, 생성된 증강현실 영상에 포함된 증강현실 콘텐츠의 위치를 보정하는 제어부를 포함한다.

Description

분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법{Apparatus and method for reproducing augmented reality image based on divided rendering image}
본 발명은 증강현실 영상을 재생하는 기술에 관한 것으로, 더욱 상세하게는 분할 렌더링 기반의 영상을 이용하여 사용자에게 현실감이 있는 증강현실 영상을 재생하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법에 관한 것이다.
최근에는 가상현실(Virtual Reality, VR) 또는 증강현실(Augmented Reality, AR)과 같은 가상의 오브제를 이용하여 다양한 콘텐츠가 다수의 대중에 소개되고 있다.
일반적으로 가상현실은 컴퓨터 등을 사용하여 인공적인 기술로 만들어낸 가상공간으로서 실제와 유사하지만 실제가 아닌 특징이 있고, 증강현실은 가상현실의 한 분야로서 실제 환경에 가상 오브제를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 이러한 증강현실은 현실세계를 바탕으로 사용자가 가상의 물체와 상호 작용함으로써, 향상된 현실감을 줄 수 있다는 특징이 있다.
따라서 증강현실에서는 사용자가 자신의 위치한 실제 환경을 인식함과 동시에, 실제 영상 위에 표현된 가상의 정보도 인식하게 된다.
이와 같은 증강 현실은 현실 영상과 가상의 그래픽을 접목하여 보여주기 때문에 보다 실감있고 정확한 영상을 얻기 위해서는 가상 객체들을 화면에서 원하는 자리에 정확히 위치시켜야 하는 과제가 있으며, 이러한 과제를 해결하기 위한 연구가 진행되고 있다.
한국등록특허공보 제10-1518696호(2015.05.08.)
본 발명이 이루고자 하는 기술적 과제는 분할 렌더링 기반의 영상을 맵핑하고, 좌표 보정하여 사용자에게 실감나는 증강현실 영상을 재생하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법을 제공하는데 목적이 있다.
상기 목적을 달성하기 위해 본 발명에 따른 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치는 콘텐츠 서버와 통신을 하는 통신부, 촬영 영상, 사용자의 위치정보 및 자세 정보를 포함하는 센서 정보를 수집하는 센서부 및 상기 콘텐츠 서버로부터 분할 영상정보를 수신하면 상기 수신된 분할 영상정보를 디코딩하여 증강현실 영상정보로 복원하고, 상기 복원된 증강현실 영상정보와 상기 촬영 영상을 알파 블렌딩(alpha-blending)한 후, 맵핑시켜 증강현실 영상을 생성하며, 상기 생성된 증강현실 영상에 포함된 증강현실 콘텐츠의 위치를 보정하는 제어부를 포함한다.
또한 상기 제어부는, 상기 콘텐츠 서버로부터 색상정보를 더 수신하고, 상기 증강현실 영상정보 및 상기 색상정보를 이용하여 알파 블렌딩할 색 값(color value)을 설정하며, 상기 설정된 색 값을 제거하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 증강현실 영상정보의 속성에 따라 적어도 하나의 색 값으로 설정하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 알파 블렌딩 및 상기 맵핑하는 과정을 GPU(Graphics Processing Unit)를 이용하여 수행하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 콘텐츠 서버로부터 메타데이터를 더 수신하고, 상기 센서부로부터 수집된 현재 센서 정보와 상기 메타데이터에 포함된 증강현실 콘텐츠의 위치정보 및 자세정보를 비교 분석하여 시간차에 따른 증강현실 콘텐츠의 위치 좌표를 보정하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 현재 센서 정보에 포함된 현재 위치 좌표에서의 회전값을 더 반영하여 상기 증강현실 콘텐츠의 위치 좌표를 보정하는 것을 특징으로 한다.
또한 상기 현재 수집된 센서정보는, 사용자의 시야 정보(Field of View, FOV)를 포함하는 것을 특징으로 한다.
본 발명에 따른 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 방법은 사용자 단말이 촬영 영상, 사용자의 위치정보 및 자세 정보를 포함하는 센서 정보를 수집하는 단계, 상기 사용자 단말이 상기 콘텐츠 서버로부터 분할 영상정보를 수신하면 상기 수신된 분할 영상정보를 디코딩하여 증강현실 영상정보로 복원하는 단계, 상기 사용자 단말이 상기 복원된 증강현실 영상정보와 상기 촬영 영상을 알파 블렌딩한 후, 맵핑시켜 증강현실 영상을 생성하는 단계 및 상기 사용자 단말이 상기 생성된 증강현실 영상에 포함된 증강현실 콘텐츠의 위치를 보정하는 단계를 포함한다.
본 발명의 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법은 분할 렌더링 기반의 증강현실 영상정보와 촬영 영상을 알파 블렌딩(alpha-blending)하여 맵핑한 후, 증강현실 콘텐츠의 위치 좌표를 보정하여 사용자에게 실감나는 증강현실 영상을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 증강현실 영상 제공 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 증강현실 영상 제공 시스템에서의 데이터 이동 관계를 설명하기 위한 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 사용자 단말을 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 알파 블렌딩 및 맵핑하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 증강현실 콘텐츠의 위치를 보정하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 증강현실 영상을 제공하는 방법을 설명하기 위한 순서도이다.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 증강현실 영상 제공 시스템을 설명하기 위한 구성도이고, 도 2는 본 발명의 실시예에 따른 증강현실 영상 제공 시스템에서의 데이터 이동 관계를 설명하기 위한 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 증강현실 영상 제공 시스템(300)은 분할 렌더링 기반의 영상을 맵핑하고, 좌표 보정하여 사용자에게 실감나는 증강현실 영상을 재생한다. 증강현실 영상 제공 시스템(300)은 사용자 단말(100) 및 콘텐츠 서버(200)를 포함한다.
사용자 단말(100)은 사용자가 사용하는 단말로써, 증강현실 영상을 제공하며, 콘텐츠 서버(200)와의 통신을 한다. 사용자 단말(100)은 촬영 영상, 사용자의 위치정보 및 자세 정보를 포함하는 센서 정보(150)를 수집한다. 사용자 단말(100)은 수집된 센서정보(150)를 콘텐츠 서버(200)로 전송한다. 사용자 단말(100)은 콘텐츠 서버(200)로부터 전송한 센서정보(150)를 기반으로 생성된 분할 영상정보(250)를 수신한다. 여기서 분할 영상정보(250)는 증강현실 영상정보를 N(N은 자연수)개로 분할한 영상정보를 의미한다. 사용자 단말(100)은 수신된 분할 영상정보(250)를 디코딩하여 증강현실 영상정보를 복원하고, 복원된 증강현실 영상정보와 촬영 영상을 알파 블렌딩(alpha-blending)한 후, 매핑시켜 증강현실 영상을 생성한다. 사용자 단말(100)은 생성된 증강현실 영상에 포함된 증강현실 콘텐츠의 위치를 보정하고, 보정된 증강현실 영상을 출력한다. 여기서 증강현실 콘텐츠는 증강현실 영상에 포함된 증강현실 객체일 수 있다. 사용자 단말(100)은 HMD(Head mounted Display), AR 글라스, 스마트폰, 랩톱, 데스크톱, 태블릿PC, 핸드헬드PC 등을 포함한다.
콘텐츠 서버(200)는 사용자 단말(100)과의 통신을 하고, 사용자 단말(100)로부터 수신된 센서정보(150)를 이용하여 위치 측정 및 동시에 지도를 작성한다. 콘텐츠 서버(200)는 영상 내 특징점을 검출하고, 검출된 특징점을 이용하여 점간 거리, 카메라 간 거리 및 각도 중 적어도 하나의 정보를 산출한다. 여기서 특징점은 모서리(edge) 등일 수 있다. 콘텐츠 서버(200)는 산출된 정보를 기초로 삼각법을 통해 거리를 산출하는 삼각측량을 수행하여 사물까지의 거리를 반복적으로 측정한다. 콘텐츠 서버(200)는 측정된 정보를 이용하여 현재 사용자의 위치와 카메라 포즈에 대한 좌표를 산출하여 지도를 작성할 수 있다. 콘텐츠 서버(200)는 작성된 지도의 좌표를 기반으로 증강현실의 객체를 3차원 공간에 재구성한다. 콘텐츠 서버(200)는 재구성된 3차원 공간에 위치한 객체가 포함된 3차원 영상을 2차원 영상으로 렌더링하여 증강현실 영상을 생성한다. 이때 콘텐츠 서버(200)는 사용자 시점에서 재생되는 영상을 2차원 영상으로 렌더링할 수 있다. 콘텐츠 서버(200)는 복수의 GPU(Graphics Processing Unit)를 이용하여 고속 병렬 처리로 렌더링을 수행함으로써, 빠르면서도 정확하게 렌더링을 할 수 있다. 콘텐츠 서버(200)는 렌더링된 증강현실 영상을 분할하여 분할 영상정보(250)를 생성하고, 생성된 분할 영상정보(250)를 사용자 단말(100)로 전송한다. 콘텐츠 서버(200)는 미디어 분할 표준인 MPEG-DASH(Dynamic Adaptive Streaming over HTTP)를 이용하여 2차원 영상을 분할할 수 있다. 또한 콘텐츠 서버(200)는 분할 영상정보(250)를 분할된 순서 또는 기 설정된 순서에 따라 사용자 단말(100)로 전송시킬 수 있다. 콘텐츠 서버(100)는 에지 서버의 역할을 수행하며, 서버 컴퓨터, 클러스터 컴퓨터 등 컴퓨터 시스템으로 구현될 수 있다.
한편 증강현실 영상 제공 시스템(300)은 사용자 단말(100) 및 콘텐츠 서버(200) 사이에 통신망(350)을 구축하여 서로 간의 통신이 이루어지도록 한다. 통신망(350)은 백본망과 가입자망으로 구성될 수 있다. 백본망은 X.25 망, Frame Relay 망, ATM망, MPLS(Multi Protocol Label Switching) 망 및 GMPLS(Generalized Multi Protocol Label Switching) 망 중 하나 또는 복수의 통합된 망으로 구성될 수 있다. 가입자망은 FTTH(Fiber To The Home), ADSL(Asymmetric Digital Subscriber Line), 케이블망, 지그비(zigbee), 블루투스(bluetooth), Wireless LAN(IEEE 802.11b, IEEE 802.11a, IEEE 802.11g, IEEE 802.11n), Wireless Hart(ISO/IEC62591-1), ISA100.11a(ISO/IEC 62734), COAP(Constrained Application Protocol), MQTT(Multi-Client Publish/Subscribe Messaging), WIBro(Wireless Broadband), Wimax, 3G, HSDPA(High Speed Downlink Packet Access), 4G 및 5G일 수 있다. 일부 실시예로, 통신망(350)은 인터넷망일 수 있고, 이동 통신망일 수 있다. 또한 통신망(350)은 기타 널리 공지되었거나 향후 개발될 모든 무선통신 또는 유선통신 방식을 포함할 수 있다.
도 3은 본 발명의 실시예에 따른 사용자 단말을 설명하기 위한 블록도이고, 도 4는 본 발명의 실시예에 따른 알파 블렌딩 및 맵핑하는 과정을 설명하기 위한 도면이며, 도 5는 본 발명의 실시예에 따른 증강현실 콘텐츠의 위치를 보정하는 과정을 설명하기 위한 도면이다.
도 1 내지 도 5를 참조하면, 사용자 단말(100)은 통신부(10), 센서부(20) 및 제어부(30)를 포함하고, 출력부(40) 및 저장부(50)를 더 포함할 수 있다.
통신부(10)는 콘텐츠 서버(200)와의 통신을 수행한다. 통신부(10)는 콘텐츠 서버(200)로부터 분할 영상정보(250)를 수신하고, 색상정보 및 메타데이터를 더 수신할 수 있다. 또한 통신부(10)는 센서 정보(150)를 콘텐츠 서버(200)로 전송한다.
센서부(20)는 촬영 영상, 사용자의 위치정보 및 자세 정보를 포함하는 센서 정보를 수집한다. 이를 위해 센서부(20)는 적어도 하나의 카메라 및 IMU(Inertial Measurement Unit) 정보를 측정하는 적어도 하나의 센서를 포함한다. 여기서 IMU 정보는 가속도계, 각속도계, 지자기계 및 고도계를 이용하여 측정된 센싱 정보이다.
제어부(30)는 사용자 단말(100)의 전반적인 제어를 수행한다. 제어부(30)는 센서부(20)로부터 수집된 센서 정보를 콘텐츠 서버(200)로 전송시키고, 콘텐츠 서버(200)로부터 센서 정보를 기반으로 생성된 분할 영상정보(250)를 수신하면 수신된 분할 영상정보(250)를 디코딩하여 증강현실 영상정보(410)로 복원한다.
제어부(30)는 복원된 증강현실 영상정보(410)와 센서부(20)로부터 수집된 촬영 영상(420)을 알파 블렌딩(alpha-blending) 필터(430)를 통해 알파 블렌딩을 수행한다. 즉 제어부(30)는 증강현실 영상정보(410) 및 색상정보를 이용하여 알파 블렌딩할 색 값(color info)을 설정하고, 설정된 색 값을 제거한다. 이때 제어부(30)는 색 값을 증강현실 영상정보(410)의 속성에 따라 적어도 하나로 설정할 수 있다. 제어부(30)는 알파 블렌딩된 증강현실 영상정보 및 촬영 영상(420)를 매핑하여 하나의 증강현실 영상(440)을 생성한다. 여기서 제어부(30)는 알파 블렌딩 및 매핑하는 과정을 GPU(Graphics Processing Unit)를 이용하여 수행할 수 있다. 한편 증강현실 영상(440)은 촬영 영상(420)을 배경으로 증강현실 콘텐츠(450)가 추정된 위치에 맞도록 매핑된 영상이나, 증강현실 콘텐츠(450)의 위치가 부정확할 수 있다.
이에 제어부(30)는 추가적으로 증강현실 콘텐츠(450)의 위치를 보정하여 최종적인 증강현실 영상을 생성한다. 제어부(30)는 콘텐츠 서버(200)로부터 수신된 메타데이터에 포함된 증강현실 콘텐츠의 위치정보 및 자세정보와 센서부(20)로부터 수집된 현재 센서 정보를 비교 분석하여 시간차에 따른 증강현실 콘텐츠(450)의 위치 좌표를 보정한다. 이때 메타데이터에 포함된 증강현실 콘텐츠의 위치정보 및 자세정보는 콘텐츠 서버(200)의 예측 알고리즘을 통해 예측된 데이터이고, 현재 센서 정보는 사용자의 시야 정보(Field of View, FOV)를 포함하는 정보일 수 있다. 이때 제어부(30)는 센서부(20)로부터 수집된 현재 센서 정보에 포함된 현재 위치 좌표에서의 회전값을 더 반영하여 증강현실 콘텐츠의 위치 좌표를 보정함으로써, 사용자의 시점에 따라 증강현실 콘텐츠의 위치를 보정할 수 있다.
출력부(40)는 제어부(30)로부터 생성된 최종적인 증강현실 영상을 출력한다. 또한 출력부(40)는 시각적인 효과뿐만 아니라 청각적인 효과도 제공할 수 있다. 즉 출력부(40)는 증강현실 영상을 출력하는 동시에 해당 증강현실 영상에 대한 설명을 소리로 출력할 수 있다.
저장부(50)는 사용자 단말(100)이 구동하기 위한 알고리즘 또는 프로그램이 저장된다. 저장부(50)는 통신부(10)로부터 수신된 분할 영상정보가 저장되고, 센서부(20)로부터 수집된 센서 정보가 저장된다. 또한 저장부(50)는 제어부(30)로부터 생성된 증강현실 영상이 저장된다. 저장부(50)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크 및 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
도 6은 본 발명의 실시예에 따른 증강현실 영상을 제공하는 방법을 설명하기 위한 순서도이다.
도 1 및 도 6을 참조하면, 증강현실 영상을 제공하는 방법은 분할 렌더링 기반의 증강현실 영상정보와 촬영 영상을 알파 블렌딩하여 맵핑한 후, 증강현실 콘텐츠의 위치 좌표를 보정하여 사용자에게 실감나는 증강현실 영상을 제공할 수 있다.
S110 단계에서, 사용자 단말(100)은 센서 정보를 측정한다. 여기서 센서 정보는 촬영 영상, 사용자의 위치정보 및 자세 정보를 포함하는 정보를 의미한다.
S120 단계에서, 사용자 단말(100)은 센서 정보를 콘텐츠 서버(200)로 전송한다. 사용자 단말(100)은 콘텐츠 서버(200)로 센서 정보를 전송하여 콘텐츠 서버(200)가 증강현실 영상정보를 생성할 수 있도록 한다.
S130 단계에서, 사용자 단말(100)은 콘텐츠 서버(200)로부터 분할 영상정보를 수신한다. 여기서 분할된 영상정보는 콘텐츠 서버(200)로부터 생성된 증강현실 영상정보가 분할된 정보를 의미한다. 사용자 단말(100)은 분할 영상정보를 디코딩하여 증강현실 영상정보로 복원한다.
S140 단계에서, 사용자 단말(100)은 복원된 증강현실 영상정보와 S110단계에서 촬영된 촬영 영상을 알파 블렌딩한 후, 맵핑한다. 사용자 단말(100)은 증강현실 영상정보 및 색상정보를 이용하여 알파 블렌딩할 색 값을 설정하고, 설정된 색 값을 제거한다. 이때 사용자 단말(100)은 색 값을 증강현실 영상정보의 속성에 따라 적어도 하나로 설정할 수 있다. 사용자 단말(100)은 알파 블렌딩된 증강현실 영상정보 및 촬영 영상를 매핑하여 하나의 증강현실 영상을 생성한다.
S150 단계에서, 사용자 단말(100)은 생성된 증강현실 영상에 포함된 증강현실 콘텐츠의 위치를 보정한다. 사용자 단말(100)은 메타데이터에 포함된 증강현실 콘텐츠의 위치정보 및 자세정보와 현재 센서 정보를 비교 분석하여 시간차에 따른 증강현실 콘텐츠의 위치 좌표를 보정한다. 이때 메타데이터에 포함된 증강현실 콘텐츠의 위치정보 및 자세정보는 콘텐츠 서버(200)의 예측 알고리즘을 통해 예측된 데이터일 수 있다. 또한 사용자 단말(100)은 현재 센서 정보에 포함된 현재 위치 좌표에서의 회전값을 더 반영하여 증강현실 콘텐츠의 위치 좌표를 보정함으로써, 최종적인 증강현실 영상을 생성한다.
S160 단계에서, 사용자 단말(100)은 생성된 최종적인 증강현실 영상을 출력한다. 이를 통해 사용자 단말(100)은 사용자에게 실감나는 증강현실 영상을 제공할 수 있다.
본 발명의 실시 예에 따른 방법은 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체의 형태로 제공될 수도 있다. 이러한, 컴퓨터가 읽을 수 있는 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며, 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media) 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것은 아니며, 기술적 사상의 범주를 이탈함없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
10: 통신부
20: 센서부
30: 제어부
40: 출력부
50: 저장부
100: 사용자 단말
200: 콘텐츠 서버
300: 증강현실 영상 제공 시스템
350: 통신망
410: 증강현실 영상정보
420: 촬영 영상
430: 알파 블렌딩 필터
440: 증강현실 영상
450: 증강현실 콘텐츠

Claims (8)

  1. 콘텐츠 서버와 통신을 하는 통신부;
    촬영 영상, 사용자의 위치정보 및 자세 정보를 포함하는 센서 정보를 수집하는 센서부; 및
    상기 콘텐츠 서버로부터 분할 영상정보를 수신하면 상기 수신된 분할 영상정보를 디코딩하여 증강현실 영상정보로 복원하고, 상기 복원된 증강현실 영상정보와 상기 촬영 영상을 알파 블렌딩(alpha-blending)한 후, 맵핑시켜 증강현실 영상을 생성하며, 상기 생성된 증강현실 영상에 포함된 증강현실 콘텐츠의 위치를 보정하는 제어부;
    를 포함하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 콘텐츠 서버로부터 색상정보를 더 수신하고, 상기 증강현실 영상정보 및 상기 색상정보를 이용하여 알파 블렌딩할 색 값(color value)을 설정하며, 상기 설정된 색 값을 제거하는 것을 특징으로 하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치.
  3. 제 2항에 있어서,
    상기 제어부는,
    상기 증강현실 영상정보의 속성에 따라 적어도 하나의 색 값으로 설정하는 것을 특징으로 하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치.
  4. 제 1항에 있어서,
    상기 제어부는,
    상기 알파 블렌딩 및 상기 맵핑하는 과정을 GPU(Graphics Processing Unit)를 이용하여 수행하는 것을 특징으로 하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치.
  5. 제 1항에 있어서,
    상기 제어부는,
    상기 콘텐츠 서버로부터 메타데이터를 더 수신하고, 상기 센서부로부터 수집된 현재 센서 정보와 상기 메타데이터에 포함된 증강현실 콘텐츠의 위치정보 및 자세정보를 비교 분석하여 시간차에 따른 증강현실 콘텐츠의 위치 좌표를 보정하는 것을 특징으로 하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치.
  6. 제 5항에 있어서,
    상기 제어부는,
    상기 현재 센서 정보에 포함된 현재 위치 좌표에서의 회전값을 더 반영하여 상기 증강현실 콘텐츠의 위치 좌표를 보정하는 것을 특징으로 하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치.
  7. 제 5항에 있어서,
    상기 현재 수집된 센서정보는,
    사용자의 시야 정보(Field of View, FOV)를 포함하는 것을 특징으로 하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치.
  8. 사용자 단말이 촬영 영상, 사용자의 위치정보 및 자세 정보를 포함하는 센서 정보를 수집하는 단계;
    상기 사용자 단말이 상기 콘텐츠 서버로부터 분할 영상정보를 수신하면 상기 수신된 분할 영상정보를 디코딩하여 증강현실 영상정보로 복원하는 단계;
    상기 사용자 단말이 상기 복원된 증강현실 영상정보와 상기 촬영 영상을 알파 블렌딩한 후, 맵핑시켜 증강현실 영상을 생성하는 단계; 및
    상기 사용자 단말이 상기 생성된 증강현실 영상에 포함된 증강현실 콘텐츠의 위치를 보정하는 단계;
    를 포함하는 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 방법.
KR1020200166922A 2020-12-02 2020-12-02 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법 KR102442715B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200166922A KR102442715B1 (ko) 2020-12-02 2020-12-02 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법
PCT/KR2020/018406 WO2022119038A1 (ko) 2020-12-02 2020-12-16 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200166922A KR102442715B1 (ko) 2020-12-02 2020-12-02 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220078005A true KR20220078005A (ko) 2022-06-10
KR102442715B1 KR102442715B1 (ko) 2022-09-14

Family

ID=81853420

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200166922A KR102442715B1 (ko) 2020-12-02 2020-12-02 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102442715B1 (ko)
WO (1) WO2022119038A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240096010A1 (en) * 2022-09-21 2024-03-21 Apple Inc. Image blending modes systems and methods

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101518696B1 (ko) 2014-07-09 2015-05-08 정지연 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
KR101663470B1 (ko) * 2015-03-02 2016-10-25 한국과학기술원 동적 db 기반 콘텐츠 서비스 제공 방법 및 시스템
KR20200110788A (ko) * 2018-01-24 2020-09-25 애플 인크. 3d 모델들에 대한 시스템 전체 거동을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4909176B2 (ja) * 2007-05-23 2012-04-04 キヤノン株式会社 複合現実感提示装置及びその制御方法、コンピュータプログラム
US9135735B2 (en) * 2012-06-26 2015-09-15 Qualcomm Incorporated Transitioning 3D space information to screen aligned information for video see through augmented reality
KR101822471B1 (ko) * 2016-05-26 2018-01-29 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
KR101945082B1 (ko) * 2016-07-05 2019-02-01 안규태 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
EP3566212A4 (en) * 2017-01-06 2020-08-19 Intuitive Surgical Operations Inc. SYSTEM AND PROCEDURE FOR REGISTRATION AND COORDINATED MANIPULATION OF IMAGE COMPONENTS WITH EXTENDED REALITY

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101518696B1 (ko) 2014-07-09 2015-05-08 정지연 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
KR101663470B1 (ko) * 2015-03-02 2016-10-25 한국과학기술원 동적 db 기반 콘텐츠 서비스 제공 방법 및 시스템
KR20200110788A (ko) * 2018-01-24 2020-09-25 애플 인크. 3d 모델들에 대한 시스템 전체 거동을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240096010A1 (en) * 2022-09-21 2024-03-21 Apple Inc. Image blending modes systems and methods
WO2024064052A1 (en) * 2022-09-21 2024-03-28 Apple Inc. Image blending modes systems and methods
US12067674B2 (en) 2022-09-21 2024-08-20 Apple Inc. Image blending modes systems and methods

Also Published As

Publication number Publication date
WO2022119038A1 (ko) 2022-06-09
KR102442715B1 (ko) 2022-09-14

Similar Documents

Publication Publication Date Title
KR102560187B1 (ko) 3차원(＂3d＂) 장면의 2차원(＂2d＂) 캡처 이미지를 기반으로 하는 가상 현실 콘텐츠를 렌더링하기 위한 방법 및 시스템
US10469820B2 (en) Streaming volumetric video for six degrees of freedom virtual reality
US11025882B2 (en) Live action volumetric video compression/decompression and playback
CN111627116B (zh) 图像渲染控制方法、装置及服务器
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
US11119719B2 (en) Screen sharing for display in VR
EP2860606A1 (en) Information processing device, information processing method, and program
CN114897754B (zh) 使用来自先前视角的渲染内容和非渲染内容生成新帧
KR20160108158A (ko) 3차원 배경 콘텐트를 합성하는 방법 및 디바이스
KR102442715B1 (ko) 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
US10291951B2 (en) Video channel display method and apparatus
JP7320591B2 (ja) ビデオ通話のための顔に基づくフレームレートのアップサンプリング
US20230042078A1 (en) Encoding and decoding views on volumetric image data
CN110662099B (zh) 用于显示弹幕的方法和装置
KR102361178B1 (ko) 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법
EP3716217A1 (en) Techniques for detection of real-time occlusion
CN112825198A (zh) 移动标签显示方法、装置、终端设备及可读存储介质
US11615767B2 (en) Information processing apparatus, information processing method, and recording medium
CN109348132B (zh) 全景拍摄方法及装置
KR101968749B1 (ko) 사용자 단말로 타겟 리소스 파일을 전송하는 방법 및 그 방법을 수행하는 서버
CN117974814A (zh) 用于图像处理的方法、装置及存储介质
CN116664806A (zh) 一种用于呈现增强现实数据的方法、设备与介质
CN117426098A (zh) 用于传输和渲染包括非漫射对象的多个视图的方法、服务器和设备
CN118843890A (zh) 使用神经网络的可变分辨率可变帧速率视频代码化

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant