KR102363144B1 - 사용자의 네트워크 상태를 기반으로 가상 3d 객체를 모델링하는 방법 및 장치 - Google Patents

사용자의 네트워크 상태를 기반으로 가상 3d 객체를 모델링하는 방법 및 장치 Download PDF

Info

Publication number
KR102363144B1
KR102363144B1 KR1020200084967A KR20200084967A KR102363144B1 KR 102363144 B1 KR102363144 B1 KR 102363144B1 KR 1020200084967 A KR1020200084967 A KR 1020200084967A KR 20200084967 A KR20200084967 A KR 20200084967A KR 102363144 B1 KR102363144 B1 KR 102363144B1
Authority
KR
South Korea
Prior art keywords
virtual
information
user terminal
separated
quality
Prior art date
Application number
KR1020200084967A
Other languages
English (en)
Other versions
KR20220006943A (ko
Inventor
박기석
김령환
Original Assignee
동국대학교 경주캠퍼스 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 경주캠퍼스 산학협력단 filed Critical 동국대학교 경주캠퍼스 산학협력단
Priority to KR1020200084967A priority Critical patent/KR102363144B1/ko
Publication of KR20220006943A publication Critical patent/KR20220006943A/ko
Application granted granted Critical
Publication of KR102363144B1 publication Critical patent/KR102363144B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 엣지 클라우드 서버에 의해 사용자의 네트워크 상태를 기반으로 가상 3D 객체를 모델링하는 방법으로서, 제1 사용자 단말로부터 채널 상태 정보를 수신하는 단계, 상기 채널 상태 정보를 기반으로 상기 제1 사용자 단말의 데이터 레이트를 측정하는 단계, 상기 제1 사용자 단말로부터 특정 가상 3D 객체에 대한 요청 정보를 수신하는 단계 및 상기 데이터 레이트를 기반으로 상기 특정 가상 3D 객체에 대한 정보를 상기 제1 사용자 단말에게 송신하는 단계를 포함하고, 상기 특정 가상 3D 객체에 대한 정보는 상기 특정 가상 3D 객체를 N개로 분리한 N개의 분리 파트(part)들에 대한 정보를 포함하고, 상기 N은 2이상의 자연수이고, 상기 N개의 분리 파트들 중 제1 분리 파트의 해상도는 상기 제1 분리 파트와 다른 제2 분리 파트의 해상도와 다르고, 상기 N개의 분리 파트들 각각의 해상도는 상기 데이터 레이트를 기반으로 결정되는 것을 특징으로 한다.

Description

사용자의 네트워크 상태를 기반으로 가상 3D 객체를 모델링하는 방법 및 장치{METHOD AND APPARATUS FOR MODELING A VIRTUAL 3D OBJECT BASED ON NETWORK STATUS OF A USER}
본 발명은 사용자의 네트워크 상태를 기반으로 가상 3D 객체를 모델링하는 방법 및 장치에 관한 것으로, 더욱 상세하게는 가상 3D 객체를 복수의 분리 파트로 분리하여 모델링하고, 네트워크 상태에 따라 서로 다른 해상도의 분리 파트들을 제공하여 효율적으로 가상 3D 객체에 대한 정보를 전달하는 방법 및 장치에 관한 것이다.
최근 AR(Augmented Reality) 및 VR(Virtual Reality)은 학계 및 산업계에서 주목받고 있으며, 특히 AR은 사용자의 시야에 가상 오버레이를 렌더링함으로써 사용자가 경험하는 현실을 향상시켜주는 바 크게 주목받고 있다.
다만, AR은 사용자의 시야에 빠르게 객체를 렌더링하여야 사용자의 몰입이 유지될 수 있는 바, 사용자의 몰입을 저하시키지 않기 위한 저지연이 AR의 중요한 요소로 꼽히고 있다. 또한, 렌더링되는 객체의 시각적 품질도 낮은 경우 사용자의 몰입을 방해할 수 있는 바, 저지연이며, 고품질 또는 적절한 품질을 제공할 수 있는 방법에 대하여 많은 연구가 진행되고 있는 실정이다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 사용자의 네트워크 상태를 기반으로 가상 3D 객체를 모델링하는 방법을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 사용자의 네트워크 상태를 기반으로 가상 3D 객체를 모델링하는 엣지 클라우드 서버를 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은 사용자의 네트워크 상태를 기반으로 가상 3D 객체를 모델링하는 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 엣지 클라우드 서버에 의해 사용자의 네트워크 상태를 기반으로 가상 3D 객체를 모델링하는 방법은, 제1 사용자 단말로부터 채널 상태 정보를 수신하는 단계, 상기 채널 상태 정보를 기반으로 상기 제1 사용자 단말의 데이터 레이트를 측정하는 단계, 상기 제1 사용자 단말로부터 특정 가상 3D 객체에 대한 요청 정보를 수신하는 단계 및 상기 데이터 레이트를 기반으로 상기 특정 가상 3D 객체에 대한 정보를 상기 제1 사용자 단말에게 송신하는 단계를 포함할 수 있고, 상기 특정 가상 3D 객체에 대한 정보는 상기 특정 가상 3D 객체를 N개로 분리한 N개의 분리 파트(part)들에 대한 정보를 포함하고, 상기 N은 2이상의 자연수이고, 상기 N개의 분리 파트들 중 제1 분리 파트의 해상도는 상기 제1 분리 파트와 다른 제2 분리 파트의 해상도와 다르고, 상기 N개의 분리 파트들 각각의 해상도는 상기 데이터 레이트를 기반으로 결정될 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 사용자의 네트워크 상태를 기반으로 가상 3D 객체를 모델링하는 엣지 클라우드 서버는, 프로세서(processor) 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고, 상기 적어도 하나의 명령은, 제1 사용자 단말로부터 채널 상태 정보를 수신하도록 실행될 수 있고, 상기 채널 상태 정보를 기반으로 상기 제1 사용자 단말의 데이터 레이트를 측정하도록 실행될 수 있고, 상기 제1 사용자 단말로부터 특정 가상 3D 객체에 대한 요청 정보를 수신하도록 실행될 수 있고, 상기 데이터 레이트를 기반으로 상기 특정 가상 3D 객체에 대한 정보를 상기 제1 사용자 단말에게 송신하도록 실행될 수 있고, 상기 특정 가상 3D 객체에 대한 정보는 상기 특정 가상 3D 객체를 N개로 분리한 N개의 분리 파트(part)들에 대한 정보를 포함하고, 상기 N은 2이상의 자연수이고, 상기 N개의 분리 파트들 중 제1 분리 파트의 해상도는 상기 제1 분리 파트와 다른 제2 분리 파트의 해상도와 다르고, 상기 N개의 분리 파트들 각각의 해상도는 상기 데이터 레이트를 기반으로 결정되는 것을 특징으로 한다.
본 발명에 따르면, 모바일 엣지 클라우드의 연산 및 저장 자원을 효과적으로 활용하여 사용자에게 저지연 AR 서비스를 제공할 수 있고, 제공되는 3D 객체의 시각적 품질도 개선할 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 3D 객체 모델링 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 가상 3D 객체에 대한 설명 정보의 포멧을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 가상 3D 객체 모델링 방법의 제1 플로우차트이다.
도 4는 본 발명의 일 실시예에 따른 가상 3D 객체 모델링 방법의 제2 플로우차트이다.
도 5는 본 발명의 일 실시예에 따른 가상 3D 객체 모델링 장치의 블록 구성도이다.
도 6은 본 발명의 일 실시예에 따른 가상 3D 객체에 대한 위치 정보 및 품질 정보를 설명하기 위한 도면이다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 측정 모델의 정확도 검증을 위한 그래프이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 가상 3D 객체 모델링 방법을 설명하기 위한 개념도이다.
본 발명의 일 실시예는 AR(AR: augmented reality) 클라우드 즉, AR 클라우드 서버와 사용자 단말 사이에 엣지(edge) 클라우드 서버에서 가상 3D 객체를 모델링한 후, 사용자 단말에 가상 3D 객체에 대한 정보를 제공함으로써 사용자에게 저지연 AR 서비스를 제공하며, 개선된 시각적 품질을 가진 3D 객체도 제공할 수 있다. 이는 엣지 클라우드 서버의 컴퓨팅 및 스토리지 리소스(resource)를 효과적으로 활용함으로써 제공될 수 있다. 여기서, 엣지 클라우드 서버는 MEC(mobile edge cloud)라고 나타낼 수도 있다.
도 1을 참조하면, 본 발명의 일 실시예는 AR 클라우드, MEC 및 이중 네트워크 인터페이스(예를 들어, 셀롤러 네트워크 및 D2D 네트워크)가 탑재된 모바일 단말 즉, 사용자 단말 간의 정보의 송수신을 통해 수행될 수 있다. 여기서, AR 클라우드 및 MEC 간에는 유선 네트워크를 통한 인터넷을 통해 정보의 송수신이 수행될 수 있고, MEC 및 사용자 단말 간에는 MEC에 연결된 RU(Radio Unit)을 이용한 셀롤러 네트워크를 통해 정보의 송수신이 수행될 수 있고, 사용자 단말들 간에는 D2D 네트워크를 통해 정보의 송수신이 수행될 수 있다. 여기서, D2D 네트워크는 근거리에 위치하는 모바일 기기들 간에 직접 통신할 수 있는 기술을 나타낼 수 있으며, 와이파이(wi-fi) 또는 블루투스(bluetooth) 등이 이용될 수 있다. 이하에서는 각 주체별로 보다 상세히 설명하도록 하겠다.
AR 클라우드는 복수의 가상 3D 객체에 대한 정보를 저장하고 있을 수 있으며, 이더넷 인터페이스를 탑재할 수 있다. AR 클라우드는 가상 객체 저장소에 복수의 가상 3D 객체 정보를 포함할 수 있다. 여기서, 가상 3D 객체 정보는 가상 3D 객체에 대한 고품질 또는 고화질 이미지 정보를 포함할 수 있다. 또한, AR 클라우드는 복수의 가상 3D 객체에 대한 설명 정보를 포함할 수 있다. 여기서, 가상 3D 객체에 대한 설명 정보는 확장된 객체 설명 파일 또는 정보라고 나타낼 수도 있다.
도 2는 본 발명의 일 실시예에 따른 가상 3D 객체에 대한 설명 정보의 포멧을 나타낸 도면이다.
즉 예를 들어, 가상 3D 객체에 대한 설명 정보는 도 2와 같은 포멧(format)을 가질 수 있으며, 가상 3D 객체에 대한 설명 정보는 가장 3D 객체의 추가 속성에 대한 정보를 포함할 수 있다. 여기서, 추가 속성에 대한 정보는 품질 수준 또는 해상도 수준에 따른 각 파트의 크기 정보, 왜곡(distortion) 정보 및 가상 3D 객체에서 각 파트의 상대적 우선권 정보를 포함할 수 있다.
다시 도 1을 참조하면, MEC은 가상 객체 모델링 엔진(virtual object modelling engine) 및 분리 파트 제어 유닛(separate part control unit)을 포함할 수 있으며, 이더넷 인터페이스 및 무선 네트워크 모니터링부를 더 포함할 수 있다. 또한, MEC은 분리 파트들을 저장한 저장소 및 장치 정보를 저장한 저장소를 더 포함할 수 있다.
여기서, 가상 객체 모델링 엔진은 매시 슬라이서(mesh slicer), 메시 심플리파이어(mesh simplifier) 및 가상 객체 설명 파일 파서(virtual object description file parser)를 포함할 수 있다. 가상 객체 설명 파일 파서는 가상 3D 객체에 대한 설명 정보 즉, 확장된 객체 설명 파일을 파싱할 수 있으며, 메시 슬라이서는 파싱된 가상 3D 객체에 대한 설정 정보를 기반으로 가상 3D 객체를 복수의 분리 파트들로 분리시킬 수 있다. 즉, 가상 3D 객체 정보를 가상 3D 객체에 대한 설명 정보를 기반으로 분리할 수 있으며, 가상 3D 객체 정보 및 가상 3D 객체에 대한 설명 정보는 AR 클라우드로부터 수신될 수 있다. 또한, 메시 심플리파이어는 분리된 분리 파트들 각각에 대하여 다양한 품질 또는 다양한 해상도를 가지는 분리 파트들의 후보들을 변환 또는 생성할 수 있다. 이는 사용자의 네트워크 상태 또는 조건에 따라 후보들 중 하나를 선택하여 제공하기 위함일 수 있다. 다시 말해, 가장 객체 모델링 엔진은 가상 3D 객체를 복수의 분리 파트들로 분리할 수 있고, 각 분리 파트에 대하여 서로 다른 품질을 가지는 복수의 후보들을 생성할 수 있다. 일 실시예에 따른 메시 심플리파이어는 데시메이트 모디파이어(decimate modifier)를 사용한 볼텍스(vertex) 클러스터링 기반의 메시 심플리피케이션 기술을 이용하여 효과적으로 3D 메시를 단순화할 수 있고, 생생하게 기하학적 특징을 보존할 수 있다.
MEC이 사용자 단말로부터 가상 3D 객체에 대한 요청 정보를 수신한 경우, 분리 파트 제어 유닛은 사용자 단말의 네트워크 상태를 기반으로 각 분리 파트의 품질을 동적으로 결정할 수 있다. 또는 분리 파트 제어 유닛은 엔드 투 엔드(end-to-end) 대기 시간 및 사용자가 인식되는 QoE(Quality of Experience)를 고려하여 각 분리 파트의 품질을 동적으로 결정할 수 있다. 또는 MEC은 사용자 단말이 근접한 다른 단말로부터 요청한 가상 3D 객체에 대한 정보를 다운로드할 경우, 해당 단말에 대한 정보를 사용자 단말에게 송신할 수도 있다.
사용자 단말은 NR(또는 5G) 인터페이스 및 와이파이 인터페이스를 탑재하고 있을 수 있으며, MEC 및 근거리의 다른 사용자 단말과 NR 인터페이스 및 와이파이 인터페이스를 이용하여 동시에 데이터를 송수신할 수 있다. 이에 따라, 사용자 단말은 가상 3D 객체에 대한 정보를 MEC 및/또는 다른 사용자 단말로부터 수신할 수 있고, 다른 사용자 단말로부터 가상 3D 객체에 대한 정보 중 전부 또는 일부를 수신하는 경우, MEC으로부터 상기 다른 사용자 단말에 대한 정보를 수신할 수도 있다. 예를 들어, 사용자 단말은 MEC 커멘드 파서(command parser)를 통해 MEC으로부터 수신된 제어 메시지를 파싱할 수 있고, 근접 인식(proximity-aware) D2D 모듈을 통해 일정 거리 이내에 위치한 다른 사용자 단말을 검색할 수 있으며, D2D 통신을 통해 가상 3D 객체를 검색한 다른 사용자 단말로 요청할 수 있다.
사용자 단말은 상술한 NR 인터페이스, 와이파이 인터페이스 및 웹 브라우저를 포함할 수 있으며, 웹 브라우저는 상술한 MEC 커멘드 파서, 근접 인식 D2D 모듈, WebGL 및 WebSocket을 포함할 수 있다. 여기서, WebGL은 웹 기반의 그래픽 라이브러리를 나타낼 수 있고, WebSocket은 사용자 단말에서 이용되는 통신 프로토콜을 나타낼 수 있다.
이하에서는 각 장치 또는 단말에서의 동작을 수행되는 순서에 따라 설명하도록 하겠다. 다만, 각 동작이 수행되는 순서가 반드시 후술하는 순서에 한정되는 것은 아니므로, 각 동작이 수행되는 순서는 구현에 따라 달라질 수 있다. 또한, 후술하는 도 3 및 도 4는 일련의 동작을 설명하기 위한 플로우 차트들일 수 있다.
도 3은 본 발명의 일 실시예에 따른 가상 3D 객체 모델링 방법의 제1 플로우차트이다.
도 3을 참조하면, MEC은 AR 클라우드로부터 가상 객체 정보 및 가상 객체에 대한 설명 정보를 수신할 수 있다(S310). 여기서, 가상 객체는 가상 3D 객체를 나타낼 수 있다. 또한, 가상 객체 정보는 가상 객체의 고품질 이미지에 대한 정보일 수 있으며, 가상 객체에 대한 설명 정보는 상술한 확장된 객체 설명 파일을 포함할 수 있다.
MEC은 위치 또는 소재지(locality)를 기반으로 AR 클라우드로부터 수신한 가상 객체 정보 및 가상 객체에 대한 설명 정보를 수집할 수 있으며(S320), 설명 정보를 기반으로 가상 객체를 모델링할 수 있다(S330). 즉, 가상 객체에 대한 설명 정보를 기반으로 가상 객체 정보를 복수의 분리 파트들로 분리할 수 있고, 각 분리 파트를 서로 다른 품질을 가진 복수의 후보들(분리 파트의 후보들)을 생성할 수 있다.
상술한 과정들을 통해 MEC은 다양한 가상 객체에 대한 정보를 포함하고 있을 수 있으며, 가상 객체에 대한 정보는 각각 가상 객체 정보 및 가상 객체에 대한 설명 정보를 포함할 수 있다.
또한, 제1 단말(예를 들어, 사용자 단말)은 MEC에게 주기적으로 CSI를 기반으로 채널 상태를 보고할 수 있다(S340). 즉, 제1 단말은 CSI(Channel State Information)를 MEC에게 주기적으로 송신할 수 있고, MEC은 수신한 CSI를 기반으로 셀롤러 네트워크에 대한 데이터 레이트(data rate)를 측정할 수 있다(S350). 다시 말해, MEC은 주기적으로 제1 단말로부터 채널 상태 정보를 수신할 수 있고, 주기적으로 제1 단말의 데이터 레이트를 측정하고 있을 수 있다. 여기서, 측정은 다운 링크 데이터 속도의 측정을 나타낼 수 있다.
이후, 제1 단말을 사용하는 사용자가 가상 객체가 필요한 경우, 제1 단말을 통해 MEC으로 가상 객체를 요청할 수 있으며(S360), MEC은 MEC 또는 제1 단말에 근접한 제2 단말에 제1 단말이 요청한 가상 객체에 대한 정보가 존재하는지 판단할 수 있다(S370). 즉, MEC은 AR 클라우드로부터 수신하여 수집한 가상 객체에 대한 정보들 중에 제1 단말이 요청한 가상 객체에 대한 정보가 존재하는지 판단할 수 있고, 제1 단말로부터 일정 거리 이내에 위치한 제2 단말에 제1 단말이 요청한 가상 객체에 대한 정보가 존재하는지 판단할 수 있다.
도 4는 본 발명의 일 실시예에 따른 가상 3D 객체 모델링 방법의 제2 플로우차트이다.
도 4를 참조하면, MEC이 제1 단말이 요청한 가상 객체에 대한 정보가 MEC 또는 제2 단말에 존재하는 것으로 판단한 경우, 해당 가상 객체를 분리한 복수의 분리 파트 각각의 후보들 중 분리 파트를 선택하는 알고리즘을 실행할 수 있다(S410). 다시 말해, 가상 객체는 복수의 분리 파트들로 분리될 수 있고, 각 분리 파트에 대응되는 서로 다른 품질을 가지는 복수의 후보들이 생성되어 존재할 수 있으므로, 각 분리 파트에 대하여 복수의 후보들 중 하나를 선택하는 알고리즘이 실행될 수 있다. 여기서, 알고리즘은 도 3과 같이 설명한 제1 단말의 채널 상태 정보를 기반으로 수행될 수 있다.
MEC은 각 분리 파트 별로 특정 후보가 선택된 경우, 각 분리 파트에 대응되는 선택된 후보들을 각 분리 파트로서 제1 단말에 송신할 수 있다(S420). 여기서, 송신되는 복수의 분리 파트들은 상대적으로 고품질 또는 고해상도의 분리 파트 및 상대적으로 저품질 또는 저해상도의 분리 파트를 포함할 수 있다. 즉, 예를 들어 가상 객체가 제1 분리 파트 및 제2 분리 파트로 분리된 경우, 제1 분리 파트에 대해서는 복수의 후보들 중 고품질의 후보가 선택되어 송신될 수 있고, 제2 분리 파트에 대해서는 복수의 후보들 중 저품질의 후보가 선택되어 송신될 수 있다. 다시 말해, MEC은 네트워크 상태 및 사용자에게 인식되는 QoE를 고려하여 각 분리 파트들의 후보들 간의 최적의 조합을 결정하여 송신할 수 있다.
여기서, MEC은 각 분리 파트에 대응되는 선택한 후보가 자신에게 존재하는지 또는 제2 단말에 존재하는지를 판단할 수 있고, 자신에게 존재하는 경우, 해당 후보를 제1 단말에 송신하고, 제2 단말에 존재하는 경우, 제2 단말에 대한 정보를 제1 단말에게 송신할 수도 있다. 여기서, MEC 또는 제2 단말은 전송 소스로 나타낼 수도 있다.
또한, MEC은 분리 파트들을 제1 단말에 송신할 때에 각 분리 파트의 위치 포인터를 분리 파트들과 함께 송신할 수 있으며, 위치 포인터는 해당 분리 파트가 MEC에 존재하여 MEC에서 해당 분리 파트에 대한 정보를 송신하는지 또는 제2 단말에 해당 분리 파트가 존재하여 제2 단말에 대한 정보를 송신하는지를 나타낼 수 있으며, 위치 정보라고 불릴 수도 있다.
제1 단말은 MEC으로부터 가상 객체의 분리 파트들 및 위치 포인터를 수신할 수 있으며(S430), 모든 분리 파트들을 기반으로 가상 객체를 렌더링할 수 있다(S440). 여기서, 제1 단말은 위치 포인터를 기반으로 MEC으로부터 수신한 분리 파트들만을 이용할 수도 있고, 제2 단말로 적어도 일부 분리 파트를 요청하여 제2 단말로부터 수신한 분리 파트들을 더 이용할 수도 있다. 또한, 제2 단말로부터 모든 분리 파트들을 수신할 수도 있다.
이후, MEC은 각 분리 파트의 후보들 중 가장 높은 품질을 가지는 후보를 선택하여 이를 각 분리 파트로써 다시 제1 단말에게 송신할 수 있고(S450), 제1 단말은 이를 기반으로 기존에 렌더링한 가상 객체를 가장 높은 품질로 업데이트할 수 있다(S460). 이러한 절차는 가장 높은 품질을 전송하는 바, 앞선 절차들보다 상대적으로 많은 시간이 소요될 수 있으므로, 빠른 시간 내에 적절한 품질 또는 저품질의 가상 객체를 제공한 후에 제공한 가상 객체의 품질을 고품질로 업데이트함으로써 저지연 효과 및 높은 품질을 함께 제공할 수 있다.
다만, MEC은 제1 단말로부터 요청된 가상 객체가 MEC 또는 제2 단말에 모두 존재하지 않는 경우, AR 클라우드로 제1 단말로부터 요청된 가상 객체에 대한 정보를 요청할 수 있고, AR 클라우드로부터 수신하여 상술한 절차를 통해 제1 단말에게 가상 객체에 대한 정보를 제공할 수 있다. 또는 이 경우 AR 클라우드는 곧바로 제1 단말에게 가상 객체에 대한 정보를 송신할 수도 있다.
도 5는 본 발명의 일 실시예에 따른 가상 3D 객체 모델링 장치의 블록 구성도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 가상 3D 객체 모델링 장치(500)는 적어도 하나의 프로세서(510), 메모리(520) 및 저장 장치(530)를 포함할 수 있다. 여기서, 가상 3D 객체 모델링 장치는 엣지 클라우드 서버에 탑재될 수 있고, 엣지 클라우드 서버가 가상 3D 객체 모델링 장치의 기능을 수행할 수도 있다.
프로세서(510)는 메모리(520) 및/또는 저장 장치(530)에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(510)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(520)와 저장 장치(530)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리(520)는 읽기 전용 메모리(read only memory, ROM) 및/또는 랜덤 액세스 메모리(random access memory, RAM)로 구성될 수 있다.
메모리(520)는 프로세서(510)를 통해 실행되는 적어도 하나의 명령을 저장하고 있을 수 있다. 적어도 하나의 명령은 제1 사용자 단말로부터 채널 상태 정보를 수신하는 명령, 상기 채널 상태 정보를 기반으로 상기 제1 사용자 단말의 데이터 레이트를 측정하는 명령, 상기 제1 사용자 단말로부터 특정 가상 3D 객체에 대한 요청 정보를 수신하는 명령 및 상기 데이터 레이트를 기반으로 상기 특정 가상 3D 객체에 대한 정보를 상기 제1 사용자 단말에게 송신하는 명령을 포함할 수 있고, 상기 특정 가상 3D 객체에 대한 정보는 상기 특정 가상 3D 객체를 N개로 분리한 N개의 분리 파트(part)들에 대한 정보를 포함할 수 있고, 상기 N은 2이상의 자연수일 수 있고, 상기 N개의 분리 파트들 중 제1 분리 파트의 해상도는 상기 제1 분리 파트와 다른 제2 분리 파트의 해상도와 다를 수 있고, 상기 N개의 분리 파트들 각각의 해상도는 상기 데이터 레이트를 기반으로 결정될 수 있다.
예를 들어, 상기 제1 분리 파트는 서로 다른 해상도를 가지는 M개의 제1 분리 파트의 후보들 중 하나로 결정될 수 있고, 상기 M은 2이상의 자연수일 수 있다. 또한 상기 적어도 하나의 명령은 상기 특정 가상 3D 객체에 대한 업데이트 정보를 상기 제1 사용자 단말에게 송신하는 명령을 더 포함할 수 있고, 이 경우 상기 특정 가상 3D 객체에 대한 업데이트 정보는 가장 높은 해상도를 가지는 N개의 분리 파트들에 대한 정보를 포함할 수 있다.
또는 예를 들어, 상기 N개의 분리 파트들에 대한 정보는 상기 N개의 분리 파트들 각각에 대한 위치 정보 및 품질 정보를 포함할 수 있다. 여기서, 상기 위치 정보는 상기 엣지 클라우드 서버 또는 상기 제1 사용자 단말로부터 일정 거리 내에 위치한 제2 사용자 단말을 나타내는 정보를 포함할 수 있고, 상기 품질 정보는 서로 다른 해상도를 가지는 M개의 후보들 중 하나를 나타내는 정보를 포함할 수 있고, 상기 M은 2이상의 자연수일 수 있다.
또는 예를 들어, 상기 적어도 하나의 명령은 AR(Augmented Reeality) 클라우드 서버로부터 적어도 하나의 가상 3D 객체 정보 및 상기 적어도 하나의 가상 3D 객체에 대한 설명 정보를 포함하는 명령 및 상기 적어도 하나의 가상 3D 객체에 대한 설명 정보를 기반으로 상기 적어도 하나의 가상 3D 객체를 모델링하는 명령을 더 포함할 수도 있으며, 상기 적어도 하나의 가상 3D 객체에 대한 설명 정보를 기반으로 상기 적어도 하나의 가상 3D 객체를 모델링하는 명령은 상기 적어도 하나의 가상 3D 객체에 대한 설명 정보를 기반으로 상기 적어도 하나의 가상 3D 객체를 복수의 분리 파트들로 분리하는 명령 및 상기 적어도 하나의 가상 3D 객체에 대한 설명 정보를 기반으로 상기 복수의 분리 파트들 각각에 대하여 서로 다른 복수의 해상도를 가지는 후보들을 생성하는 명령을 포함할 수도 있다.
또는 예를 들어, 상기 적어도 하나의 명령은 상기 특정 가상 3D 객체에 대한 정보가 상기 엣지 클라우드 서버 또는 상기 제1 사용자 단말로부터 일정 거리 내에 위치한 제2 사용자 단말에 존재하지 않는 경우, 상기 특정 가상 3D 객체에 대한 요청 정보를 AR(Augmented Reeality) 클라우드 서버로 송신하는 명령을 더 포함할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 가상 3D 객체에 대한 위치 정보 및 품질 정보를 설명하기 위한 도면이다.
이하에서는 각 분리 파트에 대하여 서로 다른 품질을 가지는 복수의 후보들 중 하나를 선택하는 방안에 대하여 보다 상세히 설명하겠다.
우선, 상술한 위치 포인터는 수학식 1과 같이 나타낼 수 있다.
Figure 112020071579667-pat00001
여기서, Ni split는 i번째(ith) 가상 3D 객체의 분리 파트들의 개수를 나타낼 수 있고, xi,j는 ith 가상 3D 객체의 j 번째 분리 파트의 위치 정보를 나타낼 수 있다.
예를 들어, 제1 단말 즉, 사용자가 ith 가상 3D 객체를 요청하는 경우, ith 가상 3D 객체의 jth 분리 파트(j 번째 분리 파트)가 MEC으로부터 전송되는 경우, xi,j는 1로 설정될 수 있고, 그렇지 않은 경우, 0으로 설정될 수 있다. 또는, 제2 단말로부터 전송되는 경우, 0으로 설정될 수 있다.
또한, 분리 파트의 품질 셀렉터(selector)는 수학식 2와 같이 나타낼 수 있다. 여기서, 품질 셀렉터는 품질 정보라고 불릴 수도 있다.
Figure 112020071579667-pat00002
여기서, qi,j는 제1 단말로 전송되는 ith 가상 3D 객체의 j 번째 분리 파트의 품질 레벨을 나타낼 수 있다. 또한, ith 가상 3D 객체의 각 분리 파트의 가장 낮은 품질 레벨 및 가장 높은 품질 레벨은 각각 1 및 qi max로 정의될 수 있다.
예를 들어 도 6을 참조하면, 제1 가상 3D 객체 및 제2 가상 3D 객체는 모두 3개의 분리 파트들로 분리될 수 있으며, 제1 가상 3D 객체의 위치 포인터는 (1, 1,0)으로 제1 분리 파트 및 제2 분리 파트는 MEC으로부터 전송됨을 나타낼 수 있고, 제3 분리 파트는 제2 단말로부터 전송됨을 나타낼 수 있다. 또한, 제1 가상 3D 객체의 품질 셀렉터는 (5, 3, 3)으로, 5가 품질의 최대치 인 경우, 제1 분리 파트는 가장 높은 품질을 나타낼 수 있고, 제2 분리 파트 및 제3 분리 파트는 3 정도의 품질을 나타낼 수 있다. 제2 가상 3D 객체의 위치 포인터는 (0, 1, 0)으로 제1 분리 파트 및 제3 분리 파트는 MEC으로부터 전송됨을 나타낼 수 있고, 제2 분리 파트는 제2 단말로부터 전송됨을 나타낼 수 있다. 또한, 제2 가상 3D 객체의 품질 셀렉터는 (1, 5, 4)으로, 5가 품질의 최대치 인 경우, 제1 분리 파트는 1 정도의 품질을 나타낼 수 있고, 제2 분리 파트는 가장 높은 품질을 나타낼 수 있고, 제3 분리 파트는 4 정도의 품질을 나타낼 수 있다.
일 실시예에 따르면, 분리 파트들 사이의 가상 3D 객체의 최적의 조합을 결정하기 위해, 사용자가 인식하는 시각적 품질이 정량적으로 측정될 수 있다. 다만, PSNR(peak-signal-to-noise-ratio)는 기존의 가상 3D 객체 및 단순화된 3D 객체 사이의 메시들의 개수가 다르므로 이용될 수 없는 바, 일 실시예는 하우스도르프 거리(hausdorff distance)를 이용할 수 있다. 여기서, 하우스도르프 거리는 3D 메시 모델들의 페어(pair) 사이의 기하학적 에러를 찾기 위해 사용되는 매트릭스 기반 기하학적 거리를 나타낼 수 있다. 따라서, 가상 3D 객체 내의 분리 파트들의 품질이 선택될 때에 하우스도르프 거리 값 h(qi,j)가 각 분리 파트의 단순화 절차 이전 및 이후를 계산하여 획득될 수 있다.
예를 들어, 일 실시예는 MEC 또는 제2 단말로부터 수신된 가상 3D 객체 내의 왜곡(distortion)의 가중합(weighted sum)이 최소화되도록
Figure 112020071579667-pat00003
에 대하여 수학식 3에 따라
Figure 112020071579667-pat00004
및
Figure 112020071579667-pat00005
를 결정할 수 있다. 여기서, Nobj는 제1 단말에 의해 요청된 가상 3D 객체들의 개수일 수 있다.
Figure 112020071579667-pat00006
여기서, bwireless는 MEC 및 제1 단말 간의 예상 처리량 값(estimated throughput value)을 나타낼 수 있고, Tmax는 무선 네트워크에서 허용 가능한 최대 지연 시간(tolerable maximum latency)을 나타낼 수 있다. 또한, Dmax는 사용자 인식하는 QoE의 저하(degradation)를 피하기 위한 허용 가능한 최대 하우스도르프 거리 값을 나타낼 수 있고, smodel()는 선택된 품질에 따른 분리 파트의 크기를 나타낼 수 있고, wi,j는 i번째 가상 3D 객체 내의 각 분리 파트의 상대적인 중요도를 나타낼 수 있다. 여기서, 각 분리 파트에 대한 상대적인 중요도의 전체 합은 1이 될 수 있다.
이후, MEC가 xi,j를 0으로 설정한 경우 i번째 가상 3D 객체의 j번째 분리 파트는 제1 단말이 제1 단말로부터 인접한 위치의 제2 단말로부터 직접적으로 받을 수 있다. 또는 MEC가 xi,j를 1로 설정한 경우 상기 j번째 분리 파트는 제1 단말이 MEC 또는 AR 클라우드로부터 받을 수 있다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 측정 모델의 정확도 검증을 위한 그래프이다.
수학식 3에서 h() 및 smodel()는 각각 QoE 저하 및 품질 선택에 다른 각 분리 파트의 사이즈를 측정하기 위해 정의될 수 있다. 일 실시예에 따르면, h() 및 smodel()은 닫힌 형태(closed form)으로 표현하기 어렵기 때문에 경험적으로 커브 피팅 방법(curve fitting method)이 이용된 추정 모델
Figure 112020071579667-pat00007
및
Figure 112020071579667-pat00008
을 수학식 4와 같이 도출할 수 있다.
Figure 112020071579667-pat00009
여기서,
Figure 112020071579667-pat00010
,
Figure 112020071579667-pat00011
, c1 및 c2는 모델 파리미터들일 수 있다.
또한, 품질 값(qi,j)가 레벨 1부터 20까지의 범위를 가지는 경우, 도 7a 및 도 7b와 같이 추정 모델의 정확성을 확인할 수 있다. 즉, 결과 R2 값은 모든 케이스에서 0.95보다 클 수 있으며, 결과적으로 추정 모델은 관측된 데이터들에 맞다고 판단될 수 있다.
수학식 4에서 하우스도르프 거리 함수는 단조로운 비-증가 볼록 함수(monotonically non-increasing convex function)이기 때문에, 수학식 3의 가상 3D 객체 품질의 가중합과 같은 목적 함수도 볼록 함수일 수 있다. 이는 목적 함수가 비-감소 오목 함수이고, 제약 조건 세트(constraint set)가 볼록인 경우의 워터-필링(water-filling) 방법에 의해 획득된 최적의 솔루션인 볼록 최적화 이론(convex optimization theory)일 수 있다. 워터-필링 방법의 개념을 기반으로 일 실시예는 제어 파라미터들에 대한 전반적인 결정 절차를 설계할 수 있다. 기본 개념은 분리 파트의 품질 레벨을 향상시키기 위한 것일 수 있다.
예를 들어, 상세하게는 다음의 표 1과 같이
Figure 112020071579667-pat00012
계산 반복(iteration)을 구성할 수 있다.
Figure 112020071579667-pat00013
각 반복에 대하여, 증가율이 가장 높은 분리 파트에 대한 품질 레벨은 증가할 수 있다. 예를 들어, 표 1은 O(Nobj, Ni split)의 연산 복잡성을 요구할 수 있고,
Figure 112020071579667-pat00014
에 대한
Figure 112020071579667-pat00015
및
Figure 112020071579667-pat00016
를 결정하기 위한 위치 포인터 및 품질 결정 알고리즘은 다음과 같이 수행될 수 있다.
제1 단계는 초기화 단계일 수 있다. 해당 단계에서는 우선 반복 횟수 n을 1로 설정할 수 있고, 초기 비용 함수 값 Q0를 무한대 값으로 설정할 수 있다. 여기서, 제1 단말이 인접한 제2 단말로부터 i번째 가상 3D 객체의 j번째 분리 파트를 수신하는 경우, xi,j는 0으로 설정될 수 있고, 그렇지 않은 경우, xi,j는 1로 설정될 수 있으며, 이후 제3 단계가 진행될 수 있다.
제2 단계는 분리 파트의 위치 포인터를 업데이트하는 단계일 수 있다. 해당 단계에서는 우선, 모든 i에 대하여 j번째 분리 파트의 현재 위치 포인터
Figure 112020071579667-pat00017
가 0이 되며, j번째 분리 파트의 현재 품질 셀렉터
Figure 112020071579667-pat00018
가
Figure 112020071579667-pat00019
가 되지 않도록 분리 파트들 중
Figure 112020071579667-pat00020
의 가장 높은 값을 가지는 분리 파트를 선택할 수 있다. 이후, 해당
Figure 112020071579667-pat00021
를 1로 업데이트할 수 있다.
만약 모든 i에 대하여 분리 파트들의 현재 위치 포인터
Figure 112020071579667-pat00022
및 분리 파트들의 현재 품질 셀렉터
Figure 112020071579667-pat00023
가 수학식 3에 위반되는 경우, 상술한 제2 단계에서 선택된
Figure 112020071579667-pat00024
를 0으로 설정할 수 있고, 제3 단계가 진행될 수 있다.
제3 단계는 분리 파트의 품질 셀렉터를 업데이트하는 단계일 수 있다. 해당 단계에서는 워터-필링 방법에 기반한 분리 파트 품질 결정 알고리즘을 이용하여 모든 i에 대하여 수학식 5에 따른
Figure 112020071579667-pat00025
를 결정할 수 있다.
Figure 112020071579667-pat00026
제4 단계는 종료 기준이 충족될 때까지 반복되는 단계일 수 있다. 해당 단계에서는 모든 i에 대하여
Figure 112020071579667-pat00027
및
Figure 112020071579667-pat00028
를 가지는 비용 함수 값 Qn이 계산될 수 있다. 만약 Qn에서 Qn-1을 뺀 값이 0에 근사하는 경우,
Figure 112020071579667-pat00029
및
Figure 112020071579667-pat00030
는 각각
Figure 112020071579667-pat00031
및
Figure 112020071579667-pat00032
로 설정되며, 전반적인 절차가 종료될 수 있고, 그렇지 않은 경우 n을 1씩 증가시킨 후 제2 단계가 진행할 수 있다.
본 발명의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (9)

  1. 엣지 클라우드 서버에 의해 사용자의 네트워크 상태를 기반으로 가상 3D 객체를 모델링하는 방법으로서,
    제1 사용자 단말로부터 채널 상태 정보를 수신하는 단계;
    상기 채널 상태 정보를 기반으로 상기 제1 사용자 단말의 데이터 레이트를 측정하는 단계;
    상기 제1 사용자 단말로부터 특정 가상 3D 객체에 대한 요청 정보를 수신하는 단계; 및
    상기 데이터 레이트를 기반으로 상기 특정 가상 3D 객체에 대한 정보를 상기 제1 사용자 단말에게 송신하는 단계를 포함하고,
    상기 특정 가상 3D 객체에 대한 정보는 상기 특정 가상 3D 객체를 N개로 분리한 N개의 분리 파트(part)들에 대한 정보를 포함하고, 상기 N은 2이상의 자연수이고,
    상기 N개의 분리 파트들 중 제1 분리 파트의 해상도는 상기 제1 분리 파트와 다른 제2 분리 파트의 해상도와 다르고,
    상기 N개의 분리 파트들 각각의 해상도는 상기 데이터 레이트를 기반으로 결정되고,
    상기 제1 분리 파트는 서로 다른 해상도를 가지는 M개의 제1 분리 파트의 후보들 중 하나로 결정되고, 상기 M은 2이상의 자연수이고,
    상기 N개의 분리 파트들에 대한 정보는 상기 N개의 분리 파트들의 위치 포인트 및 품질 셀렉터를 포함하고,
    상기 품질 셀렉터는 상기 N개의 분리 파트들 각각의 품질 정보를 포함하고,
    상기 제1 분리 파트의 품질 정보는 상기 M개의 제1 분리 파트의 후보들 중 하나를 나타내는 정보를 포함하고,
    상기 위치 포인트는 상기 N개의 분리 파트들 중 상기 엣지 클라우드 서버로부터 수신되는 적어도 하나의 분리 파트 및 제2 사용자 단말로부터 수신되는 나머지 분리 파트를 지시하고,
    상기 제2 사용자 단말은 상기 제1 사용자 단말로부터 일정 거리 내에 위치하며 상기 특정 가상 3D 객체의 상기 나머지 분리 파트를 저장하고 있는 단말을 나타내고,
    상기 특정 가상 3D 객체는 상기 제1 사용자 단말에 의해 상기 적어도 하나의 분리 파트 및 상기 나머지 분리 파트를 기반으로 렌더링되고,
    상기 데이터 레이트를 기반으로 상기 특정 가상 3D 객체에 대한 정보를 상기 제1 사용자 단말에게 송신하는 단계는,
    상기 데이터 레이트에 따른 네트워크 상태 및 QoE(Quailty of Experience)를 고려한 상기 특정 가상 3D 객체의 상기 N개의 분리 파트들 각각의 후보들 간의 조합을 통해 상기 위치 포인트 및 상기 품질 셀렉터를 결정하는 단계를 포함하고,
    상기 품질 셀렉터는 상기 N개의 분리 파트들 각각에 대한 하우스도르프 거리 값 및 미리 설정된 허용 가능한 최대 하우스도르프 거리 값을 기반으로 결정되어 상기 QoE의 저하를 방지하는,
    가상 3D 객체 모델링 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 특정 가상 3D 객체에 대한 업데이트 정보를 상기 제1 사용자 단말에게 송신하는 단계를 더 포함하고,
    상기 특정 가상 3D 객체에 대한 업데이트 정보는 상기 N개의 분리 파트들 각각의 후보들 중 가장 높은 해상도를 가지는 후보에 대한 정보를 포함하는,
    가상 3D 객체 모델링 방법.
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    AR(Augmented Reality) 클라우드 서버로부터 적어도 하나의 가상 3D 객체 정보 및 상기 적어도 하나의 가상 3D 객체에 대한 설명 정보를 수신하는 단계; 및
    상기 적어도 하나의 가상 3D 객체에 대한 설명 정보를 기반으로 상기 적어도 하나의 가상 3D 객체를 모델링하는 단계를 더 포함하는,
    가상 3D 객체 모델링 방법.
  7. 청구항 6에 있어서,
    상기 적어도 하나의 가상 3D 객체에 대한 설명 정보를 기반으로 상기 적어도 하나의 가상 3D 객체를 모델링하는 단계는,
    상기 적어도 하나의 가상 3D 객체에 대한 설명 정보를 기반으로 상기 적어도 하나의 가상 3D 객체를 복수의 분리 파트들로 분리하는 단계; 및
    상기 적어도 하나의 가상 3D 객체에 대한 설명 정보를 기반으로 상기 복수의 분리 파트들 각각에 대하여 서로 다른 복수의 해상도를 가지는 후보들을 생성하는 단계를 포함하는,
    가상 3D 객체 모델링 방법.
  8. 삭제
  9. 사용자의 네트워크 상태를 기반으로 가상 3D 객체를 모델링하는 엣지 클라우드 서버로서,
    프로세서(processor); 및
    상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고,
    상기 적어도 하나의 명령은,
    제1 사용자 단말로부터 채널 상태 정보를 수신하도록 실행되고,
    상기 채널 상태 정보를 기반으로 상기 제1 사용자 단말의 데이터 레이트를 측정하도록 실행되고,
    상기 제1 사용자 단말로부터 특정 가상 3D 객체에 대한 요청 정보를 수신하도록 실행되고,
    상기 데이터 레이트를 기반으로 상기 특정 가상 3D 객체에 대한 정보를 상기 제1 사용자 단말에게 송신하도록 실행되고,
    상기 특정 가상 3D 객체에 대한 정보는 상기 특정 가상 3D 객체를 N개로 분리한 N개의 분리 파트(part)들에 대한 정보를 포함하고, 상기 N은 2이상의 자연수이고,
    상기 N개의 분리 파트들 중 제1 분리 파트의 해상도는 상기 제1 분리 파트와 다른 제2 분리 파트의 해상도와 다르고,
    상기 N개의 분리 파트들 각각의 해상도는 상기 데이터 레이트를 기반으로 결정되고,
    상기 제1 분리 파트는 서로 다른 해상도를 가지는 M개의 제1 분리 파트의 후보들 중 하나로 결정되고, 상기 M은 2이상의 자연수이고,
    상기 N개의 분리 파트들에 대한 정보는 상기 N개의 분리 파트들의 위치 포인트 및 품질 셀렉터를 포함하고,
    상기 품질 셀렉터는 상기 N개의 분리 파트들 각각의 품질 정보를 포함하고,
    상기 제1 분리 파트의 품질 정보는 상기 M개의 제1 분리 파트의 후보들 중 하나를 나타내는 정보를 포함하고,
    상기 위치 포인트는 상기 N개의 분리 파트들 중 상기 엣지 클라우드 서버로부터 수신되는 적어도 하나의 분리 파트 및 제2 사용자 단말로부터 수신되는 나머지 분리 파트를 지시하고,
    상기 제2 사용자 단말은 상기 제1 사용자 단말로부터 일정 거리 내에 위치하며 상기 특정 가상 3D 객체의 상기 나머지 분리 파트를 저장하고 있는 단말을 나타내고,
    상기 특정 가상 3D 객체는 상기 제1 사용자 단말에 의해 상기 적어도 하나의 분리 파트 및 상기 나머지 분리 파트를 기반으로 렌더링되고,
    상기 데이터 레이트를 기반으로 상기 특정 가상 3D 객체에 대한 정보를 상기 제1 사용자 단말에게 송신하는 경우, 상기 데이터 레이트에 따른 네트워크 상태 및 QoE(Quailty of Experience)를 고려한 상기 특정 가상 3D 객체의 상기 N개의 분리 파트들 각각의 후보들 간의 조합을 통해 상기 위치 포인트 및 상기 품질 셀렉터를 결정하고,
    상기 품질 셀렉터는 상기 N개의 분리 파트들 각각에 대한 하우스도르프 거리 값 및 미리 설정된 허용 가능한 최대 하우스도르프 거리 값을 기반으로 결정되어 상기 QoE의 저하를 방지하는,
    엣지 클라우드 서버.
KR1020200084967A 2020-07-09 2020-07-09 사용자의 네트워크 상태를 기반으로 가상 3d 객체를 모델링하는 방법 및 장치 KR102363144B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200084967A KR102363144B1 (ko) 2020-07-09 2020-07-09 사용자의 네트워크 상태를 기반으로 가상 3d 객체를 모델링하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200084967A KR102363144B1 (ko) 2020-07-09 2020-07-09 사용자의 네트워크 상태를 기반으로 가상 3d 객체를 모델링하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220006943A KR20220006943A (ko) 2022-01-18
KR102363144B1 true KR102363144B1 (ko) 2022-02-14

Family

ID=80052109

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200084967A KR102363144B1 (ko) 2020-07-09 2020-07-09 사용자의 네트워크 상태를 기반으로 가상 3d 객체를 모델링하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102363144B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230111296A (ko) 2022-01-18 2023-07-25 에스케이온 주식회사 이차전지용 음극, 음극 제조방법 및 상기 음극을 포함하는 이차전지

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018067966A (ja) * 2014-11-26 2018-04-26 ソニー株式会社 ライブ選択的適応帯域幅
KR101904842B1 (ko) * 2018-01-30 2018-11-21 강석주 2차원 이미지의 3차원 모델링 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130115770A (ko) * 2012-04-13 2013-10-22 한국전자통신연구원 3차원 나무 영상 생성 장치 및 그 방법
KR102625773B1 (ko) * 2017-01-04 2024-01-17 삼성전자주식회사 뷰 벡터별 다른 렌더링 품질을 갖는 영상을 생성하는 전자 장치
KR20200081161A (ko) * 2018-12-27 2020-07-07 (주)아이앤아이소프트 컨텐츠 스트리밍 장치, 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018067966A (ja) * 2014-11-26 2018-04-26 ソニー株式会社 ライブ選択的適応帯域幅
KR101904842B1 (ko) * 2018-01-30 2018-11-21 강석주 2차원 이미지의 3차원 모델링 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램

Also Published As

Publication number Publication date
KR20220006943A (ko) 2022-01-18

Similar Documents

Publication Publication Date Title
CN112567688B (zh) 用于嵌入的云微服务的自动调谐器
US10853726B2 (en) Neural architecture search for dense image prediction tasks
US20200293838A1 (en) Scheduling computation graphs using neural networks
CN110612538B (zh) 生成输入数据项的离散潜在表示
US20210021817A1 (en) Hologram streaming machine
CN109887098A (zh) 一种基于分布式计算的web AR数据呈现方式
KR102421701B1 (ko) 가상 현실 및 증강 현실 웹 페이지들의 콘텐츠 전달 가속화를 위한 시스템들 및 방법들
KR20200068050A (ko) 인공지능 수행을 위한 학습 데이터 생성장치 및 방법
JP2022543180A (ja) 可視化方法及び関連デバイス
CN104702592A (zh) 流媒体下载方法和装置
KR102363144B1 (ko) 사용자의 네트워크 상태를 기반으로 가상 3d 객체를 모델링하는 방법 및 장치
US20140344447A1 (en) Method and apparatus for executing application
Eriksson et al. An in-depth analysis of dynamically rendered vector-based maps with WebGL using Mapbox GL JS
CN113495730A (zh) 资源包的生成及解析方法和装置
Park et al. Collaborative virtual 3D object modeling for mobile augmented reality streaming services over 5G networks
KR102350195B1 (ko) 모바일 엣지 컴퓨팅을 활용하는 모바일 증강현실 서비스의 모바일 단말 에너지 최적화 방법 및 시스템
US10225361B2 (en) Content management in caching services
US10949353B1 (en) Data iterator with automatic caching
CN114299074A (zh) 一种视频分割方法、装置、设备及存储介质
EP4182850A1 (en) Hardware-optimized neural architecture search
US11550387B2 (en) Stereo correspondence search
US20160112534A1 (en) Hierarchical caching for online media
CN113569092B (zh) 一种视频分类方法、装置、电子设备及存储介质
CN113885889B (zh) 一种用于量化模型部署的方法、系统、存储介质及设备
US20240137401A1 (en) Systems and Methods For Content Delivery Acceleration of Virtual Reality and Augmented Reality Web Pages

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant