KR102402580B1 - 메타버스 환경에서의 영상 처리 시스템 및 방법 - Google Patents

메타버스 환경에서의 영상 처리 시스템 및 방법 Download PDF

Info

Publication number
KR102402580B1
KR102402580B1 KR1020210149459A KR20210149459A KR102402580B1 KR 102402580 B1 KR102402580 B1 KR 102402580B1 KR 1020210149459 A KR1020210149459 A KR 1020210149459A KR 20210149459 A KR20210149459 A KR 20210149459A KR 102402580 B1 KR102402580 B1 KR 102402580B1
Authority
KR
South Korea
Prior art keywords
user
location
map
spatial map
real space
Prior art date
Application number
KR1020210149459A
Other languages
English (en)
Inventor
김승균
손태윤
박재완
Original Assignee
주식회사 맥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맥스트 filed Critical 주식회사 맥스트
Priority to KR1020210149459A priority Critical patent/KR102402580B1/ko
Priority to US17/545,222 priority patent/US20230137219A1/en
Application granted granted Critical
Publication of KR102402580B1 publication Critical patent/KR102402580B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information

Abstract

메타버스 환경에서의 영상 처리 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 메타버스 환경에서의 영상 처리 시스템은, 현실공간을 스캔하여 획득한 복수의 제1 현실공간 이미지로부터의 포인트 클라우드와 복수의 시점 영상들을 이용하여 공간맵을 생성하는 공간맵 서버; 공간맵으로부터 추출된 위치 인식 데이터를 저장하고, 위치 인식 데이터와 AR 사용자의 디바이스를 통해 획득된 제2 현실공간 이미지를 비교하여 공간맵 상에서의 AR 사용자의 디바이스의 위치 정보를 파악하는 위치 인식 서버; 및 공간맵 상에서의 AR 사용자의 디바이스의 위치 정보 및 공간맵 상에서의 VR 사용자의 위치를 저장 및 제공하고, 이를 이용하여 공간맵 상에서 적어도 하나 이상의 AR 사용자 및 적어도 하나 이상의 VR 사용자를 동기화하여 표시하는 커뮤니케이션 서버를 포함한다.

Description

메타버스 환경에서의 영상 처리 시스템 및 방법{IMAGE PROCESSING SYSTEM AND METHOD IN METAVERSE ENVIRONMENT}
본 발명의 실시예들은 메타버스 환경에서의 영상 처리 시스템 및 방법과 관련된다.
현재 제공되는 메타버스 서비스는 대부분 가상 현실 상에서만 구현되어 현실과 직접적인 상호작용이 없기 때문에, 서비스 이용자로 하여금 현실성이 떨어진다는 의견이 있다.
증강 현실(augmented reality; AR)은 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하여 현실에 존재하는 사물처럼 보이도록 하는 것으로서, 현실 공간의 가상화를 통한 미러 월드(mirror world) 형태로도 제안되고 있다.
한편, 메타버스 서비스 운용자는 상술한 가상 현실과 증강 현실을 모두 적용하여 사용자에게 보다 현실감이 있고 역동적인 서비스 환경을 제공하기 위한 연구를 수행하고 있는 실정이다.
대한민국 공개특허공보 제10-2020-0076178호 (2020. 06. 29.)
본 발명의 실시예들은 메타버스 환경에서 몰입감이 증대된 영상을 제공하기 위한 메타버스 환경에서의 영상 처리 시스템 및 방법을 제공하기 위한 것이다.
또한, 본 발명의 실시예들은 메타버스 환경에서 동일한 공간맵에 존재하는 AR 사용자 및 VR 사용자들 간에 다양한 서비스를 제공받을 수 있도록 하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 메타버스 환경에서의 영상 처리 시스템은, 현실공간을 스캔하여 획득한 복수의 제1 현실공간 이미지로부터의 포인트 클라우드와 복수의 시점 영상들을 이용하여 공간맵을 생성하는 공간맵 서버; 상기 공간맵으로부터 추출된 위치 인식 데이터를 저장하고, 상기 위치 인식 데이터와 AR 사용자의 디바이스를 통해 획득된 제2 현실공간 이미지를 비교하여 상기 공간맵 상에서의 상기 AR 사용자의 디바이스의 위치 정보를 파악하는 위치 인식 서버; 및 상기 공간맵 상에서의 상기 AR 사용자의 디바이스의 위치 정보 및 상기 공간맵 상에서의 VR 사용자의 위치를 저장 및 제공하고, 이를 이용하여 상기 공간맵 상에서 적어도 하나 이상의 AR 사용자 및 적어도 하나 이상의 VR 사용자를 동기화하여 표시하는 커뮤니케이션 서버를 포함한다.
상기 위치 인식 데이터는, 상기 공간맵 내 점의 3차원 위치값 및 이에 매칭되는 복수의 제1 디스크립터를 포함할 수 있다.
상기 위치 인식 서버는, 상기 위치 인식 데이터로부터 추출된 상기 복수의 제1 디스크립터와 상기 제2 현실공간 이미지로부터 추출된 복수의 제2 디스크립터를 비교하여 상기 공간맵 상에서의 상기 AR 사용자의 디바이스의 위치좌표 및 응시 방향을 포함하는 상기 AR 사용자의 디바이스의 위치 정보를 파악할 수 있다.
상기 커뮤니케이션 서버는, 상기 AR 사용자의 디바이스의 위치 정보 및 상기 VR 사용자의 위치를 기초로 서로 간의 근접도, 특정 영역내 존재여부, 특정 서비스 이용여부 및 동일 그룹여부 중 적어도 하나 이상의 조건에 해당하는지 여부를 파악하여 동일한 공간맵 상에 존재하는 상기 적어도 하나 이상의 AR 사용자 또는 상기 적어도 하나 이상의 VR 사용자를 파악할 수 있다.
상기 커뮤니케이션 서버는, 상기 동일한 공간맵 상에 위치하는 상기 적어도 하나 이상의 AR 사용자 또는 상기 적어도 하나 이상의 VR 사용자 간에 채팅 서비스, 영상 통화 서비스 및 데이터 전송 서비스 중 적어도 하나 이상의 서비스를 제공할 수 있다.
상기 공간맵 서버는, 상기 AR 사용자의 디바이스로부터 실시간으로 촬영되는 상기 제2 현실공간 이미지와 상기 AR 사용자의 디바이스의 위치 정보를 이용하여 상기 공간맵 상에서 상기 제2 현실공간 이미지에 대응되는 위치를 파악하고, 파악된 상기 공간맵의 해당 위치에 상기 제2 현실공간 이미지를 오버레이(overlay)하여 VR 사용자의 디바이스로 제공할 수 있다.
상기 메타버스 환경에서의 영상 처리 시스템은, 상기 AR 사용자의 디바이스로부터 실시간으로 촬영되는 상기 제2 현실공간 이미지와 상기 AR 사용자의 디바이스의 위치 정보를 이용하여 상기 공간맵 상에서 상기 제2 현실공간 이미지에 대응되는 위치를 파악하고, 파악된 상기 공간맵의 해당 위치에 상기 제2 현실공간 이미지를 오버레이(overlay)하여 화면 상에 표시하는 VR 사용자의 디바이스를 더 포함할 수 있다.
상기 VR 사용자의 디바이스는, 상기 AR 사용자의 디바이스의 위치 정보를 이용하여 상기 공간맵 상에 상기 AR 사용자를 포함시켜 화면 상에 표시할 수 있다.
상기 메타버스 환경에서의 영상 처리 시스템은, 상기 커뮤니케이션 서버로부터 전달되는 상기 공간맵 상의 상기 VR 사용자의 위치를 이용하여 실시간으로 촬영되는 상기 제2 현실공간 이미지 상에 상기 VR 사용자를 표시하는 AR 사용자의 디바이스를 더 포함할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 메타버스 환경에서의 영상 처리 시스템은, 복수의 제1 현실공간 이미지로부터의 포인트 클라우드와 복수의 시점 영상들을 이용하여 생성한 공간맵을 저장하고, AR 사용자의 디바이스로부터 실시간으로 촬영되는 복수의 제2 현실공간 이미지와 상기 AR 사용자의 디바이스의 위치 정보를 이용하여 상기 공간맵 상에서 상기 제2 현실공간 이미지에 대응되는 위치를 파악하고, 파악된 상기 공간맵의 해당 위치에 상기 제2 현실공간 이미지를 오버레이(overlay)하여 화면 상에 표시하는 VR 사용자의 디바이스; 상기 공간맵으로부터 추출된 위치 인식 데이터를 저장하고, 상기 위치 인식 데이터와 현실공간을 스캔하여 획득한 상기 제2 현실공간 이미지를 비교하여 상기 공간맵 상에서의 자신의 위치 정보를 파악 및 제공하는 AR 사용자의 디바이스; 및 상기 공간맵 상에서의 상기 AR 사용자의 디바이스의 위치 정보 및 상기 공간맵 상에서의 VR 사용자의 위치를 저장 및 제공하고, 이를 이용하여 공간맵 상에서 적어도 하나 이상의 AR 사용자 또는 적어도 하나 이상의 VR 사용자를 표시하는 커뮤니케이션 서버를 포함한다.
상기 AR 사용자의 디바이스는, 상기 위치 인식 데이터로부터 추출된 복수의 제1 디스크립터와 상기 제2 현실공간 이미지로부터 추출된 복수의 제2 디스크립터를 비교하여 상기 공간맵 상에서의 상기 AR 사용자의 디바이스의 위치좌표 및 응시 방향을 포함하는 상기 AR 사용자의 디바이스의 위치 정보를 파악할 수 있다.
상기 VR 사용자의 디바이스는, 상기 AR 사용자의 디바이스의 위치 정보를 이용하여 상기 공간맵 상에 상기 AR 사용자를 포함시켜 화면 상에 표시할 수 있다.
상기 커뮤니케이션 서버는, 상기 AR 사용자의 디바이스의 위치 정보 및 상기 VR 사용자의 위치를 기초로 서로 간의 근접도, 특정 영역내 존재여부, 특정 서비스 이용여부 및 동일 그룹여부 중 적어도 하나 이상을 포함하는 조건에 해당하는지 여부를 파악하여 동일한 공간맵 상에 존재하는 상기 적어도 하나 이상의 AR 사용자 또는 상기 적어도 하나 이상의 VR 사용자를 파악할 수 있다.
상기 커뮤니케이션 서버는, 상기 동일한 공간맵 상에 위치하는 상기 적어도 하나 이상의 AR 사용자 또는 상기 적어도 하나 이상의 VR 사용자 간에 채팅 서비스, 영상 통화 서비스 및 데이터 전송 서비스 중 적어도 하나 이상의 서비스를 제공할 수 있다.
상기 AR 사용자의 디바이스는, 상기 VR 사용자의 디바이스로부터 전달되는 상기 공간맵 상의 상기 VR 사용자의 위치를 이용하여 실시간으로 촬영되는 상기 제2 현실공간 이미지 상에 상기 VR 사용자를 표시할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 메타버스 환경에서의 영상 처리 방법은, 현실공간을 스캔하여 획득한 복수의 제1 현실공간 이미지로부터의 포인트 클라우드와 복수의 시점 영상들을 이용하여 공간맵을 생성하는 단계; 상기 공간맵으로부터 위치 인식 데이터를 추출하는 단계; 상기 위치 인식 데이터와 AR 사용자의 디바이스를 통해 획득된 제2 현실공간 이미지를 비교하여 상기 공간맵 상에서의 상기 AR 사용자의 디바이스의 위치 정보를 파악하는 단계; 및 상기 공간맵 상에서의 상기 AR 사용자의 디바이스의 위치 정보 및 VR 사용자의 위치를 이용하여 상기 공간맵 상에 적어도 하나 이상의 AR 사용자 및 적어도 하나 이상의 VR 사용자를 동기화시켜 표시하는 단계를 포함한다.
상기 위치 인식 데이터는 상기 공간맵 내 점의 3차원 위치값 및 이에 매칭되는 복수의 제1 디스크립터를 포함하고, 상기 AR 사용자의 디바이스의 위치 정보를 파악하는 단계는, 상기 AR 사용자의 디바이스에 의해서 촬영된 상기 제2 현실공간 이미지를 수신하는 단계; 상기 제2 현실공간 이미지 내 점의 2차원 위치값 및 이에 매칭되는 복수의 제2 디스크립터를 추출하는 단계; 및 상기 복수의 제1 디스크립터와 상기 복수의 제2 디스크립터를 비교하여 상기 공간맵 상에서의 상기 AR 사용자의 디바이스의 위치좌표 및 응시 방향을 포함하는 상기 AR 사용자의 디바이스의 위치 정보를 파악하는 단계를 포함할 수 있다.
상기 메타버스 환경에서의 영상 처리 방법은, 상기 공간맵 상에 적어도 하나 이상의 AR 사용자 및 적어도 하나 이상의 VR 사용자를 동기화하여 표시하는 단계에서, 상기 AR 사용자의 디바이스의 위치 정보 및 상기 VR 사용자의 위치를 기초로 서로 간의 근접도, 특정 영역내 존재여부, 특정 서비스 이용여부 및 동일 그룹여부 중 적어도 하나 이상을 포함하는 조건에 해당하는지 여부를 파악하여 동일한 공간맵 상에 존재하는 상기 적어도 하나 이상의 AR 사용자 또는 상기 적어도 하나 이상의 VR 사용자를 파악할 수 있다.
상기 메타버스 환경에서의 영상 처리 방법은, 상기 공간맵 상에 적어도 하나 이상의 AR 사용자 및 적어도 하나 이상의 VR 사용자를 동기화하여 표시하는 단계 이후에, 상기 동일한 공간맵 상에 위치하는 상기 적어도 하나 이상의 AR 사용자 또는 상기 적어도 하나 이상의 VR 사용자 간에 채팅 서비스, 영상 통화 서비스 및 데이터 전송 서비스 중 적어도 하나 이상의 서비스를 제공하는 단계를 더 포함할 수 있다.
상기 메타버스 환경에서의 영상 처리 방법은, 상기 공간맵 상에 적어도 하나 이상의 AR 사용자 및 적어도 하나 이상의 VR 사용자를 동기화하여 표시하는 단계 이후에, 상기 AR 사용자의 디바이스로부터 실시간으로 촬영되는 상기 제2 현실공간 이미지와 상기 AR 사용자의 디바이스의 위치 정보를 이용하여 상기 공간맵 상에서 상기 제2 현실공간 이미지에 대응되는 위치를 파악하는 단계; 및 파악된 상기 공간맵의 해당 위치에 상기 제2 현실공간 이미지를 오버레이(overlay)하여 표시하는 단계를 포함할 수 있다.
본 발명의 실시예들에 따르면, 현실공간을 기반으로 구축된 공간맵 상에 AR 사용자의 디바이스를 통해 촬영된 현실공간 이미지를 매핑(mapping)하여 제공하기 때문에, VR 사용자 입장에서 보다 현실감이 향상된 영상이 반영된 메타버스 기반의 서비스를 제공받을 수 있다는 효과를 기대할 수 있다.
또한, 본 발명의 실시예들에 따르면, 공간맵 상에서의 VR 사용자의 위치 뿐만 아니라 AR 사용자의 디바이스의 위치도 파악할 수 있기 때문에, 동일 공간맵에 위치하는 VR 사용자와 AR 사용자 간에 채팅 및 데이터 송수신을 비롯한 다양한 서비스를 제공받을 수 있도록 할 수 있다는 것이다.
도 1은 본 발명의 일 실시예에 따른 메타버스 환경에서의 영상 처리 시스템을 설명하기 위한 블록도
도 2 및 도 3은 본 발명의 일 실시예에 따른 AR 사용자의 디바이스의 위치 정보를 파악하는 방법을 설명하기 위한 예시도
도 4 및 도 5는 본 발명의 일 실시예에 따른 공간맵에 현실공간 이미지를 반영한 경우를 설명하기 위한 예시도
도 6은 본 발명의 일 실시예에 따른 VR 사용자의 디바이스 화면의 예시도
도 7은 본 발명의 일 실시예에 따른 AR 사용자의 디바이스 화면의 예시도
도 8은 본 발명의 다른 실시예에 따른 메타버스 환경에서의 영상 처리 시스템을 설명하기 위한 블록도
도 9는 본 발명의 일 실시예에 따른 메타버스 환경에서의 영상 처리 방법을 설명하기 위한 흐름도
도 10은 본 발명의 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 메타버스 환경에서의 영상 처리 시스템을 설명하기 위한 블록도이다.
도 1을 참고하면, 메타버스 환경에서의 영상 처리 시스템(이하 '영상 처리 시스템'이라고 하기로 함)(1000)은 공간맵 서버(100), 위치 인식 서버(200), 커뮤니케이션 서버(300), VR(virtual reality) 사용자의 디바이스(400) 및 AR(augmented reality) 사용자의 디바이스(500)를 포함한다.
보다 상세 설명하면, 공간맵 서버(100)는 현실공간을 스캔하여 획득한 복수의 제1 현실공간 이미지로부터의 포인트 클라우드와 복수의 시점 영상들을 이용하여 공간맵을 생성할 수 있다. 상기 공간맵은 현실 공간의 가상화를 통해 구축된 미러 월드(mirror world) 상에서 증강 현실과 가상 현실의 상호 작용이 가능하도록 하기 위한 메타버스 환경의 맵을 의미하는 것으로 정의하기로 한다.
구체적으로, 공간맵 서버(100)는 360 카메라 및 라이더와 같은 영상 촬영 장비를 통한 복수의 360 이미지 셋 획득, 복수의 360 이미지로부터 초기 포인트 클라우드(점군) 생성, GPS 정렬을 통해 정렬된 포인트 클라우드 생성, 정렬된 포인트 클라우드에 토폴로지, 메시(mesh) 및 POI(point of interest) 결합, 위치 인식 데이터를 추출 및 공간맵 생성의 과정을 통해 공간맵을 생성할 수 있다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 AR 사용자의 디바이스의 위치 정보를 파악하는 방법을 설명하기 위한 예시도이다.
도 2를 참고하면, 위치 인식 데이터는 복수의 3차원 이미지를 포함하는 공간맵 내 점의 3차원 위치값 및 이에 매칭되는 복수의 제1 디스크립터를 포함할 수 있다. 즉, 3차원 위치값과 제1 디스크립터는 1 대 다의 구조일 수 있는 것이다. 이때, 복수의 제1 디스크립터는 이미지 내 특징을 나타내는 텍스처를 의미할 수 있다.
공간맵 서버(100)는 AR 사용자의 디바이스(500)로부터 실시간으로 촬영되는 제2 현실공간 이미지와 AR 사용자의 디바이스(500)의 위치 정보를 이용하여 공간맵 상에서 제2 현실공간 이미지에 대응되는 위치를 파악하고, 파악된 공간맵의 해당 위치에 제2 현실공간 이미지를 오버레이(overlay)하여 VR 사용자의 디바이스(400)로 제공할 수 있다. 예를 들어, AR 사용자의 디바이스(500)는 스마트폰, 헤드셋, 스마트 글라스, 각종 웨어러블 디바이스(wearable device) 등을 포함할 수 있으며, 이에 한정되지 않는다.
상술한 AR 사용자의 디바이스(500)의 위치 정보는 AR 사용자의 디바이스(500)의 위치좌표 및 응시 방향을 포함하기 때문에, 공간맵 서버(100)는 공간맵 상에 제2 현실공간 이미지를 오버레이할 때, 단순히 위치만을 중첩하는 것이 아니라 해당 제2 현실공간 이미지의 방향까지 고려하여 중첩할 수 있다. 이로 인해, 공간맵 상에 제2 현실공간 이미지가 오버레이된 상태를 확인하는 사용자 입장에서 몰입감이 증대될 수 있다는 효과를 기대할 수 있는 것이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 공간맵에 현실공간 이미지를 반영한 경우를 설명하기 위한 예시도이다.
도 4를 참고하면, AR 사용자의 디바이스(500)는 현실 공간을 촬영하여 실시간 제2 현실공간 이미지(R1)를 획득할 수 있다. 이를 위해, AR 사용자의 디바이스(400)가 카메라를 비롯한 영상 촬영을 위한 디바이스를 구비하고 있음은 당연하다 할 것이다. AR 사용자의 디바이스(500)에 의해서 획득된 제2 현실공간 이미지(R1)는 VR 사용자의 디바이스(400) 상에서 출력되는 공간맵(X)의 해당 위치에 중첩되어 표시될 수 있다. 이로 인해, VR 사용자는 실시간 제2 현실공간 이미지가 반영된 현실감이 증대된 공간맵(X)을 확인할 수 있는 것이다.
도 5를 참고하면, 공간맵 서버(100)는 AR 사용자의 디바이스(500)가 이동함에 따라 실시간으로 변경되는 제2 현실공간 이미지(R2)를 공간맵(X)에 반영하여 VR 사용자의 디바이스(400)로 제공할 수 있다.
도 5의 원리에 따라, 공간맵 서버(100)는 AR 사용자의 디바이스(500)를 통해 이동하면서 촬영되는 제2 현실공간 이미지(R)를 공간맵에 실시간으로 반영하여 제공하기 때문에, 해당 공간맵에 접속한 사용자는 현실감이 증대된 메타버스 환경을 제공받을 수 있다.
상술한 공간맵(X)에 제2 현실공간 이미지(R1, R2)를 중첩하는 주체는 공간맵 서버(100)일 수 있으나, 이에 한정되지 않고, 후술하는 VR 사용자의 디바이스(400)에서도 구현할 수 있다.
위치 인식 서버(200)는 공간맵으로부터 추출된 위치 인식 데이터를 저장하고, 위치 인식 데이터와 AR 사용자의 디바이스(500)를 통해 획득된 제2 현실공간 이미지를 비교하여 공간맵 상에서의 AR 사용자의 디바이스(500)의 위치 정보를 파악할 수 있다.
위치 인식 서버(200)는 위치 인식 데이터로부터 추출된 복수의 제1 디스크립터와 제2 현실공간 이미지로부터 추출된 복수의 제2 디스크립터를 비교하여 공간맵 상에서의 AR 사용자의 디바이스(500)의 위치좌표 및 응시 방향을 포함하는 AR 사용자의 디바이스(500)의 위치 정보를 파악할 수 있다.
구체적으로, 위치 인식 서버(200)는 제2 현실공간 이미지로부터 특징이 있는 영역들을 추출하여 복수의 제2 디스크립터를 획득할 수 있다. 상기 특징이 있는 영역들은 돌출된 부위이거나, 또는 운용자에 의해서 사전에 특징으로 설정된 조건에 매칭되는 영역들일 수 있다. 이때, 복수의 제2 디스크립터는 2차원 위치값과 매칭될 수 있다. 다음, 위치 인식 서버(200)는 복수의 제2 디스크립터와 복수의 제1 디스크립터를 비교하여 서로 매칭되는 제1 디스크립터를 검색하여 찾을 수 있다. 다음, 위치 인식 서버(200)는 매칭된 제1 디스크립터들에 대응되는 3차원 위치값과 제2 디스크립터들에 대응되는 2차원 위치값을 기초로 AR 사용자의 디바이스(500)가 어느 위치에서 이미지를 촬영했는지 파악하는 것이다.
위치 인식 서버(200)는 파악된 AR 사용자의 디바이스(500)의 위치 정보를 AR 사용자의 디바이스(500)로 제공할 수 있다. AR 사용자의 디바이스(500)는 자신의 위치 정보를 커뮤니케이션 서버(300)로 전송할 수 있으며, 이에 한정되지 않고, 공간맵 서버(100)로도 제공할 수 있다.
커뮤니케이션 서버(300)는 공간맵 상에서의 AR 사용자의 디바이스(500)의 위치 정보 및 공간맵 상에서의 VR 사용자의 위치를 저장 및 제공하고, 이를 이용하여 공간맵 상에서 적어도 하나 이상의 AR 사용자 및 적어도 하나 이상의 VR 사용자를 동기화하여 표시하는 구성일 수 있다.
즉, 도 3과 같이, 커뮤니케이션 서버(300)는 커뮤니케이션 서버(300)에 접속하는 사용자들(1번 ~ 4번 등)이 AR 사용자인지 또는 VR 사용자인지 여부와, 각각의 위치(예를 들어, AR 사용자의 디바이스의 위치 정보 및 VR 사용자의 위치)를 취합하여 관리하고, 이를 필요로 하는 구성으로 제공해 주는 것이다.
이때, AR 사용자의 디바이스의 위치 정보 및 VR 사용자의 위치는 3차원 위치값의 형태일 수 있다.
예를 들어, 커뮤니케이션 서버(300)는 VR 사용자의 디바이스(400) 및 AR 사용자의 디바이스(500) 등으로 AR 사용자의 디바이스의 위치 정보 및 VR 사용자의 위치를 브로드캐스팅할 수 있다.
상기 VR 사용자의 위치는 VR 사용자의 디바이스(400)를 통해 접근한 맵(예를 들어, 공간맵)에의 위치를 의미할 수 있다. 예를 들어, VR 사용자는 VR 사용자의 디바이스(400)에 구비된 입력부(미도시)를 통해 공간맵의 특정 위치를 선택할 수 있는데, 이때 선택된 공간맵의 위치가 VR 사용자의 위치일 수 있는 것이다. 또는 VR 사용자의 위치는 VR 사용자가 공간맵에서 자동 또는 수동으로 이동함에 따라 추적되는 현재 위치일 수 있다.
커뮤니케이션 서버(300)는 AR 사용자의 디바이스(500)의 위치 정보 및 VR 사용자의 위치를 기초로 서로 간의 근접도, 특정 영역내 존재여부, 특정 서비스 이용여부 및 동일 그룹여부 중 적어도 하나 이상의 조건에 해당하는지 여부를 파악하여 동일한 공간맵 상에 존재하는 적어도 하나 이상의 AR 사용자 또는 적어도 하나 이상의 VR 사용자를 파악할 수 있다. 상기 동일 그룹은 친구, 직장 동료, 지인, 동아리 멤버 등의 멤버로 사전에 매칭된 그룹을 의미할 수 있다.
본 실시예들에서 동일한 공간맵 상에 존재한다는 것은 커뮤니케이션 서버(300)에서 동일한 특정 서비스를 제공받을 수 있는 그룹 내 멤버라는 의미일 수 있다. 예를 들어, 커뮤니케이션 서버(300)는 동일한 공간맵 상에 존재하는 AR 사용자들 간, VR 사용자들 간 또는 AR 사용자들과 VR 사용자들 간에 영상 통화, 채팅 서비스 또는 3D 영상, 이미지 및 URL 등의 정보 전송 서비스 등의 상호 작용이 가능하도록 서비스를 제공할 수 있는 것이다.
예를 들어, 상술한 특정 영역은 백화점 내 A 상점, B 영화관, C 레스토랑, D 공연장 등과 같이 임의로 설정된 영역일 수 있다.
만약, 공간맵이 백화점의 A 상점인 경우, VR 사용자는 고객이고, AR 사용자는 A 상점의 점원일 수 있다. 이러한 경우, VR 사용자는 VR 사용자의 디바이스(400)를 통해 AR 사용자인 A 상점의 점원이 AR 사용자의 디바이스(500)를 통해 실시간으로 촬영하는 A 상점의 상품 이미지를 비롯한 각종 이미지를 확인할 수 있는 것이다.
커뮤니케이션 서버(300)는 동일한 공간맵 상에 위치하는 적어도 하나 이상의 AR 사용자 또는 적어도 하나 이상의 VR 사용자 간에 채팅 서비스, 영상 통화 서비스 및 데이터 전송 서비스 중 적어도 하나 이상의 서비스를 제공할 수 있다.
구체적으로, 커뮤니케이션 서버(300)는 동일한 공간맵 상에 접근한 사용자들 간에 이루어지는 서비스 관련 정보(예를 들어, 채팅 내용, 전송되는 데이터, 영상 통화 이미지 등)를 취합하고, 이를 다시 해당 디바이스들로 제공하는 것이다.
커뮤니케이션 서버(300)는 동일한 공간맵에 접속한 사용자들이 상대방을 확인할 수 있도록 표시할 수 있다. 예를 들어, 커뮤니케이션 서버(300)는 AR 사용자의 디바이스(500) 및 VR 사용자의 디바이스(400)의 화면 상에 동일한 공간맵에 접속한 사용자들의 명칭(이름, 닉네임)을 리스트 형식으로 표시하거나, 또는 각 아바타에 매칭(도 6 및 도 7 참조)하여 표시할 수 있다.
VR 사용자의 디바이스(400)는 AR 사용자의 디바이스(500)로부터 실시간으로 촬영되는 제2 현실공간 이미지와 AR 사용자의 디바이스(500)의 위치 정보를 이용하여 공간맵 상에서 제2 현실공간 이미지에 대응되는 위치를 파악하고, 파악된 공간맵의 해당 위치에 제2 현실공간 이미지를 오버레이(overlay)하여 화면 상에 표시할 수 있다. 이때, 공간맵은 VR 맵일 수 있다.
만약, VR 사용자의 디바이스(400)가 AR 사용자의 디바이스(500)와 영상 통화 서비스 이용 중인 경우, 제2 현실공간 이미지는 AR 사용자 디바이스(500)에 의해서 촬영되는 AR 사용자의 얼굴 이미지이거나, 또는 배경 이미지일 수 있다. 즉, 영상 통화 서비스 이용 중인 경우, VR 사용자의 디바이스(400)는 디폴트(default)로 제공되는 공간맵 상에 제2 현실공간 이미지를 오버랩하여 화면 상에 출력하는 것이다.
일 예로, VR 사용자의 디바이스(400)는 공간맵 서버(100)로부터 공간맵을 제공받아 화면 상에 표시하고, 커뮤니케이션 서버(300)로부터 제공받은 AR 사용자의 디바이스(500)의 위치 정보(위치좌표 및 응시 방향)를 기초로 제2 현실공간 이미지를 공간맵 상에 오버레이 할 수 있다.
다른 예로, VR 사용자의 디바이스(400)는 공간맵을 저장하고, 저장된 공간맵에 제2 현실공간 이미지를 오버레이 할 수 있다.
도 6은 본 발명의 일 실시예에 따른 VR 사용자의 디바이스 화면의 예시도이다.
도 6을 참고하면, VR 사용자의 디바이스(400)는 AR 사용자의 디바이스(500)의 위치 정보를 이용하여 공간맵 상에 AR 사용자를 포함시켜 화면 상에 표시할 수 있다.
예를 들어, VR 사용자의 디바이스(400)는 공간맵 상에 AR 사용자 및 VR 사용자를 나타내는 각각의 아바타(avatar)가 반영도록 표시할 수 있다.
도 7은 본 발명의 일 실시예에 따른 AR 사용자의 디바이스 화면의 예시도이다.
도 7을 참고하면, AR 사용자의 디바이스(500)는 커뮤니케이션 서버(300)로부터 전달되는 공간맵 상의 VR 사용자의 위치를 이용하여 실시간으로 촬영되는 제2 현실공간 이미지 상에 VR 사용자를 표시할 수 있다. 또한, AR 사용자의 디바이스(500)는 화면상에 타 AR 사용자도 표시할 수 있다.
예를 들어, AR 사용자의 디바이스(500)는 제2 현실공간 이미지 상에 타 AR 사용자 및 VR 사용자를 나타내되, VR 사용자는 아바타 형태로 표시할 수 있다.
도 8은 본 발명의 다른 실시예에 따른 메타버스 환경에서의 영상 처리 시스템을 설명하기 위한 블록도이다.
도 8을 참고하면, 영상 처리 시스템(1000)은 커뮤니케이션 서버(300), VR 사용자의 디바이스(400) 및 AR 사용자의 디바이스(500)를 포함한다.
VR 사용자의 디바이스(400)는 복수의 제1 현실공간 이미지로부터의 포인트 클라우드와 복수의 시점 영상들을 이용하여 생성한 공간맵을 저장하고, AR 사용자의 디바이스(500)로부터 실시간으로 촬영되는 복수의 제2 현실공간 이미지와 AR 사용자의 디바이스(500)의 위치 정보를 이용하여 공간맵 상에서 제2 현실공간 이미지에 대응되는 위치를 파악하고, 파악된 공간맵의 해당 위치에 제2 현실공간 이미지를 오버레이(overlay)하여 화면 상에 표시할 수 있다.
VR 사용자의 디바이스(400)는 AR 사용자의 디바이스(500)의 위치 정보를 이용하여 공간맵 상에 AR 사용자를 포함시켜 화면 상에 표시할 수 있다.
AR 사용자의 디바이스(500)는 공간맵으로부터 추출된 위치 인식 데이터를 저장하고, 위치 인식 데이터와 현실공간을 스캔하여 획득한 제2 현실공간 이미지를 비교하여 공간맵 상에서의 자신의 위치 정보를 파악 및 제공할 수 있다.
AR 사용자의 디바이스(500)는 위치 인식 데이터로부터 추출된 복수의 제1 디스크립터와 제2 현실공간 이미지로부터 추출된 복수의 제2 디스크립터를 비교하여 공간맵 상에서의 AR 사용자의 디바이스의 위치좌표 및 응시 방향을 포함하는 AR 사용자의 디바이스(500)의 위치 정보를 파악할 수 있다.
AR 사용자의 디바이스(500)는 VR 사용자의 디바이스(400)로부터 전달되는 공간맵 상의 VR 사용자의 위치를 이용하여 실시간으로 촬영되는 제2 현실공간 이미지 상에 VR 사용자를 표시할 수 있다.
커뮤니케이션 서버(300)는 공간맵 상에서의 AR 사용자의 디바이스(500)의 위치 정보 및 공간맵 상에서의 VR 사용자의 위치를 저장 및 제공하고, 이를 이용하여 공간맵 상에서 적어도 하나 이상의 AR 사용자 또는 적어도 하나 이상의 VR 사용자를 표시할 수 있다.
커뮤니케이션 서버(300)는 AR 사용자의 디바이스(500)의 위치 정보 및 VR 사용자의 위치를 기초로 서로 간의 근접도, 특정 영역내 존재여부, 특정 서비스 이용여부 및 동일 그룹여부 중 적어도 하나 이상을 포함하는 조건에 해당하는지 여부를 파악하여 동일한 공간맵 상에 존재하는 적어도 하나 이상의 AR 사용자 또는 적어도 하나 이상의 VR 사용자를 파악할 수 있다.
커뮤니케이션 서버(300)는 동일한 공간맵 상에 위치하는 적어도 하나 이상의 AR 사용자 또는 적어도 하나 이상의 VR 사용자 간에 채팅 서비스, 영상 통화 서비스 및 데이터 전송 서비스 중 적어도 하나 이상의 서비스를 제공할 수 있다.
도 9는 본 발명의 일 실시예에 따른 메타버스 환경에서의 영상 처리 방법을 설명하기 위한 흐름도이다. 도 9에 도시된 방법은 예를 들어, 전술한 영상 처리 시스템(1000)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
101 단계에서, 영상 처리 시스템(1000)은 현실공간을 스캔하여 획득한 복수의 제1 현실공간 이미지로부터의 포인트 클라우드와 복수의 시점 영상들을 이용하여 공간맵을 생성할 수 있다.
103 단계에서, 영상 처리 시스템(1000)은 공간맵으로부터 위치 인식 데이터를 추출할 수 있다.
105 단계에서, 영상 처리 시스템(1000)은 위치 인식 데이터와 AR 사용자의 디바이스(500)를 통해 획득된 제2 현실공간 이미지를 비교하여 공간맵 상에서의 AR 사용자의 디바이스(500)의 위치 정보를 파악할 수 있다. 상기 위치 인식 데이터는 공간맵 내 점의 3차원 위치값 및 이에 매칭되는 복수의 제1 디스크립터를 포함할 수 있다.
구체적으로, 영상 처리 시스템(1000)은 AR 사용자의 디바이스(500)에 의해서 촬영된 제2 현실공간 이미지를 수신할 수 있다.
다음, 영상 처리 시스템(1000)은 제2 현실공간 이미지 내 점의 2차원 위치값 및 이에 매칭되는 복수의 제2 디스크립터를 추출할 수 있다.
다음, 영상 처리 시스템(1000)은 복수의 제1 디스크립터와 복수의 제2 디스크립터를 비교하여 공간맵 상에서의 AR 사용자의 디바이스(500)의 위치좌표 및 응시 방향을 포함하는 AR 사용자의 디바이스(500)의 위치 정보를 파악할 수 있다.
107 단계에서, 영상 처리 시스템(1000)은 공간맵 상에서의 AR 사용자의 디바이스(500)의 위치 정보 및 VR 사용자의 위치를 이용하여 공간맵 상에 적어도 하나 이상의 AR 사용자 및 적어도 하나 이상의 VR 사용자를 동기화시켜 표시할 수 있다.
영상 처리 시스템(1000)은 AR 사용자의 디바이스(500)의 위치 정보 및 VR 사용자의 위치를 기초로 서로 간의 근접도, 특정 영역내 존재여부, 특정 서비스 이용여부 및 동일 그룹여부 중 적어도 하나 이상을 포함하는 조건에 해당하는지 여부를 파악하여 동일한 공간맵 상에 존재하는 적어도 하나 이상의 AR 사용자 또는 적어도 하나 이상의 VR 사용자를 파악할 수 있다.
109 단계에서, 영상 처리 시스템(1000)은 동일한 공간맵 상에 위치하는 적어도 하나 이상의 AR 사용자 또는 적어도 하나 이상의 VR 사용자 간에 채팅 서비스, 영상 통화 서비스 및 데이터 전송 서비스 중 적어도 하나 이상의 서비스를 제공할 수 있다.
111 단계에서, 영상 처리 시스템(1000)은 공간맵에 제2 현실공간 이미지를 오버레이하여 표시할 수 있다.
구체적으로, 영상 처리 시스템(1000)은 AR 사용자의 디바이스(500)로부터 실시간으로 촬영되는 제2 현실공간 이미지와 AR 사용자의 디바이스(500)의 위치 정보를 이용하여 공간맵 상에서 제2 현실공간 이미지에 대응되는 위치를 파악할 수 있다.
영상 처리 시스템(1000)은 파악된 공간맵의 해당 위치에 제2 현실공간 이미지를 오버레이(overlay)하여 표시할 수 있다.
도 10은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에 서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 공간맵 서버(100), 위치 인식 서버(200), 커뮤니케이션 서버(300), VR 사용자의 디바이스(400) 또는 AR 사용자의 디바이스(500)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 공간맵 서버
200: 위치 인식 서버
300: 커뮤니케이션 서버
400: VR 사용자의 디바이스
500: AR 사용자의 디바이스

Claims (20)

  1. 현실공간을 스캔하여 획득한 복수의 제1 현실공간 이미지로부터의 포인트 클라우드와 복수의 시점 영상들을 이용하여 공간맵을 생성하는 공간맵 서버;
    상기 공간맵으로부터 추출된 위치 인식 데이터를 저장하고, 상기 위치 인식 데이터와 AR 사용자의 디바이스를 통해 획득된 제2 현실공간 이미지를 비교하여 상기 공간맵 상에서의 상기 AR 사용자의 디바이스의 위치 정보를 파악하는 위치 인식 서버; 및
    상기 공간맵 상에서의 상기 AR 사용자의 디바이스의 위치 정보 및 상기 공간맵 상에서의 VR 사용자의 위치를 저장 및 제공하고, 이를 이용하여 상기 공간맵 상에서 적어도 하나 이상의 AR 사용자 및 적어도 하나 이상의 VR 사용자를 동기화하여 표시하는 커뮤니케이션 서버를 포함하고,
    상기 커뮤니케이션 서버는, 상기 AR 사용자의 디바이스의 위치 정보 및 상기 VR 사용자의 위치를 기초로 서로 간의 근접도, 특정 영역내 존재여부, 특정 서비스 이용여부 및 동일 그룹여부 중 적어도 하나 이상의 조건에 해당하는지 여부를 파악하여 동일한 공간맵 상에 존재하는 상기 적어도 하나 이상의 AR 사용자 또는 상기 적어도 하나 이상의 VR 사용자를 파악하는 메타버스 환경에서의 영상 처리 시스템.
  2. 청구항 1에 있어서,
    상기 위치 인식 데이터는, 상기 공간맵 내 점의 3차원 위치값 및 이에 매칭되는 복수의 제1 디스크립터를 포함하는 메타버스 환경에서의 영상 처리 시스템.
  3. 청구항 2에 있어서,
    상기 위치 인식 서버는,
    상기 위치 인식 데이터로부터 추출된 상기 복수의 제1 디스크립터와 상기 제2 현실공간 이미지로부터 추출된 복수의 제2 디스크립터를 비교하여 상기 공간맵 상에서의 상기 AR 사용자의 디바이스의 위치좌표 및 응시 방향을 포함하는 상기 AR 사용자의 디바이스의 위치 정보를 파악하는 메타버스 환경에서의 영상 처리 시스템.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 커뮤니케이션 서버는,
    상기 동일한 공간맵 상에 위치하는 상기 적어도 하나 이상의 AR 사용자 또는 상기 적어도 하나 이상의 VR 사용자 간에 채팅 서비스, 영상 통화 서비스 및 데이터 전송 서비스 중 적어도 하나 이상의 서비스를 제공하는 메타버스 환경에서의 영상 처리 시스템.
  6. 청구항 1에 있어서,
    상기 공간맵 서버는,
    상기 AR 사용자의 디바이스로부터 실시간으로 촬영되는 상기 제2 현실공간 이미지와 상기 AR 사용자의 디바이스의 위치 정보를 이용하여 상기 공간맵 상에서 상기 제2 현실공간 이미지에 대응되는 위치를 파악하고, 파악된 상기 공간맵의 해당 위치에 상기 제2 현실공간 이미지를 오버레이(overlay)하여 VR 사용자의 디바이스로 제공하는 메타버스 환경에서의 영상 처리 시스템.
  7. 청구항 1에 있어서,
    상기 AR 사용자의 디바이스로부터 실시간으로 촬영되는 상기 제2 현실공간 이미지와 상기 AR 사용자의 디바이스의 위치 정보를 이용하여 상기 공간맵 상에서 상기 제2 현실공간 이미지에 대응되는 위치를 파악하고, 파악된 상기 공간맵의 해당 위치에 상기 제2 현실공간 이미지를 오버레이(overlay)하여 화면 상에 표시하는 VR 사용자의 디바이스를 더 포함하는 메타버스 환경에서의 영상 처리 시스템.
  8. 청구항 7에 있어서,
    상기 VR 사용자의 디바이스는,
    상기 AR 사용자의 디바이스의 위치 정보를 이용하여 상기 공간맵 상에 상기 AR 사용자를 포함시켜 화면 상에 표시하는 메타버스 환경에서의 영상 처리 시스템.
  9. 청구항 1에 있어서,
    상기 커뮤니케이션 서버로부터 전달되는 상기 공간맵 상의 상기 VR 사용자의 위치를 이용하여 실시간으로 촬영되는 상기 제2 현실공간 이미지 상에 상기 VR 사용자를 표시하는 AR 사용자의 디바이스를 더 포함하는 메타버스 환경에서의 영상 처리 시스템.
  10. 복수의 제1 현실공간 이미지로부터의 포인트 클라우드와 복수의 시점 영상들을 이용하여 생성한 공간맵을 저장하고, AR 사용자의 디바이스로부터 실시간으로 촬영되는 복수의 제2 현실공간 이미지와 상기 AR 사용자의 디바이스의 위치 정보를 이용하여 상기 공간맵 상에서 상기 제2 현실공간 이미지에 대응되는 위치를 파악하고, 파악된 상기 공간맵의 해당 위치에 상기 제2 현실공간 이미지를 오버레이(overlay)하여 화면 상에 표시하는 VR 사용자의 디바이스;
    상기 공간맵으로부터 추출된 위치 인식 데이터를 저장하고, 상기 위치 인식 데이터와 현실공간을 스캔하여 획득한 상기 제2 현실공간 이미지를 비교하여 상기 공간맵 상에서의 자신의 위치 정보를 파악 및 제공하는 AR 사용자의 디바이스; 및
    상기 공간맵 상에서의 상기 AR 사용자의 디바이스의 위치 정보 및 상기 공간맵 상에서의 VR 사용자의 위치를 저장 및 제공하고, 이를 이용하여 공간맵 상에서 적어도 하나 이상의 AR 사용자 또는 적어도 하나 이상의 VR 사용자를 표시하는 커뮤니케이션 서버를 포함하고,
    상기 커뮤니케이션 서버는, 상기 AR 사용자의 디바이스의 위치 정보 및 상기 VR 사용자의 위치를 기초로 서로 간의 근접도, 특정 영역내 존재여부, 특정 서비스 이용여부 및 동일 그룹여부 중 적어도 하나 이상을 포함하는 조건에 해당하는지 여부를 파악하여 동일한 공간맵 상에 존재하는 상기 적어도 하나 이상의 AR 사용자 또는 상기 적어도 하나 이상의 VR 사용자를 파악하는 메타버스 환경에서의 영상 처리 시스템.
  11. 청구항 10에 있어서,
    상기 AR 사용자의 디바이스는,
    상기 위치 인식 데이터로부터 추출된 복수의 제1 디스크립터와 상기 제2 현실공간 이미지로부터 추출된 복수의 제2 디스크립터를 비교하여 상기 공간맵 상에서의 상기 AR 사용자의 디바이스의 위치좌표 및 응시 방향을 포함하는 상기 AR 사용자의 디바이스의 위치 정보를 파악하는 메타버스 환경에서의 영상 처리 시스템.
  12. 청구항 10에 있어서,
    상기 VR 사용자의 디바이스는,
    상기 AR 사용자의 디바이스의 위치 정보를 이용하여 상기 공간맵 상에 상기 AR 사용자를 포함시켜 화면 상에 표시하는 메타버스 환경에서의 영상 처리 시스템.
  13. 삭제
  14. 청구항 10에 있어서,
    상기 커뮤니케이션 서버는,
    상기 동일한 공간맵 상에 위치하는 상기 적어도 하나 이상의 AR 사용자 또는 상기 적어도 하나 이상의 VR 사용자 간에 채팅 서비스, 영상 통화 서비스 및 데이터 전송 서비스 중 적어도 하나 이상의 서비스를 제공하는 메타버스 환경에서의 영상 처리 시스템.
  15. 청구항 10에 있어서,
    상기 AR 사용자의 디바이스는,
    상기 VR 사용자의 디바이스로부터 전달되는 상기 공간맵 상의 상기 VR 사용자의 위치를 이용하여 실시간으로 촬영되는 상기 제2 현실공간 이미지 상에 상기 VR 사용자를 표시하는 메타버스 환경에서의 영상 처리 시스템.
  16. 현실공간을 스캔하여 획득한 복수의 제1 현실공간 이미지로부터의 포인트 클라우드와 복수의 시점 영상들을 이용하여 공간맵을 생성하는 단계;
    상기 공간맵으로부터 위치 인식 데이터를 추출하는 단계;
    상기 위치 인식 데이터와 AR 사용자의 디바이스를 통해 획득된 제2 현실공간 이미지를 비교하여 상기 공간맵 상에서의 상기 AR 사용자의 디바이스의 위치 정보를 파악하는 단계; 및
    상기 공간맵 상에서의 상기 AR 사용자의 디바이스의 위치 정보 및 VR 사용자의 위치를 이용하여 상기 공간맵 상에 적어도 하나 이상의 AR 사용자 및 적어도 하나 이상의 VR 사용자를 동기화시켜 표시하는 단계를 포함하고,
    상기 공간맵 상에 적어도 하나 이상의 AR 사용자 및 적어도 하나 이상의 VR 사용자를 동기화하여 표시하는 단계에서, 상기 AR 사용자의 디바이스의 위치 정보 및 상기 VR 사용자의 위치를 기초로 서로 간의 근접도, 특정 영역내 존재여부, 특정 서비스 이용여부 및 동일 그룹여부 중 적어도 하나 이상을 포함하는 조건에 해당하는지 여부를 파악하여 동일한 공간맵 상에 존재하는 상기 적어도 하나 이상의 AR 사용자 또는 상기 적어도 하나 이상의 VR 사용자를 파악하는 메타버스 환경에서의 영상 처리 방법.
  17. 청구항 16에 있어서,
    상기 위치 인식 데이터는 상기 공간맵 내 점의 3차원 위치값 및 이에 매칭되는 복수의 제1 디스크립터를 포함하고,
    상기 AR 사용자의 디바이스의 위치 정보를 파악하는 단계는,
    상기 AR 사용자의 디바이스에 의해서 촬영된 상기 제2 현실공간 이미지를 수신하는 단계;
    상기 제2 현실공간 이미지 내 점의 2차원 위치값 및 이에 매칭되는 복수의 제2 디스크립터를 추출하는 단계; 및
    상기 복수의 제1 디스크립터와 상기 복수의 제2 디스크립터를 비교하여 상기 공간맵 상에서의 상기 AR 사용자의 디바이스의 위치좌표 및 응시 방향을 포함하는 상기 AR 사용자의 디바이스의 위치 정보를 파악하는 단계를 포함하는 메타버스 환경에서의 영상 처리 방법.
  18. 삭제
  19. 청구항 17에 있어서,
    상기 공간맵 상에 적어도 하나 이상의 AR 사용자 및 적어도 하나 이상의 VR 사용자를 동기화하여 표시하는 단계 이후에,
    상기 동일한 공간맵 상에 위치하는 상기 적어도 하나 이상의 AR 사용자 또는 상기 적어도 하나 이상의 VR 사용자 간에 채팅 서비스, 영상 통화 서비스 및 데이터 전송 서비스 중 적어도 하나 이상의 서비스를 제공하는 단계를 더 포함하는 메타버스 환경에서의 영상 처리 방법.
  20. 청구항 17에 있어서,
    상기 공간맵 상에 적어도 하나 이상의 AR 사용자 및 적어도 하나 이상의 VR 사용자를 동기화하여 표시하는 단계 이후에,
    상기 AR 사용자의 디바이스로부터 실시간으로 촬영되는 상기 제2 현실공간 이미지와 상기 AR 사용자의 디바이스의 위치 정보를 이용하여 상기 공간맵 상에서 상기 제2 현실공간 이미지에 대응되는 위치를 파악하는 단계; 및
    파악된 상기 공간맵의 해당 위치에 상기 제2 현실공간 이미지를 오버레이(overlay)하여 표시하는 단계를 포함하는 메타버스 환경에서의 영상 처리 방법.
KR1020210149459A 2021-11-03 2021-11-03 메타버스 환경에서의 영상 처리 시스템 및 방법 KR102402580B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210149459A KR102402580B1 (ko) 2021-11-03 2021-11-03 메타버스 환경에서의 영상 처리 시스템 및 방법
US17/545,222 US20230137219A1 (en) 2021-11-03 2021-12-08 Image processing system and method in metaverse environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210149459A KR102402580B1 (ko) 2021-11-03 2021-11-03 메타버스 환경에서의 영상 처리 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102402580B1 true KR102402580B1 (ko) 2022-05-26

Family

ID=81810153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210149459A KR102402580B1 (ko) 2021-11-03 2021-11-03 메타버스 환경에서의 영상 처리 시스템 및 방법

Country Status (2)

Country Link
US (1) US20230137219A1 (ko)
KR (1) KR102402580B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102520606B1 (ko) * 2022-09-14 2023-04-12 주식회사 심시스글로벌 메타버스 스토어 공간 구축 방법, 메타버스 서핑 기반 쇼핑 서비스 제공 방법 및 이를 위한 메타버스 구현 시스템
KR102522384B1 (ko) * 2022-05-30 2023-04-14 에스케이증권 주식회사 메타버스 상에서의 문제 상황 해결 보상 방법 및 장치
KR102639282B1 (ko) 2023-11-28 2024-02-21 주식회사 오르카소프트 포인트 클라우드를 이용한 확장 현실 출력 서비스 제공 서버, 방법 및 시스템
WO2024075942A1 (ko) * 2022-10-04 2024-04-11 삼성전자 주식회사 메타버스의 사용자와 콜을 수행하는 전자 장치 및 그 동작 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240054688A1 (en) * 2022-08-11 2024-02-15 Qualcomm Incorporated Enhanced Dual Video Call with Augmented Reality Stream

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101923723B1 (ko) * 2012-09-17 2018-11-29 한국전자통신연구원 사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법
KR20200038534A (ko) * 2017-09-18 2020-04-13 애플 인크. 포인트 클라우드 압축
KR20200076178A (ko) 2018-12-19 2020-06-29 한국전자통신연구원 가상증강현실 제공 방법, 이를 이용하는 가상증강현실 제공 장치 및 향기 프로젝터

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10685456B2 (en) * 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
US11475652B2 (en) * 2020-06-30 2022-10-18 Samsung Electronics Co., Ltd. Automatic representation toggling based on depth camera field of view

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101923723B1 (ko) * 2012-09-17 2018-11-29 한국전자통신연구원 사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법
KR20200038534A (ko) * 2017-09-18 2020-04-13 애플 인크. 포인트 클라우드 압축
KR20200076178A (ko) 2018-12-19 2020-06-29 한국전자통신연구원 가상증강현실 제공 방법, 이를 이용하는 가상증강현실 제공 장치 및 향기 프로젝터

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102522384B1 (ko) * 2022-05-30 2023-04-14 에스케이증권 주식회사 메타버스 상에서의 문제 상황 해결 보상 방법 및 장치
KR102520606B1 (ko) * 2022-09-14 2023-04-12 주식회사 심시스글로벌 메타버스 스토어 공간 구축 방법, 메타버스 서핑 기반 쇼핑 서비스 제공 방법 및 이를 위한 메타버스 구현 시스템
WO2024075942A1 (ko) * 2022-10-04 2024-04-11 삼성전자 주식회사 메타버스의 사용자와 콜을 수행하는 전자 장치 및 그 동작 방법
KR102639282B1 (ko) 2023-11-28 2024-02-21 주식회사 오르카소프트 포인트 클라우드를 이용한 확장 현실 출력 서비스 제공 서버, 방법 및 시스템

Also Published As

Publication number Publication date
US20230137219A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
KR102402580B1 (ko) 메타버스 환경에서의 영상 처리 시스템 및 방법
US10776933B2 (en) Enhanced techniques for tracking the movement of real-world objects for improved positioning of virtual objects
CN114625304B (zh) 虚拟现实和跨设备体验
US8644467B2 (en) Video conferencing system, method, and computer program storage device
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN112243583B (zh) 多端点混合现实会议
US20090257730A1 (en) Video server, video client device and video processing method thereof
CN112074797A (zh) 用于将虚拟对象锚定到物理位置的系统和方法
CN111414225B (zh) 三维模型远程展示方法、第一终端、电子设备及存储介质
US9392248B2 (en) Dynamic POV composite 3D video system
KR101768532B1 (ko) 증강 현실을 이용한 화상 통화 시스템 및 방법
KR20160112898A (ko) 증강현실 기반 동적 서비스 제공 방법 및 장치
US10438064B2 (en) Live pictures in mixed reality
US11037321B2 (en) Determining size of virtual object
US20180316877A1 (en) Video Display System for Video Surveillance
US11095874B1 (en) Stereoscopic viewer
US10955911B2 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
KR20180120456A (ko) 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법
CN105138763A (zh) 一种增强现实中实景与现实信息叠加的方法
CN107204026B (zh) 一种用于显示动画的方法和装置
US11592906B2 (en) Ocular focus sharing for digital content
US20150281351A1 (en) Methods, systems, and non-transitory machine-readable medium for incorporating a series of images resident on a user device into an existing web browser session
CN116530078A (zh) 用于显示从多个视角采集的经立体渲染的图像数据的3d视频会议系统和方法
CN113867875A (zh) 标记对象的编辑及显示方法、装置、设备、存储介质
KR20210055381A (ko) 스마트 디스플레이를 통해 증강 현실 컨텐츠를 제공하는 장치, 방법 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant