KR101918262B1 - 혼합 현실 서비스 제공 방법 및 시스템 - Google Patents

혼합 현실 서비스 제공 방법 및 시스템 Download PDF

Info

Publication number
KR101918262B1
KR101918262B1 KR1020170175373A KR20170175373A KR101918262B1 KR 101918262 B1 KR101918262 B1 KR 101918262B1 KR 1020170175373 A KR1020170175373 A KR 1020170175373A KR 20170175373 A KR20170175373 A KR 20170175373A KR 101918262 B1 KR101918262 B1 KR 101918262B1
Authority
KR
South Korea
Prior art keywords
terminal
mixed reality
modeling data
virtual image
dimensional modeling
Prior art date
Application number
KR1020170175373A
Other languages
English (en)
Inventor
안길재
홍준표
김상훈
Original Assignee
(주) 알큐브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 알큐브 filed Critical (주) 알큐브
Priority to KR1020170175373A priority Critical patent/KR101918262B1/ko
Priority to CN201880082881.2A priority patent/CN111527525A/zh
Priority to US16/956,360 priority patent/US11206373B2/en
Priority to PCT/KR2018/013325 priority patent/WO2019124726A1/ko
Application granted granted Critical
Publication of KR101918262B1 publication Critical patent/KR101918262B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06F17/5009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 서버의 혼합 현실 서비스를 제공하기 위한 방법으로, 임의의 3차원 모델링 데이터를 위한 혼합 현실 회의실을 생성하는 단계, 상기 혼합 현실 회의실에 참여한 적어도 하나의 단말에서 수집된 트랙킹 정보를 수신하는 단계, 상기 트랙킹 정보를 기초로 상기 3차원 모델링 데이터 및 적어도 하나의 오브젝트에 대한 가상 이미지를 생성하는 단계 및 상기 가상 이미지를 상기 적어도 하나의 단말로 전송하는 단계를 포함하되, 상기 트랙킹 정보는, 각 단말의 현실 공간에 대한 공간 식별 정보 및 각 단말의 움직임 정보를 포함하고, 상기 가상 이미지는, 상기 적어도 하나의 단말에서 현실 이미지와 합성되어 혼합 현실 이미지로 표시되는 것을 특징으로 하는 방법 및 이를 수행하는 시스템에 관한 것이다.

Description

혼합 현실 서비스 제공 방법 및 시스템{Method and system for providing mixed reality service}
본 발명은 혼합 현실 서비스 제공 방법 및 시스템에 관한 것으로, 보다 구체적으로 혼합 현실 공간에서 복수의 단말 사용자가 3차원 모델링 데이터를 공유할 수 있도록 하는 혼합 현실 서비스 제공 방법 및 시스템에 관한 것이다.
최근 3차원 영상 처리 기술이 급속도로 발전하면서, 영화, 게임, 인테리어 등 다양한 분야에 가상 현실(Virtual Reality; VR) 또는 증강 현실(Augmented Reality; AR)을 이용한 서비스가 제공되고 있다. 증강 현실 이후에 등장한 혼합 현실(Mixed Reality; MR)은 현실의 이미지와 3차원 모델링 데이터로 구현된 가상의 이미지를 합성하여 표시함으로써, 사용자에게 현실과 가상 이미지의 경계가 없는 이미지를 제공한다.
한편, 건축물의 설계 분야에서도 설계 데이터를 3차원 모델링 데이터 화하여 보다 입체감 있게 건축물의 구조를 파악할 수 있도록 하는 기술이 개발되고 있다.
건축물 설계에 있어서, 건축 업체뿐만 아니라, 전기/가스 등 건축 내부 설비나 인테리어 등을 위한 다양한 용역 업체들이 참여하여 동시 다발적으로 설계 데이터에 대한 처리 작업을 수행한다. 이러한 종래의 공유 방식은, 설계 데이터에 대한 처리가 누락되거나 착오를 일으켜 건축물 설계를 비효율적으로 이루어지게 할 우려가 있다.
건축물 설계 분야뿐만 아니라, 기술이 급속도로 발전하고 다양한 분야의 기술자들이 신속하게 정보를 공유해야 하는 현재의 추세에 비추어, 원격지의 사용자들이 실시간으로 데이터를 공유하고 협업할 수 있도록 하는 서비스의 제공이 요구된다.
본 발명은 상기한 문제점을 해결하기 위한 것으로, 혼합 현실 공간에서 다수의 사용자들이 3차원 모델링 데이터를 실시간으로 공유하고 원격에서 협업할 수 있도록 하는 혼합 현실 서비스 제공 방법 및 시스템을 제공한다.
또한, 본 발명은 혼합 현실 공간에서 3차원 모델링 데이터 및 다양한 오브젝트들을 사용자의 현실 공간에 적합하게 스케일링하여 표시될 수 있도록 하는 혼합 현실 서비스 제공 방법 및 시스템을 제공한다.
상술한 과제를 해결하기 위한 본 발명에 따른 혼합 현실 서비스 제공 방법은 서버의 혼합 현실 서비스를 제공하기 위한 방법으로, 임의의 3차원 모델링 데이터를 위한 혼합 현실 회의실을 생성하는 단계, 상기 혼합 현실 회의실에 참여한 적어도 하나의 단말에서 수집된 트랙킹 정보를 수신하는 단계, 상기 트랙킹 정보를 기초로 상기 3차원 모델링 데이터 및 적어도 하나의 오브젝트에 대한 가상 이미지를 생성하는 단계 및 상기 가상 이미지를 상기 적어도 하나의 단말로 전송하는 단계를 포함하되, 상기 트랙킹 정보는, 각 단말의 현실 공간에 대한 공간 식별 정보 및 각 단말의 움직임 정보를 포함하고, 상기 가상 이미지는, 상기 적어도 하나의 단말에서 현실 이미지와 합성되어 혼합 현실 이미지로 표시되는 것을 특징으로 할 수 있다.
또한, 상기 가상 이미지를 생성하는 단계는, 상기 각 단말의 움직임 정보를 기초로 상기 3차원 모델링 데이터의 표시 방향 및 모양 중 적어도 하나를 결정하는 단계, 상기 각 단말의 공간 식별 정보로부터 면상의 영역을 판단하는 단계 및 상기 면상의 영역 내에 상기 3차원 모델링 데이터를 배치하는 단계를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 가상 이미지를 생성하는 단계는, 상기 면상의 영역의 크기에 따라 상기 3차원 모델링 데이터의 크기를 확대 또는 축소하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상기 가상 이미지를 생성하는 단계는, 각 단말의 사용자를 모사하는 적어도 하나의 오브젝트를 생성하는 단계 및 상기 각 단말의 움직임 정보를 기초로 상기 적어도 하나의 오브젝트의 표시 방향 및 위치 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 적어도 하나의 오브젝트의 표시 방향 및 위치 중 적어도 하나를 결정하는 단계는, 상기 각 단말의 공간 식별 정보로부터 임의의 기준점을 결정하는 단계, 상기 각 단말의 공간 식별 정보로부터 상기 각 단말의 현실 공간의 크기를 판단하는 단계 및 상기 각 단말의 현실 공간의 크기에 따라 상기 임의의 기준점에 대하여 상기 적어도 하나의 오브젝트를 결집 또는 분산하여 배치하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상기 방법은, 상기 혼합 현실 이미지상에 표시되는 적어도 하나의 사용자 인터페이스를 통하여 상기 3차원 모델링 데이터의 처리 요청을 수신하는 단계, 상기 처리 요청에 대응하여 상기 3차원 모델링 데이터를 편집하는 단계, 상기 편집된 3차원 모델링 데이터를 기초로 상기 가상 이미지를 재생성하는 단계 및 상기 재생성된 가상 이미지를 상기 적어도 하나의 단말로 전송하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상기 3차원 모델링 데이터는, 건축물 설계를 위한 모델링 데이터, 제품에 관한 3차원 데이터 및 디자인 단계에서 생성되는 3차원 모델링 데이터 중 어느 하나인 것을 특징으로 할 수 있다.
또한, 상기 방법은, 상기 단말에서 표시되는 상기 혼합 현실 이미지를 모니터링 장치로 전송하여 상기 단말의 사용자 이외의 적어도 하나의 사용자를 위해 상기 모니터링 장치에서 표시되도록 하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 혼합 현실 서비스 제공 시스템은, 혼합 현실 서비스를 제공하는 시스템으로, 혼합 현실 회의실에 참여하는 동안 트랙킹 정보를 수집하여 전송하는 적어도 하나의 단말 및 임의의 3차원 모델링 데이터를 위한 혼합 현실 회의실을 생성하고, 상기 혼합 현실 회의실에 참여하는 상기 적어도 하나의 단말로부터 수신된 상기 트랙킹 정보를 기초로 상기 3차원 모델링 데이터 및 적어도 하나의 오브젝트에 대한 가상 이미지를 생성하여 상기 적어도 하나의 단말로 전송하는 서버를 포함하되, 상기 트랙킹 정보는, 각 단말의 현실 공간에 대한 공간 식별 정보 및 각 단말의 움직임 정보를 포함하고, 상기 적어도 하나의 단말은, 상기 적어도 하나의 단말에서 촬영되는 현실 이미지와 상기 가상 이미지를 합성하여 혼합 현실 이미지로 표시하는 것을 특징으로 할 수 있다.
또한, 상기 서버는, 상기 각 단말의 움직임 정보를 기초로 상기 3차원 모델링 데이터의 표시 방향 및 모양 중 적어도 하나를 결정하고, 상기 각 단말의 공간 식별 정보로부터 면상의 영역을 판단하고, 상기 면상의 영역 내에 상기 3차원 모델링 데이터를 배치하여 상기 가상 이미지를 생성하는 것을 특징으로 할 수 있다.
또한, 상기 서버는, 상기 면상의 영역의 크기에 따라 상기 3차원 모델링 데이터의 크기를 확대 또는 축소하여 상기 가상 이미지를 생성하는 것을 특징으로 할 수 있다.
또한, 상기 서버는, 각 단말의 사용자를 모사하는 적어도 하나의 오브젝트를 생성하고, 상기 각 단말의 움직임 정보를 기초로 상기 적어도 하나의 오브젝트의 표시 방향 및 위치 중 적어도 하나를 결정하여 상기 가상 이미지를 생성하는 것을 특징으로 할 수 있다.
또한, 상기 서버는, 상기 각 단말의 공간 식별 정보로부터 임의의 기준점을 결정하고, 상기 각 단말의 공간 식별 정보로부터 상기 각 단말의 현실 공간의 크기를 판단하고, 상기 각 단말의 현실 공간의 크기에 따라 상기 임의의 기준점에 대하여 상기 적어도 하나의 오브젝트를 결집 또는 분산하여 배치하여 상기 가상 이미지를 생성하는 것을 특징으로 할 수 있다.
또한, 상기 단말은, 상기 혼합 현실 이미지상에 표시된 적어도 하나의 사용자 인터페이스를 통하여 수신되는 사용자 입력을 기초로, 상기 3차원 모델링 데이터의 처리 요청을 상기 서버로 전송하고, 상기 서버는, 상기 처리 요청에 대응하여 상기 3차원 모델링 데이터를 편집하고, 상기 편집된 3차원 모델링 데이터를 기초로 상기 가상 이미지를 재생성하고, 상기 재생성된 가상 이미지를 상기 적어도 하나의 단말로 전송하는 것을 특징으로 할 수 있다.
또한, 상기 3차원 모델링 데이터는, 건축물 설계를 위한 모델링 데이터, 제품에 관한 3차원 데이터 및 디자인 단계에서 생성되는 3차원 모델링 데이터 중 어느 하나인 것을 특징으로 할 수 있다.
또한, 상기 시스템은, 상기 단말로부터 상기 단말에서 표시되는 상기 혼합 이미지를 수신하여 상기 단말의 사용자 이외의 적어도 하나의 사용자를 위해 표시하는 모니터링 장치를 더 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 혼합 현실 서비스 제공 방법 및 시스템은, 원격의 사용자들의 혼합 현실 공간에서 현실감 있게 3차원 모델링 데이터를 실시간으로 확인하고 편집 현황을 공유함으로써, 보다 효율적인 협업이 가능하게 한다.
또한, 본 발명에 따른 혼합 현실 서비스 제공 방법 및 시스템은, 건축물 설계 분야에서 3차원 모델링 데이터의 활용을 극대화하고 건축물 설계에 소요되는 시간과 자원을 최소화할 수 있도록 한다.
도 1은 본 발명에 따른 혼합 현실 서비스 제공 시스템의 네트워크 구조를 나타낸 도면이다.
도 2는 본 발명에 따른 서버의 구조를 나타낸 도면이다.
도 3은 본 발명에 따른 단말의 구조를 나타낸 도면이다.
도 4는 본 발명에 따른 단말이 헤드 마운트 디스플레이 장치로 구현되는 일 예를 나타낸 도면이다.
도 5는 본 발명에 따른 혼합 현실 서비스 구동 방법을 나타낸 흐름도이다.
도 6은 본 발명에 따른 3차원 모델링 데이터의 저장 방법을 나타낸 흐름도이다.
도 7 및 도 8은 본 발명에 따른 혼합 현실 회의실 제공 방법을 나타낸 흐름도이다.
도 9 및 도 10은 본 발명에 따른 3차원 스케일링을 설명하기 위한 도면이다.
도 11은 본 발명에 따른 혼합 현실 이미지의 일 예를 나타낸 도면이다.
도 12는 본 발명의 추가적인 실시 예에 따른 혼합 현실 서비스 제공 시스템의 네트워크 구조를 나타낸 도면이다.
본 명세서의 실시 예를 설명함에 있어 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우, 그 상세한 설명은 생략될 수 있다.
본 명세서에서 사용되는 "포함한다," "포함할 수 있다." 등의 표현은 개시된 해당 기능, 동작, 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작, 구성요소 등을 제한하지 않는다. 또한, 본 명세서에서, "포함하다." 또는 "가지다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 　
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 발명에 따른 혼합 현실 서비스 제공 방법 및 시스템은 건축물 설계를 위해 제공될 수 있다. 보다 구체적으로, 본 발명에 따른 혼합 현실 서비스 제공 방법 및 시스템은 3차원 모델링 데이터로써 건축물의 설계 데이터를 혼합 현실 회의실에 입장한 다수의 사용자 단말에 혼합 현실로 표시하고, 설계 정보를 관리(추가/수정/삭제 등)할 수 있도록 하기 위해 구성될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명을 설명한다.
도 1은 본 발명에 따른 혼합 현실 서비스 제공 시스템의 네트워크 구조를 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 혼합 현실 서비스 제공 시스템(1)은 혼합 현실 서비스를 제공하는 서버(10)와 혼합 현실 서비스를 제공받는 적어도 하나의 단말(20)을 포함하여 구성될 수 있다.
서버(10)는 본 발명에 따른 혼합 현실 서비스를 제공하기 위하여 마련되는 것으로, 혼합 현실 서비스의 제공자에 의해 운영되는 네트워크 서버, 애플리케이션 서버, 도메인 서버 등일 수 있다.
서버(10)는 단말(20)로부터 혼합 현실 서비스 제공 요청 시, 혼합 현실 회의실을 개설하고, 회의실에 참가한 단말(20)의 현실 공간에 대응하여 처리된 3차원 모델링 데이터의 가상 이미지를 단말(20)에게 제공한다. 단말(20)에 제공된 가상 이미지는 단말(20)에서 촬영되는 현실 이미지와 합성되어 혼합 현실 이미지로 표시될 수 있다.
단말(20)은 서버(10)와 데이터 통신을 수행하여 혼합 현실 서비스를 제공받는다.
단말(20)은 셀룰러 전화기, 스마트 폰, 개인 휴대용 단말기(PDA), 태블릿, 컴퓨터 등과 같은 휴대형 유닛들을 포함할 수 있다. 특히, 본 발명의 다양한 실시 예에서, 단말(20)은 도 4에 도시된 바와 같이 헤드 마운트 디스플레이(Head Mounted Display; HMD)로 구성되어, 사용자에게 3차원 모델링 데이터를 보다 현실적으로 체험할 수 있도록 한다.
서버(10)와 단말(20)은 네트워크를 통해 상호 연결되어 데이터 통신을 수행하며, 혼합 현실 서비스를 위한 제어 동작을 수행한다. 이에 대하여 보다 구체적인 설명은 후술한다.
도 2는 본 발명에 따른 서버의 구조를 나타낸 도면이다.
도 2를 참조하면, 서버(10)는 통신부(11), 제어부(12) 및 저장부(13)를 포함하여 구성될 수 있다.
통신부(11)는 네트워크를 통해 외부와 데이터를 송수신할 수 있다. 일 예로 통신부(11)는 단말(20)로부터 사용자 입력에 대응하는 요청 및 가상 이미지 생성을 위해 필요한 정보 등을 수신하고, 제어부(12)의 제어에 따라 단말(20)로 현실 이미지 상에 합성될 가상 이미지를 전송할 수 있다.
제어부(12)는 본 발명에 따른 혼합 현실 서비스를 제공하기 위하여, 서버(10)의 각 구성 요소들을 제어하도록 구성된다. 보다 구체적으로, 제어부(12)는 데이터 변환부(121), 혼합 현실 서비스 제공부(122) 및 가상 이미지 생성부(123)를 포함하여 구성될 수 있다.
데이터 변환부(121)는 2차원 모델링 데이터를 3차원으로 변환하여 3차원 모델링 데이터를 생성한다. 데이터 변환부(121)는 네트워크를 통하여 단말(20) 등으로부터 2차원 모델링 데이터가 수신되면, 지정된 소프트웨어(예를 들어, AUTOCAD, autodesk 등)를 이용하여 이를 3차원 모델링 데이터로 변환할 수 있다. 또는, 데이터 변환부(121)는 네트워크를 통하여 단말(20) 등으로부터 수신된 모델링 데이터가 3차원 모델링 데이터인 경우에도, 서버(10)에서 혼합 현실 서비스를 제공하기 위해 지원하는 형식(포맷)이 아니면, 수신된 3차원 모델링 데이터를 지원하는 형식으로 변환할 수 있다.
본 발명의 다양한 실시 예에서, 3차원 모델링 데이터는 건축물 설계를 위한 모델링 데이터일 수 있다. 3차원 모델링 데이터는 제품에 관한 3차원 데이터, 디자인 단계에서 생성되는 3차원 모델링 데이터 등일 수 있다. 특히, 본 발명의 다양한 실시 예에서, 3차원 모델링 데이터는 빌딩 정보 모델링(Building Information Modeling; BIM) 데이터로써 IFC(Industry Foundation Classes) 데이터일 수 있으나, 이에 한정되지는 않는다. 건축물 설계를 위한 3차원 모델링 데이터는 건축물의 구조, 형태, 치수, 재료, 재질, 색상, 무늬, 설비 등에 관련된 정보를 포함할 수 있다.
일 실시 예에서, 단말(20) 등으로부터 수신된 데이터가 기설정된 형식의 3차원 모델링 데이터인 경우, 데이터 변환부(121)를 통한 별도의 변환 과정이 수행되지 않을 수 있다.
데이터 변환부(121)는 변환되거나 수신된 3차원 모델링 데이터를 저장부(13)에 저장하고 관리할 수 있다. 본 발명의 다양한 실시 예에서, 혼합 현실 서비스 제공부(122)에 의해 단말(20)을 위한 사용자 계정이 생성되는 경우, 데이터 변환부(121)는 사용자 계정 별로 지정된 데이터 디렉토리에 해당 사용자의 3차원 모델링 데이터를 저장할 수 있다.
혼합 현실 서비스 제공부(122)는 단말(20)로 혼합 현실 서비스를 제공하기 위한 각종 제어 동작들을 수행한다.
구체적으로, 혼합 현실 서비스 제공부(122)는 혼합 현실 서비스를 제공받는 단말(20)의 사용자 계정을 생성하고 관리할 수 있다. 혼합 현실 서비스 제공부(122)는 혼합 현실 서비스를 통하여 생성되거나 획득되는 데이터를 사용자 계정과 연계하여 저장하고 관리할 수 있다. 일 예로, 혼합 현실 서비스 제공부(122)는 사용자 계정을 식별하기 위한 식별 정보로써 아이디(ID), 비밀번호(PASSWORD) 등을 저장하고 관리하며, 해당 사용자 계정과 관련된 모델링 데이터, 혼합 현실 회의실 등을 사용자 계정에 대응되는 데이터 디렉토리에 저장하고 관리할 수 있다.
혼합 현실 서비스 제공부(122)는 단말(20)의 요청에 의해 혼합 현실 서비스가 구동됨에 따라, 단말(20)로부터 가상 이미지 생성을 위해 필요한 정보, 예를 들어 트랙킹 정보를 수신하고, 수신된 정보를 가상 이미지 생성부(123)로 전달할 수 있다. 또한, 혼합 현실 서비스 제공부(122)는 가상 이미지 생성부(123)로부터 생성되는 가상 이미지를 단말(20)로 전달하여, 단말(20)에서 가상 이미지가 현실 이미지와 합성되어 혼합 현실 이미지로 구성될 수 있도록 한다.
혼합 현실 서비스 제공부(122)는 혼합 현실 서비스가 제공되는 동안, 단말(20)로부터 수신되는 사용자 입력에 따라 3차원 모델링 데이터를 편집하여 저장할 수 있다. 혼합 현실 서비스 제공부(122)는 편집된 3차원 모델링 데이터를 가상 이미지 생성부(123)로 전달하여, 편집된 3차원 모델링 데이터에 기초한 가상 이미지가 생성될 수 있도록 한다. 임의의 단말(20)에 의해 3차원 모델링 데이터가 편집되는 경우, 이를 기초로 재생성된 가상 이미지는 해당 단말(20) 및 적어도 하나의 다른 단말(20)로 전송될 수 있다. 그에 따라, 혼합 현실 서비스를 제공받는 적어도 하나의 단말(20)은 동시에 3차원 모델링 데이터의 편집 상황을 공유하면서 협업을 수행할 수 있다.
또한, 혼합 현실 서비스 제공부(122)는 혼합 현실 서비스가 제공되는 동안, 문자 채팅, 보이스 채팅, 그룹 콜 기능을 수행할 수 있다. 그에 따라 혼합 현실 서비스 제공부(122)는 단말(20)로부터 수신되는 문자 데이터 및/또는 음성 데이터를 적어도 하나의 다른 단말로 전송할 수 있다. 본 발명의 다양한 실시 예에서, 보이스 채팅 또는 그룹 콜 기능은 특정 단말(예를 들어, 마스터 단말)만 음성 출력을 허용하거나, 발언권 획득 방식(Push to Talk 방식)에 따라 수행될 수 있다.
가상 이미지 생성부(123)는 단말(20)로부터 수신된 트랙킹 정보를 기초로 가상 이미지를 생성할 수 있다. 트랙킹 정보는 예를 들어, 단말(20)의 현실 공간에 대한 식별 정보(예를 들어, 메쉬망 정보) 및 단말(20)의 3차원 회전, 이동 정보 등을 포함할 수 있다.
가상 이미지 생성부(123)는 단말(20)로부터 수신된 단말(20)의 트랙킹 정보를 기초로 3차원 모델링 데이터를 회전하거나 편집하고 특정 위치에 배치하여 가상 이미지를 생성할 수 있다. 또는, 가상 이미지 생성부(123)는 단말(20)의 트랙킹 정보를 기초로 사용자 인터페이스 오브젝트를 회전시키거나 특정 위치에 배치하여 가상 이미지를 생성할 수 있다. 또는, 가상 이미지 생성부(123)는 단말(20)의 트랙킹 정보를 기초로 사용자를 모사하는 오브젝트, 예를 들어 아바타를 회전하거나 특정 위치에 배치하여 가상 이미지를 생성할 수 있다.
다양한 실시 예에서, 가상 이미지 생성부(123)는 단말(20)의 트랙킹 정보를 기초로, 3차원 모델링 데이터를 스케일링(확대/축소)하여 가상 이미지를 생성할 수 있다. 또는 가상 이미지 생성부(123)는 단말(20)의 트랙킹 정보를 기초로, 적어도 하나의 사용자를 각각 모사하는 적어도 하나의 오브젝트에 대해 임의의 기준점을 기준으로 스케일링(결집/분산/재배치)하여 가상 이미지를 생성할 수 있다.
상술한 제어부(12)의 구성 요소들은 제어부(12) 내에 물리적으로 별개의 장치로써 구현될 수 있으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니다. 즉, 상술한 제어부(12)의 구성 요소들은 하나의 물리적인 프로세서 내에 모듈화되거나, 프로그램될 수 있다. 또한, 상술한 제어부(12)의 구성 요소들은 단순히 제어부(12)의 동작적인 측면으로 구분된 것에 불과하며, 상술한 구성 요소들의 적어도 하나 또는 전부는 하나의 구성 요소로 통합될 수 있다.
저장부(13)는 서버(10)의 동작을 위하여 필요한 운영 체제, 프로그램, 소프트웨어 등을 저장할 수 있다. 본 발명의 다양한 실시 예에서, 저장부(13)는 제어부(12)의 제어에 따라 적어도 하나의 3차원 모델링 데이터 및 혼합 현실 서비스를 제공하기 위해 필요한 데이터(예를 들어, 사용자 인터페이스 오브젝트, 사용자를 모사하는 오브젝트의 이미지 데이터)를 저장할 수 있다.
도 3은 본 발명에 따른 단말의 구조를 나타낸 도면이다.
도 3을 참조하면, 본 발명에 따른 단말(20)은 카메라부(21), 센서부(22), 입력부(23), 표시부(24), 출력부(25), 통신부(26), 제어부(27) 및 저장부(28)를 포함하여 구성될 수 있다.
카메라부(21)는 적어도 하나의 카메라 모듈을 구비하여 사용자 전방의 영상을 촬영하도록 형성된다. 본 발명의 다양한 실시 예에서, 카메라부(21)는 사용자의 현실 공간(피사체)의 형태와 깊이감을 식별할 수 있는 깊이 카메라(depth camera)를 포함하여 구성될 수 있다. 또한, 카메라부(21)는 사용자의 핸드 제스처 등을 촬영하기 위한 적외선 카메라 등을 포함하여 구성될 수 있다.
센서부(22)는 단말(20)의 동작에 관한 다양한 정보를 감지할 수 있는 적어도 하나의 센서를 포함하여 구성될 수 있다. 본 발명의 다양한 실시 예에서, 센서부(22)는 단말(20)의 3차원 회전이나 기울임, 이동과 같은 움직임을 감지하기 위한 자이로 센서나 가속도 센서, GPS 센서 등을 포함할 수 있다.
입력부(23)는 사용자의 다양한 입력을 수신한다. 입력부(23)는 터치 패드, 키 패드, 조그 다이얼, 돔 스위치, 버튼 등을 포함할 수 있다. 또는, 일 실시 예에서, 카메라부(21)를 통하여 사용자의 핸드 제스처를 입력으로 수신하는 경우, 입력부(23)는 카메라부(21)를 통하여 촬영된 핸드 제스처를 식별하는 동작을 수행하도록 구성될 수 있다. 또한, 다양한 실시 예에서, 입력부(23)는 사용자의 음성과 같은 음향을 입력받아 전기적인 음성 데이터로 처리하는 마이크를 더 포함할 수 있다.
표시부(24)는 단말(20)에서 처리되는 다양한 정보들을 시각적으로 표시할 수 있다. 본 발명의 다양한 실시 예에서, 단말(20)이 헤드 마운트 디스플레이(30)로 구성되는 경우 표시부(24)는 좌안용 영상을 표시하는 좌안용 표시부 및 우안용 영상을 표시하는 우안용 표시부를 포함하여 구성될 수 있다.
출력부(25)는 단말(20)에서 처리되는 정보들을 음향, 진동, 광 등의 다양한 형태로 출력하도록 구성된다. 이를 위하여, 출력부(25)는 스피커, 햅틱 모듈, LED 램프 등을 포함하여 구성될 수 있다.
통신부(26)는 네트워크를 통해 외부와 데이터를 송수신할 수 있다. 일 예로, 통신부(26)는 제어부(27)의 제어를 통하여, 서버(10)로 혼합 현실 서비스를 제공받기 위한 다양한 요청들 및/또는 정보를 전송하고, 서버(10)로부터 3차원 모델링 데이터 및/또는 다양한 오브젝트들에 대한 가상 이미지를 수신할 수 있다.
제어부(27)는 본 발명에 따른 혼합 현실 서비스를 제공받기 위하여, 단말(20)의 각 구성 요소들을 제어하도록 구성된다. 보다 구체적으로, 제어부(27)는 데이터 관리부(271), 혼합 현실 서비스 관리부(272) 및 혼합 현실 생성부(273)를 포함하여 구성될 수 있다.
데이터 관리부(271)는 사용자 입력에 따라 모델링 데이터를 생성하거나 서버(10) 등과 같은 외부로부터 다운로드하고, 모델링 데이터에 대한 관리(편집/삭제/저장 등)를 수행할 수 있다. 다양한 실시 예에서, 데이터 관리부(271)는 AUTOCAD, autodesk, archi CAD 등과 같은 다양한 모델링 프로그램을 구동하여, 모델링 데이터의 생성, 편집, 변환 등을 수행할 수 있다.
혼합 현실 서비스 관리부(272)는 서버(10)를 통하여 제공되는 혼합 현실 서비스에 관련된 동작을 제어한다.
구체적으로, 혼합 현실 서비스 관리부(272)는 사용자 입력에 대응하여, 서버(10)로 사용자 계정을 생성/관리하거나 사용자 계정에 로그인하기 위한 요청을 전송할 수 있다. 혼합 현실 서비스 관리부(272)는 서버(10)로 사용자 계정을 생성하거나 사용자 계정에 로그인하기 위한 식별 정보로써, 아이디, 비밀번호 등을 사용자에게 입력받고 이를 서버(10)로 전송할 수 있다.
혼합 현실 서비스 관리부(272)는 사용자 입력에 대응하여 데이터 관리부(271)에 의해 생성된 모델링 데이터를 서버(10)로 전송하거나, 서버(10)로부터 모델링 데이터를 다운로드할 수 있다.
혼합 현실 서비스 관리부(272)는 사용자 입력에 대응하여, 혼합 현실 서비스를 구동하기 위한 요청을 서버(10)로 전송할 수 있다. 혼합 현실 서비스가 구동함에 따라, 혼합 현실 서비스 관리부(272)는 카메라부(21) 및/또는 센서부(22)를 통하여 트랙킹 정보를 수집하고, 수집된 트랙킹 정보를 서버(10)로 전송할 수 있다. 혼합 현실 서비스 관리부(272)는 트랙킹 정보에 기초하여 생성된 가상 이미지를 서버(10)로부터 수신할 수 있다. 혼합 현실 서비스 관리부(272)는 수신된 가상 이미지를 혼합 현실 생성부(273)로 전달하여, 카메라부(21)를 통해 촬영되는 현실 이미지와 가상 이미지를 합성함으로써 혼합 현실 이미지가 생성되도록 할 수 있다.
혼합 현실 서비스 관리부(272)는 혼합 현실 서비스가 제공되는 동안, 서버(10)로부터 수신되고 혼합 현실 생성부(273)에 의해 표시된 적어도 하나의 사용자 인터페이스를 통하여, 사용자 입력, 예를 들어 3차원 모델링 데이터의 편집 등을 위한 입력을 수신할 수 있다. 혼합 현실 서비스 관리부(272)는 사용자 입력을 처리하여 서버(10)로 전달하고, 그에 대한 응답을 서버(10)로부터 수신하여 처리할 수 있다.
혼합 현실 서비스 관리부(272)는 혼합 현실 서비스가 제공되는 동안, 서버(10)에서 제공되는 문자 채팅, 보이스 채팅, 그룹 콜 등의 기능 수행을 위해, 입력부(23)를 통하여 문자, 음성 등을 입력받고, 이를 처리하여 서버(10)로 전달할 수 있다. 서버(10)로 전달된 문자, 음성 등의 입력은 서버(10)를 통하여 혼합 현실 서비스를 동시에 이용하는 적어도 하나의 다른 단말에게 전달될 수 있다.
혼합 현실 생성부(273)는 카메라부(21)를 통해 촬영된 현실 이미지와 서버(10)로부터 수신된 가상 이미지를 합성하여 혼합 현실 이미지를 생성한다. 생성된 혼합 현실 이미지는 표시부(24)를 통해 표시될 수 있다.
일 실시 예에서, 후술되는 바와 같이 단말(20)이 헤드 마운트 디스플레이(30)로 구성되는 경우, 혼합 현실 생성부(273)는 혼합 현실 이미지에 대한 좌안용 영상 및 우안용 영상을 생성할 수 있다. 생성된 좌안용 영상 및 우안용 영상은 헤드 마운트 디스플레이(30)의 좌안용 표시부 및 우안용 표시부에 각각 표시될 수 있다.
저장부(28)는 단말(20)의 동작을 위하여 필요한 운영 체제, 프로그램, 소프트웨어 등을 저장할 수 있다.
한편, 본 발명의 다양한 실시 예에서, 단말(20)은 도 4에 도시된 바와 같이 헤드 마운트 디스플레이(30)로 구성될 수 있다.
헤드 마운트 디스플레이(30)는 프레임(29)으로 구성될 수 있다. 프레임(29)은 사용자의 두부 등에 착용이 용이하도록 플렉서블한 재질로 형성될 수 있으며, 예를 들어 사용자의 안면에 착용 가능하도록 안경형으로 형성될 수 있다. 프레임(29)은 본체부 또는 바디부 등으로 명명될 수 있다. 프레임(29)에는 상술한 카메라부(21), 센서부(22), 입력부(23), 표시부(24) 및 출력부(25) 등이 마련될 수 있다.
표시부(24)는 사용자가 착용한 상태에서 좌안 및 우안에 각각 대응되는 좌안용 및 우안용 표시부(24)를 구비할 수 있다. 그에 따라, 헤드 마운트 디스플레이(30)는 사용자로 하여금 좌안용 영상과 우안용 영상의 시차에 대응하는 깊이감을 느낄 수 있도록 하고 보다 현실성있는 혼합 현실 공간을 체험할 수 있도록 한다.
그러나 헤드 마운트 디스플레이(30)의 구조는 상술한 것에 한정되지 않으며, 헤드 마운트 디스플레이는 다양한 구조 및 형태를 가질 수 있다.
이하에서는, 본 발명에 따른 혼합 현실 서비스 제공 시스템(1)을 통하여 혼합 현실 서비스를 제공하는 방법을 보다 구체적으로 설명한다. 이하에서 설명되는 혼합 현실 서비스 제공 방법은, 단말(20)에 설치되는 애플리케이션, 프로그램, 소프트웨어 등을 통해 수행되거나, HTTP 기반 웹 서비스를 통하여 수행될 수 있다. 그러나 본 발명의 기술적 사상은 이에 한정되지는 않으며, 다양한 방식을 통해 본 발명에 따른 혼합 현실 서비스 제공 방법이 실행될 수 있다.
도 5는 본 발명에 따른 혼합 현실 서비스의 구동 방법을 나타낸 흐름도이다.
도 5를 참조하면, 단말(20)은 혼합 현실 서비스의 구동을 위한 사용자 입력을 수신할 수 있다(501). 혼합 현실 서비스의 구동을 위한 사용자 입력은, 예를 들어 혼합 현실 서비스 제공을 위한 애플리케이션, 프로그램, 소프트웨어의 구동, 혼합 현실 서비스를 제공하는 웹 페이지로의 이동 등을 통하여 수신될 수 있다.
단말(20)은 사용자 입력에 대응하여 서버(10)로 혼합 현실 서비스의 구동 요청을 전송할 수 있다(502).
서버(10)는 단말(20)의 구동 요청에 대한 구동 응답을 단말(20)에게 전송할 수 있다(503). 다양한 실시 예에서, 서버(10)는 단말(20)에 대한 장치 인증 및/또는 보안 인증 등을 수행하여, 단말(20)에게 혼합 현실 서비스를 제공할 것인지 여부를 결정하고 단말(20)로 구동 응답을 전송할 수 있다.
다양한 실시 예에서, 상기와 같은 인증 과정은 별도로 수행되지 않을 수 있다.
혼합 현실 서비스의 구동 응답이 수신되면, 단말(20)은 트랙킹 정보를 실시간으로 수집할 수 있다(504). 다양한 실시 예에서, 단말(20)은 카메라부(21) 및/또는 센서부(22)를 통해 트랙킹 정보를 수집할 수 있다.
일 예로, 단말(20)은 카메라부(21)를 통하여 촬영되는 현실 공간에 대한 이미지를 분석하여 현실 공간의 형태, 깊이감 등을 식별할 수 있다. 공간 식별을 통해 단말(20)은 특정한 형상의 영역, 예를 들어 3차원 모델링 데이터가 표시될 수 있는 면상의 영역을 식별할 수 있다. 또한, 공간 식별을 통해 단말(20)은 사용자의 전방에 위치한 장애물(예를 들어, 가구 등)의 형태, 크기, 위치 등을 판단할 수 있다.
또한, 일 예로, 단말(20)은 센서부(22)를 통해 단말(20)의 3차원 회전이나 기울임, 이동과 같은 움직임을 감지할 수 있다.
본 발명에서 단말(20)에 의해 수집되는 트랙킹 정보는 상술한 공간 식별 정보 및 움직임 정보에 한정되는 것은 아니며, 가상 이미지를 생성하기 위해 요구되는 다양한 정보들, 예를 들어 마커 인지 정보, 핸드 제스처 식별 정보 등을 포함할 수 있다.
단말(20)은 수집된 트랙킹 정보를 실시간으로 서버(10)에 전송할 수 있다(505).
서버(10)는 수신된 트랙킹 정보를 기초로 가상 이미지를 생성할 수 있다(506). 구체적으로, 서버(10)는 혼합 현실 서비스를 제공하기 위해 필요한 오브젝트를 가상 이미지로 생성할 수 있다. 예를 들어, 서버(10)는 사용자 인터페이스 오브젝트를 가상 이미지로 생성할 수 있다. 사용자 인터페이스는 계정 생성, 계정 로그인, 계정 관리, 모델링 데이터 업로드/다운로드, 혼합 현실 회의실 참여/관리 등을 위한 사용자 인터페이스를 포함할 수 있다.
서버(10)는 오브젝트의 이미지에 트랙킹 정보에 대응하는 효과로써 회전시키거나 확대/축소시킬 수 있다. 또한, 서버(10)는 단말(20)의 표시부(24)에 표시되는 화면 상에서 오브젝트의 위치를 결정할 수 있다.
서버(10)는 생성된 가상 이미지를 단말(20)로 전송할 수 있다(507).
단말(20)은 수신된 가상 이미지를 카메라부(21)를 통하여 촬영되는 현실 이미지에 합성하여 혼합 현실 이미지를 생성할 수 있다(508). 이렇게 생성된 혼합 현실 이미지는 단말(20)이 위치한 현실 공간상에 혼합 현실 서비스를 이용하기 위해 필요한 사용자 인터페이스의 2차원 또는 3차원 이미지가 배치된 이미지일 수 있다.
단말(20)은 생성된 혼합 현실 이미지를 표시부(24)를 통해 표시할 수 있다(509).
혼합 현실 이미지가 표시되는 동안, 단말(20)은 계속해서 트랙킹 정보를 실시간으로 수집하고, 이를 서버(10)로 전송한다. 또한, 서버(10)는 계속해서 수신되는 트랙킹 정보를 기초로 가상 이미지를 생성하고 이를 단말(20)로 전송한다. 단말(20)에서는 실시간 트랙킹 정보에 따라 변화하는 가상 이미지를 현실 이미지에 합성하여 혼합 현실 이미지를 사용자에게 표시할 수 있다.
트랙킹 정보를 수집하는 동안, 단말(20)은 카메라부(21), 센서부(22) 및/또는 입력부(23)를 통하여 입력되는 사용자 입력을 감지할 수 있다. 사용자 입력은 표시된 사용자 인터페이스를 통하여 수신될 수 있다. 일 예로, 단말(20)은 계정 생성 사용자 인터페이스를 통하여 혼합 현실 서비스 이용을 위한 사용자 계정 생성을 위한 사용자 입력을 감지할 수 있다. 또는, 단말(20)은 계정 로그인 인터페이스를 통하여 이미 생성된 사용자 계정에 로그인하기 위한 사용자 입력을 감지할 수 있다.
본 발명의 다양한 실시 예에서, 단말(20)은 적외선 카메라를 통하여 사용자의 핸드 제스처 식별을 통해 사용자 입력을 감지할 수 있다. 일 예로, 특정 위치를 손가락으로 포인팅하는 핸드 제스처가 식별되는 경우, 단말(20)은 손가락이 포인팅한 위치에 표시된 사용자 인터페이스를 실행하기 위한 사용자 입력을 감지할 수 있다. 또는, 일 예로, 모든 손가락을 오므렸다 펴는 핸드 제스처가 식별되는 경우, 단말(20)은 혼합 현실 회의실 목록을 표시하기 위한 사용자 입력을 감지할 수 있다. 본 발명에서 사용자의 핸드 제스처에 대응하는 사용자 입력은 그 종류나 형태를 특별히 제한하지 않는다.
사용자 입력이 감지되면, 단말(20)은 그에 대응하는 제어 동작을 수행한다. 예를 들어, 계정 생성을 위한 사용자 입력 또는 계정 로그인을 위한 사용자 입력이 수신되면(510), 단말(20)은 계정 생성 요청 또는 계정 로그인 요청을 서버(10)로 전송할 수 있다(511). 계정 생성 요청 또는 계정 로그인 요청은 사용자의 식별 정보로써, 예를 들어 아이디(ID), 비밀번호(PASSWORD) 등을 포함할 수 있다.
서버(10)는 수신된 요청에 응답하여, 사용자를 위한 계정을 생성하거나 기생성된 사용자 계정에 로그인할 수 있다(512). 구체적으로, 서버(10)는 계정 생성 요청에 포함된 사용자의 식별 정보를 저장하고, 해당 사용자에 관련된 데이터를 사용자의 식별 정보와 연계하여 저장할 수 있도록 데이터 디렉토리를 설정하고 이를 로드할 수 있다. 또는 서버(10)는 계정 로그인 요청에 포함된 사용자의 식별 정보에 매칭되는 기저장된 사용자의 식별 정보를 검색하고, 매칭되는 사용자의 식별 정보가 존재하면 검색된 사용자의 식별 정보에 대응하여 저장된 데이터 디렉토리를 로드할 수 있다.
서버(10)는 단말(20)의 계정 생성 요청 또는 계정 로그인 요청에 대응하는 계정 응답을 단말(20)로 전송할 수 있다(513). 예를 들어, 서버(10)는 로드된 데이터 디렉토리로부터 기저장된 모델링 데이터, 혼합 현실 회의실에 대한 정보를 추출할 수 있다. 서버(10)는 추출된 정보를 혼합 현실 이미지상에 표시될 오브젝트로 구성하여 가상 이미지를 생성하고 이를 단말(20)로 전송할 수 있다. 이때 가상 이미지로 구성되는 오브젝트는, 예를 들어, 모델링 데이터 목록, 혼합 현실 회의실에 대한 목록 등을 포함할 수 있다.
이후에, 서버(10)와 단말(20)은 혼합 현실 서비스를 이용하기 위한 사용자 입력을 기초로 다양한 동작을 수행할 수 있다. 예를 들어, 서버(10)와 단말(20)은 3차원 모델링 데이터의 생성, 편집, 삭제, 관리, 저장, 업로드, 다운로드 등, 혼합 현실 회의실의 생성, 편집, 삭제, 관리, 참여 등에 관한 동작을 수행할 수 있다.
이하에서는, 상기와 같이 혼합 현실 서비스를 통해 수행될 수 있는 다양한 동작들의 실시 예를 보다 구체적으로 설명한다.
도 6은 본 발명에 따른 3차원 모델링 데이터 저장 방법을 나타낸 흐름도이다.
본 발명에 따른 3차원 모델링 데이터 저장 방법은, 상술한 혼합 현실 서비스의 구동 이후에 수행될 수 있다. 일 실시 예에서, 3차원 모델링 데이터 저장 방법은 상술한 계정 로그인 이후에 수행될 수 있으나, 반드시 이에 제한되지는 않는다.
도 6을 참조하면, 단말(20)은 모델링 데이터 업로드를 위한 사용자 입력을 수신할 수 있다(601). 모델링 데이터 업로드를 위한 사용자 입력은 혼합 현실 이미지로 표시된 사용자 인터페이스를 통하여 수신될 수 있다.
단말(20)은 사용자 입력에 대응하여 선택된 모델링 데이터를 서버(10)로 전송할 수 있다(602).
일 실시 예에서, 서버(10)는 수신된 모델링 데이터를 변환할 수 있다(603). 수신된 모델링 데이터가 2차원 모델링 데이터인 경우, 서버(10)는 수신된 모델링 데이터를 기설정된 형식의 3차원 모델링 데이터로 변환할 수 있다. 또는, 수신된 모델링 데이터가 3차원 모델링 데이터이지만 혼합 현실 서비스를 제공하기 위해 서버(10)에서 지원하는 형식이 아닌 경우, 서버(10)는 수신된 모델링 데이터를 기설정된 형식의 3차원 모델링 데이터로 변환할 수 있다.
단말(20)로부터 수신된 모델링 데이터가 이미 기설정된 형식의 3차원 모델링 데이터인 경우, 상술한 변환 과정을 생략될 수 있다.
서버(10)는 3차원 모델링 데이터를 저장할 수 있다(604). 사용자의 계정에 로그인된 상태에서 3차원 모델링 데이터가 생성되는 경우, 서버(10)는 해당 계정에 대응하는 데이터 디렉토리에 3차원 모델링 데이터를 저장할 수 있다.
서버(10)는 성공적으로 저장된 3차원 모델링 데이터에 관한 정보를 포함하는 데이터 업로드 응답을 단말(20)에게 전송할 수 있다(605). 응답은 기저장된 3차원 모델링 데이터의 목록 등을 포함하는 가상 이미지를 포함할 수 있다. 또한, 응답은 3차원 모델링 데이터의 원본 모델링 데이터에 관한 정보, 변환 정보, 업로드된 일시에 관한 정보 등을 더 포함할 수 있다.
추가로, 서버(10)는 단말(20)로부터 수신되는 3차원 모델링 데이터에 대한 편집 및/또는 관리를 위한 요청에 따라 저장된 3차원 모델링 데이터를 편집, 삭제, 관리, 다운로드할 수 있다.
도 7은 본 발명에 따른 혼합 현실 회의실 제공 방법을 나타낸 흐름도이다.
도 7을 참조하면, 단말(20)은 혼합 현실 회의실을 생성하기 위한 사용자 입력을 수신할 수 있다(701). 혼합 현실 회의실 생성을 위한 사용자 입력은 혼합 현실 이미지로 표시된 사용자 인터페이스를 통하여 수신될 수 있다. 혼합 현실 회의실 생성을 위한 사용자 입력은 해당 혼합 현실 회의실에 대응하는 3차원 모델링 데이터, 해당 혼합 현실 회의실에 참석할 수 있도록 허용된 사용자의 목록 등에 관한 정보를 포함할 수 있다. 여기서, 3차원 모델링 데이터는 서버(10)에 기저장된 적어도 하나의 3차원 모델링 데이터 중 어느 하나일 수 있다.
단말(20)은 사용자 입력에 대응하여 혼합 현실 회의실 생성 요청을 서버(10)로 전송할 수 있다(702). 혼합 현실 회의실 생성 요청에는 사용자 입력을 통하여 수신된 정보로써, 혼합 현실 회의실에 대응하는 3차원 모델링 데이터, 참석이 허용된 사용자의 목록 등을 포함할 수 있다.
서버(10)는 혼합 현실 회의실 생성 요청에 응답하여, 혼합 현실 회의실을 생성할 수 있다(703). 서버(10)는 혼합 현실 회의실에 식별 정보를 할당하고 요청에 의해 선택된 3차원 모델링 데이터를 매핑하여 저장할 수 있다. 사용자의 계정에 로그인된 상태에서 혼합 현실 회의실이 생성되는 경우, 서버(10)는 해당 계정에 대응하는 데이터 디렉토리에 혼합 현실 회의실을 저장할 수 있다.
서버(10)는 생성된 혼합 현실 회의실에 관한 정보를 단말(20)에게 응답으로 전송할 수 있다(704). 응답은 기생성된 혼합 현실 회의실의 목록 등을 포함하는 가상 이미지를 포함할 수 있다. 또한, 응답은 생성된 혼합 현실 회의실에 관한 식별 정보, 대응되는 3차원 모델링 데이터에 관한 정보, 참석이 허용된 사용자에 관한 정보, 생성된 일시에 관한 정보 등을 더 포함할 수 있다.
다양한 실시 예에서, 단말(20)에 의해 생성된 혼합 현실 회의실에 관한 정보는, 다른 단말(20')의 요청에 따라(705), 다른 단말(20')로 전송될 수 있다(706). 여기서, 다른 단말(20')은 해당 혼합 현실 회의실에 참석이 허용된 것으로 지정된 사용자의 단말(20')일 수 있다. 다른 실시 예에서, 혼합 현실 회의실에 관한 정보는 단말(20)에 의하여 다른 단말(20')로 전달될 수도 있다.
이하에서, 혼합 현실 회의실을 생성한 단말(20)을 마스터 단말 또는 제1 단말로, 혼합 현실 회의실에 참석하고자 하는 단말(20')을 슬레이브 단말, 게스트 단말 또는 제2 단말로 명명할 수 있다.
적어도 하나의 혼합 현실 회의실이 생성되면, 혼합 현실 서비스 제공 시스템(1) 내에 존재하는 적어도 하나의 단말(20, 20')은 혼합 현실 회의실 참석을 위한 사용자 입력을 수신할 수 있다(707). 이때, 단말(20, 20')은 해당 혼합 현실 회의실을 생성한 단말(20)이 아니어도 무방하다. 일 실시 예에서, 혼합 현실 회의실에 대하여 참석이 허용된 사용자가 지정된 경우, 단말(20, 20')은 참석이 허용된 사용자의 단말(20')일 수 있다.
단말(20, 20')은 사용자 입력에 대응하여 사용자 입력에 대응하는 혼합 현실 회의실에 대한 참석 요청을 서버(10)로 전송할 수 있다(708).
서버(10)는 단말(20, 20')의 참석 요청에 대한 참석 응답을 단말(20, 20')에게 전송할 수 있다(709). 다양한 실시 예에서, 서버(10)는 단말(20, 20')에 대한 장치 인증, 보안 인증 및/또는 참석 허용 여부 검증 등을 수행하여, 단말(20, 20')의 혼합 현실 회의실 참석을 수락할 것인지 여부를 결정하고 단말(20, 20')로 참석 응답을 전송할 수 있다.
혼합 현실 회의실에 대한 참석 응답이 수신되면, 단말(20, 20')은 트랙킹 정보를 실시간으로 수집하고(710), 수집된 트랙킹 정보를 서버(10)로 전송할 수 있다(711).
서버(10)는 수신된 트랙킹 정보를 기초로 가상 이미지를 생성할 수 있다(712). 서버(10)는 혼합 현실 회의실에 대응하는 3차원 모델링 데이터로부터 가상 이미지를 생성할 수 있고, 사용자 인터페이스 오브젝트 및/또는 사용자를 모사하는 오브젝트에 대한 가상 이미지를 생성할 수 있다.
구체적으로, 서버(10)는 트랙킹 정보로부터 공간 식별 정보를 추출하여 현실 공간 내의 특정한 형상의 영역, 예를 들어 면상의 영역(예를 들어, 데스크의 상면)을 판단할 수 있다. 서버(10)는 혼합 현실 회의실에 대응하는 3차원 모델링 데이터를 면상의 영역에 대응하는 좌표에 배치하여 가상 이미지를 생성할 수 있다.
서버(10)는 트랙킹 정보로부터 획득되는 단말(20, 20')의 움직임 정보를 기초로 3차원 모델링 데이터의 표시 방향 및 모양 중 적어도 하나를 결정할 수 있다. 예를 들어, 서버(10)는 3차원 회전 정보 또는 이동 정보에 대응하여 회전하거나 이동시킬 수 있다. 또는, 서버(10)는 트랙킹 정보로부터 식별되는 장애물을 기초로 3차원 모델링 데이터의 일부분을 장애물의 형상에 대응하여 제거하거나 음영 처리하여 가상 이미지를 생성할 수 있다.
또한, 서버(10)는 3차원 모델링 데이터가 배치된 위치에 대한 사용자의 위치 및 3차원 회전 방향을 식별할 수 있다. 서버(10)는 사용자를 모사하는 오브젝트, 예를 들어 아바타를 사용자의 3차원 회전 방향에 대응하여 회전시키고, 사용자의 위치에 대응하는 좌표에 배치하여 가상 이미지를 생성할 수 있다.
다양한 실시 예에서, 서버(10)는 해당 사용자의 식별 정보, 예를 들어 아이디를 생성된 아바타와 연계하여 가상 이미지를 생성할 수 있다. 또는, 다양한 실시 예에서, 혼합 현실 회의실이 구동되는 동안 보이스 채팅 또는 그룹 콜 기능이 수행되는 경우에, 서버(10)는 현재 음성이 출력되고 있는 사용자의 식별 정보, 예를 들어 화살표 등의 마커를 아바타와 연계하거나 예를 들어 특정 색상을 아바타와 연계하여 가상 이미지를 생성할 수 있다.
본 발명의 다양한 실시 예에서, 서버(10)는 3차원 스케일링을 적용하여 가상 이미지를 생성할 수 있다.
일 예에서, 제1 단말(20)과 제2 단말(20')이 위치한 현실 공간은 형태와 크기가 상이할 수 있다. 또한, 일 예에서, 제1 단말(20)과 제2 단말(20')에서 식별된 데스크 역시 크기가 상이할 수 있다. 이 경우, 제1 단말(20)과 제2 단말(20')에서 3차원 모델링 데이터가 일정한 크기로 표시되면, 도 9에 도시된 것과 같이 작은 데스크를 구비한 공간에 위치한 단말에서는 3차원 모델링 데이터의 가상 이미지(901)가 적합하게 표시되지 않을 수 있다. 또한, 이 경우, 제1 단말(20)에서 제2 단말(20')의 아바타가 제2 단말(20')의 현실 공간을 기준으로 하는 좌표에 표시되면, 도 9에 도시된 것과 같이 제1 단말(20)의 혼합 현실 이미지상에서 제2 단말(20')의 아바타는 적합한 위치에 배치되지 않거나(902) 공간을 벗어날 수 있다(903).
따라서, 서버(10)는 식별된 면상의 영역의 크기에 대응하여 3차원 모델링 데이터를 확대 또는 축소(스케일링)함으로써 가상 이미지를 생성할 수 있다. 또한, 서버(10)는 현실 공간의 크기에 따라 사용자를 모사하는 오브젝트를 임의의 기준점을 기준으로 결집시키거나 분산하여 가상 이미지를 생성할 수 있다. 여기서 기준점은 3차원 모델링 데이터가 표시된 위치의 중심 좌표, 인지된 면상의 영역의 중심 좌표 또는 인지된 면상의 영역의 형태에 따른 무게 중심 좌표 등일 수 있다. 예를 들어, 제2 단말(20')의 트랙킹 정보를 기초로 제2 단말(20')의 사용자에 대한 아바타의 좌표를 결정할 수 있다. 이때, 제1 단말(20)의 현실 공간의 크기가 제2 단말(20')의 현실 공간의 크기보다 작으면, 서버(10)는 제1 단말(20)의 3차원 모델링 데이터가 표시된 위치의 중심 좌표를 기준으로 제2 단말(20')의 사용자에 대한 아바타를 결집시킴으로써 가상 이미지를 생성할 수 있다.
3차원 스케일링을 통하여 가상 이미지는 도 10에 도시된 것과 같이 어떠한 단말에서도 3차원 모델링 데이터의 가상 이미지(1001)가 식별된 면상의 영역 내에 적합하게 표시되고, 각 사용자의 아바타(1002, 1003)가 3차원 모델링 데이터 주변의 적합한 위치에 배치되어 표시될 수 있도록 구성된다.
서버(10)는 생성된 가상 이미지를 단말(20, 20')로 전송할 수 있다(713). 상술한 바에 따라, 각 단말(20, 20')로 전송되는 가상 이미지는 서로 다른 이미지일 수 있다.
단말(20, 20')은 수신된 가상 이미지를 카메라부(21)를 통하여 촬영되는 현실 이미지에 합성하여 혼합 현실 이미지를 생성하여(714), 표시부(24)를 통해 표시할 수 있다(715).
이와 같이 표시되는 혼합 현실 이미지의 일 예가 도 11에 도시되어 있다. 도 11에서 3차원 모델링 데이터의 가상 이미지(1101)는 인지된 면상의 영역, 즉 데스크 상에 전시된다. 이때, 가상 이미지(1101)는 면상의 영역 내에 적합하게 전시되도록 스케일링 될 수 있다. 또한, 적어도 하나의 다른 단말의 사용자를 모사하는 적어도 하나의 오브젝트들(1102, 1103)이 해당 사용자의 위치 및 회전 방향에 대응하여 배치된다.
또한, 화면상의 일부 영역들에는 혼합 현실 회의실 내에서 이용 가능한 제어를 수행하기 위해 적어도 하나의 사용자 인터페이스 오브젝트(1104, 1105)가 표시될 수 있다. 사용자 인터페이스는 예를 들어, 문자 채팅, 보이스 채팅, 그룹 콜, 메모 생성, 참석자 정보 표시, 참석자 관리, 3차원 모델링 데이터 내의 객체 선택, 3차원 모델링 데이터에 대한 구조, 형태, 치수, 재료, 재질, 색상, 무늬, 설비의 편집 등을 수행하기 위한 인터페이스를 포함할 수 있다.
표시된 혼합 현실 이미지를 통하여, 사용자는 현실 공간의 데스크 상에 3차원 모델링 데이터가 전시되어 있고, 현실 공간 내에 다른 단말(20')의 사용자가 존재하는 것으로 인지할 수 있다. 그에 따라, 사용자는 자신이 위치한 현실 공간 내에서 실제하는 3차원 모델링 데이터에 대해 다른 사용자와 함께 처리 작업을 수행하는 것과 같은 현실감을 느낄 수 있다.
상기한 혼합 현실 회의실에서, 서버(10)와 단말(20, 20')은 실제 회의를 진행하는 것과 같이 3차원 모델링 데이터에 대한 추가 작업을 수행하고 그 결과를 실시간으로 공유할 수 있다. 이에 대하여 도 8을 참조하여 설명한다.
도 8을 참조하면, 단말(20')은 3차원 모델링 데이터의 추가 작업을 위한 사용자 입력을 수신할 수 있다(801). 추가 작업을 위한 사용자 입력은 혼합 현실 이미지 상에 표시된 3차원 모델링 데이터 및/또는 사용자 인터페이스를 통하여 수신될 수 있다. 추가 작업을 위한 사용자 입력은 3차원 모델링 데이터에 대한 구조, 형태, 치수, 재료, 재질, 색상, 무늬, 설비의 편집을 위한 정보를 포함할 수 있다.
단말(20)은 사용자 입력에 대응하여 3차원 모델링 데이터에 대한 처리 요청을 서버(10)로 전송할 수 있다(802).
서버(10)는 3차원 모델링 데이터에 대한 처리 요청에 응답하여, 혼합 현실 회의실에 대응하는 3차원 모델링 데이터를 편집할 수 있다(803). 서버(10)는 3차원 모델링 데이터 내의 처리 요청에 의해 선택된 객체에 대하여, 처리 요청에 대응하여 크기를 변경하거나, 배치를 변경하거나, 색상, 재질, 무늬 등을 변경할 수 있다.
서버(10)는 편집된 3차원 모델링 데이터를 저장하거나, 편집 이전의 3차원 모델링 데이터를 백업용으로 저장하는 등 3차원 모델링 데이터에 대한 관리 및 저장 동작을 수행할 수도 있다.
이후에, 서버(10)는 편집된 3차원 모델링 데이터를 기초로 가상 이미지를 생성하여, 단말(20, 20')로 전송할 수 있다(805). 각 단말(20, 20')은 서버(10)로부터 전송된 가상 이미지를 기초로 혼합 현실 이미지를 생성(806)하고 이를 표시함으로써(807), 임의의 단말(20)에 의한 3차원 모델링 데이터의 편집 상태를 실시간으로 확인하고 공유할 수 있다.
도 12는 본 발명의 추가적인 실시 예에 따른 혼합 현실 서비스 제공 시스템의 네트워크 구조를 나타낸 도면이다. 다양한 실시 예에서, 도 12에 도시된 실시 예의 혼합 현실 서비스 제공 시스템은, 혼합 현실 서비스의 모니터링 시스템, 관리 시스템 및 중계 시스템 등으로 명명될 수 있다.
도 12를 참조하면, 본 발명의 추가적인 실시 예에 따른 혼합 현실 제공 시스템(2)은 혼합 현실 서비스를 이용하는 단말(20)과 모니터링 장치(40)를 포함하여 구성될 수 있다.
도 12의 실시 예에서, 단말(20)은 도 1 내지 도 11을 참조하여 설명된 단말(20)과 동일한 단말(20)일 수 있다. 본 발명의 다양한 실시 예에서, 단말(20)은 표시부(24)를 통하여 표시되는 혼합 현실 이미지를 모니터링 이미지로써 외부의 모니터링 장치(40)로 전송할 수 있다. 모니터링 장치(40)로의 혼합 현실 이미지 전송은 제어부(27) 내에 마련되는 모니터링 제공부 등을 통하여 수행될 수 있다.
다른 실시 예에서, 이러한 모니터링 이미지의 제공은 서버(10)에 의하여 수행될 수 있다. 예를 들어, 서버(10)의 혼합 현실 서비스 제공부(122)는 가상 이미지 생성부(123)에 의하여 생성된 혼합 현실 이미지를 모니터링 이미지로써 모니터링 장치(40)에 전송할 수 있다.
다른 실시 예에서, 모니터링 이미지의 제공은 서버(10) 및 단말(20)과 별도로 마련되는 모니터링 서버(또는 중계 서버) 등에 의하여 수행될 수 있다. 모니터링 서버는 서버(10) 및/또는 단말(20)로부터 수신되는 가상 이미지, 현실 이미지 및 혼합 현실 이미지 중 적어도 하나를 기초로 모니터링 이미지를 생성하고, 이를 모니터링 장치(40)로 전송할 수 있다.
다양한 실시 예에서, 모니터링 이미지는 단말(20)의 표시부(24)를 통하여 표시되는 혼합 현실 이미지와 동일한 이미지일 수 있다. 또는, 모니터링 이미지는 단말(20)의 표시부(24)를 통하여 표시되는 가상 이미지를 포함하여 구성되는 이미지일 수 있다.
도 12에서는 단말(20)이 헤드 마운트 디스플레이로 구성된 예를 도시하였으나, 단말(20)의 종류는 이에 한정되지 않고 상술한 바와 같이 다양한 유형의 단말(20)이 이용될 수 있다.
모니터링 장치(40)는 수신된 모니터링 이미지를 적어도 하나의 표시부를 통하여 표시할 수 있다. 일 실시 예에서, 모니터링 장치(40)는 단일 모니터 장치로 구성될 수 있다.
상기한 본 발명에 따르면, 혼합 현실 제공 시스템(2) 내의 사용자들 중 단말(20)을 직접 이용하거나 착용하지 않은 사용자가 모니터링 장치(40)를 통해 단말(20)을 통해 출력되는 화면을 시각적으로 및 간접적으로 확인할 수 있다. 이러한 실시 예는, 본 발명에 따른 혼합 현실 제공 시스템(1)을 관리하고 개발하기 위해 이용될 수 있으며, 보다 많은 사용자가 혼합 현실 제공 시스템(1)에서 제공하는 혼합 현실 회의실에 직/간접적으로 참여할 수 있도록 한다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 그리고 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 혼합 현실 서비스 제공 시스템 10: 서버
11: 통신부 12: 제어부
121: 데이터 변환부 122: 혼합 현실 서비스 제공부
123: 가상 이미지 생성부 13: 저장부
20: 단말 21: 카메라부
22: 센서부 23: 입력부
24: 표시부 25: 출력부
26: 통신부 27: 제어부
271: 데이터 관리부 272: 혼합 현실 서비스 관리부
273: 혼합 현실 생성부 28: 저장부
29: 프레임 30: 헤드 마운드 디스플레이
40: 모니터링 장치

Claims (16)

  1. 서버의 혼합 현실 서비스를 제공하기 위한 방법으로,
    임의의 3차원 모델링 데이터를 위한 혼합 현실 회의실을 생성하는 단계;
    상기 혼합 현실 회의실에 참여한 적어도 하나의 단말에서 수집된 트랙킹 정보를 수신하는 단계;
    상기 트랙킹 정보를 기초로 상기 3차원 모델링 데이터 및 적어도 하나의 오브젝트에 대한 가상 이미지를 생성하는 단계; 및
    상기 가상 이미지를 상기 적어도 하나의 단말로 전송하는 단계를 포함하되,
    상기 트랙킹 정보는,
    각 단말의 현실 공간에 대한 공간 식별 정보 및 각 단말의 움직임 정보를 포함하고,
    상기 가상 이미지는,
    상기 적어도 하나의 단말에서 현실 이미지와 합성되어 혼합 현실 이미지로 표시되며,
    상기 가상 이미지를 생성하는 단계는,
    상기 각 단말의 움직임 정보를 기초로 상기 3차원 모델링 데이터의 표시 방향 및 모양 중 적어도 하나를 결정하는 단계;
    상기 각 단말의 공간 식별 정보로부터 면상의 영역을 판단하는 단계; 및
    상기 면상의 영역 내에 상기 3차원 모델링 데이터를 배치하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 가상 이미지를 생성하는 단계는,
    상기 면상의 영역의 크기에 따라 상기 3차원 모델링 데이터의 크기를 확대 또는 축소하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서, 상기 가상 이미지를 생성하는 단계는,
    각 단말의 사용자를 모사하는 적어도 하나의 오브젝트를 생성하는 단계; 및
    상기 각 단말의 움직임 정보를 기초로 상기 적어도 하나의 오브젝트의 표시 방향 및 위치 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서, 상기 적어도 하나의 오브젝트의 표시 방향 및 위치 중 적어도 하나를 결정하는 단계는,
    상기 각 단말의 공간 식별 정보로부터 임의의 기준점을 결정하는 단계;
    상기 각 단말의 공간 식별 정보로부터 상기 각 단말의 현실 공간의 크기를 판단하는 단계; 및
    상기 각 단말의 현실 공간의 크기에 따라 상기 임의의 기준점에 대하여 상기 적어도 하나의 오브젝트를 결집 또는 분산하여 배치하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 혼합 현실 이미지 상에 표시되는 적어도 하나의 사용자 인터페이스를 통하여 상기 3차원 모델링 데이터의 처리 요청을 수신하는 단계;
    상기 처리 요청에 대응하여 상기 3차원 모델링 데이터를 편집하는 단계;
    상기 편집된 3차원 모델링 데이터를 기초로 상기 가상 이미지를 재생성하는 단계; 및
    상기 재생성된 가상 이미지를 상기 적어도 하나의 단말로 전송하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서, 상기 3차원 모델링 데이터는,
    건축물 설계를 위한 모델링 데이터, 제품에 관한 3차원 데이터 및 디자인 단계에서 생성되는 3차원 모델링 데이터 중 어느 하나인 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 단말에서 표시되는 상기 혼합 현실 이미지를 모니터링 장치로 전송하여 상기 단말의 사용자 이외의 적어도 하나의 사용자를 위해 상기 모니터링 장치에서 표시되도록 하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 혼합 현실 서비스를 제공하는 시스템으로,
    혼합 현실 회의실에 참여하는 동안 트랙킹 정보를 수집하여 전송하는 적어도 하나의 단말; 및
    임의의 3차원 모델링 데이터를 위한 혼합 현실 회의실을 생성하고, 상기 혼합 현실 회의실에 참여하는 상기 적어도 하나의 단말로부터 수신된 상기 트랙킹 정보를 기초로 상기 3차원 모델링 데이터 및 적어도 하나의 오브젝트에 대한 가상 이미지를 생성하여 상기 적어도 하나의 단말로 전송하는 서버를 포함하되,
    상기 트랙킹 정보는,
    각 단말의 현실 공간에 대한 공간 식별 정보 및 각 단말의 움직임 정보를 포함하고,
    상기 적어도 하나의 단말은,
    상기 적어도 하나의 단말에서 촬영되는 현실 이미지와 상기 가상 이미지를 합성하여 혼합 현실 이미지로 표시하며,
    상기 서버는,
    상기 각 단말의 움직임 정보를 기초로 상기 3차원 모델링 데이터의 표시 방향 및 모양 중 적어도 하나를 결정하고, 상기 각 단말의 공간 식별 정보로부터 면상의 영역을 판단하고, 상기 면상의 영역 내에 상기 3차원 모델링 데이터를 배치하여 상기 가상 이미지를 생성하는 것을 특징으로 하는 시스템.
  10. 삭제
  11. 제9항에 있어서, 상기 서버는,
    상기 면상의 영역의 크기에 따라 상기 3차원 모델링 데이터의 크기를 확대 또는 축소하여 상기 가상 이미지를 생성하는 것을 특징으로 하는 시스템.
  12. 제9항에 있어서, 상기 서버는,
    각 단말의 사용자를 모사하는 적어도 하나의 오브젝트를 생성하고, 상기 각 단말의 움직임 정보를 기초로 상기 적어도 하나의 오브젝트의 표시 방향 및 위치 중 적어도 하나를 결정하여 상기 가상 이미지를 생성하는 것을 특징으로 하는 시스템.
  13. 제12항에 있어서, 상기 서버는,
    상기 각 단말의 공간 식별 정보로부터 임의의 기준점을 결정하고, 상기 각 단말의 공간 식별 정보로부터 상기 각 단말의 현실 공간의 크기를 판단하고, 상기 각 단말의 현실 공간의 크기에 따라 상기 임의의 기준점에 대하여 상기 적어도 하나의 오브젝트를 결집 또는 분산하여 배치하여 상기 가상 이미지를 생성하는 것을 특징으로 하는 시스템.
  14. 제9항에 있어서, 상기 단말은,
    상기 혼합 현실 이미지 상에 표시된 적어도 하나의 사용자 인터페이스를 통하여 수신되는 사용자 입력을 기초로, 상기 3차원 모델링 데이터의 처리 요청을 상기 서버로 전송하고,
    상기 서버는,
    상기 처리 요청에 대응하여 상기 3차원 모델링 데이터를 편집하고, 상기 편집된 3차원 모델링 데이터를 기초로 상기 가상 이미지를 재생성하고, 상기 재생성된 가상 이미지를 상기 적어도 하나의 단말로 전송하는 것을 특징으로 하는 시스템.
  15. 제9항에 있어서, 상기 3차원 모델링 데이터는,
    건축물 설계를 위한 모델링 데이터, 제품에 관한 3차원 데이터 및 디자인 단계에서 생성되는 3차원 모델링 데이터 중 어느 하나인 것을 특징으로 하는 시스템.
  16. 제9항에 있어서,
    상기 단말로부터 상기 단말에서 표시되는 상기 혼합 현실 이미지를 수신하여 상기 단말의 사용자 이외의 적어도 하나의 사용자를 위해 표시하는 모니터링 장치를 더 포함하는 것을 특징으로 하는 시스템.
KR1020170175373A 2017-12-19 2017-12-19 혼합 현실 서비스 제공 방법 및 시스템 KR101918262B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170175373A KR101918262B1 (ko) 2017-12-19 2017-12-19 혼합 현실 서비스 제공 방법 및 시스템
CN201880082881.2A CN111527525A (zh) 2017-12-19 2018-11-05 混合现实服务提供方法及系统
US16/956,360 US11206373B2 (en) 2017-12-19 2018-11-05 Method and system for providing mixed reality service
PCT/KR2018/013325 WO2019124726A1 (ko) 2017-12-19 2018-11-05 혼합 현실 서비스 제공 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170175373A KR101918262B1 (ko) 2017-12-19 2017-12-19 혼합 현실 서비스 제공 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101918262B1 true KR101918262B1 (ko) 2018-11-13

Family

ID=64397855

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170175373A KR101918262B1 (ko) 2017-12-19 2017-12-19 혼합 현실 서비스 제공 방법 및 시스템

Country Status (4)

Country Link
US (1) US11206373B2 (ko)
KR (1) KR101918262B1 (ko)
CN (1) CN111527525A (ko)
WO (1) WO2019124726A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020160168A1 (en) * 2019-01-31 2020-08-06 Rypplzz, Inc. Systems and methods for augmented reality with precise tracking
KR20200099317A (ko) * 2019-02-14 2020-08-24 주식회사 디지포레 Vr을 이용한 시연 제공 방법 및 장치

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10916062B1 (en) * 2019-07-15 2021-02-09 Google Llc 6-DoF tracking using visual cues
US11769301B2 (en) * 2020-08-03 2023-09-26 Urban District Realty, LLC Virtual reality simulations of three-dimensional structures
US11546437B1 (en) 2020-10-16 2023-01-03 Splunk Inc. Playback of a stored networked remote collaboration session
US11551421B1 (en) 2020-10-16 2023-01-10 Splunk Inc. Mesh updates via mesh frustum cutting
US11563813B1 (en) 2020-10-16 2023-01-24 Splunk Inc. Presentation of collaboration environments for a networked remote collaboration session
US11544904B1 (en) 2020-10-16 2023-01-03 Splunk Inc. Mesh updates in an extended reality environment
US11776218B1 (en) * 2020-10-16 2023-10-03 Splunk Inc. Networked remote collaboration system
US11127223B1 (en) 2020-10-16 2021-09-21 Splunkinc. Mesh updates via mesh splitting
US11798235B1 (en) 2020-10-16 2023-10-24 Splunk Inc. Interactions in networked remote collaboration environments
US11727643B1 (en) * 2020-10-16 2023-08-15 Splunk Inc. Multi-environment networked remote collaboration system
US10952006B1 (en) * 2020-10-20 2021-03-16 Katmai Tech Holdings LLC Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof
US11790908B2 (en) * 2021-02-09 2023-10-17 International Business Machines Corporation Extended reality based voice command device management
US11347305B1 (en) * 2021-03-03 2022-05-31 Dell Products L.P. Managing software files of a data center via augmented reality
US11334313B1 (en) * 2021-03-30 2022-05-17 Htc Corporation Managing conferences in virtual environment
US11431557B1 (en) 2021-04-13 2022-08-30 Dell Products L.P. System for enterprise event analysis
US11996996B2 (en) 2021-04-16 2024-05-28 Dell Products L.P. System for view-only command center mode
US11606246B2 (en) 2021-04-28 2023-03-14 Dell Products L.P. System for enterprise alert timeline of a system and service
US11184362B1 (en) * 2021-05-06 2021-11-23 Katmai Tech Holdings LLC Securing private audio in a virtual conference, and applications thereof
CN113436320B (zh) * 2021-07-01 2024-05-17 山西省交通规划勘察设计院有限公司 基于ifc模型文件的3d模型生成系统及方法
US11831814B2 (en) * 2021-09-03 2023-11-28 Meta Platforms Technologies, Llc Parallel video call and artificial reality spaces
US11921970B1 (en) 2021-10-11 2024-03-05 Meta Platforms Technologies, Llc Coordinating virtual interactions with a mini-map
US11823346B2 (en) * 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
EP4371081A1 (en) * 2022-10-04 2024-05-22 Samsung Electronics Co., Ltd. Methods and electronic device for generating xr environment

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7119819B1 (en) * 1999-04-06 2006-10-10 Microsoft Corporation Method and apparatus for supporting two-dimensional windows in a three-dimensional environment
US7542040B2 (en) * 2004-08-11 2009-06-02 The United States Of America As Represented By The Secretary Of The Navy Simulated locomotion method and apparatus
KR20110066298A (ko) 2009-12-11 2011-06-17 한국전자통신연구원 협력형 혼합현실 서버, 단말기 및 시스템과 이를 이용한 협력형 혼합 현실 서비스방법
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
KR101505060B1 (ko) 2010-08-24 2015-03-26 한국전자통신연구원 가상 현실 연동 서비스 제공 시스템 및 그 방법
WO2012135545A1 (en) * 2011-03-29 2012-10-04 Qualcomm Incorporated Modular mobile connected pico projectors for a local multi-user collaboration
KR101923723B1 (ko) * 2012-09-17 2018-11-29 한국전자통신연구원 사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법
US9854014B2 (en) * 2013-03-14 2017-12-26 Google Inc. Motion data sharing
US9996797B1 (en) * 2013-10-31 2018-06-12 Leap Motion, Inc. Interactions with virtual objects for machine control
US9524588B2 (en) 2014-01-24 2016-12-20 Avaya Inc. Enhanced communication between remote participants using augmented and virtual reality
US20170243403A1 (en) * 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
CN105892626A (zh) * 2014-12-15 2016-08-24 普瑞深视科技(北京)有限公司 用于虚拟现实环境中的下肢运动仿真控制设备
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
KR101763636B1 (ko) 2015-10-15 2017-08-02 한국과학기술원 헤드 마운트 디스플레이를 이용한 협업 방법
CN105468142A (zh) * 2015-11-16 2016-04-06 上海璟世数字科技有限公司 基于增强现实技术的互动方法、系统和终端
US20170185261A1 (en) * 2015-12-28 2017-06-29 Htc Corporation Virtual reality device, method for virtual reality
KR20170127802A (ko) * 2016-05-12 2017-11-22 한국전자통신연구원 사용자 감성 기반 3차원 건축 설계 모델 생성 장치 및 방법
US10735691B2 (en) * 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
CN108885533B (zh) * 2016-12-21 2021-05-07 杰创科科技有限公司 组合虚拟现实和增强现实
US11132533B2 (en) * 2017-06-07 2021-09-28 David Scott Dreessen Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
US11017217B2 (en) * 2018-10-09 2021-05-25 Midea Group Co., Ltd. System and method for controlling appliances using motion gestures
US10838488B2 (en) * 2018-10-10 2020-11-17 Plutovr Evaluating alignment of inputs and outputs for virtual environments
US10678323B2 (en) * 2018-10-10 2020-06-09 Plutovr Reference frames for virtual environments
US10516853B1 (en) * 2018-10-10 2019-12-24 Plutovr Aligning virtual representations to inputs and outputs
CA3146658A1 (en) * 2019-07-11 2021-01-14 Elo Labs, Inc. Interactive personal training system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020160168A1 (en) * 2019-01-31 2020-08-06 Rypplzz, Inc. Systems and methods for augmented reality with precise tracking
US10908771B2 (en) 2019-01-31 2021-02-02 Rypplzz, Inc. Systems and methods for augmented reality with precise tracking
US11327629B2 (en) 2019-01-31 2022-05-10 Rypplzz, Inc. Systems and methods for augmented reality with precise tracking
US11698708B2 (en) 2019-01-31 2023-07-11 Rypplzz, Inc. Systems and methods for augmented reality with precise tracking
KR20200099317A (ko) * 2019-02-14 2020-08-24 주식회사 디지포레 Vr을 이용한 시연 제공 방법 및 장치
KR102178924B1 (ko) * 2019-02-14 2020-11-13 주식회사 디지포레 Vr을 이용한 시연 제공 방법 및 장치

Also Published As

Publication number Publication date
US20200329214A1 (en) 2020-10-15
US11206373B2 (en) 2021-12-21
WO2019124726A1 (ko) 2019-06-27
CN111527525A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
KR101918262B1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
US11087134B2 (en) Augmented reality smartglasses for use at cultural sites
JP6377082B2 (ja) 鏡のメタファを使用した遠隔没入型体験の提供
KR20190088545A (ko) 상호작용적 증강 현실 프리젠테이션들을 표시하기 위한 시스템들, 방법들 및 매체들
KR102010030B1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
CN103258338A (zh) 利用真实数据来驱动仿真的虚拟环境的方法和系统
US20210312887A1 (en) Systems, methods, and media for displaying interactive augmented reality presentations
CN111462334A (zh) 一种智能互动展馆系统
CN105808071A (zh) 一种显示控制方法、装置和电子设备
CN112667085A (zh) 一种课堂互动方法、装置、计算机设备和存储介质
KR20200067537A (ko) 가상 환경 회의실 제공 시스템 및 방법
JP2019204244A (ja) 動画を配信するためのシステム、方法、及びプログラム
US11030359B2 (en) Method and system for providing mixed reality service
CN114549744A (zh) 一种构建虚拟三维会议场景的方法、服务器和ar设备
US20230135750A1 (en) Device and method for providing augmented reality interaction
KR102010023B1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
KR20160136160A (ko) 가상현실 공연시스템 및 공연방법
EP2355500A1 (en) Method and system for conducting a video conference with a consistent viewing angle
KR102528581B1 (ko) 적응형 동시성 제어가 구현 가능한 확장 현실 서버
US20230393648A1 (en) System for multi-user collaboration within a virtual reality environment
Zhang et al. Virtual Museum Scene Design Based on VRAR Realistic Interaction under PMC Artificial Intelligence Model
WO2024034396A1 (ja) 情報処理装置、情報処理方法、プログラム
CN117289783A (zh) 基于虚拟现实的交互方法及装置
KR20230094289A (ko) 멀티 프레젠스 가능한 확장 현실 서버
KR20230029130A (ko) 생동감·라이브형 메타버스 가상인테리어공간 생성장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant