KR102208708B1 - 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치 - Google Patents

공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치 Download PDF

Info

Publication number
KR102208708B1
KR102208708B1 KR1020190099263A KR20190099263A KR102208708B1 KR 102208708 B1 KR102208708 B1 KR 102208708B1 KR 1020190099263 A KR1020190099263 A KR 1020190099263A KR 20190099263 A KR20190099263 A KR 20190099263A KR 102208708 B1 KR102208708 B1 KR 102208708B1
Authority
KR
South Korea
Prior art keywords
marker
matrix
virtual
target
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190099263A
Other languages
English (en)
Inventor
유병현
이용재
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020190099263A priority Critical patent/KR102208708B1/ko
Priority to CN202080011789.4A priority patent/CN113383371B/zh
Priority to PCT/KR2020/009852 priority patent/WO2021029566A1/ko
Priority to US17/607,402 priority patent/US12002162B2/en
Application granted granted Critical
Publication of KR102208708B1 publication Critical patent/KR102208708B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법에 관한 것으로, 실제 작업공간에서의 실제 작업대상의 초기 상태를 나타내는 초기 이미지 데이터로부터 실제 작업공간에서 고정된 지점을 식별하기 위한 마커인 베이스 마커 및 실제 작업대상을 식별하기 위한 마커인 타겟 마커를 검출하고, 초기 이미지 데이터로부터 베이스 마커를 기준으로 하는 공통 좌표계를 갖는 가상 작업공간에서 타겟 마커의 초기 위치 및 방향을 표현하는 타겟 마커의 초기 모델 매트릭스, 및 베이스 마커의 위치 및 방향을 표현하는 베이스 마커의 모델 매트릭스를 산출하고, 실제 작업대상의 3차원 모델 형상을 갖는 가상 작업대상을 생성하고, 그리고 산출된 베이스 마커의 모델 매트릭스를 이용하여 타겟 마커의 현재 위치 및 방향을 표현하는 타겟 마커의 현재 모델 매트릭스를 산출함으로써, 공통 좌표계 기반의 가상 작업공간을 현장작업자 및 원격작업자에게 제공할 수 있다.

Description

공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치 {Method and device for providing virtual content on virtual space based on common coordinate}
가상공간에서 가상 컨텐츠 제공 방법에 관한 것으로, 보다 구체적으로 베이스 마커를 기준으로 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법에 관한 것이다.
가상공간이란 실제 공간의 일부 또는 전체를 반영하는(mirroring) 3차원의 가상의 공간을 의미한다. 가상공간은 컴퓨터 등에 의해 생성된 실제가 아닌 가상의 대상 및 공간을 포함한다. 이러한 가상공간은 증강현실(AR, Augmented Reality) 기술, 가상현실(VR, Virtual Reality) 기술, 또는 혼합현실(Mixed Reality) 기술을 통해 사용자에게 해당 공간을 제공한다. 이러한 가상공간은 최근 게임, 항공, 군사 등의 다양한 분야에서 활용되고 있다. 가상공간을 활용하는 대표적인 예로는 원격협업이 있다.
원격협업이란 상호간에 물리적으로 떨어진 원격지에 위치하는 여러 작업자들이 의사소통을 하며 동일한 과업을 함께 해결하는 것을 의미한다. 즉, 원격협업이란 여러 작업 참여자가 동일한 공간에 모이지 않고 서로 다른 공간에서 정보를 공유하면서 동시에 작업을 수행함을 의미한다. 이러한 원격협업은 모든 작업참여자가 동일한 공간에 모여야 하는 공간적인 제약을 해소할 수 있다.
이러한 원격협업에서 작업 참여자들은 네트워크를 통하여 서로 연결되어 동일한 화면을 공유한다. 원격협업의 예시로는 비디오 컨퍼런스나 동일한 화면을 공유하여 원격지에 위치한 작업 참여자들이 동일한 과업을 함께 해결할 수 있게 하는 것들이 있다. 과거의 원격협업은 작업 참여자들이 음성, 채팅 등을 통해 의사소통하며 협업하는 방식이었다. 최근의 원격협업은 보다 많은 정보를 제공하기 위하여 증강현실(AR, Augmented Reality), 가상현실(VR, Virtual Reality), 또는 혼합현실(Mixed Reality)을 이용하여 원격협업의 작업 참여자들 사이에서 공유되는 협업공간을 제공한다. 증강현실, 가상현실, 또는 혼합현실이 적용된 협업공간은 실제 협업대상이 실재하는 공간의 일부 또는 전체를 반영하는 가상의 공간이다. 이러한 가상의 협업공간을 작업 참여자들에게 제공하고, 가상의 협업공간에서 작업 참여자들은 공동작업을 수행할 수 있다.
이러한 원격협업 서비스에서 복수의 작업 참여자들 중 어느 하나의 작업 참여자가 가상 협업공간에서 임의의 작업을 수행하면, 어느 하나의 작업 참여자에 의해 수행된 작업이 가상 협업공간 상에 반영되어 모든 작업 참여자들에게 전달된다. 여기에서, 복수의 작업 참여자들 간에 가상 협업공간에서의 좌표계 및 스케일이 통일되지 않는 경우 어느 하나의 작업 참여자에 의해 수행된 작업이 가상 협업공간에 정확하게 반영되지 않는 문제점이 있다. 작업 참여자들 중 임의의 작업 참여자에 의해 가상 협업공간에서 가상 협업대상이 이동된 예시에서, 작업 참여자들 사이의 좌표 스케일이 상이하면 어느 하나의 작업 참여자에 의해 협업대상이 이동되더라도 협업대상의 정확한 이동거리를 다른 작업 참여자들이 알 수 없다. 또한, 상술한 예시에서 가상 협업공간의 좌표계가 일치하지 않으면 어느 하나의 작업 참여자에 의해 협업대상이 이동되더라도 협업대상의 이동방향을 다른 작업 참여자들이 알 수 없다.
상술한 바와 같이, 원격협업 시스템의 가상 협업공간 상에서 좌표계 및 스케일이 통일되지 않음에 따라 작업 참여자의 작업에 대한 정확한 정보를 다른 작업 참여자들에 제공할 수 없다. 이에 따라, 가상 협업공간 상에서 복수의 작업 참여자들 간의 원활한 협업을 방해하는 문제점이 있다.
종래의 원격협업 시스템은 이러한 문제점을 해결하기 위하여 좌표계 및 스케일이 작업 참여자들 사이에서 일치하지 않는 경우, 작업참여자들 각각이 자신의 디바이스에서의 가상 협업공간의 좌표계와 스케일을 조절하여 작업 참여자들 간에 좌표계 및 스케일을 일치시키는 방식을 사용한다. 그러나, 이러한 종래의 방식은 여러 작업 참여자들 각자가 자신의 디바이스에서 가상 협업공간의 좌표계 및 스케일을 수동으로 조절하기 때문에 모든 작업 참여자들의 좌표계 및 스케일이 완벽하게 일치될 수 없는 문제점이 존재한다.
공통 좌표계 기반의 가상공간에서 가상 콘텐츠 제공 방법을 제시하는 데에 있다. 또한, 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 설명으로부터 또 다른 기술적 과제가 도출될 수도 있다.
본 발명의 일 측면에 따른 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법은 실제 작업공간에서의 실제 작업대상의 초기 상태를 나타내는 초기 이미지 데이터로부터 상기 실제 작업공간의 고정 지점을 식별하기 위한 마커인 베이스 마커 및 상기 실제 작업대상을 식별하기 위한 마커인 타겟 마커를 검출하는 단계; 상기 검출된 베이스 마커를 기준으로 하는 공통 좌표계를 갖는 가상 작업공간에서 상기 타겟 마커의 초기 위치 및 방향을 표현하는 타겟 마커의 초기 모델 매트릭스, 및 상기 검출된 베이스 마커의 위치 및 방향을 표현하는 상기 베이스 마커의 모델 매트릭스를 산출하는 단계; 및 상기 산출된 베이스 마커의 모델 매트릭스를 이용하여 상기 타겟 마커의 현재 위치 및 방향을 표현하는 상기 타겟 마커의 현재 모델 매트릭스를 산출하는 단계를 포함한다.
상기 타겟 마커를 검출하는 단계는 상기 초기 이미지 데이터에 포함된 형상을 추출하고, 상기 추출된 형상을 이용하여 상기 베이스 마커 및 상기 타겟 마커를 검출한다.
상기 타겟 마커를 검출하는 단계는 상기 추출된 형상을 상기 베이스 마커의 형상 및 상기 타겟 마커의 형상과 비교하고, 상기 베이스 마커의 형상과 매칭되는 형상을 상기 베이스 마커로 검출하고, 상기 타겟 마커의 형상과 매칭되는 형상을 상기 타겟 마커로 검출한다.
상기 베이스 마커의 모델 매트릭스를 산출하는 단계는 상기 초기 이미지 데이터에 기초하여 상기 초기 이미지 데이터의 촬영에 사용된 카메라 모듈의 뷰를 기준으로 상기 베이스 마커의 위치 및 방향을 나타내는 상기 베이스 마커의 초기 모델뷰 매트릭스 및 상기 카메라 모듈의 뷰를 기준으로 상기 타겟 마커의 위치 및 방향을 나타내는 상기 타겟 마커의 초기 모델뷰 매트릭스를 산출하는 단계; 상기 가상 협업공간 상에서 상기 타겟 마커의 초기 모델 매트릭스를 산출하는 단계; 및 상기 산출된 베이스 마커의 초기 모델뷰 매트릭스, 상기 산출된 타겟 마커의 초기 모델 매트릭스, 상기 산출된 타겟 마커의 초기 모델뷰 매트릭스를 이용하여 상기 베이스 마커의 모델 매트릭스를 산출하는 단계를 포함한다.
상기 산출된 베이스 마커의 초기 모델뷰 매트릭스, 상기 산출된 타겟 마커의 초기 모델 매트릭스, 상기 산출된 타겟 마커의 초기 모델뷰 매트릭스를 이용하여 상기 베이스 마커의 모델 매트릭스를 산출하는 단계는 아래의 수학식에 따라 상기 베이스 마커의 모델 매트릭스를 산출한다.
<수학식>
Mb matrix = Mo matrix * (MVo matrix)-1 * MVb matrix
(Mb matrix : 베이스 마커의 모델 매트릭스, MVb matrix : 베이스 마커의 초기 모델뷰 매트릭스, Mo matrix : 타겟 마커의 초기 모델 매트릭스, MVo matrix : 타겟 마커의 초기 모델뷰 매트릭스)
상기 타겟 마커의 현재 모델 매트릭스를 산출하는 단계는 상기 현재 이미지 데이터에 기초하여 상기 베이스 마커의 현재 모델뷰 매트릭스 및 상기 타겟 마커의 현재 모델뷰 매트릭스를 산출하는 단계; 및 상기 산출된 베이스 마커의 현재 모델뷰 매트릭스, 상기 산출된 타겟 마커의 현재 모델뷰 매트릭스, 및 상기 산출된 베이스 마커의 모델 매트릭스를 이용하여 상기 타겟 마커의 현재 모델 매트릭스를 산출하는 단계를 포함한다.
상기 산출된 베이스 마커의 현재 모델뷰 매트릭스, 상기 산출된 타겟 마커의 현재 모델뷰 매트릭스, 및 상기 산출된 베이스 마커의 모델 매트릭스를 이용하여 상기 타겟 마커의 현재 모델 매트릭스를 산출하는 단계는 아래의 수학식에 따라 상기 타겟 마커의 현재 모델 매트릭스를 산출한다.
<수학식>
Mo` matrix = Mb matrix * (MVb` matrix)-1 * MVo` matrix
(Mo` matrix : 타겟 마커의 현재 모델 매트릭스, MVo` matrix : 타겟 마커의 현재 모델뷰 매트릭스, MVb` matrix : 베이스 마커의 현재 모델뷰 매트릭스, Mb matrix : 베이스 마커의 모델 매트릭스)
본 발명의 일 측면에 따른 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법은 상기 원격작업자의 원격 디바이스로부터 상기 가상 작업대상의 위치 및 방향을 변화시키는 명령이 수신되었는지 여부를 결정하는 단계; 및 상기 가상 작업대상의 위치 및 방향을 변화시키는 명령이 수신된 경우, 상기 수신된 명령에 따라 상기 가상 작업공간 상에서 상기 가상 작업대상의 위치 및 방향의 변화를 반영하는 단계를 더 포함한다.
본 발명의 일 측면에 따른 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법은 상기 산출된 타겟 마커의 현재 모델 매트릭스에 따라 상기 가상 작업공간 상에서 상기 가상 작업대상의 위치 및 방향을 업데이트하는 단계를 더 포함한다.
본 발명의 다른 측면에 따른 디바이스는 실제 작업공간에서의 실제 작업대상의 초기 상태를 나타내는 초기 이미지 데이터로부터 상기 실제 작업공간의 고정 지점을 식별하기 위한 마커인 베이스 마커 및 상기 실제 작업대상을 식별하기 위한 마커인 타겟 마커를 검출하는 마커 검출부; 상기 검출된 베이스 마커를 기준으로 하는 공통 좌표계를 갖는 가상 협업공간에서 상기 타겟 마커의 초기 위치 및 방향을 표현하는 타겟 마커의 초기 모델 매트릭스, 및 상기 검출된 베이스 마커의 위치 및 방향을 표현하는 상기 베이스 마커의 모델 매트릭스를 산출하고, 상기 산출된 베이스 마커의 모델 매트릭스를 이용하여 상기 타겟 마커의 현재 위치 및 방향을 표현하는 상기 타겟 마커의 현재 모델 매트릭스를 산출하는 매트릭스 산출부를 포함한다.
현장작업자의 현장디바이스는 실제 작업공간의 고정된 지점을 베이스 마커로 지정하고, 고정된 베이스 마커를 기준으로 가상 작업공간 상에서 실제 작업대상에 대응되는 가상 작업대상의 위치 및 방향을 결정한다. 즉, 본 발명에 따른 가상 콘텐츠 제공 방법은 실제 작업공간의 고정된 지점에 부착된 베이스 마커를 기준으로 실제 작업대상의 변화를 검출하고, 이를 가상 작업공간에 반영한다(mirroring). 고정된 베이스 마커를 기준으로 실제 작업대상의 위치 및 방향의 변화를 산출하고 이를 가상 작업공간 상의 가상 작업대상에 반영함으로써, 사용자 디바이스는 좌표계 및 스케일이 일정한 가상 작업공간을 생성할 수 있다. 다시 말해, 원격작업자들에게 공통된 좌표계를 갖는 가상 작업공간을 생성할 수 있다. 이에 따라, 서로 다른 공간에 위치한 원격작업자들에게 실제 작업대상의 위치 및 방향의 변화에 대한 정확한 정보가 제공될 수 있다.
본 발명의 실시예들에 따른 가상 콘텐츠 제공 방법은 고정된 베이스 마커를 기준으로 실제 작업대상의 움직임 및 카메라 모듈의 움직임을 파악함으로써, 사용자 디바이스가 실제 작업대상의 움직임과 카메라 모듈의 움직임을 구별할 수 있다. 사용자 디바이스는 베이스 마커를 기준으로 타겟 마커의 모델 매트릭스 및 카메라 모듈의 뷰 매트릭스를 산출함으로써, 가상 작업공간에 실제 작업대상의 움직임 및 카메라 모듈의 움직임을 구별하여 반영할 수 있다. 이에 따라, 본 발명의 실시예들에 따른 사용자 디바이스는 카메라 움직임이 실제 작업대상의 움직임으로 가상 협업공간 상에 잘 못 반영되는 문제를 방지할 수 있다.
상술한 바와 같이, 본 발명의 실시예들에 따른 가상 컨텐츠 제공 방법은 공통 좌표계 및 스케일을 갖는 가상 작업공간을 생성하고 생성된 가상 작업공간을 복수의 작업참여자들에게 제공함으로써, 작업참여자들 간의 원활하고 정확한 가상작업을 가능하게 한다. 이에 더하여, 공통 좌표계 기반의 가상 작업공간은 좌표계가 일정하기 때문에 가상현실, 증강현실 또는 혼합현실 등 다양한 확장현실로 표시될 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상작업시스템의 구성도이다.
도 2는 도 1에 도시된 현장 디바이스의 구성도이다.
도 3은 도 1에 도시된 현장작업자와 원격작업자 간의 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법의 흐름도이다.
도 4는 도 3에 도시된 베이스 마커 및 타겟 마커의 초기 모델 매트릭스를 산출하는 단계의 상세흐름도이다.
도 5는 베이스 마커의 초기 모델 매트릭스 및 타겟 마커의 초기 모델 매트릭스를 계산하는 방법을 설명하는 도면이다.
도 6은 가상 작업대상이 이동 전후의 현장 디바이스의 디스플레이부에 표시되는 예시화면을 도시한 도면이다.
도 7은 도 3에 도시된 타겟 마커의 현재 모델 매트릭스를 산출하는 단계의 상세흐름도이다.
도 8은 타겟 마커의 현재 모델 매트릭스를 계산하는 방법을 설명하는 도면이다.
도 9는 실제 작업대상이 이동 전후의 현장 디바이스 및 원격 디바이스의 디스플레이부에 표시되는 예시화면을 도시한 도면이다.
도 10은 본 실시예에 따른 가상 작업공간이 현장 디바이스 및 원격 디바이스의 디스플레이부에 표시되는 예시화면을 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 상세하게 설명한다. 이하에서 설명될 본 발명의 실시예들은 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법에 관한 것이다. 보다 구체적으로, 공통 좌표계 기반의 가상공간을 이용하여 현장작업자와 원격작업자 사이에서 가상 컨텐츠 제공 방법에서 관한 것이다. 본 발명의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자라면, 이하에서 설명될 "혼합현실(MR, Mixed Reality)"은 현실과 가상을 결합하여 현실의 물리적 객체와 가상 객체들이 공존하는 새로운 환경을 만들고 사용자가 해당 환경과 실시간으로 상호작용할 수 있는 기술을 의미하는 것임을 이해할 수 있다.
이하의 실시예에 따르면, 상호간에 원격지에 위치한 작업 참여자들의 디바이스들이 통신 네트워크를 통해 서로 연결되어 작업 참여자들은 이하에서 설명되는 AR(Augmented Reality) 컨텐츠 또는 VR(Virtual Reality) 컨텐츠를 통해 작업 진행 상황을 공유하게 된다. 이하에서는 실제 작업대상에 대응되는 가상의 객체를 “가상 작업대상”으로, 실제 작업공간에 대응되는 가상의 공간을 "가상 작업공간"이라고 호칭하기로 한다. 실제 작업공간에 위치하여 실제 작업대상에 대한 작업을 수행하는 적어도 한명의 참여자를 “현장작업자”로 호칭하기로 하고, 실제 작업공간의 원격지에 위치하여 실제 작업대상에 대한 작업에 참여하는 적어도 한 명의 참여자를 “원격작업자”로 호칭하기로 한다. 또한, 현장작업자의 디바이스와 원격작업자의 디바이스가 공유하고 증강현실 또는 가상현실로 표현될 수 있는 가상공간의 좌표계를 “공통 좌표계”로 호칭하기로 한다. 여기에서, 가상공간은 디바이스에 따라 가상현실 또는 증강현실로 사용자에게 제공될 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상작업시스템(1)의 구성도이다. 도 1을 참고하면, 본 실시예에 따른 가상작업시스템(1)은 현장작업자(10)의 디바이스(11)와 원격작업자(20)의 디바이스(21)로 구성된다. 현장작업자(10)의 디바이스(1)와 원격작업자(20)의 디바이스(21)는 동일한 디바이스일 수 있다. 이하에서는 현장작업자(10)의 디바이스(11)와 원격작업자(20)의 디바이스(11)를 구별하기 위하여, 현장작업자(10)의 디바이스(11)를 “현장디바이스(11)”로, 원격작업자(20)의 디바이스(11)를 “원격디바이스(21)”로 호칭하기로 한다. 현장디바이스(11)와 원격디바이스(21)는 네트워크(30)를 통해 연결되어 서로 통신을 하게 된다. 복수의 작업참여자(10, 20)는 각자의 디바이스(11, 21)에 표시되는 컨텐츠를 통해 혼합현실 환경에서 작업 상황을 공유하면서 작업을 수행할 수 있다.
실제 작업공간에 위치해 있는 현장작업자(10)는 원격작업자(20)와의 공동 작업을 통하여 실제 작업대상에 대한 조작, 예를 들어 고장 부위의 수리 작업이나 부품 교체 작업과 같은 공동작업 또는 가상공간 상에서의 게임과 같은 작업을 수행할 수 있다. 보다 구체적으로, 현장디바이스(11)는 그것의 카메라 모듈(112)을 이용하여 실제 작업공간, 즉 작업현장에 위치된 실제 작업대상을 촬영하고, 가상 작업공간에서 이와 같이 촬영된 실제 작업대상에 대응되는 가상 작업대상을 생성하고, 가상 작업공간에서의 가상 작업대상에 대한 데이터를 원격지에 위치하는 원격작업자(20)의 원격디바이스(21)로 전송한다.
원격작업자(20)는 원격디바이스(21)의 화면에 표시된 가상 작업공간에서의 가상 작업대상을 관찰하면서 각종 입력수단을 이용하여 가상 작업대상을 조작할 수 있다. 원격작업자(20)에 의한 가상 작업대상에 대한 조작이 가상 작업공간에 반영됨으로써, 가상작업 어플리케이션을 사용하는 모든 현장작업자(10) 및 원격작업자(20)에게 가상 작업대상의 조작에 대한 정보가 전달된다. 현장작업자(10)는 가상 작업공간에서의 가상 작업대상의 변화에 기초하여 원격작업자(20)가 가상 작업공간에서 수행한 작업을 바로 알 수 있다. 현장작업자(10)는 가상 작업공간에서의 작업을 참조하여 작업현장의 실제 작업대상을 조작할 수 있다. 상술한 바와 같이, 가상작업 기술은 작업대상과 멀리 떨어진 곳에 있는 전문가인 원격작업자(20)와 작업현장에 위치한 현장작업자(10) 사이에 실제 작업대상을 나타내는 가상 작업대상을 공유함으로써, 현장작업자(10)로 하여금 원격작업자(20)가 가상 작업공간에서 수행한 작업을 보고 실제 작업대상을 조작하도록 할 수 있다.
현장 작업자(10)와 마찬가지로 원격작업자(20)는 원격디바이스(21)의 화면에 표시된 가상 작업공간에서의 가상 작업대상을 관찰하면서 현장작업자(10)가 조작한 실제 작업대상의 움직임을 파악할 수 있다. 현장작업자(10)에 의한 실제 작업대상에 대한 조작이 가상 작업공간에 반영됨으로써, 가상작업 어플리케이션을 사용하는 모든 현장작업자(10) 및 원격작업자(20)에게 실제 작업대상의 조작에 대한 정보가 전달된다. 원격작업자(20)는 가상 작업공간에서의 가상 작업대상의 변화에 기초하여 현장작업자(10)가 실제 작업공간에서 수행한 작업을 바로 알 수 있다. 원격작업자(20)는 실제 작업공간에서의 작업을 참조하여 가상 작업공간의 가상 작업대상을 조작할 수 있다. 상술한 바와 같이, 가상작업 기술은 작업대상과 멀리 떨어진 곳에 있는 전문가인 원격작업자(20)와 실제 작업현장에 위치한 현장작업자(10) 사이에 실제 작업대상을 나타내는 가상 작업대상을 공유함으로써, 원격작업자(20)로 하여금 현장작업자(10)가 실제 작업공간에서 수행한 작업을 가상 작업공간에서 관찰하고 가상 작업대상을 조작하도록 할 수 있다.
현장디바이스(11)는 서로 떨어진 장소에 위치하는 복수의 작업참여자(10, 20)와의 가상작업을 가능하게 하기 위한 장치이다. 현장디바이스(11)는 미리 설치된 원격협업 서비스를 수행하는 가상작업 어플리케이션을 실행하고, 가상작업 어플리케이션을 통해 사용자에게 원격협업 서비스를 제공한다. 가상작업 어플리케이션은 네트워크를 통하여 복수의 작업참여자의 현장디바이스(11)을 연결하여, 서로 떨어진 장소에 있는 복수의 작업참여자에게 가상작업을 가능하게 하는 어플리케이션이다. 이하에서는 가상작업 전에 현장디바이스(11)에 가상작업 어플리케이션이 미리 설치되어 있는 것으로 가정한다. 현장디바이스(11)의 대표적인 예로는 태블릿(tablet) PC를 들 수 있고, 그 외 HMD(Head Mounted Display), VR(virtual reality) 기기, 스마트폰(smart phone), 태블릿(tablet) pc, 랩탑(laptop) 등을 들 수 있다. 또한, 현장디바이스(11)는 WCDMA, LTE와 같은 무선 통신망에 접속되어 다른 현장디바이스(11)과 연결될 수 있다. 앞서 설명한 바와 같이, 원격디바이스(21)는 현장디바이스(11)와 동일한 디바이스일 수 있다.
도 2는 도 1에 도시된 현장디바이스(11)의 구성도이다. 도 2를 참고하면, 현장디바이스(11)는 프로세서(111), 카메라 모듈(112), 마커 검출부(113), 가상공간 프로세서(114), 매트릭스 산출부(115), 디스플레이부(116), 입력모듈(117), 통신모듈(118), 및 스토리지(119)로 구성된다. 프로세서(111)는 현장디바이스(11)의 일반적인 태스크를 처리한다. 카메라 모듈(112)은 실제 작업대상이 위치하는 실제 작업공간을 촬영하여, 실제 작업대상 및 실제 작업공간을 나타내는 이미지 데이터를 생성한다. 마커 검출부(113)는 카메라 모듈(112)로부터 생성된 이미지 데이터를 분석하여 실제 작업대상이 위치하는 실제 작업공간에서 가상 작업공간의 기준점 역할을 하는 지점을 지시하는 베이스 마커(base marker) 및 가상 작업공간에서의 실제 작업대상을 지시하는 타겟 마커(target marker)를 검출한다. 가상공간 처리부(114)는 실제 작업공간을 나타내는 이미지 데이터로부터 실제 작업공간의 일부 또는 전체를 반영하는(mirroring) 3차원의 가상의 공간인 가상 작업공간을 생성한다. 또한, 가상공간 처리부(114)는 현장작업자(10)와 원격작업자(20)의 가상작업을 위하여 실제 작업대상과 동일한 3차원 모델 형상을 갖는 가상 작업대상을 생성하고, 생성된 가상 작업대상을 가상 작업공간에 배치한다. 가상공간 처리부(114)는 실제 조작대상 또는 가상 조작대상의 변화를 검출하고, 검출된 실제 작업대상 또는 가상 조작대상의 변화를 가상 작업공간에 반영한다.
매트릭스 산출부(115)는 가상 작업공간에서 기준점으로부터 임의의 대상의 상태인 위치(position)와 방향(oientation)을 표현하는 매트릭스(matrix)를 산출한다. 매트릭스 산출부(115)는 모델(model) 매트릭스, 뷰(view) 매트릭스, 및 모델뷰(ModelView) 매트릭스를 산출한다. 여기에서, 매트릭스는 가상 공간에서 가상 물체의 임의의 원점을 기준으로 위치와 방향으로 구분하고, 서로 독립적인 가상 물체의 위치 및 방향을 계산하기 위한 수학적 도구이다. 모델 매트릭스는 가상 공간에서 가상 물체의 상태(위치 및 방향)를 표현하는 매트릭스이다. 예를 들어, 가상 작업대상의 모델 매트릭스는 가상 작업공간 상에서 원점을 기준으로 가상 작업대상의 위치 및 방향을 표현하는 매트릭스이다. 모델 매트릭스, 뷰 매트릭스 및 모델뷰 매트릭스에 대하여는 이하에서 상세하게 설명하기로 한다. 여기에서, 마커 검출부(113), 가상공간 처리부(114) 및 매트릭스 산출부(115)는 프로세서(111)와는 다른 별개의 전용 프로세서로 구현될 수도 있고, 프로세서(111)의 컴퓨터 프로그램 실행에 의해 구현될 수도 있다.
디스플레이부(116)는 실제 조작대상에 대응되는 가상 조작대상을 포함하는 가상 작업공간을 표시한다. 입력모듈(117)은 사용자로부터 가상 작업공간 상에서 가상 작업대상을 조작하는 입력 신호를 수신한다. 입력모듈(117)의 예로는 키보드, 마우스, 터치스크린 패널, 모션 컨트롤러 등을 들 수 있다. 통신모듈(118)은 LTE 기지국 또는 와이파이 중개기에 접속하여 인터넷 등과 같은 광역 네트워크를 통하여 다른 원격디바이스(21)와 통신할 수 있도록 통신기능을 지원한다. 스토리지(119)에는 가상작업을 위한 어플리케이션 및 이러한 어플리케이션에 의해 사용되는 데이터가 저장된다.
현장디바이스(11)는 이상에서 설명된 구성요소들 외에 추가적인 구성요소를 더 포함한다. 예를 들어, 현장디바이스(11)는 도 2에 도시된 바와 같이, 여러 구성요소들 간에 데이터를 전송하기 위한 버스를 포함하고, 도 2에는 생략되어 있으나 각 구성요소에 구동전원을 공급하는 전력모듈을 포함한다. 이와 같이, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 구성요소에 대한 설명은 본 실시예의 특징을 흐려지게 함에 따라 생략된다. 이하에서는 본 발명의 일 실시예에 따른 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법을 설명하는 과정에서 현장디바이스(11)의 각 구성요소에 대해 상세하게 설명하기로 한다.
도 3은 도 1에 도시된 현장작업자와 원격작업자 간의 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법의 흐름도이다. 도 3을 참고하면, 본 실시예에 따른 가상 컨텐츠 제공 방법은 도 1에 도시된 현장디바이스(11)에서 시계열적으로 수행되는 단계들로 구성된다.
301 단계에서, 현장디바이스(11)의 프로세서(111)는 가상작업 어플리케이션을 실행한다. 보다 구체적으로, 프로세서(111)는 입력모듈(117)을 통해 현장작업자(10)로부터 가상작업 어플리케이션의 실행 명령을 입력받으면, 가상작업 어플리케이션을 실행한다. 도 1을 참고하면, 현장작업자(10)의 현장디바이스(11)는 현장작업자(10)로부터 가상작업 어플리케이션의 실행 명령을 입력받은 경우 가상작업 어플리케이션을 실행한다. 원격작업자(20)의 원격 디바이스(21) 또한 원격작업자(20)로부터 가상작업 어플리케이션의 실행 명령을 입력받은 경우 가상작업 어플리케이션을 실행한다. 가상작업 어플리케이션을 실행한 현장작업자(10)의 현장디바이스(11)과 원격작업자(20)의 원격디바이스(21)는 네트워크를 통하여 서로 연결된다.
302 단계에서, 현장디바이스(11)의 카메라 모듈(112)은 실제 작업공간에서의 실제 작업대상의 초기 상태를 나타내는 초기 이미지 데이터를 생성한다. 여기에서, 이미지 데이터는 2차원 또는 3차원 형상의 특징을 나타내는 전기적 신호로서, 카메라 모듈(112)과 같은 입력 장치에 의해 생성되는 데이터이다. 원격작업자(20)는 멀리 떨어져 있는 적어도 한명의 원격작업자(20)와의 가상작업을 위하여 가상작업의 대상이 되는 실제 작업대상을 현장디바이스(11)의 카메라 모듈(112)을 이용하여 촬영한다. 카메라 모듈(112)은 실제 작업공간에서의 실제 조작대상의 초기 상태를 나타내는 초기 이미지 데이터를 생성한다. 초기 이미지 데이터는 가상작업을 수행하기 전에 실제 작업공간에서 실제 작업대상의 위치 및 방향을 포함하는 실제 조작대상의 초기 상태를 나타낸다. 초기 이미지 데이터는 가상작업 수행 전에 실제 작업대상의 상태를 나타내기 때문에, 가상작업 수행 중에 실제 작업대상의 상태가 변화하였는지를 판정하는 기준이 된다. 카메라 모듈(112)은 생성된 초기 이미지 데이터를 현장디바이스(11)의 마커 검출부(113)로 입력한다.
303 단계에서, 현장디바이스(11)의 마커 검출부(113)는 카메라 모듈(112)로부터 입력된 초기 이미지 데이터로부터 베이스 마커 및 타겟 마커를 검출한다. 보다 구체적으로, 마커 검출부(113)는 실제 작업공간에서의 실제 작업대상의 초기 상태를 나타내는 초기 이미지 데이터로부터 실제 작업공간에서 고정된 지점을 식별하기 위한 베이스 마커 및 실제 작업대상을 식별하기 위한 타겟 마커를 검출한다. 마커 검출부(113)는 실제 작업공간에서의 실제 작업대상의 초기 상태를 나타내는 초기 이미지 데이터로부터 가상 작업공간 좌표계에서의 기준점이 되는 베이스 마커를 검출하고, 실제 작업대상을 나타내는 타겟 마커를 검출한다. 위에서 설명한 바와 같이, 베이스 마커는 가상 작업공간에서 기준점 역할을 하는 마커로서, 실제 작업공간에서 고정된 지점을 식별하기 위한 마커이다. 베이스 마커는 기준점 역할을 하기 때문에, 마커 검출부(113)는 고정된 지점 또는 물체를 베이스 마커로서 검출한다. 타겟 마커는 가상작업의 실제 작업대상인 물체를 식별하기 위한 마커이다. 베이스 마커 및 타겟 마커는 현장협업자(10)에 의하여 미리 설정될 수 있다. 베이스 마커 및 타겟 마커의 검출에 대하여는 이하에서 상세하게 설명하기로 한다.
본 발명의 일 실시예에 따른 마커 검출부(113)는 이미지 프로세싱을 통하여 이미지 데이터에 포함된 형상을 추출하고, 추출된 형상을 이용하여 베이스 마커 및 타겟 마커를 검출한다. 보다 구체적으로, 마커 검출부(113)는 실제 작업공간에서의 실제 작업대상의 초기 상태를 나타내는 초기 이미지 데이터에 포함된 형상들을 추출한다. 예를 들어, 마커 검출부(113)는 초기 이미지 데이터에서 특징점(feature point, keypoint)을 추출한다. 특징점은 이미지에서 주위 배경과 구분되면서 식별이 용이한 지점이다. 특징점은 이미지 데이터에서 물체의 형태, 크기 또는 위치가 변하더라도 용이하게 식별이 가능한 지점이고, 카메라의 시점 및 조명이 변하더라도 용이하게 식별 가능한 지점이다. 특징점의 예로는 모서리(corner), 경계선(edge) 등을 들 수 있다. 마커 검출부(113)는 추출된 특징점을 분석하여 이미지 데이터에 포함된 형상들을 추출한다. 마커 검출부(113)는 인공신경망(Artificial Neural Network) 기법을 이용하여 이미지 데이터에 포함된 형상들을 추출할 수 있다. 이미지 데이터로부터 특징점 및 형상을 추출하는 방법은 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 공지되어 있으므로, 이에 대한 상세한 설명은 본 실시예의 특징이 흐려짐을 방지하기 위하여 더 이상의 자세한 설명은 생략하기로 한다.
마커 검출부(113)는 초기 이미지 데이터로부터 추출된 형상들 중 베이스 마커와 타겟 마커를 추출한다. 보다 구체적으로, 마커 검출부(113)는 추출된 형상들을 스토리지(119)에 미리 저장된 베이스 마커 형상 및 타겟 마커 형상과 비교한다. 마커 검출부(113)는 비교결과에 기초하여 이미지 데이터로부터 추출된 형상들 중 베이스 마커의 형상과 일치하는 형상을 베이스 마커로 결정하고, 타겟 마커의 형상과 일치하는 형상을 타겟 마커로 결정한다. 마커 검출부(113)는 현장디바이스(11)의 스토리지(119)에 미리 저장된 베이스 마커의 형상과 동일한 형상을 베이스 마커로 추출하고, 스토리지(119)에 미리 저장된 타겟 마커의 형상과 동일한 형상을 타겟 마커로 추출한다.
현장디바이스(11)의 스토리지(119)는 베이스 마커의 형상 및 타겟 마커의 형상을 미리 저장하고 있다. 상술한 바와 같이, 베이스 마커의 형상은 가상 작업공간에서 기준점 역할을 할 수 있는 지점 또는 물체의 형상이다. 베이스 마커는 가상 작업공간에서 기준점 역할을 하기 때문에 베이스 마커로 지정될 수 있는 지점 또는 물체는 움직이지 않고 고정되어 있어야 한다. 예를 들어, 실제 작업대상이 놓이는 공간의 바닥이나 책상, 주변 벽지의 패턴, 실제 협업공간에 고정된 물체에 부착된 QR 코드(Quick Response Code), 바코드(bar code), 특정 패턴 등이 베이스 마커가 될 수 있다. 베이스 마커의 형상으로 특정 패턴의 QR 코드가 저장된 경우, 현장작업자(10)는 이러한 특정 패턴의 QR 코드를 실제 작업공간의 고정된 물체에 부착하는 방식으로 실제 작업공간에서 베이스 마커를 미리 결정할 수 있다. 현장디바이스(11)의 스토리지(119)는 실제 작업공간에서 고정된 지점 또는 물체의 형상인 베이스 마커의 형상을 나타내는 이미지 데이터를 저장한다. 마커 검출부(113)는 스토리지(119)에 저장된 베이스 마커의 형상을 카메라 모듈(117)에 의해 입력된 이미지 데이터(즉, 실제 작업공간에서 실제 작업대상의 상태를 나타내는 이미지 데이터)로부터 추출된 형상들과 비교하고, 미리 저장된 베이스 마커의 형상과 일치하는 형상을 베이스 마커로 결정한다.
또한, 상술한 바와 같이, 타겟 마커의 형상은 가상 작업공간에서 현장작업자(10)와 원격작업자(20)가 함께 작업할 실제 작업대상의 형상이다. 현장작업자(10)는 실제 작업공간에서 원격작업자(20)와 가상작업을 수행할 실제 작업대상을 결정한다. 본 발명의 일 실시예에서, 현장작업자(10)는 현장디바이스(11)의 카메라 모듈(112)을 이용하여 결정된 실제 작업대상의 형상을 나타내는 이미지 데이터를 생성한다. 현장디바이스(11)는 실제 작업대상의 형상인 타겟 마커의 형상을 나타내는 이미지 데이터를 스토리지(119)에 미리 저장한다. 마커 검출부(113)는 스토리지(119)에 저장된 실제 작업대상의 형상을 실제 작업공간에서의 실제 작업대상의 상태를 나타내는 이미지 데이터로부터 추출된 형상들과 비교하고, 미리 저장된 타겟 마커의 형상과 일치하는 형상을 타겟 마커(즉, 가상 작업공간에서의 작업대상)로 결정한다. 가상작업의 실제 작업대상이 3D 프린터의 분말통인 경우를 예로 들면, 현장디바이스(11)의 스토리지(119)는 실제 작업대상인 분말통의 형상을 미리 저장하고 있다. 현장디바이스(11)의 마커 검출부(113)는 실제 작업공간에서의 실제 작업대상을 나타내는 이미지 데이터로부터 추출된 형상을 스토리지(119)에 미리 저장된 분말통의 형상과 비교한다. 비교 결과, 스토리지(119)에 미리 타겟 마커의 형상으로 저장된 분말통의 형상과 일치하는 형상을 타겟 마커로 결정한다. 마커 검출부(113)는 결정된 형상을 타겟 마커로 추출한다.
본 발명의 다른 실시예에서, 현장디바이스(11)의 스토리지(119)는 타겟 마커의 형상으로 QR 코드, 바코드(bar code) 등과 같은 임의의 코드를 저장할 수 있다. 현장협업자(10)는 가상작업을 수행할 실제 작업대상에 타겟 마커의 형상으로 저장된 QR 코드 또는 바코드을 부착하여, 실제 작업대상을 지정할 수 있다. 가상협업의 실제 작업대상이 분말통인 경우를 예로 들면, 현장작업자(10)는 스토리지(119)에 타겟 마커 형상으로 저장된 QR 코드를 실제 작업대상인 분말통에 부착한다. 마커 검출부(113)는 스토리지(119)에 저장된 QR 코드 또는 바코드의 형상과 실제 작업공간에서의 실제 작업대상을 나타내는 이미지 데이터로부터 추출된 형상들과 비교하고, 미리 저장된 QR 코드 또는 바코드의 형상과 일치하는 형상을 타겟 마커(즉, 작업 대상)로 결정할 수 있다.
본 발명의 또 다른 실시예에서, 타겟 마커 또는 베이스 마커는 육안으로 식별이 불가능한 전기적 신호를 포함한다. 예를 들어, 현장 디바이스(11)는 소형 무선통신 디바이스에 의해 송신되는 신호를 통하여 타겟 마커 또는 베이스 마커를 인식할 수 있다. 예를 들어, 베이스 마커의 형상 및 위치에 대한 정보를 포함하는 비컨(beacon) 신호를 송신하는 무선통신 디바이스가 실제 작업공간의 고정된 지점에 부착되고, 실제 작업공간의 고정된 지점에 부착된 무선통신 디바이스는 현장 디바이스(11)로 베이스 마커에 대한 신호를 송신한다. 현장 디바이스(11)는 수신된 베이스 마커에 대한 신호에 기초하여 베이스 마커의 형상 및 위치를 식별할 수 있다. 타겟 마커 또한 실제 작업대상의 형상 및 위치에 대한 정보를 포함하는 비컨 신호를 송신하는 무선통신 디바이스가 실제 작업대상에 부착되고, 실제 작업대상에 부착된 무선통신 디바이스는 현장 디바이스(11)로 타겟 마커에 대한 신호를 송신한다. 현장 디바이스(11)는 수신된 타겟 마커에 대한 신호에 기초하여 타겟 마커의 형상 및 위치를 식별할 수 있다. 현장 디바이스(11)는 상술한 예시 이외에도 다양한 방법으로 타겟 마커 및 베이스 마커를 식별할 수 있다.
304 단계에서, 현장디바이스(11)의 가상공간 처리부(114)는 원격작업자(20)와의 가상작업을 위한 가상 작업공간, 및 실제 작업대상에 대응되는 가상 작업대상을 생성한다. 가상공간 처리부(114)는 가상작업의 실제 작업대상에 대응되는 가상 작업대상을 포함하는 가상 작업공간을 생성한다. 가상 작업공간은 실제 작업공간에서의 실제 작업대상의 상태를 나타내는 이미지 데이터로부터 실제 작업공간의 일부 또는 전체를 반영하는(mirroring) 3차원의 가상의 공간이다. 예를 들어, 가상 작업공간은 3차원 공간으로서, 원점과 X, Y, Z축을 가질 수 있다. 가상공간 처리부(114)는 실제 작업대상의 3차원 모델 형상을 갖는 가상 작업대상을 생성한다. 예를 들어, 실제 작업대상이 원통형의 분말통인 경우, 가상공간 처리부(114)는 원통형의 형상을 갖는 가상 작업대상을 생성한다. 그리고, 가상공간 처리부(114)는 3차원의 가상 작업공간에 실제 작업대상의 3차원 모델 형상인 가상 작업대상을 임의의 위치에 배치한다. 여기서 실제 작업대상의 3차원 모델 형상인 가상 작업대상이 배치되는 임의의 위치는 설계자에 의해 미리 설정될 수 있다. 이하에서 설명할 바와 같이, 본 발명에 따른 실시예들은 실제 작업공간에서 고정된 지점에 부착된 베이스 마커를 이용하여 가상 작업공간에서 타겟 마커의 상태(위치 및 방향)을 결정함으로써, 실제 작업공간과 공통된 기준을 갖는 좌표계로 구성되는 가상 작업공간을 생성할 수 있다.
305 단계에서, 현장디바이스(11)의 매트릭스 산출부(115)는 302 단계에서 생성된 초기 이미지 데이터로부터 303 단계에서 감지된 베이스 마커의 모델 매트릭스 및 타겟 마커의 초기 모델 매트릭스를 산출한다. 모델 매트릭스는 가상 작업공간 상에 배치된 임의의 지점 또는 물체의 위치 및 방향을 표현한다. 예를 들어, 베이스 마커의 모델 매트릭스는 가상 작업공간 상에서 베이스 마커의 위치 및 방향을 표현하고, 타겟 마커의 초기 모델 매트릭스는 타겟 마커가 감지된 후 가장 먼저 산출된 타겟 마커의 모델 매트릭스로서, 가상 작업공간에서 가상작업의 가상 작업대상의 초기 상태(위치 또는 방향)를 표현한다. 따라서, 타겟 마커의 초기 모델 매트릭스는 가상 작업공간에서 타겟 마커의 변화를 결정하는 기준이 된다. 실제 작업대상의 상태(위치 및 방향)가 변화된 경우, 타겟 마커의 상태가 변하기 때문에 타겟 마커의 초기 모델 매트릭스와 타겟 마커의 현재 상태를 표현하는 현재 모델 매트릭스가 차이가 발생한다.
보다 상세하게 설명하면, 실제 작업대상의 위치 또는 방향에 변화가 발생된 경우, 현장디바이스(11)는 변화된 실제 작업대상의 상태를 나타내는 이미지 데이터를 이용하여 타겟 마커의 모델 매트릭스를 산출하고 타겟 마커의 초기 모델 매트릭스와 비교함으로써, 가상 작업공간에서 타겟 마커, 즉 실제 작업대상의 위치 및/또는 방향의 변화를 알 수 있다. 타겟 마커의 초기 모델 매트릭스는 가상작업에서 실제 작업대상의 움직임 등과 같은 변화가 발생하였는지를 결정하는 기준이다.
현장디바이스(11)의 카메라 모듈(112)을 기준으로 베이스 마커의 모델 매트릭스 및 타겟 마커의 초기 모델 매트릭스를 산출하게 되면, 실제 작업대상의 변화가 없더라도 현장디바이스(11)의 위치가 변경됨에 따라 가상 작업공간에서 베이스 마커 및 타겟 마커의 위치 또는 방향이 변화되어 원격작업자(20)에게 실제 작업대상에 대한 잘못된 정보가 전달될 수 있는 문제점이 있다.
보다 구체적으로, 현장작업자(10)와 원격작업자(20)의 가상작업을 위하여 현장작업자(10)의 현장디바이스(11)는 실제 작업대상에 대응하는 가상 작업대상을 포함하는 가상 작업공간을 생성한다. 현장디바이스(11)가 가상 조작대상을 포함하는 가상 작업공간을 표시하기 위하여, 실제 작업대상에 대응되는 가상 작업대상이 가상 작업공간에서 배치되는 위치 및 방향을 알아야 한다. 가상 작업대상은 가상 작업공간에서 소정의 위치 및 방향으로 배치된다. 가상 작업공간 상에서 가상 작업대상의 위치 및 방향은 모델 매트릭스를 통하여 표현될 수 있다. 가상 작업대상의 모델 매트릭스는 가상 작업공간 상에서 가상 작업대상의 위치 및 방향을 표현한다.
또한, 현장디바이스(11)는 가상 작업공간에서 실제 작업대상에 대응되는 가상 작업대상을 실제 작업대상의 상태와 동일하게 배치하기 위하여, 실제 작업공간에서의 실제 작업대상을 촬영하는 현장디바이스(11)의 카메라 모듈(112)이 실제 작업공간에서 실제 작업대상을 바라보는 방향을 알아야 한다. 카메라 모듈(112)의 뷰 매트릭스는 가상 작업공간에서 카메라 모듈(112)이 실제 작업대상에 대응되는 가상 작업대상을 바라보는 방향을 표현한다.
실제 작업공간에서 사용자가 실제 작업대상인 물체를 바라볼 때 바라보는 방향에 따라 물체가 다르게 보이게 된다. 가상 작업공간에서도 카메라 모듈(112)이 가상 작업대상을 바라보는 방향에 따라서 가상 작업대상이 다르게 보이게 된다. 모델뷰(ModelView) 매트릭스는 현장디바이스(11)의 카메라 모듈(112)을 기준으로 가상 작업공간 상에서 가상 조작대상의 상태(위치 및 방향)를 표현한다. 다시 말해, 가상 작업대상의 모델뷰 매트릭스는 이미지 데이터의 촬영에 사용된 카메라 모듈(117)의 뷰를 기준으로 가상 작업대상의 위치 및 방향을 표현하는 매트릭스이다. 가상 작업대상의 모델뷰 매트릭스는 가상 작업공간에서 가상 작업대상의 위치 및 방향을 표현하는 모델 매트릭스와 카메라 모듈(112)이 조작대상을 바라보는 방향을 표현하는 뷰 매트릭스의 곱으로 표현될 수 있다. 모델뷰 매트릭스, 모델 매트릭스 및 뷰 매트릭스는 다음의 수학식으로 표현될 수 있다.
Figure 112019083300312-pat00001
상술한 바와 같이, 가상 작업대상의 모델뷰 매트릭스는 카메라 모듈(112)의 바라보는 방향에 따라 가상 작업공간 상에서 가상 작업대상의 위치 및 방향을 표현한다. 이러한 가상 작업대상의 모델뷰 매트릭스는 현장디바이스(11)의 매트릭스 산출부(115)에 의해 실제 작업공간에서의 실제 작업대상을 나타내는 이미지 데이터로부터 가상 작업대상의 모델뷰 매트릭스를 산출될 수 있다. 이와 같이 산출된 가상 작업대상의 모델뷰 매트릭스는 카메라 모듈(112)을 기준으로 하기 때문에 카메라 모듈(112)의 위치 및 촬영 방향에 대한 가상 작업대상의 상대적인 위치 및 방향을 표현한다.
가상 작업대상의 모델뷰 매트릭스는 상술한 방식으로 산출할 수 있으나, 가상 작업공간 상에서 가상 작업대상의 절대적 위치 및 방향을 표현하는 가상 작업대상의 모델 매트릭스, 및 가상 작업공간 상에서 카메라 모듈(112)이 가상 작업대상을 바라보는 방향을 표현하는 카메라 모듈(112)의 뷰 매트릭스를 알 수 없다. 상술한 바와 같이, 가상 작업대상의 모델뷰 매트릭스는 카메라 모듈(112)의 위치 및 방향에 따른 가상 작업대상의 상대적인 위치 및 방향이기 때문에, 카메라 모듈(112)과 실제 작업대상 사이의 움직임이 발생하였을 때 이러한 움직임이 카메라 모듈(112)의 이동에 의한 것인지 또는 실제 작업대상의 움직임에 기인한 것인지 알 수 없다. 이러한 부정성(indeterminacy)으로 인하여 가상작업에서 원격작업자(20)는 실제 작업대상에 대한 정확한 정보를 알 수 없다.
이러한 문제점을 해결하기 위하여, 본 발명의 실시예들은 아래와 같은 방식으로 베이스 마커의 모델 매트릭스 및 타겟 마커의 초기 모델 매트릭스를 산출한다. 도 4는 도 3에 도시된 베이스 마커의 모델 매트릭스 및 타겟 마커의 초기 모델 매트릭스를 산출하는 단계의 상세흐름도이고, 도 5는 베이스 마커의 모델 매트릭스 및 타겟 마커의 초기 모델 매트릭스를 계산하는 방법을 설명하는 도면이다. 도 4 및 도 5를 참고하면, 3051 단계에서, 가상공간 처리부(114)는 304 단계에서 생성된 가상 작업공간에서 원점을 지정한다. 가상공간 처리부(114)는 생성된 가상 작업공간에서 임의의 지점을 원점으로 지정한다.
3052 단계에서, 매트릭스 산출부(115)는 실제 작업공간에서의 실제 작업대상의 초기 상태를 나타내는 초기 이미지 데이터에 기초하여 베이스 마커의 초기 모델뷰 매트릭스(MVb matrix), 및 타겟 마커의 초기 모델뷰 매트릭스(MVo matrix)를 산출한다. 상술한 바와 같이, 모델뷰 매트릭스는 카메라 모듈(112)을 기준으로 가상 작업공간 상에서 대상의 위치 및 방향을 표현한다. 매트릭스 산출부(115)는 이미지 데이터를 분석하는 알고리즘을 이용하여 카메라 모듈(112)이 베이스 마커 및 타겟 마커 각각을 바라보는 방향에 따른 베이스 마커의 초기 모델뷰 매트릭스(MVb matrix), 및 타겟 마커의 초기 모델뷰 매트릭스(MVo matrix)를 산출한다.
3053 단계에서, 매트릭스 산출부(115)는 가상 작업공간 상에서 타겟 마커의 초기 모델 매트릭스(Mo matrix)를 산출한다. 앞서 설명한 바와 같이, 타겟 마커는 실제 작업대상을 식별하기 위한 마커로서, 실제 작업공간을 반영하는 가상 작업공간 상에서 임의의 위치에 배치된다고 가정한다. 매트릭스 산출부(115)는 3051 단계에서 결정된 원점으로부터 임의의 위치에 배치된 타겟마커의 초기 모델 매트릭스(Mo matrix)를 산출한다.
3054 단계에서, 매트릭스 산출부(115)는 3052 단계에서 산출된 타겟 마커의 초기 모델뷰 매트릭스(MVo matrix) 및 3053 단계에서 산출된 타겟 마커의 초기 모델 매트릭스(Mo matrix)를 이용하여 카메라 모듈(112)의 초기 뷰 매트릭스(View matrix)를 산출한다. 앞서 [수학식 1]에서 설명한 바와 같이, 모델뷰 매트릭스는 뷰 매트릭스와 모델 매트릭스의 곱이다. [수학식 1]에 따라, 타겟 마커의 초기 모델뷰 매트릭스(MVo matrix)는 가상 작업공간에서 타겟 마커의 위치 및 방향을 표현하는 초기 모델 매트릭스(Mo matrix)와 카메라 모듈(112)이 가상 작업대상을 바라보는 방향을 표현하는 초기 뷰 매트릭스(View matrix)의 곱으로 표현될 수 있다. 모델 매트릭스는 인버터블하기(invertible) 때문에, [수학식 1]의 양 측에 모델 매트릭스의 역행렬을 곱하면 다음의 수학식 같이 정리된다.
Figure 112019083300312-pat00002
매트릭스 산출부(115)는 상기 수학식 2를 이용하여 카메라 모듈(112)의 초기 뷰 매트릭스(View matrix)를 산출할 수 있다.
3055 단계에서, 매트릭스 산출부(115)는 3054 단계에서 산출된 카메라 모듈(112)의 초기 뷰 매트릭스(View matrix) 및 베이스 마커의 초기 모델뷰 매트릭스(MVb matrix)를 이용하여 베이스 마커의 모델 매트릭스(Mb matrix)를 산출한다. 앞서 설명한 바와 같이, 베이스 마커의 초기 모델뷰 매트릭스(MVb matrix)는 가상 작업공간에서 베이스 마커의 위치 및 방향을 표현하는 모델 매트릭스(Mb matrix)와 카메라 모듈(112)이 가상 작업대상을 바라보는 방향을 표현하는 초기 뷰 매트릭스(View matrix)의 곱으로 표현될 수 있다. 따라서, 베이스 마커의 모델 매트릭스(Mb matrix)는 다음과 같은 식으로 표현될 수 있다.
Figure 112019083300312-pat00003
수학식 2 및 3을 다음과 같은 식으로 정리할 수 있다.
Figure 112019083300312-pat00004
매트릭스 산출부(115)는 상기 수학식 4를 통해 베이스 마커의 모델 매트릭스(Mb matrix)를 산출한다. 상술한 바와 같이, 베이스 마커는 가상 작업공간에서 기준점 역할을 하는 마커로서, 실제 작업현장에서 고정된 지점 또는 물체에 해당하기 때문에, 베이스 마커는 움직이지 않는다. 이에 따라, 베이스 마커의 모델 매트릭스(Mb matrix)는 고정된다.
현장디바이스(11)의 매트릭스 산출부(115)는 위에서 설명한 수학식들을 이용하여 베이스 마커를 기준으로 하는 공통 좌표계를 갖는 가상 작업공간에서 베이스 마커의 모델 매트릭스 및 타겟 마커의 초기 모델 매트릭스를 산출할 수 있다.
306 단계에서, 현장디바이스(11)의 프로세서(111)는 원격작업자(20)의 원격 디바이스(21)로부터 가상 작업공간에서 가상 작업대상의 위치 및 방향 중 적어도 하나를 변화시키는 명령이 통신모듈(118)을 통해 수신되었는지를 결정한다. 원격작업자(20)는 원격디바이스(21)에서 실행 중인 가상작업 어플리케이션을 통하여 가상 작업공간 상에서 가상 작업대상의 위치 및 방향을 조작할 수 있다. 원격작업자(20)에 의해 가상 작업공간에서 가상 작업대상의 위치 및 방향 중 적어도 하나를 변화시키는 명령이 현장디바이스(11)의 통신모듈(118)을 통해 수신된 경우에는 307 단계로 진행하고, 그렇지 않은 경우에는 308 단계로 진행한다.
307 단계에서, 현장디바이스(11)의 가상공간 처리부(114)는 원격작업자(20)의 원격 디바이스(21)로부터 가상 작업대상의 위치 및 방향 중 적어도 하나를 변화시키는 명령이 수신된 경우, 수신된 명령에 따라 가상 작업대상의 위치 및 방향의 변화를 가상 작업공간에 반영한다. 현장디바이스(11)의 가상공간 처리부(114)는 원격작업자(20)에 의해 가상 작업대상에 변화가 발생한 경우, 발생된 가상 작업대상의 변화를 가상 작업공간 상에 반영한다. 보다 구체적으로, 원격작업자(20)가 가상 작업공간에서 가상 작업대상의 위치를 이동시키거나 회전시키는 명령을 원격디바이스(21)에 입력한 경우, 원격디바이스(21)는 원격디바이스(21)의 통신모듈을 통하여 이러한 가상 작업대상의 변화에 대한 명령을 현장디바이스(11)로 전송한다. 이와 같은 명령을 수신한 현장디바이스(11)는 수신된 명령에 따라 가상 작업공간에서 가상 작업대상의 위치를 이동시키거나 회전시킴으로써, 원격작업자(20)에 의한 가상 작업대상의 조작을 가상 작업공간에 반영한다. 예를 들어, 원격작업자(20)가 원격 디바이스(21)에 가상 작업대상을 이동시키는 명령을 입력한 경우에 현장작업자(10)의 현장디바이스(11)는 원격작업자(20)의 원격 디바이스(21)로부터 가상 작업대상을 이동시키는 명령을 수신한다. 현장작업자(10)의 현장디바이스(11)는 수신된 명령에 따라 가상 작업공간 상에서 가상 작업대상을 이동시킨다.
이와 관련하여, 도 6은 가상 작업대상이 이동 전후의 사용자 디바이스의 디스플레이부에 표시되는 예시화면을 도시한 도면이다. 도 6을 참고하면, 도 6의 (a)는 실제 작업대상인 분말통과 분말통의 가상 작업대상이 현장디바이스(11)의 디스플레이부(116)에 표시되는 화면을 도시한 예시이다. 도 6의 (a)의 예시를 참고하면, 현장디바이스(11)는 실제 작업대상인 분말통과 분말통이 위치된 실제 작업공간을 카메라 모듈을 통하여 촬영하고 있고, 현장디바이스(11)는 촬영된 분말통과 실제 작업공간을 디스플레이부(116)를 통해 표시한다. 디스플레이부(116)에 표시된 화면에서, 실제 작업대상인 분말통과 분말통과 동일한 형태인 원통형의 가상 작업대상이 동일한 위치 및 방향으로 배치된다. 다시 말해, 실제 분말통과 원통형의 가상 작업대상이 디스플레이부(116)에서 겹쳐져 표시된다.
여기에서, 원격작업자(20)가 원격 디바이스(21)를 통해 가상 작업공간 상의 원통형의 가상 작업대상을 위로 이동시키는 명령을 입력한 경우, 분말통에 대응되는 원통형의 가상 작업대상이 가상 작업공간 상에서 위로 이동된다. 도 6의 (b)는 원격작업자(20)에 의해 분말통의 가상 작업대상이 위로 이동된 경우에 현장작업자(10)의 현장디바이스(11)의 디스플레이부(116)에 표시된 화면을 도시한 예시이다. 도 6의 (b)를 참조하면, 현장디바이스(11)는 실제 작업대상 및 실제 작업공간을 촬영하고 있고, 현장디바이스(11)의 디스플레이부(116)는 실제 작업대상인 분말통과 분말통에 대응되는 원통형의 가상 작업대상을 표시한다. 앞서 설명한 바와 같이, 원격작업자(20)에 의해 가상 작업공간 상에서 분말통과 대응되는 원통형의 가상 작업대상을 위로 이동시키는 명령이 입력된 예시에서, 현장디바이스(11)의 디스플레이부(116)에 의해 표시되는 가상 작업대상이 위로 이동하게 된다. 현장작업자(10)는 위로 분리된 원통형의 가상 작업대상을 보고, 실제 작업대상인 분말통을 분리하여 위로 이동시킬 수 있다. 현장작업자(10)는 원격작업자(20)의 가상 작업공간 상에서의 조작에 따라 실제 작업공간에서 분말통을 들어 올려 제거할 수 있다. 상술한 방식으로 현장작업자(10)와 원격작업자(20)가 가상 작업공간을 통하여 공동 작업을 수행할 수 있다.
308 단계에서, 현장디바이스(11)는 원격작업자(20)의 원격 디바이스(21)로부터 가상 작업대상의 위치 및 방향 중 적어도 하나를 변화시키는 명령이 수신되지 않은 경우, 현장디바이스(11)의 카메라 모듈(112)은 작업대상의 현재 상태 및 작업현장을 나타내는 현재 이미지 데이터를 생성한다. 현장작업자(10)와 원격작업자(20)의 가상작업이 진행되는 동안 실제 작업대상의 위치 및 방향이 계속 변화하기 때문에, 현장작업자(10)는 원격작업자(20)와의 가상작업을 위하여 현장디바이스(11)의 카메라 모듈(112)을 이용하여 변화된 실제 작업대상을 계속 촬영한다. 카메라 모듈(112)은 실제 작업공간에서의 실제 작업대상의 현재 상태를 나타내는 현재 이미지 데이터를 생성한다.
309 단계에서, 현장디바이스(11)의 마커 검출부(113)는 카메라 모듈(112)로부터 입력된 현재 이미지 데이터로부터 베이스 마커 및 타겟 마커를 검출한다. 베이스 마커 및 타겟 마커를 검출하는 방식에 대한 상세한 설명은 303 단계에서 기재한 내용으로 갈음하기로 한다.
310 단계에서, 현장디바이스(11)의 매트릭스 산출부(115)는 309 단계에서 감지된 타겟 마커의 현재 모델 매트릭스를 산출한다. 매트릭스 산출부(115)는 타겟 마커의 현재 상태(위치 및 방향)를 표현하는 현재 모델 매트릭스를 산출한다. 작업대상의 상태(위치 및 방향)이 변화된 경우, 작업대상에 대응하는 타겟 마커의 상태(위치 및 방향)을 표현하는 모델 매트릭스가 가변된다.
이와 관련하여, 도 7은 도 3에 도시된 타겟 마커의 현재 모델 매트릭스를 산출하는 단계의 상세흐름도이고, 도 8은 타겟 마커의 현재 모델 매트릭스를 계산하는 방법을 설명하는 도면이다. 도 7 및 도 8을 참조하면, 앞서 설명한 바와 같이 모델뷰 매트릭스는 모델 매트릭스와 뷰 매트릭스의 곱으로 표현된다. 3101 단계에서 매트릭스 산출부(115)는 실제 작업공간에서의 실제 작업대상의 현재 상태를 나타내는 현재 이미지 데이터로부터 베이스 마커의 현재 모델뷰 매트릭스(MVb` matrix) 및 타겟 마커의 현재 모델뷰 매트릭스(MVo` matrix)를 산출한다. 모델뷰 매트릭스를 산출하는 방법에 대한 상세한 설명은 3052 단계에서 기재한 내용으로 갈음하기로 한다.
3102 단계에서, 매트릭스 산출부(115)는 3055 단계에서 산출된 베이스 마커의 모델 매트릭스(Mb matrix)를 이용하여 카메라 모듈(112)의 현재 뷰 매트릭스(View` matrix)를 산출한다. 앞서 설명한 바와 같이, 베이스 마커의 현재 모델뷰 매트릭스(MVb` matrix)는 가상 작업공간에서 베이스 마커의 위치 및 방향을 표현하는 모델 매트릭스(Mb matrix)와 카메라 모듈(112)이 작업대상을 바라보는 방향을 표현하는 현재 뷰 매트릭스(View` matrix)의 곱으로 표현될 수 있다. 여기에서, 베이스 마커는 고정된 마커로서 상태의 변화가 없기 때문에, 베이스 마커의 모델 매트릭스는 일정하다. 따라서, 카메라 모듈(112)의 현재 뷰 매트릭스(View` matrix)는 다음과 같은 식으로 표현될 수 있다.
Figure 112019083300312-pat00005
매트릭스 산출부(115)는 상기 수학식 5를 통해 카메라 모듈(112)의 현재 뷰 매트릭스(View` matrix)를 산출한다.
3103 단계에서, 매트릭스 산출부(115)는 3102 단계에서 산출된 카메라 모듈(112)의 현재 뷰 매트릭스(View` matrix) 및 3101 단계에서 산출된 타겟 마커의 현재 모델뷰 매트릭스(MVo` matrix)를 이용하여 타겟 마커의 현재 모델 매트릭스(Mo` matrix)를 산출한다. 앞서 설명한 바와 같이, 타겟 마커의 현재 모델뷰 매트릭스(MVo` matrix)는 가상 작업공간에서 타겟 마커의 현재 위치 및 방향을 표현하는 현재 모델 매트릭스(Mo` matrix)와 카메라 모듈(112)이 현재 작업대상을 바라보는 방향을 표현하는 현재 뷰 매트릭스(View` matrix)의 곱으로 표현될 수 있다. 따라서, 타겟 마커의 현재 모델 매트릭스(Mo` matrix)는 다음과 같은 식으로 표현될 수 있다.
Figure 112019083300312-pat00006
수학식 5 및 6을 다음과 같은 식으로 정리할 수 있다.
Figure 112019083300312-pat00007
매트릭스 산출부(115)는 상기 수학식 7을 통해 타겟 마커의 현재 위치 및 방향을 표현하는 현재 모델 매트릭스(Mo` matrix)를 산출한다.
311 단계에서, 현장디바이스(11)의 가상공간 처리부(114)는 310 단계에서 산출된 타겟 마커의 현재 모델 매트릭스(Mo` matrix)에 따라 가상 작업공간에서 가상 작업대상의 상태를 업데이트한다. 앞서 설명한 바와 같이, 타겟 마커는 작업대상을 지시한다. 타겟 마커의 현재 모델 매트릭스(Mo` matrix)는 가상 작업공간에서의 작업대상의 현재 위치 및 방향을 표현한다. 타겟 마커의 현재 모델 매트릭스(Mo` matrix)를 타겟 마커의 초기 모델 매트릭스(Mo matrix)와 비교하여 동일하지 않은 경우, 실제 작업대상에 움직임이 발생한 것으로 볼 수 있다. 실제 작업대상의 위치 또는 방향의 변화는 310 단계에서 산출된 타겟 마커의 현재 모델 매트릭스(Mo` matrix)에 나타난다. 이에 따라, 실제 작업대상의 변화를 가상 작업공간에 반영하기 위하여, 가상공간 처리부(114)는 가상 작업공간에서 가상 작업대상을 가상 작업공간에서 타겟 마커의 현재 모델 매트릭스(Mo` matrix)에 따른 위치 및 방향으로 재배치하는 방식으로 가상 작업공간에서의 가상 작업대상의 상태를 업데이트할 수 있다. 이와 같은 방식으로, 현장디바이스(11)는 실제 작업공간에서의 실제 작업대상의 변화를 가상 작업공간에 실시간으로 반영할 수 있다. 현장디바이스(11)의 가상공간 처리부(114)는 실제 작업대상의 상태가 변화한 경우 타겟 마커의 현재 모델 매트릭스에 따라 가상 작업대상을 조작함으로써 실제 작업대상의 상태 변화를 가상 작업공간에 반영한다.
이와 관련하여, 도 9는 실제 작업대상이 이동 전후의 현장 디바이스 및 원격 디바이스의 디스플레이부에 표시되는 예시화면을 도시한 도면이다. 도 9를 참고하면, 도 9의 (a)는 실제 작업대상인 분말통과 분말통의 가상 작업대상이 현장디바이스(11)의 디스플레이부(116)에 표시되는 화면 및 가상 작업공간의 가상 작업대상이 원격디바이스(21)의 디스플레이부에 표시되는 화면을 도시한 예시이다. 도 9의 (a)를 참고하면, 현장디바이스(11)는 실제 작업대상인 분말통과 분말통이 위치된 실제 작업공간을 카메라 모듈을 통하여 촬영하고 있고, 현장디바이스(11)는 촬영된 분말통과 실제 작업공간을 디스플레이부(116)를 통해 표시한다. 디스플레이부(116)에 표시된 화면에서, 실제 작업대상인 분말통과 분말통과 동일한 형태인 원통형의 가상 작업대상이 동일한 위치 및 방향으로 배치된다. 다시 말해, 실제 분말통과 원통형의 가상 작업대상이 디스플레이부(116)에서 겹쳐져 표시된다. 또한, 원격디바이스(21)의 디스플레이부에 표시된 화면에서, 가상 작업대상은 가상 작업공간의 임의의 위치에 배치된다.
여기에서, 현장작업자(10)가 실제 작업공간에서 실제 작업대상인 분말통을 이동시킨 경우, 분말통에 대응되는 가상 작업대상도 가상 작업공간에서 분말통이 움직임만큼 이동된다. 도 9의 (b)는 현장작업자(10)에 의해 실제 작업공간에서 실제 작업대상인 분말통이 이동된 경우에 현장작업자(10)의 현장디바이스(11) 및 원격작업자(20)의 원격 디바이스(21)의 디스플레이부에 표시된 화면을 도시한 예시이다. 도 9의 (b)를 참조하면, 현장디바이스(11)는 실제 작업대상을 촬영하고 있고,현장디바이스(11) 및 원격디바이스(21)의 디스플레이부는 실제 작업대상인 분말통과 분말통에 대응되는 원통형의 가상 작업대상을 표시한다. 앞서 설명한 바와 같이, 현장작업자(10)에 의해 실제 작업공간 상에서 실제 작업대상인 분말통이 움직인 예시에서, 현장디바이스(11) 및 원격디바이스(21)의 디스플레이부에 의해 표시되는 실제 작업대상인 분말통 및 원통형의 가상 작업대상이 모두 동일한 방향으로 이동하게 된다. 원격작업자(20)는 현장작업자(10)에 의한 실제 작업대상에 대한 조작을 가상 작업대상의 변화를 통하여 확인할 수 있다. 상술한 바와 같이, 실제 작업대상에 대한 조작이 가상 작업공간 상의 가상 작업대상에 바로 반영됨으로써, 원격작업자(20)는 실제 작업공간에서의 실제 작업대상의 현재 상태를 정확하게 알 수 있다. 이에 따라, 현장작업자(10)와 원격작업자(20) 간의 정밀한 공동 작업을 수행할 수 있다.
312 단계에서, 현장 디바이스(11)의 디스플레이부(116)는 307 단계에서 반영된 또는 310 단계에서 업데이트된 가상 작업공간에서의 가상 작업대상의 현재 상태를 현장작업자(10)에게 표시하고, 통신모듈(118)은 307 단계에서 반영된 또는 310 단계에서 업데이트된 가상 작업공간에서의 가상 작업대상의 현재 상태를 원격디바이스(21)로 전송함으로써 공통 좌표계 기반의 가상공간에서 가상 컨텐츠를 현장작업자(10)와 원격작업자(20)에게 제공할 수 있다. 앞서 설명한 바와 같이, 원격작업자(20)가 원격 디바이스(21)를 통하여 입력된 명령에 따라 가상 작업공간 상에 가상 작업대상의 위치 및 방향의 변화가 반영되거나, 현장작업자(10)에 의해 실제 작업공간에서 실제 작업대상의 위치 및 방향의 변화에 따라 가상 작업공간 상에 가상 작업대상의 상태가 업데이트되어, 가상 작업공간에 가상 작업대상의 상태가 가변한다. 현장 디바이스(11)의 디스플레이부(116)는 가상 작업공간에서 가변된 가상 작업대상의 현재 상태를 표시한다. 현장작업자(10)는 현장 디바이스(11)의 디스플레이부(116)에 표시된 가상 작업대상의 현재 상태를 참고하여 실제 작업대상에 대한 작업, 예를 들어 고장 부위의 수리 작업 또는 부품의 교체 작업 등을 수행할 수 있다.
또한, 현장 디바이스(11)는 통신 모듈(118)을 통하여 가상 작업공간에서의 가상 작업대상의 현재 상태를 나타내는 데이터를 원격 디바이스(21)로 전송한다. 원격 디바이스(21)는 전송받은 데이터에 따라 가상 작업공간에서의 가상 작업대상의 현재 상태를 원격 디바이스(21)의 디스플레이부에 표시한다. 원격작업자(20)는 원격 디바이스(21)의 디스플레이부에 표시된 가상 작업대상의 현재 상태를 통하여 실제 작업공간에서의 실제 작업대상의 상태를 알 수 있다. 원격작업자(20)는 실제 작업공간에서의 실제 작업대상의 상태를 참고하여, 가상 작업공간에서 가상 작업대상에 대한 작업을 수행하여, 현장작업자(10)에게 실제 작업대상에 대한 작업 정보를 제공할 수 있다. 앞서 설명한 바와 같이, 본 발명의 실시예들은 공통 좌표계 기반의 가상 작업공간에서의 가상 컨텐츠인 가상 작업대상의 상태를 현장디바이스(11) 및 원격디바이스(12)를 통하여 현장작업자(10) 및 원격작업자(20)에게 제공한다.
이와 관련하여, 도 10은 본 실시예에 따른 가상 작업공간이 현장 디바이스 및 원격 디바이스의 디스플레이부에 표시되는 예시화면을 도시한 도면이다. 도 10의 (a)는 가상 작업공간이 현장작업자(10)의 현장디바이스(11)에서 디스플레이되는 화면을 도시한 도면이고, 도 10의 (b)는 가상 작업공간이 원격작업자(20)의 원격 디바이스(21)에서 디스플레이되는 화면을 도시하는 도면이다. 도 10의 (a)를 참고하면, 현장디바이스(11)이 AR(augmented reality)을 지원하는 디바이스인 경우, 실제 작업대상에 대응되는 가상 작업대상, 및 실제 작업대상이 위치하는 실제 작업공간을 나타내는 화면을 현장 작업자(10)에게 제공한다. 여기에서, 실제 작업대상에 대응되는 가상 작업대상은 실제 작업대상과 매칭되어 동일한 위치에 겹쳐서 표시된다.
원격디바이스(21)는 현장디바이스(11)로부터 가상 작업공간 및 가상 작업대상에 대한 데이터를 네트워크(30)를 통해 전송받고, 전송된 데이터를 이용하여 가상 작업공간에서의 가상 작업대상의 상태를 나타내는 화면을 원격작업자에게 제공할 수 있다. 도 10의 (b)를 참고하면, 원격 디바이스(21)가 VR(virtual reality)를 지원하는 디바이스인 경우, 가상 작업대상 및 가상 작업공간을 나타내는 화면을 원격 작업자(20)에게 제공한다.
여기에서, 가상 작업공간에서의 가상 작업대상이 표시되는 화면은 디바이스가 지원하는 가상 환경에 따라 가변적이다. 앞서 설명한 예시와 같이, 현장 디바이스가 AR을 지원하는 디바이스인 경우 현장 디바이스는 증강현실의 화면을 표시하고, 원격 디바이스가 VR을 지원하는 디바이스인 경우 원격 디바이스는 가상현실의 화면을 표시한다. 반대로, 현장 디바이스가 VR을 지원하는 디바이스인 경우 현장 디바이스는 가상현실 화면을 표시하고, 원격 디바이스가 AR을 지원하는 디바이스인 경우 원격 디바이스는 증강현실 화면을 표시한다.
306 단계 내지 312 단계는 현장작업자(10)와 원격작업자(20) 간의 가상작업을 수행 중인 동안에 반복되어 수행된다. 본 실시예에 따르면, 현장작업자(10)와 원격작업자(20) 간의 가상작업 중에 원격작업자(20)가 원격디바이스(21)를 통해 가상 작업대상을 조작하는 경우 가상 작업공간에서 가상 작업대상의 조작을 반영함으로써 현장작업자(20)에게 원격작업자(20)가 가상 작업대상에 대하여 수행한 작업에 대한 정보를 제공할 수 있다. 또한, 현장디바이스(11)는 카메라 모듈을 이용하여 실제 작업공간에서의 실제 작업대상을 실시간으로 촬영하고 현장작업자(10)가 실제 작업공간에서 실제 작업대상에 대하여 수행한 작업을 가상 작업공간에서의 가상 작업대상에 반영함으로써, 원격작업자(20)에게 실제 작업대상의 상태에 대한 정보를 실시간으로 제공할 수 있다.
상술한 본 발명의 실시예들에 따르면, 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법은 실제 작업공간의 고정된 지점을 베이스 마커로 지정하고, 고정된 베이스 마커를 기준으로 실제 작업대상을 지시하는 타겟 마커의 상태(위치 및 방향)를 표현하는 타겟 마커의 모델 매트릭스를 산출한다. 본 발명의 실시예는 가상 작업공간에 반영되는 실제 작업대상의 위치 및 방향을 실제 작업공간의 고정된 지점을 기준으로 결정하기 때문에 가상 작업공간의 좌표계 및 스케일이 고정된다. 이에 따라, 가상 작업공간을 공유하는 모든 작업 참여자들의 좌표계 및 스케일이 통일된다. 가상 작업공간 상의 좌표계 및 스케일이 고정됨으로써, 가상작업에 참여한 원격작업자들에게 실제 작업대상에 대한 정확한 정보를 전달할 수 있다.
또한, 본 발명의 실시예들에 따른 공통 좌표계 기반의 가상공간에서 가상컨텐츠 제공 방법은 고정된 베이스 마커를 기준으로 실제 작업대상의 상태(위치 및 방향) 변화 및 카메라 모듈의 움직임을 파악함으로써, 사용자 디바이스가 작업대상의 움직임과 카메라 모듈의 움직임을 구별할 수 있다. 사용자 디바이스는 베이스 마커를 기준으로 타겟 마커의 모델 매트릭스 및 카메라 모듈의 뷰 매트릭스를 산출함으로써, 가상 작업공간에 작업대상의 움직임 및 카메라 모듈의 움직임을 구별하여 반영할 수 있다. 이에 따라, 본 발명의 실시예들에 따른 사용자 디바이스는 카메라 움직임이 작업대상의 움직임으로 가상 작업공간 상에 잘 못 반영되는 문제를 방지할 수 있다. 본 발명의 실시예들에 따른 사용자 디바이스는 작업대상의 움직임 및 카메라 모듈의 움직임을 구별함으로써, 가상작업에 참여한 원격작업자들에게 작업대상에 대한 정확한 정보를 전달할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로해석되어야 할 것이다.
10: 현장 작업자
11: 현장 디바이스
20: 원격 작업자
21: 원격 디바이스

Claims (11)

  1. 실제 작업공간에서의 실제 작업대상의 초기 상태를 나타내는 초기 이미지 데이터로부터 상기 실제 작업공간의 고정 지점을 식별하기 위한 마커인 베이스 마커 및 상기 실제 작업대상을 식별하기 위한 마커인 타겟 마커를 검출하는 단계;
    상기 검출된 베이스 마커를 기준으로 하는 공통 좌표계를 갖는 가상 작업공간에서 상기 타겟 마커의 초기 위치 및 방향을 표현하는 타겟 마커의 초기 모델 매트릭스, 및 상기 검출된 베이스 마커의 위치 및 방향을 표현하는 상기 베이스 마커의 모델 매트릭스를 산출하는 단계; 및
    상기 산출된 베이스 마커의 모델 매트릭스를 이용하여 상기 공통 좌표계를 갖는 가상 작업공간에서 상기 타겟 마커의 현재 위치 및 방향을 표현하는 상기 타겟 마커의 현재 모델 매트릭스를 산출하는 단계를 포함하는 것을 특징으로 하는 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법.
  2. 제 1 항에 있어서,
    상기 타겟 마커를 검출하는 단계는 상기 초기 이미지 데이터에 포함된 형상을 추출하고, 상기 추출된 형상을 이용하여 상기 베이스 마커 및 상기 타겟 마커를 검출하는 것을 특징으로 하는 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법.
  3. 제 2 항에 있어서,
    상기 타겟 마커를 검출하는 단계는 상기 추출된 형상을 상기 베이스 마커의 형상 및 상기 타겟 마커의 형상과 비교하고, 상기 베이스 마커의 형상과 매칭되는 형상을 상기 베이스 마커로 검출하고, 상기 타겟 마커의 형상과 매칭되는 형상을 상기 타겟 마커로 검출하는 것을 특징으로 하는 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법.
  4. 제 1 항에 있어서,
    상기 베이스 마커의 모델 매트릭스를 산출하는 단계는
    상기 초기 이미지 데이터에 기초하여 상기 초기 이미지 데이터의 촬영에 사용된 카메라 모듈의 뷰를 기준으로 상기 베이스 마커의 위치 및 방향을 나타내는 상기 베이스 마커의 초기 모델뷰 매트릭스 및 상기 카메라 모듈의 뷰를 기준으로 상기 타겟 마커의 위치 및 방향을 나타내는 상기 타겟 마커의 초기 모델뷰 매트릭스를 산출하는 단계;
    상기 가상 작업공간 상에서 상기 타겟 마커의 초기 모델 매트릭스를 산출하는 단계; 및
    상기 산출된 베이스 마커의 초기 모델뷰 매트릭스, 상기 산출된 타겟 마커의 초기 모델 매트릭스, 상기 산출된 타겟 마커의 초기 모델뷰 매트릭스를 이용하여 상기 베이스 마커의 모델 매트릭스를 산출하는 단계를 포함하는 것을 특징으로 하는 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법.
  5. 제 4 항에 있어서,
    상기 산출된 베이스 마커의 초기 모델뷰 매트릭스, 상기 산출된 타겟 마커의 초기 모델 매트릭스, 상기 산출된 타겟 마커의 초기 모델뷰 매트릭스를 이용하여 상기 베이스 마커의 모델 매트릭스를 산출하는 단계는 아래의 수학식에 따라 상기 베이스 마커의 모델 매트릭스를 산출하는 것을 특징으로 하는 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법.
    <수학식>
    Mb matrix = Mo matrix * (MVo matrix)-1 * MVb matrix
    (Mb matrix : 베이스 마커의 모델 매트릭스, MVb matrix : 베이스 마커의 초기 모델뷰 매트릭스, Mo matrix : 타겟 마커의 초기 모델 매트릭스, MVo matrix : 타겟 마커의 초기 모델뷰 매트릭스)
  6. 제 1 항에 있어서,
    상기 타겟 마커의 현재 모델 매트릭스를 산출하는 단계는
    현재 이미지 데이터에 기초하여 상기 베이스 마커의 현재 모델뷰 매트릭스 및 상기 타겟 마커의 현재 모델뷰 매트릭스를 산출하는 단계; 및
    상기 산출된 베이스 마커의 현재 모델뷰 매트릭스, 상기 산출된 타겟 마커의 현재 모델뷰 매트릭스, 및 상기 산출된 베이스 마커의 모델 매트릭스를 이용하여 상기 타겟 마커의 현재 모델 매트릭스를 산출하는 단계를 포함하는 것을 특징으로 하는 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법.
  7. 제 6 항에 있어서,
    상기 산출된 베이스 마커의 현재 모델뷰 매트릭스, 상기 산출된 타겟 마커의 현재 모델뷰 매트릭스, 및 상기 산출된 베이스 마커의 모델 매트릭스를 이용하여 상기 타겟 마커의 현재 모델 매트릭스를 산출하는 단계는 아래의 수학식에 따라 상기 타겟 마커의 현재 모델 매트릭스를 산출하는 것을 특징으로 하는 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법.
    <수학식>
    Mo` matrix = Mb matrix * (MVb` matrix)-1 * MVo` matrix
    (Mo` matrix : 타겟 마커의 현재 모델 매트릭스, MVo` matrix : 타겟 마커의 현재 모델뷰 매트릭스, MVb` matrix : 베이스 마커의 현재 모델뷰 매트릭스, Mb matrix : 베이스 마커의 모델 매트릭스)
  8. 제 1 항에 있어서,
    원격작업자의 원격 디바이스로부터 가상 작업대상의 위치 및 방향을 변화시키는 명령이 수신되었는지 여부를 결정하는 단계; 및
    상기 가상 작업대상의 위치 및 방향을 변화시키는 명령이 수신된 경우, 상기 수신된 명령에 따라 상기 가상 작업공간 상에서 상기 가상 작업대상의 위치 및 방향의 변화를 반영하는 단계를 더 포함하는 것을 특징으로 하는 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법.
  9. 제 1 항에 있어서,
    상기 산출된 타겟 마커의 현재 모델 매트릭스에 따라 상기 가상 작업공간 상에서 가상 작업대상의 위치 및 방향을 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  11. 실제 작업공간에서의 실제 조작대상의 초기 상태를 나타내는 초기 이미지 데이터로부터 상기 실제 작업공간의 고정 지점을 식별하기 위한 마커인 베이스 마커 및 상기 실제 조작대상을 식별하기 위한 마커인 타겟 마커를 검출하는 마커 검출부;
    상기 검출된 베이스 마커를 기준으로 하는 공통 좌표계를 갖는 가상 작업공간에서 상기 타겟 마커의 초기 위치 및 방향을 표현하는 타겟 마커의 초기 모델 매트릭스, 및 상기 검출된 베이스 마커의 위치 및 방향을 표현하는 상기 베이스 마커의 모델 매트릭스를 산출하고, 상기 산출된 베이스 마커의 모델 매트릭스를 이용하여 상기 공통 좌표계를 갖는 가상 작업공간에서 상기 타겟 마커의 현재 위치 및 방향을 표현하는 상기 타겟 마커의 현재 모델 매트릭스를 산출하는 매트릭스 산출부를 포함하는 것을 특징으로 하는 디바이스.
KR1020190099263A 2019-08-14 2019-08-14 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치 Active KR102208708B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190099263A KR102208708B1 (ko) 2019-08-14 2019-08-14 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치
CN202080011789.4A CN113383371B (zh) 2019-08-14 2020-07-27 在基于共同坐标系的虚拟空间的虚拟内容提供方法及装置
PCT/KR2020/009852 WO2021029566A1 (ko) 2019-08-14 2020-07-27 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치
US17/607,402 US12002162B2 (en) 2019-08-14 2020-07-27 Method and apparatus for providing virtual contents in virtual space based on common coordinate system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190099263A KR102208708B1 (ko) 2019-08-14 2019-08-14 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102208708B1 true KR102208708B1 (ko) 2021-01-28

Family

ID=74239203

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190099263A Active KR102208708B1 (ko) 2019-08-14 2019-08-14 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치

Country Status (4)

Country Link
US (1) US12002162B2 (ko)
KR (1) KR102208708B1 (ko)
CN (1) CN113383371B (ko)
WO (1) WO2021029566A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4226334A4 (en) * 2020-10-06 2024-11-06 Nokia Technologies Oy NETWORK-BASED SPATIAL COMPUTING FOR EXTENDED REALITY (XR) APPLICATIONS
US20250029385A1 (en) * 2023-07-17 2025-01-23 Lenovo (Singapore) Pte. Ltd. Computer vision to determine when video conference participant is off task

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100963238B1 (ko) * 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
KR20180070431A (ko) * 2016-12-16 2018-06-26 경희대학교 산학협력단 증강 현실 구현 관리 방법 및 시스템
KR20190053119A (ko) * 2017-11-09 2019-05-17 더 보잉 컴파니 증강 현실 플랫폼들의 물리적 환경에 가상 콘텐츠를 공간적으로 등록하기 위한 시스템들, 방법들 및 툴들

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8839121B2 (en) * 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
JP4869430B1 (ja) * 2010-09-24 2012-02-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US8908918B2 (en) * 2012-11-08 2014-12-09 Navigate Surgical Technologies, Inc. System and method for determining the three-dimensional location and orientation of identification markers
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality
US9767574B2 (en) * 2014-08-22 2017-09-19 Applied Research Associates, Inc. Techniques for accurate pose estimation
US20160225188A1 (en) * 2015-01-16 2016-08-04 VRstudios, Inc. Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment
JP6736257B2 (ja) * 2015-04-02 2020-08-05 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
KR20180086004A (ko) * 2017-01-20 2018-07-30 (주)에스엔티코리아 증강현실 객체 추적 시스템
US10786728B2 (en) * 2017-05-23 2020-09-29 Blast Motion Inc. Motion mirroring system that incorporates virtual environment constraints
CN107727104B (zh) * 2017-08-16 2019-04-30 北京极智嘉科技有限公司 结合标识的同时定位和地图创建导航方法、装置及系统
US10593052B2 (en) * 2017-08-23 2020-03-17 Synaptive Medical (Barbados) Inc. Methods and systems for updating an existing landmark registration
AU2018368776B2 (en) * 2017-11-17 2021-02-04 Divine Logic, Inc. Systems and methods for tracking items
US10679090B2 (en) * 2017-12-12 2020-06-09 Korea Advanced Institute Of Science And Technology Method for estimating 6-DOF relative displacement using vision-based localization and apparatus therefor
JP6453501B1 (ja) * 2018-02-01 2019-01-16 株式会社Ｃｙｇａｍｅｓ 複合現実システム、プログラム、方法、及び携帯端末装置
US11386572B2 (en) * 2018-02-03 2022-07-12 The Johns Hopkins University Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US10403047B1 (en) * 2018-03-01 2019-09-03 Dell Products L.P. Information handling system augmented reality through a virtual object anchor
US10839557B1 (en) * 2018-04-03 2020-11-17 A9.Com, Inc. Camera calibration for augmented reality
WO2019245865A1 (en) * 2018-06-19 2019-12-26 Tornier, Inc. Mixed reality indication of points at which 3d bone and implant models collide
CN108830894B (zh) * 2018-06-19 2020-01-17 亮风台（上海）信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质
US11244509B2 (en) * 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
US10898151B2 (en) * 2018-10-31 2021-01-26 Medtronic Inc. Real-time rendering and referencing for medical procedures
US10482677B1 (en) * 2018-11-20 2019-11-19 Dell Products, L.P. Distributed simultaneous localization and mapping (SLAM) in virtual, augmented, and mixed reality (xR) applications
US10369698B1 (en) * 2019-03-07 2019-08-06 Mujin, Inc. Method and system for performing automatic camera calibration for robot control
JP2022527360A (ja) * 2019-04-04 2022-06-01 センターライン バイオメディカル，インコーポレイテッド 空間トラッキングシステムと拡張現実ディスプレイとのレジストレーション
US20220107681A1 (en) * 2019-06-25 2022-04-07 Hewlett-Packard Development Company, L.P. User interactions in virtual reality
CN114730212B (zh) * 2019-12-05 2024-11-26 Oppo广东移动通信有限公司 用于关联多人ar系统中的设备坐标系的方法和系统
EP4118523A1 (en) * 2020-03-10 2023-01-18 Telefonaktiebolaget LM ERICSSON (PUBL) Representation and rendering of audio objects
JP7722032B2 (ja) * 2021-08-16 2025-08-13 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム
US20230095339A1 (en) * 2021-09-29 2023-03-30 University Of Notre Dame Du Lac Augmented reality for emergency response
US12346531B2 (en) * 2021-10-14 2025-07-01 Autodesk, Inc. Integration of a two-dimensional input device into a three-dimensional computing environment
US12223852B2 (en) * 2022-03-10 2025-02-11 Dell Products L.P. Remote collaboration between users utilizing at least one of augmented reality and virtual reality computing devices
US11978165B2 (en) * 2022-03-31 2024-05-07 Wipro Limited System and method for generating recommendations for capturing images of real-life objects with essential features
US11842455B1 (en) * 2022-06-20 2023-12-12 International Business Machines Corporation Synchronizing physical and virtual environments using quantum entanglement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100963238B1 (ko) * 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
KR20180070431A (ko) * 2016-12-16 2018-06-26 경희대학교 산학협력단 증강 현실 구현 관리 방법 및 시스템
KR20190053119A (ko) * 2017-11-09 2019-05-17 더 보잉 컴파니 증강 현실 플랫폼들의 물리적 환경에 가상 콘텐츠를 공간적으로 등록하기 위한 시스템들, 방법들 및 툴들

Also Published As

Publication number Publication date
CN113383371B (zh) 2024-11-08
WO2021029566A1 (ko) 2021-02-18
US12002162B2 (en) 2024-06-04
US20220207832A1 (en) 2022-06-30
CN113383371A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
JP5776201B2 (ja) 情報処理装置、情報共有方法、プログラム及び端末装置
EP3769509B1 (en) Multi-endpoint mixed-reality meetings
US9639988B2 (en) Information processing apparatus and computer program product for processing a virtual object
US9268410B2 (en) Image processing device, image processing method, and program
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
JP2020098568A (ja) 情報管理装置、情報管理システム、情報管理方法および情報管理プログラム
Viyanon et al. AR furniture: Integrating augmented reality technology to enhance interior design using marker and markerless tracking
JP2010217719A (ja) 装着型表示装置、その制御方法及びプログラム
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
JP2021136017A (ja) 仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システム
US20210327160A1 (en) Authoring device, authoring method, and storage medium storing authoring program
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
KR102208708B1 (ko) 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치
JP6924799B2 (ja) プログラム、画像処理方法及び画像処理システム
JP2012155678A (ja) 表示システム、表示処理装置、表示方法、および表示プログラム
CN113379927A (zh) 信息处理装置以及计算机可读存储介质
TWI750822B (zh) 用於為目標設置可呈現的虛擬對象的方法和系統
KR102260193B1 (ko) 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템
CN112788443B (zh) 基于光通信装置的交互方法和系统
US12223603B2 (en) Method of learning a target object using a virtual viewpoint camera and a method of augmenting a virtual model on a real object implementing the target object using the same
JP6376251B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
JP6827717B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP5050919B2 (ja) 遠隔会議システム及びその制御方法
JP6820469B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
CN112988007B (zh) 三维素材的交互方法及装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190814

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200710

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210120

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210122

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210122

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20241226

Start annual number: 5

End annual number: 5