KR102686485B1 - 포인트 클라우드를 이용한 확장 현실에서의 협업공간 공유 방법 및 시스템 - Google Patents

Abstract

포인트 클라우드를 이용한 확장 현실에서의 협업공간 공유 방법 및 시스템 에 관한 것으로, 현장작업자의 단말은 복수의 작업자의 협업공간에 존재하는 복수의 객체에 대한 포인트 클라우드로부터 협업대상객체를 나타내는 복수의 포인트를 제거함으로써 포인트 클라우드를 필터링하고, 원격작업자의 단말은 이와 같이 필터링된 포인트 클라우드를 이용하여 협업대상객체의 배경을 표시함으로써 복수의 작업자의 협업공간 전체에 대한 3차원 모델이 아닌, 그 협업공간에 존재하는 협업대상객체의 3차원 모델만을 이용하여 확장 현실에서 복수의 작업자의 협업공간을 사실감 높게 공유할 수 있다.

Description

포인트 클라우드를 이용한 확장 현실에서의 협업공간 공유 방법 및 시스템 {Method and system for sharing collaboration space in extended reality using point cloud}

확장 현실에서 복수의 작업자의 협업공간을 공유하기 위한 방법 및 시스템에 관한 것이다.

확장현실(XR, eXtended Reality)은 증강현실(AR), 가상현실(VR, Virtual Reality), 혼합현실(MR, Mixed Reality) 기술을 모두 지원할 수 있는 새로운 기술이 등장하면서 나온 용어로서, 확장현실 기반의 협업은 여러 사람이 증강현실과 가상현실을 통해 공동의 목적을 해결하기 위해 함께 작업하는 것을 의미한다. 확장현실 기술은 말이나 글을 통해 추상적으로 정보를 전달하는 대신, 가상객체를 직접 보여줌으로써 직관적인 정보 전달이 가능해서 원격 협업에의 적용이 활발하게 이루어지고 있다. 초기의 확장현실 협업 연구는 작업에 필요한 정보를 전달하는 방법에만 집중하였다. 이러한 협업에서는 원격작업자가 현장작업자가 보고 있는 화면을 공유해 보면서 현장 작업자가 집중해야 부분을 화면 위에 표시하거나 관련 정보를 제시하는 방식으로 진행되었다.

최근의 연구는 사용자의 시선, 손동작 등 다양한 의사소통 단서를 복합적으로 공유함으로써 작업자의 의도를 빠르게 효과적으로 전달하는 데에 집중하고 있다. 한편, 원격 작업자의 현장에 대한 공간 인식을 개선하기 위한 연구도 활발히 진행되고 있다. 공간 인식을 전달하는 매개로는 2차원의 촬영 이미지 또는 3차원 모델이 활용되고 있다. 2차원의 촬영 이미지를 이용하는 방식은 원격작업자가 현장작업자의 작업 현장을 사실적으로 볼 수 있다는 장점이 있다. 하지만, 이 방식은 이미지에 깊이감이 없고 원격작업자가 마음대로 현장작업자 카메라의 시점을 변경할 수 없기 때문에 원격 작업자는 제한적으로 공간인식을 얻게 된다.

3차원 모델을 이용하는 방식에서 원격 작업자는 현장을 복제한 3차원 모델로 이루어진 가상공간을 체험하게 된다. 이러한 가상공간에서 원격작업자는 현장 작업자 카메라에 독립적으로 자유롭게 뷰 포인트를 변경할 수 있다. 3차원 모델은 2차원 촬영 이미지에 비해 사실감이 떨어지나, 최근에는 인공신경망과 같은 다양한 방법을 이용하여 사실에 가까운 3차원 렌더링을 하는 연구들이 활발하게 진행되고 있다. 이와 같이 사실에 가깝게 작업 현장을 복제한 3차원 모델을 만들기 위해서는 깊이센서 시스템이 있는 하드웨어가 요구되고, 그 제작에 상당한 시간이 소모된다. 그 결과, 작업 현장을 복제한 3차원 모델이 준비되어 있지 않거나 긴급하게 협업이 필요한 상황에서는 협업을 진행하기 어렵다. 또한, 작업 현장을 복제한 3차원 모델이 준비되어 있는 상황이더라도 그 복제한 공간을 벗어난 위치에서는 협업이 어렵다는 문제점이 있었다.

복수의 작업자의 협업 공간 전체가 아닌, 그 협업공간에 존재하는 협업대상객체를 제외한 공간을 확장현실에서 공유하며, 협업대상객체의 3차원 모델을 이용하여 협업할 수 있는 방법 및 시스템을 제공하는 데에 있다. 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 설명으로부터 또 다른 기술적 과제가 도출될 수도 있다.

본 발명의 일 측면에 따른 협업공간 공유 방법은 복수의 작업자의 협업공간에 존재하는 복수의 객체에 대한 포인트 클라우드를 생성하는 단계; 상기 생성된 포인트 클라우드로부터 상기 복수의 객체 중 상기 복수의 작업자의 협업대상객체를 나타내는 복수의 포인트를 제거함으로써 상기 생성된 포인트 클라우드를 필터링하는 단계; 및 상기 필터링된 포인트 클라우드를 나타내는 데이터를 상기 복수의 작업자 중 상기 협업공간의 원격지에 위치한 원격작업자의 단말로 전송하는 단계를 포함하고, 상기 원격작업자의 단말은 상기 필터링된 포인트 클라우드를 나타내는 데이터를 수신하고, 상기 필터링된 포인트 클라우드를 나타내는 데이터에 기초하여 상기 필터링된 포인트 클라우드를 이용하여 상기 협업대상객체의 배경을 표시한다.

상기 생성된 포인트 클라우드를 필터링하는 단계는 상기 생성된 포인트 클라우드의 각 점을 상기 협업대상객체의 3차원 모델이 렌더링되는 2차원 화면에 투영하는 단계; 및 상기 2차원 평면에 투영된 각 점의 위치에 따라 상기 생성된 포인트 클라우드의 각 점을 제거하는 단계를 포함할 수 있다.

상기 생성된 포인트 클라우드의 각 점을 제거하는 단계는 상기 2차원 화면에 투영된 각 점이 상기 협업대상객체의 3차원 모델의 렌더링 영역 내에 위치하는가를 결정하는 단계; 및 상기 결정 결과에 따라 상기 생성된 포인트 클라우드의 각 점을 제거하는 단계를 포함할 수 있다.

상기 결정하는 단계는 상기 2차원 화면에 투영된 각 점에 해당되는 2차원 화면의 각 픽셀의 깊이 값과 상기 2차원 화면의 각 픽셀의 깊이 값이 저장되는 깊이 버퍼의 초기화 값을 비교함으로써 상기 2차원 화면에 투영된 각 점이 상기 협업대상객체의 3차원 모델의 렌더링 영역 내에 위치하는가를 결정할 수 있다.

상기 협업공간 공유 방법은 상기 협업공간을 촬영하여 상기 협업공간의 2차원 촬영 이미지를 나타내는 촬영 데이터를 생성하는 단계; 및 상기 협업공간의 2차원 촬영 이미지에 상기 협업대상객체의 3차원 모델이 증강된 2차원의 증강현실 이미지를 표시하는 단계를 더 포함할 수 있다.

상기 원격작업자의 단말은 상기 협업대상객체의 3차원 모델을 렌더링하고 상기 필터링된 포인트 클라우드를 상기 렌더링된 협업대상객체의 3차원 모델의 배경으로 렌더링함으로써 상기 협업대상객체와 상기 협업대상객체의 배경을 3차원의 가상현실 이미지로 표시할 수 있다.

상기 협업공간 공유 방법은 상기 복수의 작업자 중 상기 협업공간의 현장에 위치하고 있는 현장작업자로부터 상기 협업공간의 복수의 2차원 촬영 이미지에 대하여 상기 협업대상객체의 형상을 나타내는 궤적을 입력받는 과정을 반복함으로써 상기 협업대상객체의 3차원 모델을 생성하는 단계를 더 포함하고, 상기 2차원의 증강현실 이미지를 표시하는 단계는 상기 생성된 협업대상객체의 3차원 모델을 렌더링함으로써 상기 협업공간의 2차원 촬영 이미지에 상기 협업대상객체의 3차원 모델이 증강된 2차원의 증강현실 이미지를 표시할 수 있다.

본 발명의 다른 측면에 따라 상기 협업공간 공유 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.

본 발명의 또 다른 측면에 따른 협업공간 공유 시스템은 복수의 작업자의 협업공간에 존재하는 복수의 객체에 대한 포인트 클라우드를 생성하는 포인트클라이드생성부; 상기 생성된 포인트 클라우드로부터 상기 복수의 객체 중 상기 복수의 작업자의 협업대상객체를 나타내는 복수의 포인트를 제거함으로써 상기 생성된 포인트 클라우드를 필터링하는 포인트클라우드필터; 및 상기 필터링된 포인트 클라우드를 나타내는 데이터를 상기 복수의 작업자 중 상기 협업공간의 원격지에 위치한 원격작업자의 단말로 전송하는 통신모듈을 포함하고, 상기 원격작업자의 단말은 상기 필터링된 포인트 클라우드를 나타내는 데이터를 수신하고, 상기 필터링된 포인트 클라우드를 나타내는 데이터에 기초하여 상기 필터링된 포인트 클라우드를 이용하여 상기 협업대상객체의 배경을 표시한다.

현장작업자의 단말은 복수의 작업자의 협업공간에 존재하는 복수의 객체에 대한 포인트 클라우드로부터 협업대상객체를 나타내는 복수의 포인트를 제거함으로써 포인트 클라우드를 필터링하고, 원격작업자의 단말은 이와 같이 필터링된 포인트 클라우드를 이용하여 협업대상객체의 배경을 표시함으로써 복수의 작업자의 협업공간 전체에 대한 3차원 모델이 아닌, 그 협업공간에 존재하는 협업대상객체의 3차원 모델만을 이용하여 확장 현실에서 복수의 작업자의 협업공간을 공유할 수 있다. 특히, 3차원 모델과 포인트 클라우드가 동시 이용됨에 따른 잔상이 발생하지 않음에 따라 원격작업자는 매우 사실감이 뛰어난 협업공간의 가상현실 체험을 할 수 있게 된다. 상기된 바와 같은 효과로 한정되지 않으며, 이하의 설명으로부터 또 다른 효과가 도출될 수도 있다.

도 1은 본 발명의 일 실시예에 따른 협업공간 공유 시스템의 구성도이다.
도 2는 도 1에 도시된 현장사용자단말(11)의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 협업공간 공유 방법의 흐름도이다.
도 4는 도 1에 도시된 협업공간 공유 시스템이 적용된 협업공간의 일례를 나타낸다.
도 5는 도 3에 도시된 38 단계의 상세 흐름도이다.
도 6은 2차원 화면에 투영된 각 점이 도 4에 도시된 협업대상객체의 배경에 해당되는 일례를 나타낸다.
도 7은 2차원 화면에 투영된 각 점이 도 4에 도시된 협업대상객체 영역에 해당되는 일례를 나타낸다.
도 8, 9는 원격작업자단말(12)에 표시된 가상현실 이미지의 예시도이다.

이하에서는 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 이하에서 설명될 본 발명의 실시예는 복수의 작업자의 협업 공간 전체에 대한 3차원 모델이 아닌, 그 협업공간에 존재하는 협업대상객체의 3차원 모델만을 이용하여 확장 현실에서 복수의 작업자의 협업공간을 공유할 수 있는 방법 및 시스템에 관한 것으로 이하에서는 이러한 방법 및 시스템을 간략하게 "협업공간 공유 방법" 및 "협업공간 공유 시스템"으로 호칭할 수도 있다.

도 1은 본 발명의 일 실시예에 따른 협업공간 공유 시스템의 구성도이다. 도 1을 참고하면, 본 실시예에 따른 협업공간 공유 시스템은 복수의 사용자단말(11, 12)과 확장현실서버(20)로 구성된다. 확장현실서버(20)는 확장현실의 장면을 구조화된 형식으로 표현하는 확장현실 컨텐츠, 및 확장현실 컨텐츠를 해석하여 렌더링할 수 있는 협업 어플리케이션을 확장현실서버(20)의 스토리지(미도시)에 저장하고, 스토리지에 저장된 확장현실 컨텐츠 및 협업 어플리케이션을 네트워크를 통하여 복수의 사용자단말(11, 12)로 전송한다. 확장현실 컨텐츠는 확장현실의 장면을 이루고 있는 가상객체 및 배경을 표현한다. 확장현실 컨텐츠의 예로는 마크업(markup) 언어로 작성된 프로그래밍 코드를 들 수 있다.

본 실시예의 협업은 확장현실 기반의 복수의 작업자의 협업을 의미한다. 복수의 작업자의 협업의 대상이 되는 객체, 즉 협업대상객체가 존재하는 공간은 복수의 작업자의 협업공간이 된다. 복수의 작업자 중 어떤 작업자는 협업공간의 현장에 위치하여 협업대상객체의 조작, 예를 들어 분해나 조립 등을 수행하고, 다른 작업자는 협업공간의 원격지에 위치하여 이러한 협업대상객체의 조작을 지시한다. 이하에서는 협업공간의 현장에 위치한 작업자를 "현장작업자"로 호칭하고, 협업공간의 원격지에 위치한 작업자를 "원격작업자"로 호칭하기로 한다.

각 사용자단말(11, 12)은 사용자에게 확장현실 이미지를 제공하는 디바이스이다. 각 사용자단말(11, 12)은 미리 설치된 협업 어플리케이션을 통해 사용자에게 확장현실 환경을 제공한다. 각 사용자단말(11, 12)은 확장현실서버(20)로부터 협업 어플리케이션 및 확장현실 컨텐츠를 수신한다. 각 사용자단말(11, 12)은 협업 어플리케이션의 실행에 따라 수신된 확장현실 컨텐츠를 렌더링함으로써 사용자로 하여금 확장현실을 체험할 수 있도록 한다. 사용자에 의해 선택된 확장현실 모드에 따라 확장현실 컨텐츠는 증강현실 이미지로 표시될 수도 있고, 가상현실 이미지로 표시될 수도 있다.

복수 개의 사용자단말(11, 12) 중 제 1 사용자단말(11)은 현장작업자의 단말(11)이고, 제 2 사용자단말(12)의 원격작업자의 단말(12)이다. 현장작업자단말(11)은 현장작업자에 의해 선택된 증강현실 모드에 따라 확장현실 컨텐츠를 증강현실 이미지로 표시함으로써 현장작업자가 증강현실의 협업공간을 체험할 수 있게 한다. 원격작업자단말(12)은 원격작업자에 의해 선택된 가상현실 모드에 따라 확장현실 컨텐츠를 가상현실 이미지로 표시함으로써 원격작업자가 가상현실의 협업공간을 체험할 수 있게 한다. 현장작업자단말(11)의 예로는 스마트폰(smartphone), 태블릿(tablet) PC 등을 들 수 있고, 원격작업자단말(12)의 예로는 HMD(Head Mount Display), 스마트글라스(smart glasses) 등을 들 수 있다.

도 2는 도 1에 도시된 현장사용자단말(11)의 구성도이다. 도 2를 참고하면, 현장작업자단말(11)은 프로세서(111), 카메라모듈(112), 라이다센서모듈(113), 객체검출부(114), 렌더링부(115), 포인트클라우드생성부(116), 포인트클라우드필터(117), 사용자인터페이스(118), 통신모듈(119), 및 스토리지(120)로 구성된다. 본 실시예의 특징은 대부분 현장작업자단말(11) 측에 존재하므로 원격작업자단말(12)의 상세 구성의 도시는 생략된다.

프로세서(111)는 스마트폰과 같은 현장작업자단말(11)의 일반적인 태스크를 처리한다. 카메라모듈(112)은 현장작업자단말(11)이 위치하고 있는 협업공간을 촬영하여 협업공간의 2차원 촬영 이미지를 나타내는 촬영 데이터를 생성한다. 라이다센서모듈(113)은 협업공간에 레이저 펄스를 방출함으로써 카메라모듈(112)에 의해 생성된 촬영 데이터가 나타내는 협업공간의 2차원 촬영 이미지에 대응되는 깊이지도(depth map)를 생성한다. 객체검출부(114)는 카메라모듈(112)에 의해 생성된 협업공간의 2차원 촬영 이미지를 나타내는 촬영 데이터를 분석하고, 그 촬영 데이터로부터 협업대상객체에 해당하는 영역을 검출한다. 렌더링부(115)는 복수의 확장현실 모드 중에서 어느 하나의 확장현실 모드에 따라 확장현실 컨텐츠를 렌더링한다.

포인트클라우드생성부(116)는 라이다센서모듈(113)에 의해 생성된 깊이지도로부터 복수의 작업자의 협업공간에 존재하는 복수의 객체에 대한 포인트 클라우드를 생성한다. 포인트클라우드필터(117)는 포인트클라우드생성부(116)에 의해 생성된 포인트 클라우드의 복수의 포인트로부터 협업공간에 존재하는 복수의 객체 중 협업대상객체를 나타내는 복수의 포인트를 제거함으로써 포인트 클라우드를 필터링한다. 객체검출부(114), 렌더링부(115), 포인트클라우드생성부(116), 포인트클라우드필터(117)는 프로세서(111)와 다른 별개의 전용프로세서로 구현될 수도 있고, 프로세서(111)의 컴퓨터 프로그램 실행에 의해 구현될 수도 있다.

사용자인터페이스(118)는 확장현실 이미지를 표시함으로써 협업작업자에게 확장현실 환경을 제공한다. 사용자인터페이스(118)는 협업작업자로부터 협업대상객체를 조작하는 명령, 확장현실 이미지를 회전, 확대, 축소하는 명령 등을 입력받는다. 사용자인터페이스(118)의 예로는 터치스크린 패널, 모션 컨트롤러, 키보드, 마우스, 손동작을 인식하기 위한 카메라 등을 들 수 있다. 통신모듈(119)은 이동통신 기지국 또는 와이파이 중계기에 접속하여 인터넷 등과 같은 광역 네트워크를 통하여 확장현실서버(20)와 통신할 수 있도록 통신기능을 지원한다. 통신모듈(119)은 3G, 4G, 5G, WiFi, Wibro, Zigbee 등 다양한 통신 방식을 통하여 확장현실서버(20)와 통신할 수 있다. 스토리지(120)에는 협업 어플리케이션 및 이러한 어플리케이션에 의해 사용되는 데이터, 예를 들어 확장현실 컨텐츠 등이 저장된다.

협업작업자단말(11)은 이상에서 설명된 구성요소들 이외에 추가적인 구성요소를 더 포함할 수 있다. 예를 들어, 협업작업자단말(11)은 도 2에 도시된 바와 같이, 여러 구성요소들 간에 데이터를 전송하기 위한 버스를 포함하고, 도 2에는 생략되어 있으나 각 구성요소에 구동전원을 공급하는 전력모듈(미도시)을 포함한다. 이와 같이, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 구성요소에 대한 설명은 본 실시예의 특징을 흐려지게 함에 따라 생략된다. 이하에서는 본 발명의 일 실시예에 따른 협업공간 공유 방법을 설명하는 과정에서 사용자단말(11, 12)의 각 구성요소에 대해 상세하게 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른 협업공간 공유 방법의 흐름도이다. 도 3을 참조하면, 본 실시예에 따른 협업공간 공유 방법은 도 1에 도시된 현장작업자단말(11)과 원격작업자단말(12)에서 시계열적으로 수행되는 단계들로 구성된다. 본 실시예에 따른 협업공간 공유 방법의 특징은 현장작업자단말(11)에 의해 수행되는 단계들에 있다. 원격작업자단말(12)에 의해 수행되는 단계들에 대해서는 이하에서 현장작업자단말(11)에 의해 수행되는 단계들을 설명하는 과정에서 간략하게 설명하기로 한다.

31 단계에서 현장작업자단말(11)의 프로세서(111)는 사용자인터페이스(118)를 통해 사용자로부터 협업 어플리케이션을 실행하라는 명령을 입력받으면, 협업 어플리케이션을 실행한다. 앞서 설명한 바와 같이, 현장작업자단말(11)에는 협업 어플리케이션의 실행 전에 확장현실서버(20)로부터 협업 어플리케이션이 다운로드되어 설치되어 있다. 41 단계에서 원격작업자단말(12)은 상술한 바와 동일하게 협업 어플리케이션을 실행한다.

32 단계에서 현장작업자단말(11)의 프로세서(111)는 확장현실 컨텐츠를 로딩한다. 현장작업자단말(11)은 확장현실 이미지를 표현하고 확장현실 이미지에 포함된 가상객체를 표현하는 적어도 하나의 가상객체 컨텐츠를 포함하는 확장현실 컨텐츠를 사용자인터페이스(118)를 통하여 현장작업자로부터 입력받거나 또는 통신모듈(108)을 통하여 확장현실서버(20)로부터 수신하여 스토리지(109)에 저장한다. 프로세서(111)는 현장작업자로부터 입력된 확장현실 컨텐츠 또는 스토리지(109)에 저장된 확장현실 컨텐츠를 로딩한다. 42 단계에서 원격작업자단말(12)은 상술한 바와 동일하게 확장현실 컨텐츠를 로딩한다.

33 단계에서 현장작업자단말(11)의 프로세서(111)는 사용자인터페이스(118)를 통해 현장작업자로부터 가상현실 모드 및 증강현실 모드를 포함하는 복수의 확장현실 모드 중에서 어느 하나의 확장현실 모드의 선택을 입력받는다. 본 실시예에 따르면, 현장작업자는 가상현실 모드 및 증강현실 모드 중 증강현실 모드를 선택한다. 현장작업자단말(11)의 프로세서(111)는 현장작업자의 증강현실 모드의 선택을 사용자인터페이스(118)를 통해 입력받는다. 43 단계에서 원격작업자단말(12)은 상술한 바와 달리 가상현실 모드 및 증강현실 모드 중 가상현실 모드의 선택을 입력받는다.

가상현실 모드에서는 협업대상객체 뿐만 아니라 협업대상객체 주변의 모든 객체가 가상의 3차원 그래픽으로 표시되기 때문에 협업대상객체의 실제 주변 환경에 대한 정보가 완전하게 차단된다. 즉, 가상현실 모드에서는 현장작업자가 협업공간의 실제 환경을 인식할 수 없게 됨에 따라 협업대상객체의 실제 위치를 인식할 수 없게 되어 협업대상객체를 조작하기가 어렵게 된다. 한편, 원격작업자는 현업공간의 원격지에 위치해 있기 때문에 현장작업자와의 협업을 위해 가상의 협업공간에서 3차원 그래픽으로 표시된 협업대상객체를 통해 가상으로 협업대상객체를 체험하게 된다.

34 단계에서 현장작업자단말(11)의 카메라모듈(112)은 33 단계에서 증강현실 선택을 입력받으면, 협업공간을 촬영하여 협업공간의 2차원 촬영 이미지를 나타내는 촬영 데이터를 생성한다. 확장현실 컨텐츠가 어떻게 확장현실 모드 변경에 따라 증강현실로 표시되거나 가상현실로 표시될 수 있는가는 본 실시예의 특징과는 관련이 없고, 대한민국등록특허 제10-2262521호 "다양한 확장현실 모드의 통합 렌더링 방법 및 그것이 적용된 장치"에 상세하게 설명되어 있으므로, 이것에 대한 설명은 생략된다.

35 단계에서 현장작업자단말(11)의 렌더링부(115)는 32 단계에서 로드된 확장현실 컨텐츠를 33 단계에서 선택된 증강현실 모드에 따라 렌더링한다. 협업대상객체의 3차원 모델이 폴리곤 메시 구조로 미리 제작되어, 확장현실 컨텐츠에 포함되어 있을 수 있다. 협업대상객체의 3차원 모델은 3차원 그래픽 툴을 이용하여 미리 제작된다. 이 경우, 협업대상객체의 3차원 모델은 매우 정교하게 제작될 수 있으나 다양한 협업에 대비하여 미리 협업대상객체의 3차원 모델을 준비해야 한다는 단점이 있다.

객체검출부(114)는 카메라모듈(112)에 의해 생성된 촬영 데이터가 나타내는 협업공간의 2차원 촬영 이미지로부터 확장현실 컨텐츠에 포함된 협업대상객체의 3차원 모델에 해당하는 영역을 검출한다. 예를 들어, 객체검출부(114)는 카메라모듈(112)에 의해 생성된 촬영 데이터가 나타내는 협업공간의 2차원 촬영 이미지로부터 협업대상객체를 나타내는 타겟 마커를 검출함으로써 확장현실 컨텐츠에 포함된 협업대상객체의 3차원 모델에 해당하는 영역을 검출할 수 있다. 타겟 마커를 이용한 객체 검출은 본 실시예의 특징과는 관련이 없고, 대한민국등록특허 제10-2208708호 "공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치"에 상세하게 설명되어 있으므로, 이것에 대한 설명은 생략된다. 타겟 마커는 증강현실에서 증강현실의 렌더링 대상인 물체를 식별하기 위한 마커이다. 마커의 예로는 QR 코드(Quick Response Code), 바코드(bar code), 자연적인 특징(natural feature) 등을 들 수 있다.

렌더링부(115)는 객체검출부(114)에 의해 검출된 영역에 협업대상객체의 3차원 모델을 렌더링함으로써 카메라모듈(112)에 의해 생성된 촬영 데이터가 나타내는 협업공간의 2차원 촬영 이미지에 협업대상객체의 3차원 모델이 증강된 2차원의 증강현실 이미지를 사용자인터페이스(118)를 통하여 표시한다. 렌더링부(115)는 카메라모듈(112)에 의해 생성된 촬영 데이터가 나타내는 협업공간 이미지에 포함된 형상을 추출하고, 이와 같이 추출된 형상에서 협업대상객체의 형상과 매칭되는 부분을 검출함으로써 카메라모듈(112)에 의해 생성된 촬영 데이터가 나타내는 협업공간 이미지로부터 협업대상객체의 3차원 모델에 해당하는 영역을 검출할 수 있다.

렌더링부(115)는 현장작업자로부터 카메라모듈(112)에 의해 생성된 복수의 촬영 데이터가 나타내는 협업공간의 복수의 2차원 촬영 이미지에 대하여 협업대상객체의 형상 궤적을 입력받는 과정을 반복함으로써 협업대상객체의 3차원 모델을 생성할 수도 있다. 이 경우, 사용자인터페이스(118)에는 현장작업자의 단말 카메라 조작에 따라 여러 각도에서 촬영된 협업공간의 복수의 2차원 촬영 이미지가 차례대로 표시된다. 현장작업자는 터치스크린패널과 같은 사용자인터페이스(118)에 표시된 각 협업공간 이미지마다 협업대상객체의 외곽선 궤적을 손가락, 태블릿 펜 등을 이용하여 그림으로써 그 협업공간 이미지에 대한 협업대상객체의 형상 궤적을 입력할 수 있다.

렌더링부(115)는 협업대상객체의 3차원 모델을 생성하기에 충분한 협업대상객체의 형상 정보가 입력될 때까지 협업공간의 서로 다른 2차원 촬영 이미지에 대하여 협업대상객체의 형상 궤적을 입력받는 과정을 반복하게 된다. 이어서, 렌더링부(115)는 협업공간의 복수의 2차원 촬영 이미지에 대하여 입력된 복수의 형상 궤적에 기초하여 협업대상객체의 3차원 형상을 모델링하고, 3차원 형상의 표면을 복수의 폴리곤, 예를 들어 복수의 트라이앵글로 분할함으로써 협업대상객체의 3차원 모델을 폴리곤 메시 구조로 생성할 수 있다. 이 경우, 협업대상객체의 3차원 모델을 미리 준비할 필요가 없다.

36 단계에서 현장작업자단말(11)의 라이다센서모듈(113)은 협업공간에 레이저 펄스를 방출함으로써 카메라모듈(112)에 의해 생성된 촬영 데이터가 나타내는 협업공간의 2차원 촬영 이미지에 대응되는 깊이지도(depth map)를 생성한다. 라이다센서모듈(113)은 협업공간에 존재하는 어떤 객체의 어떤 지점에 레이저 펄스를 방출하고, 레이저 펄스가 그 지점으로부터 반사되어 되돌아오는 시간을 측정함으로써 미리 설정된 핀홀 카메라 모델의 가상 카메라로부터 그 지점까지의 거리를 측정한다. 카메라모듈(112)에 의해 촬영된 협업공간의 2차원 영상은 R 채널, G 채널, B 채널의 세 개의 컬러채널로 이루어져 있는 것과 달리, 라이다센서모듈(113)에 의해 생성된 하나의 깊이채널로 이루어져 있다. 깊이지도의 각 픽셀의 값은 카메라로부터 협업공간 내 어떤 지점까지의 거리를 의미한다.

도 4는 도 1에 도시된 협업공간 공유 시스템이 적용된 협업공간의 일례를 나타낸다. 도 4의 (a)에 도시된 예에 따르면, 협업공간에는 복수의 작업자의 협업대상객체에 해당하는 밸브플랜지(valve flange), 협업대상객체의 배경에 해당하는 작업대 등 다양한 객체들이 존재한다. 라이다센서모듈(113)은 카메라모듈(112)에 의해 생성된 촬영 데이터가 나타내는 협업공간의 2차원 촬영 이미지에 정방격자 구조의 격자점들을 할당하고, 각 격자점에 대응되는 협업공간의 지점에 레이저 펄스를 방출함으로써 협업공간의 2차원 촬영 이미지에 대응되는 깊이지도를 생성한다.

37 단계에서 현장작업자단말(11)의 포인트클라우드생성부(116)는 36 단계에서 생성된 깊이지도로부터 복수의 작업자의 협업 공간에 존재하는 복수의 객체에 대한 포인트 클라우드를 생성한다. 포인트클라우드생성부(116)는 깊이지도의 생성에 사용된 핀홀카메라모델을 이용하여 36 단계에서 생성된 깊이지도의 각 픽셀의 좌표와 값으로부터 카메라모듈(112)에 의해 촬영된 협업공간의 2차원 촬영 이미지의 카메라 좌표계에서의 깊이지도의 각 픽셀의 3차원 좌표를 산출한다. 이어서, 포인트클라우드생성부(116)는 깊이지도의 각 픽셀의 3차원 좌표의 위치마다 포인트를 할당함으로써 협업 공간에 존재하는 복수의 객체에 대한 포인트 클라우드를 생성한다.

38 단계에서 현장작업자단말(11)의 포인트클라우드필터(117)는 37 단계에서 생성된 포인트 클라우드로부터 협업공간에 존재하는 복수의 객체 중 협업대상객체를 나타내는 복수의 포인트를 제거함으로써 37 단계에서 생성된 포인트 클라우드를 필터링한다. 도 4의 (b)에는 협업대상객체에 해당하는 밸브플랜지의 영역이 도시되어 있고, 도 4의 (c)에는 그 영역이 필터링된 모습이 도시되어 있다. 도 5는 도 3에 도시된 38 단계의 상세 흐름도이다. 도 5를 참조하면, 도 3에 도시된 38 단계는 다음과 같은 단계들로 구성된다.

381 단계에서 포인트클라우드필터(117)는 37 단계에서 생성된 포인트 클라우드의 각 점을 협업대상객체의 3차원 모델이 렌더링되는 2차원 화면에 투영한다. 포인트클라우드필터(117)는 37 단계에서 생성된 포인트 클라우드의 어떤 점을 협업대상객체의 3차원 모델이 렌더링된 2차원 화면에 투영하고, 381 단계가 반복될 때마다 포인트 클라우드의 다른 점을 2차원 화면에 차례대로 투영한다. 포인트클라우드필터(117)는 37 단계에서 생성된 포인트 클라우드의 각 점의 좌표값을 협업대상객체의 3차원 모델을 2차원 화면으로 변환하기 위해 사용된 투영행렬(projection matrix)에 곱함으로써 협업대상객체의 3차원 모델이 렌더링된 2차원 화면에서의 좌표값을 산출하는 방식으로 37 단계에서 생성된 포인트 클라우드의 각 점을 협업대상객체의 3차원 모델이 렌더링된 2차원 화면에 투영한다.

382~383 단계에서 포인트클라우드필터(117)는 381 단계에서 2차원 화면에 투영된 각 점의 위치에 따라 37 단계에서 생성된 포인트 클라우드의 각 점을 제거한다. 382 단계에서 포인트클라우드필터(117)는 381 단계에서 2차원 화면에 투영된 각 점이 2차원 화면에서 협업대상객체의 3차원 모델의 렌더링 영역 내에 위치하는가를 결정하다. 383 단계에서 포인트클라우드필터(117)는 382 단계에서의 결정 결과에 따라 37 단계에서 생성된 포인트 클라우드의 각 점을 제거한다. 예를 들어, 포인트클라우드필터(117)는 다음과 같이 2차원 화면에 투영된 각 점에 해당되는 2차원 화면의 각 픽셀의 깊이 값에 기초하여 2차원 화면에 투영된 각 점이 협업대상객체의 3차원 모델의 렌더링 영역 내에 위치하는가를 결정할 수 있다.

382 단계에서 포인트클라우드필터(117)는 2차원 화면에 투영된 각 점에 해당되는 2차원 화면의 각 픽셀의 깊이 값과 2차원 화면의 각 픽셀의 깊이 값이 저장되는 깊이 버퍼의 초기화 값을 비교함으로써 2차원 화면에 투영된 각 점이 상기 협업대상객체의 3차원 모델의 렌더링 영역 내에 위치하는가를 결정한다. 오픈지엘(openGL) 표준에 따르면, 깊이 버퍼의 초기화 값은 "1"이다. 382 단계에서의 비교 결과, 2차원 화면에 투영된 각 점에 해당되는 2차원 화면의 각 픽셀의 깊이 값, 즉 z 값이 깊이 버퍼의 초기화 값 "1"이면 384 단계로 진행된다. 382 단계에서의 비교 결과, z 값이 "1"이 아니면 383 단계로 진행된다.

383 단계에서 포인트클라우드필터(117)는 382 단계에서의 비교 결과, 깊이 버퍼의 초기화 값 "1"이 아닌 것으로 확인된 각 점을 37 단계에서 생성된 포인트 클라우드로부터 제거한다. 384 단계에서 포인트클라우드필터(117)는 37 단계에서 생성된 포인트 클라우드의 모든 점에 대해 381~383 단계 수행이 완료되었는가를 확인한다. 포인트 클라우드의 모든 점에 대해 381~383 단계 수행이 완료되었으면 39 단계로 진행한다. 그렇지 않으면, 381 단계로 되돌아간다. 도 6은 2차원 화면에 투영된 각 점이 도 4에 도시된 협업대상객체의 배경에 해당되는 일례를 나타내고, 도 7은 2차원 화면에 투영된 각 점이 도 4에 도시된 협업대상객체 영역에 해당되는 일례를 나타낸다.

39 단계에서 현장작업자단말(11)의 통신모듈(119)은 38 단계에서 포인트클라우드필터(117)에 의해 필터링된 포인트 클라우드를 나타내는 데이터를 원격작업자단말(12)로 전송한다. 44 단계에서 원격작업자단말(12)은 39 단계에서 현장작업자단말(11)로부터 38 단계에서 필터링된 포인트 클라우드를 나타내는 데이터를 수신한다. 35 단계의 렌더링 과정에서 협업대상객체의 3차원 모델이 생성된 경우라면 통신모듈(119)은 포인트클라우드필터(117)에 의해 필터링된 포인트 클라우드를 나타내는 데이터와 함께 협업대상객체의 3차원 모델을 나타내는 데이터를 원격작업자단말(12)로 전송하고, 원격작업자단말(12)은 38 단계에서 필터링된 포인트 클라우드를 나타내는 데이터와 함께 협업대상객체의 3차원 모델을 나타내는 데이터를 수신한다.

45 단계에서 원격작업자단말(12)은 32 단계에서 로드된 확장현실 컨텐츠를 33 단계에서 선택된 가상현실 모드에 따라 렌더링한다. 42 단계에서 로딩된 확장현실 컨텐츠에 협업대상객체의 3차원 모델이 포함되어 있는 경우라면, 원격작업자단말(12)은 가상현실 모드에 따라 확장현실 컨텐츠에 포함된 협업대상객체의 3차원 모델을 렌더링하고 38 단계에서 필터링된 포인트 클라우드를 나타내는 데이터에 기초하여 38 단계에서 필터링된 포인트 클라우드를 이용하여 협업대상객체의 배경을 표시한다. 44 단계에서 협업대상객체의 3차원 모델을 나타내는 데이터를 수신한 경우라면, 원격작업자단말(12)은 가상현실 모드에 따라 35 단계의 렌더링 과정에서 생성된 협업대상객체의 3차원 모델을 렌더링하고 38 단계에서 필터링된 포인트 클라우드를 나타내는 데이터에 기초하여 38 단계에서 필터링된 포인트 클라우드를 이용하여 협업대상객체의 배경을 표시한다.

이와 같이, 원격작업자단말(12)은 협업대상객체의 3차원 모델을 렌더링하고, 38 단계에서 필터링된 포인트 클라우드를 그 렌더링된 협업대상객체의 3차원 모델의 배경으로 렌더링함으로써 협업대상객체와 협업대상객체의 배경을 3차원의 가상현실 이미지로 표시한다. 34~45 단계는 협업 어플리케이션이 실행되는 동안에 계속적으로 반복되며 현장작업자에게는 협업공간의 증강현실 영상을 체험할 수 있도록 하고, 원격작업자에게는 협업공간의 가상현실 영상을 체험할 수 있도록 한다. 34~45 단계의 일회 수행에 따라 생성되는 증강현실 이미지와 가상현실 이미지는 증강현실 영상의 한 프레임, 가상현실 영상의 한 프레임에 해당된다.

도 8, 9는 원격작업자단말(12)에 표시된 가상현실 이미지의 예시도이다. 도 8, 9에는 포인트 클라우드를 생성하면서 협업대상객체를 움직일 때 나타나는 결과가 시간 순서에 따라 도시되어 있다. 도 8에는 37 단계에서 생성된 포인트 클라우드가 필터링 없이 바로 가상현실로 표시되는 예가 도시되어 있고, 도 9에는 38 단계에서 필터링된 포인트 클라우드가 가상현실로 표시되는 예가 도시되어 있다. 도 8, 9를 참조하면, 아바타 앞에 있는 태블릿의 3차원 모델과 밸브플랜지의 3차원 모델은 각각 현장작업자가 들고 있는 단말(11)과 작업대 위의 밸브플랜지 실물과 그 포즈(pose), 예를 들어 위치, 회전, 기울임 등이 동기화되어 협업공간의 가상현실이 제공된다.

작업대 위의 밸브플랜지는 협업대상객체로서 그것의 배경에 해당하는 작업대와 함께 포인트 클라우드로 생성된다. 37 단계에서 생성된 포인트 클라우드가 필터링 없이 바로 가상현실로 표시된다면, 현장작업자가 작업을 진행하면서 밸브플랜지를 왼쪽으로 움직일 때, 그 경로를 따라 밸브플랜지의 잔상이 남는다. 본 실시예는 이러한 잔상이 생기지 않도록 포인트 클라우드를 필터링한다. 본 실시예에 따르면, 복수의 작업자의 협업공간 전체에 대한 3차원 모델이 아닌, 그 협업공간에 존재하는 협업대상객체의 3차원 모델만을 이용하여 확장 현실에서 복수의 작업자의 협업공간을 공유할 수 있을 뿐만 아니라, 3차원 모델과 포인트 클라우드가 동시 이용됨에 따른 잔상이 발생하지 않음에 따라 원격작업자는 매우 사실감이 뛰어난 협업공간의 가상현실 체험을 할 수 있게 된다.

한편, 상술한 바와 같은 협업공간 공유 방법은 컴퓨터의 프로세서에서 실행 가능한 프로그램으로 작성 가능하고, 이 프로그램을 컴퓨터로 읽을 수 있는 기록매체에 기록하여 실행시키는 컴퓨터에서 구현될 수 있다. 컴퓨터는 데스크탑 컴퓨터, 노트북 컴퓨터, 스마트폰, 임베디드 타입의 컴퓨터 등 프로그램을 실행시킬 수 있는 모든 타입의 컴퓨터를 포함한다. 또한, 상술한 본 발명의 일 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 램(RAM), 롬(ROM), 마그네틱 저장매체(예를 들면, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형상으로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

11 ... 현장작업자단말
12 ... 원격작업자단말
20 ... 확장현실서버
111 ... 프로세서
112... 카메라모듈
113 ... 라이다센서모듈
114 ... 객체검출부
115 ... 렌더링부
116 ... 포인트클라우드생성부
117 ... 포인트클라우드필터
118 ... 사용자인터페이스
119 ... 통신모듈
120 ... 스토리지

Claims (9)

1. 복수의 작업자의 협업공간에 존재하는 복수의 객체에 대한 포인트 클라우드를 생성하는 단계;
   상기 생성된 포인트 클라우드로부터 상기 복수의 객체 중 상기 복수의 작업자의 협업대상객체를 나타내는 복수의 포인트를 제거함으로써 상기 생성된 포인트 클라우드를 필터링하는 단계; 및
   상기 필터링된 포인트 클라우드를 나타내는 데이터를 상기 복수의 작업자 중 상기 협업공간의 원격지에 위치한 원격작업자의 단말로 전송하는 단계를 포함하고,
   상기 원격작업자의 단말은 상기 필터링된 포인트 클라우드를 나타내는 데이터를 수신하고, 상기 필터링된 포인트 클라우드를 나타내는 데이터에 기초하여 상기 필터링된 포인트 클라우드를 이용하여 상기 협업대상객체의 배경을 표시하고,
   상기 생성된 포인트 클라우드를 필터링하는 단계는
   상기 생성된 포인트 클라우드의 각 점을 상기 협업대상객체의 3차원 모델이 렌더링되는 2차원 화면에 투영하는 단계; 및
   상기 2차원 화면에 투영된 각 점의 위치에 따라 상기 생성된 포인트 클라우드의 각 점을 제거하는 단계를 포함하는 것을 특징으로 하는 협업공간 공유 방법.
2. 삭제
3. 제 1 항에 있어서,
   상기 생성된 포인트 클라우드의 각 점을 제거하는 단계는
   상기 2차원 화면에 투영된 각 점이 상기 협업대상객체의 3차원 모델의 렌더링 영역 내에 위치하는가를 결정하는 단계; 및
   상기 결정 결과에 따라 상기 생성된 포인트 클라우드의 각 점을 제거하는 단계를 포함하는 것을 특징으로 하는 협업공간 공유 방법.
4. 제 3 항에 있어서,
   상기 결정하는 단계는 상기 2차원 화면에 투영된 각 점에 해당되는 2차원 화면의 각 픽셀의 깊이 값과 상기 2차원 화면의 각 픽셀의 깊이 값이 저장되는 깊이 버퍼의 초기화 값을 비교함으로써 상기 2차원 화면에 투영된 각 점이 상기 협업대상객체의 3차원 모델의 렌더링 영역 내에 위치하는가를 결정하는 것을 특징으로 하는 협업공간 공유 방법.
5. 제 1 항에 있어서,
   상기 협업공간을 촬영하여 상기 협업공간의 2차원 촬영 이미지를 나타내는 촬영 데이터를 생성하는 단계; 및
   상기 협업공간의 2차원 촬영 이미지에 상기 협업대상객체의 3차원 모델이 증강된 2차원의 증강현실 이미지를 표시하는 단계를 더 포함하는 것을 특징으로 하는 협업공간 공유 방법.
6. 제 5 항에 있어서,
   상기 원격작업자의 단말은 상기 협업대상객체의 3차원 모델을 렌더링하고 상기 필터링된 포인트 클라우드를 상기 렌더링된 협업대상객체의 3차원 모델의 배경으로 렌더링함으로써 상기 협업대상객체와 상기 협업대상객체의 배경을 3차원의 가상현실 이미지로 표시하는 것을 특징으로 하는 협업공간 공유 방법.
7. 제 5 항에 있어서,
   상기 복수의 작업자 중 상기 협업공간의 현장에 위치하고 있는 현장작업자로부터 상기 협업공간의 복수의 2차원 촬영 이미지에 대하여 상기 협업대상객체의 형상을 나타내는 궤적을 입력받는 과정을 반복함으로써 상기 협업대상객체의 3차원 모델을 생성하는 단계를 더 포함하고,
   상기 2차원의 증강현실 이미지를 표시하는 단계는 상기 생성된 협업대상객체의 3차원 모델을 렌더링함으로써 상기 협업공간의 2차원 촬영 이미지에 상기 협업대상객체의 3차원 모델이 증강된 2차원의 증강현실 이미지를 표시하는 것을 특징으로 하는 협업공간 공유 방법.
8. 제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
9. 복수의 작업자의 협업공간에 존재하는 복수의 객체에 대한 포인트 클라우드를 생성하는 포인트클라이드생성부;
   상기 생성된 포인트 클라우드로부터 상기 복수의 객체 중 상기 복수의 작업자의 협업대상객체를 나타내는 복수의 포인트를 제거함으로써 상기 생성된 포인트 클라우드를 필터링하는 포인트클라우드필터; 및
   상기 필터링된 포인트 클라우드를 나타내는 데이터를 상기 복수의 작업자 중 상기 협업공간의 원격지에 위치한 원격작업자의 단말로 전송하는 통신모듈을 포함하고,
   상기 원격작업자의 단말은 상기 필터링된 포인트 클라우드를 나타내는 데이터를 수신하고, 상기 필터링된 포인트 클라우드를 나타내는 데이터에 기초하여 상기 필터링된 포인트 클라우드를 이용하여 상기 협업대상객체의 배경을 표시하고,
   상기 포인트클라우드필터는 상기 생성된 포인트 클라우드의 각 점을 상기 협업대상객체의 3차원 모델이 렌더링되는 2차원 화면에 투영하고, 상기 2차원 화면에 투영된 각 점의 위치에 따라 상기 생성된 포인트 클라우드의 각 점을 제거하는 것을 특징으로 하는 협업공간 공유 시스템.

Images