KR101763636B1 - 헤드 마운트 디스플레이를 이용한 협업 방법 - Google Patents

Abstract

본 발명은 헤드 마운트 디스플레이(Head Mounted Display) 장치를 이용한 협업 방법으로서, 로컬 영역의 사용자 및 원격 영역의 사용자가 공통 오브젝트를 이용하여 협업할 수 있는 공통 공간을 가상 세계(virtual world)의 영상에 생성하는 단계; 스테레오 카메라로부터 상기 공통 공간을 포함하는 실세계(real world)의 영상을 획득하는 단계; 깊이 센서로부터 획득한 핸드 트랙킹 정보로부터 상기 실세계의 영상 내에서의 사용자의 손의 위치를 결정하는 단계; 상기 핸드 트랙킹 정보를 이용하여, 상기 사용자의 손의 위치에 대응되는 위치에 존재하며, 상기 가상 세계의 영상에 표시되는 마스크 메쉬를 생성하는 단계; 원격 공간 사용자의 HMD 트랙킹 정보 및 핸드 트랙킹 정보를 사용하여, 상기 가상 세계의 영상에 표시될 아바타를 생성하는 단계; 상기 실세계의 영상과 가상세계의 영상을 각각 결합하여, 실세계의 영상에 상기 공통 공간, 상기 마스크 메쉬 및 상기 아바타가 표시되는 출력 영상을 생성하는 단계; 상기 HMD에 상기 출력 영상을 표시하는 단계; 를 포함하는, HMD를 사용하는 협업 방법을 제공한다.

Description

헤드 마운트 디스플레이를 이용한 협업 방법{METHOD FOR COLLABORATION USING HEAD MOUNTED DISPLAY}

본 발명은 헤드 마운트 디스플레이를 이용한 협업 시스템에 관한 것이다. 보다 상세하게는, 제한된 환경에서 최소한의 디바이스만으로 협업 시스템의 참여자들에게 실세계와 근접한 협업 환경을 제공할 수 있는 협업 시스템에 관한 것이다.

합성 현실(Mixed Reality)은 현실과 가상 이미지를 결합하는 것에 관한 기술이다. 합성 현실의 주 이슈는 가상과 현실 사이의 선을 블러링(blurring)하여 사용자에게 어떻게 현실과 가상 이미지의 경계의 경계가 없는 이미지를 제공하는 것이다. 이와 관련하여, 헤드 마운트 디스플레이(Head Mounted Display, HMD)는 가상 현실 경험을 가능하게 만들어주는 장치이지만, 현재까지는 연구실과 같은 높은 수준으로 제어되는 환경에서만 사용되어 왔다.

최근에는, 소비자 레벨 HMD가 일반적이 되었고, 일부 디바이스들은 수용 가능한 가격에 사용자에게 제공되고 있다. 비록, 이러한 소비자 레벨의 HMD는 아직까지 무겁고 짐이 되는 문제점이 존재하지만, 휴대용 디바이스가 과거에 증강 현실을 유명하게 만든 것처럼, 일반 사용자들로 하여금 합성 현실을 사용할 수 있게 만드는 계기가 되고 있다.

수년 동안, 텔레컨퍼런스(teleconference) 시스템은 통신 채널들이 보이스 및 비디오로 한정되었으며, 스크린 앞의 사용자를 촬영하는 카메라를 사용하였다. 이러한 방법의 단점은 사용자는 그들의 영역을 넘지 못한다는 것이다. 따라서, 이러한 시스템은 구두 커뮤니케이션이나 아이 컨택을 사용자간의 실제 협동 작업을 지원하는 것보다 중요하게 생각하는 문제점이 있었다.

이러한 제한된 영역 문제는 에워싸는(immersive) 디스플레이 기술, 예를 들어 원격 사용자의 모습의 깊이 단서를 제공할 수 있는 거대 2차원 디스플레이로 해결될 수 있다. 예를 들어, 연결된 방으로 이격된 공간을 합치는 벽 크기의 스크린을 활용하는 방법에 개시되어 있다. 그러나, 단일 디스플레이는 비록 머리 위치가 추적될지라도, 사용자가 언제나 스크린을 봐야 하는 제한된 뷰(view) 각도를 가지며, 이러한 문제점은 2.5D 문제라 불리어지고 있다. 즉, 최근의 원격 지원 환경들도 사용자 앞의 단일 디스플레이를 설정하고 있을 뿐이므로, 사용자의 시각 및 뷰 방향을 제한하는 문제점이 존재한다.

본 발명은 원격 협업을 가능하게 하는 방법을 제공한다.

본 발명은 상술한 2.5D 문제를 극복하기 위하여, HMD를 주 디스플레이로 채용한다. 이러한 선택으로, 본원 발명은 사용자가 존재하는 로컬 공간으로 원격 공간의 원격 사용자를 아바타로서 소환하는 것을 일 목적으로 한다.

또한, HMD는 사용자의 눈 바로 앞에 스크린이 존재하기 때문에, 사용자의 머리 방향이 스크린의 전면으로 제한되지 않고 자유로우며, 사용자의 뷰는 로컬 스페이스로 전체로 확장될 수 있는 것을 다른 목적으로 한다.

또한, 기존의 기술들은 협업이 스크린 내에서만 가능하도록 하지만, 본원 발명은 공통 공간에서 로컬 사용자와 원격 사용자와 실제 협업이 가능하도록 하는 것을 다른 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명은 헤드 마운트 디스플레이(Head Mounted Display) 장치를 이용한 협업 방법으로서, 로컬 영역의 사용자 및 원격 영역의 사용자가 공통 오브젝트를 이용하여 협업할 수 있는 공통 공간을 가상 세계(virtual world)의 영상에 생성하는 단계; 스테레오 카메라로부터 상기 공통 공간을 포함하는 실세계(real world)의 영상을 획득하는 단계; 깊이 센서로부터 획득한 핸드 트랙킹 정보로부터 상기 실세계의 영상 내에서의 사용자의 손의 위치를 결정하는 단계; 상기 핸드 트랙킹 정보를 이용하여, 상기 사용자의 손의 위치에 대응되는 위치에 존재하며, 상기 가상 세계의 영상에 표시되는 마스크 메쉬를 생성하는 단계; 원격 공간 사용자의 HMD 트랙킹 정보 및 핸드 트랙킹 정보를 사용하여, 상기 가상 세계의 영상에 표시될 아바타를 생성하는 단계; 상기 실세계의 영상과 가상세계의 영상을 각각 결합하여, 실세계의 영상에 상기 공통 공간, 상기 마스크 메쉬 및 상기 아바타가 표시되는 출력 영상을 생성하는 단계; 상기 HMD에 상기 출력 영상을 표시하는 단계; 를 포함하는, HMD를 사용하는 협업 방법을 제공한다.

본 발명에 있어서, 아바타를 생성하는 단계는 외심 카메라로부터 획득한 바디 트랙킹 정보를 이용하여 아바타의 바디 모션을 생성한다.

본 발명에 있어서, 상기 공통 공간을 생성하는 단계는, 글로벌 트랙커(global tracker) 및 로컬 트랙커(global tracker)를 사용하여 공통 공간을 생성하되, 상기 로컬 트랙커는 공통 공간의 초기 설정 단계에만 사용된다.

본 발명에 의하면, HMD기반의 합성 현실을 제공하는 원격 협업 시스템이 제공되므로, 원격 사용자와 로컬 사용자가 용이하게 협업할 수 있다. 보다 상세히, 각 유저는 자신들의 로컬 공간을 유지하고, HMD를 이용하여 가상 오브젝트, 공통 공간 내에서의 가상 공간 및 아바타로 소환된 다른 사용자를 투시할 수 있으므로, 로컬 사용자는 공통 공간 내의 공유된 가상 오브젝트로 협업을 효과적으로 수행할 수 있다.

추가적으로, 본원 발명은 비전(vision) 기반의 핸드 트랙킹을 사용하므로, 추가적인 디바이스 혹은 컨트롤러 없이 맨손으로 공유된 오브젝트들과 직접 상호작용 할 수 있도록 하는 효과가 존재한다.

도 1은 도 1 은 본 발명의 일 실시예에 따른 협업 시스템을 설명하기 위한 블록도이다.
도 2 는 본 발명의 일 실시예에 따른 제어 컴퓨터의 내부 구성을 나타낸 도면이다.
도 3 은 본 발명의 일 실시예에 따라 HMD의 출력 영상을 생성하는 것을 설명하기 위한 도면이다.
도 4 는 본 발명의 일 실시예에 따른 동작을 순서도로 설명하는 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1 은 본 발명의 일 실시예에 따른 협업 시스템을 설명하기 위한 블록도이다.

본 발명의 일 실시예에 따르면, 본원 발명의 협업 시스템은 제어 컴퓨터(100), 헤드 마운트 디스플레이(Head Mounted Display, HMD)(200), 스테레오 카메라(300), 깊이 센서(400), 외심 카메라(500) 및 네트워크(600)를 포함한다. 또한, 상기 HMD(200), 스테레오 카메라(300), 깊이 센서(400), 외심 카메라(500)는 로컬 공간(A) 및 원격 공간(B)에 모두 존재할 수 있이다.

본 발명의 협업 시스템은 원격에 위치하는 사용자와 작업 공간 및 사용자의 모션을 공유할 수 있다는 점에서 매우 유용하다. 예를 들어, 본 발명의 협업 시스템은 같은 환자의 수술을 집도하는 로컬 공간(local space) 및 원격 공간(remote space)의 외과의사들의 원격 수술에 적용될 수 있다. 로컬 공간에 주 외과의 및 환자가 물리적으로 위치하고, 원격 공간에는 동료 외과의들이 위치하여, 본 발명의 시스템을 이용하여 수술을 진행할 수 있다. 이때, 환자는 공유 오브젝트가 되고, 원격 공간의 외과의에 의해 실행된 동작은 실시간으로 추적되며, 아바타와 같은 가상 캐릭터로 주 외과의의 로컬 공간에서 복제될 수 있으므로, 로컬 외과의는 뷰(view) 각도의 제한 없이 로컬 공간에서 미러링(mirroring)된 원격 외과의의 동작을 볼 수 있다.

이와 같은 유용한 협업 시스템을 구현하기 위해, 본 발명은 HMD(200) 기반의 협업 시스템을 제공한다. 이하에서는, 각 장치의 역할에 기초하여 본원 발명을 살펴보기로 한다.

먼저, 본 발명의 일 실시예에 따른 제어 컴퓨터(100)는, HMD(200), 스테레오 카메라(300), 깊이 센서(400) 및 외심 카메라(500)와 같은 디바이스들을 제어하고, 디바이스들로부터 획득한 정보를 이용하여, 이미지를 렌더링 및 제어하여 실세계(real world)와 가상 세계(virtual world)를 결합한 합성 현실(Mixed Reality)을 생성한다. 특히, 본 발명의 일 실시예에 따른 제어 컴퓨터(100)는 로컬 공간과 원격 공간의 디바이스들로부터 획득한 정보에 기초하여, 로컬 공간의 사용자와 원격 공간의 사용자들이 동일한 공통 공간(co-space)에서 협업할 수 있도록 한다. 즉, 제어 컴퓨터(100)는 로컬 공간 및 원격 공간에 동일한 공통 공간을 형성하고, 로컬 공간의 사용자 및 원격 공간의 사용자의 아바타를 각각 원격 공간 및 원격 공간의 공통 공간에 표시하는 영상을 생성하여, 사용자들의 HMD(200)에 출력하는 역할을 수행한다.

또한, 제어 컴퓨터(100)는 렌더링, 공통 공간(co-space)의 좌표 시스템을 관리하고, 네트워킹 동안 협업자의 측에서 의사소통을 가능하게 한다.

도 1 에서는 비록 본 발명의 일 실시예에 따라 로컬 공간 및 원격 공간에 HMD(200), 스테레오 카메라(300), 깊이 센서(400) 및 외심 카메라(500)가 구비된 실시예를 도시하였지만, 디바이스들의 구성은 발명의 실시예에 따라 다양하게 변형될 수 있다. 예를 들어, 원격 공간에는 외심 카메라(500)가 존재하지 않을 수 있다. 이 경우에는, 바디 트랙킹이 이루어지지 못하므로, 핸드 트랙킹에 기초한 원격 사용자의 손동작만이 미러링되어 공통 공간에 표시된다. 또한, 도 1 에서는 비록 로컬 공간에 대응하는 원격 공간을 하나만 도시하였지만, 본 발명의 다른 실시예에 의하면 복수개의 원격 공간과, 그에 따른 복수개의 원격 공간에 따른 복수명의 사용자가 있을 수 있다.

이하에서는, 제어 컴퓨터(100)가 제어하는 디바이스들의 동작으로 본원의 협업 시스템을 설명하도록 한다.

HMD(200)는 사용자에게 가상 오브젝트들 및 아바타가 표시되는 영상의 에워싸는 뷰(view)를 제공할 수 있는, 로컬 공간 및 원격 공간의 사용자의 머리에 장착할 수 있는 디바이스이다. 보다 구체적으로, HMD(200)는 공통 공간에 원격 공간의 아바타를 표시하는 한편, 사용자의 눈과 가상 오브젝트 사이에 손이 있는 경우에는 손의 시스루(see-through) 영상을 제공하여, 공통 공간에서 협업이 이루어지는 영상을 표시할 수 있는 디바이스이다.

HMD(200)는 기본적으로, 사용자의 머리 부분에 장착해 사용자의 눈앞에 직접 영상을 제시할 수 있다. 본 발명에 사용되는 HMD(200)는 좌측 스크린과 우측 스크린을 포함할 수 있다. 좌측 스크린 및 우측 스크린은 각각 사용자의 왼쪽 눈 및 오른쪽 눈에 보여지므로, 자연스럽게 사용자에게 입체 영상을 제공할 수 있다. 즉, 인간의 눈이 보는 방식과 동일하게, 왼쪽 눈과 오른쪽 눈에 보여지는 영상을 달리 함으로써 영상에 깊이감을 부여할 수 있다.

본 발명은 HMD(200)를 이용하여 2.5D 문제를 극복할 수 있다. 상술한 바와 같이, 기존에는 스크린이 고정되어 있었기 때문에 사용자의 머리가 반드시 스크린 방향을 향해야 원격 사용자의 모습을 볼 수 있었다. 그러나, 본원 발명은 HMD(200)를 사용함으로써, 사용자의 머리 위치 및 방향에 상관없이 원격 사용자와의 협업을 가능케한다.

기존의 3D 시스템에서는, 사용자의 눈과 스크린이 표시하는 가상 오브젝트 사이에 손이 존재하는 경우, 시스템은 사용자의 손이 스크린을 물리적으로 가로막기 때문에 가상 오브젝트를 볼 수 없었다. 이는 폐쇄적인 핸들링의 문제라고 칭해진다.

이러한 문제를 해결하기 위해 본 발명은 시스루 HMD(200) 를 사용한다. 시스루 HMD(200)는 스크린이 사용자의 눈 앞에 가깝게 위치하기 때문에 사용하여, 2.5D 문제 및 폐쇄적인 핸들링 문제점을 극복할 수 있다. 시스루 HMD(200) 는 옵티컬(optical) 시스루 및 비디오 시스루로 추가적으로 나뉘어 질 수 있다. 옵티컬 시스루에서는 가려지는 부분 없이 실세계의 이미지를 제공 가능하고, 가상 오브젝트는 실세계 뷰 상에 위치할 수 있지만, 가상 오브젝트가 공기 상에 떠다니는 것 같이 보일 수는 있다.

이에, 본원 발명은 비디오 시스루 HMD(200) 를 선택하고, 깊이 센서(400)(혹은 근거리 깊이 카메라)를 사용하는 깊이 마스크 생성기(depth mask generation) 를 채용하였다. 따라서, 가상 오브젝트 및 실세계의 거리 관계를 이용하여 HMD(200) 영상에 현실감을 부여할 수 있다. 이러한 본원 발명의 접근 방법으로, 본원 발명의 아바타 표시와 같은 가상 오브젝트는 로봇과 같은 물리적인 대용품 없이 사용자의 HMD(200) 에서 증강된 가상 이미지를 완벽히 생성할 수 있다.

다음으로, 스테레오 카메라(300)(Stereoscopic Camera)는 입체 영상을 생성할 수 있는 카메라이다. 스테레오 카메라(300)는 사람의 눈 사이 간격만큼 떨어진 2 개의 촬영용 렌즈를 사용하여 같은 방향의 사물을 2 장의 화상으로 촬영함으로써, 인간이 사물을 입체적으로 인식하는 것과 동일한 원리로 입체 영상을 생성할 수 있는 카메라이다. 스테레오 카메라(300)의 촬영 영상으로 인해, 사용자에게 실세계 뷰를 입체적으로 지원하는 것이 가능하다.

본 발명의 일 실시예에 있어서, 스테레오 카메라(300)는 HMD(200)에 내장 혹은 부착된 카메라일 수 있다. 즉, 본 발명의 일 실시에에 따른 스테레오 카메라(300)는 HMD(200)를 장착한 사용자의 눈이 HMD(200)를 넘어 볼 수 있는 것들을 입체 영상으로 생성할 수 있다. 예를 들어, 스테레오 카메라(300)가 생성한 좌측 영상 및 우측 영상은 HMD(200)를 장착한 사용자의 왼쪽 눈 및 오른쪽 눈이 볼 수 있는 실세계의 장면에 대응될 수 있다.

스테레오 카메라(300)가 생성하는 영상들은 제어 컴퓨터(100)에 의해 교정될 수 있다. 예를 들어, 스테레오 카메라(300)의 렌즈들이 어안 렌즈일 경우, 스테레오 카메라(300)가 생성한 영상들이 실세계를 올바르게 반영할 수 있도록 제어 컴퓨터(100)에 의해 교정될 수 있다.

상기 생성된 스테레오 카메라(300)의 영상들은 HMD(200)가 표시하는 영상의 실세계 뷰로서 사용될 수 있다. 즉, 스테레오 카메라(300)가 생성하는 영상 위에 아바타와 같은 가상 오브젝트가 표시될 수 있다.

다음으로, 깊이 센서(400)(Depth Sensor)는 핸드 트랙킹(hand tracking), 가상 오브젝트와의 상호 작용, 마스크 메쉬를 생성할 수 있도록 하는 장치이다. 깊이 센서(400)를 이용하여, 사용자의 손이 실세계 상에서 어디에 위치하는지 및 손가락 관절들은 어떻게 움직이는지 알 수 있는 정보가 생성될 수 있다.

본 발명의 일 실시에에 따른 깊이 센서(400)는 근거리 깊이 카메라(near range Depth Camera) 일 수 있다. 즉, 비전-기반으로 거리를 측정 가능한 카메라 장치일 수 있다. 또한, 깊이 센서(400)는 스테레오 카메라(300)와 마찬가지로 HMD(200)에 내장되거나 부착될 수 있다.

3D 사용자 상호작용을 위한 가장 일반적이고 이상적인 방법은 맨손 및 손가락을 이용한 직접적인 상호작용이다. 인간은 일상 작업을 통해 그들의 손을 사용하는 것에 익숙하고, 인간의 손가락은 매우 높은 자유도를 가진다. 그러나, 합성 현실에서 손 상호작용을 제공하는 것은 실시간으로 손과 손가락을 트래킹하는 것에 대한 어려움이 존재한다. 기존의 손을 트래킹하는 디바이스들은 적외선 마커를 사용한 데이터 글로브 등이 있었다. 이러한 디바이스들은 매우 비싸고 사용자 경험(user experience)의 자연스러움을 저해시켰다. 따라서, 본원 발명은 비전 기반의 깊이 센서를 이용하여 손의 움직임을 트랙킹할 수 있다.

다음으로, 외심 카메라(500)(exocentric camera)는 사용자의 바디 모션 정보(body motion information)를 생성할 수 있다. 본 발명의 일 실시예에 따르면, 외심 카메라(500)는 로컬 공간 혹은 원격 공간에 설치되어 사용자의 바디 모션 정보를 스캐닝하여, 로컬 공간 혹은 원격 공간의 아바타가 사용자의 바디 모션을 미러링하도록 한다.

한편, 네트워크(600)는 복수 개의 디바이스들 및 제어 컴퓨터(100)를 연결하는 역할을 수행한다. 즉, 네트워크(400)는 복수 개의 디바이스들이 제어 컴퓨터(100)에 접속한 후 패킷 데이터를 송수신할 수 있도록 접속 경로를 제공하는 네트워크를 의미한다. 즉, 본 발명의 일 실시예에 따른 네트워크(400)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 네트워크(LAN; Local Area Network), 도시권 네트워크(MAN; Metropolitan Area Network), 광역 네트워크(WAN; Wide Area Network) 등 다양한 네트워크로 구성될 수 있다. 그러나, 네트워크(400)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 네트워크 중 하나를 그 적어도 일부에 있어서 포함할 수도 있다.

도 2 는 본 발명의 일 실시예에 따른 제어 컴퓨터(100)의 내부 구성을 나타낸 도면이다.

도 2 를 참조하면, 제어 컴퓨터(100)는 제어부(101), 통신 인터페이스부(102), 공통 공간 설정부(110), 마스크 메쉬 생성부(120), 핸드 트랙킹부(130), 아바타 생성부(140), 캘리브레이션부(150) 및 출력 영상 생성부(160)를 포함한다.

먼저, 제어부(101)는 공통 공간 설정부(110), 마스크 메쉬 생성부(120), 핸드 트랙킹부(130), 아바타 생성부(140), 캘리브레이션부(150) 및 출력 영상 생성부(160)가 각 역할을 수행할 수 있도록 전체 프로세스를 조정하는 역할을 수행한다.

또한, 통신 인터페이스부(102)는 외부 디바이스들, 즉 HMD(200), 스테레오 카메라(300), 깊이 센서(400), 외심 카메라(500)와 제어 컴퓨터(100)의 내부 구성들이 통신할 수 있는 인터페이스를 제공할 수 있다.

공통 공간 설정부(110)는 공유 오브젝트가 위치할 수 있는, 로컬 공간 및 원격 공간의 사용자가 협업할 수 있는 가상의 공통 공간을 설정한다. 본원 발명의 주된 목적은 핸드-기반 상호작용을 이용한 에워싸는 (immersive) 및 직관적인 원격 협업이다. 소환된 아바타를 원격 사용자의 표시로 사용하면서, 사용자의 모션을 공통 공간 상에서 미러링할 수 있다. 이때, 사용자의 로컬 공간의 일부는 공통 공간이 되며, 공통 공간은 가상 오브젝트를 로컬 사용자 및 원격 사용자들이 공유할 수 있고 함께 가상 오브젝트들을 조종할 수 있도록 하는 공간이다.

환경적으로 묶인 센서들 및 디스플레이에 의지하지 않고, 경량 시스템에 대한 좌표 시스템을 등록하고 트랙킹하기 위해 본원 발명은 사용자의 HMD(200) 포즈(pose)를 국한시키고 공통 공간을 등록하기 위해 하이브리드 방법을 사용한다.

본원 발명의 하이브리드 방법에서는, 외-내부(outside-in) 글로벌 트랙커(global tracker) 및 내-외부(inside-out) 로컬 트랙커(global tracker)의 두가지 타입의 트랙커를 사용한다. 글로벌 트랙커는 그것이 정의된 공간 안에 있는 동안 마커가 트랙킹될 수 있고, 더 많은 유연성을 가진다. 그러나, 로컬 트랙커는 마커가 항상 시야 안에 남아있어야 하고, 따라서 카메라 뷰 방향을 제한한다. 비록 글로벌 트랙커가 사용자의 뷰 포인트 문제 상의 제한을 없앨 수 있을지라도, 글로벌 트랙커는 사용자의 가상 세계 좌표 내의 공통 공간을 등록할 수 없다. 따라서, 본원 발명은 로컬 마커를 등록하기 위한 로컬 트랙커를 공통 공간의 기초로 사용한다.

예를 들어, 사용자는 원격 협업 시스템을 사용하기 위한 초기 설정 스테이지에서 로컬 오브젝트만을 보면 된다. 본원 발명은 초기 설정 스테이지에서 로컬 트랙커를 한번만 사용하고, 나머지 원격 협업 시스템을 위한 스테이지들에서는 일반적으로 글로벌 트랙커를 사용하여 제한없는 뷰를 제공할 수 있다.

본 발명의 공통 공간 설정부(110)는 글로벌 트랙커에 등록된 로컬 오브젝트를 포즈(pose)시키면, 공통 공간 좌표 정보가 계산된다. 등록된 로컬 오브젝트의 포즈는 사용자의 공간에서 공유되는 가상 오브젝트의 기초가 된다. 사용자의 손 혹은 바디 데이터는 기초 오브젝트 포즈에 기초하는 로컬 좌표로 변환되고, 원격 사용자의 공간으로 전송된다.

마스크 메쉬 생성부(120)는 사용자의 손과 동일한 모양의 마스크 메쉬를 생성한다. 생성된 마스크 메쉬는 투명 또는 불투명하게 설정됨으로써, 폐색 핸들링을 해결하는 방안을 제공한다.

폐색 핸들링은 시스루 HMD(200)에 있어 중요한 문제이다. 본원 발명은 사용자의 눈과 가상 오브젝트들 사이의 손의 폐색을 다루기 위해 마스크 메쉬(masking mesh) 를 사용한다. 첫번째로, 본원 발명은 3D 포인트 클라우드로 깊이 이미지를 전환하고, 상기 3D 포인트 클라우드에 단순 삼각 측량을 적용하여 메쉬로 전환한다. 본원 발명은 셰이더(shader) 를 변경함으로써, 생성된 마스크 메쉬를 반투명 혹은 완전투명으로 설정할 수 있다. 만약 셰이더가 반투명이라면, 사용자의 손은 시스루 상태가 된다. 혹은, 셰이더가 완전 투명 상태인 경우, 가상 이미지 상에 빈 공간을 만들어내고, 따라서 사용자의 실제 손은 HMD(200) 뷰에서 완전히 보일 수 있고, 손 뒤에 있는 어떤 것도 가릴 수 있다. 본원 발명의 일 실시예에서는, 사람이 어떻게 실세계를 인지하는지에 더 밀접하게 관련된 경험을 제공할 수 있는, 완전 투명 셰이더가 좀 더 선호된다.

핸드 트랙킹부(130)는 핸드 트랙킹 정보로부터 생성된 데이터를 이용하여 사용자의 손의 위치 및 움직임을 결정한다.

상기 마스크 메쉬 생성부에서 생성된 마스크 메쉬를 HMD(200) 영상에 출력되는 손에 덧입히기 위해서는, 정확한 핸드 트랙킹이 필요하다. 상술한 바와 같이, 본원 발명은 깊이 센서(400)를 이용하여 비전 기반의 핸드 트랙킹을 수행한다. 혹은, 본 발명의 다른 실시예에 따르면, 단순 핸드 트랙킹을 위한 디바이스와, 손의 깊이 데이터를 생성하는 디바이스를 사용할 수도 있다.

아바타 생성부(140)는 원격 사용자를 나타내는 표현적 방법을 제공하는 것으로, 사용자의 머리 위치 정보, 핸드 트랙킹 정보 및 바디 트랙킹 정보를 사용하여, 가상 세계에 표시될 아바타를 생성한다. 아바타는 원격 사용자를 나타내기 위하여 물리적 대리 혹은 로보틱 하드웨어를 사용하지 않고도, 물리적 움직임 혹은 사용자의 바디 모션을 미러링할 수 있다. 아바타 방법의 장점은 원격 사용자가 로컬 사용자의 공간에 위치한다고 인식하게 하는 것이다. 본 발명의 아바타 생성부(140)는 로컬 공간 및 원격 공간의 사용자 모두에 대응하는 아바타를 생성할 수 있다.

본원 발명은 가상 오브젝트들과 상호작용하고 조정하기 위하여 로컬 사용자의 핸드 트랙킹 결과를 사용한다. 핸드 트랙킹 정보 및 헤드 포즈는 실시간으로 네트워크(600)를 통해 원격 공간으로 전송된다. 원격 공간에서는, 이러한 정보들은 아바타 모션으로 복제되고, 사용자로 하여금 높은 정확도록 협업할 수 있도록 한다.

공통 공간을 로컬 사용자 및 원격 사용자가 공유함에 따라, 로컬 스페이스로 가상 아바타를 원격 사용자로서 소환하는 것이 간단해진다. 실세계 내의 아바타의 초기화는 바닥 면에 체스보드(chess board) 마커를 두는 것으로서 완료된다. 체스보드 마커는 소환된 원격 공간에 대한 가상 앵커(anchor)로 작동하며, 요구되는 바와 같이 로컬 사용자에 의해 물리적으로 재배치될 수 있다. 또한, 체스보드 마커는 실세계 바닥 평면에 정렬되는 가상 바닥 평면을 생성한다. 이런 이유로, 소환된 아바타는 이 평면 상에 적절하게 위치될 수 있다.

네트워킹에 있어, 본원 발명은 HMD(200) 포즈(pose), 바디로부터의 골격 관절 데이터 및 다른 측과 연결된 손만을 전송한다. 따라서, 대역폭 요구량은 화상회의 시스템과 비교할 때 비교적 가볍다.

외심 카메라(500)의 트랙킹 센서는 일정 수의 관절로 풀 바디 골격을 트랙킹할 수 있다. 이 정보를 사용하여, 본원 발명은 실제 사용자에 따른 가상 아바타를 스케일하고 제어할 수 있다. 따라서, 아바타는 트랙킹되는 사용자의 실세계 사이즈 및 바디 모션을 미러링해야 한다. 외심 카메라(500)에 의해 지원되는 핸드 트랙킹은 제한되어 있기 때문에, 본원 발명은 완전히 연결된 핸드 핸드 트랙킹을 위하여 깊이 센서(400)에 의존한다. 따라서, 바디 트랙킹 정보는 외심 카메라(500)로부터, 핸드 트랙킹 정보는 깊이 센서(400)로부터 획득되므로, 제어 컴퓨터(100)는 바디 트랙킹 정보와 핸드 트랙킹 정보를 혼합하고 전체로서 표시하며, 이로 인해 최종 결과가 원격 측에서 보여질 때 자연스럽게 보일 수 있도록 조정한다.

이를 위하여, 본원 발명은 깊이 센서(400)로부터 획득한 핸드 정보를 외심 카메라(500)가 생성한 바디 정보의 손목 관절 위치에 결합할 수 있다. 또한, 본원 발명은 손이 외심 카메라(500)를 향해 가리키고 있을 때 발생하는 폐색 문제에 의해 트랙킹된 손목 및 팔꿈치 관절이 상당히 불안정해 지는 것을 극복하기 위하여, 외심 카메라(500)에 의해 트랙킹된 팔뚝에서 깊이 센서(400)에 의해 트랙킹된 손바닥으로 조정 위치의 목표를 변경할 수 있다.

캘리브레이션부(140)는 디바이스들로부터 획득된 이미지들의 왜곡을 보정하고, 각 디바이스들로부터의 이미지가 일치하도록 캘리브레이션(calibration)한다. HMD(200)를 통해서, 사용자는 스테레오 카메라(300)에 의해 캡쳐된 실세계 배경 이미지에 놓은 가상 입체 이미지를 볼 수 있다. 이러한 실세계 이미지들은 스테레오 카메라(300)의 어안 렌즈를 통해 원래 획득될 수 있으며, 따라서 왜곡 방지 및 수정이 필요하다. 왜곡되지 않은 이미지들 중 하나는 로컬 트랙커의 입력 이미지로 사용된다.

본원 발명의 초기 실행에서는, 로컬 트랙커의 입력 이미지로서 스테레오 카메라(300)의 좌측 카메라 이미지를 사용할 수 있다. 이때, 캘리브레이션 (calibration) 단계의 변환의 기초는 Trgb_L 이라 표시할 수 있다.

가상 입체 이미지들은 HMD(200) 포즈(THMD) 의 서브-변환인 가상 좌측 (Trgb_L) 및 가상 우측 (Trgb_R) 카메라 포즈에 기초하여 제어 컴퓨터(100)에 의해 렌더링된다. 본원 발명은 또한 연결된 핸드 트랙킹 및 실세계 깊이와 같은 깊이 센서(400)부터의 정보를 관리하기 위하여 깊이 카메라의 기본 깊이 정보를 Tdepth 로 설정한다. 또한, 본원 발명은 HMD(200) 의 위치 또는 깊이 정보인 THMD 를 트랙킹하기 위해, 본원 발명은 HMD(200) 내부의 트랙커를 사용할 수 있다.

본원의 협업 시스템의 사용 준비 중에, 카메라들의 내부 및 외부 파라미터들을 획득하기 위하여 2 가지 단계의 캘리브레이션 프로세스가 필요한데, 이는 1) 같은 모듈 안에서의 캘리브레이션 및 2) 다른 모듈들 사이의 캘리브레이션이다.

첫번째 스텝에서, 본원 발명은 제공되는 툴 및 체스보드를 사용하여 스테레오 카메라(300)를 캘리브레이션할 수 있다. 또한, 본 발명의 다른 일 실시예들에 따르면 일부 디바이스, 예를 들어 깊이 센서(400)는 자동적으로 캘리브레이션 될 수 있다. 또한, 상술한 바와 같이, 핸드 트랙킹을 위한 깊이 센서(400)에서 두가지 이상의 디바이스가 사용되는 것과 같은 경우, 동일 모듈 내의 디바이스들에 대해 캘리브레이션을 수행한다.

두번째 스텝에서, 본원 발명은 다른 디바이스 모듈들 내의 디바이스들을, 본원에서는 주로 카메라들의 영상들을 캘리브레이션한다. 첫번째 스텝 후에, 본원 발명은 동일 모듈 내의 두가지 이상의 카메라가 제대로 캘리브레이션되었다고 가정한다. 본 발명에 있어서, HMD(200) 영상이 끊어짐이 없이 제공되기 위해, 스테레오 카메라(300), 깊이 센서(400), 외심 카메라(500)의 이미지들이 모두 일치되도록 캘리브레이션될 수 있다.

출력 영상 생성부(160)는 실세계의 좌측 영상 및 우측 영상과, 마스크 메쉬를 포함하는 가상세계의 좌측 영상 및 우측 영상을 각각 결합하여 HMD(200)에 표시될 좌측 영상 및 우측 영상을 생성한다.

도 3 은 본 발명의 일 실시예에 따라 출력 영상 생성부(160)가 HMD(200)의 출력 영상을 생성하는 것을 설명하기 위한 도면이다.

도 3의 (a)를 참조하면, 먼저 스테레오 카메라(300)가 생성한 실세계 좌측 영상과 우측 영상을, 마스크 메쉬 및 아바타 등의 가상 오브젝트가 포함된 가상세계 좌측 영상과 우측 영상에 각각 결합한다. 이때, 영상의 결합에 있어 상술한 바와 같이 캘리브레이션부(140)의 캘리브레이션이 수행될 수 있다

도 3 의 (b) 는 본 발명의 일 실시예에 따른 시뮬레이션 결과를 나타낸 사진 예시이다. 도 3 의 (b) 를 참조하면, 실세계 좌측 영상(L) 및 실세계 우측 영상(R)이 스테레오 카메라(300)로부터 획득된 것을 알 수 있다. 또한, 도 3 의 (b) 의 화살표 우측을 살펴보면, 실세계 좌측 영상(L) 및 실세계 우측 영상(R)이 가상세계 좌측 영상 및 우측 영상과 결합되어 HMD(200)에 표시될 좌측 영상 및 우측 영상(OUTPUT)이 생성된 것을 알 수 있다.

도 3 의 (b) 의 (OUTPUT)을 살펴보면 기존의 실세계 좌측 영상(L) 및 실세계 우측 영상(R)에 아바타 및 체스 보드, 그리고 하늘색의 투명 공통 공간이 표시된 것을 알 수 있다. 상술한 바와 같이 아바타 및 체스 보드, 그리고 공통 공간과 같은 가상 오브젝트는 가상 세계의 영상이 실세계 영상에 결합된 결과이다. 본 실시예에서는 셰이더를 투명 상태로 설정하여 사용자의 손이 완전 불투명 상태로 보이는 예를 도시하였지만, 본 발명의 다른 일 실시예에서는 마스크 메쉬가 표시되고 사용자의 손이 시스루 상태로 보여질 수 있다.

도 4 는 본 발명의 일 실시예에 따른 동작을 순서도로 설명하는 도면이다.

먼저, 로컬 영역의 사용자 및 원격 영역의 사용자가 공통 오브젝트를 이용하여 협업할 수 있는 공통 공간을 가상 세계의 영상에 생성한다. (S1)

다음으로, 스테레오 카메라로부터 공통 공간을 포함하는 실세계의 영상을 획득한다. (S2)

다음으로, 깊이 센서로부터 획득한 핸드 트랙킹 정보로부터 실세계의 영상 내에서의 사용자의 손의 위치를 결정한다. (S3)

다음으로, 핸드 트랙킹 정보를 이용하여, 사용자의 손의 위치에 대응되는 위치에 존재하며, 가상 세계의 영상에 표시되는 마스크 메쉬를 생성한다. (S4)

다음으로, 원격 공간 사용자의 HMD 트랙킹 정보 및 핸드 트랙킹 정보를 사용하여, 가상 세계의 영상에 표시될 아바타를 생성한다. (S5)

다음으로, 실세계의 영상과 가상세계의 영상을 각각 결합하여, 실세계의 영상에 공통 공간, 마스크 메쉬 및 아바타가 표시되는 출력 영상을 생성한다. (S6)

마지막으로, HMD에 출력 영상을 표시한다. (S7)

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 제어 컴퓨터 200: HMD
300: 스테레오 카메라 400: 깊이 센서
500: 외심 카메라 600: 네트워크

Claims (3)

1. 헤드 마운트 디스플레이(Head Mounted Display, HMD) 장치를 이용한 협업 방법으로서,
   제어 컴퓨터의 공통 공간 설정부가, 로컬 영역의 사용자 및 원격 영역의 사용자가 공통 오브젝트를 이용하여 협업할 수 있는 공통 공간을 가상 세계(virtual world)의 영상에 생성하는 단계;
   상기 제어 컴퓨터가, 스테레오 카메라로부터 상기 공통 공간을 포함하는 실세계(real world)의 영상을 획득하는 단계;
   상기 제어 컴퓨터의 핸드 트랙킹부가, 깊이 센서로부터 획득한 핸드 트랙킹 정보로부터 상기 실세계의 영상 내에서의 사용자의 손의 위치를 결정하는 단계;
   상기 제어 컴퓨터의 마스크 메쉬 생성부가, 상기 핸드 트랙킹 정보를 이용하여, 상기 사용자의 손의 위치에 대응되는 위치에 존재하며, 상기 가상 세계의 영상에 표시되는 상기 사용자의 손에 대한 마스크 메쉬를 생성하는 단계;
   상기 제어 컴퓨터의 아바타 생성부가, 외심 카메라로부터 획득한 원격 공간 사용자의 HMD 트랙킹 정보 및 상기 깊이 센서로부터 획득한 핸드 트랙킹 정보를 사용하여, 상기 가상 세계의 영상에 표시될 아바타를 생성하는 단계;
   상기 제어 컴퓨터의 출력 영상 생성부가, 상기 실세계의 영상과 가상세계의 영상을 각각 결합하여, 실세계의 영상에 상기 공통 공간, 상기 마스크 메쉬 및 상기 아바타가 표시되는 출력 영상을 생성하는 단계; 및
   상기 제어 컴퓨터가, 상기 HMD에 상기 출력 영상을 표시하는 단계를 포함하고,
   상기 아바타를 생성하는 단계는 상기 외심 카메라로부터 획득한 바디 트랙킹 정보를 이용하여 아바타의 바디 모션을 생성하며,
   상기 제어 컴퓨터의 제어부가, 상기 생성된 마스크 메쉬를 투명 또는 불투명하게 설정함으로써 사용자의 손을 시스루 상태로 만들거나 보이게 만들며, 상기 깊이 센서로부터 획득한 핸드 트랙킹 정보와 상기 외심 카메라로부터 획득한 바디 트랙킹 정보에 기반하여 상기 아바타의 움직임을 제어하는, HMD를 사용하는 협업 방법.
2. 삭제
3. 제 1 항에 있어서,
   상기 공통 공간을 생성하는 단계는, 글로벌 트랙커(global tracker) 및 로컬 트랙커(global tracker)를 사용하여 공통 공간을 생성하되,
   상기 로컬 트랙커는 공통 공간의 초기 설정 단계에만 사용되는, HMD를 사용하는 협업 방법.

Images