KR20220026186A - 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템 - Google Patents

Abstract

전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템 및 그 동작 방법이 제시된다. 본 발명에서 제안하는 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템은, 서로 다른 제1 공간 및 제2 공간에서, 제1 사용자는 제1 공간에 존재하고, 제2 사용자는 제2 공간에 존재하고, 제1 사용자의 제1 아바타는 제2 공간에 존재하고, 제2 사용자의 제2 아바타는 제1 공간에 존재하고, 상기 시스템은 주의객체에 대한 제1 사용자의 행동을 탐지하는 주의객체 탐지모듈 -주의객체는 제1 사용자의 행동에 관한 대상이 되는 제1 공간에 존재하는 제2 아바타 또는 제1 공간 및 제2 공간의 공용 가상 객체임-, 주의객체가 탐지되는 경우, 탐지된 주의객체에 상응하는 객체가 제2 공간에서도 존재하는지 파악하고 해당 객체에 대한 제1 아바타의 행동을 예측하는 최종 지시동작 계산모듈 및 예측된 제1 아바타의 최종 지시동작을 제1 아바타가 수행하도록 하기 위해 다음 프레임의 애니메이션으로 생성하는 동작 생성 모듈을 포함한다.

Description

전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템{A Mixed Reality Telepresence System for Dissimilar Spaces Using Full-Body Avatar}

본 발명은 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템에 관한 것이다.

최근의 기술 발전은 사용자가 아바타로서 증강된 원격 파트너와 통신할 수 있는 혼합 현실(Mixed Reality; MR) 설정에서 룸 스케일의 텔레프레즌스 연구를 용이하게 했다. 두 개의 룸이 동일한 가구 배치를 가지고 있는 경우, 로컬 공간의 동일한 위치에서 원격 사용자의 가상 복사본을 증강 시키면 사용자의 움직임의 맥락을 명확하게 전달할 수 있다. 그러나 형태와 객체 배치가 다른 두 룸의 전체 공간을 사용하는 경우, 사용자, 아바타, 공유 관심 객체 사이의 공간적 관계에 대해 아바타를 직접 배치하면, 예를 들어 아바타가 공중에 앉아 있거나 일부 객체를 관통하는 등의 불일치가 발생할 수 있다. 이러한 아티팩트(artifact)를 피하기 위해 아바타는 자유 공간이나 소파와 같은 제한된 구역에만 배치할 수 있다. 단점은 사용 가능한 통신공간이 전체 공간의 하위공간으로만 제한된다는 점이다. 또는 아바타의 부분적 표현(예를 들어, 상반신)을 사용하면 서로 다른 공간 간 환경적 맥락의 불일치를 줄일 수 있다. 이는 오피스 미팅의 일반적인 업무에 효과적이지만 전신 모션의 부재는 상호작용의 범위를 제한하고 파트너의 공존감을 감소시킨다.

이러한 한계를 극복하기 위해 공간을 가로지르는 사용자, 아바타, 객체의 공간배치의 동일성의 편리함을 절충하고, 대신 사용자의 주변 환경에 가장 잘 맞는 전신 아바타를 배치해 파트너 및 공유 객체와의 상호작용을 도모할 수 있다. 이를 위해서는 크게 두 가지 문제를 해결해야 한다. 첫째, 가능한 한 환경적 맥락과 상호작용 상황에 맞는 최적의 아바타 배치를 찾아야 한다. 둘째, 아바타 동작을 생성하여 상호작용의 맥락을 유지하고, 사용자, 아바타, 공유 객체 간의 공간관계의 차이를 공간에 따라 처리한다.

종래기술에서는 두 공간의 서로 다른 환경에서 아바타의 배치가 연구되었다. 그러나 아바타를 최적의 위치에 배치하고 상호작용의 맥락을 유지하기 위해 그것을 애니메이션화하는 텔레프레즌스 시스템은 아직 개발되지 않았다.

본 발명이 이루고자 하는 기술적 과제는 아바타를 최적의 위치에 배치하고 상호작용의 맥락을 유지하기 위해 애니메이션화하는 텔레프레즌스 시스템을 제공하는데 있다.

일 측면에 있어서, 본 발명에서 제안하는 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템은, 서로 다른 제1 공간 및 제2 공간에서, 제1 사용자는 제1 공간에 존재하고, 제2 사용자는 제2 공간에 존재하고, 제1 사용자의 제1 아바타는 제2 공간에 존재하고, 제2 사용자의 제2 아바타는 제1 공간에 존재하고, 상기 시스템은 주의객체에 대한 제1 사용자의 행동을 탐지하는 주의객체 탐지모듈 -주의객체는 제1 사용자의 행동에 관한 대상이 되는 제1 공간에 존재하는 제2 아바타 또는 제1 공간 및 제2 공간의 공용 가상 객체임-, 주의객체가 탐지되는 경우, 탐지된 주의객체에 상응하는 객체가 제2 공간에서도 존재하는지 파악하고 해당 객체에 대한 제1 아바타의 행동을 예측하는 최종 지시동작 계산모듈 및 예측된 제1 아바타의 최종 지시동작을 제1 아바타가 수행하도록 하기 위해 다음 프레임의 애니메이션으로 생성하는 동작 생성 모듈을 포함한다.

주의객체 탐지모듈은 제1 사용자의 행동을 탐지하여 행동의 대상이 되는 객체를 주의객체로 판정하고, 제1 사용자의 동작을 탐지하여 동작을 취하는 중인 제1 사용자의 팔의 움직임에 대한 주의객체를 예측하며, 제1 사용자의 제1 아바타와 공용 가상 객체 정보, 제1 사용자 상체 동작 정보, 제1 사용자 시선과 손가락 정보를 입력으로 받아 제1 사용자의 머리 또는 손가락이 지시동작을 취하는 대상이 되는 주의객체를 탐지하여 출력한다.

최종 지시동작 계산모듈은 주의객체를 시선 또는 손가락으로 지시하는 제1 아바타의 최종 지시동작을 예측하여 계산하고, 제1 사용자의 머리와 손가락에 각각 탐지된 주의객체 및 머리와 손가락이 주의객체를 현재 응시하거나 또는 가리키는 경우, 지시되는 해당 주의객체의 특정 위치 좌표값을 입력으로 받아 제1 아바타가 해당 주의객체를 응시 또는 가리키는 최종적인 지시동작에 관한 포즈정보를 출력한다.

최종 지시동작 계산모듈은 지시동작의 대응 객체와 대응 좌표를 탐색하고, 제1 사용자의 주의객체에 상응하는 공용 가상 객체를 제2 공간에서 탐색하고, 제2 공간에 상응하는 공용 가상 객체가 존재할 경우, 제1 사용자가 응시하거나 가리키는 특정 부위의 위치에 대한 제2 공간의 공용 가상 객체의 대응좌표를 분석하고, 대응좌표가 주어지지 않을 경우, 대응좌표는 공용 가상 객체의 중앙부위 좌표 또는 미리 설정된 공용 가상 객체 좌표로 대체한다.

동작 생성 모듈은 제1 아바타의 포즈, 최종 지시동작 계산모듈의 출력정보를 입력으로 받아 다음 프레임의 제1 아바타의 포즈를 출력한다.

또 다른 일 측면에 있어서, 본 발명에서 제안하는 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템의 동작 방법은 주의객체 탐지모듈을 통해 주의객체에 대한 제1 사용자의 행동을 탐지하는 단계-주의객체는 제1 사용자의 행동에 관한 대상이 되는 제1 공간에 존재하는 제2 아바타 또는 제1 공간 및 제2 공간의 공용 가상 객체임-, 주의객체가 탐지되는 경우, 탐지된 주의객체에 상응하는 객체가 제2 공간에서도 존재하는지 최종 지시동작 계산모듈을 통해 파악하고 해당 객체에 대한 제1 아바타의 행동을 예측하는 단계 및 예측된 제1 아바타의 최종 지시동작을 동작 생성 모듈을 통해 제1 아바타가 수행하도록 하기 위해 다음 프레임의 애니메이션으로 생성하는 단계를 포함한다.

본 발명의 실시예들에 따르면 공간을 가로지르는 사용자, 아바타, 객체의 공간배치의 동일성의 편리함을 절충하고, 사용자의 주변 환경에 가장 잘 맞는 전신 아바타를 배치해 파트너 및 공유 객체와의 상호작용을 도모하기 위한 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템을 제안한다. 이를 위해 가능한 한 환경적 맥락과 상호작용 상황에 맞는 최적의 아바타 배치를 찾고, 아바타 동작을 생성하여 상호작용의 맥락을 유지하며, 사용자, 아바타, 공유 객체 간의 공간관계의 차이를 공간에 따라 처리할 수 있다.

도 1은 본 발명의 일 실시예에 따른 텔레프레즌스 시스템을 사용하는 스냅샷을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 사용자 행동과 아바타 애니메이션의 개념을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템의 구성을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 아바타의 동작을 생성하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 아바타 배치 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 공용 가상 객체와의 상호 작용 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 주의 타겟에 대해 손의 타겟을 매칭시키는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템의 동작 방법을 설명하기 위함 흐름도이다.

본 발명은 아바타를 최적의 위치에 배치하고 상호작용의 맥락을 유지하기 위해 그것을 애니메이션화하는 텔레프레즌스 시스템을 제안한다. 특히, 아바타 배치를 위해 종래기술을 이용한다. 아울러 본 발명에서는 사용자의 독단적인 포인팅 동작을 감지해 아바타에 리타겟팅하는 아바타 제스처 리타겟팅 방식을 새롭게 제안한다. 이 둘을 결합하면 사용자는 공유 객체를 사용하여 파트너와 상호 작용하면서 앉을 수 있는 작은 룸의 서로 다른 위치 사이를 이동할 수 있다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 텔레프레즌스 시스템을 사용하는 스냅샷을 나타내는 도면이다.

본 발명에서는 로컬 사용자가 자신의 방에서 전신 아바타를 통해 원격 사용자와 상호작용할 수 있는 참신한 혼합현실(Mixed Reality; MR) 텔레프레즌스(telepresence) 시스템을 제안한다. 두 개의 서로 다른 원격 룸의 크기와 가구 배치가 다를 경우 아바타에 사용자의 동작을 직접 적용하면 배치 불일치와 직시적(deictic) 제스처가 발생한다. 이 문제를 극복하기 위해, 본 발명에서는 로컬 사용자의 환경과 상호작용 맥락을 보존하기 위해 원격 룸의 아바타에 로컬 사용자의 배치, 팔 동작, 머리 움직임을 리타겟팅(retarget)한다. 이를 통해 아바타는 실제 가구를 활용할 수 있고, 마치 같은 방에 있는 것처럼 로컬 사용자 및 공유 객체와 상호작용할 수 있다. 이하, 제안하는 시스템의 설계와 구현, 룸과 사무실의 사례 시나리오 세트, 검증을 위한 정성적 사용자 연구 등을 상세히 설명한다.

혼합현실 텔레프레즌스 시스템에 있어서, 한 중요한 연구는 로컬 공간에서 증강된 원격 공간에서 사람의 주변 장면을 실시간으로 3D로 캡처하는 데 초점을 맞췄다. 또 다른 연구 방향은 회의를 위해 두 원격 룸 사이의 공유 가능한 공간을 조사하는 데 있어 가치를 발견하였고, 이는 나중에 가구 배치가 복잡한 멀티룸을 위한 작업공간으로 확장되었다.

반면, 본 발명에서 제안하는 시스템은 서로 다른 공간에 자연적으로 거주하는 사람들을 위해 각각의 공간에 아바타를 배치함으로써 두 개의 룸을 모두 활용하는 것을 목표로 하고 있다.

또한, 통신과 협업을 강화하기 위해 사용자가 원격 공간의 특정 위치에 배치되는 것에 대한 연구도 있었다. 그러나 이러한 시스템은 상호작용 상황에 맞게 신체 자세 조정이나 가상 미러링으로 주로 앉아 있는 여유가 있는 환경 맥락을 유지하는 것으로 제한되었다. 반면에 우리 시스템은 환경 및 상호작용의 맥락을 극대화하기 위해 각각의 공간에 있는 아바타의 전신 운동을 조절한다. 최근, Piumsomboon은 원격 협업을 위한 시선과 몸짓으로 축소된 크기의 아바타를 제시하였다. 또 다른 종래기술에서는 오디오와 2D 비디오뿐만 아니라 3D 공간 캡처가 가능한 부분 표현 아바타를 사용하여 물리적 과제를 가르치는 혼합현실 시스템을 제안했다. 이러한 연구는 공유 공간에서의 협업이나 두 공간에서 동시에 하나의 공간만을 사용하는 교사 태스크(task)에 초점을 맞췄지만, 본 발명에서는 시나리오 섹션에서 논의되는 보다 광범위한 작업에 두 공간을 동시에 활용한다.

텔레프레센스에 관한 많은 이전의 연구들은 다양한 환경에서 독단적인 직시적 포인팅을 통합했다. 원격 사용자를 나타내기 위해 가상 또는 물리적 아바타를 사용하는 데 중점을 두고 지적 상호작용을 가능하게 하는 텔레프레즌스 어플리케이션을 구성하기 위해 두 가지 대조적인 접근방식을 식별할 수 있다.

첫 번째 접근법은 포인팅 활동에 가상 아바타를 사용한다. 종래기술에서는 포인팅 오류를 최소화하는 데 도움이 되는 아바타 위치와 일치하도록 두 공간에 대해 동일한 물리적 참조를 사용하여 원격 사용자 아바타를 계획하는 그룹 간 가상 협업 시스템을 시연했다. 또 다른 종래기술에서는, 픽셀화된 터치 스크린을 공유 참조 입력 기기로 사용하였다. 다른 사용자에게 포인팅 은유를 제공하기 위해 팔을 뻗을 수 있는 3D 재구성 사용자 아바타를 보여주는 디스플레이로서 화면이 두 배가 되었다. 단순 정보 표시가 아닌 아바타를 표시하는 기능도 같이 수행하는 용도로 병행 사용되었다. 보다 최근의 접근법들은 협업을 위한 증강 공간과 포인팅 상호작용을 위한 가상 아바타를 사용하였다. 그러한 예로는 AR 헤드셋 사용자를 위한 MR 환경에서의 협업을 위해 축소된 아바타를 사용하거나, 가상 화면에 투영된 주요 구문을 강조하기 위한 음성 및 텍스트 입력에서 아바타를 위한 직시적 제스처 애니메이션 제작 등이 있다.

두 번째 접근방식은 원격 작동 로봇을 사용자 아바타로 사용할 때 원격 환경에 대한 직시적 제스처의 사용을 탐구한다. 휴머노이드 로봇의 경우, 두 개의 동일하거나 대칭적인 물리적 공간 사이의 상호작용 모드로 직시적 포인팅이 입증되었다. MR 설정에서 비 휴머노이드 로봇의 경우, 인간 조작자와 로봇의 형태가 다르기 때문에 자연적인 인간의 포인팅 맥락을 이용하는 것이 더 어렵다. 따라서 사용자 공간에서 중요한 대상을 강조하기 위해 다양한 관점으로 직시의 보다 유연한 해석이나 포인팅 행동이 제안되었다. 사용자 아바타의 물리적 발현이 실제로 사회적 상호작용에 보다 적극적으로 참여하는 결과를 가져오지만, 제스처가 물리적 대리인과 사용자 사이의 사회적 상호작용에 정확히 어떻게 영향을 미치는지, 그리고 그러한 로봇의 효과를 AR 아바타의 것과 어떻게 비교할 수 있는지에 대한 의문이 남아 있다. 지금까지, 이 접근법을 위한 두 개의 다른 공간들 사이의 자연적인 직시적 포인팅 모션 사용에 관한 이전의 어플리케이션을 발견할 수 없었다.

원격 사용자 간의 직시적 사용에 관한 상호작용에 대해서는 가상 업무 공간 및 아바타와의 MR 협업에 초점을 맞추고 있다. 본 발명에서는 두 개의 다른 공간 사이에 실시간으로 통신이 가능한 MR 장면에서 더 나아가서는 비언어적 단서의 정확하고 자연스러운 교환이 가능하도록 사용자들의 손 추적 정보로부터 아바타의 직시적 제스처를 적응적으로 리타겟팅하여 MR 장면에서 직시적 포인트를 사용하는 것을 목표로 한다.

도 2는 본 발명의 일 실시예에 따른 사용자 행동과 아바타 애니메이션의 개념을 설명하기 위한 도면이다.

도 2를 참조하면, 서로 다른 제1 공간 및 제2 공간에서 제1 사용자는 제1 공간에 존재하고, 제2 사용자는 제2 공간에 존재한다. 제1 사용자의 제1 아바타는 제2 공간에 존재하고, 제2 사용자의 제2 아바타는 제1 공간에 존재한다. 또한, 제1 공간에는 제1 사용자와 상호작용하는 제1 객체와 공용 가상 객체가 존재하고, 제2 공간에는 제2 사용자와 상호작용하는 제2 객체와 공용 가상 객체가 존재한다.

제1 공간에 있는 제1 사용자는 제2 공간에 있는 제1 아바타에게 배치 및 제스쳐를 적응적으로 리타겟팅한다(210). 제2 공간에 있는 제2 사용자는 제1 공간에 있는 제2 아바타에게 배치 및 제스쳐를 적응적으로 리타겟팅한다(220).

본 발명의 일 실시예에 따르면, 전신 아바타로 대표되는 원격 사용자(다시 말해, 제1 사용자)과 상호작용하고, 화면이나 증강 가상 객체를 공유하면서 기존 가구를 포함한 자신만의 공간을 활용할 수 있도록 하는 것이 제안하는 시스템의 목표이다. 로컬 공간(다시 말해, 제1 공간)에서 제1 사용자의 환경 및 상호작용 맥락을 원격 공간(다시 말해, 제2 공간)에 전달하기 위해서는 제1 사용자의 동작을 제1 아바타에 재지정할 필요가 있다. 이 목표를 염두에 두고 다음과 같이 시스템을 설계했다.

제1 아바타는 원격 사용자(다시 말해, 제1 사용자)의 환경 맥락과 파트너(다시 말해, 제2 사용자)의 제2 공간 관계에 맞게 배치된다.

제1 아바타의 상반신 제스처는 제1 사용자가 상호작용 대상에 주의를 기울이는 경우 제1 사용자의 상호작용 맥락을 보존하도록 수정된다.

후보 상호 작용 대상에는 파트너(다시 말해, 제2 사용자)의 머리, 공유 화면, 포인팅 및 시선 활동을 위한 증강 가상 객체가 포함된다.

여러 환경적 맥락을 동시에 보존하는 아바타의 최적 배치를 찾는 것이 주요 과제이다. 이는 두 공간의 크기와 구성이 다르기 때문에 어려운 일이다. 예를 들어, 로컬 공간(다시 말해, 제1 공간)의 제1 사용자가 TV를 시청하면서 제2 사용자 앞의 의자에 앉아 있는 경우, 세 가지 상황 중 한 가지에 대해 아바타를 배치하는 것만으로도 원활한 의사소통과 협업을 방해하기 때문에 세 가지 상황 모두에 맞는 완벽한 위치가 원격 공간에는 없을 수 있다. 이를 위해 환경과 상호작용의 맥락을 최대한 고려한 아바타 배치 알고리즘을 활용한다.

두 번째 과제는 포인팅 제스처라는 직시적인 맥락을 맞추는 것이다. 제2 사용자와 공유 객체의 공간 배열이 공간별로 다르기 때문에 제1 사용자 동작을 제1 아바타에 직접 동기화하면 제2 공간에서 제2 사용자에게 부정확한 정보를 전달할 수 있다. 이를 방지하기 위해서는 제1 사용자의 제1 공간에서 제1 사용자의 직시적 제스처를 감지한 후 직시적 맥락을 보존하면서 직시적 맥락을 증강 아바타(다시 말해, 제1 아바타)의 원격 공간(제2 공간)으로 조정해야 한다.

서로 다른 공간에서 아바타에 대한 배치와 직시적 제스처 리타겟팅을 통합함으로써 가상 아바타를 통해 다른 물리적 공간에서 소통하고 있는 다른 사용자의 공간적, 직시적 맥락을 모두 해석하는 데 혼선과 모호성을 줄일 수 있다. 아바타 배치와 제스처 리타겟팅에 대한 자세한 설명이 다음에 설명된다.

도 3은 본 발명의 일 실시예에 따른 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템의 구성을 나타내는 도면이다.

본 발명에서는 물리적으로 떨어진 공간에 있는 사람들이 아바타를 통해 본인의 지시동작을 이용하여 서로간의 의사소통을 할 수 있도록 하는 시스템을 제안한다. 물리적으로 떨어진 두 공간은 서로 다른 구조를 가지고, 두 공간에 존재하는 가구의 종류, 형상, 수량 역시 다를 수 있다고 가정한다.

본 발명의 일 실시예에 따른 전신 아바타는 한 공간에 존재하는 사람이 다른 원격 공간에서 표현되는 가상 캐릭터 혹은 물리적인 로봇이다. 가상 캐릭터의 경우 VR또는 AR기기 등으로 시각화되어서 상대방에게 증강될 수 있다.

본 발명의 일 실시예에 따른 지시동작은 상대 아바타나 공용으로 존재하는 TV나 가상물체 등에 상대방의 이목을 집중시키고자 하는 목적으로 사용자가 시선을 주거나 손으로 가리키는 동작을 의미한다. 이러한 지시동작의 대상을 주의객체라고 표현한다.

이렇게 서로 다른 공간에서 각자가 타 공간의 아바타로 표현되어, 마치 모든 소통 참여 인원이 각자의 개인 공간에 모두 함께 존재하고 있다는 느낌을 주는 시스템을 이공간 텔레프레즌스 시스템으로 정의한다.

지시동작 변형 기법이 적용된 시스템은 사용자가 취하는 지시동작의 주의객체를 감지하고, 다른 원격 공간에 존재하는 아바타가 동일하게 대응되는 주의객체에 대해서 동일한 소통 맥락을 가지고 지시동작을 취하도록 사용자의 동작을 변형하여서 아바타에 적용하는 기능을 수행한다.

본 실시예에 따른 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템(300)은 프로세서(310), 버스(320), 네트워크 인터페이스(330), 메모리(340) 및 데이터베이스(350)를 포함할 수 있다. 메모리(340)는 운영체제(341) 및 전신 아바타를 이용한 이종공간의 혼합현실 상호작용 루틴(342)을 포함할 수 있다. 프로세서(310)는 주의 객체 탐지 모듈(311), 최종 지시동작 계산 모듈(312) 및 동작 생성 모듈(313)를 포함할 수 있다. 다른 실시예들에서 혼합현실 텔레프레즌스 시스템(300)은 도 3의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 혼합현실 텔레프레즌스 시스템(300)은 디스플레이나 트랜시버(transceiver)와 같은 다른 구성요소들을 포함할 수도 있다.

메모리(340)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(340)에는 운영체제(341)와 전신 아바타를 이용한 이종공간의 혼합현실 상호작용 루틴(342)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(340)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(330)를 통해 메모리(340)에 로딩될 수도 있다.

버스(320)는 혼합현실 텔레프레즌스 시스템(300)의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스(320)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.

네트워크 인터페이스(330)는 혼합현실 텔레프레즌스 시스템(300)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(330)는 혼합현실 텔레프레즌스 시스템(300)을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.

데이터베이스(350)는 전신 아바타를 이용한 이종공간의 혼합현실 상호작용을 위해 필요한 모든 정보를 저장 및 유지하는 역할을 할 수 있다. 도 3에서는 혼합현실 텔레프레즌스 시스템(300)의 내부에 데이터베이스(350)를 구축하여 포함하는 것으로 도시하고 있으나, 이에 한정되는 것은 아니며 시스템 구현 방식이나 환경 등에 따라 생략될 수 있고 혹은 전체 또는 일부의 데이터베이스가 별개의 다른 시스템 상에 구축된 외부 데이터베이스로서 존재하는 것 또한 가능하다.

프로세서(310)는 기본적인 산술, 로직 및 혼합현실 텔레프레즌스 시스템(300)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(340) 또는 네트워크 인터페이스(330)에 의해, 그리고 버스(320)를 통해 프로세서(310)로 제공될 수 있다. 프로세서(310)는 주의 객체 탐지 모듈(311), 최종 지시동작 계산 모듈(312) 및 동작 생성 모듈(313)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리(340)와 같은 기록 장치에 저장될 수 있다.

주의 객체 탐지 모듈(311), 최종 지시동작 계산 모듈(312) 및 동작 생성 모듈(313)는 도 8의 단계들(810~830)을 수행하기 위해 구성될 수 있다.

혼합현실 텔레프레즌스 시스템(300)은 주의 객체 탐지 모듈(311), 최종 지시동작 계산 모듈(312) 및 동작 생성 모듈(313)를 포함할 수 있다.

본 발명의 실시예에 따른 혼합현실 텔레프레즌스 시스템(300)은 서로 다른 제1 공간 및 제2 공간에서, 제1 사용자는 제1 공간에 존재하고, 제2 사용자는 제2 공간에 존재하고, 제1 사용자의 제1 아바타는 제2 공간에 존재하고, 제2 사용자의 제2 아바타는 제1 공간에 존재한다.

주의 객체 탐지 모듈(311)은 주의객체에 대한 제1 사용자의 행동을 탐지한다. 여기서, 주의객체는 제1 사용자의 행동에 관한 대상이 되는 제1 공간에 존재하는 제2 아바타 또는 제1 공간 및 제2 공간의 공용 가상 객체이다.

주의 객체 탐지 모듈(311)은 제1 사용자의 행동을 탐지하여 행동의 대상이 되는 객체를 주의객체로 판정하고, 제1 사용자의 동작을 탐지하여 동작을 취하는 중인 제1 사용자의 팔의 움직임에 대한 주의객체를 예측한다.

주의 객체 탐지 모듈(311)은 제1 사용자의 제1 아바타와 공용 가상 객체 정보, 제1 사용자 상체 동작 정보, 제1 사용자 시선과 손가락 정보를 입력으로 받아 제1 사용자의 머리 또는 손가락이 지시동작을 취하는 대상이 되는 주의객체를 탐지하여 출력한다.

주의 객체 탐지 모듈(311)은 제1 사용자가 어떠한 물체를 쳐다보거나 가리키는걸 탐지하여 해당 객체를 주의객체로 판정한다. 또한 시선이 이미 가 있는 주의객체를 가리키는 동작을 탐지하여 이러한 동작을 취하는 중인 팔의 주의객체를 예측하는 기능도 수행한다.

예를 들어, 제1 사용자의 머리의 지향방향 상에서, 또는 시선 추적기를 쓴다면 시선상에서 일정 거리 안에 존재하는 객체가 있는지를 감지한다. 해당 객체가 특정 거리 안에 존재하고, 감지시간이 일정 시간 동안 연속적으로 지속될 경우, 해당 객체가 주의객체라고 판정한다.

또 다른 예시에서, 제1 사용자의 집게손가락 혹은 손가락의 트래킹이 안 된다면 손의 지향방향 상에서 존재하는 객체가 존재하는지를 감지한다. 해당 객체가 특정 거리 안에 존재하는 상황이면, 지시되고 있는 객체를 주의객체라고 판정한다. 경우에 따라 머리와 같은 연속적인 지시조건을 가할 수 있다.

만약 응시되고 있는 주의객체에 대해 팔이 지향하는 방향으로 움직이고, 팔의 지향벡터와 머리로부터 주의객체로의 벡터간의 각도가 지정된 각도 이내로 들어올 경우, 지향 판정을 미리 내려서, 해당 팔이 머리와 같은 주의객체를 가진다고 판별할 수 있다.

최종 지시동작 계산 모듈(312)은 주의객체가 탐지되는 경우, 탐지된 주의객체에 상응하는 객체가 제2 공간에서도 존재하는지 파악하고 해당 객체에 대한 제1 아바타의 행동을 예측한다.

최종 지시동작 계산 모듈(312)은 주의객체를 시선 또는 손가락으로 지시하는 제1 아바타의 최종 지시동작을 예측하여 계산한다.

최종 지시동작 계산 모듈(312)은 제1 사용자의 머리와 손가락에 각각 탐지된 주의객체 및 머리와 손가락이 주의객체를 현재 응시하거나 또는 가리키는 경우, 지시되는 해당 주의객체의 특정 위치 좌표값을 입력으로 받아 제1 아바타가 해당 주의객체를 응시 또는 가리키는 최종적인 지시동작에 관한 포즈정보를 출력한다.

최종 지시동작 계산 모듈(312)은 주의객체를 시선이나 손짓으로 지시하는 제1 아바타의 최종 지시동작을 예측하여 계산하는 구성모듈이다. 입력 값은 주의객체, 주의객체의 응시/지시된 좌표(이 값이 없을 경우, 주의객체의 중심좌표)이고, 출력은 주의객체를 응시 또는 지향하는 머리와 팔의 최종 포즈정보이다.

최종 지시동작 계산 모듈(312)은 지시동작의 대응객체와 대응좌표 탐색기능을 수행한다. 예를 들어, 제1 사용자의 주의객체에 해당하는 동등한 객체(예를 들어, 제2 아바타는 제2 공간의 제2 사용자, 공유되는 가상 객체, 또는 공유되는 TV 등의 가구)를 탐색한다.

이러한 대응물체가 존재할 경우, 사용자가 응시하거나 가리키는 특정 부위의 위치에 대한 제2 공간의 대응물체의 대응좌표를 파악한다. 이러한 좌표정보가 사용자로부터 주어지지 않을 경우, 대응좌표는 대응물체의 중앙부위 좌표 또는 미리 설정한 대응물체 지역좌표로 대체한다.

또한 최종 지시동작 계산 모듈(312)은 머리에 대한 최종 지시동작을 계산한다. 해당 물체의 대응좌표와 머리의 지향 방향의 응시좌표를 가리키는 최종적인 머리의 회전값과 위치를 계산한다.

또한 최종 지시동작 계산 모듈(312)은 팔에 대한 최종 지시동작을 계산한다. 팔이 해당 물체의 지시좌표를 가리키는 최종적인 지시동작을 계산하고, 대응좌표가 없을 경우, 물체의 중앙부에 해당하는 좌표를 대응좌표로 간주한다. 물체를 지시하는 팔의 최종 동작을 계산하는 알고리즘에는 다양한 방법들이 이미 존재한다(알고리즘 1 참조).

동작 생성 모듈(313)은 예측된 제1 아바타의 최종 지시동작을 제1 아바타가 수행하도록 하기 위해 다음 프레임의 애니메이션으로 생성한다.

동작 생성 모듈(313)은 제1 아바타의 포즈, 최종 지시동작 계산모듈의 출력정보를 입력으로 받아 다음 프레임의 제1 아바타의 포즈를 출력한다.

동작 생성 모듈(313)은 최종 지시동작 계산 모듈에서 출력된 수정된 아바타의 지시동작을 입력 받아 사용자 아바타가 자연스럽게 취하기 위한 변환 동작을 다음 프레임에 대해서 출력한다.

최종 지시동작 계산 모듈에서 출력된 수정된 아바타의 지시동작이 입력되면 아바타는 본래 사용자의 동작을 그대로 따라 하는 원래 상태에서 곧바로 입력된 지시동작에 맞춰 머리와 팔을 자연스럽게 변환할 수 있는 다음 프레임의 동작을 생성한다. 이러한 동작 변환 과정을 자연스러운 모션으로 만드는 많은 기존 방법들이 존재한다(알고리즘 1 참조).

최종 지시동작 계산 모듈에서 출력된 수정된 아바타의 지시동작의 출력값은 매 프레임마다 업데이트되므로, 이러한 상태에서 계속해서 위 프로세스를 반복한다.

본 발명의 실시예에 따르면, 소통중인 서로 다른 양쪽 공간에서 동일한 프로그램을 TV로 시청 중일 때, 사용자가 TV의 특정 화면부분을 가리키는 동작이 다른 공간에서 존재하는 다른 TV의 동등한 화면부를 가리키는 동작으로 수정되어 표현된다.

양 공간에서 공통적으로 공유되는 여러 개의 가상 오브젝트를 증강하고서, 이러한 물체들을 쳐다보거나 가리키면서 소통을 할 때, 사용자와 가상 오브젝트간의 위치관계와 아바타와 가상객체간의 위치관계가 양쪽 공간에서 다를지라도, 아바타가 사용자가 쳐다보거나 가리키는 해당 오브젝트를 그대로 쳐다보고 가리키는 수정동작을 취하게 된다.

이러한 방식으로 사용자가 가리키거나 쳐다보는 물체의 특정 부위를 원격 공간의 아바타도 동일하게 쳐다보고 가리키므로 아바타를 대상으로 소통중인 상대방 사용자는 자신이 아바타와 동일한 공간에서 가상 오브젝트와 함께 상호작용하면서 소통하는 몰입감을 느낄 수 있다.

본 발명의 실시예에 따르면, 지시동작 변형 텔레프레즌스에서는 제 1공간의 제1 사용자가 TV의 왼쪽을 가리키는 동작을 제2 공간에서 존재하는 제1 아바타가 동일하게 가리키도록 하기 위해서 팔의 지시동작을 수정한다. 아바타의 고개 역시 사용자와 동일한 TV부위를 쳐다보도록 수정이 가해진다. 제1 아바타가 가리키는 부위는 제1 사용자가 가리키고자 의도한 부위와 같기에 제2 사용자에게는 지시동작을 통해 전달되는 정보가 오해 없이 전달되므로, 지시동작을 활용한 비음성적 소통이 가능하다.

도 4는 본 발명의 일 실시예에 따른 아바타의 동작을 생성하는 과정을 설명하기 위한 도면이다.

제안하는 시스템은 실제 사람의 동기식 동작을 모방하거나 사용자의 사전 정의된 상태를 바탕으로 사용자 동작을 리타겟팅하는 전신 아바타를 이용해 두 룸 사이의 텔레프레즌스를 실현한다. 도 4(a)는 제1 공간을 나타내고, 도 4(b)는 제2 공간을 나타낸다.

도 4를 참조하면, 사용자(4111)가 일정 시간 이상의 속도로 운동 임계값을 초과해 움직이기 시작(421)하면 아바타의 상태가 솔로에서 운동 (431)으로 바뀐다. 사용자의 상태는 운동 (422), 상호작용(441), 솔로(solo)(411)로 나뉜다. 운동 상태(422)는 사용자가 한 지점에서 다른 지점으로 이동(431)할 때이다. 사용자의 시선(432)이나 손 방향(441)이 상호작용 대상 중 하나에 고정되어 있는 경우 사용자는 상호작용 상태에 있다. 그렇지 않으면 사용자가 솔로(412) 상태에 있다. 제안하는 텔레프레즌스 시스템의 객체 모델을 먼저 설명한 다음, 각각의 사용자 상태에 대한 인식과 아바타 이동에 대한 대응 전략을 설명한다.

배치와 대상 재지정 알고리즘은 실제 장면에서 객체의 좌표와 라벨(예를 들어, 표적이 가능한 객체, 화면 및 조준 대상)을 필요로 한다. 제안하는 시스템은 실시간 3D 재구성과 세분화를 고려하지 않기 때문에 대표적인 3D 가상 객체 모델(예를 들어, 의자, 소파, 테이블, TV)을 사용하고 실제 객체와 일치하도록 수동으로 배치, 스케일링, 라벨을 붙였다. 보이지 않는 실제 공간의 가상 표현으로부터 아바타 배치를 위한 형상 벡터를 형성하기 위한 원시 데이터를 얻고 제스처 리타겟팅을 위한 표적 지점을 얻는다.

공간 내 객체 중, 테이블, TV, 사용자-아바타 쌍을 포함한 두 공간 모두 쌍을 이루는 객체만 상호작용의 후보 객체로 간주된다. 쌍을 이루는 객체는 반드시 크기가 같은 것은 아니다. 객체를 가리킬 때(441), 객체의 크기와 관련하여 객체의 정규화된 로컬 좌표(450)를 얻는다. 그런 다음 아바타의 목표 지점 위치를 얻기 위해 원격 공간에서 쌍을 이룬 객체의 크기에 따라 정규화된 로컬 좌표(450)를 스케일링한다.

사용자가 솔로 상태일 경우 아바타에 직접 포즈가 적용된다. 이를 위해 루트에 상대적인 손, 발, 머리의 위치와 방향을 사용자로부터 측정해 아바타에 전달한다. 그런 다음 역운동학(Inverse Kinematics; IK) 솔버(solver)는 아바타의 전신 자세를 계산하여 목표를 달성한다. 그 외에도 손가락 관절 회전은 손가락 추적 장갑에서 캡처되어 캐릭터 모델의 손가락 관절에 직접 적용된다. 이를 통해 사용자는 비언어적 의사소통을 위한 직시적 제스처(442)를 포함한 전신 제스처 상호작용을 이용할 수 있다.

도 5는 본 발명의 일 실시예에 따른 아바타 배치 과정을 설명하기 위한 도면이다.

도 5(a)는 제1 공간을 나타내고, 도 5(b)는 제2 공간을 나타낸다. 본 발명의 실시예에 따르면, 사용자(511)가 일정 시간(약 166ms) 이상의 속도로 운동 임계값을 초과해 움직이기 시작(521)하면 아바타의 상태가 솔로(512)에서 운동 (522)으로 바뀐다. 운동 중에 아바타의 동작은 WIP(Walk-In-Place)로 돌아간다. 아바타의 위치와 방향은 바뀌지 않고 아바타의 자세는 사용자의 동작을 모방하여 정지된 보행 동작이 된다. 이동 상태에서 사용자의 골반 속도가 정지 한계치 이하(531)에 도달하면 아바타는 새로운 위치로 텔레포트된다(532). WIP 전략의 이점은 원격 사용자와 가구의 부자연스러운 침투로 인해 원격 공간에서 의미 없고 때로는 비현실적으로 보이는 사용자의 실제 이동 경로를 숨기면서 이동의 맥락을 보존한다는 것이다.

두 공간의 크기와 구성이 다르기 때문에 원격 공간(다시 말해, 제2 공간)에 아바타를 배치하고 실제 공간(다시 말해, 제1 공간)에 사용자의 위치를 일대일로 매핑할 수 없다. 또한, 종래기술의 아바타 배치 알고리즘을 사용하여 아바타의 위치가 사용자의 배치와 최대한 유사하다고 판단된다. 여기서는 알고리즘을 간략하게 요약한다.

두 장소 사이의 유사성은 다음과 같은 여러 특징으로 표현된다: 대인 관계는 파트너 간의 상대적 위치 및 방향성을 나타내고, 포즈 협의는 사용자가 앉아 있거나 서 있는 자세와 같은 자세를 수용할 수 있는 가능성을 나타내는 사용자의 사적인 공간(반경 0.5m)의 높이 지도를 나타낸다. 시각적 주의는 사용자의 좁은(예를 들어, 40°) FOV 내에 있는 객체의 범주 및 거리를 나타내고, 공간적 특징은 사용자의 사회적 공간(예를 들어, 반경 3m) 내에 있는 객체의 범주 및 거리를 나타낸다.

일반적으로 어떤 배치도 모든 형상의 유사성을 완벽하게 충족시킬 수 없기 때문에 형상의 중요성 중에서 가장 절충이 잘 되는 배치를 선택한다. 개별 형상의 중요성은 공간과 사용자 맥락에 따라 다르기 때문에, 심층 신경망은 두 배치 사이의 단일 통합 유사성 값을 출력하도록 훈련된다. 삼중항 손실 프레임워크는 파트너의 다른 구성과 위치에 있는 아바타 배치의 사용자 선호 데이터로부터 유사성을 학습하기 위해 사용된다.

사용자 배치가 주어지면, 제안하는 텔레프레즌스 시스템은 2D 격자(크기 0.25m, 24방향)로 룸을 샘플링한 다음, 입자 군집 최적화(Particle Swarm Optimization; PSO)를 이용한 보다 미세한 샘플링을 통해 가장 높은 유사도 값을 제공하는 최적의 배치를 찾는다. 결과적으로, 제안하는 시스템은 환경 상황(예를 들어, 의자에 앉거나 화면 앞에 서는 것) 및/또는 대인 관계(예를 들어, 서로 마주 보거나 TV를 함께 보는 것)를 보존하기 위해 가능한 한 많이 아바타를 배치한다. 아바타가 원격 공간에서 최적의 위치로 텔레포트된 후, 사용자 상태는 솔로로 돌아온다.

도 6은 본 발명의 일 실시예에 따른 공용 가상 객체와의 상호 작용 과정을 설명하기 위한 도면이다.

도 6(a)는 제1 공간을 나타내고, 도 6(b)는 제2 공간을 나타낸다. 사용자가 파트너나 공용 가상 객체와 상호작용을 할 경우, 객체의 크기와 관련하여 객체의 정규화된 로컬 좌표를 얻고, 상태는 상호작용(610)으로 변경되며 아바타의 움직임은 도 6과 같이 원격 공간에서 상호작용을 실현하기 위해 사용자의 움직임과 분리된다. 이를 위해 제안하는 텔레프레즌스 시스템은 사용자의 상호작용 상태를 인식하고, 아바타에 적합한 리타겟팅 전략을 제공한다.

도 7은 본 발명의 일 실시예에 따른 주의 타겟에 대해 손의 타겟을 매칭시키는 과정을 설명하기 위한 도면이다.

도 7(a)는 일정 기간 동안 손이 임계 속도 이상 지속적으로 주의 타겟을 향해 이동할 때를 나타내는 도면이고, 도 7(b)는 일정 기간 동안 손 벡터가 임계 각속도 이상 지속적으로 주의 타겟 벡터에 수렴할 때를 나타내는 도면이다.

제안하는 시스템은 사용자가 시선 또는 손으로 가리키는 방향을 후보 상호작용 대상 중 하나에 고정시킬 때 다른 객체와 상호작용하고 있다고 결정한다. 이를 위해 시스템은 먼저 HMD와 추적 가능한 VR 장갑에서 광선 투사(raycasting)를 통해 충돌을 감지한다. 손의 경우 추적된 VR 손 모델에서 앞으로 충돌 광선을 던져 손에서 가리키는 객체를 감지하고, HMD의 중앙 눈 광선 투사는 머리로 시선을 보내는 것을 감지한다. 특정 고정 임계값 시간 동안 후보와의 충돌이 계속되면 사용자 상태가 상호 작용 상태로 변경되고 후보 객체가 영향을 받는 엔드 이펙터의 상호 작용 대상으로 등록된다.

또한 고착 탐지 시간을 줄이기 위해, 타겟을 포인팅하기 전에 타겟을 먼저 쳐다본 후 직시적 제스처를 취할 때 타겟을 가리키는 일반적인 사용자 경향을 고려한다. 먼저 시선 고착이 완료된 타겟이 있는지부터 체크한다. 그런 경우, 우리는 손과 시선 대상 사이의

거리 평균 감소를 관찰하고, 손으로부터 시선 대상까지의 벡터 사이의 각도

감소를 관찰한다. 거리 조건 및 각도 조건을 하기식으로 나타낼 수 있다.

(거리 조건) (1)

(각도 조건) (2)

두 값 모두 일정 기간 동안 각 임계값보다 큰 감소량을 유지할 경우, 시선 타겟을 손의 타겟으로 지정한다. 알고리즘 1은 머리와 손의 주의타겟 객체를 식별하는 절차를 제공한다.

<알고리즘1>

대상 객체의 기준 프레임에 대한 충돌의 로컬 위치는 다른 공간에 있는 다른 해당 객체에 전달된다. 포인팅의 정규화된 로털 좌표는 원격 공간으로 전송되고 아바타에 정확한 포인팅 위치를 제공하기 위해 상대 객체(다시 말해, 제2 사용자)에 대해 재조정된다.

획득한 시선과 손 포인팅 타겟, 그리고 그에 상응하는 타겟 좌표 세트를 감안하며 원하는 IK 목표를 설정함으로써 타겟을 인식하도록 아바타의 머리와 팔을 제어한다. 헤드의 IK 목표는 타겟 지점을 응시할 수 있는 헤드 각도에 점진적으로 수렴하도록 설정된다. 팔의 경우, 사용자의 팔꿈치 굴곡이 연속적으로 변화하면서 전방 벡터(어깨와 손목 관절 사이)가 타겟 좌표를 가리킬 수 있도록 IK 목표를 설정한다. 손은 대상을 가리키도록 회전하되, 손의 윗 벡터는 회전시작 시 사용자의 손의 윗벡터 방향을 계속 유지하도록 설정하여서 사용자 손의 포즈 스타일을 유지하도록 한다.

도 7과 같이 해당 타겟을 가리키는 포인팅 벡터의 정확한 일치가 처음에는 이상적으로 보이지만, 포인팅하는 사람을 보는 관찰자는 포인팅하는 사람이 가리키고자 의도한다고 생각하는 위치를 실제로 포인팅하는 위치보다 더 낮게 지각하는 경향이 있는 것으로 밝혀졌다. 종래기술들의 관찰을 고려하여 팔 자세를 조정함으로써 포인팅 위치의 수직 하락 효과를 보정한다. 주요 시나리오는 사용자와 포인팅 대상 사이의 근접 위치(2m 미만)를 가정하면서 대면 또는 측면 상호작용을 고려했기 때문에, 리타겟팅된 포인팅 제스처에 대해 수평적인 사후 조정을 적용하지 않았다.

사용자 상태가 솔로와 상호작용 사이에서 변화할 때 머리와 팔의 갑작스러운 변화는 아바타 동작의 자연스러움에 부정적인 영향을 미치게 되는데, 아바타 동작은 현재 자세와 원하는 자세 사이를 부드럽게 보간하여 극복한다. 이를 위해 머리 방향의 전방 벡터가 표적을 가리키도록 구면 선형 보간법을 사용한다. 아바타 손의 원활한 보간을 위해 아바타 손 위치 및 전방 벡터에 의해 정의된 베지어(Bezier) 곡선을 탄젠트로 사용한다. 머리와 팔의 작은 움직임으로 사용자의 타겟 위치가 작은 변화를 겪으면서 머리와 손의 대상 포즈가 실시간으로 업데이트된다. 보간 속도는 원활한 전환이나 원하는 자세에 더 빨리 도착하는 것을 목표로 하는 시나리오에 맞게 수동으로 조정된다.

제안하는 시스템은 먼 공간에 있는 사용자들 사이의 실시간 오디오 연결을 포함한다. 두 명의 사용자가 이 채널을 통해 구두로 의사소통을 할 수 있다. 그 시스템은 현재 공간 음향을 지원하지 않는다.

도 8은 본 발명의 일 실시예에 따른 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템의 동작 방법을 설명하기 위함 흐름도이다.

제안하는 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템의 동작 방법은 주의객체 탐지모듈을 통해 주의객체에 대한 제1 사용자의 행동을 탐지하는 단계(810), 주의객체가 탐지되는 경우, 탐지된 주의객체에 상응하는 객체가 제2 공간에서도 존재하는지 최종 지시동작 계산모듈을 통해 파악하고 해당 객체에 대한 제1 아바타의 행동을 예측하는 단계(820) 및 예측된 제1 아바타의 최종 지시동작을 동작 생성 모듈을 통해 제1 아바타가 수행하도록 하기 위해 다음 프레임의 애니메이션으로 생성하는 단계(830)를 포함한다.

본 발명의 실시예에 따른 혼합현실 텔레프레즌스 시스템은 서로 다른 제1 공간 및 제2 공간에서, 제1 사용자는 제1 공간에 존재하고, 제2 사용자는 제2 공간에 존재하고, 제1 사용자의 제1 아바타는 제2 공간에 존재하고, 제2 사용자의 제2 아바타는 제1 공간에 존재한다.

단계(810)에서, 주의객체 탐지모듈을 통해 주의객체에 대한 제1 사용자의 행동을 탐지한다.

주의 객체 탐지 모듈은 주의객체에 대한 제1 사용자의 행동을 탐지한다. 여기서, 주의객체는 제1 사용자의 행동에 관한 대상이 되는 제1 공간에 존재하는 제2 아바타 또는 제1 공간 및 제2 공간의 공용 가상 객체이다.

주의 객체 탐지 모듈은 제1 사용자의 행동을 탐지하여 행동의 대상이 되는 객체를 주의객체로 판정하고, 제1 사용자의 동작을 탐지하여 동작을 취하는 중인 제1 사용자의 팔의 움직임에 대한 주의객체를 예측한다.

주의 객체 탐지 모듈은 제1 사용자의 제1 아바타와 공용 가상 객체 정보, 제1 사용자 상체 동작 정보, 제1 사용자 시선과 손가락 정보를 입력으로 받아 제1 사용자의 머리 또는 손가락이 지시동작을 취하는 대상이 되는 주의객체를 탐지하여 출력한다.

주의 객체 탐지 모듈은 제1 사용자가 어떠한 물체를 쳐다보거나 가리키는걸 탐지하여 해당 객체를 주의객체로 판정한다. 또한 시선이 이미 가 있는 주의객체를 가리키는 동작을 탐지하여 이러한 동작을 취하는 중인 팔의 주의객체를 예측하는 기능도 수행한다.

예를 들어, 제1 사용자의 머리의 지향방향 상에서, 또는 시선 추적기를 쓴다면 시선상에서 일정 거리 안에 존재하는 객체가 있는지를 감지한다. 해당 객체가 특정 거리 안에서 가장 짧은 거리 내에 존재하는 객체이고, 감지시간이 일정 시간 동안 연속적으로 지속될 경우, 해당 객체가 주의객체라고 판정한다.

또 다른 예시에서, 제1 사용자의 집게손가락 혹은 손가락의 트래킹이 안 된다면 손의 지향방향 상에서 존재하는 객체가 존재하는지를 감지한다. 해당 객체가 특정 거리 안에 존재하는 가장 가까운 객체라면, 지시되고 있는 객체를 주의객체라고 판정한다. 경우에 따라 머리와 같은 연속적인 지시조건을 가할 수 있다.

만약 응시되고 있는 주의객체에 대해 팔이 지향하는 방향으로 움직이고, 팔의 지향벡터와 머리로부터 주의객체로의 벡터간의 각도가 지정된 각도 이내로 들어올 경우, 지향 판정을 미리 내려서, 해당 팔이 머리와 같은 주의객체를 가진다고 판별할 수 있다.

주의객체가 탐지되는 경우, 단계(820)에서 탐지된 주의객체에 상응하는 객체가 제2 공간에서도 존재하는지 최종 지시동작 계산모듈을 통해 파악하고 해당 객체에 대한 제1 아바타의 행동을 예측한다.

최종 지시동작 계산 모듈은 주의객체를 시선 또는 손가락으로 지시하는 제1 아바타의 최종 지시동작을 예측하여 계산한다.

최종 지시동작 계산 모듈은 제1 사용자의 머리와 손가락에 각각 탐지된 주의객체 및 머리와 손가락이 주의객체를 현재 응시하거나 또는 가리키는 경우, 지시되는 해당 주의객체의 특정 위치 좌표값을 입력으로 받아 제1 아바타가 해당 주의객체를 응시 또는 가리키는 최종적인 지시동작에 관한 포즈정보를 출력한다.

최종 지시동작 계산 모듈은 주의객체를 시선이나 손짓으로 지시하는 제1 아바타의 최종 지시동작을 예측하여 계산하는 구성모듈이다. 입력 값은 주의객체, 주의객체의 응시/지시된 좌표(이 값이 없을 경우, 주의객체의 중심좌표)이고, 출력은 주의객체를 응시 또는 지향하는 머리와 팔의 최종 포즈정보이다.

최종 지시동작 계산 모듈은 지시동작의 대응객체와 대응좌표 탐색기능을 수행한다. 예를 들어, 제1 사용자의 주의객체에 해당하는 동등한 객체(예를 들어, 제2 아바타는 제2 공간의 제2 사용자, 공유되는 가상 객체, 또는 공유되는 TV 등의 가구)를 탐색한다.

이러한 대응물체가 존재할 경우, 사용자가 응시하거나 가리키는 특정 부위의 위치에 대한 제2 공간의 대응물체의 대응좌표를 파악한다. 이러한 좌표정보가 사용자로부터 주어지지 않을 경우, 대응좌표는 대응물체의 중앙부위 좌표 또는 미리 설정한 대응물체 지역좌표로 대체한다.

또한 최종 지시동작 계산 모듈은 머리에 대한 최종 지시동작을 계산한다. 해당 물체의 대응좌표와 머리의 지향 방향의 응시좌표를 가리키는 최종적인 머리의 회전값과 위치를 계산한다.

또한 최종 지시동작 계산 모듈은 팔에 대한 최종 지시동작을 계산한다. 팔이 해당 물체의 지시좌표를 가리키는 최종적인 지시동작을 계산하고, 대응좌표가 없을 경우, 물체의 중앙부에 해당하는 좌표를 대응좌표로 간주한다. 물체를 지시하는 팔의 최종 동작을 계산하는 알고리즘에는 다양한 방법들이 이미 존재한다(알고리즘 1 참조).

단계(830)에서, 예측된 제1 아바타의 최종 지시동작을 동작 생성 모듈을 통해 제1 아바타가 수행하도록 하기 위해 다음 프레임의 애니메이션으로 생성한다.

동작 생성 모듈은 제1 아바타의 포즈, 최종 지시동작 계산모듈의 출력정보를 입력으로 받아 다음 프레임의 제1 아바타의 포즈를 출력한다.

동작 생성 모듈은 최종 지시동작 계산 모듈에서 출력된 수정된 아바타의 지시동작을 입력 받아 사용자 아바타가 자연스럽게 취하기 위한 변환 동작을 다음 프레임에 대해서 출력한다.

최종 지시동작 계산 모듈에서 출력된 수정된 아바타의 지시동작이 입력되면 아바타는 본래 사용자의 동작을 그대로 따라 하는 원래 상태에서 곧바로 입력된 지시동작에 맞춰 머리와 팔을 자연스럽게 변환할 수 있는 다음 프레임의 동작을 생성한다. 이러한 동작 변환 과정을 자연스러운 모션으로 만드는 많은 기존 방법들이 존재한다(알고리즘 1 참조).

최종 지시동작 계산 모듈에서 출력된 수정된 아바타의 지시동작의 출력값은 매 프레임마다 업데이트되므로, 이러한 상태에서 계속해서 위 프로세스를 반복한다.

본 발명의 실시예에 따르면, 소통중인 서로 다른 양쪽 공간에서 동일한 프로그램을 TV로 시청 중일 때, 사용자가 TV의 특정 화면부분을 가리키는 동작이 다른 공간에서 존재하는 다른 TV의 동등한 화면부를 가리키는 동작으로 수정되어 표현된다.

양 공간에서 공통적으로 공유되는 여러 개의 가상 오브젝트를 증강하고서, 이러한 물체들을 쳐다보거나 가리키면서 소통을 할 때, 사용자와 가상 오브젝트간의 위치관계와 아바타와 가상객체간의 위치관계가 양쪽 공간에서 다를지라도, 아바타가 사용자가 쳐다보거나 가리키는 해당 오브젝트를 그대로 쳐다보고 가리키는 수정동작을 취하게 된다.

이러한 방식으로 사용자가 가리키거나 쳐다보는 물체의 특정 부위를 원격 공간의 아바타도 동일하게 쳐다보고 가리키므로 아바타를 대상으로 소통중인 상대방 사용자는 자신이 아바타와 동일한 공간에서 가상 오브젝트와 함께 상호작용하면서 소통하는 몰입감을 느낄 수 있다.

본 발명의 실시예에 따르면, 지시동작 변형 텔레프레즌스에서는 제 1공간의 제1 사용자가 TV의 왼쪽을 가리키는 동작을 제2 공간에서 존재하는 제1 아바타가 동일하게 가리키도록 하기 위해서 팔의 지시동작을 수정한다. 아바타의 고개 역시 사용자와 동일한 TV부위를 쳐다보도록 수정이 가해진다. 제1 아바타가 가리키는 부위는 제1 사용자가 가리키고자 의도한 부위와 같기에 제2 사용자에게는 지시동작을 통해 전달되는 정보가 오해 없이 전달되므로, 지시동작을 활용한 비음성적 소통이 가능하다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

1. 서로 다른 제1 공간 및 제2 공간에서, 제1 사용자는 제1 공간에 존재하고, 제2 사용자는 제2 공간에 존재하고, 제1 사용자의 제1 아바타는 제2 공간에 존재하고, 제2 사용자의 제2 아바타는 제1 공간에 존재하는 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템에 있어서,
   주의객체에 대한 제1 사용자의 행동을 탐지하는 주의객체 탐지모듈 -주의객체는 제1 사용자의 행동에 관한 대상이 되는 제1 공간에 존재하는 제2 아바타 또는 제1 공간 및 제2 공간의 공용 가상 객체임-;
   주의객체가 탐지되는 경우, 탐지된 주의객체에 상응하는 객체가 제2 공간에서도 존재하는지 파악하고 해당 객체에 대한 제1 아바타의 행동을 예측하는 최종 지시동작 계산모듈; 및
   예측된 제1 아바타의 최종 지시동작을 제1 아바타가 수행하도록 하기 위해 다음 프레임의 애니메이션으로 생성하는 동작 생성 모듈
   을 포함하는 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템.
2. 제1항에 있어서,
   주의객체 탐지모듈은,
   제1 사용자의 행동을 탐지하여 행동의 대상이 되는 객체를 주의객체로 판정하고, 제1 사용자의 동작을 탐지하여 동작을 취하는 중인 제1 사용자의 팔의 움직임에 대한 주의객체를 예측하며,
   제1 사용자의 제1 아바타와 공용 가상 객체 정보, 제1 사용자 상체 동작 정보, 제1 사용자 시선과 손가락 정보를 입력으로 받아 제1 사용자의 머리 또는 손가락이 지시동작을 취하는 대상이 되는 주의객체를 탐지하여 출력하는
   전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템.
3. 제1항에 있어서,
   최종 지시동작 계산모듈은,
   주의객체를 시선 또는 손가락으로 지시하는 제1 아바타의 최종 지시동작을 예측하여 계산하고,
   제1 사용자의 머리와 손가락에 각각 탐지된 주의객체 및 머리와 손가락이 주의객체를 현재 응시하거나 또는 가리키는 경우, 지시되는 해당 주의객체의 특정 위치 좌표값을 입력으로 받아 제1 아바타가 해당 주의객체를 응시 또는 가리키는 최종적인 지시동작에 관한 포즈정보를 출력하는
   전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템.
4. 제3항에 있어서,
   최종 지시동작 계산모듈은,
   지시동작의 대응 객체와 대응 좌표를 탐색하고, 제1 사용자의 주의객체에 상응하는 공용 가상 객체를 제2 공간에서 탐색하고, 제2 공간에 상응하는 공용 가상 객체가 존재할 경우, 제1 사용자가 응시하거나 가리키는 특정 부위의 위치에 대한 제2 공간의 공용 가상 객체의 대응좌표를 분석하고,
   대응좌표가 주어지지 않을 경우, 대응좌표는 공용 가상 객체의 중앙부위 좌표 또는 미리 설정된 공용 가상 객체 좌표로 대체하는
   전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템.
5. 제1항에 있어서,
   동작 생성 모듈은,
   제1 아바타의 포즈, 최종 지시동작 계산모듈의 출력정보를 입력으로 받아 다음 프레임의 제1 아바타의 포즈를 출력하는
   전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템.
6. 서로 다른 제1 공간 및 제2 공간에서, 제1 사용자는 제1 공간에 존재하고, 제2 사용자는 제2 공간에 존재하고, 제1 사용자의 제1 아바타는 제2 공간에 존재하고, 제2 사용자의 제2 아바타는 제1 공간에 존재하는 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템의 동작 방법에 있어서,
   주의객체 탐지모듈을 통해 주의객체에 대한 제1 사용자의 행동을 탐지하는 단계-주의객체는 제1 사용자의 행동에 관한 대상이 되는 제1 공간에 존재하는 제2 아바타 또는 제1 공간 및 제2 공간의 공용 가상 객체임-;
   주의객체가 탐지되는 경우, 탐지된 주의객체에 상응하는 객체가 제2 공간에서도 존재하는지 최종 지시동작 계산모듈을 통해 파악하고 해당 객체에 대한 제1 아바타의 행동을 예측하는 단계; 및
   예측된 제1 아바타의 최종 지시동작을 동작 생성 모듈을 통해 제1 아바타가 수행하도록 하기 위해 다음 프레임의 애니메이션으로 생성하는 단계
   를 포함하는 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템의 동작 방법.
7. 제6항에 있어서,
   주의객체 탐지모듈을 통해 주의객체에 대한 제1 사용자의 행동을 탐지하는 단계는,
   제1 사용자의 행동을 탐지하여 행동의 대상이 되는 객체를 주의객체로 판정하고, 제1 사용자의 동작을 탐지하여 동작을 취하는 중인 제1 사용자의 팔의 움직임에 대한 주의객체를 예측하며,
   제1 사용자의 제1 아바타와 공용 가상 객체 정보, 제1 사용자 상체 동작 정보, 제1 사용자 시선과 손가락 정보를 입력으로 받아 제1 사용자의 머리 또는 손가락이 지시동작을 취하는 대상이 되는 주의객체를 탐지하여 출력하는
   전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템의 동작 방법.
8. 제6항에 있어서,
   주의객체가 탐지되는 경우, 탐지된 주의객체에 상응하는 객체가 제2 공간에서도 존재하는지 최종 지시동작 계산모듈을 통해 파악하고 해당 객체에 대한 제1 아바타의 행동을 예측하는 단계는,
   주의객체를 시선 또는 손가락으로 지시하는 제1 아바타의 최종 지시동작을 예측하여 계산하고,
   제1 사용자의 머리와 손가락에 각각 탐지된 주의객체 및 머리와 손가락이 주의객체를 현재 응시하거나 또는 가리키는 경우, 지시되는 해당 주의객체의 특정 위치 좌표값을 입력으로 받아 제1 아바타가 해당 주의객체를 응시 또는 가리키는 최종적인 지시동작에 관한 포즈정보를 출력하는
   전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템의 동작 방법.
9. 제8항에 있어서,
   지시동작의 대응 객체와 대응 좌표를 탐색하고, 제1 사용자의 주의객체에 상응하는 공용 가상 객체를 제2 공간에서 탐색하고, 제2 공간에 상응하는 공용 가상 객체가 존재할 경우, 제1 사용자가 응시하거나 가리키는 특정 부위의 위치에 대한 제2 공간의 공용 가상 객체의 대응좌표를 분석하고,
   대응좌표가 주어지지 않을 경우, 대응좌표는 공용 가상 객체의 중앙부위 좌표 또는 미리 설정된 공용 가상 객체 좌표로 대체하는
   전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템의 동작 방법.
10. 제6항에 있어서,
    예측된 제1 아바타의 최종 지시동작을 동작 생성 모듈을 통해 제1 아바타가 수행하도록 하기 위해 다음 프레임의 애니메이션으로 생성하는 단계는,
    제1 아바타의 포즈, 최종 지시동작 계산모듈의 출력정보를 입력으로 받아 다음 프레임의 제1 아바타의 포즈를 출력하는
    전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템의 동작 방법.

Images