KR20150099402A

KR20150099402A - 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신

Info

Publication number: KR20150099402A
Application number: KR1020150010759A
Authority: KR
Inventors: 타마르 바루자; 야이르 위너; 오리 모다이; 아자리아 코헨
Original assignee: 아바야 인코포레이티드
Priority date: 2014-01-24
Filing date: 2015-01-22
Publication date: 2015-08-31
Also published as: KR20150099403A; DE102015100911A1; DE102015100930B4; US10013805B2; DE102015100926A1; KR101656172B1; KR20150099401A; US9959676B2; KR101734635B1; US20150215351A1; US20150213650A1; DE102015100926B4; US20150215581A1; DE102015100911B4; KR101665229B1; US9524588B2; DE102015100930A1

Abstract

본 명세서에 개시된 실시예들은 원격 참여자들 간의 개선된 화상 통신을 가능하게 하기 위한 방법들, 시스템들 및 컴퓨터 판독가능한 저장 매체를 제공한다. 특정 실시예에서, 방법은 회의 세션 동안에, 물리적 미팅 장소(meeting location)로부터 떨어진 곳에 있는 제 1 참여자의 캡처된 제 1 영상을 수신하는 단계를 제공한다. 이 방법은 물리적 미팅 장소 내에서의 제 1 참여자에 대한 제 1 위치를 결정하는 단계 및 물리적 미팅 장소에 있는 제 2 참여자가 착용한 증강 현실(augmented reality: ar) 헤드 장착용 디스플레이의 뷰(view)를 결정하는 단계를 제공한다. 이 방법은 ar 헤드 장착용 디스플레이를 통해서 보여질 때에 제 1 참여자가 제 1 위치에 있는 것 같이 제 2 참여자에게 보이게 하는 상기 ar 영상을, 제 1 영상으로부터 생성하는 단계를 제공한다. 또한, 이 방법은 ar 영상을 제 2 참여자에게 나타내기 위해서 ar 헤드 장착용 디스플레이에 전달하는 단계를 포함한다.

Description

증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신{ENHANCED COMMUNICATION BETWEEN REMOTE PARTICIPANTS USING AUGMENTED AND VIRTUAL REALITY}

관련 출원들

본원은 2014년 1월 24일자에 출원된 발명의 명칭이 "Visual communication in augmented reality"인 미국 가특허 출원번호 제61/931,234호와 관련되고, 이에 대한 우선권을 주장하며, 이것의 전체내용은 참조로서 본 명세서에 포함된다.

오랫동안, 회의 통화 시스템(conference call system)들은 서로 다른 위치들에 있는 참여자들 간의 오디오 통신들을 가능하게 하여 왔다. 보다 최근에는, 일부 회의 시스템들은 참여자들 간의 실시간 영상 통신들을 가능하게 한다. 이는 일 위치에 있는 참여자가, 다른 참여자들이 매우 멀리 떨어져 있을지라도, 다른 참여자들이 말하는 것의 영상 및 오디오를 생방송으로 볼 수 있게 한다. 이렇게 다른 참여자들을 볼 수 있는 것은, 참여자들이 서로 간의 얼굴의 표정들, 제스처들, 또는 음성 통화 동안에는 볼 수 없는 그 밖의 시각적 정보를 볼 수 있기 때문에, 보다 생산적인 회의를 가능하게 한다.

영상 회의는 원격에 위치한 참여자들의 경험을 확실하게 개선하지만, 영상 회의는 원격 참여자들이 모두 같은 룸 내에 있는 것 같이 느끼도록 하는데에는 미치지 못한다. 즉, 회의 룸에 앉아서 디스플레이 화면으로 다른 참여자들을 보고 있는 참여자들은, 그 회의 룸 내에 있는 다른 참여자들을 적합하게 시뮬레이션하지 못한다. 그러나, 현재 가상 현실 헤드셋들은 비디오 게임과 같은 시각적 경험들에서 사용자들을 시각적으로 몰두시키도록 사용가능하다. 마찬가지로, 증강 현실 헤드셋들은 사용자에게 정보를 디스플레이할 수 있으며 그 사용자는 여전히 그들 주위의 장면을 볼 수 있다.

본 명세서에 개시된 실시예들은 원격 참여자들 간의 개선된 화상 통신을 가능하게 하기 위한 방법들, 시스템들 및 컴퓨터 판독가능한 저장 매체를 제공한다. 특정 실시예에서, 방법은 회의 세션 동안에, 물리적 미팅 장소(meeting location)로부터 떨어진 곳에 있는 제 1 참여자의 캡처된 제 1 영상을 수신하는 단계를 제공한다. 이 방법은 물리적 미팅 장소 내에서의 제 1 참여자에 대한 제 1 위치를 결정하는 단계 및 물리적 미팅 장소에 있는 제 2 참여자가 착용한 증강 현실(Augmented Reality: AR) 헤드 장착형 디스플레이의 뷰(view)를 결정하는 단계를 제공한다. 또한, 이 방법은 AR 헤드 장착형 디스플레이를 통해서 보여질 때에 제 1 참여자가 제 1 위치에서 제 2 참여자에게 보이게 하는 AR 영상을, 제 1 영상으로부터 생성하는 단계를 제공한다. 또한, 이 방법은 AR 영상을 제 2 참여자에게 나타내기 위해서 AR 헤드 장착형 디스플레이에 전달하는 단계를 제공한다.

일부 실시예들에서, 이 방법은 물리적 미팅 장소의 캡처된 제 2 영상을 수신하는 단계, 물리적 미팅 장소로부터 떨어진 곳에 있는 제 3 참여자에 대한 물리적 미팅 장소 내에서의 제 2 위치를 결정하는 단계, 제 1 위치에 있는 제 1 참여자를 제 2 위치의 관점(view point)에서 물리적 또는 가상 미팅 룸에 나타내는 VR(Virtual Reality) 영상을, 제 1 영상 및 제 제 2 영상으로부터 생성하는 단계를 더 포함한다. 이 방법은 VR 영상을 제 3 참여자에게 나타내기 위해서 제 3 참여자가 착용한 VR 헤드 장착형 디스플레이에 전달하는 단계를 더 포함한다.

일부 실시예들에서, AR 영상을 생성하는 단계는, AR 헤드 장착형 디스플레이를 통해서 보여질 때에, 제 3 참여자가 제 2 위치에서 제 2 참여자에게 보이도록 더 나타낸다.

일부 실시예들에서, 방법은 제 1 영상과 함께 제 1 참여자의 캡처된 제 1 오디오를 수신하는 단계 및 물리적 미팅 장소에 있는 오디오 디바이스에 제 1 오디오를 전달하는 단계를 더 포함하며, 오디오 디바이스는 제 2 참여자가 실질적으로 제 1 위치로부터 나오는 것과 같이 오디오를 듣도록 제 1 오디오를 제공한다.

일부 실시예들에서, AR 헤드 장착형 디스플레이의 뷰를 결정하는 단계는, AR 헤드 장착형 디스플레이로부터 방향 정보를 수신하는 단계, 제 2 참여자에 대한 위치 정보를 AR 헤드 장착형 디스플레이 외부에 있는 소스들로부터 수신하는 단계 및 방향 정보 및 위치 정보에 기초하여 AR 헤드 장착형 디스플레이의 뷰를 식별하는 단계를 포함한다.

일부 실시예들에서, AR 헤드 장착형 디스플레이의 뷰를 결정하는 단계는, 후속 방향 정보 및 후속 위치 정보를 수신하는 단계 및 이 후속 방향 정보 및 후속 위치 정보에 기초하여 AR 헤드 장착형 디스플레이의 뷰를 업데이트하는 단계를 포함한다.

일부 실시예들에서, 방법은 AR 헤드 장착형 디스플레이의 뷰들 중 적어도 하나 및 물리적 미팅 장소의 다른 뷰로부터 회의 세션을 기록하는 단계를 더 포함한다.

일부 실시예들에서, 방법은 기록사항을 비-헤드 장착형 디스플레이 상에서 볼 수 있는 포맷으로 변환하는 단계를 포함한다.

일부 실시예들에서, AR 영상을 생성하는 단계는, 회의 세션과 연관된 추가 시각적 정보를, AR 헤드 장착형 디스플레이를 통해서 보여질 때에 추가 시각적 정보가 물리적 미팅 장소 내의 일 위치에서 제 2 참여자에게 보이도록, 오버레이(overlay)하는 단계를 더 포함한다.

다른 실시예에서, 통신 인터페이스 및 프로세싱 회로를 포함하는 회의 시스템이 제공된다. 통신 인터페이스는 회의 세션 동안에, 물리적 미팅 장소로부터 떨어진 곳에 있는 제 1 참여자의 캡처된 제 1 영상을 수신하도록 구성된다. 프로세싱 회로는 물리적 미팅 장소 내에서의 제 1 참여자에 대한 제 1 위치를 결정하고, 물리적 미팅 장소에 있는 제 2 참여자가 착용한 증강 현실(AR) 헤드 장착형 디스플레이의 뷰를 결정하며, AR 헤드 장착형 디스플레이를 통해서 보여질 때에 제 1 참여자가 제 1 위치에서 제 2 참여자에게 보이게 하는 AR 영상을, 제 1 영상으로부터 생성하도록 구성된다. 통신 인터페이스는 제 2 참여자에게 나타내기 위해서, AR 영상을 AR 헤드 장착형 디스플레이에 전달하도록 구성된다.

도 1은 원격 참여자들 간의 개선된 화상 통신을 가능하게 하기 위한 회의 환경을 도시한다.
도 2는 원격 참여자들 간의 개선된 화상 통신을 가능하게 하기 위한 회의 환경의 동작상의 시나리오를 도시한다.
도 3은 원격 참여자들 간의 개선된 화상 통신을 가능하게 하기 위한 회의 시스템을 동작시키는 방법을 도시한다.
도 4는 원격 참여자들 간의 개선된 화상 통신을 가능하게 하기 위한 회의 환경을 도시한다.
도 5는 원격 참여자들 간의 개선된 화상 통신을 가능하게 하기 위한 회의 환경의 동작상의 시나리오를 도시한다.
도 6은 동작상의 시나리오에서 원격 참여자들 간의 개선된 화상 통신을 가능하게 하기 위한 방법을 도시한다.
도 7은 원격 참여자들 간의 개선된 화상 통신을 가능하게 하기 위한 방법을 도시한다.
도 8은 원격 참여자들 간의 개선된 화상 통신을 가능하게 할 때의 예시적인 룸 방향들을 도시한다.
도 9는 원격 참여자들 간의 개선된 화상 통신을 가능하게 할 때의 예시적인 룸 방향들을 도시한다.
도 10은 원격 참여자들 간의 개선된 화상 통신을 가능하게 하기 위한 회의 시스템을 도시한다.

다음의 설명 및 관련 도면들은 본 발명의 최상의 모드를 교시한다. 발명의 원리들을 교시하기 위해서, 최상의 모드의 일부 통상적인 측면들은 단순화되거나 생략될 수 있다. 다음의 청구항들은 본 발명의 범위를 특정한다. 최상의 모드의 일부 측면들은 청구항들에서 특정되는 본 발명의 범위 내에 포함되지 않을 수 있음에 유의한다. 따라서, 본 기술 분야의 당업자는 본 발명의 범위 내에 해당하는 최상의 모드로부터의 변형을 이해할 것이다. 본 기술 분야의 당업자는 이하에 기술된 특징들이 본 발명의 다수 변형들을 형성하도록 다양한 방식들로 조합될 수 있음을 이해할 것이다. 따라서, 본 발명은 이하에 기술되는 특정 예들로 한정되지 않으며, 오직 청구항들 및 이들의 균등범위들로만 한정된다.

도 1은 회의 환경(100)을 도시한 것이다. 회의 환경(100)은 회의 시스템(101), 참여자 캡처 시스템(102), 및 증강 현실(AR) 헤드 장착형 디스플레이(HMD)(103)를 포함한다. 회의 시스템(101) 및 참여자 캡처 시스템(102)은 통신 링크(112)를 통해서 통신한다. 회의 시스템(101) 및 AR HMD(103)은 통신 링크(111)를 통해서 통신한다.

동작 시에, 회의 시스템(101)은 서로 다른 위치들에 있는 회의 참여자들에게 동일한 위치에 있는 것과 같은 회의 경험을 제공하도록 구성될 수 있다. 이를 위해, 회의 시스템(101)은 AR을 사용하며, 이 AR은 추가 정보를 오버레이(overlay)하면서 참여자 주변의 세상을 볼 수 있게 한다. 스마트폰과 같은 일부 AR 디바이스들에서, 이 디바이스는 영상 이미지들을 캡처하고, 카메라용 뷰파인더로서 화면을 사용하는 것과 유사한 방식으로 이러한 이미지들을 그 화면 상에 디스플레이한다. AR 정보는 이미지에 디스플레이된 것과 연관되게 이 디스플레이된 화면 이미지들 상에 오버레이된다. 예를 들어, 이미지 내에 캡처된 스토어프론트(storefront)를 갖는 기업에 대한 정보가 화면 상에서 스토어프론트 옆에 디스플레이될 수 있다. 다른 예에서, AR 뷰 내의 사람은, 예를 들어 명함 타입 정보와 같은 그 사람 근처에 디스플레이되는 정보를 가질 수 있으며, 이에 따라 그것은 용이하게 참조될 수 있게 된다. 다르게는, AR 정보는 투시 매체, 예를 들어 투명 렌즈 상에 디스플레이될 수 있으며, 이로써 이 렌즈들을 통해 보여질 수 있는 이미지들을 디스플레이할 필요가 없게 된다.

회의를 가능하게 하기 위해서, 회의 시스템(101)은 AR 영상을 사용하여 이 AR 영상을 보고 있는 참여자와 같은 위치에 있지 않은 회의 참여자들의 캡처된 영상을 오버레이한다. 예를 들어, 참여자(123)는 미팅 룸에 위치해 있고, 참여자(122)는 이 미팅 룸에 있지 않다. 참여자(122)는 미팅 룸을 위한 홀 아래의 룸에 있거나 임의의 다른 곳에 있을 수 있다. 참여자(122)가 어디에 위치해 있는지 상관없이, 참여자(123)가 착용한 AR HMD(103)은, 회의 시스템(101) 및 캡처 시스템(102)과 함께, 참여자(123)로 하여금 미팅 룸 내의 일 위치에 있는 참여자(122)를 볼 수 있게 한다. 따라서, 단지 디스플레이 상에서 참여자(122)의 캡처된 영상을 보는 것이 아니라, 참여자(123)는 미팅 룸에 있는 참여자(122)를 "볼(see)" 수 있으며, 이에 따라 참여자(122)가 미팅 룸 내에 실제 있는 것과 같은 경험을 모방할 수 있다.

도 2는 원격 참여자들 간의 개선된 화상 통신을 가능하게 하기 위한 회의 환경(100)의 동작(200)을 도시한 것이다. 동작(200)에서는, 영상 이미지들이 단계 1에서 캡처 시스템(102)에 의해 참여자(122)에 대해서 캡처된다. 이 영상 이미지들은 캡처 시스템(102), HMD(103), 회의 시스템(101) 등의 능력들에 따라 2 차원 또는 3 차원으로 캡처될 수 있다. 캡처 이후에, 이 캡처된 영상 이미지들의 영상은 실시간으로 회의 시스템(101)으로 전달된다(단계 2). 이 영상은 캡처 시스템(102) 및 회의 시스템(101)에 의해 지원되는 임의의 포맷으로 전달될 수 있다. 이 영상은 분리된 캡처 시스템(102)이 회의 시스템(101)으로부터 얼마나 멀리 있는지에 따라, 하나 이상의 다양한 무선 또는 유선 네트워크들(LAN, WAN, 인터넷, 셀룰러 데이터 네트워크, 등) 또는 다이렉트 링크들을 통해 전달될 수 있다.

단계 3에서, 회의 시스템(101)은 참여자(123)가 위치하는 미팅 장소(meeting location) 내에서의 참여자(122)의 AR 재현(representation)을 위한 위치(position)를 결정한다. 단계 4는 참여자(122)의 재현이 HMD(103)에서 참여자(123)에게 제공되기 이전의 임의의 시간에 수행될 수 있으며, 반드시 단계 1 및 단계 2 이후에 수행되어야 하는 것은 아니다. 회의 시스템(101)은 HMD(103), 미팅 장소 내에 있는 다른 디바이스들 또는 센서들, 참여자(123), 미팅 운영자, 또는 잠재적 위치 정보의 임의의 다른 소스로부터 수신된 정보에 기초하여, 그 위치를 결정할 수 있다. 이에 따라, 회의 시스템(101)은, 사용가능한 정보를 사용하여, 참여자(122)가 미팅 룸에 있는 것과 같이 참여자(122)가 물리적으로 위치될 수 있는 미팅 장소 내의 위치를 결정한다.

예를 들어, 이 미팅 장소가 회의 테이블을 포함하는 경우, 시스템(101)은 참여자(122)의 위치를 이 회의 테이블에서의 빈 자리가 되도록 결정할 수 있다. 빈 자리의 존재는 HMD(103)로부터 캡처된 영상에 기초하거나(예를 들어, 이 영상을 분석하여 각 위치에서의 사람의 존재를 결정함으로써), 회의 세션 동안 시스템을 배치시킬 때에 참여자 또는 운영자가 수동으로 입력한 정보에 기초하거나(예를 들어, 참여자들, 의자들 등의 위치들에 대해서 미팅 룸을 수동으로 맵핑함으로써), 테이블의 의자들에 있는 압력 센서들에 기초하거나 또는 임의의 다른 수단에 의해서 결정될 수 있다.

회의 시스템(101)은 단계 4에서 참여자(123)의 뷰를 더 결정한다. 참여자(123)의 뷰는 참여자(122)의 위치가 참여자(123)의 뷰에 대하여 어디에 있는지를 결정하기 위해서 결정될 필요가 있다. 이 뷰는 HMD(103)로부터 캡처된 영상, 미팅 장소 내의 참여자(123)의 캡처된 영상, HMD(103)의 방향 센서들(예를 들어, 가속도계, 컴파스, 자이로스코프 등) 또는 참여자의 뷰를 결정하는데 사용될 수 있는 임의의 다른 정보를 분석함으로써 결정될 수 있다.

일단 참여자(122)의 위치 및 참여자(123)의 뷰가 결정되면, 단계 5에서, 회의 시스템(101)은 AR 영상을 생성하며, 이 AR 영상은 HMD(103)에서 참여자(123)에게 디스플레이될 것이다. 이 AR 영상은 HMD(103)의 능력들 및 참여자(122)가 캡처된 방식에 따라 2 차원 또는 3 차원으로 생성될 수 있다. AR 영상을 생성하기 위해, 회의 시스템(101)은 참여자(122)의 캡처된 영상 내에서 임의의 백그라운드 이미지들을 제거하며, 이에 따라 오직 참여자(122) 및 참여자(122)가 손으로 잡고 있거나 사용하고 있거나, 또는 회의 세션에 유익할 수 있는 것들만이 남게 된다. 회의 시스템(101)은, HMD(103)를 통한 참여자(123)의 뷰로부터 단계 3에서 결정된 위치에 참여자(122)가 있는 것 같이 보이도록, 참여자(122)의 영상 이미지를 조작할 수 있다. 예를 들어, 참여자(122)의 영상 이미지는 그 위치가 참여자(123)의 뷰 내에서 멀리 있는 것과 같이 보이도록 AR 영상 내에서 그 크기가 줄어들 수 있다. 또한, 참여자(122)의 영상 이미지는 참여자(122)가 참여자(123)의 뷰로부터 보이는 각도에 기초하여 회전될 수 있다. 즉, 미팅 장소에서의 참여자(122)의 위치는, 참여자(122) 측이 참여자(123)의 뷰를 바라보고 있는 것을 의미할 수 있다. 참여자(122)의 영상이 이 참여자 측으로부터 캡처되었는지의 여부에 따라, 회의 시스템(101)은 참여자(122)를 참여자(123)에게 보여줄 때에 이 측으로부터 참여자(122)가 어떻게 보일지를 평가할 필요가 있을 수 있다. 다르게는, 회의 시스템(101)은 참여자(122)가 미팅 장소에 존재하는 것으로 가정할 때에 그것이 참여자(123)가 참여자(122)를 보는 방식이 아닐지라도, 간단하게 참여자(122)의 전방을 계속 보여줄 수 있다. 또한, 회의 시스템(101)은 참여자(123)로부터 참여자(122)까지의 뷰 내에 있는 시야를 막는 것들, 예를 들어 다른 사람들, 식물들, 또는 다른 물건들을 처리할 필요가 있을 수 있다.

회의 시스템(101)이 AR 영상을 생성한 후에, 단계 6에서, 이 AR 영상은 HMD(103)로 전달된다. 이 AR 영상은 분리된 캡처 시스템(102)이 회의 시스템(101)으로부터 얼마나 멀리 있는지에 따라, 하나 이상의 다양한 무선 또는 유선 네트워크들(LAN, WAN, 인터넷, 셀룰러 데이터 네트워크, 등) 또는 다이렉트 링크들을 통해 전달될 수 있다. 일부 예들에서, 회의 시스템(101)은 미팅 장소에 위치할 수 있다. AR 영상을 수신하는 경우, HMD(103)는 AR 영상을 참여자(123)에게 디스플레이한다. HMD(103)가 투명 렌즈들을 사용하는 경우에는, AR 영상은 투명 렌즈들 상에 디스플레이되는 바와 같은, 미팅 룸 내의 결정된 위치에서의 참여자(122)의 영상을 포함한다. 다르게는, HMD(103)가 참여자(123)의 관점에서 캡처된 영상을 디스플레이하는 불투명 디스플레이(예를 들어, "뷰파인더")를 포함하는 경우에는, AR 영상은 참여자(123)에게 다시 디스플레이되는 때에 이 캡처된 영상에 오버레이된다.

단계들 1-2 및 4-7 은 미팅 장소에서의 참여자(122)의 존재를 참여자(123)에게 모방하여 보여주도록 최선의 노력을 하면서 참여자(122)를 참여자(123)에게 보여주기 위해서, 회의 동안에 계속하여 발생한다. 단계 3은, 참여자(122)가 미팅 동안에 위치들을 변경한 것으로 회의 시스템(101)이 결정하지 않는다면, 오직 한번만 발생할 것이다. 참여자(123)가 HMD(103)와 함께 그 방향을 변경하면(예를 들어, 머리를 돌리거나 미팅 장소 내에서 위치를 이동하거나 하는 등), 이러한 방향 변경들은, 어떠하든 간에 결정된 위치에서 참여자(122)를 디스플레이하는 AR 영상을 생성하도록, 단계 4 및 단계 5에서 처리된다. 또한 이것은 일부 경우들에서, 참여자(123)가 참여자(122)의 위치를 보고 있지 않다면, 참여자(122)는 AR 영상에서 보여지지 않을 것임을 의미한다. 마찬가지로, 참여자(122)의 위치가 오직 부분적으로만 가시적이면, AR 영상은 이에 따라 참여자(122)의 일 부분만을 나타낼 것이다.

일부 구성들에서는, 미팅 장소에 있는 오디오 재생 디바이스들이 사용되어, 참여자(122)의 영상과 함께 캡처 시스템(102)에 의해 캡처된 오디오의 본래 위치를 모방할 수 있다. 즉, 회의 시스템(101)은 캡처된 오디오를 재생하여 그 오디오가 미팅 장소 내의 참여자(122)의 결정된 위치로부터 나오는 것과 같이 느껴지도록 할 수 있는 오디오 디바이스를 선택할 것이다. 따라서, AR HMD(103)는 참여자(122)가 특정 위치에 있는 것과 같이 참여자(123)에게 보이도록 할 뿐만 아니라, 이 오디오 디바이스도 또한 참여자(122)가 그 위치로부터 말을 하는 것과 같이 소리가 나게 할 수 있다. 일부 예들에서, 오디오 디바이스는 참여자(122)의 결정된 위치 근방에 위치되며, 다른 예들에서는, 결정된 위치들 근방에 위치되지 않은 오디오 디바이스들, 예를 들어 HMD(103) 내에 내장된 디바이스들이 사용되어 그들의 최상의 능력으로 오디오가 참여자(122)의 해당 위치로부터 나오도록 시뮬레이션한다.

일부 실시예들에서는, 다른 캡처 시스템이 참여자(123)를 캡처하며, 참여자(123)는, 동작(200)과 유사한 방식으로, 참여자(122)가 착용한 AR HMD를 통해서 참여자(122)에게 제공된다. 따라서, 회의 시스템(101)은 미팅 장소에 있는 것으로 참여자(122)를 참여자(123)에게 모방하여 보여 주며, 참여자(122)의 공간에 있는 것으로 참여자(123)를 모방하여 보여 준다. 또한, 추가 참여자들은 그 둘 중의 어느 위치(또는 언급되지 않은 추가 위치)에 있어도 되며, 이러한 추가 참여자들은 동일 위치에 있지 않은 다른 참여자들의 AR HMD들에서 또한 모방되어 보여진다.

다른 실시예들에서, 회의 시스템(101)은 미팅이 차후의 시간에 다시 재생될 수 있도록, 참여자들 간의 미팅을 저장 시스템 내에 기록하도록 구성될 수 있다. 이러한 기록은 참여자(123)의 관점으로부터, 미팅 장소 내의 다른 참여자의 관점으로부터, 전체 미팅 장소를 관망하는 "타인을 관찰하는 사람"의 관점으로부터 또는 다른 관점으로부터 기록될 수 있으며 미팅 장소에서의 참여자들(예를 들어, 참여자(123)) 및 회의 시스템(101)에 의해서 결정된 그들의 위치들에 있는 원격 참여자들(예를 들어, 참여자(122)) 양쪽 모두를 포함할 수 있다. 기록된 미팅은 미팅 장소 배경없이 AR HMD에서 재생되거나, 몰입형 시각적 환경에서 미팅 룸 특징부분들을 더 보여주는 가상 현실(VR) HMD에서 재생되거나, 2 차원 디스플레이 화면 상에서 재생되거나, 오직 오디오로만 재생되거나, 또는 임의의 다른 재생 방법에 의해 재생될 수도 있다. 일부 경우들에서, 이미지들은 재생 디스플레이 상에서 보여지기 위해 적합한 포맷으로 변환될 필요가 있을 수 있다. 예를 들어, 원격 참여자들, 예를 들어 참여자(122)가 3 차원 영상으로 캡처되면, 이 영상은 2 차원으로 그리고 2 차원 재생을 할 수 있는 파일 포맷으로 변환될 필요가 있을 수 있다.

도 3은 원격 참여자들 간의 개선된 화상 통신을 가능하게 하는 예에서 회의 시스템(101)을 동작시키는 방법을 도시한 것이다. 회의 세션 동안, 회의 시스템(101)은 물리적 미팅 장소에서 떨어진 참여자(122)의 제 1 캡처된 영상을 수신한다(단계 301). 회의 시스템(101)은 물리적 미팅 장소 내의 제 1 참여자에 대한 제 1 위치를 결정하고(단계 302) 물리적 미팅 장소에 있는 참여자(123)가 착용한 AR HMD(103)의 뷰를 결정한다(단계 303). 제 1 캡처된 영상으로부터, 회의 시스템(101)은 AR HMD(103)을 통해 보여질 때에 참여자(122)가 제 1 위치에 있는 것과 같이 참여자(123)에게 보여주는 AR 영상을 생성한다(단계 304). 이어서, 회의 시스템(101)은 참여자(123)에게 보여줄 AR 영상을 AR HMD(103)에 전달한다(단계 305).

동작(200)에서 주목되는 바와 같이, 회의 시스템(101)은 참여자(123)를 참여자(122)에게 보여주기 위해 동일한 기능을 수행할 수 있으며 이 동일한 기능들을 2 명 이상의 참여자들을 위해 수행할 수 있다. 마찬가지로, 단계들(301-305) 전부가 이 순서로 발생할 필요는 없다. 예를 들어, 제 1 위치는 회의 세션이 시작되기 이전에 결정될 수 있다.

다시 도 1을 참조하면, 회의 시스템(101)은 컴퓨터 프로세싱 시스템 및 통신 인터페이스를 포함한다. 회의 시스템(101)은 또한 다른 컴포넌트들, 예를 들어 라우터, 서버, 데이터 저장 시스템, 및 전력 공급부를 포함할 수 있다. 회의 시스템(101)은 단일 디바이스 내에 상주하거나 다수의 디바이스들에 걸쳐서 분산될 수 있다. 회의 시스템(101)은 애플리케이션 서버, 개인용 워크스테이션 또는 다자 회의를 가능하게할 수 있는 임의의 다른 타입의 컴퓨팅 시스템-이들의 조합을 포함함-일 수 있다.

참여자 캡처 시스템(102)은 참여자(122)를 캡처하기 위한 하나 이상의 카메라들 및 회의 시스템(101)과 통신하기 위한 통신 회로를 포함한다. 캡처 시스템(102)은 또한 오디오를 캡처하기 위한 하나 이상의 마이크로폰들, 전력 공급부, 프로세싱 회로, 다른 컴포넌트들을 포함할 수 있다. 캡처 시스템(102)은 단일 디바이스 내에 상주하거나, 다수의 디바이스들에 걸쳐서 분산될 수 있다. 예를 들어, 캡처 시스템(102)은 참여자(122)를 캡처하기 위한 개별 카메라 컴포넌트 및 마이크로폰 컴포넌트를 포함할 수 있다. 일부 예들에서, 캡처 시스템(102)은 시스템(102)을 회전, 패닝(panning) 또는 기울이게 하는 모터들을 포함할 수 있다. 캡처 시스템(102)은 또한 3D 캡처 및 기록 능력들, 깊이 또는 스테레오 감지 능력을 포함할 수 있다.

AR HMD(103)는 참여자(123)가 자신의 머리에 HMD(103)를 착용하게 하는 프레임을 포함한다. 통상적으로, AR HMD(103)는 대체적으로 한 쌍의 안경의 형태를 취한다. HMD(103)는 영상 이미지들을 참여자(123)에게 디스플레이하기 위한 개인용 디스플레이를 포함할 수 있다. 이 디스플레이는 이미지들을 HMD(103)의 렌즈 상으로 투영하는 이미지 프로젝터를 포함하거나, 렌즈들 대신에 또는 렌즈들 내에 내장된 디스플레이, 예를 들어 LCD일 수 있다. HMD(103)는 프로세싱 및 통신 회로를 더 포함하고 오디오 재생 컴포넌트들, 예를 들어 스피커들 또는 헤드폰들을 포함할 수 있다. 추가적으로, HMD(103)는 영상 및 오디오 캡처 컴포넌트들, 예를 들어 카메라 및 마이크로폰을 포함할 수 있다.

통신 링크들(111 및 112)은 금속, 유리, 공기, 공간, 또는 일부 다른 재료를 전송 매체로서 사용한다. 통신 링크들(111 및 112)은 다양한 통신 프로토콜들, 예를 들어 TDM(Time Division Multiplex), IP(Internet Protocol), 이더넷, 통신 시그널링, CDMA(Code Division Multiple Access), EVDO(Evolution Data Only), WIMAX(Worldwide Interoperability for Microwave Access), GSM(Global System for Mobile Communication), LTe(Long Term Evolution), WIFI(Wireless Fidelity), HSPA(High Speed Packet Access), 또는 일부 다른 통신 포맷-이들의 조합을 포함함-을 사용할 수 있다. 통신 링크들(111 및 112)은 다이렉트 링크들일 수 있거나 중간 네트워크들, 시스템들, 또는 디바이스들을 포함할 수 있다.

도 4는 회의 환경(400)을 도시한 것이다. 회의 환경(400)은 회의 시스템(401), 미팅 룸(402), 미팅 룸(403), 개인 룸(404), 및 통신 네트워크(405)를 포함한다. 미팅 룸(402)은 AR HMD들(421-423), 오디오/영상 캡처 디바이스들(424), 및 룸 센서들(425)을 포함한다. 미팅 룸(403)은 AR HMD들(431-432), 오디오/영상 캡처 디바이스들(434), 및 룸 센서들(435)을 포함한다. 개인 룸(404)은 가상 현실(VR) HMD(441) 및 오디오 캡처(444)를 포함한다. 통신 네트워크(405)는 회의 시스템(401), 미팅 룸(402), 미팅 룸(403), 및 개인 룸(404)과 각기 통신 링크들(411-414)을 통해서 통신한다.

통신 네트워크(405)는 통신 서비스들을 룸들(402-404) 및 회의 시스템(401)에 제공하는 네트워크 요소들을 포함한다. 통신 네트워크(405)는 스위치들, 무선 액세스 노드들, 인터넷 라우터들, 네트워크 게이트웨이들, 애플리케이션 서버들, 컴퓨터 시스템들, 통신 링크들, 또는 일부 다른 타입의 통신 장비-이들의 조합을 포함함-를 포함할 수 있다. 단일 네트워크로서 도시되었지만, 통신 네트워크(405)는 LAN, WAN, 인터넷, 임의의 다른 타입의 컴퓨팅 네트워크-이들의 조합을 포함함-을 포함하는 네트워크들의 집합을 포함할 수 있다.

VR HMD(441)는 상술한 AR HMD와 유사한 방식으로 참여자가 HMD(441)를 자신의 헤드에 착용하도록 하는 프레임을 포함한다. HMD(441)는 영상 이미지들을 참여자(123)에게 디스플레이하기 위한 개인용 디스플레이를 더 포함한다. 디스플레이는, 참여자가 (만약에 있다면) 그들 주위의 물리적 장면을 거의 보지 못하도록, 렌즈들 대신 내장되어 HMD에 위치되는 디스플레이, 예를 들어 LCD를 포함할 수 있다. 따라서, VR HMD(441)는, 디스플레이된 시각적 사항들에 참여자가 몰두하게 한다. HMD(441)는 프로세싱 및 통신 회로를 더 포함하며, 오디오 재생 컴포넌트들, 예를 들어 스피커들 또는 헤드폰들을 포함할 수도 있다. 추가적으로, HMD(441)는 영상 및 오디오 캡처 컴포넌트들, 예를 들어 카메라 또는 마이크로폰을 포함할 수 있다.

오디오/영상 캡처 디바이스들(424 및 434)은 컴포넌트들, 예를 들어 2D 또는 3D 카메라들 및 마이크로폰들을 포함하며, 이 컴포넌트들은 미팅 룸들(402 및 403)의 영상과 오디오 및 미팅 룸들(402 및 403) 내에 위치한 참여자들을 캡처하는데 사용된다. A/V 캡처 디바이스들(424 및 434)은 유선 또는 무선 네트워킹을 위한 회로, 예를 들어 이더넷 인터페이스, Wi-Fi 인터페이스, 블루투스 모듈, 또는 다른 타입의 통신 인터페이스를 더 포함한다. 일부 예들에서, A/V 캡처 디바이스들(424 및 434)의 특정 컴포넌트들은 AR HMD들(421-423 및 431-432) 내에 포함될 수 있다.

룸 센서들(425 및 435)은 참여자 위치 및 뷰를 결정하는데 사용되는 정보를 캡처하는 컴포넌트들을 포함한다. 센서들(425 및 435)은 근접 센서들, RFID 태그들, 적외선 태그들, 컴파스들, 음파 센서들, 가속도계들, 자이로 센서들, 또는 관련 정보를 제공할 수 있는 임의의 다른 컴포넌트들을 포함할 수 있다. 센서들(425 및 435)의 컴포넌트들 중의 적어도 일부는 HMD들(421-423 및 431-432) 및 A/V 캡처 디바이스들(424 및 434) 내에 통합될 수 있다.

일부 예들에서, 룸들(402-404) 각각은 룸 HMD들, A/V 캡처 디바이스들, 및 룸 센서들 각각과 통신하는 중간 컴퓨터 시스템을 더 포함할 수 있다. 이어서, 중간 컴퓨터 시스템들은 회의 시스템(401)과 통신한다. 일부 구성들에서, 회의 시스템(401)에 의해 수행되는 기능들 중 일부는, 회의 시스템(401) 대신에 이러한 중간 컴퓨터 시스템들에 의해서 처리될 수 있다.

도 5는 원격 참여자들 간의 개선된 화상 통신을 가능하게 하기 위한 동작상의 시나리오(500)를 예시하는 시퀀스 도면이다. 시나리오(500)에서, 회의 세션이 개시되고 회의 시스템(401)이 캡처된 오디오 및 영상을 A/V 캡처 디바이스들(424 및 434)로부터, 룸 센서들(425 및 435)로부터의 센서 정보와 함께 수신하기 시작한다. 또한, 이 예에서는, 오직 오디오만이 개인 룸(404)에 있는 오디오 캡처 디바이스(444)로부터 수신된다. 그러나, 다른 예들에서는, 미팅 룸들(402 및 403)에 있는 참여자들에게 제공하기 위하여, VR HMD(441)을 착용한 참여자로부터 영상이 캡처될 수 있다.

이어서, 회의 시스템(401)은 수신된 오디오, 영상 및 센서 정보를 이용하여, HMD들을 통해 원격 참여자들에게 보여질 각 미팅 룸(402 및 403) 내에서의 위치들을 결정한다. 특히, 회의 시스템(401)은 HMD들(431, 432, 및 441)을 착용한 참여자들의 재현이 디스플레이될 미팅 룸(402) 내의 위치들을 결정한다. 마찬가지로, 회의 시스템(401)은 HMD들(421-423 및 441)을 착용한 참여자들의 재현이 디스플레이될 미팅 룸(403) 내의 위치들을 결정한다.

또한, 회의 시스템(401)은 VR HMD(441)의 참여자가 회의 세션에 참여할 위치 및 뷰를 결정한다. VR 참여자들은 미팅 룸(402, 403) 내의 VR 위치 또는 미팅 룸들(402 및 403)의 참여자들의 재현이 놓이게 되는 가상 미팅 룸 재현 내의 VR 위치로부터 회의를 볼 수 있다. 이어서, VR 참여자에게 가상 현실 미팅 경험의 일부로서 미팅 룸(402-403)에 있는 참여자들을 나타내는 것들 이외에도 선택된 미팅 룸의 백그라운드가 제공될 것이다.

일부 예들에서, 이 위치 결정 단계는, 하나 이상의 참여자들이 변경될 필요가 있는 경우에는 회의 동안 반복될 수 있다. 예를 들어, 주어진 물리적 미팅 룸 내의 참여자들을 위한 위치들보다 많은 참여자들이, 회의 세션 시에 존재할 수도 있다. 따라서, 오직 특정 참여자들만이, 예를 들어 가장 최근의 발언자들만이 물리적 미팅 룸 내의 참여자들에게 디스플레이될 수도 있다. 새로운 발언자가 발언을 하면, 이 발언자는 잠시 발언을 하지 않은 발언자의 위치를 취할 수 있다.

일단 위치들이 결정되었으면, 동작들(600 및 700)이 수행되어 AR HMD들(421-423 및 431-432) 및 VR HMD(441)에 의해서 디스플레이용 영상을 생성한다. 도 6은 동작(700)이 VR 영상을 생성하고, 동작(600)이 AR 영상을 생성하는 것을 도시한 것이다.

동작(600)에서, 회의 시스템(401)은 AR HMD들(421-423 및 431-432) 각각으로부터의 뷰들을 결정한다(단계 601). 이 뷰들은 AR HMD들 각각에 의해서 캡처된 영상 및 센서들(425 및 435)로부터의 룸 센서 정보로부터 결정된다. 이 뷰들은 다른 참여자들의 영상이 AR HMD의 현 뷰에 대하여 결정된 위치들에서 AR HMD들에게 제공될 수 있도록 결정된다.

이어서, AR 영상이 각 AR HMD(421-423 및 431-432)에 대해서 생성된다(단계 602). 각 AR HMD의 영상은 동일한 룸에 물리적으로 위치하지 않은 다른 참여자들의 재현들을 포함한다. 일부 예들에서, 각 영상은 각각의 AR HMD가 간단하게 영상을 디스플레이하도록, 그들의 현재 위치들의 뷰 내에 모든 원격 참여자들을 현재적으로 포함할 수 있다. 다른 예들에서는, 뷰 내의 각 원격 참여자에 대한 영상이 생성되며, 각 원격 참여자에 대한 영상의 위치는, 디스플레잉 AR HMD가 태깅에 따라 일 위치에서 각 참여자 영상을 디스플레이하도록 태깅된다(tagged). AR 영상을 생성하는 다른 변형들이 또한 사용될 수도 있다.

회의 시스템(401)은 각 AR HMD로부터의 뷰들에 대한 변경사항들을 계속 추적한다(단계 603). 뷰 변경사항들은 각각의 AR HMD로부터의 업데이트된 뷰들을 야기하는 AR HMD들로부터의 영상 및 후속 센서 정보에 기초하여 추적된다. 예를 들어, 각 참여자는 자신의 머리를 돌리거나 이와 달리 움직일 가능성이 있을 것이고, 이로써 참여자의 뷰는 변경되며, 따라서 이 뷰 내의 변경에 대하여 각 원격 참여자의 위치도 변경된다. 뷰 변경사항들에 기초하여, 각 AR HMD용 AR 영상은 뷰 내의 변경을 다루도록 조절된다(단계 604). 즉, AR 영상 내에 디스플레이된 원격 참여자들은, 변경된 뷰의 관점에 대하여 그들의 결정된 위치들에서 머무르도록 조절될 필요가 있을 수가 있다. 이러한 조절들은 AR 참여자가 자신의 머리를 이동할 때에 위치를 유지하도록 하기 위하여 AR 참여자가 원격 참여자 "점프(jump)"를 보지 못하도록 매우 신속하게 발생한다.

도 7은 AR 영상을 생성하는 동작(600)과 동시에 VR 영상을 생성하기 위한 동작(700)을 도시한 것이다. 동작(700)에서, VR HMD(441)의 뷰가 결정된다(단계 701). VR HMD(441)가 미팅 룸 내에 위치하지 않기 때문에, 이 뷰는 그것의 참여자에 대한 (예를 들어, 머리 기울임, 머리 돌림 등에 의해 유발되는) 현 위치 VR HMD(441)에 기초하여, 회의 시스템(401)에 의해서 VR 참여자에 대해서 결정된 위치의 관점으로부터 VR HMD(441)에 의해서 제공될 미팅 룸의 장면을 포함한다. 상술한 바와 같이, 이 뷰는 미팅 룸(402), 미팅 룸(403), 또는 회의 시스템(401)에 의해서 그래픽 방식으로 생성된 일부 다른 가상 미팅 룸의 캡처된 영상일 수 있다.

이어서, VR 영상이 생성되어서 이 뷰를 위해서 캡처된 룸 내에 물리적으로 있지 않은 임의의 참여자들의 영상 재현들을 포함하는 결정된 뷰를 형성한다(단계 702). 예를 들어, 미팅 룸(402)이 VR HMD(441)가 나타내는 룸으로서 사용되면, 시야각에 따라서, AR HMD들(421-423)의 참여자들은 이미 이 영상에서 캡처된다. 미팅 룸(403) 내의 참여자들의 캡처된 영상은, 그들의 위치가 현 뷰 내에 포함된 경우에, 룸(402) 내의 그들의 결정된 위치에서 VR 영상 내로 오버레이된다. 이로써, VR 영상은 자신이 룸(402) 내의 AR 참여자라고 가정할 때에 참여자가 가질 뷰와 매우 유사하게 VR 참여자에게 보일 것이다. 물리적 미팅 룸 자체인 것과 그 룸 내에 있는 물리적 참여자들인 것과의 차이점은 VR HMD(441)을 통해 재생되는 것이 아닌 투명 렌즈들을 통해 직접적으로 보여지는 것이다. 다른 예에서, VR 영상 내의 미팅 룸이 회의 시스템(401)에 의해서 생성된 가상 미팅 룸을 포함하는 경우, 미팅 룸들(402 및 403) 내의 참여자들은 모두가 이 가상 미팅 룸 내의 그들의 결정된 위치들에서 오버레이될 필요가 있을 것이다.

이어서, 회의 시스템(401)은 회의 세션이 진행됨에 따라, VR HMD(441)의 뷰에서의 변경사항들을 추적한다(단계 703). 이러한 변경사항들은 VR HMD(441)로부터 수신된 센서 정보에 기초하여 추적되며 참여자가 머리를 기울이거나 돌리거나 또는 이와 달리 움직이는 것을 나타낼 수 있다. 이어서, VR 영상은 이러한 추적된 변경사항들에 기초하여 조절된다(단계 704). 즉, VR 영상은 미팅 룸 장면의 어느 부분이든 참여자의 현 머리 위치와 대응하는 것을 디스플레이할 것이다. 예를 들어, 참여자가 자신의 머리를 좌측에서 우측으로 움직이면, VR 영상에 의해 디스플레이된 뷰는 가능한 한 부드럽게 좌측에서 우측으로 패닝(panning)할 것이며 디스플레이된 룸 내의 그들의 올바른 위치들 내로 임의의 원격 참여자들을 위치시킬 것이다. 이 프로세스는 다른 참여자들과 룸 내에 있는 것과 같은 시각적 경험을 VR 참여자에게 효과적으로 제공한다.

다시 도 5를 참조하면, 일단 AR 및 VR 영상이 생성되었으면, AR 영상은 미팅 룸들(402 및 403)에 있는 AR HMD들(421-423 및 431-432)로 전달되고, VR 영상은 독립적 룸(404)에 있는 VR HMD(441)으로 전달된다. 이어서, AR HMD들(421-423 및 431-432) 및 VR HMD(441)은 수신된 영상을 그들 각각의 착용자들에게 나타낸다. 마찬가지로, AR 및 VR 영상에 대응하는 오디오가 AR 및 VR 영상과 함께 또는 여기에 포함되어 각 HMD에 전달된다. 이 오디오는 수신하는 HMD 자체에 의해서 제공되거나, 룸들(402-404) 내의 다른 오디오 디바이스들에 의해서 제공될 수 있다. 특정 예에서, 이 영상 내의 원격 참여자의 목소리를 나타내는 오디오는 이 룸 내의 스피커의 위치로부터 발생하는 오디오를 시뮬레이션하도록 룸 내에 위치한 스피커로부터 제공될 수 있다. 도 5의 단계들은 HMD들을 착용하는 모든 참여자들 간의 실시간 통신들을 가능하게하도록 계속하여서 발생한다.

도 8은 룸들(402-404) 내의 참여자들의 예시적인 방향을 도시한 것이다. 특히, 미팅 룸(402)은 각기 AR HMD들(421-423)을 착용하고 있는 참여자들(811-813)을 포함한다. 미팅 룸(403)은 각기 AR HMD들(421-423)을 착용하고 있는 참여자들(814 및 815)을 포함한다. 독립적 룸(404)은 VR HMD(441)을 착용하고 있는 참여자(816)를 포함한다. 이 예에서, 미팅 룸(402)은 6 개의 좌석 위치들을 가진 회의 테이블을 포함하며, 디바이스들(821-826)이 각각의 좌석 위치에 존재한다. 각 디바이스(821-826)는 A/V 캡처 디바이스들(424) 및 룸 센서들(425)의 컴포넌트들을 포함한다. 미팅 룸(403)은 6 개의 좌석 위치들을 또한 갖는 회의 테이블을 포함하며, 디바이스들(831-836)이 각각의 좌석 위치에 존재한다. 각 디바이스(831-836)는 A/V 캡처 디바이스들(434) 및 룸 센서들(435)의 컴포넌트들을 포함한다. 또한, 이 예에서, 오디오 캡처 디바이스(444)는 VR HMD(441) 내로 통합된다.

동작 시에, 디바이스들(822, 825, 826, 831, 832, 834, 및 836)은 그들의 위치들에 참여자들이 없으며, 따라서 회의 세션 동안에 임의의 오디오 또는 영상 정보를 캡처하지 못한다. 그러나, 이러한 디바이스들은 뷰들을 결정하기 위해 사용되는 다른 정보를 계속하여 캡처하고, 이 정보를 회의 시스템(401)에 전달할 수 있다. 이와 반대로, 디바이스들(821, 823, 824, 833, 및 835) 모두는 그들 각각의 위치들에 참여자들이 존재한다. 따라서, 일단 회의 세션이 시작되면, 이러한 디바이스들은 그들 각각의 참여자들의 오디오 및 영상을 캡처하기 시작하고 이 캡처된 오디오 및 영상을 회의 시스템(401)에 전달하기 시작한다. 또한, 각 AR HMD들(421-423 및 431-432)은 영상을 캡처하여 회의 시스템(401)에 전달하는, 외측으로 대면하고 있는 영상 카메라들을 포함하며, 회의 시스템(401)은 이 영상을 사용하여 각 참여자의 뷰를 결정한다. 또한, 캡처 디바이스(827)는 VR 영상에서 사용하기 위해서 미팅 룸(402)의 영상을 캡처하며, 회의의 시각적 관점(perspective)을 참여자(816)에게 VR HMD(441)을 통해 제공한다.

미팅 참여자들의 위치들에서의 캡처 디바이스들이 아닌 캡처 디바이스들이 또한 원격 참여자들에 대한 목표된 영상 각도를 제공하도록 참여자들의 영상을 캡처할 수 있다. 예를 들어, 이 캡처 디바이스가 사용되어서 원격 참여자가 물리적 참여자를 바라보는 각도에 대응하는 물리적 참여자의 각도를 최상으로 캡처할 수 있다. 보다 구체적으로, 원격 참여자가 디바이스(822) 옆의 비어있는 위치로부터 미팅을 보고 있는 경우, 디바이스(822)는 이 참여자를 위해서 미팅 룸(402)을 캡처하는데 사용될 수 있다. 또한, 디바이스(827) 또는 미도시된 다른 디바이스들을 포함하여 다수의 캡처 디바이스들이 가능한 한 많은 적절한 각도들로부터 영상이 캡처되는 것을 보장하기 위해 사용될 수 있다.

오디오, 영상, 및 다른 센서 정보를 수신하면, 회의 시스템(401)은 위의 도 5 내지 도 7에서 기술된 동작들을 수행한다. 이러한 동작들은 회의 시스템(401)으로 하여금, 참여자들(811-813, 814-815, 및 816) 모두가 동일한 룸 내에 있는 것과 같이 회의 세션을 경험하도록 이 모든 참여자들에게 필요한 AR 및 VR 영상을 제공하게 한다.

도 9는 참여자들이 회의 시스템(401)에 의해 제공된 영상을 통해서 회의 세션을 보고 있는 경우, 룸들(402-404) 내의 참여자들의 예시적인 방향을 도시한 것이다. 구체적으로, 도시된 바와 같이, 회의 시스템(401)은 각 룸으로부터 떨어진 참여자들에 대한 각 룸(402 및 403) 내에서의 위치들을 결정하였다. 이 예에서는 참여자(816)에 대해서는 어떠한 영상도 캡처되지 않았기 때문에 참여자(816)에 대한 어떠한 위치도 결정되지 않았으며, 그렇더라도, 참여자(816)로부터의 오디오는 특정 위치로부터 제공될 수 있다. 그러나, 일부 예들에서는, 영상이 참여자(816)에 대해 캡처될 수 있으며, 이에 따라 각 룸들(402 및 403) 내의 빈 지점(open spot)을 참여자(816)가 취할 수 있다. 이와 달리, 참여자(816)는 참여자(816)의 실시간 영상 대신에 아바타 또는 다른 그래픽적 재현으로서 나타내어질 수 있다.

그들의 AR HMD들을 통해 보여질 때에, 룸(402)에 있는 참여자들(811-813)은 참여자들(814-815)이 룸(402)에 있는 것과 같이 룸(402) 내의 위치들에 있는 참여자들(814-815)의 영상을 볼 수 있다. 마찬가지로, 룸(403)에 있는 참여자들(814-815)은 참여자들(811-813)이 룸(403)에 있는 것과 같이 룸(403) 내의 위치들에 있는 참여자들(811-813)의 영상을 볼 수 있다. 특정 예에서, 뷰(901)는 참여자(811)가 자신의 AR HMD(421)를 통해 본 것이다. 참여자(815)의 위치가 물리적으로는 비어있을지라도, 참여자(811)에게 제공된 AR 영상은 참여자(815)가 해당 위치에 있는 것과 같이 보이게 만든다. 마찬가지로, 뷰(902)는 참여자(815)가 자신의 AR HMD(432)을 통해 본 것이다. 참여자들(811 및 812)의 위치들이 물리적으로 비어있을지라도, 참여자(815)에게 제공된 AR 영상은 참여자들(811 및 812)이 해당 위치들에 있는 것과 같이 보이게 만든다.

뷰들(901 및 902)이 변경되는 때에(예를 들어, 참여자들(811 및 815)이 자신의 머리를 돌리거나 기울이는 때에), 회의 시스템(401)은 이러한 뷰 변경사항들을 추적하며 이에 따라 원격 참여자들이 계속하여 그들의 올바른 위치들에서 나타내어질 수 있도록 보장하기 위해서 각 참여자에 대한 AR 영상을 조절한다. 이로써, 뷰(901)의 경우에, 참여자(811)가 자신의 머리를 보다 좌측으로 돌리면, AR 영상은 참여자(815)를 더 이상 나타내지 않을 수 있는데 그 이유는 참여자(815)가 뷰 밖으로 움직이고 참여자(814)가 이 뷰 내로 움직이면 참여자(811) 옆에 "앉아 있는" 참여자(814)를 나타내기 때문이다.

참여자(816)와 관련하여, 참여자(816)에게 제공된 VR 영상은 디바이스(827)에 의해서 캡처된 뷰(903)를 포함한다. 참여자(814)의 영상은, 참여자(814)가 룸 (402) 내에서 참여자들(811 및 812) 간에서 앉아 있는 것처럼 보이도록, 회의 시스템(401)에 의해서 뷰(903) 내로 오버레이된다. 참여자(816)가 자신의 머리를 우측으로 이동하면, 뷰(903)가 변화되고 참여자(813)가 디바이스(827)에 의해서 캡처되는 바와 같이 뷰 내로 들어온다. 또한, 더 우측으로 움직이면, 참여자(815)의 영상은, 참여자(815)가 룸(432)에 있는 것과 같이 참여자(816)가 참여자(815)를 볼 수 있도록, VR 영상 내로 더 오버레이된다. 디바이스(827)는 참여자(816)의 머리의 움직임들을 따라서 뷰(903)를 캡처하도록 자신을 움직일 필요가 있거나, 디바이스(827)는 참여자(816)에 대한 VR 영상을 생성하기 위해서 회의 시스템(401)이 단지 뷰를 이미 캡처된 영상 내로 움직이기만 하면 되도록 하는 충분하게 폭이 큰 영상을 캡처할 수 있다.

또한, AR 영상의 실효성을 증가시키기 위해서, 각 원격 참여자로부터의 오디오가 해당 참여자의 위치에 있는 디바이스로부터 재생된다. 예를 들어, 참여자(814)가 말하고 있다면, 디바이스(822)가, 참여자(814)가 실제로 AR 영상에서 나타난 룸(402) 내의 위치에 있는 것과 같이 참여자들(811-813)이 참여자(814)를 듣도록 참여자(814)의 오디오를 제공할 수 있다. 룸들(402 및 403) 내의 임의의 디바이스가 참여자(816)에 대해서 캡처된 오디오를 제공할 수 있다. 그러나, 위치가 룸들(401 및 403) 중 어느 하나 또는 양쪽 모두 내에서 참여자(816)에 대해서 결정되면, 오디오는 이 결정된 위치로부터 나오는 것과 같이 되도록 제공될 수 있다.

미팅 룸들(402 및 403) 모두가 물리적 참여자들 자체들을 포함하여, 다른 참여자들의 뷰를 방해할 수 있는 대상들을 포함할 가능성이 높다는 것에 유의해야 한다. 따라서, 원격 참여자가 룸 내에 물리적으로 위치하는 것을 최상으로 모방하여 보여주기 위해서, 원격 참여자들의 영상은 이러한 대상들을 처리할 필요가 있다. 예를 들어, 디바이스(826)가 뷰(901) 내의 원격 참여자(815)의 뷰를 방해할 수 있다. 따라서, 원격 참여자(815)의 AR 영상은, 참여자(815)가 룸(402) 내에 물리적으로 있다고 가정되는 바와 같이 되도록 참여자(815)가 디바이스(826) 후방에 있는 것과 같이 뷰(901)에서 참여자(811)에게 보이도록, 생성된다.

일부 예들에서, 회의 시스템(401)은 프리젠테이션(presentation) 정보를 각 참여자가 보는 AR 및 VR 영상 내로 더 삽입할 수 있다. 예를 들어, 이 정보는 AR 또는 VR 영상 내로 오버레이되는 것으로부터 미팅 룸(402 또는 403)의 벽 또는 테이블/책상 상으로 투영되는 것과 같이 보이는 프리젠테이션 슬라이드들을 포함할 수 있다. 이와 달리, 이 정보는 임의의 물리적 특징부분들과 독립적인 방식으로 나타날 수 있다. 마찬가지로, 채팅 윈도우들, 회의 세션과 관련된 상황 정보, 또는 참여자가 유용하다고 고려할 수 있는 임의의 다른 시각적 정보와 같은 다른 정보가 회의 시스템(401)에 의해서 AR 및 VR 영상 내로 포함될 수 있다.

도 10은 회의 시스템(1000)을 도시한다. 회의 시스템(1000)은 회의 시스템(101)의 예이지만, 회의 시스템(101)은 다른 구성을 사용할 수 있다. 회의 시스템(1000)은 통신 인터페이스(1001), 사용자 인터페이스(1002) 및 프로세싱 시스템(1003)을 포함한다. 프로세싱 시스템(1003)은 통신 인터페이스(1001) 및 사용자 인터페이스(1002)에 링크된다. 프로세싱 시스템(1003)은 프로세싱 회로(1005) 및 동작 소프트웨어(1007)를 저장하는 메모리 디바이스(1006)를 포함한다. 회의 시스템(1000)은 다른 잘 알려진 컴포넌트들, 예를 들어 명료성을 위해서 도시되지 않은 배터리 및 인클로저를 포함할 수 있다. 회의 시스템(1000)은 개인용 컴퓨터, 서버, 또는 일부 다른 컴퓨팅 장치-이들의 조합을 포함함-일 수 있다. 일부 예들에서, 회의 시스템(1000)은 본 명세서에서 기술된 바와 같이 기능하기 위해서 요구된 프로세싱 부하를 분산시키기 위해서 다수의 위치들에 걸쳐서 복제될 수 있다.

통신 인터페이스(1001)는 통신 링크들을 통해서 통신하는 컴포넌트들, 예를 들어 네트워크 카드들, 포트들, RF 송수신기들, 프로세싱 회로 및 소프트웨어, 또는 일부 다른 통신 디바이스들을 포함한다. 통신 인터페이스(1001)는 금속성, 무선 또는 광학적 링크들을 통해서 통신하도록 구성될 수 있다. 통신 인터페이스(1001)는 TDM, IP, 이더넷, 광학적 네트워킹, 무선 프로토콜들, 통신 시그널링, 또는 일부 다른 통신 포맷-이들의 조합을 포함함-을 사용하도록 구성될 수 있다.

사용자 인터페이스(1002)는 사용자 입력들을 수신하고 미디어 및/또는 정보를 제공하도록 사용자와 상호작용하는 컴포넌트들을 포함한다. 사용자 인터페이스(1002)는 스피커, 마이크로폰, 버튼들, 광들, 디스플레이 스크린, 터치 스크린, 터치 패드, 스크롤 휠, 통신 포트, 또는 일부 다른 사용자 입력/출력 장치-이들의 조합을 포함함-를 포함할 수 있다. 사용자 인터페이스(1002)는 일부 예들에서 생략될 수 있다.

프로세싱 회로(1005)는 메모리 디바이스(1006)로부터 동작 소프트웨어(1007)를 검색하여서 실행시키는 다른 회로 및 마이크로프로세서를 포함한다. 메모리 디바이스(1006)는 비일시적 저장 매체, 예를 들어 디스크 드라이브, 플래시 드라이브, 데이터 저장 회로, 또는 일부 다른 메모리 장치를 포함한다. 프로세싱 회로(1005)는 통상적으로 메모리 디바이스(1006)와 통신 인터페이스(1001) 및 사용자 인터페이스(1002)의 일부들을 또한 유지할 수 있는 회로 보드 상에 장착될 수 있다. 동작 소프트웨어(1007)는 컴퓨터 프로그램들, 펌웨어, 또는 일부 다른 형태의 머신-판독가능한 프로세싱 명령어를 포함한다. 동작 소프트웨어(1007)는 위치 및 뷰 결정 모듈(1008) 및 영상 생성 모듈(1009)을 포함한다. 동작 소프트웨어(1007)는 운영 체제, 유틸리티들, 드라이버들, 네트워크 인터페이스들, 애플리케이션들, 또는 일부 다른 타입의 소프트웨어를 더 포함할 수 있다. 프로세싱 회로(1005)에 의해서 실행될 때에, 동작 소프트웨어(1007)는 프로세싱 시스템(1003)으로 하여금 본 명세서에서 기술된 바와 같이 회의 시스템(1000)을 동작시키도록 한다.

특히, 동작 소프트웨어(1007)는 프로세싱 시스템(1003)으로 하여금, 회의 세션 동안에, 물리적 미팅 장소로부터 떨어진 곳에 있는 제 1 참여자의 캡처된 제 1 영상을 수신하게 한다. 위치 및 뷰 결정 모듈(1008)은 프로세싱 시스템(1003)으로 하여금 물리적 미팅 장소에 있는 제 1 참여자에 대한 제 1 위치를 결정하게 하고, 물리적 미팅 장소에 있는 제 2 참여자가 착용한 증강 현실(Augmented Reality: AR) 헤드 장착형 디스플레이(HMD)의 뷰를 결정하게 한다. 영상 생성 모듈(1009)은 프로세싱 시스템(1003)으로 하여금, AR 헤드 장착형 디스플레이를 통해서 보여질 때에 제 1 참여자가 상기 제 1 위치에 있는 것 같이 제 2 참여자에게 보이게 하는 AR 영상을, 상기 제 1 영상으로부터 생성하게 하고, 또한 그 AR 영상을 제 2 참여자에게 나타내기 위해 AR 헤드 장착형 디스플레이에 전달하게 한다.

위의 설명 및 관련 도면들은 본 발명의 최상의 모드를 교시한다. 다음의 청구항들은 본 발명의 범위를 특정한다. 최상의 모드의 일부 측면들은 청구항들에서 특정된 바와 같은 본 발명의 범위 내에 해당하지 않을 수 있음이 주목된다. 본 기술 분야의 당업자는 상술된 특징들이 본 발명의 다수의 변형들을 형성하도록 다양한 방식들로 조합될 수 있음을 이해할 것이다. 이로써, 본 발명은 이상에서 기술된 특정 실시예들로 한정되지 않고 오직 청구항들 및 이들의 균등범위들로만 한정된다.

Claims

명령어가 저장된 비일시적 컴퓨터 판독가능한 저장 매체로서,
상기 명령어는 회의 시스템에 의해 실행될 때에, 상기 회의 시스템으로 하여금 원격 참여자들 간의 개선된 화상 통신을 가능하게 하는 방법을 수행하게 하며,
상기 방법은,
회의 세션 동안에, 물리적 미팅 장소(meeting location)로부터 떨어진 곳에 있는 제 1 참여자의 캡처된 제 1 영상을 수신하는 단계와,
상기 물리적 미팅 장소 내에서의 상기 제 1 참여자에 대한 제 1 위치를 결정하는 단계와,
상기 물리적 미팅 장소에 있는 제 2 참여자가 착용한 증강 현실(Augmented Reality: AR) 헤드 장착형 디스플레이의 뷰(view)를 결정하는 단계와,
상기 AR 헤드 장착형 디스플레이를 통해 보여질 때에, 상기 제 1 참여자가 상기 제 1 위치에서 상기 제 2 참여자에게 보이게 하는 AR 영상을, 상기 제 1 영상으로부터 생성하는 단계와,
상기 AR 영상을 상기 제 2 참여자에게 나타내기 위해서, 상기 AR 영상을 상기 AR 헤드 장착형 디스플레이에 전달하는 단계를 포함하는
비일시적 컴퓨터 판독가능한 저장 매체.
제 1 항에 있어서,
상기 방법은,
상기 물리적 미팅 장소의 캡처된 제 2 영상을 수신하는 단계와,
상기 물리적 미팅 장소로부터 떨어진 곳에 있는 제 3 참여자에 대한 상기 물리적 미팅 장소 내에서의 제 2 위치를 결정하는 단계와,
상기 제 1 위치에 있는 상기 제 1 참여자를 상기 제 2 위치의 관점(view point)에서 물리적 미팅 룸에 나타내는 VR(Virtual Reality) 영상을, 상기 제 1 영상 및 상기 제 2 영상으로부터 생성하는 단계와,
상기 VR 영상을 상기 제 3 참여자에게 나타내기 위해서, 상기 VR 영상을 상기 3 참여자가 착용한 VR 헤드 장착형 디스플레이에 전달하는 단계를 더 포함하는
비일시적 컴퓨터 판독가능한 저장 매체.
제 2 항에 있어서,
상기 AR 영상을 생성하는 단계는, 상기 AR 헤드 장착형 디스플레이를 통해 보여질 때에, 상기 제 3 참여자가 상기 제 2 위치에서 상기 제 2 참여자에게 보이도록 더 나타내는
비일시적 컴퓨터 판독가능한 저장 매체.
제 1 항에 있어서,
상기 방법은,
상기 제 1 영상과 함께 상기 제 1 참여자의 캡처된 제 1 오디오를 수신하는 단계와,
상기 물리적 미팅 장소에 있는 오디오 디바이스에 상기 제 1 오디오를 전달하는 단계를 더 포함하며,
상기 오디오 디바이스는, 상기 제 2 참여자가 실질적으로 상기 제 1 위치로부터 나오는 것과 같이 오디오를 듣도록 상기 제 1 오디오를 제공하는
비일시적 컴퓨터 판독가능한 저장 매체.
제 1 항에 있어서,
상기 AR 헤드 장착형 디스플레이의 뷰를 결정하는 단계는,
상기 AR 헤드 장착형 디스플레이로부터 방향 정보(orientation information)를 수신하는 단계와,
상기 제 2 참여자에 대한 위치 정보를, 상기 AR 헤드 장착형 디스플레이의 외부에 있는 소스들로부터 수신하는 단계와,
상기 방향 정보 및 상기 위치 정보에 기초하여, 상기 AR 헤드 장착형 디스플레이의 뷰를 식별하는 단계를 포함하는
비일시적 컴퓨터 판독가능한 저장 매체.
제 1 항에 있어서,
상기 AR 영상을 생성하는 단계는,
상기 회의 세션과 연관된 추가 시각적 정보가 상기 AR 헤드 장착형 디스플레이를 통해서 보여질 때에 상기 추가 시각적 정보가 상기 물리적 미팅 장소 내의 일 위치에서 상기 제 2 참여자에게 보이도록, 상기 추가 시각적 정보를 오버레이(overlay)하는 단계를 더 포함하는
비일시적 컴퓨터 판독가능한 저장 매체.
원격 참여자들 간의 개선된 화상 통신을 가능하게 하기 위한 회의 시스템으로서,
회의 세션 동안에, 물리적 미팅 장소로부터 떨어진 곳에 있는 제 1 참여자의 캡처된 제 1 영상을 수신하도록 구성된 통신 인터페이스와,
상기 물리적 미팅 장소 내에서의 상기 제 1 참여자에 대한 제 1 위치를 결정하고, 상기 물리적 미팅 장소에 있는 제 2 참여자가 착용한 증강 현실(AR) 헤드 장착형 디스플레이의 뷰를 결정하고, 또한 상기 AR 헤드 장착형 디스플레이를 통해 보여질 때에 상기 제 1 참여자가 상기 제 1 위치에서 상기 제 2 참여자에게 보이게 하는 AR 영상을, 상기 제 1 영상으로부터 생성하도록 구성된 프로세싱 회로와,
상기 AR 영상을 상기 제 2 참여자에게 나타내기 위해서, 상기 AR 영상을 상기 AR 헤드 장착형 디스플레이에 전달하도록 구성된 상기 통신 인터페이스를 포함하는
회의 시스템.
제 7 항에 있어서,
상기 물리적 미팅 장소의 캡처된 제 2 영상을 수신하도록 구성된 상기 통신 인터페이스와,
상기 물리적 미팅 장소로부터 떨어진 곳에 있는 제 3 참여자에 대한 상기 물리적 미팅 장소 내에서의 제 2 위치를 결정하고, 상기 제 1 위치에 있는 상기 제 1 참여자를 상기 제 2 위치의 관점에서 물리적 미팅 룸에 나타내는 VR(Virtual Reality) 영상을, 상기 제 1 영상 및 상기 제 2 영상으로부터 생성하도록 구성된 상기 프로세싱 회로와,
상기 VR 영상을 상기 제 3 참여자에게 나타내기 위해서, 상기 VR 영상을, 상기 3 참여자가 착용한 VR 헤드 장착형 디스플레이에 전달하도록 구성된 상기 통신 인터페이스를 더 포함하는
회의 시스템.
제 8 항에 있어서,
상기 AR 영상을 생성하도록 구성된 상기 프로세싱 회로는, 상기 AR 헤드 장착형 디스플레이를 통해 보여질 때에 상기 제 3 참여자가 상기 제 2 위치에서 상기 제 2 참여자에게 보이도록 나타내게 구성되는 프로세싱 회로를 포함하는
회의 시스템.
제 7 항에 있어서,
상기 제 1 영상과 함께 상기 제 1 참여자의 캡처된 제 1 오디오를 수신하고 또한 상기 물리적 미팅 장소에 있는 오디오 디바이스에게 상기 제 1 오디오를 전달하도록 구성된 상기 통신 인터페이스를 더 포함하며,
상기 오디오 디바이스는, 상기 제 2 참여자가 실질적으로 상기 제 1 위치로부터 나오는 것과 같이 오디오를 듣도록, 상기 제 1 오디오를 제공하는
회의 시스템.