KR101665229B1 - 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신의 제어 - Google Patents
증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신의 제어 Download PDFInfo
- Publication number
- KR101665229B1 KR101665229B1 KR1020150010689A KR20150010689A KR101665229B1 KR 101665229 B1 KR101665229 B1 KR 101665229B1 KR 1020150010689 A KR1020150010689 A KR 1020150010689A KR 20150010689 A KR20150010689 A KR 20150010689A KR 101665229 B1 KR101665229 B1 KR 101665229B1
- Authority
- KR
- South Korea
- Prior art keywords
- participant
- hmd
- view
- participants
- image
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 9
- 238000004891 communication Methods 0.000 title claims description 61
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000008859 change Effects 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims description 37
- 230000000007 visual effect Effects 0.000 claims description 29
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 238000005452 bending Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000193 eyeblink Effects 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1827—Network arrangements for conference optimisation or adaptation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
- H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/155—Conference systems involving storage of or access to video conference sessions
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Telephonic Communication Services (AREA)
Abstract
본 명세서에 개시된 실시예들은, 원격 증강 현실(Augmented Reality: AR) 및 가상 현실(Virtual Reality: VR) 참여자들 간의 미팅을 제어하는 것을 가능하게 하기 위한 방법들, 시스템들 및 컴퓨터 판독가능한 저장 매체를 제공한다. 특정 실시예에서, 방법은 회의 세션 동안에, 복수의 헤드 장착형 디스플레이(head mounted displays: HMDs) - 복수의 HMDs의 각각은 복수의 참여자들 중 한 명의 참여자에 의해 착용됨 - 중 제 1 HMD로부터 제 1 뷰 정보와 제 1 방향 정보를 컴파일링하는 단계를 제공한다. 제 1 방향 정보는 제 1 HMD의 현재 방향을 설명한다. 제 1 방향 정보 및 제 1 뷰 정보에 기초하여, 방법은 영상이 어떻게 제 1 HMD에 제공되는지에 대한 제 1 변화를 결정하는 단계를 제공한다. 또한, 방법은 제 1 변화를 구현하기 위해 제 1 HMD에 명령하는 단계를 제공한다.
Description
관련 출원들
본원은 2014년 1월 24일자에 출원된 발명의 명칭이 "Visual communication in augmented reality"인 미국 특허 가출원번호 제61/931,234호와 관련되고, 이에 대한 우선권을 주장하며, 이것의 전체내용은 참조로서 본 명세서에 포함된다.
오랫동안, 회의 통화 시스템(conference call system)들은 서로 다른 위치들에 있는 참여자들 간의 오디오 통신들을 가능하게 하여 왔다. 보다 최근에는, 일부 회의 시스템들은 참여자들 간의 실시간 영상 통신들을 가능하게 한다. 이는 일 위치에 있는 참여자가, 다른 참여자들이 매우 멀리 떨어져 있을지라도, 다른 참여자들이 말하는 것의 영상 및 오디오를 생방송으로 볼 수 있게 한다. 이렇게 다른 참여자들을 볼 수 있는 것은, 참여자들이 서로 간의 얼굴의 표정들, 제스처들, 또는 음성 통화 동안에는 볼 수 없는 그 밖의 시각적 정보를 볼 수 있기 때문에, 보다 생산적인 회의를 가능하게 한다.
영상 회의는 원격에 위치한 참여자들의 경험을 확실하게 개선하지만, 영상 회의는 원격 참여자들이 모두 같은 룸 내에 있는 것 같이 느끼도록 하는데에는 미치지 못한다. 즉, 회의 룸에 앉아서 디스플레이 화면으로 다른 참여자들을 보고 있는 참여자들은, 그 회의 룸 내에 있는 다른 참여자들을 적합하게 시뮬레이션하지 못한다. 그러나, 현재 가상 현실 헤드셋들은 비디오 게임과 같은 시각적 경험들에서 사용자들을 시각적으로 몰두시키도록 사용가능하다. 마찬가지로, 증강 현실 헤드셋들은 사용자에게 정보를 디스플레이할 수 있으며, 그 사용자는 여전히 그들 주위의 장면을 볼 수 있다.
본 명세서에 개시된 실시예들은 원격 증강 현실(Augmented Reality: AR) 및 가상 현실(Virtual Reality: VR) 참여자들 간의 미팅을 제어하는 것을 가능하게 하는 방법들, 시스템들 및 컴퓨터 판독가능한 저장 매체를 제공한다. 특정 실시예에서, 방법은 회의 세션 동안에, 복수의 헤드 장착형 디스플레이(head mounted displays: HMDs) - 복수의 HMDs의 각각은 복수의 참여자들 중 한 명의 참여자에 의해 착용됨 - 중 제 1 HMD로부터 제 1 뷰 정보와 제 1 방향 정보를 컴파일링하는 단계를 제공한다. 제 1 방향 정보는 제 1 HMD의 현재 방향을 설명한다. 제 1 방향 정보 및 제 1 뷰 정보에 기초하여, 방법은 영상이 어떻게 제 1 HMD에 제공되는지에 대한 제 1 변화를 결정하는 단계를 제공한다. 또한, 방법은 제 1 변화를 구현하기 위해 제 1 HMD에 명령하는 단계를 제공한다.
일부 실시예들에서, 제 1 변화를 결정하는 단계는, 제 1 뷰 정보를 이용하여 제 1 HMD를 착용하는 제 1 참여자의 제 1 뷰를 결정하는 단계와, 제 1 뷰에 대하여 영상 내의 하나 이상의 요소들을 어디에 배치할지를 결정하는 단계를 포함한다.
일부 실시예들에서, 하나 이상의 요소는 하나 이상의 HMDs와 떨어진 장소의 하나 이상의 원격 참여자들의 캡처된 영상을 포함하고, 하나 이상의 요소들을 어디에 배치할지를 결정하는 단계는 제 1 뷰의 관점에서 하나 이상의 원격 참여자들의 각각에 대한 제 1 HMD의 미팅 룸 내의 위치를 결정하는 단계를 포함한다.
일부 실시예들에서, 제 1 변화를 결정하는 단계는, 제 1 뷰 내의 관심 있는 제 1 물체를 식별하는 단계와, 제 1 물체에 대해 하나 이상의 옵션을 결정하는 단계를 포함한다. 제 1 변화를 결정하는 단계는 또한 제 1 참여자로부터 제 1 입력을 수신하여 하나 이상의 옵션 중 제 1 옵션을 선택하는 단계와, 제 1 옵션 및 제 1 물체에 근거하여 하나 이상의 요소를 생성하는 단계를 더 포함한다.
일부 실시예들에서, 제 1 물체는 문서(document)를 포함하고, 하나 이상의 요소는 문서의 영상 표시를 포함한다.
일부 실시예들에서, 제 1 입력은 제 1 HMD가 아닌 복수의 HMDs 중 각각의 다른 HMD에 의해 제공된 영상에 하나 이상의 요소를 제공하는 명령어를 포함하고, 방법은 또한 다른 HMDs로 하여금 하나 이상의 요소의 영상을 제공하도록 명령하는 단계를 더 포함한다.
일부 실시예들에서, 제 1 입력은 제 2 방향 정보로부터의 식별된 헤드 노드를 포함한다.
일부 실시예들에서, 제 1 입력은 제 1 참여자에 의해 만들어진 핸드 제스처를 포함한다.
일부 실시예들에서, 제 1 입력은 주변 디바이스로의 제 1 참여자에 의한 입력을 포함한다.
일부 실시예들에서, 제 1 방향 정보는 제 1 HMD를 착용하는 제 1 참여자가 앞으로 구부리고 있다는 것을 나타내고, 제 1 변화를 결정하는 단계는 제 1 참여자가 앞으로 구부리고 있는 정도(an amount)에 대응하는 영상에 대한 줌 레벨을 결정하는 단계를 포함한다.
다른 실시예에서, 통신 인터페이스 및 프로세싱 회로를 포함하는, 원격 증강 현실(Augmented Reality: AR) 및 가상 현실(Virtual Reality: VR) 참여자들 간의 미팅을 제어하는 회의 시스템이 제공된다. 통신 인터페이스는 회의 세션 동안에, 복수의 헤드 장착형 디스플레이(head mounted displays: HMDs) 중 제 1 HMD로부터 제 1 뷰 정보와 제 1 방향 정보를 컴파일링하도록 구성 - 복수의 HMDs의 각각은 복수의 참여자들 중 한 명의 참여자에 의해 착용됨 - 된다. 제 1 방향 정보는 제 1 HMD의 현재 방향을 설명한다. 프로세싱 시스템은 제 1 방향 정보 및 제 1 뷰 정보에 기초하여, 영상이 어떻게 제 1 HMD에 의해 제공되는지에 대한 제 1 변화를 결정하도록 구성되고, 제 1 변화를 구현하기 위해 제 1 HMD에 명령하도록 구성된다.
도 1은 원격 참여자들 간의 개선된 화상 통신을 제어하기 위한 회의 시스템을 도시한다.
도 2는 원격 참여자들 간의 개선된 화상 통신을 제어하기 위한 회의 시스템을 동작시키는 방법을 도시한다.
도 3은 원격 참여자들 간의 개선된 화상 통신을 제어하기 위한 회의 시스템을 동작시키는 방법을 도시한다.
도 4는 원격 참여자들 간의 개선된 화상 통신을 제어하기 위한 회의 시스템을 동작시키는 방법을 도시한다.
도 5는 원격 참여자들 간의 개선된 화상 통신을 제어하기 위한 회의 시스템을 도시한다.
도 6은 원격 참여자들 간의 개선된 화상 통신을 제어할 때의 예시적인 룸 방향들(example room orientations)을 도시한다.
도 7은 원격 참여자들 간의 개선된 화상 통신을 제어할 때의 예시적인 룸 방향들을 도시한다.
도 8은 원격 참여자들 간의 개선된 화상 통신을 제어할 때의 예시적인 참여자 뷰를 도시한다.
도 9는 원격 참여자들 간의 개선된 화상 통신을 제어할 때의 예시적인 참여자 뷰를 도시한다.
도 10은 원격 참여자들 간의 개선된 화상 통신을 제어할 때의 예시적인 참여자 뷰를 도시한다.
도 11은 원격 참여자들 간의 개선된 화상 통신을 제어하기 위한 헤드 장착형 디바이스를 도시한다.
도 12는 원격 참여자들 간의 개선된 화상 통신을 제어하기 위한 회의 시스템을 도시한다.
도 2는 원격 참여자들 간의 개선된 화상 통신을 제어하기 위한 회의 시스템을 동작시키는 방법을 도시한다.
도 3은 원격 참여자들 간의 개선된 화상 통신을 제어하기 위한 회의 시스템을 동작시키는 방법을 도시한다.
도 4는 원격 참여자들 간의 개선된 화상 통신을 제어하기 위한 회의 시스템을 동작시키는 방법을 도시한다.
도 5는 원격 참여자들 간의 개선된 화상 통신을 제어하기 위한 회의 시스템을 도시한다.
도 6은 원격 참여자들 간의 개선된 화상 통신을 제어할 때의 예시적인 룸 방향들(example room orientations)을 도시한다.
도 7은 원격 참여자들 간의 개선된 화상 통신을 제어할 때의 예시적인 룸 방향들을 도시한다.
도 8은 원격 참여자들 간의 개선된 화상 통신을 제어할 때의 예시적인 참여자 뷰를 도시한다.
도 9는 원격 참여자들 간의 개선된 화상 통신을 제어할 때의 예시적인 참여자 뷰를 도시한다.
도 10은 원격 참여자들 간의 개선된 화상 통신을 제어할 때의 예시적인 참여자 뷰를 도시한다.
도 11은 원격 참여자들 간의 개선된 화상 통신을 제어하기 위한 헤드 장착형 디바이스를 도시한다.
도 12는 원격 참여자들 간의 개선된 화상 통신을 제어하기 위한 회의 시스템을 도시한다.
다음의 설명 및 관련 도면들은 본 발명의 최상의 모드를 교시한다. 창의적인 원리들을 교시하기 위해서, 최상의 모드의 일부 통상적인 측면들은 단순화되거나 생략될 수 있다. 다음의 청구항들은 본 발명의 범위를 특정한다. 최상의 모드의 일부 측면들은 청구항들에서 특정되는 본 발명의 범위 내에 포함되지 않을 수 있음에 유의한다. 따라서, 본 기술 분야의 당업자는 본 발명의 범위 내에 해당하는 최상의 모드로부터의 변형을 이해할 것이다. 본 기술 분야의 당업자는 이하에 기술된 특징들이 본 발명의 다수 변형들을 형성하도록 다양한 방식들로 조합될 수 있음을 이해할 것이다. 따라서, 본 발명은 이하에 기술되는 특정 예들로 한정되지 않으며, 오직 청구항들 및 이들의 균등범위들로만 한정된다.
도 1은 회의 시스템(100)을 도시한 것이다. 회의 시스템(100)은 회의 서버(101), 헤드 장착형 디스플레이들(HMDs)(102 및 103)을 포함한다. 회의 서버(101) 및 HMD(102)는 통신 링크(111)를 통해 통신한다. 회의 서버(101) 및 HMD(103)는 통신 링크(112)를 통해 통신한다.
동작 시에, 회의 서버(101)는 서로 다른 위치들에 있는 회의 참여자들에게 동일한 위치에 있는 것과 같은 회의 경험을 제공하도록 구성될 수 있다. 이를 위해, 회의 서버(101)는 증강 현실(Augmented Reality: AR) 및 가상 현실(Virtual Reality: VR) 영상을 HMDs를 통해 회의 참여자들에게 제공하는 것을 가능하게 한다. 임의의 하나의 회의는 모든 AR 참여자, 모든 VR 참여자 또는 AR 참여자 및 VR 참여자의 몇몇 조합을 포함할 수 있다.
AR은 HMDs(102 및 103)가 추가의 정보를 오버레이하는 동안, 참여자들(122 및 123)이 그들 주변의 세계를 볼 수 있게 한다. 스마트폰과 같은 일부 AR 디바이스들에서, 이 디바이스는 영상 이미지들을 캡처하고, 카메라용 뷰파인더로서 화면을 사용하는 것과 유사한 방식으로 이러한 이미지들을 그 화면 상에 디스플레이한다. AR 정보는 이미지에 디스플레이된 것과 연관되게 이 디스플레이된 화면 이미지들 상에 오버레이된다. AR 정보는 참여자(122 또는 123)의 주의를 특정 포인트로 돌리는 표시자와 같이 HMDs(102 및 103)에 의해 지역적으로 저장되거나 결정될 수 있는 반면 다른 정보는 채팅 세션에 대한 메시지들과 같이 회의 서버(101)(또는 HMDs(102 및 103)의 외부의 다른 시스템)에 의해 저장되거나 결정될 수 있다. 예를 들어, 이미지 내에 스토어프론트(storefront)가 캡처된 기업에 대한 정보가 화면 상에서 스토어프론트 옆에 디스플레이될 수 있다. 다른 예에서, AR 뷰 내의 사람은, 예를 들어 명함 타입 정보와 같은 그 사람 근처에 디스플레이되는 정보를 가질 수 있으며, 이에 따라 그 정보는 용이하게 참조될 수 있게 된다. 다르게는, AR 정보는 투시 매체, 예를 들어 투명 렌즈 상에 디스플레이될 수 있으며, 이로써 이 렌즈들을 통해 보여질 수 있는 이미지들을 디스플레이할 필요가 없게 된다.
반대로, VR은 통상적으로 참여자(122 또는 123)가 그들 주위의 세계를 볼 수 없게 한다. 따라서, 참여자들(122 및 123)은 각각의 HMDs(102 및 103)에 의해 제공된 비주얼들(visuals)에 몰두하게 된다. VR은 VR 프리젠테이션을 위해 캡처된 실제 세계 장면을 디스플레이 할 수 있거나 컴퓨터 시스템에 의해 생성된 가상 장면을 디스플레이 할 수 있다. 장면이 실제인지 가상인지 여부와 무관하게 VR 영상은 AR과 유사한 방식으로 그 장면이 아닌 곳에 정보를 오버레이할 수 있다. 몇몇 실시예들에서, HMD(102 또는 103)는 AR 영상 및 VR 영상 모두를 제공하도록 구성될 수 있다. 이와 같은 경우, 영상이 HMDs(102 및 103)에 의해 참여자들(122 및 123)에게 각각 제공될 때 회의 세션은 AR을 VR로 전환할 수 있고 또는 그 역으로 할 수 있다. 예를 들어, 참여자(122)와 물리적으로 함께 위치한 참여자들은 AR 영상을 제공하는 동안 그 장소를 떠날 수 있다. 일단 이러한 것이 발생되면, 참여자(122)는 그 장소에서 다른 참여자들을 더 이상 볼 필요가 없으므로 HMD(102)는 AR 영상을 제공하는 것으로부터 VR 영상을 제공하는 것으로 전환할 수 있다.
회의를 가능하게 하기 위해, 회의 서버(101)와 협력하여 HMDs(102 및 103)는, 서로 간에 함께 위치하지 않는 회의 참여자들의 캡처된 영상을 제공하도록 AR 또는 VR 영상을 이용한다. 예를 들어, 참여자(122)는 일 장소에 있으나, 참여자(123)는 그렇지 않다. 참여자(123)는 참여자(122)로부터 홀 아래의 룸에 있을 수 있거나 세계 반대편에 있을 수 있다. 참여자(123)가 어디에 위치해 있는지 상관없이, 참여자(122)가 착용한 HMD(102)는 참여자(122)로 하여금 참여자(123)의 영상을 참여자(122)와 동일한 장소에 있는 것처럼 볼 수 있게 한다. 이와 같은 방식으로, 비록 회의 시스템(100)에서 도시되지는 않았지만, 참여자(122)에 의한 HMD(102) 내의 참여자(123)의 보여진 영상은 참여자(123)와 함께 위치된 하나 이상의 2D 또는 3D 영상 이미지 캡처 디바이스에 의해 캡처되어 회의 서버(101)에 전달된다. 따라서, 단지 디스플레이 상에서 참여자(123)의 캡처된 영상을 보는 것이 아니라, 참여자(122)는 참여자(122)의 장소에서 참여자(123)를 "볼(see)" 수 있으며, 이에 따라 참여자(123)가 참여자(122)와 실제적으로 함께 있는 것과 같은 경험을 모방할 수 있다.
원격 참여자들의 영상을 디스플레이하는 것에 추가로, HMDs(102 및 103)는 참여자들(122 및 123)에게 추가 정보를 디스플레이할 수 있다. 이 정보는 회의 참여자들의 서브세트와의 텍스트 또는 영상 통신들, 다른 회의 참여자들에 대한 정보(예컨대, 명함 타입 정보), 회의 동안 논의되는 문서(물리적 또는 컴퓨터 저장 시스템에 저장되는), 물리적 화이트보드 상의 마킹들, 또는 정보가 회의에 관련되는 지와는 무관하게 HMD를 통해 시각적으로 전달될 수 있는 다른 임의의 정보 타입을 포함할 수 있다. 정보가 디스플레이되어야 할지, 디스플레이될 정보가 무엇인지, 정보가 어떻게 디스플레이되어야 하는지, HMD 이동에 근거하여 영상을 어떻게 수정할지를 결정하기 위해, 본원의 실시예들은 회의 시스템(100)이 참여자들(122 및 123) 또는 회의의 임의의 참여자들에 의해 제어될 수 있는 방법을 설명한다.
도 2는 원격 AR 및 VR 참여자들 간의 미팅을 제어하는 회의 시스템(100)을 동작시키는 방법(200)을 도시한다. 방법(200)은 비록 동일한 단계가 참여자(123) 및 HMD(103)의 시각 또는 회의 세션과 연결된 임의의 다른 HMD의 시각에서 동시에 수행될 수 있을지라도, 참여자(122) 및 HMD(102)의 시각에서 아래와 같이 설명된다. 아래에 더 제공되는 방법(300)에 대해서도 위와 같은 설명이 적용될 수 있다. HMDs(102 및 103)를 착용하는 적어도 참여자들(122 및 123) 사이의 회의 세션 동안에 방법(200)은 HMD(102)로부터 제 1 뷰 정보와 제 1 방향 정보를 컴파일링하는 단계(단계 201)를 제공한다.
방향 정보는, 참여자(122)의 방향에 대응하는, HMD(102)의 현재 방향을 설명한다. 예를 들어, 방향 정보는, HMD(102)가 위로, 아래로, 좌측으로, 우측으로 또는 한쪽으로 기울어지고, 한 방향으로 회전되고, 공간 내에서 움직이는 것(예컨대, 만약 참여자(122)가 뒤로 기대거나 앞으로 구부리거나 아니면 주변에서 움직이는 경우에 발생될 수 있음)을 설명하고, HMD의 방향과 관련된 몇몇 다른 정보를 설명할 수 있다. 몇몇 경우에, 방향 정보는 디폴트 방향에 대한 HMD(102)의 방향을 설명할 수 있다. 다른 경우에, 방향 정보는 단지 이전 방향 정보로부터 방향에서의 차이들을 설명할 수 있다. 방향 정보를 표현하는 대안적인 방법들 역시 사용될 수 있다. 방향 정보는 자이로 센서(gyro sensor(s)), 가속도계(accelerometer(s)), 나침반(compass), 비디오 카메라(video camera), 또는 HMD의 방향과 관련된 정보를 제공할 수 있는 임의의 다른 형태의 센서로부터 컴파일링될 수 있다. 몇몇 실시예들에서, 방향 정보의 부분들은 룸 근접 센서 또는 외부 카메라와 같은 HMD(102)의 외부 센서들에 의해 제공될 수 있다.
뷰 정보는 참여자(122)가 HMD(102)를 통해서 무엇을 보고 있는지를 설명한다. 만약 HMD(102)가 AR 영상을 디스플레이하고 있다면, 그러면 참여자(122)의 뷰는 참여자(122)가 HMD(102)를 통해 보여진 것과 같이 위치되는 물리적 위치의 부분들을 포함할 수 있다. 따라서, 뷰 정보는 참여자(122)가 보고 있는 이미지를 캡처하기 위해 HMD(102)로부터 바깥 방향을 향하는 카메라로부터 캡처된 영상을 포함할 수 있다. 이와 달리, 만약 HMD(102)가 VR 영상을 디스플레이하고 있다면, 그러면 참여자(122)의 뷰는 단지 HMD(102)에 의해 디스플레이되는 것이 된다. 방향 정보와 마찬가지로, 일부 예들에서, 뷰 정보는 HMD(102)의 내부 비디오 카메라 및 HMD(102)의 외부 비디오 카메라와 같은 센서들에 의해 제공될 수 있다. 또한, 단계 201에서 컴파일링된 정보의 일부 타입은 뷰 정보 및 방향 정보 모두로서 사용될 수 있다.
방법(200)은 제 1 방향 정보 및 제 1 뷰 정보에 기초하여 영상이 어떻게 제 1 HMD에 의해 제공되는지에 대한 변화를 결정하는 단계(단계 202)를 제공한다. 위에 명시된 바와 같이, 참여자(123)(그 또는 그녀)가 동일한 장소에 있는 것처럼 보이도록 HMD(102)는 참여자(122)에게 영상을 제공한다. 예를 들어, 만약 참여자(122)가 회의 룸에 있다면, 참여자(123)가 회의 룸에서 참여자(122)와 함께 앉아 있게 시각적으로 시뮬레이팅하기 위해 회의 룸의 좌석 위치에 참여자(123)의 영상이 제공될 수 있다. 참여자(122)가 그의 머리를 움직일 때, HMD(102)는 참여자(122)의 머리와 함께 움직이고 HMD(102)의 방향이 HMD(102)를 통해 참여자(122)의 뷰를 따라서 변한다. 따라서, 참여자(123)가 동일한 좌석 위치에 머무르게 하기 위해 참여자(123)의 제공 또한 변해야 한다(예컨대, 만약 참여자(123)가 뷰 내에 있는 동안 참여자(122)가 그의 머리를 우측으로 돌린다면, 참여자(123)가 회의 룸 내의 동일한 위치에 머무르도록, 영상 제공은 참여자(123)를 좌측으로 옮겨야 한다). 또한, 만약 참여자(122)가 앞쪽 또는 뒤쪽으로 구부린다면, 참여자(122)와 더 가깝게 위치한 또는 참여자(122)로부터 더 멀리 위치한 참여자(123)를 복제하기 위해 참여자(123)의 제공된 영상은 줌인(zoom in) 또는 줌아웃(zoom out)되어야 한다. 비슷하게, VR 영상의 경우, 만약 참여자(122)가 그의 머리를 움직이거나 기울인다면, 배경은 또한 따라서 움직여야 하거나 따라서 줌되어야 한다. 또한, VR 구성에서, 실제 미팅 룸 경험을 시뮬레이팅하기 위해 필요한 만큼 줌 양(zoom amounts)이 제한되어야 한다. 대신, 참여자(122)는 정상 위치로 뒤로 다시 구부림으로써 줌을 멈추는 것을 하기 전에, 그가 원하는 만큼 앞으로 구부릴 수 있고 줌인 할 수 있다. 유사한 원리가 원격 참여자들이 아닌, HMD(102)를 착용한 참여자(122)에 제공되는 시각적 물체에 적용될 수 있다.
일단 변화가 결정되면, 방법(200)은 변화를 구현하기 위해 HMD(102)에 명령하는 단계(단계 203)를 제공한다. 따라서, 참여자(122)는 HMD(102)가 착용된 그들의 머리를 움직임으로써 HMD(102)에 의해 그들에게 제공된 영상을 제어할 수 있다. 이 움직임은 위에 논의된 방향 정보 및 뷰 정보에 의해 표시되어 회의 세션 동안 참여자(122)에게 제공된 영상을 제어할 수 있다. 업데이트된 방향 정보 및 뷰 정보가 계속해서 컴파일링됨에 따라, 참여자(122)의 움직임에 따라 영상이 제어되는 것이 지속될 것이다.
방법(200)의 모든 또는 일부가 HMD(102) 또는 회의 서버(101)에 의해 수행될 것임은 이해되어야 할 것이다. 몇몇 경우에, HMD(102 또는 103)와 함께 위치한 룸 회의 시스템과 같은 추가 컴퓨팅 시스템은 또한 방법(200)의 일부를 수행하는 데 사용될 수 있다. 어떤 시스템이 방법(200)의 어떤 부분을 수행하는지는 각 시스템의 처리 능력, 시스템들간의 네트워크 지연(network latency), 부하 균형(load balancing), 또는 몇몇 다른 요인 - 이들의 조합을 포함함 - 에 의존할 수 있다.
위의 방법(200)에서, 참여자(123)가 함께 위치하고 있는 것처럼 참여자(122)에게 시각적으로 보이는 방식으로 HMD(102)는 참여자(122)에게 참여자(123)를 디스플레이한다. AR 구성에서, 참여자(122)의 장소 내의 일 장소(예컨대, 회의 테이블을 둘러싼 장소)는 참여자(123)를 위해 선택될 필요가 있다. 유사하게, 참여자(123)가 VR 영상 내에 제공된 장소에 위치하지 않는다면, 참여자(123)는 VR 구성에서 위치가 정해져야 할 필요가 있다. 또한, 테이블 위, 참여자의 근처, 또는 다른 경우들과 같은 장소들은 참여자(122)에게 영상 요소로서 디스플레이될 수 있는 실제 또는 가상의 다른 물체들을 위해 결정될 필요가 있다. 몇몇 예시적 물체들은 문서, 화이트보드, 3D 물체(예컨대, 회의 세션 동안 논의를 위한 제품), 채팅 윈도우, 개인 정보, 또는 다른 형태의 물체들을 포함할 수 있다. 몇몇 경우에, 요소를 위해 결정된 장소는 HMD의 뷰 내의 위치와 상관없이 단순히 HMD에 의해 디스플레이된 영상 내의 장소를 포함할 수 있다. 예를 들어, 채팅 윈도우는 뷰 내의 다른 요소를 방해하지 않도록 단순히 영상의 코너에 위치될 수 있다. 따라서, 단계 202에서 결정되고 단계 203에서 구현된 변화는 따라서 회의 세션 내의 참여자들이 아닌 시각적 요소의 외관, 수정, 업데이트 등을 포함할 수 있다.
도 3은 예시적 실시예에서 어떤 요소가 참여자(122)에게 디스플레이되는지를 제어하는 방법(300)을 도시한다. 특히, 방법(300)은 참여자(122)가 그들에게 또는 회의 세션의 다른 참여자들에게 디스플레이될 특정 시각적 요소를 선택할 수 있는 수단을 제공한다. 방법(300)은 뷰 내의 관심 있는 제 1 물체를 HMD(102)를 통해 식별하는 단계(단계 301)를 제공한다. 위에 논의한 바와 같이, 단계 201에서 컴파일링된 뷰 정보는 뷰를 결정하는 데 사용된다. HMD(102)에 의해 시각적으로 또는 물리적으로 제공되는 뷰 내에서 참여자(122)가 포커싱하고 있는 물체를 결정하기 위해 뷰는 분할되고 분석된다. 물체는 다른 참여자, 문서, 프로젝팅된 슬라이드(projected slide), 화이트보드, 참여자가 들고 있는 그 무엇, 테이블 위에 있는 그 무엇, 또는 참여자(122)가 볼 수 있는 임의의 다른 물체가 될 수 있다. 일부 예들에서, HMD(102)는 물체 식별 및 추출을 위해 목표가 될 뷰 내의 장소를 참여자(122)에게 표시하기 위해 십자선(cross hair), 직사각형(rectangle), 원형(circle) 또는 다른 것들과 같은 시각적 큐를 디스플레이할 수 있다. 물체는 HMD(102)로부터의 뷰에 클러스터링 기술을 사용하거나, 빛나는 표면(glare)에 따라 화이트보드를 검출하는 것을 이용하여 식별될 수 있고, 영상 이미지 내의 물체를 식별하는 임의의 다른 방법이 사용될 수 있다.
몇몇 경우에, HMD(102) 또는 참여자(122)와 함께 위치한 다른 디바이스는 물체 식별의 정확도를 증가시키기 위해 참여자(122)의 응시 포인트를 추적할 수 있는 아이 추적 시스템(an eye tracking system)을 포함할 수 있다. 아이 추적 시스템은 참여자(122)가 줌 인 또는 줌 아웃을 시도하는지 여부를 결정하기 위해 참여자(122)의 아이의 포커스 레벨을 따라감으로써 위에 설명된 줌 기능을 또한 도와줄 수 있다.
방법(300)은 식별된 물체에 대해 하나 이상의 옵션들을 결정하는 단계(단계 302)를 제공한다. 옵션들은 물체 그 자체에 의존한다. 예를 들어, 만약 물체가 다른 참여자라면, 옵션들은 참여자에 대한 디스플레이 정보(예컨대, 명함 정보 및 이와 같은 것들)를 포함할 수 있고, 참여자와 개인 채팅 윈도우를 개설할 수 있고, 이 참여자의 말의 볼륨 또는 다른 참여자 관련 액션을 증가시킬수 있다. 참여자는 안면 인식, 시각적 ID를 사용하여 식별될 수 있거나 몇몇 다른 수단에 의해 식별될 수 있다. 대안적인 예시에서, 만약 물체가 문서라면, 옵션들은 HMD(102) 내에 및/또는 다른 참여자들의 HMDs 상에 문서를 디스플레이하는 것, HMD(102) 내에 편집을 위한 문서 또는 액션에 관련된 몇몇 다른 문서를 오픈하는 것을 포함할 수 있다. 다른 예시들에서 참여자(122)는 식별된 물체의 각각의 가능한 타입에 이용가능한 옵션들을 알고 있을 것으로 예상되지만, 일부 예들에서, HMD(102)는 하나 이상의 옵션들의 리스트를 참여자(122)에게 디스플레이할 수 있다.
하나 이상의 옵션들 중 하나의 옵션을 선택하기 위해 참여자(122)로부터 제 1 입력을 수신하는 단계(단계 303)가 방법(300)에 의해 제공된다. 입력은 헤드 노드 업 또는 다운일 수 있고, 한쪽 눈 또는 다른 쪽 눈의 윙크일 수 있고, 눈 깜빡임 또는 일련의 눈 깜빡임일 수 있고, 공기 중에 만들어진 핸드 제스처(예컨대, 참여자(122) 앞에서의 핸드 스와이핑)일 수 있고, HMD(102)로의 물리적 구성 요소로의 입력(예컨대, 버튼, 토글 등), 스마트폰, 태블릿, 전용 주변기기 등과 같은 외부 디바이스로의 입력, 또는 임의의 다른 형태의 입력일 수 있다. 몇몇의 경우, HMD(102)가 가능한 옵션들을 디스플레이하는 경우, HMD(102)는 또한 임의의 특정 옵션을 선택하는데 필요한 액션을 디스플레이할 수 있다. 몇몇 경우에, 자신들의 HMDs를 착용한 다른 참여자들에게 문서를 디스플레이 하는 것과 같은 하나의 옵션만이 있을 수 있고, 참여자(122)는 문서 디스플레이를 위한 옵션을 선택하기 위해 단지 문서를 지속하여 쳐다볼(예컨대, 오랫동안 응시함) 필요만 있다.
일단 옵션이 선택되면, 방법(200)은 선택된 옵션 및 식별된 물체에 근거하여 시각적 요소들을 생성하는 단계(단계 304)를 제공한다. 일반적으로, 영상 디스플레이를 위해 생성된 요소들은 선택된 옵션에 의해 요청된 정보를 선택된 물체에 제공하고, 물체 그 자신의 시각적 표현을 포함할 수 있다. 만약 시각적 요소가 물체 자신의 영상(video) 또는 정지 이미지(still imagery)를 포함한다면, 배경은 제거될 수 있고, 전체 물체가 보여질 필요가 없는 경우에 물체는 잘려질(crop) 수 있고, 프리젠테이션 각도는 변할 것이고(예컨대, 문서를 정렬하기), 또는 몇몇 다른 형태의 처리가 수행될 것이다.
예를 들어, 만약 물체가 다른 참여자이고 옵션이 이 참여자와의 통신을 개시하는 것이라면, 생성된 시각적 요소는 통신 윈도우를 포함할 수 있다. 통신 윈도우는 콘텍스트를 위한 다른 참여자 근처 또는 HMD(102)에 의해 제공된 뷰 내의 다른 곳에서 디스플레이될 수 있다. 유사하게, 식별된 물체는 참여자(122)가 메시지를 기록/타이핑하는, 종이, 스마트폰, 랩탑, 또는 다른 것들과 같은 기록을 위한 매체가 될 수 있다. HMD(102)는 단계 301에서 이 사실을 인식할 수 있고, 단계 302에서 다른 참여자들에게 메시지를 전송하기 위해 참여자(122)에게 옵션을 제공할 수 있다. 단계 303에서 수신된 입력은 어떤 참여자들에게 메시지가 전송되어야 하는지를 선택하고, 단계 304는 HMD(102) 및 선택된 참여자들의 HMDs에 의해 디스플레이될 요소들(통신 비주얼들(communication visuals))을 생성한다.
다른 실시예에서, 단계 301에서 식별된 물체는 그 위에 참여자(122)가 마킹하는 화이트보드일 수 있다. 그 다음에 이 시스템은 화이트 보드 상의 관심 영역을 검사하여 전체 화이트보드가 관련되는지, 혹은 화이트보드 상의 관심 영역 내의 주제, (만약 임의의 마킹, 특히 참여자(122)의 마킹이 다른 곳에 존재한다면) 화이트보드 상의 다른 곳에 있는 주제에 기초한 화이트보드의 일부만이 관련되는지 여부를 결정하거나, 이와 같은 결정을 도와줄 수 있는 임의의 다른 정보를 검사 할 수 있다. 단계 302 및 303의 결과로서, 참여자(122)는 화이트보드 또는 화이트보드의 일부를 디스플레이하기 위해 옵션을 선택할 수 있다. 그런 후에, 단계 304는 화이트보드를 HMDs를 착용한 다른 참여자들에게 디스플레이하기 위해 시각적 요소를 생성한다. 화이트보드는 HMD(102)에 의해, HMD(102)와 함께 위치한 다른 HMD에 의해, 또는 HMD(102)와 함께 위치한 다른 캡처 디바이스에 의해 캡처된 영상으로부터 시각적 요소로 변환될 수 있다.
또한 다른 실시예에서, 참여자(122)가 다른 참여자들과 다른 참여자들의 명함을 공유하고자 원하는 경우에 단계 301에서 식별된 물체는 명함이 될 수 있다. 단계 302에서 결정된 옵션들은 명함 정보를 저장하는 것, 또는 명함 정보를 다른 참여자들(예컨대, 명함을 제시한 참여자 옆에 있는 참여자들, 각각의 참여자 HMD 디스플레이의 코너에 있는 참여자들, 또는 다른 곳에 있는 참여자들)에게 제공하는 것을 포함할 수 있다. 단계 303은 원하는 옵션을 선택하기 위해 참여자(122)로부터 입력을 수신하고, 단계 304는 다른 참여자들에게 정보를 디스플레이하고 선택된 옵션이 참여자(122)에게 수행되었음을 확인하기 위해 시각적 요소들을 생성한다.
물체들이 시각적 요소들로서 다른 참여자들에게 그들의 HMDs의 각각을 통해 제공될 때, 시스템은 물체(HMD(102) 또는 다른 HMD 또는 디바이스에 의해 캡처된)의 생방송 상연(live representations)을 공유할 수 있거나, 물체의 스냅샷을 공유할 수 있다. 생방송 공유는 물체가 계속해서 변할 때 이점이 있고, 물체 상의 지속적인 비주얼(visual)은 이점이 있을 것이며, 화이트보드, 영상, 움직이는 물체(예컨대, 회전하는 물체) 등을 이용하는 경우가 될 수 있다. 생방송 공유는 단계 301에서 공유될 물체를 식별함으로써 개시될 수 있고, 그 다음에 물체를 쳐다보는 것을 계속하는 참여자(122)는 마치 자신이 옵션을 선택하는 것처럼 행동하여 다른 참여자들로의 물체의 생방송 상연을 공유한다. 생방송 공유를 멈추기 위해, 참여자(122)는 단순히 물체로부터 멀리 보거나, 몇몇 구성은 참여자들(122)이 물체가 아직 제공되는 동안 물체로부터 멀리 볼 수 있게 허용한다. 이러한 구성에서, 참여자(122)는 프리젠테이션을 종료하기 위해 HMD(102) 내의 물체를 나타내는 시각적인 요소를 넘겨버릴(swipe away) 수 있다. 스와이핑은 HMD(102) 또는 다른 디바이스에 의해 캡처된 핸드 제스처를 통해, 또는 주변 디바이스(예컨대, 터치패드)로의 입력을 통해, 뷰 밖의 물체를 스와이핑하기 위해 의도된 머리 움직임에 의해, 또는 몇몇 다른 수단들에 의해 수행될 수 있다.
이와 달리, 스냅샷 공유는 제공된 물체가 상대적으로 긴 시간동안 정적일 때, 예컨대, 프리젠테이션 슬라이드, 문서 페이지 이와 같은 것들일 때, 이점이 있다. 정적인 물체는 단일의 정지 이미지로서 캡처될 수 있고 이 이미지는 HMD 내의 시각적인 요소로서 제공될 수 있다. 따라서, 단순히 물체로부터 멀리 바라보는 것이 스냅샷 공유의 목적을 무산시킬 것이기 때문에 참여자(122)는 생방송 공유에 대한, 위에 설명된 스와이핑 액션과 같은 액션을 취해야만 할 것이다. 비슷하게, 만약 스냅샷 프리젠테이션이 일련의 이미지를 포함한다면, 참여자 액션은 프리젠테이션의 끝에서 슬라이드들을 해산시키기 전에 슬라이드들을 통해 진행할 것이다.
옵션들을 선택하고, 물체들의 프리젠테이션을 명령하는 것에 덧붙여, 핸드 제스처는 말하지 않고 회의 세션에 참여하는데 사용될 수 있다. 예를 들어, 참여자(123)는 그들의 손(또는 다른 몸 제스처)을 올릴 것이고 이와 같은 손을 드는 동작은 HMD(103), 다른 함께 위치한 HMD, 또는 다른 캡처 디바이스에 의해 인식될 것이다. 손을 드는 동작의 인식은 회의 시스템(100)으로 하여금 참여자(123)를 미팅 룸 내의 맨 앞으로 불러내는 것을 허용할 수 있는데, 만약 미팅 룸(물리적인 또는 시각적인)이 모든 원격 참여자들을 “수용”하기에 너무 작다면, 특정 참여자들(예컨대, 가장 최근의 발표자들)만이 임의의 주어진 시간에 보여질 수 있고 이 경우가 해당될 수 있다. 또한, 손을 드는 동작 또는 다른 형태의 움직임의 인식은 투표 목적을 위해서도 사용될 수 있다. 예를 들어, 만약 참여자들이 다양한 옵션들에 투표하기를 요청된다면, 참여자들은 그들의 손을 올릴 수 있고 회의 서버(101)는 각 옵션에 투표한 참여자들(그리고 역시 가능한 투표 참여자들)의 수를 집계할 수 있다.
몇몇 실시예들에서, 각 참여자의 HMD로부터 수신된 방향 정보 및 뷰 정보는 회의 내의 각 참여자의 참여(engagement)를 측정한다. 도 4는 회의 세션 내에서 업무를 제어하는 것의 예시적인 구현의 방법(400)을 도시한다. 방법(400)은 각 참여자의 HMD로부터 컴파일링된 방향 정보 및 뷰 정보에 기초하여 회의 세션 내의 각 참여자의 응시 포인트를 결정하는 단계(단계 401)를 제공한다. 방향 정보는 응시 결정의 정확도를 향상시키기 위해 각 참여자에 대한 아이 추적 정보와 함께 늘어날 것이다. 그런 후에, 방법(400)은 각 응시 포인트에 위치한 시각적인 요소들을 결정하는 단계(단계 402)를 제공한다. AR HMDs의 경우, 응시 포인트는 HMD에 의해 디스플레이된 요소 또는 참여자와 함께 물리적으로 위치된 요소 위에 있을 수 있다. 각 HMD가 시각적인 요소들을 상이하게(상이한 장소들에서, 상이한 관점에서 등등) 디스플레이할 수 있기 때문에, 참여자들이 동일한 요소를 쳐다보고 있다 하더라도 응시 포인트는 각 참여자에 대해 상이한 위치들에 있을 수 있다.
결정된 시각적인 요소들로부터, 방법(400)은 회의 상의 참여자들에 대한 참여의 측정을 계산하는 단계(단계 403)를 제공한다. 예를 들어, 측정은 프리젠테이션 슬라이드와 같은 특정 요소를 쳐다보고 있는 참여자들의 퍼센트를 나타낼 수 있다. 높은 퍼센트는 프리젠테이션에 대한 참여 레벨이 높다는 것을 나타낼 수 있다. 이와 달리, 참여의 측정이 복수의 요소들(예컨대, 채팅 윈도우, 프리젠팅되는 슬라이드과 무관한 부분 등)이 참여자들에 의해 포커싱된다는 것을 나타내면 참여 레벨은 낮을 수 있다. 방법(400)은 따라서 참여의 측정을 제공하는 단계(단계 404)를 더 제공한다. 측정은 회의 세션에서의 중재자 또는 현재 발표자인 참여자 또는 모든 참여자들에게 세계적으로 제공될 수 있다. 참여의 측정을 증가시키기 위해, 이 참여자는 참여의 측정을 사용하여 실시간으로 프리젠테이션을 조정할 수 있다. 이와 달리, 리코딩으로부터의 회의 세션의 재생 동안과 같이, 회의 세션이 분석을 완료한 이후, 참여의 측정이 제공될 수 있다. 게다가, 특정 참여자의 참여 레벨이 분석될 수 있도록 참여의 측정은 각 참여자에 대한 서브-측정들을 포함할 수 있다.
도 5는 회의 환경(500)을 도시한 것이다. 회의 환경(500)은 회의 서버(501), 미팅 룸(502), 미팅 룸(503), 개인 룸(504), 및 통신 네트워크(505)를 포함한다. 미팅 룸(502)은 AR HMDs(521-523), 오디오/영상 캡처 디바이스들(524), 및 룸 센서들(525)을 포함한다. 미팅 룸(503)은 AR HMDs(531-532), 오디오/영상 캡처 디바이스들(534), 및 룸 센서들(535)을 포함한다. 개인 룸(504)은 가상 현실(VR) HMD(541) 및 오디오 캡처 디바이스(544)를 포함한다. 통신 네트워크(505)는 회의 서버(501), 미팅 룸(502), 미팅 룸(503), 및 개인 룸(504)과 각기 통신 링크들(511-514)을 통해서 통신한다. 몇몇 경우에, 회의 서버(501)의 기능은 중앙 집중된 시스템에 비해 다소 분산될 수 있다는 것이 이해되어야 할 것이다. 예를 들어, 동일한 특징들은 회의 시스템이 되는 피어-투-피어 네트워크를 이용하는 HMDs 사이의 피어-투-피어 통신에서 포함될 수 있다.
통신 네트워크(505)는 통신 서비스들을 룸들(502-504) 및 회의 서버(501)에 제공하는 네트워크 요소들을 포함한다. 통신 네트워크(505)는 스위치들, 무선 액세스 노드들, 인터넷 라우터들, 네트워크 게이트웨이들, 애플리케이션 서버들, 컴퓨터 시스템들, 통신 링크들, 또는 일부 다른 형태의 통신 장비-이들의 조합을 포함함-를 포함할 수 있다. 단일 네트워크로서 도시되었지만, 통신 네트워크(505)는 LAN, WAN, 인터넷, 임의의 다른 형태의 컴퓨팅 네트워크-이들의 조합을 포함함-을 포함하는 네트워크들의 집합을 포함할 수 있다.
오디오/영상 캡처 디바이스들(524 및 534)은 컴포넌트들, 예를 들어 2D 또는 3D 카메라들 및 마이크로폰들을 포함하며, 이 컴포넌트들은 미팅 룸들(502 및 503)의 및 이 룸들 내에 위치한 참여자들의 영상과 오디오를 캡처하는데 사용된다. A/V 캡처 디바이스들(524 및 534)은 유선 또는 무선 네트워킹을 위한 회로, 예를 들어 이더넷 인터페이스, Wi-Fi 인터페이스, 블루투스 모듈, 또는 다른 형태의 통신 인터페이스를 더 포함한다. 일부 예들에서, A/V 캡처 디바이스들(524 및 534)의 특정 컴포넌트들은 AR HMDs(521-523 및 531-532) 내에 포함될 수 있다.
룸 센서들(525 및 535)은 참여자 위치 및 뷰를 결정하는데 사용되는 정보를 캡처하는 컴포넌트들을 포함한다. 센서들(525 및 535)은 근접 센서들, RFID 태그들, 적외선 태그들, 나침반들, 음파 센서들, 가속도계들, 자이로 센서들, 또는 관련 정보를 제공할 수 있는 임의의 다른 컴포넌트들을 포함할 수 있다. 센서들(525 및 535)의 컴포넌트들 중의 적어도 일부는 HMDs(521-523 및 531-532) 및 A/V 캡처 디바이스들(524 및 534) 내에 통합될 수 있다.
일부 예들에서, 룸들(502-504) 각각은 룸 HMDs, A/V 캡처 디바이스들, 및 룸 센서들 각각과 통신하는 중간 컴퓨터 시스템을 더 포함할 수 있다. 이어서, 중간 컴퓨터 시스템들은 회의 서버(501)와 통신한다. 일부 구성들에서, 회의 서버(501)에 의해 수행되는 기능들 중 일부는, 회의 서버(501) 대신에 이러한 중간 컴퓨터 시스템들에 의해서 처리될 수 있다.
위에 설명된 방법들 및 동작들을 사용하여, 회의 서버(501)는 환경(500)에서 HMDs를 착용하는 참여자들간의 미팅을 가능하게 한다. 특히, AR HMDs는 각 AR HMDs가 위치된 미팅 룸 내의 원격 참여자들에게 디스플레이한다. AR HMD 참여자들이 위치된 가상 미팅 룸, 또는 VR 참여자가 “위치한,” VR 참여자에게 제공된, 미팅 룸들(502 및 503) 중 하나의 미팅 룸에 하나에 VR HMD가 제공된다.
도 6은 룸들(502-504) 내의 참여자들의 예시적인 방향을 도시한 것이다. 특히, 미팅 룸(502)은 각기 AR HMDs(521-523)을 착용하고 있는 참여자들(611-613)을 포함한다. 미팅 룸(503)은 각기 AR HMDs(521-523)을 착용하고 있는 참여자들(614 및 615)을 포함한다. 독립적인 룸(504)은 VR HMD(541)을 착용하고 있는 참여자(616)를 포함한다. 이 예에서, 미팅 룸(502)은 6 개의 좌석 위치들을 가진 회의 테이블을 포함하며, 디바이스들(621-626)이 각각의 좌석 위치에 존재한다. 각 디바이스(621-626)는 A/V 캡처 디바이스들(524) 및 룸 센서들(525)의 컴포넌트들을 포함한다. 미팅 룸(503)은 6 개의 좌석 위치들을 또한 갖는 회의 테이블을 포함하며, 디바이스들(631-636)이 각각의 좌석 위치에 존재한다. 각 디바이스(631-636)는 A/V 캡처 디바이스들(534) 및 룸 센서들(535)의 컴포넌트들을 포함한다. 또한, 이 예에서, 오디오 캡처 디바이스(544)는 VR HMD(541) 내로 통합된다.
동작 시에, 디바이스들(621, 623, 624, 633, 및 635) 모두는 그들 각각의 위치들에 참여자들을 갖는다. 따라서, 일단 회의 세션이 시작되면, 이러한 디바이스들은 그들 각각의 참여자들의 오디오 및 영상을 캡처하기 시작하고 이 캡처된 오디오 및 영상을 회의 서버(501)에 전달하기 시작한다. 디바이스들(622, 625, 626, 631, 632, 634, 및 636)은 그들의 위치들에 참여자들이 없으나, 원격 참여자들에게 프리젠테이션을 하기 위해 필요할 수 있는 참여자들의 추가 각도들을 제공하기 위해 오디오 및 영상을 여전히 캡처한다. 또한, 각 AR HMDs(521-523 및 531-532)은 영상을 캡처하여 회의 서버(501)에 전달하는, 외측으로 대면하고 있는 비디오 카메라들을 포함하며, 회의 서버(501)는 이 영상을 사용하여 각 참여자의 뷰를 결정하고 룸 내의 다른 참여자들의 추가 각도들을 생성하는 데 또한 사용될 수 있다. 또한, 캡처 디바이스(627)는 VR 영상에서 사용하기 위해서 미팅 룸(502)의 영상을 캡처하며, 회의의 시각적 관점(perspective)을 참여자(616)에게 VR HMD(541)을 통해 제공한다. 이 예에서 논의된 VR 영상과 더불어 디바이스(627)가 AR 영상을 캡처하기 위해 사용될 수 있음이 추가로 이해되어야 할 것이다.
오디오, 영상, 및 다른 센서 정보를 수신하면, 회의 서버(501)는 위의 동작 300 또는 400에서 설명된 단계들을 수행한다. 이러한 동작들은 회의 서버(501)로 하여금 AR 및 VR HMDs와 함께, 참여자들(611- 616) 모두가 동일한 룸 내에 있는 것과 같이 회의 세션을 경험하도록 이 모든 참여자들에게 필요한 AR 및 VR 영상을 제공하게 한다.
도 7은 참여자들이 회의 서버(501)에 의해 제공된 영상을 통해서 회의 세션을 보고 있는 경우, 룸들(502-504) 내의 참여자들의 예시적인 방향을 도시한 것이다. 구체적으로, 도시된 바와 같이, 회의 서버(501)는 각 룸으로부터 떨어진 참여자들에 대한 각 룸(502 및 503) 내에서의 위치들을 결정하였다. 이 예에서는 참여자(616)에 대해서는 어떠한 영상도 캡처되지 않았기 때문에 참여자(616)에 대한 어떠한 위치도 결정되지 않았으며, 그렇더라도, 참여자(616)로부터의 오디오는 특정 위치로부터 제공될 수 있다. 그러나, 일부 예들에서는, 영상이 참여자(616)에 대해 캡처될 수 있으며, 이에 따라 각 룸들(502 및 503) 내의 빈 지점(open spot)을 참여자(616)가 취할 수 있다. 이와 달리, 참여자(616)는 참여자(616)의 실시간 영상 대신에 아바타 또는 다른 그래픽적 상영으로서 나타내어질 수 있다.
그들의 AR HMDs을 통해 보여질 때에, 룸(502)에 있는 참여자들(611-613)은 참여자들(614-615)이 룸(502)에 있는 것과 같이 룸(502) 내의 위치들에 있는 참여자들(614-615)의 영상을 볼 수 있다. 마찬가지로, 룸(503)에 있는 참여자들(614-615)은 참여자들(611-613)이 룸(503)에 있는 것과 같이 룸(503) 내의 위치들에 있는 참여자들(611-613)의 영상을 볼 수 있다. 위에 논의된 이미지 분할 기술은 각 원격 참여자의 영상 이미지가 배경 이미지로부터 분리되도록 허용한다. 따라서, 지역 참여자들은 원격 참여자들이 물리적으로 위치된 룸의 영상은 보지 않는다. 특정 예에서, 뷰(701)는 참여자(611)가 자신의 AR HMD(521)를 통해 본 것이다. 참여자(615)의 위치가 물리적으로는 비어있을지라도, 참여자(611)에게 제공된 AR 영상은 참여자(615)가 해당 위치에 있는 것과 같이 보이게 만든다. 마찬가지로, 뷰(702)는 참여자(615)가 자신의 AR HMD(532)을 통해 본 것이다. 참여자들(611 및 612)의 위치들이 물리적으로 비어있을지라도, 참여자(615)에게 제공된 AR 영상은 참여자들(611 및 612)이 해당 위치들에 있는 것과 같이 보이게 만든다.
뷰들(701 및 702)이 변경되는 때에(예를 들어, 참여자들(611 및 615)이 자신의 머리를 돌리거나(pan) 기울이는 때에), 회의 서버(501)는 이러한 뷰 변경사항들을 추적하며 이에 따라 원격 참여자들이 계속하여 그들의 올바른 위치들에서 나타내어질 수 있도록 보장하기 위해서 각 참여자에 대한 AR 영상을 조절한다. 위에 논의된 바와 같이, 뷰들(701 및 702)이 변경되고 있다고 나타내기 위해 방향 정보 및 뷰 정보는 룸들(502 및 503) 내의 캡처 디바이스들 및 HMDs로부터 컴파일링될 될 수 있고 회의 서버(501)에 전달될 수 있다. 이로써, 뷰(701)의 경우에, 참여자(611)가 자신의 머리를 보다 좌측으로 돌리면, AR 영상은 참여자(615)를 더 이상 나타내지 않을 수 있는데 그 이유는 참여자(615)가 뷰 밖으로 움직이기 때문이고 참여자(614)가 이 뷰 내로 움직이면 참여자(611) 옆에 "앉아 있는" 참여자(614)를 나타내기 때문이다. 따라서, 방향 정보 및 뷰 정보는 참여자(611)가 그들의 움직임에 따라서 그들이 HMD(521)을 통해서 무엇을 보는지를 제어하는 것을 허용한다.
참여자(616)와 관련하여, 참여자(616)에게 제공된 VR 영상은 디바이스(627)에 의해서 캡처된 뷰(703)를 포함한다. VR HMD(541)는 미팅 룸(502)의 영상 위에 오버레이된 참여자(614)의 영상과 함께 미팅 룸(502) 및 참여자(614) 모두의 영상을 참여자들(611 및 612) 사이의 좌석 위치에 제공한다. 미팅 룸 장면이 미팅 룸(502)에 물리적으로 위치한 참여자들(611 및 612)을 포함하고 있기 때문에, 참여자들(611 및 612)의 분리된 영상은 필수가 아니다. 참여자(616)가 자신의 머리를 우측으로 이동하면, 뷰(703)가 변화되고 참여자(613)가 디바이스(627)에 의해서 캡처되는 바와 같이 뷰 내로 들어온다. 또한, 더 우측으로 움직이면, 참여자(615)의 영상은, 참여자(615)가 룸(502)에 있는 것과 같이 참여자(616)가 참여자(615)를 볼 수 있도록, VR 영상 내로 더 오버레이된다. 디바이스(627)는 참여자(616)의 머리의 움직임들을 따라서 뷰(703)를 캡처하도록 자신을 움직일 필요가 있거나, 디바이스(627)는 VR HMD(441)에 의해 디스플레이된 와이드 각도 뷰의 일부가 변할 만큼만 충분한 폭만큼 영상을 캡처할 수 있다.
또한, AR 영상의 실효성을 증가시키기 위해서, 각 원격 참여자로부터의 오디오가 해당 참여자의 위치에 있는 디바이스로부터 재생된다. 예를 들어, 참여자(614)가 말하고 있다면, 디바이스(622)가, 참여자(614)가 실제로 AR 영상에서 나타난 룸(502) 내의 위치에 있는 것과 같이 참여자들(611-613)이 참여자(614)를 듣도록 참여자(614)의 오디오를 제공할 수 있다. 이와 달리, HR HMDs(521-523)의 각각은 룸(502) 내의 참여자(614)의 위치로부터 나오는 오디오를 시뮬레이팅하는 것과 같은 방식으로 배치된 오디오 스피커들을 포함할 수 있다. 또한, 룸들(502 및 503) 내의 임의의 디바이스가 참여자(616)에 대해서 캡처된 오디오를 제공할 수 있다. 그러나, 위치가 룸들(501 및 503) 중 어느 하나 또는 양쪽 모두 내에서 참여자(616)에 대해서 결정되면, 오디오는 이 결정된 위치로부터 나오는 것과 같이 되도록 제공될 수 있다.
도 8은 미팅이 시작되었고 원격 참여자들이 AR HMD(532)에 의해 참여자(615)에게 디스플레이되는 경우, 참여자(615)의 관점으로부터의 뷰(702)를 도시한다. 도 7에서 앞서 도시된 바와 같이, 원격 참여자들(611 및 612)은 2개의 지역 참여자(614) 옆의 위치들에 위치된다. 따라서, AR HMD(532)는 참여자들(611 및 612)의 영상을 그들의 결정된 위치들에 디스플레이하는 반면, 참여자(614)(그 또는 그녀)는 참여자(615)와 함께 위치하기 때문에 참여자(614)는 제공될 필요가 없다. 또한, 참여자들(611 및 612)의 영상을 디스플레이할 때, 참여자들(611 및 612)의 위치들에 있는 물체들(즉, 디바이스들(631 및 632))은 디바이스들(631 및 632)에 의해 흐릿해 지는 것처럼 참여자들(611 및 612)의 영상을 디스플레이하는 것에 의해 인지된다.
만약 참여자(615)가 그의 머리를, 이번 예에서는 우측으로 돌린다면, AR HMD(532)의 방향에 대한 방향 정보와 뷰(702)에 대한 뷰 정보는 참여자(615)가 머리를 돌리고 있다고 나타낼 것이다. 따라서, AR HMD(632)는 움직임을 설명하기 위해 또한 참여자들(611 및 612)이 룸(503) 내의 그들의 적당한 위치에 계속해서 나타나는 것을 보장하도록 영상을 변화시킨다. 특히, 참여자(613)의 영상이 뷰 내로 들어오는 반면, 참여자(611)의 영상은 뷰 밖으로 움직일 것이고 더 이상 디스플레이되지 않을 것이다. 이 예에서, 마치 그 또는 그녀가 물리적으로 참여자(615) 옆에 앉는 것처럼 참여자(613)에게 제대로 디스플레이하기 위해 참여자(613)가 참여자(615)를 “쳐다 보지” 않는다면 참여자(613)는 프로파일 뷰로부터 보여질 것이다. 따라서, 적당한 각도로 원격 참여자들을 디스플레이함으로써, 그들의 지정된 위치들의 참여자들의 뷰를 흐릿하게 할 수 있는 물체를 인지함으로써, 그리고 참여자(615)의 움직임을 조절함으로써, AR HMD(532)가 이 예에서 그러한 것과 같이, 마치 원격 미팅 참여자들이 참여자(615)와 함께 룸(503)에 위치하고 있는 것처럼 참여자(615)는 원격 미팅 참여자들을 볼 수 있다.
도 9는 또한 미팅이 시작된 경우, 참여자(615)의 동일한 관점에서의 뷰(702)를 도시한다. 룸(502)에서 볼 수 있는 바와 같이, 도 6 및 7에 도시된 바와 같이, 문서 ‘A’는 참여자(611) 앞의 테이블 상에 놓여있다. 참여자(611)의 HMD(521)에 대해 수신된 방향 정보 및 뷰 정보는 참여자(611)가 문서 ‘A’를 보고 있다는 것을 결정하기 위해 회의 서버(101)에 의해 사용될 수 있다. 따라서, HMD(521)에 의해 문서 ‘A’의 스냅샷이 찍히고, 문서 ‘A’는 스냅샷 이미지에서 분리되며, 이어서 미팅의 다른 참여자들 및 뷰(702) 내의 참여자(614)에게 그들의 각각의 뷰들 내에서 제공된다. 특히, 비록 문서 ‘A’가 뷰(702) 내의 다른 장소에 디스플레이될지라도, 문서 ‘A’는 뷰(702) 내의 참여자(611) 좌측에 디스플레이된다. 일부 예들에서, 문서 ‘A’의 콘텐트는 회의 서버(501)에 의해 접근 가능한 저장 매체 상에서 문서 ‘A’의 소프트 카피를 찾도록 검사된다. 소프트 카피는 따라서 스냅샷 이미지를 대신해서 디스플레이된다.
참여자(611)는 또한 문서 ‘A’ 또는 문서 ‘A’가 다른 참여자들에게 제공되었음의 표시를 제공받을 수 있다. 참여자(611)는 문서 ‘A’ 를 “넘기고(swipe away)” 문서 ‘A’ 의 프리젠테이션을 중지시키기 위해, 핸드 제스처를 사용하거나 주변 디바이스를 사용할 수 있다. 참여자(615)는 만약 참여자(615)가 더 이상 뷰(702)에서 문서 ‘A’를 보기를 원치 않는다면 위와 유사한 액션을 사용할 수 있다. 게다가, 문서를 저장하는 것, 문서를 줌인 하는 것 또는 다른 것들과 같이, 추가의 옵션들이 미팅 내의 모든 참여자들에게 제공될 수 있다. 옵션들은 머리 움직임들, 핸드 제스처들, 제어 디바이스들로의 입력 또는 다른 수단들에 의해 적용될 수 있다.
또한, 위의 예는 문서를 사용하지만, 화이트보드, 화이트보드의 일부, 명함, 명함 카드 정보, 통신(예컨대, 채팅) 윈도우, 또는 3D 물체와 같이 다른 물체들이 비슷한 방식으로 제공될 수 있다. 예를 들어, 참여자(615)가 참여자(611)를 쳐다보도록 결정되면 참여자(615)는 참여자(611)의 접촉 정보를 보유주기 위해 고개 끄덕임(nodding)(또는 음성 명령, 핸드 제스처 등을 제공하는 것)의 옵션을 가질 수 있고, 참여자(611)의 접촉 정보는 문서 ‘A’의 그것과 유사한 방식으로 디스플레이될 수 있다.
도 10은 이어서 미팅이 시작된 경우, 참여자(616)의 관점으로부터 뷰(703)를 도시한다. 참여자(616)가 가상 현실 참여자이기 때문에, 룸(504)의 뷰는 VR HMD(541)을 통해 디스플레이된 영상과 무관하고 이 영상으로 통합되지 않는다. 참여자(616)에게 제공된 미팅 룸은 프리젠테이션을 위해 가상 미팅 룸을 만드는(rendering) 것이라기보다 미팅 룸(502)의 캡처된 영상이다. 영상은 미팅 룸(502)의 실제 영상이기 때문에, 미팅 룸(502)에 물리적으로 위치된 참여자들은 이미 이 비디오 내에 포함된다. 그러나, 참여자(614)는 룸(502)로부터 멀리 떨어져있고, 참여자(614)의 영상은 따라서 룸(502)의 영상 위에 오버레이된다. 게다가, 뷰(703)에 대한 참여자(614)의 위치를 설명하기 위해 참여자(614)는 프로파일 뷰로부터 보여진다. 물론, 만약 참여자(614)가 참여자(616)를 향하여 몸을 돌린다면, 그러면, 참여자(614)의 영상의 방향은 참여자(616)를 향한 참여자(614)를 보유주기 위해 변할 것이다.
또한, 참여자(614)의 위치가 참여자(611)에 의해 다소 흐려지기 때문에, 만약 참여자(614)가 룸(502)에 물리적으로 있는 경우에, 참여자(614)(그 또는 그녀)가 부분적으로 참여자(611) 뒤에 있는 것처럼 참여자(614)가 보이게 하도록 참여자(614)의 영상이 제공된다. 만약 참여자(616)가 그의 머리를 우측으로 움직인다면, 미팅 룸(502)의 영상은 우측으로 돌 것이고, 참여자(615)의 오버레이가 뷰 내로 움직이는 동안 참여자(614)의 오버레이는 뷰 밖으로 움직일 것이다. 또한, 위의 AR 예와 같이, 추가 시각적인 정보, 예를 들어, 회의 슬라이드들, 채팅 윈도우들 등이 참여자(616)로의 VR 영상에 역시 제공될 수 있다.
도 9에 도시된 예와 일치하게, 문서 ‘A’는 뷰(703) 내에 디스플레이된다. VR HMD(541)는 AR HMD가 디스플레이 할 수 있는 것은 어떤 것이든 디스플레이할 수 있지만, VR HMD(541)는 디스플레이된 배경을 또한 조작할 수 있으므로 추가의 제어가 참여자(616)에게 제공될 수 있다. 예를 들어, 참여자(616)는 줌 레벨이 원하는 세팅에 도달할 때까지 앞으로 구부림으로써 미팅 룸의 영역들 또는 다른 참여자들로 줌을 할 수 있는 반면, AR HMD는 디스플레이된 요소들을 참여자의 실제 세계 위치와 일치되게 유지할 필요가 있는 것이다.
도 11은 헤드 장착형 디스플레이(1100)을 도시한다. 헤드 장착형 디스플레이(1100)는 헤드 장착형 디스플레이(103)의 예이지만, 헤드 장착형 디스플레이(103)는 다른 구성을 사용할 수 있다. 헤드 장착형 디스플레이(1100)는 통신 인터페이스(1101), 사용자 인터페이스(1102), 프로세싱 시스템(1103) 및 센서들을 포함한다. 프로세싱 시스템(1103)은 통신 인터페이스(1101) 및 사용자 인터페이스(1102)에 링크된다. 프로세싱 시스템(1103)은 프로세싱 회로(1105) 및 동작 소프트웨어(1107)를 저장하는 메모리 디바이스(1106)를 포함한다. 헤드 장착형 디스플레이(1100)는 다른 잘 알려진 컴포넌트들, 예를 들어 명료성을 위해서 도시되지 않은 배터리 및 인클로저를 포함할 수 있다. 헤드 장착형 디스플레이(1100)는 개인용 컴퓨터, 서버, 또는 일부 다른 컴퓨팅 장치-이들의 조합을 포함함-일 수 있다. 일부 예들에서, 헤드 장착형 디스플레이(1100)는 본 명세서에서 기술된 바와 같이 기능하기 위해서 요구된 프로세싱 부하를 분산시키기 위해서 다수의 위치들에 걸쳐서 복제될 수 있다.
통신 인터페이스(1101)는 통신 링크들을 통해서 통신하는 컴포넌트들, 예를 들어 네트워크 카드들, 포트들, RF 송수신기들, 프로세싱 회로 및 소프트웨어, 또는 일부 다른 통신 디바이스들을 포함한다. 통신 인터페이스(1101)는 금속성, 무선 또는 광학적 링크들을 통해서 통신하도록 구성될 수 있다. 통신 인터페이스(1101)는 TDM, IP, 이더넷, 광학적 네트워킹, 무선 프로토콜들, 통신 시그널링, 또는 일부 다른 통신 포맷-이들의 조합을 포함함-을 사용하도록 구성될 수 있다.
사용자 인터페이스(1102)는 사용자 입력들을 수신하고 미디어 및/또는 정보를 제공하도록 사용자와 상호작용하는 컴포넌트들을 포함한다. 특히, 사용자 인터페이스(1102)는 위에 설명된 방식으로 영상을 프리젠팅하는 디스플레이를 포함한다. 사용자 인터페이스(1102)는 스피커, 마이크로폰, 버튼들, 광들, 디스플레이 스크린, 터치 스크린, 터치 패드, 스크롤 휠, 통신 포트, 또는 일부 다른 사용자 입력/출력 장치-이들의 조합을 포함함-를 포함할 수 있다.
센서들(1104)은 헤드 장착형 디스플레이(1100)로부터의 뷰 또는 헤드 장착형 디스플레이(1100)의 방향을 결정하는 것에 관한 정보를 캡처하는 컴포넌트들을 포함한다. 센서들(1104)은 전방 비디오 카메라(forward facing video camera), 3D 자이로스코프, 가속도계, 아이 추적 센서, 또는 다른 형태의 센서-이들의 조합을 포함함-를 포함할 수 있다.
프로세싱 회로(1105)는 메모리 디바이스(1106)로부터 동작 소프트웨어(1107)를 검색하여서 실행시키는 다른 회로 및 마이크로프로세서를 포함한다. 메모리 디바이스(1106)는 비일시적 저장 매체, 예를 들어 디스크 드라이브, 플래시 드라이브, 데이터 저장 회로, 또는 일부 다른 메모리 장치를 포함한다. 프로세싱 회로(1105)는 통상적으로 메모리 디바이스(1106)와 통신 인터페이스(1101) 및 사용자 인터페이스(1102)의 일부들을 또한 유지할 수 있는 회로 보드 상에 장착된다. 동작 소프트웨어(1107)는 컴퓨터 프로그램들, 펌웨어, 또는 일부 다른 형태의 머신-판독가능한 프로세싱 명령어를 포함한다. 동작 소프트웨어(1107)는 정보 컴파일링 모듈(1108) 및 영상 변화 모듈(1109)을 포함한다. 동작 소프트웨어(1107)는 운영 체제, 유틸리티들, 드라이버들, 네트워크 인터페이스들, 애플리케이션들, 또는 일부 다른 형태의 소프트웨어를 더 포함할 수 있다. 프로세싱 회로(1105)에 의해서 실행될 때에, 동작 소프트웨어(1107)는 프로세싱 시스템(1103)으로 하여금 본 명세서에서 기술된 바와 같이 헤드 장착형 디스플레이(1100)를 동작시키도록 한다.
특히, 정보 컴파일링 모듈(1108)은 프로세싱 시스템(1103)으로 하여금 회의 세션 동안-복수의 헤드 장착형 디스플레이들(HMDs) 중 각각의 HMD는 복수의 참여자들 중 한 명의 참여자에 의해 착용됨-센서들(1104)로부터의 제 1 방향 정보 및 제 1 뷰 정보를 컴파일하게 한다. 방향 정보는 제 1 HMD의 현재 방향을 설명한다. 제 1 방향 정보 및 제 1 뷰 정보에 기초하여, 영상 변화 모듈(1109)은 영상이 제 1 HMD에 의해 어떻게 제공되는지에 대한 제 1 변화를 결정하도록 프로세싱 시스템(1103)에 명령하고, 제 1 변화를 구현하도록 사용자 기초페이스(1102)의 디스플레이에 명령한다.
도 12는 회의 시스템(1200)을 도시한다. 회의 시스템(1200)은 회의 시스템(101)의 예이지만, 회의 시스템(101)은 다른 구성을 사용할 수 있다. 회의 시스템(1200)은 통신 인터페이스(1201), 사용자 인터페이스(1202) 및 프로세싱 시스템(1203)을 포함한다. 프로세싱 시스템(1203)은 통신 인터페이스(1201) 및 사용자 인터페이스(1202)에 링크된다. 프로세싱 시스템(1203)은 프로세싱 회로(1205) 및 동작 소프트웨어(1207)를 저장하는 메모리 디바이스(1206)를 포함한다. 회의 시스템(1200)은 다른 잘 알려진 컴포넌트들, 예를 들어 명료성을 위해서 도시되지 않은 배터리 및 인클로저를 포함할 수 있다. 회의 시스템(1200)은 개인용 컴퓨터, 서버, 또는 일부 다른 컴퓨팅 장치-이들의 조합을 포함함-일 수 있다. 일부 예들에서, 회의 시스템(1200)은 본 명세서에서 기술된 바와 같이 기능하기 위해서 요구된 프로세싱 부하를 분산시키기 위해서 다수의 위치들에 걸쳐서 복제될 수 있다.
통신 인터페이스(1201)는 통신 링크들을 통해서 통신하는 컴포넌트들, 예를 들어 네트워크 카드들, 포트들, RF 송수신기들, 프로세싱 회로 및 소프트웨어, 또는 일부 다른 통신 디바이스들을 포함한다. 통신 인터페이스(1201)는 금속성, 무선 또는 광학적 링크들을 통해서 통신하도록 구성될 수 있다. 통신 인터페이스(1201)는 TDM, IP, 이더넷, 광학적 네트워킹, 무선 프로토콜들, 통신 시그널링, 또는 일부 다른 통신 포맷-이들의 조합을 포함함-을 사용하도록 구성될 수 있다.
사용자 인터페이스(1202)는 사용자 입력들을 수신하고 미디어 및/또는 정보를 제공하도록 사용자와 상호작용하는 컴포넌트들을 포함한다. 사용자 인터페이스(1202)는 스피커, 마이크로폰, 버튼들, 광들, 디스플레이 스크린, 터치 스크린, 터치 패드, 스크롤 휠, 통신 포트, 또는 일부 다른 사용자 입력/출력 장치-이들의 조합을 포함함-를 포함할 수 있다. 사용자 인터페이스(1202)는 일부 예들에서 생략될 수 있다.
프로세싱 회로(1205)는 메모리 디바이스(1206)로부터 동작 소프트웨어(1207)를 검색하여서 실행시키는 다른 회로 및 마이크로프로세서를 포함한다. 메모리 디바이스(1206)는 비일시적 저장 매체, 예를 들어 디스크 드라이브, 플래시 드라이브, 데이터 저장 회로, 또는 일부 다른 메모리 장치를 포함한다. 프로세싱 회로(1205)는 통상적으로 메모리 디바이스(1206)와 통신 인터페이스(1201) 및 사용자 인터페이스(1202)의 일부들을 또한 유지할 수 있는 회로 보드 상에 장착될 수 있다. 동작 소프트웨어(1207)는 컴퓨터 프로그램들, 펌웨어, 또는 일부 다른 형태의 머신-판독가능한 프로세싱 명령어를 포함한다. 동작 소프트웨어(1207)는 정보 컴파일링 모듈(1208) 및 영상 변화 모듈(1209)을 포함한다. 동작 소프트웨어(1207)는 운영 체제, 유틸리티들, 드라이버들, 네트워크 인터페이스들, 애플리케이션들, 또는 일부 다른 형태의 소프트웨어를 더 포함할 수 있다. 프로세싱 회로(1205)에 의해서 실행될 때에, 동작 소프트웨어(1207)는 프로세싱 시스템(1203)으로 하여금 본 명세서에서 기술된 바와 같이 회의 시스템(1200)을 동작시키도록 한다.
특히, 정보 컴파일링 모듈(1208)은 프로세싱 시스템(1203)으로 하여금 회의 세션 동안-복수의 헤드 장착형 디스플레이들(HMDs) 중 각각의 HMD는 복수의 참여자들 중 한 명의 참여자에 의해 착용됨-복수의 HMDs의 제 1 HMD로부터의 제 1 방향 정보 및 제 1 뷰 정보를 통신 인터페이스(1201)를 통해 컴파일하게 한다. 방향 정보는 제 1 HMD의 현재 방향을 설명한다. 제 1 방향 정보 및 제 1 뷰 정보에 근거하여, 영상 변화 모듈(1209)은 영상이 제 1 HMD에 의해 어떻게 제공되는지에 대한 제 1 변화를 결정하도록 프로세싱 시스템(1203)에 명령하고, 통신 인터페이스(1201)를 통해 제 1 변화를 구현하도록 제 1 HMD에 명령한다.
위의 설명 및 관련 도면들은 본 발명의 최상의 모드를 교시한다. 다음의 청구항들은 본 발명의 범위를 특정한다. 최상의 모드의 일부 측면들은 청구항들에서 특정된 바와 같은 본 발명의 범위 내에 해당하지 않을 수 있음이 주목된다. 본 기술 분야의 당업자는 상술된 특징들이 본 발명의 다수의 변형들을 형성하도록 다양한 방식들로 조합될 수 있음을 이해할 것이다. 이로써, 본 발명은 이상에서 기술된 특정 실시예들로 한정되지 않고 오직 청구항들 및 이들의 균등범위들로만 한정된다.
Claims (10)
- 명령어가 저장된 비일시적 컴퓨터 판독가능한 저장 매체로서,
상기 명령어는 회의 시스템에 의해 실행될 때에, 상기 회의 시스템으로 하여금 원격 증강 현실(Augmented Reality: AR) 및 가상 현실(Virtual Reality: VR) 참여자들 간의 미팅을 제어하는 방법을 수행하게 하며,
상기 방법은,
회의 세션 동안에, 복수의 헤드 장착형 디스플레이(head mounted displays: HMDs) 중 제 1 HMD로부터 제 1 뷰 정보와 제 1 방향 정보를 컴파일링하는 단계 - 상기 복수의 HMDs의 각각은 복수의 참여자들 중 한 명의 참여자에 의해 착용되고, 상기 제 1 방향 정보는 상기 제 1 HMD의 현재 방향을 설명함 - 와,
상기 제 1 방향 정보 및 상기 제 1 뷰 정보에 기초하여, 영상이 어떻게 제 1 HMD에 의해 제공되는지에 대한 제 1 변화를 결정하는 단계와,
상기 제 1 변화를 구현하도록 제 1 HMD에 명령하는 단계를 포함하되,
상기 제 1 변화를 결정하는 단계는,
상기 제 1 뷰 정보를 이용하여 상기 제 1 HMD를 착용하는 제 1 참여자의 제 1 뷰를 결정하는 단계와,
상기 제 1 뷰 내의 제 1 관심 물체(a first object of interest)를 식별하는 단계와,
상기 제 1 관심 물체에 대해 하나 이상의 옵션을 결정하는 단계와,
상기 제 1 참여자로부터 제 1 입력을 수신하여 상기 하나 이상의 옵션 중 제 1 옵션을 선택하는 단계와,
상기 제 1 옵션 및 상기 제 1 관심 물체에 기초하여 상기 영상 내에 하나 이상의 요소를 생성하는 단계를 포함하는
비일시적 컴퓨터 판독가능한 저장 매체.
- 제 1 항에 있어서,
상기 제 1 변화를 결정하는 단계는 상기 제 1 뷰에 대하여 상기 영상 내의 상기 하나 이상의 요소를 어디에 배치할지를 결정하는 단계를 더 포함하는
비일시적 컴퓨터 판독가능한 저장 매체.
- 제 1 항에 있어서,
상기 제 1 관심 물체를 식별하는 단계는,
상기 제 1 뷰 내의 상기 제 1 참여자의 응시 포인트를 결정하는 단계와,
상기 제 1 관심 물체를 상기 응시 포인트에서의 시각적 요소로서 식별하는 단계를 포함하는
비일시적 컴퓨터 판독가능한 저장 매체.
- 제 1 항에 있어서,
상기 제 1 관심 물체는 문서를 포함하고,
상기 하나 이상의 요소는 상기 문서의 영상 표시를 포함하는
비일시적 컴퓨터 판독가능한 저장 매체.
- 제 1 항에 있어서,
상기 제 1 입력은 상기 제 1 HMD가 아닌 상기 복수의 HMDs 중 각각의 다른 HMD에 의해 제공된 영상에 하나 이상의 요소를 제공하는 명령어를 포함하고,
상기 방법은,
상기 다른 HMD로 하여금 상기 하나 이상의 요소의 영상을 제공하도록 명령하는 단계를 더 포함하는
비일시적 컴퓨터 판독가능한 저장 매체.
- 제 1 항에 있어서,
상기 제 1 입력은 제 2 방향 정보로부터 식별된 헤드 노드, 상기 제 1 참여자에 의해 만들어진 핸드 제스처, 또는 주변 디바이스로의 상기 제 1 참여자에 의한 입력 중 하나를 포함하는
비일시적 컴퓨터 판독가능한 저장 매체.
- 제 1 항에 있어서,
상기 제 1 방향 정보는 상기 제 1 HMD를 착용하는 제 1 참여자가 앞으로 구부리고(leaning forward) 있다는 것을 나타내고,
상기 제 1 변화를 결정하는 단계는,
상기 제 1 참여자가 앞으로 구부리고 있는 정도(an amount)에 대응하는 상기 영상에 대한 줌 레벨을 결정하는 단계를 포함하는
비일시적 컴퓨터 판독가능한 저장 매체.
- 원격 증강 현실(Augmented Reality: AR) 및 가상 현실(Virtual Reality: VR) 참여자들 간의 미팅을 제어하는 회의 시스템으로서,
회의 세션 동안에, 복수의 헤드 장착형 디스플레이(head mounted displays: HMDs) 중 제 1 HMD로부터 제 1 뷰 정보와 제 1 방향 정보를 컴파일링하도록 구성된 통신 인터페이스 - 상기 복수의 HMDs의 각각은 복수의 참여자들 중 한 명의 참여자에 의해 착용되고, 상기 제 1 방향 정보는 상기 제 1 HMD의 현재 방향을 설명함 - 와,
상기 제 1 방향 정보 및 상기 제 1 뷰 정보에 기초하여, 영상이 어떻게 제 1 HMD에 의해 제공되는지에 대한 제 1 변화를 결정하도록 구성되고, 상기 제 1 변화를 구현하기 위해 제 1 HMD에 명령하도록 구성된 프로세싱 시스템을 포함하되,
상기 제 1 변화를 결정하도록 구성된 상기 프로세싱 시스템은
상기 제 1 뷰 정보를 이용하여 상기 제 1 HMD를 착용하는 제 1 참여자의 제 1 뷰를 결정하고,
상기 제 1 뷰 내의 제 1 관심 물체를 식별하고,
상기 제 1 관심 물체에 대해 하나 이상의 옵션을 결정하고,
상기 제 1 참여자로부터 제 1 입력을 수신하여 상기 하나 이상의 옵션 중 제 1 옵션을 선택하고,
상기 제 1 옵션 및 상기 제 1 관심 물체에 기초하여 상기 영상 내에 하나 이상의 요소를 생성하도록 구성된 프로세싱 시스템을 포함하는
회의 시스템.
- 제 8 항에 있어서,
상기 제 1 변화를 결정하도록 구성된 상기 프로세싱 시스템은,
상기 제 1 뷰에 대하여 상기 영상 내의 상기 하나 이상의 요소를 어디에 배치할지를 결정하도록 구성된 프로세싱 시스템을 더 포함하는
회의 시스템.
- 제 8 항에 있어서,
상기 제 1 관심 물체를 식별하도록 구성된 상기 프로세싱 시스템은,
상기 제 1 뷰 내의 상기 제 1 참여자의 응시 포인트를 결정하고,
상기 제 1 관심 물체를 상기 응시 포인트에서의 시각적 요소로서 식별하도록 구성된 프로세싱 시스템을 포함하는
회의 시스템.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461931234P | 2014-01-24 | 2014-01-24 | |
US61/931,234 | 2014-01-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150099401A KR20150099401A (ko) | 2015-08-31 |
KR101665229B1 true KR101665229B1 (ko) | 2016-10-11 |
Family
ID=53523084
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150010689A KR101665229B1 (ko) | 2014-01-24 | 2015-01-22 | 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신의 제어 |
KR1020150010807A KR101734635B1 (ko) | 2014-01-24 | 2015-01-22 | 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신의 제공 |
KR1020150010759A KR101656172B1 (ko) | 2014-01-24 | 2015-01-22 | 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150010807A KR101734635B1 (ko) | 2014-01-24 | 2015-01-22 | 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신의 제공 |
KR1020150010759A KR101656172B1 (ko) | 2014-01-24 | 2015-01-22 | 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신 |
Country Status (3)
Country | Link |
---|---|
US (3) | US9524588B2 (ko) |
KR (3) | KR101665229B1 (ko) |
DE (3) | DE102015100926B4 (ko) |
Families Citing this family (228)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9952664B2 (en) | 2014-01-21 | 2018-04-24 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US20150205111A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Optical configurations for head worn computing |
US20120030595A1 (en) * | 2010-07-29 | 2012-02-02 | Seiko Epson Corporation | Information storage medium, terminal apparatus, and image generation method |
JP6428268B2 (ja) * | 2013-01-24 | 2018-11-28 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びに画像表示システム |
US9448409B2 (en) | 2014-11-26 | 2016-09-20 | Osterhout Group, Inc. | See-through computer display systems |
US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
US9671613B2 (en) | 2014-09-26 | 2017-06-06 | Osterhout Group, Inc. | See-through computer display systems |
US11227294B2 (en) | 2014-04-03 | 2022-01-18 | Mentor Acquisition One, Llc | Sight information collection in head worn computing |
US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
US20150277118A1 (en) | 2014-03-28 | 2015-10-01 | Osterhout Group, Inc. | Sensor dependent content position in head worn computing |
US9810906B2 (en) | 2014-06-17 | 2017-11-07 | Osterhout Group, Inc. | External user interface for head worn computing |
US9529195B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US10191279B2 (en) | 2014-03-17 | 2019-01-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9299194B2 (en) * | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
US9740280B2 (en) | 2014-01-21 | 2017-08-22 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
US9523856B2 (en) | 2014-01-21 | 2016-12-20 | Osterhout Group, Inc. | See-through computer display systems |
US9811153B2 (en) | 2014-01-21 | 2017-11-07 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US12093453B2 (en) | 2014-01-21 | 2024-09-17 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
US20150205135A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US9538915B2 (en) | 2014-01-21 | 2017-01-10 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
US9524588B2 (en) * | 2014-01-24 | 2016-12-20 | Avaya Inc. | Enhanced communication between remote participants using augmented and virtual reality |
US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
US9479730B1 (en) * | 2014-02-13 | 2016-10-25 | Steelcase, Inc. | Inferred activity based conference enhancement method and system |
US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
US9672210B2 (en) | 2014-04-25 | 2017-06-06 | Osterhout Group, Inc. | Language translation with head-worn computing |
US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
US9423842B2 (en) | 2014-09-18 | 2016-08-23 | Osterhout Group, Inc. | Thermal management for head-worn computer |
US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US20160125652A1 (en) * | 2014-11-03 | 2016-05-05 | Avaya Inc. | Augmented reality supervisor display |
US10495726B2 (en) * | 2014-11-13 | 2019-12-03 | WorldViz, Inc. | Methods and systems for an immersive virtual reality system using multiple active markers |
US9684172B2 (en) | 2014-12-03 | 2017-06-20 | Osterhout Group, Inc. | Head worn computer display systems |
USD743963S1 (en) | 2014-12-22 | 2015-11-24 | Osterhout Group, Inc. | Air mouse |
USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
USD753114S1 (en) | 2015-01-05 | 2016-04-05 | Osterhout Group, Inc. | Air mouse |
KR101659849B1 (ko) * | 2015-01-09 | 2016-09-29 | 한국과학기술원 | 아바타를 이용한 텔레프레즌스 제공 방법, 상기 방법을 수행하는 시스템 및 컴퓨터 판독 가능한 기록 매체 |
WO2016130160A1 (en) * | 2015-02-13 | 2016-08-18 | Halliburton Energy Services, Inc. | Using augmented reality to collect, process and share information |
US9690103B2 (en) * | 2015-02-16 | 2017-06-27 | Philip Lyren | Display an image during a communication |
US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
US10878775B2 (en) | 2015-02-17 | 2020-12-29 | Mentor Acquisition One, Llc | See-through computer display systems |
KR101577986B1 (ko) * | 2015-03-24 | 2015-12-16 | (주)해든브릿지 | 양방향 가상 현실 구현 시스템 |
US10721280B1 (en) * | 2015-05-29 | 2020-07-21 | Sprint Communications Company L.P. | Extended mixed multimedia reality platform |
KR102319432B1 (ko) | 2015-07-13 | 2021-10-29 | 현대모비스 주식회사 | 이종 오디오 방송간 전환 방법 |
EP3335418A1 (en) * | 2015-08-14 | 2018-06-20 | PCMS Holdings, Inc. | System and method for augmented reality multi-view telepresence |
WO2017059494A1 (en) * | 2015-10-08 | 2017-04-13 | Resmed Limited | An air conduit for a respiratory device |
KR101763636B1 (ko) * | 2015-10-15 | 2017-08-02 | 한국과학기술원 | 헤드 마운트 디스플레이를 이용한 협업 방법 |
GB2543913B (en) * | 2015-10-30 | 2019-05-08 | Walmart Apollo Llc | Virtual conference room |
CA2948761A1 (en) * | 2015-11-23 | 2017-05-23 | Wal-Mart Stores, Inc. | Virtual training system |
US10095928B2 (en) | 2015-12-22 | 2018-10-09 | WorldViz, Inc. | Methods and systems for marker identification |
US9686510B1 (en) * | 2016-03-15 | 2017-06-20 | Microsoft Technology Licensing, Llc | Selectable interaction elements in a 360-degree video stream |
US10204397B2 (en) | 2016-03-15 | 2019-02-12 | Microsoft Technology Licensing, Llc | Bowtie view representing a 360-degree image |
US9924238B2 (en) * | 2016-03-21 | 2018-03-20 | Screenovate Technologies Ltd. | Method and a system for using a computerized source device within the virtual environment of a head mounted device |
CN105828062A (zh) * | 2016-03-23 | 2016-08-03 | 常州视线电子科技有限公司 | 无人机3d虚拟现实拍摄系统 |
WO2017172528A1 (en) | 2016-04-01 | 2017-10-05 | Pcms Holdings, Inc. | Apparatus and method for supporting interactive augmented reality functionalities |
CN109416842B (zh) * | 2016-05-02 | 2023-08-29 | 华纳兄弟娱乐公司 | 在虚拟现实和增强现实中的几何匹配 |
US10242501B1 (en) | 2016-05-03 | 2019-03-26 | WorldViz, Inc. | Multi-user virtual and augmented reality tracking systems |
WO2018005235A1 (en) | 2016-06-30 | 2018-01-04 | Pcms Holdings, Inc. | System and method for spatial interaction using automatically positioned cameras |
US9756286B1 (en) | 2016-08-05 | 2017-09-05 | Microsoft Technology Licensing, Llc | Communication event |
KR20180017736A (ko) * | 2016-08-10 | 2018-02-21 | (주) 씽크브릿지 | Hmd 및 그 hmd의 제어 방법 |
WO2018039071A1 (en) * | 2016-08-23 | 2018-03-01 | Pcms Holdings, Inc. | Method and system for showing remote meeting sites from user-dependent viewpoints |
EP3504873A1 (en) * | 2016-08-29 | 2019-07-03 | Koninklijke KPN N.V. | Communicating in a virtual reality environment |
US10169919B2 (en) * | 2016-09-09 | 2019-01-01 | Oath Inc. | Headset visual displacement for motion correction |
US20180123813A1 (en) * | 2016-10-31 | 2018-05-03 | Bragi GmbH | Augmented Reality Conferencing System and Method |
KR102044003B1 (ko) * | 2016-11-23 | 2019-11-12 | 한국전자통신연구원 | 영상 회의를 위한 전자 장치 및 그의 동작 방법 |
CN108377355A (zh) * | 2016-11-28 | 2018-08-07 | 中兴通讯股份有限公司 | 一种视频数据处理方法、装置及设备 |
US10645178B2 (en) * | 2016-11-29 | 2020-05-05 | Ncr Corporation | Omni-channel virtual reality (VR) collaboration |
CN114236837A (zh) | 2016-12-05 | 2022-03-25 | 凯斯西储大学 | 用于显示交互式增强现实展示的系统、方法和介质 |
US12020667B2 (en) | 2016-12-05 | 2024-06-25 | Case Western Reserve University | Systems, methods, and media for displaying interactive augmented reality presentations |
US10466777B2 (en) * | 2016-12-07 | 2019-11-05 | LogMeln, Inc. | Private real-time communication between meeting attendees during a meeting using one or more augmented reality headsets |
US9953650B1 (en) * | 2016-12-08 | 2018-04-24 | Louise M Falevsky | Systems, apparatus and methods for using biofeedback for altering speech |
US10701319B2 (en) * | 2016-12-20 | 2020-06-30 | Intracom Systems, Llc | Enhanced virtual and/or augmented communications interface |
DE102016125268A1 (de) * | 2016-12-21 | 2018-06-21 | Electronic Ventures Limited | Verfahren und System zur Anzeige von omnidirektionalen Videosequenzen |
US20210281802A1 (en) * | 2017-02-03 | 2021-09-09 | Vestel Elektronik Sanayi Ve Ticaret A.S. | IMPROVED METHOD AND SYSTEM FOR VIDEO CONFERENCES WITH HMDs |
WO2018142222A1 (en) * | 2017-02-03 | 2018-08-09 | Zyetric System Limited | Augmented video reality |
WO2018175335A1 (en) * | 2017-03-24 | 2018-09-27 | Pcms Holdings, Inc. | Method and system for discovering and positioning content into augmented reality space |
US10403050B1 (en) | 2017-04-10 | 2019-09-03 | WorldViz, Inc. | Multi-user virtual and augmented reality tracking systems |
US11782669B2 (en) * | 2017-04-28 | 2023-10-10 | Microsoft Technology Licensing, Llc | Intuitive augmented reality collaboration on visual data |
WO2018207046A1 (en) * | 2017-05-09 | 2018-11-15 | Within Unlimited, Inc. | Methods, systems and devices supporting real-time interactions in augmented reality environments |
US10841537B2 (en) | 2017-06-09 | 2020-11-17 | Pcms Holdings, Inc. | Spatially faithful telepresence supporting varying geometries and moving users |
US10304239B2 (en) | 2017-07-20 | 2019-05-28 | Qualcomm Incorporated | Extended reality virtual assistant |
US11288913B2 (en) * | 2017-08-09 | 2022-03-29 | Igt | Augmented reality systems methods for displaying remote and virtual players and spectators |
US20190057551A1 (en) * | 2017-08-17 | 2019-02-21 | Jpmorgan Chase Bank, N.A. | Systems and methods for combined augmented and virtual reality |
US10796489B1 (en) | 2017-09-13 | 2020-10-06 | Lucasfilm Entertainment Company Ltd. | Game engine responsive to motion-capture data for mixed-reality environments |
KR102434402B1 (ko) | 2017-09-19 | 2022-08-22 | 한국전자통신연구원 | 혼합현실 콘텐츠를 제공하는 장치 및 방법 |
WO2019067482A1 (en) | 2017-09-29 | 2019-04-04 | Zermatt Technologies Llc | DISPLAYING APPLICATIONS IN A SIMULATED REALITY ENVIRONMENT ENVIRONMENT |
US11062570B2 (en) * | 2017-11-11 | 2021-07-13 | Casinotable Group Inc. | Method, system, and apparatus for administering table games to real and virtual users simultaneously |
CN109842792B (zh) * | 2017-11-27 | 2021-05-11 | 中兴通讯股份有限公司 | 视频播放方法、装置、系统及存储介质 |
DE102017128680A1 (de) * | 2017-12-04 | 2019-06-06 | Vitero GmbH - Gesellschaft für mediale Kommunikationslösungen | Verfahren und Vorrichtung zur Durchführung von Fernbesprechungen mit mehreren Teilnehmern |
KR101918262B1 (ko) * | 2017-12-19 | 2018-11-13 | (주) 알큐브 | 혼합 현실 서비스 제공 방법 및 시스템 |
US10504274B2 (en) | 2018-01-05 | 2019-12-10 | Microsoft Technology Licensing, Llc | Fusing, texturing, and rendering views of dynamic three-dimensional models |
DE102018201336A1 (de) * | 2018-01-29 | 2019-08-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Virtual-Reality-Konferenzsystem |
GB201804383D0 (en) | 2018-03-19 | 2018-05-02 | Microsoft Technology Licensing Llc | Multi-endpoint mixed reality meetings |
KR20190112407A (ko) | 2018-03-26 | 2019-10-07 | (주)씨소 | 홀로포테이션 컨텐츠 운용 방법 |
FR3080935B1 (fr) * | 2018-05-02 | 2020-05-22 | Argo | Procede et systeme de generation a la volee d'un contenu de realite augmentee sur un appareil utilisateur. |
CN112384880A (zh) * | 2018-05-03 | 2021-02-19 | Pcms控股公司 | 用于vr体验的基于物理接近度和/或姿势的链接的系统和方法 |
US10924566B2 (en) | 2018-05-18 | 2021-02-16 | High Fidelity, Inc. | Use of corroboration to generate reputation scores within virtual reality environments |
US11651555B2 (en) | 2018-05-31 | 2023-05-16 | Microsoft Technology Licensing, Llc | Re-creation of virtual environment through a video call |
EP3599544A1 (en) * | 2018-07-25 | 2020-01-29 | Nokia Technologies Oy | An apparatus, method, computer program for enabling access to mediated reality content by a remote user |
KR102035841B1 (ko) * | 2018-08-08 | 2019-10-24 | 김보언 | 가상현실 이벤트 제공방법, 장치 및 프로그램 |
US11366514B2 (en) | 2018-09-28 | 2022-06-21 | Apple Inc. | Application placement based on head position |
US10554931B1 (en) | 2018-10-01 | 2020-02-04 | At&T Intellectual Property I, L.P. | Method and apparatus for contextual inclusion of objects in a conference |
DE102018220275A1 (de) * | 2018-11-26 | 2020-05-28 | Volkswagen Aktiengesellschaft | Verfahren zur Durchführung einer Videokonferenz, Vorrichtung zur Verwendung bei dem Verfahren sowie dessen Umsetzung im Fahrzeug |
US11175728B2 (en) | 2019-02-06 | 2021-11-16 | High Fidelity, Inc. | Enabling negative reputation submissions in manners that reduce chances of retaliation |
WO2020210298A1 (en) | 2019-04-10 | 2020-10-15 | Ocelot Laboratories Llc | Techniques for participation in a shared setting |
US11812194B1 (en) * | 2019-06-21 | 2023-11-07 | Apple Inc. | Private conversations in a virtual setting |
CN110290211A (zh) * | 2019-06-27 | 2019-09-27 | 北京大米科技有限公司 | 多人联机的通信方法、电子设备和可读存储介质 |
US11704874B2 (en) | 2019-08-07 | 2023-07-18 | Magic Leap, Inc. | Spatial instructions and guides in mixed reality |
CN114222942A (zh) | 2019-08-12 | 2022-03-22 | 奇跃公司 | 用于虚拟和增强现实的系统和方法 |
US11159766B2 (en) | 2019-09-16 | 2021-10-26 | Qualcomm Incorporated | Placement of virtual content in environments with a plurality of physical participants |
EP4270159A3 (en) | 2019-09-26 | 2024-01-03 | Apple Inc. | Wearable electronic device presenting a computer-generated reality environment |
WO2021062278A1 (en) * | 2019-09-27 | 2021-04-01 | Apple Inc. | Environment for remote communication |
KR102314782B1 (ko) | 2019-10-28 | 2021-10-19 | 네이버랩스 주식회사 | 3차원 증강현실 표시 방법 |
US10917613B1 (en) * | 2020-01-03 | 2021-02-09 | International Business Machines Corporation | Virtual object placement in augmented reality environments |
WO2021175920A1 (en) | 2020-03-06 | 2021-09-10 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods providing video conferencing with adjusted/modified video and related video conferencing nodes |
US11444988B2 (en) * | 2020-03-17 | 2022-09-13 | Qualcomm Incorporated | Signaling of scene description for multimedia conferencing |
US10924710B1 (en) * | 2020-03-24 | 2021-02-16 | Htc Corporation | Method for managing avatars in virtual meeting, head-mounted display, and non-transitory computer readable storage medium |
US20210320810A1 (en) * | 2020-04-10 | 2021-10-14 | Samsung Electronics Co., Ltd. | Volumetric conversational services using network edge |
US11232640B2 (en) | 2020-04-28 | 2022-01-25 | Spatial Systems Inc. | Augmented reality interaction, modeling, and annotation system |
CN111580658B (zh) * | 2020-05-09 | 2024-04-26 | 维沃移动通信有限公司 | 基于ar的会议方法、装置及电子设备 |
US11870939B2 (en) | 2020-05-12 | 2024-01-09 | True Meeting Inc. | Audio quality improvement related to a participant of a virtual three dimensional (3D) video conference |
US11805157B2 (en) | 2020-05-12 | 2023-10-31 | True Meeting Inc. | Sharing content during a virtual 3D video conference |
US11582423B2 (en) | 2020-05-12 | 2023-02-14 | True Meeting Inc. | Virtual 3D communications with actual to virtual cameras optical axes compensation |
US11790535B2 (en) | 2020-05-12 | 2023-10-17 | True Meeting Inc. | Foreground and background segmentation related to a virtual three-dimensional (3D) video conference |
US11570404B2 (en) | 2020-05-12 | 2023-01-31 | True Meeting Inc. | Predicting behavior changes of a participant of a 3D video conference |
US11769302B2 (en) * | 2020-06-05 | 2023-09-26 | Verb Surgical Inc. | Remote surgical mentoring |
CN111736694B (zh) * | 2020-06-11 | 2024-03-05 | 上海境腾信息科技有限公司 | 一种远程会议的全息呈现方法、存储介质及系统 |
US11475652B2 (en) | 2020-06-30 | 2022-10-18 | Samsung Electronics Co., Ltd. | Automatic representation toggling based on depth camera field of view |
US12026901B2 (en) | 2020-07-01 | 2024-07-02 | Samsung Electronics Co., Ltd. | Efficient encoding of depth data across devices |
US11475634B2 (en) | 2020-07-02 | 2022-10-18 | Meta Platforms Technologies, Llc | Generating an extended-reality lobby window for communication between networking system users |
US11302063B2 (en) * | 2020-07-21 | 2022-04-12 | Facebook Technologies, Llc | 3D conversations in an artificial reality environment |
US11233973B1 (en) | 2020-07-23 | 2022-01-25 | International Business Machines Corporation | Mixed-reality teleconferencing across multiple locations |
US11388116B2 (en) | 2020-07-31 | 2022-07-12 | International Business Machines Corporation | Augmented reality enabled communication response |
US11502861B2 (en) | 2020-08-17 | 2022-11-15 | T-Mobile Usa, Inc. | Simulated auditory space for online meetings |
US20220070235A1 (en) * | 2020-08-28 | 2022-03-03 | Tmrw Foundation Ip S.Àr.L. | System and method enabling interactions in virtual environments with virtual presence |
US12034785B2 (en) * | 2020-08-28 | 2024-07-09 | Tmrw Foundation Ip S.Àr.L. | System and method enabling interactions in virtual environments with virtual presence |
CN111800599B (zh) * | 2020-09-09 | 2020-12-01 | 芋头科技(杭州)有限公司 | 基于智能眼镜进行数据流获取和显示的方法及智能眼镜 |
US11756225B2 (en) * | 2020-09-16 | 2023-09-12 | Campfire 3D, Inc. | Augmented reality collaboration system with physical device |
US11176756B1 (en) | 2020-09-16 | 2021-11-16 | Meta View, Inc. | Augmented reality collaboration system |
US11457178B2 (en) | 2020-10-20 | 2022-09-27 | Katmai Tech Inc. | Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof |
US10952006B1 (en) | 2020-10-20 | 2021-03-16 | Katmai Tech Holdings LLC | Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof |
US11070768B1 (en) | 2020-10-20 | 2021-07-20 | Katmai Tech Holdings LLC | Volume areas in a three-dimensional virtual conference space, and applications thereof |
US10979672B1 (en) | 2020-10-20 | 2021-04-13 | Katmai Tech Holdings LLC | Web-based videoconference virtual environment with navigable avatars, and applications thereof |
US11076128B1 (en) | 2020-10-20 | 2021-07-27 | Katmai Tech Holdings LLC | Determining video stream quality based on relative position in a virtual space, and applications thereof |
BR112022024836A2 (pt) * | 2020-10-20 | 2023-05-09 | Katmai Tech Inc | Ambiente virtual de videoconferência baseado na web com avatares navegáveis e aplicações dos mesmos |
US11095857B1 (en) | 2020-10-20 | 2021-08-17 | Katmai Tech Holdings LLC | Presenter mode in a three-dimensional virtual conference space, and applications thereof |
US11750745B2 (en) | 2020-11-18 | 2023-09-05 | Kelly Properties, Llc | Processing and distribution of audio signals in a multi-party conferencing environment |
US11461067B2 (en) * | 2020-12-17 | 2022-10-04 | International Business Machines Corporation | Shared information fields with head mounted displays |
US11463499B1 (en) | 2020-12-18 | 2022-10-04 | Vr Edu Llc | Storage and retrieval of virtual reality sessions state based upon participants |
US11556172B1 (en) | 2020-12-22 | 2023-01-17 | Meta Platforms Technologies, Llc | Viewpoint coordination on artificial reality models |
US11546385B1 (en) | 2020-12-31 | 2023-01-03 | Benjamin Slotznick | Method and apparatus for self-selection by participant to display a mirrored or unmirrored video feed of the participant in a videoconferencing platform |
US11621979B1 (en) | 2020-12-31 | 2023-04-04 | Benjamin Slotznick | Method and apparatus for repositioning meeting participants within a virtual space view in an online meeting user interface based on gestures made by the meeting participants |
US11330021B1 (en) | 2020-12-31 | 2022-05-10 | Benjamin Slotznick | System and method of mirroring a display of multiple video feeds in videoconferencing systems |
US11907521B2 (en) | 2021-01-28 | 2024-02-20 | Samsung Electronics Co., Ltd. | Augmented reality calling interface |
US11470162B2 (en) * | 2021-01-30 | 2022-10-11 | Zoom Video Communications, Inc. | Intelligent configuration of personal endpoint devices |
KR102472115B1 (ko) | 2021-02-04 | 2022-11-29 | (주)스마트큐브 | 다자간 온라인 업무 협업을 위한 증강현실 기반의 화상회의를 제공하기 위한 장치 및 이를 위한 방법 |
EP4288950A1 (en) | 2021-02-08 | 2023-12-13 | Sightful Computers Ltd | User interactions in extended reality |
EP4295314A1 (en) | 2021-02-08 | 2023-12-27 | Sightful Computers Ltd | Content sharing in extended reality |
US20220264055A1 (en) * | 2021-02-12 | 2022-08-18 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V | Video Conference Apparatus, Video Conference Method and Computer Program Using a Spatial Virtual Reality Environment |
US20230388454A1 (en) * | 2021-02-12 | 2023-11-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Video conference apparatus, video conference method and computer program using a spatial virtual reality environment |
US11765332B2 (en) | 2021-03-02 | 2023-09-19 | True Meeting Inc. | Virtual 3D communications with participant viewpoint adjustment |
US11943072B2 (en) | 2021-03-30 | 2024-03-26 | Snap Inc. | Providing a room preview within a virtual conferencing system |
US11689696B2 (en) | 2021-03-30 | 2023-06-27 | Snap Inc. | Configuring participant video feeds within a virtual conferencing system |
US12081899B2 (en) * | 2021-04-16 | 2024-09-03 | Zoom Video Communications, Inc. | Immersive scenes |
EP4383733A3 (en) * | 2021-04-19 | 2024-07-31 | Meta Platforms Technologies, LLC | Wrist-wearable device for automatically switching between video and other calling modes based on sensor data at the wrist-wearable device, head-worn wearable devices for use therewith and for coordinated video capturing with the wrist-wearable device, and methods of use thereof |
US11184362B1 (en) | 2021-05-06 | 2021-11-23 | Katmai Tech Holdings LLC | Securing private audio in a virtual conference, and applications thereof |
US11743430B2 (en) | 2021-05-06 | 2023-08-29 | Katmai Tech Inc. | Providing awareness of who can hear audio in a virtual conference, and applications thereof |
EP4334802A1 (en) * | 2021-05-07 | 2024-03-13 | Telefonaktiebolaget LM Ericsson (publ) | Method and arrangements for graphically visualizing data transfer in a 3d virtual environment |
US11663750B2 (en) * | 2021-06-25 | 2023-05-30 | Hewlett-Packard Development Company, L.P. | Image data bars |
US11461962B1 (en) | 2021-06-28 | 2022-10-04 | Meta Platforms Technologies, Llc | Holographic calling for artificial reality |
CN117643048A (zh) * | 2021-07-15 | 2024-03-01 | 瑞典爱立信有限公司 | 基于来自增强现实显示装置的增强现实上下文信息调整来自用户装置的3d视频流中的视频对象的姿态 |
KR102673264B1 (ko) | 2021-08-10 | 2024-06-05 | 서울시립대학교 산학협력단 | 실시간으로 테이블 단위의 매장 정보를 제공하기 위한 장치 및 이를 위한 방법 |
US11831814B2 (en) * | 2021-09-03 | 2023-11-28 | Meta Platforms Technologies, Llc | Parallel video call and artificial reality spaces |
US11838340B2 (en) * | 2021-09-20 | 2023-12-05 | International Business Machines Corporation | Dynamic mute control for web conferencing |
US11979244B2 (en) | 2021-09-30 | 2024-05-07 | Snap Inc. | Configuring 360-degree video within a virtual conferencing system |
US11921970B1 (en) | 2021-10-11 | 2024-03-05 | Meta Platforms Technologies, Llc | Coordinating virtual interactions with a mini-map |
CA3237995A1 (en) * | 2021-11-12 | 2023-05-19 | Henry EASTMAN | Systems, methods, and media for controlling shared extended reality presentations |
US11770422B2 (en) * | 2021-12-18 | 2023-09-26 | Zoom Video Communications, Inc. | Real-time engagement analytics for communication sessions |
US11676329B1 (en) | 2022-01-07 | 2023-06-13 | Meta Platforms Technologies, Llc | Mobile device holographic calling with front and back camera capture |
CN114390241B (zh) * | 2022-01-14 | 2024-07-23 | 西安万像电子科技有限公司 | 一种vr远程会议方法及装置 |
US20230334795A1 (en) * | 2022-01-25 | 2023-10-19 | Multinarity Ltd | Dual mode presentation of user interface elements |
US11948263B1 (en) | 2023-03-14 | 2024-04-02 | Sightful Computers Ltd | Recording the complete physical and extended reality environments of a user |
US11798204B2 (en) * | 2022-03-02 | 2023-10-24 | Qualcomm Incorporated | Systems and methods of image processing based on gaze detection |
USD1029076S1 (en) | 2022-03-10 | 2024-05-28 | Campfire 3D, Inc. | Augmented reality pack |
US11949527B2 (en) * | 2022-04-25 | 2024-04-02 | Snap Inc. | Shared augmented reality experience in video chat |
WO2023239708A1 (en) * | 2022-06-07 | 2023-12-14 | Canon U.S.A., Inc. | System and method for authenticating presence in a room |
US11886767B2 (en) | 2022-06-17 | 2024-01-30 | T-Mobile Usa, Inc. | Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses |
US11651108B1 (en) | 2022-07-20 | 2023-05-16 | Katmai Tech Inc. | Time access control in virtual environment application |
US12009938B2 (en) | 2022-07-20 | 2024-06-11 | Katmai Tech Inc. | Access control in zones |
US11876630B1 (en) | 2022-07-20 | 2024-01-16 | Katmai Tech Inc. | Architecture to control zones |
US12022235B2 (en) | 2022-07-20 | 2024-06-25 | Katmai Tech Inc. | Using zones in a three-dimensional virtual environment for limiting audio and video |
US11928774B2 (en) | 2022-07-20 | 2024-03-12 | Katmai Tech Inc. | Multi-screen presentation in a virtual videoconferencing environment |
US11700354B1 (en) | 2022-07-21 | 2023-07-11 | Katmai Tech Inc. | Resituating avatars in a virtual environment |
US11741664B1 (en) | 2022-07-21 | 2023-08-29 | Katmai Tech Inc. | Resituating virtual cameras and avatars in a virtual environment |
US11562531B1 (en) | 2022-07-28 | 2023-01-24 | Katmai Tech Inc. | Cascading shadow maps in areas of a three-dimensional environment |
US11956571B2 (en) | 2022-07-28 | 2024-04-09 | Katmai Tech Inc. | Scene freezing and unfreezing |
US11711494B1 (en) | 2022-07-28 | 2023-07-25 | Katmai Tech Inc. | Automatic instancing for efficient rendering of three-dimensional virtual environment |
US11776203B1 (en) | 2022-07-28 | 2023-10-03 | Katmai Tech Inc. | Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars |
US11704864B1 (en) | 2022-07-28 | 2023-07-18 | Katmai Tech Inc. | Static rendering for a combination of background and foreground objects |
US11682164B1 (en) | 2022-07-28 | 2023-06-20 | Katmai Tech Inc. | Sampling shadow maps at an offset |
US11593989B1 (en) | 2022-07-28 | 2023-02-28 | Katmai Tech Inc. | Efficient shadows for alpha-mapped models |
US20240062457A1 (en) * | 2022-08-18 | 2024-02-22 | Microsoft Technology Licensing, Llc | Adaptive adjustments of perspective views for improving detail awareness for users associated with target entities of a virtual environment |
US11748939B1 (en) | 2022-09-13 | 2023-09-05 | Katmai Tech Inc. | Selecting a point to navigate video avatars in a three-dimensional environment |
US12073054B2 (en) | 2022-09-30 | 2024-08-27 | Sightful Computers Ltd | Managing virtual collisions between moving virtual objects |
US11893162B1 (en) * | 2023-01-26 | 2024-02-06 | Zoom Video Communications, Inc. | Using wearable devices to capture actions of participants in a meeting |
Family Cites Families (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4400724A (en) * | 1981-06-08 | 1983-08-23 | The United States Of America As Represented By The Secretary Of The Army | Virtual space teleconference system |
JPH0433490A (ja) * | 1990-05-30 | 1992-02-04 | Sony Corp | テレビ会議システム |
EP0701761A1 (en) * | 1993-06-03 | 1996-03-20 | Target Technologies, Inc. | Videoconferencing system |
US5745161A (en) * | 1993-08-30 | 1998-04-28 | Canon Kabushiki Kaisha | Video conference system |
US5572248A (en) * | 1994-09-19 | 1996-11-05 | Teleport Corporation | Teleconferencing method and system for providing face-to-face, non-animated teleconference environment |
US6847336B1 (en) * | 1996-10-02 | 2005-01-25 | Jerome H. Lemelson | Selectively controllable heads-up display system |
US6545700B1 (en) * | 1997-06-25 | 2003-04-08 | David A. Monroe | Virtual video teleconferencing system |
US6330022B1 (en) * | 1998-11-05 | 2001-12-11 | Lucent Technologies Inc. | Digital processing apparatus and method to support video conferencing in variable contexts |
US7749089B1 (en) | 1999-02-26 | 2010-07-06 | Creative Kingdoms, Llc | Multi-media interactive play system |
GB2349055B (en) * | 1999-04-16 | 2004-03-24 | Mitel Corp | Virtual meeting rooms with spatial audio |
US6409599B1 (en) | 1999-07-19 | 2002-06-25 | Ham On Rye Technologies, Inc. | Interactive virtual reality performance theater entertainment system |
ES2231448T3 (es) * | 2000-01-27 | 2005-05-16 | Siemens Aktiengesellschaft | Sistema y procedimiento para el procesamiento de voz enfocado a la vision. |
US7057582B2 (en) * | 2000-03-15 | 2006-06-06 | Information Decision Technologies, Llc | Ruggedized instrumented firefighter's self contained breathing apparatus |
DE10041104C1 (de) * | 2000-08-22 | 2002-03-07 | Siemens Ag | Einrichtung und Verfahren zur Kommunikation zwischen einer mobilen Datenverarbeitungsvorrichtung und einer stationären Datenverarbeitungsvorrichtung |
AU2002303082A1 (en) * | 2001-01-26 | 2002-09-12 | Zaxel Systems, Inc. | Real-time virtual viewpoint in simulated reality environment |
US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
US6583808B2 (en) | 2001-10-04 | 2003-06-24 | National Research Council Of Canada | Method and system for stereo videoconferencing |
US7050078B2 (en) * | 2002-12-19 | 2006-05-23 | Accenture Global Services Gmbh | Arbitrary object tracking augmented reality applications |
SE0203908D0 (sv) * | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
US7764247B2 (en) * | 2006-02-17 | 2010-07-27 | Microsoft Corporation | Adaptive heads-up user interface for automobiles |
US8223186B2 (en) * | 2006-05-31 | 2012-07-17 | Hewlett-Packard Development Company, L.P. | User interface for a video teleconference |
CN101960779A (zh) * | 2007-10-01 | 2011-01-26 | 惠普开发有限公司 | 用于管理分布在不同网络上的虚拟协作系统的系统和方法 |
US8786675B2 (en) | 2008-01-23 | 2014-07-22 | Michael F. Deering | Systems using eye mounted displays |
DE102008027832A1 (de) * | 2008-06-11 | 2009-12-17 | Vrmagic Gmbh | Ophthalmoskop-Simulator |
US20110085018A1 (en) * | 2009-10-09 | 2011-04-14 | Culbertson W Bruce | Multi-User Video Conference Using Head Position Information |
KR20110066298A (ko) | 2009-12-11 | 2011-06-17 | 한국전자통신연구원 | 협력형 혼합현실 서버, 단말기 및 시스템과 이를 이용한 협력형 혼합 현실 서비스방법 |
US8503539B2 (en) * | 2010-02-26 | 2013-08-06 | Bao Tran | High definition personal computer (PC) cam |
US9767481B2 (en) * | 2010-04-30 | 2017-09-19 | American Teleconferencing Services, Ltd. | Systems, methods, and computer programs for providing advertisements in a conference user interface |
JP2012032931A (ja) | 2010-07-29 | 2012-02-16 | Hitachi Ltd | Rfidタグ及びrfidタグの製造方法 |
US8395655B2 (en) * | 2010-08-15 | 2013-03-12 | Hewlett-Packard Development Company, L.P. | System and method for enabling collaboration in a video conferencing system |
KR101299910B1 (ko) | 2010-08-18 | 2013-08-23 | 주식회사 팬택 | 증강 현실 서비스의 공유 방법 및 그를 위한 사용자 단말기와 원격자 단말기 |
WO2012022361A1 (en) | 2010-08-19 | 2012-02-23 | Sony Ericsson Mobile Communications Ab | Method for providing multimedia data to a user |
US8780014B2 (en) * | 2010-08-25 | 2014-07-15 | Eastman Kodak Company | Switchable head-mounted display |
US9111498B2 (en) * | 2010-08-25 | 2015-08-18 | Eastman Kodak Company | Head-mounted display with environmental state detection |
US8619005B2 (en) * | 2010-09-09 | 2013-12-31 | Eastman Kodak Company | Switchable head-mounted display transition |
US20120170800A1 (en) * | 2010-12-30 | 2012-07-05 | Ydreams - Informatica, S.A. | Systems and methods for continuous physics simulation from discrete video acquisition |
US20120197991A1 (en) * | 2011-01-28 | 2012-08-02 | Hewlett-Packard Development Company, L.P. | Method and system for intuitive interaction over a network |
US20120204120A1 (en) * | 2011-02-08 | 2012-08-09 | Lefar Marc P | Systems and methods for conducting and replaying virtual meetings |
JP5960796B2 (ja) * | 2011-03-29 | 2016-08-02 | クアルコム,インコーポレイテッド | ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ |
US8581958B2 (en) * | 2011-04-18 | 2013-11-12 | Hewlett-Packard Development Company, L.P. | Methods and systems for establishing video conferences using portable electronic devices |
US8581956B2 (en) * | 2011-04-29 | 2013-11-12 | Hewlett-Packard Development Company, L.P. | Methods and systems for communicating focus of attention in a video conference |
US8675067B2 (en) * | 2011-05-04 | 2014-03-18 | Microsoft Corporation | Immersive remote conferencing |
US9143724B2 (en) * | 2011-07-06 | 2015-09-22 | Hewlett-Packard Development Company, L.P. | Telepresence portal system |
US8912979B1 (en) * | 2011-07-14 | 2014-12-16 | Google Inc. | Virtual window in head-mounted display |
US9311742B1 (en) | 2011-07-18 | 2016-04-12 | Motion Reality, Inc. | Navigating an avatar through a virtual world in a motion capture simulation environment |
AU2011204946C1 (en) * | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
US9886552B2 (en) * | 2011-08-12 | 2018-02-06 | Help Lighting, Inc. | System and method for image registration of multiple video streams |
US8767306B1 (en) * | 2011-09-22 | 2014-07-01 | Google Inc. | Display system |
US9538133B2 (en) * | 2011-09-23 | 2017-01-03 | Jie Diao | Conveying gaze information in virtual conference |
US9008487B2 (en) * | 2011-12-06 | 2015-04-14 | Alcatel Lucent | Spatial bookmarking |
US20130194389A1 (en) | 2012-01-31 | 2013-08-01 | Ben Vaught | Head-mounted display device to measure attentiveness |
US20130194304A1 (en) | 2012-02-01 | 2013-08-01 | Stephen Latta | Coordinate-system sharing for augmented reality |
US9153043B1 (en) * | 2012-02-16 | 2015-10-06 | Google, Inc. | Systems and methods for providing a user interface in a field of view of a media item |
US9035878B1 (en) * | 2012-02-29 | 2015-05-19 | Google Inc. | Input system |
US8643951B1 (en) * | 2012-03-15 | 2014-02-04 | Google Inc. | Graphical menu and interaction therewith through a viewing window |
GB2502063A (en) * | 2012-05-14 | 2013-11-20 | Sony Corp | Video cueing system and method for sporting event |
US9152226B2 (en) * | 2012-06-15 | 2015-10-06 | Qualcomm Incorporated | Input method designed for augmented reality goggles |
US9088688B2 (en) * | 2012-09-05 | 2015-07-21 | Cisco Technology, Inc. | System and method for collaboration revelation and participant stacking in a network environment |
US9111258B2 (en) * | 2012-10-25 | 2015-08-18 | Microsoft Technology Licensing, Llc | Connecting to meetings with barcodes or other watermarks on meeting content |
US10200654B2 (en) * | 2013-02-27 | 2019-02-05 | Szymczyk Matthew | Systems and methods for real time manipulation and interaction with multiple dynamic and synchronized video streams in an augmented or multi-dimensional space |
US20140300758A1 (en) * | 2013-04-04 | 2014-10-09 | Bao Tran | Video processing systems and methods |
US9940750B2 (en) * | 2013-06-27 | 2018-04-10 | Help Lighting, Inc. | System and method for role negotiation in multi-reality environments |
US9524588B2 (en) * | 2014-01-24 | 2016-12-20 | Avaya Inc. | Enhanced communication between remote participants using augmented and virtual reality |
US20150312520A1 (en) * | 2014-04-23 | 2015-10-29 | President And Fellows Of Harvard College | Telepresence apparatus and method enabling a case-study approach to lecturing and teaching |
-
2014
- 2014-12-30 US US14/585,399 patent/US9524588B2/en active Active
-
2015
- 2015-01-21 US US14/601,535 patent/US9959676B2/en active Active
- 2015-01-21 US US14/601,505 patent/US10013805B2/en active Active
- 2015-01-22 KR KR1020150010689A patent/KR101665229B1/ko active IP Right Grant
- 2015-01-22 KR KR1020150010807A patent/KR101734635B1/ko active IP Right Grant
- 2015-01-22 DE DE102015100926.9A patent/DE102015100926B4/de active Active
- 2015-01-22 KR KR1020150010759A patent/KR101656172B1/ko active IP Right Grant
- 2015-01-22 DE DE102015100930.7A patent/DE102015100930B4/de active Active
- 2015-01-22 DE DE102015100911.0A patent/DE102015100911B4/de active Active
Also Published As
Publication number | Publication date |
---|---|
DE102015100930A1 (de) | 2015-08-13 |
DE102015100930B4 (de) | 2019-06-13 |
US20150215351A1 (en) | 2015-07-30 |
US20150213650A1 (en) | 2015-07-30 |
DE102015100926B4 (de) | 2019-06-13 |
DE102015100911A1 (de) | 2015-07-30 |
KR20150099401A (ko) | 2015-08-31 |
KR20150099403A (ko) | 2015-08-31 |
DE102015100926A1 (de) | 2015-08-13 |
US20150215581A1 (en) | 2015-07-30 |
KR101656172B1 (ko) | 2016-09-08 |
KR20150099402A (ko) | 2015-08-31 |
US9524588B2 (en) | 2016-12-20 |
KR101734635B1 (ko) | 2017-05-15 |
DE102015100911B4 (de) | 2019-04-18 |
US9959676B2 (en) | 2018-05-01 |
US10013805B2 (en) | 2018-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101665229B1 (ko) | 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신의 제어 | |
US10593088B2 (en) | System and method for enabling mirror video chat using a wearable display device | |
US10075491B2 (en) | Directing communications using gaze interaction | |
US11765318B2 (en) | Placement of virtual content in environments with a plurality of physical participants | |
EP3358835B1 (en) | Improved method and system for video conferences with hmds | |
US8581956B2 (en) | Methods and systems for communicating focus of attention in a video conference | |
WO2020210213A1 (en) | Multiuser asymmetric immersive teleconferencing | |
US11218669B1 (en) | System and method for extracting and transplanting live video avatar images | |
JP2023541551A (ja) | 複数のカメラからのウェブカム信号のマージ | |
US20230319233A1 (en) | Adjusting participant gaze in video conferences | |
US20230028828A1 (en) | Immersive displays | |
WO2023075810A1 (en) | System and method for extracting, transplanting live images for streaming blended, hyper-realistic reality | |
CN116472706A (zh) | 头像空间模式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |