KR20150067194A - 제어된 3차원 통신 엔드포인트 - Google Patents

제어된 3차원 통신 엔드포인트 Download PDF

Info

Publication number
KR20150067194A
KR20150067194A KR1020157009265A KR20157009265A KR20150067194A KR 20150067194 A KR20150067194 A KR 20150067194A KR 1020157009265 A KR1020157009265 A KR 1020157009265A KR 20157009265 A KR20157009265 A KR 20157009265A KR 20150067194 A KR20150067194 A KR 20150067194A
Authority
KR
South Korea
Prior art keywords
participants
participant
virtual
endpoint
display device
Prior art date
Application number
KR1020157009265A
Other languages
English (en)
Other versions
KR102108596B1 (ko
Inventor
얀시 크리스토퍼 스미스
에릭 지 랑
크리스티안 에프 하위테마
젱유 장
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150067194A publication Critical patent/KR20150067194A/ko
Application granted granted Critical
Publication of KR102108596B1 publication Critical patent/KR102108596B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H04N13/0242—
    • H04N13/0253—
    • H04N13/0278—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은, 온라인 미팅 또는 회의에서 참가자들 사이의 실황 통신을 시뮬레이션하고, 추가의 참가자들이 참여할 때 가상 환경의 용이한 스케일링을 제공하기 위한 제어된 3차원(3D) 통신 엔드포인트 시스템 및 방법에 관한 것이다. 이는 참가자들에게 다른 참가자들이 동일한 실내에서 뷰어와 함께 동일한 테이블 주위에 앉아 있다는 착각을 하게 만든다. 제어된 통신 엔드포인트는 참가자 주위의 360도에서 참가자의 비디오를 캡처하는 복수의 카메라 포드를 포함한다. 제어된 통신 엔드포인트는 참가자 주위의 적어도 180도에 배치되는 디스플레이 디바이스들을 포함하는 디스플레이 디바이스 구성을 또한 포함하고, 다른 참가자들의 지오메트릭 프록시들을 포함하는 가상 환경을 디스플레이한다. 참가자들을 둥근 가상 테이블에 배치하는 것 및 추가의 참가자들이 추가됨에 따라 가상 테이블의 직경을 증가시키는 것은 용이하게 확장성을 달성한다.

Description

제어된 3차원 통신 엔드포인트{CONTROLLED THREE-DIMENSIONAL COMMUNICATION ENDPOINT}
본 발명은 제어된 3차원 통신 엔드포인트에 관한 것이다.
현재의 화상 회의 기술은 단일의 카메라를 이용해서 로컬(현지) 장면(local scene)의 (적색, 청색, 및 녹색 (RGB) 모델로부터의) RGB 데이터를 캡처하는 것이 보통이다. 이 로컬 장면은 화상 회의에 참가하는 사람들, 즉 미팅 참가자들을 포함하는 것이 보통이다. 이후, 데이터가 실시간으로 원격지에 전송되고 나서, 나머지 미팅 참가자와는 상이한 장소에 있는 다른 미팅 참가자에게 디스플레이된다.
화상 회의 기술에 있어서는, 보다 고화질의 캡처, 압축, 및 전송을 제공하는 데 도움이 되는 진전들이 이루어지고 있지만, 통상적으로 실황 회의의 대면 경험을 재현하는 데는 미치지 못하고 있는 실정이다. 그 한 가지 이유는, 통상적인 화상 회의 경험은 시선(eye gaze) 및 그 밖의 정확한 대화 지오메트리(conversational geometry)가 부족하다는 점이다. 예컨대, 통상적으로 원격으로 캡처되는 사람은, 대면 대화에서 경험하게 되는 바와 같이, 당신의 눈을 응시하지 않는다. 또한, 장면 및 미팅 참가자들을 캡처하는 단일의 고정된 비디오 카메라만이 존재하기 때문에, 운동 시차(motion parallax) 및 이미지 깊이와 같은 3차원(3D) 요소들 뿐만 아니라, 장면에 있어서 시각(perspective)을 자유롭게 변화시키는 것은 부족하다.
본 요약은 발명을 실시하기 위한 구체적인 내용에서 더 후술되는 개념들의 선택을 간략화된 형태로 소개하기 위해 제공된다. 본 요약은 청구대상의 핵심 특징들 또는 본질적인 특징들을 밝히고자 함이 아니며, 청구대상의 범위를 제한하는 데 이용되게 하려는 것도 아니다.
제어된 3차원(3D) 통신 엔드포인트 시스템 및 방법의 실시예들은 온라인 미팅 또는 회의 참가자들 사이의 실황 통신을 시뮬레이션한다. 또한, 제어된 3D 통신 엔드포인트 시스템 및 방법의 실시예들은, 추가의 참가자들이 가상 환경에 놓인 가상 테이블의 사이즈를 단순히 증가시키는 것에 의해 추가될 수 있도록, 참가자들을 포함하는 가상 환경의 용이한 스케일링을 허용한다. 더욱이, 제어된 엔드포인트는 뷰어(viewer)가 마치 나머지 참가자들이 그와 함께 동일한 실내에 있는 것 같이 느낄 수 있게 한다.
특히, 제어된 3D 통신 엔드포인트 시스템 및 방법의 실시예들은 엔드포인트에서 복수의 카메라 포드(camera pod)를 이용해서 참가자의 3D 비디오 이미지들을 캡처한다. 제어된 엔드포인트에 있는 복수의 카메라 포드는, 참가자 주위의 360도 둘레의 참가자의 캡처를 허용하도록 배치된다. 비디오에 의해 캡처된 데이터로부터, 참가자의 지오메트릭 프록시(geometric proxy)가 생성된다. 지오메트릭 프록시는 캡처된 비디오로부터의 RGB 데이터 및 깊이 정보를 이용해서 각각의 참가자에 대하여 생성된다.
장면 지오메트리는 실황 통신에 존재하게 되는 시선 및 대화 지오메트리와 일치하는 상기 시스템 및 방법의 실시예들에 의해 생성된다. 장면 지오메트리의 개념은 참가자들간에 상대적인 지오메트리를 생성하는 것이다. 장면은, 참가자들이 마치 동일한 물리적 장소에서 직접 대화에 참여하고 있는 것처럼 실제 장면을 모방하도록 가상으로 정렬된다.
장면 지오메트리는 참가자들 사이에 상대적인, 일관된 지오메트리를 갖도록 가상 박스들을 이용한다. 2명의 참가자가 있는 미팅(또는 일대일(1 : 1) 장면 지오메트리)은 2명의 참가자들의 각각의 모니터(도시되지 않음)의 앞에 있는 공간들을 차지하는 2개의 박스로 구성된다. 3명의 참가자가 있을 때에는, 장면 지오메트리는 가상의 둥근 테이블 주위에 등거리로 위치되는 3개의 가상 박스를 포함한다.
장면 지오메트리는 가상 카메라를 또한 포함한다. 가상 카메라는 어느 하나의 카메라 포드 단독으로는 캡처되지 않는 카메라 뷰(camera view)를 얻기 위해 복수의 카메라 포드 중 2개 이상으로부터의 이미지들로 이루어진 조합이다. 이로 인해, 상기 시스템 및 방법의 실시예들이 사람들 사이의 자연스러운 시선 및 연락을 얻게 된다. 얼굴 추적 기술들은 가상 카메라가 뷰어의 시선과의 정렬을 유지하는 것을 도와서 성능을 향상시키는 데 사용될 수 있다. 이는 가상 카메라가 뷰어의 눈에 대하여 수직 및 수평 방향에 있어서 높이를 유지해서 정렬됨을 의미한다. 가상 카메라는 얼굴 추적과 상호작용해서, 유저의 눈이 응시하고 있는 유저 응시를 갖는 가상 뷰포인트(viewpoint)를 생성한다. 따라서, 유저가 외면하면, 가상 뷰포인트는 유저 외면의 시각이 된다. 유저가 다른 참가자를 응시하고 있으면, 가상 뷰포인트는 다른 참가자를 응시하는 유저의 시각이 된다. 이는, 유저가 다른 참가자를 응시하고 있는 것처럼 보이게 인위적으로 만드는 것에 의해서가 아니라, 유저가 응시하고 있는 장소를 정확하게 표현하는 가상 지오메트리를 생성하는 것에 의해서 행해진다.
지오메트릭 프록시들은 서로에 대하여 렌더링(가시화)되며, 장면 지오메트리와 함께 가상 환경에 놓인다. 렌더링된 지오메트릭 프록시들 및 장면 지오메트리는 참가자들 각자에게 전송된다. 엔드포인트의 제어된 환경에 있는 뷰어(참가자들 중 한 명이기도 함)에게 가상 환경이 디스플레이된다. 특히, 각각의 엔드포인트는 가상 뷰포인트를 이용해서 가상 환경을 뷰어에게 디스플레이하는 디스플레이 디바이스 구성을 포함한다. 가상 뷰포인트는 뷰어의 눈의 위치 및 방위에 의존한다. 눈의 위치 및 방위에 따라, 뷰어는 미팅에 참석한 나머지 참가자들의 상이한 시각 뿐만 아니라 가상 환경의 그 밖의 양상들을 본다.
현실 공간 및 가상 공간을 등록하면, 표시된 이미지들은, 뷰어가 다른 참가자들에서의 가상 환경들을 둘러보고 있었던 경우에 보게 되는 것이 된다. 또한, 얼굴-추적 기술들은 뷰어의 눈을 추적해서 가상 뷰포인트가 디스플레이해야 하는 것을 알아내는 데 사용될 수 있다. 참가자들을 위한 스케일로 현실적인 지오메트리를 효율적으로 생성하는 한편, 참가자가 모두 함께 물리적인 한 장소에 있다는 착각을 유지하는 것을 돕기 위해, 보다 쉬운 해결책으로 엔드포인트들의 사이즈 및 레이아웃을 제어하는 것이 있다.
디스플레이 디바이스 구성은 복수의 디스플레이 디바이스(예컨대, 모니터들 또는 스크린들)를 포함한다. 디스플레이 디바이스 구성은, 디스플레이 디바이스들이 적어도 뷰어 주변의 180도에 배치되도록, 엔드포인트 환경을 제어한다. 이로 인해, 뷰어는 실감나는 경험을 하게 되며, 마치 자신이 나머지 참가자들과 실제로 동일한 물리적 공간에 있는 것처럼 느낀다.
상기 시스템 및 방법의 실시예들은 용이한 확장성을 또한 제공한다. 특히, 몇몇 실시예들에서의 가상 테이블은 제 1 직경을 갖는 둥근(또는 원형) 가상 테이블이다. 참가자들 각각의 지오메트릭 프록시들은 가상 테이블 주변의 가상 환경에 놓인다. 이로 인해, 뷰어는 가상 테이블 주위의 참가자들 각각을 볼 수 있다. 온라인 미팅에 참가자들이 더 추가되면, 가상의 둥근 테이블은 제 1 직경보다 큰 제 2 직경으로 사이즈가 확대된다. 제 2 직경은 제 1 직경보다 큰 임의의 직경일 수 있다. 이 확대는 뷰를 위해 참가자들 각각을 계속해서 뷰 안에 유지하고, 동일한 실내에서 테이블 주위에 나머지 참가자들과 함께 있다는 착각을 하게 만든다.
상기 시스템 및 방법의 실시예들은 단일의 엔드포인트에 다수의 참가자가 있도록 하는 것을 또한 포함한다. 몇몇 실시예들에 있어서, 얼굴 추적 기술은 2개의 상이한 얼굴들을 추적하고 나서, 상이한 뷰어들에게 상이한 뷰들을 제공한다. 나머지 실시예들에 있어서는, 엔드포인트에 있는 다수의 참가자들 각각이 안경을 착용하고 있고, 몇몇 실시예들에 있어서, 안경은 각각의 안경에 맞춰지는 모니터에 의해 디스플레이되는 교번 프레임들을 각각의 착용자에게 보여 주는 액티브 셔터들을 갖추고 있다. 나머지 실시예들은, 우측에서 모니터를 응시하는 뷰어가 하나의 장면을 보고 좌측에서 모니터를 응시하는 다른 뷰어가 상이한 장면을 보도록, 다수의 시야각을 갖는 모니터를 이용한다.
대안적인 실시예들이 가능하며, 본원에서 논의된 스텝들 및 요소들이 특정 실시예에 따라 변경, 추가, 또는 배제될 수 있다는 점에 유의해야 한다. 이들 대안적인 실시예들은, 본 발명의 범위로부터 일탈함이 없이, 이용 가능한 대안적인 스텝들 및 대안적인 요소들과, 이루어질 수 있는 구조적 변경들을 포함한다.
이제, 명세서 전반에서 유사한 참조 번호들이 상응하는 부분들을 나타내고 있는 도면들을 참조한다.
도 1은 컴퓨팅 환경에서 구현된, 제어된 3차원(3D) 통신 엔드포인트 시스템 및 방법의 실시예들의 개관을 나타내는 블록도이다.
도 2는 도 1에 도시된 3D 통신 처리 시스템의 시스템 상세를 나타내는 블록도이다.
도 3은 도 1에 도시된 제어된 3D 통신 엔드포인트 및 방법의 실시예들의 카메라 포드의 예시적인 실시예의 상세를 나타내는 블록도이다.
도 4는 4개의 카메라 포드를 이용해서 (도 2에 도시된 것과 같은) 카메라 포드 레이아웃의 예시적인 실시예를 나타낸다.
도 5는 3개의 디스플레이 디바이스를 이용하는 (도 1에 도시된 바와 같은) 디스플레이 디바이스 구성의 예시적인 실시예를 나타낸다.
도 6은, 본원에 기술되고 도 1 내지 도 5 및 도 7 내지 도 15에 도시된 바와 같이, 3D 통신 윈도 시스템 및 방법의 다양한 실시예들 및 요소들이 구현될 수 있는 범용 컴퓨터 시스템의 간략화된 예를 나타낸다.
도 7은 도 1에 도시된 제어된 3D 통신 엔드포인트 시스템의 일반적인 작동을 나타내는 흐름도이다.
도 8은 도 1에 도시된 3D 통신 처리 시스템의 일반적인 작동을 나타내는 흐름도이다.
도 9는 추가의 엔드포인트들을 수용하기 위해 상기 시스템 및 방법의 실시예들의 규모를 확대하는 예시적인 실시예를 나타낸다.
도 10은 단일의 미팅 참가자에 대한 지오메트릭 프록시의 생성의 예시적인 개요를 나타낸다.
도 11은 온라인 미팅에 (2개의 상이한 엔드포인트에서) 2명의 참가자가 있을 때의 참가자들 사이의 장면 지오메트리의 예시적인 실시예를 나타낸다.
도 12는 3개의 상이한 엔드포인트에서 온라인 미팅에 3명의 참가자가 있을 때의 참가자들 사이의 장면 지오메트리의 예시적인 실시예를 나타낸다.
도 13은 참가자가 응시하고 있는 곳에 기초한 가상 카메라의 예시적인 실시예를 나타낸다.
도 14는 뷰어가 대면하고 있는 곳에 기초한 운동 시차를 통한 깊이를 제공하는 예시적인 실시예를 나타낸다.
도 15는 다수의 시야각을 갖는 모니터를 이용해서 단일의 엔드포인트에서 다수의 참가자를 다루는 기술의 예시적인 실시예를 나타낸다.
제어된 3차원(3D) 통신 엔드포인트 시스템 및 방법의 하기의 기재에 있어서는, 3D 통신 엔드포인트 시스템 및 방법이 실행될 수 있게 하는 특정한 예를 예시로서 도시하며, 그 일부를 형성하는 첨부 도면들을 참조한다. 청구 요지의 범위로부터 일탈함이 없이, 다른 실시예들이 이용될 수 있으며 구조적인 변경들이 이루어질 수 있다는 점을 이해해야 한다.
I. 시스템 개요( System Overview )
제어된 3D 통신 엔드포인트 시스템 및 방법의 실시예들은 실감나는 온라인 회의 및 미팅을 위한 제어된 캡처 및 뷰잉(보기)(viewing) 공간을 생성한다. 상기 시스템 및 방법의 실시예들은 참가자들이 온라인 회의 또는 미팅에 참여할 때 엔드포인트들에서의 일관성을 보장한다. 엔드포인트는, 조명, 실내 디자인, 및 지오메트리를 포함해서, 온라인 미팅 동안 완전하게 제어된다. 또한, 엔드포인트는, 뷰어에게 다른 참가자들이 실제로 실내에 (또는 동일한 물리적 공간에) 참가자와 함께 있는 것처럼 보이도록 하는, 3D 실감 회의의 캡처 및 뷰잉을 위한 장비를 포함한다.
엔드포인트는 온라인 회의 또는 미팅의 참가자들 중 적어도 한 명을 포함하는 실내 또는 다른 유형의 환경과 같은 물리적인 장소이다. 각각의 온라인 회의는 적어도 한 명의 참가자를 각각 갖는 적어도 2개의 엔드포인트를 갖는다. 각각의 엔드포인트는 2명 이상의 참가자를 가질 수 있다. 2명 이상의 참가자를 갖는 엔드포인트들을 다루는 방식은 하기에서 상세히 논의된다.
도 1은 컴퓨팅 환경에서 구현된, 제어된 3차원(3D) 통신 엔드포인트 시스템(100) 및 방법의 실시예들의 개관을 나타내는 블록도이다. 시스템(100) 및 방법의 실시예들은 온라인 미팅 또는 회의의 참가자들에게 실감나는 경험을 주기 위해 함께 작용하는 다양한 구성요소들 및 시스템들을 포함한다.
도 1에 도시된 바와 같이, 시스템(100) 및 방법은 참가자들에게 실감나는 경험을 가능하게 하는 3D 통신 처리 시스템(105)을 포함한다. 3D 통신 처리 시스템(105)은 컴퓨팅 디바이스(110) 상에 구현된다. 이 컴퓨팅 디바이스는 단일의 컴퓨팅 디바이스일 수 있거나 또는 복수의 디바이스에 대하여 확장될 수 있다. 또한, 컴퓨팅 디바이스(110)는 데스크톱 컴퓨터, 태블릿 컴퓨팅 디바이스, 및 임베디드 컴퓨팅 디바이스를 포함하는, 사실상 프로세서를 갖는 임의의 디바이스일 수 있다.
시스템(100) 및 방법의 실시예들은 적어도 2개의 엔드포인트를 포함한다. 예시 및 설명의 편의를 위해, 도 1은 2개의 엔드포인트만을 나타낸다. 그러나, 시스템(100) 및 방법의 실시예들이 엔드포인트를 몇 개 더 포함할 수 있다는 점에 유의해야 한다. 또한, 도 1의 각 엔드포인트는 단일의 참가자만을 나타내고 있지만, 임의의 수의 참가자들이 임의의 엔드포인트에 포함될 수 있다는 점에 유의해야 한다.
시스템(100) 및 방법의 실시예들은 제 1 엔드포인트(115) 및 제 2 엔트포인트(120)를 포함한다. 도 1에서, 제 1 엔드포인트(115) 및 제 2 엔드포인트(120)는 평면도로 도시된다. 즉, 제 1 및 제 2 엔드포인트(115, 120)가 실내이면, 도 1은 실내의 평면도이다.
제 1 엔드포인트(115)는 제 1 참가자(125)를 내부에 포함한다. 제 1 엔드포인트(115)는 복수의 캡처 및 뷰잉 디바이스를 또한 포함한다. 제 1 엔드포인트(115)에 있는 뷰잉 디바이스들은 제 1 모니터(130), 제 2 모니터(135), 및 제 3 모니터(140)를 포함한다. 뷰잉 디바이스들은, 제 1 참가자(125)가 자신이 나머지 참가자들과 함께 실내에 있는 것처럼 느끼도록, 온라인 미팅에서 제 1 참가자(125)에게 실감나는 경험을 제공한다.
시스템(100) 및 방법의 실시예들은 모니터들 또는 스크린들이 적어도 참가자 주위의 180도에 있게 배치되어 있는 모니터 구성을 포함한다. 모니터들의 구성은 적어도 참가자 주위의 180도 둘레에 위치되는 한 사실상 임의의 배치구조로 될 수 있다. 상세히 후술되는 바와 같이, 이로 인해, 참가자가 충분히 실감나는 경험을 하고, 또한 온라인 미팅 참가자들의 수에 따른 스케일링이 가능해진다.
도 1의 모니터 구성은 제 1 엔드포인트(115)에서 제 1 모니터(130)에 대하여 수직한 제 2 및 제 3 모니터(135, 140)를 나타낸다. 또한, 제 1 엔드포인트(115)에 있는 모니터들(130, 135, 140)은 적어도 제 1 참가자(125) 주위의 180도에 있다. 대안적인 실시예들에 있어서는, 모니터 구성이 반원과 같은 곡선으로 될 수 있거나, 또는 서로에 대하여 예각으로 될 수 있다.
시스템(100) 및 방법의 실시예들은 제 1 엔드포인트(115) 내의 제 1 참가자(125)의 적어도 일부를 캡처하기 위한 캡처 디바이스들을 또한 포함한다. 시스템(100) 및 방법의 실시예들은 캡처 디바이스들로서 복수의 카메라 포드를 이용한다. 도 1에는 6개의 카메라 포드가 도시되어 있지만, 보다 적거나 또는 보다 많은 수의 카메라 포드가 사용될 수 있다는 점에 유의해야 한다.
도 1에 도시된 바와 같이, 제 1 엔드포인트(115)는 제 1 참가자(125)의 앞에 위치되는 제 1의 복수의 카메라 포드(145) 및 제 1 참가자(125)의 뒤에 위치되는 제 2의 복수의 카메라 포드(150)를 포함한다. 각각의 카메라 포드의 상세는 아래에서 상세히 설명된다. 도 1은 제 1의 복수의 카메라 포드(145)가 제 1 모니터(130)에 부착되어 있는 것 및 제 2의 복수의 카메라 포드(150)가 제 1 엔드포인트(115)의 지지 구조체(예컨대, 실내의 벽 또는 실내의 바닥)에 부착되어 있는 것을 도시한다. 그러나, 대안적인 실시예들에 있어서는, 제 1 및 제 2의 복수의 카메라 포드(145, 150)가 몇몇 다른 구조체에 장착될 수 있거나, 또는 일부는 제 1 모니터(130)에 장착되고 나머지는 다른 구조체들에 장착될 수 있다는 점에 유의해야 한다.
제 2 엔드포인트(120)는 제 2 참가자(155)를 내부에 포함한다. 제 1 엔드포인트(115)와 유사하게, 제 2 엔드포인트(120)도 복수의 캡처 및 뷰잉 디바이스를 포함한다. 제 2 엔드포인트(120)에 있는 뷰잉 디바이스들은 제 4 모니터(160), 제 5 모니터(165), 및 제 6 모니터(170)를 포함한다. 이들 모니터(160, 165, 170)는, 제 2 참가자(155)가 자신이 나머지 참가자들과 함께 실내에 있는 것처럼 느끼도록, 온라인 미팅에서 제 2 참가자(155)에게 실감나는 경험을 제공한다.
도 1의 모니터 구성은 제 4 모니터(160)에 대하여 90도보다 작은 각도로 제 2 엔드포인트(120)에 배치된 제 5 및 제 6 모니터(165, 170)를 나타낸다. 또한, 제 2 엔드포인트(120)에 있는 모니터들(160, 165, 170)은 적어도 제 2 참가자(155) 주위의 180도에 있다. 대안적인 실시예들에 있어서는, 상기 모니터 구성도 반원과 같은 곡선으로 될 수 있다.
시스템(100) 및 방법의 실시예들은 제 2 엔드포인트(120) 내의 제 2 참가자(155)의 적어도 일부를 캡처하기 위한 캡처 디바이스들을 또한 포함한다. 시스템(100) 및 방법의 실시예들은 캡처 디바이스들로서 복수의 카메라 포드를 이용한다. 도 1의 제 2 엔드포인트(120)에는 10개의 카메라 포드가 도시되어 있지만, 보다 적거나 또는 보다 많은 수의 카메라 포드가 사용될 수 있다는 점에 유의해야 한다.
도 1에 도시된 바와 같이, 제 2 엔드포인트(120)는 제 2 참가자(155)의 앞에 위치되는 제 3의 복수의 카메라 포드(175) 및 제 2 참가자(155)의 뒤에 위치되는 제 4의 복수의 카메라 포드(180)를 포함한다. 각각의 카메라 포드의 상세는 아래에서 상세히 설명된다. 또한, 제 5의 복수의 카메라 포드(185)는 제 2 참가자(155)의 좌측에 위치되고, 제 6의 복수의 카메라 포드(190)는 제 2 참가자(155)의 우측에 위치된다.
도 1은, 제 3의 복수의 카메라 포드(175)가 제 4 모니터(160)에 부착되고, 제 5의 복수의 카메라 포드(185)가 제 5 모니터(165)에 부착되고, 제 6의 복수의 카메라 포드(190)가 제 6 모니터(170)에 부착됨을 도시한다. 제 4의 복수의 카메라 포드(180)는 제 2 엔드포인트(120)의 지지 구조체(예컨대, 실내의 벽 또는 실내의 바닥)에 부착된다. 그러나, 대안적인 실시예들에 있어서는, 제 3의, 제 4의, 제 5의, 및 제 6의 복수의 카메라 포드(175, 180, 185, 190)가 몇몇 다른 구조체에 장착될 수 있거나, 또는 일부가 제 2 엔드포인트(120) 내부의 다른 구조체들에 장착될 수 있다는 점에 유의해야 한다.
제 1 참가자(125)는 제 1 엔드포인트(115)에 있는 카메라 포드들에 의해 캡처되고, 제 2 참가자는 제 2 엔드포인트(120)에 있는 카메라 포드들에 의해 캡처된다. 이후, 이 캡처된 정보는, 상세히 후술되는 바와 같이, 3D 통신 처리 시스템(105)의 실시예들에 전송된다. 제 1 엔드포인트(115)의 캡처 디바이스들은 네트워크(195)를 통해 3D 통신 처리 시스템(105)과 통신한다. 네트워크(195)와 제 1 엔드포인트(115) 사이의 통신은 제 1 통신 링크를 이용해서 가능해진다. 유사하게, 네트워크(195)와 제 2 엔드포인트(120) 사이의 통신은 제 2 통신 링크(198)에 의해 가능해진다. 도 1에 있어서, 3D 통신 처리 시스템(105)의 실시예들은 네트워크(195)에 상주하는 것으로 도시되어 있다. 그러나, 이것은 3D 통신 처리 시스템(105)이 시스템(100) 및 방법의 실시예들 안에서 구현될 수 있는 단지 하나의 방식이라는 점에 유의해야 한다.
캡처된 정보는 처리되고 나서, 모니터들에서 볼 수 있게 다양한 엔드포인트들에 송신된다. 시스템(100) 및 방법의 실시예들은 엔드포인트들에 있는 각각의 참가자에게 가상 뷰포인트를 제공한다. 상세히 후술되는 바와 같이, 가상 뷰포인트는 뷰어의 얼굴의 위치 및 방위에 따라 뷰어가 다양한 시각에서 온라인 미팅을 볼 수 있게 한다. 몇몇 실시예들에 있어서는, 뷰어의 시선을 추적하고, 처리된 정보가 뷰어에게 어떻게 제시되어야 하는지를 결정하기 위해 얼굴 추적이 이용된다.
II . 시스템 상세( System Details )
시스템(100) 및 방법의 실시예들은 온라인 미팅에서 참가자들에게 실감나는 경험을 제공하기 위해 함께 사용되는 다양한 구성요소들 및 디바이스들을 포함한다. 이제, 구성요소들 및 디바이스들에 대하여 논의한다. 그 밖의 실시예들이 가능하며, 논의된 구성요소들 및 디바이스들의 목적 및 기능을 달성하기 위해 다른 다바이스들이 사용되거나 또는 대체될 수 있다는 점에 유의해야 한다.
시스템(100) 및 방법의 실시예들은 "실황(in person)" 통신 경험을 생성하기 위해 함께 작용하는 3가지의 주요 구성요소를 포함한다. 제 1 구성요소는 회의에 참가하는 사람 각각의 3D 비디오 이미지를 캡처 및 생성하고 있다. 제 2 구성요소는 회의의 참가자들의 수에 기초하여 관련 있는 장면 지오메트리를 생성하고 있다. 그리고, 제 3 구성요소는 뷰어가 응시하고 있는 곳의 시각으로부터 카메라가 위치해 있었던 것처럼 가상 뷰를 렌더링 및 제공해서, 참가자들이 직접 대화하고 있었을 동일한 장면 지오메트리를 재현한다.
II.A . 3D 통신 처리 시스템(3D Communication Processing System)
도 2는 도 1에 도시된 3D 통신 처리 시스템(105)의 시스템 상세를 나타내는 블록도이다. 도 2에 도시된 바와 같이, 3D 통신 처리 시스템(105)은 캡처 및 생성 구성요소(200), 장면 지오메트리 구성요소(210), 및 가상 뷰포인트 구성요소(220)를 포함한다. 캡처 및 생성 구성요소(200)는 엔드포인트에서 참가자의 3D 비디오 이미지를 캡처 및 생성하는 데 이용된다.
구체적으로, 캡처 및 생성 구성요소(200)는 복수의 카메라 포드를 포함하는 카메라 포드 레이아웃(230)을 포함한다. 카메라 포드 레이아웃(230)은 여러 시각에서 참가자를 캡처하는 데 사용된다. 컴퓨터 비전 방법들은 각각의 미팅 참가자에 대한 하이파이(high-fidelity) 지오메트리 프록시를 생성하는 데 사용된다. 상세히 후술되는 바와 같이, 이것은 RGB 데이터 수집 모듈(235)로부터 얻은 RBG 데이터 및 깊이 정보 연산 모듈(240)에 의해 얻어져서 연산된 깊이 정보를 취하는 것에 의해 달성된다. 이 정보에 의해, 지오메트릭 프록시 생성 모듈(245)은 각각의 참가자에 대한 지오메트릭 프록시(250)를 생성한다. 이미지-기반의 렌더링 방법들은 뷰-의존적 텍스처 매핑(view-dependent texture mapping)과 같은 것에 의해 지오메트릭 프록시(250)에 대한 사실적 텍스처를 생성하는 데 사용된다.
장면 지오메트리 구성요소(210)는 참가자들이 실제 대화에서 함께 있는 것을 시뮬레이션하도록 정확한 장면 지오메트리를 생성하는 데 사용된다. 이 장면 지오메트리는 회의에 있는 참가자들의 수에 의존한다. 3D 등록 모듈(260)은 카메라 포드들로 디스플레이 디바이스 또는 모니터의 정밀한 등록을 얻는 데 사용된다. 또한, 공간 정렬 모듈(265)은 카메라 포드들의 방위를 실제와 맞게 정렬한다. 1 : 1 미팅(2개의 엔드포인트를 가짐)에 경우에, 이것은 단지 가상 환경에서 서로를 가로질러 정렬된 2개의 물리적 공간일 뿐이다. 각각의 참가자에 대하여 재현되고 있는 캡처 영역은 모니터 앞에 있는 영역이다.
텍스처가 입혀진 지오메트릭 프록시(250)가 각각의 미팅 참가자들에 대하여 생성되어 있고, 또한 참가자들이 회의의 나머지 참가자들에게 관련되는 3D 가상 공간에 표현되면, 지오메트릭 프록시들은 대화 지오메트리와 일치되게 서로 렌더링된다. 또한, 이 렌더링은 회의의 참가자들의 수에 기초하여 행해진다.
지오메트릭 프록시들과, 몇몇 경우에 있어서의 등록 및 정렬 정보는 전송 모듈(270)에 의해 원격 참가자들에게 전송된다. 가상 뷰포인트 구성요소(220)는 원격 참가자들에게 렌더링된 가상 뷰포인트를 향상시키는 데 사용된다. '그곳에 있는(being there)' 경험은 참가자들 배후의 장면에 운동 시차 및 깊이를 더하는 운동 시차 모듈(280)의 사용을 통해 향상된다. 어느 한 명의 참가자에 의한 수평방향 및 측방향 이동은 그들의 로컬 디스플레이에 도시된 뷰포인트를 변화시키고, 참가자는 그들이 보고 있는 장면 및 그 안의 사람을 여러 시각에서 본다. 이는 미팅 참가자들의 경험을 크게 향상시킨다.
II .B. 카메라 포드( Camera Pod)
위에서 주지된 바와 같이, 시스템(100) 및 방법의 캡처 및 생성 구성요소(200)는 엔드포인트들에 있는 참가자들 및 장면을 캡처하는 데 사용되는 복수의 카메라 포드를 포함한다. 각각의 카메라 포드는 복수의 센서를 구비한다. 도 3은 도 1에 도시된 제어된 3D 통신 엔드포인트 시스템(100) 및 방법의 실시예들의 카메라 포드(300)의 예시적인 실시예의 상세를 나타내는 블록도이다. 도 1에 도시된 바와 같이, 시스템(100) 및 방법의 실시예들은 하나 이상의 카메라 포드(300)를 포함하는 것이 보통이다. 그러나, 설명을 위해 단일의 카메라 포드만을 기술할 것이다. 또한, 다수의 카메라 포드가 반드시 동일한 센서들을 포함해야만 하는 것은 아니라는 점에 유의해야 한다. 시스템(100) 및 방법의 몇몇 실시예들은 서로 상이한 센서들을 내포하는 복수의 카메라 포드를 포함할 수 있다.
도 3에 도시된 바와 같이, 카메라 포드(300)는 다수의 카메라 센서를 포함한다. 이들 센서는 입체 센서 적외선(IR) 카메라(310)들, RGB 카메라(320), 및 IR 이미터(330)를 포함한다. 참가자 및 엔드포인트의 3D 이미지를 캡처하기 위해서는, 카메라 포드(300)가 깊이 맵을 연산하기 위해 RGB 데이터 및 깊이 좌표들을 캡처한다. 도 3은 IR 입체 IR 카메라(310)들 및 IR 이미터(330)가 깊이 계산을 캡처하는 데 사용되는 것을 나타낸다. RGB 카메라(320)는 텍스처 획득에 사용되며, 깊이 분할(depth segmentation)을 이용해서 깊이 큐(depth cue)들을 강화한다. 컴퓨터 비전 분야에 잘 알려져 있는 깊이 분할은 배경 차감(background subtraction)을 이용해서 이미지 내의 물체들을 배경에서 분리한다.
대안적인 실시예들에 있어서, 카메라 포드(300)는 IR 구조 광 진입을 대신해서 전파-시간(time of flight) 센서들 또는 초음파를 이용하여 입체적 감지를 달성한다. 전파-시간 카메라는 광의 속도에 기초하여 이미지 내의 각 점에 대하여 카메라와 물체 사이의 광 신호의 전파 시간을 측정하는 것에 의해 거리를 연산하는 범위 영상 카메라 시스템(range imaging camera system)이다. 초음파 기술은 특정 방향으로 초음파 펄스를 발생시키는 것에 의한 거리 연산에 사용될 수 있다. 펄스의 경로에 물체가 있는 경우에는, 펄스의 일부 또는 전부가 에코로서 전송기에 반사될 것이다. 펄스가 전송되는 것과 에코가 수신되는 것 사이의 차이를 측정함으로써 범위를 확인할 수 있다. 다른 실시예들에 있어서는, RGB 카메라의 스테레오 페어(stereo pairs)를 이용해서 RGB 깊이 계산을 수행함으로써 거리를 확인할 수 있다.
II .C. 카메라 포드 레이아웃( Camera Pod Layout)
한 명 이상의 참가자를 포함하는 엔드포인트들의 3D 이미지를 캡처하기 위해 하나 이상의 카메라 포드가 특정 레이아웃으로 구성된다. 카메라 포드의 수는 캡처된 이미지들의 품질 및 가림(occlusion)의 수에 직접적으로 영향을 미친다. 카메라 포드의 수가 늘어날수록, 이용 가능한 RGB 데이터가 많아지고, 이로써 이미지 품질이 향상된다. 또한, 가림의 수는 카메라 포드의 수가 늘어날수록 줄어든다.
도 1에 도시된 바와 같이, 제 1 엔드포인트(115)는 6개의 카메라 포드를 포함하고, 제 2 엔드포인트(120)는 10개의 카메라 포드를 포함한다. 대안적인 실시예들에 있어서, 임의의 수의 카메라가 사용될 수 있다. 실제로는, 단일의 카메라 포드를 이용하는 하위(lower-end) 버전이 있을 수 있다. 예컨대, 단일의 카메라 포드는 모니터의 상부에 장착될 수 있으며, 임의의 영상 에러들을 교정하기 위해 이미지 왜곡 교정 기술을 이용한다. 카메라 포드 레이아웃이 참가자를 포함하는 엔드포인트의 3D 뷰를 제공할 만큼 충분한 카메라 포드를 가져야 한다는 게 척도이다.
도 4는 4개의 카메라 포드를 이용해서 (도 2에 도시된 것과 같이) 카메라 포드 레이아웃의 예시적인 실시예를 나타낸다. 도 4에 도시된 바와 같이, 4개의 카메라 포드(300)는 모니터(400)의 베젤에 끼워진다. 모니터(400)는 사실상 임의의 사이즈로 이루어질 수 있지만, 큰 모니터일수록 더욱 실물 크기의 재투영을 제공한다. 이는 통상적으로 더욱 현실성 있는 경험을 유저에게 제공한다. 모니터(400) 상에는 온라인 회의 또는 미팅에 참가하고 있는 원격 참가자(410)가 디스플레이된다.
도 4에 도시된 바와 같이, 4개의 카메라 포드(300)는 다이아몬드 구성으로 배치된다. 이는 시스템(100) 및 방법의 실시예들이 상하로 또는 좌우로 유저를 캡처할 수 있게 한다. 또한, 2개의 중앙 상부 및 하부 카메라 포드는 이음매 없이 유저의 얼굴에 현실성 있는 텍스처를 얻는 데 사용될 수 있다. 코너들에 있는 카메라들은 통상적으로 이음매 문제를 야기할 것이라는 점에 유의한다. 다른 실시예들에 있어서는, 4개의 카메라 포드(300)의 사실상 임의의 구성 및 배치구조가 사용될 수 있으며, 또한 모니터(400) 상의 어디에나 장착될 수 있다. 또 다른 실시예들에 있어서는, 4개의 카메라 포드(300) 중 하나 이상이 모니터(400) 이외의 장소들에 장착된다.
대안적인 실시예에 있어서는, 3개의 카메라 포드가 사용되며 모니터(400)의 상부 또는 하부에 위치된다. 몇몇 실시예에 있어서는, 2개의 카메라 포드가 모니터(400)의 상부 또는 하부 코너들에 위치된다. 또 다른 실시예들에 있어서, N개의 카메라 포드가 사용되고, 여기서 N은 4 이상의 수이다(N>4). 이 실시예에 있어서, N개의 카메라 포드들은 모니터(400)의 외측 에지 주위에 위치된다. 또 다른 실시예들에 있어서는, 참가자들을 포함하는 엔드포인트의 3D 장면을 캡처하기 위해 모니터(400) 뒤쪽에 위치된 다수의 카메라 포드가 존재한다.
II .D. 디스플레이 디바이스 구성( Display Device Configuration)
모니터 및 스크린과 같은 몇몇 디스플레이 디바이스들은 나머지 참가자들 중 적어도 몇몇의 캡처된 이미지들을 각각의 참가자에게 디스플레이 및 제시하기 위해 특정한 레이아웃으로 구성된다. 시스템(100) 및 방법의 실시예들은 배치구조가 엔드포인트에 있는 참가자의 적어도 180도를 둘러싸도록 구성된 디스플레이 디바이스들을 구비한다. 이는, 시스템(100) 및 방법의 실시예들이 참가자들에게 실감나는 경험을 스케일링해서 제공할 수 있게 한다. 즉, 엔드포인트에 있는 참가자들에게 적어도 180도 디스플레이 디바이스를 제공하면, 그들은 동시에 가상 테이블에서 모두를 볼 수 있다. 적어도 180도 디스플레이 디바이스에 의하면, 뷰어가 둥근 가상 테이블의 좌우를 둘러볼 때 테이블에서 모두를 볼 수 있게 된다.
도 5는 3개의 디스플레이 디바이스를 이용하는 (도 1에 도시된 바와 같은) 디스플레이 디바이스 구성의 예시적인 실시예를 나타낸다. 도 5에 도시된 바와 같이, 디스플레이 디바이스 구성(500)은 엔드포인트 환경(510)에 배치된다. 디스플레이 디바이스 구성(500)은 엔드포인트 환경(510)에 있는 참가자(도시되지 않음)의 앞에 있게 위치되는 모니터 #1(520)을 포함한다. 디스플레이 디바이스 구성은 모니터 #1(520)의 양쪽에 모니터 #2(530) 및 모니터 #3(540)을 또한 포함한다. 도 5에 도시된 바와 같이, 모니터 #2(530) 및 모니터 #3(540)은 각각 45도 각도로 모니터 #1(520)에 연결 또는 접촉된다.
시스템(100) 및 방법의 실시예들은 캡처 및 디스플레이를 위해 엔드포인트 환경(510)을 이용한다. 몇몇 실시예에 있어서는, 디스플레이 디바이스 구성(500)이 360도 구성으로 될 수 있다. 즉, 엔드포인트 환경(510)에 있는 참가자 둘레에 디스플레이 디바이스들이 있을 수 있다. 다른 실시예들에 있어서는, 디스플레이 디바이스들이 180도 내지 360도의 어느 범위로 엔드포인트 환경(510)을 둘러싸도록 배치된 디스플레이 디바이스들을 포함할 수 있다. 또 다른 실시예들에 있어서, 디스플레이 디바이스 구성(500)은 엔드포인트 환경(510)의 벽들 및 천장이 모두 디스플레이 디바이스들이다. 이러한 타입의 디스플레이 디바이스 구성은 전적으로 가상의 환경에 있는 참가자를 완전히 몰두하게 만들 수 있다.
III . 예시적인 작동 환경( Exemplary Operating Environment)
제어된 3D 통신 엔드포인트 시스템(100) 및 방법의 실시예들의 작동 개요 및 상세를 더 설명하기 전에, 제어된 3D 통신 엔드포인트 시스템(100) 및 방법이 작동할 수 있는 예시적인 작동 환경에 대한 논의가 이제 제시될 것이다. 본원에 기재되어 있는 제어된 3D 통신 엔드포인트 시스템(100) 및 방법의 실시예들은 다양한 타입의 범용 또는 특수목적 컴퓨팅 시스템 환경들 또는 구성들에서 작동한다.
도 6은, 본원에 기재되고 도 1 내지 도 5 및 도 7 내지 도 15에 도시된 바와 같은, 3D 통신 엔드포인트 시스템(100) 및 방법의 다양한 실시예들 및 요소들이 실현될 수 있는 범용 컴퓨터 시스템의 간략화된 예시를 나타낸다. 도 6에서 파선 또는 점선으로 표현되는 임의의 박스들은 간략화된 컴퓨팅 디바이스의 대안적인 실시예들을 나타내고, 또한 후술하는 바와 같은, 이들 대안적인 실시예들의 어느 것 또는 모두는 이 문서 전반에 기재되는 다른 대안적인 실시예들과 함께 사용될 수 있다.
예컨대, 도 6은 간략화된 컴퓨팅 디바이스(10)를 도시하는 일반적인 시스템 다이어그램을 도시한다. 간략화된 컴퓨팅 디바이스(10)는 도 1에 도시된 컴퓨팅 디바이스(110)의 간략화된 버전일 수 있다. 상기와 같은 컴퓨팅 디바이스들은, 퍼스널 컴퓨터, 서버 컴퓨터, 핸드-헬드 컴퓨팅 디바이스, 랩톱 또는 모바일 컴퓨터, 셀 폰 및 PDA와 같은 통신 디바이스, 멀티프로세서 시스템, 마이크로프로세서 기반의 시스템, 셋톱 박스, 프로그래머블 컨슈머 전자기기, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 오디오 또는 비디오 미디어 플레이어 등을 포함하지만, 이들에 제한되는 것은 아닌, 적어도 몇몇의 최소한의 연산 능력을 갖는 디바이스들에서 확인할 수 있는 것이 보통이다.
본원에 기재되어 있는 제어된 3D 통신 엔드포인트 시스템(100) 및 방법의 실시예들을 디바이스가 실현할 수 있게 하기 위해, 상기 디바이스는 기본적인 연산 작업이 가능하도록 충분한 연산 능력 및 시스템 메모리를 가져야 한다. 특히, 도 6에 의해 나타내지는 바와 같이, 연산 능력은 일반적으로 하나 이상의 처리 유닛(들)(12)에 의해 나타내지며, 하나 이상의 GPU(14)를 또한 포함할 수 있는데, 둘 중 하나 또는 둘 모두 시스템 메모리(16)와 통신한다. 일반적인 컴퓨팅 디바이스의 처리 유닛(들)(12)은 DSP, VLIW, 또는 다른 마이크로-컨트롤러와 같은 전문화된 마이크로프로세서일 수 있거나, 또는 멀티-코어 CPU 내의 전문화된 GPU-기반 코어들을 포함하는 하나 이상의 처리용 코어를 갖는 기존의 CPU일 수 있다는 점에 유의한다.
또한, 도 6의 간략화된 컴퓨팅 디바이스(10)는, 예컨대 통신 인터페이스(18)와 같은 다른 구성요소들을 또한 포함할 수 있다. 도 6의 간략화된 컴퓨팅 디바이스(10)는 하나 이상의 기존의 컴퓨터 입력 디바이스(20)(예컨대, 스타일러스, 포인팅 디바이스, 키보드, 오디오 입력 디바이스, 비디오 입력 디바이스, 햅틱 입력 디바이스, 유선 또는 무선 데이터 전송을 수신하기 위한 디바이스 등)를 또한 포함할 수 있다. 도 6의 간략화된 컴퓨팅 디바이스(10)는, 예컨대 하나 이상의 기존의 컴퓨터 출력 디바이스(22)(예컨대, 디스플레이 디바이스(들)(24), 오디오 출력 디바이스, 비디오 출력 디바이스, 유선 또는 무선 데이터 전송을 송신하기 위한 디바이스 등)와 같은 다른 선택적인 구성요소를 또한 포함할 수 있다. 범용 컴퓨터의 전형적인 통신 인터페이스(18), 입력 디바이스(20), 출력 디바이스(22), 및 스토리지 디바이스(26)는 당업자에게 잘 알려져 있으므로, 본원에서는 상세히 기재하지 않는다는 점에 유의한다.
도 6의 간략화된 컴퓨팅 디바이스(10)는 다양한 컴퓨터 판독 가능한 매체를 또한 포함할 수 있다. 컴퓨터 판독 가능한 매체는 간략화된 컴퓨팅 디바이스(10)에 의해 스토리지 디바이스(26)를 통해 액세스될 수 있는 임의의 상용 매체일 수 있으며, 또한 컴퓨터-판독 가능한 또는 컴퓨터-실행 가능한 명령어, 데이터 구조, 프로그램 모듈 또는 그 밖의 데이터와 같은 정보의 저장을 위해 리무버블(28) 및/또는 논-리무버블(30) 중 어느 하나인 휘발성 및 비휘발성 매체를 모두 포함한다. 제한하는 것이 아닌 예시로서, 컴퓨터 판독 가능한 매체는 컴퓨터 스토리지 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 스토리지 매체는, DVD, CD, 플로피 디스크, 테이프 드라이브, 하드 드라이브, 광 드라이브, 솔리드 스테이트 메모리 디바이스, RAM, ROM, EEPROM, 플래시 메모리 또는 그 밖의 메모리 기술, 자기 카세트, 자기 테이프, 자기 디스크 스토리지, 또는 그 밖의 자기 스토리지 디바이스와 같은 컴퓨터 또는 기계 판독 가능한 매체 또는 스토리지 디바이스, 또는 원하는 정보를 저장하는 데 사용될 수 있으며 하나 이상의 컴퓨팅 디바이스에 의해 액세스될 수 있는 임의의 다른 디바이스를 포함하지만, 이들에 한정되는 것은 아니다.
컴퓨터 판독 가능한 또는 컴퓨터 실행 가능한 명령어, 데이터 구조, 프로그램 모듈 등과 같은 정보의 유지는, 하나 이상의 변조된 데이터 신호 또는 반송파를 부호화하기 위해 다양한 전술한 통신 매체 중 어느 하나를 이용함으로써 달성될 수도 있으며, 또한 임의의 유선 또는 무선 정보 전달 메커니즘을 포함한다. "변조된 데이터 신호(modulated data signal)" 또는 "반송파(carrier wave)"라는 용어는 일반적으로 하나 이상의 그 특성 세트를 갖는 신호 또는 신호 내의 정보를 부호화하는 방식으로 변화된 신호를 의미하는 것이라는 점에 유의한다. 예컨대, 통신 매체는 하나 이상의 변조된 데이터 신호를 반송하는 유선 네트워크 또는 직결 접속과 같은 유선 매체, 및 하나 이상의 변조된 데이터 신호 또는 반송파를 송신 및/또는 수신하는 음향, RF, 적외선, 레이저 및 그 밖의 무선 매체와 같은 무선 매체를 포함한다. 상술한 것들의 임의의 조합도 통신 매체의 범위 내에 포함되어야 한다.
또한, 본원에 기재된 제어된 3D 통신 엔드포인트 시스템(100) 및 방법의 다양한 실시예들의 일부 또는 전부를 구현하는 소프트웨어, 프로그램, 및/또는 컴퓨터 프로그램 제품, 또는 그 부분들은 컴퓨터 또는 기계 판독 가능한 매체 또는 스토리지 디바이스와 컴퓨터 실행 가능한 명령어 또는 다른 데이터 구조 형태의 통신 매체의 임의의 원하는 조합으로부터 저장, 수신, 송신, 또는 판독될 수 있다.
마지막으로, 본원에 기재된 제어된 3D 통신 엔드포인트 시스템(100) 및 방법의 실시예들은 컴퓨팅 디바이스에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행 가능한 명령어의 일반적인 맥락에서 더 기재될 수 있다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 또는 특정 추상 데이터 타입을 수행하는 루틴, 프로그램, 객체, 구성요소 등을 포함한다. 본원에 기재된 실시예들은 하나 이상의 원격 처리 디바이스에 의해 태스크가 수행되는 분산 컴퓨팅 환경에서, 또는 하나 이상의 통신 네트워크를 통해 연결되는 하나 이상의 디바이스로 이루어진 클라우드 내부에서 실시될 수도 있다. 분산 컴퓨팅 환경에서는, 프로그램 모듈은 매체 저장 디바이스를 포함하는 로컬 및 원격 컴퓨터 스토리지 미디어 모두에 위치될 수 있다. 또한, 전술한 명령어는, 일부 또는 전부, 프로세서를 포함하거나 또는 포함하지 않을 수 있는 하드웨어 논리 회로로서 실현될 수 있다.
IV . 작동 개요( Operational Overview)
도 7은 도 1에 도시된 제어된 3D 통신 엔드포인트 시스템(100)의 일반적인 작동을 나타내는 흐름도이다. 도 7에 도시된 바와 같이, 시스템(100)의 작동은 로컬 엔드포인트에서 로컬 참가자의 3D 비디오를 캡처하는 것으로 시작한다(박스 700). 예로서, 로컬 엔드포인트는 사무실용 건물 내의 사무실일 수 있다. 캡처된 비디오는 RGB 데이터 및 깊이 정보를 모두 캡처하는 복수의 카메라 포드를 이용해서 얻어진다(박스 705). 복수의 카메라 포드는 로컬 참가자 주위의 360도에 위치된다. 즉, 캡처된 비디오는 로컬 참가자 주위의 모든 뷰를 포함한다.
이후, 상기 방법의 실시예들은 캡처된 3D 비디오를 이용해서 로컬 참가자의 로컬 지오메트릭 프록시를 생성한다(박스 710). 이어서, 상기 방법은 실황 통신과 일치하는 장면 지오메트리를 발생시킨다(박스 715). 개념은 실황 통신의 역학관계를 모방하는 가상 환경을 생성하는 것이다. 이후, 상기 방법은 로컬 지오메트릭 프록시를 장면 지오메트리에 배치해서 가상 환경을 생성한다(박스 720). 로컬 지오메트릭 프록시 및 장면 지오메트리는 원격 엔드포인트에서 원격 참가자에게 전송된다(박스 725).
유사하게, 온라인 회의 또는 미팅에 참여하는 원격 참가자 및 임의의 나머지 참가자들은 복수의 카메라 포드 및 그들 각각에 대하여 생성되는 지오메트릭 프록시를 이용해서 캡처된다. 각각의 지오메트릭 프록시는 렌더링되어 가상 환경의 장면 지오메트리에 배치된다. 이후, 이들 렌더링된 지오메트릭 프록시 및 장면 지오메트리는 나머지 참가자들에게 전송된다.
수신된 가상 환경은 원격 참가자 주위의 적어도 180도가 되는 공간을 차지하는 엔드포인트에 있는 디스플레이 디바이스 상에서 뷰어(예컨대, 원격 참가자)에게 디스플레이된다(박스 730). 이는 가상 환경 내의 가상 뷰포인트를 원격 참가자에게 제공한다. 상세히 후술되는 바와 같이, 뷰어가 자신이 가상 뷰포인트를 응시할 때 보는 것은 부분적으로는 뷰어의 머리의 위치 및 방위에 의존한다.
상기 방법의 실시예들은 가상 환경 내의 가상 테이블을 규정한다. 이후, 렌더링된 참가자들 각각은 가상 환경 내의 가상 테이블 주위에 위치된다. 몇몇 실시예에 있어서, 가상 테이블은 제 1 직경을 갖는 원형을 갖는다(박스 735). 이로 인해, 스케일링이 쉽게 발생한다. 특히, 가상 환경은 참가자의 수를 현재의 2명의 참가자(로컬 참가자 및 원격 참가자)보다 많게 증가시키는 것에 의해 규모가 확대될 수 있다(박스 740). 참가자의 이러한 증가를 수용하기 위해, 상기 방법은 가상 테이블의 사이즈를 제 1 직경에서 제 2 직경으로 증가시키는데, 여기서 제 2 직경은 제 1 직경보다 크다(박스 745). 참가자들의 지오메트릭 프록시들은, 원격 참가자가 가상 환경 내의 가상 테이블에서 각각의 참가자를 볼 수 있도록, 증가된 사이즈를 갖는 가상 테이블에 위치된다(박스 750).
시스템(100) 및 방법의 실시예들은 3D 통신 처리 시스템(105)을 포함한다. 도 8은 도 1에 도시된 3D 통신 처리 시스템(105)의 일반적인 작동을 나타내는 흐름도이다. 도 8에 도시된 바와 같이, 3D 통신 처리 시스템(105)의 작동은 온라인 회의 또는 미팅의 참가자들 각각의 이미지들을 캡처하는 것으로 시작한다(박스 800). 적어도 1명의 참가자가 원격 참가자이며, 이것은 원격 참가자가 다른 참가자와 동일한 물리적 장소 또는 엔드포인트에 있지 않다는 것을 의미한다. 각각의 참가자의 캡처는 카메라 포드들을 이용해서 달성된다.
이어서, 상기 방법의 실시예들은 캡처된 이미지들로부터의 데이터를 이용해서 각각의 참가자의 지오메트릭 프록시를 생성한다(박스 810). 이후, 참가자의 수가 결정된다(박스 820). 이 결정은 참가자들의 수가 미리 결정되거나 또는 알려지도록 다른 순서로 수행될 수 있다. 이후, 상기 방법의 실시예들은 온라인 미팅의 참가자들의 수에 기초하여 장면 지오메트리를 발생시킨다(박스 830). 이 장면 지오메트리 발생은 원격 참가자들과의 실황 대화 또는 미팅의 경험을 시뮬레이션하는 것을 돕는다.
이후, 특정 참가자에 대한 각각의 지오메트릭 프록시는 장면 지오메트리 내의 나머지 참가자들에 대한 다른 지오메트릭 프록시들에 대하여 렌더링된다(박스 840). 이 렌더링은 지오메트릭 프록시들이 실황 대화와 일치되는 방식으로 배치되도록 수행된다. 이후, 이들 렌더링된 지오메트릭 프록시들 및 장면 지오메트리가 참가자들에게 전송된다(박스 850). 변화되는 가상 뷰포인트는, 가상 뷰포인트가 뷰어의 얼굴의 위치 및 방위에 의존하도록, 참가자들 각각에게 디스플레이된다(박스 860). 추가적인 사실감을 위해서, 참가자들의 뷰잉 경험을 향상시키기 위해 운동 시차 및 깊이가 더해진다(박스 870). 상세히 후술되는 바와 같이, 운동 시차 및 깊이는 뷰어가 회의 또는 미팅을 보고 있는 디스플레이 디바이스 또는 모니터에 대한 뷰어의 시선에 의존한다.
V. 작동 상세( Operational Details)
이제, 제어된 3D 통신 엔드포인트 시스템(100) 및 방법의 실시예들의 작동 상세가 논의될 것이다. 이는 시스템(100)의 확장성, 지오메트릭 프록시 생성, 및 장면 지오메트리의 생성의 상세를 포함한다. 또한, 가상 카메라의 개념, 지오메트릭 프록시들 및 장면 지오메트리에 대한 운동 시차 및 깊이의 가산, 및 동일한 환경에서 동일한 디바이스 또는 모니터를 보는 1명 이상의 참가자의 취급이 또한 논의될 것이다.
V.A. 확장성( Scalability)
제어된 3D 통신 엔드포인트 시스템(100) 및 방법의 실시예들은 확장 가능하다. 이는, 추가의 엔드포인트들이 온라인 미팅에 추가될 때마다, 시스템(100) 및 방법의 실시예들이 추가의 엔드포인트들을 수용하기 위해 규모가 쉽게 확대될 수 있다는 것을 의미한다. 도 9는 추가의 엔드포인트들을 수용하기 위해 시스템(100) 및 방법의 실시예들의 규모를 확대하는 예시적인 실시예를 나타낸다.
적어도 180도 디스플레이 디바이스 구성 때문에, 확장성이 향상된다. 예컨대, 단일의 평면 스크린이 벽에 있고 참가자를 각각 갖는 2개의 엔드포인트가 존재하는 경우에는, 이들 2명의 참가자는 원형 테이블에서 가상 환경에 놓일 수 있다. 각각의 참가자는 다른 참가자를 볼 수 있을 것이다. 이것이 규모가 확대되는 경우 및 10개의 엔드포인트에서 10명의 참가자가 온라인 미팅에 참여하려 하는 경우에는, 뷰어는 자신으로부터 테이블을 가로질러 사람들을 볼 수 있지만, 다른 사람들은 모두 군중 속에서 헤맬 것이다. 그러나, 적어도 180도 디스플레이 디바이스 구성을 이용하면, 스크린 상의 참가자들이 가상 환경에서 원형을 이루고 있는 한, 그 원은 원하는 만큼 커질 수 있고, 뷰어는 여전히 참가자들 각각을 볼 수 있을 것이다.
물론, 이것은 추가되는 참가자들이 많을수록 더 큰 가상 테이블이 필요해진다는 것을 의미한다. 어느 순간에는, 테이블의 가장 먼 단부에 있는 참가자들이 뷰어가 그들을 인식할 수 없을 만큼 작아지게, 참가자들의 수가 커진다. 또한, 가상 테이블이 원형일 필요는 없지만, 다른 형상으로는 가림들이 존재하고 사람들은 서로 가리기 시작한다.
도 9에 도시된 바와 같이, 가상 환경(900)은 시스템(100) 및 방법의 실시예들이 참가자들의 지오메트릭 프록시들을 서로에 대하여 어떻게 배열하는지를 나타낸다. 도 9의 좌측에서는, 3명의 참가자(905, 906, 907)가 둥근 제 1 가상 테이블(910) 주위에 배열된다. 이 가상 환경에 있는 참가자들(905, 906, 907) 각각은 가상 윈도를 통해 온라인 미팅을 본다. 특히, 가상 윈도(920, 925, 930)가 제각기 3명의 참가자(905, 906, 907) 각각의 앞에 위치된다. 이들 가상 윈도(920, 925, 930)는 둥근 제 1 가상 테이블(910) 주위의 가상 뷰포인트들을 3명의 참가자(905, 906, 907)에게 제공한다. 이는 각각의 참가자 자신이 실제로 나머지 참가자들과 함께 실내에 존재하는 것처럼 느끼게 한다.
화살표(935)는 추가의 엔드포인트들이 가상 환경(900)에 추가되어 있음을 나타낸다. 추가 참가자들의 추가로, 둥근 제 1 가상 테이블(910)은 둥근 제 2 가상 테이블(940)로 확대되어 있다. 8명의 참가자(950, 951, 952, 953, 954, 955, 956, 957)는 둥근 제 2 가상 테이블(940) 주위에 배열된다. 또한, 복수의 가상 윈도(960)는 8명의 참가자(950, 951, 952, 953, 954, 955, 956, 957) 각각의 앞에 위치된다. 복수의 가상 윈도(960) 각각은 둥근 제 2 가상 테이블(940) 주위의 가상 뷰포인트들을 참가자들(950, 951, 952, 953, 954, 955, 956, 957)에게 제공한다. 이는 참가자들 각각이 하나의 큰 가상 실내에 함께 있다는 착각을 준다.
V.B. 지오메트릭 프록시 생성( Geometric Proxy Creation)
캡처 및 생성 구성요소(200)의 다른 부분은 지오메트릭 프록시 생성 모듈(245)이다. 모듈(245)은 회의 또는 미팅에 있는 참가자들 각각에 대한 지오메트릭 프록시를 생성한다. 카메라 포드(300)들에 의해 캡처된 범위 데이터로부터 깊이 정보가 연산된다. 깊이 정보가 얻어지면, 캡처된 깊이 정보에 내포된 깊이 점(depth point)들로부터 성긴 점 클라우드(sparse point cloud)가 생성된다. 이후, 공지된 방법들 및 캡처된 깊이 정보를 이용해서 조밀한 깊이 점 클라우드가 발생된다. 몇몇 실시예들에 있어서, 조밀한 점 클라우드로부터 메시(mesh)가 구성되고 지오메트릭 프록시가 메시로부터 발생된다. 대안적인 실시예들에 있어서, 조밀한 점 클라우드들에는 지오메트릭 프록시를 발생시키기 위해 텍스처가 입혀진다.
도 10은 단일의 미팅 참가자에 대한 지오메트릭 프록시의 생성의 예시적인 개요를 나타낸다. 도 10에 도시된 바와 같이, RGB 데이터(1000)는 카메라 포드(300)들의 RGB 카메라들로부터 캡처된다. 또한, 깊이 정보(1010)는 카메라 포드(300)들에 의해 얻어진 깊이 데이터로부터 연산된다. RGB 데이터(1000) 및 깊이 정보(1010)는 단일의 미팅 참가자에 대한 지오메트릭 프록시(250)를 생성하기 위해 함께 더해진다. 이 지오메트릭 프록시 생성은 각각의 참가자가 상응하는 지오메트릭 프록시를 갖도록 참가자들 각각에 대하여 수행된다.
V.C. 3D 용적의 등록 및 3D 공간의 정렬( Registration of the 3D Volume and Alignment of the 3D Space)
제어된 3D 통신 엔드포인트 시스템(100) 및 방법의 실시예들의 제 2 구성요소는 장면 지오메트리 구성요소(210)이다. 이것은 카메라 포드(300)들이 캡처하는 3D 용적의 등록 및 3D 공간의 정렬을 모두 포함한다. 장면 지오메트리 구성요소(210)의 개념은 미팅 참가자들 사이에 상대적인 지오메트리를 생성하는 것이다. 참가자들이 마치 동일한 물리적 장소에서 실황 대화에 참여하고 있는 것처럼 장면을 정확하게 정렬시키는 것이 바람직하다.
시스템(100) 및 방법의 실시예들은 엔드포인트(또는 캡처 환경)에 고정된 3D 장면인 장면 지오메트리를 생성한다. 이것을 달성하기 위해, 참가자들 각각을 포함하는 환경들의 정밀한 추정을 갖는 것이 바람직하다. 이것이 얻어지고 나면, 시스템(100) 및 방법의 실시예들은 카메라들로 디스플레이 디바이스(또는 모니터)의 정밀한 등록을 연산한다. 이것은 실제와 맞게 정렬되는 가상 공간 내의 방위를 산출한다. 즉, 가상 공간은 현실 공간과 정렬된다. 이 등록 및 정렬은 공지된 방법들을 이용해서 달성된다. 시스템(100) 및 방법의 몇몇 실시예들에 있어서는, 제작시에 캘리브레이션이 수행된다. 다른 실시예들에 있어서, 캘리브레이션은 상기 환경 내의 참조 객체를 이용해서 수행된다.
장면 지오메트리는 로컬 참가자와 원격 참가자들 사이에 상대적인 지오메트리를 생성하려고 한다. 이것은 참가자들이 마치 실황 미팅에 있었던 것처럼 시선 및 대화 지오메트리를 생성하는 것을 포함한다. 시선 및 대화 지오메트리를 교정하는 한 가지 방법은 참가자들 사이에 상대적인 일치하는 지오메트리를 갖는 것이다. 몇몇 실시예에 있어서, 이것은 가상 박스들을 이용해서 달성된다. 구체적으로, 참가자들이 함께 실내에 있을 때, 현실 공간 내의 참가자들 주위에 박스가 둘러싸여 있으면, 이들 가상 박스는 가상 레이아웃에서 재현되어서 장면 지오메트리를 생성한다. 참가자들 사이에서 일관성이 유지되는 한 지오메트리의 형상은 문제되지 않는다.
단일의 모니터 또는 다수의 모니터와 같은 특정한 입력 폼 팩터(input form factor)들은 솔루션의 최적의 레이아웃 및 확장성에 영향을 미치게 된다. 장면 지오메트리도 참가자들의 수에 의존한다. 2명의 참가자(로컬 참가자 및 원격 참가자)가 있는 미팅은 3명 이상의 참가자가 있을 때의 장면 지오메트리와는 다른 일대일(1 : 1) 장면 지오메트리이다. 또한, 하기의 예시들로부터 알 수 있듯이, 장면 지오메트리는 참가자들 사이의 시선을 포함한다.
도 11은 온라인 미팅에 (2개의 상이한 엔드포인트에서) 2명의 참가자가 있을 때의 참가자들 사이의 장면 지오메트리의 예시적인 실시예를 나타낸다. 도 11에 도시된 바와 같이, 이 1 : 1 회의에 대한 장면 지오메트리(1100)는 제 3 참가자(1110) 및 제 4 참가자(1120)를 포함한다. 이들 참가자는 동일한 물리적 장소에 있지 않다. 즉, 이들은 상이한 엔드포인트들에 있다.
이 1 : 1 회의에 대한 장면 지오메트리(1100)에 있어서, 지오메트리는 참가자들(1110, 1120)의 각각의 디스플레이 디바이스들 또는 모니터들(도시되지 않음)의 앞에 있는 공간들을 차지하는 2개의 박스로 구성된다. 제 1 가상 박스(1130)는 제 3 참가자(1110)를 둘러싸고 있고, 제 2 가상 박스(1140)는 제 4 참가자(1120)를 둘러싸고 있다. 동일한 사이즈의 모니터들 및 일관된 셋업들을 시스템(100) 및 방법의 실시예들이 알고 있다고 가정하면, 캡처된 데이터의 임의의 조작 없이도 장면 지오메트리는 정확하다.
시스템(100) 및 방법의 대안적인 실시예들에 있어서는, 다수의 원격 참가자들이 존재하고 지오메트리는 1 : 1 회의에 대한 장면 지오메트리(1100)와는 상이하다. 도 12는 3개의 상이한 엔드포인트에서 온라인 미팅에 3명의 참가자가 있을 때의 참가자들 사이의 장면 지오메트리의 예시적인 실시예를 나타낸다. 이는 3-엔드포인트 회의에 대한 장면 지오메트리(1200)이다. 앞서 주지된 바와 같이, 엔드포인트는 회의 또는 미팅의 참가자를 포함하는 환경이다. 3-엔드포인트 회의에서는, 참가자들이 3군데의 상이한 물리적 장소에 있다.
도 12에 있어서, 3-엔드포인트 회의에 대한 장면 지오메트리(1200)는 가상의 둥근 테이블(1234) 주위에 참가자 #1(1210), 참가자 #2(1220), 및 참가자 #3(1230)을 포함한다. 가상의 박스 #1(1240)은 참가자 #1(1210)을 둘러싸고, 가상의 박스 #2(1250)는 참가자 #2(1220)를 둘러싸고, 가상의 박스 #3(1260)은 참가자 #3(1230)을 둘러싼다. 가상의 박스들(1240, 1250, 1260) 각각은 가상의 둥근 테이블(1235) 주위에 등거리로 놓인다. 이는 3-엔드포인트 회의에 대한 장면 지오메트리(1200)를 생성한다. 이 장면 지오메트리는 확장성에 관하여 상술한 바와 같이, 추가의 엔드포인트들에 대하여 확장될 수 있다는 점에 유의한다.
V.D. 가상 카메라( Virtual Camera)
장면 지오메트리 구성요소(210)는 가상 카메라를 또한 포함한다. 가상 카메라는 3D 지오메트릭 프록시의 신규한 뷰가 렌더링되는 것에 따라 투시 투영을 규정한다. 이로 인해, 시스템(100) 및 방법의 실시예들이 사람들 사이의 자연스러운 시선 및 연락을 얻게 된다. 현재의 화상 회의의 실패는 사람들이 카메라가 위치된 곳을 응시하지 않기 때문에 발생하므로, 회의의 원격 참가자들은 마치 다른 사람이 그들을 응시하지 않는 것처럼 느낀다. 이는 부자연스러우며 실황 대화에서는 발생하지 않는 것이 보통이다.
시스템(100) 및 방법의 실시예들에 있어서의 가상 카메라는 각각의 참가자에 대한 장면 지오메트리 및 3D 지오메트릭 프록시(상세한 텍스처 정보를 가짐)로부터의 가상 공간을 이용해서 생성된다. 이 가상 카메라는 이미지들을 캡처하는 데 사용되는 실제 카메라 포드들의 장소들에 구속되지 않는다. 또한, 시스템(100) 및 방법의 몇몇 실시예는 얼굴 추적 기술(시선 추적 기술을 포함)을 이용해서 참가자들이 있는 곳 및 그들이 그들의 가상 공간에서 응시하고 있는 곳을 결정한다. 이로 인해, 장면에서 참가자가 응시하고 있는 곳에 기초하여 가상 카메라가 생성되게 된다. 이는 참가자의 적절한 시선을 다른 참가자들에게 정확하게 전달하도록 기능하고, 그들에게 적절한 뷰를 제공한다. 따라서, 가상 카메라는 미팅 참가자들 사이의 대화에서 자연스러운 시선 및 대화 지오메트리를 가능하게 한다.
이들 가상 카메라는 장면 지오메트리를 생성하고 그 지오메트리 내에 엑스트라들을 포함시킴으로써 생성된다. 카메라 포드들에 의해 얻어진 다수의 시선들로부터, 가상 카메라는 장면 지오메트리 주위로 이동할 수 있다. 예컨대, 머리를 풍선이라고 생각하면, 풍선의 앞은 풍선의 앞에 있는 카메라 포드에 의해 캡처될 것이고, 풍선의 한 쪽 측면은 풍선의 그 측면 상의 카메라 포드에 의해 캡처될 것이다. 가상 카메라는 양 카메라 포드로부터의 이미지들의 조합에 의해 정면과 측면 사이의 어디에서든 생성될 수 있다. 즉, 가상 카메라 뷰는 특정 공간을 커버하는 상이한 카메라들로부터의 이미지들의 조합으로서 생성된다.
도 13은 참가자가 응시하고 있는 곳에 기초하여 가상 카메라의 예시적인 실시예를 나타낸다. 이는 자연스러운 시선을 얻기 위해 가상 시선을 이용하는 것으로 여겨질 수도 있다. 도 13에 도시된 바와 같이, 모니터(400)는 원격 참가자(410)를 로컬 참가자(1300)에게 디스플레이한다. 모니터(400)는 4개의 카메라 포드(300)를 포함한다. 가상 시선 박스(1310)는 원격 참가자의 눈(1320) 및 로컬 참가자의 눈(1330)을 둘러싼다. 가상 시선 박스(1310)는 가상 공간에서 원격 참가자의 눈(1320)과 로컬 참가자의 눈(1330)이 서로를 응시하고 있게 하는 높이이다.
가상 카메라의 몇몇 실시예는 얼굴 추적 기술을 이용해서 성능을 향상시킨다. 얼굴 추적 기술은, 참가자들이 서로를 바라보고 있게 시스템(100) 및 방법의 실시예들이 시각을 바꾸는 것을 돕는다. 얼굴 추적 기술은 가상 카메라가 뷰어의 시선과 같은 높이를 유지하는 것을 돕는다. 이는 실황 대화 동안 대화자의 눈이 어떻게 작용하는 지를 모방한다. 가상 카메라는 얼굴 추적 기술과 상호작용해서 다른 참가자를 주시하는 유저를 갖는 가상 뷰포인트를 생성한다. 즉, 얼굴 추적 기술은 가상 카메라의 가상 뷰포인트를 바꾸는 데 사용된다.
V.E. 운동 시차를 통한 깊이( Depth Through Motion Parallax)
시스템(100) 및 방법의 제 3 구성요소는 가상 뷰포인트 구성요소(220)이다. 렌더링된 지오메트릭 프록시들 및 장면 지오메트리가 참가자들에게 전송되면, 참가자들의 모니터들에 렌더링된다. 모니터에 디스플레이된 장면에 사실감을 더하기 위해, 사물을 보는 사람의 위치가 바뀔 때 나타나는 뷰에 미묘한 변화를 제공하도록 운동 시차를 이용하는 깊이가 더해진다.
운동 시차는 뷰어의 머리가 움직일 때 카메라 뷰를 시프트시키는 고속 머리 추적 기술을 이용해서 더해진다. 이는 깊이의 착각을 생성한다. 도 14는 뷰어가 대면하고 있는 곳에 기초한 운동 시차를 통한 깊이를 제공하는 예시적인 실시예를 나타낸다. 도 14에 도시된 바와 같이, 4개의 카메라 포드(300)를 갖는 모니터(400)는 원격 참가자(410)의 이미지를 디스플레이한다. 도 14에는, 원격 참가자(410)가 점선 인물(1400) 및 실선 인물(1410)로서 도시된다는 점에 유의한다. 점선 인물(1400)은 원격 참가자(410)가 그의 좌측을 응시하고 있기 때문에 점선 참가자(1430)를 포함하는 제 1 시야(1420)를 갖는 것을 나타낸다. 실선 인물(1410)은 원격 참가자(410)가 그의 우측을 응시하고 있기 때문에 실선 참가자(1450)를 포함하는 제 2 시야(1440)를 갖는 것을 나타낸다.
원격 참가자(410)의 뷰포인트가 좌우로 움직이기 때문에, 다른 공간 내로의 그의 시각은 변화된다. 이는 원격 참가자(410)에게 나머지 참가자들 및 나머지 참가자들이 위치되는 실내(또는 환경)의 상이한 뷰를 제공한다. 따라서, 원격 참가자가 좌, 우, 상, 또는 하로 움직이면, 그는 원격 참가자(410)가 대화하고 있는 참가자의 약간 상이한 뷰 뿐만 아니라 사람이 이동하는 뒤쪽의 배경을 보게 된다. 이는 장면에 깊이감을 제공하고, 누군가에게 실제로 얘기할 때 그들이 얻는 양감(sense of volume)을 장면 내의 사람들에게 제공한다. 원격 참가자의 뷰포인트는 머리 추적 또는 저지연(low-latency) 얼굴 추적 기술을 이용해서 추적된다. 뷰어가 한 대의 카메라 시선에 고정되지 않기 때문에, 운동 시차를 통한 깊이는 완전한 이동 자유를 제공하면서 양감을 극적으로 향상시킨다.
V.F. 단일의 엔드포인트에 있는 다수의 참가자( Multiple Participants at a Single Endpoint)
시스템(100) 및 방법의 실시예들은 엔드포인트에서 한 명 이상의 참가자가 있는 곳의 상황을 또한 포함한다. 운동 시차를 통한 깊이에 대한 상기 기술은 뷰어를 추적해서 그 시야각 및 장소에 기초하여 적절한 뷰를 모니터에 제공하는 능력 때문에 단일의 뷰어에 대하여 적합하다. 그러나, 이는, 모니터가 한번에 하나의 장면을 제공할 수 있을 뿐이고 한 사람에게 고정될 것이기 때문에, 동일한 엔드포인트에서 동일한 모니터를 보는 다른 사람이 있을 경우에는, 적합하지 않다. 이는 추적되지 않는 다른 뷰어에 대해서는 뷰가 꺼지게 한다.
시스템(100) 및 방법의 실시예들이 이 이슈를 다루는 몇 가지 방식이 있다. 몇몇 실시예들에 있어서는, 상이한 뷰어들에게 상이한 이미지들을 제공하는 모니터들이 사용된다. 이들 실시예에 있어서, 얼굴 추적 기술은 2개의 상이한 얼굴을 추적해서 상이한 뷰어들에게 상이한 뷰들을 제공한다. 다른 실시예들에 있어서는, 운동 시차가 제거되고, 확정된 가상 카메라가 모니터의 중심에 고정된다. 이는 한 명 이상의 참가자가 엔드포인트에 있을 때 열악한 경험을 생성한다. 또 다른 실시예들에 있어서는, 엔드포인트에서 다수의 참가자들 각각이 안경을 착용한다. 각각의 안경은 상이한 뷰들을 제공하는 데 사용된다. 또 다른 실시예들에 있어서는, 안경은 모니터로부터 상이한 프레임들을 각각의 착용자에게 보여 주는 액티브 셔터들을 갖추고 있다. 모니터에 의해 디스플레이된 교번 프레임들은 각각의 안경에 맞춰지고, 뷰어의 장소에 기초하여 각각의 뷰어에게 정확한 이미지를 제공한다.
다른 실시예는 다수의 시야각을 갖는 모니터를 이용한다. 도 15는 다수의 시야각을 갖는 모니터를 이용해서 단일의 엔드포인트에서 다수의 참가자를 다루는 기술의 예시적인 실시예를 나타낸다. 이는 모니터의 앞에 있는 각각의 뷰어에게 원격 참가자(410) 및 원격 참가자(410) 뒤의 실내의 상이한 뷰를 제공한다.
도 15에 도시된 바와 같이, 렌즈 형상의 디스플레이(다수의 시야각을 허용)를 갖고 4개의 카메라 포드(300)를 갖는 모니터(1500)는 원격 참가자(410)를 디스플레이하고 있다. 제 1 뷰어(1510)는 모니터(1500)의 좌측에서 모니터(1500)를 응시하고 있다. 제 1 뷰어의 눈(1520)은 좌측에서 모니터(1500)를 응시하고 있고 모니터(1500)의 좌측 시야(1530)를 갖는다. 제 2 뷰어(1540)는 모니터(1500)의 우측에서 모니터(1500)를 응시하고 있다. 제 2 뷰어의 눈(1550)은 우측에서 모니터(1500)를 응시하고 있고 우측 시야(1560)를 갖는다. 모니터(1500) 상의 렌즈 형상의 디스플레이 때문에, 좌측 시야(1530) 및 우측 시야(1560)는 상이하다. 즉, 제 1 뷰어(1510) 및 제 2 뷰어(1540)에게는 원격 참가자(410) 및 원격 참가자(410) 뒤의 실내의 상이한 시야가 제공된다. 따라서, 제 1 뷰어(1510)와 제 2 뷰어(1540)가 나란히 있었다고 해도, 이들은 그들의 뷰포인트에 기초하여 모니터(1500)에서 상이한 물체를 보게 된다.
또한, 구조적 특징들 및/또는 방법론적 행위들에 대하여 특정한 언어로 요지를 기술하고 있지만, 특허청구범위에서 규정된 요지는 반드시 상술한 특정한 특징들 또는 행위들에 한정되는 것은 아니라는 점을 이해해야 한다. 오히려, 상술한 특정한 특징들 및 행위들은 특허청구범위를 실현하는 예시 형태들로서 개시된다.

Claims (20)

  1. 실황 통신(in-person communication)을 시뮬레이션하는 방법으로서,
    로컬 엔드포인트(local endpoint)에서 로컬 참가자의 3차원 비디오를 캡처하는 단계와,
    상기 캡처된 3차원 비디오를 이용해서 상기 로컬 참가자에 대한 로컬 지오메트릭 프록시(local geometric proxy)를 생성하는 단계와,
    실황 통신과 일치하는 정확한 시선(eye gaze) 및 대화 지오메트리를 갖는 장면 지오메트리(scene geometry)를 생성하는 단계와,
    상기 장면 지오메트리에 상기 로컬 지오메트릭 프록시를 배치해서 가상 환경을 생성하는 단계와,
    상기 로컬 지오메트릭 프록시 및 상기 장면 지오메트리를 원격 엔드포인트에 있는 원격 참가자에게 전송하는 단계
    를 포함하되,
    상기 로컬 엔드포인트 및 상기 원격 엔드포인트는 상기 로컬 참가자와 상기 원격 참가자 사이의 실황 통신을 시뮬레이션하기 위해 상이한 물리적 장소들에 있는
    방법.
  2. 제 1 항에 있어서,
    상기 로컬 참가자 주위의 360도에서 상기 로컬 참가자에 대한 RGB 데이터 및 깊이 정보를 모두 캡처하는 복수의 카메라 포드(camera pod)를 이용해서, 상기 로컬 엔드포인트에서 3차원 비디오를 제어된 방식으로 캡처하는 단계를 더 포함하는
    방법.
  3. 제 2 항에 있어서,
    상기 로컬 지오메트릭 프록시를 생성하기 위해 상기 RGB 데이터와 상기 깊이 정보를 더하는 단계를 더 포함하는
    방법.
  4. 제 1 항에 있어서,
    상기 원격 엔드포인트에서 상기 원격 참가자의 3차원 비디오를 캡처하는 단계와,
    상기 원격 참가자에 대한 원격 지오메트릭 프록시를 생성하는 단계와,
    상기 원격 지오메트릭 프록시를 상기 장면 지오메트리 및 가상 환경에 배치하는 단계와,
    상기 장면 지오메트리 및 가상 환경에서 상기 로컬 지오메트릭 프록시 및 상기 원격 지오메트릭 프록시를 서로에 대하여 렌더링하는 단계
    를 더 포함하는 방법.
  5. 제 4 항에 있어서,
    상기 렌더링된 로컬 지오메트릭 프록시, 상기 렌더링된 원격 지오메트릭 프록시, 및 상기 장면 지오메트리를 상기 로컬 엔드포인트 및 상기 원격 엔드포인트에 전송하는 단계를 더 포함하는
    방법.
  6. 제 1 항에 있어서,
    상기 원격 엔드포인트에서 상기 원격 참가자에게 상기 가상 환경을 상기 원격 참가자 주위의 적어도 180도로 공간을 차지하는 디스플레이 디바이스에 디스플레이해서, 상기 원격 참가자에게 상기 가상 환경의 가상 뷰포인트(virtual viewpoint)를 제공하는 단계를 더 포함하는
    방법.
  7. 제 6 항에 있어서,
    상기 디스플레이 디바이스는 상기 원격 참가자 앞에 배치된 제 1 디스플레이 디바이스, 상기 제 1 디스플레이 디바이스의 한 쪽 측면에 있는 제 2 디스플레이 디바이스, 및 상기 제 1 디스플레이 디바이스의 다른 쪽 측면에 있는 제 3 디스플레이 디바이스를 포함하는
    방법.
  8. 제 7 항에 있어서,
    상기 제 2 디스플레이 디바이스를 상기 제 1 디스플레이 디바이스에 대하여 직각으로 배치하는 단계와,
    상기 제 3 디스플레이 디바이스를 상기 제 1 디스플레이 디바이스에 대하여 직각으로 배치하는 단계
    를 더 포함하는 방법.
  9. 제 7 항에 있어서,
    상기 제 2 디스플레이 디바이스를 상기 제 1 디스플레이 디바이스에 대하여 90도보다 작은 제 1 각도로 배치하는 단계와,
    상기 제 3 디스플레이 디바이스를 상기 제 1 디스플레이 디바이스에 대하여 90도보다 작은 제 2 각도로 배치하는 단계
    를 더 포함하는 방법.
  10. 제 9 항에 있어서,
    상기 제 1 각도 및 상기 제 2 각도를 서로 동일하게 설정하는 단계를 더 포함하는
    방법.
  11. 제 4 항에 있어서,
    상기 가상 환경에서 가상 테이블을 규정하는 단계와,
    상기 로컬 지오메트릭 프록시 및 상기 원격 지오메트릭 프록시를 상기 가상 테이블 주위에 배치해서 상기 가상 환경에서 상기 실황 통신을 시뮬레이션하는 단계
    를 더 포함하는 방법.
  12. 제 11 항에 있어서,
    상기 가상 테이블을 제 1 직경의 원형을 갖는 것으로 규정하는 단계를 더 포함하는
    방법.
  13. 제 12 항에 있어서,
    2명의 참가자로부터 2명보다 많은 참가자로 참가자의 수를 증가시키는 것에 의해 가상 환경의 규모를 확대하는 단계와,
    상기 가상 테이블의 사이즈를 제 1 직경으로부터 제 2 직경까지 증가시키는 단계 ― 상기 제 2 직경은 상기 제 1 직경보다 큼 ― 와,
    상기 가상 테이블에서 상기 참가자 각각의 지오메트릭 프록시들을 배치하는 단계
    를 더 포함하는 방법.
  14. 제 6 항에 있어서,
    운동 시차(motion parallax)를 이용해서 상기 가상 뷰포인트에 깊이를 더하는 단계를 더 포함하는
    방법.
  15. 제 14 항에 있어서,
    상기 원격 참가자의 머리를 추적하는 단계와,
    상기 원격 참가자의 머리의 위치 및 방위에 기초하여 상기 가상 뷰포인트를 통해 상기 원격 참가자에게 디스플레이되는 것을 변화시키는 단계
    를 더 포함하는 방법.
  16. 복수의 카메라 포드에 의해 참가자 주위의 360도가 캡처되도록, 제 1 엔드포인트에서 참가자의 3D 비디오를 캡처하기 위해 제 1 엔드포인트 주위에 배치된 상기 복수의 카메라 포드(camera pod)와,
    상기 3D 비디오로부터 캡처된 RGB 데이터 및 캡처된 깊이 정보를 더해서 얻은 상기 참가자에 대한 지오메트릭 프록시와,
    가상 환경을 생성하기 위해 실황 통신과 일치하는 정확한 시선 및 대화 지오메트리를 갖는 장면 지오메트리와,
    뷰어(viewer)가 가상 뷰포인트를 통해 참가자를 볼 수 있게 제 2 엔드포인트에서 뷰어 주위의 적어도 180도에 디스플레이 디바이스들이 배치되도록, 제 2 엔드포인트에 위치된 복수의 디스플레이 디바이스를 갖는 디스플레이 디바이스 구성 ― 상기 가상 환경에서의 참가자의 뷰어 시각은 뷰어 머리의 위치 및 방위에 기초하여 변화됨 ―
    을 포함하는 제어된 3차원(3D) 엔드포인트 시스템.
  17. 제 16 항에 있어서,
    상기 가상 환경에 위치된 둥근 가상 테이블과,
    온라인 미팅의 다른 엔드포인트들에서 다른 참가자들과 함께 상기 둥근 가상 테이블 주위에 위치된 참가자에 대한 렌더링된 지오메트릭 프록시
    를 더 포함하는 제어된 3D 엔드포인트 시스템.
  18. 온라인 미팅에서 참가자들의 수를 스케일링하는 방법으로서,
    엔드포인트들 각각의 주위에 배치된 복수의 카메라 포드를 갖는 엔드포인트들에서 제어된 캡처 환경을 조직하는 단계와,
    상기 복수의 카메라 포드를 이용해서 각각의 엔드포인트에서 각각의 참가자의 3차원 비디오를 캡처하는 단계와,
    참가자들 각각에 대한 지오메트릭 프록시들을 생성하는 단계와,
    상기 참가자들의 수에 기초하여 가상 테이블을 포함하는 장면 지오메트리를 생성하는 단계와,
    실황 통신과 일치하는 장면 지오메트리에서 지오메트릭 프록시들 각각을 서로에 대하여 렌더링하는 단계와,
    상기 장면 지오메트리에서 렌더링된 지오메트릭 프록시들을 상기 가상 테이블 주위에 배치해서 가상 환경을 생성하는 단계와,
    상기 엔드포인트들에서 상기 참가자들의 적어도 180도 주위를 감싸는 디스플레이 디바이스를 갖는 상기 엔드포인트들에서 제어된 뷰잉 환경을 조직하는 단계와,
    상기 디스플레이 디바이스를 이용해서 상기 제어된 뷰잉 환경 내의 상기 참가자들에게 가상 환경을 디스플레이하는 단계와,
    각각의 참가자의 머리의 위치 및 방위에 기초하여 상기 디스플레이 디바이스를 보는 참가자들의 가상 뷰포인트를 변화시키는 단계와,
    추가의 참가자들이 추가되도록 참가자들의 수를 증가시키는 단계와,
    상기 추가의 참가자들을 수용하기 위해 상기 가상 테이블의 사이즈를 증가시키는 단계
    를 포함하는 방법.
  19. 제 18 항에 있어서,
    상기 가상 테이블을 직경을 갖는 둥근 가상 테이블로서 규정하는 단계를 더 포함하는
    방법.
  20. 제 19 항에 있어서,
    상기 가상 테이블의 사이즈를 증가시키는 단계는 상기 추가의 참가자들을 수용하기 위해 상기 둥근 가상 테이블의 직경을 증가시키는 단계를 더 포함하는
    방법.
KR1020157009265A 2012-10-10 2013-10-09 제어된 3차원 통신 엔드포인트 KR102108596B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/648,888 US8976224B2 (en) 2012-10-10 2012-10-10 Controlled three-dimensional communication endpoint
US13/648,888 2012-10-10
PCT/US2013/063952 WO2014058931A2 (en) 2012-10-10 2013-10-09 Controlled three-dimensional communication endpoint

Publications (2)

Publication Number Publication Date
KR20150067194A true KR20150067194A (ko) 2015-06-17
KR102108596B1 KR102108596B1 (ko) 2020-05-07

Family

ID=49474709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157009265A KR102108596B1 (ko) 2012-10-10 2013-10-09 제어된 3차원 통신 엔드포인트

Country Status (6)

Country Link
US (2) US8976224B2 (ko)
EP (2) EP3651454A1 (ko)
JP (1) JP6285941B2 (ko)
KR (1) KR102108596B1 (ko)
CN (1) CN104782122B (ko)
WO (1) WO2014058931A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10986401B2 (en) 2016-05-13 2021-04-20 Sony Corporation Image processing apparatus, image processing system, and image processing method

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013014872A1 (ja) * 2011-07-25 2013-01-31 パナソニック株式会社 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体
US20130321564A1 (en) 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
US9185345B2 (en) * 2012-09-14 2015-11-10 Ricoh Company, Limited Video conference system and method for performing the same
US10341611B2 (en) * 2013-04-30 2019-07-02 Inuitive Ltd. System and method for video conferencing
TWI530157B (zh) * 2013-06-18 2016-04-11 財團法人資訊工業策進會 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
US10885227B2 (en) 2013-11-26 2021-01-05 CaffeiNATION Signings (Series 3 of Caffeination Series, LLC) Systems, methods and computer program products for managing remote execution of transaction documents
US9407871B2 (en) * 2014-03-31 2016-08-02 Electronics And Telecommunications Research Instit Apparatus and method for controlling eye-to-eye contact function
TWI556624B (zh) * 2014-07-18 2016-11-01 友達光電股份有限公司 影像顯示方法以及影像顯示裝置
JP2016032277A (ja) * 2014-07-30 2016-03-07 日本電信電話株式会社 映像通信システム及び映像通信方法
BE1022580A9 (fr) * 2014-10-22 2016-10-06 Parallaxter Méthode d'obtention de vidéos immersives avec parallaxe interactive et méthode de visualisation de vidéos immersives avec parallaxe interactive
US9542603B2 (en) * 2014-11-17 2017-01-10 Polycom, Inc. System and method for localizing a talker using audio and video information
EP3221851A1 (en) 2014-11-20 2017-09-27 Cappasity Inc. Systems and methods for 3d capture of objects using multiple range cameras and multiple rgb cameras
EP3251342A4 (en) * 2015-01-30 2018-09-12 Ent. Services Development Corporation LP Virtual space calibration
US9880729B2 (en) 2015-07-13 2018-01-30 International Business Machines Corporation Provision of extended content on a flexible display
US10701318B2 (en) 2015-08-14 2020-06-30 Pcms Holdings, Inc. System and method for augmented reality multi-view telepresence
US20170061689A1 (en) * 2015-08-24 2017-03-02 Caterpillar Inc. System for improving operator visibility of machine surroundings
US9661271B1 (en) 2015-11-30 2017-05-23 International Business Machines Corporation Multiple display planes for participant collaboration
US10701344B2 (en) * 2015-12-02 2020-06-30 Seiko Epson Corporation Information processing device, information processing system, control method of an information processing device, and parameter setting method
EP3389261B1 (en) 2015-12-11 2021-03-17 Sony Corporation Information processing device, information processing method, and program
US9955120B2 (en) * 2016-02-12 2018-04-24 Sony Interactive Entertainment LLC Multiuser telepresence interaction
US10762712B2 (en) 2016-04-01 2020-09-01 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
WO2017199483A1 (ja) * 2016-05-18 2017-11-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9681096B1 (en) 2016-07-18 2017-06-13 Apple Inc. Light field capture
US20180077430A1 (en) 2016-09-09 2018-03-15 Barrie Hansen Cloned Video Streaming
US20180095618A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
EP3331240A1 (en) 2016-12-02 2018-06-06 Thomson Licensing Method and device for setting up a virtual meeting scene
US10785445B2 (en) 2016-12-05 2020-09-22 Hewlett-Packard Development Company, L.P. Audiovisual transmissions adjustments via omnidirectional cameras
US20210136342A1 (en) * 2016-12-21 2021-05-06 Interaptix Inc. Telepresence system and method
CN108259806A (zh) * 2016-12-29 2018-07-06 中兴通讯股份有限公司 一种视频通信方法、设备和终端
JP6482580B2 (ja) * 2017-02-10 2019-03-13 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
US10503456B2 (en) 2017-05-05 2019-12-10 Nvidia Corporation Method and apparatus for rendering perspective-correct images for a tilted multi-display environment
CN108876852B (zh) * 2017-05-09 2021-06-22 中国科学院沈阳自动化研究所 一种基于3d视觉的在线实时物体识别定位方法
US10841537B2 (en) 2017-06-09 2020-11-17 Pcms Holdings, Inc. Spatially faithful telepresence supporting varying geometries and moving users
CN107465518A (zh) * 2017-08-16 2017-12-12 北京大生在线科技有限公司 一种基于网络的多人同时语音聊天方法及系统
CN109819200B (zh) * 2019-01-22 2021-02-09 视联动力信息技术股份有限公司 一种对参会终端进行查岗的方法和装置
WO2020210937A1 (en) * 2019-04-15 2020-10-22 Shanghai New York University Systems and methods for interpolative three-dimensional imaging within the viewing zone of a display
WO2021220494A1 (ja) * 2020-04-30 2021-11-04 塁 佐藤 通信端末装置、通信方法、およびソフトウェアプログラム
US11575856B2 (en) * 2020-05-12 2023-02-07 True Meeting Inc. Virtual 3D communications using models and texture maps of participants
US11570404B2 (en) * 2020-05-12 2023-01-31 True Meeting Inc. Predicting behavior changes of a participant of a 3D video conference
US11870939B2 (en) 2020-05-12 2024-01-09 True Meeting Inc. Audio quality improvement related to a participant of a virtual three dimensional (3D) video conference
US11502861B2 (en) * 2020-08-17 2022-11-15 T-Mobile Usa, Inc. Simulated auditory space for online meetings
JP6888854B1 (ja) * 2020-09-02 2021-06-16 シンメトリー・ディメンションズ・インク 遠隔勤務支援システム及び遠隔勤務支援方法
US11539935B2 (en) * 2020-12-02 2022-12-27 Meta Platforms Technologies, Llc Videotelephony with parallax effect
US11330021B1 (en) 2020-12-31 2022-05-10 Benjamin Slotznick System and method of mirroring a display of multiple video feeds in videoconferencing systems
US11546385B1 (en) 2020-12-31 2023-01-03 Benjamin Slotznick Method and apparatus for self-selection by participant to display a mirrored or unmirrored video feed of the participant in a videoconferencing platform
US11621979B1 (en) * 2020-12-31 2023-04-04 Benjamin Slotznick Method and apparatus for repositioning meeting participants within a virtual space view in an online meeting user interface based on gestures made by the meeting participants
WO2022211667A1 (ru) * 2021-03-30 2022-10-06 Хальдун Саид Аль-Зубейди Многоэкранный панорамный телевизор
FI20215726A1 (en) * 2021-06-21 2022-12-22 Teknologian Tutkimuskeskus Vtt Oy Broadcast terminal for 3D telepresence
CN114339120A (zh) * 2021-12-13 2022-04-12 微软技术许可有限责任公司 沉浸式视频会议系统
CA3229535A1 (en) * 2021-12-23 2023-06-29 Katsuhide Agura Avatar display device, avatar generation device, and program
CN117201720A (zh) * 2022-06-01 2023-12-08 微软技术许可有限责任公司 在视频会话中提供实时虚拟背景
US20240203075A1 (en) * 2022-12-14 2024-06-20 Microsoft Technology Licensing, Llc Collaborative system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100126812A (ko) * 2008-03-17 2010-12-02 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 비디오 이미지 스트림을 디스플레이하는 방법 및 클라이언트 관리 시스템

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064771A (en) 1997-06-23 2000-05-16 Real-Time Geometry Corp. System and method for asynchronous, adaptive moving picture compression, and decompression
US6072496A (en) 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
US6226003B1 (en) 1998-08-11 2001-05-01 Silicon Graphics, Inc. Method for rendering silhouette and true edges of 3-D line drawings with occlusion
JP2000175171A (ja) * 1998-12-03 2000-06-23 Nec Corp テレビ会議の映像生成装置及びその生成方法
US6919906B2 (en) 2001-05-08 2005-07-19 Microsoft Corporation Discontinuity edge overdraw
US6781591B2 (en) 2001-08-15 2004-08-24 Mitsubishi Electric Research Laboratories, Inc. Blending multiple images using local and global information
US7023432B2 (en) 2001-09-24 2006-04-04 Geomagic, Inc. Methods, apparatus and computer program products that reconstruct surfaces from data point sets
US7096428B2 (en) 2001-09-28 2006-08-22 Fuji Xerox Co., Ltd. Systems and methods for providing a spatially indexed panoramic video
US7515173B2 (en) 2002-05-23 2009-04-07 Microsoft Corporation Head pose tracking system
US7106358B2 (en) 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications
US20050017969A1 (en) 2003-05-27 2005-01-27 Pradeep Sen Computer graphics rendering using boundary information
US7184052B2 (en) 2004-06-18 2007-02-27 Microsoft Corporation Real-time texture rendering using generalized displacement maps
US7292257B2 (en) 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US7671893B2 (en) 2004-07-27 2010-03-02 Microsoft Corp. System and method for interactive multi-view video
US20060023782A1 (en) 2004-07-27 2006-02-02 Microsoft Corporation System and method for off-line multi-view video compression
US7142209B2 (en) 2004-08-03 2006-11-28 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video that was generated using overlapping images of a scene captured from viewpoints forming a grid
US7221366B2 (en) 2004-08-03 2007-05-22 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video
US7561620B2 (en) 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
US8477173B2 (en) 2004-10-15 2013-07-02 Lifesize Communications, Inc. High definition videoconferencing system
US20080088626A1 (en) 2004-12-10 2008-04-17 Kyoto University Three-Dimensional Image Data Compression System, Method, Program and Recording Medium
WO2006084385A1 (en) 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
US8228994B2 (en) 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
US20070070177A1 (en) 2005-07-01 2007-03-29 Christensen Dennis G Visual and aural perspective management for enhanced interactive video telepresence
JP4595733B2 (ja) 2005-08-02 2010-12-08 カシオ計算機株式会社 画像処理装置
US7551232B2 (en) 2005-11-14 2009-06-23 Lsi Corporation Noise adaptive 3D composite noise reduction
KR100810268B1 (ko) 2006-04-06 2008-03-06 삼성전자주식회사 모바일 디스플레이 장치에서의 색약자를 위한 구현 방법
US7778491B2 (en) 2006-04-10 2010-08-17 Microsoft Corporation Oblique image stitching
US7679639B2 (en) 2006-04-20 2010-03-16 Cisco Technology, Inc. System and method for enhancing eye gaze in a telepresence system
US7692680B2 (en) 2006-04-20 2010-04-06 Cisco Technology, Inc. System and method for providing location specific sound in a telepresence system
USD610105S1 (en) 2006-07-10 2010-02-16 Cisco Technology, Inc. Telepresence system
CN103776392B (zh) * 2006-11-21 2017-03-01 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
US8213711B2 (en) 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
JP4947593B2 (ja) 2007-07-31 2012-06-06 Ｋｄｄｉ株式会社 局所領域分割による自由視点画像の生成装置およびプログラム
US8279254B2 (en) * 2007-08-02 2012-10-02 Siemens Enterprise Communications Gmbh & Co. Kg Method and system for video conferencing in a virtual environment
US8223192B2 (en) 2007-10-31 2012-07-17 Technion Research And Development Foundation Ltd. Free viewpoint video
US8466913B2 (en) 2007-11-16 2013-06-18 Sportvision, Inc. User interface for accessing virtual viewpoint animations
US8259155B2 (en) * 2007-12-05 2012-09-04 Cisco Technology, Inc. Providing perspective-dependent views to video conference participants
US8319819B2 (en) * 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US7840638B2 (en) 2008-06-27 2010-11-23 Microsoft Corporation Participant positioning in multimedia conferencing
US8106924B2 (en) 2008-07-31 2012-01-31 Stmicroelectronics S.R.L. Method and system for video rendering, computer program product therefor
WO2010035492A1 (ja) 2008-09-29 2010-04-01 パナソニック株式会社 立体画像処理装置および立体画像処理装置のノイズ低減方法
US8537196B2 (en) 2008-10-06 2013-09-17 Microsoft Corporation Multi-device capture and spatial browsing of conferences
US8200041B2 (en) 2008-12-18 2012-06-12 Intel Corporation Hardware accelerated silhouette detection
US8436852B2 (en) 2009-02-09 2013-05-07 Microsoft Corporation Image editing consistent with scene geometry
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8217993B2 (en) 2009-03-20 2012-07-10 Cranial Technologies, Inc. Three-dimensional image capture system for subjects
US20100259595A1 (en) 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
US8719309B2 (en) 2009-04-14 2014-05-06 Apple Inc. Method and apparatus for media data transmission
US8665259B2 (en) 2009-04-16 2014-03-04 Autodesk, Inc. Multiscale three-dimensional navigation
US8629866B2 (en) 2009-06-18 2014-01-14 International Business Machines Corporation Computer method and apparatus providing interactive control and remote identity through in-world proxy
US9648346B2 (en) 2009-06-25 2017-05-09 Microsoft Technology Licensing, Llc Multi-view video compression and streaming based on viewpoints of remote viewer
US8194149B2 (en) 2009-06-30 2012-06-05 Cisco Technology, Inc. Infrared-aided depth estimation
US8633940B2 (en) 2009-08-04 2014-01-21 Broadcom Corporation Method and system for texture compression in a system having an AVC decoder and a 3D engine
US8908958B2 (en) 2009-09-03 2014-12-09 Ron Kimmel Devices and methods of generating three dimensional (3D) colored models
US8284237B2 (en) 2009-09-09 2012-10-09 Nokia Corporation Rendering multiview content in a 3D video system
US9154730B2 (en) 2009-10-16 2015-10-06 Hewlett-Packard Development Company, L.P. System and method for determining the active talkers in a video conference
US8537200B2 (en) 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
US8665309B2 (en) * 2009-11-03 2014-03-04 Northrop Grumman Systems Corporation Video teleconference systems and methods for providing virtual round table meetings
US8487977B2 (en) 2010-01-26 2013-07-16 Polycom, Inc. Method and apparatus to virtualize people with 3D effect into a remote room on a telepresence call for true in person experience
US20110211749A1 (en) 2010-02-28 2011-09-01 Kar Han Tan System And Method For Processing Video Using Depth Sensor Information
US8659597B2 (en) 2010-09-27 2014-02-25 Intel Corporation Multi-view ray tracing using edge detection and shader reuse
US9628755B2 (en) * 2010-10-14 2017-04-18 Microsoft Technology Licensing, Llc Automatically tracking user movement in a video chat application
US20120200676A1 (en) 2011-02-08 2012-08-09 Microsoft Corporation Three-Dimensional Display with Motion Parallax
US8675067B2 (en) * 2011-05-04 2014-03-18 Microsoft Corporation Immersive remote conferencing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100126812A (ko) * 2008-03-17 2010-12-02 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 비디오 이미지 스트림을 디스플레이하는 방법 및 클라이언트 관리 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Peter Kauff et al., "An Immersive 3D Video-Conferencing System using Shared Virtual Team User Environments", Peter Kauff ET AL., Proceeding of the 4th International Conference on Collaborative Virtual* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10986401B2 (en) 2016-05-13 2021-04-20 Sony Corporation Image processing apparatus, image processing system, and image processing method

Also Published As

Publication number Publication date
EP2907302A2 (en) 2015-08-19
EP3651454A1 (en) 2020-05-13
CN104782122A (zh) 2015-07-15
JP6285941B2 (ja) 2018-02-28
KR102108596B1 (ko) 2020-05-07
US20150163454A1 (en) 2015-06-11
US20140098183A1 (en) 2014-04-10
US9332222B2 (en) 2016-05-03
JP2016500954A (ja) 2016-01-14
US8976224B2 (en) 2015-03-10
CN104782122B (zh) 2018-01-19
WO2014058931A3 (en) 2014-08-07
WO2014058931A2 (en) 2014-04-17

Similar Documents

Publication Publication Date Title
US10535181B2 (en) Virtual viewpoint for a participant in an online communication
KR102108596B1 (ko) 제어된 3차원 통신 엔드포인트
US11563779B2 (en) Multiuser asymmetric immersive teleconferencing
JP4059513B2 (ja) 没入型仮想環境において注視を伝達する方法およびシステム
Gotsch et al. TeleHuman2: A Cylindrical Light Field Teleconferencing System for Life-size 3D Human Telepresence.
TWI813098B (zh) 用於新穎視圖合成之神經混合
US11727645B2 (en) Device and method for sharing an immersion in a virtual environment
US10482671B2 (en) System and method of providing a virtual environment
KR20230104662A (ko) 다중 시점들로부터 캡처된 입체적인 렌더링된 이미지 데이터를 디스플레이하기 위한 3d 화상 회의 시스템들 및 방법들
CN113632458A (zh) 广角相机透视体验的系统、算法和设计
Thatte et al. Real-World Virtual Reality With Head-Motion Parallax
US11776227B1 (en) Avatar background alteration
US20240022688A1 (en) Multiuser teleconferencing with spotlight feature
US11741652B1 (en) Volumetric avatar rendering
Zhang Lightbee: Design and Implementation of a Self-Levitating Light Field Display for Telepresence
EP3564905A1 (en) Conversion of a volumetric object in a 3d scene into a simpler representation model
Tat Holotab: Design and Evaluation of Interaction Techniques for a Handheld 3D Light Field Display
Nyström et al. Modern Web and Video Technologies Survey for New Interactions

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant