KR20190026804A - 3차원 텔레프레즌스 시스템 - Google Patents

3차원 텔레프레즌스 시스템 Download PDF

Info

Publication number
KR20190026804A
KR20190026804A KR1020197002996A KR20197002996A KR20190026804A KR 20190026804 A KR20190026804 A KR 20190026804A KR 1020197002996 A KR1020197002996 A KR 1020197002996A KR 20197002996 A KR20197002996 A KR 20197002996A KR 20190026804 A KR20190026804 A KR 20190026804A
Authority
KR
South Korea
Prior art keywords
display
image
remote
terminal
data
Prior art date
Application number
KR1020197002996A
Other languages
English (en)
Inventor
다니엘 골드만
제이슨 로렌스
앤드루 휴버스
앤드루 이안 러셀
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20190026804A publication Critical patent/KR20190026804A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/291—Two-dimensional analogue deflection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4113—PC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Abstract

예시적인 텔레프레즌스 단말기는 렌티큘러 디스플레이, 이미지 센서, 적외선 이미터 및 적외선 깊이 센서를 포함한다. 상기 단말기는 적외선 이미터에 의해 방출되고 이미지 센서에 의해 캡처된 가시광을 사용하여 이미지 데이터를 결정하고 적외선 깊이 센서에 의해 캡처된 적외선 광을 사용하여 깊이 데이터를 결정할 수 있다. 상기 단말기는 또한 깊이 데이터 및 이미지 데이터를 원격 텔레프레즌스 단말기에 전달하고, 원격 이미지 데이터 및 원격 깊이 데이터를 수신할 수 있다. 또한, 상기 단말기는 제1 뷰잉 위치에서 볼 수 있는 원격 이미지 데이터에 기초하여 렌티큘러 디스플레이를 사용하여 제1 디스플레이 이미지를 생성하고, 제2 뷰잉 위치로부터 볼 수 있는 원격 깊이 데이터 및 원격 이미지 데이터에 기초하여 렌티큘러 디스플레이를 사용하여 제2 디스플레이 이미지를 생성한다.

Description

3차원 텔레프레즌스 시스템
본 명세서는 3차원 텔레프레즌스 시스템에 관한 것이다.
화상 회의 시스템과 같은 회의 시스템은 참여자가 공동 위치에 있을 필요없이 가상 회의를 진행할 수 있는 기회를 제공하기 위해 다양한 환경에서 사용된다. 예를 들어, 화상 회의 시스템은 참여자가 원격 참여자들을 보고 통신할 수 있는 디스플레이, 통신 링크, 스피커 및 마이크를 제공할 수 있다. 참여자들은 서로 이야기할 때 서로를 볼 수 있기 때문에 화상 회의 시스템은 서면 또는 구두로 의사소통하는 것보다 토론된 주제를 더 잘 이해할 수 있다. 이러한 화상 회의 시스템은 또한 모든 참석자가 동일 장소에 있어야 할 필요가 없으므로 회의 일정을 쉽게 잡을 수 있다. 또한, 화상 회의 시스템은 여행의 필요성을 제거함으로써 자원 낭비(예를 들어, 시간 및 돈)를 감소시킬 수 있다. 종래의 화상 회의 시스템은 통상적으로 통신 시스템(예컨대, 전화, VoIP 시스템 등), 표준 비디오 모니터(예: CRT, 플라즈마, HD, LED 또는 LCD 디스플레이), 카메라, 마이크로폰 및 스피커를 포함한다.
이하의 개시 내용의 구현예들은 화상 회의 및 텔레프레즌스(telepresence)(원격 실재) 시스템에 관한 것이다. 적어도 일부 구현예들은 헤드 장착형 디스플레이, 헤드폰 및/또는 임의의 다른 유형의 물리적인 방해물을 사용하지 않고 3차원 텔레프레즌스를 제공한다.
일 양태에서, 텔레프레즌스 단말기는 픽셀 그리드(grid)의 전면(front)에 배치된 마이크로 렌즈 어레이를 갖는 디스플레이를 포함한다. 상기 단말기는 또한 이미지 센서, 적외선 이미터 및 적외선 깊이 센서를 포함할 수 있다. 상기 단말기는 프로세싱 장치 및 명령어들을 저장하는 메모리를 더 포함할 수 있다. 상기 명령어들이 실행될 때, 상기 명령어들은 프로세싱 장치로 하여금 동작들을 수행하게 할 수 있으며, 상기 동작들은, 상기 이미지 센서에 의해 캡처된 가시광에 기초하여 이미지 데이터를 결정하는 동작, 상기 적외선 이미터에 의해 전송되고 상기 적외선 깊이 센서에 의해 캡처된 적외선 광에 기초하여 깊이 데이터를 결정하는 동작을 포함한다. 상기 동작들은 깊이 데이터 및 이미지 데이터를 원격 텔레프레즌스 단말기에 전달하는 동작, 원격 이미지 데이터 및 원격 깊이 데이터를 수신하는 동작을 더 포함하며, 상기 원격 이미지 데이터 및 원격 깊이 데이터는 원격 텔레프레즌스 단말기로부터 발생(originate)된다. 상기 동작들은 제1 뷰잉 위치로부터 마이크로렌즈 어레이를 통해 볼 수 있는 픽셀 그리드의 픽셀들의 제1 서브세트를 사용하여 상기 원격 이미지 데이터를 기반으로 제1 디스플레이 이미지를 생성하는 동작, 제2 뷰잉 위치로부터 상기 마이크로렌즈 어레이를 통해 볼 수 있는 상기 픽셀 그리드의 픽셀들의 제2 서브세트를 사용하여 상기 원격 이미지 데이터 및 상기 원격 깊이 데이터를 기반으로 제2 디스플레이 이미지를 생성하는 동작을 더 포함할 수 있다.
일부 구현 예들에서, 제1 디스플레이 이미지 및 제2 디스플레이 이미지는 수신된 깊이 데이터에 기초하여 시차(parallax)를 시뮬레이팅(simulate)하는 차이를 갖도록 생성될 수 있다. 이와 관련하여, 상기 명령어들은 상기 프로세싱 장치가 상기 텔레프레즌스 단말기의 사용자의 위치를 결정하는 것을 포함하는 동작들을 더 수행하게 할 수 있다. 텔레프레즌스 단말기의 사용자의 위치는 예를 들어 깊이 데이터 및/또는 이미지 데이터에 기초하여 결정될 수 있다. 예를 들어, 제1 디스플레이 이미지 및 제2 디스플레이 이미지는 사용자의 결정된 위치에 기초하여 시차를 시뮬레이팅하는 차이를 갖도록 생성될 수 있다.
일부 구현 예들에서, 상기 명령어들은 프로세싱 장치로 하여금 원격 이미지 데이터 및 원격 깊이 데이터뿐만 아니라 텔레프레즌스 단말기(단말)의 사용자의 결정된 위치를 사용하여 디스플레이상에 3차원 입체 이미지를 생성하는 것을 포함하는 동작들을 더 수행하게 할 수 있다.
상술한 구현예들과 결합될 수 있는 일부 구현예들에서, 명령어들은 프로세싱 장치로 하여금 제1 방향으로 제1 디스플레이 이미지의 제1 부분을 생성하고, 제2 방향으로 제2 디스플레이 이미지의 제2 부분을 생성하는 것을 포함하는 동작들을 더 수행하게 할 수 있다. 예를 들어, 마이크로렌즈 어레이의 마이크로 렌즈는 하나 이상의 각도로 광을 전송하고 및/또는 하나 이상의 상이한 방향으로 상이한 픽셀 값들을 디스플레이하도록 구성될 수 있다. 제1 방향은 제1 위치에 기초하여 결정될 수 있고, 제2 방향은 제 2 위치에 기초하여 결정될 수 있다.
일부 구현예들에서, 상기 명령어들은 상기 프로세싱 장치로 하여금 상기 적외선 이미터에 의해 전송된 제1 적외선 광과 전송된 제1 적외선 광의 경로의 물체에 의해 반사되고 적외선 깊이 센서에 의해 캡처된 제2 적외선 광 사이의 위상 오프셋을 측정하는 TOF(time-of-flight) 방법에 기초하여 깊이 데이터를 결정하는 것을 포함하는 동작들을 더 수행하게 할 수 있다.
일부 구현 예들에서, 텔레프레즌스 단말기는, 상기 디스플레이의 제1 측면 상에 위치된 제1 마이크로폰 및 상기 디스플레이의 제2 측면 상에 위치된 제2 마이크로폰을 포함하는 마이크로폰 어셈블리(조립체); 그리고 상기 디스플레이의 제1 측면 상에 위치된 제1 스피커 및 상기 디스플레이의 제2 측면상에 위치된 제2 스피커를 포함하는 스피커 어셈블리를 포함한다. 이러한 구현예에서, 상기 명령어들은 상기 프로세싱 장치로 하여금 동작들을 수행하게 하며, 상기 동작들은 상기 마이크로폰 어셈블리(조립체)를 사용하여 지향성 오디오 데이터를 캡처하는 동작; 상기 방향성 오디오 데이터를 상기 원격 단말기로 전송하는 동작; 원격 단말기로부터 원격 방향성 오디오 데이터를 수신하는 동작; 및 상기 원격 지향성 오디오 데이터에 기초하여 상기 스피커 어셈블리를 사용하여 오디오를 출력하는 동작을 포함한다.
텔레프레즌스 단말기는 이미지 센서, 적외선 이미터 및 적외선 깊이 센서를 포함하는 적어도 하나의 카메라 유닛을 포함하는 카메라 조립체(어셈블리)를 포함할 수 있다. 적어도 하나의 카메라 유닛은 디스플레이가 투명할 때 디스플레이 뒤에 위치될 수 있다. 투명 디스플레이의 경우, 상기 디스플레이는 오프 상태와 조명 상태 사이에서 스위칭 가능할 수 있으며, 상기 명령어들은 또한 상기 프로세싱 장치로 하여금 상기 디스플레이의 오프 상태와 함께 가시광 및 적외선 광의 캡처를 동기화하는 것을 포함하는 동작들을 수행하게 한다. 이러한 구현예에서, 마이크로렌즈 어레이의 마이크로렌즈는 제1 재료 및 제2 재료로 제조될 수 있으며, 상기 제1 재료는 전류에 의해 실질적으로 영향을 받지 않는 재료이고, 상기 제2 재료는 전류에 의해 실질적으로 영향을 받으며, 상기 제1 재료 및 상기 제2 재료는 상기 제1 재료 및 상기 제2 재료에 전류가 인가되지 않을 때 상이한 굴절률을 갖는다.
일부 실시 예들에서, 텔레프레즌스 단말기는 입사광을 분리하고 이를 이미지 센서 및 적외선 깊이 센서로 전송하는 빔 스플리터를 포함할 수 있다. 빔 스플리터는 입사광을 분리하여 이미지 센서와 적외선 깊이 센서가 동일한 광을 수신할 수 있다.
다른 양태에서, 방법은 적외선 이미터를 사용하여 제1 적외선 광을 생성하는 단계를 포함한다. 상기 방법은 또한 적외선 깊이 센서를 사용하여 제2 적외선 광을 수신하는 단계를 포함한다. 제2 적외선 광은 방출된 제1 적외선 광의 반사에 의해 발생될 수 있다. 이 방법은 또한 제1 적외선 광 및 제2 적외선 광에 기초하여 캡처된 깊이 데이터를 결정하는 단계와, 이미지 센서에 의해 캡처된 가시광에 기초하여 캡처된 이미지 데이터를 결정하는 단계를 포함한다. 상기 방법은 또한 캡처된 깊이 데이터 및 캡처된 이미지 데이터를 원격 단말기에 전달하는 단계를 포함할 수 있다. 상기 방법은 픽셀 그리드의 제1 서브세트를 사용하여 상기 원격 단말기로부터 발생하는 수신된 이미지 데이터에 기초하여 제1 디스플레이 이미지를 생성하는 단계 -상기 제1 디스플레이 이미지는 마이크로렌즈 어레이를 통해 제1 위치로부터 볼 수 있음 -; 픽셀 그리드의 제2 서브세트를 사용하여 상기 원격 단말기로부터 발생된 상기 수신된 이미지 데이터 및 수신된 깊이 데이터에 기초하여 제2 디스플레이 이미지를 생성하는 단계를 포함할 수 있으며, 상기 제2 디스플레이 이미지는 제2 위치로부터 상기 마이크로렌즈 어레이를 통해 볼 수 있다.
다른 양태에서, 비-일시적 컴퓨터 판독 가능 저장 매체는 적어도 하나의 프로세서에 의해 실행될 때 컴퓨팅 시스템으로 하여금 동작들을 수행하게 하는 명령어들을 저장하며, 상기 동작들은, 적어도 적외선 이미터를 사용하여 제1 적외선 광을 발생하는 동작, 적외선 깊이 센서를 사용하여 제2 적외선 광을 수신하는 동작, 상기 제1 적외선 광 및 상기 제2 적외선 광에 기초하여 깊이 데이터를 결정하는 동작, 이미지 센서에 의해 캡처된 가시광에 기초하여 이미지 데이터를 결정하는 동작, 깊이 데이터 및 이미지 데이터를 원격 텔레프레즌스 단말기에 전달하는 동작, 상기 원격 단말기로부터 발생된 수신된 이미지 데이터에 기초하여 렌티큘러 디스플레이를 사용하여 제1 디스플레이 이미지를 발생하는 동작 -제1 디스플레이 이미지는 제1 위치로부터 볼 수 있음 -, 상기 원격 단말기로부터 발생된 수신된 깊이 데이터 및 상기 수신된 이미지 데이터에 기초하여 렌티큘러 디스플레이를 사용하여 제2 디스플레이 이미지를 발생하는 동작을 포함할 수 있으며, 제2 디스플레이 이미지는 제2 위치에서 볼 수 있다. 상기 수신된 깊이 데이터는 원격 단말기로부터 발생할 수 있다.
이 양태의 다른 구현 예들은 하나 이상의 컴퓨터 저장 장치상에 기록된 컴퓨터 프로그램, 장치, 해당 컴퓨터 시스템을 포함하며, 각각은 상기 요약된 방법의 동작들을 수행하도록 구성된다.
일 양태에서, 텔레프레즌스 시스템의 로컬 단말기는 디스플레이를 포함한다. 디스플레이는 픽셀 격자 전면에 있는 마이크로렌즈 어레이를 포함한다. 로컬 단말기는 하나 이상의 카메라 유닛을 더 포함한다. 상기 카메라 유닛은 렌즈, 이미지 센서, 적외선 이미터 및 적외선 깊이 센서를 포함할 수 있다. 로컬 단말기는 프로세싱 장치 및 실행될 때 상기 프로세싱 장치로 하여금 동작들을 수행하게 하는 명령어들을 저장하는 메모리를 더 포함한다. 상기 동작들은 로컬 단말기에서 이미지 센서에 의해 캡처된 가시광에 기초하여 로컬 이미지 데이터를 결정하는 동작 및 상기 로컬 단말기에서 적외선 깊이 센서에 의해 캡처된 적외선 광에 기초하여 로컬 깊이 데이터를 결정하는 동작을 포함할 수 있다. 상기 로컬 깊이 데이터는 로컬 단말기에 대한 뷰어의 위치에 기초할 수 있다. 또한, 상기 동작들은 로컬 깊이 데이터 및 로컬 이미지 데이터를 원격 화상 회의 단말기에 전달하는 동작을 포함할 수 있다. 상기 동작들은 원격 이미지 데이터 및 로컬 위치 데이터(예를 들어, 로컬 깊이 데이터)에 기초하여 마이크로렌즈 어레이의 마이크로렌즈들을 통해 제1 방향으로 제1 이미지의 제1 부분을 생성하는 동작을 더 포함할 수 있다. 위치 데이터는 위치-포지션(location-position) 데이터라고 할 수 있다. 상기 원격 이미지 데이터는 원격 화상 회의 단말기에서 발생할 수 있으며, 원격 깊이 데이터에 기초할 수 있다. 상기 동작들은 원격 이미지 데이터 및 로컬 위치 데이터에 기초하여 마이크로렌즈 어레이의 마이크로렌즈들을 통해 제2 방향으로 제2 이미지를 생성하는 단계를 더 포함할 수 있다. 상기 로컬 위치 데이터는 로컬 화상 회의 단말기에서 발생할 수 있다. 상기 제1 및 제2 방향은 로컬 위치 데이터에 따라 다를 수 있다. 예를 들어, 상기 제1 방향은 제1 위치(예를 들어, 사용자의 제1 눈)로부터 볼 수 있는 방향일 수 있고, 상기 제2 방향은 제2 위치(예를 들어, 사용자의 제2 눈)에서 볼 수 있는 방향일 수 있다. 일부 구현 예들에서, 상기 단말기는 각각 하나 이상의 렌즈를 포함할 수 있는 다수의 카메라 유닛들을 포함할 수 있다. 일부 구현 예들에서, 하나 이상의 이미지들의 부분들이 마이크로렌즈 어레이의 각 마이크로렌즈 상에 생성될 수 있다. 일부 구현 예들에서, 상기 제1 방향은 제1 이미지의 부분을 디스플레이하기 위해 다수의 픽셀들로부터 제1 픽셀을 선택함으로써 결정될 수 있고, 상기 제2 방향은 제2 이미지의 부분을 디스플레이하기 위해 다수의 픽셀들로부터 제2 픽셀을 선택함으로써 결정될 수 있다.
이 양태의 일부 구현예들에서, 로컬 위치 데이터는 로컬 단말기의 사용자에 대응하는 위치 데이터를 포함한다. 일부 구현 예들에서, 위치 데이터는 깊이 데이터를 포함할 수 있다.
이 양태의 다른 구현 예들은 화상 회의 시스템의 메모리에 저장된 명령어들에 따라 프로세싱 장치의 동작들을 수행하도록 구성된 해당 방법들을 포함한다.
다른 양태에서, 3차원 텔레프레즌스를 제공하는 방법은 적외선 이미터를 사용하여 제1 적외선 광을 생성하고, 적외선 깊이 센서를 사용하여 제2 적외선 광을 수신하는 단계를 포함한다. 캡처된 깊이 데이터는 제1 적외선 광 및 제2 적외선 광에 기초하여 결정될 수 있고, 캡처된 이미지 데이터는 이미지 센서에 의해 캡처된 가시광에 기초하여 결정될 수 있다. 캡처된 깊이 데이터 및 캡처된 이미지 데이터는 원격 화상 회의 단말기로 전달될 수 있다. 원격 화상 회의 단말로부터의 수신된 이미지 데이터에 기초하여 로컬 단말기의 마이크로렌즈 어레이의 마이크로렌즈를 통해 제1 방향으로 제1 이미지가 발생되고, 원격 화상 회의 단말로부터 발생하는 수신된 이미지 데이터 및 로컬 단말기의 사용자에 대응하는 위치 데이터에 기초하여, 로컬 단말기의 마이크로렌즈 어레이의 마이크로렌즈를 통해 제2 이미지가 발생된다. 제1 이미지 및 제2 이미지는 위치 데이터에 따라 상이하다.
이 양태의 일부 구현예들에서, 마이크로렌즈 어레이의 마이크로렌즈를 통해 제1 이미지 및/또는 제2 이미지를 발생하는 것은 이미지가 이미지 센서에 의해 캡처된 사용자에 대응하는 위치 데이터에 더 기초한다.
하나 이상의 실시 예의 세부 사항은 첨부 도면 및 이하의 설명에서 설명된다. 다른 특징들은 상세한 설명 및 도면들 및 청구항들로부터 명백할 것이다.
도 1은 개시된 구현예들과 일치하는 예시적인 화상 화의 시스템을 도시한다.
도 2는 개시된 구현예들과 일치하는 예시적인 화상 회의 시스템을 도시한다.
도 3a 및 도 3b는 개시된 구현 예들과 일치하는 화상 회의 단말기들의 예를 도시한다.
도 4는 개시된 구현 예들과 일치하는 예시적인 카메라 유닛을 도시한다.
도 5는 개시된 구현예들과 일치하는 화상 회의 단말기 상에 3차원 이미지를 생성하는 프로세스에 대한 흐름도를 도시한다.
도 6은 개시된 구현 예들과 일치하는 기술들을 구현하는데 사용될 수 있는 예시적인 컴퓨터 장치를 도시한다.
도 7a 내지 도 7g는 구현 예들에 따른 깊이 및 투영 예들이다.
도 8은 구현예들에 따른 3차원 텔레프레즌스 시스템의 개략도이다.
다양한 도면에서 유사한 참조 부호는 동일한 요소를 나타낸다.
종래의 화상 회의 시스템은 원격 화상 회의(예를 들어, 비디오없이)보다 직접 대면하는 회의에 가까운 경험을 제공하지만, 종래의 화상 회의 시스템은 "실제 생활" 회의 경험을 저해하는 한계가 있다. 예를 들어, 종래의 화상 회의의 디스플레이는 이미지를 2차원으로 제공하며, 사실적인 깊이를 표현하는 데 제한이 있다. 결과적으로 화상 회의 참여자는 다른 참여자와의 공존감을 갖지 못한다. 또한, 참여자가 직접 눈을 마주치지 못하게 하는 방식으로 배치된 일반적인 화상 회의 시스템의 카메라는(각 참여자는 디스플레이에서 직접 볼 수 있지만) 디스플레이를 통해 참여자 이미지를 캡처하지 않는다. 일부 화상 회의 시스템은 화상 회의와 같은 가상 현실과 같은 가상 현실을 제공하지만, 이러한 화상 회의 시스템에서는 참여자가 3차원 화상의 렌더링을 경험할 수 있도록 헤드 장착형 디스플레이, 고글 또는 3D 안경을 착용해야 한다.
따라서, 본 명세서에 개시된 구현 예들은 헤드 장착형 디스플레이 및 3D 안경을 사용하지 않고 종래의 화상 회의 시스템보다 현실감 있는 대면(face-to-face) 경험을 제공하는 3차원 텔레프레즌스 시스템에 관한 것이다. 화상 회의(Videoconferencing) 및 이미지 회의 시스템은 텔레프레즌스 시스템의 몇 가지 예이다. 개시된 구현 예들과 일치하여, 3차원 텔레프레즌스 시스템은 마이크로렌즈 어레이 내에 복수의 마이크로렌즈를 포함하는 무안경 렌티큘러(glasses-free lenticular) 3차원 디스플레이를 포함할 수 있다. 일부 구현예들에 따르면, 상기 마이크로렌즈 어레이는 마이크로렌즈의 복수의 그룹들(또는 서브-어레이들)을 포함할 수 있으며, 복수의 그룹(또는 서브-어레이들) 각각은 하나 이상의 각도를 통해 광을 전송하도록 각각 구성된 다수의 마이크로렌즈들을 포함하고 및/또는 각각은 하나 이상의 상이한 방향으로 상이한 컬러 픽셀 값들(예컨대, RGB 픽셀 값들)을 디스플레이하도록 구성될 수 있다. 마이크로렌즈 그룹들/서브-어레이들의 사용은 상이한 시야각(즉, 상이한 뷰잉(관찰, 보기) 위치로부터 볼 수 있는)에서 상이한 이미지들을 나타내기 위해 디스플레이에 포함될 수 있다. 3차원 텔레프레즌스 시스템의 일부 구현예들에서, 상기 복수의 마이크로렌즈 그룹들 각각은 적어도 2개의 마이크로렌즈를 포함하고, 3차원 이미지는 상기 적어도 하나의 마이크로 렌즈를 통해 제1 방향으로 제1 이미지의 부분(예를 들어, 제1 픽셀)을 투영(project)하고, 상기 적어도 하나의 다른 마이크로렌즈를 통해 제2 방향으로 제2 이미지의 부분(예를 들어, 제2 픽셀)을 투영함으로써 생성될 수 있다. 제2 이미지는 제1 이미지와 유사할 수 있지만, 제2 이미지는 시차를 시뮬레이팅하기 위해 시프트되어 뷰어에 대한 3차원 입체 이미지를 생성할 수 있다.
본 명세서에 개시된 3차원 텔레프레즌스 시스템은 하나 이상의 카메라 유닛을 갖는 카메라 어셈블리를 더 포함할 수 있다. 각각의 카메라 유닛은 가시광(예를 들어, 컬러)을 캡처하기 위한 이미지 센서, 적외선 이미터, 및 적외선 이미터로부터 발생하고, 뷰어 및 뷰어 주변의 물체에서 반사된 적외선 광을 캡처하기 위한 적외선 깊이 센서를 포함할 수 있다. 일부 구현 예들에서, 카메라 유닛의 하나 이상의 구성 요소(예를 들어, 이미지 센서, 적외선 이미 터 및 적외선 깊이 센서)는 동일 위치에 있지 않을 수 있다. 일부 구현 예들에서, 3차원 텔레프레즌스 시스템의 제1 단말기는 3차원 텔레프레즌스 시스템의 제2 단말기에 전달되는 제1 단말기 이미지 데이터 및 제1 단말기 깊이 데이터를 생성하기 위해 캡처된 가시광 및 캡처된 적외선 광의 조합을 사용할 수 있다. 일부 구현 예들에서, 3차원 텔레프레즌스 시스템의 제1 단말기는 3차원 텔레프레즌스 시스템의 제2 단말기로부터 제2 단말기 이미지 데이터 및 제2 단말기 깊이 데이터를 수신할 수 있으며, 또한 제1 단말기의 디스플레이상에 3차원 입체 이미지들을 생성하기 위해, 제1 단말기에 대한 사용자의 위치에 관한 위치 데이터(예를 들어, 제1 단말기 깊이 데이터에 기초하여 결정됨)뿐만 아니라 제2 단말기 이미지 데이터 및 제2 단말기 깊이 데이터를 사용한다.
3차원 텔레프레즌스 시스템(100)의 일 예시적인 구현예는 도 1에 도시된다. 2명의 사용자(105a 및 105b)는 3차원 텔레프레즌스 시스템(100)을 사용하여 원격 통신으로 대면할 수 있다. 제1 사용자(105a)는 제2 사용자(105b)로부터 원격 위치에 있다. 제2 사용자(105b)는 디스플레이(125) 상에서 제1 사용자(105a)의 3차원 그래픽 이미지를 본다. 일부 구현 예에서, 디스플레이(125)는 제1 사용자(105a) 및 제2 사용자(105b)의 공존을 시뮬레이팅하기 위해 적당한 크기로 제2 사용자(105b)로부터 적당한 거리에 있다. 예를 들어, 디스플레이(125)는 제2 사용자(105b)로부터 테이블 건너 1m 위치에 있을 수 있고, 디스플레이(125)는 1m 디스플레이일 수 있다. 카메라 어셈블리(180)는 제1 사용자(105a)가 볼 수 있는 디스플레이(도 1에는 도시되지 않음)상에 제2 사용자(105b)의 3차원 입체 이미지를 디스플레이하기 위해 3차원 텔레프레즌스 시스템(100)(예컨대, 제2 사용자(105b)에 의해 사용되는 단말기에 의해)에 의해 사용될 수 있는 가시광 및 적외선 광을 캡처하도록 구성될 수 있다. 일부 구현 예에서, 하나 이상의 마이크로폰 및/또는 스피커(예를 들어, 스피커 어레이)가 시스템(100)에 포함될 수 있다. 이러한 시스템(100)에서, 마이크로폰(들) 및/또는 스피커(들)는 공간 오디오(예를 들어, 음원의 위치에 공간적으로 의존하여 생성되는 소리)를 시뮬레이팅하는데 사용될 수 있다.
도 2는 2명의 사용자들 사이에서 3차원 화상 회의를 수행하기 위한 3차원 텔레프레즌스 시스템(100)을 블록 형태로 도시한다. 도 2에 도시된 구현예에서, 도 2에 도시된 바와 같이, 각 사용자(예를 들어, 제1 참여자 및 제2 참여자)에 대응하는 각각의 단말기(120)는 네트워크(190)를 사용하여 통신할 수 있다. 도 2에 도시된 3차원 텔레프레즌스 시스템(100)은 컴퓨터화될 수 있고, 도시된 구성요소들 각각은 네트워크(190)를 통해 다른 컴퓨팅 장치와 통신하도록 구성된 컴퓨팅 장치 또는 컴퓨팅 장치의 일부를 포함한다. 예를 들어, 각각의 단말기(120)는 네트워크(190)를 통해 다른 컴퓨팅 장치와 데이터를 송신 및 수신하도록 구성된 데스크톱, 노트북 또는 핸드헬드 컴퓨팅 장치와 같은 하나 이상의 컴퓨팅 장치를 포함할 수 있다. 일부 구현 예에서, 각각의 단말기(120)는 단말기(120)의 각 구성 요소가 동일한 하우징 내에 배치되는 특수 목적의 원격 회의 장치일 수 있다. 일부 구현 예에서, 각 단말기(120) 간의 통신은 회의 설정, 테어다운(tear down) 및/또는 스케줄링을 관리하는 하나 이상의 서버 또는 컴퓨팅 클러스터(도시되지 않음)에 의해 용이해질 수 있다. 도 2에 도시된 구현 예와 같은 일부 구현예에서, 단말기(120)는 P2P(point-to-point) 통신 프로토콜을 사용하여 통신할 수 있다.
도 2에 도시된 구현예에서, 단말기(120)는 화상 회의에서 참여자들에 의해 사용될 수 있다. 일부 구현예에서, 참여자들은 동일한 단말기들을 사용한다. 예를 들어, 각각의 참여자는 동일한 구성 또는 사양을 갖는 동일한 모델 번호의 단말기(120) 또는 화상 회의 중에 통신을 용이하게 하도록 유사한 방식으로 구성된 단말기(120)를 사용할 수 있다. 일부 구현 예에서, 참여자들이 사용하는 단말기는 다를 수 있지만 헤드 장착 디스플레이 또는 3차원 안경을 사용하지 않고 이미지 및 깊이 데이터를 송수신하고 3차원 입체 이미지를 생성하도록 각각 구성된다. 설명의 편의를 위해, 도 2의 구현예는 3차원 텔레프레즌스 시스템(100)의 양단에 동일한 단말기(120)를 제공한다.
일부 구현 예에서, 단말기(120)는 디스플레이(125)를 포함한다. 일부 구현 예에서, 디스플레이(125)는 무안경 렌티큘러 3차원 디스플레이를 포함할 수 있다. 디스플레이(125)는 복수의 마이크로렌즈를 포함하는 마이크로렌즈 어레이를 포함할 수 있다. 일부 구현 예에서, 마이크로렌즈 어레이의 마이크로렌즈들은 제1 위치에서 볼 수 있는 제1 디스플레이 이미지 및 제2 위치에서 볼 수 있는 제2 디스플레이 이미지를 생성하는데 사용될 수 있다. 입체적인 3차원 이미지는 사용자의 제1 눈의 위치에 대응하는 제1 위치로부터 마이크로렌즈 어레이를 통해 관측되도록 픽셀 그리드의 부분 상에 제1 디스플레이 이미지를 렌더링하고, 사용자의 제2 눈의 위치에 대응하는 제2 위치로부터 마이크로렌즈 어레이를 통해 관측되도록 픽셀 그리드의 부분에 제2 디스플레이 이미지를 렌더링함으로써 디스플레이(125)에 의해 생성될 수 있으며, 상기 제2 디스플레이 이미지는 시차를 시뮬레이팅하기 위해 상기 제1 디스플레이 이미지로부터의 깊이 시프트를 나타낸다. 예를 들어, 상기 픽셀 그리드는 참여자의 좌안에 의해 마이크로렌즈 어레이를 통해 보여지도록 의도된 제1 디스플레이 이미지를 디스플레이할 수 있고, 상기 픽셀 그리드는 참여자의 우안에 의해 마이크로렌즈 어레이를 통해 보여지도록 의도된 제2 디스플레이 이미지를 디스플레이할 수 있다. 제1 및 제2 위치는 디스플레이에 대한 뷰어의 위치(예를 들어, 측 방향/수직 위치, 포지션, 깊이, 좌안 또는 우안의 위치)에 기초할 수 있다. 일부 구현 예에서, 제1 및 제2 디스플레이 이미지를 생성하기 위한 제1 및 제2 방향은 마이크로렌즈 어레이와 연관된 픽셀 어레이로부터 특정 픽셀들을 선택함으로써 결정될 수 있다.
일부 구현 예에서, 마이크로렌즈 어레이는 2개의 마이크로렌즈를 포함하는 복수의 마이크로렌즈 쌍을 포함할 수 있고, 디스플레이(125)는 이미지들을 디스플레이하기 위해 마이크로렌즈 중 적어도 2개 이상을 사용할 수 있다. 일부 구현 예에서, 프로세싱 장치(130)는 디스플레이(125)에 대한 참여자의 위치에 대응하는 위치 정보에 기초하여 마이크로렌즈를 통해 이미지가 보여질 수 있는 하나의 출사 광선의 세트를 선택하여 좌안 이미지 및 우안 이미지를 디스플레이할 수 있다(위치는 개시된 구현예들과 일치하는 카메라 어셈블리(180)에 의해 캡처될 수 있다). 일부 구현 예에서, 다수의 마이크로렌즈 각각은 디스플레이(125)의 전면에 있는 일부 제한된 서브세트의 방향으로부터 각 픽셀이 보일 수 있도록 일부 픽셀 수를 커버할 수 있다(예를 들어, 위에 배치되거나 또는 이와 연관될 수 있다). 관측자의 위치를 알고 있는 경우, 하나의 눈에서 볼 수 있는 각 렌즈 아래의 픽셀의 서브세트(전체 디스플레이(125)에 걸쳐) 및 다른 하나의 눈에서 볼 수 있는 디스플레이(125)를 가로지르는 픽셀의 서브세트가 식별될 수 있다. 사용자의 눈 위치에서 볼 수 있는 가상 뷰에 대응하는 적절한 렌더링된 이미지를 각 픽셀에 대해 선택함으로써, 각각의 눈은 정확한 이미지를 볼 수 있다.
프로세싱 장치(130)는 하나 이상의 중앙 프로세싱 장치, 그래픽 프로세싱 장치, 다른 유형의 프로세싱 장치, 또는 이들의 조합을 포함할 수 있다.
일부 구현 예에서, 상기 마이크로렌즈를 통해 상기 단말기의 사용자에게 적어도 2개의 이미지를 동시에 투영(project)하는 방향을 결정하기 위해, 상기 단말기에 대한 상기 사용자의 위치는 다양한 메커니즘을 사용하여 결정될 수 있다. 예를 들어, 적외선 추적 시스템은 사용자에게 결합된 하나 이상의 마커들(예를 들어, 사용자의 안경 또는 모자에 부착된 반사 마커들)를 사용할 수 있다. 다른 예로서, 적외선 카메라가 사용될 수 있다. 상기 적외선 카메라는 비교적 빠른 얼굴 검출기로 구성할 수 있는데, 이 얼굴 검출기는 적어도 두 개의 이미지에서 사용자의 눈들을 찾고, 3D로 위치를 삼각측량하는 데 사용될 수 있다. 또 다른 예로서, 컬러 픽셀들(예를 들어, RGB 픽셀들) 및 깊이 센서가 사용자의 위치 정보를 결정 (예를 들어, 직접 결정)하는데 사용될 수 있다. 일부 구현 예에서, 그러한 시스템을 사용하여 정확한 트래킹을 위한 프레임 레이트는 적어도 60Hz(예를 들어, 120Hz 또는 그 이상)일 수 있다.
일부 실시 예에서, 디스플레이(125)는 전환 가능한 투명한 렌티큘러 3차원 디스플레이를 포함할 수 있다. 디스플레이(125)는 그러한 구현 예에서, 화상 회의 중에 시선 맞춤(eye contact)을 시뮬레이팅하기 위해 디스플레이(125) 뒤에 카메라 어셈블리(180)를 배치하도록 허용할 수 있다. 일부 실시 예에서, 디스플레이(125)는 인간의 눈 또는 카메라 렌즈에 의해 쉽게 검출될 수 없을만큼 충분히 작은 유기 발광 다이오드(OLED)를 포함할 수 있어 디스플레이(125)를 효과적으로 투명하게 만든다. 이러한 OLED들은 또한 조명될 때 이들이 방출하는 광의 영역이 각각의 영역보다 상당히 클 정도로 충분한 밝기를 가질 수 있다. 결과적으로, OLED들은 사람의 눈 또는 카메라 렌즈에 의해 쉽게 눈에 보이지 않지만 디스플레이된 이미지에 갭이없는 렌더링된 이미지로 디스플레이(125)를 조명하기에 충분히 밝다. 전환 가능한 투명한 렌티큘러 3차원 디스플레이에서, OLED는 유리가 OLED의 연속적인 행들 사이에 배치되도록 유리 기판에 내장될 수 있다. 이러한 배치는 OLED가 조명되지 않을 때 투명하고, 조명될 때 불투명한(디스플레이(125) 상에 디스플레이된 이미지로 인해) 디스플레이(125)를 초래한다.
카메라 어셈블리(180)가 디스플레이(125) 뒤에 배치되는 구현예에서, 카메라 어셈블리(180)는 OLED가 조명될 때 가시광 및 적외선 광을 캡처할 수 없을 수도 있다. 디스플레이(125)가 전환 가능한 투명한 렌티큘러 3차원 디스플레이를 포함하는 구현예에서, 프로세싱 장치(130)는 OLED가 조명될 때 카메라 어셈블리(180)가 가시광 또는 적외선 광을 캡처하지 않고, OLED가 조명되지 않을 때 카메라 어셈블리(180)가 개시된 구현 예와 일치하는 이미지 데이터, 깊이 데이터 및/또는 위치 데이터를 결정하기 위해 가시광 및 적외선 광을 캡처하도록, 디스플레이(125)의 OLED의 조명을 카메라 어셈블리(180)와 동기화시킬 수 있다. 프로세싱 장치(130)는, 예를 들어 초당 90프레임과 같이 인간의 눈으로 검출할 수 있는 것보다 더 빠른 속도로 디스플레이(125)의 OLED의 조명을 카메라 어셈블리(180)의 이미지 캡처와 동기화시킬 수 있다.
디스플레이(125)는 렌티큘러 디스플레이이므로, 카메라 어셈블리(180)가 전환 불가능한 투명한 렌티큘러 3차원 디스플레이 뒤에 배치되는 경우, 디스플레이(125)의 렌티큘러 성질은 카메라 어셈블리(180)에 의해 캡처된 가시광 및 적외선 광에 왜곡을 생성할 수 있다. 그 결과, 일부 실시 예에서, 디스플레이(125)는 전환 가능한 투명한 렌티큘러 3차원 디스플레이일 수 있다. 전환 가능한 투명한 렌티큘러 3차원 디스플레이 구현 예에서, 마이크로렌즈 어레이의 마이크로렌즈는 제1 재료 및 제2 재료로 제조될 수 있다. 예를 들어, 마이크로렌즈 중 적어도 일부는 제1 재료로 제조될 수 있고, 마이크로렌즈 중 적어도 일부는 제2 재료로 제조될 수 있다. 제1 재료는 전류에 의해 영향을 받지 않는(예를 들어, 실질적으로 영향을 받지 않는) 재료일 수 있고, 제2 재료는 전류에 의해 영향을 받을 수 있다(예를 들어, 실질적으로 영향을 받을 수 있음). 제1 재료 및 제2 재료는 전류가 제2 재료에 인가되지 않을 때 상이한 굴절률을 가질 수 있다. 이는 제2 재료 및 제1 재료의 마이크로렌즈들 사이의 경계들에서 굴절을 일으켜 렌티큘러 디스플레이를 생성할 수 있다. 전류가 제2 재료에 인가될 때, 전류는 제2 재료의 굴절률이 제1 재료의 굴절률과 동일하게 변화되도록 하여, 디스플레이(125)의 렌티큘러 성질을 중화(neutralizing)하여 2개의 재료가 균질 굴절의 단일 직사각형 슬래브를 형성하도록 허용할 수 있으며, 디스플레이의 이미지가 왜곡되지 않고 통과할 수 있게 한다. 일부 구현 예에서, 전류는 제1 재료 및 제2 재료 모두에 인가되고, 여기서 전류는 제2 재료에 대해 상술된 영향을 미치고, 제1 재료에 영향을 미치지 않는다. 따라서, 디스플레이(125)가 이미지(예를 들어, 그 OLED가 조명됨)를 투영할 때, 프로세싱 장치(130)는 마이크로렌즈 어레이에 전류를 인가하지 않을 수 있고, 디스플레이(125)는 (예를 들어, 턴-온될 때) 렌티큘러 어레이로서 기능할 수 있다. 디스플레이(125)의 OLED가 조명되지 않고, 프로세싱 장치(130)가 가시광 및 적외선 광을 캡처하도록 카메라 어셈블리(180)에 명령하면, 프로세싱 장치(130)는 전류가 제2 재료로 제조된 마이크로렌즈에 영향을 미치는 디스플레이(125)에 인가되게 할 수 있다. 전류의 인가는 제2 재료로 제조된 마이크로렌즈에 대한 굴절률을 변화시킬 수 있고, 디스플레이(125)는 렌티큘러 어레이로서 기능하지 않을 수 있다(예를 들어, 디스플레이(125)는 투명하거나 렌티큘러 효과(lenticular effect)없이 투명 유리판으로서 기능할 수 있다).
일부 구현 예에서, 단말기(120)는 프로세싱 장치(130)를 포함할 수 있다. 프로세싱 장치(130)는 이미지를 디스플레이하기 위해 디스플레이(125)에 명령(예를 들어, 트리거)하기 위한 기능 및 동작을 수행할 수 있다. 일부 구현 예에서, 프로세싱 장치(130)는 단말기(120)의 사용자의 위치 및 포지션을 나타내는 로우 데이터(raw data)를 수신하기 위해 카메라 어셈블리(180)와 통신할 수 있다. 프로세싱 장치(130)는 또한 화상 회의에 참여하는 다른 단말기들(120)로부터 이미지 데이터 및 깊이 데이터를 수신하기 위해 네트워크 어댑터(160)와 통신할 수 있다. 프로세싱 장치(130)는 개시된 구현예들과 일치하여, 카메라 어셈블리(180)로부터 수신된 포지션(position) 및 위치(location) 데이터 및 네트워크 어댑터(160)로부터의 이미지 데이터 및 깊이 데이터를 사용하여 디스플레이(125) 상에 3차원 입체 이미지(입체 영상)을 렌더링할 수 있다.
일부 구현 예에서, 프로세싱 장치(130)는 네트워크 어댑터(160)를 통한 화상 회의에서 다른 단말기들(120)에 전달될 수 있는 이미지 데이터, 깊이 데이터 및/또는 위치 데이터로 카메라 어셈블리(180)로부터 수신된 로우 데이터를 변환하는 기능 및 동작을 수행할 수 있다. 예를 들어, 화상 회의 중에, 카메라 어셈블리(180)는 단말기(120)의 사용자에 의해 반사된 가시광 및/또는 적외선 광을 캡처할 수 있다. 카메라 어셈블리(180)는 캡처된 가시광 및/또는 적외선 광에 대응하는 전자 신호들을 프로세싱 장치(130)에 전송할 수 있다. 프로세싱 장치(130)는 상기 캡처된 가시광 및/또는 적외선 광을 분석하여 이미지 데이터(예를 들어, 이미지로 렌더링될 수 있는 픽셀 세트에 대한 RGB 값에 대응하는 데이터) 및/또는 깊이 데이터(예를 들어, 렌더링된 이미지의 설정된 픽셀에 대한 각 RGB 값의 깊이에 대응하는 데이터)를 결정한다. 일부 구현 예에서, 프로세싱 장치(130)는 네트워크(190)를 통해 이미지 데이터 또는 깊이 데이터를 전달하기 전에 더 적은 메모리 또는 대역폭을 필요로하도록 이미지 데이터 및/또는 깊이 데이터를 압축 또는 인코딩할 수 있다. 마찬가지로, 프로세싱 장치(130)는 프로세싱 장치(130)가 입체적인 3차원 이미지들을 렌더링하기 전에 수신된 이미지 데이터 또는 깊이 데이터를 압축 해제 또는 디코딩할 수 있다.
일부 구현 예에 따르면, 단말기(120)는 스피커 어셈블리(140) 및 마이크로폰 어셈블리(150)를 포함할 수 있다. 스피커 어셈블리(140)는 화상 회의에서 다른 단말들(120)로부터 수신된 오디오 데이터에 대응하는 오디오를 투영할 수 있다. 스피커 어셈블리(140)는, 예를 들어 지향성 오디오를 투영하기 위해 다수의 위치에 배치될 수 있는 하나 이상의 스피커들을 포함할 수 있다. 마이크로폰 어셈블리(150)는 단말기(120)의 사용자에 대응하는 오디오를 캡처할 수 있다. 마이크로폰 어셈블리(150)는, 예를 들어 지향성 오디오를 투영하기 위해 다수의 위치에 배치될 수 있는 하나 이상의 스피커들을 포함할 수 있다. 일부 구현 예에서, 프로세싱 유닛(예를 들어, 프로세싱 장치(130))은 마이크로폰 어셈블리(150)에 의해 캡처되고, 네트워크 어댑터(160) 및 네트워크(190)를 통해 화상 회의에 참여하는 다른 단말기들(120)에 전달된 오디오를 압축 또는 인코딩할 수 있다.
단말기(120)는 또한 I/O 장치(170)를 포함할 수 있다. I/O 장치(170)는 단말기(120)가 참여하고 있는 화상 회의를 제어하기 위한 입력 및/또는 출력 장치를 포함할 수 있다. 예를 들어, I/O 장치(170)는 디스플레이(125)의 콘트라스트, 밝기 또는 줌을 조정하는데 사용될 수 있는 버튼들 또는 터치 스크린들을 포함할 수 있다. I/O 장치(170)는 또한 디스플레이(125) 상에 렌더링된 이미지에 주석을 달기 위해 사용될 수 있는 키보드 인터페이스 또는 화상 회의에 참여하는 다른 단말기들(120)과 통신하기 위한 주석(annotations)을 포함할 수 있다.
일부 구현 예에 따르면, 단말기(120)는 카메라 어셈블리(180)를 포함한다. 카메라 어셈블리(180)는 하나 이상의 카메라 유닛들을 포함할 수 있다. 일부 구현 예에서, 카메라 어셈블리(180)는 디스플레이(125) 뒤에 배치된 일부 카메라 유닛들 및 디스플레이(125)의 주변에 인접하여 배치된 하나 이상의 카메라 유닛들(즉, 카메라 어셈블리(180) 뒤에 배치되지 않는 카메라 유닛들)을 포함한다. 예를 들어, 카메라 어셈블리(180)는 하나의 카메라 유닛, 3개의 카메라 유닛들, 또는 6개의 카메라 유닛들을 포함할 수 있다. 카메라 어셈블리(180)의 각 카메라 유닛은 이미지 센서, 적외선 센서, 및/또는 적외선 이미터를 포함할 수 있다. 이하에서 설명되는도 4는 카메라 유닛(182)의 일 실시 예를 보다 상세히 설명한다.
일부 구현 예에서, 단말기(120)는 메모리(185)를 포함할 수 있다. 메모리(185)는 구현예에 따라 휘발성 메모리 유닛(들) 또는 비 휘발성 메모리 유닛(들)일 수 있다. 메모리(185)는 자기 또는 광학 디스크 또는 고체-상태 메모리와 같은 임의의 형태의 컴퓨터 판독 가능 매체일 수 있다. 일부 구현예들에 따르면, 메모리(185)는 프로세싱 장치(130)가 개시된 구현예들과 일치하는 기능들 및 동작들을 수행하게 하는 명령어들을 저장할 수 있다.
일부 구현 예에서, 3차원 텔레프레즌스 시스템(100)의 단말기들(120)은 화상 회의를 용이하게 하기 위해 서로 간에 다양한 형태의 데이터를 전달(통신)한다. 일부 구현 예에서, 단말기들(120)은 단말기들(120)의 각각의 개별 사용자에 대응하는 이미지 데이터, 깊이 데이터, 오디오 데이터 및/또는 위치 데이터를 전달(통신)할 수 있다. 각 단말기(120)의 프로세싱 장치(130)는 디스플레이(125) 상에 입체 3차원 이미지를 렌더링하기 위해 수신된 이미지 데이터, 깊이 데이터 및/또는 위치 데이터를 사용할 수 있다. 프로세싱 장치(130)는 오디오 데이터를 해석하여 그 오디오 데이터에 대응하는 오디오를 투영하도록 스피커 어셈블리(140)에 명령할 수 있다. 일부 구현 예에서, 이미지 데이터, 깊이 데이터, 오디오 데이터 및/또는 위치 데이터는 압축되거나 인코딩될 수 있고, 프로세싱 장치(130)는 데이터를 압축 해제 또는 디코딩하는 기능 및 동작을 수행할 수 있다. 일부 구현 예에서, 이미지 데이터는 예를 들어 JPEG 또는 MPEG와 같은 표준 이미지 포맷일 수 있다. 깊이 데이터는, 일부 구현 예에서, 예를 들어, 일대일 대응으로 이미지 데이터의 각 픽셀에 대한 깊이 값을 특정하는 매트릭스일 수 있다. 마찬가지로, 오디오 데이터는 당 업계에 알려진 표준 오디오 스트리밍 포맷일 수 있으며, 일부 구현에서는 VoIP(voice over Internet Protocol) 기술을 사용할 수 있다.
구현 예에 따라, 네트워크(190)는 하나 이상의 로컬 영역 네트워크, 광역 네트워크, 개인 영역 네트워크, 전화 네트워크 및/또는 인터넷과 같은 임의의 유형의 네트워크 중 하나 이상을 포함할 수 있으며, 이는 이용 가능한 유선 및/또는 무선 통신 프로토콜들을 통해 액세스될 수 있다. 예를 들어, 네트워크(190)는 각 단말기(120)가 통신하는 인터넷 접속(연결)을 포함할 수 있다. 보안 및 비보안 네트워크 통신 링크를 포함하여 네트워크의 다른 조합이 여기에 설명된 시스템에서 사용되도록 고려된다.
도 3a는 카메라 어셈블리(180)가 디스플레이(125)의 둘레를 따라 배치된 3개의 카메라 유닛(182)을 포함하는 단말기(120)의 일 실시 예를 도시한다. 도 3a의 구현예는 3개의 카메라 유닛(182), 디스플레이(125)의 상부에 배치된 제1 카메라, 디스플레이(125)의 좌측에 배치된 제2 카메라 및 디스플레이(125)의 우측에 배치된 제3 카메라를 포함한다. 도 3a의 구현예에서, 디스플레이(125)는 무안경 렌티큘러 3차원 디스플레이일 수 있다. 일부 구현 예에 따르면, 카메라 어셈블리(180)의 각 카메라 유닛(182)은 렌즈(310) 및 적외선 이미터(320)를 포함할 수 있다. 카메라 유닛(182)은 렌즈(310)를 사용하여 단말기(120)의 사용자에 대응하는 가시광 및 적외선 광을 캡처한다. 일부 실시 예에서, 적외선 이미터(320)는 단말기(120)의 사용자 및 사용자의 주변에서 반사되어 렌즈(310)에 의해 캡처되는 적외선 광을 방출할 수 있다(도 4와 관련하여 이하에서보다 상세하게 설명됨).
도 3b는 단말기(120)의 다른 구현 예를 도시한다. 이 구현에서, 디스플레이(125)는 개시된 구현예들과 일치하는 무안경 전환 가능한 렌티큘러 3차원 디스플레이이다. 또한, 이 실시 예에서, 카메라 어셈블리(180)는 디스플레이(125) 뒤에 배치될 수 있다. 디스플레이(125) 뒤의 카메라 어셈블리(180)의 배치는 카메라 어셈블리(180)의 카메라 유닛들(182)이 단말기(120)의 사용자가 가장 보일 수 있는 포지션에 배치되기 때문에 화상 회의 중 직접 시선 맞춤의 가능성을 증가시킬 수 있다. 종래의 화상 회의 시스템에서, 하나의 단일 카메라는 전형적으로 화상 회의에서 참가자가 보는 디스플레이의 둘레에 배치된다. 결과적으로 화상 회의에서 참가자들 간의 시선 맞춤(눈 맞춤)(eye contact)이 안될 수 있다. 무안경 전환 가능한 투명 렌티큘러 3차원 디스플레이를 사용함으로써, 카메라 어셈블리(180)가 스크린 뒤에 배치될 수 있고, 화상 회의 중에 시선 맞춤이 증가될 수 있다.
한편, 도 3a 및 도 3b는 디스플레이(125)에 인접한 다양한 위치에 배치된 다수의 카메라 유닛들(182)을 갖는 카메라 어셈블리(180)의 구현 예를 도시하고, 카메라 유닛들(182)은 본 발명의 사상 및 범위를 벗어남이 없이 디스플레이(125)에 인접한 다른 위치들에 배치될 수 있다. 예를 들어, 도 3a 및 도 3b에 도시한 구현예는 디스플레이(125)에 인접하게 배치된 3개의 카메라 유닛들(182)을 도시하지만, 다른 구현 예는 더 많거나 적은 카메라 유닛들(182)을 포함할 수 있다. 또한, 도 3a 및 도 3b에 도시한 구현예들은 고정된 위치에서의 카메라 어셈블리(180)의 카메라 유닛들(182)을 도시하지만, 카메라 유닛들(182)은 일부 구현 예에 따라 조절가능하거나 이동가능할 수 있다. 예를 들어, 하나 이상의 카메라 유닛들(182)은 단말기(120)의 사용자와 연관된 위치 데이터에 따라 그 카메라 유닛(182)의 위치 및/또는 회전을 조정하는 이동식 액츄에이터에 연결될 수 있다.
도 4는 카메라 어셈블리(180)의 예시적인 카메라 유닛(182), 카메라 어셈블리(180)의 적외선 이미터(320)로부터 전송된 적외선 광의 전송된 광경로(410), 카메라 어셈블리(180)에 의해 수신된 가시광 및 적외선 광의 수광(receive light) 경로(420)를 도시한다. 카메라 유닛(182)은 적외선 이미터(320), 렌즈(310), 빔 스플리터(440), 이미지 센서(450) 및 적외선 깊이 센서(460)를 포함할 수 있다. 일부 구현 예에 따르면, 적외선 이미터(320)는 전송된 광 경로(410)로서 적외선 광파를 방출한다. 전송된 광 경로(410)는 사용자(105)로부터 반사되어 렌즈(310)를 통해 카메라 유닛(182)에 의해 캡처된 수광 경로(420)의 일부일 수 있다. 또한, 수광 경로(420)는 또한 렌즈(310)를 통해 가시광(예를 들어, 가시적 컬러 스펙트럼 내의 광)을 포함할 수 있다. 빔 스플리터(440)는 캡처된 광을 분리하여 이를 이미지 센서(450) 및 적외선 깊이 센서(460)로 전송할 수 있다. 이미지 센서(450) 및 적외선 깊이 센서(460)는 일부 실시 예에서 캡처된 광의 주파수 및 위상에 대응하는 로우 데이터를 프로세싱 장치(130)에 전송할 수 있다.
일부 구현 예에서, 이미지 센서(450)는 가시광을 캡쳐하고 그것을 적색-녹색 -청색(RGB) 값들, CMYK 컬러 값들 및/또는 YUV 컬러 값들과 상관시킬 수 있는 이미지 센서일 수 있다. 일부 구현 예에서, 이미지 센서(450)는 고해상도(HD) 또는 4K 해상도 이미지 센서일 수 있다.
일부 구현 예에서, 적외선 이미터(320) 및 적외선 깊이 센서(460)는 각각 TOF(time-of-flight) 이미터 및 센서일 수 있다. 이러한 구현예에서, 적외선 이미 터(320)는 적외선 광의 사인파 펄스를 전송한다. 상기 적외선 광은 그 경로 내의 물체들에서 반사될 수 있고, 카메라 어셈블리(180)로 리턴되어 적외선 깊이 센서(460)에 의해 캡처될 수 있다. 일부 구현 예에서, 적외선 깊이 센서(460)(또는 다른 구현 예에서 프로세싱 장치(130))는 적외선 이미터(320)에 의해 방출된 적외선 사인파 펄스와 적외선 깊이 센서(460)에 의해 검출된 적외선 사인파 펄스 간의 위상 오프셋을 결정할 수 있다. 상기 위상 오프셋은 예를 들어 깊이를 결정하는 데 사용될 수 있다. 일부 구현 예에서, 적외선 이미터(320) 및 적외선 깊이 센서(460)는 능동적인 스테레오, 비구조화된(unstructured) 광 스테레오, 또는 보조 투영된(assistive projected) 텍스처(설명의 편의를 위해 액티브 스테레오라고 함) 이미터 및 센서일 수 있다. 그러한 구현예에서, 적외선 이미터(320)는 그 경로 내의 물체로부터 반사되어 카메라 어셈블리(180)로 리턴될 수 있는 비구조화된 고주파 텍스처의 적외선 광을 방출한다. 액티브 스테레오 구현예에서, 물체의 깊이를 계산하기 위해 다수의 카메라 유닛들로부터의 적외선 깊이 센서(460)가 필요할 수 있다. 일부 구현 예에서, 적외선 이미터(320) 및 적외선 깊이 센서(460)는 각각 코딩된 광 스테레오 이미터 및 센서일 수 있다. 상기 코딩된 광 스테레오 구현예에서, 적외선 이미터(320)는 그 캡처된 이미지 내의 포인트들의 깊이를 결정하기 위해 스테레오 삼각 측량을 수행하는데 사용될 수 있는 특정 광 패턴을 생성한다.
일부 구현예들에 따르면, 빔 스플리터(440)는 이미지 센서(450) 및 적외선 깊이 센서(460)가 동일한 광을 수신하도록 입사광을 분할한다. 일부 구현 예에서, 이미지 센서(450) 및 적외선 깊이 센서(460)는 이미지 센서(450)의 기하구조(기하학적 구조) 내의 포인트에 대응하는 가시광 주파수가 적외선 깊이 센서(460)의 기하구조 내의 포인트에 대응하는 적외선 광 주파수에 직접 대응하도록 하는 동일하거나 실질적으로 동일한 기하구조를 갖는다. 결과적으로, 이미지 센서(450)에 의해 캡처된 이미지 내의 픽셀에 대한 RGB 값은 적외선 깊이 센서(460)에 의해 캡처된 이미지 내의 동일한 위치에서 대응하는 픽셀에 대한 깊이 값으로서 일대일 대응을 갖는다. 일부 구현 예에서, 이미지 센서(450) 및 적외선 깊이 센서(460)에 의해 캡처된 이미지는 이미지 센서(450)에 의해 캡처된 RGB 이미지에 대한 깊이 메쉬를 생성하는데 사용될 수 있다. 그리고, 이미지 센서(450) 및 적외선 깊이 센서(460)의 기하구조가 동일하기 때문에, 상기 깊이 메쉬는 임의의 또는 제한된 교정(calibration)없이 생성될 수 있다.
도 5는 개시된 구현예들과 일치하는 화상 회의 단말기상에서 3차원 입체 영상(이미지)을 생성하기 위한 예시적인 이미지 디스플레이 프로세스(500)를 나타내는 흐름도이다. 일부 구현 예에 따르면, 이미지 디스플레이 프로세스(500)는 단말기(120)와 같은 화상 회의 단말기의 하나 이상의 컴포넌트들(구성요소들)에 의해 수행될 수 있다. 다음의 설명은 화상 회의 단말기에 의해 수행되는 것으로서 화상 디스플레이 프로세스(500)를 설명하지만, 화상 회의 단말기 상에 3차원 이미지를 생성하도록 구성된 컴퓨터 시스템의 다른 컴포넌트들은 본 명세서의 사상 및 범위를 벗어나지 않고 이미지 디스플레이 프로세스(500)를 수행할 수 있다.
단계(510)에서, 로컬 단말기의 카메라 유닛의 적외선 이미터는 제1 적외선 광을 생성한다. 제1 적외선 광은 경로 내의 물체들을 반사할 수 있다. 로컬 단말기의 카메라 유닛은 상기 반사된 적외선 광을 수신할 수 있다(단계 520). 카메라 유닛 내의 적외선 깊이 센서는 상기 수신된 제2 적외선 광을 캡처하고, 제1 적외선 광과 제2 적외선 광의 차이에 기초하여 깊이 데이터를 결정하는 로컬 단말기의 프로세싱 유닛에 로우 데이터를 제공할 수 있다(단계 530). 일부 구현 예에서, 단계(530)는 적외선 깊이 센서 또는 단말기(120)의 일부 다른 컴포넌트들에 의해 수행될 수 있다. 일부 구현 예에서, 상기 깊이 데이터는 제1 적외선 광과 제2 적외선 광 간의 위상 오프셋을 측정하는 TOF(time-of-flight) 방법에 기초하여 결정되며, 일부 다른 구현 예에서는 액티브 스테레오 또는 코딩된 광 스테레오와 같은 상이한 기술이 사용될 수 있다.
단계(540)에서, 로컬 단말기는 캡처된 가시광으로부터 이미지 데이터를 결정한다. 일부 구현 예에서, 로컬 단말기의 카메라 유닛의 일부인 이미지 센서는 가시광을 캡처하여 그것으로부터 이미지 데이터를 결정할 수 있다. 일부 구현 예에서, 이미지 센서는 이미지 데이터를 결정하기 위해 로컬 단말기(예를 들어, 그래픽 프로세싱 유닛(130))의 프로세싱 유닛에 전달되는 캡처된 가시광에 대응하는 로우 데이터를 결정할 수 있다. 일부 구현예에서, 단계(540)는 단계 510, 단계 520 및 단계 530중 하나 이상과 동시에 수행된다.
단계(550)에서, 로컬 단말기는 캡처된 깊이 데이터 및 캡처된 이미지 데이터를 원격 단말기에 전달할 수 있다. 로컬 단말기는 원격 단말기로부터 깊이 데이터 및 이미지 데이터를 수신할 수 있고, 제1 이미지 (예를 들어, 좌안에 대응할 수 있음) 및 제2 이미지 (예를 들어, 우안에 대응할 수 있음)를 포함하는 3차원 입체 이미지를 생성하는데 사용할 수 있다. 단계(560)에서, 상기 단말기는 로컬 단말기의 디스플레이를 구성하는 마이크로렌즈 어레이의 마이크로렌즈를 통해 제1 이미지를 생성할 수 있다. 제1 이미지는 수신된 이미지 데이터 및 로컬 위치 데이터에 기초할 수 있다. 로컬 단말기는 또한 단계(570)에서 로컬 단말기의 디스플레이를 구성하는 마이크로렌즈 어레이의 마이크로렌즈를 통해 제2 이미지를 생성할 수 있다. 제2 이미지는 수신된 이미지 데이터 및 로컬 위치 데이터 모두에 기초할 수 있다. 로컬 위치 데이터는 로컬 단말기에 대한 뷰어(예를 들어, 뷰어의 눈)의 위치를 나타낼 수 있다. 적어도 일부 구현 예에서, 제1 이미지 및 제2 이미지는 원격 단말기로부터 수신된 깊이 데이터에 적어도 부분적으로 기초하여 생성될 수 있다. 일부 구현 예에서, 단계(560 및 570)는 다른 순서 또는 동시에 수행된다.
일부 구현 예에서, 단말기(120)는 디스플레이(125)에 유선 연결된 전용 컴퓨팅 장치를 포함할 수 있다. 그러한 구현예들에서, 프로세싱 장치(130), 스피커 어셈블리(140), 마이크로폰 어셈블리(150), 네트워크 어댑터(160), I/O 장치들(170), 및 메모리(185)는 디스플레이(125)와 동일한 하우징 내에 배치되거나, 사용자에 의해 용이하게 제거될 수 없도록 디스플레이(125)에 연결될 수 있다(예를 들어, 연결부들이 함께 납땜되거나 또는 연결부들이 디스플레이(125)의 하우징을 개방하지 않고 연결해제될 수 없는 경우). 일부 구현 예에서, 프로세싱 장치(130), 스피커 어셈블리(140), 마이크로폰 어셈블리 (150), 네트워크 어댑터(160), I/O 장치들(170) 및 메모리(185)에 의해 수행되는 기능은 디스플레이(125) 및 카메라 어셈블리(180)에 연결된 외부 범용 컴퓨팅 장치에 의해 수행될 수 있다. 그러한 구현예들에서,
범용 컴퓨팅 장치는 3차원 텔레프레즌스 시스템의 개시된 구현 예와 일치하는 동작을 수행할 수 있고, 3차원 이미지를 생성하기 위해 디스플레이를 "구동"시키기 위해 디스플레이(125)에 전자 신호를 전송할 수 있다.
프로세스(500)가 특정 순서로 도시되고 설명되지만, 이 프로세스는 특정 순서에 한정되지 않고 일부 구현 예는 다른 순서로 프로세스(500)의 단계 중 적어도 일부를 수행한다. 또한, 일부 구현 예에서, 프로세스(500)의 다양한 단계들이 동시에 수행된다.
도 6은 여기에 기술된 기술들과 함께 사용될 수 있는 일반적인 컴퓨터 장치(600)의 예를 도시한다. 컴퓨팅 장치(600)는 랩톱, 데스크톱, 태블릿, 워크스테이션, 개인용 디지털 보조 장치, 텔레비전, 서버, 블레이드 서버, 메인 프레임 및 다른 적절한 컴퓨팅 장치와 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위한 것이다. 여기에 나타낸 컴포넌트들, 이들의 연결 및 관계, 및 그들의 기능은 단지 예시적인 것으로 의도되며, 개시된 구현예들의 구현을 제한하려는 것이 아니다.
컴퓨팅 장치(600)는 프로세서(602), 메모리(604), 저장 장치(606), 메모리(604) 및 고속 확장 포트(610)에 연결된 고속 인터페이스(608), 저속 버스(614) 및 저장 장치(606)에 연결되는 저속 인터페이스(612)를 포함한다. 프로세서(602)는 반도체 기반 프로세서일 수 있다. 메모리(604)는 반도체 기반 메모리일 수 있다. 컴포넌트들(602, 604, 606, 608, 610 및 612) 각각은 다양한 버스들을 사용하여 상호 연결되고, 공통 마더보드 상에 또는 적절하게 다른 방식으로 장착될 수 있다. 프로세서(602)는 메모리(604) 또는 저장 장치(606)에 저장된 명령어들을 포함하는 컴퓨팅 장치(600) 내에서 실행하기 위한 명령어들을 처리하여, 고속 인터페이스(608)에 결합된 디스플레이(616)와 같은 외부 입/출력 장치에 GUI에 대한 그래픽 정보를 디스플레이할 수 있다. 다른 구현예에서, 다수의 메모리 및 유형의 메모리와 함께, 적절하게, 다수의 프로세서 및/또는 다수의 버스가 사용될 수 있다. 또한, 다수의 컴퓨팅 장치(600)가 연결될 수 있으며, 각 장치는 (예를 들어, 서버 뱅크, 블레이드 서버 그룹 또는 멀티 프로세서 시스템과 같은) 필요한 동작의 부분들을 제공한다.
메모리(604)는 컴퓨팅 장치(600) 내의 정보를 저장한다. 일 실시 예에서, 메모리(604)는 휘발성 메모리 유닛(들)이다. 또 다른 실시 예에서, 메모리(604)는 비 휘발성 메모리 유닛(들)이다. 메모리(604)는 또한 자기 또는 광학 디스크와 같은 다른 형태의 컴퓨터 판독 가능 매체일 수 있다.
저장 장치(606)는 컴퓨팅 장치(600)에 대용량 저장 장치를 제공할 수 있다. 일 실시 예에서, 저장 장치(606)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스, 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 디바이스 또는 스토리지 영역 네트워크 또는 다른 구성의 장치를 포함하는 장치들의 어레이를 포함할 수 있다. 컴퓨터 프로그램 제품은 정보 매체에 유형적으로 구현될 수 있다. 컴퓨터 프로그램 제품은 또한 실행될 때 상술 한 바와 같은 하나 이상의 방법을 수행하는 명령어들을 포함할 수 있다. 정보 매체는 메모리(604), 저장 장치(606) 또는 프로세서(602)상의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이다.
고속 제어기(608)는 컴퓨팅 장치(600)에 대한 대역폭 집중적인 동작을 관리하고, 저속 제어기(612)는 낮은 대역폭을 많이 소비하는 동작을 관리한다. 이러한 기능 할당은 단지 예시일 뿐이다. 일 구현 예에서, 고속 제어기(608)는 메모리(604), 디스플레이(616)(예를 들어, 그래픽 프로세서 또는 가속기를 통해) 및 다양한 확장 카드(도시되지 않음)를 수용할 수 있는 고속 확장 포트(610)에 연결된다. 구현 예에서, 저속 제어기(612)는 저장 장치(606) 및 저속 확장 포트(614)에 연결된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는 키보드, 포인팅 장치, 스캐너 또는 스위치 또는 라우터와 같은 네트워킹 장치와 같은 하나 이상의 입력/출력 장치에, 예를 들어 네트워크 어댑터를 통해 결합될 수 있다.
컴퓨팅 장치(600)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 이는 표준 서버(620)로서 또는 그러한 서버들의 그룹에서 여러 번 구현될 수 있다. 또한, 랙 서버 시스템(624)의 일부로서 구현될 수도 있다. 또한, 이는 랩톱 컴퓨터(622)와 같은 개인용 컴퓨터에서 구현될 수 있다. 대안적으로, 컴퓨팅 장치(600)로부터의 컴포넌트들은 모바일 디바이스(도시되지 않음)의 다른 컴포넌트들과 결합될 수 있다. 이러한 장치들 각각은 컴퓨팅 장치(600) 중 하나 이상을 포함할 수 있고, 전체 시스템은 서로 통신하는 다수의 컴퓨팅 장치들(600)로 구성될 수 있다.
여기에 기술된 시스템 및 기술의 다양한 구현 예는 디지털 전자 회로, 집적 회로, 특수 설계된 ASIC(주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치와 데이터 및 명령어들을 송수신하도록 결합되고, 특수 또는 범용일 수 있는 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템상에서 실행 가능하고 및/또는 해석 가능한 하나 이상의 컴퓨터 프로그램에서의 구현을 포함할 수 있다.
이러한 컴퓨터 프로그램들(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로도 알려짐)은 프로그램 가능 프로세서에 대한 기계 명령어를 포함하며, 높은 수준의 절차 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/ 기계어로 구현될 수 있다. 여기에서 사용되는 "기계 판독 가능 매체", "컴퓨터 판독 가능 매체"라는 용어는 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD)와 같은 임의의 컴퓨터 프로그램 제품, 장치 및/또는 디바이스를 나타내며, 기계 판독 가능 신호로서 기계 명령을 수신하는 기계 판독 가능 매체를 포함하여, 프로그램 가능 프로세서에 기계 명령어 및/또는 데이터를 제공하는데 사용된다. "기계 판독 가능 신호"라는 용어는 기계 명령어 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위해 사용되는 모든 신호를 의미한다.
여기에 설명된 시스템 및 기술은 예를 들어 데이터 서버와 같은 백엔드 구성 요소 또는 애플리케이션 서버와 같은 미들웨어 구성 요소를 포함하거나 프론트 엔드 구성 요소를 포함하는 컴퓨팅 시스템에서 구현될 수 있으며, 예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터로서, 여기서 사용자는 여기서 설명된 시스템 및 기술의 구현, 또는 이러한 백 엔드, 미들웨어 또는 프론트 엔드 구성 요소의 임의의 조합과 상호 작용할 수 있다. 시스템의 컴포넌트는 디지털 데이터 통신의 임의의 형태 또는 매체, 예를 들어 통신 네트워크에 의해 상호 접속될 수 있다. 통신 네트워크의 예는 근거리 통신망("LAN"), 광역 통신망("WAN") 및 인터넷을 포함한다.
컴퓨팅 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터에서 실행되고 클라이언트-서버의 서로의 관계를 갖는 컴퓨터 프로그램으로 발생한다.
또한, 도 7a 내지 도 7g는 3차원 텔레프레즌스 시스템(700)의 예시적인 구현 예의 개략도이다. 3차원 텔레프레즌스 시스템(700)은 3차원 텔레프레즌스 시스템(100)의 일례이다. 또한, 도 7a-도 7f는 시스템(700)의 평면도이다. 도 7g는 측면도이다.
3차원 텔레프레즌스 시스템(700)은 디스플레이(725) 및 카메라 유닛(782a, 782b 및 782c)을 포함하는 카메라 어셈블리를 포함한다. 로컬 참여자(705a) 및 원격 참여자는 3차원 텔레프레즌스 시스템(700)을 사용하여 화상 회의에 참여하고 있다. 원격 참여자의 표현(representation)(705b)은 디스플레이(725)에 의해 생성된다. 디스플레이(725)의 3차원 성능은 원격 참여자가 적어도 로컬 참여자(705a)에게, 로컬 참여자(705a)로부터 디스플레이(725)의 반대편에 위치하도록 나타내는 표현(705b)을 생성할 수 있다.
일부 구현 예에서, 디스플레이(725)는 약 1920×1080의 유효 해상도를 제공하는 4K 렌티큘러 디스플레이 스크린을 포함할 수 있다. 다른 실제적이고 유효한 해상도도 가능하다. 디스플레이(725)는 1.3 미터의 폭(W)을 가질 수 있다. 일부 구현 예에서, 디스플레이(725)는 1-1.5 미터의 폭(W)을 갖는다. 일부 구현 예에서, 디스플레이(725)는 0.5와 2 미터 사이의 폭(W)을 갖는다. 디스플레이(725)는 일부 구현 예에서는 0.5 미터 미만의 폭 또는 2미터보다 큰 폭을 가질 수 있다.
디스플레이(725)는 컬러 및 깊이 값(예컨대, RGB + D)을 포함하는 그래픽 데이터를 수신하여 디스플레이하도록 구성될 수 있다. 일부 구현 예에서, 디스플레이(725)는 디스플레이(725)로부터 거리 L에 위치된 포인트 주위의 윈도우에서 로컬 참여자를 캡처하도록 구성된다. 예를 들어, 일부 실시 예에서, L은 1미터, 약 1미터, 1.2 미터 또는 다른 거리이다. 디스플레이(725)는 디스플레이(725) 뒤에 오프셋 거리(O)인 것처럼 보이도록 원격 참여자의 표현을 생성하도록 구성될 수도 있다. 일부 구현 예에서, 오프셋 거리(O)는 0.2 미터, 약 0.2 미터, 0.3 미터 또는 다른 거리이다.
도면에 도시된 바와 같이, 카메라 유닛(782a, 782b 및 782c)은 대응하는 시야(field of view)(784a, 784b 및 784c)를 갖는다. 시야(784a, 784b 및 784c)는 카메라 유닛들의 초점 길이에 대응하는 수평 시야각(Θ horiz 로 표시됨) 및 수평 범위(r horiz 로 표시됨)일 수 있다. 상기 수평 범위는 로컬 참여자(705a)가 카메라 유닛들에 의한 적절한 이미지 및 깊이 캡처를 허용하도록 배치되어야 하는 카메라로부터의 거리에 대응할 수 있다. 일부 구현 예에서, 카메라 유닛(782a, 782b, 782c)은 동일한 수평각 및 수평 범위를 갖도록 구성된다. 일부 구현 예에서, 수평 시야각은 57도이다. 일부 구현 예에서, 수평 시야각은 55도 내지 60도 사이이다. 또한, 수평 시야각은 45도 내지 70도 사이일 수 있다. 다른 구현 예는 상이한 수평각을 갖는 카메라 유닛들을 포함할 수도 있다. 일부 구현예에서는 수평 범위가 1.2 미터이거나 약 1.2미터일 수 있다. 일부 구현 예에서, 수평 범위는 1미터에서 1.5미터 사이이다. 수평 범위는 0.5 미터 이상 2미터 미만일 수 있다. 다른 수평 범위도 가능하다.
다양한 수평 깊이 샘플 간격(d로 표시됨)은 시스템(700)의 다양한 구성에 의해 지원될 수 있다. 수평 깊이 샘플 간격은 디스플레이(725) 상에 3D 이미지들을 생성하는데 사용되는 깊이 값들 사이의 원격 측면(remote side)의 수평 거리에 대응한다. 예를 들어, 시스템(700)의 구현예의 다양한 양태는 수평 깊이 샘플 간격에 영향을 줄 수 있다. 일부 구현예는 수평 깊이 샘플 간격이 0.8 밀리미터이다. 그러나, 다른 구현 예는 다른 수평 깊이 샘플 간격을 갖는다. 일부 구현 예에서, 수평 깊이 샘플 간격은 수학식 1을 사용하여 계산될 수 있다.
Figure pct00001
여기서, L은 로컬 참여자(705a)의 눈으로부터 디스플레이(825)까지의 거리; O는 디스플레이(725)로부터 원격 참여자의 표현까지의 투영된 오프셋 거리; W는 디스플레이(725)의 폭; 그리고 R은 디스플레이(725)의 유효 수평 해상도이다. 예를 들어, 일부 구현 예에서, 시스템(700)은 렌티큘러 디스플레이상에 제1 이미지 및 제2 이미지를 생성하도록 구성될 수 있으며,
상기 제2 디스플레이 이미지는 상기 원격 참여자의 표현이 상기 디스플레이 장치 뒤의 오프셋 거리에 나타나게 하는 사용자를 위한 시차 효과(parallax effect)를 생성하기 위해 상기 제1 이미지와 상이하도록 생성된다. 일부 구현 예에서, 오프셋 거리는 타겟 깊이 샘플 간격에 기초하여 결정된다. 일부 구현 예에서, (예를 들어, 카메라 유닛(782a, 782b, 또는 782c)의) 하나 이상의 적외선 깊이 센서들은 타겟 오프셋 거리를 지원하기 위해 깊이 샘플링 레이트(rate)로 깊이 샘플을 수집하도록 구성될 수 있다. 예를 들어, 상기 깊이 데이터는 (예를 들어, 상기 나타낸 수학식 1에 따라) 디스플레이로부터 사용자까지의 타겟 거리, 원격 참여자의 표현에 대한 오프셋 거리, 디스플레이의 폭, 디스플레이의 유효 수평 해상도에 기초하여 계산된 수평 깊이 샘플 간격으로 수집될 수 있다.
일부 구현 예에서, 시스템(700)은 로컬 참여자(705a)의 헤드가 위치가 되어야 하는 헤드박스(790)를 정의할 수 있다. 헤드 박스(790)는 예를 들어, 디스플레이(725)가 보여질 수 있고 카메라 유닛(782a, 782b 및 782c)의 시야가 중첩되어 로컬 참여자(705a)의 깊이 캡처 및/또는 이미지를 허용하는 물리적 공간의 영역일 수 있다. 일부 구현 예에서, 헤드 박스(790)는 0.6m의 높이 (h로 표시됨) 및 0.6m의 폭(w로 표시됨)을 가질 수 있다. 다른 구현 예는 상이한 높이 및/또는 폭을 갖는 헤드 박스(790)를 가질 수 있다. 일반적으로, 헤드 박스(790)의 경계는 물리적으로 한정되지 않지만, 다양한 기술을 사용하여 디스플레이(725)상의 로컬 참여자(705a)에게 표시될 수 있다(예컨대, 로컬 참여자(705a)의 헤드가 헤드 박스(790)를 떠날 때의 경고 표시).
일부 구현 예에서, 헤드 박스(790)의 중심으로부터 측정될 때 로컬 참여자(705a)에 대한 시야(792)는 대략 66도의 화각을 갖는다. 다른 구현예들에서, 시야(792)에 대한 화각은 50-80도 사이이다. 다른 각도의 시야도 가능하다. 일부 구현 예에서, 로컬 참여자(705a)에 대한 유효 시야(794)는 헤드 박스(790) 내의 상이한 위치와 상이한 로컬 참여자(705a)의 시야에 기초하여 확장된다. 예를 들어, 일부 구현 예에서, 유효 시야(794)는 약 107도이다. 일부 구현예에서, 디스플레이(725)는 더 높은 해상도를 가지므로 유효 시야(794)의 더 큰 수평 폭(K로 표시됨)에 대해 최소 수평 깊이 샘플 간격을 지원한다. 예를 들어, 상기 시스템의 일부 구현예는 적어도 약 2270 픽셀의 유효 수평 해상도를 갖는 디스플레이(725)를 포함한다.
도 1에 도시된 바와 같이, 도 7g를 참조하면, 디스플레이(725)는 높이(H)를 갖는다. 일부 구현 예에서, 높이(H)는 0.8 미터 또는 대략 0.8 미터와 동일하다. 일부 구현 예에서, 높이(H)는 0.5 내지 1.5 미터 사이이다. 다른 구현 예에서, 높이(H)는 0.5 미터보다 작거나 1.5 미터보다 클 수 있다.
카메라 유닛들(782a, 782b, 782c)은 해당 시야(784a, 784b, 784c)를 갖는다. 시야(784a, 784b 및 784c)는 카메라 유닛들의 초점 길이에 대응하는 수직 범위(r vert 로 표시됨) 및 수직 각도(Θ vert 로 표시됨)를 가질 수 있다. 수직 범위는 로컬 참여자(705a)가 카메라 유닛들에 의한 적절한 이미지 및 깊이 캡쳐를 허용하도록 배치되어야 하는 카메라로부터의 수직 거리에 대응할 수 있다. 일부 구현 예에서, 카메라 유닛들(782a, 782b, 782c)은 동일한 수직 화각 및 수직 범위를 갖도록 구성된다. 일부 구현 예에서, 수직 화각은 68도이다. 일부 구현 예에서, 수직 화각은 65도 내지 75도 사이에 있다. 또한, 수직 화각은 50도 내지 80도 사이 일 수 있다. 다른 구현 예들은 상이한 수직 화각으로 구성된 카메라 유닛을들 포함할 수 있다. 일부 구현 예에서, 수직 범위는 1미터와 동일하거나 거의 동일하다. 일부 구현 예에서, 수직 범위는 0.5 ~ 1.5 미터이다. 수직 범위는 0.5 미터보다 작거나 1.5 미터보다 클 수 있다. 다른 수직 범위도 가능하다.
도 8은 3차원 텔레프레즌스 시스템(800)의 예시적인 구현예의 개략도이다. 3차원 텔레프레즌스 시스템(800)은 3차원 텔레프레즌스 시스템(100)의 일례이다.
일부 구현 예에서, 시스템(800)은 디스플레이(825); 카메라 유닛들(882a, 882b, 882c, 882d 및 882e)을 갖는 카메라 어셈블리; 스피커들(842a 및 842b)을 포함하는 스피커 어셈블리; 마이크로폰들(852a 및 852b)을 포함하는 마이크로폰 어셈블리, 및 눈 추적 모듈(890)을 포함한다. 예를 들어, 카메라 유닛들은 디스플레이(825) 주위의 상이한 위치에 배치될 수 있다. 도시된 예에서, 카메라 유닛들(882a 및 82b)은 디스플레이(825) 위에 배치되고, 카메라 유닛(882c)은 디스플레이(825)의 일 측면 상에 배치되며, 카메라 유닛(882)은 디스플레이(825)의 다른 측면 상에 배치되고, 카메라 유닛(882e)은 디스플레이(825) 아래에 위치된다. 일부 구현 예에서, 상기 스피커들 및 마이크로폰들은 방향 또는 공간 오디오를 리코딩하고 생성할 수 있도록 다양한 위치에 배치된다. 예를 들어, 스피커(842a) 및 마이크로폰(852a)은 디스플레이(825)의 일측에 위치하며, 스피커(842b) 및 마이크로폰(852b)은 디스플레이(825)의 타측에 위치한다. 일부 구현 예에서, 마이크로폰 어셈블리는 2개 이상의 마이크로폰(예를 들어, 4개의 마이크로폰)을 포함한다. 유사하게, 일부 구현 예에서, 상기 스피커 어셈블리는 2개 이상의 스피커(예를 들어, 4개의 스피커)를 포함한다.
눈 추적 모듈(890)은 디스플레이(825) 주위의 다양한 위치에 배치될 수 있다. 상기 눈 추적 모듈(890)은 로컬 참여자(도시되지 않음)의 눈 위치/포지션 및/또는 로컬 참여자에 대한 시선 방향 또는 타겟을 식별하도록 구성된 하나 이상의 카메라 또는 다른 유형의 이미징 장치를 포함할 수 있다. 눈 추적 모듈(890)은 또한 입 또는 다른 안면 특징과 같은 사용자의 다른 특징들을 추적할 수 있다. 또한, 일부 구현 예에서, 눈 추적 모듈은 카메라 어셈블리의 카메라 유닛들(882a, 882b, 882c, 882d 및 882e)에 대해 더 높은 프레임 레이트로 작동하는 카메라를 포함한다. 부가적으로 또는 대안적으로, 상기 카메라 어셈블리의 카메라 유닛들은 시선(눈) 추적을 수행할 수 있다.
다수의 구현예들이 설명되었다. 그럼에도 불구하고, 본 발명의 사상 및 범위를 벗어나지 않고 다양한 변형이 이루어질 수 있음이 이해될 것이다.
또한, 도면들에 도시된 로직 흐름들은 바람직한 결과를 달성하기 위해 도시된 특정 순서 또는 순차적 순서를 요구하지 않는다. 또한, 설명된 흐름들로부터 다른 단계들이 제공되거나 단계들이 제거될 수 있으며, 설명된 시스템들에 다른 컴포넌트들이 추가되거나 제거될 수 있다.

Claims (34)

  1. 텔레프레즌스 단말기로서,
    픽셀 그리드의 전면에 배치된 마이크로렌즈 어레이를 포함하는 디스플레이;
    이미지 센서;
    적외선 이미터;
    적외선 깊이 센서;
    프로세싱 장치; 그리고
    실행될 때 상기 프로세싱 장치로 하여금 동작들을 수행하게 하는 명령어들을 저장하는 메모리를 포함하며, 상기 동작들은,
    상기 이미지 센서에 의해 캡처된 가시광에 기초하여 이미지 데이터를 결정하는 동작;
    상기 적외선 이미터에 의해 전송되고 상기 적외선 깊이 센서에 의해 캡처된 적외선 광에 기초하여 깊이 데이터를 결정하는 동작;
    상기 깊이 데이터 및 이미지 데이터를 원격 텔레프레즌스 단말기에 전달하는 동작;
    원격 이미지 데이터 및 원격 깊이 데이터를 수신하는 동작 -상기 원격 이미지 데이터 및 원격 깊이 데이터는 원격 텔레프레즌스 단말기로부터 발생함-;
    제1 뷰잉(viewing) 위치로부터 상기 마이크로렌즈 어레이를 통해 볼 수 있는 상기 픽셀 그리드의 픽셀들의 제1 서브세트를 사용하여 상기 원격 이미지 데이터를 기반으로 제1 디스플레이 이미지를 생성하는 동작; 그리고
    제2 뷰잉 위치로부터 상기 마이크로렌즈 어레이를 통해 볼 수 있는 상기 픽셀 그리드의 픽셀들의 제2 서브세트를 사용하여 상기 원격 이미지 데이터 및 상기 원격 깊이 데이터를 기반으로 제2 디스플레이 이미지를 생성하는 동작을 포함하는 것을 특징으로 하는 텔레프레즌스 단말기.
  2. 제1항에 있어서, 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지는 상기 수신된 깊이 데이터에 기초하여 시차(parallax)를 시뮬레이팅하는 차이들을 갖도록 생성되는 것을 특징으로 하는 텔레프레즌스 단말기.
  3. 제2항에 있어서,
    상기 명령어들은 상기 프로세싱 장치가 상기 텔레프레즌스 단말기의 사용자의 위치를 결정하는 것을 포함하는 동작들을 더 수행하게 하는 것을 특징으로 하는 텔레프레즌스 단말기.
  4. 제3항에 있어서,
    상기 텔레프레즌스 단말기의 사용자의 위치는 상기 깊이 데이터에 기초하여 결정되는 것을 특징으로 하는 텔레프레즌스 단말기.
  5. 제3항에 있어서, 상기 텔레프레즌스 단말기의 사용자의 위치는 상기 이미지 데이터에 기초하여 결정되는 것을 특징으로 하는 텔레프레즌스 단말기.
  6. 제3항에 있어서, 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지는 상기 결정된 사용자의 위치에 기초하여 시차를 시뮬레이팅하는 차이들을 갖도록 생성되는 것을 특징으로 하는 텔레프레즌스 단말기.
  7. 제3항 내지 제6항 중 어느 한 항에 있어서,
    상기 명령어들은 상기 프로세싱 장치로 하여금 원격 이미지 데이터 및 원격 깊이 데이터뿐만 아니라 상기 텔레프레즌스 단말기의 사용자의 위치를 사용하여 디스플레이상에 3차원 입체 이미지를 생성하는 것을 포함하는 동작들을 더 수행하게 하는 것을 특징으로 하는 텔레프레즌스 단말기.
  8. 제1항에 있어서,
    상기 명령어들은 상기 프로세싱 장치로 하여금 제1 방향으로 상기 제1 디스플레이 이미지의 제1 부분을 생성하고, 제2 방향으로 상기 제2 디스플레이 이미지의 제2 부분을 생성하는 것을 포함하는 동작들을 더 수행하게 하는 것을 특징으로 하는 텔레프레즌스 단말기.
  9. 제8항에 있어서,
    상기 마이크로렌즈 어레이의 마이크로렌즈는 하나 이상의 각도로 광을 전송하고 및/또는 하나 이상의 상이한 방향으로 상이한 컬러 픽셀 값들을 디스플레이하도록 구성되는 것을 특징으로 하는 텔레프레즌스 단말기.
  10. 제8항 또는 제9항에 있어서,
    상기 제1 방향은 상기 제1 디스플레이 이미지의 부분을 디스플레이하도록 복수의 픽셀들로부터 제1 픽셀을 선택함으로써 결정되고, 상기 제2 방향은 제2 디스플레이 이미지의 부분을 디스플레이하도록 상기 복수의 픽셀들로부터 제2 픽셀을 선택함으로써 결정되는 것을 특징으로 하는 텔레프레즌스 단말기.
  11. 제1항에 있어서,
    상기 명령어들은 상기 프로세싱 장치로 하여금 상기 적외선 이미터에 의해 전송된 제1 적외선 광과, 상기 전송된 제1 적외선 광의 경로의 물체에 의해 반사되고 적외선 깊이 센서에 의해 캡처된 제2 적외선 광 사이의 위상 오프셋을 측정하는 TOF(time-of-flight) 방법에 기초하여 상기 깊이 데이터를 결정하는 것을 포함하는 동작들을 더 수행하게 하는 것을 특징으로 하는 텔레프레즌스 단말기.
  12. 제1항에 있어서, 상기 텔레프레즌스 단말기는,
    상기 디스플레이의 제1 측면 상에 위치된 제1 마이크로폰 및 상기 디스플레이의 제2 측면 상에 위치된 제2 마이크로폰을 포함하는 마이크로폰 어셈블리; 그리고
    상기 디스플레이의 상기 제1 측면 상에 위치된 제1 스피커 및 상기 디스플레이의 상기 제2 측면 상에 위치된 제2 스피커를 포함하는 스피커 어셈블리를 더 포함하며,
    상기 명령어들은, 상기 프로세싱 장치로 하여금, 상기 마이크로폰 어셈블리를 사용하여 지향성 오디오 데이터를 캡처하는 동작, 상기 지향성 오디오 데이터를 상기 원격 단말기로 전송하는 동작, 상기 원격 단말기로부터 원격 지향성 오디오 데이터를 수신하는 동작, 및 상기 원격 지향성 오디오 데이터에 기초하여 상기 스피커 어셈블리를 사용하여 오디오를 출력하는 동작을 수행하게 하는 것을 특징으로 하는 텔레프레즌스 단말기.
  13. 제12항에 있어서,
    상기 마이크로폰 어셈블리는 2개 이상의 마이크로폰을 포함하는 것을 특징으로 하는 텔레프레즌스 단말기.
  14. 제1항에 있어서,
    상기 텔레프레즌스 단말기는 이미지 센서, 적외선 이미터 및 적외선 깊이 센서를 포함하는 적어도 하나의 카메라 유닛을 포함하는 카메라 어셈블리를 포함하는 것을 특징으로 하는 텔레프레즌스 단말기.
  15. 제14항에 있어서, 상기 카메라 유닛은 상기 디스플레이 뒤에 위치하고, 상기 디스플레이는 투명한 것을 특징으로 하는 텔레프레즌스 단말기.
  16. 제15항에 있어서,
    상기 디스플레이는 오프 상태와 조명 상태 사이에서 스위칭 가능할 수 있으며, 상기 명령어들은 상기 프로세싱 장치로 하여금 상기 디스플레이의 오프 상태와 함께 가시광 및 적외선 광의 캡처를 동기화하는 것을 포함하는 동작들을 더 수행하게 하는 것을 특징으로 하는 텔레프레즌스 단말기.
  17. 제16항에 있어서,
    상기 마이크로렌즈 어레이의 적어도 일부 마이크로렌즈는 제1 재료로 제조되고, 상기 마이크로렌즈 어레이의 마이크로렌즈의 적어도 일부는 제2 재료로 제조되며,
    상기 제1 재료는 전류에 의해 실질적으로 영향을 받지 않는 재료이고,
    상기 제2 재료는 전류에 의해 실질적으로 영향을 받는 재료이며,
    상기 제1 재료 및 상기 제2 재료는 상기 제1 재료 및 상기 제2 재료에 전류가 인가되지 않을 때 상이한 굴절률을 갖는 것을 특징으로 하는 텔레프레즌스 단말기.
  18. 제1항에 있어서, 상기 텔레프레즌스 단말기는 입사광을 분리하고, 상기 분리된 입사광을 이미지 센서 및 적외선 깊이 센서로 전송하는 빔 스플리터를 더 포함하는 것을 특징으로 하는 텔레프레즌스 단말기.
  19. 텔레프레즌스 시스템으로서,
    제1항의 텔레프레즌스 단말기 및 상기 원격 텔레프레즌스 단말기를 포함하는 것을 특징으로 하는 텔레프레즌스 시스템.
  20. 방법으로서,
    적외선 이미터를 사용하여 제1 적외선 광을 생성하는 단계;
    적외선 깊이 센서를 이용하여 제2 적외선 광을 수신하는 단계;
    상기 제1 적외선 광 및 상기 제2 적외선 광에 기초하여 캡처된 깊이 데이터를 결정하는 단계;
    이미지 센서에 의해 캡처된 가시광에 기초하여 캡처된 이미지 데이터를 결정하는 단계;
    상기 캡처된 깊이 데이터 및 상기 캡처된 이미지 데이터를 원격 단말기에 전달하는 단계;
    픽셀 그리드의 제1 서브세트를 사용하여 상기 원격 단말기로부터 발생하는 수신된 이미지 데이터에 기초하여 제1 디스플레이 이미지를 생성하는 단계 -상기 제1 디스플레이 이미지는 제1 위치로부터 마이크로렌즈 어레이를 통해 볼 수 있음-; 그리고
    픽셀 그리드의 제2 서브세트를 사용하여 상기 원격 단말기로부터 발생하는 수신된 깊이 데이터 및 상기 수신된 이미지 데이터에 기초하여 제2 디스플레이 이미지를 생성하는 단계를 포함하며,
    상기 제2 디스플레이 이미지는 제2 위치로부터 상기 마이크로렌즈 어레이를 통해 볼 수 있는 것을 특징으로 하는 방법.
  21. 제20항에 있어서, 상기 제2 디스플레이 이미지는 상기 수신된 깊이 데이터에 기초하여 시차 효과를 생성하기 위해 상기 제1 디스플레이 이미지와 상이하도록 생성되는 것을 특징으로 하는 방법.
  22. 제20항에 있어서,
    상기 명령어들은 상기 프로세싱 장치로 하여금 상기 텔레프레즌스 단말기의 사용자의 위치를 결정하는 것을 포함하는 동작들을 더 수행하게 하는 것을 특징으로 하는 방법.
  23. 제22항에 있어서, 상기 제2 디스플레이 이미지는 상기 사용자의 상기 결정된 위치에 기초하여 시차 효과를 생성하기 위해 상기 제1 디스플레이 이미지와 상이하도록 생성되는 것을 특징으로 하는 방법.
  24. 제23항에 있어서, 상기 제2 디스플레이 이미지는 상기 사용자의 상기 결정된 위치와 상기 수신된 깊이 데이터의 조합에 기초하여 시차 효과를 생성하기 위해 상기 제1 디스플레이 이미지와 상이하도록 생성되는 것을 특징으로 하는 방법.
  25. 제20항에 있어서,
    마이크로폰 어셈블리를 이용하여 지향성 오디오 데이터를 캡처하는 단계;
    상기 지향성 오디오 데이터를 상기 원격 단말기로 전송하는 단계;
    상기 원격 단말기로부터 원격 지향성 오디오 데이터를 수신하는 단계; 그리고
    상기 원격 지향성 오디오 데이터를 기반으로 스피커 어셈블리를 사용하여 오디오를 출력하는 단계를 포함하는 것을 특징으로 하는 방법.
  26. 제20항에 있어서,
    적외선 깊이 센서를 이용하여 제2 적외선 광을 수신하는 단계는,
    상기 마이크로렌즈 어레이 및 픽셀 그리드를 스위칭 오프(switching off)하는 단계;
    상기 마이크로렌즈 어레이 및 픽셀 그리드를 통해 상기 제2 적외선 광을 캡처하는 단계; 그리고
    상기 마이크로렌즈 어레이 및 픽셀 그리드를 스위칭 온(switching on)하는 단계를 포함하는 것을 특징으로 하는 방법.
  27. 적어도 하나의 프로세서에 의해 실행될 때, 컴퓨팅 시스템으로 하여금 적어도 동작들을 수행하게 하도록 구성된 명령어들을 저장하는 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 동작들은,
    적외선 이미터를 사용하여 제1 적외선 광을 생성하는 동작;
    적외선 깊이 센서를 이용하여 제2 적외선 광을 수신하는 동작;
    상기 제1 적외선 광 및 상기 제2 적외선 광에 기초하여 깊이 데이터를 결정하는 동작;
    이미지 센서에 의해 캡처된 가시광에 기초하여 캡처된 이미지 데이터를 결정하는 동작;
    상기 깊이 데이터 및 상기 이미지 데이터를 원격 텔레프레즌스 단말기에 전달하는 동작;
    원격 단말기로부터 발생하는 수신된 이미지 데이터에 기초하여 제1 디스플레이 이미지를 렌티큘러 디스플레이를 사용하여 생성하는 동작 -상기 제1 디스플레이 이미지는 제1 위치로부터 볼 수 있음-; 그리고
    상기 원격 단말기로부터 발생하는 수신된 깊이 데이터 및 상기 수신된 이미지 데이터에 기초하여 제2 디스플레이 이미지를 상기 렌티큘러 디스플레이를 사용하여 생성하는 동작을 포함하며,
    상기 제2 디스플레이 이미지는 제2 위치로부터 볼 수 있는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 저장 매체.
  28. 제27항에 있어서,
    상기 제2 디스플레이 이미지는 상기 사용자의 상기 결정된 위치와 상기 수신된 깊이 데이터의 조합에 기초하여 시차 효과를 생성하기 위해 상기 제1 디스플레이 이미지와 상이하도록 생성되는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 저장 매체.
  29. 제27항에 있어서,
    상기 컴퓨팅 시스템으로 하여금 상기 텔레프레즌스 단말기의 사용자의 위치를 결정하게 하는 명령어들을 더 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 저장 매체.
  30. 제29항에 있어서,
    상기 제2 디스플레이 이미지는 상기 사용자의 상기 결정된 위치와 상기 수신된 깊이 데이터의 조합에 기초하여 시차 효과를 생성하기 위해 상기 제1 디스플레이 이미지와 상이하도록 생성되는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 저장 매체.
  31. 제29항에 있어서,
    상기 제2 디스플레이 이미지는 상기 원격 텔레프레즌스 단말기에서의 원격 사용자의 표현을 디스플레이 장치 뒤의 오프셋 거리에 나타나게 하는 사용자에 대한 시차 효과를 생성하기 위해 상기 제1 디스플레이 이미지와 상이하도록 생성되는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 저장 매체.
  32. 제29항에 있어서, 상기 오프셋 거리는 타겟 깊이 샘플 간격에 기초하여 결정되는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 저장 매체.
  33. 제32항에 있어서, 상기 깊이 데이터는 상기 디스플레이로부터 상기 사용자(L)까지의 타겟 거리, 상기 오프셋 거리(O), 디스플레이의 폭(W) 및 디스플레이의 유효 수평 해상도(R)에 기초하여 계산된 수평 깊이 샘플 간격(d)으로 수집되는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 저장 매체.
  34. 제33항에 있어서, 상기 수평 깊이 샘플 간격(d)은,
    Figure pct00002
    식으로 계산되는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 저장 매체.
KR1020197002996A 2016-09-09 2017-09-08 3차원 텔레프레즌스 시스템 KR20190026804A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662385685P 2016-09-09 2016-09-09
US62/385,685 2016-09-09
PCT/US2017/050739 WO2018049201A1 (en) 2016-09-09 2017-09-08 Three-dimensional telepresence system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207018261A Division KR102142643B1 (ko) 2016-09-09 2017-09-08 3차원 텔레프레즌스 시스템

Publications (1)

Publication Number Publication Date
KR20190026804A true KR20190026804A (ko) 2019-03-13

Family

ID=59930787

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020207018261A KR102142643B1 (ko) 2016-09-09 2017-09-08 3차원 텔레프레즌스 시스템
KR1020197002996A KR20190026804A (ko) 2016-09-09 2017-09-08 3차원 텔레프레즌스 시스템
KR1020207022334A KR102256707B1 (ko) 2016-09-09 2017-09-08 3차원 텔레프레즌스 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020207018261A KR102142643B1 (ko) 2016-09-09 2017-09-08 3차원 텔레프레즌스 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207022334A KR102256707B1 (ko) 2016-09-09 2017-09-08 3차원 텔레프레즌스 시스템

Country Status (7)

Country Link
US (5) US20180077437A1 (ko)
EP (1) EP3510768B1 (ko)
JP (2) JP7001675B2 (ko)
KR (3) KR102142643B1 (ko)
CN (2) CN109565567B (ko)
DE (1) DE202017105484U1 (ko)
WO (1) WO2018049201A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD778941S1 (en) * 2016-01-08 2017-02-14 Apple Inc. Display screen or portion thereof with graphical user interface
US20180077437A1 (en) 2016-09-09 2018-03-15 Barrie Hansen Parallel Video Streaming
GB201621879D0 (en) * 2016-12-21 2017-02-01 Branston Ltd A crop monitoring system and method
CA3057957A1 (en) * 2017-03-10 2018-09-13 Sling Media Pvt. Ltd. Media session management
US11064226B2 (en) * 2017-03-16 2021-07-13 Echo-Sense, Inc. System and method for concurrent data streams from a singular sensor with remotely selectable parameters
US11140455B1 (en) * 2017-06-09 2021-10-05 Amazon Technologies, Inc. Video encoder network sandboxing
TWI665649B (zh) * 2018-02-27 2019-07-11 鴻海精密工業股份有限公司 微型led陣列、顯示幕及電子裝置
US10785422B2 (en) * 2018-05-29 2020-09-22 Microsoft Technology Licensing, Llc Face recognition using depth and multi-spectral camera
WO2020030989A1 (en) * 2018-08-09 2020-02-13 Corephotonics Ltd. Multi-cameras with shared camera apertures
US10764533B2 (en) 2018-11-09 2020-09-01 Google Llc Computerworkstation with curved lenticular display
CN113840129A (zh) 2019-01-17 2021-12-24 深圳市光鉴科技有限公司 一种具有3d摄像模组的显示装置和电子设备
US20220217301A1 (en) * 2019-04-15 2022-07-07 Shanghai New York University Systems and methods for interpolative three-dimensional imaging within the viewing zone of a display
US11516374B2 (en) * 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
US11057549B2 (en) * 2019-08-16 2021-07-06 Lenovo (Singapore) Pte. Ltd. Techniques for presenting video stream next to camera
US11153513B2 (en) * 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
CN112394523A (zh) * 2019-08-19 2021-02-23 上海鲲游光电科技有限公司 匀光元件及其随机规则制造方法和系统以及电子设备
KR20230031986A (ko) * 2019-09-27 2023-03-07 애플 인크. 렌티큘러 디스플레이를 동작시키기 위한 방법 및 디바이스
US11076080B2 (en) 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
US20210409893A1 (en) * 2020-06-25 2021-12-30 Microsoft Technology Licensing, Llc Audio configuration for displayed features
US20230341557A1 (en) * 2020-09-18 2023-10-26 Myung Il MOON Three-dimensional image obtainment device
WO2022076020A1 (en) * 2020-10-08 2022-04-14 Google Llc Few-shot synthesis of talking heads
KR20230097163A (ko) * 2020-11-30 2023-06-30 구글 엘엘씨 자동입체 텔레프레즌스 시스템들을 위한 3차원(3d) 얼굴 피처 추적
US11818637B2 (en) * 2021-06-10 2023-11-14 Getac Technology Corporation Providing alternate communication proxies for media collection devices
CN114567767A (zh) * 2022-02-23 2022-05-31 京东方科技集团股份有限公司 显示装置、光场采集方法、图像数据传输方法及相关设备
CN114827465A (zh) * 2022-04-19 2022-07-29 京东方科技集团股份有限公司 图像采集方法、装置及电子设备
IL296044B1 (en) * 2022-08-29 2024-04-01 Abu Freh Ismael A system and method for streaming video in real time through virtual reality glasses using a network of cameras

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335011A (en) * 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
CN1172267A (zh) * 1996-07-29 1998-02-04 冯有纲 新型立体视觉图象技术及装置
US6208373B1 (en) * 1999-08-02 2001-03-27 Timothy Lo Fong Method and apparatus for enabling a videoconferencing participant to appear focused on camera to corresponding users
JP2003506973A (ja) * 1999-08-10 2003-02-18 ホワイト・ピーター・マクダフィー 通信システム
JP2004514304A (ja) * 1999-12-03 2004-05-13 アワワールド　ライヴ　インコーポレイテッド コンシューマアクセスシステムおよびその提供方法
GB2411735A (en) * 2004-03-06 2005-09-07 Sharp Kk Control of liquid crystal alignment in an optical device
JP2005303683A (ja) * 2004-04-12 2005-10-27 Sony Corp 画像送受信装置
US7535468B2 (en) * 2004-06-21 2009-05-19 Apple Inc. Integrated sensing display
US8279272B2 (en) * 2005-04-08 2012-10-02 Reald Inc. Autostereoscopic display with planar pass-through
WO2008132724A1 (en) * 2007-04-26 2008-11-06 Mantisvision Ltd. A method and apparatus for three dimensional interaction with autosteroscopic displays
US20090146915A1 (en) 2007-12-05 2009-06-11 Marathe Madhav V Multiple view display device
CN101472133B (zh) * 2007-12-28 2010-12-08 鸿富锦精密工业（深圳）有限公司 影像校正装置及影像校正方法
US9684380B2 (en) * 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
JP2010171573A (ja) * 2009-01-21 2010-08-05 Epson Imaging Devices Corp ３次元画像表示・撮像装置、通信システム、および表示装置
US8570423B2 (en) * 2009-01-28 2013-10-29 Hewlett-Packard Development Company, L.P. Systems for performing visual collaboration between remotely situated participants
US8549571B2 (en) * 2009-09-15 2013-10-01 Envysion, Inc. Video streaming method and system
US9088791B2 (en) * 2009-11-17 2015-07-21 Eidgenossische Technische Hochschule Zurich Transparent autostereoscopic image display apparatus and method
US8823782B2 (en) * 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
KR101725044B1 (ko) * 2010-05-27 2017-04-11 삼성전자주식회사 촬영이 가능한 디스플레이 장치
CN101866056A (zh) * 2010-05-28 2010-10-20 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像方法和系统
JP5494283B2 (ja) * 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
US8576271B2 (en) * 2010-06-25 2013-11-05 Microsoft Corporation Combining direct and routed communication in a video conference
KR101280636B1 (ko) * 2010-07-29 2013-07-01 주식회사 팬택 능동형 입체영상 디스플레이 장치 및 그의 구동 방법
US8624960B2 (en) * 2010-07-30 2014-01-07 Silicon Image, Inc. Multi-view display system
KR101732135B1 (ko) 2010-11-05 2017-05-11 삼성전자주식회사 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법
US20120139906A1 (en) * 2010-12-03 2012-06-07 Qualcomm Incorporated Hybrid reality for 3d human-machine interface
US8823769B2 (en) * 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
CN103339658A (zh) * 2011-01-30 2013-10-02 诺基亚公司 用于三维立体显示器的方法、设备和计算机程序产品
JP2012169822A (ja) * 2011-02-14 2012-09-06 Nec Personal Computers Ltd 画像処理方法及び画像処理装置
US20120223885A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
US20120254933A1 (en) * 2011-03-31 2012-10-04 Hunt Electronic Co., Ltd. Network video server and video control method thereof
US20120257004A1 (en) * 2011-04-05 2012-10-11 Polycom, Inc. Direct Eye-Contact Enhancing Videoconferencing Unit
JP5834533B2 (ja) * 2011-06-23 2015-12-24 沖電気工業株式会社 コミュニケーションシステム及びコミュニケーション装置
JP2013125985A (ja) * 2011-12-13 2013-06-24 Sharp Corp 表示システム
JP2013128181A (ja) * 2011-12-16 2013-06-27 Fujitsu Ltd 表示装置、表示方法および表示プログラム
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
CN104081780A (zh) * 2012-01-31 2014-10-01 索尼公司 图像处理装置和图像处理方法
EP2837211B1 (en) * 2012-04-13 2017-08-30 Nokia Technologies Oy Method, apparatus and computer program for generating an spatial audio output based on an spatial audio input
CA2869322C (en) 2012-04-20 2021-04-13 Affirmation, Llc Systems and methods for real-time conversion of video into three-dimensions
US20130321564A1 (en) * 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
KR101350996B1 (ko) * 2012-06-11 2014-01-13 재단법인 실감교류인체감응솔루션연구단 아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법
US20140063198A1 (en) * 2012-08-30 2014-03-06 Microsoft Corporation Changing perspectives of a microscopic-image device based on a viewer' s perspective
US8976224B2 (en) 2012-10-10 2015-03-10 Microsoft Technology Licensing, Llc Controlled three-dimensional communication endpoint
KR101977711B1 (ko) * 2012-10-12 2019-05-13 삼성전자주식회사 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
US20140146394A1 (en) * 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
RU2656817C2 (ru) * 2012-12-18 2018-06-06 Айсмэтч Лтд Устройства, системы и способы захвата и отображения внешнего вида
US20140176684A1 (en) * 2012-12-24 2014-06-26 Alejandro Varela Techniques for multiple viewer three-dimensional display
US9307217B1 (en) * 2013-06-12 2016-04-05 Ambarella, Inc. Portable video camera/recorder having video security feature
JP6199619B2 (ja) * 2013-06-13 2017-09-20 株式会社ニューフレアテクノロジー 気相成長装置
KR20140147376A (ko) * 2013-06-19 2014-12-30 삼성전자주식회사 적층형 컬러-깊이 센서 및 이를 채용한 3차원 영상 획득 장치
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
US9325936B2 (en) * 2013-08-09 2016-04-26 Samsung Electronics Co., Ltd. Hybrid visual communication
CN104427049A (zh) * 2013-08-30 2015-03-18 深圳富泰宏精密工业有限公司 便携式电子装置
US20150097925A1 (en) * 2013-10-04 2015-04-09 Electronics And Telecommunications Research Institute Apparatus and method for displaying hologram based on pupil tracking using hybrid camera
US20150128174A1 (en) * 2013-11-04 2015-05-07 Broadcom Corporation Selecting audio-video (av) streams associated with an event
US20150235408A1 (en) * 2014-02-14 2015-08-20 Apple Inc. Parallax Depth Rendering
CN104866261B (zh) * 2014-02-24 2018-08-10 联想(北京)有限公司 一种信息处理方法和装置
US9344748B2 (en) * 2014-03-31 2016-05-17 Arris Enterprises, Inc. Adaptive streaming transcoder synchronization
US20150324646A1 (en) * 2014-05-08 2015-11-12 Brown University Navigation methods and apparatus for the visually impaired
WO2016025962A1 (en) * 2014-08-15 2016-02-18 The University Of Akron Device and method for three-dimensional video communication
KR102269318B1 (ko) * 2014-09-15 2021-06-28 삼성디스플레이 주식회사 디스플레이 장치 및 이를 포함하는 디스플레이 시스템
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
KR102396289B1 (ko) * 2015-04-28 2022-05-10 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 구동 방법
JP6509027B2 (ja) * 2015-05-12 2019-05-08 キヤノン株式会社 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム
US9609275B2 (en) * 2015-07-08 2017-03-28 Google Inc. Single-stream transmission method for multi-user video conferencing
US20170070804A1 (en) * 2015-09-03 2017-03-09 Monster, Llc Multifunction Wireless Adapter
KR20170035608A (ko) * 2015-09-23 2017-03-31 삼성전자주식회사 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체
US10203566B2 (en) * 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
US20180077437A1 (en) 2016-09-09 2018-03-15 Barrie Hansen Parallel Video Streaming

Also Published As

Publication number Publication date
CN109565567B (zh) 2020-12-08
US10750210B2 (en) 2020-08-18
EP3510768B1 (en) 2023-05-24
DE202017105484U1 (de) 2018-01-09
KR102142643B1 (ko) 2020-08-07
CN112584080A (zh) 2021-03-30
KR20200078703A (ko) 2020-07-01
KR102256707B1 (ko) 2021-05-26
WO2018049201A1 (en) 2018-03-15
US20190306541A1 (en) 2019-10-03
US10327014B2 (en) 2019-06-18
US10880582B2 (en) 2020-12-29
KR20200096322A (ko) 2020-08-11
CN109565567A (zh) 2019-04-02
US20180077437A1 (en) 2018-03-15
US20180077430A1 (en) 2018-03-15
JP2022009242A (ja) 2022-01-14
CN112584080B (zh) 2023-10-24
US20200344500A1 (en) 2020-10-29
JP7443314B2 (ja) 2024-03-05
JP7001675B2 (ja) 2022-01-19
EP3510768A1 (en) 2019-07-17
US20180077384A1 (en) 2018-03-15
JP2019533324A (ja) 2019-11-14

Similar Documents

Publication Publication Date Title
JP7443314B2 (ja) ３ｄテレプレゼンスシステム
EP2383995B1 (en) Display system, method and computer program for capturing images using multiple integrated image sensors
US9445044B1 (en) Methods for facilitating virtual presence
Kara et al. Evaluation of the concept of dynamic adaptive streaming of light field video
Gotsch et al. TeleHuman2: A Cylindrical Light Field Teleconferencing System for Life-size 3D Human Telepresence.
US20160269685A1 (en) Video interaction between physical locations
US20200413008A1 (en) Window system based on video communication
US20190306461A1 (en) Video communication device and method for video communication
Plüss et al. An immersive bidirectional system for life-size 3d communication
US10645340B2 (en) Video communication device and method for video communication
US10972699B2 (en) Video communication device and method for video communication
US10701313B2 (en) Video communication device and method for video communication
Nashel Rendering and display for multi-viewer tele-immersion

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
A107 Divisional application of patent
J201 Request for trial against refusal decision
J121 Written withdrawal of request for trial