KR101637990B1 - 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링 - Google Patents
임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링 Download PDFInfo
- Publication number
- KR101637990B1 KR101637990B1 KR1020097024434A KR20097024434A KR101637990B1 KR 101637990 B1 KR101637990 B1 KR 101637990B1 KR 1020097024434 A KR1020097024434 A KR 1020097024434A KR 20097024434 A KR20097024434 A KR 20097024434A KR 101637990 B1 KR101637990 B1 KR 101637990B1
- Authority
- KR
- South Korea
- Prior art keywords
- display component
- data
- display
- physical location
- rendering
- Prior art date
Links
- 230000002596 correlated effect Effects 0.000 title claims abstract description 31
- 238000009877 rendering Methods 0.000 title claims description 76
- 238000000034 method Methods 0.000 claims description 47
- 230000015654 memory Effects 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims 2
- 230000001902 propagating effect Effects 0.000 claims 2
- 230000001360 synchronised effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000007654 immersion Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 241000699666 Mus <mouse, genus> Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2356/00—Detection of the display position w.r.t. other display screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2203/00—Aspects of automatic or semi-automatic exchanges
- H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
- H04M2203/359—Augmented reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Length Measuring Devices By Optical Means (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Studio Devices (AREA)
Abstract
둘 이상 디스플레이 구성 요소들은 3차원 콘텐츠의 공간적으로 상호 연관된 디스플레이들을 제공한다. 3차원 콘텐츠는 각 디스플레이를 위한 3차원 가상 카메라 위치를 결정하는 디스플레이들의 상대적인 위치인 동일한 가상 3차원 좌표들로 언급된 3차원 콘텐츠를 다중 디스플레이들로 렌더된다. 비록 획득되지 않더라도, 디스플레이들의 하나는 예를 들어, 휴대폰과 같은 이동 가능하고, 예를 들어, 랜탑과 같이 다른 고정된 또는 방랑할 수 있다. 각 디스플레이는 예를 들어 온라인 가상 세계로서 3차원 콘텐츠로 가상 카메라에 기초된 시야를 보여준다. 서로 각 장치의 상대적인 물리적 거리들 및 방향을 연속적으로 센싱 및 업데이팅함으로써 장치들은 공간적으로 상호 연관된 3차원 콘텐츠에 대한 시야를 사용자에게 보여준다. 각 장치는 3차원 콘텐츠의 지리적인 데이터의 공통 풀(common pool)을 사용하고, 이 데이터를 디스플레이 이미지들로 렌더한다.
Description
본 발명은 3차원 콘텐츠와 상호 작용하기 위한 시스템들 및 사용자 인터페이스들에 관한 것입니다. 특히, 본 발명은 이동 및 고정 디스플레이들 상에 사용자들이 3차원 콘텐츠와 상호 작용을 가능하기 위한 디스플레이 시스템들에 관한 것입니다.
인터넷 상 및 예를 들어, 비디오 게임들 및 의학적 이미징과 같은 다른 콘텐츠들에서 사용 가능한 많은 3차원 콘텐츠는 급속하게 증가하고 있다. 소비자들은 시나리오들의 많은 성장들에서 3차원에 대한 청취에 점점 더 익숙해질 것이다. 3차원 콘텐츠는 영화들, 의학적 이미징(예를 들어, MRI 측정), 온라인 가상 세계들(예를 들어, 제2 인생), 모델링 및 견본 만들기, 비디오 게임, 정보 가상, 건축, 원거리-훈련(tele-immersion) 및 협동, 지리 정보 시스템들(예를 들어, 구글 어스)에서 발견될 수 있다. 특히, 온라인 가상 세계들의 인기도는 오름세이고, 더 많은 사용자들이 고정, 데스크탑 모니터들뿐만 아니라 예를 들어, 휴대폰, 미디어 재생기와 같은 휴대 단말기들을 통해 가상 세계들과의 상호 작용을 한다.
그러나, 모바일 기기 뒤에 기술은 고정 모니터들과 비교하여 상대적으로 작은 모니터들을 가진 더 많은 다목적 기능을 만들어진다. 현재 모바일 기기들은 사용자들에게 자연적인, 직관에 의해 인식된, 몰입 경험을 가지는 그들의 모바일 기기들 상에서 3차원 콘텐츠와의 상호 작용 검색을 제공하지 못한다. 전형적으로 모바일 기기 디스플레이들은 예를 들어, 휴대폰은 디스플레이 구성 요소 상에 보여지는 시각적 각도의 정도들의 최대 값으로 표현될 수 있는 제한된 시야(field of view)만이 허용된다. 이것은 모바일 기기 디스플레이 크기가 일반적으로 기기의 크기에 의해 제한됨으로 인해 기인된다. 예를 들어, 비투영 디스플레이(non-projection display)의 크기는 디스플레이가 포함된 모바일 기기보다 더 클 수 없다. 그러므로, 모바일 디스플레이들(일반적으로 발광 디스플레이들)의 존재 해법들은 사용자들 위한 몰입 경험을 제한한다. 게다가, 예를 들어, 가상 세계들 또는 다른 3차원 콘텐츠를 모바일 기기들 상에 제1 사용자 시각에 의해 탐색하는 것은 몰입 경험을 생성하는 관점에서 매우 어렵다. 모바일 기기들은 사용자가 가상 주변들의 인식, 몰입 경험을 생성하는 중요한 관점에 충분히 제공할 수 없다.
예를 들어, 많은 고정 디스플레이들에 더하여 모바일 기기들은 특히 시야에 대해 몰입 사용자 경험을 제공하지 못함으로써 3차원 콘텐츠의 장점에 미치지 못한다. 거의 모든 모바일 기기들 및 다른 현재 디스플레이 시스템들은 3차원 콘텐츠와의 상호 작용을 하기 위한 사용자를 위한 몰입 환경을 제공하는데 실패하고, 제안된 시야를 가지는 단일 평면의 스크린을 사용한다. 몇몇 사용자 인터페이스 방법들은 3차원 콘텐츠와의 상호 작용을 하기 위한 착용 가능한 헤드업 디스플레이들 또는 비디오 고글들을 획득하는 모바일 또는 데스크탑 디스플레이들을 가지고, 온라인 가상 세계에 진입할 수 있다. 하지만, 머리 착용 기어는 일반적으로 사회적으로 많은 사용자들에게 방해가 되고 바라지 않을 수 있다. 따라서, 사용자들은 집 또는 사무실에서 광범위한 사용을 즐길 수 없고, 많은 모바일 기기들이 자주 사용되는 공공 장소들에서 혼자 놓이게 된다.
그러므로, 콘텐츠 디스플레이들 사용의 몰입 및 직관적인 방법을 3차원 콘텐츠 상호 작용 또는 보기를 위한 모바일 기기들, 고정 기기들 또는 그들의 결합이 요청되고 있다.
둘 또는 그 이상 디스플레이 구성 요소들은 3차원 이미지들을 공간적으로 상호 연관되게 디스플레이되는 3차원 콘텐츠를 디스플레이하기 위해 사용된다. 사용자는 디스플레이들, 디스플레이의 방향 변화, 다른 디스플레이와의 상대적인 위치 중 하나를 이동할 수 있고, 디스플레이의 가상 카메라의 장소와 연관된 상기 3차원 콘텐츠를 볼 수 있다. 이런 방식에서 디스플레이들은 예를 들어, 온라인 가상 현실에서 3차원 콘텐츠를 볼 때 사용자에게 확장된 시야를 제공한다. 일반적으로 디스플레이 구성 요소는 3개의 카테고리들: 고정의(예를 들어, 데스크탑 컴퓨터), 방랑의(예를 들어, 랜탑 또는 노트북 컴퓨터) 또는 이동(예를 들어, 휴대폰 또는 휴대 미디어 재생기) 중 하나일 수 있다.
일실시예에서 제1 디스플레이 구성 요소 및 제2 디스플레이 구성 요소 상에 3차원 콘텐츠를 디스플레이하기 위한 방법은 호스트 서버를 사용하는 것으로 설명된다. 호스트 서버는 상기 제2 구성 요소와 관계 있는 상기 제1 구성 요소의 물리적 위치 데이터와 상기 제1 구성 요소와 관계 있는 상기 제2 구성 요소의 물리적 위치를 획득한다. 상기 서버는 상기 제1 디스플레이 구성 요소로 랜더된 제1 세트를 전송하고, 제2 디스플레이 구성 요소로 랜더된 제2 세트를 전송한다. 상기 랜더된 데이터 세트들은 각 디스플레이 구성 요소들 상에 디스플레이된다. 이런 방식에서 상기 제1 디스플레이 구성 요소 및 상기 제2 디스플레이 구성 요소는 상기 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링을 제공한다. 이것은 2개의 디스플레이 구성 요소들을 사용하여 상기 3차원 콘텐츠를 사용자가 보기 위한 확장된 시야가 가능하다.
다른 실시예는 3차원 콘텐츠를 디스플레이하기 위한 디스플레이 장치들의 시스템이다. 디스플레이 장치는 장소 센서 및 모니터를 가진다. 3차원 콘텐츠의 렌더된 픽셀들은 하나의 디스플레이 장치로부터 다른 장치로 전송되고, 렌더된 픽셀들은 수신된 장치의 위치 데이터에 기초하여 계산된다. 전송 디스플레이는 상기 수신 장치의 상대적 위치 데이터를 획득하고, 상기 수신 장치는 상기 전송 장치의 상대적 위치 데이터를 획득한다. 이러한 방식에서 상기 전송 장치 및 상기 수신 장치는 상기 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링이 가능하고, 상기 3차원 콘텐츠를 보기 위한 상기 디스플레이 장치를 이용하는 사용자를 위한 확장된 시야를 제공한다.
첨부된 도면들에 기재된 참조들은 특히 실시예들, 일례로서 보여지며, 설명 의 일부분을 구성한다.
도 1 내지 4는 다양한 실시예에 따른 3차원 콘텐츠를 디스플레이하는 공간적으로 상호 연관된 디스플레이 장치들의 다양한 구성들의 예시들이다.
도 5는 3개의 공간적으로 상호 연관된 디스플레이 구성 요소들을 가지는 일례 구성의 블록도이다.
도 6은 2개의 공간적으로 상호 연관된 디스플레이 구성 요소들을 가지는 일례 구성의 블록도이다.
도 7은 원격 서버 및 2개의 공간적으로 상호 연관된 동등한 디스플레이 구성 요소들을 가지는 일례 구성의 블록이다.
도 8 내지 10은 다양한 실시예들에 따른 3차원 콘텐츠를 렌더링하기 위한 공간적으로 상호 연관되는 다중 디스플레이들의 절차들의 흐름도이다.
도 11은 일실시예에 따른 디스플레이 구성 요소의 개략도이다.
도 12는 일실시예에 다른 가상 세계 데이터를 디스플레이하기 위한 공간적으로 상호 연관되는 다중 디스플레이들의 개략도 및 폐쇄된 상호 동작 흐름도이다.
도 13 및 14는 본 발명의 실시예들을 적용하기에 적합한 컴퓨터 시스템을 나타낸다.
도면들에서 3차원 콘텐츠와 사용자의 상호 동작을 위한 확장된 시야들을 생성하기 위한 시스템 및 방법들이 설명된다. 상기 사용자는 더 큰 가상 디스플레이 공간을 생성하기 위해 모바일 및/또는 고정 디스플레이들을 사용한다. 이러한 방 식에서 사용자는 3차원 콘텐츠와의 상호 동작이 강화된다. 상기 사용자는 상기 디스플레이 구성 요소들 상에서 상기 콘텐츠의 공간적으로 상호 연관된 렌더링을 가짐으로써 3차원 콘텐츠를 보기 위한 더 몰입하는 환경을 달성한다.
도 1 내지 도 4는 다양한 실시예들에 따른 3차원 콘텐츠를 보기 위한 공간적으로 상호 연관된 디스플레이 구성 요소들의 구성들의 일례들이다. 이러한 예들은 예를 들어, 휴대폰, 별도로 서로 다른 또는 별도로 고정 디스플레이, 예를 들어, 데스크탑 모니터 또는 별도로 유랑 디스플레이, 예를 들어 랜탑 또는 노트북과 같은 휴대용 장치이지만 휴대 모바일 장치보다 더 큰 하나 또는 그 이상의 모바일 디스플레이들을 들고 있는 동안에 3차원 콘텐츠를 사용자가 어떻게 볼 수 있는지를 보여준다. 상기 사용자는 모바일 디스플레이들의 하나를 움직이고, 상기 뷰 또는 가상 카메라로 3차원 콘텐츠, 예를 들어, 온라인 가상 세계, 상기 모바일 디스플레이가 (물리적인 세계에서) 상기 사용자가 가상 세계 또는 다른 3차원 콘텐츠를 보게 허락하는 움직일 수 있는 윈도우를 동작하는 모바일 디스플레이가 변한다. 상기 사용자는 가상 세계에서 장면들의 다른 인접한 뷰들을 보는 물리적 환경에서 모바일 디스플레이 구성 요소를 움직인다. 다른 방식은 디스플레이를 통해 볼 수 있는 디스플레이 장치들 뒤에 가상 세계 환경의 그림을 설명하는 것이다.
도 1은 특히, 컴퓨터 10 및 특히, 디스플레이를 가지는 휴대폰, 모바일 디스플레이 구성 요소 102와 연결되는 데스크탑 모니터인 고정 디스플레이 구성 요소 100를 보여준다. 구성 요소 102는 모바일 핸드셋의 형태이거나 또는 예를 들어, "미니" 랜탑, 휴대할 수 있는 게임 콘솔(game console) 등과 같은 다른 디스플레이 장치일 수 있다. 상세하게 모바일 디스플레이 구성 요소 102의 내부 구성 요소들 및 모듈들 및 컴퓨터 10은 이하에서 보다 상세하게 설명된다. 고정 디스플레이 구성 요소 100은 가상 세계 장면 101을 디스플레이하고, 모바일 디스플레이 102는 가상 세계 장면 103을 가진다. 2개의 장면들은 동일한 더 큰 가상 세계 이미지의 부분이다. 장면 101은 굽은 길을 보여준다. 가상 이미지 101의 연속적인 부분은 상기 굽은 길이고, 장면 103이고, 모바일 디스플레이 102 상에 보여진다. 만약 모바일 디스플레이 102는 왼쪽으로 더 움직이고, 대상 및 풍경은 예를 들어, 길의 나머지는 보여지는, 장면 101의 왼쪽으로 연속한다. 만약 모바일 장치 102는 위로 움직이거나 스크린이 아래쪽으로 향하는 각도가 되면, 사용자는 하늘, 빌딩의 꼭대기, 나무들 등을 볼 수 있다. 아래 설명된 것처럼 다중 고정 디스플레이들 또는 다중 모바일 디스플레이들일 수 있다.
도 2는 2개의 모바일 디스플레이 장치들 104 및 106을 가지는 구성을 나타내는 유사한 예시이다. 가상 세계 장면 105는 장치 104 상에 디스플레이되고, 장면 107은 장치 106 상에 디스플레이된다. 2개의 장면들은 동일한 가상 세계 환경이지만 다른 가상 카메라들을 가지고 이 환경을 보여준다. 만약 장치 하나 또는 둘 다가 움직이면, 상기 사용자는 가상 세계의 다른 부분을 볼 수 있다. 이하 설명된 것처럼 2개의 디스플레이 장치들은 공간적으로 상호 연관되며(또는 물리적으로 상호 연관되며), 서로 상대적으로 가상 세계의 부분들을 보여준다. 그러므로, 만약 그들이 서로 가깝게 움직이면, 장면들 105 및 107은 좀 더 연속적으로 보이거나 연결될 수 있다. 일실시예에서, 상기 2개의 디스플레이 장치들의 공간적인 연관 관 계는 상기 2개의 장치들이 오버랩되지 않는 길이만큼 가능할 수 있다. 도 2에 도시된 구성은 단지 일례이다. 다른 실시예에서 다중 모바일 디스플레이들일 수 있다.
도 3은 공간 상호 관계를 사용하는 가상 세계 콘텐츠를 보기 위한 3개의 디스플레이 장치들의 다른 가능한 구성을 보여준다. 2개의 모바일 디스플레이 장치들 108 및 112는 고정 디스플레이 장치 100를 가지는 것을 나타낸다. 고정 디스플레이 장치 100 상에 가상 세계 장면 111은 각각 모바일 디스플레이 장치들 108 및 112 상에 장면들 109 및 113 사이에 있다. 사용자가 모바일 장치 하나 또는 둘 다를 움직일 때, 가상 세계의 다른 장면들이 보여진다. 만약 모바일 장치 108이 왼쪽으로 움직이고, 고정 디스플레이 110(및 장면 113의 왼쪽으로) 상에 장면 111의 왼쪽으로 대상들 및 풍경이 보여진다. 만약 장치 112가 오른쪽으로 움직이면, 장면 111(및 장면 109)의 오른쪽으로 가상 세계의 대상들 및 장면이 보여진다. 상기 모바일 디스플레이들은 또한 가상 세계에서 장면들을 보기 위해 위로 또는 아래로 움직일 수 있고, 현재 보기 레벨(viewing level) 이상 또는 이하이다.
도 4는 다른 가상 세계 장면을 사용하고, 다른 도면들에서 보여진 것들로부터 다른 구성에서 2개의 공간적으로 상호 연관된 모바일 디스플레이 장치 114 및 116의 다른 가능한 구성을 나타낸다. 지면 상에 모자이크의 가상 세계 장면 115은 디스플레이 114에서 특별한 각도에서 보여지고, 디스플레이 116 상에 보여진 가상 세계 모자이크 장면 117의 "위"이고, 아래 또는 이러한 경우에, 지면상에 모자이크를 보고, 장면 115에서 보여진 모자이크의 일부분의 연속이다. 앞서 설명된 것처 럼 상기 사용자가 상기 가상 세계의 다른 부분들을 보기 위해 디스플레이 장치를 하나 움직일 수 있다. 예를 들어, 상기 장치들은 도 2에 도시된 구성으로 움직여질 수 있다. 가상 세계 환경은 도 1 내지 3에 도시된 모든 장면들에서 일반적으로 동일하고, 도 4에 도시된 상기 장면은 사용자가 특별한 구성 도시(예를 들어, 서로 대략 110도의 각도에서)에서 2개의 모바일 장치들을 들고 있을 때 사용자의 시야가 어떻게 확장되는지를 더 나은 다른 예시이다.
이러한 디스플레이 장치들의 4개의 예시 구성들은 공간적으로 상호 연관된 디스플레이들이 어떻게 상기 사용자가 3차원 콘텐츠를 보기 위해 확장된 시야를 생성하기 위해 이용될 수 있는지를 보여준다. 이러한 확장된 시야는 상기 3차원 콘텐츠와 상호 작용을 하는 사용자를 위한 몰입 환경을 제공한다. 확장된 가상 시야는 상기 디스플레이들이 움직임에 의해 상기 사용자가 상기 3차원 콘텐츠를 많이 볼 수 있고, 상기 사용자가 상기 가상 세계에서 서 있거나 몰입될 때 인상을 생성할 수 있다. 상기 예들로부터 증명된 것처럼 확장된 시야는 물리적으로 불연속적일 수 있고, 상기 3차원 콘텐츠의 보기에서 간격들 또는 단절들을 가질 수 있다. 도면들이 명백하게 보여주는 것처럼 상기 디스플레이들 사이 공간들은 물리적인 비연속성들을 생성한다. 그러나, 공간 상호 연관성은 여전히 뷰어(viewer)에게 상기 3차원 콘텐츠의 확장된 시야를 제공하고, 이하에서 보다 상세하게 설명된다. 다른 구성들은 예를 들어, 휴대 장치들로서 휴대 또는 모바일이 아니고, 3차원 콘텐츠로 다른 보기들을 사용자에게 보여주기 위해 움직일 수 있는 직각 크기 및 미니 랜탑들 및 노트북들과 같은 방랑 디스플레이 구성 요소들의 사용을 포함할 수 있다. 이하 설명된 것처럼 고정 디스플레이 장치들, 방랑 디스플레이 장치 및 모바일 디스플레이 장치들은 예를 들어, 다양한 센서들 및 렌더링 엔진들과 같은 다른 내부 구성 요소들을 가질 수 있다. 구성 요소들의 다른 타입들은 디스플레이(또는 모니터)를 가지지 않고, 도 1 내지 4에서 도시된 것과 같이 않고, 이하 설명된 것처럼 예를 들어, 3차원 데이터를 저장하거나 또는 데이터 렌더링 기능들을 수행하는 다른 기능들을 가질 수 있다. 주목됨에 따라, 다른 구성들은 예를 들어, 가상 세계를 보기 위해 2개 또는 그 이상 사용자들에 의해 4개 또는 그 이상 모바일 단말기들이 가져지는 다중 장치들(3개 이상)을 포함할 수 있다.
일실시예에서 확장된 시야는 디스플레이 구성 요소 상에서 보여질 수 있는 시각적 각도의 정도의 최대 개수를 나타내기 위해 유용하다. 이하에서 주목된 것처럼 시스템의 다른 실시예들은 사용자들에게 시각적으로 더 실제적일 뿐만 아니라 더 자연스럽고 실제와 같은 3차원 콘텐츠와 상호 작용들을 만드는 3차원 대상들의 조종 작업을 포함할 수 있다. 다른 실시예에서, 3차원 대상들 또는 콘텐츠의 이 작업은 촉각 피드백을 논의할 수 있고, 콘텐츠와 상호 작용할 때 물리적인 감각의 몇 가지 타입을 사용자에게 제공할 수 있다. 다른 실시예에서 도면에서 설명된 상호 작용 환경은 또한 2.5 차원 콘텐츠를 디스플레이하기 위해 사용될 수 있다. 콘텐츠의 카테고리는 예를 들어, 디스플레이되는 장면 또는 이미지의 완성한 3차원 모델을 가지지 않는 시스템에서 픽셀마다 깊이 정보를 가지는 이미지를 포함할 수 있다. 게다가, 확장된 시야는 정성적인 거리에서 보여지는 통상적인 평판 디스플레이(예를 들어, 비정상적으로 넓지 않은 하나)의 시야를 초과하거나 또는 확장한 것이다.
공간적 상관 관계는 상수한 설명에서 이용된 개념으로서 다양한 방식들에 적용될 수 있다. 일실시예에서 공간적 상과 관계는 디스플레이 장치들의 상대적 물리적 위치들 및 방향들의 연속적인 업데이팅을 포함한다. 서로 장치들의 상기 상대적 물리적인 위치들 및 방향들은 연속적으로 센싱되고, 각 장치에 업데이트된다. 이 물리적 위치 및 방향 데이터는 각 디스플레이 및 카메라들 상에 3차원 콘텐츠를 렌더하기 위한 가상 카메라들에게 입력으로 이용될 수 있고, 각 장치는 하나의 가상 카메라를 가지고, 각 가상 카메라들의 가상 방향들 및 방향들을 한정하기 위해 사용될 수 있다. 가상 위치 및 방향 정보로 물리적 위치 및 방향 정보의 매핑은 변환들의 잘 정의된 세트에 의해 좌우된다. 많은 경우들에서 변환은 유클리드 공간(Euclidian space)에서 일대일 동종 및 등방성 매핑일 수 있다. 각 가상 카메라는 3차원 지리적 데이터의 공통 풀을 사용하고, 이미지를 디스플레이하기 위해 데이터를 렌더한다.
다른 실시예에서 공간적 상관 관계는 이종의 변환들을 포함하기 위해 확장될 수 있다. 예를 들어, 2개의 디스플레이들을 가지고, 다른 하나는 일반적인 뷰(normal view)를 제공할 때 하나는 줌인된(zoomed-in)(망원경의) 원근법을 가질 수 있다. 다른 일례에서 기하학적 변환들 또는 다른 변환들은 유클리드 공간으로 제한되지 않으며, 예를 들어, 쌍곡선(hyperbolic), 타원(elliptic) 리만 기하학(Riemannian geometries)에 기초하여 (뒤에 기하학들은 특히 굽은 디스플레이 공간들에 적합한) 사용될 수 있다. 여전히 다른 실시예에서 이방성 변환들은 넓은 각도 렌즈의 계산 분산 및 굽은 디스플레이 공간들을 채용하고, 공간 상관 관계를 위해 사용될 수 있다. 이러한 이종 변환 예들에서 디스플레이들은 물리적 공간에서 이동되고, 디스플레이되는 이미지들은 장치들의 상대적인 거리 및 방향에 기초하여 업데이트된다. 그러나, 각 가상 카메라는 각 장치를 위한 이방성 변환들, 비-유클리드 기하학 또는 이종 변환들을 사용할 수 있다.
공간적 상관 관계의 다른 실시예는 디스플레이 인코딩을 포함한다. 위에서 기본적인 실시예들은 컬러 디스플레이들을 고려하고, 동일한 이미지 인코딩을 사용한다. 그러나 각 디스플레이는 예를 들어, X-레이 뷰, 적외선 뷰, 컬러 뷰, 또는 B/W 뷰로 제한되지 않은 다른 이미지 인코딩을 가질 수 있다. 이러한 경우 디스플레이들은 다중 렌더링 양식 이용할 때 공간적으로 상호 연관될 수 있다. 다른 실시예들은 다중-렌더링 양식 및 이종 변환들의 결합을 포함하는 더 복잡한 경우들을 포함할 수 있다.
도 5 내지 7은 다양한 실시예들에 따른 3차원 콘텐츠의 렌더링을 위한 디스플레이 구성 요소들간의 구성 및 연관성의 예를 나타내는 네트워크도이다. 도 5는 3개의 디스플레이 구성 요소들(설명의 경우를 위한 하나의 디스플레이 구성 요소는 "디스플레이"로 언급될 수 있다)을 가지는 구성 일례의 블록도이다. 이러한 예에서, 하나의 디스플레이, 기능들은 기본적인 또는 호스트 디스플레이이고, 다른 2차원 디스플레이들이 아닐 때 3차원 데이터 렌더링 엔진을 가진다. 앞선 도 1 및 3에 도시된 것과 같은 구성의 예들은 데스크탑 모니터 및 컴퓨터가 1차 디스플레이 및 핸드폰들 102, 108 및 112이 2차 디스플레이들을 포함한다.
도 5에서 네트워크 200은 2개의 2차 디스플레이들 204 및 206과 통신하는 호스트 디스플레이 202를 가진다. 다른 실시예들에서 1차 디스플레이 202, 이 경우에 공적 디스플레이는 단지 하나의 2차 디스플레이(예를 들어, 도 1) 또는 둘 이상과 통신할 수 있다. 동일한 개념들 및 방법들은 네트워크 200를 설명하고, 다른 가능한 구성들을 적용할 수 있다. 호스트 디스플레이 202는 다중 디스플레이 렌더링 엔진 208을 가진다. 또한 장소 센서들 210 및 디스플레이 모니터 212도 도시된다. 장소 센서들 210은 또한 상기 호스트 디스플레이(용어 "장소 센서"는 여기서 사용된다)와 근접한 다른 디스플레이들과 연관된 상기 (호스트) 디스플레이 장치의 물리적인 위치를 제공하는 상대적인 위치 센서들로서 특징될 수 있다. 또한 그것은 가치가 없고, 센서의 다른 타입은 물리적 ("실제") 세계와 연관된 상기 호스트 디스플레이의 동작에 관한 데이터를 제공하는 자체 동작 센서 또는 검출기이다. 이러한 검출기들은 예를 들어, 광학적 흐름 또는 관성 측정과 같은 기술을 이용할 수 있다. 그들의 사용 및 콘텐츠는 아래에서 보다 상세하게 설명된다.
호스트 디스플레이 202는 모바일 디스플레이들 204 및 206과 통신한다. 이 통신은 알려진 프로토콜들을 사용하여 유선 또는 무선이 될 수 있다. 일실시예에서 호스트 디스플레이 202에서 장소 센서들 210은 호스트 디스플레이 202 또는 서로 간 연관되는 디스플레이들 204 및 206의 물리적 위치를 검출한다. 다른 실시예에서 상대적 물리적 위치 데이터는 2차 디스플레이들에서 센서들 203 및 207을 사용하여 2차 디스플레이들 204 및 206로부터 호스트 디스플레이 202로 전송된다. 다른 실시예들에서 상기 2차 디스플레이들은 수동적인 장치들일 수 있고, 그들 자 신의 센서들, 특히, 장소 센서들을 가지지 않을 수 있다. 호스트 디스플레이 202는 상기 2차 디스플레이들의 상대적 위치를 결정하기 위해 자신의 센서들을 사용할 수 있다. 위치 데이터는 장소 데이터(예를 들어, 물리적 또는 실제 세계 공간에서 호스트 디스플레이 202와 연관하여 디스플레이 구성 요소의 좌표들)를 포함할 수 있다. 위치 데이터의 전송은 디스플레이 204로부터 디스플레이 202로 전송 214에 의해 나타난다. 위치 데이터는 또한 방향을 향하거나 또는 들려진 디스플레이에서 각도를 반사하는 방향 데이터를 포함할 수 있다. 예를 들어, 방향 데이터는 3개의 직각들, 요(yaw), 피치(pitch) 및 롤(roll)로서 나타낼 수 있다. 그러나, 상기 위치 데이터는 특별한 적용 또는 포맷이 고려되지 않으며, "L/O 데이터"(location/orientation data)로 도시되고, 호스트 디스플레이 202에 의해 검출되거나/센싱되거나 또한 2차 디스플레이들 중 하나에 의해 전송되고, 상기 위치 데이터는 호스트 디스플레이에 대한 2차 디스플레이의 위치를 나타낸다. 일실시예에서 상기 위치 데이터는 예를 들어, GPS 및 다른 시스템들에서 사용되는 절대 포지셔닝 데이터로서, 소위 상기 디스플레이의 "절대" 위치를 나타내지 않는다. 일실시예에서 단지 포지셔닝 정보는 디스플레이들의 공간적인 상관 관계를 위한 적절히 필요하고, 서로에 대한 디스플레이들의 포지셔닝 데이터이고, 상기 디스플레이들의 상대적 위치 데이터이다.
호스트 디스플레이 202는 디스플레이들 204 및 206 각각의 상대적 물리적 위치 데이터 214 및 216를 획득한다. 위치 데이터 214, 216은 상기 디스플레이들 상에 보여지기 위한 3차원 콘텐츠의 렌더된 픽셀 데이터를 출력하는 다중 디스플레이 렌더링 엔진 208에 의해 프로세스된다. 엔진 208은 또한 상기 제2 디스플레이들에 관한 상기 호스트 장치 자체의 위치를 제공하는 위치 데이터 201을 수신할 수 있다. 이 데이터는 자제 동작 센서 및 장소 센서들의 다양한 타입들을 포함할 수 있는 센서들 210을 사용하여 얻을 수 있다. 상기 렌더된 픽셀 데이터의 전송은 호스트 디스플레이 202로부터 디스플레이 204로의 비디오 데이터 218 및 디스플레이 206으로의 비디오 데이터 220으로 도시된 비디오 스트림 형태로 이루어질 수 있다. 이런 실시예에서 렌더링 엔진 208은 다중 디스플레이들 상에 디스플레이하기 위한 3차원 콘텐츠의 픽셀을 렌더할 수 있고, 적절한 통신 수단을 통해 자체 렌더링 엔진을 가지지 않는 이러한 구성의 2차 디스플레이들로 비디오 스트림의 형태로 상기 렌더된 픽셀들을 전송한다. 다중 디스플레이 렌더링 엔진 208은 또한 모니터 212 상에 디스플레이되는 호스트 디스플레이 202의 3차원 콘텐츠를 렌더한다. 상기 비디오 스트림은 비디오 데이터 222로 도시된다. 비디오 스트림들 220 및 218은 상기 디스플레이들 상에 디스플레이 모니터들 205 및 209에 디스플레이된다. 지적된 디스플레이들 204 및 206은 미디어 재생기들(예를 들어, MP3 재생기들), 휴대폰들, 휴대형 컴퓨팅 장치, 노트북 컴퓨터들, 랜탑 컴퓨터들, "스마트" 핸드셋 장치 등일 수 있다. 3차원 콘텐츠 데이터 215는 로컬 메모리 211, 예를 들어, 캐시 메모리에 저장될 수 있거나 또는 하나 또는 그 이상의 네트워크 구성 요소들 213로부터 검색될 수 있다. 예를 들어, 그것은 서버 "떼(cloud)"로부터 또는 단일 매체 데이터 저장소로부터 검색할 수 있다. 상기 3차원 콘텐츠는 로컬 메모리 211 및 네트워크 213 둘 다에 존재할 수 있다.
일실시예에 따른 디스플레이 구성 요소의 개략적인 설명은 도 11에 도시된다. 디스플레이 구성 요소 400은 호스트 디스플레이 202에서 다중 디스플레이 엔진으로서 엔진 208 또는 이하 도 6에 설명된 단일 디스플레이 렌더링 엔진일 수 있는 렌더링 엔진 202를 가진다. 또한 하나 또는 그 이상의 장소 센서들 404 및 디스플레이 모니터 406, 예를 들어 LCD 모니터가 도시된다. 장소 센서들을 적용하기 위한 다양한 해법들은 또한 위치 측정 센서들로 언급될 수 있다. 그들은 관성 센서들, 대상 검출하는 광학 카메라들, 마커들을 가지는 적외선 카메라, 능동적인 마커들, 근접 범위 초음파 트랜스듀서들, 다중 주파수 전송기들/수신기들 및 거리를 측정하기 위한 블루투스 신호 밀도를 포함할 수 있다. 지적된 몇몇 디스플레이들은 장소 센서들이 필요 없을 수 있다. 디스플레이 400은 또한 자신의 위치 데이터를 획득하기 위한 자체 동작 검출기를 가진다. 디스플레이 구성 요소 400은 디스플레이 400에서 메모리(도시되지 않음)에 저장된 3차원 콘텐츠 408을 보여준다. 3차원 콘텐츠에 적용되는 데이터 408은 상용 CAD/CAM 시스템에서 대상을 나타내기 위해 저장되는 데이터와 유사한다. 이하 설명하면, 3차원 콘텐츠 데이터 408은 모든 디스플레이 구성 요소들(예를 들어, 디스플레이들 202, 204 및 206) 상에 동일하고, 각 디스플레이 메모리에 저장될 수 있다. 그것은 각 예를 들어, 가상 세계 콘텐츠인 완벽한 3차원 콘텐츠의 완벽한 "복사"를 가질 수 있다. 그것들은 예를 들어, 아바타 걷기, 차 이동 등과 같이 콘텐츠가 변할 때 3차원 콘텐츠를 동조시킨다. 다른 실시예에서 단지 하나의 디스플레이는 모든 3차원 콘텐츠 데이터 408을 가진다. 예를 들어, 호스트 디스플레이 202는 모든 콘텐츠를 저장할 수 있고, 상 기 네트워크로부터 검색할 수 있고, 2차 디스플레이들이 3차원 데이터를 저장할 수 없으나 비디오 스트림들(렌더된 픽셀들) 218 및 220을 오히려 수신할 수 있다.
또한 도시된 디스플레이 구성 요소 400은 가상 카메라 구성 요소 410이다. 가상 카메라 410은 디스플레이 모니터 406으로 그래픽 데이터를 제공하는 그래픽스 컨트롤러(도시되지 않음)에 의해 충족될 수 있다. 가상 카메라 410은 윈도우 또는 뷰잉 렌즈에게 상기 3차원 콘텐츠를 제공하는 것으로 설명될 수 있다. 예를 들어, 도 1 내지 4에서 각 디스플레이는 뷰 또는 윈도우에게 상기 가상 세계 환경의 다른 부분을 각기 보여주는 상기 가상 세계를 제공하는 것을 특징으로 할 수 있다. 가상 카메라 410은 이 뷰에게 상기 가상 세계를 제공하고, 지적된 것처럼 디스플레이 400에서 그래픽스 콘트롤러 하드웨어 구성 요소 또는 다른 적절한 그래픽스 서브 시스템을 이용하여 충족될 수 있다. 상기 렌더된 픽셀들(예를 들어, 비디오 데이터 218, 220 및 222)은 도 5에 도시된 것과 같이 각 디스플레이 상에 상기 가상 카메라를 통해 디스플레이되는 상기 3차원 콘텐츠의 원근법을 보여준다. 각 모바일 디스플레이는 주변을 움직일 때 그것의 가상 카메라는 상기 3차원 콘텐츠의 다른 부분을 보여준다. 지적된 것처럼 모든 디스플레이들이 디스플레이 400에 도시된 모든 구성 요소들, 센서들 및 데이터를 가지는 것은 아니다. 예를 들어, 몇몇은 렌더링 엔진 402 또는 디스플레이 모니터 406을 가지지 않을 수 있다.
도 5를 참조하면, 흐름도는 도 8에 설명되어 보여진 구성과 연관되어 진행한다. 도 8은 일실시예에 따른 3차원 콘텐츠를 렌더링하기 위한 공간적으로 상호 연관된 다중 디스플레이들의 절차의 흐름도이다. 몇 개의 단계들은 3차원 콘텐츠와 의 상호 동작을 할 때 사용자를 위한 몰입 환경을 적용하는 호스트 디스플레이 및 2개의 2차 디스플레이들이 보여진 도 5에 관하여 이전에 논의된 것을 참조하여 설명한다. 절다 및 그 대체들은 도 8에 도시된 호스트 디스플레이(예를 들어, 호스트 디스플레이들의 "원근법"으로부터) 상에서 취해진 동작들로서 설명된다.
단계 302에서 상기 호스트 디스플레이는 각 2차 디스플레이를 위한 상대적 물리적인 위치 데이터를 획득한다. 상기 물리적인 위치 데이터는 상기 호스트 디스플레이에 대한 2차 디스플레이의 좌표들을 제공하는 장소 데이터 구성 요소를 포함할 수 있다. 또한 위치 데이터는 상기 호스트 디스플레이에 대해 향해진 상기 디스플레이의 각도들을 나타내는 상기 모바일 기기의 각도 데이터(요, 피치, 롤)를 제공하는 방향 데이터 요소를 가질 수 있다. 상기 위치 데이터는 상기 2차 디스플레이 및/또는 상기 호스트 디스플레이 상에 사용 장소 센서들을 이용함으로써 상기 호스트 디스플레이에 의해 획득될 수 있다. 다른 실시예에서 상기 2차 디스플레이는 상기 호스트에 대한 자신의 위치를 계산할 수 있고, 상기 호스트 디스플레이로 이 상대 위치 데이터를 전송할 수 있다. 잘 알려진 센싱 기술은 사용 기술들로서 매우 정확하게 장치들(예를 들어, 대상들)의 상대적 위치들을 결정하기 위해 사용될 수 있다. 위치 측정 센서들의 리스트는 앞서 제공되었다. 이것들은 물리적 세계와 연관된 호스트 장치의 위치를 측정하기 위해 자체 동작 센서들의 사용을 포함할 수 있다. 알려진 기술로서 센서들(자체 동작, 위치 측정, 등)의 다양한 결합들 및 구성들은 호스트 디스플레이(또는 동등한 디스플레이, 아래 언급된)가 근접 디스플레이들의 상대적 물리적인 위치들("L/O 데이터" 또는 장소/방향 데이터)를 획득할 수 있다.
단계 304에서 상기 호스트 디스플레이는 메모리로부터 3차원 콘텐츠 데이터를 검색한다. 앞서 지적된 것처럼 구성에 따라 이 데이터는 상기 호스트 디스플레이 상 또는 분산된 네트워크 구성 요소들 상 로컬 캐시에 저장될 수 있다. 상기 데이터는 메모리로부터 가져오고, 렌더링 엔진으로 입력으로 사용되는 것을 특징으로 나타내므로 "검색된"으로 설명될 수 있다. 단계 306에서 상기 디스플레이 상 상기 렌더링 엔진은 실행한다. 설명된 실시예에서, 상기 렌더링 엔진은 상기 3차원 콘텐츠를 입력으로 받아들이는 다중 디스플레이 엔진이다. 앞서 지적된 것처럼, 이 데이터는 예를 들어, CAD/CAM 시스템에서 데이터를 저장하기 위해 사용되는 포맷과 유사한 포맷일 수 있다. 또한 다중 디스플레이 렌더링 엔진 소프트웨어 모듈은 상기 호스트 디스플레이와 연관된 상기 실제 세계에서 상기 2차 디스플레이들의 상대적 물리적인 위치 데이터(단계 302에서 획득된)를 입력으로써 얻을 수 있다. 그러므로, 만약 4개의 2차 디스플레이들, 상기 렌더링 엔진이 포지셔닝 데이터, 각 2차 디스플레이 및 자신을 위한 포지셔닝 데이터의 5개 세트들을 입력으로서 수신할 수 있다. 상기 렌더링 엔진은 이 포지셔닝 데이터 및 상기 3차원 콘텐츠 데이터(예를 들어, 가상 세계 데이터)각 디스플레이들을 위해 비디오 스트림의 형태로 렌더된 픽셀들을 생성한다. 단계 308에서 상기 렌더된 픽셀들은 상기 호스트 디스플레이와 마찬가지로 각 2차 디스플레이로 전송된다. 이러한 픽셀들은 각 디스플레이의 원근법으로부터 각 디스플레이 상에 상기 3차원 콘텐츠를 디스플레이한다. 이러한 방식에서 그들은 상기 3차원 데이터에 의해 나타나지는 가상 환경의 다른 뷰를 제공한다. 지적된 것처럼 이 원근법은 가상 카메라 뷰로서 설명될 수 있다. 일실시예에서 디스플레이들은 서로 오버랩되지 않으며, 각 디스플레이는 상기 가상 환경의 다른 뷰를 제공한다.
단계 310에서 상기 호스트 디스플레이를 위한 상기 렌더된 픽셀들은 상기 호스트 모니터 상에 디스플레이된다. 이 상태에서 각 디스플레이는 가상 세계의 구획(segment)이 디스플레이되며, 사용자에게 몰입 환경을 생성하는 확장된 가상 시야를 제공한다. 상기 절차는 각 2차 디스플레이들의 물리적 위치들이 다시 획득되도록 단계 302로 되돌아가서 반복된다. 이 루프는 상기 호스트 디스플레이 및 상기 2차 디스플레이들의 주어진 프로세싱 및 메모리 자원에 적합한 초마다 횟수가 반복될 수 있다. 이러한 방식에서 3차원 콘텐츠는 상기 사용자가 상기 디스플레이들을 움직임으로써 상기 호스트 디스플레이와 연관된 구성 요소들의 위치에 기초하여 각 디스플레이 구성 요소들에 디스플레이된다.
도 6은 일실시예에 따른 공간적 상관 관계를 실행하는 2개의 디스플레이 구성 요소들의 다른 구성을 예시한다. 도 6의 구성에서 디스플레이는 호스트 디스플레이도 아니다. 그것은 피어-투-피어 구조를 특징으로 하며, 각 디스플레이는 일반적으로 유사한 센서 및 프로세서 용량들을 가지며, 그들은 매우 다양할 수 있다. 각 디스플레이는 자신의 픽셀 렌더링을 수행한다. 디스플레이 224 및 디스플레이 226은 장소 센서들 228 및 230을 이용하여 다른 디스플레이 상대적인 위치 데이터를 획득한다. 지적된 것처럼, 이러한 센서들은 물리적 세계로 "앵커"를 실행하는 자체 동작 센서들을 포함할 수 있다. 디스플레이의 몇 개 또는 모두는 자제 동작 센서들을 가질 수 있으나, 적어나 하나는 가져야 한다. 앞서 지적된 것처럼 장소 센서들은 다량의 사용 센서들 중 하나일 수 있고, 근처 디스플레이들의 장소를 센싱 또는 검출하기 위한 알려진 기술을 적용할 수 있다. 업데이트된 3차원 콘텐츠 데이터 231은 예를 들어, CAD/CAM 시스템들에서 기하학 데이터를 저장하기 위해 사용되는 포맷과 유사한 포맷일 수 있고, 디스플레이들간에 교환된다. 업데이트된 3차원 콘텐츠의 교환은 하나의 디스플레이가 존재하는 3차원 콘텐츠(예를 들어, 사용자가 가상 세계와 상호 동작하고, 가상 세계에서 대상들을 변화할 때)를 변화시킬 수 있고, 모든 디스플레이들은 항상 가장 최근에 업데이트된 3차원 콘텐츠를 사용하는 것을 보장한다.
또한 도시된 디스플레이들 224 및 226는 각각 단일 디스플레이 렌더링 엔진들 236 및 238이다. 이러한 각 소프트웨어 모듈들은 특히 각 디스플레이의 가상 카메라, 또는 원근법, 가상 환경을 위해 상기 3차원 콘텐츠의 픽셀들을 렌더한다. 업데이트된 3차원 콘텐츠 데이터 231은 캐시들 225 및 235 사이에서 교환된다. 다만 캐시들 또는 다른 메모리 구성 요소들은 업데이트되거나 하나의 디스플레이에 의해 변환된 3차원 콘텐츠를 전송하는 접속으로 인해 업데이트된 3차원 콘텐츠 데이터를 수신한다(렌더링 엔진이 아님). 상기 렌더링 엔진들은 로컬 캐시들로부터 데이터를 검색할 수 있다. 상기 장치들 상에서 센서들 228 및 230은 상기 장치들의 자체 위치를 제공한다. 또한 상기 센서들은 서로에 관한 장치들의 장소들을 검출한다. 또한 상기 렌더링 엔진들은 상기 3차원 콘텐츠를 입력으로써 얻는다. 상기 3차원 콘텐츠는 예를 들어, 로컬 캐시들 225 및 223과 같은 로컬 메모리에 저장 될 수 있거나 네트워크 구성 요소들 233으로부터 검색될 수 있다. 상기 소프트웨어 렌더링 엔진들은 예를 들어, 로컬 캐시 225 내지 236으로부터 데이터 227, 이러한 입력들을 이용하고, 각 원근법 디스플레이 모니터를 위한 픽셀들을 렌더한다. 단일 디스플레이 엔진 236은 디스플레이 모니터 240로 렌더된 픽셀들을 전송하고, 엔진 238은 디스플레이 모니터 242로 픽셀들을 전송한다. 단일 디스플레이 렌더링 엔진은 디스플레이 모니터들 상에 표시되어야 하는 가상 환경의 구획들을 결정할 수 있는 각 엔진으로서 하나 또는 그 이상의 다른 "피어" 디스플레이들(예를 들어, 도 6에 도시된 2개의 피어 디스플레이들)의 위치 데이터가 필요하다. 이 정보를 이용함으로써 사용자에게 보여주기 위한 가상 세계의 구획은 상기 디스플레이들간의 공간적인 상호 관계를 유지하고, 상기 사용자를 위한 몰입 환경을 제공한다.
다른 실시예에서, 상기 디스플레이 장치들 기능들의 적어도 하나는 실제 세계에서 "앵커"이다. 그것은 상기 디스플레이 장치가 물리적인 환경에서 자신의 위치를 고정한다. 만약 모든 디스플레이들이 그들의 위치를 고정한다면, 상기 장치들은 서로 장소 및 위치 데이터를 교환할 필요가 없다. 도 6에서 디스플레이 224를 위한 앵커 데이터 239는 디스플레이 224의 렌더링 엔진 236으로 전송된다. 만약 단지 몇 개의 디스플레이들이 물리적 세계에서 그들의 위치를 고정하고, 디스플레이들은 다른 디스플레이들로 향하는 그들의 상대적 위치를 인식하는 "비고정된" 디스플레이들로 앵커 데이터를 전송해야 한다. 만약 하나의 디스플레이가 어떤 타입의 센서들을 가지지 않는다면, 피어 디스플레이로부터 자신의 상대적 장소 및 방향 데이터를 수신하고, 이 상대적 L/O 데이터는 실제 세계 유니트일 수 있다. 예 를 들어, 센서들을 가지는 디스플레이는 센서들 정보가 없는 디스플레이로 거리와 같은 정보, 예를 들어, 다른 디스플레이로부터 1.25미터, M 및 N의 수평 및 수직 헤딩 각도, 동일한 장치가 X, Y 및 Z로 향하는 상대적 각도 방향을 전송한다.
도 6에 도시된 동일한 디스플레이 상에서 3차원 콘텐츠를 디스플레이하기 위한 절차들은 도 9의 흐름도로 설명된다. 도 9에 도시된 많은 단계들은 도 8에 설명된 것과 유사하다. 상기 단계들은 둘 또는 그 이상의 동일한 디스플레이들의 어나 하나를 가져와서 설명된다. 상기 디스플레이들은 상기 상용 센스에서 동일할 필요는 없으며, 즉, 그들이 유사한 크기 또는 프로세싱 및 메모리 자원들을 가질 필요는 없다. 게다가, 그들은 다른 것들의 배제로 모든 상기 3차원 콘텐츠를 저장하거나 다른 것을 위한 렌더링을 실행하지 동일한 것들이다. 이 구성에서, 하나의 디스플레이는 랜탑 컴퓨터, 다른, 핸드폰, 및 여전히 다른, 멀티미디어 재생기일 수 있다. 이것들의 각각은 다른 프로세싱 용량들, 메모리 및 모니터 크기를 가진다. 단계 312에서 디스플레이는 다른 디스플레이들의 상대적 물리적인 장소를 얻거나 획득한다. 그것은 자신의 장소 센서들을 사용하거나 디스플레이(상기 상대적 위치 데이터는 그것으로 "더해진")로부터 상기 위치 데이터를 수신할 수 있다. 다시 상기 위치 데이터 그것은 수신하고, 절대 위치 데이터에 대응하여 상기 디스플레이 자체에 관한 위치들을 제공한다. 이 위치 데이터는 무선 또는 유선 수단을 통해 수신될 수 있고, 매우 폭넓게 변화할 수 있는 상기 디스플레이 상에서 적당한 인터페이스를 이용하여 수신될 수 있다. 또한 상기 디스플레이는 다수의 다른 디스플레이로 상대적 위치를 전송할 수 있거나 다른 디스플레이들이 상기 다른 디스 플레이들의 물리적인 위치들에 관한 물리적 위치를 검출하기 위한 그들의 장소 센서들을 이용할 수 있다. 이러한 실시예들에서, 상기 디스플레이들의 절대 포지셔닝 데이터(예를 들어, GPS 데이터)는 필요없다.
단계 314에서 3차원 콘텐츠 나타내기는 예를 들어, 가상 세계가 상기 디스플레이 상 메모리로부터 또는 네트워크로부터 검색되고, 단일 디스플레이 렌더링 엔진으로 입력한다. 단계 316에서 상기 렌더링 엔진은 상기 3차원 콘텐츠, 단계 312에서 획득된 상기 다른 디스플레이들 및 엔진들의 상주 디스플레이의 물리적 위치 데이터를 입력으로 얻기 위해 실행한다. 단계 318에서 상기 렌더링 엔진에 의해 생성된 상기 3차원 콘텐츠의 상기 랜더된 픽셀들을 상기 디스플레이 모니터 상에 디스플레이된다.
도 7은 일실시예에 따른 공간적으로 상호 연관된 디스플레이들 및 비디스플레이 구성 요소의 다른 구성을 보여주는 블록도이다. 원격 서버 246은 2개의 모바일 디스플레이들 248 및 260과 통신한다. 설명된 실시예에서, 서버 246은 디스플레이를 가지지 않거나 하나를 가지지만 이 구성의 예시로서 장치들 248 및 250의 상기 디스플레이들이 공간적으로 상호 연관되지 않는다. 원격 서버 246의 제1 역할은 서비스 분배기 또는 다른 제3 부분에 의해 작동될 수 있으며, 모바일 디스플레이들 248 및 250을 위한 렌더된 픽셀 데이터를 생성하기 위한 다중 디스플레이 렌더링 엔진 252를 동작하고, 유지하기 위한 것이다. 서버 246은 로컬 메모리 256 또는 다른 네트워크 구성 요소 258, 예를 들어, 다중 가상 세계들을 위한 3차원 콘텐츠를 저장하는 매체 저장 장치로부터 3차원 콘텐츠 데이터 254를 수신한다. 다 른 실시예에서 서버 246 상에 카메라와 같은 센서들은 모바일 장치들 또는 모바일 장치와 같이 보이는 장치들을 추적한다. 그것은 적외선 추적을 이용하는 마커를 찾을 수 있고, 상기 장치들의 각 방향 및 위치를 결정할 수 있다. 이러한 실시예에서, 서버 246은 그들의 위치를 추적할 수 있는 서버 264으로서 모바일 디스플레이들 248 및 250가 근접한다. 다른 실시예에서, 원격 서버는 환경에서 위치된 센서들 또는 방에서 센서들의 네트워크를 사용함으로써 디스플레이들 248 및 250의 일반 주변으로부터 L/O 데이터를 수신한다.
모바일 디스플레이 장치 248은 모바일 장치들 204 및 206과 유사할 수 있다. 그것은 각각 관련 구성 요소들인 센서들 및 디스플레이를 포함한다. 장치 248에서 센서들 260 및 장치 250에서 센서들 262는 다른 장치 250에 관한 장치들의 장소 및 방향을 결정할 수 있는 다양한 타입들의 센서들 중 하나일 수 있다. 도 7에 도시된 구성에서 2개의 모바일 장치들 248 및 250는 예시이고, 다중 모바일 또는 고정 장치들일 수 있다. 모바일 장치 248의 상대적 물리적인 위치 데이터 264는 원격 서버246에 의해 획득된다. 설명된 실시예에서, 위치 데이터 264는 서버 246으로 전송된다. 유사하게 위치 데이터 266은 장치 250의 상대적 물리적인 위치 데이터를 나타내고, 서버 246으로 전송된다. 렌더링 엔진 252는 렌더된 픽셀 데이터를 생성하기 위해 상대적 물리적인 위치 데이터 264 및 266으로 처리한다. 렌더된 픽셀 데이터는 비디오 데이터 268로 표시되고, 모니터 272 상에 디스플레이하기 위해 디스플레이 248로 전송된다. 유사하게 렌더된 픽셀 데이터는 비디오 데이터 270로 보여지며, 디스플레이 250으로 전송되며, 모니터 274 상에 디스플레이된다. 이것 은 모바일 또는 고정 디스플레이들의 개수, 원격 서버 246 및 다중 디스플레이 렌더링 엔진 252의 처리 용량들 및 이용 가능한 전송 대역에 의해 제한된다. 앞서 지적된 것처럼 디스플레이들 248 및 250은 인식 센서들을 가지지 않을 수 있거나 또는 장소 또는 자데 동작 센서들 모두를 가질 수 있다. 상기 디스플레이들의 적어도 하나는 앵커를 제공하기 위한 자체 동작 센서를 가지고 있어야 한다.
도 10은 도 8 및 9에 도시된 것과 유사한 단계들을 가지고, 도 7에 논의된 구성 요소들에 대한 흐름도이다. 도 10에서 설명된 절차들은 원격 서버 246의 원근법으로부터이다. 단계 320에서 원격 서버는 도 7에서 디스플레이들 248 및 250으로 도시된 각기 다른 디스플레이들의 상대적 물리적인 장소들을 얻거나 획득한다. 이것은 디스플레이들의 몇 개 또는 전부에서 센서들을 사용함으로써 수행될 수 있다. 앞서 지적된 것처럼 디스플레이들의 적어도 하나는 자체 동작 검출기를 가진다. 모든 디스플레이들이 장소 센서들을 가질 필요는 없다. 그들은 다른 장치들(유사하게)와 연관된 자신의 위치를 얻는 센서들을 가지고, 원격 서버 246으로 상기 상대적 물리적인 위치 정보를 전송한다. 만약 동일한 디스플레이는 자신의 센서들을 가지지 않는다면, 동일한 장치는 센서가 없는 동일한 장치의 상대적 위치를 센싱할 수 있고, 이 상대적 위치 데이터와 함께 자체 동작 데이터를 상기 원격 서버로 전송한다. 이 분야에서 알려진 것처럼 장소 센서들 및 자체 동작 검출기는 상기 디스플레이들의 상대적 위치들을 측정하기 위해 사용될 수 있는 다양한 방식들이 있다.
단계 320에서 이러한 위치 데이터는 상기 원격 서버에 의해 획득된다. 단계 322에서 상기 3차원 콘텐츠 데이터는 로컬 캐시 256과 같은 상기 원격 서버 상의 메모리로부터 또는 네트워크 구성 요소들 258로부터, 또는 둘 다로부터 검색된다. 단계 324에서 원격 서버 내 다중 디스플레이 렌더링 엔진은 실행한다. 상기 엔진은 3차원 콘텐츠 데이터 및 서로 인접한 동일한 디스플레이들로부터 수신된 상기 디스플레이 위치 데이터(이 실시예에서, 원격 서버 자체의 위치는 필요 없음)를 입력으로 획득한다. 그것은 이러한 디스플레이들의 몇 개가 고정 디스플레이들이 될 수 있고, 그들은 모두 모바일 단말기일 필요 없다는 것을 유의해야 한다. 단계 326에서 상기 3차원 콘텐츠의 상기 렌더된 픽셀들은 렌더링 엔진에 의해 생성되고, 전형적으로 무선을 통해 비디오 스트림과 같은 적합한 형태에서 동일한 디스플레이들로 전송된다. 상기 렌더된 픽셀 데이터는 하나 또는 그 이상의 디스플레이들로 전송될 때 상기 데이터는 단계 328에서 디스플레이된다(절차에서 하나의 단계는 원격 서버로 발생되지 않음). 상기 절차는 각 디스플레이를 위한 물리적 위치 데이터가 상기 원격 서버로 전송되는 단계 320로 되돌아감으로써 반복한다.
도 12는 일실시예에 따른 가상 세계 데이터를 디스플레이하기 위한 공간적으로 상호 연관된 다중 디스플레이들의 개략도 및 폐쇄된 상호 동작 흐름이다. 다이어그램의 중심에는 다중 디스플레이 렌더링 엔진 506이다. 가상 세계 좌표들 또는 데이터 504는 엔진 506으로 입력된다. 앞서 지적된 것처럼 데이터 504는 하나 또는 그 이상의 자원들로부터 올 수 있다. 또한 엔진 506은 1 내지 n 디스플레이 장치들을 위한 상대적 물리적인 디스플레이 위치 데이터 502를 입력으로서 가진다. 앞서 지적된 것처럼 위치 데이터 502는 장소 데이터(예를 들어, 좌표) 및 방향 데 이터(예를 들어, 각도)의 형태이다. 위치 데이터 502는 동일한 가상 세계 좌표들을 디스플레이하고 근접한 상기 다른 디스플레이들에 대한 디스플레이의 위치를 전달한다. 엔진 506 내에 가상 카메라들 508이 있다. 다중 렌더링 엔진 506의 출력은 상기 디스플레이들 510으로 전송되는 비디오 스트림들이다. 렌더링 엔진 506은 스펙 렌더링 원근법을 결정하기 위해 가상 카메라들 508을 사용한다. 이러한 가상 카메라 이미지들은 각 디스플레이 장치를 위한 렌더된 픽셀 데이터에 의해 적용된다. 가상 카메라들 508은 특히 디스플레이 장치에 의해 제공되는 가상 세계에서 뷰를 제공한다. 상기 사용자가 디스플레이를 움직이면, 그것의 상대적 물리적인 위치 데이터 502가 변한다. 상기 신규 또는 변경된 위치 데이터는 가상 카메라들 508의 변화에 의해 엔진 506으로 입력된다. 이러한 방식에서 임의의 및 제멋대로 포지션된 디스플레이들의 공간적 상호 관계는 도 12에 도시된 것처럼 폐쇄된 피드백 루프를 이용하여 실행될 수 있다.
도 13 및 14는 본 발명의 실시예들을 실행하기 위해 적합한 컴퓨터 시스템 600을 예시한다. 도 13은 상기 컴퓨팅 시스템의 하나의 가능한 물리적 형태를 나타낸다. 물론, 상기 컴퓨팅 시스템은 집적 회로, 인쇄된 회로 보드, 소형 휴대 장치(예를 들어, 모바일 전화기, 핸드셋 또는 PDA), 개인 컴퓨터 또는 슈퍼 컴퓨터를 포함하는 많은 물리적 형태들을 가질 수 있다. 컴퓨팅 시스템 600은 모니터 602, 디스플레이 604, 하우징 606, 디스크 드라이브 608, 키보드 610 및 마우스 612를 포함한다. 디스크 614는 컴퓨터 시스템 600로 및 컴퓨터 시스템으로부터 데이터를 전송하기 위해 사용되는 컴퓨터 판독 가능한 매체이다.
도 14는 컴퓨터 시스템 600을 위한 블록도의 일례이다. 시스템 버스 620에 부착된 서브시스템들은 넓고 다양하다. 프로세서(들) 622(또한 central processing units, 또는 CPUs로 언급된)는 메모리 624를 포함하는 저장 장치들과 접속된다. 메모리 624는 임의 억세스 메모리(RAM) 및 판독 전용 메모리(ROM)를 포함한다. 잘 알려진 기술로서 ROM은 단일 방향으로 CPU로 데이터 및 명령들을 전송하기 위해 전형적으로 사용되고, RAM은 양방향 방식으로 데이터 및 명령들을 전송하기 위해 전형적으로 사용된다. 이러한 타입들의 메모리 둘 다는 이하 컴퓨터 판독 가능한 매체의 적합한 어느 것을 포함할 수 있다. 또한 고정 디스크 626는 CPU 622와 양방향으로 접속되고, 부가적인 데이터 저장 용량을 제공하고, 이하 설명된 컴퓨터 판독 가능한 매체의 어느 하나를 포함할 수 있다. 고정 디스크 626은 프로그램, 데이터 등을 저장하기 위해 사용될 수 있고, 1차 저장 매체보다 속도가 느린 전형적인 2차 저장 매체이다. 고정 디스크 626 내에 보유된 정보는 적당한 경우에, 메모리 642 내에서 가상 메모리로서 표준 방식과 연관될 수 있다. 분리성 디스크(removable disk) 614는 이하 설명된 컴퓨터 판독 가능한 매체의 어느 하나의 형태를 취할 수 있다.
또한 CPU 622는 디스플레이 604, 키보드 610, 마우스 612 및 스피커들 630과 같이 다양한 입력/출력 장치들과 접속된다. 일반적으로 입력/출력 장치는 비디오 디스플레이들, 트랙 볼들, 마우스들, 키보드들, 마이크로폰들, 터치감지하는 디스플레이들, 트랜스듀서 카드 리더기들, 마그네틱 또는 종이 테이프 리더기들, 테이블릿들, 스타일러스들, 음성 또는 수기 리더기들, 동물 측정학 리더기들 또는 다른 컴퓨터들 중 어느 하나일 수 있다. CUP 622는 선택적으로 다른 컴퓨터와 접속될 수 있거나 네트워크 인터페이스 640을 이용하여 통신 네트워크할 수 있다. 네트워크 인터페이스를 가지고 CPU 622는 네트워크로부터 전송을 수신할 수 있거나 앞서 설명된 방법 단계들을 수행하는 절차에서 네트워크로 정보를 출력할 수 있다. 게다가, 본 발명의 방법 실시예들은 CPU 622 상에서 단독으로 실행할 수 있거나 인터넷과 같은 네트워크를 통해 원격 CPU와 접속하여 프로세싱의 일부분을 나누어서 실행할 수 있다.
본 발명의 예시한 실시예 및 응용들은 여기에 도시되거나 설명되어 있기는 하지만 발명의 개념, 범위 및 정신이 유지되는 한도 내에서 다양한 변화들 및 변형들이 가능하고, 이러한 변화들은 이 응용의 정독한 후 이 기술 분야에서 통상의 지식을 가진 자에게 명백한 것이다. 따라서, 예시로 설명된 실시예들은 제한되지 않고, 발명은 여기에 주어진 상세 설명들에 의해 제한되지 않으며, 첨부된 청구범위들의 범위 및 등가 내에서 변경이 가능하다.
Claims (34)
- 호스트 서버를 이용하는 제1 디스플레이 구성 요소 및 제2 디스플레이 구성 요소에 3차원 콘텐츠를 디스플레이 방법에 있어서,상기 호스트 서버에서 상기 호스트 서버에 상대적인 위치를 나타내는 상기 제1 디스플레이 구성 요소의 제1 물리적 위치 데이터와 상기 호스트 서버에 상대적인 위치를 나타내는 상기 제2 디스플레이 구성 요소의 제2 물리적 위치 데이터를 획득하는 단계;상기 호스트 서버 상에서 공간적으로 상호 연관된 다중 디스플레이를 위한 다중 디스플레이 렌더링 엔진(rendering engine)을 실행하는 단계;가상 세계 좌표를 수신하는 단계; 및상기 제1 디스플레이 구성 요소로 렌더된 데이터(rendered data)의 제1 세트와 상기 제2 디스플레이 구성 요소로 렌더된 데이터의 제2 세트를 전송하는 단계를 포함하고,상기 다중 디스플레이 렌더링 엔진은 상기 제1 디스플레이 구성 요소 및 상기 제2 디스플레이 구성 요소에 의해 제공되는 가상 세계 내에서 구체적인 렌더링 관점을 결정함으로서 상기 렌더된 데이터의 제1 세트와 상기 렌더된 데이터의 제2 세트를 생성하는 가상 카메라를 포함하고,상기 렌더된 데이터의 제1 세트는 상기 제1 디스플레이 구성 요소에 디스플레이되고, 상기 렌더된 데이터의 제2 세트는 상기 제2 디스플레이 구성 요소에 디스플레이되고, 상기 제1 디스플레이 구성 요소 및 상기 제2 디스플레이 구성 요소는 상기 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링(correlated rendering)이 가능하고, 상기 제1 및 제2 디스플레이 구성 요소들 둘 다를 이용하여 상기 3차원 콘텐츠를 보는 사용자를 위한 확장된 시야(extended field-of-view)를 제공하는, 방법.
- 제1항에 있어서,상기 호스트 서버 상의 로컬 메모리로부터 상기 3차원 콘텐츠를 대표하는 3차원 콘텐츠 데이터를 획득하는 단계를 더 포함하는, 방법.
- 제1항에 있어서,네트워크 구성 요소로부터 상기 3차원 콘텐츠를 대표하는 3차원 콘텐츠 데이터를 획득하는 단계를 더 포함하는, 방법.
- 삭제
- 제1항에 있어서,제1 물리적 위치 데이터 및 제2 물리적 위치 데이터를 획득하는 단계; 및상기 제1 디스플레이 구성 요소로부터 상기 제1 물리적 위치 데이터를 수신하고, 상기 제2 디스플레이 구성 요소로부터 상기 제2 물리적 위치 데이터를 수신하는 단계를 더 포함하는, 방법.
- 제1항에 있어서,제1 물리적 위치 데이터 및 제2 물리적 위치 데이터를 획득하는 단계; 및상기 호스트 서버에서 센서들을 이용하여 상기 제1 물리적 위치 데이터와 상기 제2 물리적 위치 데이터를 검출하는 단계를 더 포함하는, 방법.
- 제1항에 있어서,렌더된 데이터의 제3 세트를 생성하는 단계; 및상기 호스트 서버 상에서 상기 렌더된 데이터의 제3 세트를 디스플레이하고, 상기 호스트 서버, 상기 제1 디스플레이 구성 요소 및 상기 제2 디스플레이 구성 요소는 상기 3차원 콘텐츠의 상호 연관된 렌더링을 공간적으로 할 수 있는, 방법.
- 제1항에 있어서,상기 제1 디스플레이의 제1 물리적 위치 데이터 및 상기 제2 디스플레이의 상기 제2 물리적 위치 데이터를 센싱하는 단계를 더 포함하고,상기 센싱하는 단계는 연속적으로 수행되며, 공간적으로 상호 연관된 렌더링을 할 수 있는, 방법.
- 제1항에 있어서,제1 가상 위치와 상기 제1 디스플레이를 위한 방향 데이터(orientation data)에 대한 상기 제1 물리적 위치 데이터 및 제2 가상 위치와 상기 제2 디스플레 이를 위한 방위 데이터에 대한 상기 제2 물리적 위치 데이터의 일대일 매핑 변환(one-to-one mapping transformation)을 실행하는 단계를 더 포함하는, 방법.
- 제1 디스플레이 구성 요소 및 제2 디스플레이 구성 요소에 3차원 콘텐츠를 디스플레이 방법에 있어서,상기 제1 디스플레이 구성 요소의 제1 물리적 위치를 센싱하는 단계;상기 제1 디스플레이 구성 요소 상에 렌더링 데이터의 제1 세트를 디스플레이하는 단계;상기 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링을 제공하는 단계;상기 제2 디스플레이 구성 요소의 제2 물리적 위치를 센싱하는 단계;상기 제2 디스플레이 구성 요소 상에 렌더링 데이터의 제2 세트를 디스플레이하는 단계;상기 제1 디스플레이 구성 요소 상에서 다중 디스플레이 렌더링 엔진을 실행하는 단계; 및가상 세계 좌표를 수신하는 단계를 포함하고,상기 다중 디스플레이 렌더링 엔진은 상기 제1 디스플레이 구성 요소에 의해 제공되는 가상 세계 내에서 제1 디스플레이 구성 요소를 위한 구체적인 렌더링 관점을 결정하는 가상 카메라를 포함하고,상기 제1 물리적 위치는 상기 제2 디스플레이 구성 요소에 상대적인 위치를 나타내고, 상기 제2 물리적 위치는 상기 제1 디스플레이 구성 요소에 상대적인 위치를 나타내고,상기 제1 디스플레이 구성 요소의 제1 물리적 위치 데이터는 상기 제2 디스플레이 구성 요소에 의해 획득되고, 상기 제2 디스플레이 구성 요소의 제2 물리적 위치 데이터는 상기 제1 디스플레이 구성 요소에 의해 획득되고, 상기 제1 디스플레이 구성 요소 및 제2 디스플레이 구성 요소는 상기 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링을 제공하고, 상기 제1 디스플레이 구성 요소 및 상기 제2 디스플레이 구성 요소를 이용하여 상기 3차원 콘텐츠를 보는 사용자를 위한 확장된 시야를 가능하게 하는, 방법.
- 삭제
- 제10항에 있어서,상기 제1 디스플레이 구성 요소의 제1 자체 동작 데이터(egomotion data)를 측정하는 단계를 더 포함하는, 방법.
- 제10항에 있어서,상기 제2 디스플레이 구성 요소로부터 제2 자체 동작 데이터를 수신하는 단계를 더 포함하는, 방법.
- 제13항에 있어서,상기 제1 디스플레이 구성 요소의 제1 자체 운동 데이터를 상기 제2 디스플레이 구성 요소로 전파하는 단계를 더 포함하는, 방법.
- 제10항에 있어서,상기 제2 디스플레이 구성 요소와 관련하여 제2 물리적 위치 데이터를 수신하는 단계를 더 포함하는, 방법.
- 제10항에 있어서,상기 제1 디스플레이 구성 요소 및 상기 제2 디스플레이 구성 요소는 상기 3차원 콘텐츠를 저장하고, 상기 3차원 콘텐츠에서 변화가 발생할 때 상기 제1 디스 플레이 구성 요소 및 상기 제2 디스플레이 구성 요소는 동조하는(synchronize), 방법.
- 제10항에 있어서,상기 제2 디스플레이 구성 요소로 상기 3차원 콘텐츠의 일부분(portion)을 전송하고, 상기 제1 디스플레이 구성 요소는 모든 상기 3차원 콘텐츠를 저장하고, 상기 제2 디스플레이 구성 요소는 초기에 어떤 3차원 콘텐츠도 저장하지 않는, 방법.
- 삭제
- 삭제
- 삭제
- 제1 디스플레이 구성 요소 및 제2 디스플레이 구성 요소 상에 3차원 콘텐츠를 디스플레이하기 위한 장치에 있어서,호스트 서버와의 상대적인 위치를 나타내는 상기 제1 디스플레이 구성 요소의 제1 물리적 위치 데이터 및 상기 호스트 서버와의 상대적인 위치를 나타내는 상기 제2 디스플레이 구성 요소의 제2 물리적 위치 데이터를 획득하기 위한 수단;상기 호스트 서버 상에서 공간적으로 상호 연관된 다중 디스플레이를 위한 다중 디스플레이 렌더링 엔진을 실행하는 수단;가상 세계 좌표를 수신하는 수단; 및상기 제1 디스플레이 구성 요소로 렌더된 데이터의 제1 세트 및 상기 제2 디스플레이 구성 요소로 렌더된 데이터의 제2 세트를 전송하기 위한 수단을 포함하고,상기 다중 디스플레이 렌더링 엔진은 상기 제1 디스플레이 구성 요소 및 상기 제2 디스플레이 구성 요소에 의해 제공되는 가상 세계 내에서 구체적인 렌더링 관점을 결정함으로서 상기 렌더된 데이터의 제1 세트와 상기 렌더된 데이터의 제2 세트를 생성하는 가상 카메라를 포함하고,상기 렌더된 데이터의 제1 세트는 상기 제1 디스플레이 구성 요소 상에 디스플레이되고, 상기 렌더된 데이터의 제2 세트는 상기 제2 디스플레이 구성 요소 상에 디스플레이되고,상기 제1 디스플레이 구성 요소 및 상기 제2 디스플레이 구성 요소는 상기 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링이 가능하고, 상기 제1 및 제2 디스플레이 구성 요소들을 이용하여 상기 3차원 콘텐츠를 사용자가 보기 위한 확장된 시야를 제공하는, 장치.
- 제21항에 있어서,네트워크 구성 요소로부터 상기 3차원 콘텐츠를 대표하는 3차원 콘텐츠 데이터를 획득하기 위한 수단을 더 포함하는, 장치.
- 제21항에 있어서,상기 렌더된 데이터의 제1 세트 및 상기 렌더된 데이터의 제2 세트를 렌더링하기 위한 수단을 더 포함하는, 장치.
- 제21항에 있어서,상기 제1 물리적 위치 데이터 및 제2 물리적 위치 데이터를 획득하기 위한 수단은,상기 제1 디스플레이 구성 요소로부터 제1 물리적 위치 데이터 및 상기 제2 디스플레이 구성 요소로부터 상기 제2 물리적 위치 데이터를 수신하기 위한 수단을 더 포함하는, 장치.
- 제21항에 있어서,상기 제1 물리적 위치 데이터 및 제2 물리적 위치 데이터를 획득하기 위한 수단은,상기 제1 물리적 위치 데이터 및 상기 제2 물리적 위치 데이터를 검출하기 위한 수단을 더 포함하는, 장치.
- 제21항에 있어서,상기 제1 물리적 위치 데이터 및 상기 제2 물리적 위치 데이터를 획득하기 위한 수단은,상기 제1 디스플레이 구성 요소 상에 제1 센서로부터 상기 제1 물리적 위치 데이터 및 상기 제2 디스플레이 구성 요소 상에 제2 센서로부터 상기 제2 물리적 위치 데이터를 수신하기 위한 수단을 더 포함하는, 장치.
- 제21항에 있어서,렌더된 데이터의 제3 세트를 생성하기 위한 수단; 및상기 렌더된 데이터의 제3 세트를 디스플레이하기 위한 수단을 더 포함하고,상기 제1 디스플레이 구성 요소 및 상기 제2 디스플레이 구성 요소가 상기 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링이 가능한, 장치.
- 제21항에 있어서,상기 제1 디스플레이의 상기 제1 물리적 위치 데이터 및 상기 제2 디스플레이의 상기 제2 물리적 위치 데이터를 센싱하기 위한 수단을 더 포함하고,상기 센싱은 연속적으로 수행되고, 공간적으로 상호 연관된 렌더링이 가능한, 장치.
- 제21항에 있어서,상기 제1 디스플레이를 위한 제1 가상 위치 및 방향 데이터로 상기 제1 물리적 위치 데이터의 일대일 변환과 상기 제2 디스플레이를 위한 제2 가상 데이터 및 방향 데이터로 상기 제2 물리적 위치 데이터의 일대일 변환을 실행하기 위한 수단을 더 포함하는, 장치.
- 제2 디스플레이 구성 요소에 관련하여 3차원 콘텐츠를 디스플레이하기 위한 장치에 있어서,상기 장치의 제1 물리적 위치를 센싱하기 위한 수단;상기 장치 상에 렌더링 데이터의 제1 세트를 디스플레이하기 위한 수단;상기 제2 디스플레이 구성 요소의 제2 물리적 위치를 센싱하기 위한 수단;상기 제2 디스플레이 구성 요소 상에 렌더링 데이터의 제2 세트를 디스플레이하기 위한 수단; 및제1 디스플레이 구성 요소 상에서 다중 디스플레이 렌더링을 수행하는 수단을 포함하고,상기 다중 디스플레이 렌더링을 수행하는 수단은 상기 제1 디스플레이 구성 요소에 의해 제공되는 가상 세계 내에서 상기 제1 디스플레이 구성 요소를 위한 구체적인 렌더링 관점을 결정하는 가상 카메라를 포함하고,상기 장치의 제1 물리적 위치는 상기 제2 디스플레이 구성 요소에 상대적인 위치를 나타내고, 상기 제2 물리적 위치는 상기 제1 디스플레이 구성 요소의 상대적인 위치를 나타내고, 상기 장치의 상기 제1 물리적 위치 데이터는 상기 제2 디스플레이 구성 요소에 의해 획득되고, 상기 제2 디스플레이 구성 요소의 상기 제2 물리적 위치 데이터는 상기 제1 디스플레이 구성 요소에 의해 획득되고,상기 장치와 제2 디스플레이 구성 요소는 상기 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링을 제공하고, 상기 장치 및 상기 제2 디스플레이 구성 요소를 이용하여 상기 3차원 콘텐츠를 사용자가 보기 위한 확장된 시야를 가능한, 장치.
- 제30항에 있어서,렌더링 데이터의 제1 세트를 생성하기 위한 수단을 더 포함하는, 장치.
- 제30항에 있어서,제1 자체 동작 데이터(egomotion data)를 측정하기 위한 수단을 더 포함하는, 장치.
- 제30항에 있어서,상기 장치의 제1 자체 동작 데이터를 상기 제2 디스플레이 구성 요소로 전파하기 위한 수단을 더 포함하는, 장치.
- 제30항에 있어서,상기 3차원 콘텐츠의 일부분을 상기 제2 디스플레이 구성 요소로 전송하기 위한 수단을 더 포함하고, 상기 장치는 모든 상기 3차원 콘텐츠를 저장하고, 상기 제2 디스플레이 구성 요소는 초기에 3차원 콘텐츠를 저장하지 않는, 장치.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US9365108P | 2008-09-02 | 2008-09-02 | |
US61/093,651 | 2008-09-02 | ||
US12/424,117 US8253649B2 (en) | 2008-09-02 | 2009-04-15 | Spatially correlated rendering of three-dimensional content on display components having arbitrary positions |
US12/424,117 | 2009-04-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110082636A KR20110082636A (ko) | 2011-07-20 |
KR101637990B1 true KR101637990B1 (ko) | 2016-07-11 |
Family
ID=41724668
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090080586A KR20100027976A (ko) | 2008-09-02 | 2009-08-28 | 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션 |
KR1020097024434A KR101637990B1 (ko) | 2008-09-02 | 2009-09-02 | 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090080586A KR20100027976A (ko) | 2008-09-02 | 2009-08-28 | 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션 |
Country Status (3)
Country | Link |
---|---|
US (5) | US20100053151A1 (ko) |
KR (2) | KR20100027976A (ko) |
WO (1) | WO2010027193A2 (ko) |
Families Citing this family (459)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9715252B2 (en) | 2011-08-24 | 2017-07-25 | Z124 | Unified desktop docking behavior for window stickiness |
US9405459B2 (en) | 2011-08-24 | 2016-08-02 | Z124 | Unified desktop laptop dock software operation |
US9268518B2 (en) | 2011-09-27 | 2016-02-23 | Z124 | Unified desktop docking rules |
JP3915720B2 (ja) * | 2002-11-20 | 2007-05-16 | ソニー株式会社 | 映像制作システム、映像制作装置、映像制作方法 |
US7473313B2 (en) * | 2005-06-15 | 2009-01-06 | Halliburton Energy Services, Inc. | Gas-generating additives having improved shelf lives for use in cement compositions |
US7509588B2 (en) | 2005-12-30 | 2009-03-24 | Apple Inc. | Portable electronic device with interface reconfiguration mode |
US8730156B2 (en) * | 2010-03-05 | 2014-05-20 | Sony Computer Entertainment America Llc | Maintaining multiple views on a shared stable virtual space |
US9250703B2 (en) | 2006-03-06 | 2016-02-02 | Sony Computer Entertainment Inc. | Interface with gaze detection and voice input |
US10313505B2 (en) | 2006-09-06 | 2019-06-04 | Apple Inc. | Portable multifunction device, method, and graphical user interface for configuring and displaying widgets |
US8519964B2 (en) | 2007-01-07 | 2013-08-27 | Apple Inc. | Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display |
US8619038B2 (en) | 2007-09-04 | 2013-12-31 | Apple Inc. | Editing interface |
US8384718B2 (en) * | 2008-01-10 | 2013-02-26 | Sony Corporation | System and method for navigating a 3D graphical user interface |
US20120204133A1 (en) * | 2009-01-13 | 2012-08-09 | Primesense Ltd. | Gesture-Based User Interface |
US8933876B2 (en) | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
US9035876B2 (en) | 2008-01-14 | 2015-05-19 | Apple Inc. | Three-dimensional user interface session control |
EP2260453A4 (en) * | 2008-02-14 | 2016-03-23 | Infomotion Sports Technologies Inc | ELECTRONIC ANALYSIS OF ATHLETIC PERFORMANCE |
US20090289188A1 (en) * | 2008-05-20 | 2009-11-26 | Everspring Industry Co., Ltd. | Method for controlling an electronic device through infrared detection |
EP2145575A1 (en) * | 2008-07-17 | 2010-01-20 | Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO | A system, a method and a computer program for inspection of a three-dimensional environment by a user |
US20100053151A1 (en) * | 2008-09-02 | 2010-03-04 | Samsung Electronics Co., Ltd | In-line mediation for manipulating three-dimensional content on a display device |
US8866698B2 (en) * | 2008-10-01 | 2014-10-21 | Pleiades Publishing Ltd. | Multi-display handheld device and supporting system |
US20100138797A1 (en) * | 2008-12-01 | 2010-06-03 | Sony Ericsson Mobile Communications Ab | Portable electronic device with split vision content sharing control and method |
KR101544364B1 (ko) | 2009-01-23 | 2015-08-17 | 삼성전자주식회사 | 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법 |
EP2411101A4 (en) | 2009-03-27 | 2016-03-30 | Infomotion Sports Technologies Inc | MONITORING PHYSICAL TRAINING EVENTS |
WO2010121354A1 (en) * | 2009-04-20 | 2010-10-28 | Bent 360: Medialab Inc. | Object tracking system |
US9479895B2 (en) * | 2009-04-23 | 2016-10-25 | International Business Machines Corporation | Location-oriented services |
US20100302138A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Methods and systems for defining or modifying a visual representation |
US20100315413A1 (en) * | 2009-06-16 | 2010-12-16 | Microsoft Corporation | Surface Computer User Interaction |
US20100328447A1 (en) * | 2009-06-26 | 2010-12-30 | Sony Computer Entertainment, Inc. | Configuration of display and audio parameters for computer graphics rendering system having multiple displays |
US8269691B2 (en) * | 2009-06-26 | 2012-09-18 | Sony Computer Entertainment Inc. | Networked computer graphics rendering system with multiple displays for displaying multiple viewing frustums |
US20100328354A1 (en) * | 2009-06-26 | 2010-12-30 | Sony Computer Entertainment, Inc. | Networked Computer Graphics Rendering System with Multiple Displays |
JP5343773B2 (ja) * | 2009-09-04 | 2013-11-13 | ソニー株式会社 | 情報処理装置、表示制御方法及び表示制御プログラム |
US9032288B2 (en) * | 2009-09-11 | 2015-05-12 | Xerox Corporation | Document presentation in virtual worlds |
US20110084983A1 (en) * | 2009-09-29 | 2011-04-14 | Wavelength & Resonance LLC | Systems and Methods for Interaction With a Virtual Environment |
KR20110035609A (ko) * | 2009-09-30 | 2011-04-06 | 삼성전자주식회사 | 움직임 감지 장치 및 방법 |
US9104275B2 (en) * | 2009-10-20 | 2015-08-11 | Lg Electronics Inc. | Mobile terminal to display an object on a perceived 3D space |
US20110109526A1 (en) * | 2009-11-09 | 2011-05-12 | Qualcomm Incorporated | Multi-screen image display |
US20110140991A1 (en) * | 2009-12-15 | 2011-06-16 | International Business Machines Corporation | Multi-monitor configuration system |
US10007393B2 (en) * | 2010-01-19 | 2018-06-26 | Apple Inc. | 3D view of file structure |
US8913009B2 (en) * | 2010-02-03 | 2014-12-16 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
US8896685B2 (en) | 2010-03-14 | 2014-11-25 | Ns Solutions Corporation | Method and system for determining information relating to vacant spaces of a parking lot |
US8540571B2 (en) * | 2010-03-31 | 2013-09-24 | Immersion Corporation | System and method for providing haptic stimulus based on position |
US8560583B2 (en) | 2010-04-01 | 2013-10-15 | Sony Computer Entertainment Inc. | Media fingerprinting for social networking |
US9264785B2 (en) | 2010-04-01 | 2016-02-16 | Sony Computer Entertainment Inc. | Media fingerprinting for content determination and retrieval |
US10448083B2 (en) * | 2010-04-06 | 2019-10-15 | Comcast Cable Communications, Llc | Streaming and rendering of 3-dimensional video |
US10788976B2 (en) | 2010-04-07 | 2020-09-29 | Apple Inc. | Device, method, and graphical user interface for managing folders with multiple pages |
US8881060B2 (en) | 2010-04-07 | 2014-11-04 | Apple Inc. | Device, method, and graphical user interface for managing folders |
TWI461967B (zh) * | 2010-04-07 | 2014-11-21 | Hon Hai Prec Ind Co Ltd | 手寫輸入電子設備 |
BR112012026354A8 (pt) * | 2010-04-13 | 2018-05-08 | Nokia Corp | aparelho, método, programa de computador e interface de usuário |
KR101640043B1 (ko) * | 2010-04-14 | 2016-07-15 | 삼성전자주식회사 | 가상 세계 처리 장치 및 방법 |
US8842113B1 (en) * | 2010-05-26 | 2014-09-23 | Google Inc. | Real-time view synchronization across multiple networked devices |
WO2011147561A2 (en) * | 2010-05-28 | 2011-12-01 | Chao Zhang | Mobile unit, method for operating the same and network comprising the mobile unit |
US8639020B1 (en) | 2010-06-16 | 2014-01-28 | Intel Corporation | Method and system for modeling subjects from a depth map |
US20120200600A1 (en) * | 2010-06-23 | 2012-08-09 | Kent Demaine | Head and arm detection for virtual immersion systems and methods |
EP3263058A1 (en) | 2010-06-28 | 2018-01-03 | Brainlab AG | Generating images for at least two displays in image-guided surgery |
KR101651135B1 (ko) * | 2010-07-12 | 2016-08-25 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
US8730354B2 (en) | 2010-07-13 | 2014-05-20 | Sony Computer Entertainment Inc | Overlay video content on a mobile device |
US9814977B2 (en) | 2010-07-13 | 2017-11-14 | Sony Interactive Entertainment Inc. | Supplemental video content on a mobile device |
US9159165B2 (en) * | 2010-07-13 | 2015-10-13 | Sony Computer Entertainment Inc. | Position-dependent gaming, 3-D controller, and handheld as a remote |
US9143699B2 (en) | 2010-07-13 | 2015-09-22 | Sony Computer Entertainment Inc. | Overlay non-video content on a mobile device |
US9832441B2 (en) | 2010-07-13 | 2017-11-28 | Sony Interactive Entertainment Inc. | Supplemental content on a mobile device |
US9201501B2 (en) | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
CN102959616B (zh) | 2010-07-20 | 2015-06-10 | 苹果公司 | 自然交互的交互真实性增强 |
WO2012020866A1 (ko) * | 2010-08-13 | 2012-02-16 | 엘지전자 주식회사 | 이동단말기, 디스플레이 장치 및 그 제어 방법 |
JP5751775B2 (ja) * | 2010-09-01 | 2015-07-22 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム並びに記録媒体 |
US8517870B2 (en) | 2010-09-07 | 2013-08-27 | Infomotion Sports Technologies, Inc. | Electronic component enclosure for an inflated object |
KR101708696B1 (ko) * | 2010-09-15 | 2017-02-21 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
US9052760B2 (en) * | 2010-09-15 | 2015-06-09 | Lenovo (Singapore) Pte. Ltd. | Combining multiple slate displays into a larger display |
US9047041B2 (en) * | 2010-09-15 | 2015-06-02 | Lenovo (Singapore) Pte. Ltd. | Combining multiple slate displays into a larger display matrix |
US8959013B2 (en) | 2010-09-27 | 2015-02-17 | Apple Inc. | Virtual keyboard for a non-tactile three dimensional user interface |
TW201215442A (en) * | 2010-10-06 | 2012-04-16 | Hon Hai Prec Ind Co Ltd | Unmanned Aerial Vehicle control system and method |
IL208600A (en) * | 2010-10-10 | 2016-07-31 | Rafael Advanced Defense Systems Ltd | Real-time network-based laminated reality for mobile devices |
US20120086630A1 (en) * | 2010-10-12 | 2012-04-12 | Sony Computer Entertainment Inc. | Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system |
US9043732B2 (en) | 2010-10-21 | 2015-05-26 | Nokia Corporation | Apparatus and method for user input for controlling displayed information |
US9489102B2 (en) * | 2010-10-22 | 2016-11-08 | Hewlett-Packard Development Company, L.P. | System and method of modifying lighting in a display system |
US8854802B2 (en) | 2010-10-22 | 2014-10-07 | Hewlett-Packard Development Company, L.P. | Display with rotatable display screen |
US9164581B2 (en) | 2010-10-22 | 2015-10-20 | Hewlett-Packard Development Company, L.P. | Augmented reality display system and method of display |
JP5815932B2 (ja) * | 2010-10-27 | 2015-11-17 | 京セラ株式会社 | 電子機器 |
KR101492310B1 (ko) | 2010-11-01 | 2015-02-11 | 닌텐도가부시키가이샤 | 조작 장치 및 정보 처리 장치 |
US8619030B2 (en) * | 2010-11-09 | 2013-12-31 | Blackberry Limited | Method and apparatus for controlling an output device of a portable electronic device |
JP5703703B2 (ja) * | 2010-11-11 | 2015-04-22 | ソニー株式会社 | 情報処理装置、立体視表示方法及びプログラム |
US9584735B2 (en) * | 2010-11-12 | 2017-02-28 | Arcsoft, Inc. | Front and back facing cameras |
KR101303994B1 (ko) * | 2010-11-24 | 2013-09-04 | 한국전자통신연구원 | 가상 현실 기반 훈련 가이드 시스템 및 그 방법 |
US20130249792A1 (en) * | 2010-12-03 | 2013-09-26 | App.Lab Inc. | System and method for presenting images |
US8872762B2 (en) | 2010-12-08 | 2014-10-28 | Primesense Ltd. | Three dimensional user interface cursor control |
KR20120064557A (ko) * | 2010-12-09 | 2012-06-19 | 한국전자통신연구원 | 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법 |
US20120162384A1 (en) * | 2010-12-22 | 2012-06-28 | Vesely Michael A | Three-Dimensional Collaboration |
JP5122659B2 (ja) * | 2011-01-07 | 2013-01-16 | 任天堂株式会社 | 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム |
US9618972B2 (en) * | 2011-01-20 | 2017-04-11 | Blackberry Limited | Three-dimensional, multi-depth presentation of icons in association with differing input components of a user interface |
US20120192088A1 (en) * | 2011-01-20 | 2012-07-26 | Avaya Inc. | Method and system for physical mapping in a virtual world |
US9480913B2 (en) | 2011-01-26 | 2016-11-01 | WhitewaterWest Industries Ltd. | Interactive entertainment using a mobile device with object tagging and/or hyperlinking |
US8421752B2 (en) * | 2011-01-27 | 2013-04-16 | Research In Motion Limited | Portable electronic device and method therefor |
EP2485119A3 (en) * | 2011-02-02 | 2012-12-12 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
EP2672880B1 (en) | 2011-02-09 | 2019-05-22 | Apple Inc. | Gaze detection in a 3d mapping environment |
US9298362B2 (en) * | 2011-02-11 | 2016-03-29 | Nokia Technologies Oy | Method and apparatus for sharing media in a multi-device environment |
US9507416B2 (en) * | 2011-02-22 | 2016-11-29 | Robert Howard Kimball | Providing a corrected view based on the position of a user with respect to a mobile platform |
GB201103346D0 (en) | 2011-02-28 | 2011-04-13 | Dev Ltd | Improvements in or relating to optical navigation devices |
JP5792971B2 (ja) | 2011-03-08 | 2015-10-14 | 任天堂株式会社 | 情報処理システム、情報処理プログラム、および情報処理方法 |
US9925464B2 (en) | 2011-03-08 | 2018-03-27 | Nintendo Co., Ltd. | Computer-readable storage medium, information processing system, and information processing method for displaying an image on a display device using attitude data of a display device |
US9561443B2 (en) | 2011-03-08 | 2017-02-07 | Nintendo Co., Ltd. | Computer-readable storage medium, information processing system, and information processing method |
EP2497543A3 (en) | 2011-03-08 | 2012-10-03 | Nintendo Co., Ltd. | Information processing program, information processing system, and information processing method |
EP2497545B1 (en) | 2011-03-08 | 2019-08-07 | Nintendo Co., Ltd. | Information processing program, information processing system, and information processing method |
EP2497547B1 (en) | 2011-03-08 | 2018-06-27 | Nintendo Co., Ltd. | Information processing program, information processing apparatus, information processing system, and information processing method |
CN102859470B (zh) * | 2011-03-15 | 2015-12-02 | 松下电器(美国)知识产权公司 | 对象控制装置、对象控制方法以及集成电路 |
US9857868B2 (en) | 2011-03-19 | 2018-01-02 | The Board Of Trustees Of The Leland Stanford Junior University | Method and system for ergonomic touch-free interface |
US20120242793A1 (en) * | 2011-03-21 | 2012-09-27 | Soungmin Im | Display device and method of controlling the same |
US8839411B2 (en) | 2011-03-30 | 2014-09-16 | Elwha Llc | Providing particular level of access to one or more items in response to determining primary control of a computing device |
US8739275B2 (en) | 2011-03-30 | 2014-05-27 | Elwha Llc | Marking one or more items in response to determining device transfer |
US8613075B2 (en) | 2011-03-30 | 2013-12-17 | Elwha Llc | Selective item access provision in response to active item ascertainment upon device transfer |
US8918861B2 (en) | 2011-03-30 | 2014-12-23 | Elwha Llc | Marking one or more items in response to determining device transfer |
US8726366B2 (en) | 2011-03-30 | 2014-05-13 | Elwha Llc | Ascertaining presentation format based on device primary control determination |
US9153194B2 (en) | 2011-03-30 | 2015-10-06 | Elwha Llc | Presentation format selection based at least on device transfer determination |
US9317111B2 (en) | 2011-03-30 | 2016-04-19 | Elwha, Llc | Providing greater access to one or more items in response to verifying device transfer |
US8863275B2 (en) | 2011-03-30 | 2014-10-14 | Elwha Llc | Access restriction in response to determining device transfer |
US8713670B2 (en) | 2011-03-30 | 2014-04-29 | Elwha Llc | Ascertaining presentation format based on device primary control determination |
US8726367B2 (en) * | 2011-03-30 | 2014-05-13 | Elwha Llc | Highlighting in response to determining device transfer |
US8745725B2 (en) * | 2011-03-30 | 2014-06-03 | Elwha Llc | Highlighting in response to determining device transfer |
CN110084876A (zh) | 2011-04-08 | 2019-08-02 | 皇家飞利浦有限公司 | 图像处理系统和方法 |
JP5829040B2 (ja) * | 2011-04-11 | 2015-12-09 | 任天堂株式会社 | ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法 |
JP2012226182A (ja) * | 2011-04-20 | 2012-11-15 | Sony Corp | 画像表示制御装置、画像表示システム、画像表示制御方法、並びにコンピューター・プログラム |
US8840466B2 (en) | 2011-04-25 | 2014-09-23 | Aquifi, Inc. | Method and system to create three-dimensional mapping in a two-dimensional game |
US20120274589A1 (en) * | 2011-04-28 | 2012-11-01 | De Angelo Michael J | Apparatus, system, and method for remote interaction with a computer display or computer visualization or object |
US8702507B2 (en) | 2011-04-28 | 2014-04-22 | Microsoft Corporation | Manual and camera-based avatar control |
US20120280898A1 (en) * | 2011-05-03 | 2012-11-08 | Nokia Corporation | Method, apparatus and computer program product for controlling information detail in a multi-device environment |
US8788973B2 (en) | 2011-05-23 | 2014-07-22 | Microsoft Corporation | Three-dimensional gesture controlled avatar configuration interface |
US10120438B2 (en) | 2011-05-25 | 2018-11-06 | Sony Interactive Entertainment Inc. | Eye gaze to alter device behavior |
US8744169B2 (en) * | 2011-05-31 | 2014-06-03 | Toyota Motor Europe Nv/Sa | Voting strategy for visual ego-motion from stereo |
US9259645B2 (en) * | 2011-06-03 | 2016-02-16 | Nintendo Co., Ltd. | Storage medium having stored therein an image generation program, image generation method, image generation apparatus and image generation system |
JP5918618B2 (ja) * | 2011-06-03 | 2016-05-18 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
JP2012256110A (ja) * | 2011-06-07 | 2012-12-27 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
JP6074170B2 (ja) * | 2011-06-23 | 2017-02-01 | インテル・コーポレーション | 近距離動作のトラッキングのシステムおよび方法 |
US11048333B2 (en) | 2011-06-23 | 2021-06-29 | Intel Corporation | System and method for close-range movement tracking |
US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
US9459758B2 (en) | 2011-07-05 | 2016-10-04 | Apple Inc. | Gesture-based interface with enhanced features |
US9377865B2 (en) | 2011-07-05 | 2016-06-28 | Apple Inc. | Zoom-based gesture user interface |
JP5830987B2 (ja) * | 2011-07-06 | 2015-12-09 | ソニー株式会社 | 表示制御装置、表示制御方法およびコンピュータプログラム |
KR101302638B1 (ko) | 2011-07-08 | 2013-09-05 | 더디엔에이 주식회사 | 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체 |
JP5919665B2 (ja) * | 2011-07-19 | 2016-05-18 | 日本電気株式会社 | 情報処理装置、物体追跡方法および情報処理プログラム |
US20130044258A1 (en) * | 2011-08-15 | 2013-02-21 | Danfung Dennis | Method for presenting video content on a hand-held electronic device |
US9030498B2 (en) | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
KR101189633B1 (ko) * | 2011-08-22 | 2012-10-10 | 성균관대학교산학협력단 | 손가락 움직임에 따른 포인터 제어명령어 인식 방법 및 손가락 움직임에 따라 포인터를 제어하는 모바일 단말 |
JP5694883B2 (ja) * | 2011-08-23 | 2015-04-01 | 京セラ株式会社 | 表示機器 |
US9122311B2 (en) | 2011-08-24 | 2015-09-01 | Apple Inc. | Visual feedback for tactile and non-tactile user interfaces |
US20130050414A1 (en) * | 2011-08-24 | 2013-02-28 | Ati Technologies Ulc | Method and system for navigating and selecting objects within a three-dimensional video image |
US9218063B2 (en) | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
US20130050499A1 (en) * | 2011-08-30 | 2013-02-28 | Qualcomm Incorporated | Indirect tracking |
US20150138300A1 (en) | 2011-09-02 | 2015-05-21 | Microsoft Technology Licensing, Llc | Mobile Video Calls |
US8903127B2 (en) | 2011-09-16 | 2014-12-02 | Harman International (China) Holdings Co., Ltd. | Egomotion estimation system and method |
WO2013040498A1 (en) | 2011-09-16 | 2013-03-21 | Translucent Medical, Inc. | System and method for virtually tracking a surgical tool on a movable display |
EP2575007A1 (en) * | 2011-09-27 | 2013-04-03 | Elo Touch Solutions, Inc. | Scaling of gesture based input |
US8842057B2 (en) | 2011-09-27 | 2014-09-23 | Z124 | Detail on triggers: transitional states |
EP2575006B1 (en) * | 2011-09-27 | 2018-06-13 | Elo Touch Solutions, Inc. | Touch and non touch based interaction of a user with a device |
US9423876B2 (en) | 2011-09-30 | 2016-08-23 | Microsoft Technology Licensing, Llc | Omni-spatial gesture input |
US8711091B2 (en) * | 2011-10-14 | 2014-04-29 | Lenovo (Singapore) Pte. Ltd. | Automatic logical position adjustment of multiple screens |
US20130100008A1 (en) * | 2011-10-19 | 2013-04-25 | Stefan J. Marti | Haptic Response Module |
US20130125016A1 (en) * | 2011-11-11 | 2013-05-16 | Barnesandnoble.Com Llc | System and method for transferring content between devices |
KR101915985B1 (ko) * | 2011-11-16 | 2018-11-07 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
EP2600319A1 (fr) * | 2011-11-29 | 2013-06-05 | Gemalto SA | Système d'appairage entre un terminal et un élément de type eGo porté au poignet ou à la main d'un utilisateur et procédé correspondant |
DE112011105927T5 (de) * | 2011-12-07 | 2014-09-11 | Intel Corporation | Grafik-Renderingverfahren für autostereoskopisches dreidimensionales Display |
US9164544B2 (en) | 2011-12-09 | 2015-10-20 | Z124 | Unified desktop: laptop dock, hardware configuration |
WO2013089776A2 (en) * | 2011-12-16 | 2013-06-20 | Intel Corporation | Driving multiple displays using a single display engine |
US9223138B2 (en) | 2011-12-23 | 2015-12-29 | Microsoft Technology Licensing, Llc | Pixel opacity for augmented reality |
CN104094193B (zh) * | 2011-12-27 | 2017-11-17 | 英特尔公司 | 移动设备上的全3d交互 |
US8638498B2 (en) | 2012-01-04 | 2014-01-28 | David D. Bohn | Eyebox adjustment for interpupillary distance |
US20130191787A1 (en) * | 2012-01-06 | 2013-07-25 | Tourwrist, Inc. | Systems and Methods for Acceleration-Based Motion Control of Virtual Tour Applications |
EP2615580B1 (en) * | 2012-01-13 | 2016-08-17 | Softkinetic Software | Automatic scene calibration |
US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US8854433B1 (en) | 2012-02-03 | 2014-10-07 | Aquifi, Inc. | Method and system enabling natural user interface gestures with an electronic system |
US9779643B2 (en) | 2012-02-15 | 2017-10-03 | Microsoft Technology Licensing, Llc | Imaging structure emitter configurations |
US9726887B2 (en) | 2012-02-15 | 2017-08-08 | Microsoft Technology Licensing, Llc | Imaging structure color conversion |
US9297996B2 (en) | 2012-02-15 | 2016-03-29 | Microsoft Technology Licensing, Llc | Laser illumination scanning |
US9368546B2 (en) | 2012-02-15 | 2016-06-14 | Microsoft Technology Licensing, Llc | Imaging structure with embedded light sources |
US8786517B2 (en) * | 2012-02-21 | 2014-07-22 | Blackberry Limited | System and method for displaying a user interface across multiple electronic devices |
CN103294173A (zh) * | 2012-02-24 | 2013-09-11 | 冠捷投资有限公司 | 基于使用者动作的遥控系统及其方法 |
US9229534B2 (en) | 2012-02-28 | 2016-01-05 | Apple Inc. | Asymmetric mapping for tactile and non-tactile user interfaces |
KR101310498B1 (ko) * | 2012-03-06 | 2013-10-10 | 서울대학교산학협력단 | 3차원 영상 표시 장치 및 그 방법 |
US9578318B2 (en) | 2012-03-14 | 2017-02-21 | Microsoft Technology Licensing, Llc | Imaging structure emitter calibration |
JP2013196156A (ja) * | 2012-03-16 | 2013-09-30 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
US9575710B2 (en) | 2012-03-19 | 2017-02-21 | Lenovo (Beijing) Co., Ltd. | Electronic device and information processing method thereof |
US11068049B2 (en) | 2012-03-23 | 2021-07-20 | Microsoft Technology Licensing, Llc | Light guide display and field of view |
US9377863B2 (en) | 2012-03-26 | 2016-06-28 | Apple Inc. | Gaze-enhanced virtual touchscreen |
US10191515B2 (en) * | 2012-03-28 | 2019-01-29 | Microsoft Technology Licensing, Llc | Mobile device light guide display |
US9558590B2 (en) | 2012-03-28 | 2017-01-31 | Microsoft Technology Licensing, Llc | Augmented reality light guide display |
US8933912B2 (en) | 2012-04-02 | 2015-01-13 | Microsoft Corporation | Touch sensitive user interface with three dimensional input sensor |
US9717981B2 (en) | 2012-04-05 | 2017-08-01 | Microsoft Technology Licensing, Llc | Augmented reality and physical games |
KR101793628B1 (ko) | 2012-04-08 | 2017-11-06 | 삼성전자주식회사 | 투명 디스플레이 장치 및 그 디스플레이 방법 |
US9477303B2 (en) | 2012-04-09 | 2016-10-25 | Intel Corporation | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface |
KR20130117553A (ko) * | 2012-04-18 | 2013-10-28 | 한국전자통신연구원 | 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법 |
KR20140135839A (ko) * | 2012-04-20 | 2014-11-26 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 복수의 장치를 이용하는 온라인 게임 경험 |
US9201495B2 (en) * | 2012-04-24 | 2015-12-01 | Mobitv, Inc. | Control of perspective in multi-dimensional media |
US9736604B2 (en) | 2012-05-11 | 2017-08-15 | Qualcomm Incorporated | Audio user interaction recognition and context refinement |
US9746916B2 (en) | 2012-05-11 | 2017-08-29 | Qualcomm Incorporated | Audio user interaction recognition and application interface |
US10502876B2 (en) | 2012-05-22 | 2019-12-10 | Microsoft Technology Licensing, Llc | Waveguide optics focus elements |
US9798457B2 (en) | 2012-06-01 | 2017-10-24 | Microsoft Technology Licensing, Llc | Synchronization of media interactions using context |
US9381427B2 (en) * | 2012-06-01 | 2016-07-05 | Microsoft Technology Licensing, Llc | Generic companion-messaging between media platforms |
US8989535B2 (en) | 2012-06-04 | 2015-03-24 | Microsoft Technology Licensing, Llc | Multiple waveguide imaging structure |
EP2677500B1 (en) | 2012-06-19 | 2021-06-23 | Samsung Electronics Co., Ltd. | Event-based image processing apparatus and method |
US8837780B2 (en) * | 2012-06-22 | 2014-09-16 | Hewlett-Packard Development Company, L.P. | Gesture based human interfaces |
JP5910880B2 (ja) * | 2012-06-22 | 2016-04-27 | コニカミノルタ株式会社 | 操作表示システム、プログラム、携帯端末、操作表示装置、携帯端末プログラム |
US9092184B2 (en) * | 2012-06-22 | 2015-07-28 | Harborside Press, LLC | Interactive synchronized multi-screen display |
US8934675B2 (en) | 2012-06-25 | 2015-01-13 | Aquifi, Inc. | Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints |
US9111135B2 (en) | 2012-06-25 | 2015-08-18 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera |
US20140002336A1 (en) * | 2012-06-27 | 2014-01-02 | Greg D. Kaine | Peripheral device for visual and/or tactile feedback |
US8532675B1 (en) | 2012-06-27 | 2013-09-10 | Blackberry Limited | Mobile communication device user interface for manipulation of data items in a physical space |
US20140006472A1 (en) * | 2012-06-28 | 2014-01-02 | David Van Brink | Locating a Device |
US20140002339A1 (en) * | 2012-06-28 | 2014-01-02 | David Brent GUARD | Surface With Touch Sensors for Detecting Proximity |
US9235373B2 (en) * | 2012-06-30 | 2016-01-12 | At&T Intellectual Property I, L.P. | Real-time management of content depicted on a plurality of displays |
DE112012006199T5 (de) * | 2012-06-30 | 2014-12-24 | Hewlett-Packard Development Company, L.P. | Virtuelle Hand basierend auf kombinierten Daten |
US10076685B2 (en) | 2012-07-02 | 2018-09-18 | Russell Brands, Llc | Operations with instrumented game ball |
US10616663B2 (en) | 2012-07-02 | 2020-04-07 | Russell Brands, Llc | Computer-implemented capture of live sporting event data |
US20140089850A1 (en) * | 2012-09-22 | 2014-03-27 | Tourwrist, Inc. | Systems and Methods of Using Motion Control to Navigate Panoramas and Virtual Tours |
KR20140004448A (ko) * | 2012-07-03 | 2014-01-13 | 삼성전자주식회사 | 영상 제공 방법 및 장치 |
TW201403446A (zh) * | 2012-07-09 | 2014-01-16 | Hon Hai Prec Ind Co Ltd | 軟體介面顯示系統及方法 |
US9305514B1 (en) * | 2012-07-31 | 2016-04-05 | Trend Micro Inc. | Detection of relative positions of tablet computers |
US20140037135A1 (en) * | 2012-07-31 | 2014-02-06 | Omek Interactive, Ltd. | Context-driven adjustment of camera parameters |
US9245428B2 (en) * | 2012-08-02 | 2016-01-26 | Immersion Corporation | Systems and methods for haptic remote control gaming |
JP6012068B2 (ja) * | 2012-08-28 | 2016-10-25 | 日本電気株式会社 | 電子機器、その制御方法及びプログラム |
US8836768B1 (en) | 2012-09-04 | 2014-09-16 | Aquifi, Inc. | Method and system enabling natural user interface gestures with user wearable glasses |
EP2708982B1 (en) * | 2012-09-18 | 2019-09-11 | Samsung Electronics Co., Ltd | Method for guiding the user of a controller of a multimedia apparatus to move within recognizable range of the multimedia apparatus, the multimedia apparatus, and target tracking apparatus thereof |
GB2506203B (en) * | 2012-09-25 | 2016-12-14 | Jaguar Land Rover Ltd | Method of interacting with a simulated object |
WO2014050957A1 (ja) * | 2012-09-27 | 2014-04-03 | 京セラ株式会社 | 表示装置、制御方法および制御プログラム |
US9026924B2 (en) * | 2012-10-05 | 2015-05-05 | Lenovo (Singapore) Pte. Ltd. | Devices, systems, and methods for moving electronic windows between displays |
JP6178066B2 (ja) * | 2012-11-06 | 2017-08-09 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理方法、プログラム及び情報記憶媒体 |
US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
US9658695B2 (en) * | 2012-11-08 | 2017-05-23 | Cuesta Technology Holdings, Llc | Systems and methods for alternative control of touch-based devices |
US9671874B2 (en) | 2012-11-08 | 2017-06-06 | Cuesta Technology Holdings, Llc | Systems and methods for extensions to alternative control of touch-based devices |
WO2014071635A1 (en) * | 2012-11-12 | 2014-05-15 | Hulu Llc | Combining multiple screens from multiple devices in video playback |
KR101416378B1 (ko) * | 2012-11-27 | 2014-07-09 | 현대자동차 주식회사 | 영상 이동이 가능한 디스플레이 장치 및 방법 |
KR101480300B1 (ko) * | 2012-11-30 | 2015-01-12 | 한국과학기술원 | 메인 스크린과 제2 스크린 간의 상대 위치를 이용한 인터랙티브 콘텐트 제공 시스템 및 그 방법 |
JP5857946B2 (ja) * | 2012-11-30 | 2016-02-10 | カシオ計算機株式会社 | 画像処理装置、画像処理方法およびプログラム |
US10101905B1 (en) * | 2012-12-07 | 2018-10-16 | American Megatrends, Inc. | Proximity-based input device |
US8976172B2 (en) | 2012-12-15 | 2015-03-10 | Realitycap, Inc. | Three-dimensional scanning using existing sensors on portable electronic devices |
FR2999741B1 (fr) * | 2012-12-17 | 2015-02-06 | Centre Nat Rech Scient | Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel |
KR101956073B1 (ko) | 2012-12-20 | 2019-03-08 | 삼성전자주식회사 | 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법 |
US10192358B2 (en) | 2012-12-20 | 2019-01-29 | Microsoft Technology Licensing, Llc | Auto-stereoscopic augmented reality display |
JP2014127124A (ja) * | 2012-12-27 | 2014-07-07 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
CN103902195B (zh) * | 2012-12-28 | 2017-02-22 | 鸿富锦精密工业(武汉)有限公司 | 显示屏幕自动调节系统及方法 |
KR20140138224A (ko) * | 2013-01-06 | 2014-12-03 | 인텔 코오퍼레이션 | 터치 데이터의 분산된 전처리와 디스플레이 영역 제어를 위한 방법, 장치, 및 시스템 |
US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
US9626015B2 (en) | 2013-01-08 | 2017-04-18 | Leap Motion, Inc. | Power consumption in motion-capture systems with audio and optical signals |
US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
US9696867B2 (en) | 2013-01-15 | 2017-07-04 | Leap Motion, Inc. | Dynamic user interactions for display control and identifying dominant gestures |
CN103945030B (zh) * | 2013-01-17 | 2017-06-30 | 信泰光学(深圳)有限公司 | 组合式装置及其操作方法 |
KR101822463B1 (ko) | 2013-01-21 | 2018-01-26 | 삼성전자주식회사 | 복수 개의 아이콘들을 화면상에 배치하는 장치 및 이의 운용 방법 |
US9161167B2 (en) * | 2013-01-23 | 2015-10-13 | Qualcomm Incorporated | Visual identifier of third party location |
TWI510084B (zh) * | 2013-01-25 | 2015-11-21 | Sintai Optical Shenzhen Co Ltd | 組合式裝置及其操作方法 |
US9092665B2 (en) | 2013-01-30 | 2015-07-28 | Aquifi, Inc | Systems and methods for initializing motion tracking of human hands |
US9129155B2 (en) | 2013-01-30 | 2015-09-08 | Aquifi, Inc. | Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map |
US9330471B2 (en) * | 2013-02-14 | 2016-05-03 | Qualcomm Incorporated | Camera aided motion direction and speed estimation |
US20140236726A1 (en) * | 2013-02-18 | 2014-08-21 | Disney Enterprises, Inc. | Transference of data associated with a product and/or product package |
US9858031B2 (en) * | 2013-03-11 | 2018-01-02 | International Business Machines Corporation | Colony desktop hive display: creating an extended desktop display from multiple mobile devices using near-field or other networking |
US9210526B2 (en) * | 2013-03-14 | 2015-12-08 | Intel Corporation | Audio localization techniques for visual effects |
WO2014200589A2 (en) | 2013-03-15 | 2014-12-18 | Leap Motion, Inc. | Determining positional information for an object in space |
US20140274384A1 (en) * | 2013-03-15 | 2014-09-18 | Electronic Arts Inc. | Delivering and consuming interactive video gaming content |
WO2014155508A1 (ja) * | 2013-03-26 | 2014-10-02 | Necディスプレイソリューションズ株式会社 | マルチディスプレイシステム |
JP2015026286A (ja) * | 2013-07-26 | 2015-02-05 | セイコーエプソン株式会社 | 表示装置、表示システムおよび表示装置の制御方法 |
WO2014163214A1 (en) * | 2013-04-01 | 2014-10-09 | Lg Electronics Inc. | Image display device for providing function of changing screen display direction and method thereof |
US9298266B2 (en) | 2013-04-02 | 2016-03-29 | Aquifi, Inc. | Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects |
US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
KR102210054B1 (ko) * | 2013-04-08 | 2021-02-02 | 스냅 아이엔씨 | 멀티-카메라 장치를 사용하는 거리 추정 |
US9323338B2 (en) | 2013-04-12 | 2016-04-26 | Usens, Inc. | Interactive input system and method |
US20140354602A1 (en) * | 2013-04-12 | 2014-12-04 | Impression.Pi, Inc. | Interactive input system and method |
US9367136B2 (en) * | 2013-04-12 | 2016-06-14 | Microsoft Technology Licensing, Llc | Holographic object feedback |
US20140315489A1 (en) * | 2013-04-22 | 2014-10-23 | Htc Corporation | Method for performing wireless display sharing, and associated apparatus and associated computer program product |
US9395764B2 (en) * | 2013-04-25 | 2016-07-19 | Filippo Costanzo | Gestural motion and speech interface control method for 3d audio-video-data navigation on handheld devices |
US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
US9952684B2 (en) | 2013-05-09 | 2018-04-24 | Samsung Electronics Co., Ltd. | Input apparatus, pointing apparatus, method for displaying pointer, and recordable medium |
US9417835B2 (en) | 2013-05-10 | 2016-08-16 | Google Inc. | Multiplayer game for display across multiple devices |
US9747696B2 (en) | 2013-05-17 | 2017-08-29 | Leap Motion, Inc. | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space |
KR101469178B1 (ko) | 2013-05-22 | 2014-12-04 | 주식회사 인피니트헬스케어 | 다중 모바일 장치를 활용한 의료영상 표시 방법 및 시스템 |
US9727298B2 (en) * | 2013-05-28 | 2017-08-08 | Sony Corporation | Device and method for allocating data based on an arrangement of elements in an image |
US11020016B2 (en) | 2013-05-30 | 2021-06-01 | Auris Health, Inc. | System and method for displaying anatomy and devices on a movable display |
US20140365558A1 (en) * | 2013-06-05 | 2014-12-11 | Wolfgis, Llc | System and method for visualizing complex gis location-based datasets |
KR20150000783A (ko) * | 2013-06-25 | 2015-01-05 | 삼성전자주식회사 | 멀티 스크린을 이용한 디스플레이 방법 및 장치 |
US9798388B1 (en) | 2013-07-31 | 2017-10-24 | Aquifi, Inc. | Vibrotactile system to augment 3D input systems |
US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
DE102013013698A1 (de) * | 2013-08-16 | 2015-02-19 | Audi Ag | Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille |
US9687059B2 (en) | 2013-08-23 | 2017-06-27 | Preemadonna Inc. | Nail decorating apparatus |
US11265444B2 (en) | 2013-08-23 | 2022-03-01 | Preemadonna Inc. | Apparatus for applying coating to nails |
US9721383B1 (en) | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
JP2015061107A (ja) * | 2013-09-17 | 2015-03-30 | 株式会社リコー | 配信管理装置、及び配信システム |
US10132635B2 (en) * | 2013-09-17 | 2018-11-20 | Invensense, Inc. | Method and apparatus for misalignment between device and pedestrian using vision |
US9456148B1 (en) * | 2013-09-18 | 2016-09-27 | Amazon Technologies, Inc. | Multi-setting preview for image capture |
JP6427858B2 (ja) * | 2013-09-19 | 2018-11-28 | セイコーエプソン株式会社 | 表示システム、画像表示装置および表示システムの制御方法 |
US9630631B2 (en) | 2013-10-03 | 2017-04-25 | Honda Motor Co., Ltd. | System and method for dynamic in-vehicle virtual reality |
US9715764B2 (en) * | 2013-10-03 | 2017-07-25 | Honda Motor Co., Ltd. | System and method for dynamic in-vehicle virtual reality |
US9536353B2 (en) | 2013-10-03 | 2017-01-03 | Honda Motor Co., Ltd. | System and method for dynamic in-vehicle virtual reality |
US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
US9547173B2 (en) | 2013-10-03 | 2017-01-17 | Honda Motor Co., Ltd. | System and method for dynamic in-vehicle virtual reality |
CN110687969B (zh) | 2013-10-30 | 2023-05-02 | 苹果公司 | 显示相关的用户界面对象 |
US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
US10048762B2 (en) * | 2013-11-05 | 2018-08-14 | Intuit Inc. | Remote control of a desktop application via a mobile device |
US9939925B2 (en) * | 2013-11-26 | 2018-04-10 | Adobe Systems Incorporated | Behind-display user interface |
NL2011867C2 (en) * | 2013-11-29 | 2015-06-01 | Jasper Vis | Method and device for processing content for display. |
FR3014228B1 (fr) * | 2013-12-04 | 2017-04-28 | Renault Sas | Systeme de detection virtuelle |
JP2015115046A (ja) * | 2013-12-16 | 2015-06-22 | ソニー株式会社 | 情報処理装置、プログラム、情報処理方法及び情報処理システム |
KR101548228B1 (ko) * | 2013-12-27 | 2015-08-28 | 주식회사 케이티 | 사용자 상태에 기반하여 사용자 인터페이스를 동기화하는 동기화 기기 및 동기화 방법 |
JP2015127897A (ja) * | 2013-12-27 | 2015-07-09 | ソニー株式会社 | 表示制御装置、表示制御システム、表示制御方法、およびプログラム |
EP3090382B1 (en) | 2014-01-05 | 2023-08-30 | ManoMotion AB | Real-time 3d gesture recognition and tracking system for mobile devices |
US9507417B2 (en) | 2014-01-07 | 2016-11-29 | Aquifi, Inc. | Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects |
US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
KR20150087666A (ko) * | 2014-01-22 | 2015-07-30 | 삼성전자주식회사 | 휴대 단말의 입력 인터페이스 제공 방법 및 그 장치 |
US9619105B1 (en) | 2014-01-30 | 2017-04-11 | Aquifi, Inc. | Systems and methods for gesture based interaction with viewpoint dependent user interfaces |
US20150242179A1 (en) * | 2014-02-21 | 2015-08-27 | Smart Technologies Ulc | Augmented peripheral content using mobile device |
WO2015130748A1 (en) | 2014-02-28 | 2015-09-03 | Infomotion Sports Technologies, Inc. | Data processing inside gaming device |
WO2015136250A1 (en) * | 2014-03-10 | 2015-09-17 | Bae Systems Plc | Interactive information display |
GB201404134D0 (en) * | 2014-03-10 | 2014-04-23 | Bae Systems Plc | Interactive information display |
US9649558B2 (en) * | 2014-03-14 | 2017-05-16 | Sony Interactive Entertainment Inc. | Gaming device with rotatably placed cameras |
US20150268917A1 (en) * | 2014-03-20 | 2015-09-24 | Nokia Technologies Oy | Apparatus, method, and computer program product for aligning images viewed across multiple displays |
KR20150117018A (ko) * | 2014-04-09 | 2015-10-19 | 삼성전자주식회사 | 컴퓨팅 장치, 컴퓨팅 장치 제어 방법 및 다중 디스플레이 시스템 |
US20150301606A1 (en) * | 2014-04-18 | 2015-10-22 | Valentin Andrei | Techniques for improved wearable computing device gesture based interactions |
US9690370B2 (en) | 2014-05-05 | 2017-06-27 | Immersion Corporation | Systems and methods for viewport-based augmented reality haptic effects |
KR20150130845A (ko) * | 2014-05-14 | 2015-11-24 | 삼성전자주식회사 | 전자장치의 위치 측정 장치 및 방법 |
US10379614B2 (en) * | 2014-05-19 | 2019-08-13 | Immersion Corporation | Non-collocated haptic cues in immersive environments |
US9740338B2 (en) | 2014-05-22 | 2017-08-22 | Ubi interactive inc. | System and methods for providing a three-dimensional touch screen |
US9575560B2 (en) | 2014-06-03 | 2017-02-21 | Google Inc. | Radar-based gesture-recognition through a wearable device |
US9304235B2 (en) | 2014-07-30 | 2016-04-05 | Microsoft Technology Licensing, Llc | Microfabrication |
US10592080B2 (en) | 2014-07-31 | 2020-03-17 | Microsoft Technology Licensing, Llc | Assisted presentation of application windows |
US10678412B2 (en) | 2014-07-31 | 2020-06-09 | Microsoft Technology Licensing, Llc | Dynamic joint dividers for application windows |
US10254942B2 (en) | 2014-07-31 | 2019-04-09 | Microsoft Technology Licensing, Llc | Adaptive sizing and positioning of application windows |
US9811164B2 (en) | 2014-08-07 | 2017-11-07 | Google Inc. | Radar-based gesture sensing and data transmission |
CN204480228U (zh) | 2014-08-08 | 2015-07-15 | 厉动公司 | 运动感测和成像设备 |
US10268321B2 (en) * | 2014-08-15 | 2019-04-23 | Google Llc | Interactive textiles within hard objects |
US11169988B2 (en) | 2014-08-22 | 2021-11-09 | Google Llc | Radar recognition-aided search |
US9778749B2 (en) | 2014-08-22 | 2017-10-03 | Google Inc. | Occluded gesture recognition |
US9880799B1 (en) | 2014-08-26 | 2018-01-30 | Sprint Communications Company L.P. | Extendable display screens of electronic devices |
US20170201721A1 (en) * | 2014-09-30 | 2017-07-13 | Hewlett Packard Enterprise Development Lp | Artifact projection |
US9600080B2 (en) | 2014-10-02 | 2017-03-21 | Google Inc. | Non-line-of-sight radar-based gesture recognition |
CN105573687B (zh) * | 2014-10-10 | 2019-10-15 | 鸿富锦精密工业(深圳)有限公司 | 显示控制装置、电子设备及显示控制方法 |
US10523993B2 (en) | 2014-10-16 | 2019-12-31 | Disney Enterprises, Inc. | Displaying custom positioned overlays to a viewer |
GB2531531A (en) * | 2014-10-20 | 2016-04-27 | Bae Systems Plc | Optical inertial measurement apparatus and method |
US11045116B1 (en) * | 2017-09-15 | 2021-06-29 | David Martin | Enhanced determination of cadence for control in mobile |
US11504029B1 (en) | 2014-10-26 | 2022-11-22 | David Martin | Mobile control using gait cadence |
US10342462B2 (en) * | 2014-10-26 | 2019-07-09 | David Martin | Application of gait characteristics for mobile |
TWI521387B (zh) * | 2014-12-25 | 2016-02-11 | 國立臺灣大學 | 三維空間中之可重置式虛擬觸控板 |
US10762534B1 (en) * | 2014-12-29 | 2020-09-01 | Groupon, Inc. | Motion data based consumer interfaces |
JP5976145B2 (ja) * | 2015-02-05 | 2016-08-23 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム並びに記録媒体 |
US9372347B1 (en) | 2015-02-09 | 2016-06-21 | Microsoft Technology Licensing, Llc | Display system |
US11086216B2 (en) | 2015-02-09 | 2021-08-10 | Microsoft Technology Licensing, Llc | Generating electronic components |
US10317677B2 (en) | 2015-02-09 | 2019-06-11 | Microsoft Technology Licensing, Llc | Display system |
US9827209B2 (en) | 2015-02-09 | 2017-11-28 | Microsoft Technology Licensing, Llc | Display system |
US9429692B1 (en) | 2015-02-09 | 2016-08-30 | Microsoft Technology Licensing, Llc | Optical components |
US9535253B2 (en) | 2015-02-09 | 2017-01-03 | Microsoft Technology Licensing, Llc | Display system |
US9513480B2 (en) | 2015-02-09 | 2016-12-06 | Microsoft Technology Licensing, Llc | Waveguide |
US9423360B1 (en) | 2015-02-09 | 2016-08-23 | Microsoft Technology Licensing, Llc | Optical components |
US10018844B2 (en) | 2015-02-09 | 2018-07-10 | Microsoft Technology Licensing, Llc | Wearable image display system |
US9696795B2 (en) | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
CN111880650B (zh) | 2015-04-30 | 2024-07-05 | 谷歌有限责任公司 | 基于宽场雷达的手势识别 |
JP6517356B2 (ja) | 2015-04-30 | 2019-05-22 | グーグル エルエルシー | タイプに依存しないrf信号表現 |
US10241581B2 (en) | 2015-04-30 | 2019-03-26 | Google Llc | RF-based micro-motion tracking for gesture tracking and recognition |
US9693592B2 (en) | 2015-05-27 | 2017-07-04 | Google Inc. | Attaching electronic components to interactive textiles |
US10088908B1 (en) | 2015-05-27 | 2018-10-02 | Google Llc | Gesture detection and interactions |
US9870052B2 (en) * | 2015-06-11 | 2018-01-16 | Oculus Vr, Llc | Hand-held controller with pressure-sensing switch for virtual-reality systems |
US9607428B2 (en) | 2015-06-30 | 2017-03-28 | Ariadne's Thread (Usa), Inc. | Variable resolution virtual reality display system |
KR101808759B1 (ko) | 2015-06-30 | 2017-12-13 | 인천대학교 산학협력단 | 손 동작 상호작용 시스템 및 방법 |
US9860145B2 (en) | 2015-07-02 | 2018-01-02 | Microsoft Technology Licensing, Llc | Recording of inter-application data flow |
US9733993B2 (en) | 2015-07-02 | 2017-08-15 | Microsoft Technology Licensing, Llc | Application sharing using endpoint interface entities |
US9785484B2 (en) | 2015-07-02 | 2017-10-10 | Microsoft Technology Licensing, Llc | Distributed application interfacing across different hardware |
US9658836B2 (en) | 2015-07-02 | 2017-05-23 | Microsoft Technology Licensing, Llc | Automated generation of transformation chain compatible class |
US10261985B2 (en) | 2015-07-02 | 2019-04-16 | Microsoft Technology Licensing, Llc | Output rendering in dynamic redefining application |
US9712472B2 (en) | 2015-07-02 | 2017-07-18 | Microsoft Technology Licensing, Llc | Application spawning responsive to communication |
US9733915B2 (en) | 2015-07-02 | 2017-08-15 | Microsoft Technology Licensing, Llc | Building of compound application chain applications |
US10198252B2 (en) | 2015-07-02 | 2019-02-05 | Microsoft Technology Licensing, Llc | Transformation chain application splitting |
US10198405B2 (en) | 2015-07-08 | 2019-02-05 | Microsoft Technology Licensing, Llc | Rule-based layout of changing information |
US10031724B2 (en) | 2015-07-08 | 2018-07-24 | Microsoft Technology Licensing, Llc | Application operation responsive to object spatial status |
KR102105637B1 (ko) * | 2015-08-04 | 2020-06-26 | 구글 엘엘씨 | 가상 현실에서 오브젝트와 손의 상황 감지형 충돌을 통한 입력 |
US9454010B1 (en) | 2015-08-07 | 2016-09-27 | Ariadne's Thread (Usa), Inc. | Wide field-of-view head mounted display system |
US9606362B2 (en) | 2015-08-07 | 2017-03-28 | Ariadne's Thread (Usa), Inc. | Peripheral field-of-view illumination system for a head mounted display |
US9990008B2 (en) | 2015-08-07 | 2018-06-05 | Ariadne's Thread (Usa), Inc. | Modular multi-mode virtual reality headset |
KR102433879B1 (ko) * | 2015-08-21 | 2022-08-18 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
WO2017034886A1 (en) | 2015-08-24 | 2017-03-02 | Pcms Holdings, Inc. | Systems and methods for enhancing augmented reality experience with dynamic output mapping |
US10277582B2 (en) | 2015-08-27 | 2019-04-30 | Microsoft Technology Licensing, Llc | Application service architecture |
US10572209B2 (en) | 2015-09-16 | 2020-02-25 | Nec Display Solutions, Ltd. | Multi-display system |
US10620803B2 (en) * | 2015-09-29 | 2020-04-14 | Microsoft Technology Licensing, Llc | Selecting at least one graphical user interface item |
US10817065B1 (en) | 2015-10-06 | 2020-10-27 | Google Llc | Gesture recognition using multiple antenna |
EP3360029B1 (en) | 2015-10-08 | 2019-11-13 | PCMS Holdings, Inc. | Methods and systems of automatic calibration for dynamic display configurations |
KR102402048B1 (ko) * | 2015-10-14 | 2022-05-26 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US11609427B2 (en) | 2015-10-16 | 2023-03-21 | Ostendo Technologies, Inc. | Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays |
WO2017068926A1 (ja) * | 2015-10-21 | 2017-04-27 | ソニー株式会社 | 情報処理装置及びその制御方法、並びにコンピュータ・プログラム |
US10049493B1 (en) | 2015-10-22 | 2018-08-14 | Hoyt Architecture Lab, Inc | System and methods for providing interaction with elements in a virtual architectural visualization |
US11106273B2 (en) * | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
US10007339B2 (en) * | 2015-11-05 | 2018-06-26 | Oculus Vr, Llc | Controllers with asymmetric tracking patterns |
US20170131775A1 (en) * | 2015-11-10 | 2017-05-11 | Castar, Inc. | System and method of haptic feedback by referral of sensation |
US10776618B2 (en) | 2015-11-19 | 2020-09-15 | Lg Electronics Inc. | Mobile terminal and control method therefor |
US10061552B2 (en) * | 2015-11-25 | 2018-08-28 | International Business Machines Corporation | Identifying the positioning in a multiple display grid |
CN106817508B (zh) * | 2015-11-30 | 2019-11-22 | 华为技术有限公司 | 一种同步对象确定方法、装置和系统 |
US10089681B2 (en) | 2015-12-04 | 2018-10-02 | Nimbus Visulization, Inc. | Augmented reality commercial platform and method |
US20170177077A1 (en) * | 2015-12-09 | 2017-06-22 | National Taiwan University | Three-dimension interactive system and method for virtual reality |
US10345594B2 (en) | 2015-12-18 | 2019-07-09 | Ostendo Technologies, Inc. | Systems and methods for augmented near-eye wearable displays |
US10578882B2 (en) | 2015-12-28 | 2020-03-03 | Ostendo Technologies, Inc. | Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof |
US10976819B2 (en) | 2015-12-28 | 2021-04-13 | Microsoft Technology Licensing, Llc | Haptic feedback for non-touch surface interaction |
US10186081B2 (en) | 2015-12-29 | 2019-01-22 | Microsoft Technology Licensing, Llc | Tracking rigged smooth-surface models of articulated objects |
US20170185141A1 (en) * | 2015-12-29 | 2017-06-29 | Microsoft Technology Licensing, Llc | Hand tracking for interaction feedback |
US10565791B2 (en) | 2015-12-29 | 2020-02-18 | Microsoft Technology Licensing, Llc | Tracking rigged polygon-mesh models of articulated objects |
KR102418003B1 (ko) * | 2016-01-04 | 2022-07-07 | 삼성전자주식회사 | 복수의 디스플레이 장치들을 이용한 콘텐츠의 디스플레이 |
US10021373B2 (en) | 2016-01-11 | 2018-07-10 | Microsoft Technology Licensing, Llc | Distributing video among multiple display zones |
US10459597B2 (en) * | 2016-02-03 | 2019-10-29 | Salesforce.Com, Inc. | System and method to navigate 3D data on mobile and desktop |
CN105824593B (zh) * | 2016-03-09 | 2018-11-13 | 京东方科技集团股份有限公司 | 拼接屏显示系统及拼接显示方法 |
US10115234B2 (en) | 2016-03-21 | 2018-10-30 | Accenture Global Solutions Limited | Multiplatform based experience generation |
US20170285813A1 (en) * | 2016-03-29 | 2017-10-05 | Microsoft Technology Licensing, Llc | Touch-Input Support for an External Touch-Capable Display Device |
US9459692B1 (en) * | 2016-03-29 | 2016-10-04 | Ariadne's Thread (Usa), Inc. | Virtual reality headset with relative motion head tracker |
US10353203B2 (en) | 2016-04-05 | 2019-07-16 | Ostendo Technologies, Inc. | Augmented/virtual reality near-eye displays with edge imaging lens comprising a plurality of display devices |
KR101671831B1 (ko) * | 2016-04-11 | 2016-11-03 | 김수민 | 동작 인식 센서를 이용한 3차원 입력 장치 |
US10453431B2 (en) | 2016-04-28 | 2019-10-22 | Ostendo Technologies, Inc. | Integrated near-far light field display systems |
WO2017192167A1 (en) | 2016-05-03 | 2017-11-09 | Google Llc | Connecting an electronic component to an interactive textile |
US10522106B2 (en) | 2016-05-05 | 2019-12-31 | Ostendo Technologies, Inc. | Methods and apparatus for active transparency modulation |
US10175781B2 (en) | 2016-05-16 | 2019-01-08 | Google Llc | Interactive object with multiple electronics modules |
US10285456B2 (en) | 2016-05-16 | 2019-05-14 | Google Llc | Interactive fabric |
US10168976B2 (en) * | 2016-05-20 | 2019-01-01 | International Business Machines Corporation | Dynamic display arrangement |
DK201670595A1 (en) | 2016-06-11 | 2018-01-22 | Apple Inc | Configuring context-specific user interfaces |
US11816325B2 (en) | 2016-06-12 | 2023-11-14 | Apple Inc. | Application shortcuts for carplay |
US10718603B2 (en) | 2016-10-13 | 2020-07-21 | Six Degrees Space Ltd | Method and apparatus for indoor positioning |
US20180126268A1 (en) * | 2016-11-09 | 2018-05-10 | Zynga Inc. | Interactions between one or more mobile devices and a vr/ar headset |
US10579150B2 (en) | 2016-12-05 | 2020-03-03 | Google Llc | Concurrent detection of absolute distance and relative movement for sensing action gestures |
TWI700614B (zh) * | 2017-04-21 | 2020-08-01 | 宏達國際電子股份有限公司 | 追蹤系統的操作方法、控制器、追蹤系統及非揮發性電腦可讀取記錄媒體 |
KR101957417B1 (ko) * | 2017-06-14 | 2019-03-12 | (주)이더블유비엠 | 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법 |
TWI637363B (zh) * | 2017-07-26 | 2018-10-01 | 銘傳大學 | 擴增實境之人機互動系統 |
US11093197B2 (en) * | 2017-07-31 | 2021-08-17 | Stmicroelectronics, Inc. | System and method to increase display area utilizing a plurality of discrete displays |
EP3542252B1 (en) | 2017-08-10 | 2023-08-02 | Google LLC | Context-sensitive hand interaction |
US11231896B2 (en) * | 2017-08-25 | 2022-01-25 | Intel Corporation | Configuring display screen coordinates |
US10569172B2 (en) | 2017-09-19 | 2020-02-25 | Canon Kabushiki Kaisha | System and method of configuring a virtual camera |
DE102017217025A1 (de) * | 2017-09-26 | 2019-03-28 | Audi Ag | Verfahren und System zum Durchführen eines virtuellen Treffens zwischen wenigstens einer ersten Person und einer zweiten Person |
WO2019070886A1 (en) | 2017-10-04 | 2019-04-11 | Preemadonna Inc. | SYSTEMS AND METHODS FOR ADAPTIVE NAILS PRINTING AND COLLABORATIVE BEAUTY PLATFORM HOSTING |
US10849532B1 (en) * | 2017-12-08 | 2020-12-01 | Arizona Board Of Regents On Behalf Of Arizona State University | Computer-vision-based clinical assessment of upper extremity function |
EP3502837B1 (en) * | 2017-12-21 | 2021-08-11 | Nokia Technologies Oy | Apparatus, method and computer program for controlling scrolling of content |
CN107976811B (zh) * | 2017-12-25 | 2023-12-29 | 河南诺控信息技术有限公司 | 一种基于虚拟现实混合的仿真实验室及其仿真方法 |
US10497179B2 (en) | 2018-02-23 | 2019-12-03 | Hong Kong Applied Science and Technology Research Institute Company Limited | Apparatus and method for performing real object detection and control using a virtual reality head mounted display system |
KR102524586B1 (ko) * | 2018-04-30 | 2023-04-21 | 삼성전자주식회사 | 전자 장치 및 그 동작방법 |
US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
CN110830704B (zh) * | 2018-08-07 | 2021-10-22 | 纳宝株式会社 | 旋转图像生成方法及其装置 |
CN110796116A (zh) * | 2018-11-08 | 2020-02-14 | 英属开曼群岛商麦迪创科技股份有限公司 | 多面板显示系统、具有多面板显示系统的车辆及显示方法 |
US11741673B2 (en) | 2018-11-30 | 2023-08-29 | Interdigital Madison Patent Holdings, Sas | Method for mirroring 3D objects to light field displays |
CN109739358B (zh) * | 2019-01-03 | 2022-05-24 | 京东方科技集团股份有限公司 | 基于裸眼3d的手势碰撞检测方法及设备 |
US10867402B2 (en) | 2019-03-01 | 2020-12-15 | Here Global B.V. | System and method for determining distance to object on road |
US11675476B2 (en) | 2019-05-05 | 2023-06-13 | Apple Inc. | User interfaces for widgets |
US10849179B1 (en) | 2019-05-29 | 2020-11-24 | Bank Of America Corporation | Mobile network tool |
US11087489B2 (en) * | 2019-06-03 | 2021-08-10 | Disney Enterprises, Inc. | Systems and methods to facilitate interaction by one or more participants with content presented across multiple distinct physical locations |
CN115629730A (zh) * | 2019-07-23 | 2023-01-20 | 华为技术有限公司 | 显示方法及相关装置 |
US11341569B2 (en) * | 2019-10-25 | 2022-05-24 | 7-Eleven, Inc. | System and method for populating a virtual shopping cart based on video of a customer's shopping session at a physical store |
US11514650B2 (en) | 2019-12-03 | 2022-11-29 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for controlling thereof |
US11090873B1 (en) * | 2020-02-02 | 2021-08-17 | Robert Edwin Douglas | Optimizing analysis of a 3D printed object through integration of geo-registered virtual objects |
US11120639B1 (en) | 2020-04-24 | 2021-09-14 | Microsoft Technology Licensing, Llc | Projecting telemetry data to visualization models |
KR20210137340A (ko) * | 2020-05-08 | 2021-11-17 | 삼성디스플레이 주식회사 | 표시 장치 |
US11594192B2 (en) * | 2020-05-21 | 2023-02-28 | Dell Products, L.P. | Generating multi-monitor recommendations |
US11340707B2 (en) * | 2020-05-29 | 2022-05-24 | Microsoft Technology Licensing, Llc | Hand gesture-based emojis |
CN112083871A (zh) * | 2020-09-11 | 2020-12-15 | 北京字节跳动网络技术有限公司 | 控制电子设备的方法、装置、终端及存储介质 |
WO2022074791A1 (ja) * | 2020-10-08 | 2022-04-14 | マクセル株式会社 | 3次元拡張現実処理システム、3次元拡張現実処理方法、及び3次元拡張現実処理システムのユーザインターフェース装置 |
CN112399148B (zh) * | 2020-11-11 | 2023-05-23 | 郑州捷安高科股份有限公司 | 基于虚拟三维场景的虚拟监控方法及装置 |
CN112354179B (zh) * | 2020-11-23 | 2023-09-05 | 浙江中控信息产业股份有限公司 | 一种三维地理信息内容的显示与交互方法 |
JP7287379B2 (ja) * | 2020-12-10 | 2023-06-06 | セイコーエプソン株式会社 | 表示方法、検出装置、および、プログラム |
US11550404B2 (en) * | 2021-05-14 | 2023-01-10 | Microsoft Technology Licensing, Llc | Tilt-responsive techniques for sharing content |
US11425313B1 (en) | 2021-11-29 | 2022-08-23 | Unity Technologies Sf | Increasing dynamic range of a virtual production display |
US20240061546A1 (en) * | 2022-08-19 | 2024-02-22 | Mobeus Industries, Inc. | Implementing contactless interactions with displayed digital content |
US20230021589A1 (en) * | 2022-09-30 | 2023-01-26 | Intel Corporation | Determining external display orientation using ultrasound time of flight |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06508222A (ja) * | 1991-05-23 | 1994-09-14 | アタリ ゲームズ コーポレーション | モジュール式表示シミュレーター |
US5764871A (en) * | 1993-10-21 | 1998-06-09 | Eastman Kodak Company | Method and apparatus for constructing intermediate images for a depth image from stereo images using velocity vector fields |
US5956046A (en) * | 1997-12-17 | 1999-09-21 | Sun Microsystems, Inc. | Scene synchronization of multiple computer displays |
US6222465B1 (en) * | 1998-12-09 | 2001-04-24 | Lucent Technologies Inc. | Gesture-based computer interface |
JP2001091218A (ja) | 1999-09-14 | 2001-04-06 | Mitsubishi Electric Inf Technol Center America Inc | 3次元運動検知装置及び3次元運動検知方法 |
US7091926B2 (en) * | 2002-02-08 | 2006-08-15 | Kulas Charles J | Computer display system using multiple screens |
JP3880561B2 (ja) | 2002-09-05 | 2007-02-14 | 株式会社ソニー・コンピュータエンタテインメント | 表示システム |
CN100468515C (zh) * | 2003-12-19 | 2009-03-11 | 思比驰盖尔公司 | 把视觉数据作为显示设备位置的函数来映射的系统和方法 |
IL161002A0 (en) * | 2004-03-22 | 2004-08-31 | Itay Katz | Virtual video keyboard system |
US20060020562A1 (en) * | 2004-07-21 | 2006-01-26 | University Of Southern Mississippi | Apparatus and method for estimating optical flow |
BRPI0606477A2 (pt) | 2005-01-07 | 2009-06-30 | Gesturetek Inc | sensor de inclinação baseado em fluxo ótico |
JP2006208566A (ja) | 2005-01-26 | 2006-08-10 | Nec Corp | 液晶表示装置、移動体通信端末装置及び液晶表示方法 |
WO2006084385A1 (en) * | 2005-02-11 | 2006-08-17 | Macdonald Dettwiler & Associates Inc. | 3d imaging system |
KR101229283B1 (ko) | 2005-09-15 | 2013-02-15 | 올레그 스탄니슬라보비치 루린 | 가상 3차원 객체들의 시각화를 위한 방법 및 시스템 |
US20070091037A1 (en) * | 2005-10-21 | 2007-04-26 | Yee-Chun Lee | Energy Efficient Compact Display For Mobile Device |
KR100722229B1 (ko) * | 2005-12-02 | 2007-05-29 | 한국전자통신연구원 | 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법 |
US8855848B2 (en) * | 2007-06-05 | 2014-10-07 | GM Global Technology Operations LLC | Radar, lidar and camera enhanced methods for vehicle dynamics estimation |
KR20090011316A (ko) | 2007-07-25 | 2009-02-02 | 중앙대학교 산학협력단 | 능동형 입체디스플레이 장치 및 운용방법 |
DE602007012270D1 (de) * | 2007-11-16 | 2011-03-10 | Honda Res Inst Europe Gmbh | Verfahren und Vorrichtung zur kontinuierlichen Objekt-Hintergrund-Segmentierung in Bildern aus dynamischen Sichtszenen |
US20090219224A1 (en) * | 2008-02-28 | 2009-09-03 | Johannes Elg | Head tracking for enhanced 3d experience using face detection |
US8269842B2 (en) | 2008-06-11 | 2012-09-18 | Nokia Corporation | Camera gestures for user interface control |
AU2009282724B2 (en) | 2008-08-22 | 2014-12-04 | Google Inc. | Navigation in a three dimensional environment on a mobile device |
US20100053151A1 (en) * | 2008-09-02 | 2010-03-04 | Samsung Electronics Co., Ltd | In-line mediation for manipulating three-dimensional content on a display device |
US20100058205A1 (en) | 2008-09-04 | 2010-03-04 | Motorola, Inc. | Reconfigurable multiple-screen display |
US8803816B2 (en) | 2008-09-08 | 2014-08-12 | Qualcomm Incorporated | Multi-fold mobile device with configurable interface |
JP5504645B2 (ja) * | 2009-02-20 | 2014-05-28 | パナソニック株式会社 | 樹脂塗布装置および樹脂塗布用データ作成装置 |
-
2009
- 2009-04-09 US US12/421,363 patent/US20100053151A1/en not_active Abandoned
- 2009-04-15 US US12/424,117 patent/US8253649B2/en not_active Expired - Fee Related
- 2009-08-24 US US12/546,084 patent/US8253795B2/en not_active Expired - Fee Related
- 2009-08-28 KR KR1020090080586A patent/KR20100027976A/ko not_active Application Discontinuation
- 2009-08-31 US US12/551,287 patent/US8310537B2/en not_active Expired - Fee Related
- 2009-09-02 KR KR1020097024434A patent/KR101637990B1/ko active IP Right Grant
- 2009-09-02 WO PCT/KR2009/004947 patent/WO2010027193A2/en active Application Filing
-
2010
- 2010-02-03 US US12/699,568 patent/US8456524B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20100053151A1 (en) | 2010-03-04 |
KR20110082636A (ko) | 2011-07-20 |
US20100053324A1 (en) | 2010-03-04 |
WO2010027193A3 (en) | 2012-06-21 |
US8456524B2 (en) | 2013-06-04 |
KR20100027976A (ko) | 2010-03-11 |
US20100134618A1 (en) | 2010-06-03 |
US20100053164A1 (en) | 2010-03-04 |
US20100053322A1 (en) | 2010-03-04 |
US8253795B2 (en) | 2012-08-28 |
WO2010027193A2 (en) | 2010-03-11 |
US8310537B2 (en) | 2012-11-13 |
US8253649B2 (en) | 2012-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101637990B1 (ko) | 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링 | |
US11481923B2 (en) | Relocalization method and apparatus in camera pose tracking process, device, and storage medium | |
JP7344974B2 (ja) | マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム | |
WO2019223468A1 (zh) | 相机姿态追踪方法、装置、设备及系统 | |
CN106164982B (zh) | 基于影像的电子设备定位 | |
US9591295B2 (en) | Approaches for simulating three-dimensional views | |
US10007349B2 (en) | Multiple sensor gesture recognition | |
KR101591579B1 (ko) | 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링 | |
US9224237B2 (en) | Simulating three-dimensional views using planes of content | |
US20180096450A1 (en) | Shared virtual reality | |
US9454849B2 (en) | Augmented reality playspaces with adaptive game rules | |
CN102695032B (zh) | 信息处理装置、信息共享方法以及终端设备 | |
US10573060B1 (en) | Controller binding in virtual domes | |
EP2864932B1 (en) | Fingertip location for gesture input | |
EP3752983A1 (en) | Methods and apparatus for venue based augmented reality | |
US20130174213A1 (en) | Implicit sharing and privacy control through physical behaviors using sensor-rich devices | |
US20180033203A1 (en) | System and method for representing remote participants to a meeting | |
JP2014525089A (ja) | 3次元特徴シミュレーション | |
JP2014525089A5 (ko) | ||
KR102197615B1 (ko) | 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버 | |
EP3422145B1 (en) | Provision of virtual reality content | |
US10740957B1 (en) | Dynamic split screen | |
Gupta et al. | A survey on tracking techniques in augmented reality based application | |
Cheok et al. | Combined wireless hardware and real-time computer vision interface for tangible mixed reality | |
JP2020509505A (ja) | 拡張現実を提供するための方法、装置及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190619 Year of fee payment: 4 |