KR20110082636A - 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링 - Google Patents

임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링 Download PDF

Info

Publication number
KR20110082636A
KR20110082636A KR1020097024434A KR20097024434A KR20110082636A KR 20110082636 A KR20110082636 A KR 20110082636A KR 1020097024434 A KR1020097024434 A KR 1020097024434A KR 20097024434 A KR20097024434 A KR 20097024434A KR 20110082636 A KR20110082636 A KR 20110082636A
Authority
KR
South Korea
Prior art keywords
display
data
display component
dimensional content
physical location
Prior art date
Application number
KR1020097024434A
Other languages
English (en)
Other versions
KR101637990B1 (ko
Inventor
프란시스코 이마이
김성욱
스테판 마르티
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20110082636A publication Critical patent/KR20110082636A/ko
Application granted granted Critical
Publication of KR101637990B1 publication Critical patent/KR101637990B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00—Detection of the display position w.r.t. other display screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/359—Augmented reality

Abstract

둘 이상 디스플레이 구성 요소들은 3차원 콘텐츠의 공간적으로 상호 연관된 디스플레이들을 제공한다. 3차원 콘텐츠는 각 디스플레이를 위한 3차원 가상 카메라 위치를 결정하는 디스플레이들의 상대적인 위치인 동일한 가상 3차원 좌표들로 언급된 3차원 콘텐츠를 다중 디스플레이들로 렌더된다. 비록 획득되지 않더라도, 디스플레이들의 하나는 예를 들어, 휴대폰과 같은 이동 가능하고, 예를 들어, 랜탑과 같이 다른 고정된 또는 방랑할 수 있다. 각 디스플레이는 예를 들어 온라인 가상 세계로서 3차원 콘텐츠로 가상 카메라에 기초된 시야를 보여준다. 서로 각 장치의 상대적인 물리적 거리들 및 방향을 연속적으로 센싱 및 업데이팅함으로써 장치들은 공간적으로 상호 연관된 3차원 콘텐츠에 대한 시야를 사용자에게 보여준다. 각 장치는 3차원 콘텐츠의 지리적인 데이터의 공통 풀(common pool)을 사용하고, 이 데이터를 디스플레이 이미지들로 렌더한다.

Description

임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링{SPATIALLY CORRELATED RENDERING OF THREE-DIMENSIONAL CONTENT ON DISPLAY COMPONENTS HAVING ARBITRARY POSITIONS}
본 발명은 3차원 콘텐츠와 상호 작용하기 위한 시스템들 및 사용자 인터페이스들에 관한 것입니다. 특히, 본 발명은 이동 및 고정 디스플레이들 상에 사용자들이 3차원 콘텐츠와 상호 작용을 가능하기 위한 디스플레이 시스템들에 관한 것입니다.
인터넷 상 및 예를 들어, 비디오 게임들 및 의학적 이미징과 같은 다른 콘텐츠들에서 사용 가능한 많은 3차원 콘텐츠는 급속하게 증가하고 있다. 소비자들은 시나리오들의 많은 성장들에서 3차원에 대한 청취에 점점 더 익숙해질 것이다. 3차원 콘텐츠는 영화들, 의학적 이미징(예를 들어, MRI 측정), 온라인 가상 세계들(예를 들어, 제2 인생), 모델링 및 견본 만들기, 비디오 게임, 정보 가상, 건축, 원거리-훈련(tele-immersion) 및 협동, 지리 정보 시스템들(예를 들어, 구글 어스)에서 발견될 수 있다. 특히, 온라인 가상 세계들의 인기도는 오름세이고, 더 많은 사용자들이 고정, 데스크탑 모니터들뿐만 아니라 예를 들어, 휴대폰, 미디어 재생기와 같은 휴대 단말기들을 통해 가상 세계들과의 상호 작용을 한다.
그러나, 모바일 기기 뒤에 기술은 고정 모니터들과 비교하여 상대적으로 작은 모니터들을 가진 더 많은 다목적 기능을 만들어진다. 현재 모바일 기기들은 사용자들에게 자연적인, 직관에 의해 인식된, 몰입 경험을 가지는 그들의 모바일 기기들 상에서 3차원 콘텐츠와의 상호 작용 검색을 제공하지 못한다. 전형적으로 모바일 기기 디스플레이들은 예를 들어, 휴대폰은 디스플레이 구성 요소 상에 보여지는 시각적 각도의 정도들의 최대 값으로 표현될 수 있는 제한된 시야(field of view)만이 허용된다. 이것은 모바일 기기 디스플레이 크기가 일반적으로 기기의 크기에 의해 제한됨으로 인해 기인된다. 예를 들어, 비투영 디스플레이(non-projection display)의 크기는 디스플레이가 포함된 모바일 기기보다 더 클 수 없다. 그러므로, 모바일 디스플레이들(일반적으로 발광 디스플레이들)의 존재 해법들은 사용자들 위한 몰입 경험을 제한한다. 게다가, 예를 들어, 가상 세계들 또는 다른 3차원 콘텐츠를 모바일 기기들 상에 제1 사용자 시각에 의해 탐색하는 것은 몰입 경험을 생성하는 관점에서 매우 어렵다. 모바일 기기들은 사용자가 가상 주변들의 인식, 몰입 경험을 생성하는 중요한 관점에 충분히 제공할 수 없다.
예를 들어, 많은 고정 디스플레이들에 더하여 모바일 기기들은 특히 시야에 대해 몰입 사용자 경험을 제공하지 못함으로써 3차원 콘텐츠의 장점에 미치지 못한다. 거의 모든 모바일 기기들 및 다른 현재 디스플레이 시스템들은 3차원 콘텐츠와의 상호 작용을 하기 위한 사용자를 위한 몰입 환경을 제공하는데 실패하고, 제안된 시야를 가지는 단일 평면의 스크린을 사용한다. 몇몇 사용자 인터페이스 방법들은 3차원 콘텐츠와의 상호 작용을 하기 위한 착용 가능한 헤드업 디스플레이들 또는 비디오 고글들을 획득하는 모바일 또는 데스크탑 디스플레이들을 가지고, 온라인 가상 세계에 진입할 수 있다. 하지만, 머리 착용 기어는 일반적으로 사회적으로 많은 사용자들에게 방해가 되고 바라지 않을 수 있다. 따라서, 사용자들은 집 또는 사무실에서 광범위한 사용을 즐길 수 없고, 많은 모바일 기기들이 자주 사용되는 공공 장소들에서 혼자 놓이게 된다.
그러므로, 콘텐츠 디스플레이들 사용의 몰입 및 직관적인 방법을 3차원 콘텐츠 상호 작용 또는 보기를 위한 모바일 기기들, 고정 기기들 또는 그들의 결합이 요청되고 있다.
둘 또는 그 이상 디스플레이 구성 요소들은 3차원 이미지들을 공간적으로 상호 연관되게 디스플레이되는 3차원 콘텐츠를 디스플레이하기 위해 사용된다. 사용자는 디스플레이들, 디스플레이의 방향 변화, 다른 디스플레이와의 상대적인 위치 중 하나를 이동할 수 있고, 디스플레이의 가상 카메라의 장소와 연관된 상기 3차원 콘텐츠를 볼 수 있다. 이런 방식에서 디스플레이들은 예를 들어, 온라인 가상 현실에서 3차원 콘텐츠를 볼 때 사용자에게 확장된 시야를 제공한다. 일반적으로 디스플레이 구성 요소는 3개의 카테고리들: 고정의(예를 들어, 데스크탑 컴퓨터), 방랑의(예를 들어, 랜탑 또는 노트북 컴퓨터) 또는 이동(예를 들어, 휴대폰 또는 휴대 미디어 재생기) 중 하나일 수 있다.
일실시예에서 제1 디스플레이 구성 요소 및 제2 디스플레이 구성 요소 상에 3차원 콘텐츠를 디스플레이하기 위한 방법은 호스트 서버를 사용하는 것으로 설명된다. 호스트 서버는 상기 제2 구성 요소와 관계 있는 상기 제1 구성 요소의 물리적 위치 데이터와 상기 제1 구성 요소와 관계 있는 상기 제2 구성 요소의 물리적 위치를 획득한다. 상기 서버는 상기 제1 디스플레이 구성 요소로 랜더된 제1 세트를 전송하고, 제2 디스플레이 구성 요소로 랜더된 제2 세트를 전송한다. 상기 랜더된 데이터 세트들은 각 디스플레이 구성 요소들 상에 디스플레이된다. 이런 방식에서 상기 제1 디스플레이 구성 요소 및 상기 제2 디스플레이 구성 요소는 상기 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링을 제공한다. 이것은 2개의 디스플레이 구성 요소들을 사용하여 상기 3차원 콘텐츠를 사용자가 보기 위한 확장된 시야가 가능하다.
다른 실시예는 3차원 콘텐츠를 디스플레이하기 위한 디스플레이 장치들의 시스템이다. 디스플레이 장치는 장소 센서 및 모니터를 가진다. 3차원 콘텐츠의 렌더된 픽셀들은 하나의 디스플레이 장치로부터 다른 장치로 전송되고, 렌더된 픽셀들은 수신된 장치의 위치 데이터에 기초하여 계산된다. 전송 디스플레이는 상기 수신 장치의 상대적 위치 데이터를 획득하고, 상기 수신 장치는 상기 전송 장치의 상대적 위치 데이터를 획득한다. 이러한 방식에서 상기 전송 장치 및 상기 수신 장치는 상기 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링이 가능하고, 상기 3차원 콘텐츠를 보기 위한 상기 디스플레이 장치를 이용하는 사용자를 위한 확장된 시야를 제공한다.
첨부된 도면들에 기재된 참조들은 특히 실시예들, 일례로서 보여지며, 설명 의 일부분을 구성한다.
도 1 내지 4는 다양한 실시예에 따른 3차원 콘텐츠를 디스플레이하는 공간적으로 상호 연관된 디스플레이 장치들의 다양한 구성들의 예시들이다.
도 5는 3개의 공간적으로 상호 연관된 디스플레이 구성 요소들을 가지는 일례 구성의 블록도이다.
도 6은 2개의 공간적으로 상호 연관된 디스플레이 구성 요소들을 가지는 일례 구성의 블록도이다.
도 7은 원격 서버 및 2개의 공간적으로 상호 연관된 동등한 디스플레이 구성 요소들을 가지는 일례 구성의 블록이다.
도 8 내지 10은 다양한 실시예들에 따른 3차원 콘텐츠를 렌더링하기 위한 공간적으로 상호 연관되는 다중 디스플레이들의 절차들의 흐름도이다.
도 11은 일실시예에 따른 디스플레이 구성 요소의 개략도이다.
도 12는 일실시예에 다른 가상 세계 데이터를 디스플레이하기 위한 공간적으로 상호 연관되는 다중 디스플레이들의 개략도 및 폐쇄된 상호 동작 흐름도이다.
도 13 및 14는 본 발명의 실시예들을 적용하기에 적합한 컴퓨터 시스템을 나타낸다.
도면들에서 3차원 콘텐츠와 사용자의 상호 동작을 위한 확장된 시야들을 생성하기 위한 시스템 및 방법들이 설명된다. 상기 사용자는 더 큰 가상 디스플레이 공간을 생성하기 위해 모바일 및/또는 고정 디스플레이들을 사용한다. 이러한 방 식에서 사용자는 3차원 콘텐츠와의 상호 동작이 강화된다. 상기 사용자는 상기 디스플레이 구성 요소들 상에서 상기 콘텐츠의 공간적으로 상호 연관된 렌더링을 가짐으로써 3차원 콘텐츠를 보기 위한 더 몰입하는 환경을 달성한다.
도 1 내지 도 4는 다양한 실시예들에 따른 3차원 콘텐츠를 보기 위한 공간적으로 상호 연관된 디스플레이 구성 요소들의 구성들의 일례들이다. 이러한 예들은 예를 들어, 휴대폰, 별도로 서로 다른 또는 별도로 고정 디스플레이, 예를 들어, 데스크탑 모니터 또는 별도로 유랑 디스플레이, 예를 들어 랜탑 또는 노트북과 같은 휴대용 장치이지만 휴대 모바일 장치보다 더 큰 하나 또는 그 이상의 모바일 디스플레이들을 들고 있는 동안에 3차원 콘텐츠를 사용자가 어떻게 볼 수 있는지를 보여준다. 상기 사용자는 모바일 디스플레이들의 하나를 움직이고, 상기 뷰 또는 가상 카메라로 3차원 콘텐츠, 예를 들어, 온라인 가상 세계, 상기 모바일 디스플레이가 (물리적인 세계에서) 상기 사용자가 가상 세계 또는 다른 3차원 콘텐츠를 보게 허락하는 움직일 수 있는 윈도우를 동작하는 모바일 디스플레이가 변한다. 상기 사용자는 가상 세계에서 장면들의 다른 인접한 뷰들을 보는 물리적 환경에서 모바일 디스플레이 구성 요소를 움직인다. 다른 방식은 디스플레이를 통해 볼 수 있는 디스플레이 장치들 뒤에 가상 세계 환경의 그림을 설명하는 것이다.
도 1은 특히, 컴퓨터 10 및 특히, 디스플레이를 가지는 휴대폰, 모바일 디스플레이 구성 요소 102와 연결되는 데스크탑 모니터인 고정 디스플레이 구성 요소 100를 보여준다. 구성 요소 102는 모바일 핸드셋의 형태이거나 또는 예를 들어, "미니" 랜탑, 휴대할 수 있는 게임 콘솔(game console) 등과 같은 다른 디스플레이 장치일 수 있다. 상세하게 모바일 디스플레이 구성 요소 102의 내부 구성 요소들 및 모듈들 및 컴퓨터 10은 이하에서 보다 상세하게 설명된다. 고정 디스플레이 구성 요소 100은 가상 세계 장면 101을 디스플레이하고, 모바일 디스플레이 102는 가상 세계 장면 103을 가진다. 2개의 장면들은 동일한 더 큰 가상 세계 이미지의 부분이다. 장면 101은 굽은 길을 보여준다. 가상 이미지 101의 연속적인 부분은 상기 굽은 길이고, 장면 103이고, 모바일 디스플레이 102 상에 보여진다. 만약 모바일 디스플레이 102는 왼쪽으로 더 움직이고, 대상 및 풍경은 예를 들어, 길의 나머지는 보여지는, 장면 101의 왼쪽으로 연속한다. 만약 모바일 장치 102는 위로 움직이거나 스크린이 아래쪽으로 향하는 각도가 되면, 사용자는 하늘, 빌딩의 꼭대기, 나무들 등을 볼 수 있다. 아래 설명된 것처럼 다중 고정 디스플레이들 또는 다중 모바일 디스플레이들일 수 있다.
도 2는 2개의 모바일 디스플레이 장치들 104 및 106을 가지는 구성을 나타내는 유사한 예시이다. 가상 세계 장면 105는 장치 104 상에 디스플레이되고, 장면 107은 장치 106 상에 디스플레이된다. 2개의 장면들은 동일한 가상 세계 환경이지만 다른 가상 카메라들을 가지고 이 환경을 보여준다. 만약 장치 하나 또는 둘 다가 움직이면, 상기 사용자는 가상 세계의 다른 부분을 볼 수 있다. 이하 설명된 것처럼 2개의 디스플레이 장치들은 공간적으로 상호 연관되며(또는 물리적으로 상호 연관되며), 서로 상대적으로 가상 세계의 부분들을 보여준다. 그러므로, 만약 그들이 서로 가깝게 움직이면, 장면들 105 및 107은 좀 더 연속적으로 보이거나 연결될 수 있다. 일실시예에서, 상기 2개의 디스플레이 장치들의 공간적인 연관 관 계는 상기 2개의 장치들이 오버랩되지 않는 길이만큼 가능할 수 있다. 도 2에 도시된 구성은 단지 일례이다. 다른 실시예에서 다중 모바일 디스플레이들일 수 있다.
도 3은 공간 상호 관계를 사용하는 가상 세계 콘텐츠를 보기 위한 3개의 디스플레이 장치들의 다른 가능한 구성을 보여준다. 2개의 모바일 디스플레이 장치들 108 및 112는 고정 디스플레이 장치 100를 가지는 것을 나타낸다. 고정 디스플레이 장치 100 상에 가상 세계 장면 111은 각각 모바일 디스플레이 장치들 108 및 112 상에 장면들 109 및 113 사이에 있다. 사용자가 모바일 장치 하나 또는 둘 다를 움직일 때, 가상 세계의 다른 장면들이 보여진다. 만약 모바일 장치 108이 왼쪽으로 움직이고, 고정 디스플레이 110(및 장면 113의 왼쪽으로) 상에 장면 111의 왼쪽으로 대상들 및 풍경이 보여진다. 만약 장치 112가 오른쪽으로 움직이면, 장면 111(및 장면 109)의 오른쪽으로 가상 세계의 대상들 및 장면이 보여진다. 상기 모바일 디스플레이들은 또한 가상 세계에서 장면들을 보기 위해 위로 또는 아래로 움직일 수 있고, 현재 보기 레벨(viewing level) 이상 또는 이하이다.
도 4는 다른 가상 세계 장면을 사용하고, 다른 도면들에서 보여진 것들로부터 다른 구성에서 2개의 공간적으로 상호 연관된 모바일 디스플레이 장치 114 및 116의 다른 가능한 구성을 나타낸다. 지면 상에 모자이크의 가상 세계 장면 115은 디스플레이 114에서 특별한 각도에서 보여지고, 디스플레이 116 상에 보여진 가상 세계 모자이크 장면 117의 "위"이고, 아래 또는 이러한 경우에, 지면상에 모자이크를 보고, 장면 115에서 보여진 모자이크의 일부분의 연속이다. 앞서 설명된 것처 럼 상기 사용자가 상기 가상 세계의 다른 부분들을 보기 위해 디스플레이 장치를 하나 움직일 수 있다. 예를 들어, 상기 장치들은 도 2에 도시된 구성으로 움직여질 수 있다. 가상 세계 환경은 도 1 내지 3에 도시된 모든 장면들에서 일반적으로 동일하고, 도 4에 도시된 상기 장면은 사용자가 특별한 구성 도시(예를 들어, 서로 대략 110도의 각도에서)에서 2개의 모바일 장치들을 들고 있을 때 사용자의 시야가 어떻게 확장되는지를 더 나은 다른 예시이다.
이러한 디스플레이 장치들의 4개의 예시 구성들은 공간적으로 상호 연관된 디스플레이들이 어떻게 상기 사용자가 3차원 콘텐츠를 보기 위해 확장된 시야를 생성하기 위해 이용될 수 있는지를 보여준다. 이러한 확장된 시야는 상기 3차원 콘텐츠와 상호 작용을 하는 사용자를 위한 몰입 환경을 제공한다. 확장된 가상 시야는 상기 디스플레이들이 움직임에 의해 상기 사용자가 상기 3차원 콘텐츠를 많이 볼 수 있고, 상기 사용자가 상기 가상 세계에서 서 있거나 몰입될 때 인상을 생성할 수 있다. 상기 예들로부터 증명된 것처럼 확장된 시야는 물리적으로 불연속적일 수 있고, 상기 3차원 콘텐츠의 보기에서 간격들 또는 단절들을 가질 수 있다. 도면들이 명백하게 보여주는 것처럼 상기 디스플레이들 사이 공간들은 물리적인 비연속성들을 생성한다. 그러나, 공간 상호 연관성은 여전히 뷰어(viewer)에게 상기 3차원 콘텐츠의 확장된 시야를 제공하고, 이하에서 보다 상세하게 설명된다. 다른 구성들은 예를 들어, 휴대 장치들로서 휴대 또는 모바일이 아니고, 3차원 콘텐츠로 다른 보기들을 사용자에게 보여주기 위해 움직일 수 있는 직각 크기 및 미니 랜탑들 및 노트북들과 같은 방랑 디스플레이 구성 요소들의 사용을 포함할 수 있다. 이하 설명된 것처럼 고정 디스플레이 장치들, 방랑 디스플레이 장치 및 모바일 디스플레이 장치들은 예를 들어, 다양한 센서들 및 렌더링 엔진들과 같은 다른 내부 구성 요소들을 가질 수 있다. 구성 요소들의 다른 타입들은 디스플레이(또는 모니터)를 가지지 않고, 도 1 내지 4에서 도시된 것과 같이 않고, 이하 설명된 것처럼 예를 들어, 3차원 데이터를 저장하거나 또는 데이터 렌더링 기능들을 수행하는 다른 기능들을 가질 수 있다. 주목됨에 따라, 다른 구성들은 예를 들어, 가상 세계를 보기 위해 2개 또는 그 이상 사용자들에 의해 4개 또는 그 이상 모바일 단말기들이 가져지는 다중 장치들(3개 이상)을 포함할 수 있다.
일실시예에서 확장된 시야는 디스플레이 구성 요소 상에서 보여질 수 있는 시각적 각도의 정도의 최대 개수를 나타내기 위해 유용하다. 이하에서 주목된 것처럼 시스템의 다른 실시예들은 사용자들에게 시각적으로 더 실제적일 뿐만 아니라 더 자연스럽고 실제와 같은 3차원 콘텐츠와 상호 작용들을 만드는 3차원 대상들의 조종 작업을 포함할 수 있다. 다른 실시예에서, 3차원 대상들 또는 콘텐츠의 이 작업은 촉각 피드백을 논의할 수 있고, 콘텐츠와 상호 작용할 때 물리적인 감각의 몇 가지 타입을 사용자에게 제공할 수 있다. 다른 실시예에서 도면에서 설명된 상호 작용 환경은 또한 2.5 차원 콘텐츠를 디스플레이하기 위해 사용될 수 있다. 콘텐츠의 카테고리는 예를 들어, 디스플레이되는 장면 또는 이미지의 완성한 3차원 모델을 가지지 않는 시스템에서 픽셀마다 깊이 정보를 가지는 이미지를 포함할 수 있다. 게다가, 확장된 시야는 정성적인 거리에서 보여지는 통상적인 평판 디스플레이(예를 들어, 비정상적으로 넓지 않은 하나)의 시야를 초과하거나 또는 확장한 것이다.
공간적 상관 관계는 상수한 설명에서 이용된 개념으로서 다양한 방식들에 적용될 수 있다. 일실시예에서 공간적 상과 관계는 디스플레이 장치들의 상대적 물리적 위치들 및 방향들의 연속적인 업데이팅을 포함한다. 서로 장치들의 상기 상대적 물리적인 위치들 및 방향들은 연속적으로 센싱되고, 각 장치에 업데이트된다. 이 물리적 위치 및 방향 데이터는 각 디스플레이 및 카메라들 상에 3차원 콘텐츠를 렌더하기 위한 가상 카메라들에게 입력으로 이용될 수 있고, 각 장치는 하나의 가상 카메라를 가지고, 각 가상 카메라들의 가상 방향들 및 방향들을 한정하기 위해 사용될 수 있다. 가상 위치 및 방향 정보로 물리적 위치 및 방향 정보의 매핑은 변환들의 잘 정의된 세트에 의해 좌우된다. 많은 경우들에서 변환은 유클리드 공간(Euclidian space)에서 일대일 동종 및 등방성 매핑일 수 있다. 각 가상 카메라는 3차원 지리적 데이터의 공통 풀을 사용하고, 이미지를 디스플레이하기 위해 데이터를 렌더한다.
다른 실시예에서 공간적 상관 관계는 이종의 변환들을 포함하기 위해 확장될 수 있다. 예를 들어, 2개의 디스플레이들을 가지고, 다른 하나는 일반적인 뷰(normal view)를 제공할 때 하나는 줌인된(zoomed-in)(망원경의) 원근법을 가질 수 있다. 다른 일례에서 기하학적 변환들 또는 다른 변환들은 유클리드 공간으로 제한되지 않으며, 예를 들어, 쌍곡선(hyperbolic), 타원(elliptic) 리만 기하학(Riemannian geometries)에 기초하여 (뒤에 기하학들은 특히 굽은 디스플레이 공간들에 적합한) 사용될 수 있다. 여전히 다른 실시예에서 이방성 변환들은 넓은 각도 렌즈의 계산 분산 및 굽은 디스플레이 공간들을 채용하고, 공간 상관 관계를 위해 사용될 수 있다. 이러한 이종 변환 예들에서 디스플레이들은 물리적 공간에서 이동되고, 디스플레이되는 이미지들은 장치들의 상대적인 거리 및 방향에 기초하여 업데이트된다. 그러나, 각 가상 카메라는 각 장치를 위한 이방성 변환들, 비-유클리드 기하학 또는 이종 변환들을 사용할 수 있다.
공간적 상관 관계의 다른 실시예는 디스플레이 인코딩을 포함한다. 위에서 기본적인 실시예들은 컬러 디스플레이들을 고려하고, 동일한 이미지 인코딩을 사용한다. 그러나 각 디스플레이는 예를 들어, X-레이 뷰, 적외선 뷰, 컬러 뷰, 또는 B/W 뷰로 제한되지 않은 다른 이미지 인코딩을 가질 수 있다. 이러한 경우 디스플레이들은 다중 렌더링 양식 이용할 때 공간적으로 상호 연관될 수 있다. 다른 실시예들은 다중-렌더링 양식 및 이종 변환들의 결합을 포함하는 더 복잡한 경우들을 포함할 수 있다.
도 5 내지 7은 다양한 실시예들에 따른 3차원 콘텐츠의 렌더링을 위한 디스플레이 구성 요소들간의 구성 및 연관성의 예를 나타내는 네트워크도이다. 도 5는 3개의 디스플레이 구성 요소들(설명의 경우를 위한 하나의 디스플레이 구성 요소는 "디스플레이"로 언급될 수 있다)을 가지는 구성 일례의 블록도이다. 이러한 예에서, 하나의 디스플레이, 기능들은 기본적인 또는 호스트 디스플레이이고, 다른 2차원 디스플레이들이 아닐 때 3차원 데이터 렌더링 엔진을 가진다. 앞선 도 1 및 3에 도시된 것과 같은 구성의 예들은 데스크탑 모니터 및 컴퓨터가 1차 디스플레이 및 핸드폰들 102, 108 및 112이 2차 디스플레이들을 포함한다.
도 5에서 네트워크 200은 2개의 2차 디스플레이들 204 및 206과 통신하는 호스트 디스플레이 202를 가진다. 다른 실시예들에서 1차 디스플레이 202, 이 경우에 공적 디스플레이는 단지 하나의 2차 디스플레이(예를 들어, 도 1) 또는 둘 이상과 통신할 수 있다. 동일한 개념들 및 방법들은 네트워크 200를 설명하고, 다른 가능한 구성들을 적용할 수 있다. 호스트 디스플레이 202는 다중 디스플레이 렌더링 엔진 208을 가진다. 또한 장소 센서들 210 및 디스플레이 모니터 212도 도시된다. 장소 센서들 210은 또한 상기 호스트 디스플레이(용어 "장소 센서"는 여기서 사용된다)와 근접한 다른 디스플레이들과 연관된 상기 (호스트) 디스플레이 장치의 물리적인 위치를 제공하는 상대적인 위치 센서들로서 특징될 수 있다. 또한 그것은 가치가 없고, 센서의 다른 타입은 물리적 ("실제") 세계와 연관된 상기 호스트 디스플레이의 동작에 관한 데이터를 제공하는 자체 동작 센서 또는 검출기이다. 이러한 검출기들은 예를 들어, 광학적 흐름 또는 관성 측정과 같은 기술을 이용할 수 있다. 그들의 사용 및 콘텐츠는 아래에서 보다 상세하게 설명된다.
호스트 디스플레이 202는 모바일 디스플레이들 204 및 206과 통신한다. 이 통신은 알려진 프로토콜들을 사용하여 유선 또는 무선이 될 수 있다. 일실시예에서 호스트 디스플레이 202에서 장소 센서들 210은 호스트 디스플레이 202 또는 서로 간 연관되는 디스플레이들 204 및 206의 물리적 위치를 검출한다. 다른 실시예에서 상대적 물리적 위치 데이터는 2차 디스플레이들에서 센서들 203 및 207을 사용하여 2차 디스플레이들 204 및 206로부터 호스트 디스플레이 202로 전송된다. 다른 실시예들에서 상기 2차 디스플레이들은 수동적인 장치들일 수 있고, 그들 자 신의 센서들, 특히, 장소 센서들을 가지지 않을 수 있다. 호스트 디스플레이 202는 상기 2차 디스플레이들의 상대적 위치를 결정하기 위해 자신의 센서들을 사용할 수 있다. 위치 데이터는 장소 데이터(예를 들어, 물리적 또는 실제 세계 공간에서 호스트 디스플레이 202와 연관하여 디스플레이 구성 요소의 좌표들)를 포함할 수 있다. 위치 데이터의 전송은 디스플레이 204로부터 디스플레이 202로 전송 214에 의해 나타난다. 위치 데이터는 또한 방향을 향하거나 또는 들려진 디스플레이에서 각도를 반사하는 방향 데이터를 포함할 수 있다. 예를 들어, 방향 데이터는 3개의 직각들, 요(yaw), 피치(pitch) 및 롤(roll)로서 나타낼 수 있다. 그러나, 상기 위치 데이터는 특별한 적용 또는 포맷이 고려되지 않으며, "L/O 데이터"(location/orientation data)로 도시되고, 호스트 디스플레이 202에 의해 검출되거나/센싱되거나 또한 2차 디스플레이들 중 하나에 의해 전송되고, 상기 위치 데이터는 호스트 디스플레이에 대한 2차 디스플레이의 위치를 나타낸다. 일실시예에서 상기 위치 데이터는 예를 들어, GPS 및 다른 시스템들에서 사용되는 절대 포지셔닝 데이터로서, 소위 상기 디스플레이의 "절대" 위치를 나타내지 않는다. 일실시예에서 단지 포지셔닝 정보는 디스플레이들의 공간적인 상관 관계를 위한 적절히 필요하고, 서로에 대한 디스플레이들의 포지셔닝 데이터이고, 상기 디스플레이들의 상대적 위치 데이터이다.
호스트 디스플레이 202는 디스플레이들 204 및 206 각각의 상대적 물리적 위치 데이터 214 및 216를 획득한다. 위치 데이터 214, 216은 상기 디스플레이들 상에 보여지기 위한 3차원 콘텐츠의 렌더된 픽셀 데이터를 출력하는 다중 디스플레이 렌더링 엔진 208에 의해 프로세스된다. 엔진 208은 또한 상기 제2 디스플레이들에 관한 상기 호스트 장치 자체의 위치를 제공하는 위치 데이터 201을 수신할 수 있다. 이 데이터는 자제 동작 센서 및 장소 센서들의 다양한 타입들을 포함할 수 있는 센서들 210을 사용하여 얻을 수 있다. 상기 렌더된 픽셀 데이터의 전송은 호스트 디스플레이 202로부터 디스플레이 204로의 비디오 데이터 218 및 디스플레이 206으로의 비디오 데이터 220으로 도시된 비디오 스트림 형태로 이루어질 수 있다. 이런 실시예에서 렌더링 엔진 208은 다중 디스플레이들 상에 디스플레이하기 위한 3차원 콘텐츠의 픽셀을 렌더할 수 있고, 적절한 통신 수단을 통해 자체 렌더링 엔진을 가지지 않는 이러한 구성의 2차 디스플레이들로 비디오 스트림의 형태로 상기 렌더된 픽셀들을 전송한다. 다중 디스플레이 렌더링 엔진 208은 또한 모니터 212 상에 디스플레이되는 호스트 디스플레이 202의 3차원 콘텐츠를 렌더한다. 상기 비디오 스트림은 비디오 데이터 222로 도시된다. 비디오 스트림들 220 및 218은 상기 디스플레이들 상에 디스플레이 모니터들 205 및 209에 디스플레이된다. 지적된 디스플레이들 204 및 206은 미디어 재생기들(예를 들어, MP3 재생기들), 휴대폰들, 휴대형 컴퓨팅 장치, 노트북 컴퓨터들, 랜탑 컴퓨터들, "스마트" 핸드셋 장치 등일 수 있다. 3차원 콘텐츠 데이터 215는 로컬 메모리 211, 예를 들어, 캐시 메모리에 저장될 수 있거나 또는 하나 또는 그 이상의 네트워크 구성 요소들 213로부터 검색될 수 있다. 예를 들어, 그것은 서버 "떼(cloud)"로부터 또는 단일 매체 데이터 저장소로부터 검색할 수 있다. 상기 3차원 콘텐츠는 로컬 메모리 211 및 네트워크 213 둘 다에 존재할 수 있다.
일실시예에 따른 디스플레이 구성 요소의 개략적인 설명은 도 11에 도시된다. 디스플레이 구성 요소 400은 호스트 디스플레이 202에서 다중 디스플레이 엔진으로서 엔진 208 또는 이하 도 6에 설명된 단일 디스플레이 렌더링 엔진일 수 있는 렌더링 엔진 202를 가진다. 또한 하나 또는 그 이상의 장소 센서들 404 및 디스플레이 모니터 406, 예를 들어 LCD 모니터가 도시된다. 장소 센서들을 적용하기 위한 다양한 해법들은 또한 위치 측정 센서들로 언급될 수 있다. 그들은 관성 센서들, 대상 검출하는 광학 카메라들, 마커들을 가지는 적외선 카메라, 능동적인 마커들, 근접 범위 초음파 트랜스듀서들, 다중 주파수 전송기들/수신기들 및 거리를 측정하기 위한 블루투스 신호 밀도를 포함할 수 있다. 지적된 몇몇 디스플레이들은 장소 센서들이 필요 없을 수 있다. 디스플레이 400은 또한 자신의 위치 데이터를 획득하기 위한 자체 동작 검출기를 가진다. 디스플레이 구성 요소 400은 디스플레이 400에서 메모리(도시되지 않음)에 저장된 3차원 콘텐츠 408을 보여준다. 3차원 콘텐츠에 적용되는 데이터 408은 상용 CAD/CAM 시스템에서 대상을 나타내기 위해 저장되는 데이터와 유사한다. 이하 설명하면, 3차원 콘텐츠 데이터 408은 모든 디스플레이 구성 요소들(예를 들어, 디스플레이들 202, 204 및 206) 상에 동일하고, 각 디스플레이 메모리에 저장될 수 있다. 그것은 각 예를 들어, 가상 세계 콘텐츠인 완벽한 3차원 콘텐츠의 완벽한 "복사"를 가질 수 있다. 그것들은 예를 들어, 아바타 걷기, 차 이동 등과 같이 콘텐츠가 변할 때 3차원 콘텐츠를 동조시킨다. 다른 실시예에서 단지 하나의 디스플레이는 모든 3차원 콘텐츠 데이터 408을 가진다. 예를 들어, 호스트 디스플레이 202는 모든 콘텐츠를 저장할 수 있고, 상 기 네트워크로부터 검색할 수 있고, 2차 디스플레이들이 3차원 데이터를 저장할 수 없으나 비디오 스트림들(렌더된 픽셀들) 218 및 220을 오히려 수신할 수 있다.
또한 도시된 디스플레이 구성 요소 400은 가상 카메라 구성 요소 410이다. 가상 카메라 410은 디스플레이 모니터 406으로 그래픽 데이터를 제공하는 그래픽스 컨트롤러(도시되지 않음)에 의해 충족될 수 있다. 가상 카메라 410은 윈도우 또는 뷰잉 렌즈에게 상기 3차원 콘텐츠를 제공하는 것으로 설명될 수 있다. 예를 들어, 도 1 내지 4에서 각 디스플레이는 뷰 또는 윈도우에게 상기 가상 세계 환경의 다른 부분을 각기 보여주는 상기 가상 세계를 제공하는 것을 특징으로 할 수 있다. 가상 카메라 410은 이 뷰에게 상기 가상 세계를 제공하고, 지적된 것처럼 디스플레이 400에서 그래픽스 콘트롤러 하드웨어 구성 요소 또는 다른 적절한 그래픽스 서브 시스템을 이용하여 충족될 수 있다. 상기 렌더된 픽셀들(예를 들어, 비디오 데이터 218, 220 및 222)은 도 5에 도시된 것과 같이 각 디스플레이 상에 상기 가상 카메라를 통해 디스플레이되는 상기 3차원 콘텐츠의 원근법을 보여준다. 각 모바일 디스플레이는 주변을 움직일 때 그것의 가상 카메라는 상기 3차원 콘텐츠의 다른 부분을 보여준다. 지적된 것처럼 모든 디스플레이들이 디스플레이 400에 도시된 모든 구성 요소들, 센서들 및 데이터를 가지는 것은 아니다. 예를 들어, 몇몇은 렌더링 엔진 402 또는 디스플레이 모니터 406을 가지지 않을 수 있다.
도 5를 참조하면, 흐름도는 도 8에 설명되어 보여진 구성과 연관되어 진행한다. 도 8은 일실시예에 따른 3차원 콘텐츠를 렌더링하기 위한 공간적으로 상호 연관된 다중 디스플레이들의 절차의 흐름도이다. 몇 개의 단계들은 3차원 콘텐츠와 의 상호 동작을 할 때 사용자를 위한 몰입 환경을 적용하는 호스트 디스플레이 및 2개의 2차 디스플레이들이 보여진 도 5에 관하여 이전에 논의된 것을 참조하여 설명한다. 절다 및 그 대체들은 도 8에 도시된 호스트 디스플레이(예를 들어, 호스트 디스플레이들의 "원근법"으로부터) 상에서 취해진 동작들로서 설명된다.
단계 302에서 상기 호스트 디스플레이는 각 2차 디스플레이를 위한 상대적 물리적인 위치 데이터를 획득한다. 상기 물리적인 위치 데이터는 상기 호스트 디스플레이에 대한 2차 디스플레이의 좌표들을 제공하는 장소 데이터 구성 요소를 포함할 수 있다. 또한 위치 데이터는 상기 호스트 디스플레이에 대해 향해진 상기 디스플레이의 각도들을 나타내는 상기 모바일 기기의 각도 데이터(요, 피치, 롤)를 제공하는 방향 데이터 요소를 가질 수 있다. 상기 위치 데이터는 상기 2차 디스플레이 및/또는 상기 호스트 디스플레이 상에 사용 장소 센서들을 이용함으로써 상기 호스트 디스플레이에 의해 획득될 수 있다. 다른 실시예에서 상기 2차 디스플레이는 상기 호스트에 대한 자신의 위치를 계산할 수 있고, 상기 호스트 디스플레이로 이 상대 위치 데이터를 전송할 수 있다. 잘 알려진 센싱 기술은 사용 기술들로서 매우 정확하게 장치들(예를 들어, 대상들)의 상대적 위치들을 결정하기 위해 사용될 수 있다. 위치 측정 센서들의 리스트는 앞서 제공되었다. 이것들은 물리적 세계와 연관된 호스트 장치의 위치를 측정하기 위해 자체 동작 센서들의 사용을 포함할 수 있다. 알려진 기술로서 센서들(자체 동작, 위치 측정, 등)의 다양한 결합들 및 구성들은 호스트 디스플레이(또는 동등한 디스플레이, 아래 언급된)가 근접 디스플레이들의 상대적 물리적인 위치들("L/O 데이터" 또는 장소/방향 데이터)를 획득할 수 있다.
단계 304에서 상기 호스트 디스플레이는 메모리로부터 3차원 콘텐츠 데이터를 검색한다. 앞서 지적된 것처럼 구성에 따라 이 데이터는 상기 호스트 디스플레이 상 또는 분산된 네트워크 구성 요소들 상 로컬 캐시에 저장될 수 있다. 상기 데이터는 메모리로부터 가져오고, 렌더링 엔진으로 입력으로 사용되는 것을 특징으로 나타내므로 "검색된"으로 설명될 수 있다. 단계 306에서 상기 디스플레이 상 상기 렌더링 엔진은 실행한다. 설명된 실시예에서, 상기 렌더링 엔진은 상기 3차원 콘텐츠를 입력으로 받아들이는 다중 디스플레이 엔진이다. 앞서 지적된 것처럼, 이 데이터는 예를 들어, CAD/CAM 시스템에서 데이터를 저장하기 위해 사용되는 포맷과 유사한 포맷일 수 있다. 또한 다중 디스플레이 렌더링 엔진 소프트웨어 모듈은 상기 호스트 디스플레이와 연관된 상기 실제 세계에서 상기 2차 디스플레이들의 상대적 물리적인 위치 데이터(단계 302에서 획득된)를 입력으로써 얻을 수 있다. 그러므로, 만약 4개의 2차 디스플레이들, 상기 렌더링 엔진이 포지셔닝 데이터, 각 2차 디스플레이 및 자신을 위한 포지셔닝 데이터의 5개 세트들을 입력으로서 수신할 수 있다. 상기 렌더링 엔진은 이 포지셔닝 데이터 및 상기 3차원 콘텐츠 데이터(예를 들어, 가상 세계 데이터)각 디스플레이들을 위해 비디오 스트림의 형태로 렌더된 픽셀들을 생성한다. 단계 308에서 상기 렌더된 픽셀들은 상기 호스트 디스플레이와 마찬가지로 각 2차 디스플레이로 전송된다. 이러한 픽셀들은 각 디스플레이의 원근법으로부터 각 디스플레이 상에 상기 3차원 콘텐츠를 디스플레이한다. 이러한 방식에서 그들은 상기 3차원 데이터에 의해 나타나지는 가상 환경의 다른 뷰를 제공한다. 지적된 것처럼 이 원근법은 가상 카메라 뷰로서 설명될 수 있다. 일실시예에서 디스플레이들은 서로 오버랩되지 않으며, 각 디스플레이는 상기 가상 환경의 다른 뷰를 제공한다.
단계 310에서 상기 호스트 디스플레이를 위한 상기 렌더된 픽셀들은 상기 호스트 모니터 상에 디스플레이된다. 이 상태에서 각 디스플레이는 가상 세계의 구획(segment)이 디스플레이되며, 사용자에게 몰입 환경을 생성하는 확장된 가상 시야를 제공한다. 상기 절차는 각 2차 디스플레이들의 물리적 위치들이 다시 획득되도록 단계 302로 되돌아가서 반복된다. 이 루프는 상기 호스트 디스플레이 및 상기 2차 디스플레이들의 주어진 프로세싱 및 메모리 자원에 적합한 초마다 횟수가 반복될 수 있다. 이러한 방식에서 3차원 콘텐츠는 상기 사용자가 상기 디스플레이들을 움직임으로써 상기 호스트 디스플레이와 연관된 구성 요소들의 위치에 기초하여 각 디스플레이 구성 요소들에 디스플레이된다.
도 6은 일실시예에 따른 공간적 상관 관계를 실행하는 2개의 디스플레이 구성 요소들의 다른 구성을 예시한다. 도 6의 구성에서 디스플레이는 호스트 디스플레이도 아니다. 그것은 피어-투-피어 구조를 특징으로 하며, 각 디스플레이는 일반적으로 유사한 센서 및 프로세서 용량들을 가지며, 그들은 매우 다양할 수 있다. 각 디스플레이는 자신의 픽셀 렌더링을 수행한다. 디스플레이 224 및 디스플레이 226은 장소 센서들 228 및 230을 이용하여 다른 디스플레이 상대적인 위치 데이터를 획득한다. 지적된 것처럼, 이러한 센서들은 물리적 세계로 "앵커"를 실행하는 자체 동작 센서들을 포함할 수 있다. 디스플레이의 몇 개 또는 모두는 자제 동작 센서들을 가질 수 있으나, 적어나 하나는 가져야 한다. 앞서 지적된 것처럼 장소 센서들은 다량의 사용 센서들 중 하나일 수 있고, 근처 디스플레이들의 장소를 센싱 또는 검출하기 위한 알려진 기술을 적용할 수 있다. 업데이트된 3차원 콘텐츠 데이터 231은 예를 들어, CAD/CAM 시스템들에서 기하학 데이터를 저장하기 위해 사용되는 포맷과 유사한 포맷일 수 있고, 디스플레이들간에 교환된다. 업데이트된 3차원 콘텐츠의 교환은 하나의 디스플레이가 존재하는 3차원 콘텐츠(예를 들어, 사용자가 가상 세계와 상호 동작하고, 가상 세계에서 대상들을 변화할 때)를 변화시킬 수 있고, 모든 디스플레이들은 항상 가장 최근에 업데이트된 3차원 콘텐츠를 사용하는 것을 보장한다.
또한 도시된 디스플레이들 224 및 226는 각각 단일 디스플레이 렌더링 엔진들 236 및 238이다. 이러한 각 소프트웨어 모듈들은 특히 각 디스플레이의 가상 카메라, 또는 원근법, 가상 환경을 위해 상기 3차원 콘텐츠의 픽셀들을 렌더한다. 업데이트된 3차원 콘텐츠 데이터 231은 캐시들 225 및 235 사이에서 교환된다. 다만 캐시들 또는 다른 메모리 구성 요소들은 업데이트되거나 하나의 디스플레이에 의해 변환된 3차원 콘텐츠를 전송하는 접속으로 인해 업데이트된 3차원 콘텐츠 데이터를 수신한다(렌더링 엔진이 아님). 상기 렌더링 엔진들은 로컬 캐시들로부터 데이터를 검색할 수 있다. 상기 장치들 상에서 센서들 228 및 230은 상기 장치들의 자체 위치를 제공한다. 또한 상기 센서들은 서로에 관한 장치들의 장소들을 검출한다. 또한 상기 렌더링 엔진들은 상기 3차원 콘텐츠를 입력으로써 얻는다. 상기 3차원 콘텐츠는 예를 들어, 로컬 캐시들 225 및 223과 같은 로컬 메모리에 저장 될 수 있거나 네트워크 구성 요소들 233으로부터 검색될 수 있다. 상기 소프트웨어 렌더링 엔진들은 예를 들어, 로컬 캐시 225 내지 236으로부터 데이터 227, 이러한 입력들을 이용하고, 각 원근법 디스플레이 모니터를 위한 픽셀들을 렌더한다. 단일 디스플레이 엔진 236은 디스플레이 모니터 240로 렌더된 픽셀들을 전송하고, 엔진 238은 디스플레이 모니터 242로 픽셀들을 전송한다. 단일 디스플레이 렌더링 엔진은 디스플레이 모니터들 상에 표시되어야 하는 가상 환경의 구획들을 결정할 수 있는 각 엔진으로서 하나 또는 그 이상의 다른 "피어" 디스플레이들(예를 들어, 도 6에 도시된 2개의 피어 디스플레이들)의 위치 데이터가 필요하다. 이 정보를 이용함으로써 사용자에게 보여주기 위한 가상 세계의 구획은 상기 디스플레이들간의 공간적인 상호 관계를 유지하고, 상기 사용자를 위한 몰입 환경을 제공한다.
다른 실시예에서, 상기 디스플레이 장치들 기능들의 적어도 하나는 실제 세계에서 "앵커"이다. 그것은 상기 디스플레이 장치가 물리적인 환경에서 자신의 위치를 고정한다. 만약 모든 디스플레이들이 그들의 위치를 고정한다면, 상기 장치들은 서로 장소 및 위치 데이터를 교환할 필요가 없다. 도 6에서 디스플레이 224를 위한 앵커 데이터 239는 디스플레이 224의 렌더링 엔진 236으로 전송된다. 만약 단지 몇 개의 디스플레이들이 물리적 세계에서 그들의 위치를 고정하고, 디스플레이들은 다른 디스플레이들로 향하는 그들의 상대적 위치를 인식하는 "비고정된" 디스플레이들로 앵커 데이터를 전송해야 한다. 만약 하나의 디스플레이가 어떤 타입의 센서들을 가지지 않는다면, 피어 디스플레이로부터 자신의 상대적 장소 및 방향 데이터를 수신하고, 이 상대적 L/O 데이터는 실제 세계 유니트일 수 있다. 예 를 들어, 센서들을 가지는 디스플레이는 센서들 정보가 없는 디스플레이로 거리와 같은 정보, 예를 들어, 다른 디스플레이로부터 1.25미터, M 및 N의 수평 및 수직 헤딩 각도, 동일한 장치가 X, Y 및 Z로 향하는 상대적 각도 방향을 전송한다.
도 6에 도시된 동일한 디스플레이 상에서 3차원 콘텐츠를 디스플레이하기 위한 절차들은 도 9의 흐름도로 설명된다. 도 9에 도시된 많은 단계들은 도 8에 설명된 것과 유사하다. 상기 단계들은 둘 또는 그 이상의 동일한 디스플레이들의 어나 하나를 가져와서 설명된다. 상기 디스플레이들은 상기 상용 센스에서 동일할 필요는 없으며, 즉, 그들이 유사한 크기 또는 프로세싱 및 메모리 자원들을 가질 필요는 없다. 게다가, 그들은 다른 것들의 배제로 모든 상기 3차원 콘텐츠를 저장하거나 다른 것을 위한 렌더링을 실행하지 동일한 것들이다. 이 구성에서, 하나의 디스플레이는 랜탑 컴퓨터, 다른, 핸드폰, 및 여전히 다른, 멀티미디어 재생기일 수 있다. 이것들의 각각은 다른 프로세싱 용량들, 메모리 및 모니터 크기를 가진다. 단계 312에서 디스플레이는 다른 디스플레이들의 상대적 물리적인 장소를 얻거나 획득한다. 그것은 자신의 장소 센서들을 사용하거나 디스플레이(상기 상대적 위치 데이터는 그것으로 "더해진")로부터 상기 위치 데이터를 수신할 수 있다. 다시 상기 위치 데이터 그것은 수신하고, 절대 위치 데이터에 대응하여 상기 디스플레이 자체에 관한 위치들을 제공한다. 이 위치 데이터는 무선 또는 유선 수단을 통해 수신될 수 있고, 매우 폭넓게 변화할 수 있는 상기 디스플레이 상에서 적당한 인터페이스를 이용하여 수신될 수 있다. 또한 상기 디스플레이는 다수의 다른 디스플레이로 상대적 위치를 전송할 수 있거나 다른 디스플레이들이 상기 다른 디스 플레이들의 물리적인 위치들에 관한 물리적 위치를 검출하기 위한 그들의 장소 센서들을 이용할 수 있다. 이러한 실시예들에서, 상기 디스플레이들의 절대 포지셔닝 데이터(예를 들어, GPS 데이터)는 필요없다.
단계 314에서 3차원 콘텐츠 나타내기는 예를 들어, 가상 세계가 상기 디스플레이 상 메모리로부터 또는 네트워크로부터 검색되고, 단일 디스플레이 렌더링 엔진으로 입력한다. 단계 316에서 상기 렌더링 엔진은 상기 3차원 콘텐츠, 단계 312에서 획득된 상기 다른 디스플레이들 및 엔진들의 상주 디스플레이의 물리적 위치 데이터를 입력으로 얻기 위해 실행한다. 단계 318에서 상기 렌더링 엔진에 의해 생성된 상기 3차원 콘텐츠의 상기 랜더된 픽셀들을 상기 디스플레이 모니터 상에 디스플레이된다.
도 7은 일실시예에 따른 공간적으로 상호 연관된 디스플레이들 및 비디스플레이 구성 요소의 다른 구성을 보여주는 블록도이다. 원격 서버 246은 2개의 모바일 디스플레이들 248 및 260과 통신한다. 설명된 실시예에서, 서버 246은 디스플레이를 가지지 않거나 하나를 가지지만 이 구성의 예시로서 장치들 248 및 250의 상기 디스플레이들이 공간적으로 상호 연관되지 않는다. 원격 서버 246의 제1 역할은 서비스 분배기 또는 다른 제3 부분에 의해 작동될 수 있으며, 모바일 디스플레이들 248 및 250을 위한 렌더된 픽셀 데이터를 생성하기 위한 다중 디스플레이 렌더링 엔진 252를 동작하고, 유지하기 위한 것이다. 서버 246은 로컬 메모리 256 또는 다른 네트워크 구성 요소 258, 예를 들어, 다중 가상 세계들을 위한 3차원 콘텐츠를 저장하는 매체 저장 장치로부터 3차원 콘텐츠 데이터 254를 수신한다. 다 른 실시예에서 서버 246 상에 카메라와 같은 센서들은 모바일 장치들 또는 모바일 장치와 같이 보이는 장치들을 추적한다. 그것은 적외선 추적을 이용하는 마커를 찾을 수 있고, 상기 장치들의 각 방향 및 위치를 결정할 수 있다. 이러한 실시예에서, 서버 246은 그들의 위치를 추적할 수 있는 서버 264으로서 모바일 디스플레이들 248 및 250가 근접한다. 다른 실시예에서, 원격 서버는 환경에서 위치된 센서들 또는 방에서 센서들의 네트워크를 사용함으로써 디스플레이들 248 및 250의 일반 주변으로부터 L/O 데이터를 수신한다.
모바일 디스플레이 장치 248은 모바일 장치들 204 및 206과 유사할 수 있다. 그것은 각각 관련 구성 요소들인 센서들 및 디스플레이를 포함한다. 장치 248에서 센서들 260 및 장치 250에서 센서들 262는 다른 장치 250에 관한 장치들의 장소 및 방향을 결정할 수 있는 다양한 타입들의 센서들 중 하나일 수 있다. 도 7에 도시된 구성에서 2개의 모바일 장치들 248 및 250는 예시이고, 다중 모바일 또는 고정 장치들일 수 있다. 모바일 장치 248의 상대적 물리적인 위치 데이터 264는 원격 서버246에 의해 획득된다. 설명된 실시예에서, 위치 데이터 264는 서버 246으로 전송된다. 유사하게 위치 데이터 266은 장치 250의 상대적 물리적인 위치 데이터를 나타내고, 서버 246으로 전송된다. 렌더링 엔진 252는 렌더된 픽셀 데이터를 생성하기 위해 상대적 물리적인 위치 데이터 264 및 266으로 처리한다. 렌더된 픽셀 데이터는 비디오 데이터 268로 표시되고, 모니터 272 상에 디스플레이하기 위해 디스플레이 248로 전송된다. 유사하게 렌더된 픽셀 데이터는 비디오 데이터 270로 보여지며, 디스플레이 250으로 전송되며, 모니터 274 상에 디스플레이된다. 이것 은 모바일 또는 고정 디스플레이들의 개수, 원격 서버 246 및 다중 디스플레이 렌더링 엔진 252의 처리 용량들 및 이용 가능한 전송 대역에 의해 제한된다. 앞서 지적된 것처럼 디스플레이들 248 및 250은 인식 센서들을 가지지 않을 수 있거나 또는 장소 또는 자데 동작 센서들 모두를 가질 수 있다. 상기 디스플레이들의 적어도 하나는 앵커를 제공하기 위한 자체 동작 센서를 가지고 있어야 한다.
도 10은 도 8 및 9에 도시된 것과 유사한 단계들을 가지고, 도 7에 논의된 구성 요소들에 대한 흐름도이다. 도 10에서 설명된 절차들은 원격 서버 246의 원근법으로부터이다. 단계 320에서 원격 서버는 도 7에서 디스플레이들 248 및 250으로 도시된 각기 다른 디스플레이들의 상대적 물리적인 장소들을 얻거나 획득한다. 이것은 디스플레이들의 몇 개 또는 전부에서 센서들을 사용함으로써 수행될 수 있다. 앞서 지적된 것처럼 디스플레이들의 적어도 하나는 자체 동작 검출기를 가진다. 모든 디스플레이들이 장소 센서들을 가질 필요는 없다. 그들은 다른 장치들(유사하게)와 연관된 자신의 위치를 얻는 센서들을 가지고, 원격 서버 246으로 상기 상대적 물리적인 위치 정보를 전송한다. 만약 동일한 디스플레이는 자신의 센서들을 가지지 않는다면, 동일한 장치는 센서가 없는 동일한 장치의 상대적 위치를 센싱할 수 있고, 이 상대적 위치 데이터와 함께 자체 동작 데이터를 상기 원격 서버로 전송한다. 이 분야에서 알려진 것처럼 장소 센서들 및 자체 동작 검출기는 상기 디스플레이들의 상대적 위치들을 측정하기 위해 사용될 수 있는 다양한 방식들이 있다.
단계 320에서 이러한 위치 데이터는 상기 원격 서버에 의해 획득된다. 단계 322에서 상기 3차원 콘텐츠 데이터는 로컬 캐시 256과 같은 상기 원격 서버 상의 메모리로부터 또는 네트워크 구성 요소들 258로부터, 또는 둘 다로부터 검색된다. 단계 324에서 원격 서버 내 다중 디스플레이 렌더링 엔진은 실행한다. 상기 엔진은 3차원 콘텐츠 데이터 및 서로 인접한 동일한 디스플레이들로부터 수신된 상기 디스플레이 위치 데이터(이 실시예에서, 원격 서버 자체의 위치는 필요 없음)를 입력으로 획득한다. 그것은 이러한 디스플레이들의 몇 개가 고정 디스플레이들이 될 수 있고, 그들은 모두 모바일 단말기일 필요 없다는 것을 유의해야 한다. 단계 326에서 상기 3차원 콘텐츠의 상기 렌더된 픽셀들은 렌더링 엔진에 의해 생성되고, 전형적으로 무선을 통해 비디오 스트림과 같은 적합한 형태에서 동일한 디스플레이들로 전송된다. 상기 렌더된 픽셀 데이터는 하나 또는 그 이상의 디스플레이들로 전송될 때 상기 데이터는 단계 328에서 디스플레이된다(절차에서 하나의 단계는 원격 서버로 발생되지 않음). 상기 절차는 각 디스플레이를 위한 물리적 위치 데이터가 상기 원격 서버로 전송되는 단계 320로 되돌아감으로써 반복한다.
도 12는 일실시예에 따른 가상 세계 데이터를 디스플레이하기 위한 공간적으로 상호 연관된 다중 디스플레이들의 개략도 및 폐쇄된 상호 동작 흐름이다. 다이어그램의 중심에는 다중 디스플레이 렌더링 엔진 506이다. 가상 세계 좌표들 또는 데이터 504는 엔진 506으로 입력된다. 앞서 지적된 것처럼 데이터 504는 하나 또는 그 이상의 자원들로부터 올 수 있다. 또한 엔진 506은 1 내지 n 디스플레이 장치들을 위한 상대적 물리적인 디스플레이 위치 데이터 502를 입력으로서 가진다. 앞서 지적된 것처럼 위치 데이터 502는 장소 데이터(예를 들어, 좌표) 및 방향 데 이터(예를 들어, 각도)의 형태이다. 위치 데이터 502는 동일한 가상 세계 좌표들을 디스플레이하고 근접한 상기 다른 디스플레이들에 대한 디스플레이의 위치를 전달한다. 엔진 506 내에 가상 카메라들 508이 있다. 다중 렌더링 엔진 506의 출력은 상기 디스플레이들 510으로 전송되는 비디오 스트림들이다. 렌더링 엔진 506은 스펙 렌더링 원근법을 결정하기 위해 가상 카메라들 508을 사용한다. 이러한 가상 카메라 이미지들은 각 디스플레이 장치를 위한 렌더된 픽셀 데이터에 의해 적용된다. 가상 카메라들 508은 특히 디스플레이 장치에 의해 제공되는 가상 세계에서 뷰를 제공한다. 상기 사용자가 디스플레이를 움직이면, 그것의 상대적 물리적인 위치 데이터 502가 변한다. 상기 신규 또는 변경된 위치 데이터는 가상 카메라들 508의 변화에 의해 엔진 506으로 입력된다. 이러한 방식에서 임의의 및 제멋대로 포지션된 디스플레이들의 공간적 상호 관계는 도 12에 도시된 것처럼 폐쇄된 피드백 루프를 이용하여 실행될 수 있다.
도 13 및 14는 본 발명의 실시예들을 실행하기 위해 적합한 컴퓨터 시스템 600을 예시한다. 도 13은 상기 컴퓨팅 시스템의 하나의 가능한 물리적 형태를 나타낸다. 물론, 상기 컴퓨팅 시스템은 집적 회로, 인쇄된 회로 보드, 소형 휴대 장치(예를 들어, 모바일 전화기, 핸드셋 또는 PDA), 개인 컴퓨터 또는 슈퍼 컴퓨터를 포함하는 많은 물리적 형태들을 가질 수 있다. 컴퓨팅 시스템 600은 모니터 602, 디스플레이 604, 하우징 606, 디스크 드라이브 608, 키보드 610 및 마우스 612를 포함한다. 디스크 614는 컴퓨터 시스템 600로 및 컴퓨터 시스템으로부터 데이터를 전송하기 위해 사용되는 컴퓨터 판독 가능한 매체이다.
도 14는 컴퓨터 시스템 600을 위한 블록도의 일례이다. 시스템 버스 620에 부착된 서브시스템들은 넓고 다양하다. 프로세서(들) 622(또한 central processing units, 또는 CPUs로 언급된)는 메모리 624를 포함하는 저장 장치들과 접속된다. 메모리 624는 임의 억세스 메모리(RAM) 및 판독 전용 메모리(ROM)를 포함한다. 잘 알려진 기술로서 ROM은 단일 방향으로 CPU로 데이터 및 명령들을 전송하기 위해 전형적으로 사용되고, RAM은 양방향 방식으로 데이터 및 명령들을 전송하기 위해 전형적으로 사용된다. 이러한 타입들의 메모리 둘 다는 이하 컴퓨터 판독 가능한 매체의 적합한 어느 것을 포함할 수 있다. 또한 고정 디스크 626는 CPU 622와 양방향으로 접속되고, 부가적인 데이터 저장 용량을 제공하고, 이하 설명된 컴퓨터 판독 가능한 매체의 어느 하나를 포함할 수 있다. 고정 디스크 626은 프로그램, 데이터 등을 저장하기 위해 사용될 수 있고, 1차 저장 매체보다 속도가 느린 전형적인 2차 저장 매체이다. 고정 디스크 626 내에 보유된 정보는 적당한 경우에, 메모리 642 내에서 가상 메모리로서 표준 방식과 연관될 수 있다. 분리성 디스크(removable disk) 614는 이하 설명된 컴퓨터 판독 가능한 매체의 어느 하나의 형태를 취할 수 있다.
또한 CPU 622는 디스플레이 604, 키보드 610, 마우스 612 및 스피커들 630과 같이 다양한 입력/출력 장치들과 접속된다. 일반적으로 입력/출력 장치는 비디오 디스플레이들, 트랙 볼들, 마우스들, 키보드들, 마이크로폰들, 터치감지하는 디스플레이들, 트랜스듀서 카드 리더기들, 마그네틱 또는 종이 테이프 리더기들, 테이블릿들, 스타일러스들, 음성 또는 수기 리더기들, 동물 측정학 리더기들 또는 다른 컴퓨터들 중 어느 하나일 수 있다. CUP 622는 선택적으로 다른 컴퓨터와 접속될 수 있거나 네트워크 인터페이스 640을 이용하여 통신 네트워크할 수 있다. 네트워크 인터페이스를 가지고 CPU 622는 네트워크로부터 전송을 수신할 수 있거나 앞서 설명된 방법 단계들을 수행하는 절차에서 네트워크로 정보를 출력할 수 있다. 게다가, 본 발명의 방법 실시예들은 CPU 622 상에서 단독으로 실행할 수 있거나 인터넷과 같은 네트워크를 통해 원격 CPU와 접속하여 프로세싱의 일부분을 나누어서 실행할 수 있다.
본 발명의 예시한 실시예 및 응용들은 여기에 도시되거나 설명되어 있기는 하지만 발명의 개념, 범위 및 정신이 유지되는 한도 내에서 다양한 변화들 및 변형들이 가능하고, 이러한 변화들은 이 응용의 정독한 후 이 기술 분야에서 통상의 지식을 가진 자에게 명백한 것이다. 따라서, 예시로 설명된 실시예들은 제한되지 않고, 발명은 여기에 주어진 상세 설명들에 의해 제한되지 않으며, 첨부된 청구범위들의 범위 및 등가 내에서 변경이 가능하다.

Claims (34)

  1. 호스트 서버를 이용하는 제1 디스플레이 구성 요소 및 제2 디스플레이 구성 요소에 3차원 콘텐츠를 디스플레이 방법에 있어서,
    상기 호스트 서버에서 상기 제2 디스플레이 구성 요소에 상대적인 위치를 나타내는 상기 제1 디스플레이 구성 요소의 제1 물리적 위치 데이터와 상기 제1 디스플레이 구성 요소에 상대적인 위치를 나타내는 상기 제2 디스플레이 구성 요소의 제2 물리적 위치 데이터를 획득하는 단계; 및
    상기 제1 디스플레이 구성 요소로 렌더된 데이터(rendered data)의 제1 세트와 상기 제2 디스플레이 구성 요소로 렌더된 데이터의 제2 세트를 전송하는 단계
    를 포함하고,
    상기 렌더된 데이터의 제1 세트는 상기 제1 디스플레이 구성 요소에 디스플레이되고, 상기 렌더된 데이터의 제2 세트는 상기 제2 디스플레이 구성 요소에 디스플레이되고, 상기 제1 디스플레이 구성 요소 및 상기 제2 디스플레이 구성 요소는 상기 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링(correlated rendering)이 가능하고, 상기 제1 및 제2 디스플레이 구성 요소들 둘 다를 이용하여 상기 3차원 콘텐츠를 보는 사용자를 위한 확장된 시야(extended field-of-view)를 제공하는, 방법.
  2. 제1항에 있어서,
    상기 호스트 서버 상의 로컬 메모리로부터 상기 3차원 콘텐츠를 대표하는 3차원 콘텐츠 데이터를 획득하는 단계를 더 포함하는, 방법.
  3. 제1항에 있어서,
    네트워크 구성 요소로부터 상기 3차원 콘텐츠를 대표하는 3차원 콘텐츠 데이터를 획득하는 단계를 더 포함하는, 방법.
  4. 제1항에 있어서,
    상기 호스트 서버 상에서 렌더링 엔진(rendering engine)을 실행시켜서 상기 렌더된 데이터의 제1 세트 및 상기 렌더된 데이터의 제2 세트를 생성하는, 방법.
  5. 제1항에 있어서,
    제1 물리적 위치 데이터 및 제2 물리적 위치 데이터를 획득하는 단계; 및
    상기 제1 디스플레이 구성 요소로부터 상기 제1 물리적 위치 데이터를 수신하고, 상기 제2 디스플레이 구성 요소로부터 상기 제2 물리적 위치 데이터를 수신하는 단계
    를 더 포함하는, 방법.
  6. 제1항에 있어서,
    제1 물리적 위치 데이터 및 제2 물리적 위치 데이터를 획득하는 단계; 및
    상기 호스트 서버에서 센서들을 이용하여 상기 제1 물리적 위치 데이터와 상기 제2 물리적 위치 데이터를 검출하는 단계
    를 더 포함하는, 방법.
  7. 제1항에 있어서,
    렌더된 데이터의 제3 세트를 생성하는 단계; 및
    상기 호스트 서버 상에서 상기 렌더된 데이터의 제3 세트를 디스플레이하고, 상기 호스트 서버, 상기 제1 디스플레이 구성 요소 및 상기 제2 디스플레이 구성 요소는 상기 3차원 콘텐츠의 상호 연관된 렌더링을 공간적으로 할 수 있는, 방법.
  8. 제1항에 있어서,
    상기 제1 디스플레이의 제1 물리적 위치 데이터 및 상기 제2 디스플레이의 상기 제2 물리적 위치 데이터를 센싱하는 단계를 더 포함하고,
    상기 센싱하는 단계는 연속적으로 수행되며, 공간적으로 상호 연관된 렌더링을 할 수 있는, 방법.
  9. 제1항에 있어서,
    제1 가상 위치와 상기 제1 디스플레이를 위한 방향 데이터(orientation data)에 대한 상기 제1 물리적 위치 데이터 및 제2 가상 위치와 상기 제2 디스플레 이를 위한 방위 데이터에 대한 상기 제2 물리적 위치 데이터의 일대일 매핑 변환(one-to-one mapping transformation)을 실행하는 단계를 더 포함하는, 방법.
  10. 제1 디스플레이 구성 요소 및 제2 디스플레이 구성 요소에 3차원 콘텐츠를 디스플레이 방법에 있어서,
    상기 제1 디스플레이 구성 요소의 제1 물리적 위치를 센싱하는 단계;
    상기 제1 디스플레이 구성 요소 상에 렌더링 데이터의 제1 세트를 디스플레이하는 단계; 및
    상기 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링을 제공하는 단계
    를 포함하고,
    상기 제1 물리적 위치는 상기 제2 디스플레이 구성 요소에 연관되고,
    상기 제1 디스플레이 구성 요소의 제1 물리적 위치 데이터는 상기 제2 디스플레이 구성 요소에 의해 획득되고, 상기 제1 디스플레이 구성 요소 및 제2 디스플레이 구성 요소는 상기 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링을 제공하고, 상기 제1 디스플레이 구성 요소 및 상기 제2 디스플레이 구성 요소를 이용하여 상기 3차원 콘텐츠를 보는 사용자를 위한 확장된 시야를 가능하게 하는, 방법.
  11. 제10항에 있어서,
    상기 제1 디스플레이 구성 요소 상에서 렌더링 엔진을 실행하는 단계를 더 포함하는, 방법.
  12. 제10항에 있어서,
    상기 제1 디스플레이 구성 요소의 제1 자체 동작 데이터(egomotion data)를 측정하는 단계를 더 포함하는, 방법.
  13. 제10항에 있어서,
    상기 제2 디스플레이 구성 요소로부터 제2 자체 동작 데이터를 수신하는 단계를 더 포함하는, 방법.
  14. 제13항에 있어서,
    상기 제1 디스플레이 구성 요소의 상기 제1 자체 운동 데이터를 상기 제2 디스플레이 구성 요소로 전파하는 단계를 더 포함하는, 방법.
  15. 제10항에 있어서,
    상기 제2 디스플레이 구성 요소와 관련하여 제2 물리적 위치 데이터를 수신하는 단계를 더 포함하는, 방법.
  16. 제10항에 있어서,
    상기 제1 디스플레이 구성 요소 및 상기 제2 디스플레이 구성 요소는 상기 3차원 콘텐츠를 저장하고, 상기 3차원 콘텐츠에서 변화가 발생할 때 상기 제1 디스 플레이 구성 요소 및 상기 제2 디스플레이 구성 요소는 동조하는(synchronize), 방법.
  17. 제10항에 있어서,
    상기 제2 디스플레이 구성 용소로 상기 3차원 콘텐츠의 일부분(portion)을 전송하고, 상기 제1 디스플레이 구성 요소는 모든 상기 3차원 콘텐츠를 저장하고, 상기 제2 디스플레이 구성 요소는 초기에 어떤 3차원 콘텐츠도 저장하지 않는, 방법.
  18. 3차원 콘텐츠를 디스플레이하기 위한 장치들을 디스플레이하는 시스템에 있어서,
    적어도 하나의 제1 위치 센서 및 제1 모니터를 가지는 제1 디스플레이; 및
    적어도 하나의 제2 위치 센서 및 제2 모니터를 가지는 제2 디스플레이
    를 포함하고,
    3차원 콘텐츠의 렌더된 픽셀들이 상기 제1 디스플레이로부터 상기 제2 디스플레이로 전송되고, 상기 렌더된 픽셀들은 상기 제2 디스플레이의 상기 위치 데이터에 기초하여 계산되고, 상기 제1 디스플레이 및 상기 제2 디스플레이는 상기 3차원 콘텐츠를 공간적으로 상호 연관된 렌더링을 가능하게 하고, 상기 제1 디스플레이는 상기 제2 디스플레이의 상대적인 위치 데이터를 획득하고, 상기 제2 디스플레이는 상기 제1 디스플레이의 상대적인 위치 데이터를 획득하는, 시스템.
  19. 제18항에 있어서,
    상기 제1 디스플레이는 다중 디스플레이 렌더링 엔진(multiple display rendering engine)을 실행하는, 시스템.
  20. 제18항에 있어서,
    위치 데이터(position data)는 장소 데이터(Location data) 및 방향 데이터(orientation data)인, 시스템.
  21. 제1 디스플레이 구성 요소 및 제2 디스플레이 구성 요소 상에 3차원 콘텐츠를 디스플레이하기 위한 장치에 있어서,
    상기 제2 디스플레이 구성 요소와의 상대적인 위치를 나타내는 상기 제1 디스플레이 구성 요소의 제1 물리적 위치 데이터 및 상기 제1 디스플레이 구성 요소와의 상대적인 위치를 나타내는 상기 제2 디스플레이 구성 요소의 물리적인 위치 데이터를 획득하기 위한 수단; 및
    상기 제1 디스플레이 구성 요소로 렌더된 데이터의 제1 세트 및 상기 제2 디스플레이 구성 요소로 렌더된 데이터의 제2 세트를 전송하기 위한 수단
    을 포함하고,
    상기 렌더된 데이터의 제1 세트는 상기 제1 디스플레이 구성 요소 상에 디스플레이되고, 상기 렌더된 데이터의 제2 세트는 상기 제2 디스플레이 구성 요소 상 에 디스플레이되고,
    상기 제1 디스플레이 구성 요소 및 상기 제2 디스플레이 구성 요소는 상기 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링이 가능하고, 상기 제1 및 제2 디스플레이 구성 요소들을 이용하여 상기 3차원 콘텐츠를 사용자가 보기 위한 확장된 시야를 제공하는, 장치.
  22. 제21항에 있어서,
    네트워크 구성 요소로부터 상기 3차원 콘텐츠를 대표하는 3차원 콘텐츠 데이터를 획득하기 위한 수단을 더 포함하는, 장치.
  23. 제21항에 있어서,
    상기 렌더된 데이터의 제1 세트 및 상기 렌더된 데이터의 제2 세트를 렌더링하기 위한 수단을 더 포함하는, 장치.
  24. 제21항에 있어서,
    상기 제1 물리적 위치 데이터 및 제2 물리적 위치 데이터를 획득하기 위한 수단은,
    상기 제1 디스플레이 구성 요소로부터 제1 물리적 위치 데이터 및 상기 제2 디스플레이 구성 요소로부터 상기 제2 물리적 위치 데이터를 수신하기 위한 수단을 더 포함하는, 장치.
  25. 제21항에 있어서,
    상기 제1 물리적 위치 데이터 및 제2 물리적 위치 데이터를 획득하기 위한 수단은,
    상기 제1 물리적 위치 데이터 및 상기 제2 물리적 위치 데이터를 검출하기 위한 수단을 더 포함하는, 장치.
  26. 제21항에 있어서,
    상기 제1 물리적 위치 데이터 및 상기 제2 물리적 위치 데이터를 획득하기 위한 수단은,
    상기 제1 디스플레이 구성 요소 상에 제1 센서로부터 상기 제1 물리적 위치 데이터 및 상기 제2 디스플레이 구성 요소 상에 제2 센서로부터 상기 제2 물리적 위치 데이터를 수신하기 위한 수단을 더 포함하는, 장치.
  27. 제21항에 있어서,
    렌더된 데이터의 제3 세트를 생성하기 위한 수단; 및
    상기 렌더된 데이터의 제3 세트를 디스플레이하기 위한 수단을 더 포함하고,
    상기 제1 디스플레이 구성 요소 및 상기 제2 디스플레이 구성 요소가 상기 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링이 가능한, 장치.
  28. 제21항에 있어서,
    상기 제1 디스플레이의 상기 제1 물리적 위치 데이터 및 상기 제2 디스플레이의 상기 제2 물리적 위치 데이터를 센싱하기 위한 수단을 더 포함하고,
    상기 센싱은 연속적으로 수행되고, 공간적으로 상호 연관된 렌더링이 가능한, 장치.
  29. 제21항에 있어서,
    상기 제1 디스플레이를 위한 제1 가상 위치 및 방향 데이터로 상기 제1 물리적 위치 데이터의 일대일 변환과 상기 제2 디스플레이를 위한 제2 가상 데이터 및 방향 데이터로 상기 제2 물리적 위치 데이터의 일대일 변환을 실행하기 위한 수단을 더 포함하는, 장치.
  30. 제2 디스플레이 구성 요소에 관련하여 3차원 콘텐츠를 디스플레이하기 위한 장치에 있어서,
    상기 장치의 제1 물리적 위치를 센싱하기 위한 수단; 및
    상기 장치 상에 렌더링 데이터의 제1 세트를 디스플레이하기 위한 수단을 포함하고,
    상기 장치의 제1 물리적 위치는 상기 제2 디스플레이 구성 요소와 관련되고, 상기 장치의 상기 제1 물리적 위치 데이터는 상기 제2 디스플레이 구성 요소에 의해 획득되고,
    상기 장치와 제2 디스플레이 구성 요소는 상기 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링을 제공하고, 상기 장치 및 상기 제2 디스플레이 구성 요소를 이용하여 상기 3차원 콘텐츠를 사용자가 보기 위한 확장된 시야를 가능한, 장치.
  31. 제30항에 있어서,
    렌더링 데이터의 제1 세트를 생성하기 위한 수단을 더 포함하는, 장치.
  32. 제30항에 있어서,
    제1 자체 동작 데이터(egomotion data)를 측정하기 위한 수단을 더 포함하는, 장치.
  33. 제30항에 있어서,
    상기 장치의 제1 자체 동작 데이터를 상기 제2 디스플레이 구성 요소로 전파하기 위한 수단을 더 포함하는, 장치.
  34. 제30항에 있어서,
    상기 3차원 콘텐츠의 일부분을 상기 제2 디스플레이 구성 요소로 전송하기 위한 수단을 더 포함하고, 상기 장치는 모든 상기 3차원 콘텐츠를 저장하고, 상기 제2 디스플레이 구성 요소는 초기에 3차원 콘텐츠를 저장하지 않는, 장치.
KR1020097024434A 2008-09-02 2009-09-02 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링 KR101637990B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US9365108P 2008-09-02 2008-09-02
US61/093,651 2008-09-02
US12/424,117 2009-04-15
US12/424,117 US8253649B2 (en) 2008-09-02 2009-04-15 Spatially correlated rendering of three-dimensional content on display components having arbitrary positions

Publications (2)

Publication Number Publication Date
KR20110082636A true KR20110082636A (ko) 2011-07-20
KR101637990B1 KR101637990B1 (ko) 2016-07-11

Family

ID=41724668

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020090080586A KR20100027976A (ko) 2008-09-02 2009-08-28 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션
KR1020097024434A KR101637990B1 (ko) 2008-09-02 2009-09-02 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020090080586A KR20100027976A (ko) 2008-09-02 2009-08-28 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션

Country Status (3)

Country Link
US (5) US20100053151A1 (ko)
KR (2) KR20100027976A (ko)
WO (1) WO2010027193A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480300B1 (ko) * 2012-11-30 2015-01-12 한국과학기술원 메인 스크린과 제2 스크린 간의 상대 위치를 이용한 인터랙티브 콘텐트 제공 시스템 및 그 방법
US9727294B2 (en) 2013-05-22 2017-08-08 Infinitt Healthcare Co., Ltd. Mobile device, system and method for medical image displaying using multiple mobile devices

Families Citing this family (454)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405459B2 (en) 2011-08-24 2016-08-02 Z124 Unified desktop laptop dock software operation
US9715252B2 (en) 2011-08-24 2017-07-25 Z124 Unified desktop docking behavior for window stickiness
US9268518B2 (en) 2011-09-27 2016-02-23 Z124 Unified desktop docking rules
JP3915720B2 (ja) * 2002-11-20 2007-05-16 ソニー株式会社 映像制作システム、映像制作装置、映像制作方法
US7473313B2 (en) * 2005-06-15 2009-01-06 Halliburton Energy Services, Inc. Gas-generating additives having improved shelf lives for use in cement compositions
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US8384718B2 (en) * 2008-01-10 2013-02-26 Sony Corporation System and method for navigating a 3D graphical user interface
US20120204133A1 (en) * 2009-01-13 2012-08-09 Primesense Ltd. Gesture-Based User Interface
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
EP2260453A4 (en) * 2008-02-14 2016-03-23 Infomotion Sports Technologies Inc ELECTRONIC ANALYSIS OF ATHLETIC PERFORMANCE
US20090289188A1 (en) * 2008-05-20 2009-11-26 Everspring Industry Co., Ltd. Method for controlling an electronic device through infrared detection
EP2145575A1 (en) * 2008-07-17 2010-01-20 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO A system, a method and a computer program for inspection of a three-dimensional environment by a user
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US8866698B2 (en) * 2008-10-01 2014-10-21 Pleiades Publishing Ltd. Multi-display handheld device and supporting system
US20100138797A1 (en) * 2008-12-01 2010-06-03 Sony Ericsson Mobile Communications Ab Portable electronic device with split vision content sharing control and method
KR101544364B1 (ko) * 2009-01-23 2015-08-17 삼성전자주식회사 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법
CN102481478B (zh) 2009-03-27 2015-06-03 英福摩迅运动科技公司 监测体育锻炼事件
US20120121128A1 (en) * 2009-04-20 2012-05-17 Bent 360: Medialab Inc. Object tracking system
US9479895B2 (en) * 2009-04-23 2016-10-25 International Business Machines Corporation Location-oriented services
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
US20100328447A1 (en) * 2009-06-26 2010-12-30 Sony Computer Entertainment, Inc. Configuration of display and audio parameters for computer graphics rendering system having multiple displays
US20100328354A1 (en) * 2009-06-26 2010-12-30 Sony Computer Entertainment, Inc. Networked Computer Graphics Rendering System with Multiple Displays
US8269691B2 (en) * 2009-06-26 2012-09-18 Sony Computer Entertainment Inc. Networked computer graphics rendering system with multiple displays for displaying multiple viewing frustums
JP5343773B2 (ja) * 2009-09-04 2013-11-13 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
US9032288B2 (en) * 2009-09-11 2015-05-12 Xerox Corporation Document presentation in virtual worlds
US20110084983A1 (en) * 2009-09-29 2011-04-14 Wavelength & Resonance LLC Systems and Methods for Interaction With a Virtual Environment
KR20110035609A (ko) * 2009-09-30 2011-04-06 삼성전자주식회사 움직임 감지 장치 및 방법
US9104275B2 (en) * 2009-10-20 2015-08-11 Lg Electronics Inc. Mobile terminal to display an object on a perceived 3D space
US20110109526A1 (en) * 2009-11-09 2011-05-12 Qualcomm Incorporated Multi-screen image display
US20110140991A1 (en) * 2009-12-15 2011-06-16 International Business Machines Corporation Multi-monitor configuration system
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US8913009B2 (en) * 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
WO2011122654A1 (ja) 2010-03-30 2011-10-06 新日鉄ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム、情報処理装置、空きスペース案内システム、空きスペース案内方法及びプログラム、画像表示システム、画像表示方法及びプログラム
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
US8560583B2 (en) 2010-04-01 2013-10-15 Sony Computer Entertainment Inc. Media fingerprinting for social networking
US9264785B2 (en) 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US10448083B2 (en) * 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
US8881060B2 (en) 2010-04-07 2014-11-04 Apple Inc. Device, method, and graphical user interface for managing folders
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
TWI461967B (zh) * 2010-04-07 2014-11-21 Hon Hai Prec Ind Co Ltd 手寫輸入電子設備
CN107256094A (zh) 2010-04-13 2017-10-17 诺基亚技术有限公司 装置、方法、计算机程序和用户接口
KR101640043B1 (ko) 2010-04-14 2016-07-15 삼성전자주식회사 가상 세계 처리 장치 및 방법
US8842113B1 (en) * 2010-05-26 2014-09-23 Google Inc. Real-time view synchronization across multiple networked devices
WO2011147561A2 (en) * 2010-05-28 2011-12-01 Chao Zhang Mobile unit, method for operating the same and network comprising the mobile unit
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US20120200600A1 (en) * 2010-06-23 2012-08-09 Kent Demaine Head and arm detection for virtual immersion systems and methods
WO2012000536A1 (en) 2010-06-28 2012-01-05 Brainlab Generating images for at least two displays in image-guided surgery
KR101651135B1 (ko) * 2010-07-12 2016-08-25 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9159165B2 (en) * 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US9143699B2 (en) 2010-07-13 2015-09-22 Sony Computer Entertainment Inc. Overlay non-video content on a mobile device
US9832441B2 (en) 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device
US8730354B2 (en) 2010-07-13 2014-05-20 Sony Computer Entertainment Inc Overlay video content on a mobile device
US9814977B2 (en) 2010-07-13 2017-11-14 Sony Interactive Entertainment Inc. Supplemental video content on a mobile device
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
WO2012020866A1 (ko) * 2010-08-13 2012-02-16 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
JP5751775B2 (ja) * 2010-09-01 2015-07-22 キヤノン株式会社 撮像装置、その制御方法及びプログラム並びに記録媒体
US8517870B2 (en) 2010-09-07 2013-08-27 Infomotion Sports Technologies, Inc. Electronic component enclosure for an inflated object
US9047041B2 (en) * 2010-09-15 2015-06-02 Lenovo (Singapore) Pte. Ltd. Combining multiple slate displays into a larger display matrix
US9052760B2 (en) * 2010-09-15 2015-06-09 Lenovo (Singapore) Pte. Ltd. Combining multiple slate displays into a larger display
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
TW201215442A (en) * 2010-10-06 2012-04-16 Hon Hai Prec Ind Co Ltd Unmanned Aerial Vehicle control system and method
IL208600A (en) * 2010-10-10 2016-07-31 Rafael Advanced Defense Systems Ltd Real-time network-based laminated reality for mobile devices
US20120086630A1 (en) * 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
US9043732B2 (en) * 2010-10-21 2015-05-26 Nokia Corporation Apparatus and method for user input for controlling displayed information
US9489102B2 (en) * 2010-10-22 2016-11-08 Hewlett-Packard Development Company, L.P. System and method of modifying lighting in a display system
US9164581B2 (en) 2010-10-22 2015-10-20 Hewlett-Packard Development Company, L.P. Augmented reality display system and method of display
US8854802B2 (en) 2010-10-22 2014-10-07 Hewlett-Packard Development Company, L.P. Display with rotatable display screen
JP5815932B2 (ja) * 2010-10-27 2015-11-17 京セラ株式会社 電子機器
KR101364826B1 (ko) 2010-11-01 2014-02-20 닌텐도가부시키가이샤 조작 장치 및 조작 시스템
US8619030B2 (en) * 2010-11-09 2013-12-31 Blackberry Limited Method and apparatus for controlling an output device of a portable electronic device
JP5703703B2 (ja) 2010-11-11 2015-04-22 ソニー株式会社 情報処理装置、立体視表示方法及びプログラム
US9584735B2 (en) * 2010-11-12 2017-02-28 Arcsoft, Inc. Front and back facing cameras
KR101303994B1 (ko) * 2010-11-24 2013-09-04 한국전자통신연구원 가상 현실 기반 훈련 가이드 시스템 및 그 방법
EP2646987A1 (en) * 2010-12-03 2013-10-09 App.Lab Inc. System and method for presenting images
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
KR20120064557A (ko) * 2010-12-09 2012-06-19 한국전자통신연구원 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법
US20120162384A1 (en) * 2010-12-22 2012-06-28 Vesely Michael A Three-Dimensional Collaboration
JP5122659B2 (ja) * 2011-01-07 2013-01-16 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム
US20120192088A1 (en) * 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
US9618972B2 (en) * 2011-01-20 2017-04-11 Blackberry Limited Three-dimensional, multi-depth presentation of icons in association with differing input components of a user interface
US9480913B2 (en) 2011-01-26 2016-11-01 WhitewaterWest Industries Ltd. Interactive entertainment using a mobile device with object tagging and/or hyperlinking
US8421752B2 (en) 2011-01-27 2013-04-16 Research In Motion Limited Portable electronic device and method therefor
EP2485119A3 (en) * 2011-02-02 2012-12-12 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
US9298362B2 (en) * 2011-02-11 2016-03-29 Nokia Technologies Oy Method and apparatus for sharing media in a multi-device environment
US9507416B2 (en) 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
GB201103346D0 (en) 2011-02-28 2011-04-13 Dev Ltd Improvements in or relating to optical navigation devices
EP2497547B1 (en) 2011-03-08 2018-06-27 Nintendo Co., Ltd. Information processing program, information processing apparatus, information processing system, and information processing method
EP2497543A3 (en) 2011-03-08 2012-10-03 Nintendo Co., Ltd. Information processing program, information processing system, and information processing method
EP2497546A3 (en) 2011-03-08 2012-10-03 Nintendo Co., Ltd. Information processing program, information processing system, and information processing method
US9561443B2 (en) 2011-03-08 2017-02-07 Nintendo Co., Ltd. Computer-readable storage medium, information processing system, and information processing method
US9539511B2 (en) 2011-03-08 2017-01-10 Nintendo Co., Ltd. Computer-readable storage medium, information processing system, and information processing method for operating objects in a virtual world based on orientation data related to an orientation of a device
JP5792971B2 (ja) 2011-03-08 2015-10-14 任天堂株式会社 情報処理システム、情報処理プログラム、および情報処理方法
JPWO2012124250A1 (ja) * 2011-03-15 2014-07-17 パナソニック株式会社 オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US20120242793A1 (en) * 2011-03-21 2012-09-27 Soungmin Im Display device and method of controlling the same
US8713670B2 (en) 2011-03-30 2014-04-29 Elwha Llc Ascertaining presentation format based on device primary control determination
US8918861B2 (en) 2011-03-30 2014-12-23 Elwha Llc Marking one or more items in response to determining device transfer
US8726366B2 (en) 2011-03-30 2014-05-13 Elwha Llc Ascertaining presentation format based on device primary control determination
US8839411B2 (en) 2011-03-30 2014-09-16 Elwha Llc Providing particular level of access to one or more items in response to determining primary control of a computing device
US8863275B2 (en) 2011-03-30 2014-10-14 Elwha Llc Access restriction in response to determining device transfer
US8613075B2 (en) 2011-03-30 2013-12-17 Elwha Llc Selective item access provision in response to active item ascertainment upon device transfer
US8745725B2 (en) * 2011-03-30 2014-06-03 Elwha Llc Highlighting in response to determining device transfer
US8739275B2 (en) 2011-03-30 2014-05-27 Elwha Llc Marking one or more items in response to determining device transfer
US8726367B2 (en) * 2011-03-30 2014-05-13 Elwha Llc Highlighting in response to determining device transfer
US9153194B2 (en) 2011-03-30 2015-10-06 Elwha Llc Presentation format selection based at least on device transfer determination
US9317111B2 (en) 2011-03-30 2016-04-19 Elwha, Llc Providing greater access to one or more items in response to verifying device transfer
CN103493103A (zh) 2011-04-08 2014-01-01 皇家飞利浦有限公司 图像处理系统和方法
JP5829040B2 (ja) * 2011-04-11 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法
JP2012226182A (ja) * 2011-04-20 2012-11-15 Sony Corp 画像表示制御装置、画像表示システム、画像表示制御方法、並びにコンピューター・プログラム
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US20120274589A1 (en) * 2011-04-28 2012-11-01 De Angelo Michael J Apparatus, system, and method for remote interaction with a computer display or computer visualization or object
US8702507B2 (en) 2011-04-28 2014-04-22 Microsoft Corporation Manual and camera-based avatar control
US20120280898A1 (en) * 2011-05-03 2012-11-08 Nokia Corporation Method, apparatus and computer program product for controlling information detail in a multi-device environment
US8788973B2 (en) 2011-05-23 2014-07-22 Microsoft Corporation Three-dimensional gesture controlled avatar configuration interface
US10120438B2 (en) 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US8744169B2 (en) * 2011-05-31 2014-06-03 Toyota Motor Europe Nv/Sa Voting strategy for visual ego-motion from stereo
US9259645B2 (en) * 2011-06-03 2016-02-16 Nintendo Co., Ltd. Storage medium having stored therein an image generation program, image generation method, image generation apparatus and image generation system
JP5918618B2 (ja) * 2011-06-03 2016-05-18 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2012256110A (ja) * 2011-06-07 2012-12-27 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
JP5830987B2 (ja) * 2011-07-06 2015-12-09 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータプログラム
KR101302638B1 (ko) 2011-07-08 2013-09-05 더디엔에이 주식회사 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
JP5919665B2 (ja) * 2011-07-19 2016-05-18 日本電気株式会社 情報処理装置、物体追跡方法および情報処理プログラム
US20130044258A1 (en) * 2011-08-15 2013-02-21 Danfung Dennis Method for presenting video content on a hand-held electronic device
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
KR101189633B1 (ko) * 2011-08-22 2012-10-10 성균관대학교산학협력단 손가락 움직임에 따른 포인터 제어명령어 인식 방법 및 손가락 움직임에 따라 포인터를 제어하는 모바일 단말
JP5694883B2 (ja) * 2011-08-23 2015-04-01 京セラ株式会社 表示機器
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US20130050414A1 (en) * 2011-08-24 2013-02-28 Ati Technologies Ulc Method and system for navigating and selecting objects within a three-dimensional video image
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US20130050499A1 (en) * 2011-08-30 2013-02-28 Qualcomm Incorporated Indirect tracking
US20150138300A1 (en) 2011-09-02 2015-05-21 Microsoft Technology Licensing, Llc Mobile Video Calls
WO2013040498A1 (en) 2011-09-16 2013-03-21 Translucent Medical, Inc. System and method for virtually tracking a surgical tool on a movable display
US8903127B2 (en) 2011-09-16 2014-12-02 Harman International (China) Holdings Co., Ltd. Egomotion estimation system and method
US20130076654A1 (en) 2011-09-27 2013-03-28 Imerj LLC Handset states and state diagrams: open, closed transitional and easel
EP2575007A1 (en) * 2011-09-27 2013-04-03 Elo Touch Solutions, Inc. Scaling of gesture based input
EP2575006B1 (en) * 2011-09-27 2018-06-13 Elo Touch Solutions, Inc. Touch and non touch based interaction of a user with a device
US9423876B2 (en) * 2011-09-30 2016-08-23 Microsoft Technology Licensing, Llc Omni-spatial gesture input
US8711091B2 (en) * 2011-10-14 2014-04-29 Lenovo (Singapore) Pte. Ltd. Automatic logical position adjustment of multiple screens
US20130100008A1 (en) * 2011-10-19 2013-04-25 Stefan J. Marti Haptic Response Module
US20130125016A1 (en) * 2011-11-11 2013-05-16 Barnesandnoble.Com Llc System and method for transferring content between devices
KR101915985B1 (ko) * 2011-11-16 2018-11-07 엘지전자 주식회사 이동 단말기 및 그 제어 방법
EP2600319A1 (fr) * 2011-11-29 2013-06-05 Gemalto SA Système d'appairage entre un terminal et un élément de type eGo porté au poignet ou à la main d'un utilisateur et procédé correspondant
WO2013085513A1 (en) * 2011-12-07 2013-06-13 Intel Corporation Graphics rendering technique for autostereoscopic three dimensional display
US9164544B2 (en) 2011-12-09 2015-10-20 Z124 Unified desktop: laptop dock, hardware configuration
US20140015816A1 (en) * 2011-12-16 2014-01-16 Scott Janus Driving multiple displays using a single display engine
US9223138B2 (en) 2011-12-23 2015-12-29 Microsoft Technology Licensing, Llc Pixel opacity for augmented reality
EP2798440A4 (en) * 2011-12-27 2015-12-09 Intel Corp FULL 3D INTERACTION ON MOBILE DEVICES
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US20130191787A1 (en) * 2012-01-06 2013-07-25 Tourwrist, Inc. Systems and Methods for Acceleration-Based Motion Control of Virtual Tour Applications
EP2615580B1 (en) * 2012-01-13 2016-08-17 Softkinetic Software Automatic scene calibration
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US9297996B2 (en) 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
US9368546B2 (en) 2012-02-15 2016-06-14 Microsoft Technology Licensing, Llc Imaging structure with embedded light sources
US9726887B2 (en) 2012-02-15 2017-08-08 Microsoft Technology Licensing, Llc Imaging structure color conversion
US9779643B2 (en) 2012-02-15 2017-10-03 Microsoft Technology Licensing, Llc Imaging structure emitter configurations
US8786517B2 (en) * 2012-02-21 2014-07-22 Blackberry Limited System and method for displaying a user interface across multiple electronic devices
CN103294173A (zh) * 2012-02-24 2013-09-11 冠捷投资有限公司 基于使用者动作的遥控系统及其方法
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
KR101310498B1 (ko) * 2012-03-06 2013-10-10 서울대학교산학협력단 3차원 영상 표시 장치 및 그 방법
US9578318B2 (en) 2012-03-14 2017-02-21 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
JP2013196156A (ja) * 2012-03-16 2013-09-30 Sony Corp 情報処理装置、情報処理方法及びプログラム
US9575710B2 (en) 2012-03-19 2017-02-21 Lenovo (Beijing) Co., Ltd. Electronic device and information processing method thereof
US11068049B2 (en) 2012-03-23 2021-07-20 Microsoft Technology Licensing, Llc Light guide display and field of view
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
US9558590B2 (en) 2012-03-28 2017-01-31 Microsoft Technology Licensing, Llc Augmented reality light guide display
US10191515B2 (en) * 2012-03-28 2019-01-29 Microsoft Technology Licensing, Llc Mobile device light guide display
US8933912B2 (en) 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US9717981B2 (en) 2012-04-05 2017-08-01 Microsoft Technology Licensing, Llc Augmented reality and physical games
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR20130117553A (ko) * 2012-04-18 2013-10-28 한국전자통신연구원 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법
KR20140135839A (ko) * 2012-04-20 2014-11-26 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 복수의 장치를 이용하는 온라인 게임 경험
US9201495B2 (en) * 2012-04-24 2015-12-01 Mobitv, Inc. Control of perspective in multi-dimensional media
US9746916B2 (en) 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
US20130304476A1 (en) 2012-05-11 2013-11-14 Qualcomm Incorporated Audio User Interaction Recognition and Context Refinement
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US9170667B2 (en) 2012-06-01 2015-10-27 Microsoft Technology Licensing, Llc Contextual user interface
US9381427B2 (en) * 2012-06-01 2016-07-05 Microsoft Technology Licensing, Llc Generic companion-messaging between media platforms
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
EP2677500B1 (en) 2012-06-19 2021-06-23 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method
US8837780B2 (en) * 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
JP5910880B2 (ja) * 2012-06-22 2016-04-27 コニカミノルタ株式会社 操作表示システム、プログラム、携帯端末、操作表示装置、携帯端末プログラム
US9092184B2 (en) * 2012-06-22 2015-07-28 Harborside Press, LLC Interactive synchronized multi-screen display
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
US20140002336A1 (en) * 2012-06-27 2014-01-02 Greg D. Kaine Peripheral device for visual and/or tactile feedback
US8532675B1 (en) 2012-06-27 2013-09-10 Blackberry Limited Mobile communication device user interface for manipulation of data items in a physical space
US20140002339A1 (en) * 2012-06-28 2014-01-02 David Brent GUARD Surface With Touch Sensors for Detecting Proximity
US20140006472A1 (en) * 2012-06-28 2014-01-02 David Van Brink Locating a Device
US9235373B2 (en) * 2012-06-30 2016-01-12 At&T Intellectual Property I, L.P. Real-time management of content depicted on a plurality of displays
CN104272218B (zh) * 2012-06-30 2017-03-08 惠普发展公司，有限责任合伙企业 基于联合数据的虚拟手
US10616663B2 (en) 2012-07-02 2020-04-07 Russell Brands, Llc Computer-implemented capture of live sporting event data
US10076685B2 (en) 2012-07-02 2018-09-18 Russell Brands, Llc Operations with instrumented game ball
KR20140004448A (ko) * 2012-07-03 2014-01-13 삼성전자주식회사 영상 제공 방법 및 장치
US20140089850A1 (en) * 2012-09-22 2014-03-27 Tourwrist, Inc. Systems and Methods of Using Motion Control to Navigate Panoramas and Virtual Tours
TW201403446A (zh) * 2012-07-09 2014-01-16 Hon Hai Prec Ind Co Ltd 軟體介面顯示系統及方法
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
US9305514B1 (en) * 2012-07-31 2016-04-05 Trend Micro Inc. Detection of relative positions of tablet computers
US9245428B2 (en) * 2012-08-02 2016-01-26 Immersion Corporation Systems and methods for haptic remote control gaming
JP6012068B2 (ja) * 2012-08-28 2016-10-25 日本電気株式会社 電子機器、その制御方法及びプログラム
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US9838573B2 (en) * 2012-09-18 2017-12-05 Samsung Electronics Co., Ltd Method for guiding controller to move to within recognizable range of multimedia apparatus, the multimedia apparatus, and target tracking apparatus thereof
GB2506203B (en) * 2012-09-25 2016-12-14 Jaguar Land Rover Ltd Method of interacting with a simulated object
WO2014050957A1 (ja) * 2012-09-27 2014-04-03 京セラ株式会社 表示装置、制御方法および制御プログラム
US9026924B2 (en) * 2012-10-05 2015-05-05 Lenovo (Singapore) Pte. Ltd. Devices, systems, and methods for moving electronic windows between displays
JP6178066B2 (ja) * 2012-11-06 2017-08-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
US9671874B2 (en) 2012-11-08 2017-06-06 Cuesta Technology Holdings, Llc Systems and methods for extensions to alternative control of touch-based devices
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9658695B2 (en) * 2012-11-08 2017-05-23 Cuesta Technology Holdings, Llc Systems and methods for alternative control of touch-based devices
WO2014071635A1 (en) * 2012-11-12 2014-05-15 Hulu Llc Combining multiple screens from multiple devices in video playback
KR101416378B1 (ko) * 2012-11-27 2014-07-09 현대자동차 주식회사 영상 이동이 가능한 디스플레이 장치 및 방법
JP5857946B2 (ja) * 2012-11-30 2016-02-10 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム
US10101905B1 (en) * 2012-12-07 2018-10-16 American Megatrends, Inc. Proximity-based input device
US8976172B2 (en) 2012-12-15 2015-03-10 Realitycap, Inc. Three-dimensional scanning using existing sensors on portable electronic devices
FR2999741B1 (fr) * 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
KR101956073B1 (ko) 2012-12-20 2019-03-08 삼성전자주식회사 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법
US10192358B2 (en) 2012-12-20 2019-01-29 Microsoft Technology Licensing, Llc Auto-stereoscopic augmented reality display
JP2014127124A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置、情報処理方法及びプログラム
CN103902195B (zh) * 2012-12-28 2017-02-22 鸿富锦精密工业(武汉)有限公司 显示屏幕自动调节系统及方法
CN104364750B (zh) * 2013-01-06 2019-07-16 英特尔公司 用于触摸数据和显示区域控制的分布式预处理的方法、装置和系统
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
CN103945030B (zh) * 2013-01-17 2017-06-30 信泰光学(深圳)有限公司 组合式装置及其操作方法
KR101822463B1 (ko) * 2013-01-21 2018-01-26 삼성전자주식회사 복수 개의 아이콘들을 화면상에 배치하는 장치 및 이의 운용 방법
US9161167B2 (en) * 2013-01-23 2015-10-13 Qualcomm Incorporated Visual identifier of third party location
TWI510084B (zh) * 2013-01-25 2015-11-21 Sintai Optical Shenzhen Co Ltd 組合式裝置及其操作方法
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9330471B2 (en) * 2013-02-14 2016-05-03 Qualcomm Incorporated Camera aided motion direction and speed estimation
US20140236726A1 (en) * 2013-02-18 2014-08-21 Disney Enterprises, Inc. Transference of data associated with a product and/or product package
US9858031B2 (en) * 2013-03-11 2018-01-02 International Business Machines Corporation Colony desktop hive display: creating an extended desktop display from multiple mobile devices using near-field or other networking
US9210526B2 (en) * 2013-03-14 2015-12-08 Intel Corporation Audio localization techniques for visual effects
US20140274384A1 (en) * 2013-03-15 2014-09-18 Electronic Arts Inc. Delivering and consuming interactive video gaming content
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
WO2014155508A1 (ja) * 2013-03-26 2014-10-02 Ｎｅｃディスプレイソリューションズ株式会社 マルチディスプレイシステム
JP2015026286A (ja) * 2013-07-26 2015-02-05 セイコーエプソン株式会社 表示装置、表示システムおよび表示装置の制御方法
WO2014163214A1 (en) * 2013-04-01 2014-10-09 Lg Electronics Inc. Image display device for providing function of changing screen display direction and method thereof
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
KR102025535B1 (ko) * 2013-04-08 2019-09-26 시마진 미디어 엘티디 멀티-카메라 장치를 사용하는 거리 추정
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9323338B2 (en) 2013-04-12 2016-04-26 Usens, Inc. Interactive input system and method
US20140315489A1 (en) * 2013-04-22 2014-10-23 Htc Corporation Method for performing wireless display sharing, and associated apparatus and associated computer program product
US9395764B2 (en) * 2013-04-25 2016-07-19 Filippo Costanzo Gestural motion and speech interface control method for 3d audio-video-data navigation on handheld devices
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
EP2801891B1 (en) 2013-05-09 2018-12-26 Samsung Electronics Co., Ltd Input Apparatus, Pointing Apparatus, Method for Displaying Pointer, and Recordable Medium
US9417835B2 (en) 2013-05-10 2016-08-16 Google Inc. Multiplayer game for display across multiple devices
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US9727298B2 (en) * 2013-05-28 2017-08-08 Sony Corporation Device and method for allocating data based on an arrangement of elements in an image
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US20140365558A1 (en) * 2013-06-05 2014-12-11 Wolfgis, Llc System and method for visualizing complex gis location-based datasets
KR20150000783A (ko) * 2013-06-25 2015-01-05 삼성전자주식회사 멀티 스크린을 이용한 디스플레이 방법 및 장치
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
DE102013013698A1 (de) * 2013-08-16 2015-02-19 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille
US11265444B2 (en) 2013-08-23 2022-03-01 Preemadonna Inc. Apparatus for applying coating to nails
US9687059B2 (en) 2013-08-23 2017-06-27 Preemadonna Inc. Nail decorating apparatus
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
WO2015039215A1 (en) * 2013-09-17 2015-03-26 Invensense, Inc. Method and apparatus for determination of misalignment between device and pedestrian using vision
JP2015061107A (ja) * 2013-09-17 2015-03-30 株式会社リコー 配信管理装置、及び配信システム
US9456148B1 (en) * 2013-09-18 2016-09-27 Amazon Technologies, Inc. Multi-setting preview for image capture
JP6427858B2 (ja) * 2013-09-19 2018-11-28 セイコーエプソン株式会社 表示システム、画像表示装置および表示システムの制御方法
US9536353B2 (en) 2013-10-03 2017-01-03 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9715764B2 (en) 2013-10-03 2017-07-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9547173B2 (en) * 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9630631B2 (en) 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
AU2013404001B2 (en) 2013-10-30 2017-11-30 Apple Inc. Displaying relevant user interface objects
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US10048762B2 (en) 2013-11-05 2018-08-14 Intuit Inc. Remote control of a desktop application via a mobile device
US9939925B2 (en) * 2013-11-26 2018-04-10 Adobe Systems Incorporated Behind-display user interface
NL2011867C2 (en) * 2013-11-29 2015-06-01 Jasper Vis Method and device for processing content for display.
FR3014228B1 (fr) * 2013-12-04 2017-04-28 Renault Sas Systeme de detection virtuelle
JP2015115046A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 情報処理装置、プログラム、情報処理方法及び情報処理システム
JP2015127897A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 表示制御装置、表示制御システム、表示制御方法、およびプログラム
KR101548228B1 (ko) * 2013-12-27 2015-08-28 주식회사 케이티 사용자 상태에 기반하여 사용자 인터페이스를 동기화하는 동기화 기기 및 동기화 방법
KR102285915B1 (ko) 2014-01-05 2021-08-03 마노모션 에이비 모바일 디바이스를 위한 실시간 3d 제스처 인식 및 트랙킹 시스템
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
KR20150087666A (ko) * 2014-01-22 2015-07-30 삼성전자주식회사 휴대 단말의 입력 인터페이스 제공 방법 및 그 장치
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US20150242179A1 (en) * 2014-02-21 2015-08-27 Smart Technologies Ulc Augmented peripheral content using mobile device
AU2015223149A1 (en) 2014-02-28 2016-09-22 Russell Brands, Llc Data processing inside gaming device
US20160371888A1 (en) * 2014-03-10 2016-12-22 Bae Systems Plc Interactive information display
GB201404134D0 (en) * 2014-03-10 2014-04-23 Bae Systems Plc Interactive information display
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US20150268917A1 (en) * 2014-03-20 2015-09-24 Nokia Technologies Oy Apparatus, method, and computer program product for aligning images viewed across multiple displays
KR20150117018A (ko) * 2014-04-09 2015-10-19 삼성전자주식회사 컴퓨팅 장치, 컴퓨팅 장치 제어 방법 및 다중 디스플레이 시스템
US20150301606A1 (en) * 2014-04-18 2015-10-22 Valentin Andrei Techniques for improved wearable computing device gesture based interactions
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
KR20150130845A (ko) * 2014-05-14 2015-11-24 삼성전자주식회사 전자장치의 위치 측정 장치 및 방법
US10379614B2 (en) * 2014-05-19 2019-08-13 Immersion Corporation Non-collocated haptic cues in immersive environments
US9740338B2 (en) 2014-05-22 2017-08-22 Ubi interactive inc. System and methods for providing a three-dimensional touch screen
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9304235B2 (en) 2014-07-30 2016-04-05 Microsoft Technology Licensing, Llc Microfabrication
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US10268321B2 (en) * 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9880799B1 (en) 2014-08-26 2018-01-30 Sprint Communications Company L.P. Extendable display screens of electronic devices
US20170201721A1 (en) * 2014-09-30 2017-07-13 Hewlett Packard Enterprise Development Lp Artifact projection
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
CN105573687B (zh) * 2014-10-10 2019-10-15 鸿富锦精密工业（深圳）有限公司 显示控制装置、电子设备及显示控制方法
US10523993B2 (en) 2014-10-16 2019-12-31 Disney Enterprises, Inc. Displaying custom positioned overlays to a viewer
GB2531531A (en) * 2014-10-20 2016-04-27 Bae Systems Plc Optical inertial measurement apparatus and method
US11504029B1 (en) 2014-10-26 2022-11-22 David Martin Mobile control using gait cadence
US11045116B1 (en) * 2017-09-15 2021-06-29 David Martin Enhanced determination of cadence for control in mobile
US10342462B2 (en) * 2014-10-26 2019-07-09 David Martin Application of gait characteristics for mobile
TWI521387B (zh) * 2014-12-25 2016-02-11 國立臺灣大學 三維空間中之可重置式虛擬觸控板
US10762534B1 (en) * 2014-12-29 2020-09-01 Groupon, Inc. Motion data based consumer interfaces
JP5976145B2 (ja) * 2015-02-05 2016-08-23 キヤノン株式会社 撮像装置、その制御方法及びプログラム並びに記録媒体
US9513480B2 (en) 2015-02-09 2016-12-06 Microsoft Technology Licensing, Llc Waveguide
US9372347B1 (en) 2015-02-09 2016-06-21 Microsoft Technology Licensing, Llc Display system
US9429692B1 (en) 2015-02-09 2016-08-30 Microsoft Technology Licensing, Llc Optical components
US9535253B2 (en) 2015-02-09 2017-01-03 Microsoft Technology Licensing, Llc Display system
US11086216B2 (en) 2015-02-09 2021-08-10 Microsoft Technology Licensing, Llc Generating electronic components
US9827209B2 (en) 2015-02-09 2017-11-28 Microsoft Technology Licensing, Llc Display system
US9423360B1 (en) 2015-02-09 2016-08-23 Microsoft Technology Licensing, Llc Optical components
US10317677B2 (en) 2015-02-09 2019-06-11 Microsoft Technology Licensing, Llc Display system
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
CN111880650A (zh) 2015-04-30 2020-11-03 谷歌有限责任公司 基于宽场雷达的手势识别
KR102327044B1 (ko) 2015-04-30 2021-11-15 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
KR102002112B1 (ko) 2015-04-30 2019-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9870052B2 (en) * 2015-06-11 2018-01-16 Oculus Vr, Llc Hand-held controller with pressure-sensing switch for virtual-reality systems
KR101808759B1 (ko) 2015-06-30 2017-12-13 인천대학교 산학협력단 손 동작 상호작용 시스템 및 방법
US9607428B2 (en) 2015-06-30 2017-03-28 Ariadne's Thread (Usa), Inc. Variable resolution virtual reality display system
US9733915B2 (en) 2015-07-02 2017-08-15 Microsoft Technology Licensing, Llc Building of compound application chain applications
US10261985B2 (en) 2015-07-02 2019-04-16 Microsoft Technology Licensing, Llc Output rendering in dynamic redefining application
US9785484B2 (en) 2015-07-02 2017-10-10 Microsoft Technology Licensing, Llc Distributed application interfacing across different hardware
US10198252B2 (en) 2015-07-02 2019-02-05 Microsoft Technology Licensing, Llc Transformation chain application splitting
US9733993B2 (en) 2015-07-02 2017-08-15 Microsoft Technology Licensing, Llc Application sharing using endpoint interface entities
US9658836B2 (en) 2015-07-02 2017-05-23 Microsoft Technology Licensing, Llc Automated generation of transformation chain compatible class
US9860145B2 (en) 2015-07-02 2018-01-02 Microsoft Technology Licensing, Llc Recording of inter-application data flow
US9712472B2 (en) 2015-07-02 2017-07-18 Microsoft Technology Licensing, Llc Application spawning responsive to communication
US10198405B2 (en) 2015-07-08 2019-02-05 Microsoft Technology Licensing, Llc Rule-based layout of changing information
US10031724B2 (en) 2015-07-08 2018-07-24 Microsoft Technology Licensing, Llc Application operation responsive to object spatial status
EP3332314B1 (en) * 2015-08-04 2024-04-10 Google LLC Input via context sensitive collisions of hands with objects in virtual reality
US9606362B2 (en) 2015-08-07 2017-03-28 Ariadne's Thread (Usa), Inc. Peripheral field-of-view illumination system for a head mounted display
US9990008B2 (en) 2015-08-07 2018-06-05 Ariadne's Thread (Usa), Inc. Modular multi-mode virtual reality headset
US9454010B1 (en) 2015-08-07 2016-09-27 Ariadne's Thread (Usa), Inc. Wide field-of-view head mounted display system
KR102433879B1 (ko) * 2015-08-21 2022-08-18 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
EP3342189B1 (en) 2015-08-24 2020-10-14 PCMS Holdings, Inc. Systems and methods for enhancing augmented reality experience with dynamic output mapping
US10277582B2 (en) 2015-08-27 2019-04-30 Microsoft Technology Licensing, Llc Application service architecture
US10572209B2 (en) 2015-09-16 2020-02-25 Nec Display Solutions, Ltd. Multi-display system
US10620803B2 (en) * 2015-09-29 2020-04-14 Microsoft Technology Licensing, Llc Selecting at least one graphical user interface item
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10545717B2 (en) 2015-10-08 2020-01-28 Pcms Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
KR102402048B1 (ko) * 2015-10-14 2022-05-26 삼성전자주식회사 전자 장치 및 그 제어 방법
US11609427B2 (en) 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
WO2017068926A1 (ja) * 2015-10-21 2017-04-27 ソニー株式会社 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
US10049493B1 (en) 2015-10-22 2018-08-14 Hoyt Architecture Lab, Inc System and methods for providing interaction with elements in a virtual architectural visualization
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10007339B2 (en) * 2015-11-05 2018-06-26 Oculus Vr, Llc Controllers with asymmetric tracking patterns
US20170131775A1 (en) * 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
WO2017086508A1 (ko) * 2015-11-19 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10061552B2 (en) * 2015-11-25 2018-08-28 International Business Machines Corporation Identifying the positioning in a multiple display grid
CN106817508B (zh) * 2015-11-30 2019-11-22 华为技术有限公司 一种同步对象确定方法、装置和系统
US10089681B2 (en) 2015-12-04 2018-10-02 Nimbus Visulization, Inc. Augmented reality commercial platform and method
US20170177077A1 (en) * 2015-12-09 2017-06-22 National Taiwan University Three-dimension interactive system and method for virtual reality
US10345594B2 (en) 2015-12-18 2019-07-09 Ostendo Technologies, Inc. Systems and methods for augmented near-eye wearable displays
US10976819B2 (en) * 2015-12-28 2021-04-13 Microsoft Technology Licensing, Llc Haptic feedback for non-touch surface interaction
US10578882B2 (en) 2015-12-28 2020-03-03 Ostendo Technologies, Inc. Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof
US10186081B2 (en) 2015-12-29 2019-01-22 Microsoft Technology Licensing, Llc Tracking rigged smooth-surface models of articulated objects
US10565791B2 (en) 2015-12-29 2020-02-18 Microsoft Technology Licensing, Llc Tracking rigged polygon-mesh models of articulated objects
US20170185141A1 (en) * 2015-12-29 2017-06-29 Microsoft Technology Licensing, Llc Hand tracking for interaction feedback
KR102418003B1 (ko) * 2016-01-04 2022-07-07 삼성전자주식회사 복수의 디스플레이 장치들을 이용한 콘텐츠의 디스플레이
US10021373B2 (en) 2016-01-11 2018-07-10 Microsoft Technology Licensing, Llc Distributing video among multiple display zones
US10459597B2 (en) * 2016-02-03 2019-10-29 Salesforce.Com, Inc. System and method to navigate 3D data on mobile and desktop
CN105824593B (zh) * 2016-03-09 2018-11-13 京东方科技集团股份有限公司 拼接屏显示系统及拼接显示方法
US10115234B2 (en) * 2016-03-21 2018-10-30 Accenture Global Solutions Limited Multiplatform based experience generation
US20170285813A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Touch-Input Support for an External Touch-Capable Display Device
US9459692B1 (en) * 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker
US10353203B2 (en) 2016-04-05 2019-07-16 Ostendo Technologies, Inc. Augmented/virtual reality near-eye displays with edge imaging lens comprising a plurality of display devices
KR101671831B1 (ko) * 2016-04-11 2016-11-03 김수민 동작 인식 센서를 이용한 3차원 입력 장치
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
US10522106B2 (en) 2016-05-05 2019-12-31 Ostendo Technologies, Inc. Methods and apparatus for active transparency modulation
WO2017200949A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive fabric
WO2017200570A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive object with multiple electronics modules
US10168976B2 (en) * 2016-05-20 2019-01-01 International Business Machines Corporation Dynamic display arrangement
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US10718603B2 (en) 2016-10-13 2020-07-21 Six Degrees Space Ltd Method and apparatus for indoor positioning
US20180126268A1 (en) * 2016-11-09 2018-05-10 Zynga Inc. Interactions between one or more mobile devices and a vr/ar headset
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
CN108733211B (zh) * 2017-04-21 2020-05-22 宏达国际电子股份有限公司 追踪系统、其操作方法、控制器、及电脑可读取记录媒体
KR101957417B1 (ko) * 2017-06-14 2019-03-12 (주)이더블유비엠 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법
TWI637363B (zh) * 2017-07-26 2018-10-01 銘傳大學 擴增實境之人機互動系統
US11093197B2 (en) * 2017-07-31 2021-08-17 Stmicroelectronics, Inc. System and method to increase display area utilizing a plurality of discrete displays
US10782793B2 (en) 2017-08-10 2020-09-22 Google Llc Context-sensitive hand interaction
US11231896B2 (en) * 2017-08-25 2022-01-25 Intel Corporation Configuring display screen coordinates
US10569172B2 (en) 2017-09-19 2020-02-25 Canon Kabushiki Kaisha System and method of configuring a virtual camera
DE102017217025A1 (de) * 2017-09-26 2019-03-28 Audi Ag Verfahren und System zum Durchführen eines virtuellen Treffens zwischen wenigstens einer ersten Person und einer zweiten Person
WO2019070886A1 (en) 2017-10-04 2019-04-11 Preemadonna Inc. SYSTEMS AND METHODS FOR ADAPTIVE NAILS PRINTING AND COLLABORATIVE BEAUTY PLATFORM HOSTING
US10849532B1 (en) * 2017-12-08 2020-12-01 Arizona Board Of Regents On Behalf Of Arizona State University Computer-vision-based clinical assessment of upper extremity function
EP3502837B1 (en) * 2017-12-21 2021-08-11 Nokia Technologies Oy Apparatus, method and computer program for controlling scrolling of content
CN107976811B (zh) * 2017-12-25 2023-12-29 河南诺控信息技术有限公司 一种基于虚拟现实混合的仿真实验室及其仿真方法
US10497179B2 (en) 2018-02-23 2019-12-03 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
KR102524586B1 (ko) * 2018-04-30 2023-04-21 삼성전자주식회사 전자 장치 및 그 동작방법
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
CN110830704B (zh) * 2018-08-07 2021-10-22 纳宝株式会社 旋转图像生成方法及其装置
CN110796116A (zh) * 2018-11-08 2020-02-14 英属开曼群岛商麦迪创科技股份有限公司 多面板显示系统、具有多面板显示系统的车辆及显示方法
US11741673B2 (en) 2018-11-30 2023-08-29 Interdigital Madison Patent Holdings, Sas Method for mirroring 3D objects to light field displays
CN109739358B (zh) * 2019-01-03 2022-05-24 京东方科技集团股份有限公司 基于裸眼3d的手势碰撞检测方法及设备
US10867402B2 (en) 2019-03-01 2020-12-15 Here Global B.V. System and method for determining distance to object on road
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
US10849179B1 (en) 2019-05-29 2020-11-24 Bank Of America Corporation Mobile network tool
US11087489B2 (en) * 2019-06-03 2021-08-10 Disney Enterprises, Inc. Systems and methods to facilitate interaction by one or more participants with content presented across multiple distinct physical locations
US11341569B2 (en) * 2019-10-25 2022-05-24 7-Eleven, Inc. System and method for populating a virtual shopping cart based on video of a customer's shopping session at a physical store
KR20210069491A (ko) 2019-12-03 2021-06-11 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11090873B1 (en) * 2020-02-02 2021-08-17 Robert Edwin Douglas Optimizing analysis of a 3D printed object through integration of geo-registered virtual objects
US11120639B1 (en) 2020-04-24 2021-09-14 Microsoft Technology Licensing, Llc Projecting telemetry data to visualization models
KR20210137340A (ko) * 2020-05-08 2021-11-17 삼성디스플레이 주식회사 표시 장치
US11594192B2 (en) * 2020-05-21 2023-02-28 Dell Products, L.P. Generating multi-monitor recommendations
US11340707B2 (en) * 2020-05-29 2022-05-24 Microsoft Technology Licensing, Llc Hand gesture-based emojis
CN112083871A (zh) * 2020-09-11 2020-12-15 北京字节跳动网络技术有限公司 控制电子设备的方法、装置、终端及存储介质
WO2022074791A1 (ja) * 2020-10-08 2022-04-14 マクセル株式会社 ３次元拡張現実処理システム、３次元拡張現実処理方法、及び３次元拡張現実処理システムのユーザインターフェース装置
CN112399148B (zh) * 2020-11-11 2023-05-23 郑州捷安高科股份有限公司 基于虚拟三维场景的虚拟监控方法及装置
CN112354179B (zh) * 2020-11-23 2023-09-05 浙江中控信息产业股份有限公司 一种三维地理信息内容的显示与交互方法
JP7287379B2 (ja) * 2020-12-10 2023-06-06 セイコーエプソン株式会社 表示方法、検出装置、および、プログラム
US11550404B2 (en) * 2021-05-14 2023-01-10 Microsoft Technology Licensing, Llc Tilt-responsive techniques for sharing content
US11425313B1 (en) 2021-11-29 2022-08-23 Unity Technologies Sf Increasing dynamic range of a virtual production display
US20230021589A1 (en) * 2022-09-30 2023-01-26 Intel Corporation Determining external display orientation using ultrasound time of flight

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5275565A (en) * 1991-05-23 1994-01-04 Atari Games Corporation Modular display simulator and method
US5956046A (en) * 1997-12-17 1999-09-21 Sun Microsystems, Inc. Scene synchronization of multiple computer displays
US7091926B2 (en) * 2002-02-08 2006-08-15 Kulas Charles J Computer display system using multiple screens

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764871A (en) * 1993-10-21 1998-06-09 Eastman Kodak Company Method and apparatus for constructing intermediate images for a depth image from stereo images using velocity vector fields
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
JP2001091218A (ja) 1999-09-14 2001-04-06 Mitsubishi Electric Inf Technol Center America Inc ３次元運動検知装置及び３次元運動検知方法
JP3880561B2 (ja) 2002-09-05 2007-02-14 株式会社ソニー・コンピュータエンタテインメント 表示システム
WO2005065180A2 (en) * 2003-12-19 2005-07-21 Speechgear, Inc. Display of visual data as a function of position of display device
IL161002A0 (en) * 2004-03-22 2004-08-31 Itay Katz Virtual video keyboard system
US20060020562A1 (en) * 2004-07-21 2006-01-26 University Of Southern Mississippi Apparatus and method for estimating optical flow
BRPI0606477A2 (pt) 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
JP2006208566A (ja) 2005-01-26 2006-08-10 Nec Corp 液晶表示装置、移動体通信端末装置及び液晶表示方法
WO2006084385A1 (en) * 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
WO2007013833A1 (en) 2005-09-15 2007-02-01 Oleg Stanilasvovich Rurin Method and system for visualising virtual three-dimensional objects
US20070091037A1 (en) * 2005-10-21 2007-04-26 Yee-Chun Lee Energy Efficient Compact Display For Mobile Device
KR100722229B1 (ko) * 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
US8855848B2 (en) * 2007-06-05 2014-10-07 GM Global Technology Operations LLC Radar, lidar and camera enhanced methods for vehicle dynamics estimation
KR20090011316A (ko) 2007-07-25 2009-02-02 중앙대학교 산학협력단 능동형 입체디스플레이 장치 및 운용방법
EP2061008B1 (en) * 2007-11-16 2011-01-26 Honda Research Institute Europe GmbH Method and device for continuous figure-ground segmentation in images from dynamic visual scenes
US20090219224A1 (en) * 2008-02-28 2009-09-03 Johannes Elg Head tracking for enhanced 3d experience using face detection
US8269842B2 (en) 2008-06-11 2012-09-18 Nokia Corporation Camera gestures for user interface control
EP2327010A2 (en) 2008-08-22 2011-06-01 Google, Inc. Navigation in a three dimensional environment on a mobile device
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US20100058205A1 (en) 2008-09-04 2010-03-04 Motorola, Inc. Reconfigurable multiple-screen display
US8803816B2 (en) 2008-09-08 2014-08-12 Qualcomm Incorporated Multi-fold mobile device with configurable interface
JP5504645B2 (ja) * 2009-02-20 2014-05-28 パナソニック株式会社 樹脂塗布装置および樹脂塗布用データ作成装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5275565A (en) * 1991-05-23 1994-01-04 Atari Games Corporation Modular display simulator and method
US5956046A (en) * 1997-12-17 1999-09-21 Sun Microsystems, Inc. Scene synchronization of multiple computer displays
US7091926B2 (en) * 2002-02-08 2006-08-15 Kulas Charles J Computer display system using multiple screens

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480300B1 (ko) * 2012-11-30 2015-01-12 한국과학기술원 메인 스크린과 제2 스크린 간의 상대 위치를 이용한 인터랙티브 콘텐트 제공 시스템 및 그 방법
US9727294B2 (en) 2013-05-22 2017-08-08 Infinitt Healthcare Co., Ltd. Mobile device, system and method for medical image displaying using multiple mobile devices

Also Published As

Publication number Publication date
KR20100027976A (ko) 2010-03-11
WO2010027193A2 (en) 2010-03-11
WO2010027193A3 (en) 2012-06-21
US20100053322A1 (en) 2010-03-04
US8253795B2 (en) 2012-08-28
KR101637990B1 (ko) 2016-07-11
US20100134618A1 (en) 2010-06-03
US8456524B2 (en) 2013-06-04
US20100053164A1 (en) 2010-03-04
US8253649B2 (en) 2012-08-28
US20100053151A1 (en) 2010-03-04
US20100053324A1 (en) 2010-03-04
US8310537B2 (en) 2012-11-13

Similar Documents

Publication Publication Date Title
KR101637990B1 (ko) 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링
US11498003B2 (en) Image rendering method, device, and storage medium
US9591295B2 (en) Approaches for simulating three-dimensional views
US9224237B2 (en) Simulating three-dimensional views using planes of content
Arth et al. The history of mobile augmented reality
US9437038B1 (en) Simulating three-dimensional views using depth relationships among planes of content
US20210011556A1 (en) Virtual user interface using a peripheral device in artificial reality environments
US9940720B2 (en) Camera and sensor augmented reality techniques
US10007349B2 (en) Multiple sensor gesture recognition
EP2671188B1 (en) Context aware augmentation interactions
US11231845B2 (en) Display adaptation method and apparatus for application, and storage medium
CN103180893B (zh) 用于提供三维用户界面的方法和系统
US10249089B2 (en) System and method for representing remote participants to a meeting
US20120212405A1 (en) System and method for presenting virtual and augmented reality scenes to a user
JP2022537614A (ja) マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム
US11893702B2 (en) Virtual object processing method and apparatus, and storage medium and electronic device
CN112150560A (zh) 确定消失点的方法、装置及计算机存储介质
Gupta et al. A survey on tracking techniques in augmented reality based application
KR102261739B1 (ko) 증강 현실 미디어 콘텐츠의 적응적 스트리밍 시스템 및 적응적 스트리밍 방법
JP2020509505A (ja) 拡張現実を提供するための方法、装置及びコンピュータプログラム
US11562538B2 (en) Method and system for providing a user interface for a 3D environment
CN113168228A (zh) 用于在大面积透明触摸界面中进行视差校正的系统和/或方法
KR20240006669A (ko) 늦은-워핑에서의 동적 오버-렌더링
CN112711335B (zh) 虚拟环境画面的显示方法、装置、设备及存储介质
US20230401796A1 (en) Fast ar device pairing using depth predictions

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190619

Year of fee payment: 4