KR20100027976A - 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션 - Google Patents

이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션 Download PDF

Info

Publication number
KR20100027976A
KR20100027976A KR1020090080586A KR20090080586A KR20100027976A KR 20100027976 A KR20100027976 A KR 20100027976A KR 1020090080586 A KR1020090080586 A KR 1020090080586A KR 20090080586 A KR20090080586 A KR 20090080586A KR 20100027976 A KR20100027976 A KR 20100027976A
Authority
KR
South Korea
Prior art keywords
hand
user
tracking
displayed
display
Prior art date
Application number
KR1020090080586A
Other languages
English (en)
Inventor
마르티 스테판
히데키 이마이 프란시스코
김성욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20100027976A publication Critical patent/KR20100027976A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00—Detection of the display position w.r.t. other display screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/359—Augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

사용자가 이동 장치를 똑바로 들거나 노마딕 또는 정적인 장치 앞에 앉아서 적당한 거리에서 모니터를 보고, 모니터에 표시된 3D 오브젝트의 조작하기 위하여 손을 장치 뒤에서 물리적으로 움직인다. 인식된 오브젝트를 조작하기 위하여 장치 뒤에서 사용자가 손 제스처 및 움직임을 이용하여 움직이고 디스플레이에서 3D 오브젝트가 조작되는 것을 볼 때 장치는 사용자에게 시각적인 일관성을 제공하는 3D 인-라인 중재자로서 기능한다. 맨손으로 사용자가 장치 뒤에서 조작하는 인식된 오브젝트는 장치에 표시된 3D 오브젝트에 대응한다. 시각적인 일관성은 사용자의 머리 또는 눈, 장치 및 3D 오브젝트의 정렬에서 기인한다. 사용자의 손은 실제 손의 이미지로서 또는 아바타의 일부와 같은 손의 가상화된 표현으로서 표현될 수 있다.
이동 장치, 3차원 데이터, 사용자 인터랙션, 디스플레이

Description

이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션{Gesture and motion-based navigation and interaction with three-dimensional virtual content on a mobile device}
본 발명은 디지털 데이터와 사용자의 인터랙션을 위한 하드웨어 및 소프트웨어에 관한 것이다. 더 상세하게는, 디스플레이를 가진 장치 및 디바이스에 표시된 데이터와의 휴먼 인터랙션에 관한 것이다.
인터넷 및 다른 환경들에서 이용가능한 콘텐츠의 양이 빠른 속도로 증가하고 있다. 또한, 소비자들은 영화, 비디오 게임 및 온라인 가상 도시와 같은 다양한 환경에서 "3D"에 대해 듣는 것에 익숙해지고 있다. 3차원 콘텐트는 의료 영상(예를 들어, MRI 검사), 모델링 및 프로토타이핑, 정보 가상화, 건축, 텔레-이머전(tele-immersion) 및 공동연구(collaboration), 지리적 정보 시스템(예를 들어, 구글 어쓰(Goole Earth)) 및 다른 분야들에서 발견될 수 있다. 컴퓨터 및 휴대 전화, 더 일반적으로는 컨텐트 표시 시스템(예를 들어, TV)를 포함하는 현재의 시스템들은 몰입적인 사용자 체험을 제공하지 못함으로써 3D 콘텐트를 이용하지 못하고 있다. 예를 들어, 현재의 시스템들은 3D 오브젝트와 직관적이고, 자연스러우며 과 도하지 않은(unobtrusive) 인터랙션을 제공하지 못한다.
이동 장치들에 대해서는, 현재, 이러한 장치들은 사용자들의 이동 장치들에서 디지털 3D 콘텐트와의 인터랙션을 추구하는 사용자들에게 자연스러우며 직관적이고 과도하지 않은 체험을 제공하지 못한다. 이동 장치 사용자들은 맨손을 이용해서 자연적이며 직관적인 방식으로 제스처를 취하거나 3D 오브젝트들을 조작할 수 없다.
일부 디스플레이들은 사용자가 디스플레이(모니터) 앞에서 맨손으로 3D 콘텐트를 조작하도록 허용하지만, 3D 콘텐트와 일부 인터랙션을 제공할 수 있는 현재 디스플레이 시스템들은 사용자에게 부자연스러운 체험을 하게 하는 불편하고 방해가 되는 주변 장치들을 요구한다. 예를 들어, 촉각의 또는 햅틱(haptic) 피드백을 제공하는 일부 현재의 방법들은 진동 촉각 글러브(vibro-tactile gloves)를 요구한다. 다른 예에서, 3D 콘텐트를 렌더링하는 현재의 방법은 사용자가 특별한 안경을 착용할 것을 요구하는 스테레오스코픽(stereoscopic) 디스플레이, 일반적인 부작용으로 눈의 피로 및 두통을 일으키는 렌티큘러 렌즈(lenticular lenses) 또는 패럴랙스 배리어(parallax barriers) 기반의 오토-스테레오스코픽(auto-stereoscopic) 디스플레이, 무거운 헤드 기어(head gear) 또는 고글(goggles)을 요구하는 머리에 착용하는 디스플레이 및 맨손으로 3D 콘텐트의 직접적인 조정을 할 수 없는 진동 거울 또는 화면 기반과 같은 용량분석용 디스플레이(volumetric display)를 포함한다.
또한, 휴대 전화의 디스플레이와 같이 이동 장치 디스플레이는 단지 제한된 화각(Field of View)를 허용한다. 이는 일반적으로 이동 장치 디스플레이 크기가 장치 크기에 제한되는 사실에 기인한다. 예를 들어, 비투사(non-projection) 디스플레이 크기는 디스플레이를 포함하는 이동 장치보다 더 클 수 없다. 따라서, 일반적으로 발광(light emitting) 디스플레이인 이동 디스플레이의 현재 해법은 몰입도가 높은(immersive) 사용자 체험을 제한한다. 또한, 이동 장치에서 몰입도가 높은 사용자 체험을 생성하는 한 측면인 현재 제1 사람의 시야를 통해서 가상 세계 및 3D 콘텐트의 탐색이 어렵다. 이동 장치는 몰입도 높은 체험을 생성하는 다른 중요한 측면인 가상 환경의 만족할 만한 사용자 인식을 제공하지 못한다.
일부 디스플레이 시스템은 모니터 뒤에서 사용자가 움직일 것을 요구한다. 그러나, 이러한 시스템들에서, 사용자의 손은 모니터의 후면을 물리적으로 터치해야 하고, 스크린에서 움직이는 이미지와 같은 2D 이미지를 조작하는 것만이 의도된다.
별도의 주변 기기를 이용하지 않고 콘텐트에 대하여 자연스러운 사용자 인터랙션을 제공하기 위한 장치 및 방법이 제공된다.
사용자는 휴대 전화 또는 미디어 플레이어와 같은 디스플레이를 가지는 이동 장치를 이용하여 장치 뒤에서 움직이고 인식된 오브젝트를 조작함으로써 장치 표시된 콘텐트를 보고 조작할 수 있다. 사용자의 눈, 장치 및 인식된 오브젝트가 정렬 되거나 "인-라인"으로 배열되어, 장치는 사용자와 인식된 오브젝트 사이의 인-라인 중재자(in-line mediator)의 타입으로서 동작한다. 이러한 배열은 장치 뒤에서 움직여서 손 제스처 및 움직임을 만들어서 콘텐트를 조작할 때 사용자에게 시각적 일관성을 제공한다. 즉, 자연적이고 직관적인 거리에서 장치 뒤에서 사용자의 손 움직임들이 있으며 장치 모니터에 표시된 오브젝트와 정렬되어, 사용자는 모니터에 표시된 오브젝트를 실제로 조작하는 자연적인 시각적 인상을 갖게 된다. 여기에서, 오브젝트 또는 콘텐트는 2차원의 또는 3차원의 오브젝트 또는 콘텐트일 수 있다.
본 발명의 일 실시예는 사용자로 향하는 디스플레이 모니터를 가지는 전면 및 사용자로 향하지 않는 센서를 가지는 후면을 가지는 장치에 표시된 디지털 3D 오브젝트의 조작을 검출하는 방법이다. 손 또는 다른 물체가 카메라와 같은 센서를 가지는 장치의 후면의 특정 영역 내에서 검출될 수 있다. 손은 모니터상에서 표시되고 장치의 후면의 특정 영역 내에서 손의 움직임이 추적된다. 움직임은 사용자자가 표시된 3D 오브젝트를 조작하려고 한 결과이고, 장치의 후면을 물리적으로 만지지 않으면서 장치 후면에서 인식된 3D 오브젝트를 조작하는 방식으로 이루어진다. 표시된 손과 표시된 3D 오브젝트 사이의 충돌은 장치에 의해 검출되어 장치에 표시된 3D 오브젝트의 이미지를 변경한다. 이런 방식으로, 장치는 사용자의 3D 오브젝트 사이의 3D 인-라인 중재자로서 기능한다.
다른 실시예에서, 디스플레이 장치는 프로세서 및 디지털 3D 콘텐트 데이터를 저장하는 메모리 컴포넌트를 포함한다. 장치는 또한 장치 근처에 있는 물체의 움직임을 추적하기 위한 추적 센서 컴포넌트를 포함한다. 일 실시예에서, 추적 센서 컴포넌트는 장치의 뒤면을 향하고(사용자를 향하지 않고) 장치 뒤에서 움직이는 사용자의 손의 움직임 및 제스처를 검출할 수 있다. 손 추적 모듈은 추적 센서로부터 움직임 데이터를 처리하고, 충돌 검출 모듈은 사용자의 손과 3D 오브젝트 사이의 충돌을 검출한다.
사용자가 글로브, 손가락 센서, 움직임 검출기와 같은 어떤 주변 장치를 이용하지 않으면서 장치의 화면에 표시되는 디지털 콘텐트 또는 디지털 오브젝트와의 몰입적이고 직관적인 사용자 인터랙션을 생성할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
장치에 표시된 디지털 콘텐트와 인터랙션하기 위한 인-라인 중재자(in-line mediator)로서 표시 장치를 이용하는 방법 및 시스템이 다양한 도면에서 표시된다. 인-라인 중재자로서 표시 장치의 이용은 디스플레이 장치 뒤에서 움직임으로써 사용자가 디스플레이상의 콘텐트를 조작하는 것의 직접적인 결과를 볼 수 있도록 함 으로써 콘텐트의 직관적인 맨손 조작을 가능하게 한다. 이러한 방식으로, 장치 디스플레이는 사용자와 콘텐트 사이의 인-라인 중재자로서 기능을 하고, 사용자에 대한 시각적 일관성의 타입을 허용한다. 즉, 콘텐트는 사용자의 관점에서 시각적으로 일관적이거나 일치(in-line)한다. 사용자의 손 또는 손의 표현은 디스플레이에 표시되며 시각적 일관성을 유지한다. 또한, 장치 뒤에서 움직임으로써 디스플레이에서 콘텐트의 사용자가 콘텐트를 보는 것이 사용자의 팔이나 손에 의해 차단되지 않는다. 여기에서, 콘텐트는 2차원(2D) 콘텐트뿐만 아니라 3차원(3D) 콘텐트를 포함한다. 이하에서는, 콘텐트가 3D 콘텐트인 경우를 중심으로 설명한다.
도 1a는 일 실시예에 따라 장치에서 표시되는 디지털 3D 콘텐트를 조작하기 위한 3D 인-라인 중재자로서 이동 장치를 이용하는 사용자를 나타낸다.
"3D 인-라인 중재자"라는 용어는 사용자의 눈, 디스플레이상의 3D 콘텐트, 및 디스플레이 뒤에서 사용자의 손이 실제 3D 공간에서 정렬된 것을 나타낸다. 이때, 사용자의 손은 디스플레이의 뒤면과 접촉하지 않는다.
사용자(102)는 이동 장치(104)를 한 손(105)으로 잡고 다른 손(106)으로 장치(104) 뒤에서 움직인다. 장치(104)상에서 센서 컴포넌트로서 집합적으로 지시되는 하나 이상의 센서(도시되지 않음)는 장치(104) 뒤에서 사용자의 손의 방향으로 사용자(102)를 향하지 않는다(face away). 사용자의 손(106)이 검출되고, 손의 표현(108)이 3D 장면(107)을 표시하는 장치 모니터(109)상에 표시된다. 더 상세하게 후술하는 바와 같이, 표현(108)은 장면(107)상으로 합성된 사용자의 손의 변형되지 않은 (실제의) 이미지일 수도 있으며, 또는 3D나 가상 장면(107)의 일부가 되는 아 바타 손과 같은 가상 표현(도시되지 않음)에 대한 실제 손(106)의 일대일 매핑일 수 있다. 여기에서 이용되는 "손"이라는 용어는 모두 센서 컴포넌트에 의해 검출될 수 있는 것으로, 사용자의 손, 손가락 및 엄지 손가락뿐만 아니라 사용자의 손목 및 팔뚝을 포함할 수 있다.
이동 장치(104)는 휴대 전화, 미디어 플레이어(예를 들어, MP3 플레이어), 휴대 게임 장치 또는 디스플레이를 가지는 스마트 핸드셋 타입일 수 있다. 장치는 인터넷을 통해서 3D 콘텐트에 액세스하기에 적합한 네트워크에 연결될 수 있거나 IP 인에이블된 것으로 가정된다. 그러나, 후술되는 다양한 실시예들은 장치가 네트워크에 액세스될 수 있는 것을 필수적으로 요구하지 않는다. 예를 들어, 디스플레이에 표시된 3D 콘텐트는 하드 디스크 또는 다른 대용량 저장 컴포넌트 또는 로컬 캐시와 같은 로컬 스토리지에 존재할 수 있다. 이동 장치(104)에서 센서 컴포넌트 및 부가되는 센서 소프트웨어는 종래의 카메라에 일반적인 것으로, 하나 이상의 다양한 타입의 센서일 수 있다. 다양한 센서 컴포넌트의 구현예가 후술된다. 다양한 실시예의 방법 및 시스템이 이동 장치를 이용하여 설명되지만, 랩탑 및 노트북 컴퓨터(즉, 휴대가능한 장치)와 같은 노마딕(nomadic) 장치 및 도 1b 및 1c에 도시된 바와 같이, 데스크탑 컴퓨터, 워크스테이션 등과 같은 정적인(stationary) 장치에 동등하게 적용될 수 있다.
도 1b는 일 실시예에 따라 장치(112)에 표시된 디지털 3D 콘텐트를 조작하기 위한 3D 인-라인 중재자로서 랩탑 컴퓨터(112) 또는 유사한 노마딕 컴퓨팅 장치(예를 들어, 노트북 컴퓨터, 미니 랩탑 등)을 이용하는 사용자를 나타낸다.
랩탑 컴퓨터는 사용자(110)에 외면하는 센서 컴포넌트(미도시)를 가진다. 센서 컴포넌트는 랩탑(112)에 설치된 관련 소프트웨어와 함께 랩탑(112)의 내부 컴포넌트, 랩탑(112)에 부착된 주변장치(113)일 수 있다. 사용자(110)의 양 손(114, 115)은 디스플레이(117)의 3D 장면(116)상으로 합성된다.
유사하게, 도 1c는 일 실시예에 따라 데스크탑 모니터(119)에 표시되는 디지털 3D 콘텐트를 조작하기 위한 3D 인-라인 중재자로서 데스크탑 컴퓨터(119)를 이용하는 사용자(118)를 나타낸다.
실제적인 문제로서, 사용자가 물리적으로 모니터 뒤에서 움직일 수 있도록 모니터(119)는 LCD 또는 플라즈마 모니터와 같은 평판 모니터의 타입일 수 있다. 추적 센서 컴포넌트(120)는 데스크탑 모니터(119) 뒤에서 사용자의 손(122)을 검출한다. 이 예에서, 손(122)은 아바타 손(124)과 같은 디지털 표현에 매핑될 수 있다. 사용자(118)는 또한 도 1b와 같이 모니터(119) 뒤에 다른 손을 움직일 수도 있다.
도 2a 및 2b는 3D 인-라인 중재를 나타내는 상면도이다.
도 2a 및 도 2b는 왼손(204)으로 이동 장치(202)를 잡고 있는 사용자(200)를 나타낸다. 사용자(200)는 오른 손(206)을 장치(202) 뒤로 뻗는다. 입체각 라인으로 표시되는 이동 장치(202) 뒤의 영역(208)은 소위 가상 3D 공간이며, 장치(202)를 둘러싼 영역(210)은 사용자가(200)가 포함되는 물리적인 또는 실제 환경 또는 세계("RW")이다. 가상 공간(208)에서 사용자의 손(206)의 일부분이 가려진다. 센서 컴포넌트(도시되지 않음)는 영역(208)에서 존재 및 움직임을 검출한다. 사용 자(200)는 장치(202)에 표시된 3D 오브젝트를 조작하기 위하여 영역(208) 주변에서 손(206)을 움직일 수 있다. 도 2b는 두 손(216 및 218)으로 랩탑(214) 뒤에서 움직이는 사용자(212)를 나타낸다.
추적 컴포넌트라고도 불리는 센서 컴포넌트는 다양한 타입의 센서들을 이용하여 구현될 수 있다. 이들 센서들은 이동 장치의 모니터 뒤에서 사용자의 손(또는 어떤 물체)의 존재를 검출하는데 이용될 수 있다. 표준 또는 기존의 이동 장치 또는 휴대 전화 카메라가 손의 존재 및 움직임 또는 제스처를 감지하는데 이용될 수 있다. 이미지 미분(image differentiation) 또는 광학 흐름(optical flow)이 손의 움직임을 검출하고 추적하는데 이용될 수도 있다. 다른 실시예에서, 기존의 카메라는 손의 검출 및 추적(tracking)을 수행하도록 적외선 검출 컴포넌트들로 대체될 수 있다. 예를 들어, 사용자를 향하지 않으며 IR에 민감한(또는 그 IR 필터가 제거된) 이동 장치 카메라는, 부가적인 IR 조명(예를 들어, LED)과 결합할 수 있으며, 사용자의 손일 수 있는 카메라 레인저(ranger) 범위내의 가장 밝은 물체를 찾을 수 있다. IR 조명을 가지는 전용 적외선 센서들 또한 이용될 수 있다. 다른 실시예에서, 적색편이 열 이미징(redshift thermal imaging)이 이용될 수 있다. 이 옵션은 표준 CMOS 이미저가 긴 파장 및 열 적외선 방사를 검출할 수 있도록 적색편이한 패시브(passive) 광학 컴포넌트를 제공한다. 다른 타입의 센서는 초음파 제스처 검출 센서일 수 있다. 센서 소프트웨어 옵션들은 오브젝트 세그멘테이션 및/또는 광학 흐름을 이용하여 손을 검출하기 위한 소프트웨어와 같이, 기성의(off-the-shelf) 제스처 인식 툴을 포함한다. 다른 옵션들은 TOF(time-of- flight)를 이용한 3D 깊이 카메라, 피부톤 검출용 스펙트럴 이미징(spectral imaging) 및 의사-열 이미징(pseudo-thermal imaging)을 위한 소프트웨어를 포함할 수 있다.
도 2c는 도 2a에 처음에 도시된 사용자의 측면도를 나타낸다.
사용자 손(206)은 장치(202)의 센서 컴포넌트 앞에 있으며, 그 센서는 사용자(200)를 향하지 않는다. 사용자(200)는 손(204)으로 장치(202)를 잡고 있다. 손(206)은 가장 3D 공간(208)에서 장치(202) 뒤에 있다. 공간(208)은 뒤쪽으로 향한 센서에 의해 추적되는 장치(202)의 후면의 근처의 공간이다. 실제 또는 물리적인 세계(210)는 장치(202)의 근처 외부 또는 추적되는 영역이다. 3D 공간(208)에서 손(206)의 제스처 및 움직임이 장치(202)의 디스플레이에서 인식된 3D 오브젝트(도시되지 않음)를 조작하기 위하여 사용자(200)에 의해 이루어진다. 다른 시나리오에서, 제스처는 오브젝트를 조작하기 위한 것이 아닐 수 있으며, 단순히 가상 세계 환경에서 제스처(예를 들어, 흔들기(waving), 지적(pointing) 등)를 하는 목적일 수 있다.
도 3a는 일 실시예에 따라 디지털 3D 콘텐트를 조작하기 위한 3D 인-라인 중재자로서 이동 장치를 사용자의 더 상세한 상면도를 나타낸다.
이것은 인-라인 중재자로서 기능하는 표시 장치(306)를 가지고, 사용자의 머리(303), "인식된" 디지털 3D 오브젝트(304) 및 디스플레이 장치(306)가 일렬로 또는 정렬된 것을 나타낸다. 이것은 또한 장치(306) 뒤에서 움직이는 사용자의 손(308)을 나타낸다.
도 3b는 장치(306)로 향하고 장치(306) 뒤에서 움직일 때 사용자 머리(303)가 보는 장면(310)을 나타낸다.
사용자는 스크린에서 디지털 3D 오브젝트(312)를 보고, 사용자 손(308) 또는 사용자 손(308)이 오브젝트(312)를 만지거나 조작하는 것의 표현을 본다. 도면들은 단지 사용자가 오브젝트를 만지거나 제스처를 취하는 것만을 나타내지만, 사용자는 디지털 3D 오브젝트를, 만지고, 들어올리고, 잡고, 움직이고, 밀고, 끌어당기고, 떨어뜨리고, 던지고, 회전시키고, 모양을 변형시키고, 구부리고, 늘리고, 압축하고, 꽉 쥐고, 꼬집는 것과 같이 디지털 3D 오브젝트를 조작할 수도 있다. 사용자가 모니터 또는 장치 뒤에서 움직일 때, 사용자는 디스플레이에서 보이는 3D 오브젝트를 조작하기 위하여 손(들)을 움직일 수 있다. 후술하는 바와 같이, 여기에는 깊이 요소(depth component)가 있다. 3D 오브젝트가 사용자가 보는 3D 장면 앞에 있으면, 사용자는 장치/모니터 뒤에서 멀리서 움직이지 않아야 할 것이다. 오브젝트가 3D 장면의 더 뒤쪽에 있으면, 사용자는 3D 오브젝트를 만지기 위해서(또는 충돌하기 위하여) 장치/모니터 뒤에서 물리적으로 더 움직여야 할 수 있다.
도 4는 일 실시예에 따라 인-라인 중재를 가능하게 하는 프로세스를 나타내는 흐름도이다.
도 4에 도시된 프로세스는 사용자가 이동 장치, 노마딕 장치 또는 정적인 장치일 수 있는 장치에 전원을 넣은 후에 시작한다. 추적 컴포넌트 또한 동작된다. 위에서 제공된 예로 온라인 가상 세계 또는 어떤 다른 형태의 3D 콘텐트와 같은 3D 콘텐트를 표시한다. 사용자는 직접 표시 장치를 향한다. 즉, 사용자는 랩탑 또는 데스크탑 모니터 앞에 정면으로 앉거나 직접 앞에 있는 휴대 전화를 잡는다. 사용자가 조작하기(예를 들어, 볼을 집거나 의자를 움직이기 등)를 원하는 화면에서 표시된 3D 오브젝트가 있을 수 있다. 또는 사용자가 손 제스처 또는 움직임(예를 들어, 3D 사람 또는 아바타에게 손을 흔들기)를 수행하기 원하는 3D 세계 장면이 있을 수 있다. 온라인 3D 콘텐트를 수반하지 않는 다른 예들은 3D 의료 이미징 데이터의 방위(orientation)를 이동시키거나 변경시키는 것, 3D 비디오 게임을 재생하는 것, 영화 또는 쇼 등과 같은 3D 콘텐트와 상호작용하는 것 등을 포함할 수 있다.
사용자는 장치(이하에서, 설명의 편의를 위해서, "장치"라는 용어는 이동 장치 화면 및 랩탑/데스크탑 모니터들을 뜻할 수 있음) 뒤에서 손을 움직임으로써 시작한다. 단계 402에서, 추적 컴포넌트는 사용자의 손의 존재를 검출한다. 사용자 손을 검출할 수 있는 다양한 방법들이 있다. 일반적인 한 방법은 사용자의 손의 피부 톤을 검출하는 것이다. 전술한 바와 같이, 이용될 수 있는 수많은 종류의 추적 컴포넌트 또는 센서들이 있다. 가장 적합한 방법은 장치의 특성 및 성능(즉, 이동 장치, 노마딕 장치, 정적 장치 등)에 따를 수 있다. 통상적인 휴대 전화 카메라는 사람 손의 존재를 검출할 수 있다. 손(또는 손들)의 이미지는 합성 컴포넌트로 전달된다.
단계 404에서, 손이 화면상에 표시된다. 사용자는 손을 변화시키지 않은 모습(view)(손 뒤의 배경 및 손 주변을 포함하지 않음) 또는 손의 변형된 표현을 본다. 사용자의 손의 이미지가 표시되는 경우, 알려진 합성 기술들이 이용될 수 있 다. 예를 들어, 일부 기술은 2개의 비디오 소스 - 3D 콘텐트를 위한 소스 및 사용자의 손의 비디오 이미지를 표현하는 다른 소스 - 를 합성하는 것을 포함할 수 있다. 3D 콘텐트 데이터 위에 사용자의 이미지를 겹치거나 합성하기 위한 다른 기술들이 이용될 수 있으며 어떤 기술이 가장 적합한지는 장치의 타입에 따를 수 있을 것이다. 사용자의 손이 아바타 손 또는 다른 디지털 표현에 매핑되면, 3D 콘텐트 제공자로부터의 소프트웨어 또는 다른 기존의 소프트웨어는 로봇식(robotic) 손과 같은 아바타 이미지로 사용자 손 이미지들의 매핑을 수행하는데 이용될 수 있다. 따라서, 단계 404에서, 정적인 사용자의 손의 표현이 장치에서 보여질 수 있다. 즉, 그 표현이 검출되어 장치에 표현된다.
단계 406에서, 사용자는 손을 위, 아래, 좌, 우 또는 (장치와 관하여) 안쪽 또는 바깥쪽으로 손을 움직이거나 제스처를 취하거나 또는 둘 다를 수행하여 손을 움직이기 시작한다. 손의 초기 위치 및 그 후속되는 움직임은 x, y, 및 z 좌표로 나타낼 수 있다. 추적 컴포넌트는 수평 요소, 수직 요소 및 깊이 요소를 가지는 손의 움직임 및 제스처를 추적하기 시작한다. 예를 들어, 사용자는 장치에서 3D 가상 세계 방을 볼 수 있으며 사용자는 (특정 깊이를 가지는) 방의 먼 좌측 코너에 있는 오브젝트를 방의 우측 코너 가까이로 움직이기 원할 수 있다. 본 발명의 일 실시예에서, 사용자는 손을 예를 들어, 약 12 인치(inches) 뒤 그리고 장치의 약간 좌측의 위치로 움직여야 할 수 있다. 이는 사용자가 팔을 정상적이거나 자연스러운 거리로 생각되는 것보다 좀 더 멀리 뻗는 것을 요구할 수 있다. 오브젝트를 잡은 후, 단계 408에서 후술되는 바와 같이, 사용자는 손을 장치의 뒤에서 2-3 인치(inches) 및 오른쪽인 위치로 움직인다. 이 예는 장치에 의해 수행되는 인-라인 중재를 유지하도록 구현되는 손 추적에서 깊이 요소가 있는 것을 설명한다.
단계 408에서, 장치에서 사용자의 손의 디지털 표현은 오브젝트와 충돌하거나 오브젝트를 만진다. 이 충돌은 추적 센서로부터의 감지 데이터 및 3D 데이터 리포지토리(repository)로부터의 기하학적인 데이터를 비교하여 검출된다. 사용자가 오브젝트를 잡거나, 집거나 또는 조작할 수 있는 위치에서, 물제와 충돌하는 것을 화면상의 손의 디지털 표현을 만드는 방식으로, 사용자는 장치의 뒤에서 손을 움직인다. 사용자의 손은 도 3a에 도시된 바와 같이, 장치 뒤에서 "부유하는(floating)" 인식된 오브젝트와 충돌하는 것에 특징이 있을 수 있다. 설명한 실시예에서, 3D 인-라인 중재 또는 시각적 일관성을 유지하기 위하여, 사용자의 눈은 화면의 중심에서 똑바로 보고 있다. 즉, 장치 및 3D 콘텐트와 사용자의 머리가 수직 및 수평 정렬이 된다. 다른 실시예에서, 사용자의 머리(즉, 관점(perspective))에서 움직임을 반영하기 위하여 3D 콘텐트 이미지들에 변경을 가할 수 있도록 사용자의 얼굴이 추적될 수도 있다.
일 실시예에서, "입력-출력 일치" 모델은 인식-행동 루프로서 지칭되는 사용자-컴퓨터 인터랙션을 가깝게 하는데 이용된다. 여기에서, 인식은 사용자가 보는 것이고, 행동은 사용자가 하는 것이다. 이는 사용자가 3D 오브젝트의 접촉(touching)과 같은 인터랙션의 결과를 즉시 볼 수 있도록 한다. 전술한 바와 같이, 사용자의 손은 조작되는 중인 3D 오브젝트와 동일한 위치에서 또는 3D 오브젝트와 정렬된다. 즉, 사용자의 관점에서 사용자가 3D 물체를 실제 물제인 것처럼 들거나 움직이는 것처럼 보이도록 손은 3D 오브젝트와 정렬된다. 사용자가 보는 것은 사용자에 의해서 취해진 동작에 기반한 것으로 이해될 수 있다. 일 실시예에서, 시스템은 사용자의 손과 3D 오브젝트 사이에 충돌을 검출할 때 사용자에게 촉각 피드백을 제공한다.
단계 410에서, 3D 장면의 이미지는 3D 오브젝트의 사용자의 조작을 반영하기 위하여 변경된다. 사용자가 3D 오브젝트를 조작할 때 하는 것처럼 3D 오브젝트의 조작이 없어서 오브젝트 충돌이 없는 경우, 장면의 이미지는 사용자가 손을 움직이는 것에 따라 변화한다. 화면에서 3D 이미지에서의 변화는 3D 콘텐트 데이터를 처리하기 위한 알려진 방법을 이용하여 수행될 수 있다. 이들 방법 또는 기술들은 장치의 종류, 데이터의 소스 및 다른 요소들에 따라 다양할 수 있다. 그런 다음, 프로세스는 사용자의 손의 존재가 다시 검출되는 단계 402로 되돌아감으로써 반복된다. 도 4에 도시된 프로세스는 사용자의 손의 움직임이 추적 컴포넌트의 범위내에 있는 한 추적되는 점에서 연속적이다. 설명한 실시예에서, 장치는 사용자의 머리 또는 관점이 장치와 일렬로 유지되는 한, 3D 인-라인 중재자로서 동작할 수 있다. 장치는 이번에는 장치 뒤에서 사용자의 손 움직임이 화면에 표시되는 손 움직임과 시각적으로 일관되도록 하고, 또는 그 반대로도 마찬가지이다. 즉, 사용자는 화면에 표시된 디지털 3D 환경에서 수행하기를 원하는 행동에 기초하여 물리 세계에서 손을 움직인다.
한편, 디지털 오브젝트가 2D 오브젝트인 경우에도, 도 4에 도시된 프로세스에 따라 사용자는 2D 오브젝트와 인터랙션할 수 있다.
단계 402에 대응하여, 추적 컴포넌트는 사용자의 손의 존재를 검출한다. 단계 404에서, 검출된 손이 장치의 화면상에 표시된다.
단계 406에 대응하여, 추적 컴포넌트는 사용자의 손의 움직임을 추적한다. 이 때, 추적 컴포넌트는 손의 위치가 x, y 및 z 좌표로 나타내지는 경우, 추적되는 손의 움직임을 x좌표 및 y좌표의 값을 이용하여 화면상에 표시할 수 있다.
단계 408에 대응하여, 장치는 사용자의 손의 디지털 표현이 2D 오브젝트와 충돌하는 것을 검출할 수 있다. 이 충돌은 추적 컴포넌트로부터의 감지 데이터가 화면에 표시되는 경우의 2차원 좌표와 현재 화면에 표시되는 2D 오브젝트의 좌표를 비교하여 검출될 수 있다.
단계 410에 대응하여, 장면의 2D 오브젝트는 사용자의 조작을 반영하여 변경된다. 일 예로, 사용자의 조작이 반영되어 2D 오브젝트는 이동되거나 색이 변경될 수 있다.
2D 오브젝트가 프로그램, 명령어, 또는 데이터 파일을 나타내는 아이콘인 경우, 사용자는 장치 뒤에서 손을 움직여서 아이콘을 드래그 앤 드랍하는 동작이 화면에 표시될 수 있다. 화면에 2D 오브젝트로서 복수 개의 아이콘이 표시된 경우, 사용자는 장치 뒤에서 원을 그리는 방식 등을 통해서 복수 개의 아이콘을 선택할 수 있다. 복수 개의 아이콘이 선택되면, 선택된 복수 개의 아이콘은 그룹화되어, 그룹화된 이후 복수 개의 아이콘 중 일부와 사용자의 손의 충돌이 검출되면, 복수 개의 아이콘 전부가 변경될 수 있다. 예를 들어, 사용자의 손 움직임에 의해 그룹화된 복수 개의 아이콘 전체에 대하여 색이 변경될 수 있으며, 추가적으로 폴더 이 동, 삭제, 날짜 등의 메타 정보의 태깅 등의 동작이 수행될 수 있다.
도 5는 일 실시예에 따라 3D 인-라인 중재자로서 기능할 수 있는 장치의 관련 구성을 나타내는 블록도이다.
여기에 도시되는 많은 컴포넌트들은 위에서 설명하였다. 장치(500)는 장치(500)에서 대용량 저장장치 또는 로컬 캐시(도시되지 않음)에 저장될 수 있거나 인터넷 또는 다른 소스로부터 다운로드될 수 있는 디지털 3D 콘텐트 데이터(501)를 표시하는 표시 컴포넌트(도시되지 않음)를 가진다. 도 5에는 3D 콘텐트 데이터(501)만 도시되어 있으나, 2D 콘텐트 데이터가 저장되어 이용되거나 인터넷 또는 다른 소스로부터 다운로드되어 이용될 수 있다.
추적 센서 컴포넌트(502)는 하나 이상의 종래의 (2D) 카메라 및 3D(깊이) 카메라 및 카메라가 아닌 주변 장치를 포함할 수 있다. 3D 카메라는 깊이 키잉(depth keying)을 이용하여 제스처 인식을 단순화하는 깊이 데이터를 제공할 수 있다. 다른 실시예에서, 광각 렌즈(wide angle lens)가 이미징 시스템에 의한 처리를 덜 요구하는 카메라에서 이용될 수 있지만, 더 많은 왜곡을 생성할 수 있다. 컴포넌트(502)는 또한 상술한 바와 같이, 적외선 검출, 광학 흐름, 이미지 미분기, 적색 편이 열 이미징, 스펙트럴 처리와 같은 다른 능력을 가질 수 있고, 다른 기술들이 추적 컴포넌트(502)에 이용될 수 있다. 추적 센서 컴포넌트(502)는 검출 범위 내에서 몸체 부분의 위치를 추적한다. 이 위치 데이터는 손 추적 모듈(504) 및 얼굴 추적 모듈(506)로 전송되고, 각각은 각 모듈과 관련되는 특징들을 식별한다.
손 추적 모듈(504)은 손가락, 손목 및 팔의 위치들을 포함하는 사용자의 손 위치들의 특징들을 식별한다. 손 추적 모듈(504)은 3D 환경에서 이들 몸체 부분들의 위치를 결정한다. 모듈(504)로부터의 데이터는 손 및 팔 위치에 관련된 2개의 컴포넌트 즉, 제스처 검출 모듈(508) 및 손 충돌 검출 모듈(510)로 전달된다. 일 실시예에서, 사용자 "제스처"는 3D 콘텐트(501)를 변경하게 된다. 제스처는 3D 오브젝트의 들어올리기, 잡기, 꽉 쥐기(squeezing), 꼬집기 또는 회전시키기를 포함할 수 있다. 이들 동작들은 통상적으로 3D 환경에서 오브젝트를 어떤 형태로든 변경한다. 오브젝트의 변경은 오브젝트 형태에서의 실제적인 변형 또는 변화 없이 그 위치의 변화(들기 또는 돌리기)를 포함할 수 있다. 제스처 검출 데이터는 3D 콘텐트(501)를 표현하는 그래픽 데이터에 직접 적용될 수 있다.
또한, 제스처는 2D 오브젝트의 드래그 앤 드랍, 그룹핑, 태깅 동작 등을 포함할 수 있다. 제스처는 UI(User Interface)로서 이용될 수 있다. 이를 위해, 2D 오브젝트를 변경하거나 2D 오브젝트의 변경에 따른 애플리케이션 실행을 위한 제스처가 미리 설정될 수 있다.
사용자의 손의 움직임이 추적되어 화면에 표시되고, 모니터에 표시된 오브젝트를 실제로 조작하는 자연적인 시각적 인상을 갖게 할 수 있다. 그러나, 2D 오브젝트와 충돌 후 2D 오브젝트가 변경되는 모습은 다양할 수 있다.
예를 들어, 2D 오브젝트로서 복수 개의 아이콘이 있는 경우, 사용자가 장치 뒤에서 손을 움직여서 인식되고 화면상에 표시된 복수 개의 아이콘을 지나는 원을 그리는 동작이 검출되는 경우, 화면에 복수 개의 아이콘의 색이 변경되어 표시될 수 있다. 또한, 2D 오브젝트가 이미지인 경우, 사용자가 2D 오브젝트를 만진 후, 디스플레이 뒤에서 손을 디스플레이 가까이로 움직이는 동작이 검출되는 경우 줌-인 동작의 효과와 같이 2D 오브젝트가 화면에서 확대 표시될 수 있으며, 손을 디스플레이에서 멀어지게 움직이는 동작이 검출되는 경우 2D 오브젝트를 줌 아웃 동작의 효과와 같이 2D 오브젝트가 화면에서 축소 표시될 수 있다. 또한, 사용자의 제스처에 의하여 2D 오브젝트가 화면에서 이동 또는 삭제될 수도 있다. 이는 2D 오브젝트가 아이콘인 경우 사용자의 제스처에 의한 사용자 인터페이스로서 유용하게 이용될 수 있다.
다른 실시예에서, 추적 센서 컴포넌트(502)는 사용자의 얼굴을 추적할 수도 있다. 이 경우에, 얼굴 추적 데이터는 얼굴 추적 모듈(506)로 전송된다. 얼굴 추적은 사용자가 장치 및 인식된 오브젝트와 수직으로 배열되지 않는 경우(즉, 사용자의 머리가 화면의 중심을 직접 보고 있지 않은 경우)에 이용될 수 있다.
다른 실시예에서, 손 충돌 검출 모듈(510)로부터의 데이터는 촉각 피드백 컨트롤러(512)에 전송될 수 있다. 촉각 피드백 컨트롤러(512)는 장치(500)의 외부에 있는 하나 이상의 액추에이터들(514)에 연결될 수 있다. 이 실시예에서, 사용자의 손이 3D 오브젝트와 충돌할 때 사용자는 햅틱 피드백을 수신할 수 있다. 일반적으로, 액추에이터들(514)는 가능한 한 돌출되지 않는 것이 바람직하다. 일 실시예에서, 액추에이터들(514)은 유선 또는 무선일 수 있는 손목 밴드들을 진동시킨다. 손목 밴드들을 이용하는 것은 전술한 바와 같이 3D 콘텐트에 대한 맨손 조작을 허용한다. 촉각 피드백 컨트롤러(512)는 충돌 또는 접촉이 있는 신호를 수신하고, 촉각 액추에이터들(514)이 사용자에게 물리적인 지각을 제공하게 한다. 예를 들 어, 진동 손목 밴드들을 가지고, 사용자의 손목은 3D 오브젝트와 접촉을 나타내는 진동 또는 유사한 물리적 지각을 감지할 수 있다.
도면들 및 다양한 실시예로부터 본 발명은 사용자가 시각적 일관성을 일으켜서 자연적이고 몰입적인 방법으로 디지털 3D 콘텐트와 상호작용하도록 하여 3D 콘텐트와 몰입적인 용량측정의(volumetric) 상호작용을 생성할 수 있음이 명백하다. 일 실시예에서, 사용자는 휴대 전화와 같이 이동 컴퓨팅 장치상으로 3D 콘텐트를 업로드하거나 실행한다. 이 3D 콘텐트는 이동 장치에서 브라우저를 이용하여 사용자가 방문한 가상 세계(예를 들어, 가상 세계 콘텐트를 제공하는 세컨드 라이프 또는 어떤 다른 사이트)일 수 있다. 다른 예들은 영화, 비디오 게임, 온라인 가상 도시, 의료 이미징(예를 들어, MRI 검사), 모델링 및 프로토타이핑, 정보 가상화, 건축, 텔레-이머전 및 공동연구 및 지리적 정보 시스템(예를 들어, 구글 어쓰)을 포함한다. 사용자는 사용자의 눈 앞에서, 예를 들어 20-30센티미터의 편안한 거리에서 장치의 디스플레이를 똑바로 잡는다. 이동 장치의 디스플레이는 가상 세계내에서 윈도우로서 이용된다. 사용자와 사용자의 손 사이에 인-라인 중재자로서 이동 장치를 이용하면, 사용자는 장치의 디스플레이 뒤에서 움직여서 디스플레이에 표시된 3D 오브젝트들을 조작하고, 디스플레이 뒤에서 인식된 오브젝트 주변의 손 제스처 및 움직임을 만들 수 있다. 사용자는 디스플레이에서 제스처 및 움직임들 및 제스처 및 움직임에 의해 영향을 받는 3D 오브젝트를 본다.
상술한 바와 같이, 이동 장치를 이용하여 3D 콘텐트로 몰입적이고 자연스러운 사용자 인터랙션을 생성하는 한 측면은 사용자가 가상 세계에서 오브젝트들과 맨손으로 상호작용할 수 있게 한다. 즉, 사용자가 이동 장치를 이용하여 디지털 3D 오브젝트들을 조작하고 만지게 하고, 사용자가 글로브, 손가락 센서, 움직임 검출기와 같은 어떤 주변 장치를 이용할 것을 요구하지 않는다.
도 6a 및 도 6b는 본 발명의 실시예들을 구현하기에 적합한 컴퓨터 시스템을 나타낸다.
도 6a는 컴퓨팅 시스템의 가능한 하나의 물리적 형태를 나타낸다. 물론, 컴퓨팅 시스템은 집적 회로, 인쇄 회로 기판, (이동 전화, 핸드셋 또는 PDA와 같은) 소형 핸드헬드 장치, 개인용 컴퓨터 또는 슈퍼 컴퓨터를 포함하는 많은 물리적 형태들을 가질 수 있다. 컴퓨팅 시스템(600)은 모니터(602), 디스플레이(604), 하우징(606), 디스크 드라이브(608), 키보드(610) 및 마우스(612)를 포함한다. 디스크(614)는 컴퓨터 시스템(600)으로 그리고 컴퓨터 시스템(600)으로부터 데이터를 전송하는데 이용되는 컴퓨터 판독가능 매체이다.
도 6b는 컴퓨팅 시스템(600)에 대한 블록도의 일 예이다. 시스템 버스(620)에는 광범위한 서브시스템이 부착된다. 프로세서들(622)(중앙 처리 장치 또는 CPU라고도 함)은 메모리(624)를 포함하는 저장 장치에 결합된다. 메모리(624)는 램(Random Access Memory) 및 롬(Read-only memory)를 포함한다. 당업계에 잘 알려진 바와 같이, 롬은 CPU에 일방향으로 데이터 및 명령어를 전송하도록 동작하고 램은 일반적으로 양방향으로 데이터 및 명령어를 전송하는데 이용된다. 이들 두 종류의 메모리는 후술하는 바와 같이 어떤 적합한 컴퓨터 판독가능 매체들을 포함할 수 있다. 고정형(fixed) 디스크(626)는 또한 CPU(622)에 양방향으로 결합된다. 고정형 디스크(626)는 부가적인 데이터 저장 용량을 제공하고 또한 후술하는 어떤 컴퓨터 판독가능 매체도 포함할 수 있다. 고정형 디스크(626)는 프로그램, 데이터 등을 저장하는데 이용될 수 있으며, 통상적으로 메인 스토리지보다 느린 (하드 디스크와 같은) 제2의 저장 매체이다. 고정형 디스크(626)내에 포함된 정보는, 적절한 경우에, 메모리(624)에서 가상 메모리로서 표준 방식으로 통합될 수 있다. 이동형(removable) 디스크(614)는 후술하는 컴퓨터 판독가능 매체의 어떤 형태를 취할 수 있다.
CPU(622)는 또한 디스플레이(604), 키보드(610), 마우스(612) 및 스피커(630)와 같은 다양한 입출력 장치에도 결합된다. 일반적으로, 입출력 장치는 비디오 디스플레이, 트랙볼, 마우스, 키보드, 마이크로폰, 터치 감지 디스플레이, 트랜스듀서 카드 리더, 자기 또는 종이 테입 리더, 태블릿, 스타일러스, 음성 또는 수기(handwriting) 인식기, 생체측정 판독기(biometric reader) 또는 다른 컴퓨터들 중 어느 것일 수 있다. CPU(622)는 선택적으로 네트워크 인터페이스(640)를 이용하여 다른 컴퓨터 또는 텔레커뮤니케이션 네트워크에 결합될 수 있다. 이러한 네트워크 인터페이스를 가지고, CPU가 상술한 단계들을 수행하는 방식으로 네트워크로부터 정보를 수신하거나 네트워크로 정보를 출력하는 것이 고려될 수 있다. 또한, 본 발명의 방법 실시예들은 CPU(622)에서 단독으로 수행될 수도 있으며, 또는 프로세싱의 일부를 공유하는 원격의 CPU와 결합하여 인터넷과 같은 네트워크상에서 실행될 수도 있다.
본 발명의 예시적인 실시예들 및 응용예들이 도시되고 설명되었으나, 본 발 명의 개념, 범위 및 사상내에 있는 범위내에서 많은 변형이 이루어질 수 있으며, 이들 변형은 본 명세서의 통독후 당업자의 통상이 지식을 가진 자에게 명백할 수 잇다. 따라서, 설명한 실시예들은 예시적인 것으로 제한적인 것이 아니며, 본 발명은 여기에 설명된 상세한 설명에 제한되지 않으며, 첨부의 청구범위의 범위 및 균등범위 내에서 변경될 수 있다.
상세한 설명의 일부를 형성하며, 예시적으로, 특정한 실시예로 도시되는 첨부되는 도면을 참조한다.
도 1a는 일 실시예에 따라 장치에서 표시되는 디지털 3D 콘텐트를 조작하기 위한 3D 인-라인 중재자로서 이동 장치를 이용하는 사용자를 나타낸다.
도 1b는 일 실시예에 따라 장치에서 표시되는 디지털 3D 콘텐트를 조작하기 위하여 3D 인-라인 중재자로서 랩탑 컴퓨터를 이용하는 사용자를 나타낸다.
도 1c는 일 실시예에 따라 데스크탑 모니터에 표시되는 디지털 3D 콘텐트를 조작하기 위한 3D 인-라인 중재자로서 데스크탑 컴퓨터를 이용하는 사용자를 나타낸다.
도 2a 및 2b는 3D 인-라인 중재를 나타내는 상면도이다.
도 2c는 도 2a에 도시된 사용자의 측면도를 나타낸다.
도 3a는 일 실시예에 따라 디지털 3D 콘텐트를 조작하기 위한 3D 인-라인 중재자로서 이동 장치를 사용자의 더 상세한 상면도이다.
도 3b는 장치에 마주하고 장치 뒤에서 이동할 때 사용자가 보는 장면을 나타낸다.
도 4는 일 실시예에 따라 인-라인 중재를 가능하게 하는 프로세스를 나타내는 흐름도이다.
도 5는 일 실시예에 따라 3D 인-라인 중재로서 기능할 수 있는 장치의 관련 구성을 나타내는 블록도이다.
도 6a 및 도 6b는 본 발명의 실시예들을 구현하기에 적합한 컴퓨터 시스템을 나타낸다.

Claims (30)

  1. 전면 및 후면을 포함하며, 전면에 디스플레이를 가지는 장치에 표시되는 디지털 3D 오브젝트의 조작을 검출하는 방법으로서,
    센서를 가지는 장치의 후면의 특정 영역 내에서 손을 검출하는 단계;
    상기 디스플레이에 상기 손을 표시하는 단계;
    상기 후면의 특정 영역 내에서 상기 손의 움직임을 추적하는 단계;
    표시된 손 및 표시된 3D 오브젝트 사이의 충돌을 검출하는 단계; 및
    장치에 표시된 3D 오브젝트의 이미지를 변경하는 단계를 포함하고,
    상기 손의 움직임은 표시된 3D 오브젝트를 조작하려는 사용자에 의해 일어나며, 상기 장치는 상기 사용자와 상기 3D 오브젝트 사이의 3D 인-라인 중재자인 방법.
  2. 제1항에 있어서,
    상기 특정 영역내에서 손의 동작을 검출하는 단계를 더 포함하는 방법.
  3. 제1항에 있어서,
    상기 3D 오브젝트의 이미지를 변경하는 단계는,
    상기 3D 오브젝트의 이미지를 변형하는 단계를 더 포함하는 방법.
  4. 제1항에 있어서,
    상기 3D 오브젝트의 이미지를 변경하는 단계는,
    상기 3D 오브젝트의 이미지를 이동시키는 단계를 더 포함하는 방법.
  5. 제1항에 있어서,
    상기 장치에 상기 변경된 이미지를 표시하는 단계를 더 포함하는 방법.
  6. 제1항에 있어서,
    상기 손이 상기 장치의 후면의 특정 영역 내에 있는 범위에서 상기 사용자는 상기 장치 뒤에서 움직여서 상기 3D 오브젝트에 대응하는 인식된 오브젝트를 조작하는 방법.
  7. 제6항에 있어서,
    상기 사용자가 상기 장치 뒤에서 움직일 때 사용자에게 시각적인 일관성을 제공하는 단계를 더 포함하는 방법.
  8. 제1항에 있어서,
    상기 손의 움직임을 추적하는 단계는,
    상기 손의 움직임의 깊이 데이터를 처리하는 단계를 더 포함하는 방법.
  9. 제1항에 있어서,
    추적 소프트웨어를 실행하는 단계를 더 포함하는 방법.
  10. 제1항에 있어서,
    상기 센서는 상기 장치의 후면에서 외부로 향하는 추적 컴포넌트이고, 상기 센서는 카메라인 방법.
  11. 제1항에 있어서,
    상기 손을 표시하는 단계는,
    상기 디스플레이에서 상기 손의 합성 이미지를 표시하는 단계를 더 포함하는 방법.
  12. 제1항에 있어서,
    상기 손을 표시하는 단계는,
    상기 디스플레이에 상기 손의 가상 이미지를 표시하는 단계를 더 포함하는 방법.
  13. 제1항에 있어서,
    상기 표시된 손과 상기 3D 오브젝트 사이에 충돌이 검출될 때 상기 손에 햅틱 피드백을 제공하는 단계를 더 포함하는 방법.
  14. 제1항에 있어서,
    상기 손과 상기 장치의 후면 사이에 또는 상기 장치와 접촉이 없는 방법.
  15. 디스플레이를 가지는 장치로서,
    프로세서;
    디지털 3D 콘텐트 데이터를 저장하는 메모리;
    상기 장치 부근에서 물체의 움직임을 추적하는 추적 센서 컴포넌트;
    사용자 손과 관련된 움직임 데이터를 처리하는 손 추적 모듈; 및
    상기 사용자 손과 3D 오브젝트 사이에 충돌을 검출하는 손-3D 오브젝트 충돌 모듈을 포함하고,
    상기 추적 센서 컴포넌트는 사용자로부터 외면하는 상기 장치의 후면에 있는 장치.
  16. 제15항에 있어서,
    장치의 전면 부근에서 얼굴 움직임을 추적하는 얼굴 추적 센서 컴포넌트; 및
    상기 장치 앞에서 사용자 얼굴 움직임에 관련된 얼굴 움직임 데이터를 처리하는 전면 추적 모듈을 더 포함하는 장치.
  17. 제15항에 있어서,
    상기 추적 센서 컴포넌트의 범위 내에서 이루어진 사용자 손 제스처를 검출하는 손 제스처 검출 모듈을 더 포함하는 장치.
  18. 제15항에 있어서,
    상기 사용자 손으로 촉각 피드백을 제공하는 촉각 피드백 컨트롤러를 더 포함하는 장치.
  19. 제15항에 있어서,
    상기 추적 센서 컴포넌트는 카메라 기반 컴포넌트인 장치.
  20. 제15항에 있어서,
    상기 추적 센서 컴포넌트는 이미지 미분기, 적외선 검출기, 광학 흐름 컴포넌트 및 스펙트럴 프로세서 중 하나인 장치.
  21. 제15항에 있어서,
    상기 사용자가 상기 추적 센서 컴포넌트 범위와 상기 장치의 뒤에서 상기 손을 움직일 때 상기 추적 센서 컴포넌트는 상기 손의 움직임을 추적하는 장치.
  22. 제15항에 있어서,
    상기 장치는 이동 장치, 노마딕 장치 및 정적인 장치 중 하나인 장치.
  23. 제15항에 있어서,
    네트워크에 연결하여 디지털 3D 콘텐트 데이터를 수신하는 네트워크 인터페이스를 더 포함하는 장치.
  24. 전면 및 후면을 포함하며, 전면에 디스플레이를 가지는 장치에 표시되는 디지털 오브젝트의 조작을 검출하는 방법으로서,
    센서를 가지는 장치의 후면의 특정 영역 내에서 손을 검출하는 단계;
    상기 디스플레이에 상기 손을 표시하는 단계;
    상기 후면의 특정 영역 내에서 상기 손의 움직임을 추적하는 단계;
    표시된 손 및 표시된 오브젝트 사이의 충돌을 검출하는 단계; 및
    장치에 표시된 오브젝트의 이미지를 변경하는 단계를 포함하고,
    상기 손의 움직임은 표시된 오브젝트를 조작하려는 사용자에 의해 일어나며, 상기 장치는 상기 사용자와 상기 오브젝트 사이의 인-라인 중재자인 방법.
  25. 제24항에 있어서,
    상기 오브젝트는 디지털 2D 오브젝트 및 디지털 3D 오브젝트 중 적어도 하나를 포함하는 방법.
  26. 제25항에 있어서,
    상기 2D 오브젝트는 프로그램, 명령어, 또는 데이터 파일을 나타내는 아이콘을 포함하는 방법.
  27. 제24항에 있어서,
    상기 오브젝트의 이미지를 변경하는 단계는,
    상기 오브젝트의 이동, 색 변경, 확대, 축소 및 삭제 중 적어도 하나를 수행하는 단계를 포함하는 방법.
  28. 디스플레이를 가지는 장치로서,
    프로세서;
    디지털 콘텐트 데이터를 저장하는 메모리;
    상기 장치 부근에서 물체의 움직임을 추적하는 추적 센서 컴포넌트;
    사용자 손과 관련된 움직임 데이터를 처리하는 손 추적 모듈; 및
    상기 사용자 손과 오브젝트 사이에 충돌을 검출하는 손-오브젝트 충돌 모듈을 포함하고,
    상기 추적 센서 컴포넌트는 사용자로부터 외면하는 상기 장치의 후면에 있는 장치.
  29. 제28항에 있어서,
    상기 오브젝트는 디지털 2D 오브젝트 및 디지털 3D 오브젝트 중 적어도 하나 를 포함하는 장치.
  30. 제29항에 있어서,
    상기 2D 오브젝트는 프로그램, 명령어, 또는 데이터 파일을 나타내는 아이콘을 포함하는 장치.
KR1020090080586A 2008-09-02 2009-08-28 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션 KR20100027976A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US9365108P 2008-09-02 2008-09-02
US61/093,651 2008-09-02
US12/421,363 US20100053151A1 (en) 2008-09-02 2009-04-09 In-line mediation for manipulating three-dimensional content on a display device
US12/421,363 2009-04-09

Publications (1)

Publication Number Publication Date
KR20100027976A true KR20100027976A (ko) 2010-03-11

Family

ID=41724668

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020090080586A KR20100027976A (ko) 2008-09-02 2009-08-28 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션
KR1020097024434A KR101637990B1 (ko) 2008-09-02 2009-09-02 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020097024434A KR101637990B1 (ko) 2008-09-02 2009-09-02 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링

Country Status (3)

Country Link
US (5) US20100053151A1 (ko)
KR (2) KR20100027976A (ko)
WO (1) WO2010027193A2 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110114979A (ko) * 2010-04-14 2011-10-20 삼성전자주식회사 가상 세계 처리 장치 및 방법
WO2013009062A2 (ko) * 2011-07-08 2013-01-17 (주) 미디어인터랙티브 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
KR101303994B1 (ko) * 2010-11-24 2013-09-04 한국전자통신연구원 가상 현실 기반 훈련 가이드 시스템 및 그 방법
KR101310498B1 (ko) * 2012-03-06 2013-10-10 서울대학교산학협력단 3차원 영상 표시 장치 및 그 방법
KR101488121B1 (ko) * 2010-10-21 2015-01-29 노키아 코포레이션 표시된 정보를 제어하기 위한 사용자 입력 장치 및 방법
KR20170002979A (ko) 2015-06-30 2017-01-09 인천대학교 산학협력단 손 동작 상호작용 시스템 및 방법
WO2017086508A1 (ko) * 2015-11-19 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10120526B2 (en) 2012-12-20 2018-11-06 Samsung Electronics Co., Ltd. Volumetric image display device and method of providing user interface using visual indicator
KR20180136132A (ko) * 2017-06-14 2018-12-24 (주)이더블유비엠 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법
US11514650B2 (en) 2019-12-03 2022-11-29 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof

Families Citing this family (450)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9268518B2 (en) 2011-09-27 2016-02-23 Z124 Unified desktop docking rules
US9405459B2 (en) 2011-08-24 2016-08-02 Z124 Unified desktop laptop dock software operation
US9715252B2 (en) 2011-08-24 2017-07-25 Z124 Unified desktop docking behavior for window stickiness
JP3915720B2 (ja) * 2002-11-20 2007-05-16 ソニー株式会社 映像制作システム、映像制作装置、映像制作方法
US7473313B2 (en) * 2005-06-15 2009-01-06 Halliburton Energy Services, Inc. Gas-generating additives having improved shelf lives for use in cement compositions
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US8384718B2 (en) * 2008-01-10 2013-02-26 Sony Corporation System and method for navigating a 3D graphical user interface
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US20120204133A1 (en) * 2009-01-13 2012-08-09 Primesense Ltd. Gesture-Based User Interface
US8579632B2 (en) * 2008-02-14 2013-11-12 Infomotion Sports Technologies, Inc. Electronic analysis of athletic performance
US20090289188A1 (en) * 2008-05-20 2009-11-26 Everspring Industry Co., Ltd. Method for controlling an electronic device through infrared detection
EP2145575A1 (en) * 2008-07-17 2010-01-20 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO A system, a method and a computer program for inspection of a three-dimensional environment by a user
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US8866698B2 (en) * 2008-10-01 2014-10-21 Pleiades Publishing Ltd. Multi-display handheld device and supporting system
US20100138797A1 (en) * 2008-12-01 2010-06-03 Sony Ericsson Mobile Communications Ab Portable electronic device with split vision content sharing control and method
KR101544364B1 (ko) * 2009-01-23 2015-08-17 삼성전자주식회사 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법
CA2757238C (en) 2009-03-27 2019-06-25 Infomotion Sports Technologies, Inc. Monitoring of physical training events
US20120121128A1 (en) * 2009-04-20 2012-05-17 Bent 360: Medialab Inc. Object tracking system
US9479895B2 (en) * 2009-04-23 2016-10-25 International Business Machines Corporation Location-oriented services
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
US20100328447A1 (en) * 2009-06-26 2010-12-30 Sony Computer Entertainment, Inc. Configuration of display and audio parameters for computer graphics rendering system having multiple displays
US8269691B2 (en) * 2009-06-26 2012-09-18 Sony Computer Entertainment Inc. Networked computer graphics rendering system with multiple displays for displaying multiple viewing frustums
US20100328354A1 (en) * 2009-06-26 2010-12-30 Sony Computer Entertainment, Inc. Networked Computer Graphics Rendering System with Multiple Displays
JP5343773B2 (ja) * 2009-09-04 2013-11-13 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
US9032288B2 (en) * 2009-09-11 2015-05-12 Xerox Corporation Document presentation in virtual worlds
US20110084983A1 (en) * 2009-09-29 2011-04-14 Wavelength & Resonance LLC Systems and Methods for Interaction With a Virtual Environment
KR20110035609A (ko) * 2009-09-30 2011-04-06 삼성전자주식회사 움직임 감지 장치 및 방법
US9104275B2 (en) * 2009-10-20 2015-08-11 Lg Electronics Inc. Mobile terminal to display an object on a perceived 3D space
US20110109526A1 (en) * 2009-11-09 2011-05-12 Qualcomm Incorporated Multi-screen image display
US20110140991A1 (en) * 2009-12-15 2011-06-16 International Business Machines Corporation Multi-monitor configuration system
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US8913009B2 (en) * 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
SG10201400949SA (en) 2010-03-30 2014-05-29 Ns Solutions Corp Information Processing System, Information Processing Method And Program, Information Processing Apparatus, Vacant Space Guidance System, Vacant Space Guidance Method And Program, Image Display System, And Image Display Method And Program
US8540571B2 (en) 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
US8560583B2 (en) 2010-04-01 2013-10-15 Sony Computer Entertainment Inc. Media fingerprinting for social networking
US9264785B2 (en) 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US10448083B2 (en) * 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
US20110252349A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Folders
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
TWI461967B (zh) * 2010-04-07 2014-11-21 Hon Hai Prec Ind Co Ltd 手寫輸入電子設備
CN102918477B (zh) 2010-04-13 2017-07-21 诺基亚技术有限公司 装置、方法、计算机程序和用户接口
US8842113B1 (en) * 2010-05-26 2014-09-23 Google Inc. Real-time view synchronization across multiple networked devices
WO2011147561A2 (en) * 2010-05-28 2011-12-01 Chao Zhang Mobile unit, method for operating the same and network comprising the mobile unit
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US20120200600A1 (en) * 2010-06-23 2012-08-09 Kent Demaine Head and arm detection for virtual immersion systems and methods
EP3264256B1 (en) 2010-06-28 2019-09-25 Brainlab AG Generating images for at least two displays in image-guided surgery
KR101651135B1 (ko) * 2010-07-12 2016-08-25 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9159165B2 (en) 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US9814977B2 (en) * 2010-07-13 2017-11-14 Sony Interactive Entertainment Inc. Supplemental video content on a mobile device
US9143699B2 (en) 2010-07-13 2015-09-22 Sony Computer Entertainment Inc. Overlay non-video content on a mobile device
US9832441B2 (en) * 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device
US8730354B2 (en) 2010-07-13 2014-05-20 Sony Computer Entertainment Inc Overlay video content on a mobile device
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
JP5791131B2 (ja) 2010-07-20 2015-10-07 アップル インコーポレイテッド 自然な相互作用のための相互作用的現実拡張
CN103155425B (zh) * 2010-08-13 2015-07-29 Lg电子株式会社 移动终端、显示装置及其控制方法
JP5751775B2 (ja) * 2010-09-01 2015-07-22 キヤノン株式会社 撮像装置、その制御方法及びプログラム並びに記録媒体
US8517870B2 (en) 2010-09-07 2013-08-27 Infomotion Sports Technologies, Inc. Electronic component enclosure for an inflated object
US9047041B2 (en) * 2010-09-15 2015-06-02 Lenovo (Singapore) Pte. Ltd. Combining multiple slate displays into a larger display matrix
US9052760B2 (en) * 2010-09-15 2015-06-09 Lenovo (Singapore) Pte. Ltd. Combining multiple slate displays into a larger display
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
TW201215442A (en) * 2010-10-06 2012-04-16 Hon Hai Prec Ind Co Ltd Unmanned Aerial Vehicle control system and method
IL208600A (en) * 2010-10-10 2016-07-31 Rafael Advanced Defense Systems Ltd Real-time network-based laminated reality for mobile devices
US20120086630A1 (en) * 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
US9164581B2 (en) 2010-10-22 2015-10-20 Hewlett-Packard Development Company, L.P. Augmented reality display system and method of display
US9489102B2 (en) * 2010-10-22 2016-11-08 Hewlett-Packard Development Company, L.P. System and method of modifying lighting in a display system
US8854802B2 (en) 2010-10-22 2014-10-07 Hewlett-Packard Development Company, L.P. Display with rotatable display screen
JP5815932B2 (ja) * 2010-10-27 2015-11-17 京セラ株式会社 電子機器
KR101492310B1 (ko) 2010-11-01 2015-02-11 닌텐도가부시키가이샤 조작 장치 및 정보 처리 장치
US8619030B2 (en) * 2010-11-09 2013-12-31 Blackberry Limited Method and apparatus for controlling an output device of a portable electronic device
JP5703703B2 (ja) * 2010-11-11 2015-04-22 ソニー株式会社 情報処理装置、立体視表示方法及びプログラム
US9584735B2 (en) * 2010-11-12 2017-02-28 Arcsoft, Inc. Front and back facing cameras
US20130249792A1 (en) * 2010-12-03 2013-09-26 App.Lab Inc. System and method for presenting images
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
KR20120064557A (ko) * 2010-12-09 2012-06-19 한국전자통신연구원 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법
US20120162384A1 (en) * 2010-12-22 2012-06-28 Vesely Michael A Three-Dimensional Collaboration
JP5122659B2 (ja) * 2011-01-07 2013-01-16 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム
US20120192088A1 (en) * 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
US9618972B2 (en) * 2011-01-20 2017-04-11 Blackberry Limited Three-dimensional, multi-depth presentation of icons in association with differing input components of a user interface
US9480913B2 (en) 2011-01-26 2016-11-01 WhitewaterWest Industries Ltd. Interactive entertainment using a mobile device with object tagging and/or hyperlinking
US8421752B2 (en) 2011-01-27 2013-04-16 Research In Motion Limited Portable electronic device and method therefor
EP2485119A3 (en) * 2011-02-02 2012-12-12 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US9298362B2 (en) * 2011-02-11 2016-03-29 Nokia Technologies Oy Method and apparatus for sharing media in a multi-device environment
US9507416B2 (en) 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
GB201103346D0 (en) 2011-02-28 2011-04-13 Dev Ltd Improvements in or relating to optical navigation devices
JP5792971B2 (ja) 2011-03-08 2015-10-14 任天堂株式会社 情報処理システム、情報処理プログラム、および情報処理方法
US9561443B2 (en) 2011-03-08 2017-02-07 Nintendo Co., Ltd. Computer-readable storage medium, information processing system, and information processing method
EP2497543A3 (en) 2011-03-08 2012-10-03 Nintendo Co., Ltd. Information processing program, information processing system, and information processing method
EP2497545B1 (en) 2011-03-08 2019-08-07 Nintendo Co., Ltd. Information processing program, information processing system, and information processing method
US9925464B2 (en) 2011-03-08 2018-03-27 Nintendo Co., Ltd. Computer-readable storage medium, information processing system, and information processing method for displaying an image on a display device using attitude data of a display device
EP2497547B1 (en) 2011-03-08 2018-06-27 Nintendo Co., Ltd. Information processing program, information processing apparatus, information processing system, and information processing method
US8881059B2 (en) * 2011-03-15 2014-11-04 Panasonic Intellectual Property Corporation Of America Object control device, object control method, computer-readable recording medium, and integrated circuit
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US20120242793A1 (en) * 2011-03-21 2012-09-27 Soungmin Im Display device and method of controlling the same
US8613075B2 (en) 2011-03-30 2013-12-17 Elwha Llc Selective item access provision in response to active item ascertainment upon device transfer
US8726367B2 (en) * 2011-03-30 2014-05-13 Elwha Llc Highlighting in response to determining device transfer
US8839411B2 (en) 2011-03-30 2014-09-16 Elwha Llc Providing particular level of access to one or more items in response to determining primary control of a computing device
US8918861B2 (en) 2011-03-30 2014-12-23 Elwha Llc Marking one or more items in response to determining device transfer
US8726366B2 (en) 2011-03-30 2014-05-13 Elwha Llc Ascertaining presentation format based on device primary control determination
US9153194B2 (en) 2011-03-30 2015-10-06 Elwha Llc Presentation format selection based at least on device transfer determination
US9317111B2 (en) 2011-03-30 2016-04-19 Elwha, Llc Providing greater access to one or more items in response to verifying device transfer
US8713670B2 (en) 2011-03-30 2014-04-29 Elwha Llc Ascertaining presentation format based on device primary control determination
US8739275B2 (en) 2011-03-30 2014-05-27 Elwha Llc Marking one or more items in response to determining device transfer
US8745725B2 (en) * 2011-03-30 2014-06-03 Elwha Llc Highlighting in response to determining device transfer
US8863275B2 (en) 2011-03-30 2014-10-14 Elwha Llc Access restriction in response to determining device transfer
US10373375B2 (en) 2011-04-08 2019-08-06 Koninklijke Philips N.V. Image processing system and method using device rotation
JP5829040B2 (ja) * 2011-04-11 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法
JP2012226182A (ja) * 2011-04-20 2012-11-15 Sony Corp 画像表示制御装置、画像表示システム、画像表示制御方法、並びにコンピューター・プログラム
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US20120274589A1 (en) * 2011-04-28 2012-11-01 De Angelo Michael J Apparatus, system, and method for remote interaction with a computer display or computer visualization or object
US8702507B2 (en) 2011-04-28 2014-04-22 Microsoft Corporation Manual and camera-based avatar control
US20120280898A1 (en) * 2011-05-03 2012-11-08 Nokia Corporation Method, apparatus and computer program product for controlling information detail in a multi-device environment
US8788973B2 (en) 2011-05-23 2014-07-22 Microsoft Corporation Three-dimensional gesture controlled avatar configuration interface
US10120438B2 (en) 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US8744169B2 (en) * 2011-05-31 2014-06-03 Toyota Motor Europe Nv/Sa Voting strategy for visual ego-motion from stereo
JP5918618B2 (ja) * 2011-06-03 2016-05-18 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US9259645B2 (en) * 2011-06-03 2016-02-16 Nintendo Co., Ltd. Storage medium having stored therein an image generation program, image generation method, image generation apparatus and image generation system
JP2012256110A (ja) * 2011-06-07 2012-12-27 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
JP5830987B2 (ja) 2011-07-06 2015-12-09 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータプログラム
JP5919665B2 (ja) * 2011-07-19 2016-05-18 日本電気株式会社 情報処理装置、物体追跡方法および情報処理プログラム
US20130044258A1 (en) * 2011-08-15 2013-02-21 Danfung Dennis Method for presenting video content on a hand-held electronic device
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
KR101189633B1 (ko) * 2011-08-22 2012-10-10 성균관대학교산학협력단 손가락 움직임에 따른 포인터 제어명령어 인식 방법 및 손가락 움직임에 따라 포인터를 제어하는 모바일 단말
JP5694883B2 (ja) * 2011-08-23 2015-04-01 京セラ株式会社 表示機器
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US20130050414A1 (en) * 2011-08-24 2013-02-28 Ati Technologies Ulc Method and system for navigating and selecting objects within a three-dimensional video image
US20130050499A1 (en) * 2011-08-30 2013-02-28 Qualcomm Incorporated Indirect tracking
US20150138300A1 (en) 2011-09-02 2015-05-21 Microsoft Technology Licensing, Llc Mobile Video Calls
WO2013040498A1 (en) 2011-09-16 2013-03-21 Translucent Medical, Inc. System and method for virtually tracking a surgical tool on a movable display
US8903127B2 (en) 2011-09-16 2014-12-02 Harman International (China) Holdings Co., Ltd. Egomotion estimation system and method
US8842057B2 (en) 2011-09-27 2014-09-23 Z124 Detail on triggers: transitional states
EP2575006B1 (en) * 2011-09-27 2018-06-13 Elo Touch Solutions, Inc. Touch and non touch based interaction of a user with a device
EP2575007A1 (en) * 2011-09-27 2013-04-03 Elo Touch Solutions, Inc. Scaling of gesture based input
US9423876B2 (en) * 2011-09-30 2016-08-23 Microsoft Technology Licensing, Llc Omni-spatial gesture input
US8711091B2 (en) * 2011-10-14 2014-04-29 Lenovo (Singapore) Pte. Ltd. Automatic logical position adjustment of multiple screens
US20130100008A1 (en) * 2011-10-19 2013-04-25 Stefan J. Marti Haptic Response Module
US20130125016A1 (en) * 2011-11-11 2013-05-16 Barnesandnoble.Com Llc System and method for transferring content between devices
KR101915985B1 (ko) * 2011-11-16 2018-11-07 엘지전자 주식회사 이동 단말기 및 그 제어 방법
EP2600319A1 (fr) * 2011-11-29 2013-06-05 Gemalto SA Système d'appairage entre un terminal et un élément de type eGo porté au poignet ou à la main d'un utilisateur et procédé correspondant
CN103959340A (zh) * 2011-12-07 2014-07-30 英特尔公司 用于自动立体三维显示器的图形呈现技术
US9164544B2 (en) 2011-12-09 2015-10-20 Z124 Unified desktop: laptop dock, hardware configuration
WO2013089776A2 (en) * 2011-12-16 2013-06-20 Intel Corporation Driving multiple displays using a single display engine
US9223138B2 (en) 2011-12-23 2015-12-29 Microsoft Technology Licensing, Llc Pixel opacity for augmented reality
JP6404120B2 (ja) * 2011-12-27 2018-10-10 インテル コーポレイション モバイル・デバイスにおける完全な３ｄ対話
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US20130191787A1 (en) * 2012-01-06 2013-07-25 Tourwrist, Inc. Systems and Methods for Acceleration-Based Motion Control of Virtual Tour Applications
EP2615580B1 (en) * 2012-01-13 2016-08-17 Softkinetic Software Automatic scene calibration
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US9726887B2 (en) 2012-02-15 2017-08-08 Microsoft Technology Licensing, Llc Imaging structure color conversion
US9368546B2 (en) 2012-02-15 2016-06-14 Microsoft Technology Licensing, Llc Imaging structure with embedded light sources
US9297996B2 (en) 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
US9779643B2 (en) 2012-02-15 2017-10-03 Microsoft Technology Licensing, Llc Imaging structure emitter configurations
US8786517B2 (en) * 2012-02-21 2014-07-22 Blackberry Limited System and method for displaying a user interface across multiple electronic devices
CN103294173A (zh) * 2012-02-24 2013-09-11 冠捷投资有限公司 基于使用者动作的遥控系统及其方法
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US9578318B2 (en) 2012-03-14 2017-02-21 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
JP2013196156A (ja) * 2012-03-16 2013-09-30 Sony Corp 情報処理装置、情報処理方法及びプログラム
US9575710B2 (en) 2012-03-19 2017-02-21 Lenovo (Beijing) Co., Ltd. Electronic device and information processing method thereof
US11068049B2 (en) 2012-03-23 2021-07-20 Microsoft Technology Licensing, Llc Light guide display and field of view
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
US9558590B2 (en) 2012-03-28 2017-01-31 Microsoft Technology Licensing, Llc Augmented reality light guide display
US10191515B2 (en) * 2012-03-28 2019-01-29 Microsoft Technology Licensing, Llc Mobile device light guide display
US8933912B2 (en) 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US9717981B2 (en) 2012-04-05 2017-08-01 Microsoft Technology Licensing, Llc Augmented reality and physical games
KR101793628B1 (ko) 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR20130117553A (ko) * 2012-04-18 2013-10-28 한국전자통신연구원 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법
KR20140135839A (ko) * 2012-04-20 2014-11-26 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 복수의 장치를 이용하는 온라인 게임 경험
US9201495B2 (en) * 2012-04-24 2015-12-01 Mobitv, Inc. Control of perspective in multi-dimensional media
US9736604B2 (en) 2012-05-11 2017-08-15 Qualcomm Incorporated Audio user interaction recognition and context refinement
US9746916B2 (en) 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US9381427B2 (en) * 2012-06-01 2016-07-05 Microsoft Technology Licensing, Llc Generic companion-messaging between media platforms
US9690465B2 (en) 2012-06-01 2017-06-27 Microsoft Technology Licensing, Llc Control of remote applications using companion device
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
EP2677500B1 (en) 2012-06-19 2021-06-23 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method
US8837780B2 (en) * 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
US9092184B2 (en) * 2012-06-22 2015-07-28 Harborside Press, LLC Interactive synchronized multi-screen display
JP5910880B2 (ja) * 2012-06-22 2016-04-27 コニカミノルタ株式会社 操作表示システム、プログラム、携帯端末、操作表示装置、携帯端末プログラム
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8532675B1 (en) 2012-06-27 2013-09-10 Blackberry Limited Mobile communication device user interface for manipulation of data items in a physical space
US20140002336A1 (en) * 2012-06-27 2014-01-02 Greg D. Kaine Peripheral device for visual and/or tactile feedback
US20140002339A1 (en) * 2012-06-28 2014-01-02 David Brent GUARD Surface With Touch Sensors for Detecting Proximity
US20140006472A1 (en) * 2012-06-28 2014-01-02 David Van Brink Locating a Device
GB2515436B (en) * 2012-06-30 2020-09-02 Hewlett Packard Development Co Lp Virtual hand based on combined data
US9235373B2 (en) * 2012-06-30 2016-01-12 At&T Intellectual Property I, L.P. Real-time management of content depicted on a plurality of displays
WO2014008134A1 (en) 2012-07-02 2014-01-09 Infomotion Sports Technologies, Inc. Computer-implemented capture of live sporting event data
WO2014008202A1 (en) 2012-07-02 2014-01-09 Infomotion Sports Technologies, Inc. Operations with instrumented game ball
KR20140004448A (ko) * 2012-07-03 2014-01-13 삼성전자주식회사 영상 제공 방법 및 장치
US20140089850A1 (en) * 2012-09-22 2014-03-27 Tourwrist, Inc. Systems and Methods of Using Motion Control to Navigate Panoramas and Virtual Tours
TW201403446A (zh) * 2012-07-09 2014-01-16 Hon Hai Prec Ind Co Ltd 軟體介面顯示系統及方法
US9305514B1 (en) * 2012-07-31 2016-04-05 Trend Micro Inc. Detection of relative positions of tablet computers
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
US9245428B2 (en) * 2012-08-02 2016-01-26 Immersion Corporation Systems and methods for haptic remote control gaming
JP6012068B2 (ja) * 2012-08-28 2016-10-25 日本電気株式会社 電子機器、その制御方法及びプログラム
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
EP2708982B1 (en) * 2012-09-18 2019-09-11 Samsung Electronics Co., Ltd Method for guiding the user of a controller of a multimedia apparatus to move within recognizable range of the multimedia apparatus, the multimedia apparatus, and target tracking apparatus thereof
GB2506203B (en) * 2012-09-25 2016-12-14 Jaguar Land Rover Ltd Method of interacting with a simulated object
US10341642B2 (en) * 2012-09-27 2019-07-02 Kyocera Corporation Display device, control method, and control program for stereoscopically displaying objects
US9026924B2 (en) * 2012-10-05 2015-05-05 Lenovo (Singapore) Pte. Ltd. Devices, systems, and methods for moving electronic windows between displays
JP6178066B2 (ja) * 2012-11-06 2017-08-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
US9671874B2 (en) 2012-11-08 2017-06-06 Cuesta Technology Holdings, Llc Systems and methods for extensions to alternative control of touch-based devices
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9658695B2 (en) * 2012-11-08 2017-05-23 Cuesta Technology Holdings, Llc Systems and methods for alternative control of touch-based devices
WO2014071635A1 (en) * 2012-11-12 2014-05-15 Hulu Llc Combining multiple screens from multiple devices in video playback
KR101416378B1 (ko) * 2012-11-27 2014-07-09 현대자동차 주식회사 영상 이동이 가능한 디스플레이 장치 및 방법
JP5857946B2 (ja) * 2012-11-30 2016-02-10 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム
KR101480300B1 (ko) * 2012-11-30 2015-01-12 한국과학기술원 메인 스크린과 제2 스크린 간의 상대 위치를 이용한 인터랙티브 콘텐트 제공 시스템 및 그 방법
US10101905B1 (en) * 2012-12-07 2018-10-16 American Megatrends, Inc. Proximity-based input device
US8976172B2 (en) 2012-12-15 2015-03-10 Realitycap, Inc. Three-dimensional scanning using existing sensors on portable electronic devices
FR2999741B1 (fr) * 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
US10192358B2 (en) 2012-12-20 2019-01-29 Microsoft Technology Licensing, Llc Auto-stereoscopic augmented reality display
JP2014127124A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置、情報処理方法及びプログラム
CN103902195B (zh) * 2012-12-28 2017-02-22 鸿富锦精密工业(武汉)有限公司 显示屏幕自动调节系统及方法
DE112013001305B4 (de) * 2013-01-06 2024-08-22 Intel Corporation Ein Verfahren, eine Vorrichtung und ein System zur verteilten Vorverarbeitung von Berührungsdaten und Anzeigebereichsteuerung
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10241639B2 (en) 2013-01-15 2019-03-26 Leap Motion, Inc. Dynamic user interactions for display control and manipulation of display objects
CN103945030B (zh) * 2013-01-17 2017-06-30 信泰光学(深圳)有限公司 组合式装置及其操作方法
KR101822463B1 (ko) * 2013-01-21 2018-01-26 삼성전자주식회사 복수 개의 아이콘들을 화면상에 배치하는 장치 및 이의 운용 방법
US9161167B2 (en) * 2013-01-23 2015-10-13 Qualcomm Incorporated Visual identifier of third party location
TWI510084B (zh) * 2013-01-25 2015-11-21 Sintai Optical Shenzhen Co Ltd 組合式裝置及其操作方法
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9330471B2 (en) * 2013-02-14 2016-05-03 Qualcomm Incorporated Camera aided motion direction and speed estimation
US20140236726A1 (en) * 2013-02-18 2014-08-21 Disney Enterprises, Inc. Transference of data associated with a product and/or product package
US9858031B2 (en) * 2013-03-11 2018-01-02 International Business Machines Corporation Colony desktop hive display: creating an extended desktop display from multiple mobile devices using near-field or other networking
US9210526B2 (en) * 2013-03-14 2015-12-08 Intel Corporation Audio localization techniques for visual effects
US20140274384A1 (en) * 2013-03-15 2014-09-18 Electronic Arts Inc. Delivering and consuming interactive video gaming content
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
JP2015026286A (ja) * 2013-07-26 2015-02-05 セイコーエプソン株式会社 表示装置、表示システムおよび表示装置の制御方法
WO2014155508A1 (ja) * 2013-03-26 2014-10-02 Ｎｅｃディスプレイソリューションズ株式会社 マルチディスプレイシステム
WO2014163214A1 (en) * 2013-04-01 2014-10-09 Lg Electronics Inc. Image display device for providing function of changing screen display direction and method thereof
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
KR102146641B1 (ko) * 2013-04-08 2020-08-21 스냅 아이엔씨 멀티-카메라 장치를 사용하는 거리 추정
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
US9323338B2 (en) 2013-04-12 2016-04-26 Usens, Inc. Interactive input system and method
US20140315489A1 (en) * 2013-04-22 2014-10-23 Htc Corporation Method for performing wireless display sharing, and associated apparatus and associated computer program product
US9395764B2 (en) * 2013-04-25 2016-07-19 Filippo Costanzo Gestural motion and speech interface control method for 3d audio-video-data navigation on handheld devices
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
EP2801891B1 (en) 2013-05-09 2018-12-26 Samsung Electronics Co., Ltd Input Apparatus, Pointing Apparatus, Method for Displaying Pointer, and Recordable Medium
US9417835B2 (en) * 2013-05-10 2016-08-16 Google Inc. Multiplayer game for display across multiple devices
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
KR101469178B1 (ko) 2013-05-22 2014-12-04 주식회사 인피니트헬스케어 다중 모바일 장치를 활용한 의료영상 표시 방법 및 시스템
US9727298B2 (en) * 2013-05-28 2017-08-08 Sony Corporation Device and method for allocating data based on an arrangement of elements in an image
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US20140365558A1 (en) * 2013-06-05 2014-12-11 Wolfgis, Llc System and method for visualizing complex gis location-based datasets
KR20150000783A (ko) * 2013-06-25 2015-01-05 삼성전자주식회사 멀티 스크린을 이용한 디스플레이 방법 및 장치
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
DE102013013698B4 (de) * 2013-08-16 2024-10-02 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille
US11265444B2 (en) 2013-08-23 2022-03-01 Preemadonna Inc. Apparatus for applying coating to nails
US9687059B2 (en) * 2013-08-23 2017-06-27 Preemadonna Inc. Nail decorating apparatus
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US10132635B2 (en) * 2013-09-17 2018-11-20 Invensense, Inc. Method and apparatus for misalignment between device and pedestrian using vision
JP2015061107A (ja) * 2013-09-17 2015-03-30 株式会社リコー 配信管理装置、及び配信システム
US9456148B1 (en) * 2013-09-18 2016-09-27 Amazon Technologies, Inc. Multi-setting preview for image capture
JP6427858B2 (ja) * 2013-09-19 2018-11-28 セイコーエプソン株式会社 表示システム、画像表示装置および表示システムの制御方法
US9547173B2 (en) 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9536353B2 (en) * 2013-10-03 2017-01-03 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9630631B2 (en) 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9715764B2 (en) 2013-10-03 2017-07-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
WO2015065402A1 (en) 2013-10-30 2015-05-07 Bodhi Technology Ventures Llc Displaying relevant use interface objects
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US10048762B2 (en) 2013-11-05 2018-08-14 Intuit Inc. Remote control of a desktop application via a mobile device
US9939925B2 (en) * 2013-11-26 2018-04-10 Adobe Systems Incorporated Behind-display user interface
NL2011867C2 (en) * 2013-11-29 2015-06-01 Jasper Vis Method and device for processing content for display.
FR3014228B1 (fr) * 2013-12-04 2017-04-28 Renault Sas Systeme de detection virtuelle
JP2015115046A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 情報処理装置、プログラム、情報処理方法及び情報処理システム
KR101548228B1 (ko) * 2013-12-27 2015-08-28 주식회사 케이티 사용자 상태에 기반하여 사용자 인터페이스를 동기화하는 동기화 기기 및 동기화 방법
JP2015127897A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 表示制御装置、表示制御システム、表示制御方法、およびプログラム
WO2015102527A1 (en) 2014-01-05 2015-07-09 Yousefi Shahrouz Real-time 3d gesture recognition and tracking system for mobile devices
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
KR20150087666A (ko) * 2014-01-22 2015-07-30 삼성전자주식회사 휴대 단말의 입력 인터페이스 제공 방법 및 그 장치
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US20150242179A1 (en) * 2014-02-21 2015-08-27 Smart Technologies Ulc Augmented peripheral content using mobile device
AU2015223149A1 (en) 2014-02-28 2016-09-22 Russell Brands, Llc Data processing inside gaming device
GB201404134D0 (en) * 2014-03-10 2014-04-23 Bae Systems Plc Interactive information display
WO2015136250A1 (en) * 2014-03-10 2015-09-17 Bae Systems Plc Interactive information display
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US20150268917A1 (en) * 2014-03-20 2015-09-24 Nokia Technologies Oy Apparatus, method, and computer program product for aligning images viewed across multiple displays
KR20150117018A (ko) * 2014-04-09 2015-10-19 삼성전자주식회사 컴퓨팅 장치, 컴퓨팅 장치 제어 방법 및 다중 디스플레이 시스템
US20150301606A1 (en) * 2014-04-18 2015-10-22 Valentin Andrei Techniques for improved wearable computing device gesture based interactions
US9690370B2 (en) 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
KR20150130845A (ko) * 2014-05-14 2015-11-24 삼성전자주식회사 전자장치의 위치 측정 장치 및 방법
US10379614B2 (en) * 2014-05-19 2019-08-13 Immersion Corporation Non-collocated haptic cues in immersive environments
US9740338B2 (en) 2014-05-22 2017-08-22 Ubi interactive inc. System and methods for providing a three-dimensional touch screen
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9304235B2 (en) 2014-07-30 2016-04-05 Microsoft Technology Licensing, Llc Microfabrication
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US10268321B2 (en) * 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US9880799B1 (en) 2014-08-26 2018-01-30 Sprint Communications Company L.P. Extendable display screens of electronic devices
US20170201721A1 (en) * 2014-09-30 2017-07-13 Hewlett Packard Enterprise Development Lp Artifact projection
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
CN105573687B (zh) * 2014-10-10 2019-10-15 鸿富锦精密工业（深圳）有限公司 显示控制装置、电子设备及显示控制方法
US10523993B2 (en) 2014-10-16 2019-12-31 Disney Enterprises, Inc. Displaying custom positioned overlays to a viewer
GB2531531A (en) * 2014-10-20 2016-04-27 Bae Systems Plc Optical inertial measurement apparatus and method
US11504029B1 (en) 2014-10-26 2022-11-22 David Martin Mobile control using gait cadence
US11045116B1 (en) * 2017-09-15 2021-06-29 David Martin Enhanced determination of cadence for control in mobile
US10342462B2 (en) * 2014-10-26 2019-07-09 David Martin Application of gait characteristics for mobile
TWI521387B (zh) * 2014-12-25 2016-02-11 國立臺灣大學 三維空間中之可重置式虛擬觸控板
US10762534B1 (en) * 2014-12-29 2020-09-01 Groupon, Inc. Motion data based consumer interfaces
JP5976145B2 (ja) * 2015-02-05 2016-08-23 キヤノン株式会社 撮像装置、その制御方法及びプログラム並びに記録媒体
US11086216B2 (en) 2015-02-09 2021-08-10 Microsoft Technology Licensing, Llc Generating electronic components
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US9429692B1 (en) 2015-02-09 2016-08-30 Microsoft Technology Licensing, Llc Optical components
US9372347B1 (en) 2015-02-09 2016-06-21 Microsoft Technology Licensing, Llc Display system
US9513480B2 (en) 2015-02-09 2016-12-06 Microsoft Technology Licensing, Llc Waveguide
US9535253B2 (en) 2015-02-09 2017-01-03 Microsoft Technology Licensing, Llc Display system
US9827209B2 (en) 2015-02-09 2017-11-28 Microsoft Technology Licensing, Llc Display system
US9423360B1 (en) 2015-02-09 2016-08-23 Microsoft Technology Licensing, Llc Optical components
US10317677B2 (en) 2015-02-09 2019-06-11 Microsoft Technology Licensing, Llc Display system
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
KR102327044B1 (ko) 2015-04-30 2021-11-15 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
WO2016176574A1 (en) 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
KR102002112B1 (ko) 2015-04-30 2019-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9870052B2 (en) * 2015-06-11 2018-01-16 Oculus Vr, Llc Hand-held controller with pressure-sensing switch for virtual-reality systems
US9607428B2 (en) 2015-06-30 2017-03-28 Ariadne's Thread (Usa), Inc. Variable resolution virtual reality display system
US10261985B2 (en) 2015-07-02 2019-04-16 Microsoft Technology Licensing, Llc Output rendering in dynamic redefining application
US9860145B2 (en) 2015-07-02 2018-01-02 Microsoft Technology Licensing, Llc Recording of inter-application data flow
US9733915B2 (en) 2015-07-02 2017-08-15 Microsoft Technology Licensing, Llc Building of compound application chain applications
US9785484B2 (en) 2015-07-02 2017-10-10 Microsoft Technology Licensing, Llc Distributed application interfacing across different hardware
US9658836B2 (en) 2015-07-02 2017-05-23 Microsoft Technology Licensing, Llc Automated generation of transformation chain compatible class
US10198252B2 (en) 2015-07-02 2019-02-05 Microsoft Technology Licensing, Llc Transformation chain application splitting
US9712472B2 (en) 2015-07-02 2017-07-18 Microsoft Technology Licensing, Llc Application spawning responsive to communication
US9733993B2 (en) 2015-07-02 2017-08-15 Microsoft Technology Licensing, Llc Application sharing using endpoint interface entities
US10198405B2 (en) 2015-07-08 2019-02-05 Microsoft Technology Licensing, Llc Rule-based layout of changing information
US10031724B2 (en) 2015-07-08 2018-07-24 Microsoft Technology Licensing, Llc Application operation responsive to object spatial status
JP6676071B2 (ja) * 2015-08-04 2020-04-08 グーグル エルエルシー 仮想現実におけるオブジェクトとの手のコンテキスト依存衝突を介した入力
US9990008B2 (en) 2015-08-07 2018-06-05 Ariadne's Thread (Usa), Inc. Modular multi-mode virtual reality headset
US9454010B1 (en) 2015-08-07 2016-09-27 Ariadne's Thread (Usa), Inc. Wide field-of-view head mounted display system
US9606362B2 (en) 2015-08-07 2017-03-28 Ariadne's Thread (Usa), Inc. Peripheral field-of-view illumination system for a head mounted display
KR102433879B1 (ko) * 2015-08-21 2022-08-18 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
EP3342189B1 (en) 2015-08-24 2020-10-14 PCMS Holdings, Inc. Systems and methods for enhancing augmented reality experience with dynamic output mapping
US10277582B2 (en) 2015-08-27 2019-04-30 Microsoft Technology Licensing, Llc Application service architecture
US10572209B2 (en) 2015-09-16 2020-02-25 Nec Display Solutions, Ltd. Multi-display system
US10620803B2 (en) * 2015-09-29 2020-04-14 Microsoft Technology Licensing, Llc Selecting at least one graphical user interface item
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
EP4380150A3 (en) 2015-10-08 2024-07-24 InterDigital VC Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
KR102402048B1 (ko) * 2015-10-14 2022-05-26 삼성전자주식회사 전자 장치 및 그 제어 방법
US11609427B2 (en) 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
WO2017068926A1 (ja) * 2015-10-21 2017-04-27 ソニー株式会社 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
US10049493B1 (en) * 2015-10-22 2018-08-14 Hoyt Architecture Lab, Inc System and methods for providing interaction with elements in a virtual architectural visualization
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10007339B2 (en) * 2015-11-05 2018-06-26 Oculus Vr, Llc Controllers with asymmetric tracking patterns
US20170131775A1 (en) * 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
US10061552B2 (en) * 2015-11-25 2018-08-28 International Business Machines Corporation Identifying the positioning in a multiple display grid
CN106817508B (zh) * 2015-11-30 2019-11-22 华为技术有限公司 一种同步对象确定方法、装置和系统
US10089681B2 (en) 2015-12-04 2018-10-02 Nimbus Visulization, Inc. Augmented reality commercial platform and method
US20170177077A1 (en) * 2015-12-09 2017-06-22 National Taiwan University Three-dimension interactive system and method for virtual reality
US10345594B2 (en) 2015-12-18 2019-07-09 Ostendo Technologies, Inc. Systems and methods for augmented near-eye wearable displays
US10578882B2 (en) 2015-12-28 2020-03-03 Ostendo Technologies, Inc. Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof
US10976819B2 (en) 2015-12-28 2021-04-13 Microsoft Technology Licensing, Llc Haptic feedback for non-touch surface interaction
US20170185141A1 (en) * 2015-12-29 2017-06-29 Microsoft Technology Licensing, Llc Hand tracking for interaction feedback
US10565791B2 (en) 2015-12-29 2020-02-18 Microsoft Technology Licensing, Llc Tracking rigged polygon-mesh models of articulated objects
US10186081B2 (en) 2015-12-29 2019-01-22 Microsoft Technology Licensing, Llc Tracking rigged smooth-surface models of articulated objects
KR102418003B1 (ko) * 2016-01-04 2022-07-07 삼성전자주식회사 복수의 디스플레이 장치들을 이용한 콘텐츠의 디스플레이
US10021373B2 (en) 2016-01-11 2018-07-10 Microsoft Technology Licensing, Llc Distributing video among multiple display zones
US10459597B2 (en) * 2016-02-03 2019-10-29 Salesforce.Com, Inc. System and method to navigate 3D data on mobile and desktop
CN105824593B (zh) * 2016-03-09 2018-11-13 京东方科技集团股份有限公司 拼接屏显示系统及拼接显示方法
US10115234B2 (en) * 2016-03-21 2018-10-30 Accenture Global Solutions Limited Multiplatform based experience generation
US20170285813A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Touch-Input Support for an External Touch-Capable Display Device
US9459692B1 (en) * 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker
US10353203B2 (en) 2016-04-05 2019-07-16 Ostendo Technologies, Inc. Augmented/virtual reality near-eye displays with edge imaging lens comprising a plurality of display devices
KR101671831B1 (ko) * 2016-04-11 2016-11-03 김수민 동작 인식 센서를 이용한 3차원 입력 장치
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
US10522106B2 (en) 2016-05-05 2019-12-31 Ostendo Technologies, Inc. Methods and apparatus for active transparency modulation
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
US10175781B2 (en) 2016-05-16 2019-01-08 Google Llc Interactive object with multiple electronics modules
US10168976B2 (en) * 2016-05-20 2019-01-01 International Business Machines Corporation Dynamic display arrangement
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
CN109964321A (zh) 2016-10-13 2019-07-02 六度空间有限责任公司 用于室内定位的方法和设备
US20180126268A1 (en) * 2016-11-09 2018-05-10 Zynga Inc. Interactions between one or more mobile devices and a vr/ar headset
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
CN108733211B (zh) * 2017-04-21 2020-05-22 宏达国际电子股份有限公司 追踪系统、其操作方法、控制器、及电脑可读取记录媒体
TWI637363B (zh) * 2017-07-26 2018-10-01 銘傳大學 擴增實境之人機互動系統
US11093197B2 (en) * 2017-07-31 2021-08-17 Stmicroelectronics, Inc. System and method to increase display area utilizing a plurality of discrete displays
EP3542252B1 (en) 2017-08-10 2023-08-02 Google LLC Context-sensitive hand interaction
WO2019040081A1 (en) 2017-08-25 2019-02-28 Intel Corporation CONFIGURING DISPLAY SCREEN COORDINATES
US10569172B2 (en) 2017-09-19 2020-02-25 Canon Kabushiki Kaisha System and method of configuring a virtual camera
DE102017217025A1 (de) * 2017-09-26 2019-03-28 Audi Ag Verfahren und System zum Durchführen eines virtuellen Treffens zwischen wenigstens einer ersten Person und einer zweiten Person
WO2019070886A1 (en) 2017-10-04 2019-04-11 Preemadonna Inc. SYSTEMS AND METHODS FOR ADAPTIVE NAILS PRINTING AND COLLABORATIVE BEAUTY PLATFORM HOSTING
US10849532B1 (en) * 2017-12-08 2020-12-01 Arizona Board Of Regents On Behalf Of Arizona State University Computer-vision-based clinical assessment of upper extremity function
EP3502837B1 (en) * 2017-12-21 2021-08-11 Nokia Technologies Oy Apparatus, method and computer program for controlling scrolling of content
CN107976811B (zh) * 2017-12-25 2023-12-29 河南诺控信息技术有限公司 一种基于虚拟现实混合的仿真实验室及其仿真方法
US10497179B2 (en) 2018-02-23 2019-12-03 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
KR102524586B1 (ko) * 2018-04-30 2023-04-21 삼성전자주식회사 전자 장치 및 그 동작방법
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
CN110830704B (zh) * 2018-08-07 2021-10-22 纳宝株式会社 旋转图像生成方法及其装置
CN110796116A (zh) * 2018-11-08 2020-02-14 英属开曼群岛商麦迪创科技股份有限公司 多面板显示系统、具有多面板显示系统的车辆及显示方法
US11741673B2 (en) 2018-11-30 2023-08-29 Interdigital Madison Patent Holdings, Sas Method for mirroring 3D objects to light field displays
CN109739358B (zh) * 2019-01-03 2022-05-24 京东方科技集团股份有限公司 基于裸眼3d的手势碰撞检测方法及设备
US10867402B2 (en) 2019-03-01 2020-12-15 Here Global B.V. System and method for determining distance to object on road
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
US10849179B1 (en) 2019-05-29 2020-11-24 Bank Of America Corporation Mobile network tool
US11087489B2 (en) * 2019-06-03 2021-08-10 Disney Enterprises, Inc. Systems and methods to facilitate interaction by one or more participants with content presented across multiple distinct physical locations
CN115629730A (zh) * 2019-07-23 2023-01-20 华为技术有限公司 显示方法及相关装置
US11341569B2 (en) * 2019-10-25 2022-05-24 7-Eleven, Inc. System and method for populating a virtual shopping cart based on video of a customer's shopping session at a physical store
US11090873B1 (en) * 2020-02-02 2021-08-17 Robert Edwin Douglas Optimizing analysis of a 3D printed object through integration of geo-registered virtual objects
US11120639B1 (en) 2020-04-24 2021-09-14 Microsoft Technology Licensing, Llc Projecting telemetry data to visualization models
KR20210137340A (ko) * 2020-05-08 2021-11-17 삼성디스플레이 주식회사 표시 장치
US11594192B2 (en) * 2020-05-21 2023-02-28 Dell Products, L.P. Generating multi-monitor recommendations
US11340707B2 (en) * 2020-05-29 2022-05-24 Microsoft Technology Licensing, Llc Hand gesture-based emojis
CN112083871A (zh) * 2020-09-11 2020-12-15 北京字节跳动网络技术有限公司 控制电子设备的方法、装置、终端及存储介质
WO2022074791A1 (ja) * 2020-10-08 2022-04-14 マクセル株式会社 ３次元拡張現実処理システム、３次元拡張現実処理方法、及び３次元拡張現実処理システムのユーザインターフェース装置
CN112399148B (zh) * 2020-11-11 2023-05-23 郑州捷安高科股份有限公司 基于虚拟三维场景的虚拟监控方法及装置
CN112354179B (zh) * 2020-11-23 2023-09-05 浙江中控信息产业股份有限公司 一种三维地理信息内容的显示与交互方法
JP7287379B2 (ja) * 2020-12-10 2023-06-06 セイコーエプソン株式会社 表示方法、検出装置、および、プログラム
US11550404B2 (en) * 2021-05-14 2023-01-10 Microsoft Technology Licensing, Llc Tilt-responsive techniques for sharing content
US11468546B1 (en) 2021-11-29 2022-10-11 Unity Technologies Sf Increasing dynamic range of a virtual production display
US20240061546A1 (en) * 2022-08-19 2024-02-22 Mobeus Industries, Inc. Implementing contactless interactions with displayed digital content
US20230021589A1 (en) * 2022-09-30 2023-01-26 Intel Corporation Determining external display orientation using ultrasound time of flight

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992021117A1 (en) * 1991-05-23 1992-11-26 Atari Games Corporation Modular display simulator
US5764871A (en) * 1993-10-21 1998-06-09 Eastman Kodak Company Method and apparatus for constructing intermediate images for a depth image from stereo images using velocity vector fields
US5956046A (en) * 1997-12-17 1999-09-21 Sun Microsystems, Inc. Scene synchronization of multiple computer displays
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
JP2001091218A (ja) 1999-09-14 2001-04-06 Mitsubishi Electric Inf Technol Center America Inc ３次元運動検知装置及び３次元運動検知方法
US7091926B2 (en) * 2002-02-08 2006-08-15 Kulas Charles J Computer display system using multiple screens
JP3880561B2 (ja) * 2002-09-05 2007-02-14 株式会社ソニー・コンピュータエンタテインメント 表示システム
BRPI0417656A (pt) * 2003-12-19 2007-04-03 Speechgear Inc método, meio legìvel por computador, e, sistema
IL161002A0 (en) * 2004-03-22 2004-08-31 Itay Katz Virtual video keyboard system
US20060020562A1 (en) * 2004-07-21 2006-01-26 University Of Southern Mississippi Apparatus and method for estimating optical flow
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
JP2006208566A (ja) 2005-01-26 2006-08-10 Nec Corp 液晶表示装置、移動体通信端末装置及び液晶表示方法
WO2006084385A1 (en) * 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
KR101229283B1 (ko) 2005-09-15 2013-02-15 올레그 스탄니슬라보비치 루린 가상 3차원 객체들의 시각화를 위한 방법 및 시스템
US20070091037A1 (en) * 2005-10-21 2007-04-26 Yee-Chun Lee Energy Efficient Compact Display For Mobile Device
KR100722229B1 (ko) * 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
US8855848B2 (en) * 2007-06-05 2014-10-07 GM Global Technology Operations LLC Radar, lidar and camera enhanced methods for vehicle dynamics estimation
KR20090011316A (ko) 2007-07-25 2009-02-02 중앙대학교 산학협력단 능동형 입체디스플레이 장치 및 운용방법
DE602007012270D1 (de) * 2007-11-16 2011-03-10 Honda Res Inst Europe Gmbh Verfahren und Vorrichtung zur kontinuierlichen Objekt-Hintergrund-Segmentierung in Bildern aus dynamischen Sichtszenen
US20090219224A1 (en) * 2008-02-28 2009-09-03 Johannes Elg Head tracking for enhanced 3d experience using face detection
US8269842B2 (en) 2008-06-11 2012-09-18 Nokia Corporation Camera gestures for user interface control
CA2734987A1 (en) * 2008-08-22 2010-02-25 Google Inc. Navigation in a three dimensional environment on a mobile device
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US20100058205A1 (en) * 2008-09-04 2010-03-04 Motorola, Inc. Reconfigurable multiple-screen display
US8803816B2 (en) * 2008-09-08 2014-08-12 Qualcomm Incorporated Multi-fold mobile device with configurable interface
JP5504645B2 (ja) * 2009-02-20 2014-05-28 パナソニック株式会社 樹脂塗布装置および樹脂塗布用データ作成装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9952668B2 (en) 2010-04-14 2018-04-24 Samsung Electronics Co., Ltd. Method and apparatus for processing virtual world
KR20110114979A (ko) * 2010-04-14 2011-10-20 삼성전자주식회사 가상 세계 처리 장치 및 방법
KR101488121B1 (ko) * 2010-10-21 2015-01-29 노키아 코포레이션 표시된 정보를 제어하기 위한 사용자 입력 장치 및 방법
US9043732B2 (en) 2010-10-21 2015-05-26 Nokia Corporation Apparatus and method for user input for controlling displayed information
KR101303994B1 (ko) * 2010-11-24 2013-09-04 한국전자통신연구원 가상 현실 기반 훈련 가이드 시스템 및 그 방법
WO2013009062A3 (ko) * 2011-07-08 2013-04-11 (주) 미디어인터랙티브 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US9298267B2 (en) 2011-07-08 2016-03-29 Media Interactive Inc. Method and terminal device for controlling content by sensing head gesture and hand gesture, and computer-readable recording medium
WO2013009062A2 (ko) * 2011-07-08 2013-01-17 (주) 미디어인터랙티브 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
KR101310498B1 (ko) * 2012-03-06 2013-10-10 서울대학교산학협력단 3차원 영상 표시 장치 및 그 방법
US10120526B2 (en) 2012-12-20 2018-11-06 Samsung Electronics Co., Ltd. Volumetric image display device and method of providing user interface using visual indicator
KR20170002979A (ko) 2015-06-30 2017-01-09 인천대학교 산학협력단 손 동작 상호작용 시스템 및 방법
WO2017086508A1 (ko) * 2015-11-19 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10776618B2 (en) 2015-11-19 2020-09-15 Lg Electronics Inc. Mobile terminal and control method therefor
KR20180136132A (ko) * 2017-06-14 2018-12-24 (주)이더블유비엠 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법
US11514650B2 (en) 2019-12-03 2022-11-29 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof

Also Published As

Publication number Publication date
US20100053324A1 (en) 2010-03-04
US8310537B2 (en) 2012-11-13
US20100053164A1 (en) 2010-03-04
US8253795B2 (en) 2012-08-28
WO2010027193A2 (en) 2010-03-11
US20100134618A1 (en) 2010-06-03
US8456524B2 (en) 2013-06-04
US8253649B2 (en) 2012-08-28
US20100053322A1 (en) 2010-03-04
KR20110082636A (ko) 2011-07-20
KR101637990B1 (ko) 2016-07-11
WO2010027193A3 (en) 2012-06-21
US20100053151A1 (en) 2010-03-04

Similar Documents

Publication Publication Date Title
KR20100027976A (ko) 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션
US20230325004A1 (en) Method of interacting with objects in an environment
KR101608423B1 (ko) 모바일 디바이스상의 풀 3d 상호작용
US11714540B2 (en) Remote touch detection enabled by peripheral device
KR20140142337A (ko) 증강 현실 광 가이드 디스플레이
KR20140082760A (ko) 전-공간적 제스쳐 입력
US20230092282A1 (en) Methods for moving objects in a three-dimensional environment
US11675198B2 (en) Eyewear including virtual scene with 3D frames
US11803233B2 (en) IMU for touch detection
US11768576B2 (en) Displaying representations of environments
CN117916777A (zh) 手工制作的增强现实努力证据
US11620790B2 (en) Generating a 3D model of a fingertip for visual touch detection
US20240062489A1 (en) Indicating a Position of an Occluded Physical Object
US11782548B1 (en) Speed adapted touch detection
US11641460B1 (en) Generating a volumetric representation of a capture region
US20230042447A1 (en) Method and Device for Managing Interactions Directed to a User Interface with a Physical Object
WO2024155767A1 (en) Devices, methods, and graphical user interfaces for using a cursor to interact with three-dimensional environments
KR20240025593A (ko) 객체에 대한 동작 양식을 동적으로 선택하기 위한 방법 및 디바이스
CN117940877A (zh) 增强现实道具交互
CN117940964A (zh) 手工制作的增强现实体验

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application