KR101608423B1

KR101608423B1 - 모바일 디바이스상의 풀 3d 상호작용

Info

Publication number: KR101608423B1
Application number: KR1020147017681A
Authority: KR
Inventors: 레니트라 엠 더햄; 데이비드 더햄; 산기타 샤르마
Original assignee: 인텔 코포레이션
Priority date: 2011-12-27
Filing date: 2011-12-27
Publication date: 2016-04-01
Also published as: JP6404120B2; KR20140100547A; CN104094193B; JP2015506033A; TW201342135A; TWI493388B; EP2798440A4; WO2013100900A1; US20140245230A1; EP2798440A1; US9335888B2; CN104094193A

Abstract

모바일 디바이스의 스크린을 통해 3-차원 환경을 디스플레이하고, 모바일 디바이스의 뒤편의 영역과의 사용자 상호작용을 식별하기 위한 시스템 및 방법이 제공될 수 있다. 또한, 3D 환경은 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 조정될 수 있다. 더욱이, 3D 환경은 모바일 디바이스의 움직임 및 모바일 디바이스와의 사용자 상호작용에 기초하여 조정될 수 있으며, 사용자는 모바일 디바이스/휴대 기기를 움직임으로써 가상의 3D 환경을 통해 네비게이팅할 수 있다.

Description

모바일 디바이스상의 풀 3D 상호작용{FULL 3D INTERACTION ON MOBILE DEVICES}

실시예는 전반적으로 모바일 디바이스 상호작용성(interactivity)에 관한 것이다. 보다 상세하게, 실시예는 모바일 디바이스의 상호작용성을 향상시키기 위해 3차원(3D) 환경을 이용하는 것에 관한 것이다.

통상의 스마트 폰들은 스크린 상에 디스플레이되는 콘텐츠에 비해 작은 스크린(디스플레이)을 가질 수 있다. 예를 들면, 전형적인 데스크탑 환경은 여러 윈도우를 포함할 수 있는데, 이것은 전형적인 스마트 폰에서는 보기 어려운 것일 수 있다. 상대적으로 작은 스크린 크기를 위한 공간을 제공하기 위하여 몇 가지 해결책이 개발되었지만, 상당한 개선의 여지가 남아있다. 예를 들면, 디스플레이된 이미지들을 가로질러 패닝(panning)하는 통상의 기술은 사용자 측에서 손가락을 "스와이프(swipe)"하는 것을 필요로 하며, 이때 사용자의 손가락은 스크린 상의 콘텐츠를 가릴 수 있다. 유사하게, 이미지를 줌 확대 및 줌 축소하려면 이 역시 콘텐츠의 적어도 일부분을 사용자에게 보이지 않게 하는 손가락 "핀치(pinches)"를 필요로 할 수 있다.

본 발명의 실시예의 여러 가지 장점은 이하의 명세서와 첨부된 청구범위를 읽고 이하의 도면을 참조함으로써 통상의 지식을 가진 자들에게 자명해질 것이다.
도 1은 실시예에 따른 모바일 디바이스의 스크린을 통해 디스플레이되는 3차원(3D) 가상 데스크탑의 일예의 사시도이다.
도 2는 실시예에 따른 모바일 디바이스의 스크린을 통해 디스플레이되는 대안의 3D 가상 환경의 일예의 사시도이다.
도 3은 사용자가 실시예에 따른 모바일 디바이스와 상호작용할 수 있게 해주는 3D 가상 환경을 이용하는 방법의 일예의 흐름도이다.
도 4는 실시예에 따른 모바일 디바이스의 일예의 블록도이다.

실시예는 스크린 및 그 스크린을 통해 3차원(3D) 환경을 디스플레이하는 로직을 갖는 모바일 디바이스를 포함할 수 있다. 로직은 또한 모바일 디바이스 뒤편의 영역과의 제 1 사용자 상호작용을 식별하고, 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 3D 환경을 조정할 수 있다.

실시예는 또한 모바일 디바이스의 스크린을 통해 3D 환경을 디스플레이하고, 모바일 디바이스 뒤편의 구역과의 제 1 사용자 상호작용을 식별하는 로직을 갖는 장치를 포함할 수 있다. 로직은 또한 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 3D 환경을 조정하도록 구성될 수 있다.

또한, 실시예는 일련의 명령어를 갖는 비일시적(non-transitory) 컴퓨터 판독가능 저장 매체를 포함할 수 있으며, 일련의 명령어는, 프로세서에 의해 실행되는 경우, 모바일 디바이스로 하여금, 모바일 디바이스의 스크린을 통해 3D 환경을 디스플레이하게 하고 모바일 디바이스의 뒤편 영역과의 제 1 사용자 상호작용을 식별하게 한다. 이 명령어는 또한 모바일 디바이스가 적어도 부분적으로 제 1 사용자 상호작용에 기초하여 3D 환경을 조정(modify)하게 할 수 있다.

다른 실시예는 모바일 디바이스의 스크린을 통해 3D 환경이 디스플레이되는 컴퓨터 구현 방법을 포함할 수 있다. 이 방법은 또한 모바일 디바이스의 뒤편의 영역과의 제 1 사용자 상호작용을 식별하고 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 3D 환경을 조정하는 단계를 제공할 수 있다.

이제 도 1을 참조하며, 모바일 디바이스(10)가 도시되며, 이 모바일 디바이스(10)는 사용자(14)가 시청할 수 있는 스크린(12)(예를 들면, 액정 디스플레이/LCD, 터치 스크린, 스테레오스코픽 디스플레이 등)을 갖는다. 모바일 디바이스(10)는, 예를 들면, 스마트 폰, 모바일 인터넷 기기(MID), 노트북 컴퓨터, 또는 스크린(12)의 크기가 비교적 작은 기타 유사 디바이스를 포함할 수 있다. 도시된 예에서, 3D 환경(16)은 모바일 디바이스(10)의 정면에서 보았을 때 스크린(12) 상에서 모바일 디바이스(10)의 뒤편에 약간의 거리를 두고 배치되는 것처럼 보이도록 디스플레이된다. 3D 환경(16)은, 예를 들면, 스크린(12)보다 훨씬 더 큰 복수개의 윈도우(18)(18a, 18b)가 나타나는 가상 데스크탑 환경을 포함할 수 있다. 윈도우(18)의 위치는 "공중에 떠서(in-air)" (예를 들면, 떠있는(floating)) 있거나 물리적인 데스크탑, 벽 등과 같이 모바일 디바이스(10)의 뒤편의 일부 외부 표면에 "고정되어(pinned)" 있을 수도 있다.

일반적으로, 사용자(14)는 모바일 디바이스(10)를 한 손에 들고 다른 "자유 손(free hand)"(20)을 사용하여 3D 환경(16)과 상호작용할 수 있다. 3D 환경(16)과의 사용자 상호작용은, 예를 들면, 커서 이동 동작, 클릭 동작, 드래그 및 드롭 동작, 핀치 동작, 선택 동작, 및 객체 회전 동작 등과 관련한 행위를 포함할 수 있으며, 이 때 이 동작들을 처리하는 모드는 환경에 따라 변할 수 있다. 예를 들면, 만일 3D 환경(16)이 물리적 데스크탑과 같은 외부 표면에 고정되어 있으면, 사용자(14)는 외부 표면을 자유 손(20)의 집게 (또는 다른) 손가락으로 탭핑함(tapping)으로서 윈도우(18)를 선택할 수 있다. 그러한 경우에, 모바일 디바이스(10)는 탭핑(예를 들면, 사용자 상호작용)을 검출하고 3D 환경(16)에서 적절한 클릭 및/또는 선택 동작을 수행하는 리어 이미지 센서(rear image sensor) 및/또는 마이크로폰(도시되지 않음)을 포함할 수 있다. 예를 들면, 리어 이미지 센서는 각종 손의 형상 및/또는 탭핑 상호작용에 대응하는 움직임을 식별하는 패턴/객체 인식 기술을 사용할 수 있다. 유사하게, 마이크로폰은 탭핑 상호작용에 대응하는 사운드 주파수 성분(sound frequency content)을 식별할 수 있다. 드래그 및 드롭 움직임 및 핀치 움직임과 같은 다른 사용자 상호작용 또한 리어 이미지 센서 및/또는 마이크로폰을 이용하여 식별될 수 있다.

그래서, 만일 도시된 윈도우(18b)가 현재 (환경의 맨 앞에 있는) 활성 창이고 자유 손(20)의 집게 손가락이 다른 윈도우(18a)에 해당하는 위치에서 외부 표면을 탭 한다면, 모바일 디바이스(10)는 다른 윈도우(18a)를 활성 창으로 만드는 것으로(예를 들면, 이 창을 환경의 맨 앞으로 이동시키는 것으로) 응답할 수 있다. 특별히 주목할 것은 그러한 접근법은 외부 표면이 사용자(14)에게 촉각 피드백을 제공할 수 있게 해준다는 것이다. 더 상세히 설명되는 바와 같이, 만일 3D 환경(16)이 공중에 떠 있는(예를 들면, 외부 표면에 고정되어 있지 않은) 환경이면, 사용자 상호작용을 검출함에 응답하여 자유 손(20)에 미량의 공기(a puff of air)를 불어넣도록 구성된 디바이스 상의 에어 노즐과 같은 다른 하나의 컴포넌트에 의해 촉각 피드백이 제공될 수 있다.

사용자(14)는 또한 자유 손(20)의 집게 손가락을 원하는 위치로 이동하여 모바일 디바이스(10)을 잡고 있는 손을 사용하여 모바일 디바이스(10)의 사용자 인터페이스(UI), 예를 들면, 3D 환경(16)에서 한 가지 이상의 동작을 트리거하는 버튼(22)과 상호작용하게 할 수도 있다. 따라서, 버튼(22)은 효과적으로 마우스의 좌 및/또는 우 클릭 버튼으로서 기능할 수 있고, 이 때 사용자(14)의 자유 손(20)은 마우스의 좌표 설정 메커니즘으로서 기능할 수 있다. 예를 들면, 버튼(22)은 윈도우(18)을 클릭하기 위해, 아니면 선택하기 위해 외부 표면을 탭핑하는 것의 대안으로서 사용될 수 있다. 그러므로, 사용자(14)는 간단히 자유 손(20)을 움직여 3D 환경(16) 내 원하는 위치를 지시할 수 있으며 다른 손을 이용하여 버튼(22)을 눌러 클릭/선택 동작을 개시할 수 있다. 또한, 버튼(22)은 드래그 및 드롭 또는 핀치 동작과 같이 더 복잡한 동작을 처리하기 위해 사용될 수 있다.

이미 언급한 바와 같이, 대안으로 3D 환경(16)은 특정 외부 표면에 고정되어 있지 않은 공중에 떠 있는 환경으로서 구현될 수 있다. 그러한 경우, 자유 손(20)의 움직임은 윈도우(18) 및 3D 환경(16) 내 타 객체에 대응하는 공중에 떠 있는 위치에 관련하여 이루어질 수 있다. 모바일 디바이스(10)는 또한 3D 환경(16)과의 사용자 상호작용에 응답하여 촉각 피드백을 제공하는 에어 노즐(도시되지 않음)을 갖추고 있을 수 있다.

도시된 모바일 디바이스(10)는 또한 패닝 및 줌 동작에 고유한 접근법을 구현가능하게 해줄 수 있다. 특히, 사용자(14)는 간단하게 자유 손(20)을 화면의 에지 쪽의 원하는 방향으로 이동함으로써 3D 환경(16)을 가로질러 패닝(예를 들면, 좌, 우, 위, 아래 방향 스크롤) 동작을 수행할 수 있으며, 이때 리어 이미지 센서는 자유 손(20)의 움직임을 검출할 수 있다. 패닝의 다른 접근법은 사용자(14)가 모바일 디바이스(10)를 관심 방향으로 틸트/이동하는 것일 수 있으며, 이 때 모바일 디바이스(10)는 모바일 디바이스(10)의 움직임을 패닝 동작으로 변환하기 위해 리어 이미지 센서와 함께 작용할 수 있는 움직임 센서 및/또는 프론트 이미지 센서(front image sensor)(도시되지 않음)를 또한 갖추고 있을 수 있다. 어느 접근법이든 스크린(12)을 통해 디스플레이되는 가상 환경이 스크린(12) 보다 더 크게 보이게 해줄 수 있다.

더욱이, 움직임 센서 및/또는 프론트 이미지 센서는 모바일 디바이스(10)의 움직임을 줌 동작으로 변환하기 위하여 리어 이미지 센서와 함께 동작할 수 있다. 특히, 프론트 이미지 센서는 모바일 디바이스(10)와 사용자(14)의 얼굴 사이의 거리를 결정할 수 있고, 리어 이미지 센서는 모바일 디바이스(10)와 사용자(14)의 자유 손(20) 및/또는 외부 표면과의 사이의 거리를 결정할 수 있는데, 이 때 이들 거리의 변동은 줌 동작으로 변환될 수 있다. 그래서, 사용자(14)는 모바일 디바이스(10)를 사용자(14)의 얼굴에서 멀리 3D 환경 내 관심 영역을 향해 이동함으로써 3D 환경(16)의 특정 구역을 (예를 들면, 확대경 처럼) 줌 확대할 수 있다. 유사하게, 사용자(14)는 모바일 디바이스를 사용자(14)의 얼굴을 향해 해당 구역에서 멀리 이동함으로써 3D 환경(16)의 특정 구역을 줌 축소할 수 있다. 이렇게 줌 동작을 처리하는 접근법은 또한 비교적 큰 가상 환경이 스크린(12)을 통해 디스플레이되게 해줄 수 있다. 더욱이, 모바일 디바이스(10)의 뒤편에서 일어나는 사용자 상호작용에 의한 3D 환경 조정을 토대로 하여, 예시된 접근 방법은 사용자 상호작용 중에 자유 손(20)의 손가락들이 디스플레이된 콘텐츠를 가리는 모든 우려를 없애준다.

도 2는 하나 이상의 3D 객체(26)(26a-26f)가 모바일 디바이스(10)의 스크린(12)을 통해 디스플레이되는 3D 환경(24)을 도시한다. 도시된 예에서, 사용자의 자유 손(20)은 모바일 디바이스(10) 뒤편의 영역과 상호작용함으로써 객체(26)를 선택하고, 회전시키고 아니면 조작할 수 있다. 게임 환경, 워크플로우 환경 등과 같은 각종 가상 환경이 도시된 방식대로 표현되고 조정될 수 있다.

이제 도 3을 참조하면, 3D 환경을 이용하여 사용자가 모바일 디바이스와 상호작용하게 해줄 수 있는 방법(30)이 도시된다. 방법(30)은 모바일 플랫폼(10)(도 1 및 도 2)과 같은 모바일 디바이스에서, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 프로그래머블 ROM(PROM), 펌웨어, 플래시 메모리 등과 같은 머신- 또는 컴퓨터-판독가능 저장 매체에, 예를 들면, 프로그래머블 로직 어레이(PLAs), 필드 프로그래머블 게이트 어레이(FPGAs), 복합 프로그래머블 로직 디바이스(CPLDs)와 같은 구성가능한 로직에, 예를 들면, 주문형 집적회로(ASIC), 상보형 금속 산화물 반도체(CMOS) 또는 트랜지스터-트랜지스터 로직(TTL) 기술과 같은 회로 기술을 이용한 고정-기능성 로직 하드웨어(fixed-functionality logic hardware)에, 또는 이들의 모든 조합에 저장된 일련의 로직 명령어으로서 구현될 수 있다. 예를 들면, 방법(30)에 도시된 동작을 수행하는 컴퓨터 프로그램 코드는 자바, 스몰토크(Smalltalk), 또는 C++ 등과 같은 객체 지향 프로그래밍 언어 및 "C" 프로그래밍 언어나 유사 프로그래밍 언어와 같은 통상의 절차 프로그래밍 언어를 포함하여, 하나 이상의 프로그래밍 언어의 어떠한 조합으로도 작성될 수 있다.

일반적으로, 방법(30)의 디바이스 부분(32)은 디바이스 움직임에 기초하여 3D 환경을 표현하고 조정하는 과정을 포함할 수 있으며, 방법(30)의 상호작용 부분(34)은 사용자 상호작용에 기초하여 3D 환경을 표현하고 조정하는 과정을 포함할 수 있다. 도시된 처리 블록(36)은 프레임 버퍼 데이터를 획득하기 위해 제공되며, 여기서 프레임 버퍼 데이터는 모바일 디바이스(10)의 스크린을 통해 3D 환경의 하나 이상의 이미지/비디오 프레임을 렌더링하는데 사용된 픽셀 데이터와 연관될 수 있다. 외부 표면의 위치 및 방향은 블록(38)에서 결정될 수 있다. 대안으로, 가상 환경은 블록(38)에서의 결정이 바이패스될 수 있는 공중에 떠 있는 위치에서 렌더링될 수 있다.

블록(40)은 외부 표면의 방향과 일치하도록 프레임 버퍼 데이터의 원근감(perspective)과 위치를 조정하기 위해 제공될 수 있다. 그래서, 예를 들어, 만일 외부 표면이 사용자에 대해 어떤 각도(예를 들면, 45°)에 위치한 물리적 데스크탑이라면, 프레임 버퍼 데이터도 또한 동일한/유사한 각도로 기울여질 수 있다. 모바일 디바이스의 움직임 및/또는 방향 전환(re-orientation)은 블록(42)에서 검출될 수 있으며, 이 때 움직임의 검출은 이미 설명한 바와 같이 모바일 디바이스의 움직임 센서, 리어 이미지 센서, 프론트 이미지 센서 등에서 발생한 하나 이상의 신호를 이용하여 성취될 수 있다. 도시된 블록(44)은 디바이스의 움직임/방향 전환에 기초하여 프레임 버퍼를 업데이트한다. 따라서, 업데이트는 좌/우 패닝, 줌 확대/축소, 및 외부 표면의 방향 등에 대해 적당한 원근감을 유지하기 등을 포함할 수 있다.

방법(30)의 상호작용 부분(34)에서, 블록(46)은 (예를 들면, 공중에 떠 있는, 디바이스 상에서, 외부 표면 상에서) 손/손가락 위치를 검출하기 위해 제공될 수 있으며, 이때 커서 움직임 동작은 블록(48)에서 손/손가락 위치에 기초하여 처리될 수 있다. 또한, 블록(50)에서, 리어 이미지 센서 마이크로폰 및/또는 모바일 디바이스 (예를 들면, UI, 버튼 등)로부터의 하나 이상의 신호는 사용자 측의 하나 이상의 손가락 제스처를 식별하는데 사용될 수 있다. 만일 블록(52)에서 어떤 제스처가 검출되었다고 판단되면, 도시된 블록(54)은 3D 환경에서 적절한 행동을 수행한다. 그래서, 블록(54)은 클릭 동작, 드래그 및 드롭 동작, 핀치 동작, 선택 동작, 및 객체 회전 동작 등을 처리하는 과정을 포함할 수 있다. 블록(56)은 가상 환경 상호작용 프로세스를 끝내는 요청이 있었는지 판단하기 위해 제공된다. 만일 아무런 끝내는 요청이 없었다거나 아무 제스처도 검출되지 않았으면, 도시된 방법(30)은 디바이스의 움직임 및 손의 움직임을 추적하기 위해 반복하고, 그에 따라 3D 환경을 업데이트한다.

도 4는 모바일 디바이스(60)를 도시한다. 모바일 디바이스(60)는 컴퓨팅 기능(예를 들면, 개인 휴대 정보 단말기/PDA, 랩탑, 스마트 태블릿), 통신 기능(예를 들면, 무선 스마트 폰), 이미징 기능, 미디어 재생 기능(예를 들면, 스마트 텔레비전/TV), 또는 이들의 모든 조합(예를 들면, 모바일 인터넷 기기/MID)을 가진 플랫폼의 일부분일 수 있다. 모바일 디바이스(60)는 모바일 디바이스(10) (도 1 및 도 2)로 쉽게 대체될 수 있다. 도시된 예에서, 디바이스(60)는 통합된 메모리 컨트롤러(integrated memory controller (IMC))(64)를 갖는 프로세서(62)를 포함하며, 이 프로세서는 시스템 메모리(66)와 통신할 수 있다. 시스템 메모리(66)는, 예를 들면, 듀얼 인라인 메모리 모듈(DIMMs), 스몰 아웃라인 DIMMs(SODIMMs) 등과 같이 하나 이상의 메모리 모듈로서 구성된, 예를 들면, 다이나믹 랜덤 액세스 메모리(DRAM)을 포함할 수 있다.

도시된 디바이스(60)는 또한 때로는 칩셋의 사우스브릿지(southbridge)라고 불리기도 하고, 호스트 디바이스로서 기능하며, 예를 들면, 프론트 이미지 센서(70), 리어 이미지 센서(72), 에어 노즐(74), 마이크로폰(76), 스크린(78), 움직임 센서(79), 및 대용량 스토리지(80)(예를 들면, 하드 디스크 드라이브/HDD, 광 디스크, 플래시 메모리 등)과 통신할 수 있는 플랫폼 컨트롤러 허브(platform controller hub (PCH)(68)를 포함한다. 3D 환경을 스크린(78)을 통해 디스플레이하고, 모바일 디바이스(60)의 뒤편의 영역과의 사용자 상호작용을 식별하며, 사용자 상호작용에 적어도 부분적으로 기초하여 3D 환경을 조정하도록 구성된 로직(82)을 도시된 프로세서(62)가 실행할 수 있다. 3D 환경은 또한 모바일 디바이스(60)의 움직임에 기초하여 조정될 수 있으며, 이 때 프론트 이미지 센서(70), 리어 이미지 센서(72), 마이크로폰(76) 및/또는 움직임 센서(79)로부터의 하나 이상의 신호는 사용자 상호작용 및/또는 모바일 디바이스 움직임을 식별하는데 사용될 수 있다. 또한, 모바일 디바이스(60)와의 사용자 상호작용은, 이미 설명한 바와 같이, 스크린(78)(예를 들면, 터치 스크린)을 통해 구현된 UI 또는 버튼(20)(도 1)과 같은 다른 적절한 인터페이스로부터의 하나 이상의 신호에 기초하여 식별될 수 있다. 더욱이, 로직(82)은 사용자 상호작용에 응답하여 노즐(74)을 사용하여 촉각 피드백을 사용자에게 제공할 수 있다.

그러므로, 본 출원에서 기술된 기술은 스마트 폰과 같은 소형 폼 팩터의 모바일 디바이스를 이용하여 전체 데스크탑 컴퓨터 경험을 가능하게 해줄 수 있다. 3D 디스플레이 기술 및/또는 3D 렌더링 메커니즘을 이용함으로써, 사용자가 그의 화면을 보고, 디바이스의 스크린의 위, 뒤, 아래 및 옆 공간과 상호작용하면서, 모바일 디바이스를 통해 상호작용하게 해줄 수 있는 것이 가능하다. 게다가, 스크린은 그 스크린을 직접 바라보는 개인에게만 보일 수 있으므로, 사용자 상호작용에 대해 (랩탑 디스플레이 용도로 설계될 수 있는 프라이버시 필터처럼) 프라이버시를 향상시킬 수 있다.

본 발명의 실시예는 모든 형태의 반도체 집적 회로("IC") 칩과 함께 사용하는데 적용가능하다. 이들 IC 칩의 예는 프로세서, 컨트롤러, 칩셋 컴포넌트, 프로그래머블 로직 어레이(PLAs), 메모리 칩, 네트워크 칩, 시스템 온 칩(SoCs), 및 SSD/NAND 컨트롤러 ASIC 등을 포함하지만, 이것으로 제한되지 않는다. 그 밖에, 도면의 일부에서, 신호 전송 도체 선들(signal conductor lines)은 선으로 표시된다. 일부는 더 많은 구성 신호 경로를 표시하도록 상이할 수 있고, 복수개의 구성 신호 경로를 표시하기 위해 번호 라벨을 가지고 있을 수 있으며, 및/또는 기본적인 정보 흐름 방향을 표시하기 위해 한 곳 이상의 끝 부분에 화살표를 가질 수 있다. 그러나, 이것은 제한하는 방식으로 해석되지 않아야 한다. 오히려, 그렇게 추가되는 세부사항은 회로의 더 쉬운 이해를 도모하기 위해 하나 이상의 예시적인 실시예와 함께 사용될 수 있다. 임의로 표시된 신호 선들은 부가적인 정보를 가지고 있던 그렇지 않던 간에 복수의 방향으로 진행할 수 있는 하나 이상의 신호를 실제로 포함할 수 있으며 임의의 적절한 형태의 신호 방식, 예를 들면, 차동 쌍으로 구현된 디지털 또는 아날로그 라인, 광섬유 라인, 및/또는 싱글-엔디드 라인(single-ended lines)으로 구현될 수 있다.

예시적인 크기/모델/값/범위가 제시되었는데, 본 발명의 실시예가 그와 동일한 것으로 제한되는 것을 아니다. 제조 기술(예를 들면, 포토리소그래피)은 시간이 지남에 따라 발달하므로, 더 작은 크기의 디바이스들이 제조될 수 있다고 예상된다. 게다가, IC 칩 및 다른 컴포넌트와의 널리 공지된 전력/접지 접속부는 묘사와 설명의 간략성을 기하기 위해 그리고 본 발명의 실시예의 특정 양태를 방해하지 않기 위해 도면에 도시될 수도 또는 도시되지 않을 수도 있다. 또한, 본 발명의 실시예를 모호하게 하는 것을 피하기 위해, 그리고 그러한 블록도 구성의 구현에 대하여 세부사항은 전적으로 그 실시예가 구현되는 플랫폼에 달려 있다는 사실로 보아서도, 즉, 그러한 세부사항이 당연히 본 기술에서 통상의 지식을 가진 자의 범위 내에 있어야 한다는 사실로 보아서도, 구성은 블록도 형태로 도시될 수 있다. 특정한 세부사항(예를 들면, 회로)이 본 발명의 예시적인 실시예들을 기술하기 위해 설명되는 경우, 본 기술에서 통상의 지식을 가진 자에게는 본 발명의 실시예가 이러한 특정 세부사항 없이 또는 특정 세부사항을 변경하여 실시될 수 있다는 것은 자명한 것이다. 그래서 상세한 설명은 한정적인 것이 아니라 예시적인 것으로 간주될 것이다.

본 출원에서 "결합된"이라는 용어는 해당 컴포넌트들 간의 직접적 또는 간접적인 모든 형태의 관계를 언급하는데 사용될 수 있으며, 전기적, 기계적, 유동적, 광학적, 전자기적, 전자기계적 또는 기타의 접속에 적용할 수 있다. 또한, "제1", "제2" 등의 용어는 본 출원에서 설명을 용이하게 하기 위해서만 사용되며, 달리 지적하지 않는 한 특별한 시간적 또는 연대적인 중요성을 담고 있지는 않다.

본 기술에서 통상의 지식을 가진 자들이라면 전술한 설명으로부터 본 발명의 실시예의 광범위한 기술은 각종 형태로 구현될 수 있음을 인식할 것이다. 그러므로, 본 발명의 실시예가 그의 특정한 예와 관련하여 기술되었지만, 도면, 명세서, 및 하기 청구범위의 학습을 통한 다른 변형도 당업자에게는 당연한 것인 바 본 발명의 실시예의 진정한 범주가 실시예로 한정되는 것은 아니라고 할 것이다.

Claims

모바일 디바이스로서,
스크린과,
센서와,
로직을 포함하되,
상기 로직은,
상기 스크린을 통해 3-차원 (3D) 환경을 디스플레이하고,
상기 3D 환경 내의 가상 객체(a virtual object) 및 관심 영역(a region of interest) 중 하나 이상에 관한 선택을 포함하는 상기 모바일 디바이스의 뒤편의 영역과의 제 1 사용자 상호작용을 식별하고,
상기 센서로부터의 하나 이상의 신호를 이용하여 상기 선택에 응답하여 상기 모바일 디바이스에 대응하는 움직임을 식별하고,
상기 선택에 응답하여 상기 모바일 디바이스에 대응하는 움직임 및 상기 선택을 포함하는 상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정(modify)하는
모바일 디바이스.
제 1 항에 있어서,
상기 제 1 사용자 상호작용은, 상기 3D 환경이 공중에 떠 있는(in-air) 환경일 때 상기 가상 객체 및 상기 관심 영역 중 하나 이상과 연관된 공중에 떠 있는 위치 및 상기 3D 환경이 외부 표면에 고정되어(pinned) 있을 때 상기 가상 객체 및 상기 관심 영역 중 하나 이상과 연관된 상기 외부 표면 중 적어도 하나를 터치하는 손의 움직임을 포함하는
모바일 디바이스
제 1 항에 있어서,
에어 노즐을 더 포함하되, 상기 제 1 사용자 상호작용이 공중에 떠 있는 위치에 관련한 손의 움직임이면 상기 로직은 상기 에어 노즐을 사용하여 촉각 피드백을 제공하는
모바일 디바이스.
제 1 항에 있어서,
리어 이미지 센서(a rear image sensor)를 더 포함하되, 상기 로직은 상기 리어 이미지 센서로부터의 하나 이상의 신호를 이용하여 상기 제 1 사용자 상호작용을 식별하는
모바일 디바이스.
제 1 항에 있어서,
마이크로폰을 더 포함하되, 상기 로직은 상기 마이크로폰으로부터의 하나 이상의 신호를 이용하여 상기 제 1 사용자 상호작용을 식별하는
모바일 디바이스.
제 1 항에 있어서,
상기 로직은 커서 움직임 동작, 클릭 동작, 드래그 및 드롭 동작, 핀치 동작, 선택 동작 및 객체 회전 동작 중 하나 이상을 수행하여 상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정하는
모바일 디바이스.
제 1 항에 있어서,
상기 센서는 움직임 센서(a motion sensor) 및 프론트 이미지 센서(front image sensor) 중 하나 이상을 포함하고,
상기 로직은,
상기 움직임 센서 및 상기 프론트 이미지 센서 중 적어도 하나로부터의 하나 이상의 신호를 이용하여 상기 선택에 응답하여 상기 모바일 디바이스의 움직임을 식별하고,
상기 선택에 응답하여 상기 모바일 디바이스의 움직임 및 상기 선택을 포함하는 상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정하는
모바일 디바이스.
제 7 항에 있어서,
상기 로직은,
상기 움직임 센서로부터의 하나 이상의 신호를 이용하여, 패닝(pan)하기 위한 상기 가상 객체 및 상기 관심 영역 중 하나 이상에 대한 상기 모바일 디바이스의 틸트(tilt) 및 줌(zoom)을 위한 상기 가상 객체 및 상기 관심 영역 중 하나 이상에 대한 거리의 변동을 포함하는 상기 모바일 디바이스의 움직임을 식별하고,
상기 프론트 이미지 센서로부터의 하나 이상의 신호를 이용하여, 패닝하는 상기 스크린을 통해 보는 사용자에 대한 상기 모바일 디바이스의 틸트 및 줌하는 상기 스크린을 통해 상기 3D 환경을 보는 상기 사용자에 대한 거리의 변동을 포함하는 상기 모바일 디바이스의 움직임을 식별하는
모바일 디바이스.
제 1 항에 있어서,
상기 3D 환경은 상기 모바일 디바이스의 상기 스크린보다 더 큰 가상의 데스크탑 컴퓨터 환경을 포함하는
모바일 디바이스.
제 1 항에 있어서,
상기 센서는 상기 모바일 디바이스의 사용자 인터페이스를 포함하고,
상기 로직은,
상기 모바일 디바이스의 상기 사용자 인터페이스로부터의 하나 이상의 신호를 이용하여 상기 선택에 응답하여 상기 모바일 디바이스의 상기 사용자 인터페이스의 움직임을 식별하고,
상기 선택에 응답하여 상기 모바일 디바이스의 상기 사용자 인터페이스의 움직임 및 상기 선택을 포함하는 상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정하는
모바일 디바이스.
로직을 포함하는 장치로서,
상기 로직은,
모바일 디바이스의 스크린을 통해 3-차원 (3D) 환경을 디스플레이하고,
상기 3D 환경 내의 가상 객체 및 관심 영역 중 하나 이상에 관한 선택을 포함하는 상기 모바일 디바이스의 뒤편의 영역과의 제 1 사용자 상호작용을 식별하고,
상기 선택에 응답하여 상기 모바일 디바이스에 대응하는 움직임을 식별하고,
상기 선택에 응답하여 상기 모바일 디바이스에 대응하는 움직임 및 상기 선택을 포함하는 상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정하는
장치.
제 11 항에 있어서,
상기 제 1 사용자 상호작용은, 상기 3D 환경이 공중에 떠 있는 환경일 때 상기 가상 객체 및 상기 관심 영역 중 하나 이상과 연관된 공중에 떠 있는 위치 및 상기 3D 환경이 외부 표면에 고정되어 있을 때 상기 가상 객체 및 상기 관심 영역 중 하나 이상과 연관된 상기 외부 표면 중 적어도 하나를 터치하는 손의 움직임을 포함하는
장치.
제 11 항에 있어서,
상기 로직은 상기 모바일 디바이스의 리어 이미지 센서 및 마이크로폰 중 적어도 하나로부터의 하나 이상의 신호를 이용하여 상기 제 1 사용자 상호작용을 식별하는
장치.
제 11 항에 있어서,
상기 제 1 사용자 상호작용이 공중에 떠 있는 위치에 관련한 손의 움직임이면 상기 로직이 상기 모바일 디바이스의 에어 노즐을 사용하여 촉각 피드백을 제공하는
장치.
제 11 항에 있어서,
상기 로직은 커서 움직임 동작, 클릭 동작, 드래그 및 드롭 동작, 핀치 동작, 선택 동작 및 객체 회전 동작 중 하나 이상을 수행하여 상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정하는
장치.
제 11 항에 있어서,
상기 로직은,
상기 모바일 디바이스의 움직임 센서 및 프론트 이미지 센서 중 적어도 하나로부터의 하나 이상의 신호를 이용하여 상기 선택에 응답하여 상기 모바일 디바이스의 움직임을 식별하고,
상기 선택에 응답하여 상기 모바일 디바이스에 대응하는 움직임 및 상기 선택을 포함하는 상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정하는
장치.
제 11 항에 있어서,
상기 3D 환경은 상기 모바일 디바이스의 상기 스크린보다 더 큰 가상의 데스크탑 컴퓨터 환경을 포함하는
장치.
제 11 항에 있어서,
상기 로직은,
상기 모바일 디바이스의 사용자 인터페이스로부터의 하나 이상의 신호를 이용하여 상기 선택에 응답하여 상기 모바일 디바이스의 상기 사용자 인터페이스의 움직임을 식별하고,
상기 선택에 응답하여 상기 모바일 디바이스의 상기 사용자 인터페이스의 움직임 및 상기 선택을 포함하는 상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정하는
장치.
제 18 항에 있어서,
클릭 동작은 컴퓨터 마우스 클릭 동작을 포함하는
장치.
일련의 명령어(a set of instructions)를 포함하는 비-일시적 컴퓨터 판독가능 저장 매체로서,
상기 일련의 명령어는, 프로세서에 의해 실행될 때, 모바일 디바이스로 하여금,
상기 모바일 디바이스의 스크린을 통해 3-차원 (3D) 환경을 디스플레이하게 하고,
상기 3D 환경 내의 가상 객체 및 관심 영역 중 하나 이상에 관한 선택을 포함하는 상기 모바일 디바이스의 뒤편의 영역과의 제 1 사용자 상호작용을 식별하게 하고,
센서로부터의 하나 이상의 신호를 사용하여 상기 선택에 응답하여 상기 모바일 디바이스에 대응하는 움직임을 식별하게 하고,
상기 선택에 응답하여 상기 모바일 디바이스에 대응하는 움직임 및 상기 선택을 포함하는 상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정하게 하는
컴퓨터 판독가능 저장 매체.
제 20 항에 있어서,
상기 제 1 사용자 상호작용은, 상기 3D 환경이 공중에 떠 있는 환경일 때 상기 가상 객체 및 상기 관심 영역 중 하나 이상과 연관된 공중에 떠 있는 위치 및 상기 3D 환경이 외부 표면에 고정되어 있을 때 상기 가상 객체 및 상기 관심 영역 중 하나 이상과 연관된 상기 외부 표면 중 적어도 하나를 터치하는 손의 움직임을 포함하는
컴퓨터 판독가능 저장 매체.
제 20 항에 있어서,
상기 명령어가 실행되면, 상기 모바일 디바이스로 하여금, 상기 모바일 디바이스의 리어 이미지 센서 및 마이크로폰 중 적어도 하나로부터의 하나 이상의 신호를 이용하여 상기 제 1 사용자 상호작용을 식별하게 하는
컴퓨터 판독가능 저장 매체.
제 20 항에 있어서,
상기 명령어가 실행되면, 상기 제 1 사용자 상호작용이 공중에 떠 있는 위치에 관련한 손의 움직임인 경우, 상기 모바일 디바이스로 하여금 상기 모바일 디바이스의 에어 노즐을 사용하여 촉각 피드백을 제공하게 하는
컴퓨터 판독가능 저장 매체.
제 20 항에 있어서,
상기 명령어가 실행되면, 상기 모바일 디바이스로 하여금, 커서 움직임 동작, 클릭 동작, 드래그 및 드롭 동작, 핀치 동작, 선택 동작 및 객체 회전 동작 중 하나 이상의 동작을 수행하여 상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정하게 하는
컴퓨터 판독가능 저장 매체.
제 20 항에 있어서,
상기 명령어가 실행되면, 상기 모바일 디바이스로 하여금,
상기 모바일 디바이스의 움직임 센서 및 프론트 이미지 센서 중 적어도 하나로부터의 하나 이상의 신호를 이용하여 상기 선택에 응답하여 상기 모바일 디바이스의 움직임을 식별하게 하고,
상기 선택에 응답하여 상기 모바일 디바이스의 움직임 및 상기 선택을 포함하는 상기 제 1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 3D 환경을 조정하게 하는
컴퓨터 판독가능 저장 매체.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제