KR20160091889A - 선택 인력형 인터페이스, 이러한 인터페이스를 포함하는 시스템 및 장치, 이를 제조하고 사용하는 방법 - Google Patents
선택 인력형 인터페이스, 이러한 인터페이스를 포함하는 시스템 및 장치, 이를 제조하고 사용하는 방법 Download PDFInfo
- Publication number
- KR20160091889A KR20160091889A KR1020167011556A KR20167011556A KR20160091889A KR 20160091889 A KR20160091889 A KR 20160091889A KR 1020167011556 A KR1020167011556 A KR 1020167011556A KR 20167011556 A KR20167011556 A KR 20167011556A KR 20160091889 A KR20160091889 A KR 20160091889A
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- objects
- selection
- selectable
- attribute
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
- G06F3/0236—Character input methods using selection techniques to select from displayed items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
- H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
- H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
- Telephone Function (AREA)
Abstract
시스템, 인터페이스 및 시스템과 인터페이스를 구현하는 방법은 선택 프로토콜로서 선택 인력형 인터페이스를 포함하고, 선택 객체는 선택 가능한 객체를 구별하는데 사용되고, 선택 객체를 향해 목표 객체를 끌어당기며, 모션의 방향과 속력은 선택된 객체를 제어하고, 구별하고, 활성화한다.
Description
관련 출원
본 출원은 2013년 10월 1일 출원된 미국 출원 번호 제61/885,453호, 2013년 10월 21일 출원된 미국 출원 번호 제61/893,850호, 2013년 10월 22일 출원된 미국 출원 번호 제61/894,050호, 2014년 2월 28일 출원된 미국 출원 번호 제61/945,907호, 및 2014년 6월 4일 출원된 미국 출원 번호 제62/007,598호의 이익 및 잠정적인 우선권을 주장한다. 또한, 본 출원은, 2003년 3월 7일 출원되고 2010년 11월 9일 미국 특허 제7,831,932호로 등록된 미국 특허 출원 번호 제10/384,195호, 2007년 8월 9일 출원되고 2010년 12월 28일 미국 특허 제7,861,188호로 등록된 미국 특허 출원 번호 제11/891,322호, 및 2010년 12월 27일 출원되고 2014년 7월 22일 미국 특허 제8,788,966호로 등록된 미국 특허 출원 번호 제12/978,690호에 관련되며, 2012년 11월 15일 출원된 미국 특허 출원 번호 제13/677,627호 및 2012년 11월15일 출원된 미국 특허 출원 번호 제13/677,627호에 대한 우선권 및 이들의 이익을 주장한다.
기술분야
본 발명의 실시예는, 시스템, 인터페이스, 인터페이스를 포함하는 장치, 시스템, 장치, 및 인터페이스를 구현하기 위한 방법에 관한 것으로, 시스템 및 인터페이스는 선택 인력형(selection attractive)이다.
더욱 상세하게는, 본 발명의 실시예는, 시스템, 인터페이스, 인터페이스를 포함하는 장치, 시스템 및 인터페이스를 구현하기 위한 방법에 관한 것으로, 선택 인력 또는 조작 시스템 및 인터페이스는 디스플레이된 객체를 구별하고 목표 객체, 객체들 또는 객체 그룹, 또는 객체들의 필드나 객체 속성을 선택 객체를 향하거나 그로부터 멀리 또는 그에 대하여 각도를 이루면서 끌어당기기 위하여 선택 객체(들)의 움직임(movement)을 사용하고, 모션(motion)의 방향과 속력은 구별 및 인력(attraction)을 제어한다. 선택 객체는 임의의 종류의 파형에 의해 형성된 객체 그룹 또는 필드일 수 있다.
선택 인터페이스가 컴퓨터 소프트웨어 및 사용자 인터페이스 소프트웨어 전체에 걸쳐 어디에나 있다. 이러한 인터페이스의 대부분은 탭(tapping), 클릭(clicking), 더블 탭, 더블 클릭, 키 스트로크, 제스처 또는 다른 이른바 하드 선택 프로토콜(hard selection protocol)이라 하는 하드 선택 프로토콜에 의해 제어되는 모션 및 선택 동작을 필요로 한다.
이전의 출원에서, 발명자 및 발명자들은 스크롤 및 동시 선택 및 활성화 명령과 같은 명령 함수를 호출하기 위하여 모션 및 모션 방향에서의 변화를 활용하는 모션 기반 시스템 및 인터페이스를 설명하였다. 예를 들어 본 명세서의 마무리 문단의 효력에 의해 본 명세서에 편입되는 미국 특허 제7,831,932호 및 제7,861,088호를 참조하라.
최근, 발명자는 스크롤 및 동시 선택 및 활성화 명령과 같은 명령 함수를 호출하기 위하여 모션 방향뿐만 아니라 속도 및/또는 가속도를 활용하는 모션 기반의 시스템 및 인터페이스를 설명하였다. 예를 들어, 2013년 10월 1일 출원된 미국 임시 특허 출원 제61/885,453호를 참조하라.
움직임 속성을 이용하여 목표 객체(들)의 리스트 및/또는 서브 리스트로부터 사용자가 목표 객체(들)를 선택하고 활성화하게 허용하기 위한 많은 시스템 및 인터페이스가 있으며, 움직임 속성은 목표 객체(들) 또는 목표 객체(들)의 속성을 구별하고 끌어당기거나 또는 이를 조작하거나 이에 영향을 미치는 역할을 한다. 객체의 다수의 레이어(layer)가 속성 변화를 가질 수 있으며, 하나의 레이어의 속성은 다른 레이어와 상이하거나 상이한 정도일 수 있지만, 이들은 모두 영향을 받고 소정의 방식으로 관련되어 있다.
일반적인 양태의 시스템, 장치, 인터페이스 및 방법
본 발명의 실시예는, 시스템, 장치, 인터페이스 및 이러한 시스템, 장치 및/또는 인터페이스를 구현하는 본 발명의 방법에 관한 것으로, 시스템, 장치 및/또는 인터페이스와 관련된 모션 센서에 의해 감지되는 모션에 의해 단독으로 또는 부분적으로 호출되는 인력형 선택(attractive selection) 또는 조작형 선택(manipulative selection)에 기초한다. 조작형 선택 동작은, 끌어당기는 방식, 밀쳐내는 방식 또는 이들의 조합으로, 또는 원하는 객체 또는 객체들에 대한 각도 또는 근접도(proximity)에 기초하여 이동되는 다른 객체에 기인하여, 끌어당기는 효과, 밀쳐내는 효과 또는 상대적인 효과를 가질 수 있다. 시스템 및 장치는 원하는 객체 또는 객체 세트를 향하는 선택 객체의 근접도, 방향, 속력 및/또는 가속도에 기초하여 조작 효과를 설명한다. 객체는 실제 또는 가상 객체, 실제 디바이스, 소프트웨어, 소프트웨어 컴포넌트, 속성, 센서의 활성 영역, 소프트웨어 또는 emf 필드 또는 다른 파형을 포함할 수 있으며, 원격으로 제어될 수 있다. 선택 객체 또는 객체들의 모션은 기계, 동물 또는 몸 부분 또는 부분들, 인간 또는 몸 부분 또는 부분들, 또는 실제 객체, 필드 또는 인간, 기계, 동물 또는 소프트웨어 프로그램 또는 시스템의 제어 하에 있는 파형이다.
장치 및 시스템
본 발명의 실시예는 가상 및/또는 실제 객체 및/또는 이와 관련된 속성을 선택하고 활성화하는 장치 또는 시스템을 제공한다. 장치는 적어도 하나의 사용자 인터페이스를 포함한다. 인터페이스는 적어도 하나의(하나 또는 복수의) 사용자 피드백 유닛과, 활성 감지 구역 또는 활성 뷰 필드를 갖는 적어도 하나의 모션 센서와, 사용자 피드백 유닛 및 모션 센서와 통신하는 적어도 하나의 처리 유닛을 포함한다. 또한, 인터페이스는 적어도 하나의 전원, 적어도 하나의 배터리 백업 및 원격 제어 및/또는 원격 모니터링을 위한 통신 소프트웨어 및 하드웨어를 포함할 수 있다. 모션 센서는 이의 활성 감지 구역 내에서 모션 또는 움직임을 검출하고, 센서 출력 신호를 생성하고, 출력 신호를 처리 유닛으로 전송하거나 포워딩한다. 처리 유닛은 출력 신호를 명령 및 제어 출력으로 변환한다. 물론, 이러한 컴포넌트, 사용자 인터페이스, 사용자 피드백 유닛, 모션 센서 및 처리 유닛은 전부 또는 부분적으로 결합될 수 있다. 또한, 장치는 처리 유닛을 통해 장치의 제어 하에 있는 실제 또는 가상의 적어도 하나의 객체를 포함할 수 있다. 명령 및 제어 출력은, 사용자 인터페이스, 사용자 피드백 유닛을 활성화하는 시작 명령을 포함할 수 있고, 선택 또는 커서 객체가 동물이나 인간의 오감 중 하나, 예를 들어, 시각, 청각, 시청각, 촉각 또는 터치, 온냉, 냄새 또는 향기, 미각 또는 풍미, 또는 이들의 임의의 조합에 의해 감지될 수 있다는 것을 본 발명자가 의미하는 사용자 식별 가능성에 의해 사용자가 식별 가능한 선택 또는 커서 객체를 생성한다. 그러나, 선택 또는 커서 객체는 또한 비가시적일 수 있고 그리고/또는 식별 가능하지 않을 수 있다 - 단지 가상 요소가 감지된 모션 또는 움직임을 적용하는데 있어서 내부적으로 사용된다.
활성화되면, 사용자 피드백 유닛을 통한 사용자 인터페이스는 또한 적어도 하나의 선택 가능한 객체를 디스플레이할 수 있다. 이 대신에, 활성화되면, 궁극적으로 특정의 선택 가능한 객체, 특정의 선택 가능한 객체의 그룹, 특정 객체(들)와 관련된 선택 가능한 속성 또는 특정 객체(들)와 관련된 제어 가능한 속성을 선택하는 목적으로, 선택 객체의 움직임은 선택 가능한 객체 또는 선택 가능한 객체의 그룹 또는 사전 선택된 선택 가능한 객체 또는 사전 선택된 선택 가능한 객체의 그룹이 선택 객체를 향하도록 이동하게 하거나, 선택 객체에 대하여 각을 이루면서 이동하게 하거나, 또는 선택 객체로부터 멀리 이동하게 한다. 사전 선택된 선택 가능한 객체 또는 사전 선택된 선택 가능한 객체의 그룹은 선택 객체의 모션 방향과 가장 가깝게 정렬된 디스플레이 객체(들)다. 예를 들어, 감지된 초기 모션 또는 움직임이 +y 방향으로 있다면, 사용자 인터페이스는 사용자 피드백 유닛(들)이 +y 방향과 관련된 이러한 선택 가능한 객체를 명시하게 하고, 선택 객체를 향하는 특정 방향으로 이를 끌어당긴다.
본 발명의 인터페이스의 다른 양태는, 사전 선택된 선택 가능한 객체 또는 사전 선택된 선택 가능한 객체의 그룹을 향하여 선택 객체가 더 빠르게 이동할수록, 사전 선택된 선택 가능한 객체 또는 사전 선택된 선택 가능한 객체의 그룹이 선택 객체를 향하여 더 빠르게 이동한다는 것이다.
본 발명의 인터페이스의 다른 양태는, 사전 선택된 선택 가능한 객체 또는 사전 선택된 선택 가능한 객체의 그룹이 선택 객체를 향해 이동함에 따라, 사전 선택된 선택 가능한 객체 또는 사전 선택된 선택 가능한 객체의 그룹이 또한 크기가 증가하거나, 강조되거나(highlighted), 다른 효과 변화를 가지거나 또는 이들의 혼합이나 조합이 될 수 있다는 것이다.
본 발명의 인터페이스의 다른 양태는, 적어도 하나의 조정 가능한 속성을 갖는 각각의 객체가, 선택 가능한 객체가 모션에 의해 증강됨에 따라 디스플레이되는 객체와 관련된 각각의 조정 가능한 속성과 관련된 조정 가능한 활성 영역을 포함하는 것이다. 더욱이, 선택 가능한 객체가 선택에 대하여 더 확실하게 됨에 따라, 조정 가능한 활성 영역은 선택 객체가 선택 가능한 객체를 향해 이동함에 따라 크기가 커질 수 있거나 또는 "인력(gravity)"이 선택 객체를 향해 선택 가능한 객체를 끌어당긴다. 활성 영역은 객체와의 임의의 실제 접촉 전에 선택이 이루어지게 하고, 원하는 객체의 방향으로 단순히 이동함으로써 선택이 이루어지게 한다. 활성 영역은 객체를 향하는 모션에 의해 활성화되는 객체를 둘러싸는 후광 효과(halo effect)로서 고려될 수 있다.
본 발명의 인터페이스의 다른 양태는, 모션이 계속됨에 따라, 모션이 단일의 디스플레이된(식별 가능한) 객체 또는 디스플레이된(식별 가능한) 객체의 그룹의 선택을 제공할 때까지 모션이 사전 선택된 객체의 그룹의 멤버를 구별하기 시작할 것이라는 것이다. 모션이 계속됨에 따라, 디스플레이는 모션과 정렬된 객체와 정렬되지 않은 객체를 구별하기 시작할 것이어서, 모션과 정렬된 선택 가능한 객체(즉, 모션 방향으로의 객체)를 강조하고, 모션과 정렬되지 않는 선택 가능하지 않은 객체(즉, 모션 방향으로부터 멀리 있는 객체)를 강조 해제하며, 강조는 객체(들) 특성에서의 임의의 변화, 객체(들) 위치에서의 변화 또는 이들의 조합일 수 있으며, 강조 해제는 객체(들) 특성에서의 임의의 변화, 객체(들) 위치에서의 변화 또는 이들의 조합일 수 있다.
본 발명의 인터페이스의 다른 양태는 디스플레이이며, 객체(들)와 관련된 서브 리스트 멤버 또는 속성의 위치 설정 및 움직임은, 선택 객체(들)의 모션에 의해 영향을 받는 선택 가능한 객체(들) 또는 디스플레이 객체(들)의 디스플레이 및 움직임과 동시적이고 동기화되거나, 또는 비동기화될 수 있다. 선택 객체 및 선택 가능한 객체가 터치하거나 또는 선택 객체 및 선택 가능한 디스플레이 객체 활성 영역이 터치하거나, 선택 객체 및 선택 가능한 디스플레이 객체가 확실성에 대한 임계 정도, 트리거링 임계 이벤트(이것은 결코 터치하지 않는 경우에서의 근접 거리 또는 확률일 수 있다)를 갖는 것으로 예측되면, 선택 가능한 객체(들)가 선택되고, 선택되지 않은 디스플레이 객체는 디스플레이로부터 제거되거나, 흐려지거나, 덜 두드러지게 되거나 또는 선택되지 않은 객체(들)로서 인식 가능한 방식으로 변화되고, 선택된 객체가 디스플레이 내에서 중심 또는 미리 정해진 위치로 위치되거나, 조정 가능한 속성의 경우에 원하는 양으로 조정되거나, 선택된 객체(들)가 속성 또는 선택 명령인 경우에는 실행되거나, 또는 이들의 임의의 조합이 될 수 있다. 객체가 사진을 찍는 것, 디바이스를 켜는 것 등과 같은 실행 가능한 객체이면, 실행은 동시적이거나 또는 선택을 이용하는 미리 정해진 방식으로 동작한다. 객체가 선택된 객체와 관련된 속성의 서브 메뉴, 서브 리스트 또는 리스트를 가지면, 서브 메뉴 멤버, 서브 리스트 멤버 또는 속성이 선택 후에 또는 선택 과정 동안 이격되거나 구별된 포맷으로 스크린에 디스플레이될 수 있고, 이의 분포는 선택이 더욱더 확실하게 됨에 따라 더 정의될 수 있다. 그 다음, 선택된 객체를 선택하는데 사용된 동일한 절차가 서브 메뉴, 서브 리스트 또는 속성 리스트의 멤버를 선택하는데 사용된다. 이러한 동일한 효과는 실행 가능한 서브 메뉴, 서브 리스트 및 속성 리스트의 조합으로 발생할 수 있다. 따라서, 인터페이스는 디스플레이된 선택 가능한 객체에 인력 또는 끌어당기는 것과 유사한 동작을 가진다. 선택 객체가 이동함에 따라, 이는 선택 객체의 모션 방향과 정렬된 객체 또는 객체들을 끌어당겨, 이러한 객체를 이를 향해 끌어당기며, 선택 객체의 모션과 정렬되지 않은 다른 객체들을 동시에 밀쳐낼 수 있어, 이들이 멀리 이동하게 하거나 선택되지 않은 객체로서 식별되게 한다. 모션이 계속되거나 또는 모션의 속도 또는 가속도가 증가함에 따라, 모션 방향으로 가장 많이 정렬된 객체(들)에 대한 끌어당김이 증가하여, 터치하거나, 병합하거나 또는 트리거링 선택 이벤트를 발생시키거나 또는 이들의 조합이 될 때까지, 선택 객체를 향하여 객체를 더 가속한다. 2개의 객체가 동일한 라인 또는 구역을 따라 있고, 모션이 사용자를 향하여 발생함에 따라 2개 중 더 가까운 것이 끌어당겨지거나 선택되고, 모션이 라인에서 계속될 때, 제1 객체는 원하지 않는 객체로서 취급될 수 있고, 원하는 제2 객체가 선택된다. 제1 객체에서 모션이 정지되거나 미리 정해진 임계량으로 느려지면, 이것은 선택된 것으로 고려된다. 모션이 제1 객체에서 계속되면, 이것은 선택되지 않은 것으로 고려된다. 터치, 병합 또는 트리거링 이벤트는 처리 유닛이 객체를 선택하고 활성화하게 하거나, 객체 서브 리스트 또는 메뉴를 활성화하거나, 제어를 위한 속성을 활성화하거나, 또는 이들의 조합이 되게 할 수 있다.
방법
본 발명의 실시예는 본 발명의 사용자 인터페이스를 이용하여 선택 프로토콜을 구현하는 방법을 제공한다. 방법은, 선택 가능한 객체를 선택하고 활성화하는 단계, 가상 및/또는 실제 객체의 선택 가능한 리스트의 멤버를 선택하고 활성화하는 단계, 객체와 관련된 선택 가능한 속성을 선택하고 활성화하는 단계, 선택 가능한 속성을 선택하고, 활성화하고, 조정하는 단계, 또는 이들의 조합을 포함하며, 인터페이스는 적어도 하나의 디스플레이 또는 다른 사용자 피드백 유닛과, 적어도 하나의 모션 센서와, 사용자 피드백 유닛 및 모션 센서와 통신하는 적어도 하나의 처리 유닛을 포함한다. 또한, 인터페이스는 전원과, 배터리 백업과, 원격 제어 및/또는 원격 모니터링을 위한 통신 소프트웨어 및 하드웨어를 포함할 수 있다. 방법은 모션 센서(들)에 의해 감지된 모션 또는 움직임을 감지하는 단계, 출력 신호를 생성하는 단계 및 출력 신호를 처리 유닛에 전송하는 단계를 포함한다. 또한, 방법은 처리 유닛을 통해 출력 신호를 명령 출력으로 변환하는 단계를 포함한다. 명령 출력은, 피드백 유닛을 활성화하거나, 피드백 유닛을 활성화하고 적어도 하나의 선택 또는 커서 객체를 생성하거나, 피드백 유닛을 활성화하고 적어도 하나의 선택 가능한 객체를 생성하거나, 피드백 유닛을 활성화하고 적어도 하나의 선택 또는 커서 객체 및 적어도 하나의 선택 가능한 객체를 생성할 수 있다. 선택 객체는 식별 가능하거나 가능하지 않을 수 있다(디스플레이되거나 디스플레이되지 않을 수 있다). 모션은, 특히, 감지되는 모션이 3D 활성 감지 용적(volume) 또는 구역 내에 있을 때, 동물 또는 몸 부분 또는 부분들, 인간 또는 몸 부분 또는 부분들, 기계, 또는 동물이나 인간이나 로봇 또는 로봇 시스템의 지배 하에 있는 실제 객체에 의해 생성될 수 있다. 활성화되면, 방법은 모션 특성(방향, 속도, 가속도, 이러한 특성들 중의 하나 이상의 변화)에 따라 사용자 피드백 유닛 상의 또는 그 내의 선택 객체를 선택 가능한 객체 또는 선택 가능한 객체의 그룹 또는 사전 선택된 선택 가능한 객체 또는 사전 선택된 선택 가능한 객체의 그룹을 향해 이동시키는데 사용되는 모션 센서(들)의 활성 구역(들) 내에서 감지된 모션 또는 움직임을 모니터링한다. 동시에, 방법은 선택되지 않은 객체를 선택 객체(들)로부터 멀리 이동시키거나, 선택되지 않은 객체가 흐려지거나, 사라지거나 또는 선택되지 않은 객체의 다른 특성을 변화하게 하거나, 또는 이들의 조합이 되게 한다. 사전 선택된 객체 또는 사전 선택된 객체의 그룹은 선택 객체의 모션 방향과 가장 가깝게 정렬된 선택 가능한 객체(들)다.
본 발명의 방법의 다른 양태는, 상부 오른쪽 코너에서의 소프트웨어 윈도우의 기능 영역(들) 또는 객체(들)를 닫고/확대하고/최대화하고/최소화하는 것과 같은 실행 가능한 영역을 향한 움직임이, 객체(들)가 확대되거나 떨어져 이동하게 할 수 있어, 이들 사이에 더 많은 공간을 제공하고 각각의 개별 객체 또는 객체의 그룹을 선택하는 것을 더 용이하게 한다는 것이다.
본 발명의 방법의 다른 양태는, 움직임이 객체의 그룹을 향해 이루어짐에 따라 객체의 그룹이 동시에 스스로 재정렬하여 개별 객체 선택 또는 메뉴 선택을 더 용이하게 하도록 객체 선택 또는 메뉴 선택이 함께 그루핑될 수 있는 인터페이스를 포함하며, 원하는 선택의 구별을 더 용이하게 하기 위하여 지정된 영역의 코너로 또는 아치형으로 이동하는 것을 포함한다.
인터페이스의 다른 양태는, 선택 객체에 대한 근접이 감지된 모션의 특성과 가장 가깝게 정렬된 선택 가능한 객체가 확대되거나, 분리되거나 또는 객체 구별을 더 용이하게 하는 방식으로 이동하게 할 수 있고, 이는 관련된 서브 객체 또는 서브 메뉴가 서브 객체 또는 서브 메뉴를 선택 객체를 향해 이동시키는 것으로 선택될 수 있게 할 수 있다는 것이다. 또한, 이는 이러한 객체로부터의 거리 또는 그 주위의 영역 또는 용적에 의해 지정되는 활성 영역 내로 이동함으로써 선택되거나 활성화될 수 있어, 객체 기능, 메뉴, 또는 서브 객체 또는 서브 메뉴를 선택한다. 서브 객체 또는 서브 메뉴의 움직임 또는 속성 변경은 1차(primary) 객체(들)의 움직임과 동기식으로 또는 비동기식으로 발생할 수 있다.
인터페이스의 다른 양태는, 사전 선택된 객체 또는 사전 선택된 객체의 그룹을 향하여 선택 객체가 더 빠르게 이동할수록, 사전 선택된 객체 또는 사전 선택된 객체의 그룹이 선택 객체(들)를 향하여 더 빠르게 이동하고 그리고/또는 선택되지 않은 객체가 선택 객체(들)로부터 멀리 더 빠르게 이동한다는 것이다.
인터페이스의 다른 양태는, 사전 선택된(모션 특성과 가장 가깝게 정렬된 객체를 의미한다) 객체 또는 사전 선택된 객체의 그룹이 선택 객체를 향해 이동함에 따라, 사전 선택된 선택 가능한 객체 또는 사전 선택된 선택 가능한 객체의 그룹은 크기가 증가하거나, 색상을 변경하거나, 강조되거나, 일부 다른 효과를 변경하거나, 일부 특징 또는 속성을 변경하거나 이들의 조합이 될 수 있다는 것이다. 이러한 동일하거나 유사하거나 반대되는 변화가 선택되지 않은 객체 또는 선택되지 않은 객체의 그룹에 발생할 수 있다. 다른 양태는, 사용자의 이전 선택, 습관, 모션 또는 예측된 모션에 기초하여, 더 빠르게 이동하거나, 크기 또는 구역이 증가하거나, 또는 사용자 의도 비율이 가정 높은 객체가 도 4에 도시되고 아래의 관련된 내용에서 설명되는 바와 같이 선택되기에 가장 쉽고 가장 가능성이 높도록 변화하게 객체의 속성이 변화할 수 있다는 것이다.
인터페이스의 다른 양태는, 모션이 계속됨에 따라, 모션이 단일의 선택 가능하거나 디스플레이된 객체 또는 선택 가능한 객체의 단일 그룹의 선택을 제공할 때까지 모션이 사전 선택된 객체의 그룹의 멤버를 구별하기 시작할 것이라는 것이다. 선택 객체 및 선택 가능한 객체 활성 영역이 터치하거나 또는 선택 객체 및 선택 가능한 디스플레이 객체가 확실성에 대한 임계 정도, 트리거링 임계 이벤트(이것은 결코 터치하지 않는 경우에서의 근접 거리 또는 확률일 수 있다)를 갖는 것으로 예측되면, 선택 가능한 객체가 선택되고, 선택되지 않은 디스플레이 객체는 디스플레이로부터 제거되거나, 흐려지거나, 덜 두드러지게 되거나 또는 선택되지 않은 객체(들)로서 인식 가능한 방식으로 변화한다. 선택되면, 선택된 객체는 디스플레이 내의 중심 또는 디스플레이 내의 미리 정해진 위치로 위치될 수 있다. 선택된 객체가 단일의 조정 가능한 속성이면, 모션은 속성을 원하는 양 또는 미리 정의된 양으로 조정할 수 있다. 선택된 객체가 실행 가능하면, 선택된 객체가 호출된다. 선택된 객체가 속성 또는 선택 명령이면, 속성이 추가 모션에 의해 조정될 수 있거나, 선택이 명령 함수를 호출할 수 있다. 물론, 시스템은 이러한 과정의 전부 또는 일부 조합을 수행할 수 있다. 객체가 사진을 찍는 것, 디바이스를 켜는 것 등과 같은 실행 가능한 객체이면, 실행은 동시적이거나 또는 선택을 이용하여 미리 정해진 방식으로 동작한다. 객체가 선택된 객체와 관련된 서브 메뉴, 서브 리스트 또는 속성의 리스트를 가지면, 선택이 더 확실하게 됨에 따라 서브 메뉴 멤버, 서브 리스트 멤버 또는 속성이 이격된 포맷으로 스크린에 디스플레이되거나 나타나며, 그 다음 선택이 확실하거나 확인되면 지속된다. 그 다음, 선택된 객체를 선택하는데 사용된 동일한 절차가 서브 메뉴의 멤버, 서브 리스트의 멤버 또는 특정 속성을 선택하는데 사용된다. 따라서, 인터페이스는 확실성이 증가함에 따라 선택 객체를 향하여 이동하는 디스플레이된 선택 가능한 객체에 인력과 유사한 동작을 가진다. 선택 객체가 이동함에 따라, 이는 선택 객체의 감지된 모션의 특성(방향, 속력, 가속도 또는 임의의 이러한 주요 특성에서의 변화)와 정렬되거나 관련된 객체 또는 객체들을 끌어당겨, 선택 객체를 향하여 이러한 기준을 만족하는 객체(들)를 끌어당긴다. 동시에, 동기식으로 또는 비동기식으로, 서브 메뉴 또는 서브 객체는 가시적인 것으로 시작하지 않았다면 가시적으로 될 수 있으며, 또한, 선택된 객체의 움직임 또는 변화에 관련하여 움직이거나 변화할 수 있다. 동시에, 동기식으로 또는 비동기식으로, 선택되지 않은 객체는 선택된 객체(들)로부터 멀리 이동하거나 변화할 수 있다. 모션이 계속됨에 따라, 모션 또는 움직임의 특성(예를 들어, 방향)과 가장 많이 정렬된 객체에 대한 끌어당김이 증가하여, 터치하거나, 병합하거나 또는 트리거링 이벤트(활성 영역을 터치하거나 또는 임계 확실성으로 선택을 예측하기에 충분히 가까움)에 도달할 때까지 선택 객체를 향하여 객체를 더 이동시키거나 더 가속한다. 터치, 병합 또는 트리거링 이벤트는 처리 유닛이 객체를 선택하고 활성화하게 한다. 또한, 객체(들)는 객체 사이의 영역으로서 정의될 수 있어, 게이트와 유사한 효과를 제공하여, 선택 객체의 모션과 정렬되고 그 사이, 뒤 또는 동일한 각도이지만 이 게이트와는 상이한 거리로 위치되는 서브 메뉴 또는 서브 객체의 선택을 제공한다. 또한, 선택 가능하거나 선택 가능한지에 관계없이, 객체에 대하여 발생한 효과 또는 변화 또는 모션을 실행 취소하거나 반대로 하기 위하여 뒤로 가기(back) 객체 또는 영역이 포함될 수 있다.
본 발명은 유사한 요소가 동일한 도면 부호를 갖는 첨부된 예시적인 도면과 함께 이어지는 발명을 실시하기 위한 구체적인 내용을 참조하여 더 잘 이해될 것이다.
도 1a 내지 1m은 본 발명의 인력형 인터페이스를 사용하는 모션 기반 선택 시퀀스를 도시한다: 도 1a는 디스플레이와 통신하는 모션 센서의 모션에 의한 활성화 이전의 디스플레이를 도시한다; 도 1b는 선택 객체 및 복수의 선택 가능한 객체를 디스플레이하기 위한 활성화 이후의 디스플레이를 도시한다; 도 1c는 선택 객체가 선택 가능한 객체의 그룹을 향하여 이동된 후의 디스플레이를 도시한다; 도 1d는 선택 가능한 객체의 그룹이 선택 객체를 향하여 끌어당겨진 후의 디스플레이를 도시한다; 도 1e는 그룹의 객체를 구별하게 하는 선택 객체의 추가 움직임을 보여주는 디스플레이를 도시하며, 선택 객체는 그룹 멤버 중 하나를 터치한다; 도 1f는 터치된 멤버와 선택 객체를 도시하며, 터치되지 않는 객체가 이전 위치로 복귀된다; 도 1g는 선택된 객체와 디스플레이의 중심에 재위치 설정된 선택 객체의 병합을 보여주는 디스플레이를 도시한다; 도 1h는 선택된 객체, 선택 객체 및 선택된 객체와 관련된 요소를 보여주는 디스플레이를 도시한다; 도 1i는 선택 객체를 향해 이동되었으며 크기가 증가한 선택 가능한 서브 객체의 그룹을 향해 선택 객체가 이동된 후의 디스플레이를 도시한다; 도 1j는 선택 객체를 향해 이동되었으며 크기가 증가한 다른 선택 가능한 서브 객체를 직접 향하여 다른 방향으로 선택 객체가 이동된 후의 디스플레이를 도시한다; 도 1k는 선택 객체의 추가 모션이 선택 가능한 서브 객체를 터치한 후의 디스플레이를 도시한다; 도 1l은 선택에 따라 실행된 선택 객체 및 선택된 서브 객체의 병합 후의 디스플레이를 도시한다; 그리고, 도 1m은 도 1g의 선택된 멤버의 병합 및 활성화 후의 디스플레이를 도시한다.
도 2a 내지 2w는 본 발명의 인력형 인터페이스를 이용하는 다른 모션 기반 선택 시퀀스를 도시한다: 도 2a는 디스플레이와 통신하는 모션 센서의 모션에 의한 활성화 이전의 디스플레이를 도시한다; 도 2b는 선택 객체 및 복수의 선택 가능한 객체를 디스플레이하기 위한 활성화 이후의 디스플레이를 도시한다; 도 2c는 선택 객체가 선택 가능한 객체를 향하여 이동되어 이를 선택 객체를 향해 이동하게 하고 서브 객체가 끌어당겨진 객체와 관련되게 한 후의 디스플레이를 도시한다; 도 2d는 선택 객체의 추가 이동 및 끌어당겨진 객체를 터치하는 것을 보여주는 디스플레이를 도시한다; 도 2e는 선택 객체에 의해 터치되는 선택 객체를 보여주는 디스플레이를 도시한다; 도 2f는 선택된 객체와 병합되고 디스플레이에서 중심에 재배치된 선택 객체를 보여주는 디스플레이를 도시한다; 도 2g는 제1 선택 가능한 서브 객체를 향해 선택 객체가 이동된 후의 디스플레이를 도시한다; 2h는 선택된 서브 객체와의 병합 및 서브 객체의 동시 활성화를 보여주는 디스플레이를 도시한다; 도 2i는 선택 객체가 다른 선택 가능한 객체를 향해 이동된 후의 디스플레이를 도시한다; 도 2j는 선택된 서브 객체와의 병합 및 다른 서브 객체의 동시 활성화를 보여주는 디스플레이를 도시한다; 도 2k는 선택 객체의 모션이 선택된 객체로부터 멀어지고 임의의 서브 객체로부터 멀어지는 디스플레이를 도시한다; 도 2l은 멀어진 후에 원래 선택 디스플레이가 다시 나타난 디스플레이를 도시한다; 도 2m은 선택 객체가 제2 선택 가능한 서브 객체를 향해 이동하여 제2 객체가 그를 향하여 이동하게 하고 크기에서 증가하게 하며 동시에 관련 서브 객체를 디스플레이하게 한 후의 디스플레이를 도시한다; 도 2n은 선택 객체가 제2 선택 가능한 객체와 접촉하도록 움직인 후의 디스플레이를 도시한다; 도 2o는 이제 병합되어 중심에 위치되는 제2 선택 가능한 객체의 선택 후의 디스플레이를 도시하며, 서브 객체가 선택된 제2 객체 주위로 분포된다; 도 2p는 선택 객체가 원하는 서브 객체를 향해 이동된 후의 디스플레이를 도시한다; 도 2q는 서브 객체와의 병합 후의 디스플레이를 도시하며, 서브 객체를 동시에 활성화한다; 도 2r은 선택 객체가 제2 선택 가능한 서브 객체를 향해 이동되어 제3 객체가 그에 향하여 이동하게 하고 크기에서 증가하게 하며 동시에 관련된 서브 객체를 디스플레이게 한 후의 디스플레이를 도시한다; 도 2s는 선택 객체가 제3 선택 가능한 객체와 접촉하도록 움직인 후의 디스플레이를 도시한다; 도 2t는 이제 병합되어 중심에 위치되는 제3 선택 가능한 객체의 선택 후의 디스플레이를 도시하며, 서브 객체가 선택된 제3 선택 가능한 객체 주위로 분포된다; 도 2u는 선택 객체가 제4 선택 가능한 서브 객체를 향해 이동되어 제4 객체가 선택 객체를 향하게 이동하게 하고 크기에서 증가되게 한 후의 디스플레이를 도시한다; 도 2v는 선택 객체가 제4 선택 가능한 객체와 접촉하도록 움직인 후의 디스플레이를 도시한다; 그리고, 도 2w는 이제 병합되어 중심에 있는 제4 선택 가능한 객체의 선택 및 객체의 활성화 후의 디스플레이를 도시한다.
도 3a 내지 3i는 본 발명의 인력형 인터페이스를 이용하는 다른 모션 기반 선택 시퀀스를 도시한다; 도 3a는 디스플레이와 통신하는 모션 센서의 모션에 의한 활성화 이전의 디스플레이를 도시한다; 도 3b는 디스플레이 영역에서 무게 중심 주위에 분포된 선택 가능한 객체 클러스터의 상위 레벨을 디스플레이하기 위한 활성화 후의 디스플레이를 도시한다; 도 3c는 각각의 클러스터 내의 객체를 도시한다; 도 3d는 모션 센서의 활성 구역 내에서 몸 또는 몸 부분의 모션에 의해 감지되는 모션 센서에 의해 검출된 모션의 방향을 보여주는 디스플레이를 도시한다; 도 3e는 모션 센서에 의해 감지된 모션의 방향과 정렬된 가장 가능성 있는 클러스터의 예측을 보여주는 디스플레이와, 예측된 클러스터와 관련된 클러스터 객체의 디스플레이를 도시한다; 도 3f는 향상된 구별을 위한 클러스터 객체의 분산과, 모션 센서의 활성 구역 내에서 몸 부분의 모션에 의해 감지되는 모션에 의해 검출되는 모션의 증가된 방향을 보여주는 디스플레이를 도시한다; 도 3g는 더욱 이격된 구성으로 디스플레이된 마지막 부분에 의해 구별되는 객체의 끌어당김을 보여주는 디스플레이를 도시한다; 도 3h는 클러스터 객체의 완전한 구별을 허용하는 모션 센서의 활성 구역 내에서 몸 또는 몸 부분의 모션에 의해 감지되는 모션 센서에 의해 검출되는 모션 방향의 추가 증가를 보여주는 디스플레이를 도시한다; 그리고, 도 3i는 선택된 것을 중심에 위치시키는 것 및 선택된 클러스터 객체의 활성화를 보여주는 디스플레이를 도시한다.
도 4a 내지 4d는 선택 가능한 객체를 향한 모션이 증가함에 따른 객체 및 선택 가능한 객체를 포함하는 모션 기반 선택 시퀀스를 도시하며, 활성 영역이 선택 가능한 객체의 앞쪽에 형성되게 하며, 선택이 임계 확실성 내에 있을 때까지 선택 객체가 선택 가능한 객체에 더 가까이 이동함에 따라 범위가 증가한다.
도 5a 내지 5q는 본 발명의 인력형 인터페이스를 이용하는 다른 모션 기반 선택 시퀀스를 도시한다: 도 5a는 디스플레이와 통신하는 모션 센서의 모션에 의한 활성화 이전의 디스플레이를 도시한다; 도 5b는 선택 객체 및 복수의 선택 가능한 객체를 디스플레이하기 위한 활성화 이후의 디스플레이를 도시한다; 도 5c는 선택 객체가 선택 가능한 객체를 향하여 이동되어 이를 선택 객체를 향해 이동하게 하고 서브 객체가 끌어당겨진 객체와 관련되게 한 후의 디스플레이를 도시한다; 도 5d는 선택 객체의 추가 이동 및 끌어당겨진 것을 터치하는 것을 보여주는 디스플레이를 도시한다; 도 5e는 선택 객체에 의해 터치되는 선택 객체를 보여주는 디스플레이를 도시한다; 도 5f는 선택된 객체와 병합되고 디스플레이에서 중심에 재배치된 선택 객체를 보여주는 디스플레이를 도시한다; 도 5g는 제1 선택 가능한 서브 객체를 향해 선택 객체가 이동된 후의 디스플레이를 도시한다; 5h는 선택된 서브 객체와의 병합 및 서브 객체의 동시 활성화를 보여주는 디스플레이를 도시한다; 도 5i는 선택 객체가 다른 선택 가능한 객체를 향해 이동된 후의 디스플레이를 도시한다; 도 5j는 선택된 서브 객체와의 병합 및 다른 서브 객체의 동시 활성화를 보여주는 디스플레이를 도시한다; 도 5k는 선택 객체의 모션이 선택된 객체로부터 멀어지고 임의의 서브 객체로부터 멀어지는 디스플레이를 도시한다; 도 5l은 멀어진 후에 원래 선택 디스플레이가 다시 나타난 디스플레이를 도시한다; 도 5m은 선택 객체가 제2 선택 가능한 서브 객체를 향해 이동하여 제2 객체가 그를 향하여 이동하게 하고 크기에서 증가하게 하며 동시에 관련 서브 객체를 디스플레이하게 한 후의 디스플레이를 도시한다; 도 5n은 선택 객체가 제2 선택 가능한 객체와 접촉하도록 움직인 후의 디스플레이를 도시한다; 도 5o는 이제 병합되어 중심에 위치되는 제2 선택 가능한 객체의 선택 후의 디스플레이를 도시하며, 서브 객체가 선택된 제2 객체 주위로 분포된다; 도 5p는 선택 객체가 원하는 서브 객체를 향해 이동된 후의 디스플레이를 도시한다; 그리고, 도 5q는 서브 객체와의 병합 후의 디스플레이를 도시하며, 서브 객체를 동시에 활성화한다.
도 6a는 활성 객체, 전화 번호 객체 세트, 백스페이스 객체(BS)와 삭제 객체(Del) 및 전화 번호 디스플레이 객체를 포함하는 디스플레이와 통신하는 모션 센서의 모션에 의한 활성화 이전의 디스플레이를 도시한다.
도 6b 내지 6k는 어떠한 선택 프로세스 저장 움직임 없이 하나의 전화 번호 객체로부터 다음으로의 활성 객체의 모션을 통한 디스플레이로부터의 전화 번호 선택을 도시한다.
도 6l 내지 6r은 선택 객체가 선택 가능한 객체를 향해 이동되어, 이를 선택 객체를 향해 이동시키고 서브 객체가 끌어당겨진 객체와 관련되게 한 후에 선택된 전화 번호 디스플레이를 정정하기 위한 백스페이스 객체 및 삭제 객체의 사용을 도시한다.
도 1a 내지 1m은 본 발명의 인력형 인터페이스를 사용하는 모션 기반 선택 시퀀스를 도시한다: 도 1a는 디스플레이와 통신하는 모션 센서의 모션에 의한 활성화 이전의 디스플레이를 도시한다; 도 1b는 선택 객체 및 복수의 선택 가능한 객체를 디스플레이하기 위한 활성화 이후의 디스플레이를 도시한다; 도 1c는 선택 객체가 선택 가능한 객체의 그룹을 향하여 이동된 후의 디스플레이를 도시한다; 도 1d는 선택 가능한 객체의 그룹이 선택 객체를 향하여 끌어당겨진 후의 디스플레이를 도시한다; 도 1e는 그룹의 객체를 구별하게 하는 선택 객체의 추가 움직임을 보여주는 디스플레이를 도시하며, 선택 객체는 그룹 멤버 중 하나를 터치한다; 도 1f는 터치된 멤버와 선택 객체를 도시하며, 터치되지 않는 객체가 이전 위치로 복귀된다; 도 1g는 선택된 객체와 디스플레이의 중심에 재위치 설정된 선택 객체의 병합을 보여주는 디스플레이를 도시한다; 도 1h는 선택된 객체, 선택 객체 및 선택된 객체와 관련된 요소를 보여주는 디스플레이를 도시한다; 도 1i는 선택 객체를 향해 이동되었으며 크기가 증가한 선택 가능한 서브 객체의 그룹을 향해 선택 객체가 이동된 후의 디스플레이를 도시한다; 도 1j는 선택 객체를 향해 이동되었으며 크기가 증가한 다른 선택 가능한 서브 객체를 직접 향하여 다른 방향으로 선택 객체가 이동된 후의 디스플레이를 도시한다; 도 1k는 선택 객체의 추가 모션이 선택 가능한 서브 객체를 터치한 후의 디스플레이를 도시한다; 도 1l은 선택에 따라 실행된 선택 객체 및 선택된 서브 객체의 병합 후의 디스플레이를 도시한다; 그리고, 도 1m은 도 1g의 선택된 멤버의 병합 및 활성화 후의 디스플레이를 도시한다.
도 2a 내지 2w는 본 발명의 인력형 인터페이스를 이용하는 다른 모션 기반 선택 시퀀스를 도시한다: 도 2a는 디스플레이와 통신하는 모션 센서의 모션에 의한 활성화 이전의 디스플레이를 도시한다; 도 2b는 선택 객체 및 복수의 선택 가능한 객체를 디스플레이하기 위한 활성화 이후의 디스플레이를 도시한다; 도 2c는 선택 객체가 선택 가능한 객체를 향하여 이동되어 이를 선택 객체를 향해 이동하게 하고 서브 객체가 끌어당겨진 객체와 관련되게 한 후의 디스플레이를 도시한다; 도 2d는 선택 객체의 추가 이동 및 끌어당겨진 객체를 터치하는 것을 보여주는 디스플레이를 도시한다; 도 2e는 선택 객체에 의해 터치되는 선택 객체를 보여주는 디스플레이를 도시한다; 도 2f는 선택된 객체와 병합되고 디스플레이에서 중심에 재배치된 선택 객체를 보여주는 디스플레이를 도시한다; 도 2g는 제1 선택 가능한 서브 객체를 향해 선택 객체가 이동된 후의 디스플레이를 도시한다; 2h는 선택된 서브 객체와의 병합 및 서브 객체의 동시 활성화를 보여주는 디스플레이를 도시한다; 도 2i는 선택 객체가 다른 선택 가능한 객체를 향해 이동된 후의 디스플레이를 도시한다; 도 2j는 선택된 서브 객체와의 병합 및 다른 서브 객체의 동시 활성화를 보여주는 디스플레이를 도시한다; 도 2k는 선택 객체의 모션이 선택된 객체로부터 멀어지고 임의의 서브 객체로부터 멀어지는 디스플레이를 도시한다; 도 2l은 멀어진 후에 원래 선택 디스플레이가 다시 나타난 디스플레이를 도시한다; 도 2m은 선택 객체가 제2 선택 가능한 서브 객체를 향해 이동하여 제2 객체가 그를 향하여 이동하게 하고 크기에서 증가하게 하며 동시에 관련 서브 객체를 디스플레이하게 한 후의 디스플레이를 도시한다; 도 2n은 선택 객체가 제2 선택 가능한 객체와 접촉하도록 움직인 후의 디스플레이를 도시한다; 도 2o는 이제 병합되어 중심에 위치되는 제2 선택 가능한 객체의 선택 후의 디스플레이를 도시하며, 서브 객체가 선택된 제2 객체 주위로 분포된다; 도 2p는 선택 객체가 원하는 서브 객체를 향해 이동된 후의 디스플레이를 도시한다; 도 2q는 서브 객체와의 병합 후의 디스플레이를 도시하며, 서브 객체를 동시에 활성화한다; 도 2r은 선택 객체가 제2 선택 가능한 서브 객체를 향해 이동되어 제3 객체가 그에 향하여 이동하게 하고 크기에서 증가하게 하며 동시에 관련된 서브 객체를 디스플레이게 한 후의 디스플레이를 도시한다; 도 2s는 선택 객체가 제3 선택 가능한 객체와 접촉하도록 움직인 후의 디스플레이를 도시한다; 도 2t는 이제 병합되어 중심에 위치되는 제3 선택 가능한 객체의 선택 후의 디스플레이를 도시하며, 서브 객체가 선택된 제3 선택 가능한 객체 주위로 분포된다; 도 2u는 선택 객체가 제4 선택 가능한 서브 객체를 향해 이동되어 제4 객체가 선택 객체를 향하게 이동하게 하고 크기에서 증가되게 한 후의 디스플레이를 도시한다; 도 2v는 선택 객체가 제4 선택 가능한 객체와 접촉하도록 움직인 후의 디스플레이를 도시한다; 그리고, 도 2w는 이제 병합되어 중심에 있는 제4 선택 가능한 객체의 선택 및 객체의 활성화 후의 디스플레이를 도시한다.
도 3a 내지 3i는 본 발명의 인력형 인터페이스를 이용하는 다른 모션 기반 선택 시퀀스를 도시한다; 도 3a는 디스플레이와 통신하는 모션 센서의 모션에 의한 활성화 이전의 디스플레이를 도시한다; 도 3b는 디스플레이 영역에서 무게 중심 주위에 분포된 선택 가능한 객체 클러스터의 상위 레벨을 디스플레이하기 위한 활성화 후의 디스플레이를 도시한다; 도 3c는 각각의 클러스터 내의 객체를 도시한다; 도 3d는 모션 센서의 활성 구역 내에서 몸 또는 몸 부분의 모션에 의해 감지되는 모션 센서에 의해 검출된 모션의 방향을 보여주는 디스플레이를 도시한다; 도 3e는 모션 센서에 의해 감지된 모션의 방향과 정렬된 가장 가능성 있는 클러스터의 예측을 보여주는 디스플레이와, 예측된 클러스터와 관련된 클러스터 객체의 디스플레이를 도시한다; 도 3f는 향상된 구별을 위한 클러스터 객체의 분산과, 모션 센서의 활성 구역 내에서 몸 부분의 모션에 의해 감지되는 모션에 의해 검출되는 모션의 증가된 방향을 보여주는 디스플레이를 도시한다; 도 3g는 더욱 이격된 구성으로 디스플레이된 마지막 부분에 의해 구별되는 객체의 끌어당김을 보여주는 디스플레이를 도시한다; 도 3h는 클러스터 객체의 완전한 구별을 허용하는 모션 센서의 활성 구역 내에서 몸 또는 몸 부분의 모션에 의해 감지되는 모션 센서에 의해 검출되는 모션 방향의 추가 증가를 보여주는 디스플레이를 도시한다; 그리고, 도 3i는 선택된 것을 중심에 위치시키는 것 및 선택된 클러스터 객체의 활성화를 보여주는 디스플레이를 도시한다.
도 4a 내지 4d는 선택 가능한 객체를 향한 모션이 증가함에 따른 객체 및 선택 가능한 객체를 포함하는 모션 기반 선택 시퀀스를 도시하며, 활성 영역이 선택 가능한 객체의 앞쪽에 형성되게 하며, 선택이 임계 확실성 내에 있을 때까지 선택 객체가 선택 가능한 객체에 더 가까이 이동함에 따라 범위가 증가한다.
도 5a 내지 5q는 본 발명의 인력형 인터페이스를 이용하는 다른 모션 기반 선택 시퀀스를 도시한다: 도 5a는 디스플레이와 통신하는 모션 센서의 모션에 의한 활성화 이전의 디스플레이를 도시한다; 도 5b는 선택 객체 및 복수의 선택 가능한 객체를 디스플레이하기 위한 활성화 이후의 디스플레이를 도시한다; 도 5c는 선택 객체가 선택 가능한 객체를 향하여 이동되어 이를 선택 객체를 향해 이동하게 하고 서브 객체가 끌어당겨진 객체와 관련되게 한 후의 디스플레이를 도시한다; 도 5d는 선택 객체의 추가 이동 및 끌어당겨진 것을 터치하는 것을 보여주는 디스플레이를 도시한다; 도 5e는 선택 객체에 의해 터치되는 선택 객체를 보여주는 디스플레이를 도시한다; 도 5f는 선택된 객체와 병합되고 디스플레이에서 중심에 재배치된 선택 객체를 보여주는 디스플레이를 도시한다; 도 5g는 제1 선택 가능한 서브 객체를 향해 선택 객체가 이동된 후의 디스플레이를 도시한다; 5h는 선택된 서브 객체와의 병합 및 서브 객체의 동시 활성화를 보여주는 디스플레이를 도시한다; 도 5i는 선택 객체가 다른 선택 가능한 객체를 향해 이동된 후의 디스플레이를 도시한다; 도 5j는 선택된 서브 객체와의 병합 및 다른 서브 객체의 동시 활성화를 보여주는 디스플레이를 도시한다; 도 5k는 선택 객체의 모션이 선택된 객체로부터 멀어지고 임의의 서브 객체로부터 멀어지는 디스플레이를 도시한다; 도 5l은 멀어진 후에 원래 선택 디스플레이가 다시 나타난 디스플레이를 도시한다; 도 5m은 선택 객체가 제2 선택 가능한 서브 객체를 향해 이동하여 제2 객체가 그를 향하여 이동하게 하고 크기에서 증가하게 하며 동시에 관련 서브 객체를 디스플레이하게 한 후의 디스플레이를 도시한다; 도 5n은 선택 객체가 제2 선택 가능한 객체와 접촉하도록 움직인 후의 디스플레이를 도시한다; 도 5o는 이제 병합되어 중심에 위치되는 제2 선택 가능한 객체의 선택 후의 디스플레이를 도시하며, 서브 객체가 선택된 제2 객체 주위로 분포된다; 도 5p는 선택 객체가 원하는 서브 객체를 향해 이동된 후의 디스플레이를 도시한다; 그리고, 도 5q는 서브 객체와의 병합 후의 디스플레이를 도시하며, 서브 객체를 동시에 활성화한다.
도 6a는 활성 객체, 전화 번호 객체 세트, 백스페이스 객체(BS)와 삭제 객체(Del) 및 전화 번호 디스플레이 객체를 포함하는 디스플레이와 통신하는 모션 센서의 모션에 의한 활성화 이전의 디스플레이를 도시한다.
도 6b 내지 6k는 어떠한 선택 프로세스 저장 움직임 없이 하나의 전화 번호 객체로부터 다음으로의 활성 객체의 모션을 통한 디스플레이로부터의 전화 번호 선택을 도시한다.
도 6l 내지 6r은 선택 객체가 선택 가능한 객체를 향해 이동되어, 이를 선택 객체를 향해 이동시키고 서브 객체가 끌어당겨진 객체와 관련되게 한 후에 선택된 전화 번호 디스플레이를 정정하기 위한 백스페이스 객체 및 삭제 객체의 사용을 도시한다.
본 발명에서 사용되는 정의
"적어도 하나(at least one)"라는 용어는 '하나 이상' 또는 '하나 또는 복수'를 의미하며, 추가로, 이러한 세 용어는 본 출원서 내에서 상호 교환 가능하게 사용될 수 있다. 예를 들어, 적어도 하나의 디바이스는 하나 이상의 디바이스, 또는 하나의 디바이스 및 복수의 디바이스를 의미한다.
"하나 또는 복수(one or plurality)"라는 용어는 하나의 항목 또는 복수의 항목을 의미한다.
"대략(about)"이라는 용어는 주어진 양에 대한 값이 언급된 값의 ±20% 이내인 것을 의미한다. 다른 실시예에서, 이 값은 언급된 값의 ±15% 이내이다. 다른 실시예에서, 이 값은 언급된 값의 ±10% 이내이다. 다른 실시예에서, 이 값은 언급된 값의 ±5% 이내이다. 다른 실시예에서, 이 값은 언급된 값의 ±2.5% 이내이다. 다른 실시예에서, 이 값은 언급된 값의 ±1% 이내이다.
"실질적으로(substantially)"라는 용어는 주어진 양에 대한 값이 언급된 값의 ±10% 이내인 것을 의미한다. 다른 실시예에서, 이 값은 언급된 값의 ±5% 이내이다. 다른 실시예에서, 이 값은 언급된 값의 ±2.5% 이내이다. 다른 실시예에서, 이 값은 언급된 값의 ±1% 이내이다.
"모션(motion)" 및 "움직임(movement)"이라는 용어는 종종 상호 교환 가능하게 사용되며, 센서의 활성 구역 내에서 모션 센서에 의해 검출될 수 있는 모션 또는 움직임을 의미한다. 따라서, 센서가 전방 조망 센서이고 전방으로 연장하는 원뿔 모양의 활성 구역 내에서 모션을 감지할 수 있다면, 소정의 임계 검출 기준을 만족하는 활성 구역 내의 어떤 것의 움직임은 모션 센서 출력을 제공할 것이며, 출력은 적어도 방향, 속도 및/또는 가속도를 포함할 수 있다. 물론, 센서는 임계 검출 기준을 가질 필요는 없고, 모션 또는 임의의 종류가 검출되는 출력을 간단히 언제든지 생성할 수 있다. 그 다음, 처리 유닛은 모션이 동작 가능한 모션 또는 움직임인지 동작 불가능한 모션 또는 움직임인지 판단할 수 있다.
"모션 센서(motion sensor)" 또는 "모션 감지 컴포넌트(motion sensing component)"라는 용어는, 센서 또는 컴포넌트의 주요 기능이 모션 감지인지 여부에 관계없이, 활성 구역 - 영역 또는 용적(volume) 내에서 어떤 것에 의한 임의의 종류의 모션을 감지할 수 있는 임의의 센서 또는 컴포넌트를 의미한다.
"실제 객체(real object 또는 real world object)"라는 용어는 처리 유닛에 의해 제어될 수 있는 임의의 실제 디바이스 또는 물품을 의미한다. 실제 객체는 물리, 기계, 전기 기계, 자기, 전자기, 전기 또는 전자 디바이스를 포함하는 실제 존재하는 객체 또는 물품이나, 처리 유닛에 의해 제어될 수 있는 임의의 다른 실제 디바이스를 포함한다.
"가상 객체(virtual object)"는 가상 세계에서 또는 컴퓨터에 의해 생성되고 디스플레이 디바이스에 의해 디스플레이되며 처리 유닛에 의해 제어될 수 있는 임의의 구조를 의미한다. 가상 객체는 실제 존재를 가지지 않지만 처리 유닛에 의해 여전히 제어될 수 있는 객체를 포함한다. 이러한 객체들은 아이콘, 리스트 요소, 메뉴 요소, 생성된 그래픽 객체, 2D 및 3D 그래픽 이미지 또는 객체, 생성된 사람, 생성된 동물, 생성된 디바이스, 생성된 식물, 생성된 풍경 및 풍경 객체, 생성된 바다 풍경 및 바다 풍경 객체, 생성된 하늘 풍경 및 하늘 풍경 객체와 같은 생성된 실제 객체, 또는 임의의 다른 생성된 실제 또는 가상 객체와 같은 소프트웨어 시스템, 제품 또는 프로그램 내의 요소를 포함한다.
"엔티티(entity)"라는 용어는 인간 또는 동물 또는 로봇 또는 로봇 시스템(자동 또는 반자동(non-autonomous))을 의미한다.
"엔티티 객체(entity object)"는 인간 또는 인간의 부분(손가락, 손, 발가락, 발, 팔, 다리, 눈, 머리, 몸 등), 동물 또는 동물의 부분(손가락, 손, 발가락, 발, 팔, 다리, 눈, 머리, 몸 등) 또는 인간이나 동물 또는 로봇의 지배 하에 있는 실제 객체를 의미하며, 인간 또는 동물이나 로봇에 의해 직접 또는 간접적으로 제어될 수 있는 포인터(pointer), 스틱 또는 임의의 다른 실제 객체와 같은 물품을 포함한다.
본 발명의 상세한 설명
본 발명자는, 1) 모션에 기초하여 선택 가능한 객체를 구별하고, 2) 방향, 속도, 가속도 또는 이들의 변화를 포함하는 감지된 모션의 특성에 기초하여 선택 객체를 향하여 선택 가능한 객체를 끌어당기고, 그리고 3) 특정의 또는 목표인 선택 가능한 객체 또는 선택 가능한 객체의 특정 그룹 또는 목표인 선택 가능한 객체(들)와의 선택 객체의 "접촉(contact)"에 대한 속성 또는 속성들을 선택하고 동시에 활성화하기 위하여, 사용자 피드백 장치 상에서 또는 그 내에서 선택 객체의 모션 또는 움직임으로 변환되는 모션 센서의 활성 센서 구역 내에서의 모션 또는 움직임을 사용하는 선택 인력형 또는 조작형 장치, 시스템 및/또는 인터페이스가 구성될 수 있다는 것을 발견하였으며, 여기에서, 접촉은, 1) 선택 객체가 실제로 목표인 선택 가능한 객체를 터치하거나 그 내부로 이동하거나, 2) 목표인 선택 가능한 객체를 둘러싸는 활성 구역(영역 또는 용적(volume))을 터치하거나 그 내부로 이동하거나, 3) 선택 객체 및 목표인 선택 가능한 객체가 병합되거나, 4) 트리거링 이벤트가 목표인 선택 가능한 객체 또는 이와 관련된 활성 구역에 대한 근접한 접근에 기초하여 발생하거나, 또는 5) 예측된 선택에 기초한 트리거링 이벤트가 임계 확실성을 만족한다는 것을 의미한다. 터치, 병합 또는 트리거링 이벤트는 처리 유닛이 객체를 선택 및 활성화하고, 객체 속성 리스트를 선택 및 활성화하고, 조정 가능한 속성을 선택, 활성화 및 조정하게 한다. 객체는, 1) 장치, 시스템 또는 인터페이스의 제어 하에 있는 실제 디바이스, 2) 실제 디바이스 속성 및 실제 디바이스의 제어 가능한 속성, 3) 소프트웨어 제품, 소프트웨어 시스템, 소프트웨어 컴포넌트, 소프트웨어 객체, 소프트웨어 속성, 센서의 활성 영역을 포함하는 소프트웨어, 4) 생성된 emf 필드, RF 필드, 마이크로웨이브 필드, 또는 다른 생성된 필드, 5) 전자기 파형, 음파 파형, 초음파 파형, 및/또는 6) 이들의 혼합 및 조합을 포함하는, 실제 및/또는 가상 객체를 나타낼 수 있다. 또한, 본 발명의 장치, 시스템 및 인터페이스는 이와 유선 또는 무선 통신하는 원격 제어 유닛을 포함할 수 있다. 또한, 발명자는 모션 또는 움직임의 속도(속력 및 방향)가 선택 객체를 향해 하나의 선택 가능한 객체 또는 선택 가능한 객체의 그룹을 풀링하거나 끌어당기기 위하여 장치, 시스템 또는 인터페이스에 의해 사용될 수 있으며, 속력을 증가시키는 것은 객체의 끌어당김의 레이트를 증가시키는데 사용될 수 있으며, 모션 속력을 감소시키는 것은 객체의 끌어당김의 레이트를 더 느리게 하는데 사용된다는 것을 발견하였다. 또한, 본 발명자들은 끌어당겨진 객체가 선택 객체를 향해 이동함에 따라, 이는 변경된 크기, 변경된 색상, 변경된 형상, 객체 형태의 변경된 선 굵기, 강조, 깜박이도록 변경 또는 이들의 조합과 같은 소정의 방식으로 증강될 수 있다는 것을 발견하였다. 동시에, 동기식으로 또는 비동기식으로, 서브 메뉴 또는 서브 객체가 또한 선택된 객체의 움직임 또는 변화에 관련하여 이동하거나 변화할 수 있다. 동시에, 동기식으로 또는 비동기식으로, 선택되지 않은 객체는 선택 객체(들)로부터 멀리 이동할 수 있다. 워드 객체가 사용될 때마다, 이는 객체의 의미를 포함할 수 있으며, 이러한 객체는 개별적, 동시적 및/또는 조합된 명령 함수를 동시에 수행할 수 있거나 조합된 함수를 발행하기 위하여 처리 유닛에 의해 사용될 수 있다는 것이 주목되어야 한다.
소정의 실시예에서, 선택 객체가 목표 객체를 향해 이동함에 따라, 목표 객체는 선택 객체를 향해 이동함에 따라 더 커질 것이다. 우리가 찾고 있는 효과를 개념화하는 것이 중요하다. 효과는 공간에서 객체의 인력의 효과와 유사하게 될 것이다. 공간에서의 2개의 객체는 이들의 질량의 곱에 비례하고 객체 사이의 거리의 제곱에 반비례하는 인력에 의해 끌어당겨진다. 객체가 서로를 향하여 이동함에 따라, 인력은 증가하여, 서로를 향해 점점 더 빠르게 끌어당긴다. 인력의 정도는 거리가 감소함에 따라 증가하고 더 가까워짐에 따라 더 커진다. 반대로, 객체가 가깝고 한 객체가 멀리 이동되면, 인력은 감소하고 객체는 더 작아진다. 본 발명에서, 선택 가능한 객체로부터 멀어지는 선택 객체의 모션은 원래 선택 스크린으로 또는 "뒤로(back)"나 "실행 취소(undo)" 이벤트와 매우 유사하게 마지막 선택 스크린으로 디스플레이를 다시 복귀시키는 리셋 역할을 할 수 있다. 따라서, 사용자 피드백 유닛(예를 들어, 디스플레이)이 최상위 디스플레이로부터 한 레벨 아래에 있다면, 임의의 선택 가능한 객체로부터 멀어지는 움직임은 디스플레이를 메인 레벨로 다시 회복시킬 것이다. 디스플레이가 소정의 서브 레벨에 있다면, 이 서브 레벨에서 선택 가능한 객체로부터 멀어지는 움직임은 한 서브 베렐 위로 이동할 것이다. 따라서, 선택 가능한 객체로부터 멀어지는 모션은 상위로 진행하는 역할을 하며, 서브 레벨을 갖는 선택 가능한 객체를 향한 모션은 하위로 진행하는 동작을 제공한다. 물론, 선택 가능한 객체가 직접 활성 가능하면, 이를 향한 모션은 이를 선택하여 활성화한다. 따라서, 객체가 사진 찍기와 같은 실행 가능한 루틴이면, 선택 객체와 접촉하거나, 활성 영역과 접촉하거나, 예측 가능한 임계 확실 선택에 의해 트리거되는 것은 객체를 선택하고 동시에 활성화한다. 인터페이스가 활성화되면, 선택 객체 및 항목의 디폴트 메뉴가 사용자 피드백 유닛 상에서 또는 그 내에서 활성화될 수 있다. 선택 가능한 객체를 향하는 모션의 방향 또는 선택 가능한 객체 주위의 활성 영역에 대한 근접도가 선택 확률을 증가시키는 것이라면, 항목의 디폴트 메뉴가 선택 가능한 위치에 나타나거나 그 내로 이동할 수 있거나, 또는 활성 영역 내로 이동하거나 객체에 대한 조작이 발생하고, 동시에, 선택 또는 활성화 또는 이 양자를 발생시키도록 그 방향으로 단지 이동함으로써, 또는 선택, 활성화 또는 2가지의 조합이 발생하도록 객체에 근접하게 활성 영역에 도달할 때까지 그 방향으로 이동함으로써, 선택되도록 준비된 위치로 서브 객체 또는 서브 메뉴가 이동하게 하는 방향으로 이동함으로써 객체가 실제로 선택되기 전에 초기 객체의 위치를 취할 수 있다. 선택 객체 및 선택 가능한 객체(메뉴 객체)는 각각 균등한 질량 또는 1의 인력값을 할당받는다. 선택 객체가 실제와는 반대로 디스플레이 영역에서 본 인터페이스에서의 선택 가능한 객체를 향해 이동함에 따라 발생하는 것 사이의 차이는, 선택 가능한 객체가 단지 다른 선택 가능한 객체로부터가 아닌 선택 객체로부터 인력 효과를 느낀다는 것이다. 따라서, 본 발명에서, 선택 가능한 객체는 끌어당기는 것이며, 선택 가능한 객체들은 비상호작용적이거나, 또는 가능하게는 심지어 서로 밀친다. 선택 객체가 모션 센서 활성 영역 내에서 사용자에 의한 모션(활성 구역에서의 손가락 모션과 같은)에 응답하여 이동됨에 따라, 처리 유닛은 모션을 매핑하고, 모션의 대체적인 방향으로 선택 가능한 객체를 향하여 선택 객체의 대응하는 움직임 또는 모션을 생성한다. 그 다음, 처리 유닛은 모션의 투영된 방향을 결정하고, 모션의 투영된 방향에 기초하여 선택 객체의 인력 필드 또는 인력이 모션 방향과 가장 가깝게 정렬된 예측된 선택 가능한 객체 또는 객체들에 의해 느껴지게 한다. 또한, 이러한 객체는 선택된 객체(들)의 움직임에 관련하여 움직이는 서브 메뉴 또는 서브 객체를 포함할 수 있다. 효과는 이동하거나 확장하는 필드, 또는 필드와 상호작용하는 필드와 매우 유사할 수 있으며, 필드(들) 내부의 객체는 선택 객체로부터의 고유 각도가 존재하여 선택 가능한 객체 또는 객체 그룹을 향하는 움직임이 상이한 객체 또는 객체 그룹을 향하는 움직임으로부터 식별될 수 있도록 멀리 확장하고 이동할 수 있거나, 또는 라인에서 제2의 또는 더 많은 객체의 방향으로의 터치되었거나 근접한 연속된 모션이 객체가 선택되지 않을 수 있게 하거나, 아니면 모션이 정지하거나 모션 방향으로의 마지막 객체가 도달될 때 선택이 이루어지게 하고 선택될 것이다. 처리 유닛은 디스플레이가 이러한 객체를 선택 가능한 객체로 이동시키게 한다. 선택 가능한 객체가 이동하는 방식은 선택 객체를 향해 일정한 속도로 이동하는 것이거나, 움직임이 선택 가능한 객체에서 초점을 맞춤에 따라 증가하는 가속도 크기로 선택 객체를 향해 가속하는 것일 수 있다. 사람에 의해 이동된 거리와 속력 또는 가속도는 선택 객체를 향한 선택 가능한 객체의 인력의 정도 또는 움직임의 정도를 복합할 수 있다. 소정의 상황에서, 선택된 객체가 사용자로부터 멀리 이동하는 것이 더 바람직할 때 음의 인력 효과가 사용될 수 있다. 객체의 이러한 모션은 끌어당기는 것으로 전술된 것과 반대일 수 있다. 모션이 계속됨에 따라, 처리 유닛은 경쟁하는 선택 가능한 객체를 더 양호하게 구별할 수 있으며, 더 가까이 정렬된 것 또는 것들이 더 가까이 끌어당겨지거나 분리될 수 있고, 다른 것들이 원래 위치로 물러나거나 제거되거나 또는 흐려지게 된다. 모션이 50%보다 더 큰 확실성을 갖는 임계값 이상의 확실성을 갖는 특정의 선택 가능한 객체를 직접 향하면, 선택 객체 및 선택 가능한 객체는 병합되고, 선택 가능한 객체가 동시에 선택 및 활성화된다. 이 대신에, 선택 객체의 방향, 속력 및/또는 가속도가 선택 가능한 객체의 확률이 선택을 제공하기에 충분하도록 하는 것이라면, 또는 선택 가능한 객체를 둘러싸는 활성 영역에 대한 근접도가 선택, 활성화 또는 이 양자를 위한 임계가 발생하게 하는 것이라면, 선택 가능한 객체는 선택 객체와 병합하기 전에 선택될 수 있다. 선택 가능한 객체가 50%보다 더 큰 선택 임계값을 가진다고 처리 유닛이 판단할 수 있을 때까지 모션이 계속되며, 이는 정확한 목표 객체가 선택되었을 가능성이 있다는 것을 의미한다. 소정의 실시예에서, 선택 임계값은 적어도 60%일 것이다. 다른 실시예에서, 선택 임계값은 적어도 70%일 것이다. 다른 실시예에서, 선택 임계값은 적어도 80%일 것이다. 또 다른 실시예에서, 선택 임계값은 적어도 90%일 것이다.
소정의 실시예에서, 선택 객체는 디스플레이 스크린 상에 실제로 나타날 것이고, 다른 실시예에서, 선택 객체는 프로세서 소프트웨어에서 단지 가상으로 존재할 것이다. 예를 들어, 터치 스크린과 같은 물리적 접촉을 필요로 하는 모션 센서에 대하여, 선택 객체는 디스플레이될 수 있고 그리고/또는 가상적일 수 있으며, 스크린에서의 모션은 선택 가능한 객체의 디폴트 집합으로부터 어느 선택 가능한 객체가 인지되거나 미리 정의된 가상 선택 객체의 위치를 향해 또는 디스플레이된 선택 객체의 경우에 선택 객체를 향해 이동되는지를 판단하는데 사용되며, 가상 객체는, 모션이 디폴트 선택에서의 위치와 정렬할 때, 디스플레이의 중심이나 선택 가능한 객체가 끌어당겨지는 디폴트 위치와 같이 소프트웨어에서 단순히 존재한다. 활성 구역 내에서 모션을 검출하고 그 모션을 나타내는 출력을 감지되거나 검출된 모션의 방향, 속력 및/또는 가속도 특성을 판단할 수 있는 처리 유닛으로 생성할 수 있는 카메라, IR 센서, 음파 센서 또는 다른 센서와 같이, 활성 영역을 갖는 모션 센서의 경우, 선택 객체는 대체로 가상적이며, 사용자의 하나 이상의 몸 부분의 모션은 선택 가능한 객체 또는 선택 가능한 객체의 그룹을 선택 객체의 위치로 끌어당기는데 사용되며, 예측 소프트웨어가 선택 가능한 개체의 그룹을 좁히고 특정의 선택 가능한 객체, 객체들, 객체 및 속성, 및/또는 속성에 영점을 맞추는데 사용된다. 소정의 실시예에서, 인터페이스는, 인터페이스와 관련된 모션 센서 또는 센서들의 활성 구역 내에서의 사용자 또는 사용자의 몸 부분의 움직임에 의해 슬립(sleep) 상태로부터 활성화된다. 활성화되면, 인터페이스와 관련된 디스플레이와 같은 피드백 유닛이 사용자 식별 가능한 방식으로 선택 가능한 객체의 디폴트 세트 또는 선택 가능한 객체의 최상위 레벨 세트를 디스플레이하거나 명시한다. 선택 가능한 객체는 유사한 객체의 관련 그룹으로 클러스터링되거나, 또는 선택 객체가 디스플레이 상에 또는 다른 종류의 피드백 유닛 내 또는 그 상에 생성되지 않는다면, 인력의 무게 중심 주위로 균일하게 분포될 것이다. 하나의 모션 센서가 눈 모션에 민감하면, 눈의 모션은 디스플레이 스크린과 같은 피드백 유닛 상에서 잠재적인 목표 객체를 끌어당기고 이를 구별하는데 사용될 것이다. 인터페이스가 눈 단독 인터페이스이면, 눈 모션은 선택 가능한 객체를 무게 중심으로 끌어당기고 이를 구별하는데 사용될 것이며, 선택 및 활성화는 선택 임계가 초과되었을 때(선택 가능한 객체가 모든 다른 객체보다도 모션의 방향과 더 가깝게 정렬된다는 50%의 신뢰도보다 더 클 때) 발생한다. 방향과 함께 모션의 속력 및/또는 가속도가, 무게 중심을 향하여 잠재적인 목표 객체를 더 빠르게 끌어당기고 그 크기를 증가시키며, 그리고/또는 이들의 상대적 분리를 증가시키는 것으로 구별을 향상시키는데 더 사용된다. 또한, 선택 가능한 객체에 대한 근접도가 또한 선택을 확인하는데 사용될 수 있다. 이 대신에, 인터페이스가 눈 및 다른 몸 부분 인터페이스라면, 눈 모션은 1차(primary) 모션 드라이버 역할을 하고, 다른 몸 부분의 모션은 눈 움직임 선택의 확인 역할을 한다. 따라서, 눈 모션이 선택 가능한 객체를 한 그룹으로 한정하면, 다른 몸 부분의 모션은 특정 객체를 추가로 구별 및/또는 선택/활성화하기 위하여 처리 유닛에 의해 사용될 수 있거나, 또는 특정 객체가 임계값에 만족하여 무게 중심과 병합하면, 객체 몸 부분의 모션은 임계 신뢰도에 관계없이 선택을 확인하거나 거부하는데 사용될 수 있다. 다른 실시예에서, 모션 센서 및 처리 유닛은 몸 부분의 주어진 구조 또는 2 이상의 몸 부분의 주어진 결합된 모션에 의해 호출되는 미리 정해진 동작의 세트를 가질 수 있다. 예를 들어, 활성화에 따라, 모션 센서가 이미지를 분석할 수 있다면, 주먹인 0개로부터 펼쳐진 손인 5개까지 상이한 개수의 손가락을 편 손은 처리 유닛이 상이한 기본 메뉴를 디스플레이하게 할 수 있다. 예를 들어, 주먹은 처리 유닛이 최상위 레벨 메뉴를 디스플레이하게 할 수 있고, 하나의 손가락은 처리 유닛이 특정 서브 메뉴를 디스플레이하게 할 수 있다. 선택 가능한 객체의 특정의 세트가 디스플레이되면, 모션은 동시에 선택되어 활성화되는 목표 객체를 끌어당긴다. 다른 실시예에서, 확인은 단어, 음성 노이즈, 미리 정해진 음성 노이즈, 박수, 찰칵하는 소리, 또는 사용자에 의해 생성된 다른 오디오 제어형 사운드를 포함할 수 있다; 다른 실시예에서, 확인은 시각적, 청각적 또는 촉각적 효과, 또는 이러한 효과의 조합일 수 있다.
본 발명의 실시예는, 모션 센서를 통해 스크롤 휠을 활성화하기에 충분한 원형 움직임을 감지하는 단계와, 스크롤 휠과 관련된 리스트를 스크롤하는 단계를 포함하는 방법 및 그 방법을 구현하는 시스템을 제공하고, 중심으로 가까워지는 움직임은 더 빠른 스크롤을 발생시키고, 중심으로부터 멀어지는 움직임은 더 느린 스크롤을 발생시키고, 동시에 더 빠른 원형 움직임은 더 빠른 스크롤을 발생시키고, 더 느린 원형 움직임은 더 느린 스크롤을 발생시킨다. 사용자가 매우 짧은 순간 동안이라도 원형 모션을 중지할 때, 사용자가 특정 객체로 이동하거나, 특정 객체 위로 홀딩하거나, 또는 특정 객체에서나 그 근처에서 모션 방향을 변경할 수 있도록, 리스트는 고정된다. 전체 휠 또는 부분적인 양의 휠이 디스플레이될 수 있거나, 아크(arc)만이 디스플레이될 수 있어, 스크롤은 아크를 위 아래로 움직인다. 이러한 동작은 처리 유닛이 특정 객체를 선택하게 하거나, 특정 객체를 동시에 선택 및 활성화하게 하거나, 또는 객체의 속성을 동시에 선택, 활성화 및 제어하게 한다. 원형 모션을 다시 시작함으로써, 스크린의 어디에서든 스크롤이 즉시 재개된다. 물론, 스크롤은 값의 리스트를 스크롤하는 것이거나, 또는 값도 실제로 제어하는 것일 수 있다.
또한, 본 발명의 실시예는, 디스플레이 필드에 선택 가능한 객체의 아치형(arcuate) 메뉴 레이아웃을 디스플레이하는 단계, 선택된 객체가 중심을 향해 이동함에 따라, 객체를 향한 움직임을 감지하여 움직임의 방향, 속력 및/또는 가속도에 기초하여 중심을 향해 객체를 끌어당기는 단계, 선택된 객체 주위에서 아치형으로 이격된 구성으로 분포되어 나타나도록 서브 객체를 디스플레이하는 단계를 포함하는 방법 및 그 방법을 구현하는 시스템을 제공한다. 장치, 시스템 및 방법은 감지하는 동작과 디스플레이하는 동작을 반복할 수 있다.
본 발명의 실시예는, 감지된 움직임의 특성에 기초하여 객체의 선택을 예측하는 단계를 포함하는 방법 및 그 방법을 구현하는 시스템에 관한 것으로, 특성은, 방향, 속력, 가속도, 이들의 변경, 또는 이들의 조합을 포함한다. 예를 들어, 더 빠른 속력이 예측 가능성을 증가시키고 더 느린 속력이 예측 가능성을 감소시킬 수 있거나, 그 반대가 될 수 있다. 이 대신에, 평균적으로 움직이는 것은 원하는 객체를 추론하는데 사용될 수 있다. 이와 함께, "인력적인(gravitational)", "전기적인(electric)" 그리고/또는 "자기적인(magnetic)" 끌어당기거나 밀쳐내는 효과가 방법 및 시스템에 의해 활용되며, 이에 의해 선택 가능한 객체는 사용자 또는 선택 객체로 이동하고, 사용자 또는 선택 객체와 선택 가능한 객체가 더 가까워짐에 따라 사용자 또는 선택 객체를 향하여 가속한다. 또한, 이것은 특정의 선택 가능한 객체를 향하여 모션을 시작하는 사용자, 사용자 또는 선택 객체를 향하여 가속하기 시작하는 특정의 선택 가능한 객체 및 움직임을 정지하는 사용자 및 선택 객체에 의해 발생할 수 있다. 소정의 실시예에서, 사용자 또는 선택 객체가 멀어지게 이동함에 따라 반대 효과가 발생한다 - 서로 가까이 있는 것에서 시작하여, 특정의 선택 가능한 객체가 빠르게 멀리 이동하지만, 거리가 증가됨에 따라 그 반발 정도를 느리게 하여, 매우 부드러운 모습을 만든다. 상이한 사용에서, 특정의 선택 가능한 객체는 멀리 가속하거나 자신의 원래 또는 미리 정해진 위치로 즉시 복귀할 수 있다. 임의의 이러한 환경에서, 동적 상호 작용이 사용자 또는 선택 객체와 특정의 선택 가능한 객체(들) 사이에 발생하고, 조정 가능하거나 호출 가능한 관련된 서브 메뉴 또는 서브 객체 및/또는 관련된 속성을 선택 및 제어하는 것 또는 선택 해제 및 제어하는 것을 포함하는 선택 및 제어와 선택 해제 및 제어가 발생할 수 있다.
본 발명의 실시예는, 각각의 개인에 대하여 고유 마커를 제공하는 손가락 또는 눈과 같은 몸 부분의 특정 움직임 및 움직임 측정을 포함하는, 사용자로부터 나오는 지문, 지문들, 장문(palm print), 망막 무늬, 손가락, 손바닥, 눈(들), 손(들), 얼굴 등의 크기, 형상 및 텍스처와 같은 사용자의 적어도 하나의 생체 운동 특성 또는 음파 센서, 열 센서, 광 센서, 용량성 센서, 저항성 센서 또는 EMF 필드나 다른 특성을 검출할 수 있는 다른 센서에 의해 검출 가능한 적어도 하나의 EMF, 음향, 열 또는 광 특성, 또는 이들의 조합을 검출하는 단계와, 생체 운동 특성으로부터 사용자의 신원을 판단하는 단계와, 여기에서 설명된 바와 같은 움직임을 감지하는 단계를 포함하는 방법 및 그 방법을 구현하기 위한 시스템에 관한 것이다. 이러한 방식으로, 모션에 대한 기존 센서도 사용자를 고유하게 인식할 수 있다. 이러한 인식은 2 이상의 몸 부분 또는 생체 운동 특성(예를 들어, 2개의 손가락)을 이용하여, 그리고 심지어 사용자가 센서 필드 내에 들어갈 때 함께 쥐어 짜는 것과 같은 특정 작업을 수행하는 몸 부분에 의해 더 향상될 수 있다. 다른 생체 운동 및/또는 생체 측정 특성도 피부 특성 및 관절 길이 및 간격에 대한 비율과 같은 고유 사용자 식별을 위하여 사용될 수 있다. 추가적인 예는 손가락(들), 손 또는 다른 몸 부분 사이의 관계를 포함하며, 몸 부분에 의해 생성되는 간섭 패턴은 고유 정수를 생성하고 고유 디지털 서명으로서 사용될 수 있다. 예를 들어, 3D 음향 또는 EMF 필드에서의 손가락은 고유 널(null) 및 피크 포인트 또는 고유 널 및 피크 패턴을 생성할 것이며, 따라서, 필드와 상호 작용하는 "노이즈(noise)"가 고유 식별자를 생성하는데 실제로 도움을 줄 수 있다. 이것은, 소정의 거리를 이동함으로써 더 구별될 수 있으며, 모션은 노이즈에서의 간섭 패턴에 의해 더 증대되는 작은 떨림, 변동 또는 이와 유사한 것에 의해 고유하게 식별될 수 있다. 이러한 종류의 고유 식별은 터치리스(touchless) 센서 또는 터치리스 센서의 어레이를 사용할 때 가장 명확하며, 간섭 패턴(예를 들어, 음향 센서를 이용하는 것)이 손 또는 손가락 등의 크기 및 형상 때문에 존재할 수 있다. 추가적인 고유성은 보안 조회를 도울 수 있는 다른 고유의 변수로서 모션을 포함하는 것으로 판단될 수 있다.
본 발명의 실시예는, 눈 등과 같은 제1 몸 부분의 움직임을 감지하는 단계, 객체에 정지할 때까지 제1 몸 부분을 추적하는 단계, 객체를 예비적으로 선택하는 단계, 손가락, 손, 발 등과 같은 제2 몸 부분의 움직임을 감지하는 단계, 예비 선택을 확인하는 단계, 및 객체를 선택하는 단계를 포함하는 방법 및 그 방법을 구현하는 장치에 관한 것이다. 그 다음, 선택은 처리 유닛이 명령 및 제어 함수 중 하나를 호출하게 할 수 있어, 스크롤 함수, 동시 선택 및 스크롤 함수, 동시 선택 및 활성화 함수, 동시 선택, 활성화 및 속성 조정 함수 또는 이들의 조합을 발행하는 단계, 및 제1 또는 제2 몸 부분의 추가 움직임에 의해 속성을 제어하는 단계 또는 객체가 활성화를 지시받는 경우에 객체를 활성화하는 단계를 포함한다. 이러한 선택 절차는 객체로 이동하는 눈(리스트를 스크롤하거나 리스트 위로 스크롤), 선택을 확인하는 방향으로 이동하여 객체 또는 객체 그룹 또는 속성 또는 속성 그룹을 선택하는 손가락 또는 손으로 확장될 수 있다. 소정의 실시예에서, 객체가 여러 객체들 중의 중간에 있도록 객체 구성이 사전 결정되면, 눈은 그 외의 위치로 이동할 수 있지만, 손 모션은 눈과 관계없이 속성을 스크롤 또는 제어하거나, 이의 양자를 수행하는 것을 계속할 수 있다. 손과 눈은 함께 또는 독립적으로 또는 이 둘의 조합 또는 그 외의 조합으로 작용할 수 있다. 따라서, 움직임은 복합적이거나, 순차적이거나, 동시적이거나, 부분적으로 복합적이거나, 일부 복합적이거나, 또는 이들의 조합일 수 있다.
본 발명의 실시예는, 원시(raw) 움직임 데이터 세트를 생산하기 위하여 선택 절차 또는 복수의 선택 절차 동안 사용자의 움직임 캡처하는 단계를 포함하는 방법 및 그 방법을 구현하는 시스템에 관한 것이다. 또한, 방법 및 시스템은 정제된(refined) 움직임 데이터 세트를 생산하기 위하여 원시 움직임 데이터 세트를 감소시키는 단계를 포함하고, 정제는 복수의 연결된 벡터, 피트 곡선(fit curve), 스플라인(spline) 피트 곡선, 감소된 저장 크기를 갖는 임의의 다른 피팅 포맷 또는 임의의 다른 피팅 포맷으로 움직임을 감소시키는 것을 포함할 수 있다. 또한, 방법 및 시스템은 정제된 움직임 데이터 세트를 저장하는 단계를 포함할 수 있다. 또한, 방법 및 시스템은 모션 기반 시스템을 이용하여 사용자 선택 절차의 예측을 개선하기 위한 예측 도구를 생산하기 위하여, 사용자의 과거 행동을 식별하기 위한 과학 수사 도구(forensic tool)를 생산하기 위하여, 또는 인터페이스와의 사용자 상호 작용을 개선하도록 사용자 인터페이스를 훈련하기 위한 훈련 도구를 처리하기 위하여, 정제된 움직임 데이터 세트를 분석하는 단계를 포함한다.
또한, 본 발명의 실시예는, 복수의 몸 부분의 움직임을 동시에 또는 실질적으로 동시에 감지하는 단계와, 객체 또는 복수의 객체를 동시에 제어하기 위하여 감지된 움직임을 제어 함수로 변환하는 단계를 포함하는 방법 및 그 방법을 구현하는 시스템에 관한 것이다. 또한, 방법 및 시스템은 하나의 속성 또는 복수의 속성을 제어하는 단계, 또는 하나의 객체 또는 복수의 객체를 활성화하는 단계, 또는 이들의 조합을 포함한다. 예를 들어, 손이 UAV를 제어하고 있는 동안, 또는 고정 상태를 유지하는 것을 통해(마지막 알려진 명령을 계속) 또는 손이 움직이거나, 가속하거나, 가속 방향을 변경하고 있는 동안, UAV를 제어하기 위하여 돔형(domed) 표면의 상부에 손을 놓고, 돔에서 손의 움직임을 감지하고(움직임의 방향은 비행 방향과 상관된다), 돔형 표면의 상부에서 움직임 변화를 감지하고(변화는 함수의 방향, 속력 또는 가속도에서의 변화와 상관된다), 하나 이상의 손가락의 움직임을 동시에 감지한다(손가락의 움직임은 독립적인 손가락(들) 움직임을 이용하여 피치(pitch), 요(yaw), 롤(roll), 카메라 포커싱, 미사일 발사 등과 같은 UAV의 다른 특징을 제어할 수 있다). 디스플레이 디바이스가 플렉시블 스크린 또는 플렉시블 돔과 같은 플렉시블 디바이스인 소정의 실시예에서, 움직임은 또한 플렉시블 디바이스의 표면을 변형시키는 것, 표면에서의 압력을 변경하는 것 또는 유사한 표면 변형을 포함할 수 있다. 이러한 변형은 다른 모션과 함께 사용될 수 있다.
본 발명의 실시예는 디스플레이된 1차(primary) 객체 및 숨겨진 2차(secondary) 객체로 디스플레이 필드를 차지하는 단계를 포함하는 방법 및 그 방법을 구현하는 시스템에 관한 것이며, 1차 객체는 메뉴, 프로그램, 디바이스 등을 포함하고, 2차 객체는 서브 메뉴, 속성, 선호도 등을 포함한다. 또한, 방법 및 시스템은 움직임을 감지하는 단계, 움직임 방향과 가장 가깝게 정렬된 하나 이상의 1차 객체를 강조하는 단계, 움직임에 기초하여 1차 객체를 예측하는 단계, 및 동시에, (a) 1차 객체를 선택하는 단계, (b) 이격된 구성으로 모션 방향과 가장 가깝게 정렬된 2차 객체를 디스플레이하는 단계, (c) 디스플레이 필드의 중심을 향해 또는 디스플레이 필드의 미리 정해진 영역으로 1차 및 2차 객체를 끌어당기는 단계, 및 (d) 다시 활성화시킬 때까지 선택되지 않은 1차 및 2차 객체를 제거하거나, 흐려지게 하거나 또는 비활성화되게 하는 단계를 포함한다.
이 대신에, 1차 및/또는 2차 객체 사이의 구역은 객체와 동일하게 행동할 수 있는 영역 또는 서브 루틴을 활성화하는 역할을 할 수 있다. 예를 들어, 누군가가 3D 공간에서 2개의 객체 사이에 이동한다면, 배경에서의 객체는 앞쪽으로 회전될 수 있고, 앞쪽의 객체는 뒤를 향하여 또는 상이한 레벨로 회전될 수 있다.
본 발명의 실시예는, 디스플레이된 1차 객체 및 디스플레이된 1차 객체와 관련된 오프셋 활성 필드로 디스플레이 필드를 차지하는 단계를 포함하는 방법 및 그 방법을 구현하는 시스템에 관한 것으로, 1차 객체는, 메뉴, 객체 리스트, 알파벳 글자, 숫자 글자, 부호 글자, 다른 문자 기반의 글자를 포함한다. 또한, 방법 및 시스템은 움직임을 감지하는 단계, 움직임 방향과 가장 가깝게 정렬된 하나 이상의 1차 객체를 강조하는 단계, 움직임에 기초하여 1차 객체를 예측하는 단계, 및 동시에, (a) 1차 객체를 선택하는 단계, (b) 이격된 구성으로 모션 방향과 가장 가깝게 정렬된 2차(3차(tertiary) 또는 더 깊은) 객체를 디스플레이하는 단계, (c) 디스플레이 필드의 중심을 향해 또는 디스플레이 필드의 미리 정해진 영역으로 1차 및 2차 또는 더 깊은 객체를 끌어당기는 단계, 및 (d) 제거하거나, 비활성화되게 하거나, 흐려지게 하거나, 또는 선택되지 않은 1차, 2차 및 더 깊은 레벨의 객체의 선택되지 않은 상태를 나타내는 다른 것을 하는 단계를 포함한다.
본 발명의 실시예는, 눈의 움직임을 감지하는 단계와, 디스플레이 필드 또는 디스플레이의 고정된 윈도우 또는 시청 페인(pane) 내에 리스트의 요소 또는 디스플레이 필드 내에서 2D 또는 3D 매트릭스로 배열된 요소를 통해 숨겨지거나 가시적인 활성 객체를 동시에 이동시키는 단계를 포함하는 방법 및 그 방법을 구현하는 시스템에 관한 것으로, 아이콘과 같은 요소의 배열에 관계없이 디스플레이 필드 내에서 임의의 방향으로 어디든 지의 눈의 움직임은 선택 가능한 객체의 세트를 이동시킨다. 물론, 윈도우는 동일한 리스트 또는 객체의 세트의 스크롤을 달성하기 위하여 눈의 움직임으로 이동될 수 있거나, 또는 다른 모션이 동시에 또는 순차적으로 발생함에 따라 상이한 결과가 디스플레이와 관련된 눈의 위치 또는 용적(조망(perspective))의 사용에 의해 발생할 수 있다. 따라서, 스크롤은 선형 방식일 필요가 없으며, 모션 방식(선형, 아치형, 각도형, 원형, 나선형, 임의형 등)에 관계없이 객체 및/또는 속성 및/또는 다른 선택 가능한 항목을 선택하는 것이 의도된다. 관심 객체가 선택되면, 선택은 다른 방향의 눈의 움직임, 객체 위로 소정의 기간 동안 눈을 어느 위치에 유지하는 것, 상이한 몸 부분의 움직임, 또는 객체나 오디오 이벤트, 얼굴 자세, 또는 생체 측정이나 생체 운동 이벤트의 선택에 영향일 미치는 임의의 다른 움직임 또는 움직임 종류에 의해 달성된다.
본 발명의 실시예는, 눈의 움직임을 감지하는 단계와, 방향의 변화가 알려지거나 랜덤 눈 움직임 또는 스크롤(선택하려는 의도로 스크린 또는 객체의 용적 전체에 대하여 눈을 이동시켜 정의되는 스크롤)과 관련된 움직임과 상이하도록 미리 정해진 방향 변화로 눈을 이동시켜 객체, 객체 속성 또는 이 양자를 선택하는 단계를 포함하는 방법 및 이를 구현하는 시스템에 관한 것이다.
본 발명의 실시예는, 모션 센서를 통해 눈의 움직임을 감지하는 단계와, 모션 센서가 정지를 검출하기에 충분한 체류 시간(dwell time) 동안 눈이 객체에 정지할 때 디스플레이 필드에 디스플레이되는 객체를 선택하는 단계와, 객체가 활성 가능하거나 또는 속성이 직접 제어할 수 있을 때까지, 동시에, 선택된 객체를 활성화하고 감지하는 단계와 선택하는 단계를 반복하는 단계를 포함하는 방법 및 그 방법을 구현하는 시스템에 관한 것이다. 소정의 실시예에서, 방법은 또한 움직임의 특성 및/또는 사용자가 이동하는 방식의 특성으로부터 선택될 객체를 예측하는 단계를 포함한다. 다른 실시예에서, 객체에 대한 눈의 포커싱(체류 시간 또는 응시 시간)을 통한 선택/제어를 위한 모션과 몸 모션(손가락, 손 등) 대신에 응시를 이용하는 눈 추적이 객체와 관련된 관련 속성 리스트를 스크롤하거나 또는 객체와 관련된 서브 메뉴를 선택한다. 눈 응시는 서브 메뉴 객체를 선택하고 몸 모션은 선택을 확인하여(선택은 몸 모션 없이 발생하지 않는다), 이에 따라 몸 모션이 실제로 객체 선택에 영향을 미친다.
다른 실시예에서, 선택/제어를 위하여 모션을 이용하는 눈 추적에서, 눈 움직임이 워드 문서의 문장에서 첫 번째 단어를 선택하는데 사용될 수 있다. 선택은 위치를 유지하는 손가락(예를 들어, 오른쪽 손가락)의 몸 모션에 의해 확인된다. 그 다음, 눈 움직임은 문장에서 마지막 단어로 추적되고, 다른 손가락(예를 들어, 왼쪽 손가락)이 선택을 확인한다. 두 번째 모션이 선택의 경계를 정의하기 때문에, 선택된 문장은 강조된다. 동일한 효과가 제2 눈 위치(문장 또는 단어의 끝)를 향하여 동일한 손가락을 이동시켜 얻어질 수 있다. 모니터의 측부를 향하는 손가락 중 하나의 움직임(움직임은 확인이 이동하는 방향과 상이한 방향에 있다)은 문장을 삭제하기 위한 명령을 전송한다. 이 대신에, 상이한 위치로의 눈의 움직임과, 이에 이어지는 그 위치를 대체로 향하여 이동하는 양 손가락은, 문장이 눈이 정지한 위치로 복사되게 한다. 또한, 이것은 제스처와 조합하여 또는 아래에서 논의되는 UAV 제어와 같은 다수의 입력이 동시에 한번에 발생하는 눈 움직임 및 다른 몸 움직임과 같은 모션 및 제스처와 조합하여 사용될 수 있다.
다른 실시예에서, 그림 또는 물품의 중심을 보고, 그 다음 한 손가락을 그림의 중심 또는 몸의 중심으로부터 멀리 이동시키는 것은 그림 또는 물품을 확대한다(줌인). 손가락을 그림의 중심을 향해 이동시키는 것은 그림을 더 작게 한다(줌아웃). 여기에서 이해하는데 중요한 것은 눈 응시 포인트, 응시 방향 또는 눈의 모션이 비교될 위치 및 몸 모션을 위한 기준점을 제공한다는 것이다. 예를 들어, 몸 부분(예를 들어, 손가락)을 터치 또는 터치리스의 2D 또는 3D 환경(또한, 영역 또는 용적)에서의 그림의 중심으로부터 멀리 소정의 거리만큼 이동시키는 것은 상이한 뷰(view)를 제공할 수 있다. 예를 들어, 눈(들)이 영역에서의 중심점을 보고 있으면, 하나의 뷰가 나타날 것이고, 눈(들)이 영역에서의 에지를 보고 있으면, 상이한 뷰가 나타날 것이다. 모션의 상대적인 거리가 변화할 수 있고, 상대적인 방향도 변화할 수 있으며, 심지어 눈(들)과 손가락 모두를 포함하는 동적 변화는 모션의 또 다른 변화를 제공할 수 있다. 예를 들어, 스틱의 끝단을 보고 이의 다른 끝단을 이동시키기 위하여 손가락을 이용함으로써, 피봇 포인트는 눈이 보고 있는 끝단일 수 있다. 스틱의 중간을 보고 그 다음 끝단을 회전시키기 위하여 손가락을 이용함으로써, 스틱은 중간 주위로 피봇팅할 수 있다. 이러한 움직임의 각각은 그림, 사진, 디스플레이, 윈도우 또는 3D 프로젝션의 용적 등의 상이한 속성을 제어하는데 사용될 수 있다. 2개의 손가락을 취하는 것은, 눈(들)이 다른 손가락 역할을 하기 때문에 한 손가락으로 대체될 수 있다.
이러한 개념들은 그림, 이미지, 3D 데이터 또는 더 높은 차원의 데이터, 3D 렌더링, 3D 빌딩 렌더링, 3D 플랜트 및 설비 렌더링, 또는 임의의 다른 종류의 3D나 더 높은 차원의 그림, 이미지 또는 렌더링의 뷰를 조작하는데 사용 가능하다. 또한, 디스플레이, 그림, 스크린 등의 이러한 조작은, 눈의 우연의 사용 없이, 오히려, 하나의 상부 코너로부터 다른 코너로 대각선으로 이동하는 것이 상이한 기능, 예를 들어 줌아웃을 수행할 수 있지만, 줌인과 같은 하나의 속성을 제어하기 위하여 베젤, 스크린 또는 프레임(가상 또는 실제)의 하나의 하부 코너로부터 반대하는 상부 코너에 대하여 대각선으로 이동하는 것과 같이, 제어 하에 있는 손가락 또는 객체, 또는 사용자의 모션을 이용함으로써 수행될 수 있다. 이 모션은 제스처로서 수행될 수 있으며, 속성 변화는 미리 정의된 레벨에서 발생할 수 있거나, 줌인/아웃 기능이 시간, 공간 및/또는 거리의 함수일 수 있도록 가변 제어될 수 있다. 하나의 측부 또는 에지로부터 다른 쪽으로 이동함으로써, 동일하게 미리 정의된 변화 레벨 또는 가변 변화가 디스플레이, 그림, 프레임 등에 발생할 수 있다. 예를 들어, 그림 및 줌인을 디스플레이하는 TV 스크린은 프레임 또는 베젤의 하부 왼쪽 코너 또는 식별 가능한 영역(심지어 스크린을 벗어남)으로부터 상부 오른쪽 부분으로 이동함으로써 수행될 수 있다. 사용자가 이동함에 따라, 그림이 확대(줌인)된다. 상부 오른쪽 코너에서 시작하여 하부 왼쪽으로 이동함으로써, 시스템은 사용자가 이동하는 거리 또는 속력에 관련된 방식으로 그림이 크기가 감소되게(줌아웃) 한다. 사용자가 하나의 상부 코너로부터 다른 하부 코너로 빠르게 대각선으로 아래로 향하는 움직임을 한다면, 그림은 50%만큼(예를 들어) 감소될 수 있다. 이것은 핀치/줌(pinch/zoom) 기능과 같이 현재 인기 있는 2개의 손가락을 이용하는 필요성을 제거한다.
사용자가 프레임 또는 베젤의 오른쪽 또는 미리 정의된 위치로부터 왼쪽을 향하여 이동함으로써, 그림이 키가 커지거나 더 날씬하게 하도록 그림의 종횡비가 변경될 수 있다. 상부 에지로부터 하부 에지를 향해 이동함으로써, 그림은 그림이 짧고 넓게 나타나게 할 수 있다. 하나의 상부 코너로부터 하부 코너를 향해 2개의 손가락을 이동함으로써, "크로핑(cropping)" 기능이 그림의 소정의 양태를 선택하도록 사용될 수 있다.
하나의 손가락을 취하고, 이를 그림, 프레임 또는 베젤의 에지 근처에, 그러나 크기 또는 크롬(crop) 제어를 이용하는데 원하는 바와 같이 식별되도록 너무 가깝지 않게 놓고, 회전 또는 원 방향으로 이동함으로써, 그림은 가변으로 회전될 수 있고, 또는 빠른 제스처 모션에서 수행되는 경우에, 그림은 모션의 방향에 따라 예를 들어 90도 왼쪽 또는 오른쪽의 미리 정해진 양만큼 회전할 수 있다.
그림의 중심 영역 내에서 이동함으로써, 원하는 패닝(panning) 방향으로 제스처 모션을 하는 것으로, 그림은 원하는 양만큼 또는, 예를 들어, 프레임의 50%만큼인 사전 설정된 양만큼 "패닝되어(panned)" 가변으로 이동될 수 있다. 유사하게, 이러한 동일한 모션은 객체 속성의 간단한 조작을 위한 3D 환경에서 사용될 수 있다. 이것은 CAD 프로그램에서 현재 사용되는 바와 같이 미리 정의된 피봇 포인트를 이용하는 특정 모션이 아니며, 오히려 넓은 영역에서 몸(예를 들어 눈 또는 손가락)을 이용하는 방식이다. 동일한 모션이 임의의 디스플레이, 프로젝션 디스플레이 또는 다른 유사한 디바이스에 적용될 수 있다. 많은 아이콘(객체)이 스크린에 존재하고, 아이콘이 "내포된(nested)" 객체의 폴더를 포함하는 모바일 디바이스에서, 디바이스 또는 스크린의 하나의 하부 코너로부터 상부 코너를 향하여 대각선으로 이동함으로써, 디스플레이는 줌인할 수 있으며, 이는 객체가 확대되어 나타날 수 있지만 더 적게 디스플레이될 것이라는 것을 의미한다. 상부 오른쪽 코너로부터 아래를 향해 대각선으로 이동함으로써, 아이콘은 더 작아질 수 있고, 더 많은 것이 동일한 디스플레이에서 보여질 수 있다. 디스플레이의 에지 근처에서 원형 모션으로 이동하는 것은 아이콘의 회전을 발생시킬 수 있어, 리스트 및 아이콘 페이지의 스크롤을 제공한다. 하나의 에지로부터 반대측의 에지로 이동하는 것은 디스플레이된 객체의 종횡비를 변경할 수 있어, 이동되는 방향에 따라 아이콘의 스크린이 더 짧고 더 넓게 나타나거나, 더 높고 더 날씬하게 나타나게 할 수 있다.
다른 실시예에서, 메뉴 객체를 보고 객체 또는 몸의 중심으로부터 멀리 손가락을 이동시키는 것은 서브 메뉴를 연다. 객체가 엑셀과 같은 소프트웨어 프로그램을 나타내면, 멀리 움직이는 것은 움직임이 얼마나 많이 이루어졌는가에 따라 스프레드 시트를 완전히 또는 가변적으로 연다(스프레드 시트를 확장한다).
다른 실시예에서, 아이콘을 통해 프로그램이 액세스되는 대신에, 프로그램은 사용자가 상호 작용하는 3D 공간의 일부 또는 사용자가 프로그램과 상호작용하기 위하여 사용하는 프로그램을 위한 센서 역할을 하는 프로그램에 결합된 필드를 점유할 수 있다. 다른 실시예에서, 객체가 엑셀과 같은 소프트웨어 프로그램을 나타내고, 여러 개(예를 들어 4개)의 스프레드 시트가 한 번에 열려 있는 경우에, 객체로부터 멀어지는 움직임은 4개의 스프레드 시트 아이콘을 보여준다. 효과는 열린 소프트웨어 프로그램을 드러내기 위하여 윈도우로부터 멀리 커튼을 당기는 것과 매우 유사하다. 소프트웨어 프로그램은 "동적 필드(dynamic field)"로 표현될 수 있으며, 각각의 프로그램은 자신의 색상, 예를 들어 엑셀에 대하여 적색, 워드에 대하여 청색 등을 가진다. 각 필드의 객체 또는 양태 또는 속성은 모션을 이용함으로써 조작될 수 있다. 예를 들어, 필드의 중심이 객체 또는 값 주의의 부피를 갖는 공간의 원점으로서 고려되면, 필드의 외부에서 움직이는 것은 더 큰 x 값, 더 큰 y 값 또는 큰 z 값(예를 들어, 필드의 최대값은 5(x, y 또는 z)이다)을 가지는 것 때문에, 전체로서 용적에 대한 복합 효과를 발생시키고, 5 포인트에서 움직이는 것은 1(x, y 또는 z)의 값에서 움직이는 것에 비하여 5의 배수 효과를 가질 수 있다. 또한, 그 역이 사용될 수 있어, 원점으로부터 더 큰 거리로 움직이는 것은 필드의 일부 또는 전부 및 대응하는 값에 더 적은 효과를 제공할 수 있다. 색상, 형상, 크기, 밀도, 오디오 특성 또는 이들의 임의의 조합 및 다른 형태의 값 표현에서의 변동이 발생할 수 있으며, 이는 또한 필드에서의 모션의 영향을 사용자 또는 사용자들이 이해하는데 도움을 줄 수 있다. 이들은 스프레드 시트의 프리뷰 페인이거나 이를 나타내는 임의의 다른 아이콘일 수 있다. 각 아이콘을 통해 제자리로 이동하거나 각 아이콘 또는 프리뷰 페인을 통해 손가락을 움직이고, 그 다음 아이콘 또는 몸의 중심으로부터 멀리 이동하는 것은 열린 프로그램을 선택하고 이를 데스크탑에 동일하게 확장하거나, 이를 레이어 형태로 만들거나, 기타 다른 작업을 수행한다.
다른 실시예에서, 4개의 워드 문서(또는 임의의 프로그램 또는 웹 페이지)가 한번에 열린다. 스크린의 하부 오른쪽으로부터 상부 왼쪽으로의 움직임은 페이지의 하부 오른쪽에서 문서를 나타내고, 효과는 커튼을 뒤로 당기는 것과 유사하게 보인다. 상부 오른쪽으로부터 하부 왼쪽으로 이동하는 것은 다른 문서를 드러낸다. 상부에 걸쳐 움직이고 하부에 걸쳐 크게 한 바퀴 돌아오는 것은 모든 것을 열어 각각이 자신의 사분면 안에 있도록 하고, 그 다음 원하는 문서를 통해 움직이고 객체를 통해 원을 형성하는 것은 모두 이를 연결시키고 문서를 하나의 문서로 병합한다. 다른 예로서, 사용자는 3개의 스프레드 시트를 열고 단지 모션 또는 움직임을 통해 모션 또는 움직임의 양 및 방향마다 변동하는 방식으로 스프레드 시트를 동적으로 결합하거나 분리한다. 또한, 소프트웨어 또는 가상 객체는 동적 필드이며, 하나의 필드 영역에서의 움직임은 다른 영역에서의 움직임과 다른 결과를 가질 수 있고, 필드를 통한 조합 또는 움직임은 소프트웨어 프로그램의 조합을 발생시키며 동적으로 수행될 수 있다. 또한, 필드(2D 또는 3D)에서 특정 포인트를 식별하는 것을 돕기 위하여 눈을 이용하는 것은 조작되거나 상호 작용되는 소프트웨어 프로그램(필드)의 적합한 레이어 또는 영역을 정의하는데 도움을 줄 것이다. 이러한 필드 내의 동적 레이어는 이러한 방식으로 공간적으로 표현되거나 상호 작용될 수 있다. 객체의 일부 또는 전부는 필드 내에서 또는 필드 근처에서 하나 이상의 다른 객체의 움직임에 의해 비례적으로 또는 소정의 방식으로 영향을 받을 수 있다. 물론, 눈은 몸 일부와 동일한 방식으로, 또는 다른 객체 또는 몸 부분과 조합하여 동일한 방식으로 작용할 수 있다.
다른 실시예에서, 눈은 선택하고(객체 위로 맴도는 커서와 유사하게 행동하고, 객체는 이것이 선택되었다는 것을 식별하기 위하여 색상을 변경하는 것과 같이 응답하거나 응답하지 않을 수 있다), 그 다음, 눈 또는 상이한 몸 부분의 모션 또는 제스처는 확인하고, 추가 처리를 위하여 눈을 결합 해제한다.
다른 실시예에서, 눈은 선택하거나 추적하고, 제2 몸 부분의 모션 또는 움직임 또는 제스처는 추적되는 객체의 속성에서의 변화를 발생시킨다(예를 들어, 객체를 터트리거나 파괴하는 것, 줌잉, 객체의 색상 변경 등. 손가락은 여전히 객체를 제어하고 있다).
다른 실시예에서, 눈은 선택하고, 동시에 또는 순차적으로 작용하는 몸 모션 및 눈 모션이 사용될 때, 눈 모션이 몸 모션과 독립적인 때에 비교하여 상이한 결과가 발생한다. 예를 들어, 눈(들)이 버블(bubble)을 추적하고, 손가락이 줌을 위하여 이동하고, 손가락의 움직임은 버블을 선택하고, 이제 눈 움직임은 응시 포인트에 기초하여 버블을 회전시키거나 버블의 속성을 변경할 것이거나, 또는 눈은 손가락이 제1 객체의 선택 및/또는 제어를 계속하는 동안 상이한 객체를 응시 및 선택 및/또는 제어하거나 순차적 조합이 발생할 수 있으며, 먼저 손가락으로 가리키고 그 다음 버블의 부분을 응시하는 것과 같은 것은 먼저 보고 그 다음 손가락을 이용하는 것과는 상이한 결과를 생산할 수 있다; 또한, 눈을 이용하고, 그 다음 손가락을 이용하며, 그 후 2개의 손가락을 이용함으로써, 상이한 순서로 동일한 몸 부분을 이용함으로써 발생할 수 있는 것에 비해 추가 차이가 발생할 수 있다.
본 발명의 다른 실시예는, 돔형 인터페이스에서 한 손으로 헬리콥터를 제어하는 단계를 포함하는 방법 및 그 방법을 구현하는 시스템에 관한 것으로, 여러 손가락과 손이 모두 함께 움직이며 개별적으로 움직인다. 이러한 방식으로, 손의 전체 움직임은 요, 피치 및 롤에서의 헬리콥터의 움직임을 제어하며, 또한 손가락은 카메라, 대포 또는 다른 제어나 속성 또는 양자를 동시에 제어하도록 이동할 수 있다. 이는 다수의 입력의 동시의 동일한, 또는 독립적인 움직임이다.
참고 - 인력 효과로서 사용자의 시각(perspective)을 논의하지 않았으며, 객체 선택은 3D 공간에서 이루어진다. 예를 들어, 이전에 제시한 인력 및 예측 효과를 이용하여 서브 객체를 향해 3D 공간에서 이동할 때, 각각의 선택은 사용자의 전체 시각을 변경할 수 있어, 다음 선택이 시야의 중심에 있거나, 최상의 시각에 있다. 이것은 시각의 회전하는 양태를 포함할 수 있으며, 목표는 사용자의 필요한 움직임을 작게 유지하고 인터페이스 실제 상황에서 가능한 한 중심에 있도록 유지하는 것이다. 이것은 실제로 사용자의 양태를 보여주며, 상대적이다. 객체 및 필드가 이동될 수 있다고 말하고 있기 때문에, 또는 사용자가 필드 주위로 이동할 수 있다고 말하고 있기 때문에, 이것은 실제로 상대적이다.
본 발명의 다른 실시예는, 3D 공간의 상부 또는 그 내에서 있거나, 측부에 있는(형상에 관계없이) 관련된 모션 컨트롤로 버튼 또는 노브(knob)의 움직임을 감지하는 단계와, 모션의 방향 및 속력(인력/예측 적용에 대한 수정일 수 있다)에 의해 어느 제스처가 호출되는지 예측하는 단계를 포함하는 방법 및 그 방법을 구현하는 시스템에 관한 것이다. 정의에 의해, 제스처는 자세-움직임-자세 룩업 테이블을 가지며, 값이 룩업 테이블 내의 값과 동일한지를 이용한다. 우리는 자세(pose)를 시작하고, 최종 자세의 방향으로 이동하기 시작하는 것에 의해 제스처를 예측할 수 있다. 계속 이동함에 따라, 가장 가능성 있는 원하는 제스처를 찾을 수 있을 때까지 예측 제스처 리스트를 스크롤할 것이어서, 제스처가 완료되기 전에 제스처 명령이 트리거되게 한다. 예측된 제스처는 선택 리스트에 동적으로 나타날 수 있으며 객체 또는 문자 또는 색상에 의해, 또는 디스플레이에서의 일부 다른 수단에 의해 표현될 수 있다. 계속 움직임에 따라, 제스처의 예측된 최종 결과가 동적으로 디스플레이될 수 있으며, 정확한 것이 나타나면 정확한 제스처를 나타내는 그 객체를 향한 움직임이 제스처 명령을 선택하여 활성화하는 위치에 위치될 것이다. 이러한 방식으로, 제스처는 제스처 전체가 완료되기 전에 예측되고 실행될 수 있어, 속력을 증가시키고 사용자에 대하여 더 많은 가변성을 제공한다.
예를 들어, 키보드 애플리케이션에서, 현재 소프트웨어는 단어를 예측하기 위하여 제스처 형성을 사용한다. 구글은 단어를 예측하기 위하여 글자 구역(글자 그룹) 및 구역의 조합(제스처)을 사용한다. 우리는, 모션의 방향에 기초하여 사용자가 어느 구역으로 향하여 이동하는지 예측할 수 있다는 점을 제외하고는, 동일한 제스처 기반 시스템을 사용할 수 있으며, 이는 우리가 제스처를 마무리하기 위하여 구역 내로 실제로 이동할 필요가 없고 구역을 향하여 이동하는 것이 선택 버블을 제공할 수 있고 버블을 향해 이동하는 것이 그 버블을 선택할 수 있다는 것을 의미한다.
다른 예에서, 터치리스 환경에서 어떤 것을 선택하기 위한 "핀치(pinch)" 제스처와 같은 제스처를 사용하는 대신에, 그 제스처를 만드는 움직임은 실제로 동일한 명령을 트리거할 것이다. 따라서, 실제로 손가락을 엄지로 터치하여야 하는 대신에, 손가락을 엄지로 향하게 움직이는 것만으로도 동일한 효과가 발생하게 할 것이다. 이는 가상 객체를 움직이기 위하여 핀치 제스처가 손가락 지시 제스처에 이어지는 조합 제스처에서 가장 도움이 된다. 제스처를 예측함으로써, 지시 제스처 이후에, 핀치 제스처의 시작 움직임은 핀치 모션을 마무리 지어야 하는 것보다 더 빠를 것이다.
본 발명의 다른 실시예는, 알파벳으로부터의 글자 리스트를 디스플레이하는 디스플레이 필드 내에서 모션 센서를 통해 움직임을 감지하는 단계와, 모션에 기초하여 글자 또는 글자 그룹을 예측하는 단계와, 움직임이 단일 글자와 정렬되면, 그룹 내의 글자 사이의 구별이 예측 가능하게 확실할 때까지 동시에 글자를 선택하거나 동시에 글자 그룹을 전방으로 이동시켜 동시에 글자를 선택하는 단계와, 모션에서의 방향 변화를 감지하는 단계와, 모션에 기초하여 제2 글자 또는 제2 글자 그룹을 예측하는 단계와, 움직임이 단일 글자와 정렬되면, 그룹 내의 글자 사이의 구별이 예측 가능하게 확실할 때까지 동시에 글자를 선택하거나 동시에 글자 그룹을 전방으로 이동시켜 동시에 글자를 선택하는 단계와, 제1 글자 선택 또는 제2 글자 선택, 또는 이 양자의 후에 제1 글자 또는 제2 글자로 시작하는 잠재적인 단어의 리스트를 디스플레이하는 단계와, 제2 몸 부분의 움직임에 의해 단어 리스트로부터 단어를 선택하고 동시에 단어를 선택하는 단계 및 원래 글자 디스플레이를 리셋하는 단계와, 메시지가 완료될 때까지 단계들을 반복하는 단계를 포함하는 방법 및 그 방법을 구현하는 시스템에 관한 것이다.
따라서, 현재 설계는 간단히 글자에서 또는 그 근처에서 움직임 방향을 변경함으로써 글자를 선택한다. 더 빠른 과정은 글자를 향한 움직임을 사용하는 것일 수 있고, 그 다음 글자에 도달하기 전에 움직임의 방향을 변경하고 다음 글자를 향해 이동하고 다음 글자에 가기 전에 다시 움직임 방향을 변경하는 것은 단어를 더 양호하게 예측할 수 있으며, 제1 글자 선택을 변경할 수 있다. 선택 버블이 나타나 이동하는 동안 변경될 수 있어, 속력 및 방향이 단어를 예측하는데 사용될 수 있지만, 정확한 글자 위로 이동하는 것이 그 글자의 긍정적인 선택일 수 있더라도 정확히 그 글자 위로 또는 그에 매우 가까이 이동할 필요는 없으며, 움직임을 약간 정지하거나 느리게 함으로써 이 효과는 더 양호하게 검증될 수 있다. (물론, 모두 동시에 또는 순차적으로 철자 맞춤 및 타이핑 동작을 제공하기 위하여, 이것은 현재의 버튼과 유사한 동작 또는 리프트 오프(lift-off) 이벤트(터치 업 이벤트)와 결합될 수 있으며, 하나보다 많은 손가락 또는 손이 사용될 수 있다.) 이것은 상대적 모션이 키에서 키로의 이동하기 위하여 필요한 실제 거리 대신에 키보드 상에서 단어를 예측하도록 영향을 받을 수 있다. 투영된 키보드로부터의 거리 및 손가락의 움직임은 글자를 예측하기 위하여 모션의 각도를 이용한다. 예측 단어 버블은 Z 움직임으로 선택될 수 있다. B) 선택하기 위하여 키보드의 글자 아래로 이동하거나, 글자를 덮는 대신에 선택하는 동안 실제 글자가 보일 수 있도록 아래로 향하여 연장되는 방식(눈물 방울과 유사하게)으로 글자 버튼을 성형한다(터치 또는 활성 구역은 실제 키로부터 오프셋된다). 또한, 이것은 매우 빠른 키보드를 생성하기 위하여 예측 모션과 함께 사용될 수 있고, 키 글자를 더욱 용이하게 볼 수 있으면서 상대적인 모션이 키 및 단어를 예측하는데 사용된다. 또한, 버블은 제안된 단어를 향하여 이동함으로써 예측된 결과를 더 선택하기 위하여 아치형 또는 방사형 방식으로 키 위로 또는 그 옆, 또는 그 주위로 나타날 수 있다.
본 발명의 실시예는, 선택되면, 단지 휴면 상태인 애플리케이션이 순간적으로 완전히 활성화되도록(또는 객체의 상이한 포커스로서 설명될 수 있다) 모든 소프트웨어 애플리케이션을 구성에서 순간적으로 유지하는 단계(온 상태이지만 비활성적이고, 상주하는 상태이지만 활성적이지 않음), 움직임이 애플리케이션 객체의 빠른 예측 선택을 제공하도록 이격된 구성으로, 바람직하게는 최대로 이격된 구성으로 디스플레이에 분포된 애플리케이션을 포함하는 디스플레이 필드로 모션 센서를 통해 움직임을 감지하는 단계, 디스플레이 필드의 중심을 향하여 애플리케이션 객체 또는 애플리케이션 객체의 그룹을 끌어당기는 단계, 움직임이 단일 애플리케이션과 정렬되면, 애플리케이션을 동시에 선택하고 순간적으로 유지하거나, 애플리케이션 객체 사이의 구별이 예측 가능하게 확실할 때까지 움직임을 계속 모니터링하는 단계, 및 애플리케이션 객체를 동시에 선택 및 활성화하는 단계를 포함하는 방법 및 그 방법을 구현하는 시스템에 관한 것이다.
따라서, 산업계는 항상 온(on)인 것으로 모든 것을 보기 시작하여야 하고, 온인 것은 항상 상호 작용적이며, 상이한 상호 작용 레벨을 가질 수 있다. 예를 들어, 소프트웨어는 상호 작용 필드이어야 한다. 엑셀 및 워드는 이를 통한 모션이 이 모션과 뒤얽힌 셀 및 문자에 대응하는 영역을 결합하거나 선택할 수 있는 상호 작용 필드이어야 한다. 엑셀 시트는 동일한 3D 필드의 일부이어야 하고 분리된 페이지가 아니어야 하며, 깊이(depth)를 가지야 하고 따라서 이들의 양태는 볼륨 내에서 결합될 수 있다. 소프트웨어 데스크탑 경험은 깊이를 필요로 하며, 데스크탑은 볼륨의 덮개(cover)이며, 상이한 코너로부터 데스크탑 뒤로 돌아가는 것은 활성 상태인 상이한 프로그램을 드러낼 것이며, 하부 오른쪽으로부터 상부 오른쪽으로 이동할 때 드러나는 워드는 청색 필드이고 상부 왼쪽으로부터 하부 오른쪽으로 이동할 때 드러나는 엑셀은 적색인 것과 같이 상이한 색상을 가질 것이고; 오른쪽에서 왼쪽으로 이동하는 것은 데스크탑 덮개를 들어올리고 볼륨 내의 모든 애플리케이션을 드러낼 것이며, 각각의 애플리케이션은 3D 공간에서 자신의 필드 및 색상을 갖는다.
본 발명의 다른 실시예는 본 발명의 방법 및 시스템에 관한 것으로, 활성 스크린 영역은 삭제 또는 백스페이스 영역을 포함한다. 사용자가 활성 객체(커서)를 삭제 또는 백스페이스 영역을 향해 이동시킬 때, 선택된 객체는 삭제 또는 백스페이스 영역을 향하는 움직임의 속성에 따라 한 번에 하나씩, 또는 그룹으로 또는 완전히 해제될 것이다. 따라서, 움직임이 느리거나 규칙적이라면, 선택된 객체는 한 번에 하나씩 해제된다. 움직임이 빠르면, 다수의 선택된 객체가 해제된다. 따라서, 삭제 또는 백스페이스 영역은 가변적이다. 예를 들어, 활성 디스플레이 영역이 전화기 다이얼 패드(숫자가 종래의 그리드 구성에서 활성 객체 주위의 아치형 구성까지 임의의 원하는 구성으로 또는 임의의 다른 바람직한 구성으로 분포됨)를 나타내면, 삭제 또는 백스페이스 영역을 향하여 활성 객체를 이동시키는 것에 의할 때, 숫자는 디스플레이의 숫자 디스플레이 영역에 디스플레이될 수 있는 숫자로부터 제거될 것이다. 이 대신에, 백스페이스 영역을 터치하는 것은 하나의 글자를 백업할 수 있다; 백스페이스 영역에서 오른쪽에서 왼쪽으로 이동하는 것은 움직임의 거리(및/또는 속력)에 기초하여 대응하는 양의 글자를 삭제(백스페이스)할 것이다. 삭제는 모션이 중단되거나, 정지되거나 또는 리프트 오프 이벤트가 검출될 때 발생할 수 있다. 이 대신에, 스와이핑(swiping) 모션(갑자기 잡아당김(jerk) 또는 빠른 가속도)가 전체 단어의 삭제(백스페이스)를 제공할 수 있다. 이 모든 것이 리프트 오프 이벤트를 필요로 할 수 있거나 필요로 하지 않을 수 있지만, 모션은 글자, 숫자 또는 다른 종류의 객체와 같은 삭제되거나 해제된 객체의 양을 좌우한다. 방향이 뒤로 가는 대신에 앞으로 갈 수 있다는 점을 제외하고는, 삭제 키도 마찬가지이다. 마지막으로, 객체를 향하거나 객체 상의, 또는 객체와 관련된 구역에서의 모션의 초기 방향이 가변 속성을 가지는 방사상 메뉴(또는 선형 또는 공간형)도 마찬가지일 수 있다. 그 객체와 관련되거나 그에 향하는 모션은 즉시 제어를 제공할 것이다.
본 발명의 다른 실시예는 본 발명의 방법 및 시스템에 관한 것으로, 눈 움직임이 선택을 하는데 사용되고, 몸 부분 움직임이 선택을 확인하거나 활성화하는데 사용된다. 따라서, 눈 움직임은 선택 움직임으로서 사용되고, 객체는 선택된 상태로 유지되며, 몸 부분 움직임은 선택을 확인하고 선택된 객체를 활성화한다. 따라서, 구체적으로 언급된 눈 또는 눈들은 상이한 방향 또는 영역으로 보고, 눈 또는 몸의 모션에 의해 다른 객체가 선택될 때까지 또는 타임 아웃(time out)이 객체를 선택 해제할 때까지 마지막으로 선택된 객체가 선택된 상태를 유지할 것이다. 또한, 객체가 눈 응시에 의해 선택될 수 있고, 이 선택은 심지어 눈 또는 눈들이 더 이상 객체를 보고 있지 않을 때에도 계속될 것이다. 상이한 선택 가능한 객체를 보지 않는다면, 또는 타임 아웃이 객체를 선택 해제하지 않는다면, 객체는 선택된 상태를 유지할 것이다.
전술한 모든 실시예에서, 모션 또는 움직임은 리프트 오프 이벤트를 포함할 수 있으며, 이는 손가락 또는 다른 몸 부분 또는 부분들이 터치 스크린과 같은 터치 감지형 피드백 디바이스와 직접 접촉하고, 그 다음, 허용 가능한 형태의 모션 또는 움직임은, 스크린을 터치하거나, 스크린 상에서 또는 스크린에 걸쳐 이동하거나, 스크린으로부터 들어올리거나(리프트 오프 이벤트), 특정 위치에서 스크린 상에서 정지 상태를 유지하거나, 제1 접촉 후에 정지 상태를 유지하거나, 스크롤 개시 이후에 정지 상태를 유지하거나, 특정 조정을 계속하기 위하여 속성 조정 이후에 정지 상태를 유지하거나, 상이한 기간 동안 정지 상태를 유지하거나, 빠르거나 느리게 움직이거나, 빠르거나 느리게 또는 상이한 기간 동안 이동하거나, 가속하거나 감속하거나, 상이한 기간 동안 가속하거나 감속하거나, 방향을 변경하거나, 속력을 변경하거나, 속도를 변경하거나, 가속도를 변경하거나, 상이한 기간 동안 방향을 변경하거나, 상기한 기간 동안 속력을 변경하거나, 상이한 기간 동안 속도를 변경하거나, 상이한 기간 동안 가속도를 변경하거나, 모션에서만 이용하는 실제 또는 가상의 제어 가능한 객체에 대한 명령 및 제어를 호출하기 위하여 시스템 및 방법에 의해 사용될 수 있는 이러한 모션들의 임의의 조합을 포함할 수 있다. 물론, 본 발명의 시스템 및 방법의 모션 감지형 처리에 의해 호출되는 소정의 객체가 하드 선택 프로토콜(마우스 클릭, 손가락 터치 등)을 포함한다면, 호출된 객체의 내부 기능은, 호출된 객체가 시스템 통합을 허용하거나 지원하지 않는다면, 본 발명의 시스템 또는 방법에 의해 증강되지 않을 것이다.
실제 및/또는 가상 객체의 선택 및/또는 제어를 위한 명령 함수가 일정한 방향에서의 속도 변화, 일정한 속도에서의 방향 변화, 방향과 속도 모두에서의 변화, 속도의 정도에서의 변화, 가속도의 정도에서의 변화에 기초하여 생성되는 시스템 및 방법이 개시된다. 검출기 또는 센서에 의해 검출되면, 이러한 변화는 실제 및/또는 가상 객체를 제어하기 위하여 명령을 발행하도록 처리 유닛에 의해 사용될 수 있다. 선택 또는 스크롤, 선택 및 속성 선택의 조합이 제1 움직임에 발생한다. 이러한 모션은 임의의 방향으로 열리고 닫히는 문, 골프 스윙, 가상 또는 실제 게임, 뛰는 사람의 앞에 있지만 걷는 사람과 함께 머무르는 빛, 또는 방향, 속도, 가속도 모든 이러한 1차(primary) 특성의 임의의 하나 또는 전부에서의 변화와 같은 복합 특성을 갖는 임의의 다른 모션과 관련될 수 있다: 따라서, 방향, 속도 및 가속도는 1차 모션 특성으로 고려될 수 있으며, 이러한 기본 특성에서의 변화는 2차(secondary) 모션 특성으로서 고려될 수 있다. 그 다음, 시스템은 1차 및 2차 모션 특성을 상이하게 다룰 수 있다. 따라서, 1차 특성은 1차 기능이 발행되게 할 수 있고, 2차 특성은 1차 기능이 발행되게 할 수 있지만, 1차 기능의 변형 및/또는 2차 기능이 발행되게 할 수 있다. 예를 들어, 1차 기능이 미리 정해진 선택 포맷을 포함한다면, 2차 모션 특성은 선택 포맷을 확장하거나 축소할 수 있다.
시스템이 명령 함수를 생성하게 하기 위한 이러한 1차/2차 포맷의 다른 예는 객체 디스플레이를 포함할 수 있다. 따라서, 객체를 사용자의 눈에서 멀어지는 방향으로 이동시키는 것으로, 디스플레이의 상태는, 그래픽으로부터 그래픽과 문자의 조합, 문자 디스플레이만으로와 같이 변화할 수 있으며, 좌우로 이동하거나 손가락 또는 눈을 좌우로 이동하는 것은 디스플레이된 객체를 스크롤하거나 폰트 또는 그래픽 크기를 변화시키며, 머리를 공간에서 상이한 위치로 이동시키는 것은 객체의 속성 또는 서브 메뉴를 드러나게 하거나 제어할 것이다. 따라서, 모션에서의 이러한 변화는 개별적이나, 복합적일 수 있고, 사용자에게 상이한 결과를 제공하도록 속도, 가속도에서의 변화 및 이 변화의 레이트를 포함할 수 있다. 이러한 예는 2개의 개념을 예시한다: 1) 모션이 개별적이거나 순차적인 상이한 결과를 제공하는 복합 모션을 갖는 능력 및 2) 모두 함께 상이한 결과를 제공하도록 또는 상이한 방식으로 동일한 결과를 제공하도록, 그래픽으로부터 문자 단독으로 또는 단일 또는 복합 모션과 조합하여, 또는 구두(verbal), 터치, 얼굴 표현, 또는 생체 운동적인 것과 같은 다중 입력과 함께 상태 또는 속성을 변화시키는 능력.
본 발명이 실제 객체 및/또는 가상 객체의 제어를 유효하게 하기 위하여 감지된 속도, 가속도와 이러한 특성에서의 변화 및 변화율의 사용에 기초하지만, 본 발명은 실제 객체 및/또는 가상 객체의 제어를 유효하게 하기 위하여 감지된 속도, 가속도와 이러한 특성에서의 변화 및 변화율과 조합하여 감지된 모션의 다른 특성도 사용할 수 있다는 것이 인식되어야 하고, 다른 특성은 모션의 방향 및 방향에서의 변화를 포함하고, 모션은 일정한 속도를 갖는다. 예를 들어, 모션 센서(들)가 1차 감지된 인간, 동물, 이들의 일부, 인간 또는 동물의 지배 하에 있는 실제 객체 또는 인간 또는 동물의 지배 하에 있는 로봇의 모션을 통해 객체의 1차 제어를 위하여 사용되는 속도, 가속도, 속도에서의 변화, 가속도에서의 변화, 및/또는 이들의 조합을 감지하면, 제2 몸 부분의 모션의 감지가 1차 선택 프로토콜을 확인하는데 사용될 수 있거나, 선택된 명령 및 제어 함수를 정밀 튜닝하는데 사용될 수 있다. 따라서, 선택이 객체의 그룹을 위한 것이라면, 2차 모션 특성은 객체의 원하는 최종 상태를 성취하기 위하여 객체 속성을 차동으로 제어하는데 사용될 수 있다.
예를 들어, 본 발명의 장치가 빌딩에서 조명을 제어한다고 가정하자. 모두 4개의 벽에(리세스되거나 장착됨) 또는 천장(리세스되거나 장착됨)에 길게 늘어서 있는 전등이 있다. 사용자는 사운드 시스템, 전등, 카메라, 비디오 시스템 등과 같은 선택 가능한 메뉴 항목 리스트로부터 장치를 활성화하기 위한 모션과 전등을 선택하고 활성화하기 위한 모션을 이용하여 선택 메뉴로부터 전등을 이미 선택하고 활성화하였다. 이제, 메뉴로부터 전등이 선택되고, 오른쪽으로의 움직임은 오른쪽 벽에서의 전등을 선택하고 활성화할 것이다. 바로 아래로의 움직임은 오른쪽 벽의 전등의 전부를 약하게 하여 전등을 어둡게 할 것이다. 바로 위로의 움직임은 오른쪽 벽의 전등의 전부를 강하게 하여 밝게 할 것이다. 아래 또는 위로의 움직임의 속도는 전등이 어두워지거나 밝아지는 정도를 제어할 것이다. 움직임을 정지하는 것이 조정을 정지할 것이거나, 또는, 모션 감지 영역 내에서 몸, 몸의 일부 또는 사용자 지배 하의 객체를 제거하는 것이 조정을 정지할 것이다.
모션 특성을 이용하는 훨씬 더 정교한 제어를 위하여, 사용자는 오른쪽 벽에 있는 전등이 전등으로부터의 원호(arc) 거리에 비례하여 어두워지게 할 아래를 향해 오목한 아크를 준비하도록, 모션 센서 활성 영역 내에서 사용자가 이동할 수 있다. 따라서, 오른쪽 전등은 벽의 중심에서 더 어두워질 것이고, 벽의 끝단을 향하여 덜 어두워질 것이다.
이 대신에, 움직임이 아래를 향해 볼록하면, 중심이 가장 적게 어두워지고 끝단이 가장 많이 어두워지는 방식으로 전등이 어두워질 것이다. 위로 오목하고 위로 볼록한 것은 곡선의 성질에 따라 전등을 차등을 두고 밝게 할 것이다.
이제, 장치는 전등의 어두워짐 및 밝아짐을 더 변경하기 위하여 오목하거나 볼록한 움직임을 준비하는 움직임의 속도를 사용할 수도 있다. 속도를 이용하면, 아래를 향하는 모션에서 천천히 시작하여 속력을 증가시키는 것은 모션이 아래로 이동됨에 따라 벽 상의 조명이 더 어두워지게 할 것이다. 따라서, 벽의 한 끝단에서의 전등은 벽의 다른 끝단에서의 전등보다 덜 어두워질 수 있을 것이다.
이제, 모션이 S 형상이라 가정하면, 전등은 S 형상 구성으로 어두워지거나 밝아질 수 있다. 다시, 속도는 간단히 움직임의 속도를 변경함으로써 상이한 전등에서 어두워짐 또는 밝아짐의 양을 변경하는데 사용될 수 있다. 따라서, 움직임을 늦추는 것으로, 이러한 전등은 움직임이 빠르게 될 때보다 덜 어두워지거나 덜 밝아질 수 있다. 속도의 레이트(가속도)를 변경함으로써, 조명 구성의 추가 개선이 획득될 수 있다.
이제, 방 안의 모든 전등이 선택되었다고 가정하면, 원형 또는 나선형 모션은 사용자가 모든 전등을 조정하게 허용하며, 방향, 속도 및 가속도 특성이 방 안의 전등에 대한 움직임에 따라 모든 전등을 어두워지게 하고 그리고/또는 밝아지게 하는데 사용된다. 천장등에 대하여, 원형 모션은 천장등의 발광(luminosity)에 영향을 주기 위하여 z 방향으로 위 아래로 움직일 수 있다. 따라서, 활성 센서 구역(영역 및 특히 용적) 내의 모션 또는 움직임의 감지를 통해, 사용자는 대량의 디바이스를 동시에 차등을 두고 제어하기 위하여 간단하거나 복잡한 모션을 사용할 수 있다.
감지된 복잡한 모션의 사용을 통한 이러한 차동 제어는 사용자가 조명 구성, 사운드 구성, TV 구성 또는 동시에 제어되는 복수의 디바이스를 갖는 시스템이나 동시 제어를 할 수 있는 복수의 객체 또는 속성을 갖는 단일 시스템의 임의의 구성을 거의 순간적으로 변경하게 허용한다. 예를 들어, 부대(troop), 탱크, 항공기 등과 같은 다수의 가상 객체를 포함하는 컴퓨터 게임에서, 감지된 복잡한 모션은 단순히 객체의 움직임을 모션 검출기에 의해 감지된 사용자의 움직임에 일치시키는 것으로 사용자가 모든 제어 가능한 객체 및/또는 속성을 신속하게 배치하고, 재배치하고, 재배열하고, 조작하고 그리고 대체로 빠르게 재구성할 수 있게 허용할 것이다. 이러한 동일한 차동 디바이스 및/또는 객체 제어는 군사 및 법 집행에서 용도를 찾을 수 있을 것이며, 모션 센서의 감지 구역 내의 모션 또는 움직임에 의해 지휘관은 빠르게 변화하는 상황에 대처하기 위하여 모든 자산을 신속하게 배치하고, 재배치하고, 재배열하고, 조작하고 그리고 대체로 빠르게 재구성한다.
본 발명의 시스템의 실시예는 모션 센서 또는 센서 어레이를 포함하며, 각각의 센서는 활성 구역을 포함하고, 각각의 센서는 하나 또는 복수의 몸 부분 또는 객체에 의한 활성 구역 내에서의 움직임, 움직임 방향, 움직임 속도 및/또는 움직임 가속도 및/또는 움직임 방향에서의 변화, 움직임 속도에서의 변화, 및/또는 움직임 가속도에서의 변화, 및/또는 방향에서의 변화율, 속도에서의 변화율 및/또는 가속도에서의 변화율을 감지하고, 출력 신호를 생산한다. 또한, 시스템은 통신 소프트웨어 및 하드웨어를 포함하는 적어도 하나의 처리 유닛과, 처리 유닛과 통신하는 하나 또는 복수의 실제 객체 및/또는 가상 객체를 포함하고, 처리 유닛은 모션 센서 또는 센서들로부터의 출력 신호 또는 신호들을 명령 및 제어 함수로 변환한다. 명령 및 제어 함수는, 적어도, (1) 하나의 스크롤 함수 또는 복수의 스크롤 함수, (2) 하나의 선택 함수 또는 복수의 선택 함수, (3) 하나의 속성 함수 또는 복수의 속성 함수, (4) 하나의 속성 제어 함수 또는 복수의 속성 제어 함수, 또는 (5) 동시 제어 함수를 포함한다. 동시 제어 함수는 (a) 하나의 선택 함수 또는 복수의 선택 함수와 하나의 스크롤 함수 또는 복수의 스크롤 함수, (b) 하나의 선택 함수 또는 복수의 선택 함수와 하나의 활성화 함수 또는 복수의 활성화 함수, 및 (c) 하나의 선택 함수 또는 복수의 선택 함수와 하나의 속성 제어 함수 또는 복수의 속성 제어 함수를 포함한다. 처리 유닛 또는 유닛들은 (1) 하나의 스크롤 함수 또는 복수의 스크롤 함수를 처리하거나, (2) 하나의 스크롤 함수 또는 복수의 스크롤 함수를 선택 및 처리하거나, (3) 처리 유닛과 통신하는 하나의 객체 또는 복수의 객체를 선택 및 활성화하거나, 또는 (4) 처리 유닛 또는 유닛들과 통신하는 하나의 객체 또는 복수의 객체와 관련된 하나의 속성 또는 복수의 속성을 선택 및 활성화하거나, 또는 이들의 조합을 수행한다. 객체는 전기 디바이스, 전기 시스템, 센서, 하드웨어 디바이스, 하드웨어 시스템, 환경 디바이스 및 시스템, 에너지 및 에너지 배분 디바이스 및 시스템, 소프트웨어 시스템, 소프트웨어 프로그램, 소프트웨어 객체 또는 이들의 조합을 포함한다. 속성은 디바이스, 시스템, 프로그램 및/또는 객체와 관련된 조정 가능한 속성을 포함한다. 소정의 실시예에서, 센서(들)는 ±5%의 움직임, 속도 및/또는 가속도에서의 변화를 식별할 수 있다. 다른 실시예에서, 센서(들)는 ±10°의 움직임, 속도 및/또는 가속도에서의 변화를 식별할 수 있다. 다른 실시예에서, 시스템은 처리 유닛의 제어 하에서 처리 유닛 및 모든 실제 및/또는 가상 객체의 원격 제어를 제공하기 위하여 처리 유닛과 통신하는 원격 제어 유닛 또는 원격 제어 시스템을 더 포함한다. 다른 실시예에서, 모션 센서는, 디지털 카메라, 광 스캐너, 광 롤러 볼 디바이스, 터치 패드, 유도성(inductive) 패드, 용량성(capacitive) 패드, 홀로그래픽 디바이스, 레이저 트래킹 디바이스, 열 디바이스, 터치 또는 터치리스(touchless) 센스, 어코스틱 디바이스, 및 모션을 감지할 수 있는 임의의 다른 디바이스, 이러한 디바이스의 어레이, 및 이들의 혼합 및 조합으로 이루어지는 그룹으로부터 선택된다. 다른 실시예에서, 객체는 환경 제어, 조명 디바이스, 카메라, 오븐, 식기 세척기, 스토브, 사운드 시스템, 디스플레이 시스템, 알람 시스템, 제어 시스템, 의료 디바이스, 로봇, 로봇 제어 시스템, 온수 및 냉수 공급 디바이스, 공조 시스템, 난방 시스템, 환풍 시스템, 공기 처리 시스템, 컴퓨터 및 컴퓨터 시스템, 화학 또는 제조 플랜트 제어 시스템, 컴퓨터 운영 체제 및 다른 소프트웨어 시스템, 원격 제어 시스템, 모바일 디바이스, 전기 시스템, 센서, 하드웨어 디바이스, 하드웨어 시스템, 환경 디바이스 및 시스템, 에너지 및 에너지 배분 디바이스 및 시스템, 소프트웨어 프로그램 또는 객체, 또는 이들의 혼합 및 조합을 포함한다.
객체를 제어하기 위한 본 발명의 방법의 실시예는, 모션 센서의 활성 감지 구역 내에서 또는 모션 센서 어레이의 활성 감지 구역 내에서, 하나 또는 복수의 몸 부분 또는 객체에 의한 활성 구역 내에서의 움직임, 움직임 방향, 움직임 속도 및/또는 움직임 가속도 및/또는 움직임 방향에서의 변화, 움직임 속도에서의 변화, 및/또는 움직임 가속도에서의 변화, 및/또는 방향에서의 변화율, 속도에서의 변화율 및/또는 가속도에서의 변화율을 감지하는 단계를 포함한다. 또한, 방법은 센서 또는 센서들로부터 하나의 출력 신호 또는 복수의 출력 신호를 생산하는 단계와, 출력 신호 또는 신호들을 하나의 명령 함수 또는 복수의 명령 함수로 변환하는 단계를 포함한다. 명령 및 제어 함수는, 적어도, (1) 하나의 스크롤 함수 또는 복수의 스크롤 함수, (2) 하나의 선택 함수 또는 복수의 선택 함수, (3) 하나의 속성 함수 또는 복수의 속성 함수, (4) 하나의 속성 제어 함수 또는 복수의 속성 제어 함수, 또는 (5) 동시 제어 함수를 포함한다. 동시 제어 함수는 (a) 하나의 선택 함수 또는 복수의 선택 함수와 하나의 스크롤 함수 또는 복수의 스크롤 함수, (b) 하나의 선택 함수 또는 복수의 선택 함수와 하나의 활성화 함수 또는 복수의 활성화 함수, 및 (c) 하나의 선택 함수 또는 복수의 선택 함수와 하나의 속성 제어 함수 또는 복수의 속성 제어 함수를 포함한다. 소정의 실시예에서, 객체는 전기 디바이스, 전기 시스템, 센서, 하드웨어 디바이스, 하드웨어 시스템, 환경 디바이스 및 시스템, 에너지 및 에너지 배분 디바이스 및 시스템, 소프트웨어 시스템, 소프트웨어 프로그램, 소프트웨어 객체 또는 이들의 조합을 포함한다. 다른 실시예에서, 속성은 디바이스, 시스템, 프로그램 및/또는 객체와 관련된 조정 가능한 속성을 포함한다. 다른 실시예에서, 시간 설정형 홀드는, 속성이 미리 설정된 레벨로 조정되게 하거나 선택이 이루어지게 하게나, 스크롤 함수가 구현되게 하거나, 또는 이들의 조합이 되게 하는 짧은(brief) 동안이거나, 움직임의 짧은 중지이다. 다른 실시예에서, 시간 설정형 홀드는 계속되어, 속성이 홀드가 제거될 때 종료하는 높은 값/낮은 값 사이클을 겪게 한다. 다른 실시예에서, 시간 설정형 홀드는, (1) 속성이 최대값이면, 시간 설정형 홀드가 제거될 때까지, 시간 설정형 홀드는 속성값이 미리 정해진 레이트로 감소하게 하거나, (2) 속성이 최소값이면, 시간 설정형 홀드가 제거될 때까지, 시간 설정형 홀드는 속성값이 미리 정해진 레이트로 증가하게 하거나, (3) 속성이 최대값 또는 최소값이 아니면, 시간 설정형 홀드는 속성값 변화의 레이트와 방향을 임의로 선택하여 속성을 변경하여 최대 제어를 허용하거나, 또는 (4) 시간 설정형 홀드가 제거될 때까지, 시간 설정형 홀드는 속성값에서의 연속 변화 또는 초기 모션의 방향으로의 스크롤 함수를 발생시킨다. 다른 실시예에서, 모션 센서는, 디지털 카메라, 광 스캐너, 광 롤러 볼 디바이스, 터치 패드, 유도성 패드, 용량성 패드, 홀로그래픽 디바이스, 레이저 트래킹 디바이스, 열 디바이스, 터치 또는 터치리스 센스, 어코스틱 디바이스, 및 모션 또는 모션에 기인하는 임의의 파형에서 변화를 감지할 수 있는 임의의 다른 디바이스 또는 이러한 디바이스의 어레이, 및 이들의 혼합 및 조합을 포함하는 임의의 종류의 센서로 이루어진 그룹으로부터 선택된다. 다른 실시예에서, 객체는 조명 디바이스, 카메라, 오븐, 식기 세척기, 스토브, 사운드 시스템, 디스플레이 시스템, 알람 시스템, 제어 시스템, 의료 디바이스, 로봇, 로봇 제어 시스템, 온수 및 냉수 공급 디바이스, 공조 시스템, 난방 시스템, 환풍 시스템, 공기 처리 시스템, 컴퓨터 및 컴퓨터 시스템, 화학 플랜트 제어 시스템, 컴퓨터 운영 체제 및 다른 소프트웨어 시스템, 원격 제어 시스템, 센서, 또는 이들의 혼합 및 조합을 포함한다.
전술한 모든 이러한 시나리오는, 전등과 같은 객체의 단일의 제어 가능한 속성을 제어하기 위하여, 각각의 객체(모션이 감지되고 있는 객체로서의 자신의 손을 이용하는 방 내에 있는 사람과 같은 실제, 또는 디스플레이 장치 상에서의 가상의 또는 렌더링된 방 내의 객체에 대한 가상 표현)에 대한 모션의 상대 거리, 모션의 방향, 모션의 속력, 모션의 가속도, 임의의 이러한 특성에서의 변화, 임의의 이러한 특성에서의 변화율, 또는 이들의 혼합 및 조합을 포함하지만 이에 한정되지 않는 감지된 모션에 대한 특성 및/또는 특징을 이용하는 대량의 디바이스의 제어를 예시하도록 설계된다. 그러나, 본 발명의 시스템, 장치 및 방법은 또한 객체의 2개, 3개 또는 더 많은 속성을 제어하기 위하여 모션 특성 및/또는 특징을 이용할 수도 있다. 더하여, 본 발명의 시스템, 장치 및 방법은 또한 객체 집합의 상이한 속성을 제어하기 위하여 모션 감지 구역 내에서 복수의 움직이는 객체로부터의 모션 특성 및/또는 특징을 이용할 수도 있다. 예를 들어, 전술한 도면에서의 전등이 밝기뿐만 아니라 색상이 조절될 수 있다면, 모션 특성 및/또는 특징은 전등의 색상 및 세기를 동시에 변경하는데 사용될 수 있거나, 하나의 감지된 모션이 세기를 제어할 수 있고, 다른 감지된 모션이 색상을 조절할 수 있다. 예를 들어, 예술가가 컴퓨터 생성 캔버스에서 그림을 그리기 원한다면, 모션 특성 및/또는 특징은 예술가가 1개, 2개, 3개 등의 감지된 모션으로부터 감지된 모션의 특징을 이용하여 디스플레이 상에 각각의 픽셀의 픽셀 특성을 제어하게 할 것이다. 따라서, 본 발명의 시스템, 장치 및 방법은, 모션이 실제 공간 또는 가상 공간에서의 객체를 가로지르는 것에 따라, 즉각적인 특성값에 기초하여 제어되고 있는 각각의 모든 객체와 관련된 모션 특성을 변환할 수 있다.
본 발명의 시스템, 장치 및 방법은 하나 이상의 모션 센서에 의해 감지되는 모션에 따라 활성화된다. 그 다음, 이러한 감지된 모션은 시스템 및 장치를 활성화하여, 시스템 및 장치가 하나의 선택 객체 및 복수의 선택 객체를 활성화하는 모션 및 이의 특성을 처리하게 한다. 활성화되면, 모션 특성은 이에 따라 하나의 사전 선택된 객체 또는 사전 선택된 객체의 그룹을 발생시킬 선택 객체의 움직임이 사전 선택된 객체를 향해 움직이게 하고, 하나의 사전 선택된 객체 또는 사전 선택된 객체의 그룹은 모션의 방향과 가장 가깝게 정렬된 선택 가능한 객체(들)고, 이는 선택 객체의 대응하는 모션에 의한 사용자 피드백 유닛에 의해 명시될 수 있다. 본 발명의 시스템 또는 장치의 다른 양태는 선택 객체가 하나의 사전 선택된 객체 또는 사전 선택된 객체의 그룹을 향해 더 빠르게 움직일수록, 하나의 사전 선택된 객체 또는 사전 선택된 객체의 그룹이 선택 객체로 더 빠르게 움직인다는 것이다. 본 발명의 시스템 또는 장치의 다른 양태는 하나의 사전 선택된 객체 또는 사전 선택된 객체의 그룹이 선택 객체를 향해 움직임에 따라, 하나의 사전 선택된 객체 또는 사전 선택된 객체의 그룹은 크기가 증가할 수 있거나, 색상을 변경할 수 있거나, 강조로 될 수 있거나, 다른 포맷의 피드백을 제공할 수 있거나 또는 이들의 조합이 될 수 있다는 것이다. 본 발명의 시스템 또는 장치의 다른 양태는 객체 또는 객체의 그룹으로부터 멀어지는 움직임은 선택 객체(들)로부터 더 크거나 가속된 속력으로 멀리 객체가 이동하는 것을 제공할 수 있다는 것이다. 본 발명의 시스템 또는 장치의 다른 양태는, 모션이 계속됨에 따라, 모션이 단일의 선택 가능한 객체 또는 선택 가능한 객체의 결합된 그룹의 선택을 제공할 때까지, 사전 선택된 객체(들)의 그룹의 멤버를 구별하기 시작할 것이라는 것이다. 선택 객체 및 목표인 선택 가능한 객체가 접촉하거나, 객체를 둘러싸는 활성 영역이 접촉하거나, 객체 사이의 임계 거리가 성취되거나, 또는 선택의 확률이 활성화 임계값을 초과하면, 목표 객체가 선택되고 선택되지 않은 디스플레이 객체가 디스플레이에서 제거되거나, 색상 또는 형상을 변경하거나, 또는 흐려지게 되거나 또는 임의의 이러한 속성이 선택되지 않은 것으로 인식되게 한다. 본 발명의 시스템 또는 장치는 사용자 피드백 유닛의 중심에 선택된 객체를 위치시키거나, 모션이 먼저 감지된 위치에 또는 그 근처에 선택된 객체를 중심에 위치시킨다. 선택된 객체는 디스플레이의 코너에 있을 수 있다 - 전화기를 사용할 때, 엄지가 측부에 있으며, 다음 레벨 메뉴가 선택된 객체로부터 약간 더 멀리 가능하게는 아치형으로 디스플레이되어, 다음 모션이 첫 번째 것에 가까워서, 일반적으로 디스플레이의 중심의 일반적인 영역에서 사용자가 앞뒤로 작동한다. 객체가 사진을 찍거나 디바이스를 켜는 것 등과 같은 실행 가능한 객체이면, 실행은 선택과 동시적이다. 객체가 선택된 객체와 관련된 서브 메뉴, 서브 리스트 또는 속성의 리스트이면, 서브 메뉴 멤버, 서브 리스트 멤버 또는 속성이 이격된 포맷으로 스크린에 디스플레이된다. 선택된 객체를 선택하기 위하여 사용되는 동일한 절차가 서브 메뉴, 서브 리스트 또는 속성 리스트의 멤버를 선택하는데 사용된다. 따라서, 인터페이스는 디스플레이 객체에서 인력과 유사하거나 반인력(anti-gravity)에 유사한 동작을 갖는다. 선택 객체(들)가 이동함에 따라, 이는 선택 객체의 모션의 방향과 정렬된 객체 또는 객체들을 끌어당겨, 이러한 객체(들)를 그에 향해 끌어당기며, 선택되지 않은 항목을 동시에 또는 순차적으로 밀쳐내거나 선택된 객체와 선택되지 않은 객체를 구별하기 위하여 임의의 다른 방법으로 선택되지 않은 것을 표시할 수 있다. 모션이 계속됨에 따라, 끌어당김은 모션의 방향과 가장 많이 정렬된 객체에서 증가하고, 이들이 접촉하거나 병합하거나 또는 활성화 임계값으로 판단된 임계 거리에 도달될 때까지 선택 객체를 향하여 더 가속한다. 접촉 또는 병합 또는 임계값에 도달하는 것은 처리 유닛이 객체(들)를 선택하고 활성화하게 한다. 또한, 감지된 모션은 다수의 감지된 모션과, 동시에 또는 순차적으로 호출될 수 있는 다수의 명령 함수를 생기게 하는 모션 센서(들)의 활성 구역 내에서의 하나 이상의 움직임에 의해 검출된 하나 이상의 모션일 수 있다. 센서는 센서 어레이를 형성하도록 배열될 수 있다. 객체가 사진을 찍거나 디바이스를 켜는 것 등과 같은 실행 가능한 객체이면, 실행은 선택과 동시적이다. 객체가 선택된 객체와 관련된 서브 메뉴, 서브 리스트 또는 속성의 리스트이면, 서브 메뉴 멤버, 서브 리스트 멤버 또는 속성이 이격된 포맷으로 스크린에 디스플레이된다. 선택된 객체를 선택하기 위하여 사용되는 동일한 절차가 서브 메뉴, 서브 리스트 또는 속성 리스트의 멤버를 선택하는데 사용된다. 따라서, 인터페이스는 디스플레이 객체에서 인력과 유사한 동작을 갖는다. 선택 객체가 이동함에 따라, 이는 선택 객체의 모션의 방향과 정렬된 객체 또는 객체를 끌어당겨, 이러한 객체를 그에 향해 끌어당긴다. 모션이 계속됨에 따라, 끌어당김은 모션의 방향과 가장 많이 정렬된 객체에서 증가하고, 이들이 접촉하거나 병합하거나 또는 활성화 임계값으로 판단된 임계 거리에 도달될 때까지 선택 객체를 향하여 더 가속한다. 접촉, 병합 또는 임계값 이벤트는 처리 유닛이 객체를 선택하고 활성화하게 한다.
감지된 모션이 본 발명의 시스템 또는 장치의 활성화를 제공할 수 있을 뿐만 아니라, 선택, 속성 제어, 활성화, 작동, 스크롤 또는 이들의 조합을 제공할 수 있다.
상이한 촉각(촉감) 또는 오디오 또는 다른 피드백이 사용자에게 다른 선택을 표시하도록 사용될 수 있으며, 이들은 모션이 이루어짐에 따라 세기에서 가변적일 수 있다. 예를 들어, 사용자가 방사상 구역을 통해 움직인다면, 상이한 객체가 상이한 버즈(buzz) 또는 소리를 생산할 수 있고, 객체가 사용자의 앞에 있는지 또는 뒤에 있는지 나타내기 위하여 그 구역 내에 이동하는 동안 세기 또는 피치가 변화할 수 있다.
또한, 개별적으로 또는 순차적으로 이루어진 모션과는 상이한 제어 기능을 제공하기 위하여 복합 모션이 사용될 수 있다. 이는, 상태를 변경하는 동안 스크롤, 줌인/줌아웃, 또는 선택과 같은 다른 제어를 동시에 또는 독립적으로 제공하면서, 객체의 상태에 기초하여 스케일을 변경하는 것과 함께 그래픽, 그래픽 및 문자, 또는 문자를 보기 위하여 디바이스를 기울이는 것과 같은 조합 속성과, 상태 및 속성 모두의 변화를 포함한다. 또한, 이러한 특징은, 양을 제어하면서, 정맥에 추가되는 화학물의 양을 동시에 제어하는데 사용될 수 있다. 또한, 이러한 특징은 아이콘을 이동시키거나 또는 프로그램을 동시에 스크롤하는 동안 틸트(tilt)로 윈도우즈 8과 윈도우즈 7 사이를 변경하는데 사용될 수 있다.
원하는 명령(다모드(multimodal))을 제공하기 위하여 또는 상이한 방식으로 동일한 제어 명령을 제공하기 위하여, 청각적 매체 또는 다른 통신 매체가 객체 선택을 확인하거나 모션과 함께 확인하는데 사용될 수 있다.
또한, 본 시스템, 장치 및 방법은, 객체 선택 응답을 개선하거나 기대하기 위하여, 사용자 모션 특징, 환경 특징(예를 들어, 모션 센서 종류, 처리 유닛 종류 또는 환경 특성), 제어 가능한 객체 환경 등으로부터 학습하는 인공 지능 컴포넌트를 포함할 수 있다.
본 발명의 실시예는, 활성 감지 구역을 갖는 적어도 하나의 모션 센서, 적어도 하나의 처리 유닛, 적어도 하나의 전원 유닛 및 처리 유닛의 제어 하에 있는 하나의 객체 또는 복수의 객체를 포함하는, 가상 또는 실제 객체와 이들의 제어 가능한 속성을 선택하고 활성화하는 시스템에 더 관련된다. 센서, 처리 유닛 및 전원 유닛은 서로 전기 통신할 수 있다. 모션 센서는 활성 구역 내에서 모션 특성을 포함하는 모션을 감지하고, 적어도 하나의 출력 신호를 생성하며, 출력 신호를 처리 유닛에 전송한다. 처리 유닛은 출력 신호를 적어도 하나의 명령 함수로 변환한다. 명령 함수는, (1) 시작 함수, (2) 스크롤 함수, (3) 선택 함수, (4) 활성화 함수, (5) 속성 제어 함수, (6) (a) 선택 및 스크롤 함수, (b) 선택, 스크롤 및 활성화 함수, (c) 선택, 스크롤, 활성화 및 속성 제어 함수, (d) 선택 및 활성화 함수, (e) 선택 및 속성 제어 함수, (f) 선택, 활성화 및 속성 제어 함수, 또는 (g) 이들의 조합을 포함하는 동시 제어 함수, 또는 (7) 이들의 조합을 포함한다. 시작 함수는 모션 센서에 의한 제1 감지 모션에 따라 적어도 하나의 선택 또는 커서 객체 및 복수의 선택 가능한 객체를 활성화하고, 모션 방향과 정렬된 선택 가능한 객체는 선택 객체를 향하여 이동하거나 또는 정렬되지 않은 선택 가능한 객체와 구별되게 되고, 모션은 목표인 선택 가능한 객체 또는 목표인 복수의 선택 가능한 객체가 목표가 아닌 선택 가능한 객체와 구별될 때까지 계속되어, 목표 객체 또는 객체들의 활성화를 제공한다. 모션 특성은, 터치, 리프트 오프, 방향, 속도, 가속도, 방향에서의 변화, 속도에서의 변화, 가속도에서의 변화, 방향의 변화율, 속도의 변화율, 가속도의 변화율, 정지, 홀드, 시간 설정형 홀드(timed hold), 또는 이들의 조합을 포함한다. 객체는 실제 객체, 가상 객체 및 이들의 혼합이나 조합을 포함하고, 실제 객체는, 물리, 기계, 전기 기계, 자기, 전자기, 전기 또는 전자 디바이스 또는 처리 유닛에 의해 제어될 수 있는 임의의 다른 실제 디바이스를 포함하며, 가상 객체는 가상 세계에서 또는 컴퓨터에 의해 생성되고 디스플레이 디바이스에 의해 디스플레이되며 처리 유닛에 의해 제어될 수 있는 임의의 구조를 포함한다. 속성은 객체와 관련된 활성화 가능하고, 실행 가능하고 그리고/또는 조정 가능한 속성을 포함한다. 모션 특성에서의 변화는 모션 센서 및/또는 처리 유닛에 의해 식별 가능한 변화이다.
소정의 실시예에서, 시작 함수는 사용자 피드백 유닛을 추가로 활성화하고, 선택 객체와 선택 가능한 객체는 모션 센서 활성 구역 내에서 동물, 인간, 로봇, 로봇 시스템, 이의 일부 또는 일부들, 또는 이들의 조합의 움직임에 응답하여 모션 센서를 통해 식별 가능하다. 다른 실시예에서, 시스템은, 적어도 하나의 사용자 피드백 유닛, 적어도 하나의 배터리 백업 유닛, 통신 하드웨어 및 소프트웨어, 적어도 하나의 원격 제어 유닛, 또는 이들의 혼합 및 조합을 더 포함하며, 센서, 처리 유닛, 전원 유닛, 사용자 피드백 유닛, 배터리 백업 유닛, 원격 제어 유닛은 서로 전기 통신한다. 다른 실시예에서, 더 빠른 모션은 선택 객체를 향한 목표 객체 또는 객체들의 더 빠른 움직임을 발생시키거나, 목표가 아닌 객체 또는 객체들로부터 목표 객체 또는 객체의 더 큰 차이를 발생시킨다. 다른 실시예에서, 활성화된 객체 또는 객체들이 서브 객체 및/또는 이와 관련된 속성을 가지면, 객체가 선택 객체를 향해 움직임에 따라, 서브 객체 및/또는 속성이 나타나고, 객체 선택이 더 확실하게 됨에 따라 더 식별 가능하게 된다. 다른 실시예에서, 목표 객체 또는 객체들이 선택되면, 모션 센서의 활성 구역 내에서의 추가 모션은 모션 방향과 정렬된 선택 가능한 서브 객체 또는 선택 가능한 속성이 선택 객체(들)를 향하게 이동하게 하거나, 또는 정렬되지 않은 선택 가능한 서브 객체 또는 선택 가능한 속성과 구별되게 하거나, 또는 하나의 목표인 선택 가능한 서브 객체 또는 속성 또는 목표인 복수의 선택 가능한 서브 객체 및/또는 속성이 목표가 아닌 선택 가능한 서브 객체 및/또는 속성과 구별될 때까지, 모션이 계속된다. 다른 실시예에서, 모션 센서는, 디지털 카메라, 광 스캐너, 광 롤러 볼 디바이스, 터치 패드, 유도성(inductive) 패드, 용량성(capacitive) 패드, 홀로그래픽 디바이스, 레이저 트래킹 디바이스, 열(thermal) 디바이스, 모션을 감지할 수 있는 임의의 다른 디바이스, 모션 센서의 어레이, 및 이들의 혼합 또는 조합으로 이루어지는 그룹으로부터 선택된다. 다른 실시예에서, 객체는 조명 디바이스, 카메라, 오븐, 식기 세척기, 스토브, 사운드 시스템, 디스플레이 시스템, 알람 시스템, 제어 시스템, 의료 디바이스, 로봇, 로봇 제어 시스템, 온수 및 냉수 공급 디바이스, 공조 시스템, 난방 시스템, 환풍 시스템, 공기 처리 시스템, 컴퓨터 및 컴퓨터 시스템, 화학 플랜트 제어 시스템, 컴퓨터 운영 체제, 시스템, 그래픽 시스템, 비즈니스 소프트웨어 시스템, 워드 프로세서 시스템, 인터넷 브라우저, 회계 시스템, 군사 시스템, 제어 시스템, 다른 소프트웨어 시스템, 프로그램, 루틴, 및/또는 요소, 원격 제어 시스템, 또는 이들의 혼합 또는 조합을 포함한다. 다른 실시예에서, 시간 설정형 홀드가 짧으면, 처리 유닛은 속성이 미리 설정된 레벨로 조정되게 한다. 다른 실시예에서, 시간 설정형 홀드가 계속되면, 처리 유닛은 홀드가 제거될 때 종료하는 높은 값/낮은 값 사이클을 속성이 겪게 한다. 다른 실시예에서, 시간 설정형 홀드는, (1) 속성이 최대값이면, 시간 설정형 홀드가 제거될 때까지, 시간 설정형 홀드는 속성값이 미리 정해진 레이트로 감소하게 하거나, (2) 속성이 최소값이면, 시간 설정형 홀드가 제거될 때까지, 시간 설정형 홀드는 속성값이 미리 정해진 레이트로 증가하게 하거나, (3) 속성이 최대값 또는 최소값이 아니면, 시간 설정형 홀드는 속성값 변화의 레이트와 방향을 임의로 선택하여 속성을 변경하여 최대 제어를 허용하거나, 또는 (4) 시간 설정형 홀드가 제거될 때까지, 시간 설정형 홀드는 초기 모션의 방향으로 속성값에서의 연속 변화를 발생시킨다. 다른 실시예에서, 모션 센서는 활성 구역 내에서 제2 모션 특성을 포함하는 제2 모션을 감지하고, 적어도 하나의 출력 신호를 생성하고, 출력 신호를 처리 유닛에 전송하며, 처리 유닛은 출력 신호를 상이한 객체 또는 상이한 객체 속성을 제어하기 위하여 선택 또는 적어도 하나의 제2 명령 함수를 확인하는 확인 명령으로 변환한다. 다른 실시예에서, 모션 센서는, 활성 구역 내에서 2 이상의 동물, 인간, 로봇 또는 이들의 부분 또는 동물, 인간 및/또는 로봇의 지배 하에 있는 객체의 모션 특성을 포함하는 모션을 감지하고, 모션에 대응하는 출력 신호를 생성하고, 출력 신호를 처리 유닛에 전송하며, 처리 유닛은 출력 신호를 동시에 또는 순차적으로 구현되는 제어 함수 또는 확인 명령 또는 이들의 조합으로 변환하며, 시작 함수는 모션 센서에 의한 제1 감지 모션에 따라 복수의 선택 또는 커서 객체 및 복수의 선택 가능한 객체를 활성화하고, 모션 방향과 정렬된 선택 가능한 객체는 선택 객체를 향하여 이동하거나, 또는 정렬되지 않은 선택 가능한 객체로부터 구별되게 되고, 모션은 목표인 선택 가능한 객체 또는 목표인 복수의 선택 가능한 객체가 정렬되지 않은 선택 가능한 객체로부터 구별될 때까지 계속되어, 목표 객체의 활성화를 제공하고, 확인 명령은 선택을 확인한다.
본 발명의 실시예는, 적어도 하나의 모션 센서의 활성 감지 구역 내에서 모션 특성을 포함하는 모션을 감지하는 단계와, 감지된 모션에 대응하는 하나의 출력 신호 또는 복수의 출력 신호를 생산하는 단계를 포함하는 객체 제어 방법에 더 관련되고, 모션 특성은 방향, 속도, 가속도, 방향에서의 변화, 속도에서의 변화, 가속도에서의 변화, 방향의 변화율, 속도의 변화율, 가속도의 변화율, 정지, 홀드, 시간 설정형 홀드(timed hold), 또는 이들의 혼합 및 조합을 포함한다. 또한, 방법은 모션 센서와 통신하는 처리 유닛을 통해 출력 신호 또는 신호들을 하나의 명령 함수 또는 복수의 명령 함수로 변환하는 단계를 포함한다. 명령 함수는, (1) 시작 함수, (2) 스크롤 함수, (3) 선택 함수, (4) 활성화 함수, (5) 속성 제어 함수, (6) (a) 선택 및 스크롤 함수, (b) 선택, 스크롤 및 활성화 함수, (c) 선택, 스크롤, 활성화 및 속성 제어 함수, (d) 선택 및 활성화 함수, (e) 선택 및 속성 제어 함수, (f) 선택, 활성화 및 속성 제어 함수, 또는 (g) 이들의 조합을 포함하는 동시 제어 함수, 또는 (7) 이들의 조합을 포함한다. 또한, 방법은 동시에 또는 순차적으로 명령 함수 또는 명령 함수들을 처리하는 단계를 포함하고, 시작 함수는 모션 센서에 의한 제1 감지 모션에 따라 적어도 하나의 선택 또는 커서 객체 및 복수의 선택 가능한 객체를 활성화하고, 모션 방향과 정렬된 선택 가능한 객체는 선택 객체를 향하여 이동하거나 또는 정렬되지 않은 선택 가능한 객체와 구별되게 되고, 모션은 목표인 선택 가능한 객체 또는 목표인 복수의 선택 가능한 객체가 목표가 아닌 선택 가능한 객체와 구별될 때까지 계속되어, 목표 객체 또는 객체들의 활성화를 제공하며, 모션 특성은, 터치, 리프트 오프, 방향, 속도, 가속도, 방향에서의 변화, 속도에서의 변화, 가속도에서의 변화, 방향의 변화율, 속도의 변화율, 가속도의 변화율, 정지, 홀드, 시간 설정형 홀드(timed hold), 또는 이들의 혼합 및 조합을 포함한다. 객체는 실제 객체, 가상 객체 및 이들의 혼합이나 조합을 포함하고, 실제 객체는, 물리, 기계, 전기 기계, 자기, 전자기, 전기 또는 전자 디바이스 또는 처리 유닛에 의해 제어될 수 있는 임의의 다른 실제 디바이스를 포함하며, 가상 객체는 가상 세계에서 또는 컴퓨터에 의해 생성되고 디스플레이 디바이스에 의해 디스플레이되며, 처리 유닛에 의해 제어될 수 있는 임의의 구조를 포함한다. 속성은 객체와 관련된 활성화 가능하고, 실행 가능하고 그리고/또는 조정 가능한 속성을 포함한다. 모션 특성에서의 변화는 모션 센서 및/또는 처리 유닛에 의해 식별 가능한 변화이다.
소정의 실시예에서, 모션 센서는, 디지털 카메라, 광 스캐너, 광 롤러 볼 디바이스, 터치 패드, 유도성 패드, 용량성 패드, 홀로그래픽 디바이스, 레이저 트래킹 디바이스, 열 디바이스, 음향 디바이스, 모션을 감지할 수 있는 임의의 다른 디바이스, 모션 센서의 어레이, 및 이들의 혼합 또는 조합으로 이루어지는 그룹으로부터 선택된다. 다른 실시예에서, 객체는 조명 디바이스, 카메라, 오븐, 식기 세척기, 스토브, 사운드 시스템, 디스플레이 시스템, 알람 시스템, 제어 시스템, 의료 디바이스, 로봇, 로봇 제어 시스템, 온수 및 냉수 공급 디바이스, 공조 시스템, 난방 시스템, 환풍 시스템, 공기 처리 시스템, 컴퓨터 및 컴퓨터 시스템, 화학 플랜트 제어 시스템, 컴퓨터 운영 체제, 시스템, 그래픽 시스템, 비즈니스 소프트웨어 시스템, 워드 프로세서 시스템, 인터넷 브라우저, 회계 시스템, 군사 시스템, 제어 시스템, 다른 소프트웨어 시스템, 프로그램, 루틴, 객체 및/또는 요소, 원격 제어 시스템, 또는 이들의 혼합 및 조합을 포함한다. 다른 실시예에서, 시간 설정형 홀드가 짧으면, 처리 유닛은 속성이 미리 설정된 레벨로 조정되게 한다. 다른 실시예에서, 시간 설정형 홀드는 계속되면, 처리 유닛은 홀드가 제거될 때 종료하는 높은 값/낮은 값 사이클을 속성이 겪게 한다. 다른 실시예에서, 시간 설정형 홀드가 짧으면, 처리 유닛은 속성이 미리 설정된 레벨로 조정되게 한다. 다른 실시예에서, 시간 설정형 홀드가 계속되면, 처리 유닛은 홀드가 제거될 때 종료하는 높은 값/낮은 값 사이클을 속성이 겪게 한다. 다른 실시예에서, 시간 설정형 홀드는, (1) 속성이 최대값이면, 시간 설정형 홀드가 제거될 때까지, 시간 설정형 홀드는 속성값이 미리 정해진 레이트로 감소하게 하거나, (2) 속성이 최소값이면, 시간 설정형 홀드가 제거될 때까지, 시간 설정형 홀드는 속성값이 미리 정해진 레이트로 증가하게 하거나, (3) 속성이 최대값 또는 최소값이 아니면, 시간 설정형 홀드는 속성값 변화의 레이트와 방향을 임의로 선택하여 속성을 변경하여 최대 제어를 허용하거나, 또는 (4) 시간 설정형 홀드가 제거될 때까지, 시간 설정형 홀드는 초기 모션의 방향으로 속성값에서의 연속 변화를 발생시킨다. 다른 실시예에서, 방법은 모션 센서의 활성 감지 구역 내에서 제2 모션 특성을 포함하는 제2 모션을 감지하는 단계와, 감지된 제2 모션에 대응하는 하나의 제2 출력 신호 또는 복수의 제2 출력 신호를 생산하는 단계와, 모션 센서와 통신하는 처리 유닛을 통해 제2 출력 신호 또는 신호들을 하나의 제2 명령 함수 또는 복수의 제2 명령 함수로 변환하는 단계와, 제2 출력 신호에 기초하여 선택을 확인하거나 하나의 제2 명령 함수 또는 복수의 제2 명령 함수를 처리하는 단계와, 제2 모션 방향과 정렬된 선택 가능한 객체를 선택 객체를 향해 이동시키거나 또는 정렬되지 않은 선택 가능한 객체로부터 구별되게 하여 하나의 제2의 목표인 선택 가능한 객체 또는 복수의 제2의 목표인 선택 가능한 객체가 목표가 아닌 선택 가능한 객체와 구별될 때까지 모션이 계속되어, 제2 목표 객체 또는 객체들의 활성화를 제공하는 단계를 포함하며, 모션 특성은, 터치, 리프트 오프, 방향, 속도, 가속도, 방향에서의 변화, 속도에서의 변화, 가속도에서의 변화, 방향의 변화율, 속도의 변화율, 가속도의 변화율, 정지, 홀드, 시간 설정형 홀드(timed hold), 또는 이들의 혼합 및 조합을 포함한다. 다른 실시예에서, 방법은, 모션 센서의 활성 구역 내에서 2 이상의 동물, 인간, 로봇 또는 이들의 부분의 모션 특성을 포함하는 모션을 감지하는 단계, 모션에 대응하는 출력 신호를 생성하는 단계, 출력 신호를 명령 함수 또는 확인 명령 또는 이들의 조합으로 변환하는 단계를 포함하며, 시작 함수는 모션 센서에 의한 제1 감지 모션에 따라 복수의 선택 또는 커서 객체 및 복수의 선택 가능한 객체를 활성화하고, 모션 방향과 정렬된 선택 가능한 객체는 선택 객체를 향하여 이동하거나 또는 정렬되지 않은 선택 가능한 객체와 구별되게 되고, 모션은 목표인 선택 가능한 객체 또는 목표인 복수의 선택 가능한 객체가 목표가 아닌 선택 가능한 객체와 구별될 때까지 계속되어, 목표 객체 또는 객체들의 활성화를 제공하고, 확인 명령은 선택을 확인한다.
본 발명에서 사용을 위한 적합한 컴포넌트
또한, 모션 센서는 디스플레이, 키보드, 터치 패드, 터치리스 패드, 임의의 종류의 센서, 또는 컴퓨터, 노트북 컴퓨터 또는 드로잉 태블릿 또는 이동형이나 고정형 디바이스와 관련된 다른 디바이스와 함께 사용될 수 있다. 모션 센서는 광 센서, 음향 센서, 열 센서, 광음향 센서, 움직임 또는 움직임에서의 변화를 감지하는 임의의 다른 센서나 세서의 조합, 또는 이들의 혼합이나 조합을 포함할 수 있다. 센서는 디지털이나 아날로그 또는 디지털과 아날로그의 조합일 수 있다. 카메라 시스템을 위하여, 시스템은 렌즈 앞쪽의 구역, 영역 또는 용적 내에서 모션을 감지할 수 있다. 광 센서는 RF, 마이크로웨이브, 근적외선, 적외선, 원적외선, 가시광선, UV 또는 이들의 혼합이나 조합을 포함하지만 이에 한정되지 않는 전자기 스펙트럼의 임의의 영역에서 동작할 수 있다. 음향 센서는 인가의 청각 범위, 동물의 청각 범위 또는 이들의 조합을 포함하는 전체 음파 범위에 대하여 동작할 수 있다. EMF센서는 모션이 식별될 수 있는 식별 가능한 파장 또는 크기의 임의의 영역에서 사용되고 동작할 수 있다. 더욱이, LCD 스크린(들)은 어느 디바이스, 온도 설정 등이 선택되는지 식별하기 위하여 포함될 수 있다. 더욱이, 인터페이스가 가상 제어 표면을 투영하고, 투영된 이미지 내에서 모션을 감지하고, 감지된 모션에 기초하여 동작을 호출할 수 있다. 본 발명의 인터페이스와 관련된 모션 센서는 음향 스펙트럼의 임의의 허용 가능한 영역을 이용하는 음향 모션 센서일 수 있다. 사용자의 몸 부분 또는 사용자의 지배 하에 있는 객체가 잠길 수 있는 액체 또는 기체의 부피가 사용될 수 있으며, 여기에서 액체 또는 기체와 관련된 센서는 모션을 식별할 수 있다. 횡파, 종파, 펄스, 압축 또는 임의의 다른 파형에서의 차이를 식별할 수 있는 임의의 센서가 모션을 식별하기 위하여 사용될 수 있으며, 이동하는 동안의 모션 또는 접촉에 관련되는 인력, 자기, 전자기 또는 전기 변화를 측정하는 임의의 센서(저항성 및 용량성 스크린)가 사용될 수 있다. 물론, 인터페이스는 임의의 알려지거나 아직 발명되지 않은 모션 센서의 혼합 또는 조합을 포함할 수 있다.
본 발명의 제어 시스템 및/또는 스위치에 의해 제어될 수 있는 적합한 전기 디바이스, 하드웨어 디바이스 및/또는 기기는 임의의 전기 및/또는 스위치, 조이스틱 또는 유사한 종류의 컨트롤러, 또는 소프트웨어 프로그램(들) 및/또는 객체(들) 및/또는 객체 및 속성 및/또는 속성에 의해 제어될 수 있는 속성을 갖는 임의의 전기 및/또는 하드웨어 디바이스 또는 기기를 포함할 수 있지만, 이에 한정되지 않는다. 이러한 속성의 예시적인 예는, ON, OFF, 세기 및/또는 진폭, 임피던스, 커패시던스, 인덕턴스, 소프트웨어 속성, 소프트웨어 프로그램이나 객체의 리스트 또는 서브 메뉴, 디스플레이에서의 가상 및/또는 실제 객체, 모일 디바이스 또는 게이밍 시스템, 또는 디바이스의 임의의 다른 제어 가능한 전기 및/또는 전기 기계 함수 및/또는 속성을 포함하지만, 이에 한정되지 않는다. 전기 디바이스 및/또는 기기의 예시적인 예는, 환경 제어부, 빌딩 시스템 및 제어부, 실내 및/또는 실외 전등 또는 조명 기구와 같은 조명 디바이스, 카메라, 오븐(컨벤션, 컨벡션, 마이크로웨이브 및/또는 기타), 식기 세척기, 스토브, 사운드 시스템, 모바일 디바이스, 디스플레이 시스템(TV, VCR, DVD, 케이블 박스, 위성 박스 및/또는 기타), 알람 시스템, 제어 시스템, 에너지 관리 시스템, 의료 디바이스, 자동차, 로봇, 로봇 제어 시스템, UAV, 설비 및 기계 제어 시스템, 온수 및 냉수 공급 디바이스, 공조 시스템, 난방 시스템, 환기 시스템, 공기 조절 시스템, 보안 시스템, 컴퓨터 및 컴퓨터 시스템, 화학 플랜트 제어 시스템, 제조 플랜트 제어 시스템, 위성 제어 시스템, 컴퓨터 운영 체제 및 다른 소프트웨어 시스템, 객체 또는 프로그램, 원격 제어 시스템 또는 이와 유사한 것, 또는 이들의 혼합이나 조합을 포함하지만 이에 한정되지 않는다.
본 발명의 인터페이스에 의한 제어에 따르는 적합한 시스템은, 설치된 단일 또는 복수의 소프트웨어 제품을 갖는 임의의 아날로그 또는 디지털 처리 유닛 또는 유닛들을 포함하지만 이에 한정되지 않으며, 각각의 소프트웨어 제품이 그와 관련된 하나 이상의 조정 가능한 속성을 갖거나, 특히 소프트웨어 프로그램 또는 시스템이 하나 이상의 조정 가능한 속성, 메뉴 리스트 또는 다른 기능이나 디스플레이 출력을 갖는다. 이러한 소프트웨어 제품의 예시적인 에는, 운영 체제, 그래픽 시스템, 비즈니스 소프트웨어 시스템, 워드 프로세서 시스템, 비즈니스 시스템, 온라인 판매, 온라인 판매 시스템, 구매 및 비즈니스 거래 시스템, 키오스크 및 교육 또는 정보 시스템, 데이터베이스, 소프트웨어 프로그램 및 애플리케이션, 인터넷 브라우저, 회계 시스템, 재고 시스템, 재고 디스플레이 시스템, 군사 시스템, 제어 시스템 또는 이와 유사한 것을 포함하지만 이에 한정되지 않는다.
적합한 디지털 처리 유닛(DPU)은, 단수 또는 복수의 디바이스 또는 객체로부터 입력을 받아들여 입력의 적어도 일부를 하나 이상의 디바이스 또는 객체의 속성을 선택하고 그리고/또는 제어하도록 설계된 출력으로 변환할 수 있는 임의의 디지털 처리 유닛을 포함하지만, 이에 한정되지 않는다. 이러한 DPU의 예시적인 예는, 인텔, 모토롤라, 에릭슨, 삼성, 히타치, NRC, 어플라이드 머테리얼즈, AMD, 사이릭스(Cyrix), 선 마이크로시스템, 필립스, 내셔널 세미컨턱터, 비아 일렉트로닉스, 퀄컴, 또는 임의의 다른 마이크로프로세서 또는 마이크로컨트롤러 제조사에 의해 제조된 마이크로프로세서, 마이크로컨트롤러 또는 이와 유사한 것을 포함하지만, 이에 한정되지 않는다.
적합한 아날로그 처리 유닛(APU)은, 단수 또는 복수의 디바이스 또는 객체로부터 입력을 받아들여 입력의 적어도 일부를 하나 이상의 디바이스 또는 객체의 속성을 제어하도록 설계된 출력으로 변환할 수 있는 임의의 아날로그 처리 유닛을 포함하지만, 이에 한정되지 않는다. 이러한 아날로그 디바이스는 아날로그 디바이스 Inc와 같은 제조사로부터 입수 가능하다.
적합한 모션 감지 장치는, 디지털 카메라, 광 스캐너, 광 롤러 볼 디바이스, 터치 패드, 유도성 패드, 용량성 패드, 홀로그래픽 디바이스, 레이저 트래킹 디바이스, 열 디바이스, EMF 센서, 파형 센서, 모션, EMF에서의 변화, 파형에서의 변화 또는 이와 유사한 것을 감지할 수 있는 임의의 다른 디바이스, 또는 이러한 디바이스의 어레이, 또는 이들의 혼합이나 조합을 포함하지만, 이에 한정되지 않는다.
본 발명의 도면에 대한 상세한 설명
제1 방법 및 시스템
실시예
도 1a를 참조하면, 전체적으로 100인 디스플레이는 디스플레이 영역(102)을 포함하는 것으로 도시된다. 디스플레이 영역(102)은 휴면 상태 또는 슬립 상태 또는 비활성 상태에 있다. 이 상태는 모션 센서 또는 센서들의 활성 구역 내에서의 임의의 몸 부분의 움직임에 의해서만 변경된다. 카메라, IR 센서, 초음파 센서 또는 활성 구역 내에서 모션을 검출할 수 있는 임의의 다른 종류의 모션 센서와 같이 터치 활성식이 아닌 모션 센서에 대하여, 모션은 사용자, 주어진 사용자 몸 부분 또는 사용자 몸 부분들의 조합 또는 사용자의 지배 대신에 또는 지배 하에서 동작하는 객체의 활성 구역 내에서의 임의의 모션일 수 있다. 터치 스크린의 경우에, 모션은 터치 스크린과 접촉하며, 터치 스크린 또는 디바이스 또는 객체의 다른 활성 영역에서의 예를 들어, 터치, 슬라이딩 등과 같은 모션일 수 있다.
도 1b를 참조하면, 활성화되면, 디스플레이 영역(102)은 선택 객체(104)와, 원호(108) 내에 선택 객체 주위로 분포된 복수의 선택 가능한 객체(106a-y)를 디스플레이한다. 도 1c를 참조하면, 선택 객체(104)는 왼쪽 위로 이동된다. 이 모션은 모션 방향과 가장 많이 정렬되는 선택 가능한 객체(106)가 선택 객체를 향하여 끌어당겨지게 한다. 도 1d를 참조하면, 4개의 잠재적인 선택 객체(106f-i)가 선택 객체를 향해 이동하며 크기가 커진다. 잠재적인 선택 객체를 향하는 모션이 더 빨라질수록, 이는 선택 객체를 향해 더 빠르게 이동할 수 있으며, 크기가 더 빠르게 커질 수 있다. 현재의 모션은 선택될 정확한 객체를 판단하기에는 도움이 되지 않는 방향으로 향하게 된다. 도 1e를 참조하면, 모션이 계속됨에 따라, 가능한 선택 가능한 객체가 결정되고, 객체(106i)와 같은 객체가 이전 위치로 복귀된다. 선택 객체(104)를 선택 가능한 객체(106g)를 향해 이동시키고 선택 객체(104)를 선택 객체(106g)와 접촉하게 하거나 그와의 임계 이벤트 상태가 되게 함으로써, 다른 객체(106f, 106h)는 원래 위치로 복귀하고, 106g는 도 1f에 도시된 바와 같이 더 두꺼운 선으로 여기에 도시되는 소정의 방식으로 강조된다. 선택 객체(104)가 선택 가능한 객체(106g)와 접촉하게 되거나 선택 가능한 객체(106g)와 임계 이벤트 상태가 되면, 선택 객체(104)가 선택 가능한 객체(106g) 내로 병합되고 모든 다른 선택 가능한 객체(106)는 디스플레이 영역(1020으로부터 제거되며, 병합된 선택 객체(104)와 선택 가능한 객체(106g)는 도 1g에 도시된 바와 같이 디스플레이 영역(102)에서 중심에 위치될 수 있다. 선택된 객체(106g)가 서브 객체를 포함하면, 디스플레이 영역(120)은 동시에 선택된 객체(106g)를 중심에 위치시키고 도 1h에 도시된 바와 같이 병합된 선택 객체(104)와 선택된 객체(106g) 주위에 분포된 서브 객체(110a-f)를 디스플레이한다.
도 1i를 참조하면, 선택 객체(104)는 선택 객체(104)를 향하여 이동하고 크기가 커질 수 있는 2개의 가능한 서브 객체(110b-c)를 향하는 방향으로 선택된 객체(106g)로부터 밖으로 이동된다. 도 1j를 참조하면, 선택 객체(104)는 객체(110e)를 향하여 서브 객체(110b-c)로부터 멀리 이동된다. 도 1k를 참조하면, 선택 객체(104)는 서브 객체(110e)와 접촉하도록 이동되고, 이는 도 1l에 도시된 바와 같이 객체(104)를 선택된 서브 객체(110e) 내로 병합함으로써 선택하고 서브 객체(110e)를 활성화한다. 또한, 104가 이동하여 정지하면, 서브 객체는 객체의 위치 내로 이동할 수 있어, 서브 객체가 나머지 모션을 하도록 허용한다.
도 1m을 참조하면, 선택된 객체(106g)가 직접 활성 가능한 경우, 선택 가능한 객체(106g)의 선택은 동시에 객체(106g)를 활성화한다.
제2 방법 및 시스템
실시예
도 2a를 참조하면, 전체적으로 200인 디스플레이는 디스플레이 영역(202)을 포함하는 것으로 도시된다. 디스플레이 영역(202)은 휴면 상태 또는 슬립 상태 또는 비활성 상태에 있다. 이 상태는 모션 센서의 활성 구역 내에서의 모션에 의해서만 변경된다. 모션은 활성 구역 내의 임의의 움직임일 수 있다. 터치 스크린의 경우에, 모션은 예를 들어, 터치, 슬라이딩 등과 같은 접촉일 수 있다. 도 2b를 참조하면, 활성화되면, 디스플레이 영역(202)은 선택 객체(204)와, 원호(208) 내에서 선택 객체 주위로 분포된 복수의 선택 가능한 객체(206a-d)를 디스플레이한다.
도 2c를 참조하면, 선택 객체(204)는 선택 객체(204)를 향하여 이동될 수 있으며 크기가 증가할 수 있고 동시에 관련된 서브 객체(210a, b)를 디스플레이할 수 있는 선택 가능한 객체(206a)를 향하여 이동된다. 예를 들어, 객체(206a)가 카메라이면 서브 객체(210a, b)는 사진을 찍거나 비디오 시퀀스를 기록하는 명령이다. 선택 객체(204)가 선택 가능한 객체(206a)를 향해 더 이동하여 이와 접촉하게 되거나 또는 이와의 임계 이벤트 내로 들어감에 따라, 선택 가능한 객체(206a)는, 도 2d에 도시된 바와 같이, 서브 객체(210a, b)와 함께 더 가깝게 이동하고 더 커질 수 있다. 도 2e를 참조하면, 선택 객체(204)는 선택 가능한 객체(206a)와 접촉하고 다른 객체(206b-d)가 제거되거나 흐려지게 되며, 선택된 객체(206a)와 이의 관련된 서브 객체(210a, b)는 중심에 위치하고 서브 객체는 멀리 분포하여, 서브 객체는 도 2f에 도시된 바와 같이 더 쉽게 선택될 수 있다. 이것은 디스플레이의 중심에 위치될 수 있거나 아닐 수 있다.
도 2g를 참조하면, 선택 객체(204)는 이의 병합 상태로부터 서브 객체(210b)를 향해 이동되어, 선택 객체(204)로 끌어 당겨지고 크기가 커지는 서브 객체(210b)와 접촉하게 되거나 이와의 임계 이벤트 내로 들어간다. 도 2h를 참조하면, 서브 객체(210b)와의 선택 객체(204)의 병합에 의해 명시됨에 따라 서브 객체(210b)가 선택되고 동시에 서브 객체(210b)를 활성화한다.
도 2i를 참조하면, 선택 객체(204)는 이의 병합된 상태로부터 서브 객체(210a)로 향하여, 선택 객체(204)로 끌어 당겨지고 크기가 커지는 서브 객체(210a)와 접촉하거나 이와의 임계 이벤트 내로 들어간다. 도 2j를 참조하면, 서브 객체(210a)와의 선택 객체(204)의 병합에 의해 명시됨에 따라 서브 객체(210a)가 선택되고 동시에 서브 객체(210a)를 활성화한다.
도 2k를 참조하면, 선택 가능한 객체(206a)를 선택한 후에, 사용자는 이 선택을 중단하고 선택 객체(204)를 이의 병합된 상태로부터 임의의 다른 객체로부터 멀어지는 방향으로 이동시키는 것으로 결정하여, 도 2l에 도시된 바와 같이 디스플레이(202)를 도 2b의 디스플레이 구성으로의 리셋을 제공한다.
도 2m을 참조하면, 선택 객체(204)는 선택 객체(204)를 향하여 이동하며 크기가 증가하고 동시에 관련된 서브 객체(212a-c)를 디스플레이하는 선택 가능한 객체(206b)를 향하여 이동된다. 예를 들어, 객체(206b)가 전화라면, 서브 객체(210a-c)는 음성 메일 활성화, 연락처 열기 및 전화기 다이얼 패드 열기이다. 선택 객체(204)가 선택 가능한 객체(206b)를 향해 더 이동되어 이와 접촉하게 됨에 따라, 선택 가능한 객체(206b)는, 도 2n에 도시된 바와 같이, 서브 객체(212a-c)와 함께 더 가깝게 이동하고 더 커질 수 있다. 선택 객체(204)는 선택 가능한 객체(206b)와 접촉하고 다른 객체(206b-d)가 제거되거나 흐려지게 되며, 선택된 객체(206b)와 이의 관련된 서브 객체(212a-c)는 중심에 위치하고 서브 객체는 멀리 분포하여, 서브 객체는 도 2o에 도시된 바와 같이 더 쉽게 선택될 수 있다.
도 2p를 참조하면, 선택 객체(204)는 이의 병합된 상태로부터 서브 객체(212a)로 향하여 이동되어, 선택 객체(204)로 끌어 당겨지고 크기가 커지며 선의 폭이 증가되는 서브 객체(212a)와 접촉하게 된다. 도 2q를 참조하면, 서브 객체(212a)와의 선택 객체(204)의 병합에 의해 명시됨에 따라 서브 객체(212a)가 선택되고 동시에 서브 객체(212a)를 활성화한다.
도 2r을 참조하면, 선택 객체(204)는 선택 객체(204)를 향하여 이동하며 크기가 증가하고 동시에 관련된 서브 객체(214a-c)를 디스플레이하는 선택 가능한 객체(206c)를 향하여 이동된다. 예를 들어, 객체(206c)가 월드 와이드 웹이라면, 서브 객체(210a-c)는 즐겨찾기 열기, 최근 방문 사이트 열기 및 자주 방문한 사이트 열기이다. 선택 객체(204)가 선택 가능한 객체(206c)를 향해 더 이동되어 이와 접촉하게 되거나 이와의 임계 이벤트 내로 들어감에 따라, 선택 가능한 객체(206c)는, 도 2s에 도시된 바와 같이, 서브 객체(214a-c)와 함께 더 가깝게 이동하고 더 커질 수 있다. 선택 객체(204)는 선택 가능한 객체(206c)와 접촉하고 다른 객체(206b-d)가 제거되거나 흐려지게 되며, 선택된 객체(206c)와 이의 관련된 서브 객체(214a-c)는 중심에 위치하고 서브 객체는 멀리 분포하여, 서브 객체는 도 2t에 도시된 바와 같이 더 쉽게 선택될 수 있다.
도 2u를 참조하면, 선택 객체(204)는 선택 객체(204)를 향하여 이동하며 크기가 증가하는 선택 가능한 객체(206d)를 향하여 이동된다. 예를 들어, 객체(206d)가 트위터라면, 트위터가 열린다. 즉, 객체가 활성화된다. 선택 객체(204)가 선택 가능한 객체(206d)를 향해 더 이동되어 이와 접촉하거나 이와의 임계 이벤트로 들어감에 따라, 선택 가능한 객체(206d)는, 도 2v에 도시된 바와 같이, 더 가깝게 이동하고 더 커질 수 있다. 도 2t에 도시된 바와 같이, 선택 객체(204)가 선택 가능한 객체(206d)와 접촉하고 제거되거나 흐려지게 되며, 선택된 객체(206d)가 활성화된다.
제3 방법 및 시스템
실시예
도 3a를 참조하면, 전체적으로 300인 디스플레이는 디스플레이 영역(302)을 포함하는 것으로 도시된다. 디스플레이 영역(302)은 휴면 상태 또는 슬립 상태 또는 비활성 상태에 있다. 이 상태는 모션 센서의 활성 구역 내에서의 모션에 의해서만 변경된다. 모션은 활성 구역 내의 임의의 움직임일 수 있다. 터치 스크린의 경우에, 모션은 예를 들어, 터치, 슬라이딩 등과 같은 접촉일 수 있다. 도 3b를 참조하면, 인터페이스와 관련된 모션 센서의 활성 구역은 시스템을 활성화하고, 디스플레이 영역(302)은 가상 무게 중심(centroid)(304)을 포함한다(무게 중심은 처리 소프트웨어 내의 객체이며, 디스플레이 상에 나타나지 않지만, 모든 다음의 모션이 이 무게 중심에 대하여 정의된다). 디스플레이 영역에서, 복수의 선택 가능한 객체 클러스터(306, 310, 314, 318, 322, 및 326)가 가상 무게 중심(304) 주위로 분포된다. 선택 가능한 객체 클러스터(306, 310, 314, 318, 322, 및 326)는 각각 선택 가능한 클러스터 객체(308, 312, 316, 320, 324, 및 328)를 포함한다. 도 3c를 참조하면, 클러스터(308)는 308a-e를 포함하고; 클러스터(312)는 312a-c를 포함하고; 클러스터(316)는 316a-f를 포함하고; 클러스터(320)는 320a-f를 포함하고; 클러스터(324)는 선택 가능한 객체이고; 그리고, 클러스터(328)는 328a-d를 포함한다.
도 3d를 참조하면, 인터페이스와 관련된 모션 센서의 활성 구역 내에서의 사용자의 눈, 손, 발 등과 같은 몸 부분의 모션이 디스플레이 영역에서의 가상의 유향 직선으로서 도시되지만, 유형 직선 세그먼트는 실제로 디스플레이되지 않는다. 감지된 모션이 분석되고 인터페이스는 모션의 방향, 속력 및/또는 모션의 가속도와 같은 모션 특성과 가장 많이 정렬된 객체를 예측한다. 도 3e를 참조하면, 인터페이스의 소프트웨어의 예측 부분이 클러스터(310)가 선택될 가장 가능성이 높은 클러스터라고 판단하고, 이의 관련된 선택 가능한 클러스터 객체(312a-c)가 또한 디스플레이된다. 그 다음, 도 3f에 도시된 바와 같이, 인터페이스는 객체(312a-c)가 무게 중심(304)으로(또는 선택 객체 역할을 하는 사용자의 눈(들) 또는 몸 부분(들)의 상대 위치를 향하여) 끌어당겨지게 한다. 또한, 도 3f는 증강된 방향으로 모션 센서에 의해 감지되는 연속된 모션을 도시한다. 도 3g를 참조하면, 증강된 방향은, 객체(312b, 312c)만이 디스플레이되고 더 나은 식별을 위하여 끌어당겨지고 이격되도록 추가 식별을 허용한다.
도 3h를 참조하면, 모션 센서에 의해 감지된 모션의 새로운 증가 방향이 선택을 허용하여, 도 3j에 도시된 바와 같이, 선택된 객체(312c)를 중심에 위치시키고, 선택된 객체(312c)를 활성화한다.
클러스터(310)의 예측 선택 및 객체(312c)의 최종적인 선택에서, 이러한 선택은 제2 몸 부분의 모션에 의해 확인될 수 있다. 따라서, 눈 모션이 1차 모션 표시자(indicator)로서 사용되면, 머리를 끄덕이는 것, 눈을 깜박이는 것, 손 움직임 또는 임의의 다른 몸 부분의 모션과 같은 제2 몸 부분의 모션이 선택의 확인으로서 사용될 수 있다. 유사하게, 홀드가 사용자를 향하여 선택 가능한 객체 또는 객체들을 가져오는 끌어당기는 과정을 시작하는데 활용될 수 있다. 도 1a 내지 1m과 도 2a 내지 2w의 인터페이스에서와 같이, 선택 가능한 객체로부터 멀어지는 모션은 디스플레이를 이전 선택 레벨로 복귀시킨다. 계속된 모션은 디스플레이가 최상위 레벨로 되돌아갈 때까지 이러한 진행을 계속한다. 소정의 실시예에서, 클러스터는 특정 클러스터, 객체 또는 객체 그룹을 활성화하는데 사용되는 소정의 미리 정해진 제스처에 의해 선택될 수 있다. 다른 실시예에서, 손가락을 들어 올리거나 활성화 페인, 영역 또는 용적 밖으로 이동하는 것은 미리 정해진 위치 및 상태로 객체를 리셋할 것이다.
제4 방법 및 시스템
실시예
도 4a 내지 4d를 참조하면, 전체적으로 400인 디스플레이는 디스플레이 영역(402)을 포함하는 것으로 도시된다. 디스플레이 영역(402)은 선택 객체(404)와 선택 가능한 객체(406)를 포함하는 것으로 도시된다. 선택 객체(404)가 선택 가능한 객체(406)를 향해 이동함에 따라, 2개의 객체(404, 406)가 서로를 향해 이동하고, 활성 영역(408)이 선택 객체(404)의 방향으로 선택 가능한 객체(406)의 앞쪽에 생성된다. 움직임이 계속됨에 따라, 활성 영역(408)의 크기가 증가하고, 활성 영역(408)의 어두워진 색상으로 도시된 바와 같이 선택의 확실성이 증가한다. 마지막으로, 선택은 2개의 객체(404, 406)를 병합함으로써 확인된다.
도 5a 내지 5q를 참조하면, 본 발명의 과정이 1차 선택 가능 "섬(isle)"을 포함하는 가상 상점과 연계하는 것으로 도시된다. 가상 상점이 2D로 표현되지만, 3D 및 더 높은 차원의 유사성이 동일하게 가능하다는 것이 명백하여야 하며, 더 높은 차원은 본질적으로 3D인 객체로 구성될 수 있지만, 선택 가능한 2D 객체로 제공된다. 4D 시스템이 연속 기반 또는 개별 기반으로 색상에서 변화하거나 또는 일부 다른 속성에서 변화하는 3D의 선택 가능한 객체에 의해 제공될 수 있다.
제5 방법 및 시스템
실시예
도 5a 및 5b를 참조하면, 전체적으로 500인 디스플레이는 디스플레이 영역(502)을 포함하는 것으로 도시되고, 슬립 상태 또는 비활성 상태에 있는 것으로 도시된다. 활성 구역 내의 터치, 모션에 의해, 또는 사운드, 음성, 박수 등과 같은 다른 활성화 방법에 의해 활성화되면, 디스플레이 영역(502)은 선택 객체(504)(가시적이거나 비가시적일 수 있으며, 여기에서는 가시적이다)와 복수의 선택 가능한 객체 또는 섬(506a-i)을 포함하는 것으로 도시된다.
도 5c 내지 5e를 참조하면, 디스플레이(502)의 왼쪽을 향한 선택 가능한 객체(504)의 움직임은 섬(506a-d)이 확대되어 선택 객체(504)를 향해 이동하게 하며, 섬(506e-i)이 축소되어 선택 객체(504)로부터 멀리 이동하게 한다. 이러한 도면이 움직임 방향과 정렬된 선택 가능한 객체가 확대되어 선택 객체(504)를 향하여 이동하고, 움직임 방향과 정렬되지 않은 선택 가능한 객체가 축소되어 선택 객체(504)로부터 멀리 이동하는 것으로 도시되지만, 각각의 객체 세트는 또한 확대됨에 따라 강조되거나 멀어짐에 따라 흐려질 수 있다. 또한, 움직임의 속력은 정렬된 객체를 향한 확대 및 움직임의 향상을 제공하여, 선택 객체(504)를 향하여 가속하는 것으로 보이게 하며, 동시에 멀어지는 움직임을 향상시키고 정렬되지 않은 객체의 흐려지게 한다. 움직임이 계속됨에 따라, 여기에서 정렬되지 않은 것이 크기가 감소되고 멀어짐에 따라 크기가 확대되는 것으로 도시된 선택 객체(504)를 향하여 이동하고 그리고/또는 가속할 수 있는 섬(506b)을 선택하기 위한 충분한 구별을 움직임이 허용할 때까지, 정렬된 섬(506a-d) 사이의 구별이 명확하게 된다. 물론, 섬(506b)은, 섬(506a, 506b, 506d)과 같이 강조될 수 있다. 모든 이러한 선택 구별이 부드럽게 발생하며 이 도면들에서 표현된 바와 같이 연결이 안될 수 있다는 것이 인식되어야 한다. 더욱이, 구별은 또한 수학적 벡터 해석 프레임워크로부터 그리고/또는 사용자 고유의 움직임 특징 및 이전 선택 히스토리에 기초하여 예측 가능할 수 있다. 수학적 벡터 해석과 사용자 히스토리에 기초하여, 예측 가능성의 레벨은 선택이 훨씬 더 즉각적일 수 있게 하는 것일 수 있다. 또한, 인터페이스가 사용자의 선호 및 히스토리에 관하여 더욱더 많이 학습함에 따라, 활성화에 따른 인터페이스는 더 적은 선택을 제공할 수 있거나, 가장 가능성 있는 선택으로 디폴트로 될 수 있다.
도 5f 내지 5h를 참조하면, 선택 객체(504)의 섬(506b)과의 직접 접촉에 의해, 선택 객체(504)의 섬(506b)과의 근접한 접촉에 의해, 섬(506b)의 예측 선택에 의해, 또는 섬(506b)을 향하여 이동하는 선택 객체(504)에 의해 트리거되는 임계 이벤트에 의해, 인터페이스가 여기에서는 섬(506b)인 목표 섬을 결정하면, 디스플레이(502)는 서브 섬(508a-i)을 포함하는 섬(506b)과 관련된 선택 가능한 객체를 연다. 본 실시예에서, 서브 섬(508a-i)은 섬(506b)의 선택이 이루어질 때까지 보이지 않지만, 다른 실시예에서, 섬(506b)의 선택이 더욱 확실해지고 다른 섬이 감소하고 흐려짐에 따라, 디스플레이(502)는 서브 섬(508a-i) 또는 서브 섬의 여러 레이어(또는 서브 객체 또는 서브 메뉴)를 동시에 디스플레이하기 시작할 수 있어, 움직임이 서브 섬(508a-i)을 구별하기 시작하게 허용한다. 디스플레이(502)의 오른쪽으로의 움직임은 서브 섬(508a-i)이 강조되게(이 경우에는 어둡게) 하지만, 선택 객체(504)를 향해 이동하거나 확대되게 하지 않으며, 선택 객체(504)로부터 멀리 이동하고 흐려지는 대신에, 서브 섬(508a-e)이 점선이 되거나 흐려진다. 추가적인 움직임은 508f가 계속 어두워지는 것과 508a-e이 계속 흐려지는 것 및 508a-i를 흐려지게 하기 시작하는 것에 의해 명시되는 바와 같이 선택되게 한다. 소정의 실시예에서, 인력 효과는 구현되지 않는다.
도 5i 내지 5l을 참조하면, 선택 객체(504)의 섬(508f)과의 직접 접촉에 의해, 선택 객체(504)의 섬(508f)과의 근접한 접촉에 의해, 섬(508f)의 예측 선택에 의해, 또는 섬(508f)을 향하는 선택 객체(504)에 의해 트리거되는 임계 이벤트에 의해, 인터페이스가 여기에서는 섬(508f)인 목표 섬을 결정하면, 디스플레이(502)는 서브 섬(510a-n)을 포함하는 섬(508f)과 관련된 선택 가능한 객체를 연다. 본 실시예에서, 서브 섬(510a-n)은 섬(508f)의 선택이 이루어질 때까지 보이지 않지만, 다른 실시예에서, 섬(508f)의 선택이 더욱 확실해지고 다른 섬이 감소하고 흐려짐에 따라, 디스플레이(502)는 서브 섬(510a-n)을 디스플레이하기 시작할 수 있어, 움직임이 서브 섬(510a-n)을 구별하기 시작하게 허용한다. 디스플레이(502)의 왼쪽으로의 움직임은 서브 섬(510d-g)이 강조되게(이 경우에는 어둡게) 하지만, 선택 객체(504)를 향해 이동하거나 확대되게 하지 않으며, 선택 객체(504)로부터 멀리 이동하고 흐려지는 대신에, 서브 섬(510a-c 및 510h-n)이 점선이 되거나 흐려진다. 추가적인 움직임은 서브 섬(510d-g)이 확대되고 선택 객체(504)를 향하여 이동하게 하며, 서브 객체(510a-c 및 510h-n)은 선택 객체(504)로부터 멀리 이동하고 흐려지게 된다. 또한, 추가 움직임은 서브 섬(510d)의 구별 및 선택을 허용한다.
도 5m 내지 5q를 참조하면, 선택 객체(504)의 서브 섬(510d)과의 직접 접촉에 의해, 선택 객체(504)의 서브 섬(510d)과의 근접한 접촉에 의해, 또는 섬(510)의 예측 선택에 의해 인터페이스가 움직임에 의해 결정하면, 디스플레이(502)는 항목(a-ge)을 포함하는 서브 섬(510d)과 관련된 선택 가능한 객체를 연다. 본 실시예에서, 항목(a-ge)은 서브 섬(510d)의 선택이 이루어질 때까지 보이지 않지만, 다른 실시예에서, 서브 섬(510d)의 선택이 더욱 확실해지고 다른 서브 섬이 감소하고 흐려짐에 따라, 디스플레이(502)는 항목(a-ge)을 디스플레이하기 시작할 수 있어, 움직임이 항목(a-ge)을 구별하기 시작하게 허용한다. 도 5n 내지 5q에서 보여지는 바와 같이, 항목(a-ge)은 선택 객체(504) 주위로 표준 그리드 패턴으로 분포된다. 물론, 항목(a-ge)은 선택 객체(504) 주위로 원형 또는 아치형으로 분포되는 바와 같이 디스플레이(502) 내에서 임의의 패턴으로 분포될 수 있다. 디스플레이(502)의 왼쪽으로의 움직임은 항목(a-g, r-x, ai-ao 및 az-bf)이 강조되게(이 경우에는 어둡게) 하거나, 확대되거나 또는 선택 객체(504)를 향해 끌어 당겨지고, 항목(h-q, y-ah, ap-ay, bg-bp 및 bq-ge)은 선택 객체(504)로부터 멀어지고, 크기가 감소되며, 흐려지게 된다. 추가적인 움직임은 항목(a-g, r-x, ai-ao 및 az-bf)의 구별을 허용하고, 추가적인 움직임은 항목(c-f 및 t-w)에 대한 잠재적인 선택을 정밀하게 한다. 다음 움직임은 항목(c)의 선택을 허용하며, 이는 선택 객체(504)와 항목(c)이 디스플레이(502)의 중심에서 병합되게 한다. 도 5a 내지 5q에 도시된 바와 같이, 각각의 선택 레벨은 디스플레이(502) 상으로 중첩할 수 있고, 선택이 이루어진다.
도 5a 내지 5q에 도시된 방법은 임의의 설정에서의 사용을 수용할 수 있고, 인터페이스는 식료품점, 소매점, 도서관 또는 카테고리로 분류된 대량의 항목 또는 객체를 포함하는 임의의 다른 설비와 같은 상점과 관련된 애플리케이션의 일부이다. 인터페이스를 이용하는 애플리케이션은 간단히 구매 또는 사용을 위하여 항목을 열람하거나, 쇼핑하거나, 선택하는데 움직임이 사용될 수 있게 함으로써 구현될 수 있다. 또한, 애플리케이션은 움직임이 단지 소프트웨어 프로그램의 선택 및 활성화, 데이터베이스의 선택 및 활성화 및/또는 데이터베이스 내의 데이터의 추출 및 분석을 허용하도록 대량의 소프트웨어 프로그램 및 대량의 데이터베이스를 실행하는 컴퓨터 시스템과 관련될 수 있으며, 또한, 기계 시스템, 전기 시스템, 배관 시스템, 오일 및 가스 시스템, 보안 시스템, 게이밍 시스템 및 선택이 존재할 수 있는 임의의 다른 환경과 같은 환경 시스템에 적용 가능할 수 있다.
객체의 배열, 예를 들어 모바일 스마트폰에서, 직접 터치 및 리프트 오프는 앱을 동시에 열지만(종래 기술이며, 본 기술은 아니다), 객체에 직접 터치하는 것은("홀드"와 같은 특정 방식으로) 둘러싸는 객체가 멀리 이동하게 하여, "이동" 및 "열기"와 같은 메뉴 항목, 서브 메뉴 또는 서브 객체게 활성화되게 하거나 가변 속성 또는 스크롤 등(그 항목과 관련된 어떠한 것)을 직접 제어하는 것으로 객체와 관련된 선택이 나타나게 하는 여지를 제공할 수 있다. 객체에는 직접적이지 않는 영역에서의 터치 또는 직접 터치하고 즉시 이동하기 시작하는 것은 위에서 잘 설명된 선택 과정을 호출할 것이다. 가까운 장래에 우리의 모바일 컨트롤에 편입할 예정인 바와 같이, 가능하게는 여러 레이어에서, 객체를 터칭하는 것과, 객체를 향하여 이동하고 이 객체가 나타나게 하는 것에 관한 제1 동작에 관한 이러한 특정 포인트가 포함될 필요가 있다.
또한, 임의의, 일부의 또는 모든 전술한 방법, 양태 기술 등을 이용하기 위하여 소프트웨어가 구현될 수 있다. 사실, 인터페이스는 소정의 선택 포맷이 특정 양태 또는 본 발명의 특정 양태 세트를 사용하도록 사용자 맞춤이 될 수 있으며, 다른 선택은 다른 양태 또는 다른 양태 세트를 사용할 수 있다. 따라서, 인터페이스는 사용자에 의해 튜닝될 수 있다. 또한, 인터페이스는 인터페이스가 사용자의 선호하는 움직임 및 선택 방법으로 스스로 튜닝하는 것을 허용하는 학습 알고리즘을 구비할 수 있어, 인터페이스는 사용자에 대하여 적절히 대응할 수 있고, 이는 개선된 선택 예측, 개선된 사용자 부합, 개선된 사용자 기능 및 개선된 사용자 고유 기능을 허용한다.
전화번호 선택
도 6a를 참조하면, 디스플레이와 통신하는 모션 센서의 모션에 의해 활성화되기 전의 디스플레이가 도시된다. 디스플레이는 활성 객체(AO), 전화번호 객체(0-9, *, #), 백스페이스 객체(BS) 및 삭제 객체(Del)와 전화번호 디스플레이 객체가 도시된다.
도 6b 내지 6k를 참조하면, 특정 전화 번호의 선택을 제공하는 활성 객체(AO)의 일련의 움직임이 도시된다. 도 6a 내지 6g와 도 6i 내지 6k에서, 한 숫자에서 다른 숫자로 활성 객체(AO)를 이동시키는 것으로 선택이 이루어진다. 도 6h는 전화 객체(8)의 활성 영역에서 타임 홀드에 의한 숫자 선택을 도시한다. 선택 포맷이 선택 과정 동안 활성 객체를 향한 선택 가능한 전화 객체를 끌어당기는 것을 동일하게 사용하였다는 것이 인식되어야 한다. 또한, 전화 객체는 상이한 순서 또는 구성으로 배열될 수 있다. 또한, 시각 장애인 사용을 위하여, 시스템은 숫자가 선택됨에 따라 이를 말해줄 수 있고, 구성이 고정형이면, 음성 메시지가 선택 가능한 객체 및 이의 상대적인 배치를 나타내어 사용자는 디스플레이 주위의 활성 객체를 이동시킬 수 있다.
도 6l 내지 6r을 참조하면, 선택된 숫자의 삭제에 대하여 시스템이 도시된다. 도 6l 내지 6m을 참조하면, 백스페이스 객체(BS)를 이용하는 2가지 예가 도시된다. 제1 예에서, 백스페이스 객체(BS)를 향한 활성 객체(AO)의 느린 움직임은 한 번에 한 숫자의 삭제를 제공한다. 활성 객체(AO)를 백스페이스 객체(BS)의 활성 구역 내에 유지하여, 시스템은 숫자가 남지 않을 때까지 숫자별로 계속 삭제할 것이다. 제2 예에서, 백스페이스 객체(BS)를 향한 활성 객체(AO)의 빠른 움직임은 우선 먼저 여러 숫자의 삭제를 제공한다. 활성 객체(AO)를 백스페이스 객체(BS)의 활성 구역 내에 유지하여, 시스템은 숫자가 남지 않을 때까지 블록 내의 숫자를 계속 삭제할 것이다. 이 대신에, 모션이 신속하고 갑작스러우면, 시스템은 전체 숫자를 삭제할 것이다. 도 6n 내지 6r을 참조하면, 삭제 객체의 사용이 도시된다. 활성 객체는 숫자 디스플레이 영역 내로 삭제될 숫자로 이동되고, 삭제 객체(Del)를 향한 모션은 숫자를 삭제한다. 그 다음, 새로운 전화번호 객체를 향한 활성 객체의 움직임은 숫자를 수정할 것이다. 이러한 동일한 백스페이스 및 삭제 절차가 순서대로 선택되어 디스플레이 객체에 디스플레이될 객체를 포함하는 임의의 선택 메커니즘에 대하여 사용될 수 있다는 것이 인식되어야 한다. 디스플레이 객체가 문자를 포함하면, 백스페이스 객체(BS)를 향한 모션이 속력, 가속도, 부드러운 정도, 갑자기 움직이는 정도 또는 모션의 다른 특성에 전반적으로 의존하여 객체의 작업 또는 수집을 한 번에 삭제하거나, 그룹을 한 번에 삭제하거나, 전체 객체 리스트를 한 번에 삭제하는데 사용될 수 있다.
마무리 문단
여기에서 언급된 모든 참조문헌은 미국 특허법, 규칙 및 규정의 조문, 규칙 및 규정에 따라 모든 목적에 대하여 참조로서 편입된다. 본 발명이 바람직한 실시예를 참조하여 개시되지만, 본 설명을 읽는 것으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 전술되고 아래에서 청구되는 본 발명의 범위 및 기술적 사상을 벗어나지 않는 변경 및 수정이 이루어질 수 있다는 것을 이해할 것이다.
Claims (21)
- 활성 감지 구역을 갖는 적어도 하나의 모션 센서;
적어도 하나의 처리 유닛;
적어도 하나의 전원 유닛; 및
상기 처리 유닛의 제어 하에 있는 하나의 객체 또는 복수의 객체
를 포함하고,
상기 센서, 처리 유닛 및 전원 유닛은 서로 전기 통신하며,
상기 모션 센서는, 상기 활성 구역 내에서 모션 특성을 포함하는 모션을 감지하고, 적어도 하나의 출력 신호를 생성하고, 상기 출력 신호를 상기 처리 유닛에 전송하고,
상기 처리 유닛은 상기 출력 신호를 적어도 하나의 명령 함수로 변환하고,
상기 명령 함수는,
(7) 시작 함수.
(8) 스크롤 함수,
(9) 선택 함수,
(10) 속성 함수,
(11) 속성 제어 함수,
(12) 동시 제어 함수, 또는
(13) 이들의 조합
을 포함하고,
상기 동시 제어 함수는,
(g) 선택 및 스크롤 함수,
(h) 선택, 스크롤 및 활성화 함수,
(i) 선택, 스크롤, 활성화 및 속성 제어 함수,
(j) 선택 및 활성화 함수,
(k) 선택 및 속성 제어 함수
(l) 선택, 활성화 및 속성 제어 함수, 또는
(m) 이들의 조합
을 포함하고,
상기 시작 함수는, 상기 모션 센서에 의한 제1 감지 모션에 따라 적어도 하나의 선택 또는 커서 객체 및 복수의 선택 가능한 객체를 활성화하고, 모션 방향과 정렬된 선택 가능한 객체는 선택 객체를 향하여 이동하거나 또는 정렬되지 않은 선택 가능한 객체와 구별되게 되고, 모션은 목표인 선택 가능한 객체 또는 목표인 복수의 선택 가능한 객체가 목표가 아닌 선택 가능한 객체와 구별될 때까지 계속되어, 목표 객체 또는 객체들의 활성화를 제공하고,
상기 모션 특성은, 터치, 리프트 오프(lift off), 방향, 속도, 가속도, 방향에서의 변화, 속도에서의 변화, 가속도에서의 변화, 방향의 변화율, 속도의 변화율, 가속도의 변화율, 정지, 홀드, 시간 설정형 홀드(timed hold), 또는 이들의 혼합 및 조합을 포함하고,
상기 객체는 실제 객체, 가상 객체 및 이들의 혼합이나 조합을 포함하고, 상기 실제 객체는 물리, 기계, 전기 기계, 자기, 전자기, 전기 또는 전자 디바이스, 또는 처리 유닛에 의해 제어될 수 있는 임의의 다른 실제 디바이스를 포함하고, 상기 가상 객체는 가상 세계에서 또는 컴퓨터에 의해 생성되고 디스플레이 디바이스에 의해 디스플레이되며 처리 유닛에 의해 제어될 수 있는 임의의 구조를 포함하고,
상기 속성은, 상기 객체와 관련된, 활성화 가능하고, 실행 가능하고 그리고/또는 조정 가능한 속성을 포함하고,
모션 특성에서의 변화는 상기 모션 센서 및/또는 상기 처리 유닛에 의해 식별 가능한 변화인,
가상 또는 실제 객체 및 이들의 제어 가능한 속성을 선택하고 활성화하는 시스템.
- 제1항에 있어서,
상기 시작 함수는 사용자 피드백 유닛을 더 활성화하고, 상기 선택 객체 및 상기 선택 가능한 객체는, 상기 모션 센서 활성 구역 내에서의 동물, 인간, 로봇, 로봇 시스템, 이들의 부분 또는 부분들, 또는 이들의 조합에 응답하여 상기 모션 센서를 통해 식별 가능한,
가상 또는 실제 객체 및 이들의 제어 가능한 속성을 선택하고 활성화하는 시스템.
- 제1항에 있어서,
적어도 하나의 사용자 피드백 유닛;
적어도 하나의 배터리 백업 유닛;
통신 하드웨어 및 소프트웨어;
적어도 하나의 원격 제어 유닛; 또는
이들의 혼합 및 조합
을 포함하고,
상기 센서, 처리 유닛, 전원 유닛, 상기 사용자 피드백 유닛, 상기 배터리 백업 유닛, 상기 원격 제어 유닛은 서로 전기 통신하는,
가상 또는 실제 객체 및 이들의 제어 가능한 속성을 선택하고 활성화하는 시스템.
- 제1항에 있어서,
더 빠른 모션이, 상기 선택 객체를 향하는 상기 목표 객체 또는 객체들의 더 빠른 움직임을 발생시키거나, 목표가 아닌 객체 또는 객체들로부터 상기 목표 객체의 더 큰 구별을 발생시키는,
가상 또는 실제 객체 및 이들의 제어 가능한 속성을 선택하고 활성화하는 시스템.
- 제1항에 있어서,
활성화된 상기 객체 또는 객체들이 관련된 서브 객체 및/또는 속성을 가지면, 상기 객체가 상기 선택 객체를 향하여 이동함에 따라, 상기 서브 객체 및/또는 속성이 나타나고 객체 선택이 더 확실하게 됨에 따라 더 식별 가능하게 되는,
가상 또는 실제 객체 및 이들의 제어 가능한 속성을 선택하고 활성화하는 시스템.
- 제1항에 있어서,
상기 목표 객체 또는 객체들이 선택되면, 상기 모션 센서의 상기 활성 구역 내에서의 추가 모션은, 모션 방향과 정렬된 선택 가능한 서브 객체 또는 선택 가능한 속성이 상기 선택 객체(들)를 향해 이동하게 하거나, 정렬되지 않은 선택 가능한 서브 객체 또는 선택 가능한 속성으로부터 구별되게 되고, 모션은 목표인 선택 가능한 서브 객체 또는 속성 또는 목표인 복수의 선택 가능한 객체 및/또는 속성이 목표가 아닌 선택 가능한 서브 객체 및/또는 속성으로부터 구별될 때까지 계속되어, 목표 서브 객체, 속성, 서브 객체 또는 속성의 활성화를 제공하는,
가상 또는 실제 객체 및 이들의 제어 가능한 속성을 선택하고 활성화하는 시스템.
- 제1항에 있어서,
상기 모션 센서는, 디지털 카메라, 광 스캐너, 광 롤러 볼 디바이스, 터치 패드, 유도성(inductive) 패드, 용량성(capacitive) 패드, 홀로그래픽 디바이스, 레이저 트래킹 디바이스, 열(thermal) 디바이스, 음향 디바이스, 모션을 감지할 수 있는 임의의 다른 디바이스, 모션 센서 어레이, 및 이들의 혼합이나 조합으로 이루어지는 그룹으로부터 선택되는,
가상 또는 실제 객체 및 이들의 제어 가능한 속성을 선택하고 활성화하는 시스템.
- 제1항에 있어서,
상기 객체는, 조명 디바이스, 카메라, 오븐, 식기 세척기, 스토브, 사운드 시스템, 디스플레이 시스템, 알람 시스템, 제어 시스템, 의료 디바이스, 로봇, 로봇 제어 시스템, 온수 및 냉수 공급 디바이스, 공조 시스템, 난방 시스템, 환기 시스템, 공기 조절 시스템, 컴퓨터 및 컴퓨터 시스템, 화학 플랜트 제어 시스템, 컴퓨터 운영 체제, 시스템, 그래픽 시스템, 비즈니스 소프트웨어 시스템, 워드 프로세서 시스템, 인터넷 브라우저, 회계 시스템, 군사 시스템, 제어 시스템, 다른 소프트웨어 시스템, 프로그램, 루틴, 객체 및/또는 요소, 원격 제어 시스템 또는 이들의 혼합 및 조합을 포함하는,
가상 또는 실제 객체 및 이들의 제어 가능한 속성을 선택하고 활성화하는 시스템.
- 제1항에 있어서,
상기 시간 설정형 홀드가 짧다면, 상시 처리 유닛은 속성이 미리 설정된 레벨로 조정되게 하는,
가상 또는 실제 객체 및 이들의 제어 가능한 속성을 선택하고 활성화하는 시스템.
- 제1항에 있어서,
상기 시간 설정형 홀드가 계속되면, 상기 처리 유닛은, 상기 속성이, 상기 홀드가 제거될 때 높은 값/낮은 값 사이클을 받게 하는,
가상 또는 실제 객체 및 이들의 제어 가능한 속성을 선택하고 활성화하는 시스템.
- 제1항에 있어서,
상기 시간 설정형 홀드는, (1) 상기 속성이 최대값이면, 상기 시간 설정형 홀드가 제거될 때까지, 상기 시간 설정형 홀드가 속성값이 미리 정해진 비율로 감소되게 하거나, (2) 상기 속성값이 최소값이면, 상기 시간 설정형 홀드가 제거될 때까지, 상기 시간 설정형 홀드가 상기 속성값이 미리 정해진 비율로 증가하게 하거나, (3) 상기 속성값이 최대값 또는 최소값이 아니면, 상기 시간 설정형 홀드가 속성값 변화 또는 변화들의 레이트와 방향을 임의로 선택하여 최대 제어를 허용하게 하거나, 또는 (4) 상기 시간 설정형 홀드가 제거될 때까지, 상기 시간 설정형 홀드가 초기 모션의 방향으로 상기 속성값에서의 연속 변화를 발생시키도록, 상기 속성값을 변화시키는,
가상 또는 실제 객체 및 이들의 제어 가능한 속성을 선택하고 활성화하는 시스템.
- 제1항에 있어서,
상기 모션 센서는, 상기 활성 구역 내에서 제2 모션 특성을 포함하는 제2 모션을 감지하고, 적어도 하나의 출력 신호를 생성하고, 상기 출력 신호를 상기 처리 유닛으로 전송하고,
상기 처리 유닛은 상기 출력 신호를 선택을 확인하는 확인 명령 또는 상이한 객체 또는 상이한 객체 속성을 제어하기 위한 적어도 하나의 제2 명령 함수로 변환하는,
가상 또는 실제 객체 및 이들의 제어 가능한 속성을 선택하고 활성화하는 시스템.
- 제1항에 있어서,
상기 모션 센서는, 상기 활성 구역 내에서 2 이상의 동물, 인간, 로봇 또는 이들의 부분들, 또는 인간, 동물 및/또는 로봇의 지배 하에 있는 객체의 모션 특성을 포함하는 모션을 감지하고, 상기 모션에 대응하는 출력 신호를 생성하고, 상기 출력 신호를 상기 처리 유닛으로 전송하고,
상기 처리 유닛은, 상기 출력 신호를 동시에 또는 순차적으로 구현되는 명령 함수 또는 확인 함수 또는 이들의 조합으로 변환하고, 상기 시작 함수는 상기 모션 센서에 의한 제1 감지 모션에 따라 복수의 선택 또는 커서 객체 및 복수의 선택 가능한 객체를 활성화하고, 모션 방향과 정렬된 선택 가능한 객체는 상기 선택 객체를 향하여 이동하거나 또는 정렬되지 않은 선택 가능한 객체와 구별되게 되고, 상기 모션은 목표인 선택 가능한 객체 또는 목표인 복수의 선택 가능한 객체가 목표가 아닌 선택 가능한 객체와 구별될 때까지 계속되어, 상기 목표 객체의 활성화를 제공하고, 상기 확인 명령은 선택을 확인하는,
가상 또는 실제 객체 및 이들의 제어 가능한 속성을 선택하고 활성화하는 시스템.
- 적어도 하나의 모션 센서의 활성 구역 내에서 모션 특성을 포함하는 모션을 감지하는 단계로서, 상기 모션 특성은 방향, 속도, 가속도, 방향에서의 변화, 속도에서의 변화, 가속도에서의 변화, 방향의 변화율, 속도의 변화율, 가속도의 변화율, 정지, 홀드, 시간 설정형 홀드(timed hold), 또는 이들의 혼합 및 조합을 포함하는 단계;
감지된 상기 모션에 대응하는 하나의 출력 신호 또는 복수의 출력 신호를 생산하는 단계;
상기 출력 신호 또는 신호들을 상기 모션 센서와 통신하는 처리 유닛을 통해 하나의 명령 함수 또는 복수의 명령 함수로 변환하는 단계로서, 상기 명령 함수는,
(1) 시작 함수.
(2) 스크롤 함수,
(3) 선택 함수,
(4) 속성 함수,
(5) 속성 제어 함수,
(6) 동시 제어 함수, 또는
(7) 이들의 조합
을 포함하고,
상기 동시 제어 함수는,
(g) 선택 및 스크롤 함수,
(h) 선택, 스크롤 및 활성화 함수,
(i) 선택, 스크롤, 활성화 및 속성 제어 함수,
(j) 선택 및 활성화 함수,
(k) 선택 및 속성 제어 함수
(l) 선택, 활성화 및 속성 제어 함수, 또는
(m) 이들의 조합
을 포함하는 단계;
상기 명령 함수 또는 상기 명령 함수들을 동시에 또는 순차적으로 처리하는 단계
를 포함하고,
상기 시작 함수는, 상기 모션 센서에 의한 제1 감지 모션에 따라 적어도 하나의 선택 또는 커서 객체 및 복수의 선택 가능한 객체를 활성화하고, 모션 방향과 정렬된 선택 가능한 객체는 선택 객체를 향하여 이동하거나 또는 정렬되지 않은 선택 가능한 객체와 구별되게 되고, 모션은 목표인 선택 가능한 객체 또는 목표인 복수의 선택 가능한 객체가 목표가 아닌 선택 가능한 객체와 구별될 때까지 계속되어, 목표 객체 또는 객체들의 활성화를 제공하고, 상기 모션 특성은, 터치, 리프트 오프(lift off), 방향, 속도, 가속도, 방향에서의 변화, 속도에서의 변화, 가속도에서의 변화, 방향의 변화율, 속도의 변화율, 가속도의 변화율, 정지, 홀드, 시간 설정형 홀드(timed hold), 또는 이들의 혼합 및 조합을 포함하고,
상기 객체는 실제 객체, 가상 객체 및 이들의 혼합이나 조합을 포함하고, 상기 실제 객체는 물리, 기계, 전기 기계, 자기, 전자기, 전기 또는 전자 디바이스, 또는 처리 유닛에 의해 제어될 수 있는 임의의 다른 실제 디바이스를 포함하고, 상기 가상 객체는 가상 세계에서 또는 컴퓨터에 의해 생성되고 디스플레이 디바이스에 의해 디스플레이되며 처리 유닛에 의해 제어될 수 있는 임의의 구조를 포함하고,
상기 속성은, 상기 객체와 관련된, 활성화 가능하고, 실행 가능하고 그리고/또는 조정 가능한 속성을 포함하고,
모션 특성에서의 변화는 상기 모션 센서 및/또는 상기 처리 유닛에 의해 식별 가능한 변화인,
객체 제어 방법.
- 제14항에 있어서,
상기 모션 센서는, 디지털 카메라, 광 스캐너, 광 롤러 볼 디바이스, 터치 패드, 유도성(inductive) 패드, 용량성(capacitive) 패드, 홀로그래픽 디바이스, 레이저 트래킹 디바이스, 열(thermal) 디바이스, 음향 디바이스, 모션을 감지할 수 있는 임의의 다른 디바이스, 모션 센서 어레이, 및 이들의 혼합이나 조합으로 이루어지는 그룹으로부터 선택되는,
객체 제어 방법.
- 제14항에 있어서,
상기 객체는, 조명 디바이스, 카메라, 오븐, 식기 세척기, 스토브, 사운드 시스템, 디스플레이 시스템, 알람 시스템, 제어 시스템, 의료 디바이스, 로봇, 로봇 제어 시스템, 온수 및 냉수 공급 디바이스, 공조 시스템, 난방 시스템, 환기 시스템, 공기 조절 시스템, 컴퓨터 및 컴퓨터 시스템, 화학 플랜트 제어 시스템, 컴퓨터 운영 체제, 시스템, 그래픽 시스템, 비즈니스 소프트웨어 시스템, 워드 프로세서 시스템, 인터넷 브라우저, 회계 시스템, 군사 시스템, 제어 시스템, 다른 소프트웨어 시스템, 프로그램, 루틴, 객체 및/또는 요소, 원격 제어 시스템 또는 이들의 혼합 및 조합을 포함하는,
객체 제어 방법.
- 제14항에 있어서,
상기 시간 설정형 홀드가 짧다면, 상시 처리 유닛은 속성이 미리 설정된 레벨로 조정되게 하는,
객체 제어 방법.
- 제14항에 있어서,
상기 시간 설정형 홀드가 계속되면, 상기 처리 유닛은, 상기 속성이, 상기 홀드가 제거될 때 높은 값/낮은 값 사이클을 받게 하는,
객체 제어 방법.
- 제14항에 있어서,
상기 시간 설정형 홀드는, (1) 상기 속성이 최대값이면, 상기 시간 설정형 홀드가 제거될 때까지, 상기 시간 설정형 홀드가 속성값이 미리 정해진 비율로 감소되게 하거나, (2) 상기 속성값이 최소값이면, 상기 시간 설정형 홀드가 제거될 때까지, 상기 시간 설정형 홀드가 상기 속성값이 미리 정해진 비율로 증가하게 하거나, (3) 상기 속성값이 최대값 또는 최소값이 아니면, 상기 시간 설정형 홀드가 속성값 변화 또는 변화들의 레이트와 방향을 임의로 선택하여 최대 제어를 허용하게 하거나, 또는 (4) 상기 시간 설정형 홀드가 제거될 때까지, 상기 시간 설정형 홀드가 초기 모션의 방향으로 상기 속성값에서의 연속 변화를 발생시키도록, 상기 속성값을 변화시키는,
객체 제어 방법.
- 제14항에 있어서,
상기 모션 센서의 상기 활성 감지 구역 내에서 제2 모션 특성을 포함하는 제2 모션을 감지하는 단계;
감지된 상기 제2 모션에 대응하는 하나의 제2 출력 신호 또는 복수의 제2 출력 신호를 생산하는 단계;
상기 제2 출력 신호 또는 신호들을 상기 모션 센서와 통신하는 상기 처리 유닛을 통해 하나의 제2 명령 함수 또는 복수의 제2 명령 함수로 변환하는 단계; 및
상기 제2 출력 신호에 기초하여 선택을 확인하는 단계; 또는,
상기 제2 명령 함수 또는 상기 제2 명령 함수들을 처리하여, 상기 제2 모션의 방향과 정렬된 선택 가능한 객체를 상기 선택 객체를 향해 이동시키거나, 정렬되지 않은 선택 가능한 객체로부터 구별되게 되고, 하나의 목표인 제2 선택 가능한 객체 또는 목표인 복수의 제2 선택 가능한 객체가 목표가 아닌 선택 가능한 객체로부터 구별될 때까지 모션이 계속되어, 제2 목표 객체 또는 객체들의 활성화를 제공하는 단계
를 더 포함하고,
상기 모션 특성은, 터치, 리프트 오프(lift off), 방향, 속도, 가속도, 방향에서의 변화, 속도에서의 변화, 가속도에서의 변화, 방향의 변화율, 속도의 변화율, 가속도의 변화율, 정지, 홀드, 시간 설정형 홀드(timed hold), 또는 이들의 혼합 및 조합을 포함하는,
객체 제어 방법.
- 제14항에 있어서,
상기 모션 센서의 상기 활성 구역 내에서 2 이상의 동물, 인간 로봇 또는 이들의 부분의 모션 특성을 포함하는 모션을 감지하는 단계;
상기 모션에 대응하는 출력 신호를 생산하는 단계;
상기 출력 신호를 명령 함수 또는 확인 함수 또는 이들의 조합으로 변환하는 단계
를 포함하고,
상기 시작 함수는, 상기 모션 센서에 의한 제1 감지 모션에 따라 복수의 선택 또는 커서 객체 및 복수의 선택 가능한 객체를 활성화하고, 모션 방향과 정렬된 선택 가능한 객체는 상기 선택 객체를 향하여 이동하거나 또는 정렬되지 않은 선택 가능한 객체와 구별되게 되고, 상기 모션은 목표인 선택 가능한 객체 또는 목표인 복수의 선택 가능한 객체가 목표가 아닌 선택 가능한 객체와 구별될 때까지 계속되어, 상기 목표 객체의 활성화를 제공하고, 상기 확인 명령은 선택을 확인하는,
객체 제어 방법.
Applications Claiming Priority (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361885453P | 2013-10-01 | 2013-10-01 | |
| US61/885,453 | 2013-10-01 | ||
| US201361893850P | 2013-10-21 | 2013-10-21 | |
| US61/893,850 | 2013-10-21 | ||
| US201361894050P | 2013-10-22 | 2013-10-22 | |
| US61/894,050 | 2013-10-22 | ||
| US201461945907P | 2014-02-28 | 2014-02-28 | |
| US61/945,907 | 2014-02-28 | ||
| US201462007598P | 2014-06-04 | 2014-06-04 | |
| US62/007,598 | 2014-06-04 | ||
| PCT/US2014/058707 WO2015051047A1 (en) | 2013-10-01 | 2014-10-01 | Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160091889A true KR20160091889A (ko) | 2016-08-03 |
| KR102352556B1 KR102352556B1 (ko) | 2022-01-18 |
Family
ID=52779122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167011556A KR102352556B1 (ko) | 2013-10-01 | 2014-10-01 | 선택 인력형 인터페이스, 이러한 인터페이스를 포함하는 시스템 및 장치, 이를 제조하고 사용하는 방법 |
Country Status (7)
| Country | Link |
|---|---|
| EP (2) | EP3053008B1 (ko) |
| JP (1) | JP6668247B2 (ko) |
| KR (1) | KR102352556B1 (ko) |
| CN (1) | CN105960622B (ko) |
| AU (1) | AU2014329562A1 (ko) |
| CA (1) | CA2926230A1 (ko) |
| WO (1) | WO2015051047A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200012109A (ko) * | 2018-07-26 | 2020-02-05 | 린나이코리아 주식회사 | 터치패널을 이용한 조리조건 설정방법 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6198581B2 (ja) * | 2013-11-18 | 2017-09-20 | 三菱電機株式会社 | インターフェース装置 |
| US10627991B2 (en) | 2015-10-26 | 2020-04-21 | King.Com Ltd. | Device and control methods therefor |
| KR20170111787A (ko) * | 2016-03-29 | 2017-10-12 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 방법 |
| CA3033344A1 (en) * | 2016-08-11 | 2018-02-15 | Magic Leap, Inc. | Automatic placement of a virtual object in a three-dimensional space |
| JP6958141B2 (ja) * | 2017-09-05 | 2021-11-02 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、画像形成装置、および、プログラム |
| JP2019135601A (ja) * | 2018-02-05 | 2019-08-15 | Kddi株式会社 | 入力制御装置、入力制御方法及びプログラム |
| JP6951292B2 (ja) * | 2018-05-18 | 2021-10-20 | 株式会社東海理化電機製作所 | 演算装置およびプログラム |
| CN109358782A (zh) * | 2018-09-11 | 2019-02-19 | 北京达佳互联信息技术有限公司 | 动态指令的执行方法、装置、电子设备及存储介质 |
| WO2022175200A1 (en) * | 2021-02-22 | 2022-08-25 | Signify Holding B.V. | A user interface device for controlling a light source array and a method thereof |
| CN113064359A (zh) * | 2021-06-02 | 2021-07-02 | 北京奇岱松科技有限公司 | 模型建立方法和实体控制方法、装置、设备和介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6396523B1 (en) * | 1999-07-29 | 2002-05-28 | Interlink Electronics, Inc. | Home entertainment device remote control |
| JP2010019643A (ja) * | 2008-07-09 | 2010-01-28 | Toyota Motor Corp | 情報端末、ナビゲーション装置、選択肢表示方法 |
| JP2011108103A (ja) * | 2009-11-19 | 2011-06-02 | Tokai Rika Co Ltd | 表示装置 |
| JP2012068854A (ja) * | 2010-09-22 | 2012-04-05 | Shimane Prefecture | 操作入力装置および操作判定方法並びにプログラム |
| JP2012108842A (ja) * | 2010-11-19 | 2012-06-07 | Konica Minolta Holdings Inc | 表示システム、表示処理装置、表示方法、および表示プログラム |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5564004A (en) * | 1994-04-13 | 1996-10-08 | International Business Machines Corporation | Method and system for facilitating the selection of icons |
| JPH09212285A (ja) * | 1996-02-06 | 1997-08-15 | Sharp Corp | 手書入力装置 |
| CA2478421C (en) | 2002-03-08 | 2011-02-08 | Revelations In Design, Lp | Electric device control apparatus |
| JP2009116583A (ja) * | 2007-11-06 | 2009-05-28 | Ricoh Co Ltd | 入力制御装置および入力制御方法 |
| US8159469B2 (en) * | 2008-05-06 | 2012-04-17 | Hewlett-Packard Development Company, L.P. | User interface for initiating activities in an electronic device |
| US8610673B2 (en) * | 2008-12-03 | 2013-12-17 | Microsoft Corporation | Manipulation of list on a multi-touch display |
| TW201108861A (en) * | 2009-07-15 | 2011-03-01 | Koninkl Philips Electronics Nv | Luminaire with touch pattern control interface |
| EP2470983A1 (en) * | 2009-08-25 | 2012-07-04 | Google, Inc. | Direct manipulation gestures |
| US8578295B2 (en) * | 2009-09-16 | 2013-11-05 | International Business Machines Corporation | Placement of items in cascading radial menus |
| US8760438B2 (en) * | 2010-05-28 | 2014-06-24 | Adobe Systems Incorporated | System and method for simulating stiff bristle brushes using stiffness-height parameterization |
| US8593418B2 (en) * | 2010-08-08 | 2013-11-26 | Qualcomm Incorporated | Method and system for adjusting display content |
| KR101522991B1 (ko) * | 2010-09-22 | 2015-05-26 | 시마네켄 | 조작입력장치 및 방법, 그리고 프로그램 |
| JP2013025579A (ja) * | 2011-07-21 | 2013-02-04 | Panasonic Corp | 文字入力装置及び文字入力プログラム |
| EP2761419A1 (en) * | 2011-09-30 | 2014-08-06 | Van Der Westhuizen, Willem Morkel | Method for human-computer interaction on a graphical user interface (gui) |
| US9678574B2 (en) * | 2011-12-23 | 2017-06-13 | Intel Corporation | Computing system utilizing three-dimensional manipulation command gestures |
-
2014
- 2014-10-01 EP EP14850802.1A patent/EP3053008B1/en active Active
- 2014-10-01 CN CN201480065364.6A patent/CN105960622B/zh active Active
- 2014-10-01 WO PCT/US2014/058707 patent/WO2015051047A1/en active Application Filing
- 2014-10-01 EP EP19219288.8A patent/EP3660648A1/en active Pending
- 2014-10-01 CA CA2926230A patent/CA2926230A1/en not_active Abandoned
- 2014-10-01 JP JP2016546875A patent/JP6668247B2/ja active Active
- 2014-10-01 AU AU2014329562A patent/AU2014329562A1/en not_active Abandoned
- 2014-10-01 KR KR1020167011556A patent/KR102352556B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6396523B1 (en) * | 1999-07-29 | 2002-05-28 | Interlink Electronics, Inc. | Home entertainment device remote control |
| JP2010019643A (ja) * | 2008-07-09 | 2010-01-28 | Toyota Motor Corp | 情報端末、ナビゲーション装置、選択肢表示方法 |
| JP2011108103A (ja) * | 2009-11-19 | 2011-06-02 | Tokai Rika Co Ltd | 表示装置 |
| JP2012068854A (ja) * | 2010-09-22 | 2012-04-05 | Shimane Prefecture | 操作入力装置および操作判定方法並びにプログラム |
| JP2012108842A (ja) * | 2010-11-19 | 2012-06-07 | Konica Minolta Holdings Inc | 表示システム、表示処理装置、表示方法、および表示プログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200012109A (ko) * | 2018-07-26 | 2020-02-05 | 린나이코리아 주식회사 | 터치패널을 이용한 조리조건 설정방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105960622A (zh) | 2016-09-21 |
| EP3053008B1 (en) | 2019-12-25 |
| WO2015051047A1 (en) | 2015-04-09 |
| JP2017500673A (ja) | 2017-01-05 |
| CN105960622B (zh) | 2021-02-12 |
| EP3053008A1 (en) | 2016-08-10 |
| KR102352556B1 (ko) | 2022-01-18 |
| CA2926230A1 (en) | 2015-04-09 |
| EP3660648A1 (en) | 2020-06-03 |
| EP3053008A4 (en) | 2017-05-10 |
| AU2014329562A1 (en) | 2016-04-28 |
| JP6668247B2 (ja) | 2020-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11221739B2 (en) | Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same | |
| US11599260B2 (en) | Apparatuses for attractive selection of objects in real, virtual, or augmented reality environments and methods implementing the apparatuses | |
| US20170139556A1 (en) | Apparatuses, systems, and methods for vehicle interfaces | |
| KR102352556B1 (ko) | 선택 인력형 인터페이스, 이러한 인터페이스를 포함하는 시스템 및 장치, 이를 제조하고 사용하는 방법 | |
| US11972609B2 (en) | Interfaces, systems and apparatuses for constructing 3D AR environment overlays, and methods for making and using same | |
| US20220270509A1 (en) | Predictive virtual training systems, apparatuses, interfaces, and methods for implementing same | |
| EP3384367A1 (en) | Motion based interface systems and apparatuses and methods for making and using same using directionally activatable attributes or attribute control objects | |
| US10628977B2 (en) | Motion based calendaring, mapping, and event information coordination and interaction interfaces, apparatuses, systems, and methods making and implementing same | |
| WO2018237172A1 (en) | SYSTEMS, APPARATUSES, INTERFACES AND METHODS FOR VIRTUAL CONTROL CONSTRUCTIONS, OCULAR MOTION OBJECT CONTROL DEVICES, AND VIRTUAL TRAINING | |
| EP3384374A1 (en) | Motion based systems, apparatuses and methods for establishing 3 axis coordinate systems for mobile devices and writing with virtual keyboards | |
| WO2024010972A1 (en) | Apparatuses, systems, and interfaces for a 360 environment including overlaid panels and hot spots and methods for implementing and using same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |