KR20080078699A - 배향이 자유로운 사용자 인터페이스 - Google Patents

배향이 자유로운 사용자 인터페이스 Download PDF

Info

Publication number
KR20080078699A
KR20080078699A KR1020087015669A KR20087015669A KR20080078699A KR 20080078699 A KR20080078699 A KR 20080078699A KR 1020087015669 A KR1020087015669 A KR 1020087015669A KR 20087015669 A KR20087015669 A KR 20087015669A KR 20080078699 A KR20080078699 A KR 20080078699A
Authority
KR
South Korea
Prior art keywords
gui
user input
interactive display
user
oriented
Prior art date
Application number
KR1020087015669A
Other languages
English (en)
Inventor
챨스 알. 빌로우
그레첸 리쳐 데 메데이로스
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20080078699A publication Critical patent/KR20080078699A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

동적으로 배향가능한 그래픽 사용자 인터페이스(GUI)의 생성 및 디스플레이가 설명된다. GUI는 사용자 입력을 수신하도록 구성된 사용자 입력 제어들을 포함할 수 있다. 예시적인 일 실시예에서, GUI는 수평으로 배향된 인터액티브 디스플레이 표면의 둘레 주위의 밴드로서 디스플레이된다. 사용자 입력 제어들은 제어를 제공하는 애플리케이션에 응답하여 재배향하도록 만들어질 수 있거나, 또는 사용자는 전에 상이한 포인트에 배치되었던 특정한 것에 대한 액세스를 얻을 수 있도록 하기 위해 GUI를 인터액티브 디스플레이 표면에 대해 움직이도록 선택적으로 야기할 수 있다. 사용자 입력은 배향가능한 GUI로부터 인터액티브 디스플레이 표면에 의해 검출된 손가락 움직임의 형태로 직접 수신될 수 있고, GUI의 재배향은 사용자 입력에 기초하여 물리 법칙들에 따라 제어될 수 있다.
그래픽 사용자 인터페이스(GUI), 배향, 인터액티브 디스플레이, 사용자 입력

Description

배향이 자유로운 사용자 인터페이스{ORIENTATION FREE USER INTERFACE}
컴퓨터 시스템들의 활용은 더 좋은 사용자 인터페이스들을 제공함으로써 촉진될 수 있다. 컴퓨터 시스템들을 위한 사용자 인터페이스들은 퍼스널 컴퓨터(PC)가 처음 광범위하게 이용될 수 있게 된 이후 상당히 진화하였다. 초기 PC들은 다소 원시적인 사용자 입력 장치들, 예를 들면 시리얼 마우스를 이용했고, 단색의 디스플레이를 제공했을 뿐이었다. 그러나, 마이크로프로세서들의 상당한 향상, 이용 가능한 메모리, 및 프로그래밍 기능은 모두 사용자 인터페이스 설계의 발전과 사용자 친화적 그래픽 운영 시스템들 및 하드웨어들의 개발에 기여하였다.
사용자 인터페이스 기술의 발전의 한 특별한 영역은 인터액티브 디스플레이 시스템과 관련된다. 그러한 시스템들은 보통 외장체(enclosure), 디스플레이 표면, 다양한 이미지 프로젝션(투사), 및 사용자 입력 검출 장비, 및 컴퓨터를 포함한다. 인터액티브 디스플레이 시스템은 범용 컴퓨팅 장치를 포함할 수 있거나 그에 연결될 수 있다. 인터액티브 디스플레이 시스템의 중대한 이점은 그것이 사용자 인터페이스를 디스플레이 표면으로 직접 가능하게 해준다는 것이다. 사용자는 하나 또는 그 이상의 그림들을 갖는 인터액티브 디스플레이 표면을 직접 터치함으로써, 또는 인터액티브 디스플레이 표면 바로 위에서 제스쳐를 함으로써 이러한 타 입의 시스템에 입력을 제공할 수 있다. 그러나, 인터액티브 디스플레이 시스템들은, 통상의 퍼스널 컴퓨터들(PCs) 상에서 실행되도록 설계된 애플리케이션들에 의해 채택되는 것과 같은 그래픽 사용자 인터페이스(graphical user interface: GUI)를 구현하도록 강제된다면, 인터액티브 디스플레이 시스템들은 특정한 제한들과 불편을 겪을 수 있다. 예를 들어, 인터액티브 디스플레이 시스템의 사용자가 수평한 디스플레이 표면과 임의의 사이드(side)로부터 상호작용(interact)할 수 있다. 그 성질상, 수평한 인터액티브 디스플레이 표면은 "탑(top)"과 "바텀(bottom)"을 갖는 통상의 수직 디스플레이와 같지 않고, 통상의 디스플레이의 정면에 앉아 있는 사람에 의해 보여질 수 있게 의도된다. 통상적인 수직 배향된 디스플레이와 대조적으로, 인터액티브 디스플레이의 대향하는 사이드들에 위치된 사람들은, 유사한 사용자 경험을 갖기 위해, 사용자에 대해 배향되는 그래픽 사용자 인터페이스를 명백히 선호할 것이다. 따라서, 수평의 인터액티브 디스플레이 표면의 한 사이드의 사용자에게 적합하게 배향된 그래픽 사용자 인터페이스는 인터액티브 디스플레이 표면의 다른 사이드의 사용자에게는 반전되어 보일 것이고, 그 역도 마찬가지이다. 그러므로, 일반적으로 수평한 인터액티브 디스플레이 표면의 사용자의 즐김(enjoyment)과 간섭하는(interfere) 종래 기술의 이들 및 다른 제한들에 대한 솔루션들을 개발하기 위한 동기가 현재 존재한다. 인터액티브 디스플레이 시스템들 상에서 실행되는 애플리케이션들과 이용하기 위해, 동적 배향 자유 사용자 인터페이스를 제공하는 것이 명백히 바람직할 것이다.
<개요>
동적으로 배향 가능한 사용자 입력 제어들을 갖는 사용자 인터페이스의 생성 및 그의 디스플레이를 가능하게 해주는 다양한 실시예들이 아래에 논의된다. 특히, 사용자 인터페이스가 적당히 배향되어 인터액티브 디스플레이의 외연 주위의 상이한 위치들에 배치되는 사용자들에 의해 사용자 인터페이스가 보여질 수 있도록, 사용자 인터페이스는 컴퓨터 구현된 방법을 통해 인터액티브 디스플레이 상에 디스플레이될 수 있다. 예시적인 실시예의 더 상세한 사항들이 아래에 주어진다. 이 실시예는 메인 그래픽 사용자 인터페이스(GUI)의 부분을 선택하는 단계를 포함한다. 그런 다음 선택된 부분 내에 독립적이고 동적으로 배향 가능한 GUI가 생성된다. 본 실시예에서, 동적으로 배향 가능한 GUI는 하나 또는 그 이상의 사용자 입력 제어들을 제공할 수 있는데, 이 제어들은 사용자에 의해 제공된 입력에 기초하여 배향 가능한 GUI의 선택된 부분 내에 배향되는 것이 가능하게 된다. 이 사용자 입력은 인터액티브 디스플레이 상에 제공되는 배향 가능한 GUI와 상호작용하는 사용자에 의해 제공될 수 있다.
이 개요는 아래의 설명란에서 상세히 더 설명되는 몇개의 개념들을 간단한 형태로 소개하기 위해 제공되었다. 그러나, 이 개요는 청구되는 사항의 주요하거나 본질적인 특징들을 식별하기 위한 의도는 아니고, 청구된 사항의 범위를 결정하는 데에 보조로서 이용되고자 의도된 것도 아니다.
하나 또는 그 이상의 실시예들과 그 변형들의 다양한 양상들 및 부수적인 이 점들은, 첨부 도면들과 관련하여 고찰할 때, 다음의 상세한 설명을 참조하여 보다 용이하게 이해될 것이다.
도 1은 인터액티브 디스플레이 표면 상에 제공되는 사용자 인터페이스를 동적으로 배향시키기 위해 본 기술을 실시함에 있어서 인터액티브 디스플레이 표면과 이용하기 위해 적합한 일반적으로 통상적인 컴퓨팅 장치 또는 퍼스널 컴퓨터(PC)의 기능적인 블럭도이다.
도 2는 통합(integral) PC를 포함하는 인터액티브 디스플레이 테이블의 최상부에 있는 인터액티브 디스플레이 표면을 갖는 하나의 예시적인 실시예의 내부 컴포넌트들을 도시하는 단면도이다.
도 3은 인터액티브 디스플레이 테이블이 외부 PC에 연결되는 예시적인 실시예의 등각투영도(isometric view)이다.
도 4는 동적으로 배향 가능한 사용자 입력 제어들을 갖는 사용자 인터페이스를 구성하기 위한 예시적인 방법의 단계들을 나타낸 순서도이다.
도 5는 사용자 입력에 응답하여 동적으로 배향 가능한 사용자 입력 제어들을 갖는 사용자 인터페이스를 구성하기 위한 예시적인 방법의 단계들을 나타낸 순서도이다.
도 6A는 동적으로 배향 가능한 사용자 인터페이스를 포함하는 인터액티브 디스플레이 표면의 개략적인 상면도이다.
도 6B는 도 6A에 도시된 사용자 인터페이스가 사용자에 의한 상호작용을 위해 어떻게 인터액티브 디스플레이 표면의 다른 사이드에 재배향되는지를 나타내는, 동적으로 배향 가능한 사용자 인터페이스를 포함하는 인터액티브 디스플레이 표면의 개략적인 상면도이다.
도 7A는 동적으로 배향 가능한 사용자 인터페이스를 포함하는 인터액티브 디스플레이 표면의 개략적인 상면도이다.
도 7B는 사용자 인터페이스가 재배향된 후, 도 7A의 동적으로 배향 가능한 사용자 인터페이스를 나타내는 인터액티브 디스플레이 표면 개략적인 상면도이다.
도면들과 개시된 실시예들은 제한적이지 않음
예시적인 실시예들이 도면들의 참조 그림들에 도시된다. 본 명세서에 개시된 실시예들과 도면들은 제한적인 것이 아니라 예시적인 것으로 고려되도록 의도된다. 또한, 이어지는 청구항들에서, "~중 적어도 하나"라는 문구 또는 "~중 하나"라는 문구 앞에 나오는 대안들의 리스트에서 접속어 "과/와/그리고"를 이용할 때, 접속어 "과/와/그리고"의 의도된 의미는 접속어 "또는/혹은"에 해당한다.
예시적인 컴퓨팅 시스템
도 1은 인터액티브 디스플레이 테이블 또는 유사한 컴퓨팅 시스템과 같은, 예시적인 컴퓨팅 시스템의 기능적인 블럭도이다.
다음의 논의는 특정 방법들이 구현될 수 있는 적합한 컴퓨팅 시스템 환경의 간단하고, 일반적인 설명을 제공하고자 한다. 또한, 다음의 논의는 프로그램 모듈들과 같은, 컴퓨터 실행가능 명령어들을 컴퓨팅 시스템으로 구현하는 것과 관련하여 기술한다. 일반적으로, 프로그램 모듈들은 특정 태스크를 수행하거나 특정 추 상 데이터 유형을 구현하는 루틴, 프로그램, 개체, 컴포넌트, 데이터 구조 등을 포함한다. 숙련된 실시자는 멀티 프로세서 시스템, 메인프레임 컴퓨터, 프로세서-제어형 가전 제품, 프로그램가능한 가전제품, PDA들(personal digital assistants) 등을 포함하는(그러나, 디지털 미디어 컨텐트의 서버로서 이용되는 때는 아닐 것임) 다른 컴퓨팅 시스템 구성들이 적용될 수 있다는 것을 알 것이다. 일 실시예는 통신 네트워크를 통해 링크되는 원격 처리 장치들에 의해 태스크들이 수행되는 분산 컴퓨팅 환경 등을 포함한다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 로컬 및 원격 메모리 저장 장치 둘다에 위치할 수 있다.
도 1을 참조하면, 다양한 방법들을 실시하기에 접합한 예시적인 시스템이 도시된다. 시스템은 처리 장치(21), 시스템 메모리(22), 및 시스템 버스(23)가 제공되는 통상의 퍼스널 컴퓨터(PC)(20)의 형태인 범용 컴퓨팅 장치를 포함한다. 시스템 버스는 시스템 메모리를 처리 장치(21)에 연결하는 것을 포함하여 다양한 시스템 컴포넌트들을 연결하고, 메모리 버스 또는 메모리 컨트롤러, 주변 장치 버스 및 각종 버스 아키텍처 중 임의의 것을 이용하는 로컬 버스를 비롯한 몇몇 유형의 버스 구조 중 어느 것이라도 될 수 있다. 시스템 메모리는 판독 전용 메모리(ROM)(24) 및 랜덤 액세스 메모리(RAM)(25)를 포함한다.
시스템 시동 중과 같은 때에, PC(20) 내의 구성요소들 사이의 정보 전송을 가능하게 하는 기본 루틴을 포함하는 기본 입/출력 시스템(BIOS)(26)은 ROM(24)에 저장되어 있다. PC(20)는 또한 하드 디스크(도시되지 않음)에 기록을 하거나 그로부터 판독을 하는 하드 디스크(27), 이동식 자기 디스크(29)에 기록을 하거나 그로 부터 판독을 하는 자기 디스크 드라이브(28), CD-ROM 또는 기타 광 매체 등의 이동식·비휘발성 광 디스크(31)에 기록을 하거나 그로부터 판독을 하는 광 디스크 드라이브(30)를 포함한다. 하드 디스크 드라이브(28), 자기 디스크 드라이브(28), 및 광 디스크 드라이브(30)는 하드 디스크 드라이브 인터페이스(32), 자기 디스크 드라이브 인터페이스(33), 및 광 디스크 드라이브 인터페이스(34)에 의해, 각각 시스템 버스(23)에 연결된다. 드라이브들과 그들의 연관된 컴퓨터 판독가능 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 PC(20)를 위한 기타 데이터와 같은 정보의 비휘발성 저장소를 제공한다. 비록 설명되는 실시예의 환경은 하드 디스크(27), 이동식 자기 디스크(29), 및 이동식 광 디스크(31)를 채택하지만, 당업자는 컴퓨터에 의해 액세스 가능한 데이터 및 머신 명령어들을 저장할 수 있는 다른 타입의 컴퓨터 판독 매체, 예를 들면 자기 카세트, 플래시 메모리 카드, 디지털 비디오 디스크(DVDs), 베르누이 카트리지(Bernoulli cartridge), RAM, ROM, 기타 등등이 이용될 수도 있다.
운영 시스템(35), 하나 또는 그 이상의 애플리케이션 프로그램들(36), 다른 프로그램 모듈들(37), 및 프로그램 데이터(38)를 포함하여, 다수의 프로그램 모듈들이 하드 디스크(27), 자기 디스크(29), 광 디스크(31), ROM(24), 또는 RAM(25)에 저장될 수 있다. 사용자는 PC(20)에 명령과 정보를 입력할 수 있고, 키보드(40) 및 포인팅 장치(42)와 같은 입력 장치들을 통해 제어 입력을 제공할 수 있다. 포인팅 장치(42)는 마우스, 스타일러스(stylus), 무선 원격 제어, 또는 다른 포인터를 포함할 수 있지만, 현재 설명되는 실시예들과 관련하여, 사용자는 입력 및 제어 를 위해 인터액티브 디스플레이 시스템을 채용할 수 있기 때문에, 그러한 통상의 포인팅 장치들은 생략될 수 있다. 본 설명에서 이용되는 바와 같이, 용어 "마우스"는 스크린 상의 커서의 위치를 제어하기에 유용한 임의의 포인팅 장치를 포함하기 위해 의도된다. 다른 입력 장치들(도시되지 않음)은 마이크로폰, 조이스틱, 햅틱 조이스틱(haptic joystick), 요크(yoke), 풋 페달(foot pedals), 게임 패드, 인공위성 접시(satellite dish), 스캐너 등을 포함할 수 있다. 또한, PC(20)는 프린터, 또는 아래에서 상세히 설명되는 인터액티브 디스플레이 테이블과 같은 다른 인터페이스 장치들과 통신하기 위해 불루투스 무선, 또는 다른 무선 인터페이스를 포함할 수 있다. 이들 및 다른 입력/출력 장치들은 시스템 버스(23)에 연결된 I/O 인터페이스(46)를 통해 처리 장치(21)에 연결될 수 있다. "I/O 인터페이스"라는 문구는 시리얼 포트, 병렬 포트, 게임 포트, 키보드 포트, 및/또는 USB(universal serial bus)를 위해 특정적으로 이용되는 각각의 인터페이스를 포함하기 위해 의도된다. 시스템 버스(23)는 또한 아래에서 더 상세히 논의되는 바와 같이, 인터액티브 디스플레이(60) 내에 포함되는 디지털 비디오 카메라로부터의 신호들을 수신하기 위해 인터액티브 디스플레이(60)에 연결되는 카메라 인터페이스(도시되지 않음)에 접속될 수 있다. 디지털 비디오 카메라는 USB 포트와 같은 적당한 시리얼 I/O 포트에 대신 연결될 수 있다. 시스템 버스(23)는 또한 아래에서 더 상세히 논의되는 바와 같이, 광원에 제어 신호들을 제공하기 위해, I/O 인터페이스(46) 또는 다른 인터페이스를 통해 광원에 연결될 수 있다. 또한, 시스템 버스(23)는 사용자 입력을 수신하기 위해 I/O 인터페이스(46) 또는 다른 인터페이스를 통해 인터액티 브 디스플레이 시스템 내의 광 검출기에 연결될 수도 있다. 옵션으로, 모니터(47)가 비디오 어댑터(48)와 같은 적당한 인터페이스를 통해 시스템 버스(23)에 연결될 수 있으나, 아래에 설명되는 인터액티브 디스플레이 시스템이 훨씬 더 풍부한 디스플레이를 제공할 수 있고 또한 정보의 입력 및 소프트웨어 애플리케이션의 제어를 위해 사용자와 상호작용할 수도 있고, 따라서 바람직하게 비디오 어댑터에 연결되기 때문에, 모니터는 생략되기 쉬울 것이다. 일반적으로, PC들은 또한 스피커(사운드 카드 또는 다른 오디오 인터페이스를 통해 -도시되지 않음) 및 프린터와 같은 다른 주변 출력 장치들(도시되지 않음)에 연결될 수 있다.
비록 PC(20)가 또한 원격 컴퓨터(49)와 같은 하나 또는 그 이상의 원격 컴퓨터들에의 논리적 연결들을 이용하는 네트워크 환경에서 동작할 수 있지만, 아래에 상세히 설명되는 특정 방법들은 단일 머신 상에서 수행될 수 있다. 원격 컴퓨터(49)는 또 다른 PC, 서버(PC(20)같이 구성될 수 있음), 라우터, 네트워크 PC, 피어 장치(peer device), 또는 인공위성이나 다른 통상의 네트워크 노드, (모두 도시되지 않음)일 수 있고, 전형적으로 PC(20)와 관련하여 위에서 설명한 구성 요소들중 다수 또는 모두를 포함하지만, 외부 메모리 저장 장치(50)만 도 1에 도시되었다. 도 1에 도시된 논리적 접속들은 LAN(Local Area Network)(51)과 WAN(Wide Area Network)(52)을 포함한다. 이러한 네트워킹 환경은 사무실, 전사적 컴퓨터 네트워크(enterprise-wide computer network), 인트라넷, 및 인터넷에서 일반적인 것이다.
LAN 네트워킹 환경에서 이용될 때, PC(20)는 네트워크 인터페이스 또는 어댑 터(53)를 통해 LAN(51)에 연결된다. WAN 네트워킹 환경에서 이용될 때, PC(20)는 인터넷과 같은 WAN(52)을 통해 통신을 확립하기 위해 전형적으로 모뎀(54), 또는 케이블 모뎀과 같은 다른 수단, DSL(Digital Subscriber Line) 인터페이스, 또는 IDSN(Integrated Service Digital Network) 인터페이스를 포함한다. 내부적 또는 외부적일 수 있는 모뎀(54)은 시스템 버스(23)에 연결되거나, 또는 I/O 장치 인터페이스(46)를 통해, 즉 시리얼 포트를 통해 버스에 연결된다. 네트워크 환경에서, PC(20)에 의해 이용되는 프로그램 모듈들, 또는 그 일부들은 원격 메모리 저장 장치에 저장될 수 있다. 도시된 네트워크 접속들은 예시적인 것이고, 무선 통신 및 광대역 네트워크 링크들과 같은 컴퓨터들 사이에 통신 링크를 확립하는 다른 수단이 이용될 수 있다는 것이 이해될 것이다.
예시적인 인터액티브 표면
도 2에서, 예시적인 인터액티브 디스플레이 테이블(60)은 프레임(62) 내의 PC(20)를 포함하는 것으로 도시되고, 이것은 컴퓨터에 대해 광 입력 및 비디오 디스플레이 장치 둘다로서 기능한다. 도시된 실시예는 인터액티브 디스플레이 테이블(60)의 일 실시예의 단면도이다. 도 2에 도시된 실시예에서, 텍스트 및 그래픽 이미지들을 디스플레이하기 위해 이용되는 광선들(82a-82c)이 점선들로 도시되고, 인터액티브 디스플레이 테이블(60)의 인터액티브 디스플레이 표면(64) 상의 또는 바로 위의 객체들을 감지하기 위해 이용되는 적외선(IR) 광은 일점 쇄선을 이용하여 도시된다. 테이블 표면의 둘레는, 사용자의 팔들 또는 인터액티브 디스플레이 표면(64) 상에 디스플레이되는 그래픽 이미지들 또는 가상 환경과 상호작용하기 위 해 이용될 수 있는 객체들을 포함하여, 다른 객체들을 지원하기에 유용하다.
광원(66)은 두개의 수직한 차원들로, 즉, X와 Y 방향으로 주사하기 위해 구동될 수 있는 발광 다이오드(LED), 레이저 다이오드, 및 다른 적합한 광원들과 같은 다양한 발광 장치들 중 임의의 것을 포함할 수 있다. 주사 메커니즘은 광원(66)과 함께 이용될 수 있고, 회전 미러, 갈바노미터 미러(galvanometer mirror)와 같은 아래에 논의되는 다른 광원들 각각에 대해 이용될 수 있거나, 또는 광 빔으로 표면의 래스터 주사(raster scan)를 행하기 위해 통상적으로 이용되는 잘 알려진 주사 메커니즘들이 이용될 수 있다. 일반적으로 광원(66)은 적외선(infrared: IR) 스펙트럼의 파장을 갖는 광원으로 구성되고, 따라서 사람의 눈에 보이지 않을 수 있다. 그러나, 인터액티브 디스플레이 표면(64) 상에 제공되는 가시적인 이미지들의 디스플레이와의 간섭을 회피하도록, 사람의 눈에 보이지 않는 임의의 파장의 광이 이용될 수 있다. 광원(66)은, 사용된 특별한 광원에 따라, 프레임(62)의 내측 상의 임의의 위치에 탑재될 수 있다. 광원(66)에 의해 생성되는 광은 일점 쇄선들(78a, 78b, 78c)에 의해 표시된 바와 같이, 인터액티브 디스플레이 표면(64)의 내면을 향해 위쪽으로 향해진다. 광원(66)으로부터 방출되는 광은 한장의 벨럼(vellum)이나 또는 광 확산 특성을 갖는 다른 적합한 반투명 물질을 포함하는, 테이블의 반투명층(64a)을 통과한 후 인터액티브 디스플레이 표면(64) 상에 또는 그에 인접하여 있는 임의의 객체들로부터 반사된다.
다음의 설명과 청구항들에 이용되는 바와 같이, 용어 "~에 가까이에 있는(혹은 ~에 가까운)(proximate)"은, 이 문구가 인터액티브 디스플레이 표면을 터치하고 있거나, 또는 객체의 반사와 같은 팩터들에 따라, 예를 들면 3㎝ 또는 그 이상까지 만큼의, 짧은 거리 만큼 인터액티브 디스플레이 표면으로부터 떨어져 있거나 한 객체를 모두 포함하는 의도를 가지고 이용된다. 비록 하나의 광원(66)만이 도시되었지만, 인터액티브 디스플레이 표면의 조명도 제공하기 위해 복수의 그러한 광원들이 프레임(62)의 내부 면들 주위에 이격된 위치들에 탑재될 수 있다. 광원(66)에 의해 생성되는 광은 일점 쇄선(78a)에 의해 표시한 바와 같이, 임의의 객체들을 조명하지 않은 채 테이블 표면을 통해 방출할 수 있거나, 일점 쇄선(78b)에 의해 표시한 바와 같이, 테이블 표면 상의 객체들을 조명할 수 있거나, 그리고/또는 일점 쇄선(78c)에 의해 표시한 바와 같이, 인터액티브 디스플레이 표면 위의 짧은 거리에 있지만(즉, 가까이에 있지만) 그것을 터치하지는 않는 객체들을 조명할 수 있다.
인터액티브 디스플레이 표면(64) 위의 객체들로는, 디스플레이 표면 "상"에 있거나 또는 적어도 일부를 터치하는 "터치" 객체(76a)와, 인터액티브 디스플레이 표면에 가까우나(close to) 실제로 접촉하지는 않는 "호버(hover)" 객체(76b)를 포함한다. 따라서, 터치 및 호버 객체들 모두는, 그 용어가 다음의 설명에 이용될 때, 디스플레이 표면에 "인접(adjacent to)"할 수 있다. 인터액티브 디스플레이 표면을 통과하는 광을 확산하기 위해 인터액티브 디스플레이 표면 아래에 반투명 층(64a)을 이용한 결과, 객체가 인터액티브 디스플레이 표면(64)의 최상면(top)에 접근함에 따라, 객체에 의해 반사되는 IR 광의 양은, 객체가 실제로 디스플레이 표면과 접촉할 때, 최대 레벨로 증가한다.
도 2에 도시된 바와 같이, 광원(68)은 인터액티브 디스플레이 표면 위에(즉, 인터액티브 디스플레이 표면에 인접하여) 배치된 "터치" 객체 또는 "호버" 객체로부터 반사되는 IR 광을 검출하기에 적당한 위치에서, 인터액티브 디스플레이 표면(64) 아래의 프레임(62)에 탑재된다. 일반적으로, 광 검출기(68)는 인터액티브 디스플레이 표면(64) 상의 또는 그에 인접한 객체들로부터 반사되는 광을 검출하기에 접합한 임의의 광 검출 장치일 수 있다. 예를 들어, 광 검출기(68)는 면적(area) CMOS 또는 면적 전하 결합 소자(area chared coupled device) 센서일 수 있다. 도 2에 도시된 실시예는 하나의 광 검출기(68)를 도시하지만, 복수의 광 검출기(68)가 인터액티브 디스플레이(60) 내에 채택될 수 있다. 광 검출기(68)는 점선(84a)을 따라 주위의 가시광이 인터액티브 디스플레이 표면(64)을 통해 진행하는 것을 차단하고 IR 광만을 투과시키는 IR 통과 필터(86a)가 구비될 수 있다. 본 실시예에서, 차폐물(baffle)(79)은, 주사 광원(66)으로부터 직접 방출되는 IR 광이 광 검출기(68)에 입사하는 것을 방지하기 위해 주사 광원(66)과 광 검출기(68) 사이에 배치되는데, 이것은 왜냐하면 광 검출기(68)가 인터액티브 디스플레이 표면(64)에 인접한 객체들로부터 반사되는 IR 광에만 응답하는 출력 신호를 생성하는 것이 바람직하기 때문이다. 광 검출기(68)는 또한 점선(84a)에 의해 표시된 경로를 따라 진행하기도 하는 주위 IR 광을 포함하여, 인터액티브 디스플레이의 위에서부터 내부로 인터액티브 디스플레이 표면(64)을 통과하는 주위 광에 포함되어 있는 임의의 IR 광에 반응할 것이다.
테이블 표면 상의 또는 그 위의 객체들로부터 반사되는 IR 광은, (a) 일점 쇄선들(80a, 80b)에 의해 표시된 바와 같이, 반투과층(64a)을 통해, 그리고 IR 통과 필터(86a)를 통해 광 검출기(68)로 다시 반사될 수 있거나, 또는 (b) 일점 쇄선들(80c)에 의해 표시된 바와 같이, 광 검출기(68)에 입사하지 않고 인터액티브 디스플레이(60) 내의 다른 내부 표면들에 의해 반사되거나 흡수될 수 있다.
반투과층(64a)은 입사 및 반사되는 IR 광을 모두 확산한다. 따라서, 위에서 설명한 바와 같이, 인터액티브 디스플레이 표면(64)에 가까운 호버 객체(76b)와 같은 "호버" 객체들은, 디스플레이 표면으로부터 더 멀리 있는 같은 반사의 객체들보다 더 많은 IR 광을 광 검출기(68)에 반사할 것이다. 광 검출기(68)는 그의 동작 필드 내의 "터치" 및 "호버" 객체들로부터 반사된 IR 광을 감지하고, 그것이 수신한 반사된 IR 광에 대응하는 검출 신호를 생성한다. 이 검출 신호는 각각의 그러한 객체의 위치와, 옵션적으로 다른 파라미터들, 예를 들면 객체의 크기, 배향, 형태, 및 괘적을 결정하기 위한 처리를 위해 PC(20)에 입력된다. 사용자의 팔뚝과 같은, 객체의 일부가 테이블 위에 있는 동안 사용자의 손가락과 같은 다른 부분은 디스플레이 표면과 접촉할 수 있다. 부가적으로, 객체와 연관된 다른 파라미터들이 검출될 수 있다. 예를 들어, 객체는 그 객체에 특정적인, 또는 그 객체가 멤버인 그 객체와 관련된 부류에 특정적인, 그의 바텀 표면 상의, 예를 들면 바코드(bar code)와 같은, IR 반사 패턴이나 코딩된 식별자를 포함할 수 있다. 이에 따라, 하나 또는 그 이상의 광 검출기(68)로부터의 검출 신호는 또한 객체 및/또는 반사 패턴으로부터 반사된 IR 광에 응답하여, 그러한 특정한 객체를 검출하기 위해뿐만 아니라 그 객체의 또는 그 객체와 연관된 다른 파라미터들을 결정하기 위해 이용될 수 있다.
따라서, 실시예들은 객체로부터의 반사된 IR 광을 이용하여 그의 식별 특성을 검출함으로써, 객체 및/또는 인터액티브 디스플레이 표면(64)에 대한 그의 위치뿐만 아니라 다른 정보를 인식하도록 실시될 수 있다. 객체와, 그의 배향, 및 다른 파라미터들을 검출하고 식별하기 위해 구현되는 논리적 단계들의 상세한 내용들은, 둘다 2004년 3월 31일에 출원된 제목이 "Identification Of Object On Interactive Display Surface By Identifying Coded Pattern"인 미국출원번호 제10/814,577호의 출원과, 제목이 "Determining Connectedness And Offset Of 3D Objects Relative To An Interactive Surface"인 미국출원번호 제10/814,761호의 출원을 포함하여, 공동으로 양도된 특허 출원들에 설명되어 있다. 이 두 특허 출원들의 명세서 및 도면들은 (배경 정보로서) 참조로 여기에 특정적으로 포괄되지만, 아래의 청구된 신규한 시도를 가능하게 하기 위해 필수적인 것으로 생각되지 않는다.
PC(20)는 도 2의 실시예에 도시된 바와 같이, 인터액티브 디스플레이 테이블(60)에 통합될 수 있거나, 대안적으로, 도 3의 실시예에 도시된 바와 같이, 인터액티브 디스플레이 테이블에 외부적일 수 있다. 도 3에서, 인터액티브 디스플레이 테이블(60')은 데이터 케이블(63)을 통해 외부 PC(20)(위에서 언급한 바와 같이, 옵션의 모니터(47)를 포함함)에 연결된다. 대안적으로, 외부 PC(20)는 무선 링크(즉, WiFi 또는 다른 적당한 무선 신호 링크)를 통해 인터액티브 디스플레이 테이블(60')에 연결될 수 있다. 이 도면에 또한 도시된 바와 같이, 수직의 X와 Y 축들 의 세트는 "0"으로 표시된 원점뿐만 아니라, 인터액티브 디스플레이 표면(64)과 연관된다. 예시적인 투사된(프로젝트된) 이미지(390)는 또한 디스플레이 표면(64) 상에 단어 "이미지"로서 도시되어 있다. 별개로 도시되지는 않았지만, 각각의 수직 축을 따라 복수의 축 위치들이 인터액티브 디스플레이 표면(64) 상의 임의의 위치를 지정하기 위해 채택될 수 있다.
인터액티브 디스플레이 테이블(60')이 외부 PC(20)(도 3에서와 같은) 또는 소정의 다른 타입의 외부 컴퓨팅 장치, 예를 들면 셋탑 박스, 비디오 게임, 랩탭 컴퓨터, 또는 미디어 컴퓨터(도시되지 않음)에 접속된다면, 인터액티브 디스플레이 테이블(60')은 입력/출력 장치를 포함한다. 인터액티브 디스플레이 테이블(60')을 위한 전력은, 통상의 교류(AC)원(도시되지 않음)에 연결되는 파워 리드(power lead)(61)를 통해 제공된다. 인터액티브 디스플레이 테이블(60')에 접속하는 데이터 케이블(63)은 PC(20) 상의 USB 2.0 포트, IEEE(Institute of Electrical and Electronics Engineers) 1394(또는 파이어와이어(Firewire)) 포트, 또는 이더넷(Ethernet) 포트에 연결될 수 있다. 또한, 무선 접속의 속도가 계속해서 향상됨에 따라, 인터액티브 디스플레이 테이블(60')은 그러한 고속 무선 접속을 통해, 또는 소정의 다른 적당한 유선 또는 무선 데이터 통신 링크를 통해, PC(20)와 같은 컴퓨팅 장치에 연결될 수 있을 것으로 생각된다. 인터액티브 디스플레이 시스템의 일체화된 일부분으로서 내부적으로 포함되든 혹은 외부적이든, PC(20)는 디지털 비디오 카메라(68)로부터의 디지털 이미지들을 처리하기 위한 알고리즘들을 실행하고, 인터액티브 디스플레이 테이블의 보다 직관적인 사용자 인터페이스 기능을 채 용하기 위해 유리하게 설계되는 소프트웨어 애플리케이션을 실행하고, 그뿐만 아니라 그러한 기능을 이용하기 위해 특정적으로 설계되지 않은 다른 소프트웨어 애플리케이션들을 실행하지만, 인터액티브 디스플레이 테이블의 입력 및 출력 기능을 여전히 잘 이용할 수 있다. 다른 대안으로서, 인터액티브 디스플레이 시스템은 외부 컴퓨팅 장치에 연결될 수 있지만, 이미지 프로세스, 및 외부 PC에 의해 수행되지 않을 다른 태스크들을 수행하기 위한 내부 컴퓨팅 장치를 포함할 수 있다.
(위에서 논의된 인터액티브 디스플레이 테이블의 실시예들 중 어느 것의)인터액티브 디스플레이 테이블(60 또는 60')의 중요하고 강력한 특징은, 객체(76a)와 같은 디스플레이 표면 위에 있는, 또는 객체(76b)와 같은 그 바로 위에서 맴도는(hovering) 객체들(또는 그의 특성들)을 식별함으로써, 그래픽 이미지. 또는 게임 또는 다른 소프트웨어 애플리케이션들을 위한 가상 환경을 디스프레이하고, 인터액티브 디스플레이 표면(64) 상의 가시적인 그래픽 이미지 또는 가상 환경과 사용자 상호작용을 가능하게 하는 그의 능력이다.
다시 도 2를 참조하면, 인터액티브 디스플레이 테이블(60)은 그래픽 이미지, 가상 환경, 또는 텍스트 정보를 인터액티브 디스플레이 표면(64) 상에 디스플레이하기 위해 이용되는 비디오 프로젝터(70)를 포함할 수 있다. 비디오 프로젝터는, 예를 들면 적어도 640x480 픽셀들의 해상도를 갖는 액정 디스플레이(LCD) 또는 디지털 광 프로세서(DLP) 타입, 또는 실리콘 상의 액정(LCoS) 디스플레이 타입일 수 있다. IR 차단 필터(86b)는 비디오 프로젝터에 의해 방출되는 IR 광이 인터액티브 디스플레이 테이블 하우징의 내부에 입사하는 것을 방지하기 위해 - IR 광이 인터 액티브 디스플레이 표면(64) 상의 또는 그 위의 객체(들)로부터 반사되는 IR 광과 간섭할 수 있음 -, 비디오 프로젝터(70)의 프로젝터 렌즈의 앞에 탑재될 수 있다. 비디오 프로젝터(70)는 제1 미러 어셈블리(72a)를 향해 점선 경로(82a)를 따라 광을 투사한다. 제1 미러 어셈블리(72a)는 비디오 프로젝터(70)로부터 수신되는 점선 경로(82a)로부터 투사되는 광을 프레임(62) 내의 투명한 개구(90a)를 통해 점선 경로(82b)를 따라 반사하여, 반사된, 투사된 빔이 제2 미러 어셈블리(72b)에 입사된다. 제2 미러 어셈블리(72b)는 점선 경로(82b)로부터의 광을 점선 경로(82c)를 따라 반투명층(64a) 상에 반사하는데, 반투명층(64a)은 프로젝터 렌즈의 초점에 있어서, 투사된 이미지가 뷰잉(viewing)을 위해 인터액티브 디스플레이 표면(64) 상에 가시화되고 초점이 맞추어진다.
정렬 장치들(74a, 74b)가 제공되며, 디스플레이 표면 상에 투사되는 이미지가 디스플레이 표면과 정렬되도록 보장하기 위해 제1 미러 어셈블리와 제2 미러 어셈블리의 각도들을 조정하기 위한 실 모양의 막대들과 회전 가능한 조정 너트들(74c)을 포함한다. 투사되는 이미지를 원하는 방향으로 보내는 것에 부가하여, 이들 두 미러 어셈블리들의 이용은 프로젝터(70)와 반투명층(64a) 사이에 보다 긴 경로를 제공하여, 더 긴 초점 길이(및 저 비용)의 프로젝터 렌즈가 프로젝터와 함께 이용될 수 있게 해준다. 어떤 대안적인 실시예들에서는, LCD 패널 또는 유기 발광 디스플레이(OLED) 패널이, 그래픽 사용자 인터페이스를 포함하는 텍스트 및 이미지를 디스플레이하기 위해 비디오 프로젝터 대신 채택될 수 있다. 마찬가지로, 다른 기술들이 인터액티브 디스플레이 표면과 접촉하거나 그에 가까운 객체들 을 감지하기 위해 채택될 수 있다.
상술한 그리고 다음의 논의들은 인터액티브 디스플레이 테이블(60 및 60')의 형태로 인터액티브 디스플레이 장치를 설명한다. 그럼에도 불구하고, 인터액티브 디스플레이 표면은 일반적인 수평형 테이블 최상부의 형태일 필요는 없는 것으로 이해된다. 본 명세서에서 설명되는 원리들은 또한 수평이 아닌 배향들로 탑재되고, 다른 형태 및 곡률들을 갖는 디스플레이 표면들 적합하게 포함하고 그들에 적용된다. 그러므로, 비록 다음의 설명이 물리적 객체들을 인터액티브 디스플레이 표면 "상에" 놓는 것으로 일컫지만, 물리적 객체들을 디스플레이 표면과 접촉하여 놓든지 또는 그렇지 않으면 디스플레이 표면에 인접하여 놓음으로써, 물리적 객체들은 인터액티브 디스플레이 표면에 인접하여 배치될 수 있다.
배향가능한 GUI 를 실행하기 위한 예시적인 방법들
도 4 및 도 5 각각은, 아래에 더 상세히 설명된 바와 같이, 동적으로 배향가능한 사용자 인터페이스 제어들로 사용자 인터페이스를 구성하기 위한, 예시적인 방법들(400, 500) 각각의 단계들을 설명한 순서도들이다. 방법들(400, 500)은 소정의 실시예들에서 도 1-3을 참조하여 위에서 논의된 바와 같은, 컴포넌트들 및 기술들을 이용하여 실시될 수 있다. 소정의 실시예들에서, 방법들(400, 500)의 하나 또는 그 이상의 단계들은 컴퓨터-판독가능 코드를 포함하는 컴퓨터-판독가능 매체 상에 구현되어, 컴퓨터-판독가능 코드가 PC(20) 내에 포함된 프로세서와 같은 컴퓨팅 장치 상에서 실행될 때 일련의 단계들이 실행된다. 다음의 설명에서, 방법들(400, 500)의 다양한 단계들이 특정 방법 단계들을 수행할 수 있는 인터액티브 디스플레이 시스템과 연관되는 컴퓨팅 장치의 프로세서와 관련하여 설명된다. 그러나, 인터액티브 디스플레이 시스템은 또한 특정한 방법 단계들을 또한 수행할 수 있는 또 다른 컴퓨팅 장치와 (적절히)통신할 수 있다. 어떤 실시예들에서는, 방법들(400, 500)의 특정 단계들이 그 방법들의 목적으로부터 벗어나지 않고서 또는 다른 결과를 생성하지 않고서 결합되거나, 동시적으로 수행되거나, 또는 다른 순서로 수행될 수 있다.
방법(400)은 단계 (410)에서, 그래픽 사용자 인터페이스(GUI)의 일 부분이 선택되는 때에 시작한다. 이 부분은 다양한 함수들을 수행하기 위해 채택되는 실행가능한 소프트웨어 모듈 내에 포함될 수 있는 것과 같은, 컴퓨터 실행가능 명령들을 컴퓨터 프로세서가 실행하도록 활성화된 후 임의의 시간에 선택될 수 있다. 예시적인 일 실시예에서, 메인 그래픽 인터페이스의 부분은 최적의 기능을 위한 동적으로 배향가능한 사용자 인터페이스를 요구하는(예를 들면, 인터액티브 디스플레이 테이블의 다른 사이드들에 위치된 사용자들에 의한 상호작용을 보다 효과적으로 가능하게 해주기 위해) 애플리케이션의 호출시에 선택될 수 있다. 일 실시예에서, 메인 GUI의 선택된 부분은 GUI의 제2 부분이 존재할 수 있는 디시플레이 필드 또는 영역을 정의한다. 소정의 실시예들에서, 선택된 부분은 GUI의 메인 부분을, 전체로 또는 일부로 한정한다. 다른 실시예들에서, 선택된 부분은 GUI의 메인 부분의 둘레(perimeter)의 근방에 인접할 수 있다. 그러한, GUI의 선택된 부분은 배향가능한 GUI가 선택된 부분 내에 구현될 수 있도록 하는 GUI의 임의의 원하는 서브셋일 수 있다. 그것으로서, 선택된 부분은 GUI의 메인 부분의 둘레를 따라 있을 필 요는 없고, 대신 GUI의 메인 부분의 중심에 더 가까이에 배치될 수 있고, 배향가능한 GUI를 가능하게 해주는 임의의 적합한 형태일 수 있다.
단계(420)에서, 배향가능한 GUI가 GUI의 메인 부분의 선택된 부분 내에 생성된다. 소정의 실시예들에서, 배향가능한 GUI는 GUI의 메인 부분과 독립적이고 메인 GUI의 둘레 주위로 동적으로 배향가능하다(예를 들면, 회전된다). 다른 실시예들에서, 동적으로 배향가능한 GUI는, 배향가능한 GUI가 생성되는 선택된 부분 내에서 자유롭게 회전할 수 있게 될 수 있는 하나 또는 그 이상의 사용자 입력 제어들을 제공한다. 또 다른 실시예들에서, 사용자 제어는 선택된 부분의 축을 따라 회전가능할 수 있다. 소정의 실시예들에서, 사용자 입력 제어의 배향은 배향가능한 GUI에 대한 사용자 입력에 기초할 수 있다. 본 명세서에서 사용되는, 용어 "배향가능한 GUI"는 GUI의 고정된 메인 부분에 대하여 배향될 수 있는(예를 들면, 회전될 수 있거나, 다르게는 그의 배향을 변경하기 위해 이동될 수 있는) 디스플레이된 이미지이다. 따라서, 배향가능한 GUI는 상이한 특정 사용자들이 배향가능한 GUI의 적어도 일 부분을 보다 용이하게 가시적으로 인식하고 그와 상호작용하도록 해주기 위해, 또는 인터액티브 디스플레이 테이블 주위의 상이한 사용자 위치들에 대해 용이한 판독성(readability)과 용이한 상호작용을 위해 배향가능한 GUI의 적어도 일부를 적당히 디스플레이하기 위해 동적으로 배향될 수 있다. 배향가능한 GUI의 특별한 예들은 도 6A-B 및 도 7A-B에 예시되고, 아래에서 논의된다.
방법(400)의 일 실시예는 사용자 입력이 동적으로 배향가능한 GUI로부터 수신되는 때를 식별하는 것과 같은, 부가적인 단계들을 포함한다. 본 실시예에서, 사용자 입력 제어의 현재 위치가 처음 식별된다. 현재 위치는, 예를 들면 배향가능한 GUI가 예시될(instantiated) 때 할당될 수 있는 원점과 같은. 디스플레이의 선택된 부분 내의 사전 결정된 위치에 대하여 결정된다. 일 예에서, 사용자 입력 제어는, 예를 들어, 사용자의 손가락에 의해 활성화될 수 있는 버튼일 수 있거나, 또는 인터액티브 디스플레이 표면 상의 버튼 위치 가까이에 위치한 객체에 의해 활성화될 수 있는 상기 버튼일 수 있다. 본 실시예의 다른 단계는, 사용자 입력이, 이전 단계에서 결정된 제어의 현재 위치에 대하여 사용자 입력 제어를 재배향하거나 또는 회전하기 위한 호출을 나타내는지를 결정하는 단계를 포함할 수 있다. 이 사용자 입력에 기초하여, 배향가능한 GUI는, 사용자 제어의 회전 또는 재배향을 배향가능한 GUI가 존재하는 인터액티브 디스플레이의 선택된 부분 내에 구현하기 위해 동적으로 렌더링될 수 있다.
다른 실시예에서, 사용자 입력이 배향가능한 GUI에 의해 수신되는 때는 식별하는 단계는, 배향가능한 GUI가 디스플레이되는 인터액티브 디스플레이의 선택된 부분에 가까이 배치되었던 객체를 검출하는 단계를 더 포함한다.
다른 실시예는 사용자 손가락 또는 사용자 제어 객체(user controlled object)의 운동의 물리(physics)에 따라 입력 파라미터들을 결정하는 것과 같은 단계들을 포함할 수 있다. 본 실시예에서, 파라미터들은 사용자 입력의 속도와 방향을 포함할 수 있다. 결정은 사용자의 손가락, 손, 혹은 사용자가 들고 있는 객체에 의해 제공되는 입력과 같은, 배향가능한 GUI에 지시되는 사용자 입력에 기초할 수 있다. 그 다음 단계에서, 결정된 입력 파라미터들은, 배향가능한 GUI가 다시 렌더링될 때, 사용자 제어들의 배향에 변경의 속도와 방향을 동적으로 제어하기 위해 적용될 수 있다. 일반적으로, 운동의 물리에 관련되는 파라미터들이 사용자 입력에 기초하여 먼저 계산되고, 그런 다음 사용자 제어들의 디스플레이를 배향가능한 GUI 내에 제어하기 위하여 렌더링 페이즈(rendering phase) 동안 이용된다. 그러나, 다른 실시예들에서, 전체 배향가능한 GUI 필드는, 결정된 파라미터들에 기초하여, 디스플레이의 GUI의 렌더링 동안, 운동의 물리에 따라 재배향될 수 있다.
또 다른 실시예는 브레이킹 파라미터(braking parameter)를 결정하는 단계를 포함할 수 있다. 소정의 실시예들에서, 브레이킹 파라미터는 결정된 속도에 비례할 수 있다. 일반적으로, 브레이킹 파라미터는 배향가능한 GUI가 동적으로 렌더링될 때, 사용자 제어의 재배향(예를 들면, 회전)의 속도 감쇠의 레이트를 정의한다. 소정의 실시예들에서, 브레이킹 파라미터는 사용자 인터페이스에 수신되는 사용자 입력에 기초할 수 있다. 일 예에서, 브레이킹 파라미터는 배향가능한 GUI가 디스플레이되는 인터액티브 디스플레이의 영역에 가까이 있는 사용자의 손이나 또는 손가락을 검출하는 것에 기초할 수 있다.
또 다른 실시예는 사용자 입력이 사용자 제어의 호출을 나타내는 때를 결정하고, 그에 응답하여, 사용자 제어와 연관된 사전 결정된 함수를 수행하는 단계를 포함할 수 있다. 사전 결정된 함수는. 예를 들면, 애플리케이션을 호출하고, 애플리케이션에 사용자 입력 기능성을 제공하고. 애플리케이션을 종결하는 단계들을 포함할 수 있다.
이제 도 5를 참조하면, 사용자 입력에 응답하여 동적으로 배향가능한 GUI로 써 인터액티브 디스플레이의 사용자 인터페이스를 구성하는 방법(500)이 예시된다. 방법(500)은 컴퓨팅 장치에 의해 수행되기에 튿히 적합하고, 적어도 일 실시예에서, 컴퓨터 판독가능 매체 상에 저장되는 컴퓨터 판독가능 명령들로서 구현된다. 방법(500)은 단계(510)에서 배향가능한 GUI가 선택적으로 호출될 때 시작한다. 소정의 실시예들에서, 배향가능한 GUI는 사용자 입력과 같은 파라미터들에 기초하여 독립적으로 제어가능하고 동적으로 배향가능하다. 일반적으로, 인터액티브 디스플레이는 이미지들과 사용자 인터페이스 엘리먼트들이 디스플레이될 수 있고 사용자에 의한 상호작용을 위한 주 디스플레이 필드를 포함한다. 소정의 실시예들에서, 배향가능한 GUI는 주 디스플레이 필드(primary display filed)의 둘레에 가까운 부 디스플레이 필드(secondary display filed)에 렌더링될 수 있다. 배향가능한 GUI는 인터액티브 디스플레이 애플리케이션이 활성인(active) 임의의 때에 선택적으로 호출될 수 있다.
단계(520)에서, 배향가능한 GUI는 호출에 응답하여 생성된다. 소정의 실시예들에서, 배향가능한 GUI는 하기 제어들과 접촉하거나 가까이에 가져와지는 사용자의 손가락, 손, 또는 사용자에 의해 제어되는 객체에 의해 활성화될 수 있는 사용자 입력 제어들과 같은, 복수의 사용자 입력 필드들을 제공한다. 다른 실시예들에서, 배향가능한 GUI는, 배향가능한 GUI에 대한 사용자 입력에 응답하여 부 필드 내의 경로를 따라 배향가능한 GUI의 동적 변위(dynamic displacement)를 가능하게 해주도록 구성될 수 있다. 이 기능성의 예를 들기 위해, 아래에 논의되는 바와 같이, 도 6A-B가 특히 참조될 수 있다. 또 다른 실시예에서, 배향의 변화는 특정 사 용자가 배향가능한 GUI의 제어나 또는 다른 부분을 더 용이하게 액세스하고 그와 더 용이하게 상호작용하는 것을 가능하게 해주기 위해 배향가능한 GUI를 선택적으로 재배향하는 애프리케이션에 응답할 수 있다.
단계(530)는 배향가능한 GUI로부터 사용자의 입력이 수신되는 때를 식별하고, 그에 응답하여, 사용자 입력을 분석하는 단계들을 포함한다. 사용자 입력의 식별은 배향가능한 GUI가 생성된 후 어느 때에라도 발생할 수 있다. 일 실시예에서, 사용자 입력은 배향가능한 GUI로부터 수신된다. 다른 실시예에서, 사용자 입력은 입력을 제공하는 객체의 속도 및/또는 방향과 같은 입력 파라미터들(또는 운동의 물리와 관련된 다른 파라미터들)을 얻기 위해 분석된다.
단계(540)에서, 배향가능한 GUI는 하나 또는 그 이상의 사전 결정된 파라미터들에 기초하여 동적으로 렌더링된다. 일 실시예에서, 사용자 입력이 수신될 때, 분석되는 사용자 입력은 또한 배향가능한 GUI의 배향을 동적으로 제어하기 위해 이용될 수 있다. 일 실시예에서, 배향가능한 GUI는 인터액티브 디스플레이 표면 상에 움직이는 이미지들을 지연이나 또는 다른 가시적인 결함들 없이 디스플레이하기에 충분한 레이트로 연속적으로 동적으로 렌더링될 것이다. 동작 중에, 배향가능한 GUI는 초당 인터액티브 디스플레이에 다수회 동적으로 렌더링될 수 있어서, 배향가능한 GUI의 유동적인 운동의 모양과, 그들의 배향 변화시에 사용자 입력 제어들을 가능하게 해준다.
다른 실시예는, 인터액티브 디스플레이 상의 사전 결정된 위치에 대하여 배향가능한 GUI의 현재 배치를 식별하는 단계를 포함한다. 본 실시예에서, 사전 결 정된 위치는 고정 위치, 현재 식별된 위치, 또는 배향가능한 GUI가 호출되거나, 생성되거나, 또는 마지막으로 혹은 처음으로 렌더링된 때 할당되는 초기 위치일 수 있다. 본 실시예는 사용자 입력이, 이전 단계에서 식별된, 그의 현재 배치에 대해 배향가능한 GUI를 옮기기 위한 사용자 호출을 나타내는지를 결정하는 것과 같은 부가적인 단계들을 포함할 수 있다. 그 다음, 현재 배치에 대한 배향가능한 GUI의 위치적 변위(즉, 재배향)가 사용자 입력에 기초하여 결정될 수 있다. 본 실시예의 최종 단계는 배향가능한 GUI를 새로운 배향으로 동적으로 렌더링하기 위해 상기 결정된 위치적 변위를 적용하는 것을 포함할 수 있다.
다른 실시예는 사용자의 손가락, 손, 또는 사용자에 의해 제어되는 객체에 의한 입력과 같은, 배향가능한 GUI에서 수신된 사용자 입력에 기초하여, 운동의 물리를 위한 입력 파라미터들을 결정하는 단계를 포함할 수 있다. 다시, 본 실시예에서, 결정된 입력 파라미터들은 배향가능한 GUI가 다시 렌더링될 때, 배향가능한 GUI의 위치 변위의 속도와 변위 방향을 동적으로 제어하기 위해 적용될 수 있다. 다른 파라미터들이 배향가능한 GUI에 대한 사용자 입력에 기초하여 결정될 수 있고, 그런 다음 GUI 렌더링 프로세스 동안 이용될 수 있다는 것은 당업자에게 자명할 것이다. 예를 들어, 결정될 수 있는 다른 파라미터는 브레이킹 파라미터이다. 브레이킹 파라미터는, 배향가능한 GUI가 동적으로 렌더링되는 동안 회전하거나 또는 다르게는 움직일 때, 배향가능한 GUI의 위치 변위에 대한 속도 감쇠의 레이트를 정의할 수 있다. 따라서, 브레이킹 파라미터는, 배향가능한 GUI가 마침내 원하는 새롭게 변위된 위치에 새로운 배향으로 "정지"를 완료하게 되는 시간에 걸쳐. 배향 가능한 GUI의 회전의 가시적으로 인식가능한 레이트를 늦추도록 유발한다. 이 브레이킹 파라미터는, 배향가능한 GUI를 디스플레이하고 있는 인터액티브 디스플레이의 영역에 사용자의 손이나 손가락이 검출될 때, 사용자의 손이나 손가락과 같은 사용자의 입력이나 또는 물리 법칙들에 기초한 사전 결정된 모델들에 기초할 수 있다.
또 다른 실시예는 배향가능한 GUI가 인터액티브 디스플레이 표면 상에 디스플레이될 때 배향가능한 GUI 내의 하나 또는 그 이상의 사용자 입력 필드들에 가까운 객체를 검출하는 단계를 포함할 수 있다. 이 실시예는 사용자 입력이 사용자 제어의 호출을 나타내는지를 결정하는 단계를 더 포함하고, 사용자 입력이 사용자 제어의 호출을 나타낸다면, 사용자 입력과 연관된 사전 결정된 함수가 수행될 수 있다. 일 실시예에서, 사전 결정된 함수는 인터액티브 제어 시스템에 의해 새로운 애플리케이션의 실행의 시작과 같은, 배향가능한 GUI 제어 프로세스에 독립적인 프로세스를 호출하는 단계를 포함할 수 있다. 다른 실시예에서, 사전 결정된 함수는 배향가능한 GUI 제어 프로세스에 독립적인 현재 실행중인 프로세스에 사용자 제어를 제공하는 것을 포함할 수 있다.
배향가능한 GUI 제어 프로세스에 독립적인 프로세스의 일 예는 사용자가 인터액티브 디스플레이 표면 상에 "페인트"하기 위해 손가락을 사용할 수 있는 페인트 프로그램이다. 또 다른 실시예에서, 사전 결정된 함수는 배향가능한 GUI 제어 프로세스의 사용자 제어를 제공하는 단계를 포함할 수 있다. 본 실시예에서, 배향가능한 GUI 제어 프로세스에 사용자 제어를 제공하는 단계 자체가 배향가능한 GUI 에 대한 직접 사용자 입력에 기초하여 배향가능한 GUI의 외양, 회전 레이트 또는 방향, 또는 다른 파라미터의 제어를 가능하게 해주는 단계를 포함할 수 있다. 또 다른 실시예에서, 사전 결정된 함수는 프로세스를 종료하는 단계를 더 포함할 수 있다.
인터액티브 디스플레이 표면 상에 디스플레이된 예시적인 배향가능한 GUI
도 6A 및 6B는 도 1-5를 참조하여 설명된 시스템들 및 기술들의 일 실시예를 도시한다. 도 6A 및 6B 둘다는 인터액티브 디스플레이 표면(64)의 상면도를 도시하는데, GUI를 사용자(640)에 의한 뷰와 사용자(640)와의 상호작용을 위해 적당하게 배향하기 위해 제어되는 동적으로 배향가능한(예를 들면, 회전가능한) GUI(610)를 포함한다. 도 6A에 도시된 바와 같이, 인터액티브 디스플레이 표면(64)은 사이드(602), 사이드(603), 사이드(604), 및 사이드(605)를 포함하는 둘레(601)를 갖는다. 일반적으로 인터액티브 디스플레이 표면을 둘러싸는 에이프런(601)은 사용자들의 손과 수족뿐만 아니라, 인터액티브 디스플레이 시스템에 의해 실행되는 게임과 같은 애플리케이션들과 상호작용하기 위해 이용될 수 있는 객체들을 지원하기 위해 유용하다. 인터액티브 디스플레이 표면(64)이 4개의 사이드를 갖는 것으로 도시되어 있으나, 인터액티브 디스플레이 표면은 실제로 4개보다 더 많거나 더 적은 사이드를 가질 수 있거나, 둥글거나 타원형일 수 있다는 것을 이해해야 한다. 이 예에서, GUI(610)는 인터액티브 디스플레이 표면(64)의 "액티브" 디스플레이 영역의 둘레의 주위에 연장하는 사각형 밴드로서 도시되어 있다. 이 "액티브" 디스플레이 영역은 배향가능한 GUI, 및 다른 이미지들을 디스플레이하기 위해 이용될 수 있는 사용자 인터페이스 디스플레이(620)의 메인 부분 둘다를 포함하는 인터액티브 디스플레이 표면(64)의 필드이다. GUI(610)는 임의의 적합한 형태를 가질 수 있고, 인터액티브 디스플레이 표면의 메인 부분의 둘레 주위의 밴드로 제한되지 않는다는 것에 유의한다. 예시적인 이미지(690)는 사용자 인터페이스 디스플레이(620)의 메인 부분의 중심 근처에 나타나는 단어 "이미지"에 의해 도시된다. 예시적인 이미지(690)는, 예를 들어 다른 사용자 인터페이스일 수 있거나, 또는 GUI(610)와 독립적으로 실행하는 애플리케이션의 일부로서 디스플레이될 수 있거나, 또는 사진이나, 또는 그래프, 또는 인터액티브 디스플레이 표면(64) 상에 디스플레이될 수 있는 거의 임의의 타입의 이미지일 수 있다는 것을 유의한다.
이 예에서, GUI(610)는 일반적으로 메인 사용자 인터페이스 디스플레이(620)의 둘레 주위로 "회전함"에 의해 배향되도록 구성되어, GUI(610)의 필드 내의 사용자 제어들이 GUI(610)을 포함하는 밴드의 중심의 주위를 지나가는 선(650)을 따라 시계 방향 또는 반시계 방향으로 움직인다. 각기 "A", "B", "C"로 레이블된 세개의 사용자 제어들(621, 622, 623)은 현재 사이드(604)를 따라 열로 배치되는 것으로, GUI(610) 내에 예시된다. 각기 "1", "2", "3"으로 레이블된 제2 세트의 사용자 제어들(624, 625, 626)은 현재 사이드(603)를 따라 열로 배치되는 것으로, GUI(610) 내에 예시된다. 또한, 사용자 제어(630)(예를 들면, 버튼)는 사용자(640)에 의해 호출(또는 활성화)된다. 또한, 사용자의 손은 반시계 방향으로 움직여서, GUI(610)가, 제어(630)의 사용자 호출과 동시적으로 반시계 방향으로 회전되도록 유발한다.
동작 중에, 사용자의 손가락이 사용자 제어 상에 그것이 인터액티브 디스플레이 표면(즉, 도 6A에 도시된 바와 같이) 상에 나타나는 위치에 배치될 때, 사용자 제어 또는 버튼이 호출된다. 또한, 그런 다음 사용자의 손가락은 선(650)을 따라, GUI(610) 내의 나머지 제어들과 함께, 호출된 사용자 제어를 "드래그(drag)"할 수 있다. 사용자의 손가락이 인터액티브 디스플레이 표면(64)으로부터 제거될 때, 사용자의 손가락에 의해 드래그되었던 사용자 제어는 사용자 인터페이스 디스플레이(620)의 메인 부분의 둘레의 주위의 새로운 위치로 정착할 것이다. 선(650)을 따른 사용자 입력 버튼들의 회전은 사용자의 손가락이 제거될 때 정지할 수 있거나, 사용자의 손가락이 제거된 후 계속할 수 있다. GUI(610)의 계속되는 회전은, 인터액티브 디스플레이 테이블 내에 배치되거나 또는 거기에 연결되는 컴퓨팅 장치에 의해 결정되는, 손가락이 인터액티브 디스플레이 표면 위에서 움직일 때 측정되는 사용자의 손가락의 속도와 방향과 같은 파라미터들을 이용하여, 물리 법칙들에 기초할 수 있다. 이러한 방식으로, 사용자가 특정 속도(속력과 방향)을 갖는 쓸기 운동(sweeping motion)으로 사용자의 제어를 "가볍게 때리는 것(flick)"이 가능하여, 이에 의해 둘다 제어를 호출하고, 또한 GUI(610)의 재배향(또는 회전)을 시작한다.
도 6B는 도 6A와 관련하여 위에서 논의된 예의 다른 양상을 도시하지만, GUI(610)은 도 6A에 도시된 위치를 기준으로, 변위된 위치 또는 새로운 배향으로 도시된다. GUI(610)의 위치 또는 배향은, 사용자가 GUI를 재배향되도록 유발한 후 GUI의 새로운 위치에 대한 현재 또는 초기 위치인 것으로 고려될 수 있다. 도 6B 에 도시된 변위는, GUI(610)의 회전 기능을 예시하기 위해, 사용자의 손가락의 운동을 감지함으로써 제공되는 사용자 입력에 기초한다. 도 6B에서 볼 수 있는 바와 같이, 사용자 입력 제어들(621, 622, 623)(즉, 버튼들)은 90°만큼 반시계 방향으로 회전하도록 야기되었고, 이제 사이드(603)를 따라 위치된다. 마찬가지로, 사용자 입력 제어들(624, 625, 626)(즉, 버튼들)은 90°만큼 반시계 방향으로 둘레 주위를 회전하도록 야기되었고, 이제 인터액티브 디스플레이 표면(64)의 사이드(602)를 따라 위치된다.
예시된 전형적인 실시예는 인터액티브 디스플레이 표면(64)이 4개의 사이드들을 가질 때, 다수의 사용자들이 인터액티브 디스플레이 테이블 주위의 상이한 사이드들에서의 그들 각각의 위치들로부터 인터액티브 디스플레이 표면과 상호작용하기를 원할 때 유용할 수 있다. 일 예에서, 메인 사용자 인터페이스(620) 내에 디스플레이되는 게임 보드를 액세스하는 네명의 사용자들에 의해 게임이 플레이될 수 있으며, 그 동안 게임용 다른 제어들은 GUI(610) 내의 인터액티브 디스플레이(64)의 4 사이드를 따라 디스플레이된다. 그런 다음, 게임 애플리케이션은, 사용자들 중 임의의 사용자가 제어들의 특정 세트를 더 편리하게 액세스할 수 있게 해주기 위해 요구될 때, GUI를 재배향함으로써 사용자 제어들을 동적으로 배향할 수 있어서, 사용자에 의해 활성화될 제어들이 그 사용자의 앞에 위치된다. 이 예에서, GUI(610) 내의 사용자 제어들에 회전 기능성을 제공하여, 플레이어가 인터액티브 디스플레이 표면(64)의 다른 사이드에서부터 플레이하는 인접한 플레이어에게 제어들을 "전달"할 수 있거나, 또는 플레이어가 배치되어 있는 인터액티브 디스플레이 테이블의 다른 사이드에 현재 배치된 원하는 제어를 활성화하기를 원하는 플레이어가, 원하는 제어가 그 플레이어 앞에 배치될 때까지, 원하는 제어를 인터액티브 디스플레이 표면의 둘레 주위로 회전되도록 야기할 수 있다.
도 7A 및 7B는 도 1-5를 참조하여 설명된 시스템들 및 시도들의 다른 예시적인 실시예를 도시한다. 도 7A 및 7B는, 다시, 사용자에 의해 조작되는 배향가능한 사용자 인터페이스를 디스플레이하는 인터액티브 디스플레이 표면(64)의 개략적인 상면도를 도시한다. 도 7A에 도시된 바와 같이, 인터액티브 디스플레이 표면(64)은, 다시, 에이프런(701)을 갖고, 사이드(702), 사이드(703), 사이드(704), 및 사이드(705)를 포함한다. 배향가능한 GUI(710)는 다시 주 디스플레이 영역(720)의 둘레 주위에 연장하는 밴드와 유사한 형태로 도시된다. 예시적인 이미지(790)는 다시 사용자 인터페이스 디스플레이(720)의 메인 부분의 중심 근처에 배치되는 단어 "이미지"로 표시된다.
배향가능한 GUI(710)는 일반적으로 메인 사용자 인터페이스 디스플레이(720)의 둘레 주위로 회전가능하도록 구성되어, 배향가능한 GUI(710)의 필드가 시계 방향 또는 반시계 방향 중 어느 하나로 움직인다. 이러한 방식의 GUI(710)의 재배향은 "게으른 수잔" 쟁반(tray)의 기능과 유사한데, 그 이유는 게으른 수잔의 회전이, 쟁반 위에 놓인 객체들을 게으른 수잔 쟁반 주위에 위치한 사용자들에 의한 편리한 액세스를 위해 게으른 수잔의 중점(midpoint) 주위로 회전하도록 야기하기 때문이다. 이 유사성에 따르면, 사용자 입력 제어들 또는 버튼들은 게으른 수잔 쟁반 위에 놓인 객체들과 유사하며, 배향가능한 GUI(710)는 쟁반 프레임과 유사한데, 왜냐하면 배향가능한 GUI(710)가 사용자 입력 제어들을 지지하고, 이에 의해, 그것이 사용자 인터페이스 디스플레이(720)의 메인 부분의 주위를 회전할 때, GUI의 동적 재배향을 가능하게 해주기 때문이다. 동적으로 배향가능한 GUI는 주 디스플레이 영역의 둘레 주위에 배치될 필요가 없으며, 인터액티브 디스플레이 표면 상의 임의의 곳에 배치될 수 있다는 것을 다시 유의한다. 따라서, 동적으로 배향가능한 GUI는 또한, 예를 들면, 단어 게임을 위한 회전 바퀴를 시뮬레이트할 수 있는 애플리케이션에 채택될 수 있다. 그러한 애플리케이션에서, 동적으로 배향가능한 GUI는 인터액티브 디스플레이 표면 상의 원하는 장소에 위치될 수 있다.
각기 "A", "B", "C"로 레이블된 세개의 사용자 제어들(721, 722, 723)은 현재 사이드(703)를 따라 연속적인 열로 배치되는 것으로, GUI(710) 내에 예시된다. 각기 "1", "2", "3"으로 레이블된 제2 세트의 사용자 제어들(724, 725, 726)은 사이드(705)를 따라 연속적인 열로 배치되는 것으로, GUI(710) 내에 예시된다. 사용자의 손가락(740)은 사이드(704)를 따른 GUI(710) 내의 포인트를 터치하는 것으로 도시된다. 본 실시예는 사용자의 손가락이 GUI(710) 내의 포인트로 도시되어 있디만 사용자 제어(721)와 같은, 사용자 입력 제어를 터치하거나 활성화하지 않는다는 점에서 도 6A 및 6B에 도시된 것과 구별된다. 도 7A에서, 사용자의 손가락은 배향가능한 GUI(710)이 반시계 방향으로 회전되도록 야기하는 것으로 도시된다. 도시된 바와 같이, 사용자의 손가락은 GUI(710) 상에 놓여지고, 그런 다음 GUI(720), 및 주 디스플레이 영역(720)의 둘레(circumference) 주위로 그 안에 포함된 사용자 입력 제어들 모두를 "드래그"한다. 사용자의 손가락이 인터액티브 디스플레이 표 면(64)으로부터 제거될 때, GUI(710)의 위치는 메인 사용자 인터액티브 디스플레이(720)의 둘레 주위의 새로운 위치에 정착할 것이다. GUI(710)의 회전은, 사용자의 손가락의 제거 시에 즉시 정지할 수 있거나, 대안적으로, 사용자의 손가락이 제거된 후에, 위에서 설명된, 속도 및 방향과 같은 파라미터들을 적용함으로써, 물리 법칙들에 기초하여 회전을 계속할 수 있다. 유사하게, 사용자는 여전히 회전중인 배향가능한 GUI의 일 부분 상에 손가락을 놓음으로써 운동 중인 GUI(710)의 회전을 정지할 수 있다.
이러한 방식으로, 사용자가 배향가능한 GUI(710)의 회전을 시작하기 위해 쓸기 운동(sweeping motion)으로 배향가능한 GUI(710)의 일 부분을 "가볍게 때리는 것(flick)"이 가능하며, 사용자 입력의 속도, 또는 사전 결정된 감쇠 레이트에 기초하는 감쇠 레이트로, 시간에 걸쳐 회전을 늦추는 것이 가능하다. 도 7B는 도 7A에 도시된 것에 대해 변위되는 위치로 도시된 것을 제외하고는, 도 7A와 동일하다. 변위는 (도 7A에 도시된 바와 같은) 사용자의 손가락으로부터 제공되는 사용자 입력에 의해 유발될 수 있다. 도 7B에서 볼 수 있는 바와 같이, 사용자 입력 제어들(721, 722, 723)은 인터액티브 디스플레이 표면의 둘레 주위로 반시계 방향으로 약 180°만큼 움직여서 이제 사이드(705)를 따라 위치되도록 야기된다. 유사하게, 사용자 입력 제어들(724, 725, 726)은 인터액티브 디스플레이 표면(64)의 둘레 주위로 반시계 방향으로 약 180°만큼 움직여서 이제 인터액티브 디스플레이 표면의 사이드(703)를 따라 위치되도록 야기된다.
그러나, 도 7B에 도시된 변위는 연속적으로 변화할 수 있고 90°의 배수로 제한될 필요는 없고, 인터액티브 디스플레이(64)의 사이드들에 대응할 필요도 없다. 배향가능한 GUI를 임의적으로 위치시키는 이 능력은, 사용자 입력 제어들이 인터액티브 디스플레이 표면(64)의 특별한 사이드 상에 위치한 사용자에 특정적이지 않다면, 또는 인터액티브 디스플레이 표면(64)이 둥글다면 바람직할 수 있다. 일 예에서, "페인트" 애플리케이션은 인터액티브 디스플레이(64)의 둘레 주위에 몇몇의 사용자들을 가질 수 있고, 사용자는 다양한 "컬러", 사운드, 및 다른 효과들을 선택하기 위한 사용자 입력 제어들을 용이하게 액세스할 수 있어야 한다. 이 예에서, 사용자는 인터액티브 디스플레이 표면의 "사이드"에 대한 사용자의 위치에 상관없이 특정한 원하는 애플리케이션 기능을 액세스하기 위해(예를 들면, 상이한 컬러 범위 등등을 선택하기 위해) 제어들을 인터액티브 디스플레이 표면 주위로 회전하도록 야기하기를 원할 수 있다. 이러한 방식으로, 용이하게 배향가능한 GUI는 원하는 기능의 사용자의 액세스를 용이하게 한다.
비록 다양한 실시예들이 신규하다고 여겨지는 것들과 그 변형들을 실시하는 바람직한 형태와 관련하여 설명되었지만, 당업자는 다음의 청구항들의 범위 내에서 이 실시예들에 많은 다른 변형들이 이루어질 수 있다는 것을 이해할 것이다. 따라서, 출원인에 의해 신규한 것으로 인식되는 것의 범위는 상기 설명에 의해 어떠한 방식으로도 제한되는 것이 의도되지 않고, 그 대신 다음의 청구항들을 참조하여 결정되어야 한다.

Claims (20)

  1. 동적으로 배향가능한 사용자 입력 제어들을 갖는 인터액티브 디스플레이의 사용자 인터페이스를 제어하기 위한 컴퓨터 구현된 방법으로서,
    (a) 주 그래픽 사용자 인터페이스(GUI)의 일 부분을 쉽게 배향가능하도록 선택하는 단계; 및
    (b) 상기 선택된 부분 내에 배향 가능한 GUI를 생성하는 단계 - 상기 배향 가능한 GUI는 상기 배향 가능한 GUI에 대한 사용자 입력에 기초하여, 상기 선택된 부분 내에서 동적으로 재배향될 수 있는 적어도 하나의 사용자 입력 제어를 포함함 -
    를 포함하는 컴퓨터 구현된 방법.
  2. 제1항에 있어서,
    (a) 상기 동적으로 배향가능한 GUI에서 상기 사용자 입력이 수신되는 때를 식별하고, 그에 응답하여, 상기 선택된 부분 내의 사전 결정된 위치에 대하여 적어도 하나의 사용자 입력 제어의 현재 위치를 식별하는 단계;
    (b) 상기 사용자 입력이 상기 적어도 하나의 사용자 입력 제어를 상기 현재 위치에 대하여 회전하기 위한 사용자 호출을 지시하는지를 결정하는 단계; 및 그렇다면,
    (c) 상기 사전 결정된 위치에 대하여 상기 선택된 부분 내의 상기 적어도 하 나의 사용자 제어의 재배향을 구현하기 위해 상기 배향가능한 GUI를 동적으로 렌더링하는 단계
    를 더 포함하는 컴퓨터 구현된 방법.
  3. 제2항에 있어서,
    상기 배향가능한 GUI에서 사용자 입력이 수신되는 때를 식별하는 단계는 상기 선택된 부분에 적어도 가까운 객체를 검출하는 단계를 더 포함하는 컴퓨터 구현된 방법.
  4. 제2항에 있어서,
    (a) 속도와 방향 중 적어도 하나를 포함하는 입력 파라미터들을 결정하는 단계 - 상기 결정은 상기 배향가능한 GUI에서 수신된 상기 사용자 입력에 기초함 -; 및
    (b) 상기 배향가능한 GUI가 동적으로 렌더링될 때 상기 적어도 하나의 사용자 제어의 배향의 변화의 속도와 방향 중 적어도 하나를 동적으로 제어하기 위해, 상기 결정된 입력 파라미터들을 물리 법칙들에 따라 적용하는 단계
    를 더 포함하는 컴퓨터 구현된 방법.
  5. 제4항에 있어서,
    결정되었던 상기 속도에 비례하는 브레이킹 파라미터(braking parameter)를 결정하는 단계를 더 포함하고, 상기 브레이킹 파라미터는 상기 배향가능한 GUI가 동적으로 렌더링될 때 상기 적어도 하나의 사용자 제어의 배향의 상기 변화의 속도에 감쇠 레이트를 정의하는 컴퓨터 구현된 방법.
  6. 제1항에 있어서,
    사용자 입력이 상기 적어도 하나의 사용자 제어의 호출을 지시하는지를 결정하고, 그러하다면, 상기 적어도 하나의 사용자 제어와 연관된 사전 결정된 함수를 실행하는 단계를 더 포함하는 컴퓨터 구현된 방법.
  7. 제1항에 있어서,
    상기 선택된 부분은 상기 주 GUI 주위에 적어도 부분적으로 연장되는 컴퓨터 구현된 방법.
  8. 제7항에 있어서,
    상기 적어도 하나의 사용자 제어는 상기 선택된 부분 내에서 연장되는 경로를 따라 이동가능한 컴퓨터 구현된 방법.
  9. 제7항에 있어서,
    상기 선택된 부분은 주 GUI의 외연의 주위에 인접하는 컴퓨터 구현된 방법.
  10. 복수의 함수를 수행하기 위해 저장되어 있는 컴퓨터 실행가능 명령들을 갖는 컴퓨터 판독가능 매체로서, 상기 함수들은
    (a) 배향가능한 그래픽 인터페이스(GUI)를 인터액티브 디스플레이의 주 디스플레이 필드 내의 부 디스플레이 필드로서 선택적으로 호출하는 단계;
    (b) 상기 호출에 응답하여, 상기 배향가능한 GUI를 생성하는 단계 - 상기 배향가능한 GUI는 복수의 사용자 입력 필드를 포함하고, 상기 배향가능한 GUI에의 사용자 입력에 응답하여 상기 배향가능한 GUI의 적어도 일 부분의 동적인 재배향을 가능하게 해주도록 구성됨 -;
    (c) 사용자 입력이 상기 배향가능한 GUI에서 수신되는 때를 식별하고, 그에 응답하여, 상기 사용자 입력을 분석하는 단계; 및
    (d) 상기 사용자 입력에 응답하여, (i) 사전 결정된 파라미터와 (ii) 분석된 상기 사용자 입력 중 적어도 어느 하나에 기초한 배향으로 상기 배향가능한 GUI를 동적으로 렌더링하는 단계
    를 포함하는 컴퓨터 판독가능 매체.
  11. 제10항에 있어서,
    상기 함수들은 상기 주 디스플레이 필드의 외연의 주위의 사전 결정된 위치에 대해 상기 배향가능한 GUI의 현재 배치를 식별하는 함수를 더 포함하는 컴퓨터 판독가능 매체.
  12. 제11항에 있어서,
    상기 함수들은,
    (a) 상기 사용자 입력이, 상기 현재 배치에 대해 상기 배향가능한 GUI를 변위(displace)시키기 위한 사용자 호출을 지시하는지를 결정하고, 그러하다면, 상기 사용자 입력에 기초하여 그리고 상기 현재 배치에 대해, 상기 배향가능한 GUI를 재배향하기 위해 위치 변위를 결정하는 단계; 및
    (b) 상기 배향가능한 GUI를 동적으로 렌더링하는 단계 동안 상기 배향가능한 GUI를 재배향하기 위해 상기 결정된 위치 변위를 적용하는 단계
    를 더 포함하는 컴퓨터 판독가능 매체.
  13. 제12항에 있어서,
    상기 함수들은 속도와 방향 중 적어도 하나를 포함하는 입력 파라미터들을 결정하는 단계를 더 포함하고, 상기 결정은 상기 배향가능한 GUI에서 수신된 상기 사용자 입력에 기초하고, 상기 결정된 입력 파라미터들은, 상기 배향가능한 GUI를 동적으로 렌더링하는 단계 동안, 상기 배향가능한 GUI의 위치 변위 속도와 위치 변위 방향 중 적어도 하나를 동적으로 제어하기 위해 적용되는, 컴퓨터 판독가능 매체.
  14. 제12항에 있어서,
    상기 함수들은 브레이킹 파라미터(braking parameter)를 결정하는 단계를 더 포함하고, 상기 브레이킹 파라미터는, 상기 배향가능한 GUI가 동적으로 렌더링되고 있을 때, 상기 배향가능한 GUI의 위치 변위의 속도의 감쇠 레이트를 정의하는 컴퓨터 판독가능 매체.
  15. 제10항에 있어서,
    상기 함수들은 상기 배향가능한 GUI가 상기 인터액티브 디스플레이 표면 상에 디스플레이될 때 상기 배향가능한 GUI 내의 상기 복수의 사용자 입력 필드 중 적어도 하나에 가까운 객체를 검출하는 단계를 더 포함하는 컴퓨터 판독가능 매체.
  16. 제10항에 있어서,
    상기 함수들은 상기 사용자 입력이 상기 적어도 하나의 사용자 입력 필드의 호출을 지시하는지를 결정하고, 그러하다면, 상기 적어도 하나의 사용자 입력 필드와 연관된 사전 결정된 함수를 수행하는 단계를 더 포함하는 컴퓨터 판독가능 매체.
  17. 제16항에 있어서,
    상기 사전 결정된 함수는,
    (a) 상기 배향가능한 GUI를 제어하기 위해 채택된 프로세스와 독립적인 프로세스를 호출하는 단계;
    (b) 상기 배향가능한 GUI를 제어하기 위해 채택된 프로세스와 독립적인 프로 세스에 사용자 제어를 제공하는 단계;
    (c) 상기 배향가능한 GUI를 제어하고 있는 프로세스에 사용자 제어를 제공하는 단계; 및
    (d) 프로세스를 종료하는 단계
    중 적어도 하나를 포함하는 컴퓨터 판독가능 매체.
  18. 동적으로 배향가능한 사용자 인터페이스를 제어하기 위한 인터액티브 디스플레이 시스템으로서,
    (a) 그래픽 이미지들을 디스플레이하는 것이 가능한 인터액티브 디스플레이 표면;
    (b) 상기 그래픽 이미지들을 상기 인터액티브 디스플레이 표면상에 투사하고 상기 인터액티브 디스플레이 표면에의 사용자 입력을 검출하는 광 시스템;
    (c) 상기 광 시스템과 통신하는 컴퓨팅 시스템 - 상기 컴퓨팅 시스템은 프로세서 및 상기 프로세서와 통신하는 메모리를 포함하고, 상기 메모리는 상기 프로세서가 복수의 인터액티브 디스플레이 함수를 수행하게 하는 머신 명령들을 저장하고, 상기 복수의 인터액티브 디스플레이 함수는 (i) 상기 인터액티브 디스플레이 표면의 선택된 부분 상에 배향가능한 GUI를 생성하고 디스플레이하는 단계를 포함하고, 상기 배향가능한 GUI는 적어도 하나의 사용자 입력 제어를 포함하며, 상기 인터액티브 디스플레이 표면상에 디스플레이된 다른 그래픽 이미지들과 독립적이며, 또한 상기 배향가능한 GUI에의 사용자 입력에 응답하여 상기 선택된 부분 내에 동적으로 재배향되는 것이 가능한 인터액티브 디스플레이 시스템.
  19. 제18항에 있어서,
    상기 메모리는 상기 프로세서가 복수의 인터액티브 디스플레이 함수를 수행하게 하는 머신 명령들을 저장하고, 상기 복수의 인터액티브 디스플레이 함수들은,
    (a) 상기 배향가능한 GUI를 디스플레이하고 있는 상기 인터액티브 디스플레이 표면의 상기 부분에의 사용자 입력을 검출하고, 그에 응답하여, 상기 사용자 입력을 분석하는 단계; 및
    (b) 분석되었던 상기 사용자 입력에 기초하여, 상기 배향가능한 GUI를 상이한 배향으로 디스플레이하기 위해 동적으로 렌더링하는 단계
    를 포함하는 인터액티브 디스플레이 시스템.
  20. 제18항에 있어서,
    상기 메모리는 상기 프로세서가 복수의 인터액티브 디스플레이 함수를 수행하게 하는 머신 명령들을 저장하고, 상기 인터액티브 디스플레이 함수들은,
    (a) 속도와 방향 중 적어도 하나를 포함하는 사용자 입력 파라미터들을 결정하는 단계 - 상기 결정은 검출되었던 상기 사용자 입력에 기초함 -; 및
    (b) 상기 배향가능한 GUI가 재배향될 때, 상기 배향가능한 GUI의 렌더링 및 디스플레이를 동적으로 제어하기 위해 결정되었던 상기 입력 파라미터들을 물리 법칙들에 따라 적용하는 단계
    를 포함하는 인터액티브 디스플레이 시스템.
KR1020087015669A 2005-12-29 2006-11-22 배향이 자유로운 사용자 인터페이스 KR20080078699A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/321,551 US8060840B2 (en) 2005-12-29 2005-12-29 Orientation free user interface
US11/321,551 2005-12-29

Publications (1)

Publication Number Publication Date
KR20080078699A true KR20080078699A (ko) 2008-08-27

Family

ID=38226107

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087015669A KR20080078699A (ko) 2005-12-29 2006-11-22 배향이 자유로운 사용자 인터페이스

Country Status (8)

Country Link
US (2) US8060840B2 (ko)
EP (1) EP1969451A1 (ko)
JP (1) JP4980368B2 (ko)
KR (1) KR20080078699A (ko)
CN (1) CN101351766B (ko)
CA (1) CA2631384A1 (ko)
IL (1) IL191817A0 (ko)
WO (1) WO2007078462A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100978492B1 (ko) * 2008-12-16 2010-08-30 주식회사 셀런 온스크린 키보드 생성 방법
WO2011087473A1 (en) * 2010-01-13 2011-07-21 Yoram Ghassabian Information input keyboard and keyboard locator associated therewith
US9367233B2 (en) 2011-10-31 2016-06-14 Samsung Electronics Co., Ltd. Display apparatus and method thereof

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050227217A1 (en) * 2004-03-31 2005-10-13 Wilson Andrew D Template matching on interactive surface
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7787706B2 (en) * 2004-06-14 2010-08-31 Microsoft Corporation Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US7593593B2 (en) * 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7576725B2 (en) * 2004-10-19 2009-08-18 Microsoft Corporation Using clear-coded, see-through objects to manipulate virtual objects
US7499027B2 (en) 2005-04-29 2009-03-03 Microsoft Corporation Using a light pointer for input on an interactive display surface
US7525538B2 (en) * 2005-06-28 2009-04-28 Microsoft Corporation Using same optics to image, illuminate, and project
US7911444B2 (en) * 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US7721208B2 (en) * 2005-10-07 2010-05-18 Apple Inc. Multi-media center for computing systems
US7966577B2 (en) 2005-10-11 2011-06-21 Apple Inc. Multimedia control center
US7515143B2 (en) 2006-02-28 2009-04-07 Microsoft Corporation Uniform illumination of interactive display panel
US8832575B2 (en) * 2006-09-26 2014-09-09 Core Wireless Licensing S.A.R.L Speed dependent displaying of information items in a graphical user interface
US8212857B2 (en) 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
US8201096B2 (en) 2007-06-09 2012-06-12 Apple Inc. Browsing or searching user interfaces and other aspects
US8185839B2 (en) 2007-06-09 2012-05-22 Apple Inc. Browsing or searching user interfaces and other aspects
US8667413B2 (en) * 2008-02-14 2014-03-04 Creative Technology Ltd Apparatus and method for information input in an electronic device with display
US7930642B1 (en) 2008-03-20 2011-04-19 Intuit Inc. System and method for interacting with hard copy documents
US8584029B1 (en) 2008-05-23 2013-11-12 Intuit Inc. Surface computer system and method for integrating display of user interface with physical objects
US8219062B2 (en) * 2008-07-23 2012-07-10 International Business Machines Corporation Ambient information for usage of wireless communication devices
US20100095250A1 (en) * 2008-10-15 2010-04-15 Raytheon Company Facilitating Interaction With An Application
JP4816713B2 (ja) * 2008-11-25 2011-11-16 ソニー株式会社 情報処理装置、情報処理方法および情報処理用プログラム
EP2270640A1 (fr) 2009-06-26 2011-01-05 France Telecom Procédé de gestion de l'affichage d'une fenêtre d'une application sur un écran, un programme et un terminal l'utilisant
US8817048B2 (en) * 2009-07-17 2014-08-26 Apple Inc. Selective rotation of a user interface
US8601394B2 (en) * 2009-11-06 2013-12-03 Bose Corporation Graphical user interface user customization
US9354726B2 (en) 2009-11-06 2016-05-31 Bose Corporation Audio/visual device graphical user interface submenu
US20110113368A1 (en) * 2009-11-06 2011-05-12 Santiago Carvajal Audio/Visual Device Graphical User Interface
US20110234493A1 (en) * 2010-03-26 2011-09-29 Disney Enterprises, Inc. System and method for interacting with display floor using multi-touch sensitive surround surfaces
CN102314294A (zh) * 2010-06-29 2012-01-11 宏碁股份有限公司 执行应用程序的方法
KR101780020B1 (ko) * 2010-09-02 2017-09-19 삼성전자주식회사 인터페이스 방법 및 장치
US20120086643A1 (en) * 2010-10-07 2012-04-12 Microsoft Corporation Keyboard device with optically enhanced display output
JP5766083B2 (ja) * 2011-09-28 2015-08-19 京セラ株式会社 携帯電子機器
JP5189197B1 (ja) * 2011-10-27 2013-04-24 シャープ株式会社 携帯情報端末
DE102012110278A1 (de) * 2011-11-02 2013-05-02 Beijing Lenovo Software Ltd. Verfahren und Vorrichtungen zur Fensterdarstellung und Verfahren und Vorrichtungen zur Berührungsbedienung von Anwendungen
US9690396B1 (en) * 2011-12-15 2017-06-27 Brian R. Kubica Paperless blueprint drafting table system
US8943411B1 (en) * 2012-03-06 2015-01-27 Amdocs Software Systems Limited System, method, and computer program for displaying controls to a user
US20130290867A1 (en) * 2012-04-27 2013-10-31 Litera Technologies, LLC Systems and Methods For Providing Dynamic and Interactive Viewing and Control of Applications
CN103838489A (zh) * 2012-11-27 2014-06-04 联想(北京)有限公司 一种显示方法及电子设备
US20140298246A1 (en) * 2013-03-29 2014-10-02 Lenovo (Singapore) Pte, Ltd. Automatic display partitioning based on user number and orientation
EP3044657A4 (en) * 2013-09-10 2017-05-10 Hewlett-Packard Development Company, L.P. Orient a user interface to a side
US9483087B2 (en) * 2013-11-29 2016-11-01 At&T Intellectual Property I, L.P. Multi-orientation mobile device, computer-readable storage unit therefor, and methods for using the same
US10932103B1 (en) * 2014-03-21 2021-02-23 Amazon Technologies, Inc. Determining position of a user relative to a tote
KR102302353B1 (ko) 2014-07-31 2021-09-15 삼성전자 주식회사 전자 장치 및 이의 ui 표시 방법
GB201513371D0 (en) * 2015-07-29 2015-09-09 Videojet Technologies Inc A machine and method for its operation
CN108292192A (zh) * 2016-03-03 2018-07-17 惠普发展公司有限责任合伙企业 输入轴旋转
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
JP6195646B1 (ja) * 2016-06-17 2017-09-13 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、入力方法、及びプログラム

Family Cites Families (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2692863B2 (ja) 1988-06-24 1997-12-17 株式会社東芝 無線電話装置
US4992650A (en) 1990-03-29 1991-02-12 International Business Machines Corporation Method and apparatus for barcode recognition in a digital image
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5319214A (en) * 1992-04-06 1994-06-07 The United States Of America As Represented By The Secretary Of The Army Infrared image projector utilizing a deformable mirror device spatial light modulator
US6262784B1 (en) * 1993-06-01 2001-07-17 Samsung Electronics Co., Ltd Active matrix display devices having improved opening and contrast ratios and methods of forming same and a storage electrode line
US5821930A (en) * 1992-08-23 1998-10-13 U S West, Inc. Method and system for generating a working window in a computer system
US7084859B1 (en) 1992-09-18 2006-08-01 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US5436639A (en) 1993-03-16 1995-07-25 Hitachi, Ltd. Information processing system
US5526177A (en) 1994-02-14 1996-06-11 Mobi Corporation Dual-view, immersible periscope
US5528263A (en) 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
JP3416268B2 (ja) 1994-06-30 2003-06-16 キヤノン株式会社 画像認識装置及びその方法
US5835692A (en) * 1994-11-21 1998-11-10 International Business Machines Corporation System and method for providing mapping notation in interactive video displays
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
US5831601A (en) * 1995-06-07 1998-11-03 Nview Corporation Stylus position sensing and digital camera with a digital micromirror device
JP3129444B2 (ja) 1995-10-12 2001-01-29 インターナショナル・ビジネス・マシーンズ・コーポレーション 導光体、面状光源装置及び液晶表示装置
US5920688A (en) * 1995-11-13 1999-07-06 International Business Machines Corporation Method and operating system for manipulating the orientation of an output image of a data processing system
US6750877B2 (en) * 1995-12-13 2004-06-15 Immersion Corporation Controlling haptic feedback for enhancing navigation in a graphical environment
IL119498A (en) 1996-10-27 2003-02-12 Advanced Recognition Tech Application launching system
GB9622556D0 (en) * 1996-10-30 1997-01-08 Philips Electronics Nv Cursor control with user feedback mechanism
ATE232621T1 (de) 1996-12-20 2003-02-15 Hitachi Europ Ltd Verfahren und system zur erkennung von handgesten
US6266061B1 (en) 1997-01-22 2001-07-24 Kabushiki Kaisha Toshiba User interface apparatus and operation range presenting method
FR2765607B1 (fr) 1997-07-04 1999-09-10 Manuf Stephanoise De Transform Dispositif connecteur d'arceaux de tente
JP3968477B2 (ja) 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6088019A (en) * 1998-06-23 2000-07-11 Immersion Corporation Low cost force feedback device with actuator for non-primary axis
US6613100B2 (en) * 1997-11-26 2003-09-02 Intel Corporation Method and apparatus for displaying miniaturized graphical representations of documents for alternative viewing selection
US5940076A (en) * 1997-12-01 1999-08-17 Motorola, Inc. Graphical user interface for an electronic device and method therefor
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2938420B2 (ja) * 1998-01-30 1999-08-23 インターナショナル・ビジネス・マシーンズ・コーポレイション ファンクション選択方法及び装置、ファンクションを選択するための制御プログラムを格納した記憶媒体、オブジェクトの操作方法及び装置、オブジェクトを操作するための制御プログラムを格納した記憶媒体、複合アイコンを格納した記憶媒体
US5973315A (en) 1998-02-18 1999-10-26 Litton Systems, Inc. Multi-functional day/night observation, ranging, and sighting device with active optical target acquisition and method of its operation
US6154214A (en) * 1998-03-20 2000-11-28 Nuvomedia, Inc. Display orientation features for hand-held content display device
US6448987B1 (en) * 1998-04-03 2002-09-10 Intertainer, Inc. Graphic user interface for a digital content delivery system using circular menus
US6269172B1 (en) 1998-04-13 2001-07-31 Compaq Computer Corporation Method for tracking the motion of a 3-D figure
US6111565A (en) * 1998-05-14 2000-08-29 Virtual Ink Corp. Stylus for use with transcription system
US7268774B2 (en) * 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
US6088482A (en) * 1998-10-22 2000-07-11 Symbol Technologies, Inc. Techniques for reading two dimensional code, including maxicode
DE19917660A1 (de) 1999-04-19 2000-11-02 Deutsch Zentr Luft & Raumfahrt Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts
US6522395B1 (en) 1999-04-30 2003-02-18 Canesta, Inc. Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6433907B1 (en) 1999-08-05 2002-08-13 Microvision, Inc. Scanned display with plurality of scanning assemblies
GB9920327D0 (en) * 1999-08-28 1999-11-03 Koninkl Philips Electronics Nv Menu display for a graphical user interface
US6529183B1 (en) 1999-09-13 2003-03-04 Interval Research Corp. Manual interface combining continuous and discrete capabilities
US6710770B2 (en) 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
JP2001183994A (ja) 1999-12-27 2001-07-06 Sony Corp 画像表示装置
JP2001282445A (ja) * 2000-03-31 2001-10-12 Ricoh Co Ltd 座標入力/検出装置および情報表示入力装置
US6690363B2 (en) 2000-06-19 2004-02-10 Next Holdings Limited Touch panel display system
US6812907B1 (en) 2000-07-19 2004-11-02 Hewlett-Packard Development Company, L.P. Segmented electronic display
US7161578B1 (en) 2000-08-02 2007-01-09 Logitech Europe S.A. Universal presentation device
US6714221B1 (en) * 2000-08-03 2004-03-30 Apple Computer, Inc. Depicting and setting scroll amount
US7327376B2 (en) * 2000-08-29 2008-02-05 Mitsubishi Electric Research Laboratories, Inc. Multi-user collaborative graphical user interfaces
US6791530B2 (en) * 2000-08-29 2004-09-14 Mitsubishi Electric Research Laboratories, Inc. Circular graphical user interfaces
US6788813B2 (en) 2000-10-27 2004-09-07 Sony Corporation System and method for effectively performing a white balance operation
US7095401B2 (en) 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
US6781069B2 (en) 2000-12-27 2004-08-24 Hewlett-Packard Development Company, L.P. Method and apparatus for virtual interaction with physical documents
US6600475B2 (en) 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US6925611B2 (en) * 2001-01-31 2005-08-02 Microsoft Corporation Navigational interface for mobile and wearable computers
US6520648B2 (en) 2001-02-06 2003-02-18 Infocus Corporation Lamp power pulse modulation in color sequential projection displays
US6895104B2 (en) * 2001-02-16 2005-05-17 Sac Technologies, Inc. Image identification system
US6804396B2 (en) 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US6888960B2 (en) 2001-03-28 2005-05-03 Nec Corporation Fast optimal linear approximation of the images of variably illuminated solid objects for recognition
US6959102B2 (en) 2001-05-29 2005-10-25 International Business Machines Corporation Method for increasing the signal-to-noise in IR-based eye gaze trackers
US6478432B1 (en) * 2001-07-13 2002-11-12 Chad D. Dyner Dynamically generated interactive real imaging device
US7007236B2 (en) * 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
US6663244B1 (en) * 2001-12-14 2003-12-16 Infocus Corporation Illumination field blending for use in subtitle projection systems
US20040005920A1 (en) 2002-02-05 2004-01-08 Mindplay Llc Method, apparatus, and article for reading identifying information from, for example, stacks of chips
AU2003217587A1 (en) 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7305115B2 (en) 2002-02-22 2007-12-04 Siemens Energy And Automation, Inc. Method and system for improving ability of a machine vision system to discriminate features of a target
JP2003258189A (ja) 2002-03-01 2003-09-12 Toshiba Corp 半導体装置及びその製造方法
US20050122308A1 (en) 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
JP2004259247A (ja) * 2002-06-21 2004-09-16 Mitsubishi Electric Research Laboratories Inc マルチユーザコラボラティブ円形グラフィカルユーザインタフェース
US20040001113A1 (en) 2002-06-28 2004-01-01 John Zipperer Method and apparatus for spline-based trajectory classification, gesture detection and localization
WO2004019164A2 (en) 2002-08-20 2004-03-04 Fusionarc, Inc. Method of multiple algorithm processing of biometric data
US7120280B2 (en) 2002-09-27 2006-10-10 Symbol Technologies, Inc. Fingerprint template generation, verification and identification system
US20060034492A1 (en) 2002-10-30 2006-02-16 Roy Siegel Hand recognition system
US7390092B2 (en) 2002-11-08 2008-06-24 Belliveau Richard S Image projection lighting devices with visible and infrared imaging
US6840627B2 (en) 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
CN100397421C (zh) 2003-03-07 2008-06-25 日本电信电话株式会社 生物测量图像对照设备及其对照方法
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP2004304718A (ja) 2003-04-01 2004-10-28 Nara Institute Of Science & Technology 近接領域画像抽出装置及び近接領域画像抽出方法
JP2004319364A (ja) 2003-04-18 2004-11-11 Alps Electric Co Ltd 照明装置および液晶表示装置
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
JP4517601B2 (ja) 2003-07-09 2010-08-04 ソニー株式会社 投射型画像表示装置
EP1510911A3 (en) * 2003-08-28 2006-03-22 Sony Corporation Information processing apparatus, information processing method, information processing program and storage medium containing information processing program
US20050122306A1 (en) 2003-10-29 2005-06-09 E Ink Corporation Electro-optic displays with single edge addressing and removable driver circuitry
KR100588042B1 (ko) * 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
WO2005084209A2 (en) * 2004-02-27 2005-09-15 University Of Florida Research Foundation, Inc. Interactive virtual characters for training including medical diagnosis training
US20050212753A1 (en) * 2004-03-23 2005-09-29 Marvit David L Motion controlled remote controller
US7204428B2 (en) 2004-03-31 2007-04-17 Microsoft Corporation Identification of object on interactive display surface by identifying coded pattern
US20050227217A1 (en) 2004-03-31 2005-10-13 Wilson Andrew D Template matching on interactive surface
US7379562B2 (en) 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
US20050229102A1 (en) * 2004-04-12 2005-10-13 Microsoft Corporation System and method for providing an interactive display
EP1743277A4 (en) * 2004-04-15 2011-07-06 Gesturetek Inc MONITORING OF BI-MANUAL MOVEMENTS
CA2563478A1 (en) 2004-04-16 2005-10-27 James A. Aman Automatic event videoing, tracking and content generation system
US7310085B2 (en) 2004-04-22 2007-12-18 International Business Machines Corporation User interactive computer controlled display system enabling a user remote from a display screen to make interactive selections on the display screen with a laser beam projected onto the display screen
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7397464B1 (en) * 2004-04-30 2008-07-08 Microsoft Corporation Associating application states with a physical object
US7467380B2 (en) * 2004-05-05 2008-12-16 Microsoft Corporation Invoking applications with virtual objects on an interactive display
US7404146B2 (en) * 2004-05-27 2008-07-22 Agere Systems Inc. Input device for portable handset
US7787706B2 (en) 2004-06-14 2010-08-31 Microsoft Corporation Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US7593593B2 (en) 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US7168813B2 (en) * 2004-06-17 2007-01-30 Microsoft Corporation Mediacube
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
JP2006031941A (ja) 2004-07-12 2006-02-02 Sharp Corp 面状光源ユニット
US8560972B2 (en) * 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US7576725B2 (en) 2004-10-19 2009-08-18 Microsoft Corporation Using clear-coded, see-through objects to manipulate virtual objects
US8137195B2 (en) * 2004-11-23 2012-03-20 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
US7826687B2 (en) 2005-03-18 2010-11-02 The Invention Science Fund I, Llc Including contextual information with a formed expression
US7499027B2 (en) 2005-04-29 2009-03-03 Microsoft Corporation Using a light pointer for input on an interactive display surface
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US7828527B2 (en) * 2005-09-13 2010-11-09 Illinois Tool Works Inc. Paint circulating system and method
US20070063981A1 (en) 2005-09-16 2007-03-22 Galyean Tinsley A Iii System and method for providing an interactive interface
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
JP4356717B2 (ja) * 2006-08-11 2009-11-04 セイコーエプソン株式会社 液体収容容器
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100978492B1 (ko) * 2008-12-16 2010-08-30 주식회사 셀런 온스크린 키보드 생성 방법
WO2011087473A1 (en) * 2010-01-13 2011-07-21 Yoram Ghassabian Information input keyboard and keyboard locator associated therewith
US9367233B2 (en) 2011-10-31 2016-06-14 Samsung Electronics Co., Ltd. Display apparatus and method thereof

Also Published As

Publication number Publication date
JP2009522640A (ja) 2009-06-11
US8060840B2 (en) 2011-11-15
CN101351766A (zh) 2009-01-21
JP4980368B2 (ja) 2012-07-18
US20120023423A1 (en) 2012-01-26
US20070157095A1 (en) 2007-07-05
CA2631384A1 (en) 2007-07-12
IL191817A0 (en) 2009-02-11
CN101351766B (zh) 2011-08-03
WO2007078462A1 (en) 2007-07-12
EP1969451A1 (en) 2008-09-17

Similar Documents

Publication Publication Date Title
JP4980368B2 (ja) 向き変更可能なユーザインターフェース
US7576725B2 (en) Using clear-coded, see-through objects to manipulate virtual objects
US7168813B2 (en) Mediacube
US7535463B2 (en) Optical flow-based manipulation of graphical objects
US7535481B2 (en) Orienting information presented to users located at different sides of a display surface
KR101831350B1 (ko) 카메라 기반 멀티 터치 상호작용 및 조명 시스템과 방법
US7552402B2 (en) Interface orientation using shadows
US7519223B2 (en) Recognizing gestures and using gestures for interacting with software applications
US7911444B2 (en) Input method for surface of interactive display
US7612786B2 (en) Variable orientation input mode
US7907128B2 (en) Interaction between objects and a virtual environment display
US8416217B1 (en) Light-based finger gesture user interface
US20050277071A1 (en) Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US20050226505A1 (en) Determining connectedness and offset of 3D objects relative to an interactive surface
JP2006053525A (ja) 物理的な手法による情報の表示の制限
CN102681733A (zh) 光学触摸探测
Muller Multi-touch displays: design, applications and performance evaluation
WO2021075118A1 (ja) 画像表示装置
Darbar Extending Interaction Space in Augmented Reality: Contributions in Optical-See-Through and Projection-Based Augmented Environments
Nordh et al. The Interactive Shopping Window-The Future of Window Shopping

Legal Events

Date Code Title Description
A201 Request for examination
SUBM Surrender of laid-open application requested