KR101150008B1 - 다중 평면의 3-차원 사용자 인터페이스 - Google Patents

다중 평면의 3-차원 사용자 인터페이스 Download PDF

Info

Publication number
KR101150008B1
KR101150008B1 KR1020057012460A KR20057012460A KR101150008B1 KR 101150008 B1 KR101150008 B1 KR 101150008B1 KR 1020057012460 A KR1020057012460 A KR 1020057012460A KR 20057012460 A KR20057012460 A KR 20057012460A KR 101150008 B1 KR101150008 B1 KR 101150008B1
Authority
KR
South Korea
Prior art keywords
plane
menu
user interface
user
menu items
Prior art date
Application number
KR1020057012460A
Other languages
English (en)
Other versions
KR20070046689A (ko
Inventor
크리스토퍼 알란 글레인
보자나 오스트오직
제퍼레이 씨. 퐁
코트 단너 산드스
마크 알. 집슨
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20070046689A publication Critical patent/KR20070046689A/ko
Application granted granted Critical
Publication of KR101150008B1 publication Critical patent/KR101150008B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

본 명세서에는 10-풋 미디어 사용자 인터페이스가 기술된다. 사용자가 컴퓨터로부터/컴퓨터에 직접 나오는/들어가는 키보드와 마우스를 사용하여 컴퓨터를 제어하는 전통적인 2-풋 사용자 인터페이스 대신에, 원격 제어 장치를 사용하여 컴퓨터를 제어하는 10-풋 사용자 인터페이스로서 주로 사용하기 위해 사용자 인터페이스가 설계될 수 있다. 10풋 사용자 인터페이스는, 사용자 인터페이스 내의 항목에 대한 네비게이션 및 선택을 제어하는 사용자에게 보다 명확하게 표시하기 위해, 3D 공간 및 애니메이션을 사용한다. 3-차원 공간의 사용은 또한, 콘텐츠 항목을 위해 이용가능한 디스플레이 스크린의 실제 부지(real estate)를 늘이고, 미디어 사용자 인터페이스가 선택되지 않은 항목들을 사용자의 주요 뷰(primary view) 밖으로 옮길 수 있게 해 준다. 사용자 인터페이스는, 사용자로 하여금 보더 쉽게 사용자 인터페이스의 네비게이션을 개념적으로 따라갈 수 있도록 3-차원 내의 움직임을 애니메이트할 수 있다.
3-차원 사용자 인터페이스, 원격 제어 장치, 다중 평면, 힌지 축, 메뉴 항목 선택

Description

다중 평면의 3-차원 사용자 인터페이스{MULTI-PLANAR THREE-DIMENSIONAL USER INTERFACE}
본 특허 명세서의 개시 내용 중 일부는, 저작권 보호의 대상이 되는 자료를 포함하고 있다. 위 저작권의 소유자는, 어느 누구라도 본 특허 명세서 또는 본 특허의 개시 내용을 특허청의 특허 파일 또는 기록에 나타낸 대로 복제하는 것에 대해서는 반대하지 아니하지만, 그렇지 않다면 어떻든 간에 모든 저작권 권리들을 유보한다.
일반적으로 말한다면, 본 발명은 컴퓨터 시스템의 사용자 인터페이스에 관한 것이다. 보다 자세하게는, 본 발명은 주로 원격 제어기 또는 다른 제어 장지를 통한 사용자의 상호작용(interaction)을 위해서 마련된 데이터 처리 장치의 다중 평면 사용자 인터페이스를 위한 3-차원 공간과 향상된-유저빌리티(enhanced-usability) 애니메이션들(animations)을 제공한다.
기술 개발이 진보하고, 가격이 낮아지며, 컴퓨팅 파워, 예컨대 메모리, 저장장치, 프로세서의 속도, 그래픽 등이 증진됨에 따라, 컴퓨터는 범용 기계로서 사용되기 보다는 특별한 목적을 위해 점점 더 자주 사용되고 있다. 예를 들면, 비디오 카세트 레코더(video cassette recorders:VCR)를 대신하여, 컴퓨터는 생방송 TV 또 는 VCR에서는 불가능한 것들을 저장(record)하고 정지(pause)시킬 수 있는 개인용 비디오 레코더(personal video recorders:PVR)의 형태로 등장하고 있다. 본질적으로 사용자와 전통적인 PC가 상호작용하는 방식과 동일한 방식으로 사용자와 상호작용하지 않는 장치들을 컴퓨터가 대체해 감에 따라, 전통적인 사용자 인터페이스들은 위와 같은 특별한 목적의 컴퓨터용 사용자 인터페이스로서 적절치 않게 만드는 것으로 인지되는 단점들을 포함한다. 따라서, 사용자가 새로운 장치를 효율적으로 이용하도록 하기 위한 새로운 사용자 인터페이스가 필요하다.
종래 방식에서는, 주요 입력을 PC에 제공하기 위해서는 키보드와 마우스를 통해서, 그리고 주요 출력을 PC로부터 받기 위해서는 디스플레이 스크린과 스피커들을 통해서 사용자가 가정용 PC 또는 랩탑과 상호작용한다고 할 수 있다(그 밖에 다른 입력 및 출력 장치들, 예컨대 비디오 카메라, 프린터, 스캔너 등이 이 사용될 수 있지만, 일반적으로 이들은 부차적인 입력과 출력을 위하여 덜 사용된다). 이들 키보드, 마우스, 디스플레이 스크린 및 스피커 모두는 전형적으로 책상 위와 같이 사용자와 가까이 근접한 곳에 위치한다. PC 운영 시스템의 사용자 인터페이스도 마찬가지로, 키보드, 마우스, 디스플레이 장치 및 스피커들을 근접한 곳에 둔 운영 시스템과 사용자가 상호작용한다는 가정 하에서 설계된다. 이와 같은 전통적인 컴퓨터 입력/출력 형태(configuration)는 구어적으로 "2-풋(foot)" 사용자 인터페이스라 불리는데, 그 이유는 대부분 사용자가, 예컨대 키보드, 마우스, 디스플레이 및 스피커들이 놓여있는 책상 앞의 의자에 앉아, 입력 또는 출력 장치로부터 약 2 피트 정도 떨어진 PC와 상호작용하고자 하기 때문이다,
그러나, 이러한 2-풋 사용자 인터페이스가 2-풋 사용자 인터페이스를 이용해 사용되도록 의도되지 않고 오히려 적외선 원격 제어 또는 다른 원격 제어 장치를 통해 사용되거나 제어되도록 의도된 장치 상에 제공되면, 위 2-풋 사용자 인터페이스는 사용자에게 동일 수준의 유저빌리티를 제공하지 못한다. 주로 원격 제어 장치를 통해 사용되도록 의도된 장치들은 구어적으로 10-풋 사용자 인터페이스라고 불리는 사용자 인터페이스를 갖는데, 그 이유는 대부분 사용자가 2-피트보다 더 떨어진 장치와 상호작용하고자 하며, 일반적으로 그 장치에 부착된 출력 디스플레이 스크린으로부터 약 10-피트 정도 떨어진 곳에 있게 되기 때문이다. 10-피트 사용자 인터페이스로부터 득을 보는 장치들의 예는, PVR 및 미디어 센터(Media Center) PC를 포함한다. 미디어 센터 PC는 사용자가 예컨대 그의 또는 그녀의 가정 내에서 TV를 시청할 때와 비슷한 거리에서 원격 조정 장치를 이용한 상호작용을 통해 TV를 시청하고 녹화하며, 음악을 정리하고 라디오 방송을 청취하며, DVD를 재생하고, 사진들을 체계화하며, 다른 미디어 관련 동작들을 수행할 수 있도록 해주는 특징들을 구비한 데이터 처리 장치이다.
앞으로 이해되는 바와 같이, 문자나 그래픽은 대부분 매우 작아 디스플레이 장치로부터 상당한 거리에 있는 사용자 위치에서 실질적으로 볼 수 없기 때문에, 10-풋 사용자 인터페이스를 갖고자 의도된 장치에 2-풋 사용자 인터페이스가 제공되면 제대로 작동하지 못한다. 제1 세대 10-풋 사용자 인터페이스가 이미 있는 장치들을 위해 개발되어 오는 동안, 이 제1 세대 10-풋 사용자 인터페이스는 그것들이 제공되는 장치들에 대한 사용자 체험을 방해하는 유저빌리티의 본질적인 결합을 갖게 되었다. 따라서, 사용자와의 주요 상호작용이 원격 제어 장치를 통해 이루어지는 장치를 위한, 향상된 사용자 인터페이스를 제공하는 것은 본 발명이 속하는 기술분야에서 하나의 진보라 할 것이다.
이하, 본 발명의 양상들에 대한 기본적인 이해를 제공하기 위해 본 발명의 축약된 요약을 제공한다. 이 요약은 본 발명의 상세한 개관(overview)가 아니다. 이것은 본 발명의 중요 수단, 또는 결정적인 구성요소들을 식별하거나, 본 발명의 범위를 한정하기 위한 것으로 의도되지 않는다. 이하의 요약은 단지 앞으로 제공될 더욱 상세한 설명에 대한 서두(prelude)로서, 축약된 형태로 본 발명의 개념들을 제공하는 것이다.
앞서 설명한 종래 기술에서의 제약들을 극복하고 본 명세서를 읽고 이해하면 명백해지는 다른 제약들을 극복하기 위해, 본 발명은 대체로, 적외선 원격 제어와 같은 원격 제어 장치에 의해 제어가능한 컴퓨터 시스템용 10-풋 사용자 인터페이스에 관한 것이다. 이러한 사용자 인터페이스는 컴퓨터 시스템의 사용자가 원격 제어 장치를 사용하여 항행할(navigable) 수 있고 선택할 수 있는 다중 메뉴 항목들을 싣고 있는 메뉴를 보여준다. 사용자가 위 메뉴 항목들 중 하나를 선택하면, 사용자 인터페이스는 사용자 인터페이스가 그려진 3-차원 공간 내의 별개의 두 평면 상으로 콘텐츠(content)를 분리하며, 선택된 메뉴 항목은 중요한 제1 평면에 놓고, 선택되지 않는 메뉴 항목들은 덜 중요한 제2 평면에 놓는다.
본 발명의 다른 양상에 따르면, 사용자 인터페이스가 실행되는 컴퓨터는 단일 평면으로부터 사용자 인터페이스의 다중 평면 뷰(view)로의 천이(transitions)를 애니메이트(animate) 할 수 있다. 데이터 처리 장치의 사용자는 적외선 원격 제어와 같은 원격 제어 장치를 통해, 데이터 처리 장치를 제어할 수 있다. 컴퓨터는 메모리에 저장된 소프트웨어를 실행하여 컴퓨터에 연결된 디스플레이 장치 상에 3-차원 사용자 인터페이스 형태로 사용자 인터페이스를 제공하는 프로세서를 구비한다. 메모리에 저장된 소프트웨어는, 사용자가 원격 제어 장치를 사용하여 항행할 수 있는 다중 메뉴 항목들을 포함하는 사용자 인터페이스를 3차원 공간 내에 제공하는 사용자 인터페이스 소프트웨어 모듈을 포함할 수 있다. 소프트웨어는, 또한 사용자가 메뉴로부터 항목을 선택할 때 사용자 인터페이스 소프트웨어 모듈의 제어에 따라 애니메이션을 위한 프레임 시퀀스를 제공하는 애니메이션 모듈을 포함할 수 있다. 애니메이션 시퀀스는 사용자가 그로부터 항목을 선택한 메뉴의 메뉴 항목들을 3-차원 공간 내의 두 평면 사이로 분리하고, 3-차원 공간 내에서 제1 및 제2 평면이 서로 멀리 떨어지는 것을 애니메이트한다.
본 발명의 다른 양상에 따르면, 컴퓨터 판독 가능한 매체가 사용자 인터페이스를 제공하는 방법을 실행하기 위한 컴퓨터 실행 가능한 명령들을 저장한다. 위 방법은, 데이터 프로세싱 장치의 사용자 인터페이스를 제공하기 위해 3-차원 그래픽 공간을 생성하는 단계와, 상기 데이터 프로세싱 장치와 연결된 디스플레이 장치 상에 원격 제어 장치를 사용하여 사용자 인터페이스를 항행하는 사용자에 의해 선택가능한 복수의 메뉴 항목에 관한 제1 리스트를 디스플레이하는 단계를 포함한다. 사용자가 메뉴 항목 중 하나를 선택하면, 사용자 인터페이스는 3-차원 그래픽 공간 내의 제1 평면에 선택된 메뉴 항목을 디스플레이하고, 3-차원 그래픽 공간 내의 제2 평면에는 나머지 메뉴 항목을 디스플레이한다. 그 후, 사용자 인터페이스는 3-차원 공간 내에서 위 두 평면이 서로 멀리 떨어지는 것을 애니메이트함으로써, 이러한 애니메이션이 완료될 때 상기 제1 평면은 사용자 인터페이스가 그려진 3-차원 공간 내에서 상기 제2 평면보다 더 눈에 띄는 디스플레이 위치를 가진다.
동일한 참조번호가 동일한 요소들을 표시하는 첨부 도면을 고려하여 이하의 발명의 상세한 설명을 참조하면, 본 발명과 그것의 이점을 더욱 완전하게 이해할 수 있다.
도 1은 본 발명의 예시적인 실시예에 따른 미디어 사용자 인터페이스를 구현하기에 적합한 일반적인 동작 환경을 도시한다.
도 2는 본 발명의 예시적인 실시예에 따른 미디어 사용자 인터페이스를 지원하는데 사용될 수 있는 사용자 인터페이스 인프라(infrastructure)를 도시한다.
도 3은 본 발명의 예시적인 실시예에 따른 미디어 사용자 인터페이스의 시작 메뉴를 도시한다.
도 4는 본 발명의 예시적인 실시예에 따른, 도 3에 도시된 시작 메뉴의 제어 영역을 도시한다.
도 5는 본 발명의 예시적인 실시예에 따라, 다른 메뉴 항목이 선택 커서(cursor)에 의해 강조된(highlighted) 때에, 도 3에 도시된 시작 메뉴의 제어 영역을 도시한다.
도 6은 본 발명의 예시적인 실시예에 따른 가장 최근에 사용된(most recently used : MRU) 목록의 등장 애니메이션의 첫 번째 프레임을 도시한다.
도 7은 본 발명의 예시적인 실시예에 따른 MRU 목록의 등장 애니메이션의 중간 프레임을 도시한다.
도 8은 본 발명의 예시적인 실시예에 따른 MRU 목록의 등장 애니메이션의 마지막 프레임을 도시한다.
도 9a는 본 발명의 예시적인 실시예에 따른 단일 평면 메뉴의 위쪽(top) 투시도를 도시한다.
도 9b는 도 9a에 도시된 본 발명의 예시적인 실시예에 따른 단일 평면 메뉴의 위쪽(top) 평면도를 도시한다.
도 10a는 본 발명의 예시적인 실시예에 따른 이중으로 경첩된(double-hinged) 이중 평면 메뉴의 위쪽 투시도를 도시한다.
도 10b는 도 10a에 도시된 본 발명의 예시적인 실시예에 따른 이중으로 경첩된 이중 평면 메뉴의 위쪽 평면도를 도시한다.
도 11은 본 발명의 예시적인 실시예에 따른 MRU 목록의 기울임(tilt) 애니메이션의 첫 번째 프레임을 도시한다.
도 12는 본 발명의 예시적인 실시예에 따른 MRU 목록의 기울임 애니메이션의 제2 중간 프레임을 도시한다.
도 13은 본 발명의 예시적인 실시예에 따른 MRU 목록의 기울임 애니메이션의 마지막 프레임을 도시한다.
도 14a는 본 발명의 예시적인 실시예에 따른 이중 장벽(double-wall)의 이중 평면 메뉴의 위쪽 투시도를 도시한다.
도 14b는 도 14a에 도시된 본 발명의 예시적인 실시예에 따른 이중 장벽의 이중 평면 메뉴의 위쪽 평면도를 도시한다.
도 15은 본 발명의 예시적인 실시예에 따른 파워 메뉴의 등장 애니메이션의 첫 번째 프레임을 도시한다.
도 16는 본 발명의 예시적인 실시예에 따른 파워 메뉴의 등장 애니메이션의 제2 중간 프레임을 도시한다.
도 17은 본 발명의 예시적인 실시예에 따른 파워 메뉴의 등장 애니메이션의 제3 중간 프레임을 도시한다.
도 18은 본 발명의 예시적인 실시예에 따른 파워 메뉴의 등장 애니메이션의 마지막 프레임을 도시한다.
도 19는 본 발명의 예시적인 실시예에 따른 마이 뮤직(My Music) 메뉴를 도시한다.
도 20은 본 발명의 예시적인 실시예에 따른 컨텍스트(context) 메뉴의 등장 애니메이션의 첫 번째 프레임을 도시한다.
도 21는 본 발명의 예시적인 실시예에 따른 컨텍스트 메뉴의 등장 애니메이션의 제2 중간 프레임을 도시한다.
도 22은 본 발명의 예시적인 실시예에 따른 컨텍스트 메뉴의 등장 애니메이션의 마지막 프레임을 도시한다.
도 23은 본 발명의 예시적인 실시예에 따른 이중 평면 단일 경첩된 메뉴의 위쪽 투시도를 도시한다.
도 24는 본 발명의 예시적인 실시예에 따른 알파 페이딩(alpha fading)의 수행 방법에 관한 순서도를 도시한다.
도 25는 본 발명의 예시적인 실시예에 따른 폴더 네비게이션(folder navigation) 메뉴를 도시한다.
도 26은 본 발명의 예시적인 실시예에 따른 음량 윈도를 도시한다.
도 27은 본 발명의 예시적인 실시예에 따른 음량 윈도의 제2 뷰를 도시한다.
도 28은 음량이 뮤트(mute)되었을 경우, 본 발명의 예시적인 실시예에 따른 음량 윈도의 뷰를 도시한다.
도 29는 본 발명의 예시적인 실시예에 따른 대안적인 다중 평면 미디어 사용자 인터페이스의 위쪽 평면도를 도시한다.
도 30은 본 발명의 예시적인 실시예에 따른 대안적인 다중 평면 미디어 사용자 인터페이스의 위쪽 평면도를 도시한다.
다양한 실시예들에 대한 이하의 설명에서는, 본 명세서의 일부를 구성하고 본 발명이 구현되는 다양한 실시예들을 도면 형태로 보여주는 첨부 도면을 참조한다. 다른 실시예들이 채택될 수 있으며, 본 발명의 사상에서 벗어나지 않는 구성 및 기능의 수정이 이루어질 수 있다는 것이 이해될 것이다.
도 1은 본 발명이 구현될 수 있는 적합한 컴퓨팅 시스템 환경(100)의 일례를 도시한다. 컴퓨팅 시스템 환경(100)은 단지 적합한 컴퓨팅 환경의 일례일 뿐, 본 발명의 이용 또는 기능의 범위에 대하여 어떤 제한도 하고자 하는 것이 결코 아니다. 또한, 컴퓨팅 환경(100)이 예시적인 동작 환경(100) 내에 도시된 구성요소의 하나 또는 그 조합과 관련된 어떤 종속 관계 또는 필요 조건을 갖는 것으로 해석되어 결코 안 된다.
본 발명은 그 밖의 매우 다양한 범용 또는 전용(special purpose) 컴퓨팅 시스템 환경 또는 구성에서 사용가능하다. 본 발명을 사용하기에 적합한 주지의 컴퓨팅 시스템, 환경 및/또는 구성의 예들은, 이하에 한정되는 것은 아니지만, 개인용 컴퓨터, 서버 컴퓨터, 핸드헬드(hand-held) 또는 랩탑(laptop) 장치, 멀티프로세서 시스템, 마이크로프로세서 기반의 시스템, 셋톱 박스, 프로그램이 가능한 소지자 전자제품, 네트워크 PC, 미니콤포넌트, 메인프레임 컴퓨터, 그리고 이상의 시스템 또는 장치 중 어느 것이든 포함한 분산 컴퓨팅 환경 등을 포함한다.
본 발명은 프로그램 모듈과 같이 컴퓨터에 의해 수행되는 컴퓨터 실행가능한 명령들의 일반적인 컨텍스트로 기술될 수 있다. 일반적으로, 프로그램 모듈은 특수한 작업들 또는 특수한 추상적 데이터 형식들을 구현하기 위한 루틴, 프로그램, 개체(object), 구성요소(component), 데이터 구조(structure) 등을 포함한다. 또한, 본 발명은 통신 네트워크를 통해 연결된 원격 프로세싱 장치들에 의해 작업들이 수행되는 분산 컴퓨팅 환경 내에서 실행될 수 있다. 분산 컴퓨팅 환경 내에서는, 프로그램 모듈이 메모리 저장 장치들을 포함하는 로컬 및 원격 컴퓨터 저장 매체 양쪽에 모두 위치할 수 있다.
도 1에서 보듯이, 본 발명을 구현하기 위한 예시적인 시스템은 컴퓨터(110) 형태의 범용 컴퓨팅 장치를 포함한다. 컴퓨터(110)의 구성요소들은 이하에 한정되는 것은 아니지만, 프로세싱 장치(120), 시스템 메모리(130) 및 상기 시스템 메모리를 포함한 다수의 시스템 구성요소들을 상기 프로세싱 장치(120)에 연결하는 시스템 버스(121)를 포함할 수 있다. 시스템 버스(121)는 메모리 버스 또는 메모리 컨트롤러, 주변(peripheral) 버스 및 다양한 버스 아키텍처(architecture)들을 사용하는 로컬 버스를 포함하는 몇 가지 종류의 버스 구조들 중 어느 하나일 수 있다. 한정하고자 하는 것이 아닌 것으로서, 예시를 들자면 이러한 아키텍처들은 ISA(Industrial Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, 강화된(Enhanced) ISA (EISA) 버스, VESA(Video Electronics Standards Association) 로컬 버스 및 메저닌(Mezzanine) 버스라고도 알려진 PCI(Peripheral Component Interconnect) 버스를 포함한다.
컴퓨터(110)는 전형적으로 다양한 컴퓨터 판독가능한 매체를 포함한다. 컴퓨터 판독가능한 매체는 컴퓨터(110)에 의해 액세스될 수 있는 모든 사용가능한 매체일 수 있고, 휘발성(volatile) 매체 및 비휘발성(nonvolatile) 매체, 제거가능한(removalbe) 매체 및 제거불가능한(non-removable) 매체의 양자 모두를 포함한다. 한정하고자 하는 것이 아닌 것으로서, 예시를 들자면 컴퓨터 판독가능한 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능한 명령, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보의 저장을 위한 어느 방법 또는 기술을 통해 구현되는 휘발성 및 비휘발성 메체, 그리고 제거 가능한 및 제거불가능한 매체 양자 모두를 포함한다. 이하에 한정되는 것은 아니지만, 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래쉬 메모리, 또는 다른 메모리 기술, CD-ROM, DVD(digital versatile disks) 또는 다른 광학 디스크 저장소(storage), 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 장치, 또는 컴퓨터(110)에 의해 액세스될 수 있는 소망의 정보를 저장하는데 사용될 수 있는 모든 다른 매체를 포함한다. 통신 매체는 전형적으로 캐리어(carrier) 파형 또는 다른 전송 방식과 같은 변조된 데이터 신호 내의 컴퓨터 판독가능한 명령, 데이터 구조, 프로그램 모듈 또는 다른 데이터를 포함하고, 모든 정보 전달 매체도 포함한다. "변조된 데이터 신호"라는 용어는 하나 또는 그 이상의 신호 특성 집합을 갖거나 신호에 정보를 인코드(encode)하기 위해 변화된 신호를 의미한다. 한정하고자 하는 것이 아닌 것으로서, 예시를 들자면 통신 매체는 유선 네트워크 또는 직접-유선(direct-wired) 연결과 같은 유선 매체 및 음파, RF, 적외선, 그리고 다른 무선 매체와 같은 무선 매체를 포함한다. 이상 언급한 것들의 어떠한 조합도 컴퓨터 판독가능한 매체의 범위에 포함된다.
시스템 메모리(130)는 롬(ROM;131) 및 램(RAM;132)같은 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 예컨대, 기동(startup) 동안과 같이, 컴퓨터(110) 내부의 소자들 사이에서 정보를 전송하는데 도움이 되는 기본 루틴들을 포함하는 기본 입력/출력 시스템(BIOS:133)는 전형적으로 ROM(131)에 저장된다. RAM(132)는 전형적으로 프로세싱 유닛(120)에 즉시 액세스되고/되거나 현재 다루어지고 있는 데이터 및/또는 프로그램 모듈을 포함한다. 한정하고자 하는 것이 아닌 것으로서, 예시를 들자면 도 1은 운영 시스템(134), 애플리케이션 프로그램(135), 다른 프로그램 모듈(135) 다른 프로그램 모듈(136) 및 프로그램 데이터(137)를 포함한다.
컴퓨터(110)는 또한 다른 제거가능한/제거불가능한, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 오직 예시를 위한 것으로, 도 1은 제거불가능하고 비휘발성 자기 매체를 읽거나 그것에 쓸 수 있는 자기 디스크 드라이브(151)과 제거가능하고 비휘발성의 CD ROM 또는 다른 광학 디스크와 같은 광학 디스크(156)를 읽거나 그것에 쓸 수 있는 광학 디스크 드라이브(155)를 도시하고 있다. 예시적인 운영 환경에서 사용될 수 있는 다른 제거가능한/제거불가능한, 휘발성/비휘발성 컴퓨터 저장 매체는, 이에 한정되는 것은 아니나, 자기 테이프 카세트, 플래쉬 메모리 카드, DVD, 디지털 비디오 테이프, 솔리드 스테이트(solid state) RAM, 솔리드 스테이트 ROM 등을 포함할 수 있다. 하드 디스크 드라이브(141)은 전형적으로 인터페이스(140)와 같은 제거불가능한 메모리 인터페이스를 통해 시스템 버스(121)와 연결되고, 자기 디스크 드라이브(151)와 광학 디스크 드라이브(155)는 전형적으로 인터페이스(150)와 같은 제거가능한 메모리 인터페이스에 의해 시스템 버스(121)와 연결된다.
위에서 논의되고 도 1에 도시된 드라이브들과 그것들과 연관된 컴퓨터 저장 매체는, 컴퓨터(110)를 위한 컴퓨터 판독가능한 명령, 데이터 구조, 프로그램 모듈 및 다른 데이터의 저장소를 제공한다. 예컨대, 도 1에서, 하드 디스크 드라이브(141)는 운영 시스템(144), 애플리케이션 프로그램(145), 다른 프로그램 모듈(146) 및 프로그램 데이터(147)를 저장하는 것으로 도시되어 있다. 이들 구성요소는 운영 시스템(134), 애플리케이션 프로그램(135), 다른 프로그램 모듈(136) 및 프로그램 데이터(137)와 동일하거나 상이할 수 있다. 여기서, 운영 시스템(144), 애플리케이션 프로그램(145), 다른 프로그램 모듈(146) 및 프로그램 데이터(147)는 적어도 이들이 다른 복사본(copies)이라는 것을 도시하기 위해 다른 번호가 주어졌다. 사용자는, 키보드(162)와 대체로 마우스, 트랙볼 또는 터치 패드라고 불리는 포인팅 장치(161)와 같은 입력 장치를 통해 컴퓨터(20)로 명령 및 정보를 입력한다. 다른 입력 장치들(도시되지 않음)에는 마이크로폰, 조이스틱, 게임패드, 위성 접시(satellite dish), 스캐너 등을 포함한다. 이상 언급한 입력 장치들은 대부분 시스템 버스에 연결된 사용자 입력 인터페이스를 통해 프로세싱 유닛(120)과 연결되지만, 병렬 포트, 게임 포트 또는 범용 직렬 버스(USB: universal serial bus)와 같은 다른 인터페이스에 의해 연결될 수 있다. 또한, 모니터(190) 또는 다른 종류의 디스플레이 장치(예컨대 TV)도 비디오 인터페이스(190)과 같은 인터페이스를 거쳐 시스템 버스(121)과 연결된다. 모니터에 더하여, 컴퓨터는 또한 출력 주변장치 인터페이스(190)을 통해 연결될 수 있는 스피커(197)과 프린터(196)과 같은 다른 주변 출력 장치를 포함할 수 있다.
다른 일면에서, 펜 디지타이저(digitizer; 165) 및 이에 수반하는 펜 또는 스타일러스(stylus; 166)가 프리핸드(freehand) 입력을 디지털 방식으로 캡처하기 위해 제공된다. 펜 디지타이저(165)와 사용자 입력 인터페이스(160) 사이에 직접 연결이 도시되어 있지만, 실제로는 펜 디지타이저(165)는 프로세싱 유닛(110)과 직 접 연결되거나, 병렬 포트 또는 다른 인터페이스 그리고 시스템 버스(130)와 무선을 포함하는 방식에 의해 연결될 수 있다. 또한, 펜(166)은 그것과 관련된 카메라 및 위 카메라가 캡처한 영상 정보를 버스(130)과 상호작용하는 인터페이스로 무선으로 전송하기 위한 송수신기를 구비할 수 있다. 더구나, 펜은 전자 잉크의 일필(stroke)를 결정하기 위해 카메라에 부가하여 또는 이를 대신하여 가속도측정기(accelerometers), 자기측정기(magnetometers) 및 자이로스코프(gyroscopes)를 포함하는 다른 인지(sensing) 시스템을 구비할 수 있다.
컴퓨터(110)는 원격 컴퓨터(180)와 같은 하나 이상의 컴퓨터로의 논리적 연결을 사용하는 네트워크 환경 내에서 동작할 수 있다. 원격 컴퓨터(180)은 개인용 컴퓨터. 서버, 라우터, 네트워크 PC, 피어 디바이스(peer device) 또는 다른 공통 네트워크 노드(node)일 수 있으며, 도 1에 단지 메모리 저장 장치(181)만을 도시하였지만, 전형적으로 컴퓨터(110)와 관련하여 위에서 기술한 구성요소들을 전부 또는 다수를 포함한다. 도 1에 표시된 논리적 연결은 근거리 통신망(LAN)(170)과 광역 통신망(WAN)(173)을 포함하지만, 다른 네트워크도 포함할 수 있다. 이러한 네트워킹 환경은 사무실, 대기업 전체의(enterprise-wide) 컴퓨터 네트워크, 인트라넷(intranets) 그리고 인터넷에서는 흔히 볼 수 있는 것이다. 더욱이, 위 시스템은 유선 및/또는 무선 수용능력(capabilities)을 포함한다. 예컨대, 네트워크 인터페이스(170)는 블루투스(Bluetooth), 보안 유선 LAN(SWLan), 및/또는 복합 능력(combination abilities)의 IEEE 802.11 클래스를 포함할 수 있다. 위와 같은 프로토콜들과 연관되어 함께 또는 위 프로토콜들을 대신하여, 다른 무선 통신 프로토 콜들이 사용될 수 있음이 이해될 수 있다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨터(110)는 네트워크 인터페이스 또는 어댑터(170)을 통해 LAN(171)에 연결된다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(110)는 전형적으로 모뎀(172)을 포함하거나, 인터텟과 같은 WAN(173)을 통한 통신을 확보하기 위한 다른 수단을 포함한다. 내부 또는 외부에 포함될 수 있는 모뎀(172)은 사용자 입력 인터페이스(160) 또는 다른 적절한 기구(mechanism)을 통해 시스템 버스(121)에 연결될 수 있다. 네트워크 환경에서는, 컴퓨터(110)와 관련하여 표시된 프로그램 모듈 또는 그것의 일부가 원격 메모리 저장 장치에 저장될 수 있다. 한정하고자 하는 것이 아니며 단지 예시로서, 도 1은 원격의 애플리케이션 프로그램이 메모리 장치(181)에 상주하는 것처럼 표시하였다. 나타낸 네트워크 연결들은 예시적인 것이며, 컴퓨터들 사이에 통신 링크를 확보하는 다른 수단이 사용될 수 있음이 이해될 수 있다.
나타낸 네트워크 연결들은 예시적인 것이며, 컴퓨터들 사이에 통신 링크를 확보하기 위한 다른 기술들이 사용될 수 있음이 이해될 것이다. TCP/IP, Ethernet, FTP, HTTP 등과 같이 잘 알려진 다양한 프로토콜들 중 어느 것이라도 존재한다고 가정하면, 시스템은 사용자가 웹-기반(web-based)의 서버로부터 웹 페이지를 검색하도록(retrieve) 허용하는 클라이언트-서버 구성 내에서 동작될 수 있다. 웹 페이지들 상의 데이터를 디스플레이하고 다루기 위해서 통상의 다양한 웹 브라우저(browser)들 중 어느 것이라도 사용될 수 있다.
본 발명의 하나 이상의 양태들은, 하나 또는 그 이상의 컴퓨터들 또는 다른 장치들에 의해 실행되는, 예컨대 하나 또는 그 이상의 프로그램 모듈들과 같은 컴퓨터 실행가능한 명령들 내에 구현될 수 있다. 일반적으로, 프로그램 모듈은 컴퓨터 또는 다른 장치 내의 프로세서에 의해 실행될 때 특정 작업들을 수행하거나 특수한 추상적 데이터 유형들을 구현할 수 있는 루틴, 프로그램, 오브젝트(object), 구성요소(component), 데이터 구조 등을 포함한다. 컴퓨터 실행가능한 명령들은 하드 디스크, 광 디스크, 제거가능한 저장 매체, 솔리드 스테이트 메모리, 램 등과 같은 컴퓨터 판독가능한 매체 상에 저장될 수 있다. 본 기술분야의 통상의 지식을 가진 자가 이해할 수 있는 것처럼, 프로그램 모듈들의 기능은 다양한 실시예에서 원하는 바대로 결합되거나 분산될 수 있다. 또한, 상기 기능은 펌웨어(firmware) 또는 집적회로, FPGA(field programable gate array) 등과 같은 하드웨어(hardware) 균등물들(equivalents) 내에서 전체 또는 부분으로 구현될 수 있다.
본 발명의 예시적인 실시예들
지금까지 설명드린 것에 더하여, 컴퓨터(110)는 추가적으로 TV 수신기(tuner) 카드를 구비하도록 구성될 수 있으며, 컴퓨터(110)는 적외선 원격 제어와 같은 원격 제어 장치(163)에 의해 제어가능할 수 있다. 원격 제어 장치(163)는 적외선 제어 신호를 통해 특유의 명령을 컴퓨터(110)에 전송하도록 각자 구성된 버튼들, 키들, 터치패드, 핑거 포인팅(finger pointing) 장치, 스크롤(scroll) 제어 등과 같은 복수의 입력을 구비하도록 구성될 수 있다. 원격 제어 장치(163)는 통상적인 원격 제어 입력들(예컨대, 채널 증가, 채널 감소, 음량 증가, 음량 감소 등)뿐만 아니라, 네비게이션 버튼들(예컨대, 좌, 우, 상, 하, 전, 후 등), 선택 버튼 들(예컨대, 제1(primary) 선택, 제2 선택, 입력(enter), 이스케이프(escape), 취소(cancel) 등), 문자 및 숫자(alphanumeric) 입력 버튼들(예컨대,, 1, 2, ..., 9, 0, A, B, C 등), 특정 애플리케이션예를 시작키기나(launch) 또는 특정 유형의 데이터(예컨대, 인터넷 익스플로어, 음악, TV, 사진 등)를 네비게이트하기 위한 애플리케이션 버튼들을 제공하도록 구성될 수 있다.
컴퓨터(110)는 사용자가 원격 제어 장치(163) 및 TV(191) 상에 디스플레이되는 소의 "10-풋" 사용자 인터페이스를 사용하여 컴퓨터(110)와 상호작용하는 미디어 동작 모드를 구비하도록 구성될 수 있다. 미디어 동작 모드는 사용자가 TV를 시청하거나 녹화하고, DVD를 시청하고, 음악을 (디지털 음악 파일, 라디오, 또는 광 디스크를 통해) 감상하고 디지털 사진들을 감상 및/또는 편집하고, 다른 미디어-관련 동작들을 수행할 수 있도록 허용할 수 있다. 미디어 동작 모드의 사용자는 정규(normal) 동작 모드에서 사용자가 컴퓨터(110)와 상호작용하기 위해 앉는 것보다 종종 더 멀리 앉아 있기 때문에, 미디어 동작 모드의 사용자 인터페이스는 원격 제어 사용자 입력의 수신을 사용자에게 충실하게 전달할 수 있고, 사용자 인터페이스의 네비게이션을 더 멀리 떨어진 사용자에게 전달할 수 있는 특징들을 제공하여야 한다. 즉, 사용자 인터페이스의 디스플레이는, 컴퓨터 모니터의 바로 앞에 앉아 있는 경우에도(예컨대, 통상의 2-풋 사용자 인터페이스와 같이 약 2 피트 정도 떨어져 있는 경우), 쉽게 파악될 수 있어야 할 뿐만 아니라, 원격 제어 장치(163)를 사용하여 더 멀리에서(예컨대, 10 피트) 사용자 인터페이스를 제어하는 경우에도 명확히 파악될 수 있고 사용가능해야 한다. 예컨대, 10-풋 사용자 인터페이스 는, 사용자가 사용자 인터페이스와 상호작용하는데 거치는 거리 때문에 전형적으로 2-풋 사용자 인터페이스에 비해 한 번의 스크린 상에 더 적은 정보를 갖게 된다. 즉, 사용자가 더 먼 곳으로부터 사용자 인터페이스를 볼 수 있도록 스크린 상의 정보는 더 커야만 한다. 10-풋 사용자 인터페이스 상의 정보는 전형적으로 2-풋 사용자 인터페이스 상의 동일 정보에 비해 더 크기 때문에, 디스플레이 스크린의 동일한 면적에 더 적은 정보가 들어간다. 본 명세서에서 미디어 동작 모드의 10-풋 사용자 인터페이스는 미디어 사용자 인터페이스라고 부른다.
본 발명의 일 양태에 따라, 미디어 사용자 인터페이스의 사용자에게 깊이있는 인지(a sense of depth)을 전해 주기 위해, 미디어 사용자 인터페이스는 3차원 공간 내에 구성될 수 있다. 즉, 미디어 사용자 인터페이스는 모니터 또는 TV와 같이 2차원 디스플레이 장치 상에 디스플레이될 수 있지만, 미디어 사용자 인터페이스는 알파, α, 채널뿐만 아니라, 미디어 사용자 인터페이스의 일정 특징들에 따라 트랜스퍼런시(transparency)를 제공하기 위해 X, Y 및 Z 차원을 갖는 3차원 그래픽 공간 내에 구성될 수 있다. 정보가 변경되는 X 및 Y 값뿐만 아니라, 변경되는 Z 값에 따라 제공될 수 있기 때문에, Z 차원을 사용하는 것은 미디어 사용자 인터페이스가 전통적인 2-풋 사용자 인터페이스보다 더 멀리 떨어진 곳으로부터 알아볼 수 있기에 충분히 큰 크기로 정보를 제공하는 동안에도 스크린 상에 더 많은 정보를 가질 수 있도록 허용한다.
본 발명의 또 다른 양태에 따르면, 사용자 입력에 기초한 미디어 사용자 인터페이스의 다양한 디스플레이 간의 유동성(fluidity)를 제공하기 위해, 미디어 사 용자 인터페이스는 애니메이트될 수 있다. 전형적으로, 미디어 사용자 인터페이스의 사용자는 2-풋 사용자 인터페이스보다 스크린으로부터 더 멀리 위치하기 때문에, 일반적으로 사용자 인터페이스 상의 더 작은 세부 항목들을 사용자가 알아보기가 더 힘들다. 어떤 메뉴로부터 다음으로 변하는 것, 또는 어떤 메뉴의 선택으로부터 다음으로 즉각 변하는 것(이들은 주의깊게 신경쓰지 않으면 사용자가 놓칠 수 있음) 대신에, 사용자에게 그/그녀의 사용자 입력의 결과, 또는 어떤 메뉴에서 다음으로의 변화를 도시하도록 애니메이션이 사용될 수 있고, 이를 통해 사용자가 미디어 사용자 인터페이스를 통한 그/그녀의 네비게이션을 개념적으로 보다 쉽게 따라갈 수 있게 된다. 게다가, (a) 어떤 메뉴 선택으로부터 다른 것으로 초점(focus)를 이동시키거나, (b) 메뉴로부터 항목을 선택하는 것과 같이, 사용자 인터페이스 상에 어떤 동작을 사용자가 수행하는 피드백(feedback)을 제공하기 위해 애니메이션이 사용될 수 있다.
3차원성(dimensionality) 및 애니메이션을 제공하기 위해, 워싱턴주, 레드몬드의 마이크로소프트사로 입수가능한 DirectX®9.0 소프트웨어 개발 세트(kit)와 DirectX 9.0b 런타임(runtime)과 같이, 3차원성과 그래픽 가속(acceleration)을 제공하는 어떤 소프트웨어 패키지를 사용하여, 미디어 사용자 인터페이스가 개발될 수 있다. 소프트웨어의 기반 구조(architecture)는 그것이 미디어 사용자 인터페이스에게 제공하는 서비스들에 비하여 부차적인 것이다. 마이크로소프트사의 DirectX®는 마이크로소프트사의 Windows® 내부에 형성된 멀티미디어 애플리케이션 프로그램 인터페이스들(APIs)의 한 집합(suite)이고, 소프트웨어 개발자로 하여 금 하드웨어에 따라 특정되는(hardware-specific) 코드를 작성할 필요없이 특화된 하드웨어의 특성들을 접근할 수 있도록 함으로써, Windows 기반의 PC들을 위한 표준 개발 플랫폼을 제공한다. APIs는 하드웨어와 소프트웨어가 통신하기 위한 가교로서 동작한다. DirectX® APIs는 멀티미디어 애플리케이션 예들이 3차원(3-D) 그래픽 가속 칩들과 사운드 카드들의 진보된 특징들에 접근할 수 있도록 해 준다. APIs는 또한 2차원(2-D) 그래픽 가속을 포함하는 하위-레벨의 기능들을 제어하고; 조이스틱, 키보드, 마우스와 같은 입력 장치들을 지원하며; 사운드 믹싱 및 사운드 출력을 제어한다. 9.0 버전보다 이전의 버전의 DirectX®가 대안적으로 또는 추가적으로 사용될 수 있다.
특정적인 소프트웨어 구조는 시스템 별로 변경될 수 있는 것이지만, 지금부터 도 2를 참조하여 미디어 센터 인터페이스의 예시적인 인프라(200)을 기술한다. 미디어 사용자 인터페이스의 특정 인프라를 참조하는 것은 인프라(200)와 같은 특정된 인프라로 본 발명을 한정하기 위한 것도 아니고, DirectX®와 같은 특정된 소프트웨어 패키지에 한정하고자 하는 것 또한 아니다. 도 2의 예시적인 인프라(200)은 단지 미디어 사용자 인터페이스의 인프라가 어떻게 설계될 수 있는지에 대한 예시로서 제시되는 것이다. 사용되는 인프라는, 아래의 도 3과 함께 기술되는 최종적인 미디어 사용자 인터페이스의 실제 동작과 특색들에 비하여 부차적으로 고려되어야 할 사항이다.
인프라(200)는 최상위 레벨의 미디어 사용자 인터페이스 애플리케이션(205), 제어 인터페이스(210), UI 프레임워크(framework)(215), 구성요소 모델 서비스부 (services)(220) 및 렌더러(renderer)(260)을 포함할 수 있다. UI 애플리케이션(205)은 미디어 사용자 인터페이스와의 사용자 상호작용에 기초하여 제어 루틴들과 UI 프레임워크를 호출함으로써, 미디어 사용자 인터페이스의 동작을 처리하는 최상위 레벨의 제어 어플리케이션이다. 어플리케이션(205)의 동작은 이하에서 더 기술될 것이다. 이제, 나머지 인프라들이 최하위부터 철저히 기술될 것이다.
렌더러(260)는 최종 결과의 미디어 사용자 인터페이스를 비디오 메모리에 그려 넣는다. 렌더러는 자신의 고유한 스레드 상에서 실행되고, UI 프레임워크(215)로부터 무엇을 그릴지에 대한 정보를 수신한다. 렌더러가 그리기 위한 유닛은 Visual로 불리울 수 있다. Visual들은 페인팅 순서 및 컨테이너쉽(containship)을 기술하는 트리(tree) 내에 배열될 수 있다. Visual들은 또한 이미지, 텍스트, 컬러 등과 같이 그려질 내용들을 포함할 수 있다. UI 프레임워크(215) 내에 각각의 렌더러 Visual에 대응하는 Visual 오브젝트가 있을 수 있으며, 이를 통해 UI 프레임워크(215)는 무엇을 그려야 하는지에 대해 렌더러(260)에 말해 줄 수 있다. 렌더러(260)는 미디어 사용자 인터페이스를 위해 사용되는 그래픽 개발 애플리케이션, DirectX®9, GDI, 또는 DirectX®7 각각에 따라 렌더링 모듈 (261, 263, 265)를 포함하거나 이들과 통신할 수 있다.
구성요소 모델 서비스부(220)은 주요한 네 개의 서비스 모듈을 포함할 수 있다: Visuals(221), 공통 서비스부(231), UI 프레임워크에 특정된(UIFW) 서비스부(241) 및 메시징과 상태 서비스부(255)를 포함할 수 있다. 메시징과 상태 서비스부는 디스패처(dispatcher)(253) 및 UI 세션(Session)(255)에 의해 처리된다. 표 준의 Window® 메시지 큐(queue)와 유사하게, 디스패처(253)는 모든 10-풋 사용자 인터페이스 체험을 위한 프랫폼인, 미디어 동작 모드 쉘 내의 구성요소들를 위한 모든 프로세싱 시간 요구들(processing time requests)을 처리한다. UI 인프라 구성요소들은 쉘 프로세스의 일부로서 실행된다. 하지만, 디스패처(253)는, 필요한 새로운 우선순위 규칙(rule)들의 생성 및 표현을 허용하도록, 예컨대, 모든 페인팅 작업들 후에, 그러나 다른 타이머 작업들 이전에 특정 작업을 실행할 수 있는 규칙을 허용하는 것과 같이 확장될 수 있다. UI 세션(255)는 한 집합의 오브젝트들과 관련된 모든 데이터를 처리하는 스테이트 컨테이너(state container)를 말한다. UI 세션(255)은 디스패처(253)가 타이밍을 처리하는 동안 데이터를 처리한다. 인프라(200)의 다른 서비스부들, 예컨대 렌더러(260), 레이아웃(layout)(227) 등은 세션(255) 상의 하위 오브젝트와 같은 그들의 데이터를 저장할 수 있다. 세션(255)은 각 서비스부와 통신하는 포트를 생성할 수 있어, 각 서비스부는 그 자신의 작업을 처리하기 위해 그들의 데이터 일부를 참조할 수 있다.
리모팅(remoting)(257)은 원한다면 고성능으로 사용자 인터페이스를 원격 장치 상에 렌더링하는 것을 담당하게 된다. 리모팅은 선택사항이고, 직접 또는 간접적으로 연결된 모니터 또는 TV 상에 사용자 인터페이스를 렌더링하기 위해서는 요구되지 않는다.
Visual 서비스부(221)는 레이아웃 서비스부(223), 비디오 메모리 관리부(225), 드로잉(drawing) 서비스부(227) 및 애니메이션 서비스부(229)를 포함할 수 있다. 레이아웃 서비스부(223)은, UI 프레임워크(215) 및 렌더러(260)에 의한 렌 더링 이전에 Visual을 위치시킨다. 비디오 메모리 관리부(225)는, 예컨대 표면 관리, 벌텍스(vertex) 버퍼 및 픽셀 음영부(shader)를 포함하는 비디오 카드로 이동하는 데이터 및 명령들을 관리한다. 드로잉 서비스부(227)는 텍스트를 포함하여, 사용자 인터페이스 상에 그려질, 애니메이트되지 않는 시각 구성요소를 관리한다. 애니메이션 서비스부(229)는 구성요소 모델(220)에 의해 사용될 포션(potion)와 렌더러(260)에 의해 사용된 포션을 포함한다. 구성요소 모델 포션은, 오브젝트, 대상(destination), 타이머-기간, 애니메이션 방법, 정지 포인트 및 다른 필요한 애니메이션 데이터를 특정하는 애니메이션 템플릿(template)을 형성한다. 템플릿은 일정 시간에 어떤 포인트의 값을 기술하는 키프레임(Keyframe)들과 하나의 키프레임과 다음에 정의된 키프레임 사이를 인터퍼레이트(interpolate)하기 위한 방법을 포함할 수 있다. 그후, 렌더러는 템플릿을 상영하게 되는데, 이때 애니메이션 서비스부는 실제 애니메이션을 형성하고 렌더러(260)는 이를 프레임 별로 실행하여 Visual을 스크린 상으로 이동시킨다.
비-시각적(non-visual) 통합 서비스부(231)은 입력 서비스부(233)와 방향성 네비게이션(235)을 포함할 수 있다. 입력 서비스부(233)는 미디어 사용자 인터페이스의 특정 뷰에 입력(원격 제어 네비게이션, 클릭 다운/업(down/up), 마우스 움직임 등)을 어떻게 처리할 것인지를 결정하는 스테이트 머신(machine)을 관리한다. 방향성 네비게이션 서비스부(235)는 현재의 스크린 선택의 중심점, 스크린 상의 다른 타킷들, 그리고 사용자에 의해 표시된 방향에 기초하여 동일-페이지의 이동 대상을 파악한다.
UIFW 서비스부(241)는 데이터 서비스부(243), 파싱(parsing) 서비스부(245) 및 페이지 네비게이션 서비스부(247)를 포함할 수 있다. 데이터 서비스부(243)는 오브젝트들을 위한 데이터 자료(sources)를 공급하고, 미리 결정된 바인딩(binding) 규칙에 따라 바인딩을 처리하며, 참조 데이터에 대한 변수들이 필요한 바에 따라 정의되도록 허용한다. 예컨대, 사진 항목의 디스플레이 명명 특성(name property)을 썸네일(thumbnail) 버튼의 텍스트 뷰 항목 내용 특성과 연관시켜, 하나의 오브젝트에 대한 특성이 설정 또는 변경되는 경우, 다른 오브젝트의 관련된 특성도 설정 또는 변경할 수 있기 위해 데이터 서비스부(243)가 사용될 수 있다. 연관관계는 일-대-일 필요는 없다. 경계(bound) 오브젝트 상의 값이 변하는 경우, 바인딩은 "때묻은(dirty)"라고 표시되고, 어느 정도 후에, 디스패처(253)가 프로세스를 호출하여 데이터 서비스부(243)이 새로운 값들을 각각의 때묻은 바인딩의 대상에 전달함으로써 때묻은 바인딩을 다시 평가한다(reevaluate). 파싱 서비스부(245)는 미디어 사용자 인터페이스의 XML 기술(description)을 구문 분석한다(parse). 즉, C, C++, 및/또는 C# 상의 미디어 사용자 인터페이스에 대한 수작업(hand-authoring) 시각 측면에 더하여, 미디어 사용자 인터페이스의 시각 측면을 생성하기 위해 XML이 사용될 수 있다.
UI 프레임워크(215)는 애플리케이션(205)와 구성요소 모델(220) 사이에 추상 계층을 제공한다. 사용자 인터페이스 제어(210)는 디스플레이 스크린 상에 디스플레이된 항목들의 동작을 관리한다. 즉, 단순히 스크린 상에 버튼를 그려 넣는 것만으로는, 본질적으로 사용자의 상기 버튼에 대한 선택이 작동(action)을 일으키도 록 하는 것은 아니다. 사용자 인터페이스 제어(210)는 뷰 및 뷰 항목들뿐만 아니라, 버튼들, 라디오 명단(list), 스핀너(spinner) 제어부들 등과 같은 항목들의 실제 동작을 관리한다. 제어는 미디어 사용자 인터페이스 상에서 사용자가 상호작용할 수 있는 것들, 입력 처리, 포커스 및 네비게이션이다. 뷰는 제어 디스플레이의 소유자(owner)이다. 뷰는 제어의 Visual이 스크린 상에 그려지도록 요청한다. 즉, 뷰는 제어의 시각적 표현이 미디어 사용자 인터페이스의 일부로서 디스플레이되도록 한다. 뷰는 뷰항목(ViewItems)의 트리를 생성함으로써, Visual들을 관리할 수 있다. 뷰항목은 콘텐츠가 어떻게 사용되어야 하는지에 대한 논리(즉, 제어와 같이 또는 애니메이션의 일부와 같이)뿐만 아니라, 그려질 콘텐츠(즉, Visual)를 저장한다.
이상의 인프라는, 앞서 논의된 바와 같이, 기본 유닛이 Visual인 렌더링 시스템의 최상위에 관리된 UI 기술 계층을 제공한다. Visual들은 변형(transform)들 사이의 관계를 확정하는 트리 노드들로서 표현될 수 있다. 관리된 계층(구성 요소 모델)은 렌더링 시스템을 위해 보다 상위 계층의 프로그래밍 인터페이스를 생성한다. 인프라는 XML 및/또는 C, C++, 또는 C#와 같은 언어로 쓰여진 코드를 사용하여, 이미지, 애니메이션, 변형 등을 기술하는 오브젝트를 사용할 수 있다. 본 분야의 기술을 갖는 자라면 UI 기반 인프라는 그것이 제공하는 서비스들에 비하여 부차적이라는 것을 이해할 것이다.
위에서 언급한 인프라와 인프라가 제공하는 서비스들을 사용하여, UI 애플리케이션(205)(즉, 관리된 기술 계층)은 미디어 사용자 인터페이스의 동작을 만들고, 정의하며 제어하는 루틴 및 정의를 제공한다. 이제, UI 애플리케이션(205)에 의해 제공되는 예시적인 미디어 사용자 인터페이스가 도 3-31를 더 참조하여 기술될 것이다.
미디어 사용자 인터페이스의 시작 페이지(300)은 다수의 상위 레벨 메뉴 선택(301), 가장 최근에 사용된(most recently used : MRU) 항목들의 목록(303), 전원 메뉴 아이콘(305) 및 시계를 포함한다. 사위 레벨 메뉴는 온라인 스팟라이트(Online Spotlight), 내 그림(My Pictures), 내 비디오(My Videos), 내 TV(My TV), 내 음악(My Music), 내 라디오(My Radio), 내 프로그램(My Program), 내 작업(My Tasks) 및 설정(Settings)에 대한 선택사항을 포함할 수 있다. 또 다른 상위 레벨 선택이 대안적으로 또는 추가적으로 포함될 수 있다. MRU 목록(303)은 선택 커서(309)에 의해 표시된 것처럼, 현재 하이라이트된(highlighten) 메뉴 선택 항목(307)에 항상 대응할 수 있다. 즉, MRU 목록(303)은 현재 하이라이트된 메뉴 선택 항목(307)에 대응하는 것으로서, 가장 최근에 사용자에 의해 선택된 세 가지 미디어 항목 303a, 303b 및 303c까지 포함할 수 있다. 예컨대, 내 TV 메뉴 상목이 하이라이트된 경우, MRU 목록은 DVD, TV, 또는 영화에 대한 미디어 선택을 포함할 수 있고; 내 음악 메뉴 항목이 하이라이트된 경우, MRU 목록은 사용자에 의해 가장 최근에 연주된 세 개의 노래를 포함할 수 있으며; 내 라디오 메뉴가 하이라이트된 경우, MRU 목록은 사용자에 의해 가장 최근에 선택된 세 개의 라디오 방송국을 포함할 수 있고; 그 밖에 경우도 있다. 사용자가 제어 커서(309)를 새로운 메뉴 항목으로 이동시킴에 따라, UI 애플리케이션은 새롭게 하이라이트된 메뉴 항목에 대응 하도록 MRU 항목(303)을 새로 갱신한다(refresh). 사용자가 현재의 항목(307)에 대응하는 세 가지 미디어 항목들을 전혀 선택하여 오지 않았으면, UI 애플리케이션(205)은 대안적으로 미디어 사용자 인터페이스로 하여금 디폴트(default) 항목 또는 동작을 디스플레이 하거나, 또는 이와 달리 MRU 목록(303) 내에 아무런 항목도 전혀 디스플레이 하지 않도록 할 수 있다. 본 발명의 일 양태에 따르면, MRU 항목은 아이콘, 그래픽, 텍스트, 또는 이들의 둘 이상 조합을 포함할 수 있다. 동일한 거리에서, 텍스트를 알아차리고(perceive) 판독하기 위해, 텍스트는 부득이 매우 클 수 있고, 그래픽 또는 아이콘에 필요로 하는 디스플레이 영역보다 더 많은 영역을 차지할 수 있다. 따라서, 택스트 및 그래픽의 조합은 2-풋 사용자 인터페이스뿐만 아니라, 10-풋 사용자 인터페이스로서 사용하기 위한 미디어 사용자 인터페이스에 어울리게 된다.
파워 아이콘(305)는, 이하 도 15-18을 참조하여 보다 더 기술된 파워 서브-메뉴를 불러온다.
도 4는 원격 제어 장치(163)를 사용하여 사용자가 선택가능한 미디어 사용자 인터페이스(300)의 영역들(401-417)을 도시한다. 선택가능한 콘텐츠가 각 영역에 디스플레이될 때, 사용자는 원격 제어 장치(163) 상의 상, 하, 좌, 우 네비게이션 버튼을 사용하여 각 영역으로 항행할(navigate) 수 있다. 영역(401)은 사용자에 의해 선택가능한 메뉴 항목들을 포함하고; 영역(403)은 사용자에 의해 선택가능한 첫 번째 MRU 항목을 포함하고; 영역(405)은 사용자에 의해 선택가능한 두 번째 MRU 항목을 포함하고; 영역(407)은 사용자에 의해 선택가능한 세 번째 MRU 항목을 포함 하고; 영역(409)은 현재 하이라이트된 선택 항목(307)에 대응하는 작동 버튼들을 포함하고; 영역(411)은 파워 메뉴 아이콘(305)와 같은 시스템 제어들을 포함하고; 영역(413)은 현재 플레이되고 있는 노래와 같이(예컨대, 도 5를 참조), 현재 일어나고 있는 동작을 표시하는 선택 가능한 콘텐츠 항목을 포함할 수 있다. 각 영역은, 현재 일어나고 있는 동작들(예컨대, 현재 플레이되고 있는 노래 또는 라디오 방송국)에 따라 선택가능한 항목들을 포함하도록 또는 그렇지 않도록 설정될 수 있다. MRU 목록이 하나 이상의 항목을 포함할 때, 사용자는 각각의 영역에 하나, 둘, 또는 세 개의 MRU 항목이 이용가능한지 여부에 따라, 영역(403, 405, 407)에 디스플레이된 MRU 항목을 항행하고 선택할 수 있다.
도 5를 좀 더 참조한다면, 사용자가 메뉴 항목(301)을 거쳐 스크롤하면, 선택 커서(309)는 동일한 위치에 머물면서, 메뉴 항목이 위쪽 또는 아래쪽으로 애니메이트되어 스크롤한다. 사용자가 원격 제어(163) 상의 아래 방향 항행 버튼을 누르면, 콘텐츠는 위쪽으로 이동하고; 사용자가 원격 제어(163) 상의 위 방향 항행 버튼을 누르면, 콘텐츠는 아래쪽으로 이동한다. 예컨대, 도 3에 표시된 미디어 사용자 인터페이스로부터 도 5에 표시된 영역(401)은 미디어 사용자 인터페이스로 항행하기 위해서는, 사용자는 단지 원격 제어 장치(163) 상의 아래 방향 네비게이션 버튼을 누르기만 하면 된다. 사용자가 아래 방향 네비게이션 버튼을 누르면, 미디어 사용자 인터페이스는 도 3에 도시된 뷰로부터 일련의 중간 프레임들을 거쳐 콘텐츠를 적절하게 이동시키면서 도 5에 도시도니 뷰로 애니메이트한다.
미디어 사용자 인터페이스가 쉬고 있는(idle) 동안, 즉 사용자가 어떤 것도 입력하고 있지 않는 동안에는, 사용자에게 현재 하이라이트된 메뉴 항목을 가르켜주기 위해, 선택 커서(309)가 예컨대, 빛나는 것(glow)처럼 또는 진동하는 것(pulsate)처럼 보이도록 강조될 수 있다. 사용자가 인터페이스와 상호작용하는데 거치는 거리로 인하여, 만일 사용자가 커서의 자취(track)를 따라가기에 커서가 그리 충분히 크지 않거나, 눈에 띄지 않으면, 사용자가 너무도 쉽게 커서의 자취을 놓칠 수 있기 때문에, 위와 같은 것은 10-풋 사용자 인터페이스에서 사용하기에 매우 유용하다. 사용자가 하이라이트된 항목을 선택하면, 선택 커서(309)는 번쩍이거나, 사용자가 입력을 제공하였음을 나타내는 어떤 다른 시각적 표시를 제공할 수 있다. 음향 신호가 추가적으로 또는 대안적으로, 사용자에게 선택 피드백을 제공하기 위해 사용될 수 있다.
이상 논의된 바와 같이, 사용자가 리스트(301) 내의 어느 한 메뉴 아이템으로부터 다른 것으로 항행할 때, MRU 목록은 사용자가 항행한 항목에 대응하는 새로운 MRU 목록 항목을 포함하도록 그 자신을 갱신한다. 본 발명의 일 양태에 따르면, MRU 목록은 다양한 종류의 애니메이션들을 사용하여 그 자신을 갱신할 수 있다. 일 실시예에서, 사용자가 항행하여 떠나기로 한 메뉴 항목(301)으로부터의 항목에 대응하는 MRU 목록의 항목들은 그들이 멀리 이동하는 것처럼 천천히 뷰로부터 페이드(fade)되고, 사용자가 항해하여 도달하고자 하는 메뉴 항목(301)로부터의 항목에 대하는 MRU 목록 항목은 미디어 사용자 인터페이스 상에 그들의 최종 위치로 이동하는 것처럼 뷰에 천천히 페이드된다는 것을 제외하고, MRU 목록(303)은 메뉴 목록(301)과 함께 애니메이트될 수 있다. 메뉴 항목은 드들이 선택 커서(309)의 위로 또는 아래로 이동할 때도 여전히 보이도록 남아 있는 반면, MRU 목록 항목은 그렇지 않다. 예컨대, 사용자가 도 3에 도시된 내 TV 메뉴 항목으로부터 도 5에 도시된 내 음악 메뉴 항목으로 항행한다고 가정해 보자. 내 TV로부터 내 음악으로 항행하기 위해, 사용자는 원격 제어 또는 키보드 상의 아래쪽 네비게이션 키를 선택하여 아래 방향의 항행 명령을 UI 애플리케이션에게 보낸다. UI 애플리케이션(205)이 도 3에 도시된 상태로부터 아래 방향의 항행 명령을 수신하면, UI 애플리케이션(205)은 선택 커서(309) 내에서 내 음악 메뉴 항목이 이동하도록 메뉴 항목을 위쪽으로 슬라이딩(sliding)되도록, 뷰로부터 부분적으로 내 비디오 메뉴 항목이 페이딩되도록, 그리고 애니메이션의 일부로서 더 많은 프로그램 메뉴 항목이 전부 뷰로 페이딩되도록, 메뉴 항목을 애니메이트될 수 있다. 또한, 애니메이션의 일부로서, 온라인 스팟라이트 메뉴 항목은 뷰로부터 완전히 사라지고, 설정 메뉴 항목이 부분적으로 뷰로 올 수 있다. 메뉴 항목의 애니메이트된 슬라이딩과 동시에, 내 TV MRU 목록 항목이 내 TV 메뉴 항목과 함께 위로 이동한다. 하지만, 내 TV MRU 목록 항목은 맨 위로부터 바닥으로 페이드되고, 원래의 위치로부터 그것들이 움직이는 것과 같은, 위 방향 움직임과 조화되어, 결국 MRU 목록 리스트가 완전히 투명한 것으로부터 완전히 불투명하게 점점 더 불투명 정도가 증가하는 커버(cover) 밑으로 점진적으로 통과하는 것을 보여주게 된다. 이와 유사하게, 내 음악 MRU 목록 항목이 내 TV MRU 목록 항목 아래로부터 뷰에 들어옴에 따라, 완전히 불투명한 것으로부터 완전히 투명하게 투명도가 점차적으로 증가하는 커버를 통해, 마치 커버 밑에서부터 밖으로 나오게 되는 것처럼 뷰로 페이드된다. 도 13에 도시 된 바와 같이(이하에서 기술됨), 포커스 내의 MRU 리스트 항목에 대하여 동일한 효과가 사용될 수 있다.
도 6-8을 참조하여, 또 다른 실시예에 따르면, 메뉴 선택 항목(301) 뒤쪽으로부터 발생하여, 왼쪽에서 오른쪽으로 이동하는 것처럼 그래픽적으로 보이도록 함으로써, MRU 아이콘이 슬라이드, 스위프(sweep), 또는 뷰로 날아오는(fly) 것처럼 애니메이트될 수 있다. 뷰로 슬라이딩되는 것은, 메뉴 항목의 포커스의 변화가 포커스된 메뉴 항목에 기초하여 제2 콘텐츠의 변화를 일으킨다는 시가적 암시를 사용자에게 제공한다. 도 6-8은, 새롭게 하이라이트된 내 음악 항목과 관련된 MRU 목록 항목을 디스플레이할 수 있도록 하는 MRU 목록 출현(Reveal) 애니메이션의 시작 프레임(601), 중간 프레임(701) 및 최종 프레임(801) 각각을 도시한다. 도 6은, 도 3에 도시된 미디어 사용자 인터페이스로부터 시작한 사용자가 내 음악을 선택하기 위해 원격 제어 장치(163) 상의 아래쪽 네비게이션 버튼을 누르고 난 다음의, 애니메이션의 첫 번째 프레임(601)을 도시한다. 도 6에 도시된 것처럼, 이전에 선택된 내 TV 메뉴 항목을 위해 이전에 디스플레이된 항목의 MRU 목록은 사라진다.
도 7은, 마치 메뉴 목록 항목(301) 뒤쪽으로부터 생성된 것 처럼, MRU 목록 항목(303)이 오른쪽으로 스위프되는 애니메이션의 중간 프레임(701)을 도시한다. 도 7에 도시된 바와 같이, MRU 목록 항목은 애니메이션 동안 알파(alpha) 값을 가질 수 있어 그 항목이 적어도 부분적으로는 투명하게 보일 수 있다. 대안적으로, 알파 값이 사용되지 않을 수 있다. 도 8은, MRU 목록 항목(303)의 예시적인 최종 위치 및 외관(즉, 투명도가 없는)으로서, MRU 목록 애니메이션의 최종 프레임(801) 을 도시한다. MRU 목록 항목의 외관을 애니메이팅하는 것은, 사용자의 주의를 MRU 항목으로 끌어와 새롭게 하이라이트된 메뉴 항목, 본 예에서는 내 음악 항목의, 결과로서 MRU 항목이 변하였다는 것을 명확하게 인식할 수 있게 된다. 본 분야의 기술을 있는 자들은, MRU 목록 출현 애니메이션을 위해 본 명세서에는 세 개의 애니메이션 프레임이 제공되었지만, 도 6-8에 제공된 것들 사이에 다른 애니메이션 프레임들이 존재한다는 것을 이해할 것이다. 도 6-8은 사용될 수 있는 키프레임의 예들을 제공한다. 키프레임들은 하나의 키프레임으로부터 다음 것으로의 변이(transition)를 위해 애니메이션이 인터퍼레이트될 수 있는 제어 포인트들들을 제공한다. 인터폴레이션(interpolation)을 사용하여, 애니메이션은 어떠한 프레임 레이트(rate)로 플레이될 수 있고, 교정될 수 있다(프레임-기반의 애니메이션과는 달리). 더 많은 또는 더 적은 키프레임들이 대안적으로 사용될 수 있다.
도 9-12를 더 참조하여, 본 발명의 또 다른 양태에 따르면, 사용자가 메뉴 항목(301)로부터 벗어나 항행한다는 사실에 사용자의 주의를 끌기 위해, 미디어 사용자 인터페이스는 사용자가 메뉴 항목(301)로부터 MRU 항목(303) 내의 항목으로 포커스를 변경할 때, 사용자에게 3차원 피드백을 제공할 수 있다. 본 발명의 예시적인 실시예에서, 미디어 사용자 인터페이스는, 사용자가 네비게이션 커서를 MRU 목록 항목으로 옮김에 따라, 3차원 공간 내에 그래픽적으로 흉내낸(simulated) 더블-힌지(double-hinged)의 효과를 제공할 수 있다. 도 9a 및 9b는, 사용자가 해당하는 MRU 항목(303)과 함께 메뉴 항목(301)을 통해 스크롤링함에 따라, 미디어 사용자 인터페이스의 위쪽 투시도 및 위쪽 평면도를 각각 도시한다. 도 9a 및 도 9b 에서, 사용자는 아직 제어 커서를 MRU 항목 리스트로 항행하지 않았다. 도 9a 및 도 9b는, 시작 페이지(300) 상에 디스플레이되는 모든 콘텐츠가 단일 X, Y 평면(901) 상에 있다는 것을 도시한다. 달리 말한다면, 시작 페이지(300) 상의 모든 콘텐츠는 동일한 Z 차원을 갖는다. 도 8은, 사용자가 MRU 목록 항목 301a, 301b, 또는 301c를 선택하기 이전에 도 9a 및 도 9b에 대응하는 선택 페이지(300)을 도시한다.
도 10a 및 도10b는 더블-힌지의 MRU 목록 항목 선택 뷰(1301) 내의 미디어 사용자 인터페이스의 위쪽 투시도 및 위쪽 평면도를 각각 도시한다(대응하는 도 13을 참조). 도 10a 및 도10b는, MRU 목록 항목 선택 뷰 내에서 디스플레이된 콘텐츠가 힌지 축(1005, 1007) 각각으로부터 확장되는 두 평면(1001, 1003) 사이에서 분할되는 것을 도시한다. 앞쪽의 평면(1001)은 메뉴 목록 항목(307) 및 그에 대응하는 MRU 목록 항목 301a, 301b 및 301c를 포함할 수 있다. 뒷쪽의 평면(1003)은 선택된 메뉴 항목(307)이외의 다른 메뉴 목록 항목(301)을 포함할 수 있다. 각각의 평면(1001, 1003)은 시각적으로 힌지 축(1005, 1007) 각각에 힌지되어 있기 때문에, 한 평면 상의 힌지 축으로부터 콘텐츠가 점점 멀리 옮겨짐에 따라 별도 각 평면 상의 콘텐츠 Z 값은 점진적으로 변화할 것이다. 뒤쪽 평면(1003) 상의 콘텐츠는, 예컨대 앞쪽 평면의 알파 음영(shading)을 사용하여, 앞쪽 평면 상의 콘텐츠 뒤편에 보일 수 있다. 도 13은, 본 발명의 예시적인 실시예에 따라, 미디어 사용자 인터페이스의 MRU 목록 항목 선택 뷰(1301)를 도시한다.
선택된 콘텐츠를 앞쪽 평면(1001)으로 이동시키고, 선택되지 않은 콘텐츠를 뒤쪽 평면(1003)으로 이동시킴으로써, 미디어 사용자 인터페이스는 해당 MRU 목록(301)과 함께 어떤 메뉴가 선택되었는지를, 그리고 선택되지 않았지만 사용자가 다시 항행하겠다고 선택하면 이용가능한 메뉴가 무엇인지를 개념적으로 사용자에게 전달하게 된다. 도 13에 도시된 바와 같이, 메뉴 선택 목록(301) 또는 MRU 목록(303) 내에 있지 않은 미디어 사용자 인터페이스의 콘텐츠는 시작 평면(901)의 어느 곳에 위치하는 제3 평면 상에 디스플레이될 수 있다. 제2 콘텐츠를 본래의 평면(901)에 유지함으로써, 미디어 사용자 인터페이스의 사용자는, 파워 메뉴 아이콘(305)와 같이 평면(901)에 위치한 콘텐츠로 쉽게 항행할 수 있다.
도 8 및 도 11-13은 순차적으로, 사용자가 네비게이션 커서를 내 음악 메뉴 항목으로부터 그 내 음악 메뉴 항목에 대응하는 MRU 목록의 제1 항목(301a)로 옮김에 따라, MRU 목록의 기울임 애니메이션 내의 프레임들을 도시한다. 애니메이션 동안, 위 두개의 평면은 그래픽적으로, 힌지 축으로부터 적절하게 앞뒤로 회전축을 중심으로 회전하거나(pivot) 빙글 돌며(swing), MRU 목록 항목은 마치 선택된 메뉴 항목(307)로부터 생성된 것처럼 밖으로 스위프된다. 도 8은 네비게이션 커서(309)가 내 음악 메뉴 항목 위에 있는 동안의 단일 평면 시작 메뉴를 도시한다. 도 11은, 미디어 사용자 인터페이스가 콘텐츠를 두 평면 사이로 나누고, 힌지 축(1005) 상의 Z-차원 내에서 앞쪽으로, 앞쪽 평면(1001)을 회전축 중심으로 회전시키기 시작하고, 힌지 축(1007) 상의 Z-차원 내에서 뒤쪽으로, 뒤쪽 평면(1003)을 회전축 중심으로 회전시키기 시작할 때의 제1 중간 프레임(1101)을 도시한다. 도 11은, 또한 마치 선택된 메뉴 목록 항목(307)의 뒤에서 생성되는 것처럼, MRU 목록 항목 (301)이 밖으로 스위프하기를 시작하는 것을 도시한다.
도 12는, 각각의 최종 위치에 가까이 간 평면들을 도시하는, 애니메이션의 제2 중간 프레임(1201)을 도시한다. 도 12에서, 선택된 메뉴 항목 "내 음악"은, 그래픽적으로 계속 앞쪽으로 옮겨지고, 선택되지 않아 뒤쪽으로 물러나 메뉴 항목들과 비교해 점점 더 눈에 띄는 외관을 갖기 시작한다. 선택된 메뉴 항목에 대응하는 "최근 음악"이라는 자막은, 도 11에 도시된 프레임(1101) 내에서 보다 점점 더 명확하게 보이기 시작한다. 또한, 도 12에서는 MRU 목록 항목이 그들이 최종 위치에 가까이 가면서 밖으로 계속 스위프된다. 도 13은, 사용자가 원하면 선택될 수 있는 메뉴 항목 및 MRU 목록 항목이 그들의 최종 위치에 있는, 애니메이션의 최종 프레임(1301)을 도시한다. 이상의 도시는, 10-풋 사용자 인터페이스의 사용자에게 명확한 시각적 및 개념점 피드백을 제공하기 위하여, 이중 힌지된 평면의 예시적인 사용예로서 제공된 것이다. 이중 힌지된 평면은, 미디어 사용자 인터페이스의 모든 항행 특성을 위해 사용될 수 있으며, MRU 목록 항목의 선택에 제한되어 해석되어서는 결코 안 된다.
도 9 및 도 14-22를 더 참조하여, 본 발명의 또 다른 양태에 따르면, 미디어 사용자 인터페이스는 콘텐츠를 앞쪽 평면은 보다 잘 눈에 띄게, 뒤쪽 평면은 보다 덜 눈에 뛰게하여 두 개의 평면으로 분리할 수 있다. 그러나, 도 9-13에서 보여진 것처럼 각 프레임을 힌지하는 대신에, 미디어 사용자 인터페이스는 그래픽적으로 뒤쪽 평면을 본래의 위치로부터 곧장 뒤로 밀어 내고, 앞쪽 평면을 본래의 위치로부터 곧장 앞으로 끌어낸다. 최종적인 그래픽 효과는 콘텐츠의 이중 벽 형상으로, 여기서 선택된 또는 강조된 콘텐츠는 앞으로 오게되고 하이라이트되며, 선택되지 않은 콘텐츠는 3-차원 공간 내의 뒤쪽으로 밀려남으로써, 사용자에게 선택된 콘텐츠와 선택되지 않은 콘텐츠, 또는 이전에 나타난 메뉴에 비해 새롭게 눈에 띄게된 메뉴에 대한, 명확한 개념적 시각적 형상을 제공한다.
사용자가 해당하는 MRU 목록(303)과 함께, 메뉴 항목(301)을 통하여 스크롤링할 경우의 미디어 사용자 인터페이스의 시작 페이지에 관하여, 도 9a는 가상적인 위쪽 투시도를 도시하고 도 9b는 위쪽 평면도를 도시한다. 도 9a 및 도 9b에서, 사용자는 평면 분할을 개시하는 새로운 메뉴 항목을 아직 선택하지 않았다. 도 9a 및 9b는, 사작 페이지(300) 상의 모든 콘텐츠가 동일 평면(901) 상에 있음을 도시한다. 달리 말하면, 시작 페이지(300) 상의 모든 콘텐츠는 동일한 Z 차원을 갖는다. 도 8은, 사용자가 메뉴 목록 항목 또는 다른 메뉴 항목을 하이라이팅하거나 선택하기 이전에, 도 9a 및 9b에 대응하는 시작 페이지(300)을 도시한다.
도 14a 및 14b는, 콘텐츠를 앞쪽 평면(1401)과 뒤쪽 평면(1403) 두 평면으로 분활한 다음에, 앞쪽 평면(1401)을 그래픽적으로 앞으로 곧장 끌어내고 뒤쪽 평면(1403)은 그래픽적으로 뒤로 곧장 밀어 내는 미디어 사용자 인터페이스의 위쪽 투시도와 위쪽 평면도를 각각 도시한다. 앞쪽 평면(1401) 상의 모든 콘텐츠는 실질적으로 동일한 Z-값을 갖고, 뒤쪽 평면(1403) 상의 모든 콘텐츠는 위 앞쪽 평면(1401) 상의 콘텐츠 Z-값과는 다르지만 실질적으로 동일한 Z-값을 갖는다. 앞쪽 평면(1401)은, 이전 평면(901)로부터 사용자에 의해 선택된 콘텐츠 항목에 대응하는 새로운 메뉴(예컨대, 하위메뉴)를 포함할 수 있다. 뒤쪽 평면(1403)은, 사용자 가 선택한 콘텐츠 항목이 위치하였던 이전 메뉴를 포함하여 새로운 메뉴가 나타날 수 있게끔 할 수 있다. 앞쪽 평면이 Z-공간에서 앞쪽으로 얼마만큼 끌려오고 뒤쪽 평면이 Z-공간에서 뒤쪽으로 얼마만큼 밀려나는지는, 흉내낸 평면들이 실질적으로 각 평면에 상대적으로 곧장 앞쪽으로 그리고 뒤쪽으로 옮겨진다는 사실에 비해 덜 중요한 것이라는 점을 이해할 수 있다. 대안적으로, 뒤쪽 평면(1403)은 뒤쪽으로 옮겨질 수 있고, 앞쪽 평면(1401)은 그대로 남아 새로운 콘텐츠(예컨대, 파워 메뉴)를 그것의 고정된(stationary) 위치(시작하는 평면(901)이 본래부터 위치하였던 곳)에 드러나게 할 수 있다. 또 다른 대안으로는, 앞쪽 평면(1401)이 앞쪽으로 옮겨지고 그것이 앞쪽으로 옮겨짐에 따라 새로운 콘텐츠(즉, 콘텐츠 메뉴)를 디스플레이하는 반면에, 뒤쪽 평면(1403)은 그대로 남아 있을 수 있다. 평면(1401)을 앞쪽으로 옮기는 것과 평면(1403)을 뒤쪽으로 옮기는 것을 그래픽적으로 흉내내는 형상은, 평면(1401) 상의 콘텐츠를 크게하는 방법, 평면(1403) 상의 콘텐츠를 줄이는 방법, 이들 두 방법 모두, 평면(1401) 상의 콘텐츠를 포커스에 맞추는 반면에 평면(1403) 상의 콘텐츠를 어느 정도까지 포커스에서 벗어나게(unfocused) 하는 방법, 및/또는 평면(1401) 상의 콘텐츠를 더 밝은 형상으로 만들고 평면(1403) 상의 콘텐츠를 더 어두운 형상으로 만드는 방법을 통해 달성할 수 있다.
도 18을 더 참조하면, 이중-벽 효과가 사용자에게 파워 메뉴를 사용자가 선택하였음을 도시하기 위해 사용될 수 있다. 도 18은 앞쪽 평면(1401) 상의 파워 메뉴(1801)와 뒤쪽 평면(1403) 상에 시작 메뉴 콘텐츠(301)을 갖는 미디어 사용자 인터페이스를 도시한다. 도 18을 도 3과 대비하면 분명한 것처럼, 도 18의 시작 메뉴 콘텐츠는 도 18의 파워 메뉴 콘텐츠 뒤로 밀려난 평면 상에 있기 때문에, 파워 메뉴(1801) 뒤에 있는 도 18의 시작 메뉴 콘텐츠는 도 3의 시작 메뉴 콘텐츠(301) 보다 작아 보이도록 그래픽적으로 흉내내어 진다. 예컨대, 사용자가 파워 메뉴(1801)로부터 UI 애플리케이션(205)을 닫지 않기로 결정하거나, 파워 메뉴 상의 이용가능한 다른 선택 사항을 실행하면, 사용자는 파워 메뉴(1801)로부터 손쉽게 되돌아 올 수 있기 때문에, 파워 메뉴(1801)는 제2 메뉴로 여겨질 수 있다. 이 예에서, 파워 메뉴(1801)는 각각 미디어 센터 애플리게이션(205)을 닫을 수 있는, 현 사용자를 로그오프할 수 있는, 컴퓨터를 셧 다운(shut down)할 수 있는, 컴퓨터를 다시 시작할 수 있는, 그리고 스탠-바이(Stand-By) 파워 모드로 갈 수 있는 버튼(1803-1811)을 포함하여, 각각의 버튼은 원격 제어 장치(163) 상의 네비게이션 및 선택 버튼을 사용하여 선택 가능하다.
이중-벽의 3-차원 그래픽 효과의 사용은, 사용자가 컨텍스트 메뉴 또는 파워 메뉴와 같은 제2 메뉴를 선택하였다는 것, 그리고 이를 메뉴로부터 사용자가 하위-메뉴를 선택한 본래의 메뉴로 재빨리 돌아 갈 수 있다는 것을 사용자에게 전달하는데 유용할 수 있다. 그렇지만, 콘텐츠를 뒤쪽으로 밀어 내어 현재의 네비게이션이 일시적으로 중단되었고(interrupted) 중단된 콘텐츠의 앞에 새로운 콘텐츠가 포커스를 갖게 되었다는 것을 개념적으로 사용자에게 전달할 수 있도록, 이중-벽 효과가 10-풋 사용자 인터페이스의 다른 목적을 위해 추가적으로 사용될 수 있다.
도 15-18은, 사용자가 시작 메뉴(300) 상의 파워 메뉴(305)(도 3)를 선택하였음을 사용자에게 시각적으로 표시할 수 있는 파워 메뉴 출현 애니메이션을 도시 한다. 도 15는, 사용자가 파워 버튼(305)을 선택한 후의 제1 중간 애니메이션 프레임을 도시한다. 도 15에서, 이제 뒤쪽 평면(1403)으로 여겨지는 시작 평면(901)은 Z-차원 내에서 뒤쪽으로 이미 밀려났고, 이에 따라 본래부터 평면(901) 상에 위치하였던 모든 콘텐츠(즉, 모든 시작 메뉴 콘텐츠)는 그래픽적으로 마치 사용자로부터 멀리 옮겨진 것처럼 보다 작게 보인다. 또한, 도 15에서, 윈도(1503)가 보이기 시작한다. 파워 메뉴(1801)은, 윈도(1503)가 완전히 형성된 때에, 윈도(1503) 내에 위치하게 된다.
도 16은, 파워 메뉴 출현 애니메이션의 제2 중간 프레임(1601)을 도시한다. 도 16의 이 특별한 예에서는, 뒤쪽 평면이 Z-공간 내의 목적지에 재빨리 도착하지만(다만, 애니메이션의 속도 및 특정 평면이 옮겨지는 속도는 원하는 대로 설정될 수 있다), 뒤쪽 평면(1403) 상의 콘텐츠는 움직이지 않다. 또한, 프레임(1601)에서, 윈도(1503)는 계속 열려지고, 이제 그것의 최종 크기의 반 정도가 된다. 도 17은, 파워 메뉴 출현 애니메이션의 제3 중간 프레임(1701)을 도시한다. 프레임(1701)에서, 파워 메뉴 윈도(1503)는 그것의 최종 크기에 거의 도달하고, 버튼(1803-1811)이 뷰로 페이드하기 시작한다. 도 18은, 윈도(1503)가 완전히 형성되고 버튼(1803-1811)을 포함한 파워 메뉴(1801)이 완성된 파워 메뉴 출현 애니메이션의 최종 프레임을 도시한다.
도 19-23을 더 참조하면, 이중-벽 효과의 변형이 미디어 사용자 인터페이스 내부의 컨텍스트 메뉴를 낳기 위해 사용될 수 있다. 도 23의 위쪽 평면도에 의해 도시되는 바와 같이, 도 19-22는 미디어 사용자 인터페이스의 사용자에게 컨텍스트 메뉴를 제공하기 위해 사용될 수 있는 컨텍스트 메뉴 출현 애니메이션을 도시한다. 도 23은 도 9b에 보여진 개념적인 위쪽 평면도로부터 시작되는 애니메이션의 끝에서 두 평면의 개념적인 최종 위쪽 평면도를 도시한다. 도 23은, 평면(901)의 본래 위치로부터 뒤쪽으로 평면(2303)이 그 주위를 빙글 도는, 단일 힌지 축(2305)을 도시한다.
도 19는, 도 8로부터 하이라이트된 내 음악 메뉴 항목을 선택한 사용자에 의해 생성된 내 음악 메뉴를 도시한다. 내 음악 메뉴(1901)는, 미디어 사용자 인터페이스가 실행되는 컴퓨터(110) 상에 저장된, 또는 컴퓨터(110)가 액세스하는 어떤 다른 네트워크된 컴퓨터 상에 저장된 음악을 나타내는 아이콘(1903-1911)을 포함한다. 도 19에 보여진 예에서, 내 음악 메뉴는 뷰 표시자(indicator)(1925)가 표시하고 것처럼 현재 앨범(Album) 뷰에 있기 때문에, 아이콘은 음악 앨범을 표현하는 것이다. 내 음악 메뉴(1901)는 또한, 사용자가 음악을 찾을 수 있을 뿐만 아니라, 앨범, 아티스트, 플레이 목록, 노래 또는 장르(genre) 별로 음악을 볼 수 있는 복수의 메뉴 버튼(1913-1923)을 갖는다. 뷰 표시자(1925)는 현재 내 음악 메뉴 뷰를 나타내는 메뉴 버튼이 무엇이든, 그 다음에 옆에 위치하고 있다.
도 19에서, 사용자 선택 커서(309)는, 아이콘(1905)이 사용자에 의한 선택을 위해 하이라이트되었다는 것을 표시한다. 아이콘(1905) 상에서 오른쪽 클릭킹(right-clicking)은 도 20-22에 보여진 애니메이션 시퀀스를 일으킨다. 사용자가 마우스 대신에 미디어 사용자 인터페이스를 제어하기 위해 원격 제어 장치(163)를 사용하고 있을 수 있기 때문에, 원격 제어 장치는, 원격 제어 장치(163) 상의 주 선택 버튼을 사용하는 것에 의해 발생할 수 있는 선택 음악의 플레이 대신에, 컨텍스트 메뉴를 불러오는 부 선택 버튼(오른손 잡이에 맞게 구성된 컴퓨터 마우스의 오른쪽 클릭킹과 유사함)을 포함할 수 있다.
도 20은 사용자가 아이콘(1905)을 오른쪽 클릭한 바로 다음의 제1 중간 프레임(2001)을 도시한다. 도 20에서, 아이콘(1905)은 사용자가 아이콘(1905)를 선택하였음(다른 아이콘들과는 반대로)을 사용자에게 전달하기 위해 약간 크게 확장되고, 아이콘(1905)은 또한, 평면(2301)(도 23)에 위치하게 된다. 평면(901)로부터 발생된 나머지 콘텐츠는 평면(2303)에 위치하게 된다. 이 예에서, 평면(2303)은 위치(2305)에서 힌지되어, 평면(2303) 상의 콘텐츠가 곧장 뒤쪽으로 물러나는 대신에, 뒤쪽으로 빙글 도는 것처럼 보인다.
도 21은, 컨텍스트 출현 애니메이션의 제2 중간 프레임(2101)을 도시한다. 프레임(2101)에서, 윈도(2203)는, 마치 최종 윈도(2205)의 수직 중간 위치(2105)로부터 생성되어, 점차 위쪽 그리고 아래쪽 방향으로 윈도(2203)를 크게만드는 것처럼 보이는 것처럼 형성되기 시작한다. 평면(2303) 상의 콘텐츠는 힌지 축(2305) 상에서 계속 뒤쪽으로 빙글 돈다. 도 22는 컨텍스트 메뉴 출현 애니메이션 시퀀스의 최종 프레임(2201)을 도시한다. 프레임(2201)에서, 윈도(2203)는 완전히 형성되고, 컨텍스트 메뉴(2205)는 사용자에 의한 네비게이션 및 선택을 위해 디스플레이된다. 윈도(2203)(그것의 콘텐츠 포함) 및 아이콘(1905)은 평면(2301)에 있는 반면, 나머지 콘텐츠는 평면(2301) 상으로 완전히 뒤쪽으로 빙글 돌려진다.
도 19-23에 도시된 단일-힌지 애니메이션은 다양한 방법으로 수정될 수 있 다. 예컨대, 힌지 축은 도 23에 보여진 바와 같은 힌지된(hinged) 해당 평면의 오른쪽 대신에, 힌지된 해당 평면의 왼쪽에 위치할 수 있고, 또는 힌지된 해당 평면의 위쪽 또는 아래쪽에 힌지 축이 위치할 수 있다. 본 분야의 기술이 있는 자는, DirectX®와 같은 3D 실행가능한 애플리케이션을 사용하여 힌지 축을 3D 공간의 어느 곳에라도 위치시킬 수 있다는 것을 알 수 있을 것이다. 본 발명의 일 양태에 따르면, 힌지 축은 선택된 아이콘으로부터 개념상 떨어진 곳에 위치할 수 있다. 즉, 사용자가 내 음악 메뉴(1901)의 왼손 위치 상의 아이콘을 선택한다면, UI 애플리케이션은 도 23에 보여지는 바와 같이 내 음악 메뉴의 오른쪽으로 힌지 축(2305)을 위치시키고, 이에 따라 뒤쪽 평면(2303) 상의 콘텐츠가 힌지 축을 메뉴의 왼쪽에 위치시키는 경우보다 선택된 아이콘 뒤로 더 멀어져 보인다. 유사하게, 사용자가 내 음악 메뉴(1901)의 오른손 위치 상의 아이콘을 선택한다면, UI 애플리케이션은 내 음악 메뉴의 왼쪽으로 힌지 축(2305)을 위치시키고; 사용자가 내 음악 메뉴(1901)의 상단 상의 아이콘을 선택한다면, UI 애플리케이션은 내 음악 메뉴의 아래에 힌지 축(2305)을 위치시키고; 사용자가 내 음악 메뉴(1901)의 하단 상의 아이콘을 선택한다면, UI 애플리케이션은 내 음악 메뉴의 위쪽에 힌지 축(2305)을 위치시킨다. 사용하지 않는 콘텐츠를 선택된 콘텐츠 뒤로 가능한 한 멀리 빙글 돌려놓기 위해, 유사한 힌지 놓기가 대각선을 포함한 모든 방향에서 사용될 수 있다. 본 발명의 일 양태에 따르면, 사용자는 예를 들어 설정 메뉴 항목 아래의 힌지 축 위치(location)을 변경시킴으로써, 힌지 축을 어디에 위치시킬지를 특정할 수 있다.
메뉴 및 항목에 대한 네비게이션 및 선택을 미디어 사용자 인터페이스의 사 용자에게 개념적으로 전달하기 위해, 다른 다중-평면 효과 및 애니메이션이 사용될 수 있다. 미디어 사용자 인터페이스 상의 메뉴 및 항목에 대한 사용자의 네비게이션 및 선택에 기초하여, 어느 항목 또는 항목들이 현재 문제가 되는지를 사용자에게 개념적으로 전달하기 위해 메뉴 콘텐츠를 둘 또는 그 이상의 평면 상으로 분할한다는 것에 비하여, 어떤 특정된 다중-평면 효과 또는 애니메이션을 사용하는지는 별로 중요하지 않다. 몇몇 효과 및 애니메이션에서는, 도 10b(평면(901)을 제외), 도 14b(평면(901)을 제외), 도 23 또는 도 30(평면(3001, 3003) 포함, 평면(901)을 제외)에 도시된 바와 같이, 두 개의 평면이 사용된다. 다른 효과 및 애니메이션에서는, 도 10b(평면(901)을 포함), 도 14b(평면(901)을 포함), 도 29(평면(2901, 2903, 2905)을 포함) 및 도 30(평면(3001, 3003, 3005)을 포함)에 도시된 바와 같이, UI 애플리케이션(205)은 콘텐츠를 세 개 또는 그 이상의 평면 상으로 분할한다. 더욱 관련이 많은 콘텐츠 또는 사용자의 가장 최근 선택과 관련이 있는 콘텐츠는, 보다 눈에 띄는 평면, 전형적으로는 현재 사용중인 다른 평면들과 비교하여 가장 앞쪽에 위치하는 평면 상에 위치하게 된다.
DirectX®와 같은 3D-실행가능한 개발 애플리케이션을 사용하는 것은, 여기서 기술되고 있는 미디어 사용자 인터페이스의 또 다른 새로운(novel) 특징들을 가능하게 한다. 예컨대, 사용자에게 애플리케이션(205)이 멈추지 않았다는 것을 표시해주고 디스플레이 디바이스(191) 내에 번-인(burn-in)을 방지하기 위해, 미디어 사용자 인터페이스의 배경(background)은 하나의 메뉴로부터 다음 것 사이에서 조금식 변하는 동시에, 어느 정도는 일정하게 있을 수 있다. 따라서, 미디어 사용자 인터페이스의 배경은 도 3-8, 도 11-13 및 도 15-22에 도시된 바와 같이, 애니메이트되는 배경을 가질 수 있다. 도 3-8, 도 11-13 및 도 15-22에서, 배경은 각 도면마다 유사하게 보인다. 그러나, 자세히 관찰하면, 사용자를 혼란시키지 않기 위한 전반적인 유사성은 갖고 있으면서 동시에, 실제로는 배경이 조금씩 다르다는 것을 알 수 있을 것이다. 도 11-13 및 도 15-22에 도시된 애니메이트된 배경은, 3차원 공간 내에서 둘 또는 그 이상의 회전하는 레이어(layer)를 사용하여 생성될 수 있으며, 가장 앞의 레이어는 거의 투명하고, 각 레이어마다 알파 값 및 순환 주기 길이(rotational cycle length)를 갖는다. 바람직하게는, 각 주기 길이는 다르고, 순환 길이는 상호 배수가 아닌 것이 바람직하다. 두 레이어가 마치 보이지 않는 기둥에 의해 연결될 수 있고, Z 공간 내에서("보이지 않는 기둥"의 축을 따라) 떨어져 위치하게 된다. 부모 평면(parent plane)(배경)이 회전할 때, 자식 평면(child plane)(전경:foreground)도 또한 동일한 속도 또는 상이한 속도로 회전할 수 있다. 따라서, 사용자에게 움직임의 인상을 일으키기 위해 부모 평면을 회전시키고 이 둘 사이에 깊이를 갖게 함으로써, 애니메이트된 효과를 달성할 수 있다.
3D 공간과 알파 음영의 사용에 의해 가능하게 되는 다른 특징은, 도 13, 19 및 22에 도시된 바와 같은 알파-페이딩이다. 다시 말해, 항목의 전체 이름을 디스플레이하기 위해 할당된 공간, 또는 항목과 관련된 모든 텍스트를 디스플레이하기 위한 충분한 여유를 디스플레이가 갖지 못한 때에는, 통상적으로 애플리케이션은 텍스트를 갑자기 잘라 내거나, 사용자에게 디스플레이된 것보다 더 많은 텍스트가 이용가능하다는 것을 사용자에게 표시하기 위해 생략부호(ellipses)("...")을 디스 플레이한다. 하지만, 미디어 사용자 인터페이스는 점차적으로 텍스트를 페이드-아웃(fade-out)하기 위해 텍스트의 알파(α) 비디오 채널을 사용한다. 도 24를 참조하여, 단계(2401)에서 UI 애플리케이션(205)은 텍스트(T0)가 스크린에 기입되기 위해 얼만큼의 공간, S,가 이용가능한지를 결정한다. 단계(2403)에서, UI 애플리케이션(205)은 텍스트(T0)의 얼마만큼이 할당된 공간(S)에 들어갈 수 있는지를 결정한다. 할당된 공간(S)에 들어갈 텍스트의 분량을 T1이라고 참조한다. 텍스트의 측정은, DrawText와 같은 Win32 GDI API들로부터 얻어질 수 있다. 단계(2405)에서, UI 애플리케이션(205)은 T0과 T1이 동일한지, 즉 텍스트 T0의 모두가 공간(S)에 들어가는지를 결정한다. 만약 T0과 T1이 동일하면, UI 애플리케이션(205)은 단계(2407)에서 알파 브렌딩(alpha blending)없이 할당된 공간 내에 텍스트 T0를 그리도록 진행한다. 만약 T0과 T1이 같지 않으면, UI 애플리케이션(205)은 텍스트 T1을 할당된 공간에 그려 넣고, 예컨대 마지막 1-5 문자들과 같이 텍스트 T1의 소정의 마지막 분량을 점차적으로 완전한 불투명에서 완전한 투명으로 알파 레벨을 변화시켜 알파 브렌드(blend)한다. 알파의 명암 이행(gradation)은 Direct3D의 벌텍스 색상 인터폴레이션 기능들을 사용할 수 있다. 따라서, 여기서 알파 페이딩이라 일컫는 알파 브렌딩의 사용을 통하여 생략부호에 대한 필요가 회피된다.
미디어 사용자 인터페이스의 또 다른 하나의 특징에서, UI 애플리케이션(205)은 위에서 기술한 특징들에 추가적으로, 미디어 사용자 인터페이스을 위한 추 가의 특징들을 제공할 수 있다. 예컨대, 도 25는 폴더(folder) 네비게이션 스크린(2501)을 도시한다. 도 25에서, 폴더 네비게이션 스크린(2501)은, 음악 라이브러리(library)에 추가되는 음악을 찾기 위한 폴더를 선택하기 위해 사용되고 있다. 그렇지만, 도 25에 도시된 폴더 네비게이션은, 폴더 네비게이션이 효과가 있는 다른 목적을 위해 사용될 수 있다.
도 26-28은, 사용자가 예컨대, 원격 제어 장치(163)를 사용하여 소리 볼륨를 조정할 때 나타나는 볼륨 윈도(2601)를 도시한다. 볼륨 윈도(2601)는, 볼륨이 최소 볼륨 레벨로부터 최대 볼륨 레벨로 이동함에 따라, 왼쪽에서 오른쪽으로 채워지는 볼륨 막대(bar) 형태의 시각적 볼륨 표시자(2605)뿐만 아니라, 볼륨 레벨의 숫자 표시자(2603)를 포함한다. 사용자가 뮤트(mute)를 끄자마자, 어느 정도의 볼륨 레벨로 되돌아 가는지를 쉽게 결정할 수 있으므로, 볼륨 윈도(2601)는 도움이 된다. 다시 말해, 도 31에 보여지는 바와 같이, 뮤트가 들어와 있는 때에는 숫자 표시자가 "mute"로 스위치할 수 있는 반면, 볼륨 막대(2605)는 뮤트가 꺼질 때에 일어나는 볼륨을 표시한다. 볼륨 윈도(2601)은 단일 평면(901)(도 9) 상에 나타나거나, 또는 위에서 기술한 이중 평면 효과 중 어떤 것이라도 사용하여 나타날 수 있다.
이상에서 기술한 미디어 사용자 인터페이스는, 모니터 또는 TV와 같은 평면 또는 약간 볼록의 디스플레이 장치 상에 렌더되는(rendered) 동안, 3-차원적으로 보이도록 그래픽적으로 흉내내어 진다. 여기서 기술된 특징들을 사용하여, UI 애플리케이션(205)은 10-풋 사용자 인터페이스로서 사용하기에 알맞은 미디어 사용자 인터페이스를, 디스플레이 상에 눈에 띄는 아이콘 및 메뉴 항목을 놓고, 콘텐츠가 디스플레이될 수 있는 실제 부지(real estate)를 늘리는 3-차원의 변환을 사용하며, 뷰 사이의 네비게이션을 사용자에게 개념적으로 제공하기 위한 애니메이션을 사용하여 제공한다. 미디어 사용자 인터페이스는 또한, 미디어 모드가 필요치 않음에도, 데이터 처리 장치의 미디어 동작 모드에서 사용될 때 특히 유용하다. 본 발명을 수행하기에 현재 선호되는 모드를 포함하는 특정 예시들과 관련하여, 본 발명이 기술되었지만, 본 분야의 기술을 갖는 사람들은 이상에서 기술한 시스템 및 기술방안의 다양한 변형 및 치환(permutation)이 있다는 것을 이해할 것이다. 따라서, 본 발명의 사상 및 권리범위는 첨부된 청구범위 내에 기재된 것처럼 넓게 해석하여야 한다.

Claims (37)

  1. 사용자 인터페이스를 통해 사용자에게 콘텐츠를 디스플레이하기 위한 방법으로서,
    데이터 처리 장치에 연결되어 있으며 상기 사용자 인터페이스가 렌더링되는 디스플레이 장치 상에, 선택가능한 제1 복수의 메뉴 항목을 3-차원 그래픽 공간 내의 단일한 시뮬레이션된 평면에 디스플레이하는 단계 - 상기 제1 복수의 메뉴 항목은 원격 제어 장치를 사용하는 상기 사용자에 의해 선택가능함 - ;
    상기 사용자가 상기 선택가능한 제1 복수의 메뉴 항목 중 하나를 선택하는 것에 응답하여, 상기 3-차원 그래픽 공간 내의 시뮬레이션된 제1 평면 상에 상기 선택된 하나의 메뉴 항목을 디스플레이하고, 상기 3-차원 그래픽 공간 내의 시뮬레이션된 제2 평면 상에 상기 선택된 하나의 메뉴 항목 이외의 상기 선택가능한 제1 복수의 메뉴 항목을 디스플레이하는 단계 - 상기 제1 평면은 상기 제2 평면보다 더 눈에 띄는 디스플레이 위치를 가짐 -;
    제1 힌지 축(hinge axis) 상에서 상기 제1 평면을 회전시키는(pivoting) 단계; 및
    제2 힌지 축 상에서 상기 제2 평면을 회전시키는 단계
    를 포함하는, 콘텐츠 디스플레이 방법.
  2. 제1항에 있어서,
    상기 제2 평면보다 더 눈에 띄는 디스플레이 위치를 가지는 상기 제1 평면은, 상기 사용자 인터페이스의 사용자에게 보여질 때 상기 3-차원 그래픽 공간 내에서 상기 제2 평면의 앞쪽에 있는, 콘텐츠 디스플레이 방법.
  3. 제1항에 있어서,
    상기 선택된 하나의 메뉴 항목에 대응하는 제2 복수의 메뉴 항목을 상기 제1 평면 상에 디스플레이하는 단계를 더 포함하는 콘텐츠 디스플레이 방법.
  4. 제3항에 있어서,
    상기 제2 복수의 메뉴 항목은 상기 선택된 하나의 메뉴 항목에 대응하는 컨텍스트 메뉴(context menu)의 항목을 포함하는, 콘텐츠 디스플레이 방법.
  5. 제3항에 있어서,
    상기 선택된 하나의 메뉴 항목은 미디어의 유형을 포함하고, 상기 제2 복수의 메뉴 항목은 상기 선택된 하나의 미디어 유형을 가지는 가장 최근에 사용된 미디어의 목록을 포함하는, 콘텐츠 디스플레이 방법.
  6. 제3항에 있어서,
    상기 제2 복수의 메뉴 항목은 상기 선택된 하나의 메뉴 항목의 바로 아래에 있는 하위-메뉴를 포함하는, 콘텐츠 디스플레이 방법.
  7. 제1항에 있어서,
    상기 제1 힌지 축은 상기 3-차원 공간 내에서 상기 제2 힌지 축과는 서로 다른 위치를 가지는, 콘텐츠 디스플레이 방법.
  8. 제1항에 있어서,
    상기 제1 및 제2 힌지 축은 상기 3-차원 공간의 X-차원에서 실질적으로 상기 디스플레이 장치의 맞은편 상에 있는, 콘텐츠 디스플레이 방법.
  9. 제1항에 있어서,
    상기 제1 평면과 대비하여, 상기 제2 평면을 상기 3-차원 공간의 Z-차원 내에서 뒤쪽으로 밀어내는 것을 시뮬레이션하는 단계를 더 포함하는 콘텐츠 디스플레이 방법.
  10. 제9항에 있어서,
    상기 제1 평면을 상기 Z-차원 내에서 앞쪽으로 끌어내는 단계를 더 포함하는 콘텐츠 디스플레이 방법.
  11. 제1항의 방법을 수행하기 위한 컴퓨터 실행가능 명령을 저장하는 컴퓨터 판독가능 기록 매체.
  12. 데이터 처리 시스템으로서,
    상기 데이터 처리 시스템을 제어하기 위한 원격 제어 장치; 및
    상기 데이터 처리 시스템의 메모리 내에 저장된 컴퓨터 실행가능한 소프트웨어 모듈을 실행하여, 상기 데이터 처리 시스템에 연결된 디스플레이 장치 상에 3-차원 사용자 인터페이스를 제공하도록 구성된 데이터 프로세서를 포함하며,
    컴퓨터 실행가능한 소프트웨어 모듈을 저장하는 상기 메모리는,
    상기 디스플레이 장치 상에 디스플레이되는 3차원 공간 내에 상기 사용자 인터페이스를 제공하도록 구성된 사용자 인터페이스 소프트웨어 모듈 - 상기 사용자 인터페이스는 상기 원격 제어 장치를 사용하는 사용자에 의해 내비게이팅 가능한(navigable) 복수의 메뉴를 포함함 - ; 및
    상기 사용자가 상기 복수의 메뉴의 제1 메뉴로부터 복수의 메뉴 항목 중 하나를 선택할 때, 상기 사용자 인터페이스 소프트웨어 모듈의 제어 하에서 애니메이션 프레임의 시퀀스를 제공하는 애니메이션 모듈
    을 포함하고,
    상기 애니메이션 시퀀스는 제1 평면 및 제2 평면 사이로 상기 복수의 메뉴 항목을 분할하고, 상기 3차원 공간 내에서 상기 제1 및 제2 평면이 각각으로부터 서로 멀리 이동하는 것을 애니메이팅(animate)하며,
    상기 애니메이션 모듈은 제1 힌지 축 상에서 상기 제1 평면을 회전시키고,
    상기 애니메이션 모듈은 제2 힌지 축 상에서 상기 제2 평면을 회전시키는,
    데이터 처리 시스템.
  13. 제12항에 있어서,
    상기 선택된 하나의 메뉴 항목은 상기 제1 평면 상에 있고, 상기 선택된 하나의 메뉴 항목 이외의 다른 복수의 메뉴 항목은 상기 제2 평면 상에 있는, 데이터 처리 시스템.
  14. 제12항에 있어서,
    상기 제1 평면이 상기 제2 평면보다 더 눈에 띄는 디스플레이 위치를 가지는, 데이터 처리 시스템.
  15. 제14항에 있어서,
    상기 제1 평면이 상기 제2 평면보다 더 눈에 띄는 디스플레이 위치를 가지는 것은, 상기 사용자 인터페이스의 사용자에게 보여질 때, 상기 3-차원 그래픽 공간 내에서 상기 제2 평면의 앞쪽에 상기 제1 평면을 위치시키는 것을 포함하는, 데이터 처리 시스템.
  16. 제12항에 있어서,
    상기 제1 및 제2 힌지 축은 상기 3-차원 공간의 X-차원에서 실질적으로 상기 디스플레이 장치의 맞은편 상에 있는, 데이터 처리 시스템.
  17. 제12항에 있어서,
    상기 제1 힌지 축은 상기 3-차원 공간 내에서 상기 제2 힌지 축과는 서로 다른 위치를 가지는, 데이터 처리 시스템.
  18. 제12항에 있어서,
    상기 애니메이션 모듈은 상기 제1 평면과 대비하여 상기 제2 평면을 상기 3-차원 공간의 Z-차원 내에서 뒤쪽으로 밀어내는, 데이터 처리 시스템.
  19. 제12항에 있어서,
    상기 애니메이션 모듈은 상기 제1 평면을 Z-차원 내에서 앞쪽으로 끌어내는, 데이터 처리 시스템.
  20. 제12항에 있어서,
    상기 사용자 인터페이스 소프트웨어 모듈은, 상기 선택된 하나의 메뉴 항목에 대응하는 제2 복수의 메뉴 항목이 상기 제1 평면 상에 디스플레이되도록 하는, 데이터 처리 시스템.
  21. 제20항에 있어서,
    상기 제2 복수의 메뉴 항목은 상기 선택된 하나의 메뉴 항목에 대응하는 컨텍스트 메뉴의 항목을 포함하는, 데이터 처리 시스템.
  22. 제20항에 있어서,
    상기 선택된 하나의 메뉴 항목은 미디어의 유형을 포함하고, 상기 제2 복수의 메뉴 항목은 상기 선택된 하나의 미디어 유형을 가지는 가장 최근에 사용된 미디어의 목록을 포함하는, 데이터 처리 시스템.
  23. 제22항에 있어서,
    상기 애니메이션 모듈은 상기 제2 복수의 메뉴 항목이 상기 선택된 하나의 메뉴 항목의 뒤쪽으로부터 뷰(view) 내부로 슬라이딩하는(slide) 것처럼 보이도록 만드는, 데이터 처리 시스템.
  24. 제20항에 있어서,
    상기 제2 복수의 메뉴 항목은 상기 선택된 하나의 메뉴 항목의 바로 아래에 있는 하위-메뉴를 포함하는, 데이터 처리 시스템.
  25. 3-차원 사용자 인터페이스를 제공하는 방법을 위한 컴퓨터 실행가능한 명령을 저장하는 컴퓨터 판독가능 기록 매체로서, 상기 3-차원 사용자 인터페이스를 제공하는 방법은,
    데이터 처리 장치의 상기 사용자 인터페이스를 제공하기 위한 3-차원 그래픽 공간을 생성하는 단계;
    상기 데이터 처리 장치에 연결된 디스플레이 장치 상에, 복수의 메뉴 항목의 제1 목록을 상기 3-차원 그래픽 공간 내의 단일한 시뮬레이션된 평면에 그래픽적으로 디스플레이하는 단계 - 상기 복수의 메뉴 항목은 원격 제어 장치를 사용하여 상기 사용자 인터페이스를 내비게이팅하는 사용자에 의해 선택가능함 -;
    상기 사용자가 상기 복수의 메뉴 항목 중 하나를 선택하는 것에 응답하여, 상기 3-차원 그래픽 공간 내의 제1 평면 상에 상기 선택된 하나의 메뉴 항목을 디스플레이하고, 상기 3-차원 그래픽 공간 내의 제2 평면 상에 상기 선택된 하나의 메뉴 항목 이외의 상기 복수의 메뉴 항목을 디스플레이하는 단계; 및
    상기 3차원 공간 내에서 상기 제1 및 제2 평면이 각각으로부터 서로 멀리 이동하는 것을 애니메이팅하는 단계
    를 포함하고,
    상기 제1 및 제2 평면을 애니메니팅하는 단계는 상기 3-차원 공간 내에서 제1 힌지 축 주위로 상기 제1 평면을 회전시키는 단계 및 상기 3-차원 공간 내에서 제2 힌지 축 주위로 상기 제2 평면을 회전시키는 단계를 포함하며,
    상기 애니메이팅이 완료되면, 상기 제1 평면은 상기 제2 평면보다 더 눈에 띄는 디스플레이 위치를 가지는,
    컴퓨터 판독가능 기록 매체.
  26. 제25항에 있어서,
    상기 제1 힌지 축은 상기 제2 힌지 축과 서로 다른, 컴퓨터 판독가능 기록 매체.
  27. 제25항에 있어서,
    상기 제1 및 제2 평면을 애니메이팅하는 단계는, 상기 제1 또는 제2 평면 중 어느 하나에 있는 콘텐츠의 X 및 Y 차원에 변화를 주지 않으면서, 상기 3-차원 공간의 Z-차원 내에서 상기 제1 및 제2 평면을 움직이는 단계를 포함하는, 컴퓨터 판독가능 기록 매체.
  28. 컴퓨터 시스템의 메모리 내에 실행가능한 명령 형태로 저장되고 상기 컴퓨터 시스템에 연결된 디스플레이 장치 상에 디스플레이 가능한 사용자 인터페이스를 생성하기 위한 컴퓨터 실행가능 코드를 포함하는 컴퓨터 판독가능 기록 매체로서, 상기 사용자 인터페이스는,
    제1 상태에서:
    3-차원 그래픽 공간 내의 단일한 시뮬레이션된 평면 상의 선택가능한 제1 복수의 메뉴 항목 - 사용자는 선택 커서를 사용하여 한 번에 상기 선택가능한 제1 복수의 메뉴 항목 중 하나를 하이라이팅(highlight) 할 수 있음 -;
    상기 제1 복수의 메뉴 항목 중 상기 하이라이팅된 하나의 메뉴 항목에 대응하도록 유지되는 제2 복수의 메뉴 항목 - 상기 사용자가 상기 선택 커서를 제1 메뉴 항목으로부터 제2 메뉴 항목으로 옮기면, 상기 제2 복수의 메뉴 항목은 상기 제1 복수의 메뉴 항목 중 상기 하이라이팅된 하나의 메뉴 항목에 여전히 대응하도록 변화함 -;
    제2 상태에서:
    상기 제1 복수의 메뉴 항목 중 사용자에 의해 선택된 하나의 메뉴 항목과 상기 제1 복수의 메뉴 항목 중 상기 선택된 하나의 메뉴 항목에 대응하는 상기 제2 복수의 메뉴 항목을 가지는, 그래픽적으로 시뮬레이션된 제1 평면; 및
    상기 제1 복수의 메뉴 항목 중 상기 사용자에 의해 선택된 하나의 메뉴 항목 이외에 남아있는 제1 복수의 메뉴 항목을 가지는, 그래픽적으로 시뮬레이션된 제2 평면 - 상기 그래픽적으로 시뮬레이션된 제1 평면은 상기 그래픽적으로 시뮬레이션된 제2 평면보다 더 눈에 띄는 외관(appearance)을 가짐 -
    을 포함하고,
    상기 사용자가 상기 선택 커서를 옮겨 상기 제2 복수의 메뉴 항목 중 어느 하나를 하이라이팅할 때, 상기 사용자 인터페이스는 상기 제1 상태에서 상기 제2 상태로 애니메이트적으로(animatedly) 천이(transition)하며,
    상기 천이는 제1 힌지 축 상에서 상기 그래픽적으로 시뮬레이션된 제1 평면을 회전시키고 제2 힌지 축 상에서 상기 그래픽적으로 시뮬레이션된 제2 평면을 회전시키는 것을 포함하는,
    컴퓨터 판독가능 기록 매체.
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
KR1020057012460A 2004-08-03 2004-10-19 다중 평면의 3-차원 사용자 인터페이스 KR101150008B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/909,838 2004-08-03
US10/909,838 US7178111B2 (en) 2004-08-03 2004-08-03 Multi-planar three-dimensional user interface
PCT/US2004/034804 WO2006022770A1 (en) 2004-08-03 2004-10-19 Multi-planar three-dimensional user interface

Publications (2)

Publication Number Publication Date
KR20070046689A KR20070046689A (ko) 2007-05-03
KR101150008B1 true KR101150008B1 (ko) 2012-07-05

Family

ID=35758943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057012460A KR101150008B1 (ko) 2004-08-03 2004-10-19 다중 평면의 3-차원 사용자 인터페이스

Country Status (10)

Country Link
US (1) US7178111B2 (ko)
EP (1) EP1784709B1 (ko)
JP (1) JP4638913B2 (ko)
KR (1) KR101150008B1 (ko)
CN (1) CN100495294C (ko)
AU (1) AU2004288590A1 (ko)
BR (1) BRPI0406546A (ko)
CA (1) CA2507741C (ko)
RU (1) RU2360276C2 (ko)
WO (1) WO2006022770A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696812B2 (en) 2013-05-29 2017-07-04 Samsung Electronics Co., Ltd. Apparatus and method for processing user input using motion of object

Families Citing this family (252)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5941972A (en) * 1997-12-31 1999-08-24 Crossroads Systems, Inc. Storage router and method for providing virtual local storage
US7093201B2 (en) * 2001-09-06 2006-08-15 Danger, Inc. Loop menu navigation apparatus and method
KR100954072B1 (ko) * 2002-04-22 2010-04-23 톰슨 라이센싱 에스.에이. 스크린 에이징을 방지하기 위해 비디오 신호 처리 장치를제어하는 방법 및 장치
JP4240293B2 (ja) * 2003-05-27 2009-03-18 株式会社ソニー・コンピュータエンタテインメント マルチメディア再生装置およびマルチメディア再生方法
JP4254950B2 (ja) * 2003-09-01 2009-04-15 ソニー株式会社 再生装置および再生装置における操作メニュー表示方法
US7613383B2 (en) 2004-12-02 2009-11-03 Hitachi, Ltd. Editing method and recording and reproducing device
US7710423B2 (en) * 2005-03-21 2010-05-04 Microsoft Corproation Automatic layout of items along an embedded one-manifold path
DE102005017313A1 (de) * 2005-04-14 2006-10-19 Volkswagen Ag Verfahren zur Darstellung von Informationen in einem Verkehrsmittel und Kombiinstrument für ein Kraftfahrzeug
KR100711264B1 (ko) * 2005-05-03 2007-04-25 삼성전자주식회사 전자기기 및 그 제어방법
US7432928B2 (en) * 2005-06-14 2008-10-07 Microsoft Corporation User interface state reconfiguration through animation
US7427941B2 (en) * 2005-07-01 2008-09-23 Microsoft Corporation State-sensitive navigation aid
US8225231B2 (en) 2005-08-30 2012-07-17 Microsoft Corporation Aggregation of PC settings
US20070052725A1 (en) * 2005-09-02 2007-03-08 Microsoft Corporation User interface for simultaneous experiencing multiple application pages
US8826112B2 (en) * 2005-09-22 2014-09-02 International Business Machines Corporation Navigating table data with mouse actions
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US7480870B2 (en) * 2005-12-23 2009-01-20 Apple Inc. Indication of progress towards satisfaction of a user input condition
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US20070157105A1 (en) * 2006-01-04 2007-07-05 Stephen Owens Network user database for a sidebar
JP2007221269A (ja) * 2006-02-14 2007-08-30 Canon Inc 表示信号制御装置、表示信号制御方法、プログラム及び記憶媒体
US8103968B2 (en) * 2006-05-11 2012-01-24 Mediatek Inc. Apparatus, method, and system for representing a multimedia display
JP2008011940A (ja) * 2006-07-03 2008-01-24 Sony Computer Entertainment Inc ゲーム制御プログラム、ゲーム制御方法、及びゲーム装置
US7665033B2 (en) * 2006-08-31 2010-02-16 Sun Microsystems, Inc. Using a zooming effect to provide additional display space for managing applications
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US20080065992A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Cascaded display of video media
US7831727B2 (en) * 2006-09-11 2010-11-09 Apple Computer, Inc. Multi-content presentation of unassociated content types
US7853972B2 (en) 2006-09-11 2010-12-14 Apple Inc. Media preview user interface
US7984377B2 (en) 2006-09-11 2011-07-19 Apple Inc. Cascaded display of video media
US7747968B2 (en) * 2006-09-11 2010-06-29 Apple Inc. Content abstraction presentation along a multidimensional path
US7743338B2 (en) * 2006-09-11 2010-06-22 Apple Inc. Image rendering with image artifact along a multidimensional path
US7930650B2 (en) 2006-09-11 2011-04-19 Apple Inc. User interface with menu abstractions and content abstractions
US7743341B2 (en) 2006-09-11 2010-06-22 Apple Inc. Rendering icons along a multidimensional path having a terminus position
US8099665B2 (en) * 2006-09-11 2012-01-17 Apple Inc. Organizing and sorting media menu items
CN101523924B (zh) * 2006-09-28 2011-07-06 皇家飞利浦电子股份有限公司 3d菜单显示
US8930002B2 (en) * 2006-10-11 2015-01-06 Core Wireless Licensing S.A.R.L. Mobile communication terminal and method therefor
US8914729B2 (en) * 2006-10-30 2014-12-16 Yahoo! Inc. Methods and systems for providing a customizable guide for navigating a corpus of content
US20080122839A1 (en) * 2006-11-28 2008-05-29 Microsoft Corporation Interacting with 2D content on 3D surfaces
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
KR100877066B1 (ko) * 2007-01-22 2009-01-09 삼성전자주식회사 Ｌａｙｏｕｔ 구조를 이용한 ＧＵＩ 위짓 구성 장치 및이를 운영하는 방법
US9086785B2 (en) 2007-06-08 2015-07-21 Apple Inc. Visualization object receptacle
US8381122B2 (en) * 2007-06-08 2013-02-19 Apple Inc. Multi-dimensional application environment
US8473859B2 (en) * 2007-06-08 2013-06-25 Apple Inc. Visualization and interaction models
US20080307359A1 (en) * 2007-06-08 2008-12-11 Apple Inc. Grouping Graphical Representations of Objects in a User Interface
US8745535B2 (en) 2007-06-08 2014-06-03 Apple Inc. Multi-dimensional desktop
US8667418B2 (en) * 2007-06-08 2014-03-04 Apple Inc. Object stack
US20080307330A1 (en) * 2007-06-08 2008-12-11 Apple Inc. Visualization object divet
US20080307362A1 (en) * 2007-06-08 2008-12-11 Apple Inc. Desktop Filter
US8892997B2 (en) * 2007-06-08 2014-11-18 Apple Inc. Overflow stack user interface
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
JP5003377B2 (ja) * 2007-09-21 2012-08-15 パナソニック株式会社 電子機器におけるマークの位置あわせ方法
CN107066862B (zh) 2007-09-24 2022-11-25 苹果公司 电子设备中的嵌入式验证系统
US8022953B2 (en) * 2008-01-30 2011-09-20 Tekla Corporation Dimensions and computer aided modeling
US20090251609A1 (en) * 2008-04-02 2009-10-08 Gateway Inc. System and method for determining a mode of viewing a display and adapting displayed elements to the mode of viewing
JP5200641B2 (ja) * 2008-04-10 2013-06-05 ソニー株式会社 リスト表示装置及びリスト表示方法
US20090265212A1 (en) * 2008-04-17 2009-10-22 David Hyman Advertising in a streaming media environment
US9489383B2 (en) * 2008-04-18 2016-11-08 Beats Music, Llc Relevant content to enhance a streaming media experience
US20090300532A1 (en) * 2008-05-30 2009-12-03 Microsoft Corporation Conveying privilege escalation to users
TW201001267A (en) * 2008-06-20 2010-01-01 Amtran Technology Co Ltd Electronic apparatus with screen displayed menu and its generation method
KR20100000514A (ko) * 2008-06-25 2010-01-06 엘지전자 주식회사 터치 스크린이 구비된 영상표시기기 및 그의 제어 방법
US8386941B2 (en) * 2008-06-27 2013-02-26 Microsoft Corporation User interface localization conflict indication
US20090327921A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Animation to visualize changes and interrelationships
US20100058245A1 (en) * 2008-08-28 2010-03-04 Takaaki Ota Method and apparatus for an object oriented on-screen display menu system with a visual cue
US8279241B2 (en) * 2008-09-09 2012-10-02 Microsoft Corporation Zooming graphical user interface
KR101602363B1 (ko) 2008-09-11 2016-03-10 엘지전자 주식회사 3차원 사용자 인터페이스의 제어방법과 이를 이용한 이동 단말기
US20100087169A1 (en) * 2008-10-02 2010-04-08 Microsoft Corporation Threading together messages with multiple common participants
US8411046B2 (en) * 2008-10-23 2013-04-02 Microsoft Corporation Column organization of content
US8385952B2 (en) * 2008-10-23 2013-02-26 Microsoft Corporation Mobile communications device user interface
US20100107100A1 (en) * 2008-10-23 2010-04-29 Schneekloth Jason S Mobile Device Style Abstraction
US20100105441A1 (en) * 2008-10-23 2010-04-29 Chad Aron Voss Display Size of Representations of Content
US20110225523A1 (en) * 2008-11-24 2011-09-15 Koninklijke Philips Electronics N.V. Extending 2d graphics in a 3d gui
US8405702B1 (en) 2008-11-24 2013-03-26 Shindig, Inc. Multiparty communications systems and methods that utilize multiple modes of communication
US9401937B1 (en) 2008-11-24 2016-07-26 Shindig, Inc. Systems and methods for facilitating communications amongst multiple users
US20100192100A1 (en) * 2009-01-23 2010-07-29 Compal Electronics, Inc. Method for operating a space menu and electronic device with operating space menu
US8355698B2 (en) 2009-03-30 2013-01-15 Microsoft Corporation Unlock screen
US8175653B2 (en) * 2009-03-30 2012-05-08 Microsoft Corporation Chromeless user interface
US8238876B2 (en) 2009-03-30 2012-08-07 Microsoft Corporation Notifications
JP5132629B2 (ja) * 2009-05-11 2013-01-30 ソニーモバイルコミュニケーションズ， エービー 情報端末、情報端末の情報提示方法及び情報提示プログラム
US8269736B2 (en) * 2009-05-22 2012-09-18 Microsoft Corporation Drop target gestures
US8836648B2 (en) * 2009-05-27 2014-09-16 Microsoft Corporation Touch pull-in gesture
CN101943988B (zh) * 2009-07-09 2013-04-24 深圳富泰宏精密工业有限公司 电子装置用户界面自动调整系统及方法
US8638939B1 (en) 2009-08-20 2014-01-28 Apple Inc. User authentication on an electronic device
JP2011097441A (ja) * 2009-10-30 2011-05-12 Sony Corp 情報処理装置、画像表示方法及びコンピュータプログラム
KR20110052998A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 디바이스에서 사용자 인터페이스 제공 방법 및 장치
KR20110059009A (ko) * 2009-11-27 2011-06-02 삼성전자주식회사 휴대용 단말기에서 사용자 메뉴 설정을 위한 장치 및 방법
US8640052B2 (en) * 2009-12-31 2014-01-28 Verizon Patent And Licensing Inc. User interface enhancements for media content access systems and methods
US8698762B2 (en) * 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
JP2011145386A (ja) * 2010-01-13 2011-07-28 Fuji Xerox Co Ltd 表示制御装置、表示装置及びプログラム
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
KR101647044B1 (ko) * 2010-02-11 2016-08-09 삼성전자 주식회사 휴대 단말기의 화면 표시 방법 및 장치
US20120042248A1 (en) * 2010-02-11 2012-02-16 David Hyman Gradual visual fading of subsequent songs to represent a streaming playlist
GB2477959A (en) * 2010-02-19 2011-08-24 Sony Europ Navigation and display of an array of selectable items
US20110252349A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Folders
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
JP5143856B2 (ja) * 2010-04-16 2013-02-13 株式会社ソニー・コンピュータエンタテインメント ３次元画像表示装置、および３次元画像表示方法
US20110307815A1 (en) * 2010-06-11 2011-12-15 Mygobs Oy User Interface and Method for Collecting Preference Data Graphically
US8522165B2 (en) * 2010-06-18 2013-08-27 Adobe Systems Incorporated User interface and method for object management
US8528072B2 (en) 2010-07-23 2013-09-03 Apple Inc. Method, apparatus and system for access mode control of a device
US9483175B2 (en) * 2010-07-26 2016-11-01 Apple Inc. Device, method, and graphical user interface for navigating through a hierarchy
CN101924892B (zh) * 2010-08-20 2013-03-20 深圳市同洲电子股份有限公司 数字电视接收终端的菜单展示方法、系统及接收终端
JP5478438B2 (ja) * 2010-09-14 2014-04-23 任天堂株式会社 表示制御プログラム、表示制御システム、表示制御装置、表示制御方法
US9699351B2 (en) * 2010-09-29 2017-07-04 Apple Inc. Displaying image thumbnails in re-used screen real estate
US8587547B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US9141285B2 (en) 2010-11-05 2015-09-22 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
JP5300825B2 (ja) * 2010-11-17 2013-09-25 シャープ株式会社 指示受付装置、指示受付方法、コンピュータプログラム及び記録媒体
US20120159383A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Customization of an immersive environment
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
KR101763263B1 (ko) * 2010-12-24 2017-07-31 삼성전자주식회사 3ｄ 디스플레이 단말 장치 및 그 조작 방법
US9423951B2 (en) 2010-12-31 2016-08-23 Microsoft Technology Licensing, Llc Content-based snap point
US9250798B2 (en) 2011-01-24 2016-02-02 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
USD687841S1 (en) 2011-02-03 2013-08-13 Microsoft Corporation Display screen with transitional graphical user interface
USD673169S1 (en) * 2011-02-03 2012-12-25 Microsoft Corporation Display screen with transitional graphical user interface
USD692913S1 (en) 2011-02-03 2013-11-05 Microsoft Corporation Display screen with graphical user interface
USD693361S1 (en) 2011-02-03 2013-11-12 Microsoft Corporation Display screen with transitional graphical user interface
JP2012190184A (ja) 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
US9383917B2 (en) 2011-03-28 2016-07-05 Microsoft Technology Licensing, Llc Predictive tiling
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
USD658670S1 (en) 2011-05-27 2012-05-01 Microsoft Corporation Display screen with user interface
US8893033B2 (en) 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
USD655713S1 (en) * 2011-05-27 2012-03-13 Microsoft Corporation Display screen with user interface
USD655301S1 (en) * 2011-05-27 2012-03-06 Microsoft Corporation Display screen with user interface
USD655716S1 (en) * 2011-05-27 2012-03-13 Microsoft Corporation Display screen with user interface
US20120304132A1 (en) 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
USD655714S1 (en) * 2011-05-27 2012-03-13 Microsoft Corporation Display screen with user interface
US9104440B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
USD655715S1 (en) * 2011-05-27 2012-03-13 Microsoft Corporation Display screen with user interface
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US8638385B2 (en) 2011-06-05 2014-01-28 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
CN102253713B (zh) * 2011-06-23 2016-10-12 康佳集团股份有限公司 面向三维立体影像显示系统
US9582187B2 (en) * 2011-07-14 2017-02-28 Microsoft Technology Licensing, Llc Dynamic context based menus
US9746995B2 (en) 2011-07-14 2017-08-29 Microsoft Technology Licensing, Llc Launcher for context based menus
US8687023B2 (en) 2011-08-02 2014-04-01 Microsoft Corporation Cross-slide gesture to select and rearrange
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US10353566B2 (en) 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US9557909B2 (en) 2011-09-09 2017-01-31 Microsoft Technology Licensing, Llc Semantic zoom linguistic helpers
US8922575B2 (en) 2011-09-09 2014-12-30 Microsoft Corporation Tile cache
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US8933952B2 (en) 2011-09-10 2015-01-13 Microsoft Corporation Pre-rendering new content for an application-selectable user interface
US9244802B2 (en) 2011-09-10 2016-01-26 Microsoft Technology Licensing, Llc Resource user interface
US9501213B2 (en) * 2011-09-16 2016-11-22 Skadool, Inc. Scheduling events on an electronic calendar utilizing fixed-positioned events and a draggable calendar grid
US20130080968A1 (en) * 2011-09-27 2013-03-28 Amazon Technologies Inc. User interface with media content prediction
USD737848S1 (en) * 2011-10-27 2015-09-01 Htc Corporation Display screen with an animated graphical user interface
USD731524S1 (en) * 2011-10-27 2015-06-09 Htc Corporation Display screen with an animated graphical user interface
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
JP2013118468A (ja) * 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US9223472B2 (en) 2011-12-22 2015-12-29 Microsoft Technology Licensing, Llc Closing applications
EP2611184B1 (en) * 2011-12-29 2019-03-13 Alticast Corporation Method and recorded medium for providing 3d information service
US9372978B2 (en) 2012-01-20 2016-06-21 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
US9348430B2 (en) 2012-02-06 2016-05-24 Steelseries Aps Method and apparatus for transitioning in-process applications to remote devices
US9128605B2 (en) 2012-02-16 2015-09-08 Microsoft Technology Licensing, Llc Thumbnail-image selection of applications
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
WO2013169846A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying additional information in response to a user contact
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
EP2847661A2 (en) 2012-05-09 2015-03-18 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
JP6082458B2 (ja) 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
KR101956082B1 (ko) 2012-05-09 2019-03-11 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
US8732620B2 (en) 2012-05-23 2014-05-20 Cyberlink Corp. Method and system for a more realistic interaction experience using a stereoscopic cursor
RU2510960C2 (ru) * 2012-05-24 2014-04-10 Закрытое акционерное общество "ЭЛВИС-НеоТек" Устройство видеонаблюдения
US8957855B2 (en) 2012-06-25 2015-02-17 Cyberlink Corp. Method for displaying a stereoscopic cursor among stereoscopic objects
US9098516B2 (en) * 2012-07-18 2015-08-04 DS Zodiac, Inc. Multi-dimensional file system
JP2014030448A (ja) * 2012-07-31 2014-02-20 Daiichi Shokai Co Ltd 遊技機
US20140047393A1 (en) * 2012-08-07 2014-02-13 Samsung Electronics Co., Ltd. Method and portable apparatus with a gui
CN102929594B (zh) * 2012-09-19 2016-07-20 深圳市酷开网络科技有限公司 基于android系统的3D界面实现方法和系统
USD736244S1 (en) * 2012-10-05 2015-08-11 Samsung Electronics Co., Ltd. Electronic device with a transitional graphical user interface
US9183585B2 (en) 2012-10-22 2015-11-10 Apple Inc. Systems and methods for generating a playlist in a music service
USD735236S1 (en) * 2012-12-26 2015-07-28 Successfactors, Inc. Portion of a display panel with an animated computer icon
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
CN107831991B (zh) 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
CN104903834B (zh) 2012-12-29 2019-07-05 苹果公司 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面
JP6138274B2 (ja) * 2012-12-29 2017-05-31 アップル インコーポレイテッド ユーザインタフェース階層をナビゲートするためのデバイス、方法、及びグラフィカルユーザインタフェース
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
USD736818S1 (en) 2013-03-14 2015-08-18 Microsoft Corporation Display screen with graphical user interface
US10120540B2 (en) * 2013-03-14 2018-11-06 Samsung Electronics Co., Ltd. Visual feedback for user interface navigation on television system
USD736817S1 (en) * 2013-03-14 2015-08-18 Microsoft Corporation Display screen with graphical user interface
US9164653B2 (en) * 2013-03-15 2015-10-20 Inspace Technologies Limited Three-dimensional space for navigating objects connected in hierarchy
RU2532866C1 (ru) * 2013-03-27 2014-11-10 Общество с ограниченной ответственностью "Талка+" Способ создания стереоскопического интерфейса пользователя компьютера
US9450952B2 (en) 2013-05-29 2016-09-20 Microsoft Technology Licensing, Llc Live tiles without application-code execution
KR101803311B1 (ko) * 2013-05-10 2018-01-10 삼성전자주식회사 디스플레이 장치 및 이의 ui 제공 방법
KR20140133353A (ko) * 2013-05-10 2014-11-19 삼성전자주식회사 디스플레이 장치 및 그 ui 화면 제공 방법
KR20140133362A (ko) * 2013-05-10 2014-11-19 삼성전자주식회사 디스플레이 장치 및 그 ui 화면 제공 방법
RU2514086C2 (ru) * 2013-07-18 2014-04-27 Открытое акционерное общество "АНГСТРЕМ" Устройство для организации трехмерного пользовательского интерфейса
CN110687969B (zh) 2013-10-30 2023-05-02 苹果公司 显示相关的用户界面对象
US10271010B2 (en) 2013-10-31 2019-04-23 Shindig, Inc. Systems and methods for controlling the display of content
CN105359094A (zh) 2014-04-04 2016-02-24 微软技术许可有限责任公司 可扩展应用表示
WO2015154276A1 (en) 2014-04-10 2015-10-15 Microsoft Technology Licensing, Llc Slider cover for computing device
WO2015154273A1 (en) 2014-04-10 2015-10-15 Microsoft Technology Licensing, Llc Collapsible shell cover for computing device
US11256294B2 (en) 2014-05-30 2022-02-22 Apple Inc. Continuity of applications across devices
CN104331273B (zh) * 2014-07-29 2017-12-29 北京航空航天大学 一种用于复杂产品研制信息浏览的三维用户界面构建方法
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US10642365B2 (en) 2014-09-09 2020-05-05 Microsoft Technology Licensing, Llc Parametric inertia and APIs
US9426193B2 (en) * 2014-10-14 2016-08-23 GravityNav, Inc. Multi-dimensional data visualization, navigation, and menu systems
CN106662891B (zh) 2014-10-30 2019-10-11 微软技术许可有限责任公司 多配置输入设备
USD765134S1 (en) * 2014-12-31 2016-08-30 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
USD797771S1 (en) * 2015-06-11 2017-09-19 Airwatch Llc Display screen, or portion thereof, with a navigational graphical user interface component
USD778924S1 (en) * 2015-07-27 2017-02-14 Microsoft Corporation Display screen with icon
JP6330753B2 (ja) * 2015-08-03 2018-05-30 カシオ計算機株式会社 作業支援システムおよび作業支援方法
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
KR20170028001A (ko) * 2015-09-03 2017-03-13 삼성전자주식회사 전자 장치 및 이의 제어 방법
AU365634S (en) * 2015-09-23 2015-12-03 Ainsworth Game Technology Ltd Display screen with graphical user interface
AU365916S (en) * 2015-09-23 2015-12-16 Ainsworth Game Technology Ltd Display screen with graphical user interface
US10637986B2 (en) 2016-06-10 2020-04-28 Apple Inc. Displaying and updating a set of application views
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
DK201670608A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
US20170357644A1 (en) 2016-06-12 2017-12-14 Apple Inc. Notable moments in a collection of digital assets
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US10133916B2 (en) 2016-09-07 2018-11-20 Steven M. Gottlieb Image and identity validation in video chat events
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
US10983604B2 (en) 2018-05-16 2021-04-20 Alcon Inc. Foot controlled cursor
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
US11610355B1 (en) * 2019-01-23 2023-03-21 Jennifer Francis Interactive augmented reality (AR) entertainment hub
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
CN112351347B (zh) * 2020-10-26 2024-02-09 深圳Tcl新技术有限公司 屏幕焦点移动显示方法、显示设备及存储介质
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030016864A1 (en) * 2001-07-20 2003-01-23 Mcgee Tom Methods of and system for detecting a cartoon in a video data stream
US20040010413A1 (en) * 2002-07-11 2004-01-15 Takei Taka Y. Action voice recorder

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546529A (en) * 1994-07-28 1996-08-13 Xerox Corporation Method and apparatus for visualization of database search results
US5754809A (en) * 1995-12-12 1998-05-19 Dell U.S.A., L.P. Perspective windowing technique for computer graphical user interface
US5812134A (en) * 1996-03-28 1998-09-22 Critical Thought, Inc. User interface navigational system & method for interactive representation of information contained within a database
KR100276257B1 (ko) * 1997-04-07 2000-12-15 이형도 전원공급장치 판별기능을 갖는 유무선 겸용키보드장치 및 그 제어방법
US5956035A (en) * 1997-05-15 1999-09-21 Sony Corporation Menu selection with menu stem and submenu size enlargement
US6260192B1 (en) * 1997-06-02 2001-07-10 Sony Corporation Filtering system based on pattern of usage
US6229542B1 (en) * 1998-07-10 2001-05-08 Intel Corporation Method and apparatus for managing windows in three dimensions in a two dimensional windowing system
WO2000033571A1 (fr) * 1998-11-30 2000-06-08 Sony Corporation Procede et dispositif de delivrance d'information
JP3478192B2 (ja) * 1999-08-20 2003-12-15 日本電気株式会社 画面重畳表示型情報入出力装置
US6473751B1 (en) * 1999-12-10 2002-10-29 Koninklijke Philips Electronics N.V. Method and apparatus for defining search queries and user profiles and viewing search results
US6690391B1 (en) * 2000-07-13 2004-02-10 Sony Corporation Modal display, smooth scroll graphic user interface and remote command device suitable for efficient navigation and selection of dynamic data/options presented within an audio/visual system
JP2002163103A (ja) * 2000-11-29 2002-06-07 Mitsubishi Electric Corp 携帯情報端末及びメニュー表示方法
US6819344B2 (en) * 2001-03-12 2004-11-16 Microsoft Corporation Visualization of multi-dimensional data having an unbounded dimension
JP2002374476A (ja) * 2001-06-18 2002-12-26 Alpine Electronics Inc 情報表示装置
US8972890B2 (en) * 2002-03-06 2015-03-03 Apple Inc. Aminated menu bar
JP2004021522A (ja) * 2002-06-14 2004-01-22 Sony Corp 情報処理装置および方法、並びにプログラム
JP2004295159A (ja) * 2003-02-07 2004-10-21 Sony Corp アイコン表示システム、アイコン表示方法、電子機器装置およびコンピュータプログラム
JP4111030B2 (ja) * 2003-03-26 2008-07-02 アイシン・エィ・ダブリュ株式会社 メニュー表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030016864A1 (en) * 2001-07-20 2003-01-23 Mcgee Tom Methods of and system for detecting a cartoon in a video data stream
US20040010413A1 (en) * 2002-07-11 2004-01-15 Takei Taka Y. Action voice recorder

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696812B2 (en) 2013-05-29 2017-07-04 Samsung Electronics Co., Ltd. Apparatus and method for processing user input using motion of object

Also Published As

Publication number Publication date
KR20070046689A (ko) 2007-05-03
RU2360276C2 (ru) 2009-06-27
AU2004288590A1 (en) 2006-02-23
CN100495294C (zh) 2009-06-03
WO2006022770A1 (en) 2006-03-02
CA2507741A1 (en) 2006-02-03
RU2005120691A (ru) 2006-06-27
CA2507741C (en) 2015-07-07
JP4638913B2 (ja) 2011-02-23
BRPI0406546A (pt) 2006-10-03
US7178111B2 (en) 2007-02-13
US20060031776A1 (en) 2006-02-09
EP1784709B1 (en) 2015-02-25
CN1839365A (zh) 2006-09-27
EP1784709A1 (en) 2007-05-16
JP2008509473A (ja) 2008-03-27
EP1784709A4 (en) 2008-11-19

Similar Documents

Publication Publication Date Title
KR101150008B1 (ko) 다중 평면의 3-차원 사용자 인터페이스
US20220214798A1 (en) Interactive Menu Elements in a Virtual Three-Dimensional Space
KR100643276B1 (ko) 3차원 모션 그래픽 사용자 인터페이스 및 이를 제공하는방법 및 장치
RU2378698C2 (ru) Модель определения ключевого кадра атрибута сопряженных объектов
KR100608589B1 (ko) 3차원 모션 그래픽 사용자 인터페이스 및 이를 제공하는방법 및 장치
EP1960990B1 (en) Voice and video control of interactive electronically simulated environment
US7917868B2 (en) Three-dimensional motion graphic user interface and method and apparatus for providing the same
US20080184139A1 (en) System and method for generating graphical user interfaces and graphical user interface models
US20090327934A1 (en) System and method for a presentation component
US20050183017A1 (en) Seekbar in taskbar player visualization mode
US20070124699A1 (en) Three-dimensional active file explorer
US8739120B2 (en) System and method for stage rendering in a software authoring tool
WO2016036986A1 (en) User interfaces for media application
US20090327897A1 (en) System and Method For An Interactive Presentation System
US8471873B2 (en) Enhanced UI operations leveraging derivative visual representation
KR20130133319A (ko) ３ｄ그래픽 사용자 인터페이스 제작 장치 및 방법
MXPA05007087A (en) Multi-planar three-dimensional user interface
Matysczok et al. Efficient creation of augmented reality content by using an intuitive authoring system
Jordan et al. Beginning iOS6 games development
Weaver et al. Pro JavaFX 2
Cheung et al. Flash Application Design Solutions: The Flash Usability Handbook
Parker et al. Flash MX Designer's ActionScript Reference
AU2005203582A1 (en) User interface for authoring animated transitions
JP2008134995A (ja) ビデオ再生システムにおいてマウスの遠隔制御装置の機能を実現するためのボタンマップを生成するシステムおよび方法
Cheung et al. Flash Application Design Solutions

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160419

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee