KR101662500B1 - 디스플레이-인에이블드 키보드, 키패드, 및/또는 다른 사용자 입력 장치를 사용하여 시각 인터페이스 콘텐츠를 관리, 선택, 및 갱신하는 시스템 및 방법 - Google Patents

디스플레이-인에이블드 키보드, 키패드, 및/또는 다른 사용자 입력 장치를 사용하여 시각 인터페이스 콘텐츠를 관리, 선택, 및 갱신하는 시스템 및 방법 Download PDF

Info

Publication number
KR101662500B1
KR101662500B1 KR1020137020630A KR20137020630A KR101662500B1 KR 101662500 B1 KR101662500 B1 KR 101662500B1 KR 1020137020630 A KR1020137020630 A KR 1020137020630A KR 20137020630 A KR20137020630 A KR 20137020630A KR 101662500 B1 KR101662500 B1 KR 101662500B1
Authority
KR
South Korea
Prior art keywords
interface content
visual
visual interface
display
sub
Prior art date
Application number
KR1020137020630A
Other languages
English (en)
Other versions
KR20140040097A (ko
Inventor
민-량 탄
Original Assignee
레이저 (아시아-퍼시픽) 피티이 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 레이저 (아시아-퍼시픽) 피티이 엘티디 filed Critical 레이저 (아시아-퍼시픽) 피티이 엘티디
Publication of KR20140040097A publication Critical patent/KR20140040097A/ko
Application granted granted Critical
Publication of KR101662500B1 publication Critical patent/KR101662500B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/301—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device using an additional display connected to the game console, e.g. on the controller
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

주요 시각 인터페이스 콘텐츠 및 부속 시각 인터페이스 콘텐츠를 포함하는 시각 인터페이스 콘텐츠를 관리하는 시스템은 프로세싱 유닛, 주요 디스플레이 장치, 메모리, 주요 디스플레이 장치, 및 한 세트의 디스플레이-인에이블드 사용자 입력 장치를 포함한다. 시스템은 시각 인터페이스 콘텐츠 관리 동작을 지시 또는 수행하도록 구성될 수 있고, 상기 시각 인터페이스 콘텐츠 관리 동작은, 사용자 입력에 응답해서 특정한 부속 시각 인터페이스 콘텐츠와 디스플레이-인에이블드 사용자 입력 장치의 일부 및 가능하다면 주요 디스플레이 장치의 일부 간의 연관성 또는 매핑을 선택적으로 구축하는 단계; 상기 주요 디스플레이 장치를 사용해서 주요 시각 인터페이스 콘텐츠를 디스플레이하는 단계; 디스플레이-인에이블드 입력 장치를 사용해서 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계로서, 상기 제1 부속 시각 인터페이스 콘텐츠는, 상기 주요 디스플레이 장치에 없는 시각 환경의 일부에 대응하고 인-어플리케이션 이벤트(in-application event)를 나타내는 시각 정보를 포함하는, 상기 제1 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계; 디스플레이-인에이블드 사용자 입력 장치를 사용해서 응용 프로그램 실행 동안 자동화 방식으로 및/또는 사용자 입력에 응답해서, 갱신된 부속 시각 인터페이스 콘텐츠를 점진적으로 디스플레이하는 단계를 포함한다.

Description

디스플레이-인에이블드 키보드, 키패드, 및/또는 다른 사용자 입력 장치를 사용하여 시각 인터페이스 콘텐츠를 관리, 선택, 및 갱신하는 시스템 및 방법{SYSTEMS AND METHODS FOR MANAGING, SELECTING, AND UPDATING VISUAL INTERFACE CONTENT USING DISPLAY-ENABLED KEYBOARDS, KEYPADS, AND/OR OTHER USER INPUT DEVICES}
본 발명은 디스플레이-인에이블드 키보드, 키패드, 및/또는 다른 유형의 사용자 입력 장치에 의한 시각 정보 또는 광신호의 관리 및 제시(presentation)에 관한 것이다. 특히, 본 발명의 실시예는 주요 시각 인터페이스 콘텐츠 및 부속 시각 인터페이스 콘텐츠를 포함하는 시각 인터페이스 콘텐츠의 제시를 선택적으로 제어하는 시스템 및 방법에 관한 것이다. 주요 시각 인터페이스 콘텐츠는 주요 디스플레이 장치(예를 들어, 컴퓨터 모니터)에 의해 디스플레이될 수 있다. 부속 시각 인터페이스 콘텐츠는 하나 이상의 디스플레이-인에이블드 사용자 입력 장치에 의해 디스플레이될 수 있고 주요 디스플레이 장치에 의해서도 디스플레이될 수 있다. 디스플레이-인에이블드 키보드, 키패드, 컴퓨터 마우스, 또는 게임 컨트롤러와 같은 디스플레이-인에이블드 사용자 입력 장치는, (a) 응용 프로그램 실행의 제어 관점에 관한 사용자 입력을 수신하고; (b) 한 세트의 응용 프로그램과 관련된 부속 시각 인터페이스 콘텐츠의 하나 이상의 유형을, (예를 들어, 디스플레이-인에이블드 사용자 입력 장치로) 사용자 입력, 주요 시각 인터페이스 콘텐츠, 및/또는 응용 프로그램 실행 맥락, 상황, 또는 상태에 기반한 적응 방식으로 선택적으로 제시하도록 구성되어 있다.
전자게임이 최근 수십 년 동안 대중화되어 왔다. 1인칭 슈팅(First Person Shooter: FPS) 게임 및 인터넷 기반의 대규모 다중사용자 온라인(massively multiplayer online: MMO) 게임과 같이, 다양한 유형의 전자게임이 강력한 또는 매우 강력한 시장 성장을 거듭 시연하고 있다. 이러한 유형의 게임뿐만 아니라 다른 유형의 전자게임이 앞으로도 계속해서 강력한 시장 성장을 시연할 것으로 기대되고 있다.
게임에 대응하는 응용 프로그램의 실행 동안, 게임 관련의 시각적 콘텐츠를 제공하는 시각 인터페이스가 사용자, 플레이어 또는 게이머에게 제시되거나 표시된다. 고려 중인 게임 응용 프로그램에 따라, 시각 인터페이스는, 게임 플레이가 현재 생기는 중인 특정한 게임 환경; 게임 캐릭터 간의 현재 상호작용; 현재 관련된 게임 관련 정보(예를 들어, 캐릭터 상태 또는 속성, 또는 시각적 또는 가상의 환경 맵); 및 사용자에게 보내는 메시지에 대응하는 장면에 대한 시각적 표상(visual representation)을 포함할 수 있다. 시각 인터페이스는 사용자 선택을 위해 현재 이용할 수 있는 특정한 유형의 게임 관련 기능 또는 동작에 대한 시각적 표상을 더 포함할 수 있다. 전자게임의 맥락, 상황, 상태가 사용자 입력 및 게임 응용 프로그램 실행과 관련해서 거듭 진화하고 있으므로, 시각 인터페이스 콘텐츠는 현재 게임 맥락, 상황, 또는 상태를 어떤 순간에라도 적응적으로 나타내어야 한다. 즉, 시각 인터페이스 콘텐츠가 사용자 선택을 위해 현재 이용할 수 있는 현재 게임 환경, 게임 캐릭터 간의 현재 상호작용, 현재 게임 관련 정보, 및 현재 관련(예를 들어, 전략 또는 전술 관련) 게임 관련의 기능 또는 동작을 시각적으로 이동할 수 있도록, 시각 인터페이스 콘텐츠는 적절하게 동적으로 갱신되어야 한다.
기술이 진화함에 따라, 전자게임과 시각 인터페이스는 상호연관되어 점차 복잡해져 왔다. 예를 들어, 게임 플레이가 생길 수 있는 시각적 환경의 유형; 게임 캐릭터 및 이러한 캐릭터가 동작 및/또는 상호작용할 수 있는 방식의 유형; 사용자에게 제공될 수 있는 게임 관련 정보의 유형; 및 상황 값이 될 수 있는 사용자 선택 가능형 게임 관련 기능 또는 동작은 증가하여 왔고 및/또는 더 복잡해져 왔다. 안타깝게도, 시각 인터페이스 콘텐츠를 제공하는 종래의 시스템, 장치, 디바이스 및 기술이 그러한 컨텐츠를 진화하고 있는 게임 맥락, 상황 또는 상태에 적응시키는 방식은 바람직하지 않게 제한적이고, 비효율적이거나 다루기 힘들다. 또한, 특정한 게임 응용 프로그램에 대응하는 한 세트의 주문된 사용자 선택 가능형 키 또는 버튼을 제공하는 특정한 게임 키보드와 같이, 사용자 선택을 위해 제공되는 게임 관련 응용 프로그램의 기능의 수를 맞추거나 증가시키는 종래의 시스템, 장치, 디바이스 및 기술은 (동일한 게임의 상이한 생성을 포함하는) 상이한 게임 응용 프로그램상의 사용자 선택 가능형 기능의 상이한 유형 및/또는 증가한 수에 적응시킬 능력과 관련해서 융통성이 없다.
전술한바 외에, 많은 게임의 복잡도와 그래픽 디테일, 및 가상 환경과의 사용자 상호작용에 대응해서 생성될 수 있는 순수한 시각 정보의 양이 증가함에 따라, 게임 플레이 동안 디스플레이에서 보여주는 시각 인터페이스 콘텐츠의 양 및/또는 유형이 증가하게 되었고, 이에 따라 시각 인터페이스 콘텐츠에서는 혼란, 혼동, 시각적 산만, 또는 해석 및 해독의 곤란성이 나타날 수 있고, 이는 게임 응용 프로그램과 상호작용할 때에 사용자의 시각적 경험, 사용자 입력 정확성, 및/또는 사용자 효율성에 악영향을 미칠 수 있다.
따라서, 사용자의 시각적 경험을 강화시키고, 게임 응용 프로그램과의 사용자 상호작용의 효율성을 높이고, 및/또는 사용자 선택을 위해 이용할 수 있는 게임 응용 프로그램 관련 기능 또는 동작의 수 및/또는 유형을 증가시킬 수 있는 방식으로, 사용자에게 시각 인터페이스 콘텐츠를 제시하고 시각 인터페이스 콘텐츠를 적응적으로 갱신하는, 개선된 시스템, 장치, 디바이스, 방법, 및/또는 기술이 요망된다.
여기서 설명된 다양한 실시예에서, 시각 인터페이스 콘텐츠는 현재의 응용 프로그램 실행 맥락을 나타내는 주요 시각 인터페이스 콘텐츠 및 응용 프로그램 실행과 관련된 시각 정보를 제공하는 부속 시각 인터페이스 콘텐츠를 포함한다.
본 발명의 한 관점에 따르면, 응용 프로그램 실행 동안 주요 시각 인터페이스 콘텐츠 및 부속 시각 인터페이스 콘텐츠를 포함하는 시각 인터페이스 콘텐츠를 제시하는 자동화된 프로세스는, 응용 프로그램 실행 동안 주요 디스플레이 장치를 사용해서 제1 주요 시각 인터페이스 콘텐츠를 디스플레이하는 단계; 응용 프로그램 실행 동안 한 세트의 디스플레이-인에이블드 입력 장치를 사용해서 제1 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계로서, 상기 제1 부속 시각 인터페이스 콘텐츠는, 상기 주요 디스플레이 장치에 없는 시각 환경의 일부에 대응하고 상기 응용 프로그램의 실행 맥락 내의 응용 프로그램 이벤트를 나타내는 시각 정보를 포함하는, 상기 제1 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계; 및 상기 주요 디스플레이 장치를 사용해서 갱신된 주요 시각 인터페이스 콘텐츠(예를 들어, 적어도 제2 주요 시각 인터페이스 콘텐츠) 및 상기 한 세트의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 갱신된 부속 시각 인터페이스 콘텐츠(예를 들어, 적어도 제2 부속 시각 인터페이스 콘텐츠) 중 적어도 하나를 디스플레이함으로써, 갱신된 시각 인터페이스 콘텐츠를 점진적으로 디스플레이하는 단계를 포함하며, 상기 갱신된 주요 시각 인터페이스 콘텐츠는 상기 제1 주요 시각 인터페이스 콘텐츠와 구별되며, 상기 갱신된 부속 시각 인터페이스 콘텐츠는 갱신 부속 시각 인터페이스 콘텐츠와 구별된다.
상기 갱신된 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계는, (a) 응용 프로그램 실행 동안 한 세트의 응용 프로그램 이벤트 중 적어도 하나의 응용 프로그램 이벤트의 발생의 결과로서 자동으로; (b) 응용 프로그램 실행 동안 응용 프로그램과의 상호작용과 관련된 사용자 입력에 응답해서 발생한다.
프로세스는 상기 한 세트의 디스플레이-인에이블드 사용자 입력 장치 중 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치의 일부와, 상기 제1 부속 시각 인터페이스 콘텐츠와 상기 갱신된 부속 시각 인터페이스 콘텐츠 중 적어도 하나의 적어도 서브세트 간의 매핑을 사용자 입력에 응답해서 선택적으로 구축하는 단계를 더 포함할 수 있다. 이러한 사용자 입력은, 상기 한 세트의 디스플레이-인에이블드 사용자 입력 장치 중 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치상에, 상기 제1 부속 시각 인터페이스 콘텐츠와 상기 갱신된 부속 시각 인터페이스 콘텐츠 중 적어도 하나의 적어도 서브세트의 디스플레이 위치를 선택적으로 규정하는 것과 선택적으로 수정하는 것 중 적어도 하나를 수행할 수 있다. 사용자 입력은, 상기 한 세트의 디스플레이-인에이블드 사용자 입력 장치 중 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치의 그래픽 표현(graphical representation)을 제공하는 그래픽 구성 인터페이스와 관련된 드래그 앤 드롭(drag and drop) 동작과 같은, 하나 이상의 그래픽 대상 조작을 포함할 수 있다. 프로세스는, (a) 이러한 디스플레이-인에이블드 사용자 입력 장치의 그래픽 제시를 제공하는 구성 인터페이스; 및/또는 (b) 하나 이상의 실제의 디스플레이-인에이블드 사용자 입력 장치에 관련된 사용자 입력에 따라 하나 이상의 디스플레이-인에이블드 사용자 입력 장치와 관련해서 특정한 부속 시각 인터페이스 콘텐츠의 디스플레이 위치(들) 및 장소(들)를 조정하거나 수정하는 단계를 더 포함할 수 있다.
전술한 매핑을 선택적으로 구축하는 사용자 입력에 기초하거나 응답해서, 프로세스는 또한 사용자 입력에 기초하여 상기 제1 주요 시각 인터페이스 콘텐츠를 디스플레이하도록 상기 주요 디스플레이 장치의 일부를 이용할 수 있는 범위를 증가 또는 조정할 수 있는데, 예를 들어, 상기 사용자 입력에 기초해서 상기 제1 주요 시각 인터페이스 콘텐츠에 의해 전달되는 시각 정보의 양과 비주얼 디테일(visual detail)의 양 중 적어도 하나를 증가시킴으로써 조정할 수 있다.
프로세스는 또한 상기 한 세트의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 상기 제1 부속 시각 인터페이스 콘텐츠의 디스플레이와 동시에, 상기 주요 디스플레이 장치를 사용해서 상기 제1 부속 시각 인터페이스 콘텐츠의 서브세트를 적어도 디스플레이하는 단계를 더 포함하며, 상기 제1 부속 시각 인터페이스 콘텐츠의 서브세트는 상기 한 세트의 디스플레이-인에이블드 사용자 입력 장치에 의해 디스플레이될 부속 시각 인터페이스 콘텐츠의 양에 대응하는 사용자 입력에 기초해서 선택적으로 결정 또는 규정된다. 이 사용자 입력은, 상기 주요 디스플레이 장치에 의한 디스플레이로부터 배제될 부속 시각 인터페이스 콘텐츠의 양을 나타내거나, 또는 상기 주요 디스플레이 장치보다는 상기 한 세트의 디스플레이-인에이블드 사용자 입력 장치에 의해 제1 및/또는 갱신된 부속 시각 인터페이스 콘텐츠의 일부 또는 전부를 독점적으로 디스플레이하는 것을 나타낼 수 있다.
특정한 실시예에서, 상기 제1 주요 시각 인터페이스 콘텐츠는 제1 시각 환경의 일부를 제공할 수 있으며, 상기 제1 부속 시각 인터페이스 콘텐츠는 제1 원격 이벤트 통지 및 제1 원격 모니터링 콘텐츠 중 적어도 하나를 포함할 수 있으며, 상기 제1 원격 이벤트 통지 및 상기 제1 원격 모니터링 콘텐츠 각각은 상기 제1 시각 환경으로부터 배제되는 제2 시각 환경에 대응한다. 상기 제1 시각 환경은 제1 세트의 가상 기하학적 경계를 가지는 제1 가상 기하학적 영역에 대응할 수 있고, 상기 제2 시각 환경은 상기 제1 세트의 가상 기하학적 경계 밖에 있는 제2 세트의 가상 기하학적 경계를 가지는 제2 가상 기하학적 영역에 대응할 수 있다. 일부의 실시예에서, 제1 시각 환경 및 제2 시각 환경 각각은 전자게임에 대응할 수 있다.
갱신된 시각 인터페이스 콘텐츠를 적응적으로 디스플레이하는 단계는, 상기 주요 디스플레이 장치를 사용해서 상기 제2 시각 환경의 적어도 일부를 상기 갱신된 주요 시각 인터페이스 콘텐츠의 일부로서 디스플레이하는 단계, 및 상기 제1 시각 환경의 디스플레이를 간섭 및 종료하는 단계를 포함할 수 있다. 상기 갱신된 시각 인터페이스 콘텐츠 입력을 적응적으로 디스플레이하는 단계는, 상기 제1 부속 시각 인터페이스 콘텐츠가 없었던 제2 원격 이벤트 통지, 상기 제1 부속 시각 인터페이스 콘텐츠가 없었던 제2 원격 모니터링 콘텐츠, 및 상기 제1 부속 시각 인터페이스 콘텐츠가 없었던 한 세트의 사용자 선택 가능형 응용 프로그램 기능 중 적어도 하나를 포함하는 제2 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계를 더 포함할 수 있다.
실시예에서, 상기 한 세트의 디스플레이-인에이블드 입력 장치를 사용해서 제1 부속 시각 인터페이스 콘텐츠 및/또는 갱신된 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계는, 상기 주요 디스플레이 장치보다는 상기 한 세트의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 한 세트의 시각 오버레이(visual overlay)를 디스플레이하는 단계를 포함한다. 제1 부속 시각 인터페이스 콘텐츠 및/또는 갱신된 부속 시각 인터페이스 콘텐츠 내의 특정한 시각 오버레이의 포함 및 이러한 오버레이의 디스플레이는 사용자 입력에 응답해서 선택적으로 또는 프로그램 가능하게 결정될 수 있다.
본 발명의 다른 관점에 따르면, 시각 인터페이스 콘텐츠 관리 프로세스는, 상기 제1 주요 디스플레이 장치를 사용해서 상기 제1 부속 시각 인터페이스 콘텐츠의 서브세트를 디스플레이하는 단계; 상기 제1 주요 디스플레이 장치를 사용해서 상기 제1 부속 시각 인터페이스 콘텐츠의 서브세트에 대응하는 한 세트의 그래픽 시각 콘텐츠 전달 제어를 디스플레이하는 단계; 및 상기 한 세트의 그래픽 시각 콘텐츠 전달 제어 내의 그래픽 시각 콘텐츠 전달 제어의 사용자 선택에 응답해서, 상기 한 세트의 디스플레이 인에이블드 사용자 입력 장치를 사용해서 상기 제1 부속 시각 인터페이스 콘텐츠의 서브세트를 디스플레이하는 단계를 더 포함할 수 있다. 이 프로세스는, 상기 한 세트의 그래픽 시각 콘텐츠 전달 제어 내의 그래픽 시각 콘텐츠 전달 제어의 사용자 선택 이후에 상기 제1 디스플레이 장치에 의한 상기 제1 부속 시각 인터페이스 콘텐츠의 서브세트의 디스플레이를 회피하는 단계를 더 포함할 수 있다.
본 발명의 다른 관점에 따르면, 시각 인터페이스 콘텐츠 관리 프로세스는, 상기 주요 디스플레이 장치보다는 상기 한 세트의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 제1 시간 간격 동안 상기 제1 부속 시각 인터페이스 콘텐츠의 서브세트를 디스플레이하는 단계; 상기 한 세트의 디스플레이-인에이블드 사용자 입력 장치 중 하나의 디스플레이-인에이블드 사용자 입력 장치로부터 사용자 입력을 수신하는 단계; 및 상기 사용자 입력에 응답해서 상기 주요 디스플레이 장치를 사용해서 제2 시간 간격 동안 상기 제1 부속 시각 인터페이스 콘텐츠의 서브세트를 디스플레이하는 단계를 추가로 또는 대안으로 포함할 수 있으며, 상기 사용자 입력은, 상기 한 세트의 디스플레이-인에이블드 사용자 입력 장치 중 하나의 디스플레이-인에이블드 사용자 입력 장치의 일부에 의해 디스플레이되는 이미지, 아이콘, 심벌, 및 텍스트 중 하나에 대응할 수 있다. 이러한 프로세스는, 상기 제2 시간 간격 동안 상기 한 세트의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 상기 제1 부속 시각 인터페이스 콘텐츠의 서브세트의 디스플레이를 회피 또는 방지하는 단계를 더 포함할 수 있다.
본 발명의 한 관점에 따르면, 상기 응용 프로그램 실행 동안 한 세트의 디스플레이-인에이블드 입력 장치를 사용해서 제1 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계는, 디스플레이-인에이블드 컴퓨터 마우스 및 디스플레이-인에이블드 게임 컨트롤러 중 하나에 수반되어 있는 한 세트의 디스플레이-인에이블드 버튼을 사용해서 제1 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계를 포함할 수 있다. 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계는, 디스플레이-인에이블드 키보드와 같은, 하나 이상의 다른 유형의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 이러한 콘텐츠를 디스플레이하는 단계를 추가로 또는 대안으로 포함할 수 있다.
본 발명의 한 관점에 따르면, 하나 이상의 컴퓨터 판독 가능 매체는 한 세트의 컴퓨터 판독 가능 매체는, 여기서 설명한 특정한 프로세스 또는 프로세스 일부에 대응하는 또는 관련된 본 발명에 따라, 실행되면, 프로세싱 유닛, 메모리, 주요 디스플레이 장치, 및 한 세트의 디스플레이-인에이블드 사용자 입력 장치를 가지는 자동화된 시스템으로 하여금 특정한 시각 인터페이스 콘텐츠 관리 동작을 관리, 지시, 및/또는 수행하게 하는 하나 이상의 프로그램 명령 세트를 저장할 수 있다.
본 발명의 한 관점에 따르면, 응용 프로그램 실행 동안 주요 시각 인터페이스 콘텐츠 및 부속 시각 인터페이스 콘텐츠를 포함하거나 망라하는 시각 인터페이스 콘텐츠를 관리하는 시스템은, 프로세싱 유닛; 상기 프로세싱 유닛에 결합되어 있는 주요 디스플레이 장치; 상기 프로세싱 유닛에 결합되어 있는 한 세트의 디스플레이-인에이블드 사용자 입력 장치; 및 상기 프로세싱 유닛에 결합되어 있는 메모리를 포함한다. 상기 메모리는 응용 프로그램; 및 실행될 때, 여기서 설명한 특정한 프로세스 또는 프로세스 일부에 대응하는 또는 관련된 본 발명에 따른 동작과 같은 시각 인터페이스 콘텐츠 관리 동작을 관리, 지시, 및/또는 수행하는 프로그램 명령을 포함하는 시각 인터페이스 콘텐츠 관리자를 포함할 수 있다.
본 발명의 실시예에 대해 이하의 도면을 참조하여 이하에 설명한다.
도 1a 내지 도 1e는 본 발명의 실시예에 따라 주요 디스플레이 장치 및 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치를 사용하여 주요 시각 인터페이스 콘텐츠 및 부속 시각 인터페이스 콘텐츠를 매핑, 제어, 선택, 제시, 및/또는 갱신하는 대표적인 시스템에 대한 개략도이다.
도 1f는 부속 시각 인터페이스 콘텐츠가 사용자 입력에 응답해서 적응, 갱신, 또는 변경되었거나, 또는 본 발명의 실시예에 따라 자동으로 갱신된, 도 1e에 대응하는 대표적인 시스템에 대한 개략도이다.
도 1g는 주요 시각 인터페이스 콘텐츠 및 소정의 부속 시각 인터페이스 콘텐츠가 사용자 입력 또는 본 발명의 실시예에 따른 어플리케이션 시나리오, 상황, 조건, 또는 이벤트의 발생에 응답해서 적응, 갱신, 또는 변경된, 도 1e에 대응하는 대표적인 시스템에 대한 개략도이다.
도 1h는 본 발명의 실시예에 따라 주요 디스플레이 장치 및 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치를 사용하여 주요 시각 인터페이스 콘텐츠 및 부속 시각 인터페이스 콘텐츠를 매핑, 제어, 선택, 제시, 및/또는 갱신하는 대표적인 시스템에 대한 개략도이다.
도 2a는 본 발명의 실시예에 따라 주요 디스플레이 장치 및 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치를 사용하여 주요 시각 인터페이스 콘텐츠 및 부속 시각 인터페이스 콘텐츠를 생성, 매핑, 제어, 선택, 제시, 및/또는 갱신하는 대표적인 시스템에 대한 개략도이다.
도 2b는 본 발명의 실시예에 따른 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치에 대한 블록도이다.
도 3a는 본 발명의 실시예에 따른 대표적인 시각 콘텐츠 구성 인터페이스에 대한 개략도이다.
도 3b는 본 발명의 실시예에 따른 대표적인 시각 콘텐츠 구성 인터페이스에 대한 개략도이다.
도 4a는 본 발명의 실시예에 따른 주요 디스플레이 장치에 의해 디스플레이되는 특정한 부속 시각 인터페이스 콘텐츠에 대응하는 제1 및 제2 그래픽 시각 콘텐츠 전달 제어에 대한 개략도이다.
도 4b는 본 발명의 실시예에 따른 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치에 의해 수반된 제1 시각 콘텐츠 전달 키 또는 버튼 및 제2 시각 콘텐츠 전달 키 또는 버튼에 대한 개략도이다.
도 5는 본 발명의 실시예에 따라 주요 디스플레이 장치 및 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치를 사용하여 주요 시각 인터페이스 콘텐츠 및 부속 시각 인터페이스 콘텐츠를 생성, 매핑, 제어, 선택, 제시, 및/또는 갱신하는 프로세스에 대한 흐름도이다.
전술한 문제 중 하나 이상을 해결하는 본 발명의 대표적인 실시예에 대해 도 1a 내지 1h, 도 2a 및 2b, 도 3a 및 3b, 도 4a 및 4b, 및 도 5를 참조하여 이하에 설명한다. 설명을 간단하고 명확하게 하기 위해, 본 명세서에서는 주요 시각 인터페이스 및 하나 이상의 부속, 보조, 또는 이차의 시각 인터페이스에 대응하는 시각 정보를 관리, 조정, 매핑, 제어, 제시, 및/또는 선택하는 사용자 인터페이스 시스템, 장치, 디바이스, 기술 및 프로세스에 대해 주로 설명한다. 그렇지만, 이것은 동작, 기능, 또는 수행 특성과 같은 본 발명의 다양한 실시예 간에 일반적인 기본 원리를 필요로 하는 다른 어플리케이션으로부터 본 발명의 다양한 실시예를 하지 못하게 하는 것이 아니다. 본 명세서의 상세한 설명 및 대응하는 도면과 관련해서, 유사한 또는 동일한 도면부호는 유사한 또는 동일한 구성요소를 나타낸다. 도 1a 내지 도 5 중 하나 이상의 도면에 대응하는 서술 자료와 관련해서, 주어진 도면부호를 재인용하는 것은 이러한 도면부호가 이미 나타나 있었던 도면을 동시에 고려하는 것을 나타낼 수 있다.
본 발명의 문맥에서, 세트라는 용어는 공지의 수학적 정의에 따라(예를 들어, Peter J. Eccles 저, Cambridge University Press(1998) 출간, An Introduction Mathematical Reasoning : Numbers , Sets , and Functions, "Chapter 11: Properties of Finite Sets"(예를 들어, 140쪽에 표시되어 있음)에 설명되어 있는 것에 상응하는 방식으로), 적어도 1의 계량 수를 수학적으로 나타내는 비공의(non-empty) 유한 조직의 소자로서 정의된다(예를 들어, 본 명세서에서 정의되는 하나의 세트는 하나 또는 하나의 소자 세트, 또는 복수의 소자 세트에 대응할 수 있다).
주요 및 부속 사용자 인터페이스의 대표적 관점
일반적으로, 사용자 인터페이스는 하드웨어(예를 들어, 사용자 입력 하드웨어 및 시각 정보 출력 하드웨어), 소프트웨어(예를 들어, 펌웨어, 운영체제, 및 응용 프로그램 중 하나 이상에 대응하는 프로그램 명령), 생성된 시각 정보 또는 구성(텍스트, 심벌, 아이콘, 그래픽 위젯, 시각 환경 또는 장면, 애니메이션, 비디오 및 사용자 및/또는 논-플레이어 캐릭터의 초상 중 하나 이상), 생성된 효과(라이팅 효과 또는 사운드), 및/또는 자동화된, 컴퓨터화된, 또는 전자 시스템 또는 장치, 및/또는 이러한 시스템 또는 장치의 다른 사용자와 사용자와의 상호작용을 용이하게 하거나 효과적이게 하는 통신 정보(예를 들어, 통지 또는 메시지)를 포함할 수 있다.
본 발명의 실시예에 따르면, 사용자 인터페이스는 주요 시각 인터페이스 및 이 주요 시각 인터페이스와 관련된 하나 이상의 부속 시각 인터페이스를 포함한다. 부속 시각 인터페이스는 주요 시각 인터페이스, 응용 프로그램, 및/또는 다른 사용자와의 사용자 상호작용을 원활하게 하거나 강화할 수 있다. 부속 시각 인터페이스는 주요 시각 인터페이스에 대한 지원 인터페이스의 역할을 할 수 있고 그리고 특정한 유형의 사용자 제어 가능형 또는 사용자 선택 가능형 작업 또는 동작에 연관 또는 관련될 수 있다.
일반적으로, 주요 시각 인터페이스는 주요 시각 콘텐츠, 정보, 및/또는 신호(이하 주요 시각 콘텐츠라고 함)를 제공, 제시, 또는 출력하도록 구성되어 있고, 부속 시각 인터페이스는 부속 시각 콘텐츠, 정보, 및/또는 신호(이하 부속 시각 콘텐츠라고 함)를 제공, 제시, 또는 출력하도록 구성되어 있다. 주요 시각 인터페이스는 현재의 실행 상황, 맥락, 또는 한 세트의 로컬 및/또는 원격 응용 프로그램의 상태뿐만 아니라 이러한 응용 프로그램과의 사용자 상호작용의 결과가 시각적으로 표시, 출력, 또는 전달되는 시각 정보 또는 요지의 주요, 제1의, 메인, 또는 가장 직접적 소스의 역할을 한다. 주요 시각 콘텐츠는 응용 프로그램의 현재의 실행 상황, 상태, 또는 맥락에 따라, 동적으로 또는 점진적으로 (예를 들어, 실시간으로, 거의 실시간으로, 준실시간으로, 동기적으로, 또는 일반적인 동기 방식으로) 갱신된다. 예를 들어, 응용 프로그램 실행 상태는 한 세트의 대응하는 로컬 및/또는 원격 응용 프로그램과의 로컬 및/또는 원격 사용자 상호작용에 응답해서 진화할 수 있고, 주요 시각 콘텐츠는 이에 대응해서 그러한 사용자 상호작용에 기초해서 갱신될 수 있다. 그러므로 주요 시각 콘텐츠는 현재의 응용 프로그램 실행 맥락 및 하나 이상의 사용자의 현재 상태 또는 상황을 임의의 주어진 시간에 시각적으로 표시하거나 그에 대응할 수 있다.
부속 시각 콘텐츠는 주요 시각 인터페이스 및/또는 로컬 또는 원격 응용 프로그램과 연관된 하나 이상 유형의 기능, 동작, 또는 작업의 수행을 용이하게 하거나 가능하게 하는 부속, 연관, 또는 이차의 정보 또는 요지의 역할을 한다. 실시예에 대한 상세한 설명에 따라, 부속 시각 콘텐츠는 (a) 현재의 주요 시각 콘텐츠와 직접 관련되거나, 현재의 주요 시각 콘텐츠에 의해 표시되거나, 또는 현재의 주요 시각 콘텐츠를 반영하고, 현재 진행 중인 응용 프로그램의 실행 맥락 또는 주제의 진행(thematic progression) 내에서 발생하는 인-어플리케이션 이벤트(in-application event)를 포함하는 응용 프로그램 이벤트(이하 응용 프로그램 이벤트라고 함); (b) (주요 시각 인터페이스 콘텐츠(110)에 없는, 시각 또는 가상의 환경 또는 세계의 현재 디스플레이되지 않는 부분에 대응하는) 현재의 주요 시각 콘텐츠에 간접적으로 관련되거나, 현재의 주요 시각 콘텐츠와 관련되지 않거나, 또는 현재의 주요 시각 콘텐츠를 반영하지 않는 응용 프로그램 이벤트(예를 들어, 인-어플리케이션 이벤트); (c) 응용 프로그램과 관련된 텍스트, 애니메이션, 또는 그래픽 콘텐츠, 요소, 대상, 심벌, 엠블렘, 구성, 또는 실체 표현(예를 들어, 게임 캐릭터); (d) 다른 사용자로부터 수신되는 시각 정보(예를 들어, 텍스트 및/또는 비디오); (e) 응용 프로그램과 관련된 이벤트의 연대, 묘사, 또는 순서; 및/또는 (f) 다른 정보에 상응할 수 있다.
일반적으로, 부속 시각 콘텐츠는 주요 시각 콘텐츠의 변경; 응용 프로그램 실행 상태, 맥락, 또는 상황; 및/또는 사용자 입력에 기초해서 적응적으로 갱신될 수 있다. 부속 시각 콘텐츠는 (a) 주요 시각 콘텐츠가 응용 프로그램 실행 동안 점진적으로 또는 동적으로 갱신되는 동안 선택적으로 검색, 발생, 제시, 간섭, 또는 회상될 수 있거나; 또는 (b) 주요 시각 콘텐츠가 점진적으로 또는 동적으로 갱신되는 동안 1회 이상 집요하게 대체로 집요하게 남을 수 있다. 특정한 부속 시각 콘텐츠는 주요 시각 콘텐츠 및/또는 현재의 응용 프로그램 실행 상태 또는 맥락에 따라 사용자에게 제시 또는 디스플레이될 수 있거나 감춰질 수 있다.
설명을 간단히 하면서 이해를 돕기 위해, 본 명세서의 상세한 설명 중 특정한 부분은 주요 시각 콘텐츠 및 부속 시각 콘텐츠가 싱글 플레이어, 멀티 플레이어 또는 전자 게임과 같은 전자 엔터테인먼트 어플리케이션과 대응하거나 관련되어 있는 실시예에 관한 것이며, 상기 전자 게임으로서는, 전략 게임, 전술 게임, 모험 게임, 비주얼 노벨(visual novel), 인터랙티브 무비, 액션-어드벤처 게임, 롤플레잉 게임(role playing game: RPG), 내비게이션 게임, 전투 게임, 1인칭 슈팅(예를 들어, first person shooter: FPS) 게임, 3인칭 슈팅(예를 들어, third person shooter) 게임, 자동차(예를 들어, 레이싱) 게임, 교육용 게임, 트레이닝 게임, 시뮬레이션(예를 들어, 라이프 시나리오, 구성, 비즈니스, 항공기, 우주선, 또는 다른 유형의 시뮬레이션) 게임, 미로 게임, 퍼즐 게임, 트리비아(trivia) 게임, 보드 게임(예를 들어, 체커, 체스, 마작), 카드 게임, 도박 게임, 음악 게임, 댄스 게임, 스포츠 게임, 연습용 게임, 파티 게임, 및/또는 다른 유형의 게임 중 하나 이상과 같은 임의 게임 장르에 본질적으로 상응할 수 있다.
일부의 실시예에서, 주요 시각 콘텐츠 및 부속 시각 콘텐츠는 수십 명, 수백 명, 심지어 수천 명의 사용자, 플레이어, 또는 참여자가 참가할 수 있는 MMO 게임에 상응하거나 관련될 수 있다. MMO 게임은 예를 들어 MMO 롤플레잉 게임(MMORPG), MMO 실시간 전략(MMORTS) 게임, MMO 1인칭 슈팅(MMOFPS) 게임, MMO 소셜 게임(MMOSOG), MMO 스포츠 게임(MMOSG), 또는 다른 유형의 MMO 게임일 수 있다.
전술한 바에도, 본 발명의 관점은, 사용자 대 사용자 제휴, 통신 또는 메시징(예를 들어, 전자 회의, 또는 텍스트, 음성, 또는 영상 메시징 또는 채팅)에 상응하거나 관련되어 있는 주요 시각 콘텐츠 및 부속 시각 콘텐츠; 가상 세계 또는 가상 사회와의 사용자 상호작용; 사용자 교육/훈련; 미디어 콘텐츠 개발(예를 들어, 시각 및/또는 청각 정보 편집); 또는 컴퓨터 또는 전자 게이밍과 관련될 수도 있고 관련되지 않을 수도 있는 다른 어플리케이션을 추가로 또는 대안으로 포함할 수 있다.
대표적인 시스템 실시예에 대한 관점
도 1a 내지 도 1g는 본 발명의 특정한 실시예에 따라 주요 디스플레이 장치(100) 및 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치(200)를 사용해서 주요 시각 인터페이스 콘텐츠(110) 및 부속 시각 인터페이스 콘텐츠(210)를 관리, 제어, 선택, 제시, 및/또는 갱신하는 대표적인 시스템(10)의 일부에 대한 개략도이다. 주요 디스플레이 장치(100) 및 각각의 디스플레이-인에이블드 사용자 입력 장치(200)는, 본 발명의 실시예에 따라, 시각 인터페이스 콘텐츠 관리 동작을 관리, 지시, 또는 수행하고, 주요 시각 인터페이스 콘텐츠 관리 동작 및 부속 시각 인터페이스 콘텐츠 관리 동작을 포함하는 저장된 프로그램 명령을 실행 및/또는 상태 머신 동작을 수행하도록 구성되어 있는 데스크톱 또는 랩톱 컴퓨터 또는 전자 게이밍 시스템, 장치, 또는 디바이스(예를 들어, 게임 콘솔 시스템, 또는 포터블 또는 휴대형 게이밍 장치)와 같은 컴퓨터 시스템 또는 컴퓨팅 디바이스의 일부에 결합되거나 형성한다.
주요 시각 인터페이스 콘텐츠(110)는 전술한 바와 같은 주요 시각 콘텐츠에 대응하고, 주요 시각 인터페이스 콘텐츠(110)로 구성되는 하드웨어, 주요 시각 인터페이스 콘텐츠(110)의 제시를 생성, 갱신, 및/또는 관리 또는 제어하도록 구성되어 있는 소프트웨어 또는 프로그램 명령, 및 주요 시각 인터페이스 콘텐츠(110) 자체를 포함할 수 있는 주요 시각 인터페이스의 일부를 형성한다. 대표적인 유형의 주요 시각 인터페이스 콘텐츠(110)는, 한 명 이상의 로컬 사용자, 한 명 이상의 원격 사용자, 및/또는 논-플레이어 캐릭터와 관련된 캐릭터의 이미지 또는 시각적 대표성; 및 시각적 또는 가상의 환경 또는 세계의 일부를 형성하는 그래픽 요소를 포함한다. 주요 시각 인터페이스 콘텐츠(110)는 주요 디스플레이 장치(100)의 주요 보기 영역, 표면, 면적, 또는 윈도(102)에 제시 또는 디스플레이될 수 있다.
부속 시각 인터페이스 콘텐츠(210)는 전술한 바와 같은 부속 시각 콘텐츠에 대응하고, 부속 시각 인터페이스 콘텐츠(210)로 구성되는 하드웨어, 부속 시각 인터페이스 콘텐츠(110)의 제시를 생성, 갱신, 및/또는 관리 또는 제어하도록 구성되어 있는 소프트웨어 또는 프로그램 명령, 및 부속 시각 인터페이스 콘텐츠(210) 자체를 포함할 수 있는 부속 시각 인터페이스의 일부를 형성한다.
특정한 대표적인 유형의 부속 시각 인터페이스 콘텐츠(210)는 예를 들어 (a) 하나 이상의 세트의 선택 가능한 이미지 또는 그래픽 아이콘(210a)(예를 들어, 시각적으로 선택 가능한 응용 프로그램 기능 또는 기능 순서에 대응함); (b) 하나 이상 유형의 시각적 메시지(예를 들어, 텍스트 또는 영상 메시지, 또는 생생한 묘사 속의 장면); (c) 특정한 주요 시각 인터페이스 콘텐츠(110) 및/또는 응용 프로그램 주제에 상응하는 서술 또는 범주 정보 또는 데이터(210c)(예를 들어, 시각적 또는 가상의 환경 또는 세계 내의 대상과 관련된 설명 정보를 제공하는 텍스트, 그래픽, 및/또는 이미지 데이터); (d) 특정한 응용 프로그램 기능 또는 기능 순서의 사용자 선택에 응답해서 디스플레이될 수 있는 하나 이상의 비주얼 오버레이 또는 메뉴(210d,e); (e) 현재의 주요 시각 인터페이스 콘텐츠(110)에 의해 직접적으로 나타내거나 직접적이지 않게 나타내는 또는 전달되는 응용 프로그램 상황, 조건, 또는 이벤트에 대응하는 하나 이상의 시각 조건 또는 이벤트 통지(210f)(예를 들어, 현재의 주요 시각 인터페이스 콘텐츠(110)와 관련된 이벤트의 통지 및/또는 현재의 주요 시각 인터페이스 콘텐츠(110)에 의해 규정되는 영역 또는 시각적 공간에 대해 밖에 또는 외부에 있는 시각적 또는 가상의 환경 또는 세계의 일부 내의 이벤트의 통지); (f) 현재의 주요 시각 인터페이스 콘텐츠(110)에 의해 직접적이지 않게 나타내거나 전달되는 정보에 대응하는 원격 모니터링 콘텐츠(210g)(예를 들어, 현재의 주요 시각 인터페이스 콘텐츠(110)에 의해 규정되는 영역 또는 시각적 공간에 대해 밖에 또는 외부에 있는 시각적 또는 가상의 환경 또는 세계의 일부에 대응하는 기록된, 모니터링된, 감시된, 생성된, 또는 검색된 정보로서, 주요 디스플레이 장치(100)에 의해 현재 디스플레이되고 있지 않음); 및/또는 다른 시각 정보를 포함한다.
이하에 상세히 설명되는 바와 같이, 일부의 실시예에서, 부속 시각 인터페이스 콘텐츠(210)는 디스플레이-인에이블드 사용자 입력 장치(200)의 일부, 예를 들어, 시각적 신호를 출력 또는 전달하는데 적응되거나 구성되어 있는 하나 이상의 근접 감지, 근접 응답, 제시 감지, 제시 응답, 압력 감지, 압력 응답, 포스(force) 감지, 포스 응답, 모션 감지, 모션 응답, 방향 감지, 방향 응답, 위치 감지, 위치 응답, 광 감지, 광 응답, 음향 감지, 음향 응답, 터치 감지, 터치 응답, 대상 감지, 대상 응답, 및/또는 대상 응답 사용자 입력 소자(202, 204)에 의해 수반되는 하나 이상의 디스플레이 장치 또는 디바이스에 의해 제시 또는 디스플레이될 수 있다. 일부의 실시예에서, 부속 시각 인터페이스 콘텐츠(210)는 근접, 제시, 압력, 포스, 모션, 방향, 위치, 광, 음향, 터치, 또는 대상 감지 또는 응답 사용자 입력 소자(202, 204)를 배제 또는 생략하는 하나 이상의 디스플레이 장치 또는 디바이스에 의해 추가로 또는 대안으로 제시되거나 디스플레이될 수 있다.
응용 프로그램 실행 동안, 주요 디스플레이 장치(100)의 주목적 또는 기능은 주요 시각 인터페이스 콘텐츠(100)를 제시 또는 디스플레이하는 것이다. 실시예, 구성, 및/또는 실행 상세에 따라, 주요 디스플레이 장치(100)는 특정한 부속 시각 인터페이스 콘텐츠(210)를 1회 이상 추가로 (예를 들어, 선택적, 프로그래머블 또는 구성 가능한 방식으로) 제시 또는 디스플레이할 수 있다. 주요 디스플레이 장치(100)는 적어도 하나의 디스플레이 장치, 예를 들어, 2D 또는 3D 디스플레이 장치(예를 들어, 컴퓨터, 전자 게이밍 디바이스, 또는 게임 콘솔에 대응하는 디스플레이)를 포함한다.
일부의 실시예에서, 주요 디스플레이 장치(100)는 사용자 입력을 검출 또는 수신하도록 구성되어 있는 하나 이상의 근접 감지, 근접 응답, 제시 감지, 제시 응답, 압력 감지, 압력 응답, 포스 감지, 포스 응답, 모션 감지, 모션 응답, 방향 감지, 방향 응답, 위치 감지, 위치 응답, 광 감지, 광 응답, 음향 감지, 음향 응답, 터치 감지, 터치 응답, 대상 감지, 대상 응답, 및/또는 대상 응답 소자, 디바이스, 또는 표면을 포함하거나 수반할 수 있다. 이러한 실시예에서, 주요 디스플레이 장치(100)는 입력-인에이블드 디스플레이 장치로서 규정될 수 있다. 예를 들어, 소정의 실시예에서, 주요 디스플레이 장치(100)는 터치 스크린 디스플레이를 포함할 수 있다. 다른 실시예에서, 주요 디스플레이 장치(100)는 근접, 제시, 압력, 포스, 모션, 방향, 위치, 광, 음향, 또는 터치 감지 또는 응답 소자, 장치, 표면을 생략 또는 배제한다.
디스플레이-인에이블드 사용자 입력 장치(200)는 응용 프로그램 실행의 제어 관점 및/또는 주요 시각 인터페이스와의 상호작용에 관한 사용자 입력을 수신하도록 구성되어 있고, 특정한 부속 시각 인터페이스 콘텐츠(210)를 1회 이상 (예를 들어, 선택적, 프로그래머블 또는 구성 가능한 방식으로) 제시 또는 디스플레이하도록 추가로 구성되어 있다. 디스플레이-인에이블드 사용자 입력 장치(200)의 주목적 및 기능은 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 수반되는 하나 이상의 사용자 입력 소자에 관한 사용자 입력의 방식으로 선택될 수 있는 부속 시각 인터페이스 콘텐츠(210)를 제시 또는 출력하는 사용자 입력/시각적 출력 인터페이스를 제공하기 위한 것이다. 다양한 실시예에서, 적어도 일부의 사용자 입력 소자는 부속 시각 인터페이스 콘텐츠(210)의 제시 또는 디스플레이를 용이하게 하거나 가능하게 하는 방식으로 시각적 신호를 전송 또는 출력하도록 적응 또는 구성될 수 있으며, 이에 대해서는 상세히 후술한다.
디스플레이-인에이블드 사용자 입력 장치(200)는 하나 이상 유형의 사용자 입력을 검출 또는 수신하기 위해 구성된 적어도 한 세트의 소자 또는 구성을 수반하거나 및/또는 이에 결합되어 있는 적어도 하나의 사용자 입력 장치, 예를 들어, 키보드, 키패드, 컴퓨터 마우스, 트랙볼, 조이스틱, 또는 게임 컨트롤러를 포함한다. 이러한 사용자 입력 소자 또는 구성은 하나 이상의 근접 감지, 근접 응답, 제시 감지, 제시 응답, 압력 감지, 압력 응답, 포스 감지, 포스 응답, 모션 감지, 모션 응답, 방향 감지, 방향 응답, 위치 감지, 위치 응답, 광 감지, 광 응답, 음향 감지, 음향 응답, 터치 감지, 터치 응답, 대상 감지, 대상 응답, 및/또는 대상 응답 소자 또는 구성을 포함할 수 있다. 디스플레이-인에이블드 사용자 입력 장치(200)는 적어도 한 세트의 광신호 또는 이미지 제시, 디스플레이, 또는 출력 소자 또는 구성을 추가로 포함하거나, 수반하거나, 및/또는 이에 결합된다. 이러한 이미지 제시 소자 또는 구성은 주요 디스플레이 장치(100)와는 별도이거나 구별되며, 텍스트, 그래픽, 또는 비디오 이미지의 일부에 대응하는 시각적 신호를 전송, 출력, 또는 디스플레이하도록 구성된다. (a) 실시예의 상세한 설명; (b) 실행에 대한 상세한 설명; (c) 구성에 대한 상세한 설명; (d) 현재 및/또는 이전의 주요 시각 인터페이스 콘텐츠(110)에 대응하는 이벤트; (e) 현재의 주요 시각 인터페이스 콘텐츠(110)에 의해 규정되는 시각적 또는 가상의 영역의 범주 밖에 있거나, 영역에 대해 외부에 있거나, 영역에 의해 직접적이지 않게 나타내어지는 시각적 또는 가상의 환경 또는 세계 내의 영역에 대응하는 이벤트; (f) 사용자 입력; 및/또는 (g) 응용 프로그램 실행 맥락, 상황, 또는 상태에 따라, 특정한 광신호 또는 이미지 제시 소자 또는 구성은 부속 인터페이스 콘텐츠(210)를 정적 또는 동적인 방식으로 (예를 들어, 하나 이상의 시간 간격과 관련해서, 및/또는 사용자 입력 이벤트 또는 응용 프로그램 이벤트에 기초해서) 디스플레이할 수 있으며, 이에 대해서는 상세히 후술한다.
일부의 실시예에서, 디스플레이-인에이블드 사용자 입력 장치(200)는 텍스트, 그래픽, 또는 비디오 이미지의 일부에 대응하는 시각적 신호를 전송, 출력, 또는 디스플레이하도록 적응 또는 구성되어 있는 하나 이상의 사용자 선택 가능형 입력 장치, 소자, 또는 구성(202, 204)(예를 들어, 사용자 액션(들), 선택(들), 또는 의도(들)를 한 세트의 사용자 입력 신호로 변환 또는 전환하도록 구성되어 있는 근접, 제시, 압력, 포스, 모션, 방향, 위치, 광, 음향, 터치, 또는 대상 감지 또는 응답 소자 또는 구성의 한 유형)을 포함한다. 예를 들어, 디스플레이-인에이블드 사용자 입력 장치(200)는 한 세트의 디스플레이-인에이블드 촉감, 압력 감지, 포스 감지, 또는 터치 응답 입력 소자(202, 204)를 가지는 사용자 입력 장치를 포함할 수 있으며, 이러한 사용자 입력 장치는 본 실시예에서 디스플레이-인에이블드 키보드 또는 키패드(206)의 일부에 대응한다. 실시예의 상세한 설명에 따라, 디스플레이-인에이블드 사용자 입력 소자(202, 204)는 터치 스크린 디스플레이(202)의 일부, 및/또는 디스플레이-인에이블드 키 또는 버튼(204)(예를 들어, 한 세트의 디스플레이-인에이블드 키보드 또는 키패드 키 또는 마우스 버튼)을 포함할 수 있다. 이러한 키 또는 버튼(204)은 (a) LCD 또는 OLED와 같은 디스플레이 장치; 및/또는 (b) 광학적 전송 또는 투과성 디스플레이 윈도를 개별적으로 수반할 수 있으며, 디스플레이 스크린의 일부로부터 임의의 주어진 키 또는 버튼(204)의 디스플레이 윈도를 통해 시각적 신호를 전송할 수 있게 하는 방식으로 LCD 또는 OLED 디스플레이 스크린과 디스플레이 표면으로부터 벗어나서 또는 그 위에 배치된다. 소정의 실시예에서, 이러한 키 또는 버튼(204) 중 적어도 일부는 탄성적으로 편향될 수 있다.
일부의 실시예에서, 디스플레이-인에이블드 사용자 입력 장치(200)는 아이소메트릭 조이스틱, 포인팅 스틱 또는 포인팅 넙(pointing nub)과 같은 하나 이상의 포인팅 디바이스(208); 트랙볼; 또는 터치패드 또는 트랙패드를 추가로 포함할 수 있다. 소정의 실시예에서, 디스플레이-인에이블드 사용자 입력 장치(200)에 대응하거나 수반되는 터치패드 또는 트랙패드는 디스플레이 소자 또는 시각 신호 출력 디바이스를 포함할 수 있다. 예를 들어, 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 수반되는 터치패드는 일본, 오사카 소재의 샤프사에서 제조하는 것과 같은 펜 또는 스타일러스 기반의 입력뿐만 아니라 손가락 기반의 입력을 검출하도록 구성되어 있는 광센서를 포함하는 LCD 스크린 또는 패드를 포함할 수 있다.
대표적인 실행에서, 디스플레이-인에이블드 사용자 입력 장치(200)는 2011년, 1월 4일에 특허협력조약(PCT) 출원으로서 출원되고 발명의 명칭이 "Optically Transmissive Key Assembles for Display-Capable Keyboards, Keypads, or Other User Input Devices"인 미국특허출원(대리인 관리번호 No.RAZ-P034WO)에 개시된 하나 이상 유형의 디바이스에 대응하거나, 포함하거나, 기반할 수 있으며, 상기 문헌의 내용은 본 명세서에 원용되어 포함된다. 추가로 또는 대안으로, 대표적인 실행에서, 디스플레이-인에이블드 사용자 입력 장치(200)는 러시아, 모스크바 거주의 Art.Lebedev가 개발한 옵티머스 막시무스(Optimus Maximus), 옵티머스 파풀러리스(Optimus Popularis), 옵티머스 택투스(Optimus Tactus), 옵티머스 미니 쓰리(Optimus Mini Three), 또는 옵티머스 옥스(Optimus Aux) 키보드에 대응하거나 포함하거나 기반할 수 있다(www.artlebedev.com).
주요 및 부속 시각 인터페이스 콘텐츠를 관리 또는 제시하는 관점
부속 시각 인터페이스 콘텐츠(210)는 디스플레이-인에이블드 사용자 입력 장치(200)의 하나 이상의 부분과 선택적으로 또는 프로그램 가능하게 관련되거나 출력, 매핑, 할당, 또는 배정될 수 있다. 구체적으로, 특정한 부속 시각 인터페이스 콘텐츠(210)는 특정한 디스플레이-인에이블드 입력 소자(202, 204), 예를 들어 터치 스크린 디스플레이(202) 및/또는 특정한 디스플레이-인에이블드 키 또는 버튼(204)의 특정한 키 또는 버튼과 선택적으로 또는 프로그램 가능하게 관련되거나 출력, 매핑, 할당, 또는 배정될 수 있다. 디스플레이-인에이블드 사용자 입력 장치(200)에 의한 디스플레이-인에이블드 사용자 입력 장치(200), 및/또는 부속 시각 인터페이스 콘텐츠(210)의 제시 또는 디스플레이에의 특정한 부속 시각 인터페이스 콘텐츠(210)의 이러한 선택적 또는 프로그래머블 매핑은 (a) 로컬 또는 원격 응용 프로그램 실행 맥락, 상황, 또는 상태의 변경; (b) 주요 시각 인터페이스 콘텐츠(110)를 나타내거나 직접적으로 관련된 어플리케이션 이벤트; (c) 현재의 주요 시각 인터페이스 콘텐츠(110)에 간접적으로 관련되거나, 현재의 주요 시각 인터페이스 콘텐츠와 간접적으로 관련되거나, 관련되지 않거나, 또는 현재의 주요 시각 인터페이스 콘텐츠를 반영하지 않는 어플리케이션 이벤트; (d) 하나 이상의 시각 오버레이(예를 들어, 디스플레이 스크린 오버레이) 또는 메뉴(210f,g)를 생성하게 하는 어플리케이션 기능 또는 기능 순서에 대응하는 사용자 입력; (e) 다른 사용자 입력; 및/또는 (f) 응용 프로그램 자체가 변경(예를 들어, 제1 응용 프로그램 및 상기 제1 응용 프로그램과는 구별되는 제2 응용 프로그램의 실행에 대응하는 전이(transition), 변화, 또는 맥락 전환)과 협동하거나 조정하거나 상호보완하는 적응적, 동적, 및/또는 "즉각적(on-the-fly)" 방식으로 발생할 수 있다. 복수의 실시예에서, 디스플레이-인에이블드 사용자 입력 장치(200)의 특정한 부분에의 특정한 유형의 부속 시각 인터페이스 콘텐츠(210)의 선택적 또는 프로그래머블 매핑은 한 세트의 매핑 또는 구성 파라미터에 따라 발생할 수 있으며, 이에 대해서는 상세히 후술한다.
(a) 실시예, 구성, 또는 실행에 대한 상세한 설명; (b) 현재의 주요 시각 인터페이스 콘텐츠(110); (c) 현재의 응용 프로그램 실행 맥락, 상황, 또는 상태; 및/또는 (d) 사용자 입력에 따라, 특정한 부속 인터페이스 콘텐츠(210)는 주요 디스플레이 장치(100) 및 디스플레이-인에이블드 사용자 입력 장치(200) 모두의 일부에 의해 동시에 제시 또는 디스플레이될 수 있다. 즉, 한 세트의 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 제시 또는 디스플레이되는 부속 시각 인터페이스 콘텐츠(210)의 적어도 특정한 일부 또는 서브세트는 주요 디스플레이 장치(1000에 의해 동시에 디스플레이될 수 있다. 추가로 또는 대안으로, 특정한 부속 시각 인터페이스 콘텐츠(210)는 주요 디스플레이 장치(100)보다는 디스플레이-인에이블드 사용자 입력 장치(200)의 일부에 의해 1회 이상 독점적으로 제시 또는 디스플레이될 수 있으며, 이에 의해 사용자에게 효과적으로 전달될 수 있는 어플리케이션 관련 시각 정보의 양을 증가 또는 최대화하고, 사용자에게 시각적으로 제시될 수 있는 사용자 선택 가능형 응용 프로그램 기능 또는 동작의 수를 증가 또는 확장시키며, 및/또는 응용 프로그램과의 사용자 상호작용의 효율성을 향상시킨다.
또한, 주요 디스플레이 장치(100)보다는 디스플레이-인에이블드 사용자 입력 장치(200)의 일부에 의한 특정한 부속 시각 인터페이스 콘텐츠(210)의 제시는 주요 디스플레이 장치(100)가 주요 시각 인터페이스 콘텐츠(110)를 제시 또는 출력할 수 있는 범위, 및/또는 주요 시각 인터페이스 콘텐츠(110)의 제시를 불필요하게 또는 바람직하지 않게 사용자로부터 딴 데로 돌리거나, 간섭하거나, 제한하는 것을 감소 또는 최소화할 수 있는 범위를 증가 또는 최대화할 수 있다. 하나 이상의 디스플레이-인에이블드 사용자 입력 장치(200) 및/또는 주요 디스플레이 장치(100)에 의해 제시될 수 있는 특정한 유형의 부속 시각 인터페이스 콘텐츠(210)의 지정은, 미리 정해진 또는 선택 가능한 또는 프로그래머블 방식으로, 예를 들어, 상세히 후술되는 바와 같은 구성 인터페이스에 의해 일어날 수 있다.
일부의 실시예에서, 주요 디스플레이 장치(100)보다는 이상 이상의 디스플레이-인에이블드 사용자 입력 장치(200)의 일부에의 이하의 사용자 선택, 사양, 할당, 매핑과 관련해서, 응용 프로그램은 주요 시각 인터페이스 콘텐츠(110)의 디스플레이 가능한 또는 디스플레이된 정도, 크기, 양, 또는 영역을 자동으로 조정 또는 수정할 수 있다. 예를 들어, 주요 디스플레이 장치(100)의 일부가 특정한 부속 시각 인터페이스 콘텐츠(110)를 제시하는 것에 제외하는 정도에 따라, 응용 프로그램은 한 세트의 시각적 또는 가상의 경계를 확장할 수 있고, 및/또는 주요 디스플레이 장치(1000의 영역, 면적, 또는 표면에 대한 주요 시각 인터페이스 콘텐츠(110)의 크기를 다시 조절할 수 있다. 주요 시각 인터페이스 콘텐츠(110)의 크기를 조절하게 되면 주요 시각 인터페이스 콘텐츠(110)의 디스플레이가 커지게 되고 및/또는 주요 시각 인터페이스 콘텐츠(110)의 디스플레이가 디테일 수준이나 시각적 입도가 강화된다.
본 발명에 따른 다양한 관점의 실시예에 대한 이해를 돕기 위해, 도 1b 내지 도 1g는 주요 시각 인터페이스 콘텐츠(110) 및 부속 시각 인터페이스 콘텐츠(210)가 컴퓨터 또는 전자게임, 예를 들어, 미국, 캘리포니아 소재의 Blizzard Entertainment에서 각각 생산하는 World of Warcraft® 또는 Starcraft®에 대응하는 본 발명의 비제한적인 대표적인 실시예를 도시한다.
도 1b 및 도 1c에서, 대표적인 주요 시각 인터페이스 콘텐츠(110)는 주요 디스플레이 장치(100)의 메인 보기 영역 또는 윈도(102)에 제시되는 시각적 또는 가상의 게임 환경 세계 내에서 시스템 사용자, 플레이어, 또는 게이머에 대응하는 게임 캐릭터(112)(예를 들어, 사용자 입력을 직접 조작하고, 상호작용하거나, 사용자 입력을 시스템(10)에 제공하는 사용자에 대응하는 캐릭터 아바타), 일련의 동맹 캐릭터(114)(예를 들어, 다른 사용자에 대응함), 일련의 적 캐릭터(116)(예를 들어, 다른 사용자나 논-플레이어 캐릭터에 대응할 수 있음), 및 특정한 대상 또는 장면(118) 중 하나 이상을 포함할 수 있다. 또한, 대표적인 부속 시각 인터페이스 콘텐츠(210)는 사용자 선택에 응답해서 특정한 게임 관련 액션, 기능, 또는 동작을 일으키는 그래픽 액션 키(212a-h)의 하나 이상의 어레이; 사용자의 캐릭터가 소유하는 대상 또는 스킬에 대응하는 인벤토리 아이콘(214a-d); 메시징 또는 채팅 콘텐츠(216); 및 하나 이상의 시각적 오버레이 또는 메뉴(218a,b)를 포함할 수 있다.
본 발명에 따른 복수의 실시예에서, 주요 디스플레이 장치(100) 및 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치(200) 각각은 부속 시각 인터페이스 콘텐츠(210)를 제시하기 위해 구성되어 있다. 예를 들어, 도 1b에 도시된 대표적인 실시예에서, 주요 디스플레이 장치(100) 및 디스플레이-인에이블드 사용자 입력 장치(200) 각각은 그래픽 액션 키(212a-h), 인벤토리 아이콘(214a-d), 메시징 또는 채팅 콘텐츠(216), 및 시각적 오버레이 또는 메뉴(218a,b)를 제시 또는 디스플레이하도록 구성되어 있다. 주요 디스플레이 장치(100)에 의해 제시되는 부속 시각 인터페이스 콘텐츠(210)는 당업자가 이해할 수 있는 방식으로 주요 디스플레이 장치(100)에 대응하는 메인 보기 영역, 면적, 또는 윈도(102) 내의 하나 이상의 하부영역, 하부윈도, 또는 차일드 윈도(104)에서의 출력일 수 있다. 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 제시되는 부속 시각 인터페이스 콘텐츠(210)는 (예를 들어, 미리 정해진 또는 선택 가능한 또는 프로그래머블 방식으로) 디스플레이-인에이블드 사용자 입력 장치(200)의 특정한 일부, 예를 들어, 터치 스크린 디스플레이(202) 및/또는 특정한 디스플레이-인에이블드 키 또는 버튼(204)과 관련될 수 있거나 매핑되거나 할당될 수 있다.
본 발명에 따른 복수의 실시예에서, (예를 들어, 하나 이상의 디스플레이-인에이블드 키 또는 버튼(204) 및/또는 터치 스크린 인터페이스(202)의 일부의 사용자 선택의 결과로서) 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 제시되는 하나 이상 유형의 부속 시각 인터페이스 콘텐츠(210)와의 사용자 상호작용 또는 선택은, (예를 들어, 포인팅 디바이스(208)를 사용해서 주요 및/또는 부속 시각 인터페이스 콘텐츠(110, 210)의 사용자 선택으로 결과로서) 주요 디스플레이 장치(100)에 의해 제시되는 주요 및/또는 부속 시각 인터페이스 콘텐츠(110, 210)의 사용자 선택만으로 또는 사용자 선택과 관련해서 또는 조합으로, 종래의 입력 디바이스의 사용자 조작에 비해 사용 모션의 경제성이 향상될 수 있고, 관심의 대상이 되는 특정한 부속 시각 인터페이스 콘텐츠(210)의 사용자 선택이 간단하게 되고 더 편리해질 수 있고, 및/또는 한 세트의 로컬 및/또는 원격 응용 프로그램과의 사용자 상호작용이 효율성이 강화될 수 있다.
예를 들어, 사용자는 (a) 주요 디스플레이 장치(100)에 의해 디스플레이되는 포인터 도는 커서를 이동시키도록; (b) 관심의 대상이 되는 그래픽 액션 키(212a-h) 위에 포인터 또는 커서를 정렬시키도록; 그리고 (c) 마우스 버튼을 사용해서 관심의 대상이 되는 그래픽 액션 키(212a-h)를 선택하도록 종래의 컴퓨터 마우스를 조작하기보다는, 관심의 대상이 되는 그래픽 액션 키(212a-h)를 디스플레이하는 특정한 디스플레이-인에이블드 키 또는 버튼(204)을 직접 조작하거나, 누르거나, 또는 터치함으로써 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 제시 또는 디스플레이되는 주어진 그래픽 액션 키(212a-h)를 신속하게 효과적으로 선택할 수 있다. 또한, 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 제시되는 부속 시각 인터페이스 콘텐츠(210)의 사용자 선택에 의해, 주요 디스플레이 장치(100)에 의해 제시되는 포인터 또는 커서를 사용자가 정밀하지 않거나 부정확하게 위치결정함으로써 생기는 사용자 입력 오류를 더 적게 할 수 있으며, 이에 따라 특히 응용 프로그램과의 사용자 상호작용이 신속하게 또는 매우 신속하게 요망되거나 요구될 때, 바람직하지 않거나 의도하지 않은 응용 프로그램 이벤트 또는 오류를 감소시킬 수 있다.
본 발명에 따른 일부의 실시예에서, 하나 이상의 디스플레이-인에이블드 사용자 입력 장치(200)는 부속 시각 인터페이스 콘텐츠(210)를 제시하기 위해 구성되어 있으나, 주요 디스플레이 장치(100)는 적어도 특정한 유형의 부속 시각 인터페이스 콘텐츠(210)를 배제, 생략, 또는 회피하기 위해 구성되어 있다. 예를 들어, 도 1c에 도시된 대표적인 실시예에서, 디스플레이-인에이블드 사용자 입력 장치(200)는 도 1b에 도시된 부속 시각 인터페이스 콘텐츠(210)를 제시하기 위해 구성되어 있으나, 주요 디스플레이 장치(100)는 이러한 부속 시각 인터페이스 콘텐츠(210)를 배제, 생략, 또는 회피하기 위해 구성되어 있다. 그 결과, 사용자 이동 효율성이 향상되는 것 외에, 부속 시각 인터페이스 콘텐츠(210)의 사용자 선택을 간단하게 하고, 및/또는 전술한 바와 같은 부속 시각 인터페이스 콘텐츠(210)의 사용자 선택 정확성을 높이며, 본 발명의 특정한 실시예는 주요 디스플레이 장치(100)가 주요 시각 인터페이스 콘텐츠(110)를 제시하는 정도를 증가 또는 최대화할 수 있고, 이에 의해 주요 시각 인터페이스의 어수선함을 줄일 수 있고 사용자의 시각적 경험 및/또는 응용 프로그램과의 상호작용에 일조 또는 강화시킨다.
부속 시각 인터페이스 콘텐츠(210)는 응용 프로그램 관련 상황, 조건 또는 이벤트의 다양성을 나타내는 시각 정보를 포함할 수 있다. 예를 들어, 부속 시각 인터페이스 콘텐츠(210)는 (a) 응용 프로그램 실행 맥락, 상황, 또는 상태; (b) 사용자 선택 가능형 응용 프로그램 기능 또는 동작; (c) 사용자 캐릭터 정보(예를 들어, 사용자 포스 또는 사용자 캐릭터와 관련된 에너지 수준); (d) 사용자 전략(예를 들어, 분당 행동수(Actions per Minute: APM) 카운트); (e) 현재의 주요 시각 인터페이스 콘텐츠(110); 및/또는 (f) 현재 디스플레이된 주요 시각 인터페이스 콘텐츠(110)의 범주, 경계, 및/또는 상황적 맥락 밖에 있는 시각적 또는 가상의 영역에 대응하는 상황, 조건, 또는 이벤트와 관련되거나 대응하는 이미지, 그래픽, 애니메이션, 및/또는 텍스트를 포함할 수 있다.
특정한 유형의 부속 시각 인터페이스 콘텐츠(210)의 디스플레이(예를 들어, 주요 시각 인터페이스 콘텐츠(110)에 의해 현재 표시되는 시각적 정보의 범주 또는 상황적 맥락을 벗어난 또는 그것의 밖에 있는 콘텐츠, 또는 주요 시각 인터페이스 콘텐츠(110)로부터 쉽게 구별할 수 없는 콘텐츠)는 사용자에게 제공될 수 있는 시각적 정보의 유형 및/또는 양을 강화 또는 확장시킬 수 있고, 이에 의해 사용자가 한 세트의 로컬 및/또는 원격 응용 프로그램과 상호작용할 수 있는 방식을 강화 또는 확장시킬 수 있다. 주요 시각 인터페이스 콘텐츠(110)에 대한 외부의 이벤트를 대표하거나 나타내는 대표적인 유형의 시각적 통지 및/또는 원격 콘텐츠를 포함하면서, 사용자가 응용 프로그램과 상호작용할 수 있는 방식(들)을 강화 또는 확장시킬 수 있는 특정한 유형의 부속 시각 인터페이스 콘텐츠(210)에 대해 이하에 상세히 설명한다.
도 1d 및 도 1e에서, 대표적인 주요 시각 인터페이스 콘텐츠(110)는, 주요 디스플레이 장치(100)의 메인 보기 영역, 면적, 또는 윈도(102) 내에 제시되는 가상 게임 세계 또는 환경의 일부 내에 있는 한 세트의 사용자 제어 가능한 또는 사용자 조작 가능한 실체, 포스, 구조, 디바이스, 또는 자원(150); 한 세트의 적 실체, 포스, 구조, 디바이스, 또는 자원(152); 및/또는 특정한 대상 또는 장면(154)의 시각적 대표성을 포함할 수 있다. 대표적인 부속 시각 인터페이스 콘텐츠(210)는 사용자 선택에 응답해서 특정한 게임 관련 액션, 기능, 또는 동작을 일으킬 수 있는 그래픽 핫키(250a-i)의 어레이; 가상 환경 내비게이션 지원, 도구, 또는 지도(256);및 선택된 대상 또는 캐릭터 정보(258)를 포함할 수 있다.
대표적인 부속 시각 인터페이스 콘텐츠(210)는 한 세트의 시각 이벤트 통지(260), 및/또는 원격 모니터링 콘텐츠(262)를 더 포함할 수 있다. 원격 모니터링 콘텐츠(262)는 주요 시각 인터페이스 콘텐츠(110)에 의해 직접적으로 표시되지 않거나 이동되지 않는 정보에 대응할 수 있다. 일부의 실시예에서, 원격 모니터링 콘텐츠(262)는 주요 시각 인터페이스 콘텐츠(110)에 의해 규정되는 영역 또는 시각적 공간에 대해 밖에 또는 외부에 있는 시각적 또는 가상의 환경 또는 세계의 일부에 대응하는 기록된, 모니터링된, 감시된, 생성된, 또는 검색된 정보를 포함할 수 있으나, 이는 응용 프로그램과의 상호작용에 관련된 것이다. 시각적 이벤트 통지(260)는 관련 어플리케이션 이벤트의 발생에 응답해서 선택적 또는 프로그래머블 베이시스 상에 제시 또는 디스플레이될 수 있다. 또한, 연속적 또는 선택적/프로그래머블 베이시스 상에 제시 또는 디스플레이될 수 있다. 상세히 후술되는 바와 같이, (예를 들어, 구성 인터페이스와의 사용자 상호작용에 의해 구축되는) 한 세트의 구성 파라미터는 시각적 이벤트 통지(260) 및/또는 원격 모니터링 콘텐츠(262)가 하나 이상의 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 제시 또는 디스플레이되어야 하는 방식을 결정할 수 있다.
도 1d에 도시된 대표적인 실시예에서, 주요 디스플레이 장치(100) 및 디스플레이-인에이블드 사용자 입력 장치(200) 각각은 전술한 그래픽 핫키(250a-i), 내비게이션 지원 또는 지도(256), 및 대상 또는 캐릭터 정보(258)를 포함하는 부속 시각 인터페이스 콘텐츠(210)를 제시하기 위해 구성되어 있다. 주요 디스플레이 장치(100)에 의해 제시되는 부속 시각 인터페이스 콘텐츠(210)는 당업자가 이해할 수 있는 방식으로 주요 디스플레이 장치(100)에 대응하는 메인 보기 영역, 면적, 또는 윈도(102) 내의 하나 이상의 하부영역, 하부윈도, 또는 차일드 윈도(104)에 의해 디스플레이될 수 있다. 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 제시되는 부속 시각 인터페이스 콘텐츠(210)는 디스플레이-인에이블드 사용자 입력 장치(200)의 특정한 부분과 관련되거나 매핑되거나 할당될 수 있다.
도 1d에 도시된 바와 같이, 디스플레이-인에이블드 사용자 입력 장치(200)는 또한 특정한 시각 이벤트 통지(260)를 제시하기 위해 구성되며, 이러한 통지는 제1 이벤트 E1 및/또는 제2 이벤트 E2에 대응하는 이미지, 아이콘 텍스트, 및/또는 광신호를 포함할 수 있다. 대표적인 실시예에서, 제1 이벤트 E1은 현재의 주요 시각 인터페이스 콘텐츠(110) 및/또는 내비게이션 지원 또는 지도(256)에 의해 규정되는 시각적 또는 가상의 영역 밖에 전개되거나 위치하고 있는 사용자 포스(150)에 대한 공격에 대응할 수 있고; 제2 이벤트 E2는 목표 또는 임계 APM 값에 관련된 현재의 사용자 APM 값에 대응할 수 있다. 제1 및 제2 이벤트 E1 및 E2 중 하나 또는 양자에 대응하는 시각 콘텐츠 또는 신호는 예를 들어 구성 파라미터에 의해 지정된 바대로, 주어진 색상 방식 및/또는 조명 방식(예를 들어, 플래싱 패턴)에 따라 선택적으로 제시 또는 디스플레이될 수 있다. 추가의 또는 다른 대표적인 시각적 이벤트 통지(260)는 사용자의 포스(150)의 제어하에 있는 가상의 세계 또는 환경의 백분률; 특정한 사용자 포스(150)에 관련된 임계의 또는 거의 임계의 에너지 또는 자원 수준; 사용자-선택 가능형 묘사 또는 이야기; 또는 새롭게 도착한 메시지에 상응한다.
디스플레이-인에이블드 사용자 입력 장치(200)는 또한 원격 모니터링 콘텐츠(262)를 1회 이상 (예를 들어, 지속적인 시간-간격으로, 주기적인 시간 간격으로, 한 번의 시간-간격으로, 또는 사용자 요구한 바대로) 제시하기 위해 구성되며, 대표적인 실시예에서 현재의 주요 시각 인터페이스 콘텐츠(110) 및/또는 내비게이션 지원 또는 지도(256)에 의해 규정되는 시각적 또는 가상의 영역 밖에 있는 시각적 또는 가상의 영역 내의 이미지를 포착하기 위해 설치되어 있는 송신 또는 감시 탐침, 카메라, 또는 장치를 포함한다.
전술한 바와 유사한 방식으로, 주요 디스플레이 장치(100) 및 디스플레이-인에이블드 사용자 입력 장치(200)는 다양한 방식으로 특정한 부속 시각 인터페이스 콘텐츠(210)를 선택적으로 제시 또는 디스플레이하도록 구성될 수 있다. 예를 들어, 도 1e에 도시된 대표적인 실시예에서, 디스플레이-인에이블드 사용자 입력 장치(200)는 그래픽 핫키(250a-i), 내비게이션 지원 또는 지도(256), 대상 또는 캐릭터 정보(258), 시각적 이벤트 통지(260), 및 원격 모니터링 콘텐츠(262)를 제시하기 위해 구성되어 있다. 주요 디스플레이 장치(100)는 주요 시각 인터페이스 콘텐츠(110)뿐만 아니라 내비게이션 지원 또는 지도(256)를 (예를 들어, 선택적 또는 프로그래머블 베이시스로) 제시하기 위해 구성되어 있으나, 주요 디스플레이 장치(100)는, 그래픽 핫키(250a-i), 대상 또는 캐릭터 정보(258), 및 시각 이벤트 통지(260) 및 원격 모니터링 콘텐츠(260)와 같은 다른 부속 시각 인터페이스 콘텐츠(210)를 배제, 생략, 또는 회피하도록 구성되어 있다.
그러므로 소정의 부속 시각 인터페이스 콘텐츠(210)는 주요 디스플레이 장치(100) 및 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 동시에 제시될 수 있으나, 다른 부속 시각 인터페이스 콘텐츠(210)는 주요 디스플레이 장치(100) 대신에 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 독점적으로 제시될 수 있다. 즉, 본 발명의 실시예는, (a) 주요 디스플레이 장치(100) 및 디스플레이-인에이블드 사용자 입력 장치(200) 각각에 의해 특정한 부속 시각 인터페이스 콘텐츠(210)의 복제, 상대적, 또는 유사한 제시 또는 디스플레이; 및/또는 (b) 주요 디스플레이 장치(100)보다는 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치(200)에 의한 특정한 부속 시각 인터페이스 콘텐츠(210)의 1회 이상의 독점적 제시 또는 디스플레이를 용이하게 하거나 가능하게 한다. 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 제시된 특정한 부속 시각 인터페이스 콘텐츠(210)는 주요 디스플레이 장치(100)에 의해 제시될 수 있는 부속 시각 인터페이스 콘텐츠(210)와 동일하거나, 복제되거나, 도출되거나, 또는 기초할 수 있다. 추가로 또는 대안으로, 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 제시되는 특정한 부속 시각 인터페이스 콘텐츠(210)는 주요 디스플레이 장치(100)에 의해 제시될 수 있는 부속 시각 인터페이스 콘텐츠(210)와 구별되거나 직접적으로 도출되지 않거나 도출될 수 없다. 주요 디스플레이 장치(100) 및 디스플레이-인에이블드 사용자 입력 장치(200) 각각에 의한 부속 시각 인터페이스 콘텐츠(210)의 디스플레이 및/또는 주요 디스플레이 장치(100)보다는 디스플레이-인에이블드 사용자 입력 장치(200)에 의한 부속 시각 인터페이스 콘텐츠(210)의 독점적 디스플레이는 미리 정해진, 선택 가능한, 프로그래머블, 또는 구성 가능한 방식으로 발생할 수 있다.
전술한 바와 같이, 부속 시각 인터페이스 콘텐츠(210)는 응용 프로그램 실행 맥락, 상황, 또는 상태; 현재의 주요 시각 인터페이스 콘텐츠(110); 현재의 주요 시각 인터페이스 콘텐츠(110)의 경계 내의 또는 경계 밖의 시각적 또는 가상의 영역에 대응하는 상황, 조건, 또는 이벤트; 및/또는 사용자 입력에 기초해서 임의의 주어진 시간에 적응적으로 생성, 검색, 변경, 갱신, 제시 또는 제거될 수 있다. 상세히 후술되는 바와 같이, 일부의 실시예에서, 특정한 부속 시각 인터페이스 콘텐츠(210)는, 소정 유형의 응용 프로그램 시나리오, 상황, 조건, 또는 이벤트의 생성의 결과에 따라(예를 들어, 응용 프로그램 자체는 예를 들어, 직접적인 또는 로컬 사용자 입력이 없을 때, 부속 시각 인터페이스 콘텐츠(210)에 대한 적응적 변경을 유발 또는 유도할 수 있다), (a) 주요 시각 인터페이스, 부속 시각 인터페이스, 및/또는 로컬 또는 원격 응용 프로그램에 관한 사용자 입력에 대응해서; 또는 (b) 진행중인 또는 점진적인 응용 프로그램 실행 동안 응용 프로그램에 의해 자동으로, 제시, 적응, 또는 취소될 수 있다.
도 1e에 도시된 주요 시각 인터페이스 콘텐츠(110)에 대응하는 주어진 시각적 또는 가상의 환경 위치 및/또는 대상 또는 캐릭터(150)의 사용자 선택에 응답해서, 주요 디스플레이 장치(100) 및/또는 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 제시되는 특정한 부속 시각 인터페이스 콘텐츠(210)는 적응적으로 변경될 수 있다. 대안으로, 사용자 포스 또는 자원 상에 대한 공격과 같은 응용 프로그램 시나리오, 상황, 조건, 또는 이벤트의 결과로서, 주요 디스플레이 장치(100) 및 디스플레이-인에이블드 사용자 입력 장치(200) 중 하나 또는 양자에 의해 제시되는 특정한 부속 시각 인터페이스 콘텐츠(210)는 자동으로 적응적으로 변경될 수 있다.
도 1f는 도 1e에 대응하는 대표적인 시스템(10)에 대한 개략도이며, 도면에서 소정의 부속 시각 인터페이스 콘텐츠(210)는 본 발명의 실시예에 따라 (a) 사용자 입력에 응답해서; (b) 응용 프로그램 실행의 과정 중에 응용 프로그램에 의해 자동으로 적응, 갱신, 또는 변경될 수 있다. 더 구체적으로, 현재의 주요 시각 인터페이스 콘텐츠(110) 내의 가상 위치 또는 대상 또는 캐릭터(150)의 사용자 선택, 및/또는 도 1e에 도시된 특정한 그래픽 핫키(250a-i)의 사용자 선택과 같은 사용자 입력에 응답해서, 도 1e에 도시된 특정한 그래픽 핫키(250a-i)의 어레이는 적응적으로 변경될 수 있으며, 이에 따라 디스플레이-인에이블드 입력 장치(200)는 갱신된 그래픽 핫키(250j-o)의 어레이를 제시한다. 갱신된 그래픽 핫키(250j-o)의 어레이는, 이전에 고려된 도 1e에 도시된 특정한 그래픽 핫키(250a-i)와 관련된 게임 관련 액션, 기능, 또는 동작과는 적어도 부분적으로 구별될 수 있는 방식으로 사용자 선택에 의해 갱신된 한 세트의 게임 관련 액션, 기능, 또는 동작을 일으킬 수 있다.
대안으로, 사용자 포스 또는 자원에 대한 공격의 결과로서 또는 그에 대응해서(이러한 공격은 현재의 주요 시각 인터페이스 콘텐츠(110) 또는 현재의 지도(256)에 직접적으로 대응하지 않아도 된다), 게임 응용 프로그램은 고려 중인 공격을 시각적으로 나타내거나, 대응하거나, 제시할 필요에 따라 주요 시각 인터페이스 콘텐츠(110)를 자동으로 적응적으로 갱신할 수 있으며, 및/또는 고려 중인 공격과 관련되어 있는 부속 시각 인터페이스 콘텐츠(210)를 나타내거나 제공하도록 부속 시각 인터페이스 콘텐츠(210)를 자동으로 적응적으로 갱신할 수 있다. 이러한 자동으로 적응된 부속 시각 인터페이스 콘텐츠(210)는 사용자 포스 또는 자원에 대한 공격의 맥락에서 사용자 선택과 관련된 및/또는 이용할 수 있는 게임 기능, 동작, 액션, 또는 정보의 시각적 표시 또는 묘사를 포함할 수 있다. 예를 들어, 도 1f와 관련해서, 자동으로 적응된 부속 시각 인터페이스 콘텐츠(210)는 사용자 선택에 응답해서 고려 중인 공격 시나리오 또는 상황과 관련되어 있는 게임 관련 액션, 기능, 또는 동작을 일으킬 수 있는 갱신된 그래픽 핫키(252j-o)의 어레이를 포함할 수 있다.
도 1f는 응용 프로그램 실행과 관련해서 적응되는 방식으로 갱신된 그래픽 핫키(252j-o)의 어레이의 제시를 나타내는 반면, 디스플레이-인에이블드 사용자 입력 장치(200) 및/또는 주요 디스플레이 장치(100)에 의해 제시되는 추가의 또는 다른 부속 시각 인터페이스 콘텐츠(210)는, (a) 로컬 또는 원격 응용 프로그램 실행 맥락, 상황, 또는 상태; (b) 현재의 주요 시각 인터페이스 콘텐츠(110); (c) 주요 시각 인터페이스 콘텐츠(110)의 범주 또는 경계 내에 있거나 넘어서 있는 시각적 또는 가상의 영역에 대응하는 시나리오 상황, 조건, 또는 이벤트; 및/또는 (c) 사용자 입력 중 하나 이상에 기초해서 1회 이상 적응적으로 생성, 검색, 제시, 출력, 변경, 또는 취소될 수 있다. 예를 들어, 선택된 대상 도는 캐릭터 정보(258)는 상이한 실체, 포스, 구조, 디바이스, 또는 자원(150, 152) 또는 주요 시각 인터페이스 콘텐츠(110)에 대응하는 대상(154)에 대한 사용자 선택에 응답해서 적응적으로 갱신 또는 변경될 수 있다. 추가로 또는 대안으로, 가상의 세계 또는 환경의 영역 내에서의 사용자 행동에 대응하는 내비게이션 지원 또는 지도(256) 상의 가상의 위치는, 예를 들어, 현재의 주요 시각 인터페이스 콘텐츠(110)에 대응하거나 기반하는 방식으로 자동으로 갱신될 수 있다(예를 들어, 점진적으로 또는 주기적으로 갱신될 수 있거나 또는 응용 프로그램 시나리오, 상황, 조건, 또는 이벤트의 발생에 응답해서 갱신될 수 있다).
특정한 유형의 부속 시각 인터페이스 콘텐츠에 대한 사용자 선택에 응답해서, 또는 이하의 주어진 유형의 응용 프로그램 시나리오, 상황, 조건, 또는 이벤트의 발생에 응답해서, 주요 시각 인터페이스 콘텐츠(110) 및 부속 시각 인터페이스 콘텐츠(210) 중 하나 또는 양자는 적응적으로 생성, 검색, 제시, 출력, 변경, 이론적 수정, 또는 취소될 수 있다. 예를 들어, 현재의 주요 시각 인터페이스 콘텐츠(110) 또는 현재의 지도(256)의 범위 또는 경계를 넘어선 당면한 사용자 관심의 시각적 또는 가상의 영역에 대응하는 부속 시각 인터페이스 콘텐츠(210)에 대한 사용자 선택(예를 들어, 활성의 시각적 이벤트 통지(260), 또는 원격 모니터링 콘텐츠(262))에 응답해서, 주요 시각 인터페이스 콘텐츠(110)는 사용자에 대한 관심 또는 주목이 덜한 시각적 또는 가상의 영역보다는 당면한 사용자 관심의 시각적 또는 가상의 영역을 디스플레이하도록 적응적으로 갱신될 수 있다. 주요 시각 인터페이스 콘텐츠(110)의 이러한 적응적 갱신은 또한 응용 프로그램 시나리오, 상황, 조건, 또는 이벤트의 발생에 응답해서 자동으로 (예를 들어, 본질적으로 즉각적으로, 또는 미리 정해진 또는 선택 가능한/프로그래머블 대기 시간이 지난 후에) 일어날 수 있다. 즉, 디스플레이된 주요 시각 인터페이스 콘텐츠(110)의 초점 또는 중심 주제 또는 주제 맥락은, 디스플레이-인에이블드 사용자 입력 장치(200)에 관한 특정한 유형의 사용자 입력에 응답해서, 또는 주어진 응용 프로그램 시나리오, 상황, 조건, 또는 이벤트의 결과로서, 당면한 관심의 시각적 또는 가상의 영역을 사용자에게로 직접 반영하도록 갱신, 이동, 또는 전환될 수 있다. 주요 시각 인터페이스 콘텐츠의 갱신에 이어서, 부속 시각 인터페이스 콘텐츠(210)는 고려 중인 응용 프로그램 시나리오, 상황, 조건, 또는 이벤트에 따라 적절하게 적응적으로 갱신될 수 있다.
도 1g는 도 1e에 대응하는 대표적인 시스템(10)에 대한 개략도이며, 도면에서 주요 시각 인터페이스 콘텐츠(110)뿐만 아니라 부속 시각 인터페이스 콘텐츠(210)는 본 발명의 실시예에 따라 사용자 입력 또는 응용 프로그램 시나리오, 상황, 조건, 또는 이벤트에 응답해서 적응, 갱신, 또는 변경되었다. 더 구체적으로, 도 1e에 도시된 바와 같은 특정한 시각적 이벤트 통지(260)는, 현재의 주요 시각 인터페이스 콘텐츠(110) 또는 지도(256)의 외부에 있거나 원격에 있는 시각적 또는 가상의 영역 또는 환경 내에 설치되거나 위치하는 사용자 포스 또는 자원(150)에 대한 공격에 대응하는 제1 이벤트 E1의 발생을 나타내는 방식으로, 제시, 디스플레이, 또는 활성화될 수 있다. 예를 들어, 특정한 디스플레이-인에이블드 키 또는 버튼(204)은 예를 들어 광 강도 또는 플래싱을 변경하는 것에 의해, 사용자가 인식할 수 있거나 용이하게 인식할 수 있을 것으로 기대되는 방식으로, 이미지, 아이콘, 및/또는 한 세트의 시각적 신호를 제시할 수 있다. 소정의 실시예에서, 주어진 시각적 이벤트 통지(260)의 제시, 디스플레이, 또는 활성화는 오디오 신호에 의해 동반될 수 있다.
시각적 이벤트 통지(260)의 제시, 디스플레이, 또는 활성화의 결과로서, 외부의 또는 원격의 시각적 또는 가상의 영역 또는 환경이 사용자에 대한 당면의 관심이 될 수 있다. 공격이 발생하고 있다거나 발생하였다는 것을 나타내는 시각적 이벤트 통지(260)에 대한 사용자 선택에 응답해서, 주요 시각 인터페이스 콘텐츠(110)는 당면한 관심의 시각적 또는 가상의 영역 또는 환경을 사용자에게 제시 또는 디스플레이하도록 적응적으로 생성 및/또는 갱신될 수 있다.
이에 따라, 이러한 당면한 관심의 시각적 또는 가상의 영역 또는 환경은 사용자 흥미 또는 어플리케이션 프로그램 상호작용 경험의 중심 초점이 될 수 있다. 소정의 실시예에서, 주어진 대기 시간이 지난 후 주어진 시각적 이벤트 통지(260)의 활성화에 이어서, 주요 시각 인터페이스 콘텐츠(210)는, 당면한 관심이 되어야 하거나 될 가능성이 있는 관심의 대상이 되는 시각적 또는 가상의 영역 또는 환경을 사용자에게 제시 또는 디스플레이하도록 자동으로 적응적으로 생성 또는 갱신될 수 있다.
대표적인 공격 시나리오와 관련해서, 갱신된 주요 시각 인터페이스 콘텐츠(110)는 특정한 사용자 포스(150, 151)에 대항해서 관련되어 있는 적 포스(153)의 수 및/또는 구성을 포함할 수 있다. 하나 이상의 지도(256)와 같은 부속 시각 인터페이스 콘텐츠(210)에 상응해서, 대상 또는 캐릭터(258), 및 다른 세트의 그래픽 핫키(254p-w)는, 이러한 시각적 영역 또는 환경에 대응하는 현재 이용 가능한 사용자 선택 가능형 기능 또는 선택사항뿐만 아니라, 당면한 사용자 관심 또는 흥미의 시각적 영역 또는 환경을 반영하도록 적응적으로 제공 또는 갱신될 수 있다. 또한, 일부의 실시예에서, 고려 중인 가장 최근의 또는 이전의 시각적 영역 또는 환경에 대응하는 시각적 이벤트 통지(260)가 제공, 제시, 또는 디스플레이될 수 있다. 예를 들어, 가장 최근의, 이전의, 또는 "홈" 시각적 또는 가상의 영역 또는 환경에 대응하는 전자의 주요 시각 인터페이스 콘텐츠(110)의 부활(도 1g에 "Ret"로 도시되어 있음)을 용이하게 하거나 가능하게 하는 시각적 이벤트 통지(260)가 제공될 수 있으며, 이에 의해 일단 제1 이벤트 E1에 대응하는 상황이 해결되었다면 사용자는 이전의 시각적 또는 가상의 영역 또는 환경으로 복귀할 수 있게 된다.
본 명세서의 상세한 설명에서 보면, 본 발명의 다양한 실시예는, 주요 디스플레이 장치(100)에 의해 주요 및/또는 부속 시각 인터페이스 콘텐츠(110, 210)의 제시와 효과적으로, 자연스럽게, 또는 필수적으로 균일하게 통합되는 방식으로, 그리고 한 세트의 로컬 및/또는 원격 응용 프로그램에 의해 제공된 사용자 선택 가능형 기능 또는 동작의 유형과 효과적으로, 자연스럽게, 또는 필수적으로 균일하게 통합 및/또는 확장하는 방식으로, 부속 시각 인터페이스 콘텐츠(210)를 적응적으로 제시하는 한 세트의 디스플레이-인에이블드 사용자 입력 장치(200)를 제공한다. 본 발명의 다양한 실시예는, (a) 사용자에 대한 강화된 시각적 경험; (b) 응용 프로그램과의 더 효과적이고 및/또는 더 정확한 사용자 상호작용; 및 (c) 쉽지 않거나 정상적으로 이용 가능하지 않은 특정한 유형의 응용 프로그램 기능성을 용이하게 하거나 가능하게 하거나 제공하는 사용자 선택 가능형 부속 인터페이스 콘텐츠(210)를 종래의 컴퓨팅 또는 게이밍 시스템의 사용자에게 제공한다.
전술한바 외에 또는 그와 관련해서, 일부의 실시예에서, 부속 시각 인터페이스 콘텐츠(210)는 (a) 기존의 또는 현재의 주요 시각 인터페이스 콘텐츠(110)를 넘어선 관심의 대상이 되는 조건, 상황, 또는 이벤트의 사용자 모니터링 또는 트래킹; 및/또는 (b) 디스플레이-인에이블드 사용자 입력 장치(200)의 일부에 관한 사용자 입력에 응답해서 신속하고, 효과적이며, 및/또는 정확한 방식으로 기존의 또는 현재의 주요 및/또는 부속 시각 인터페이스 콘텐츠(110, 210)로부터 갱신된 또는 새로운 주요 및/또는 부속 시각 인터페이스 콘텐츠(110, 210)로의 적응적 시각 맥락 전환을 용이하게 하거나 가능하게 하는 사용자 선택 가능형 시각 정보를 포함한다. 또한, 주요 디스플레이 장치(100)에 의한 그러한 부속 시각 인터페이스 콘텐츠(210)의 제시보다는 디스플레이-인에이블드 사용자 입력 장치의 일부에 의한 특정한 부속 시각 인터페이스 콘텐츠(210)의 제시가, 주요 디스플레이 장치(100)의 메인 보기 영역, 면적, 또는 윈도(102)를 주요 시각 인터페이스 콘텐츠(110)를 제시하는 활용될 수 있거나 전용될 수 있는 정도를 증가시킬 수 있으며, 이에 의해 시각 인터페이스의 어수선함을 줄일 수 있고 응용 프로그램과의 사용자 상호작용에 효과적으로 일조할 수 있다.
대표적인 시스템 실시예에 대한 추가의 관점
도 1h는 본 발명의 다른 실시예에 따라 주요 디스플레이 장치(100) 및 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치(200)를 사용해서 주요 시각 인터페이스 콘텐츠(110) 및 부속 시각 인터페이스 콘텐츠(210)를 관리, 제어, 선택, 제시, 및/또는 갱신하는 대표적인 시스템에 대한 개략도이다. 도 1 내지 도 1g는 디스플레이-인에이블드 사용자 입력 장치(200)가 디스플레이-인에이블드 키보드(206)를 포함하는 시스템(10)을 도시한다. 도 1h에서, 한 세트의 디스플레이-인에이블드 사용자 입력 장치(200)는 디스플레이-인에이블드 키보드(206)와는 별도이거나 구별되는 디스플레이-인에이블드 포인팅 디바이스(208b)를 포함한다. 일부의 실시예에서, 디스플레이-인에이블드 포인팅 디바이스(208b)는 하나 이상의 디스플레이-인에이블드 버튼(204)(예를 들어, 상부 및/또는 측 버튼)을 가지는 무선 또는 유선 기반의 컴퓨터 마우스 또는 게임 컨트롤러를 포함할 수 있다. 디스플레이-인에이블드 버튼(204)에 의해 제시되는 시각 정보 또는 이미지는, 전술한 바와 동일하거나 본질적으로 동일하거나 또는 유사한 방식으로, 적응적으로 선택, 제시, 또는 갱신될 수 있다. 또한, 시각 콘텐츠 구성 인터페이스(300, 350)는 전술한 바와 동일하거나 본질적으로 동일하거나 또는 유사한 방식으로, 이러한 디스플레이-인에이블드 버튼(204)에의 특정한 부속 시각 인터페이스 콘텐츠(210)의 선택적 또는 프로그래머블 매핑, 할당, 또는 배정을 용이하게 하거나 가능하게 할 수 있다.
도 2a는 본 발명의 실시예에 따라 주요 디스플레이 장치(100) 및 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치(200)를 사용해서 주요 시각 인터페이스 콘텐츠(110) 및 부속 시각 인터페이스 콘텐츠(210)를 생성, 관리, 제어, 선택, 제시, 및/또는 갱신하는 대표적인 시스템(10)에 대한 블록도이다. 실시예에서, 시스템(10)은 프로세싱 유닛(310); 메모리(400); 적어도 하나의 저장 유닛(320); 근거리 통신망(LAN), 광대역 통신망(WAN), 및/또는 인터넷(390)과 같은 컴퓨터 네트워크에 연결된 네트워크 인터페이스 유닛(330); 적어도 하나의 주요 디스플레이 장치(100)에 연결된 그래픽 유닛(340); 및 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치(2000에 연결되고 그리고 가능하면 하나 이상의 다른 유형의 입력 및/또는 출력 디바이스에 연결되는 입출력(I/O) 유닛(340)을 포함한다. 시스템(10)은 각각의 시스템 소자가 제어 신호, 데이터 및 정보의 통신 또는 교환을 용이하게 하도록 연결되는 하나 이상의 버스(302)(예를 들어, PCI 기반의 버스)를 더 포함할 수 있다.
프로세싱 유닛(310)은 저장되어 있는 프로그램 명령을 실행할 수 있는 하나 이상의 명령 프로세싱 디바이스(예를 들어, 적어도 하나의 마이크로프로세서 및/또는 마이크로컨트롤러)를 포함하다. 메모리(400)는 프로그램 명령 및 데이터를 저장하도록 구성되어 있는 하나 이상 유형의 휘발성 및/또는 비휘발성 메모리, 예를 들어 레지스터 세트, 하나 이상의 버퍼, 랜덤 액세스 메모리(RAM), 및 리드 온리 메모리(ROM)를 포함한다. 데이터 저장 유닛(320)은 하나 이상 유형의 고정식 및/또는 이동 가능형 데이터 저장 디바이스 또는 소자뿐만 아니라, 이에 대응하는 저장 매체를 포함한다. 예를 들어, 데이터 저장 유닛(320)은 하드디스크 드라이브, DVD 또는 CD-ROM 드라이브, 및/또는 USB 플래시 드라이브를 포함할 수 있다. 데이터 저장 유닛(320) 및/또는 메모리(400)의 일부는 프로그램 명령이 설정되는 하나 이상의 컴퓨터 프로그래머블 또는 판독 가능한 매체를 형성하여, 본 발명의 실시예에 따라 부속 시각 인터페이스 콘텐츠 제시 및/또는 관리 동작을 용이하게 하거나 가능하게 한다.
네트워크 인터페이스 유닛(330)은 표준 네트워크 정보 전달 프로토콜에 따라 동작하도록 구성되어 있는 이더넷 인터페이스와 같은 네트워크 통신 인터페이스를 포함할 수 있다. 일부의 실시예에서, 그래픽 유닛(340)은 주요 디스플레이 장치(400) 상에 이미지 및 장면(예를 들어, 컴퓨터 또는 전자게임 장면)을 렌더링하도록 구성된 그래픽 프로세서를 포함할 수 있다. I/O 인터페이스 유닛(360)은 USB 포트, 시리얼 포트, 및/또는 다른 유형의 I/O 통신 인터페이스와 같은 한 세트의 표준 인터페이스 또는 포트를 포함하여, 시스템(10)에 연결된 하나 이상의 디스플레이-인에이블드 사용자 입력 장치(200) 및 다른 입력 및/또는 출력 장치와의 신호 전달을 용이하게 할 수 있다.
실시예의 상세한 설명에 따라, 시스템(10)은 클라이언트-서버 컴퓨팅 아키텍처 및 대응하는 클라이언트-서버 통신 프로토콜에 따라 하나 이상의 서버(30) 또는 서버 팜(server farm)과 통신하는 클라이언트 시스템이 될 수 있다. 대안으로, 시스템(10)은 피어투피어 컴퓨팅 프로토콜에 따라 다른 컴퓨터 시스템 또는 컴퓨팅 도는 전자 디바이스와 통신하는 피어 시스템이 될 수 있다. 다른 대안으로서, 시스템(10)은 분리형 또는 독립형 시스템이 될 수 있다.
일부의 실시예에서, 메모리(400)는 운영체제(410); 한 세트의 디바이스 드라이버(420); 적어도 하나의 응용 프로그램(430)(예를 들어, 게임 응용 프로그램으로서, 독립형, 분리형, 또는 네트워크 연결되지 않은 프로그램, 또는 게임 클라이언트와 같이 네트워크에 연결된 프로그램이 될 수 있다); 하나 이상의 응용 프로그램 지원 모듈(440); 본 발명의 실시예에 따라 특정한 부속 시각 인터페이스 콘텐츠 관리 또는 제시 동작을 수행하도록 구성되어 있는 한 세트의 프로그램 명령을 포함하는 부속 시각 인터페이스 콘텐츠 관리자(450); 및 한 세트의 디스플레이-인에이블드 입력 장치(200)에 전달될 수 있는 부속 시각 인터페이스 콘텐츠(210)를 저장하도록 구성되어 있는 부속 시각 콘텐츠 메모리(460)를 포함한다. 응용 프로그램 지원 모듈(440)은 특정한 유형의 응용 프로그램 관련 기능(예를 들어, 텍스트 또는 시각적 메시징 동작, 또는 사용자 APM 값의 계산)을 지원하는 한 세트의 플러그-인(plug-in) 또는 애드-온(add-on)을 포함할 수 있으며, 소정의 실시예에서 부속 시각 콘텐츠 관리자(450)는 자체적으로 플러그-인 또는 애드-온을 포함할 수 있다.
도 2b는 본 발명의 실시예에 따라 대표적인 디스플레이-인에이블드 사용자 입력 장치(200)에 대한 블록도이다. 실시예에서, 디스플레이-인에이블드 사용자 입력 장치(200)는 통신 유닛(500); 프로세싱 유닛(510); 메모리(520); 한 세트의 입력 디바이스, 소자, 및/또는 구조(530); 한 세트의 디스플레이 디바이스, 소자, 및/또는 구조(540); 및 디스플레이 유닛(550)을 포함한다. 디스플레이-인에이블드 사용자 입력 장치(200)의 특정한 소자는 공통 버스(502)에 결합될 수 있다.
통신 유닛(500)은 부속 시각 인터페이스 콘텐츠(210), 하나 이상의 디스플레이 디바이스, 소자, 또는 구조 어드레스 및/또는 식별자(ID), 그리고 가능하다면 도 2a에 도시된 시스템(10)의 일부와 같은, 다른 시스템 소자로부터의 구성 파라미터 및/또는 커맨드와 같은 정보를 수신하도록 구성되어 있는 데이터 및/또는 신호 통신 회로를 포함할 수 있다. 통신 유닛(500)은 다른 시스템 소자에 정보를 통신하도록 추가로 구성될 수 있으며, 이러한 정보는 하나 이상의 입력 디바이스, 소자, 또는 구조 ID, 그리고 가능하다면 이에 의해 사용자 입력에 응답해서 선택된 부속 시각 인터페이스 콘텐츠(210)를 포함할 수 있다. 프로세싱 유닛(510)은 저장되어 있는 프로그램 명령을 실행하고 및/또는 상태 기계 연산을 수행하도록 구성되어 있는, 마이크로컨트롤러, 마이크로프로세서, 주문형집적회로(Application Specific Integrated Circuit: ASIC), 또는 다른 유형의 디바이스가 될 수 있다.
메모리(520)는 프로그램 명령, 부속 시각 인터페이스 콘텐츠(210), 구성 파라미터, 및/또는 커맨드를 저장하도록 구성되어 있는 하나 이상 유형의 RAM 및/또는 ROM을 포함할 수 있다. 프로세싱 유닛(510)이 매립형 마이크로컨트롤러를 포함하는 실시예에서는, 메모리(520)는 온-칩 및/또는 오프-칩 매립형 메모리를 포함할 수 있다. 상기 한 세트의 입력 디바이스, 소자, 또는 구조(530) 및 상기 한 세트의 디스플레이 디바이스, 소자, 또는 구조(540)는 전술한 하나 이상 유형의 소자를 포함할 수 있다. 디스플레이 유닛(550)은 상기 한 세트의 디스플레이 디바이스, 소자, 및/또는 구조(540)를 구동하고 부속 시각 인터페이스 콘텐츠(210)를 상기 한 세트의 디스플레이 디바이스, 소자, 및/또는 구조(540)에 출력하도록 구성되어 있는 회로 및/또는 프로그램 명령(예를 들어, 펌웨어)을 포함한다.
대표적인 시각 콘텐츠 구성 인터페이스에 대한 관점
도 3a는 본 발명의 실시예에 따른 대표적인 시각 콘텐츠 구성 인터페이스(600)에 대한 개략도이며, 이 구성 인터페이스 의해 사용자는 하나 이상 유형의 부속 시각 인터페이스 콘텐츠(210)에 대한 한 세트의 제시 또는 디스플레이 목표를 선택적으로 프로그램 가능하게 설명 또는 지정할 수 있다. 컨텐츠 구성 인터페이스(600)는, 주요 디스플레이 장치(100), 디스플레이-인에이블드 키보드(206), 및 디스플레이-인에이블드 마우스(208b)에 각각 대응하는 "주요 디스플레이", "시각 적응형 키보드" 및/또는 "시각 적응형 마우스"와 같이, 특정한 제시 또는 디스플레이 장치 목표에 대응하는 텍스트 레이블 또는 식별자를 디스플레이하는 그래픽 윈도(602)를 포함할 수 있다. 시각 콘텐츠 구성 인터페이스(600)는 "액션 버튼 또는 키/핫키", "인벤토리 서플라이" "지도/내비게이션 툴", "환경 정보", "이벤트 통지(들)", "원격 모니터(들)", 및 "오버레이/메뉴" 중 하나 이상과 같이, 부속 시각 인터페이스 콘텐츠(210)의 특별한 유형 또는 범주에 대응하는 텍스트 레이블 또는 식별자를 또한 포함할 수 있다.
시각 콘텐츠 구성 인터페이스(600)는, 사용자 입력 또는 선택에 응답해서 특정한 디스플레이 장치 목표에의 특정한 유형의 부속 시각 인터페이스 콘텐츠(210)의 할당 또는 매핑을 용이하게 하고 가능하게 하는 한 세트의 그래픽 사용자 인터페이스(GUI) 소자를 더 포함할 수 있다. 예를 들어, 시각 콘텐츠 구성 인터페이스(600)는, 주요 디스플레이 장치(100)에 대응하는 일련의 체크 박스(610); 디스플레이-인에이블드 키보드(206)에 대응하는 일련의 체크 박스(612); 및/또는 디스플레이 인에이블드 마우스(208b)에 대응하는 일련의 체크 박스(614)와 같은 GUI 소자를 포함할 수 있다. 모든 주어진 체크 박스(610, 612, 614)는 특정한 유형의 부속 시각 인터페이스 콘텐츠(210)뿐만 아니라 이러한 부속 시각 인터페이스 콘텐츠(210)에 대한 디스플레이 목표에 대응한다. 그러므로 주어진 체크 박스(610, 612, 614)에 대한 사용자 선택에 의해, 특정한 유형의 부속 시각 인터페이스 콘텐츠(210)와 주요 디스플레이 장치(100) 및/또는 하나 이상의 디스플레이-인에이블드 사용자 입력 장치(200) 간의 관련성 또는 매핑을 구축하게 된다.
일부의 실시예에서, 시각 콘텐츠 구성 인터페이스(600)는 (a) 특정한 유형의 부속 시각 인터페이스 콘텐츠(210)와 특정한 디스플레이-인에이블드 마우스 버튼(204) 간의 매핑; (b) 시각 이벤트 통지(260)가 제공되어야 하는 특정한 유형의 응용 프로그램 이벤트; (c) 원격 모니터링 콘텐츠(262)가 획득되거나 생성되어야 하는 한 세트의 시각적 또는 가상의 환경 또는 세계; 및/또는 (d) 특정한 유형의 시각적 오버레이 또는 메뉴(218a,b)와 주요 디스플레이 장치(100) 및/또는 하나 이상의 디스플레이-인에이블드 사용자 입력 장치(200) 간의 매핑을 표시, 선택, 지정 또는 규정하는 사용자 입력을 수신하도록 구성되어 있는 하나 이상의 관련 그래픽 인터페이스(620, 622, 624, 626)를 또한 포함하거나 적용할 수 있다.
도 3b는 본 발명의 추가의 또는 다른 실시예에 따른 대표적인 시각적 또는 그래픽 콘텐츠 구성 인터페이스(650)에 대한 개략도이고, 이러한 구성 인터페이스는 단독으로 적용되거나 도 3a에 도시된 바와 같은 다른 시각 콘텐츠 구성 인터페이스(600)와 관련해서 적용될 수 있다. 실시예에서, 시각적 또는 그래픽 콘텐츠 구성 인터페이스(650)는 그래픽 윈도(660)를 포함할 수 있으며, 이 그래픽 윈도(660)는, 부속 시각 인터페이스 콘텐츠(210)의 상이한 범주가 시각적으로 표시, 묘사, 또는 개요가 서술될 수 있는 제1 시각 영역(670); 및 하나 이상의 디스플레이-인에이블드 사용자 입력 장치(200)의 일부가 시각적으로 표시, 묘사, 또는 개요가 서술될 수 있는 제2 시각 영역(680)을 포함한다. 그러므로 이러한 시각 콘텐츠 구성 인터페이스(650)는, 특정한 유형의 부속 시각 인터페이스 콘텐츠(210)의 픽토리얼(pictorial) 또는 그래픽 제시뿐만 아니라, 하나 이상의 실제의 디스플레이-인에이블드 사용자 입력 장치(200)의 픽토리얼 또는 그래픽 제시, 그리고 부속 시각 인터페이스 콘텐츠(200)가 위치하거나 이동되거나 할당되거나 매핑될 수 있는 것과 관련된 대응하는 디스플레이-인에이블드 사용자 입력 장치 위치, 로케이션, 디바이스, 소자, 및/또는 구조를 제공한다.
대표적인 실시예에서, 제1 시각 영역(670)은 하나 이상의 그래픽 핫키 어레이(250, 252, 254)의 시각적 표시; 시각적 메시지 콘텐츠(216); 한 세트의 시각적 오버레이 또는 메뉴(218a-c); 한 세트의 지도 또는 내비게이션 지원(256); 대상 또는 캐릭터 정보(258); 하나 이상의 시각적 이벤트 통지(260); 원격 모니터링 콘텐츠(262); 및/또는 다른 정보를 포함할 수 있다. 이러한 부속 시각 인터페이스 콘텐츠(210)의 시각적 제시는 사용자 입력에 응답해서, 예를 들어, 한 세트의 드래그 앤 드롭 동작에 의해, (예를 들어, 터치 스크린 디스플레이(202) 및/또는 디스플레이-인에이블드 키보드(206)의 한 세트의 디스플레이-인에이블드 키 또는 버튼(204)에 대응하는) 제2 시각 영역(680)에 묘사되어 있는 디스플레이-인에이블드 사용자 입력 장치(들)의 픽토리얼 제시(들)의 특정한 부분에 전달되거나 이동되거나 위치할 수 있다. 그 결과, 하나 이상 유형의 부속 시각 인터페이스 콘텐츠(210)는 사용자가 정한 방식, 사용자가 선택하는 방식, 또는 가변적인 방식으로 그래픽 사용자 입력에 응답해서 디스플레이-인에이블드 사용자 입력 장치(200)의 특정한 부분과 관련되거나 할당되거나 매핑될 수 있다. 디스플레이-인에이블드 사용자 입력 장치 위치, 장치, 소자, 및/또는 구조에의 대표적인 드래그 앤 드롭 동작 및 대응하는 부속 시각 인터페이스 콘텐츠 매핑은 단자 화살표 선으로 도 3b에 나타나 있다.
소정의 실시예에서, 특정한 부속 시각 인터페이스 콘텐츠(210)는 화살표 키; 조이스틱, 포인팅 스틱, 또는 포인팅 넙; 트랙볼; 터치패드 도는 트랙패드; 및/또는 다른 유형의 사용자 입력 장치 또는 소자에 대한 사용자 입력에 의해, 디스플레이-인에이블드 사용자 입력 장치(200)의 픽토리얼 또는 그래픽 제시 위에, 그리고 이러한 부속 시각 인터페이스 콘텐츠(210)와 구축 또는 생성된 디스플레이-인에이블드 사용자 입력 장치의 위치 간의 대응하는 관련성 또는 매핑에 추가로 또는 대안으로 선택 및/또는 위치할 수 있다.
일부의 실시예에서, 응용 프로그램 실행 동안, 실제의 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 현재 디스플레이되는 특정한 부속 시각 인터페이스 콘텐츠(210)의 위치(들) 또는 로케이션(들)은 전술한 바와 같은 하나 이상 유형의 사용자 입력 장치 또는 소자에 관한 사용자 입력에 응답해서 수정, 조정 또는 갱신될 수 있다. 추가로 또는 대안으로, 고려 중인 부속 시각 인터페이스 콘텐츠(210)의 위치(들) 또는 로케이션(들)은, 응용 프로그램 실행이 배경 작업 실행 모드에서 간섭받거나 발생하는 동안, 구성 인터페이스(600, 650)와의 추가의 사용자 상호작용에 의해 수정, 조정, 또는 갱신될 수 있다.
시각 콘텐츠 구성 인터페이스(600, 650) 내의 사용자 선택에 이용 가능한 부속 시각 인터페이스 콘텐츠(210)의 유형(들)은 고려 중인 응용 프로그램 및/또는 지원되는 응용 프로그램 기능 또는 동작의 범위에 따라 다를 수 있다. 또한, 부속 시각 인터페이스 콘텐츠(210)가 시각 콘텐츠 구성 인터페이스(600, 650) 내에서 할당 또는 매핑될 수 있는 디스플레이-인에이블드 사용자 입력 장치(200)의 유형(들)은 실시예의 상세한 설명 및/또는 시스템 하드웨어 또는 소프트웨어 성능에 따라 다를 수 있다. 복수의 실시예에서, 고려 중인 응용 프로그램에 대응하는 디폴트 세트의 구성 파라미터는 예를 들어, 메모리(400, 520) 또는 데이터 저장 유닛(320)으로부터 제공 또는 검색될 수 있으며, 여기서 디폴트 세트의 구성 파라미터는 특정한 유형의 부속 시각 인터페이스 콘텐츠(210)와 하나 이상의 디스플레이-인에이블드 사용자 입력 장치(200) 그리고 가능하다면 주요 디스플레이 장치(100)의 일부 간의 한 세트의 디폴드, 사전구성된, 또는 미리 정해진 관련성 또는 매핑을 제공, 또는 구축한다.
부속 시각 인터페이스 콘텐츠 관리 또는 제시에 대한 추가의 관점
일부의 실시예에서, 주요 디스플레이 장치(100)에 의한 특정한 부속 시각 인터페이스 콘텐츠(210)의 제시는, 이러한 부속 시각 인터페이스 콘텐츠(210)에 대응하거나, 근접하거나, 또는 그 안에 있는 하나 이상의 사용자 선택 가능형 그래픽 제어의 동시적인 주요 디스플레이 장치 제시에 동반된다. 예를 들어, 이러한 사용자 선택 가능형 그래픽 제어는, 상세히 후술되는 바와 같이, 특정한 부속 시각 인터페이스 콘텐츠(210)를 디스플레이하는 차일드 윈도 또는 서브윈도 내의 한 세트의 GUI 제어를 포함할 수 있다.
도 4a는 본 발명의 실시예에 따라 주요 디스플레이 장치(100)에 의해 디스플레이되는 특정한 부속 시각 인터페이스 콘텐츠(210)에 대응하는 제1 및 제2 그래픽 시각 콘텐츠 전달 제어(700, 702)에 대한 개략도이다. 대표적인 실시예에서, 제1 그래픽 시각 콘텐츠 전달 제어(700)에 대한 사용자 선택에 응답해서, 주요 디스플레이 장치(100)에 의해 현재 디스플레이되고 있고 디스플레이-인에이블드 사용자 입력 장치(200)(예를 들어, 디스플레이-인에이블드 키보드(206))에 없거나 현재 디스플레이되고 있지 않은 부속 시각 인터페이스 콘텐츠(210)는 디스플레이-인에이블드 사용자 입력 장치(200)의 일부 상에 디스플레이되거나 복제되고 있고, 주요 디스플레이 장치(100)에 의해 디스플레이된 채 남아 있다. 추가로 또는 대안으로, 제2 그래픽 시각 콘텐츠 전달 제어(702)에 대한 사용자 선택에 응답해서, 주요 디스플레이 장치(100)에 의해 현재 디스플레이되고 있고 디스플레이-인에이블드 사용자 입력 장치(200)에 현재 없는 부속 시각 인터페이스 콘텐츠(210)는 디스플레이-인에이블드 사용자 입력 장치(200)의 일부에 전달되고 있고, 이러한 부속 시각 인터페이스 콘텐츠(210)는 이어서 제거되거나 더 이상 주요 디스플레이 장치(100)에 의해 디스플레이되지 않는다(예를 들어, 주요 디스플레이 장치(100)에 의한 이러한 부속 시각 인터페이스 콘텐츠(210)의 지속적인 디스플레이는 간섭, 종료 또는 회피된다).
본 발명에 따른 특정한 실시예는, 주요 디스플레이 장치(100)로부터 제거되었던 부속 시각 인터페이스 콘텐츠(210)를 주요 디스플레이 장치(100)로 다시 복구하는 방식; 주요 디스플레이 장치(100)로부터 디스플레이-인에이블드 사용자 입력 장치(200)로 전달되었던 부속 시각 인터페이스 콘텐츠(210)를 간섭, 종료 또는 회피하는 방식; 및/또는 주요 디스플레이 장치(100)에 의해 이전에 디스플레이되지 않았거나 현재 디스플레이되고 있지 않은 부속 시각 인터페이스 콘텐츠(210)를 주요 디스플레이 장치(100)에 전달하는 방식 중 하나 이상을 제공할 수 있다.
도 4b는 본 발명의 실시예에 따라 제1 시각 콘텐츠 전달 키 또는 버튼(710) 및 제2 시각 콘텐츠 전달 키 또는 버튼(712)에 대한 개략도이다. 실시예에서, 제1 시각 콘텐츠 전달 키 또는 버튼(710)은, 디스플레이-인에이블드 사용자 입력 장치(200)로부터 주요 디스플레이 장치(100)로의 부속 시각 인터페이스 콘텐츠(210)의 전달(예를 들어, 부속 시각 인터페이스 콘텐츠(210)의 주요 디스플레이 장치(100)로의 복구, 부속 시각 인터페이스 콘텐츠(210)의 주요 디스플레이 장치(100)로의 초기의 또는 제1-시간 전달)에 대응하고, 그리고 디스플레이-인에이블드 사용자 입력 장치(200)에 의한 이러한 부속 시각 인터페이스 콘텐츠(210)의 지속적인 디스플레이에 대응하는 제1 이미지, 아이콘, 또는 심벌을 디스플레이할 수 있다. 제2 시각 콘텐츠 전달 키 또는 버튼(712)은, 디스플레이-인에이블드 사용자 입력 장치(200)로부터 주요 디스플레이 장치(100)로의 부속 시각 인터페이스 콘텐츠(210)의 전달에 대응하고, 그리고 디스플레이-인에이블드 사용자 입력 장치(200)에 의한 이러한 부속 시각 인터페이스 콘텐츠(210)의 지속적인 디스플레이의 중단, 간섭, 또는 회피에 대응하는 제1 이미지, 아이콘, 또는 심벌을 디스플레이할 수 있다.
특정한 실시예에서, 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 현재 디스플레이되고 있는 특정한 부속 시각 인터페이스 콘텐츠(210)는, (예를 들어, 디스플레이-인에이블드 키 또는 버튼(210) 또는 터치 스크린 디스플레이(202)의 일부에 대한 사용자 선택에 의해) 전달될 특정한 부속 시각 인터페이스 콘텐츠(210)에 대한 사용자 선택과 조합해서 또는 동시에, 제1 및 제2 디스플레이-인에이블드 키 또는 버튼(710, 712)에 대한 사용자 선택에 의해 주요 디스플레이 장치(100)에 전달하는 데 선택될 수 있다. 그러므로 제1 시간 간격 동안 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 디스플레이되는 특정한 부속 시각 인터페이스 콘텐츠(210)는, 제2 시간 간격 동안 디스플레이-인에이블드 사용자 입력 장치(210)에 의한 이러한 부속 시각 인터페이스 콘텐츠(210)의 디스플레이와 동시 또는 독점 중 어느 하나로, 제2 시간 간격 동안 주요 디스플레이 장치(100)에 의해 디스플레이될 수 있다.
부속 시각 인터페이스 콘텐츠 관리 또는 제시 프로세스에 대한 관점
도 5는 본 발명의 실시예에 따라 주요 디스플레이 장치(100) 및 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치(200)를 사용해서 주요 시각 인터페이스 콘텐츠(110) 및 부속 시각 인터페이스 콘텐츠(210)를 생성, 관리, 제어, 선택, 제시, 및/또는 갱신하는 프로세스(800)에 대한 흐름도이다. 실시예에서, 프로세스(800)는 현재 고려 중인 응용 프로그램의 실행을 개시하는 단계를 포함하는 제1 프로세스 부분(802), 및 부속 시각 인터페이스 콘텐츠(210)와 주요 디스플레이 장치(100) 및 하나 이상의 디스플레이-인에이블드 사용자 입력 장치(200) 간의 최초의 또는 다음 세트의 매핑을 판정하는 단계를 포함하는 제2 프로세스 부분(804)을 포함한다. 제2 프로세스 부분(804)은 구성 인터페이스(500, 550)에 의해 구축된 한 세트의 구성 파라미터, 매핑, 관련성 및/또는 초기의 응용 프로그램 실행 맥락, 상황, 또는 상태에 기초해서, 특정한 디스플레이-인에이블드 사용자 입력 소자(202, 204)와 관련되는 또는 할당되는 특정한 유형의 부속 시각 인터페이스 콘텐츠(210)를 식별하는 단계를 포함한다.
제3 프로세스 부분(806)은 주요 시각 인터페이스 콘텐츠(110) 및 부속 시각 인터페이스 콘텐츠(210)를 생성 및/또는 검색하는 단계를 포함하고, 제4 프로세스 부분(808)은 주요 디스플레이 장치(100)에 의해 주요 시각 인터페이스 콘텐츠(110)를 제시하는 단계를 포함하며, 제5 프로세스 부분(810)은 부속 시각 인터페이스 콘텐츠(210)와 이러한 디스플레이 장치(100, 200) 간의 현재 세트의 구성 파라미터 또는 매핑에 따라 주요 디스플레이 장치(100) 및 하나 이상의 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 부속 시각 인터페이스 콘텐츠(210)를 선택적으로 제시하는 단계를 포함한다. 일부의 실시예에서, 제5 프로세스 부분(810)은 주요 디스플레이 장치(100) 및 디스플레이-인에이블드 사용자 입력 장치(200) 각각을 사용해서 특정한 부속 시각 인터페이스 콘텐츠(210)를 제시하는 단계를 포함하며, 이에 따라 특정한 부속 시각 인터페이스 콘텐츠(210)가 주요 디스플레이 장치(100)의 일부 및 디스플레이-인에이블드 사용자 입력 장치(200)에 의해 복제된다. 추가로 또는 대안으로, 제5 프로세스 부분(810)은 디스플레이-인에이블드 사용자 입력 장치(200)의 일부에 의해 독점적으로 소정의 부속 시각 인터페이스 콘텐츠(210)를 제시하는 단계를 포함할 수 있으며, 여기서 이렇게 하지 않으면 이러한 부속 시각 인터페이스 콘텐츠(210)는 주요 디스플레이 장치(100)의 일부에 의해 정상적으로, 또는 종래대로 제시될 것이다. 그러므로 제5 프로세스 부분(810)은 디스플레이-인에이블드 사용자 입력 장치(200)를 사용해서 이러한 부속 시각 인터페이스 콘텐츠(210)를 제시함으로써 주요 디스플레이 장치(100)로부터 소정의 부속 시각 인터페이스 콘텐츠(210)를 선택적으로 배제하는 단계를 포함할 수 있다.
제6 프로세스 부분(820)은 부속 시각 인터페이스 콘텐츠(210) 및 가능하다면 주요 시각 인터페이스 콘텐츠(110)가 예를 들어 디스플레이-인에이블드 사용자 입력 장치(200)에 관한 사용자 입력, 주요 시각 인터페이스 콘텐츠(110)의 변경, 및/또는 응용 프로그램 시행 맥락, 상태, 또는 상태의 전이에 응답해서, 적응적으로 갱신, 수정, 또는 변경되는지를 판정하는 단계를 포함한다. 예이면, 프로세스(800)는 제2 프로세스 부분(802)으로 복귀할 수 있다. 그렇지 않으면, 제7프로세스 부분(83)은 응용 프로그램을 계속 실행할 것인지를 판정하는 단계를 포함한다. 예이면, 프로세스(800)는 제3 프로세스 부분(806)으로 복귀할 수 있다. 응용 프로그램 실행이 중단되면, 프로세스(800)는 종료된다.
도 5에 도시된 바와 같은 프로세스(800)는 복수의 구별되는 응용 프로그램으로 대체될 수 있으며, 상기 복수의 구별되는 응용 프로그램은, 복수의 관련 유형의 응용 프로그램(예를 들어, 복수의 전자 또는 컴퓨터 게임 응용 프로그램) 또는 복수의 비관련 유형의 응용 프로그램(예를 들어, 하나 이상의 전자 또는 컴퓨터 또는 전자 게임 응용 프로그램, 및 전자 또는 컴퓨터 게이밍과 관련되지 않은 하나 이상의 응용 프로그램)을 포함한다. 그 결과, 본 발명의 실시예는 단일 세트의 디스플레이-인에이블드 사용자 입력 장치(200)(예를 들어, 디스플레이-인에이블드 키보드(206)와 같은 단일의 디스플레이-인에이블드 입력 장치(200), 또는 디스플레이-인에이블드 키보드(206) 및 디스플레이-인에이블드 마우스(208b)와 같은 복수의 디스플레이-인에이블드 입력 장치(200))를, 주요 시각 인터페이스 콘텐츠(110) 및 고려 중인 소정의 응용 프로그램에 대응하는 부속 시각 인터페이스 콘텐츠(210)에 따라 다른 또는 구별되는 방식으로, 적응적으로 구성할 수 있다.
부속 시각 인터페이스 콘텐츠(210)가 한 세트의 디스플레이-인에이블드 입력 장치(200)에 의해 생성 또는 검색 그리고 제시될 수 있는 복수의 응용 프로그램 내의 특정한 응용 프로그램의 실행 동안, 부속 시각 인터페이스 콘텐츠(210)는
고려 중인 특정한 응용 프로그램에 명확하거나 고유하게 맞춰지거나 적응되는 방식으로, 그리고 실행 맥락, 상황, 또는 상태; 주요 시각 인터페이스 콘텐츠(110); 부속 시각 인터페이스 콘텐츠(210); 및/또는 사용자 입력에 기초하여 이러한 응용 프로그램의 실행 동안 더 동적으로 적응되는 방식으로 1회 이상 제시 또는 디스플레이될 수 있다. 그러므로 본 발명의 실시예는 수 또는 유형 기능 또는 사용자 선택을 위해 제시되는 정보를 강화하도록 하는 이전 유형의 응용 프로그램 특정 입력 디바이스(예를 들어, 상이한 응용 프로그램과 관련해서 적응 가능형이 아닌, 또는 재구성 가능형이 아닌, 또는 최소-재구성 가능형인 게임 특정 키보드)에 대한 필요가 없다.
전술한 방식에서, 본 발명의 다양한 실시예에 대해 전술한 단점 중 적어도 하나를 해결하기 위해 설명하였다. 이러한 실시예는 이하의 청구의 범위에 의해 망라되도록 의도되며, 그렇게 설명되어 있는 특정한 형태 또는 배열의 부분에 제한되지 않으며, 본 발명의 관점에서 다양한 변형 및/또는 수정이 이루어질 수 있다는 것은 당업자에게는 자명하며, 이는 이하의 청구의 범위에 의해서도 망라되도록 의도된다.

Claims (60)

  1. 응용 프로그램 실행 동안 주요 시각 인터페이스 콘텐츠 및 부속 시각 인터페이스 콘텐츠를 포함하는 시각 인터페이스 콘텐츠를 제시하는 자동화된 방법에 있어서,
    상기 주요 시각 인터페이스 콘텐츠는 현재의 응용 프로그램 실행 맥락을 나타내는 시각 정보의 메인 소스를 제공하고, 상기 부속 시각 인터페이스 콘텐츠는 응용 프로그램 실행과 관련된 시각 정보를 제공하며, 상기 방법은,
    응용 프로그램 실행 동안 주요 디스플레이 장치를 사용해서 제1 주요 시각 인터페이스 콘텐츠를 디스플레이하는 단계;
    응용 프로그램 실행 동안 다수의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 제1 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계로서, 상기 제1 부속 시각 인터페이스 콘텐츠는, 상기 주요 디스플레이 장치에 없는 시각 환경의 일부에 대응하고 상기 응용 프로그램의 실행 맥락 내의 응용 프로그램 이벤트를 나타내는 시각 정보를 포함하는, 상기 제1 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계; 및
    상기 주요 디스플레이 장치를 사용해서 갱신된 주요 시각 인터페이스 콘텐츠 및 상기 다수의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 갱신된 부속 시각 인터페이스 콘텐츠 중 적어도 하나를 디스플레이함으로써, 갱신된 시각 인터페이스 콘텐츠를 점진적으로 디스플레이하는 단계
    를 포함하며,
    상기 갱신된 주요 시각 인터페이스 콘텐츠는 상기 제1 주요 시각 인터페이스 콘텐츠와 구별되며, 상기 갱신된 부속 시각 인터페이스 콘텐츠는 제1 부속 시각 인터페이스 콘텐츠와 구별되고,
    상기 제1 부속 시각 인터페이스 콘텐츠와 상기 갱신된 부속 시각 인터페이스 콘텐츠 중 적어도 하나 이상의 서브세트를 디스플레이하기 위해 다수의 디스플레이-인에이블드 사용자 입력 장치 중 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치에 동적으로 배정하고,
    제1 부속 시각 인터페이스 콘텐츠와 갱신된 부속 시각 인터페이스 콘텐츠 중 적어도 하나의 시각적 표상이, 사용자 입력에 응답하여, 상기 다수의 디스플레이-인에이블드 사용자 입력 장치의 특정한 부분들로 이동하는 것을 특징으로 하는 시각 인터페이스 콘텐츠를 제시하는 자동화된 방법.
  2. 제1항에 있어서,
    상기 갱신된 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계는, (a) 응용 프로그램 실행 동안 한 세트의 응용 프로그램 이벤트 중 적어도 하나의 응용 프로그램 이벤트의 발생의 결과로서 자동으로; 및 (b) 응용 프로그램 실행 동안 응용 프로그램과의 상호작용과 관련된 사용자 입력에 응답해서 발생하는, 방법.
  3. 제1항에 있어서,
    상기 다수의 디스플레이-인에이블드 사용자 입력 장치 중 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치의 일부와, 상기 제1 부속 시각 인터페이스 콘텐츠와 상기 갱신된 부속 시각 인터페이스 콘텐츠 중 적어도 하나 이상의 서브세트 간의 매핑을 사용자 입력에 응답해서 선택적으로 구축하는 단계
    를 더 포함하는 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 다수의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 상기 제1 부속 시각 인터페이스 콘텐츠의 디스플레이와 동시에, 상기 주요 디스플레이 장치를 사용해서 상기 제1 부속 시각 인터페이스 콘텐츠의 적어도 하나 이상의 서브세트를 디스플레이하는 단계를 더 포함하는 방법.
  9. 삭제
  10. 제1항에 있어서,
    상기 다수의 디스플레이-인에이블드 사용자 입력 장치에 의해 디스플레이될 부속 시각 인터페이스 콘텐츠의 양에 대응하는 사용자 입력을 수신하는 단계
    를 더 포함하는 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제1항에 있어서,
    상기 제1 주요 시각 인터페이스 콘텐츠는 제1 시각 환경의 일부를 제공하며, 상기 제1 부속 시각 인터페이스 콘텐츠는 제1 원격 이벤트 통지 및 제1 원격 모니터링 콘텐츠 중 적어도 하나를 포함하며, 상기 제1 원격 이벤트 통지 및 상기 제1 원격 모니터링 콘텐츠 각각은 상기 제1 시각 환경으로부터 배제되는 제2 시각 환경에 대응하는, 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 제1항에 있어서,
    상기 다수의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 제1 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계는,
    상기 주요 디스플레이 장치보다는 상기 다수의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 한 세트의 시각 오버레이(visual overlay)를 디스플레이하는 단계
    를 포함하는, 방법.
  21. 제1항에 있어서,
    상기 주요 디스플레이 장치를 사용해서 상기 제1 부속 시각 인터페이스 콘텐츠의 서브세트를 디스플레이하는 단계;
    상기 주요 디스플레이 장치를 사용해서 상기 제1 부속 시각 인터페이스 콘텐츠의 서브세트에 대응하는 한 세트의 그래픽 시각 콘텐츠 전달 제어를 디스플레이하는 단계; 및
    상기 한 세트의 그래픽 시각 콘텐츠 전달 제어 내의 그래픽 시각 콘텐츠 전달 제어의 사용자 선택에 응답해서, 상기 다수의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 상기 제1 부속 시각 인터페이스 콘텐츠의 서브세트를 디스플레이하는 단계
    를 더 포함하는 방법.
  22. 삭제
  23. 제1항에 있어서,
    상기 주요 디스플레이 장치보다는 상기 다수의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 제1 시간 간격 동안 상기 제1 부속 시각 인터페이스 콘텐츠의 서브세트를 디스플레이하는 단계;
    상기 다수의 디스플레이-인에이블드 사용자 입력 장치 중 하나의 디스플레이-인에이블드 사용자 입력 장치로부터 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 응답해서 상기 주요 디스플레이 장치를 사용해서 제2 시간 간격 동안 상기 제1 부속 시각 인터페이스 콘텐츠의 서브세트를 디스플레이하는 단계
    를 더 포함하는 방법.
  24. 삭제
  25. 삭제
  26. 제1항에 있어서,
    상기 응용 프로그램 실행 동안 다수의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 제1 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계는,
    디스플레이-인에이블드 컴퓨터 마우스 및 디스플레이-인에이블드 게임 컨트롤러 중 하나에 수반되어 있는 한 세트의 디스플레이-인에이블드 버튼을 사용해서 제1 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계
    를 포함하는, 방법.
  27. 삭제
  28. 프로그램 명령을 저장하는 한 세트의 컴퓨터 판독 가능 매체에 있어서,
    실행되면, 프로세싱 유닛, 메모리, 주요 디스플레이 장치, 및 다수의 디스플레이-인에이블드 사용자 입력 장치를 가지는 자동화된 시스템으로 하여금 주요 시각 인터페이스 콘텐츠 및 부속 시각 인터페이스 콘텐츠를 포함하는 시각 인터페이스 콘텐츠에 대응하는 시각 인터페이스 콘텐츠 관리 동작을 수행하게 하며, 상기 주요 시각 인터페이스 콘텐츠는 현재의 응용 프로그램 실행 맥락을 나타내는 시각 정보의 메인 소스를 제공하고, 상기 부속 시각 인터페이스 콘텐츠는 응용 프로그램 실행과 관련된 시각 정보를 제공하며,
    상기 시각 인터페이스 콘텐츠 관리 동작은,
    응용 프로그램 실행 동안 주요 디스플레이 장치를 사용해서 제1 주요 시각 인터페이스 콘텐츠를 디스플레이하기 위한 수단;
    응용 프로그램 실행 동안 다수의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 상기 주요 디스플레이 장치에 없는 시각 환경의 일부에 대응하고 상기 응용 프로그램의 실행 맥락 내의 응용 프로그램 이벤트를 나타내는 시각 정보를 포함하는 제1 부속 시각 인터페이스 콘텐츠를 디스플레이하기 위한 수단; 및
    상기 주요 디스플레이 장치를 사용해서 갱신된 주요 시각 인터페이스 콘텐츠 및 상기 한 세트의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 갱신된 부속 시각 인터페이스 콘텐츠 중 적어도 하나를 디스플레이함으로써, 갱신된 시각 인터페이스 콘텐츠를 점진적으로 디스플레이하기 위한 수단
    을 포함하며,
    상기 갱신된 주요 시각 인터페이스 콘텐츠는 상기 제1 주요 시각 인터페이스 콘텐츠와 구별되며, 상기 갱신된 부속 시각 인터페이스 콘텐츠는 제1 부속 시각 인터페이스 콘텐츠와 구별되고,
    상기 제1 부속 시각 인터페이스 콘텐츠와 상기 갱신된 부속 시각 인터페이스 콘텐츠 중 적어도 하나 이상의 서브세트를 디스플레이하기 위해 다수의 디스플레이-인에이블드 사용자 입력 장치 중 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치에 동적으로 배정하고,
    제1 부속 시각 인터페이스 콘텐츠와 갱신된 부속 시각 인터페이스 콘텐츠 중 적어도 하나의 시각적 표상이, 사용자 입력에 응답하여, 상기 다수의 디스플레이-인에이블드 사용자 입력 장치의 특정한 부분들로 이동하는 것을 특징으로 하는 한 세트의 컴퓨터 판독 가능 매체.
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 응용 프로그램 실행 동안 주요 시각 인터페이스 콘텐츠 및 부속 시각 인터페이스 콘텐츠를 포함하는 시각 인터페이스 콘텐츠를 제시하는 시스템에 있어서,
    상기 주요 시각 인터페이스 콘텐츠는 현재의 응용 프로그램 실행 맥락을 나타내는 시각 정보의 메인 소스를 제공하고, 상기 부속 시각 인터페이스 콘텐츠는 응용 프로그램 실행과 관련된 시각 정보를 제공하며, 상기 시스템은,
    프로세싱 유닛;
    상기 프로세싱 유닛에 결합되어 있는 주요 디스플레이 장치;
    상기 프로세싱 유닛에 결합되어 있는 다수의 디스플레이-인에이블드 사용자 입력 장치; 및
    상기 프로세싱 유닛에 결합되어 있는 메모리
    를 포함하며,
    상기 메모리는,
    응용 프로그램; 및
    실행될 때, 시각 인터페이스 콘텐츠 관리 동작의 관리 및 수행 중 하나를 수행하게 하는 프로그램 명령을 포함하는 시각 인터페이스 콘텐츠 관리자
    를 포함하며,
    상기 시각 인터페이스 콘텐츠 관리 동작은,
    응용 프로그램 실행 동안 주요 디스플레이 장치를 사용해서 제1 주요 시각 인터페이스 콘텐츠를 디스플레이하는 단계;
    응용 프로그램 실행 동안 다수의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 제1 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계로서, 상기 제1 부속 시각 인터페이스 콘텐츠는, 상기 주요 디스플레이 장치에 없는 시각 환경의 일부에 대응하고 상기 응용 프로그램의 실행 맥락 내의 응용 프로그램 이벤트를 나타내는 시각 정보를 포함하는, 상기 제1 부속 시각 인터페이스 콘텐츠를 디스플레이하는 단계; 및
    상기 주요 디스플레이 장치를 사용해서 갱신된 주요 시각 인터페이스 콘텐츠 및 상기 다수의 디스플레이-인에이블드 사용자 입력 장치를 사용해서 갱신된 부속 시각 인터페이스 콘텐츠 중 적어도 하나를 디스플레이함으로써, 갱신된 시각 인터페이스 콘텐츠를 점진적으로 디스플레이하는 단계
    를 포함하며,
    상기 갱신된 주요 시각 인터페이스 콘텐츠는 상기 제1 주요 시각 인터페이스 콘텐츠와 구별되며, 상기 갱신된 부속 시각 인터페이스 콘텐츠는 제1 부속 시각 인터페이스 콘텐츠와 구별되고,
    상기 제1 부속 시각 인터페이스 콘텐츠와 상기 갱신된 부속 시각 인터페이스 콘텐츠 중 적어도 하나 이상의 서브세트를 디스플레이하기 위해 다수의 디스플레이-인에이블드 사용자 입력 장치 중 적어도 하나의 디스플레이-인에이블드 사용자 입력 장치에 동적으로 배정하고,
    제1 부속 시각 인터페이스 콘텐츠와 갱신된 부속 시각 인터페이스 콘텐츠 중 적어도 하나의 시각적 표상이, 사용자 입력에 응답하여, 상기 다수의 디스플레이-인에이블드 사용자 입력 장치의 특정한 부분들로 이동하는 것을 특징으로 하는 시스템.
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
KR1020137020630A 2011-01-05 2011-01-05 디스플레이-인에이블드 키보드, 키패드, 및/또는 다른 사용자 입력 장치를 사용하여 시각 인터페이스 콘텐츠를 관리, 선택, 및 갱신하는 시스템 및 방법 KR101662500B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SG2011/000004 WO2012093964A1 (en) 2011-01-05 2011-01-05 Systems and methods for managing, selecting, and updating visual interface content using display-enabled keyboards, keypads, and/or other user input devices

Publications (2)

Publication Number Publication Date
KR20140040097A KR20140040097A (ko) 2014-04-02
KR101662500B1 true KR101662500B1 (ko) 2016-10-05

Family

ID=46457625

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137020630A KR101662500B1 (ko) 2011-01-05 2011-01-05 디스플레이-인에이블드 키보드, 키패드, 및/또는 다른 사용자 입력 장치를 사용하여 시각 인터페이스 콘텐츠를 관리, 선택, 및 갱신하는 시스템 및 방법

Country Status (6)

Country Link
US (1) US9990111B2 (ko)
EP (1) EP2661666A4 (ko)
KR (1) KR101662500B1 (ko)
CN (1) CN103502920B (ko)
TW (1) TWI571794B (ko)
WO (1) WO2012093964A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102298734B1 (ko) 2020-12-18 2021-09-06 주식회사 강한손 시각장애인을 위한 퍼킨스 타입의 접이식 키보드

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776103B2 (en) * 2011-12-19 2020-09-15 Majen Tech, LLC System, method, and computer program product for coordination among multiple devices
KR20130133564A (ko) * 2012-05-29 2013-12-09 삼성전자주식회사 전자 장치, 키 입력 방법 및 컴퓨터 판독가능 기록매체
US10209781B2 (en) * 2012-06-12 2019-02-19 Logitech Europe S.A. Input device with contoured region
US9098164B2 (en) * 2012-08-03 2015-08-04 National Instruments Corporation Physics based diagram editor
EP2904526A4 (en) * 2012-10-01 2016-06-15 Yandex Europe Ag METHOD AND SYSTEM FOR NAVIGATING TO A RESOURCE OF AN INTERNET SOURCE
TWI497349B (zh) * 2012-11-23 2015-08-21 Asus Global Pte Ltd 自訂輸入裝置功能的方法及電子裝置
US9687730B2 (en) * 2013-03-15 2017-06-27 Steelseries Aps Gaming device with independent gesture-sensitive areas
WO2014139053A1 (en) * 2013-03-15 2014-09-18 Yahoo! Inc. Method and system for intent centric multi-facet content presentation
DE112014002536T5 (de) * 2013-05-21 2016-04-28 Fairlight Au Pty Ltd Benutzerschnittstelle zum Steuern von Softwareanwendungen
CN103729067A (zh) * 2013-12-18 2014-04-16 深圳市赛盟特科技有限公司 一种云鼠标键盘的实现装置及其实现方法
CN106233241B (zh) * 2014-01-23 2020-03-31 苹果公司 虚拟计算机键盘
US11914419B2 (en) 2014-01-23 2024-02-27 Apple Inc. Systems and methods for prompting a log-in to an electronic device based on biometric information received from a user
FR3022645A1 (fr) * 2014-06-19 2015-12-25 Orange Procede d'adaptation et adaptateur d'interface utilisateur
CN106462321A (zh) * 2014-06-24 2017-02-22 苹果公司 用于视频系统的应用程序菜单
CN104199629B (zh) * 2014-08-18 2017-06-27 杭州安恒信息技术有限公司 多界面联动系统及其通过网络连接实现多界面联动的方法
CN104182195A (zh) * 2014-08-25 2014-12-03 网易（杭州）网络有限公司 一种游戏对象的显示方法和设备
US10635296B2 (en) * 2014-09-24 2020-04-28 Microsoft Technology Licensing, Llc Partitioned application presentation across devices
CN104317479A (zh) * 2014-10-10 2015-01-28 百度在线网络技术（北京）有限公司 输入界面的展现方法和装置
TWI554912B (zh) * 2015-02-13 2016-10-21 A touch button system that can be displayed by an external program
US20160291806A1 (en) * 2015-04-02 2016-10-06 Ford Global Technologies, Llc Customizable instrument cluster user interface
US10581981B2 (en) 2015-04-09 2020-03-03 Apple Inc. Seamlessly switching between modes in a dual-device tutorial system
CN105094346B (zh) * 2015-09-29 2018-09-25 腾讯科技（深圳）有限公司 一种信息处理方法、终端及计算机存储介质
CN108292442B (zh) 2015-09-30 2021-10-01 雷蛇(亚太)私人有限公司 信息编码方法、信息解码方法、计算机可读介质、信息编码器及信息解码器
US20170177181A1 (en) * 2015-12-18 2017-06-22 Facebook, Inc. User interface analysis and management
WO2017197365A1 (en) * 2016-05-13 2017-11-16 Microsoft Technology Licensing, Llc Contextual windows for application programs
CN106094983A (zh) * 2016-06-06 2016-11-09 联想(北京)有限公司 一种电子设备和键盘控制方法
US10725627B2 (en) * 2016-07-15 2020-07-28 International Business Machines Corporation Managing inputs to a user interface with system latency
US11016661B2 (en) 2016-08-16 2021-05-25 Finetune Technologies Ltd. Device and method for displaying changeable icons on a plurality of display zones of a reverse keyboard assembly
DE112017004107T5 (de) 2016-08-16 2019-05-02 Finetune Technologies Ltd. Umgekehrter Tastaturaufbau
WO2018071004A1 (en) * 2016-10-11 2018-04-19 Hewlett-Packard Development Company, L.P. Visual cue system
US11221749B2 (en) * 2016-10-31 2022-01-11 Lenovo (Singapore) Pte. Ltd. Electronic device with touchpad display
USD802616S1 (en) * 2016-11-22 2017-11-14 Verifone, Inc. Display screen or portion thereof with a graphical user interface
KR102629341B1 (ko) * 2017-02-24 2024-01-25 삼성전자 주식회사 멀티태스킹을 위한 인터페이스 제공 방법 및 이를 구현하는 전자 장치
TWI615757B (zh) * 2017-03-31 2018-02-21 華碩電腦股份有限公司 控制方法、電子裝置及非暫態電腦可讀取記錄媒體
WO2019040366A1 (en) * 2017-08-21 2019-02-28 Finetune Technologies Ltd. DEVICE AND METHOD FOR DISPLAYING MODIFIABLE ICONS ON A PLURALITY OF DISPLAY AREAS OF AN INVERTED KEYBOARD ASSEMBLY
US10732676B2 (en) * 2017-09-06 2020-08-04 Apple Inc. Illuminated device enclosure with dynamic trackpad
US20210096719A1 (en) * 2018-06-05 2021-04-01 Hewlett-Packard Development Company, L.P. Behavior keys for secondary displays
CN111104079A (zh) * 2018-10-29 2020-05-05 华硕电脑股份有限公司 控制方法、电子装置及非暂态电脑可读记录媒体装置
TWI705361B (zh) * 2018-10-29 2020-09-21 華碩電腦股份有限公司 控制方法、電子裝置及非暫態電腦可讀記錄媒體裝置
CN109544663B (zh) * 2018-11-09 2023-01-06 腾讯科技（深圳）有限公司 应用程序的虚拟场景识别与交互键位匹配方法及装置
CN109701263B (zh) * 2018-11-30 2021-10-22 腾讯科技（深圳）有限公司 操作的控制方法及操作控制器
CN110866940B (zh) * 2019-11-05 2023-03-10 广东虚拟现实科技有限公司 虚拟画面的控制方法、装置、终端设备及存储介质
GB2607824A (en) * 2020-02-12 2022-12-14 Rapiscan Systems Inc Systems and methods of generating improved graphical user interfaces for distributed rule and workflow management
TWI758886B (zh) 2020-09-29 2022-03-21 國立中興大學 具有螢幕顯示按鍵的多功能控制裝置
TWI809617B (zh) * 2020-12-22 2023-07-21 禾瑞亞科技股份有限公司 電子紙觸控板的控制方法與整合裝置及電子系統
CN115185391A (zh) * 2021-04-01 2022-10-14 华硕电脑股份有限公司 电子装置
US20230121241A1 (en) * 2021-10-20 2023-04-20 Dell Products L.P. System and method of utilizing a keyboard with a display

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100279769A1 (en) 2009-04-13 2010-11-04 Chira Kidakam Game controller with display screen

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5367453A (en) * 1993-08-02 1994-11-22 Apple Computer, Inc. Method and apparatus for correcting words
US5543818A (en) * 1994-05-13 1996-08-06 Sony Corporation Method and apparatus for entering text using an input device having a small number of keys
US6016142A (en) * 1998-02-09 2000-01-18 Trimble Navigation Limited Rich character set entry from a small numeric keypad
US6731316B2 (en) * 2000-02-25 2004-05-04 Kargo, Inc. Graphical layout and keypad response to visually depict and implement device functionality for interactivity with a numbered keypad
US6765557B1 (en) * 2000-04-10 2004-07-20 Interlink Electronics, Inc. Remote control having touch pad to screen mapping
JP3345600B2 (ja) 2000-04-10 2002-11-18 コナミ株式会社 ゲームシステムおよびコンピュータ読取可能な記憶媒体
JP2002041223A (ja) * 2000-07-17 2002-02-08 Internatl Business Mach Corp <Ibm> コンピュータシステム、オンスクリーン・キーボード生成方法、パワー・オン・パスワード照合方法及びメモリ
US20030177187A1 (en) * 2000-11-27 2003-09-18 Butterfly.Net. Inc. Computing grid for massively multi-player online games and other multi-user immersive persistent-state and session-based applications
US9474968B2 (en) * 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US20050043095A1 (en) * 2003-08-20 2005-02-24 Larson Lee A. Apparatus and method for games requiring display of individual player information
US20050073446A1 (en) * 2003-10-06 2005-04-07 Mihal Lazaridis Selective keyboard illumination
US7705829B1 (en) * 2004-04-23 2010-04-27 F5 Networks, Inc. System and method for providing computer input
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US20060148564A1 (en) * 2005-01-06 2006-07-06 Bfg Technologies, Inc. Game control system
US20060205455A1 (en) * 2005-03-08 2006-09-14 Rehco, Llc Interactive controller with an integrated display and interface to a second controller with stand-alone display
US20060205517A1 (en) 2005-03-08 2006-09-14 Malabuyo Paolo V Systems and methods for providing a system level user interface in a multimedia console
US20060219542A1 (en) * 2005-04-01 2006-10-05 Ixi Mobile (R&D) Ltd. Application sensitive illumination system and method for a mobile computing device
US7396281B2 (en) * 2005-06-24 2008-07-08 Disney Enterprises, Inc. Participant interaction with entertainment in real and virtual environments
JP4895352B2 (ja) * 2006-02-07 2012-03-14 任天堂株式会社 対象選択プログラム、対象選択装置、対象選択システム、および対象選択方法
EP1959238B1 (en) * 2007-02-13 2018-05-23 Harman Becker Automotive Systems GmbH Method for inputting a destination in a navigation unit and nagivation system therefor
US8142286B2 (en) * 2007-08-17 2012-03-27 Microsoft Corporation Programmable movement of an orientation of a game character view of a game environment
US20090063850A1 (en) * 2007-08-29 2009-03-05 Sharwan Kumar Joram Multiple factor user authentication system
US7921454B2 (en) * 2007-10-22 2011-04-05 International Business Machines Corporation System and method for user password protection
CN101598997A (zh) * 2008-06-06 2009-12-09 英业达股份有限公司 阶层式界面的应用程序操作方法
US20090325712A1 (en) * 2008-06-28 2009-12-31 Microsoft Corporation Player character matchmaking with distributed peer-to-peer functionality
CN101644985B (zh) 2008-08-06 2013-05-29 比亚迪股份有限公司 一种终端用户界面的显示方法、系统及设备
US9258402B2 (en) * 2009-04-14 2016-02-09 Qualcomm Incorporated System and method for controlling mobile devices
KR20100117928A (ko) * 2009-04-27 2010-11-04 주식회사 엔씨소프트 컴퓨터 게임을 위한 음성 단축키 설정 방법과 음성 단축키 입력 방법, 채팅 메시지 처리 방법
US20100304787A1 (en) * 2009-05-28 2010-12-02 Min Ho Lee Mobile terminal and method for displaying on a mobile terminal
US8827811B2 (en) * 2009-06-30 2014-09-09 Lg Electronics Inc. Mobile terminal capable of providing multiplayer game and operating method of the mobile terminal
US8812972B2 (en) * 2009-09-30 2014-08-19 At&T Intellectual Property I, L.P. Dynamic generation of soft keyboards for mobile devices
US9665278B2 (en) * 2010-02-26 2017-05-30 Microsoft Technology Licensing, Llc Assisting input from a keyboard
CN101853120A (zh) 2010-02-26 2010-10-06 宇龙计算机通信科技(深圳)有限公司 一种应用程序的控制菜单的呈现方法、系统及移动终端
BR112012032067A2 (pt) * 2010-06-15 2016-11-08 Thomson Licensing método e dispositivo para entrada segura de dados pessoais
US20120192078A1 (en) * 2011-01-26 2012-07-26 International Business Machines Method and system of mobile virtual desktop and virtual trackball therefor
US9448724B2 (en) * 2011-07-11 2016-09-20 International Business Machines Corporation Dynamically customizable touch screen keyboard for adapting to user physiology
KR101733115B1 (ko) * 2011-11-08 2017-05-10 한국전자통신연구원 원격 스크린내 콘텐츠 원격 제어 방법 및 장치
US9292203B2 (en) * 2012-05-10 2016-03-22 Apple Inc. Providing a vertical candidate bar with an on-screen keyboard
US9207777B2 (en) * 2012-11-01 2015-12-08 Blackberry Limited Electronic device with predictive URL domain key function
KR102088909B1 (ko) * 2013-03-15 2020-04-14 엘지전자 주식회사 이동 단말기 및 그의 변형 키패드 운용방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100279769A1 (en) 2009-04-13 2010-11-04 Chira Kidakam Game controller with display screen

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102298734B1 (ko) 2020-12-18 2021-09-06 주식회사 강한손 시각장애인을 위한 퍼킨스 타입의 접이식 키보드

Also Published As

Publication number Publication date
US20140143676A1 (en) 2014-05-22
KR20140040097A (ko) 2014-04-02
TW201234262A (en) 2012-08-16
EP2661666A1 (en) 2013-11-13
TWI571794B (zh) 2017-02-21
EP2661666A4 (en) 2015-01-21
WO2012093964A1 (en) 2012-07-12
CN103502920B (zh) 2015-10-21
US9990111B2 (en) 2018-06-05
CN103502920A (zh) 2014-01-08

Similar Documents

Publication Publication Date Title
KR101662500B1 (ko) 디스플레이-인에이블드 키보드, 키패드, 및/또는 다른 사용자 입력 장치를 사용하여 시각 인터페이스 콘텐츠를 관리, 선택, 및 갱신하는 시스템 및 방법
EP2820528B1 (en) Systems and methods for presenting visual interface content
KR101659424B1 (ko) 부가 3d 사용자 인터페이스를 제공하는 컴퓨터 주변 디스플레이 및 통신 기기
US10792562B2 (en) Information processing method, terminal, and computer storage medium
JP5734566B2 (ja) 仮想環境との対話方法、処理システム、及びコンピュータ・プログラム
US20090227368A1 (en) Display of notational object in an interactive online environment
KR20140006642A (ko) 온라인 게임에서의 유저 제스처 입력 처리 방법
WO2022257653A1 (zh) 虚拟道具的显示方法、装置、电子设备及存储介质
WO2022037529A1 (zh) 虚拟对象的控制方法、装置、终端及存储介质
CN110801629B (zh) 虚拟对象生命值提示图形的显示方法、装置、终端及介质
CN111589114B (zh) 虚拟对象的选择方法、装置、终端及存储介质
KR20140135276A (ko) 게임 스크린에 대한 사용자의 제스쳐 입력을 처리하는 장치 및 방법
KR102648210B1 (ko) 가상 객체 제어 방법 및 장치, 단말, 및 저장 매체
JP2020089496A (ja) ゲームプログラム、ゲーム処理方法及びゲーム端末
CN115089968A (zh) 一种游戏中的操作引导方法、装置、电子设备及存储介质
CN117414581A (zh) 一种信息处理方法、装置、电子设备及介质
CN115155052A (zh) 通过手柄控制游标的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190918

Year of fee payment: 4