JPH0798640A - 遠隔装置へのインターフェースを実行する方法、および装置を用いた改良型図形ユーザーインターフェース - Google Patents

遠隔装置へのインターフェースを実行する方法、および装置を用いた改良型図形ユーザーインターフェース

Info

Publication number
JPH0798640A
JPH0798640A JP6109983A JP10998394A JPH0798640A JP H0798640 A JPH0798640 A JP H0798640A JP 6109983 A JP6109983 A JP 6109983A JP 10998394 A JP10998394 A JP 10998394A JP H0798640 A JPH0798640 A JP H0798640A
Authority
JP
Japan
Prior art keywords
user interface
graphic
space
user
portal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6109983A
Other languages
English (en)
Other versions
JP3898235B2 (ja
Inventor
Patrick J Naughton
ジェイ ノートン パトリック
Iii Charles H Clanton
エイチ クラントン ザ サード チャールズ
A Gosling James
エイ ゴスリング ジェームズ
Warth Chris
ワース クリス
M Palrang Joseph
エム パルラング ジョゼフ
H Frank Edward
エイチ フランク エドワード
A Lavallee David
エイ ラヴァリー デヴィッド
Michael Sheridan R
マイケル シェリダン アール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FirstPerson Inc
Original Assignee
FirstPerson Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FirstPerson Inc filed Critical FirstPerson Inc
Publication of JPH0798640A publication Critical patent/JPH0798640A/ja
Application granted granted Critical
Publication of JP3898235B2 publication Critical patent/JP3898235B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/465—Distributed object oriented systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03J—TUNING RESONANT CIRCUITS; SELECTING RESONANT CIRCUITS
    • H03J1/00—Details of adjusting, driving, indicating, or mechanical control arrangements for resonant circuits in general
    • H03J1/0008—Details of adjusting, driving, indicating, or mechanical control arrangements for resonant circuits in general using a central processing unit, e.g. a microprocessor
    • H03J1/0025—Details of adjusting, driving, indicating, or mechanical control arrangements for resonant circuits in general using a central processing unit, e.g. a microprocessor in a remote control unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/06—Receivers
    • H04B1/16—Circuits
    • H04B1/20—Circuits for coupling gramophone pick-up, recorder output, or microphone to receiver
    • H04B1/202—Circuits for coupling gramophone pick-up, recorder output, or microphone to receiver by remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4113—PC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43622—Interfacing an external recording device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47214—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for content reservation or setting reminders; for requesting event notification, e.g. of sport results or stock market
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4821—End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03J—TUNING RESONANT CIRCUITS; SELECTING RESONANT CIRCUITS
    • H03J2200/00—Indexing scheme relating to tuning resonant circuits and selecting resonant circuits
    • H03J2200/25—Remote control device with display
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03J—TUNING RESONANT CIRCUITS; SELECTING RESONANT CIRCUITS
    • H03J2200/00—Indexing scheme relating to tuning resonant circuits and selecting resonant circuits
    • H03J2200/25—Remote control device with display
    • H03J2200/26—Remote control device with touch screen display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/2818—Controlling appliance services of a home automation network by calling their functionalities from a device located outside both the home and the home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S715/00—Data processing: presentation processing of document, operator interface processing, and screen saver display processing
    • Y10S715/977—Dynamic icon, e.g. animated or live action

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Finance (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer And Data Communications (AREA)
  • Digital Computer Display Output (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 【目的】 システムの拡張に伴うアプリケーションソフ
トのインストールが不要で、ユーザーに階層ファイル構
造を意識させない「スペース」概念に基づいた直覚的図
形ユーザーインターフェースを提供し、またこれを用い
た遠隔装置の制御方法および装置を提供する。 【構成】 図形ユーザーインターフェースを用いて複数
の遠隔装置、ハンドヘルド表示装置１７０は、メモリー
３３、ＣＰＵ３０、Ｉ／Ｏユニット３４、通信回路３
５、タッチスクリーンディスプレイ３７、入力装置４２
で構成されている。遠隔装置とハンドヘルド表示装置１
７０は通信媒体１６０で接続されている。このユーザー
インターフェースでは、複数のスペースが地図構造にて
構成されており、ディスプレイ３７に図形イメージとし
て表示される。各スペースにはオブジェクトという漫画
のようなアイコンがカラー表示されている。遠隔装置に
該当するアイコンを入力装置４２で選択すると操作がで
きる。また、ポータルと呼ばれる特定のオブジェクトを
選択すると現在のスペースから別のスペースで移動でき
る。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本願発明はコンピュータシステム
用図形ユーザーインターフェースの分野に関するもので
あり、特に、動画図形イメージを利用してコンピュータ
被制御オブジェクト指向ユーザーインターフェース付き
遠隔装置をオペレーターが制御するための直覚的方法(i
ntuitive methodology) を可能にする装置および方法に
関するものである。
【０００２】
【従来の技術】今日利用できる図形ユーザーインターフ
ェースで最も人気のある、例えば、ゼロックススター
（Ｘｅｒｏｘ Ｓｔａｒ 登録商標）、アップルマッキ
ントッシュ（Ａｐｐｌｅ Ｍａｃｉｎｔｏｓｈ 登録商
標）、マイクロソフトウィンドーズ（Ｍｉｃｒｏｓｏｆ
ｔ Ｗｉｎｄｏｗｓ）図形インターフェース等は「デス
クトップメタファー(desktop metaphor)」に基づいてい
る。デスクトップメタファーのシステムでは、表示スク
リーンは仮想デスクトップとして取り扱われる。ファイ
ル、ファイルフォールダー、プリンター等のオフィス環
境で見られる一般的な対象物（以下、オブジェクトと称
す）を表示するため仮想デスクトップ（つまり、表示ス
クリーン）上の図形シンボルを使用する。これらデスク
トップメタファーのシステムには様々な制約があり、こ
れらの制約によって人間であるオペレーターとコンピュ
ータシステムとの間のマンマシンインターフェースの有
効性が妨げられてしまう。
【０００３】既存のデスクトップメタファーの図形ユー
ザーインターフェースには階層ファイルシステムの使用
といった問題がある。デスクトップメタファーの図形ユ
ーザーインターフェースのほとんどは、コンピュータフ
ァイルが階層構造に整理されたファイルシステムを有す
るコンピュータに基づいている。階層ファイルシステム
構造には、ルートディレクトリとこのルートディレクト
リに納められた複数のサブディレクトリが設けられてい
る。さらに各サブディレクトリにサブサブディレクトリ
などが設けられている場合もある。階層ファイルシステ
ムは、内部にファイルフォールダーを備えたある種のル
ートファイルキャビネットのようにスクリーン上に図形
表示される。マイクロソフトウィンドウズやアップルマ
ッキントッシュ（登録商標）オペレーティングシステム
はいずれも、ファイルフォールダーのように表示した階
層ファイルシステムを使用している。
【０００４】ファイルフォールダーの階層構造は、新規
のユーザーを混乱させることがしばしばある。例えば、
ファイルをファイルフォールダーに保存し、このファイ
ルフォールダーはさらに別のファイルフォールダーに入
れ子（以下、ネストと称する）されて任意の深さの構造
とするシステムは本質的に混乱を引き起こすものであ
る、階層ファイルシステム内を進入している間にユーザ
ーの多くは迷ってしまう。ユーザーが迷ってしまうのは
ファイルフォールダー同士がよく似ており、また、ファ
イルシステム階層内でのユーザーの位置について何もフ
ィードバックが行われないからである。また、ファイル
フォールダーには、ユーザーが定義したラベル以外にフ
ァイルフォールダーの内容についての情報がなんら設け
られていないためでもある。例えば、別のユーザーが定
義することも可能な短いテキストラベル以外に、開いた
フォールダーがスプレッドシートデータを含んだ会計フ
ァイルフォールダーであるか、顧客データベースを含ん
だデータベースファイルフォールダーであるかをユーザ
ーが判断することは一般的には不可能である。従って、
現在のデスクトップメタファーの図形ユーザーインター
フェースではファイルシステム階層内でのユーザーの位
置に関するフィードバックがほとんど行われないため、
複雑なファイルシステム階層の中に進入することは困難
である。
【０００５】デスクトップメタファーに基づいた現在の
図形ユーザーインターフェースシステムでは、デスクト
ップメタファーの環境に思想的に一定のアプリケーショ
ンが適合しない場合が多々ある。すなわち、オフィスに
関係のないアプリケーションはデスクトップメタファー
に基づいたシステムに適しない場合がある。例えば、デ
スクトップメタファーでは、テレビを制御するアプリケ
ーションはデスクトップ上の「ペーパー」ファイルフォ
ールダーに納めておかなくてはならない。
【０００６】デスクトップメタファーのユーザーインタ
ーフェースのその他の一般的な問題としては、デスクト
ップ上にたくさんのアプリケーションが表示されるため
デスクトップが見にくくなるといった問題がある。デス
クトップメタファーシステムのユーザーの多くは、多数
のアプリケーションやファイルをアイコンの形でディス
プレースクリーン上に保存するのが一般的である。しか
しながら、ユーザーが特定のアプリケーションまたはフ
ァイルをオープンしたい場合、散らかったデスク上から
特定の紙ファイルを見つけだすのと同じで所望のアイコ
ンを見つけだすため表示スクリーンをユーザーは検索し
なくてはならない。デスクトップ上のアイコンには明瞭
な階層がなく、すべて同じである。このような均等性が
ユーザーを混乱させ、あるタスクから別のタスクへと切
り替えたい場合に問題となる。
【０００７】デスクトップメタファーの図形ユーザーイ
ンターフェースの編成を改善するためさまざまなシステ
ムが開発されてきた。「ルーム」という概念のシステム
がある。（パトリックチャン(Patrick Chan)「ユーザー
インターフェース設計における学習的配慮：ルームモデ
ル」カナダ、オンタリオ州、ウォータールー大学コンピ
ュータ科学学部報告ＣＳ−８４−１６、１９８４年７
月、参照）この他、ブレンダローレル(Brenda Laurel)
の「劇場としてのコンピュータ」１９９１年、アディッ
ソンウェズレー出版社、ブレンダローレル「人間ーコン
ピュータインターフェース設計の科学」１９９０年、ア
ディッソンウェズレー出版社(Addison-Wesley Publishi
ng Co.) 、ヘンダーソンジュニアｅｔ ａｌ．(Henders
on, Jr. etal.) の米国特許５，０７２，４１２「表示
システムオブジェクトを共用するためのマルチ作業スペ
ース付きユーザーインターフェース」などがある。
【０００８】ルーム概念に基づいたシステムでは、１つ
のタスクあるいは関連タスクグループをユーザーが実行
できるそれぞれ異なるルームをユーザーが作成する。各
ルームは、関連タスクグループを備えた各自の仮想デス
クトップを表す。機能でルームを判別するラベルがルー
ムのそれぞれに付されている。例えば、メールルーム
や、ワードプロセッサー付きタイピングルーム、あるい
は、スプレッドシート付き会計ルームなどをユーザーは
作成することが可能である。各部屋には、クロックなど
のように全てのルームに共用されるウィンドウの他には
特定のタスクルームに対応するアイコンやウィンドウだ
けが付与されている。
【０００９】ルーム概念を用いたシステム内のタスク間
で切替えを行うには、異なるタスクに関連しているルー
ム間をユーザーが移動する。例えば、スプレッドシート
からメール検索に移動するには、会計ルームからメール
ルームへとユーザーが移動する。２つのメールの間を移
動するには、現在のルームと別のルームを接続している
ドアを表すアイコンをユーザーが選択する。利用可能な
ルームの間であればユーザーはドアを作成することがで
きる。
【００１０】
【発明が解決しようとする課題】ルーム概念は「デスク
トップが散らかる」といった問題の解決には役立つが、
依然として共通デスクトップメタファーに依存したもの
である。例えば、情報を記録するために使用する解り難
い階層ファイル構造をルームインターフェースの概念で
簡略化することはできない。また、デスクトップメタフ
ァーに適しないアプリケーションをシステムに加える場
合に明らかになるフォームと機能の不一致もルーム概念
で解決することはできない。
【００１１】従来の図形ユーザーインターフェースで
は、システムに新しいハードウェア部品を導入する度に
ユーザーは新しい制御ソフトウェアを追加しなくてはな
らなかった。例えば、アップル（Ａｐｐｌｅ 登録商
標）マッキントッシュ（Ｍａｃｉｎｔｏｓｈ 登録商
標）のユーザーやマイクロソフト（Ｍｉｃｒｏｓｏｆｔ
登録商標）ウィンドーズのユーザーがシステムに新し
いプリンターを装着したいと考えた場合、追加したその
プリンターを制御する新しいプリンタードライバーもイ
ンストールしなくてはならない。従って、システムに新
しい装置を追加する度にユーザーは適当なソフトウェア
を追加するために複雑な手続きを行う必要がある。
【００１２】上述したように、本願発明の目的はデスク
トップメタファーのシステムに関連した問題を解決する
改良型図形ユーザーインターフェースを提供することに
ある。ユーザーによるロードを必要としない遠隔装置の
ユーザーインターフェースを得るための方法及び装置も
開示している。遠隔装置は、本願発明の表示スクリーン
に表示されているような遠隔装置のユーザーインターフ
ェースを用いて制御することができる。ユーザーインタ
ーフェースは遠隔装置の制御を参照しながら説明する
が、本願発明のユーザーインターフェースはコンピュー
タワークステーション、ポータブルコンピュータ、ハン
ドヘルド制御システムなどの様々な分野に適用すること
が可能であることは以下の説明から理解できるものと考
える。
【００１３】また、本願発明の目的は、直覚的な図形ユ
ーザーインターフェースと遠隔装置の制御する方法およ
び装置を提供するものである。
【００１４】
【課題を解決するための手段】上記本願発明の目的を達
成するため、本願発明に係るＣＰＵ、メモリー、図形表
示スクリーンからなるコンピューターシステム上で図形
ユーザーインターフェースを実行する方法は、それぞれ
図形背景イメージで構成された複数のスペースを生成す
るステップと、複数のポータル（門）に接続された前記
スペースを指示された図形構造体の中に配列するステッ
プと、前記ポータルが存在しているスペースと対応目標
スペースが前記ポータルによって接続されるよう図形ア
イコンからなる前記ポータルのそれぞれに対応目標スペ
ースが設けられており、前記スペースの内部に前記複数
のポータルを配置するステップと、少なくとも第１のポ
ータルが設けられた第１スペースの図形背景イメージと
当該第１スペース内に配置されているポータルを図形表
示スクリーン上に表示するステップと、前記第１スペー
スの内部に配置されている前記複数のポータルの中から
選択した１つのポータルからなる前記入力をユーザーか
ら受領するステップと、選択された前記ポータルに対応
する目標スペースの図形背景イメージを前記図形表示ス
クリーン上に表示するステップとを有しており、前記ス
ペースの中の前記ポータルを選択することにより前記指
示された図形構造体の中のスペース間を前記ユーザーが
移動できることを特徴とする。
【００１５】また、本願発明に係るユーザーがオブジェ
クトの選択を行う対象である複数のオブジェクトをコン
ピューターシステムに対応した表示スクリーン上に表示
する方法は、環状オブジェクトリストの中に複数のオブ
ジェクトを配列するステップと、前記環状オブジェクト
リスト内の前記オブジェクトの第１サブセットを図形オ
ブジェクトの第１サブセットとして表示スクリーン上に
表示するステップであり、前記表示スクリーン上に表示
された図形オブジェクトは第１の軸に沿って配列されて
いるところの第１サブセット表示ステップと、前記表示
スクリーン上の第２サブセット図形オブジェクトは前記
環状オブジェクトリスト内の前記オブジェクトの第２サ
ブセットに対応しているものであって、前記図形オブジ
ェクト上を前記第１の軸に略平行な方向へ前記ユーザー
が指示装置をスライドした時に前記表示スクリーン上の
図形オブジェクトの前記第１サブセットが前記表示スク
リーン上の前記第２サブセット図形オブジェクトと入れ
替わるよう前記環状オブジェクトリストを回転させるス
テップを有しており、前記表示スクリーン上に所望のオ
ブジェクトが現れるまで前記環状オブジェクトリストを
回転させることにより前記ユーザーは前記複数のオブジ
ェクトの中からどれか１つのオブジェクトを選択できる
ことを特徴とする。
【００１６】本願発明に係る図形ユーザーインターフェ
ースは指示された図形構造体内に配列された複数のスペ
ースで構成されており、前記各スペースは図形背景イメ
ージで構成され、前記スペースは複数のポータルによっ
て前記指示された図形構造体に接続されており、前記ポ
ータルはそれぞれ第１スペースと第２スペースを接続す
るところのコンピュータシステム用図形ユーザーインタ
ーフェース内における前記指示された図形構造体に沿っ
て巡ってきた経路を記録する方法において、目標スペー
スに対応した少なくとも１つのポータルからなる第１ス
ペースに対応する図形背景イメージを表示スクリーン上
に表示するステップと、前記複数のスペースの各スペー
ス内に表示され、前回訪れたスペースを指すスペースポ
インターのスタックからなるウェイバックポータルを生
成するステップと、前記第１スペース内の前記複数のポ
ータルから選択した１つのポータルまたは前記ウェイバ
ックポータルからなる入力をユーザーから受け取るステ
ップと、前記ユーザーがポータルと選択した場合は、こ
の選択されたポータルに対応するスペースのポインター
を前記ウェイバックスタック上に前記ユーザーインター
フェースがプッシュし、そして前記選択されたポータル
に対応する前記スペースの図形背景イメージを前記表示
スクリーン上に表示するように、あるいは、前記ユーザ
ーが前記ウェイバックポータルを選択した場合は、前記
ウェイバックポータルの一番上からスペースポインター
をポップし、そして前記スペースポインターで指し示し
た前記スペースを前記図形表示スクリーン上に表示する
ように前記ユーザーから受け取った前記入力を処理する
ステップを有していることを特徴とする。
【００１７】本願発明に係る図形ユーザーインターフェ
ースと汎用性動画アイコンを有する本願発明のコンピュ
ータシステムにおいて、前記アイコンは表示スクリーン
上に表示される擬人化図形キャラクターと、前記擬人化
図形キャラクターを動画化してユーザーの注意を引く手
段と、前記擬人化キャラクターの視覚的外見を変化させ
てステート情報を伝える手段で構成されていることを特
徴とする。
【００１８】本願発明に係る図形ユーザーインターフェ
ースは表示スクリーン上に表示される複数の図形オブジ
ェクトから構成されており、スクリーン上においた指を
検出し、また、該スクリーン上の該指の位置を判断する
タッチスクリーンで前記表示スクリーンは構成されてい
るところのコンピュータ用図形ユーザーインターフェー
スの中でユーザー図形オブジェクトを掴めるようにする
方法において、前記タッチスクリーン上の領域を定義す
る図形オブジェクトを当該スクリーン上に表示するステ
ップと、前記タッチスクリーン上に表示されている前記
図形オブジェクトの近くに指をおくステップと、前記タ
ッチスクリーン上に表示されている前記図形オブジェク
トの回りに前記指で円を描くステップと、前記タッチス
クリーン上に表示されている前記図形オブジェクトに触
れるステップと、前記タッチスクリーンで判断したよう
に前記タッチスクリーン上の前記指が定めた当該スクリ
ーン上の位置に前記図形オブジェクトを表示するステッ
プとを有しており、前記図形オブジェクトの回りに指で
円を描くことによりユーザーは前記図形オブジェクトを
選択することができることを特徴とする。
【００１９】本願発明に係る少なくとも１個の遠隔装置
を制御する装置は、中央演算処理ユニット（ＣＰＵ）
と、前記中央演算処理ユニットに接続されたメモリー
と、前記中央演算処理ユニットに接続されており、図形
イメージを表示する表示スクリーンと、前記中央演算処
理ユニットに接続されており、通信ネットワークを介し
てメッセージを送受信する通信手段と、遠隔装置によっ
て伝送されるとともに前記遠隔装置用ユーザーインター
フェースの定義を行うユーザーインターフェースオブジ
ェクトを前記通信手段を介して受信する手段と、前記遠
隔装置に対応する図形ユーザーインターフェースを前記
表示スクリーン上に表示するユーザーインターフェース
方法を前記ユーザーインターフェースプログラムオブジ
ェクトの中から呼び出す手段と、前記表示スクリーン上
の前記遠隔装置に対応する前記図形ユーザーインターフ
ェースによって導かれた入力をユーザーから受信する手
段と、遠隔装置を制御するデバイス駆動方法であって、
前記遠隔装置に対応したデバイス駆動方法を前記ユーザ
ーからの入力に応じて呼び出す手段を有しており、前記
遠隔装置の前記ユーザーインターフェースを前記表示ス
クリーン上に表示し、また、前記ユーザーインターフェ
ースとの対話によって前記デバイスドライバーを呼び出
すことを特徴とする。
【００２０】本願発明に係る遠隔装置から図形ユーザー
インターフェースを獲得すると共に通信ネットワークに
接続された局所表示装置を用いて前記遠隔装置を制御す
る方法は、前記通信ネットワークへ前記遠隔装置を接続
するステップと、前記通信ネットワークに接続された時
に出力を行う(to export) 図形ユーザーインターフェー
スを備えているという信号を前記遠隔装置から送るステ
ップと、前記局所表示装置で前記図形ユーザーインター
フェースを要求するステップと、前記図形ユーザーイン
ターフェースを表示する方法を有した図形ユーザーイン
ターフェースプログラムオブジェクトを前記局所表示装
置へ伝送するステップと、前記局所表示装置上に前記遠
隔装置の図形ユーザーインターフェースが表示されるよ
う前記ユーザーインターフェースプログラムオブジェク
トの中から前記方法を呼び出すステップを有しているこ
とを特徴とする。
【００２１】本願発明に係る図形ユーザーインターフェ
ース内のオブジェクトをコピーする方法は、図形表示ス
クリーン上の第１の位置にオブジェクトの第１図形イメ
ージを標示するステップと、前記オブジェクトをコピー
するコマンドからなる入力をユーザーから受取ステップ
と、ぼかした色で描かれた前記第１図形イメージのコピ
ーからなる前記第１の位置の前記オブジェクトのゴース
トイメージを前記表示スクリーン上に表示するステップ
と、前記オブジェクトのコピーを配置する第２の位置か
らなる入力をユーザーから受け取るステップと、前記第
２の位置に前記オブジェクトの前記第１図形イメージを
表示するステップと、前記オブジェクトの前記ゴースト
イメージが前記オブジェクトの前記第１図形イメージと
同じになるよう前記表示スクリーン上の前記第１の位置
の前記オブジェクトの前記ゴーストイメージを変化させ
るステップを有しており、前記オブジェクトの２つの図
形イメージが存在することを特徴とする。
【００２２】本願発明に係る図形ユーザーインターフェ
ース内のオブジェクトを移動する方法は、オブジェクト
の第１図形イメージを図形標示スクリーン上の第１の位
置に標示するステップと、前記オブジェクトを移動する
コマンドからなる入力をユーザーから受け取るステップ
と、ぼかした色で描かれた前記オブジェクトの前記第１
の図形イメージのコピーからなる前記第１の位置の前記
オブジェクトのゴーストイメージを前記標示スクリーン
上に標示するステップと、前記オブジェクトの第２図形
イメージを配置する第２の位置からなる入力をユーザー
から受け取るステップと、前記第２の位置に前記オブジ
ェクトの前記第２図形イメージを標示するステップと、
前記オブジェクトの前記ゴーストイメージと前記第２の
位置の前記オブジェクトの前記第２図形イメージが溶け
合うよう前記第１の位置の前記オブジェクトの前記ゴー
ストイメージを前記第２の位置へ移動するステップを有
しており、前記オブジェクトの一方の図形イメージが前
記第２の位置に現在存在していることを特徴とする。
【００２３】本願発明に係るオブジェクトを図形アイコ
ンで表示するオブジェクト指向図形ユーザーインターフ
ェースにおいて情報をプログラムオブジェクトへ送る方
法は、図形表示スクリーン上の第１の位置にデータオブ
ジェクトの図形イメージを表示するステップと、前記デ
ータオブジェクトを移動するコマンドからなる入力をユ
ーザーから受け取るステップと、ぼかした色で描かれた
前記オブジェクトの第１図形イメージのコピーからなる
前記第１の位置の前記オブジェクトのゴーストイメージ
を前記表示スクリーン上に表示するステップと、前記デ
ータオブジェクトを位置きめする第２の位置からなる入
力をユーザーから受け取るステップであって、前記プロ
グラムオブジェクトは当該第２の位置に配置されるとこ
ろの入力受取ステップと、前記プログラムオブジェクト
へ前記データオブジェクトを供給するコマンドである入
力をユーザーから受け取るステップを有しており、前記
オブジェクトの２つの図形イメージが現在存在している
ことを特徴とする。
【００２４】本願発明に係る表示スクリーン上に図形ユ
ーザーインターフェースが表示され、前記図形ユーザー
インターフェースはそれぞれ図形背景イメージからなる
複数のスペースで構成されており、前記スペースは地図
構造に構成されているものであって、前記図形ユーザー
インターフェース内を航行する方法は、前記地図構造内
の現在のユーザーの位置を現す第１スペースを前記表示
スクリーン上に表示するステップと、ポータルは対応目
標スペースを有し、また、図形アイコンで構成されてい
るものであって、前記ポータルが存在するスペースと前
記前記対応目標スペースが前記ポータルによって接続さ
れ、また、前記ポータルによって前記ユーザーの行く場
所が得られるよう複数の前記ポータルを前記第１スペー
ス内に表示するステップと、前記ユーザーが去ったばか
りのスペースのイメージを表すウェイバックポータルを
前記第１スペース内に表示するステップを有しているこ
とを特徴とする。
【００２５】
【作用および効果】本願発明の直覚的図形ユーザーイン
ターフェースと遠隔装置の制御方法および装置は以上の
ような構成を有している。以下に上記構成をより詳細に
説明することにより本願発明の作用および効果をより理
解し易いものとする。
【００２６】本願発明の図形ユーザーインターフェース
はハンドヘルド表示装置上に表示される。ハンドヘルド
表示装置は、図形表示システムに接続された少なくとも
１個の中央演算ユニット（ＣＰＵ）から構成されてい
る。本願発明の実施例においては、図形表示システムは
タッチ感知式であり、キーパッドなどの他の入力装置を
用いずにユーザーは指で情報を入力することができる。
ＣＰＵには通信回路も接続されており、何らかの通信媒
体を介して情報を通信する。遠隔装置の制御、および、
遠隔装置との通信には通信回路を使用する。
【００２７】本願発明の図形ユーザーインターフェース
では地理的地図構造の形にまとめられた空間世界(a wor
ld of Spaces) を作成する。各空間は普通の地理的環境
を構成しているため空間世界の内部を航行する(navigat
es) のは簡単である。各スペースは背景イメージで表示
され、このイメージは地理的地図構造内のどこにこのス
ペースが位置しているかを識別する航行目印になってい
る。例えば、居間スペースの背景イメージにはランプ、
椅子、テーブルなどが一般的に居間に見受けられる品物
が含まれている。このため、実際の世界で人が行うのと
同じように辺りを見回し、また、調べることによりユー
ザーは自分を方向付けできるため、この「世界」を航行
するのはずっと簡単になる。
【００２８】各スペースの中には、ユーザーが選択およ
び操作できる図形オブジェクトがユーザーインターフェ
ースによって配設されている。図形オブジェクトは、実
際の世界のテレビやＶＣＲのように簡単に判別すること
が可能な漫画のような動画図形オブジェクトになってい
る。ユーザーインターフェースのスペース内に存在する
オブジェクトの種類は少なくとも三種類ある。すなわ
ち、データオブジェクト、ボタン、門（以下、ポータル
と称す）の三種類である。データオブジェクトとは、特
定の１つの情報に関連したオブジェクトである。ボタン
とは特定の機能や動作に関連したオブジェクトのことで
ある。つまり、ユーザーがボタンを選択すると、そのボ
タンに対応する機能または動作をユーザーインターフェ
ースが実行する。ポータルとは、第１スペース内に表示
された第２スペースに対応するオブジェクトのことであ
る。すなわち、ユーザーがポータルを選択すると、ユー
ザーはそのポータルの中へ入って行き、このポータルに
対応する第２スペースへと進む。ユーザーの動作に合わ
せた音を用い、また、視覚フィードバックを与えればユ
ーザー環境はさらに向上する。
【００２９】実際の世界の遠隔装置を制御するため、ス
クリーン上に示されている図形オブジェクトの多くは実
際の世界の遠隔装置に対応付けられている。遠隔装置を
制御するため、ユーザーは特定の遠隔装置に対応した表
示スクリーン上の図形オブジェクトを選択する。遠隔装
置に対応した図形オブジェクトをユーザーが選択する
と、遠隔装置を制御するためのユーザーインターフェー
スがハンドヘルド表示装置に表示される。こうして、遠
隔装置のユーザーインターフェースとユーザーは会話す
ることが可能になる。遠隔装置を制御するため、本願発
明では遠隔装置用デバイス駆動法を呼び出す。このデバ
イス駆動法は、遠隔装置の精巧度にもよるが、遠隔装置
内または局所ハンドヘルド表示装置の内部に配置するこ
とが可能である。
【００３０】表記法および用語 以下に行う詳細な説明の多くは、表示イメージ、アルゴ
リズム、コンピュータメモリー内のデータビットの演算
の記号表示に関するものである。これらのアルゴリズム
記述および表示は、データ処理の分野に精通した者が同
じ分野の人に仕事の内容を最も効果的に伝達するのため
に使用する手段である。
【００３１】ここで、アルゴリズムとは所望の結果へ導
く数々のステップの一貫した手順であると一般には考え
られている。これらのステップは物理量の物理的操作を
必要とするものである。通常、必ずというわけではない
が、これらの物理量は記録、転送、結合、比較、選択、
被選択、変更あるいは操作が可能な電気または磁気信号
の形をしている。共通に使用できるというのが主な理由
であるが、これらの信号をビット、値、エレメント、記
号、文字、イメージ、項、番号などと呼ぶと便利な場合
もあることが分かる。しかし、他の類似の用語と同様に
これらの言葉は全て適当な物理量に対応したものであ
り、また、これらの物理量に貼った便利なラベルにしか
すぎないということを忘れてはならない。
【００３２】現在では、演算とは人間のオペレーターと
機械が共同で行うものである。本願発明の演算実行用マ
シンは、汎用デジタルコンピュータあるいは他の同様の
デバイスを内蔵している。どのような場合でも、コンピ
ュータを動作させるための方法オペレーションと演算自
体の方法は異なるものであることを忘れてはならない。
本願発明は、コンピュータを動作させ、また、電気ある
いはその他の物理信号を処理して別の所望の物理信号を
生成させる方法ステップに関するものである。
【００３３】また、本願発明はこれらの演算を実行する
装置に関するものでもある。この装置は必要に応じて特
別に構成することが可能で、コンピュータに記録されて
いるコンピュータプログラムで選択的に起動したり、ま
たは、再構成される汎用コンピュータで構成することが
可能である。この明細書で使用しているアルゴリズム
は、特定のコンピュータや他の装置に固有のものではな
い。特に、プログラムを用いてさまざまな汎用機をこの
明細書に記載されている方法に従って使用することが可
能である。あるいは、必要な方法のステップを実行する
特別の装置を構成してもっと便利にすることもできる。
これらさまざまなマシンに必要な構成はこれから行う説
明で明らかにする。本願発明の機能を実行可能なマシン
としては、カリフォルニア州、マウンテンビューのサン
マイクロシステムズ社（Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅ
ｍｓ， Ｉｎｃ．）を含むコンピュータシステム製造メ
ーカーの他にジアサイニー（ｔｈｅ Ａｓｓｉｇｎｅ
ｅ）、ファーストパーソン（ＦｉｒｓｔＰｅｒｓｏｎ）
社などで製造されている装置がある。
【００３４】コーディングの詳細 この明細書で説明している様々な手順(procedures)を実
行する特定のプログラム言語は示されていない。これ
は、一つには、列挙可能な言語全てが世界的に利用可能
ではないためである。特定のコンピュータのユーザー
は、目の前の目的の最も適した言語を知っているもので
ある。実際には、高度な言語で本願発明を実現し、次に
この言語をマシンが実行可能なオブジェクトコードにコ
ンパイルするのが有用であることが分かっている。本願
発明の実施時に使用可能なコンピュータやモニター装置
は異なる種類の多数のエレメントで構成されているた
め、詳細なプログラムリストはこの明細書には記載して
いない。一般的な技術を有したものであれば本願発明を
実施できる程度に十分にオペレーションおよびその他の
手順(procedures)を当該明細書および図面において示し
ている。
【００３５】
【実施例】以下、図面を参照しながら本願発明の好適実
施態様を詳細に説明する。
【００３６】直覚図形ユーザーインターフェースを備え
たコンピュータベース遠隔制御システムを説明する。以
下説明のため、本願発明を完全に理解できるよう特定の
用語を説明する。しかし、これら特定の詳細な説明事項
は本願発明の実施に必ず必要なものではないことは当業
者には自明のことである。他の場合には、発明が不必要
に分かり難くならないよう周知の回路、機能、プロセス
および装置はブロック図や概念図の形で示している。
【００３７】システム概要 図１は本願発明のコンピュータベース遠隔制御システム
の概要を示したものである。本願発明のメイン部品は図
１のハンドヘルド表示装置１７０で構成されている。こ
の実施例では、ハンドヘルド表示装置１７０はカラー図
形タッチスクリーンディスプレイ付きコンピュータシス
テムで構成されている。ハンドヘルド表示装置１７０
は、サーモスタット１５０、ビデオカセットレコーダー
３９、ステレオ装置１５２などの互換性のある遠隔装置
を制御するよう設計されている。ハンドヘルド装置１７
０は、通信媒体１６０を用いて遠隔装置と通信を行う。
【００３８】図１に示されている本願発明の遠隔制御シ
ステムは、モジュラーオブジェクト指向ソフトウェアに
基づいているため従来の遠隔制御システムとは大きく異
なっている。オブジェクト指向ソフトウェアにより従来
の遠隔制御システムでは利用できなかった機能が利用で
きる。例えば、オペレーター（「ユーザー」と呼ぶ場合
もある）がシステムにサーモスタット１５０などの新し
い互換性遠隔装置を付け加えると、新しい遠隔装置は自
身の情報をハンドヘルド表示装置１７０へ送信する。伝
達された情報の中には、遠隔装置へ図形ユーザーインタ
ーフェースを送る時に用いることが可能なユーザーイン
ターフェースオブジェクトが含まれている。本願発明で
は、ユーザーインターフェースオブジェクトを用いて新
しい遠隔装置用図形ユーザーインターフェースをハンド
ヘルド表示装置１７０上に表示する。利用可能なユーザ
ーインターフェースオブジェクトを全て編成するため、
一組のジェスチャーを用いながら簡単に航行できる地理
的スペースの「世界」をハンドヘルド表示装置１７０は
作成する。
【００３９】この明細書では、本願発明のハンドヘルド
表示装置１７０と互換性遠隔装置を構成するのに必要な
ハードウェアをまず説明する。次に、ハンドヘルド表示
装置１７０に表示される地理的スペースとオブジェクト
からなる図形ユーザーインターフェースを説明し、本願
発明のユーザーインターフェースの回りを航行するため
オペレーターが使用する一組のジェスチャーの定義も行
う。ユーザーインターフェースのエレメントを結合する
ため、航行用ジェスチャー(navigational gestures) を
どのように用いてハンドヘルド装置１７０に表示されて
いるオブジェクトと会話するのか本願発明のユーザーイ
ンターフェースの例を旅行することにより説明する。最
後に、ハンドヘルド表示装置１７０が外部遠隔装置と通
信を行い、また、該遠隔装置を制御できるよう遠隔装置
から情報を引き出すシステムを定義する。
【００４０】なお、本願発明の特徴部分は添付図面では
白黒で表示されているが、後で説明するように、本願発
明の実施態様のオブジェクトおよび特徴部分はカラーで
表示されるものである。
【００４１】ハードウェア構成 本願発明のハンドヘルド表示装置１７０は図２に示すよ
うなコンピュータシステムで構成されている。図２のコ
ンピュータシステム１７０は、中央演算処理ユニット
（ＣＰＵ）３０、メモリーユニット３３、入力／出力
（Ｉ／Ｏ）ユニット３４から構成されている。これらの
部品はほとんどの汎用コンピュータでよく見られる部品
であり、事実、ハンドヘルドコンピュータシステム１７
０は図形表示を生成可能な幅広い範囲のデータ処理装置
の典型となることを目的としているのである。
【００４２】コンピュータシステム１７０の入力／出力
（Ｉ／Ｏ）ユニット３４にはカラー図形スクリーン表示
３７が接続されている。スクリーン表示３７の一部は陰
極線管（ＣＲＴ）モニタまたは液晶ディスプレイ（ＬＣ
Ｄ）などのカラーラスタ表示装置で構成されている。ス
クリーン表示３７は、図形イメージを表示できる程度の
十分な解像度のものでなくてはならない。
【００４３】実施例において、スクリーンディスプレイ
３７にはタッチスクリーン表示装置も内蔵されている。
タッチスクリーンディスプレイは、表示スクリーン３７
を指が触っていることを検出できる構成を備えている。
さらに、表示スクリーン３７上でのユーザーの指のジェ
スチャーをスクリーンで感知できるようスクリーン３７
に触れている指の正確な位置をタッチスクリーンは識別
できる。タッチスクリーンディスプレイ３７は、市販さ
れている様々な種類のタッチ感知表示スクリーンの一つ
で構成されている。
【００４４】あるいは、タッチ感知表示スクリーンを用
いずにハンドヘルドコンピュータシステム１７０を従来
の図形表示システムで構成することも可能である。この
ようなシステムでは、ユーザーと会話するための代替入
力システムが必要である。図２は代替入力装置４２を示
している。本願発明のユーザーインターフェースはマウ
ス、トラックボール、ジョイスティックなどの代替入力
装置４２を用いて使用することが可能であるが、このシ
ステムは当該明細書ではタッチスクリーンディスプレイ
３７を用いた実施例として説明する。
【００４５】稼働中は、メモリー３３に記録されている
コンピュータコードを実行することによりＣＰＵ３０は
図形ユーザーインターフェースを生成し、また、タッチ
スクリーンディスプレイ３７に表示する。コンピュータ
技術に精通した者が多くのコンピュータ言語のうちいず
れか一つの言語を用いて様々なコンピュータシステムに
本願発明利用できるよう明細書では本願発明を十分に説
明しているため、メモリー３７に記録されているコンピ
ュータコードは明細書では開示していない。
【００４６】図２のコンピュータシステム１７０の入力
／出力（Ｉ／Ｏ）ユニット３４には外部通信回路３５が
接続されている。外部通信回路３５は、ハンドヘルドコ
ンピュータシステム１７０に対する情報の送受信装置と
して機能する。本願発明では、コンピュータシステム１
７０内の外部通信回路３５を用いて通信媒体１６０によ
りビデオカセットレコーダー３９やサーモスタット１５
０などの遠隔装置との通信を行う。通信回路３５では、
高周波、低電力、セルラー、赤外線信号あるいは従来の
電力線上を搬送されるデータ信号など多くの周知通信技
術のうちいずれか一つの技術を用いる。
【００４７】本願発明のハンドヘルド表示装置１７０に
よって制御されるよう、遠隔装置はハンドヘルド表示装
置１７０から送信される情報を受信する方法を少なくと
も一つ有していなくてはならない。理想的には、遠隔装
置は情報の送受信ができるインテリジェント装置である
のがよい。しかし、ハンドヘルド表示装置１７０では、
下に説明する３「種類」の遠隔装置のうちいずれか一つ
に適合した遠隔装置であれば制御できる。
【００４８】本願発明で制御できる第１の種類の遠隔装
置は、ハンドヘルド表示装置１７０で作動するよう特別
に設計された「インテリジェント遠隔装置」である。本
願発明では、「インテリジェント遠隔装置」はマイクロ
プロセッサ、通信システム、メモリーを内蔵した遠隔装
置と定義する。図３にはインテリジェント遠隔装置１５
０内の部品のブロック図が示されている。図３に示すよ
うに、インテリジェント遠隔装置１５０は、ＣＰＵ４０
３，メモリー４０４、通信回路４０１、装置制御回路４
０５から構成されている。
【００４９】本願発明のハンドヘルド表示装置１７０
は、インテリジェント遠隔装置の通信回路４０１を介し
てインテリジェント遠隔装置１５０と通信を行う。メモ
リー４０４には、ＣＰＵ４０３で使用したプログラムや
データが記録されており、これらのデータにはユーザー
インターフェースオブジェクト３０３やデバイスドライ
バーオブジェクト３０１が含まれている。インテリジェ
ント遠隔装置内のＣＰＵ４０３はデバイスドライバーオ
ブジェクト３０１内の方法を呼び出して遠隔装置を制御
する。
【００５０】本願発明で制御可能な第２の遠隔装置は、
ハンドヘルド表示装置１７０で作動するよう特別に設計
された「単純遠隔装置」である。本願発明では、遠隔装
置がマイクロプロセッサーを備えていなかったり、ある
いは、遠隔装置内のデバイスドライバーオブジェクト中
の方法をハンドヘルド表示装置１７０が呼び出せない程
原始的なプロセッサーを遠隔装置が内蔵しているような
場合は、その遠隔装置は「単純遠隔装置」と定義する。
【００５１】図４は一般的な単純遠隔装置１５５内の部
品のブロック図を示している。図４に示すように、単純
遠隔装置１５５はエミッタ４２０、受信器４２１、メモ
リー４２４、デバイス制御回路４２５から構成されてい
る。メモリー４２４の内容をハンドヘルド表示装置１７
０へ転送する時に単純遠隔装置１５５内のエミッタ４２
０を使用する。従って、単純遠隔装置１５５からはユー
ザーインターフェースオブジェクト３５３とメモリー４
２４内のデバイスドライバー３５１の両方を送信し、ハ
ンドヘルド表示装置ではこれら両方のオブジェクトを受
信する。
【００５２】単純遠隔装置１５５を制御するため、表示
装置１７０はデバイスドライバーオブジェクト３５１内
の方法を呼出してユーザーの対話を単純な定義済み制御
コードへ翻訳する。次に、表示装置１７０は単純な定義
済み制御コードを単純な遠隔装置１５５に送信する。こ
の遠隔装置は受信器４２１を介して制御コードを受信
し、さらに、デバイス制御回路４２５へその情報を出力
する。
【００５３】最後に、本願発明で制御可能な第三の種類
の遠隔装置は、赤外線信号などの被伝送信号によって制
御可能な従来の電子装置である。従って、本願発明は遠
隔制御が可能なほとんどの旧式な従来装置にも適合して
いる。図５は被コード化信号で制御可能な一般的な電子
装置１５７を示している。この装置は、伝送された被コ
ード化信号を受信する受信器４５０と被コード化制御信
号に応答するデバイス制御回路４５５を備えている。ハ
ンドヘルド表示装置１７０は、被コード化制御信号を伝
送して電子装置１５７を制御する。遠隔電子装置１５７
は伝送された信号を受信し、それに準じてこれに応答す
る。
【００５４】表示装置ユーザーインターフェース 使い易い新規製品を作製するため、予定したオペレータ
ーがすでに操作方法を知っている旧製品と同じように新
規製品も動作するよう製品デザイナーは試みるものであ
る。例えば、操作方法を知らない人はいないくらいオー
ディオカセットテープレコーダーは長い間利用されてい
る。従って、再生、停止、巻戻し、早送り、記録などカ
セットテープレコーダー上のボタンはほとんどの人が知
っている。ビデオカセットレコーダーの製造業者は、こ
の一般的な知識を利用して操作が簡単なビデオカセット
レコーダーを製造したのである。ビデオカセットレコー
ダーでは、再生、停止、巻戻し、早送り、記録ボタンと
いったオーディオカセットレコーダーの操作用と同じボ
タンを使用しているため使用が簡単なのである。
【００５５】ハンドヘルド表示装置１７０を使い易くす
るため、本願発明ではハンドヘルド表示装置１７０に直
覚図形ユーザーインターフェースを表示する。この章で
は、ユーザーのためにハンドヘルド表示装置１７０に表
示される図形ユーザーインターフェースを定義する。
【００５６】簡単に航行できる図形ユーザーインターフ
ェースを設計するため、デザイナーはユーザーのほとん
どがすでに理解している構造で図形ユーザーインターフ
ェースを構成しなくてはならない。人間は三次元の図形
世界に生活している。三次元の図形世界で生き残るに
は、家、近所、町などの地理的スペースを含む局所的な
地理的領域を航行する方法を学ばなくてはならない。こ
のため、関連地域世界の地理的スペースについての観念
的な地図を各自作製する。
【００５７】人が作製する地理的スペースの観念的地図
は事実上の地理的地図構造である。図６は、典型的な地
理的地図構造を示したものである。例えば、地球上の人
は誰でも自分が地球上で生活していることが分かってい
る。また、各自特定の町で生活しており、地球上には別
の町があることも分かっている。地球上のある町の通り
にある特定の家を識別するということは、図６に示す地
理的地図構造で行っている自然な行動である。
【００５８】地理的地図構造は家の中へも拡張すること
ができる。例えば、居間は家の中にある多くの部屋のう
ちの一つである。テレビ、テレビ番組表、ビデオカセッ
トレコーダーは居間に置かれているオブジェクトであ
る。各オブジェクトは固有の図形スペースを有してい
る。地図構造は、地理的スペースだけでなく抽象的なス
ペースにも拡張することが可能である。テレビ番組表に
のっているテレビ番組にはそれぞれのプログラムが記載
されている。この番組記事はテレビ番組表の中のスペー
スと考えることができる。この地理的スペースの構造お
よび各地理的スペース内にある詳細事項の両方をほとん
どの人は理解している。このため、スペースの事実上の
地理的地図構造は、ほとんどの人になじみのある構造を
表しているのである。
【００５９】本願発明では、地理的ユーザーインターフ
ェース内の三次元世界のなじみのある地理的地図構造を
使用している。地理的スペースを表す図形背景イメージ
を通して任意の大きさおよび複雑さの図形地図構造内を
ユーザーが航行する技術を説明する。このような図形地
図構造によって複雑なデータ構成のユーザーメモリーが
改善される。このような地理的地図構造を備えている利
点としては、構造に馴染みがあるためコンピュータによ
って簡単になった情報記録を広範囲の人々が利用できる
ことにある。
【００６０】図７と８では本願発明で利用している地理
的サンプル地図構造を示している。本願発明では、図７
と８の地理的地図構造の各スペースは、図２のハンドヘ
ルド表示装置の表示スクリーン上に示される背景イメー
ジのように表されている。各地理的スペース内にはユー
ザーが選択および操作可能なオブジェクトが配置されて
いる。
【００６１】ユーザーインターフェース表示エレメント 本願発明のユーザーインターフェース環境は、「スペー
ス」と選択可能な「オブジェクトの二つの主要な表示エ
レメントから構成されている。図７と８の地理的地図構
造の各領域はスペースを表している。スペースは地理的
基準になっており、この基準によって地理的地図構造の
どこに現在ユーザーがいるのかを知らせてくれる。各ス
ペース内のオブジェクトはユーザーが選択および操作可
能である。タッチスクリーンディスプレイ３７を備えた
ハンドヘルド表示装置１７０の実施例では、タッチスク
リーンディスプレイ３７に表示されているオブジェクト
を触ることによりユーザーはオブジェクトを選択でき
る。タッチスクリーンを除くユーザーの指や入力装置以
外の指示装置で選択やユーザー入力を異なる方法で処理
することも可能である。
【００６２】スペース 図７と８の各スペースには、スペース用の適当なイメー
ジから成る関連背景イメージが設けられている。ユーザ
ーがスペース内に入って行くと、スペースの背景イメー
ジが表示スクリーン３７に現れる。各背景イメージに
は、ユーザーが現在の居場所を識別できるようにした目
印が含まれている。例えば、図７の地球表面スペース３
２は図１０と１１に示されているような背景イメージと
して表示される。図１０と１１の地球表面背景イメージ
は地球表面の通りに似せられており、これにより、ユー
ザーは地図構造の地球表面スペースにいることが分か
る。このシステムでは、背景イメージと選択可能なオブ
ジェクトを簡単に区別できるよう彩度の無い(desaturat
ed) またはぼんやりした色を用いて背景イメージを表示
する。スペース用背景イメージは表示スクリーン３７よ
りも大きくできる。このため、後で説明するように、本
願発明には「移動(panning) 」ジェスチャーが備わって
いるためスペース内をユーザーが動き回ることができ
る。
【００６３】オブジェクト オブジェクトはそれぞれ図形アイコンであり、アイコン
はスペースの背景イメージ内に表示される。各オブジェ
クトは、実際は、呼び出してデータ上で起動できるデー
タ方法を有したオブジェクト指向プログラミングタイプ
のオブジェクトである。スペースの背景技術内に現れる
オブジェクトはどれでもユーザーが選択および操作する
ことができる。オブジェクトはどれも明るい色で着色さ
れており、輪郭は黒色の線で描かれている。この明るい
色によって、スペース内のオブジェクトと彩度の無いカ
ラーを用いて描いたスペースの背景イメージは区別され
る。オブジェクトをユーザーが指し示すと、このオブジ
ェクトは選択および操作可能なオブジェクトであること
をユーザーに知らせる「選択可能オブジェクト」サウン
ドがユーザーインターフェースから生成される。図１０
を再度参照する。この実施例では家４７と４８はユーザ
ーが選択および操作可能なオブジェクトである。
【００６４】本願発明では、動作がいつ起こるかをユー
ザーに知らせるため「事前動画化」を用いている。事前
動画化とは、ＣＰＵ３０で生成した短い動画を表示スク
リーン３７に表示するものである。ほとんどの場合、事
前動画化とはオブジェクトが選択された時にユーザーの
方向へアイコンが近づいているように見えるようオブジ
ェクトアイコンを拡大することにある。
【００６５】例えば、図９において、地球ポータル(por
tal)１００を選択すると、地球ポータル１００がユーザ
ーに近づいているかのように地球ポータル１００は拡大
される。地球ポータル１００を予想した(anticipate)
後、ユーザーインターフェースは図１０に示すような地
球ポータル１００に対応した地球表面スペース３２へユ
ーザーを移動させる。
【００６６】所定最小時間オブジェクトを指し示してユ
ーザーがオブジェクトを選択すると、音声が生成され、
オブジェクトの予想が行われ、ＣＰＵはオブジェクトに
対応した動作を実行するオブジェクト内の方法を呼び出
す。
【００６７】本願発明の実施例のユーザーインターフェ
ースには少なくとも３種類のオブジェクトが存在してい
る。すなわち、データオブジェクト、ボタンそしてポー
タルである。最も単純なオブジェクトはデータオブジェ
クトである。データオブジェクトは、一組のデータに対
応したオブジェクトである。ボタンは、機能を達成する
手段を提供するオブジェクトである。ポータルとは、異
なるスペース間を移動する方法を提供するものである。
以下、各タイプのオブジェクトを説明する。
【００６８】データオブジェクト データオブジェクトは、幾つかの情報を表すのに使用す
る単純なオブジェクトである。例えば、データオブジェ
クトは色やテレビのチャンネルを表すことができる。デ
ータオブジェクトは、データオブジェクトを選択した時
に呼び出されて対応する動作や機能を実行可能な方法は
備えていない。しかし、データオブジェクト内の情報を
使用する他のオブジェクト上にデータオブジェクトを落
とすことは可能である。例えば、ビデオカセットレコー
ダーオブジェクト上にテレビ番組表データオブジェクト
を落としてビデオカセットレコーダーをプログラムし、
テレビ番組を記録することができる。
【００６９】ボタン ボタンオブジェクトは対応する動作または機能を有した
特別オブジェクトである。ユーザーがボタンを選択する
と、ＣＰＵ３０はボタンオブジェクトの動作方法を呼出
し、そのボタンに対応する動作または機能を実行させ
る。ボタンを選択すると、ＣＰＵはボタンを予想し、
「ボタン動作」サウンドを発生する。この音はボタンが
選択されたことをユーザーにフィードバックする。特定
のボタンによりさらに視覚フィードバックも行われ、Ｃ
ＰＵが呼び出した方法の結果をユーザーに知らせ、ボタ
ンに対応する動作を実行する。
【００７０】例えば、図１４では、テレビ電源「ＯＮ」
ボタン６１とテレビ電源「ＯＦＦ」ボタン６２が表示さ
れている。テレビ電源「ＯＮ」ボタン６１をユーザーが
選択すると、テレビ電源「ＯＮ」ボタン６１は予想を行
い、ＣＰＵ３０は「ボタン動作」サウンドを発生する。
ＣＰＵ３０はさらに、図１４のテレビ制御パネルに対応
した実際のテレビ装置をオンするのに必要な情報を伝送
する方法をボタンオブジェクトの中から呼び出す。
【００７１】実際のテレビ装置が「インテリジェント遠
隔装置」の場合は、表示装置へテレビ装置から結果値(r
esult value)が返却され、テレビがオンされたかどうか
をユーザーに知らせる。次に、ユーザーインターフェー
スはテレビ電源「ＯＮ」ボタン６１を点灯し、「ブー
ン」という音を発生させて実際のテレビはオンされてい
ることをユーザーに知らせる。
【００７２】ユーザーインターフェースの「世界」をユ
ーザーのニーズに合うよう特別に作成できるよう異なる
スペースへボタンをコピーしたり移動したりできる。例
えば、テレビ電源「ＯＮ」ボタン６１とテレビ電源「Ｏ
ＦＦ」ボタン６２をコピーし、コピーされたボタンをテ
レビ制御スペースから別のスペースへ移動させることが
できる。ユーザーは、新しいスペースでテレビ電源「Ｏ
Ｎ」ボタン６１とテレビ電源「ＯＦＦ」ボタン６２のコ
ピーを使用してテレビを制御することが可能である。
【００７３】ポータル ポータルは、現在のスペースからポータルに対応する別
のスペースへ移動する簡単な方法を提供するオブジェク
トである。ユーザーはポータルを選択するだけで現在の
スペースからポータルに対応する別のスペースへ移動で
きる。ユーザーがポータルを選択すると、ポータルは予
想を行い、「ポータル通過サウンド」を発生する。そし
て、このポータルに対応するスペースへユーザーが移動
する方法をＣＰＵは呼び出す。
【００７４】例えば、図７の地理的地図では、地球表面
スペース３２から家スペース５０への移動するには、ユ
ーザーは家ポータル４８を選択するだけでよい。図１０
に示すように、地球表面３２では、地球表面３２の中の
家ポータル４８を選択することによりユーザーは移動で
きる。選択されたら、家ポータル４８は予想を行い、
「ポータル通過サウンド」を発生し、そして、ユーザー
は図１２に示すように家スペース５０の中に移動する。
【００７５】ユーザーインターフェースの「世界」を客
のニーズに合ったものにできるようポータルは複製およ
び移動することができる。例えば、図１３では、居間ス
ペース６０の中にテレビ番組表ポータル７１が表示され
ている。このテレビ番組表ポータル７１はテレビ番組表
情報を含んだスペースに対応している。ユーザーはテレ
ビ番組表ポータル７１をコピーし、テレビ番組表にアク
セスできると思われる別のスペースへそのコピーを移動
することができる。ユーザーはこのテレビ番組表ポータ
ルのコピーを用いて本来のテレビ番組表ポータルでアク
セス可能な情報と同じ情報にアクセスすることができ
る。このように、ユーザーは異なるスペースから同じ情
報をアクセスすることができる。
【００７６】ユーザーインターフェースのオペレーター
がほとんどいつでも利用可能な特別のポータルが二つあ
る。すなわち、ウェイバックポータルとエージェントポ
ータルの二つである。
【００７７】ウェイバックポータル ウェイバックポータル（後戻り用の門）は、異なるスペ
ースの間をユーザーが辿ってきた経路を後戻りする方法
を提供するものである。ウェイバックポータル４５は小
さな矩形のフレームから構成されており、ユーザーが辿
ってきたスペースの経路に従って前回のスペースのスナ
ップショットがそのフレーム内に表示される。スペース
の背景イメージは単一の画面で見ることのできるイメー
ジよりも大きいため、ユーザーが前回のスペース内を通
過した時に見えたのと同じようにウェイバックポータル
には前回のスペースの画のスナップショットが示されて
いる。実施例では、ウェイバックポータルはどのスペー
スであっても表示スクリーンの右下隅にてユーザーが利
用できるようになっている。必要であれば、全てのスペ
ースのスクリーン上の新しい位置にウェイバックポータ
ルが現れるようユーザーは表示スクリーン上の新しい場
所にウェイバックポータルを移動することができる。
【００７８】現在の経路に沿って一つ前のステップへ戻
るには、ユーザーはウェイバックポータル４５を選択す
る。これが選択されると、ＣＰＵ３０はウェイバックポ
ータル４５を予想し、「ウェイバックポータル通過サウ
ンド」を発生し、ウェイバックポータル内に図示されて
いるスペースへユーザーを移動させる。実施例では、後
方へ演奏される点を除けば、「ウェイバックポータル通
過」サウンドは「ポータル通過」サウンドと実際には同
じサウンドである。ウェイバックポータルを通過する時
に「ポータル通過」サウンドを後方に演奏することによ
り、現在の経路を後戻りしていることがユーザーに強調
される。
【００７９】ユーザーはポータルを通過する時に目に見
えないマーカーの航跡(trail) を離れる。各マーカーは
スペースへの訪問を表している。ウェイバックポータル
はこれらのマーカーを管理し、訪問したスペースの順番
にマーカーを保持している。マーカーとマーカーの順番
からユーザーがユーザーインターフェースの世界を辿っ
てきた経路が定まる。このように、ユーザーがウェイバ
ックポータルを通過すると、マーカーで形成された経路
を一回に一つのマーカー分だけ後戻りする。ユーザーが
ウェイバックポータルを通過してスペースへ行く度にウ
ェイバックが現在管理している複数のマーカーの中から
一つ削除される。
【００８０】例えば、図７の地理的地図構造では、宇宙
空間スペース９９からユーザーがスタートする場合、地
球表面３２へ移動し、次に家スペース５０へ移動する。
この結果、宇宙空間スペース９９から地球表面スペース
３２、さらに家スペース５０へと経路が作成される。こ
の経路を進んで行くと、図１２に示すような家スペース
５０が表示スクリーン３７に表示される。家スペース５
０の右下隅にはウェイバックポータル４５が表示されて
いる。図１２に示されているように、ウェイバックポー
タル４５にはスペース経路沿いの前回のスペースの小形
のスナップショットが表示されている。この場合、スペ
ース経路沿いの前回のスペースは地球表面スペース３２
である。従って、ユーザーが家ポータルを通過する時に
見たのと同じように地球表面スペース３２の小形スナッ
プショットがウェイバックポータル４５に表示される。
ユーザーがウェイバックポータル４５を選択した場合
は、ウェイバックポータル４５は予測を行い(anticipat
e)、「ウェイバックポータル通過サウンド」を発生す
る。すると、ユーザーは図１０に示す地球表面スペース
３２へ移動する。図１０に示すように地球表面スペース
３２では、今度はウェイバックポータルに宇宙空間スペ
ース９９の小形スナップショットが表示される。これ
は、経路の最初のスペースである。このように、ウェイ
バックポータル４５は、ユーザーが巡ってきたスペース
経路に沿って「後戻り」する手段なのである。
【００８１】本願発明では、データ構造を積み重ねる(s
tack) ことによりウェイバックポータル４５を実現して
おり、各データ構造はポインターと座標軸対で構成され
ている。スタック上の各データ構造のポインターはすで
にユーザーが訪問したスペースを指し示している。スタ
ック上の各データ構造の座標対によって、ユーザーがポ
ータルを通ってスペースを去る時にポインターが指した
スペース内でのユーザーの居場所は正確に特定される。
特定のスペースからユーザーがポータルを通過する度
に、スペースを示しているポインターとポータル通過時
のスペース内でのユーザーの居場所を正確に特定する座
標対から成るデータ構造はユーザーインターフェースに
よってウェイバックスタックへ「プッシュ(push)」され
る。ウェイバックポータル４５には、スタックの一番上
のデータ構造のポインターが指し示すスペースの小形ス
ナップショットが表示される。スペースの経路に沿って
後戻りするには、ユーザーがウェイバックポータル４５
を選択する度にユーザーインターフェースはスタックか
らデータ構造を「ポップ(pop) 」させてデータ構造のポ
インターが指し示すスペースへ移動する。
【００８２】エージェントポータル エージェントポータルとは擬人化したキャラクターのこ
とで、ユーザーインターフェースを航行したり、ユーザ
ーインターフェースで作成した「世界」で起こった事象
(event) を処理する際に手助けを行うものである。図１
０の地球表面スペースでは、エージェント４１が左下隅
に表示されている。エージェント４１はユーザーのため
オブジェクトを持ち運ぶ。この持ち運び機能はブリーフ
ケースで表されており、このブリーフケースもエージェ
ントが持ち運ぶ。ユーザーはエージェントポータル４１
を選択することでエージェントが持ち運んでいるオブジ
ェクトにアクセスでき、これによりユーザーはエージェ
ントポータル４１に対応するエージェントスペースへ入
っていく。ユーザーがエージェントポータル４１を選択
すると、ブリーフケースを取り出し、そのブリーフケー
スを開ける動作を行ってエージェントは予想を行う。次
に、ＣＰＵは「ポータル通過」サウンドを発生し、ユー
ザーをエージェントスペースへ移動させる。
【００８３】エージェントのブリーフケースにオブジェ
クトを納めさせるには、ユーザーがオブジェクトを拾い
上げ、そのオブジェクトをエージェントポータル４１の
中へ「落とせ」ばよい。エージェントスペースに入れば
ユーザーはどのスペースからでも常にエージェントポー
タル４１に落とされたオブジェクトにアクセスできる。
このエージェントについては後に述べる「エージェン
ト」の章でより詳細に説明する。
【００８４】オブジェクトホイール 多数の任意のオブジェクトの中から選択をしなくてはな
らない場合がしばしばある。従って、ユーザーインター
フェースでは、多数のオブジェクトを表示する方法と表
示されているオブジェクトのいずれかをユーザーに選択
させる方法の二つの方法を提供しなくてはならない。
【００８５】例えば、図１４のテレビ制御スペース６４
では、本願発明のユーザーインターフェースはユーザー
が選択するための任意の複数のテレビチャンネルを表示
する方法を提供しなくてはならない。いずれのシステム
でも、スクリーンスペースは貴重なものである。できる
限り多くのオプションの中から選択しなくてはならない
場合は、オプションはコンパクトに表示しなくてはなら
ない。本願発明では、ユーザーの選択用として５００の
テレビチャンネルオブジェクトがある場合、全てのチャ
ンネルを一度に表示するには非常に大きなスクリーンス
ペースを取るだけでなく、リストの視覚的コンテキスト
（すなわち、何故ユーザーはまず初めにこのリストを見
ているのか）が失われてしまう。このように、利用可能
なオブジェクトをユーザーが拾い読みできるようにする
方法が必要である。
【００８６】本願発明のユーザーインターフェースで
は、大きなグループのオブジェクトからユーザーが選択
を行えるようにする方法を提供する「オブジェクトホイ
ール」を導入する。オブジェクトホイールでは、グルー
プ内の残りのオブジェクトはスクリーン表示せずに、オ
ブジェクトホイールの中ですぐにアクセス可能な少数の
オブジェクトを表示スクリーン上に表示する。スクリー
ンに表示されていないオブジェクトにアクセスするに
は、ユーザーはオブジェクトホイールを「スピン」させ
てアクセスできなかったオブジェクトを表示スクリーン
上に表示させる。
【００８７】図１８において、多数の果物オブジェクト
をユーザーは選択の対象として利用可能であるが、表示
スクリーン３７の横方向に一度に表示できるのはそのう
ちわずかに４つの果物だけである。利用できる全ての果
物オブジェクトにユーザーがアクセスできるよう、本願
発明では図１９の概念図に示すように「オブジェクトホ
イール」３８に果物オブジェクトの帯を設けている。オ
ブジェクトホイール３８上の幾つかのオブジェクトは表
示スクリーン３７上ですぐにアクセスすることができ
る。表示スクリーン３７に表示されていないオブジェク
トにアクセスするには、ユーザーはオブジェクトホイー
ル３８を回転させればよい。オブジェクトホイール３８
が回転するにつれ、図２０に示すように新しいオブジェ
クトが現れ、別のオブジェクトは消えていく。タッチス
クリーンディスプレイ３７に示されているオブジェクト
ホイールを操作するため、オペレーターは航海用ジェス
チャー(navigational gestures) すなわちポイント、ス
ピン、ピックアップジェスチャーを使用する。これら３
つの航海用ジェスチャーは後の章で説明する。
【００８８】本当の輪が回転しているかのようにユーザ
ーが感じるように、オブジェクトホイールは物理法則に
従っている。例えば、オブジェクトホイールには質量が
あり、このため遠心力が発生する。ホイールを回転させ
る時にユーザーがより大きな「力」を加えるとオブジェ
クトホイールは早い速度で回転し、また、回転している
オブジェクトホイールは徐々に回転がなくなるためオブ
ジェクトホイールは摩擦に対応していることが分かる。
【００８９】オブジェクトホイールが回転し、また、オ
ブジェクトがスクリーンを横断している最中は、この実
施例のユーザーインターフェースは「カチカチ」音を発
生させる。ユーザーインターフェースが生成する「カチ
カチ」音は、力を加えてホイールを停止させて整列させ
るスロットマシンの爪が作り出す音に似せてある。本当
のホイールのように、本願発明のオブジェクトホイール
は停止すれば必ず整列されるものであり、オブジェクト
選択肢の間で停止することは決してない。オブジェクト
ホイールの回転中にオブジェクトホイール上を移動中の
オブジェクトを指し示せばいつでも回転中のオブジェク
トホイールを停止させることができる。
【００９０】オブジェクトホイールは表示スクリーン上
に縦方向または横方向のいずれにも配列できる。縦方向
に配列した場合は、オブジェクトホイールは上方向また
は下方向のいずれの方向にも回転させることができる。
また、横方向に配列した場合は、左または右のいずれの
方向にも回転させることができる。
【００９１】ユーザーインターフェース航行用ジェスチ
ャー ユーザーインターフェースの航行およびオブジェクト操
作はスクリーン指示装置を用いて行う。実施例では、ハ
ンドヘルド表示装置１７０はタッチスクリーンディスプ
レイ３７を備えた構成になっており、使用する指示装置
はユーザーの指である。あるいは、マウス、トラックボ
ール、ジョイスティックなどの別の種類のスクリーン指
示装置を用いてこのユーザーインターフェースを実現す
ることも可能である。しかし、この明細書ではタッチス
クリーンの指示装置としてユーザーの指を用いた実施例
だけを説明する。
【００９２】本願発明の実施例では、ハンドヘルド表示
装置１７０の一部は図２に示すようなタッチスクリーン
ディスプレイ３７で構成されている。表示スクリーン上
に指を置くとタッチスクリーンディスプレイ３７はどこ
に指があるかを識別する。ユーザーは、６つで一組にな
った航行用ジェスチャー、すなわち、ポイント、セレク
ト、パン、スピン、プックアップ、ドロップの６つのジ
ェスチャーを用いてタッチスクリーン上のオブジェクト
を選択し、このオブジェクトを操作する。ユーザーイン
ターフェースで使用する航行用ジェスチャーを以下個別
に、また、詳細に説明する。
【００９３】ポイント ポイントは本願発明のユーザーインターフェースの中で
最も単純なジェスチャーである。ユーザーがポイントジ
ェスチャーを用いると表示スクリーンに示されているオ
ブジェクトが取り上げられる。例えば、表示スクリーン
に表示されている複数のオブジェクトから一つのオブジ
ェクトを選択するよう本願発明のユーザーインターフェ
ースがユーザーに要求した場合は、ユーザーはオブジェ
クトを指し示すことでそのオブジェクトは選択される。
【００９４】タッチスクリーンに表示されているオブジ
ェクトを指で指し示すだけでユーザーはオブジェクトを
指し示すことができる。オブジェクトを正しく指し示す
と、ユーザーインターフェースは「選択可能オブジェク
ト」サウンドを発生する。この選択可能オブジェクトサ
ウンドによってユーザーへのフィードバックが行われ、
ユーザーは正しくオブジェクトを指し示したことが分か
る。
【００９５】セレクト セレクトジェスチャーはポイントジェスチャーに大変良
く似たジェスチャーである。オペレーターがこのセレク
トジェスチャーを用いると、オブジェクトに対応した機
能または動作を実行する方法をオブジェクトは呼び出
す。例えば、ポータルをセレクトするとこのポータルに
対応するスペースへユーザーを移動させる方法を当該ポ
ータルは呼び出す。また、ボタンをセレクトするとこの
ボタンに対応した動作または機能を実行する方法を前記
ボタンは呼び出す。
【００９６】オブジェクトをセレクトするには、まず指
でオブジェクトに触りオブジェクトを指示する。所定最
小時間このオブジェクトを指し続けると、オブジェクト
はセレクトされたことになる。ユーザーがオブジェクト
をセレクトすると、オブジェクトは「予想」を行い、ユ
ーザーへのフィードバック用サウンドを生成する。そし
て、このオブジェクト内の方法が呼び出される。オブジ
ェクトがボタンの場合は、呼び出された方法はこのボタ
ンに対応する機能を実行する。オブジェクトがポータル
の場合は、前記方法はポータルに対応するスペースへユ
ーザーを移動させる。
【００９７】あるいは、オブジェクトをすばやく連続２
回指し示すと表示スクリーン上のオブジェクトを選択で
きる。オブジェクトを素早く２回指し示してオブジェク
トを選択した時は、オブジェクトは予想を行わない。そ
の代わり、ユーザーインターフェースは適してフィード
バックサウンドだけを発生し、このオブジェクトに対応
する動作を実行する。これにより、ユーザーはオブジェ
クトのセレクトを素早く行うことができる。
【００９８】パン スペース内を移動するには、パン(pan) 航行用ジェスチ
ャーを使用する。タッチ表示スクリーン３７に示されて
いるスペースの背景イメージ上に指をおいて、所望の運
動方向へその指をスライドするとユーザーはスペース内
を移動する。本願発明のユーザーインターフェースは、
「パンアクティブ」サウンドを発し、スペースの背景イ
メージやスペース内の全てのオブジェクトを指の動きと
反対の方向へ移動させて応答する。反対方向へスペース
を移動すると、ユーザーの視点の反対方向への動きをユ
ーザーインターフェースはシミュレートする。
【００９９】図１０と１１にはパンジェスチャーの使用
が示されている。図１０の背景上にオペレーターの指が
置かれており、タッチスクリーン上を右方向へこの指を
移動させると、スペースの背景イメージとスペース内の
全てのオブジェクトを左方向へ移動させて画面を右側に
移動させる。図１１には右方向にパンした結果が示され
ており、家４８は表示スクリーン上を右から左へ移動し
ている。
【０１００】各スペースの背景イメージは任意に拡大す
ることができる。スペースの背景イメージが有限サイズ
の場合は、背景イメージのうち最も遠い地点へ到着した
ようにユーザーインターフェースはフィードバックを行
う。はるばる背景イメージの端の方へユーザーがパンを
行った場合は、パンジェスチャーはそれ以上その方向へ
ユーザーを移動しない。この事実をユーザーに知らせる
ため、背景イメージの端を越えてパンをしようとした場
合は「パンアクティブ」サウンドの代わりに「端」サウ
ンドをユーザーインターフェースは発生させる。この
「端」サウンドにより、すでに背景イメージの端に来て
おり、これ以上先にいくことはできないということをユ
ーザーは知る。
【０１０１】スピン ユーザーはスピンジェスチャーを用いてオブジェクトホ
イール上の複数のオブジェクトを広い読みする。オブジ
ェクトホイールをスピンすると、オブジェクトホイール
上に見えるオブジェクトは表示スクリーンを横断し、ス
クリーンの一端で消える。そして、もう一端からは今ま
で見えていなかったオブジェクトがスクリーン上に現れ
る。
【０１０２】オブジェクトホイール上に指を置き、オブ
ジェクトホイールの運動方向と平行な方向に表示スクリ
ーン上を指で横断するとオブジェクトホイールはスピン
する。図２１にはスピンジェスチャーが示されている。
図２１において、まず、ユーザーはオブジェクトホイー
ル（星印９６で示す）上に指を置く。次に、オブジェク
トホイールを横断するように指を移動させる（矢印９７
で示すように）。この指のジェスチャーにより指の移動
方向とは反対の方向にオブジェクトホイールはスピンす
る。もっと早い速度でディスプレイのオブジェクトホイ
ール上を指で横断すると、より早い速度でオブジェクト
ホイールはスピンする。スロットマシンホイール上に現
れる数字と同じように、オブジェクトホイールがいった
んスピンすると、オブジェクトホイール上のオブジェク
トはオブジェクトホイールの一端に現れ、表示スクリー
ンを横断し、オブジェクトホイールのもう一方の端部か
ら消える。
【０１０３】ピックアップ 本願発明のユーザーインターフェースで作成した「世
界」中オブジェクトを持ち運ぶことができるようピック
アップジェスチャーを用いてスペース内またはオブジェ
クトホイール上に配置されたオブジェクトを拾い上げ
る。この実施例では、スペースまたはオブジェクトホイ
ールからオブジェクトを拾い上げるにはさまざまな方法
を用いる。各方法は後で個別に説明する。ここで、二つ
の状況のオブジェクトは同じジェスチャーで拾い上げる
ことができるということを理解しておかなくてはならな
い。
【０１０４】図２２にはオブジェクトホイールからオブ
ジェクトを拾い上げる時に使用するジェスチャーが示さ
れている。図２２は選択用の果物が多数載ったオブジェ
クトホイール９１を示している。オブジェクトホイール
９１上に配置されている果物オブジェクトから一つを取
り出すには、まずそのオブジェクトの上に指を置いて
（星印９２で示すように）、次にオブジェクトホイール
の運動方向に垂直な方向へ指を動かす。オブジェクトホ
イールの運動方向とは垂直な方向に指を動かす様子が矢
印９３で示されている。指を垂直方向に動かすことによ
りユーザーがそのオブジェクトを移動できるようオブジ
ェクトホイールからそのオブジェクトは剥ぎ取られる。
オブジェクトがオブジェクトホイールから剥ぎ取られる
とユーザーインターフェースはオブジェクトホイールか
らオブジェクトが取り除かれたことを知らせる「引き裂
き」サウンドを発生させる。このオブジェクトが拾い上
げられると、スペースの背景イメージ上にそのオブジェ
クトの影ができ、ユーザーの指でそのオブジェクトを移
動する。
【０１０５】図２３にはスペースからオブジェクトを拾
い上げるのに用いるジェスチャーが図示されている。図
２３では、オブジェクトを備えたスペースが中央部に描
かれている。オブジェクトを拾い上げるには、矢印２０
３で示すように指を用いてオブジェクトの回りに円を描
き、その後星印２０１のオブジェクトを触る。スペース
からオブジェクトがはずれると、ユーザーインターフェ
ースは引き裂きサウンドを発生させてオブジェクトが拾
い上げられたことをユーザーに知らせる。スペースから
オブジェクトが拾い上げられると、オブジェクトが本来
あった位置にはゴーストイメージが残る。オブジェクト
のゴーストイメージは彩度の無いカラーで描かれ、ゴー
ストオブジェクトは選択できないことをユーザーに知ら
せる。
【０１０６】オブジェクトをユーザーが拾い上げると、
オブジェクトホイールまたはスペースのいずれか一方か
ら「オブジェクト持ち運び」サウンドが発せられ、これ
によりオブジェクトは持ち運ばれていることが分かる。
オブジェクトを持ち運んだままスペース内またはスペー
スからスペースへユーザーは移動でき、運んできたオブ
ジェクトを別のオブジェクトの上に落とすこともでき
る。
【０１０７】ドロップ 本願発明のユーザーインターフェースと対話するのに用
いる最後のジェスチャーがドロップである。ピックアッ
プジェスチャーを用いてスペースまたはオブジェクトホ
イールからオブジェクトを拾い上げた後、スクリーンに
指を押圧し続けてオブジェクトを持ち運ぶ。タッチスク
リーン表示システム上で指をスライドして横断させると
運んできたオブジェクトが移動する。運んできたオブジ
ェクトを所望の地点まで移動した後、ドロップジェスチ
ャーを用いてこのオブジェクトを所望地点に落下させ
る。オブジェクトを落下させるには、タッチスクリーン
ディスプレイから指を離せばよい。オブジェクトを落下
させると、まるで引力によって引っ張られているかのよ
うにスペースの背景イメージの中へ落ちていき、オブジ
ェクトの影が消える。
【０１０８】このドロップジェスチャーを用いれば複数
の異なる機能を実行することができる。例えば、オブジ
ェクトを拾い上げ、ポータルに対応するスペース内にこ
のオブジェクトのコピーができるようあるポータルの中
にこのオブジェクトを落下させるとドロップジェスチャ
ーでオブジェクトのコピーを作成することができる。ま
た、オブジェクトを拾い上げ、このオブジェクトを所望
の地点に落下させればドロップジェスチャーで新しい場
所にオブジェクトを移動することもできる。さらに、ド
ロップジェスチャーを用いれば、ある情報を含んだデー
タオブジェクトをその情報を用いて機能を実行する別の
オブジェクトへ与えることもできる。ドロップジェスチ
ャーの異なった使用方法は後で説明する。
【０１０９】ドロップジェスチャーを用いてオブジェク
トのコピーを作成するには、まずオブジェクトを拾い上
げ、次にオブジェクトをポータルの上に落下させる。ス
クリーンを指で横断すると拾い上げたオブジェクトはポ
ータルの上を運ばれる。運んできたオブジェクトがいっ
たんポータル上にくると、そのポータルは強調表示さ
れ、運んできたオブジェクトはポータルの上にあること
を合図するフィードバックがユーザーに送られる。この
実施例では、ポータルは緑色の光を発する。運ばれてき
たオブジェクトをポータルの中に落下させるには、タッ
チスクリーンディスプレイから指を離せばよい。する
と、オブジェクトは適度な動きを持ってポータルを通過
するよう表示される。動画の期間中、ＣＰＵ３０は「ポ
ータルへの吸い込まれ」サウンドを発生させる。オブジ
ェクトが完全にポータルの中に消えると、現在のスペー
スに彩度の無い色で描かれている前記オブジェクトのゴ
ーストイメージは再び明るい色で表示される。これによ
り、このオブジェクトのコピーはポータルを通って別の
スペースへ送られたが現在のスペースには元のオブジェ
クトがそのまま存在していることが視覚的にユーザーに
フィードバックされる。
【０１１０】オブジェクトは一つのスペース内で移動で
きるし、また、あるスペースから別のスペースへと移動
することもできる。一つのスペース内でオブジェクトを
移動させるには、まずピックアップジェスチャーを用い
てオブジェクトを拾い上げ、このオブジェクトを所望の
地点へ移動し、ドロップジェスチャーを用いてオブジェ
クトを落下させる。オブジェクトが落下すると、オブジ
ェクトのゴーストイメージが新しい場所の落下オブジェ
クトと溶け込み、新しい場所に１個のオブジェクトイメ
ージが明るい色で表示される。これにより、オブジェク
トは新しい場所へ移動し、コピーは作成されなかったこ
とがユーザーに知らされる。
【０１１１】ポータルを通って別のスペースへオブジェ
クトを移動するとオブジェクトは別のスペースへ移動す
る。オブジェクトを別のスペースに移動するには、まず
オブジェクトを拾い上げ、次にこのオブジェクトをポー
タルの上まで運ぶ。いったんポータルの上までオブジェ
クトが運ばれてくると、ユーザーへのフィードバックと
なるようポータルは強調表示され、オブジェクトはポー
タルの上まで運ばれたとの合図が送られ、ポータルは緑
色に光る。運ばれてきたオブジェクトがポータル内を通
過できるようにするには、ポータルの上に所定最小時間
オブジェクトを保持しておく。運ばれてきたオブジェク
トとユーザーはポータルに対応するスペースへ移動する
とポータルでは予想する。彩度の無い色で描かれている
被搬送オブジェクトのゴーストイメージもユーザーやオ
ブジェクトと一緒に目的地のスペースまで移動する。タ
ッチスクリーン表示システムから指を離して被搬送オブ
ジェクトが落下すると、この被搬送オブジェクトとゴー
ストイメージは一つのイメージに溶け込み明るい色で表
示される。これにより、オブジェクトはこのスペースま
で移動したがコピーはされなかったことがユーザーにフ
ィードバックされる。
【０１１２】このドロップジェスチャーを用いてオブジ
ェクトに情報を与えることもできる。つまり、データを
内蔵したオブジェクト（すなわち、データオブジェク
ト）をこのデータを使用するオブジェクトの上に落下さ
せることでオブジェクトへ情報が与えられる。
【０１１３】オブジェクトに情報を与えるには、必要な
情報を内蔵したデータオブジェクをまず拾い上げる。次
に、このデータを利用できるオブジェクトの上へデータ
オブジェクトを運んでくる。この情報を利用できるオブ
ジェクトの上までデータオブジェクトが運ばれてくる
と、運ばれてきたオブジェクトが正しいクラスであれば
情報を利用できるオブジェクトは強調表示される。強調
表示により、運ばれてきたオブジェクトは正しいクラス
であるといったフィードバックが情報を利用できるオブ
ジェクトからユーザーへ送られる。情報を利用可能なオ
ブジェクトの中にデータオブジェクトを落下させるに
は、データオブジェクトを運ぶ時に使用した指をタッチ
スクリーンから離せばよい。すると、データオブジェク
トは適当な動きや音響効果と共にポータルの中へ落ちて
いく。情報を利用可能な受け側オブジェクトの中にデー
タオブジェクトが完全に消えてしまうと、受け側オブジ
ェクトは与えられたデータの基づいて適当な機能を実行
する。
【０１１４】例えば、ドロップジェスチャーを用いて物
理的ビデオカセットレコーダーに対応するビデオカセッ
トレコーダーオブジェクトへテレビプログラム情報を送
ることができ、これによりビデオカセットレコーダーは
テレビ番組を録画するようプログラムされる。ビデオカ
セットレコーダーをプログラムするには、まずピックア
ップジェスチャーを用いてテレビ番組情報を含んだデー
タオブジェクトを拾い上げる。次に、テレビ番組データ
オブジェクトをビデオカセットレコーダーの上まで運ん
でくる。すると、ビデオカセットレコーダーオブジェク
トはその外観を変更し、「プログラムビデオカセットレ
コーダー」モードであると表示する。これにより、ビデ
オカセットレコーダーの上に番組情報があるということ
をビデオカセットレコーダーが「理解」している（すな
わち、テレビ番組データオブジェクトをビデオカセット
レコーダーの上に落すとビデオカセットレコーダーはテ
レビ番組を記録するようプログラムされる）ことがユー
ザーに知らされる。
【０１１５】ビデオカセットレコーダーの中にテレビ番
組オブジェクトを落下させると、テレビ番組データオブ
ジェクトにはビデオカセットレコーダーオブジェクトで
利用できる情報が含まれていることをビデオカセットレ
コーダーオブジェクトが認識する。ビデオカセットレコ
ーダーではこのテレビ番組データオブジェクトから時間
とチャンネル情報を抜き出す。これにより、ビデオカセ
ットレコーダーオブジェクトはテレビ番組を録画するよ
うプログラムされる。
【０１１６】作動状態のツアー例 本願発明のユーザーインターフェースを最もよく知って
もらえるよう、図９ー１６にはサンプル環境での「ツア
ー」が示されている。このツアーで探検するサンプル環
境は、図７と８に図示されているスペースの地理的地図
構造に基づいている。このサンプル環境のツアーは本願
発明の範囲を限定することを目的としたものではなく、
どのようなものが可能であるかを知るための一例として
挙げるものである。
【０１１７】図９において、まず本願発明のユーザーイ
ンターフェースの中に入る。すると、ユーザーインター
フェースによってユーザーは宇宙空間スペース９９の中
に表示される。このスペースは図７の複数のスペースの
地理的地図構造の中に示されている。最初はユーザーは
宇宙空間９９の中に表示されるものだが、ハンドヘルド
表示装置の使用をユーザーがやめた時は次にユーザーイ
ンターフェースが開始するのはユーザーが最後に居たス
ペースからである。図９の宇宙空間９９では、ユーザー
インターフェースにより表示スクリーン上の真っ黒な宇
宙空間背景イメージの中に地球ポータル１００が明るい
色で表示される。
【０１１８】ユーザーインターフェースの中に入るとす
ぐに手３１が表示スクリーン上に現れ、ユーザーインタ
ーフェース内を航行する方法をユーザーに知らせる。表
示スクリーンに現れる手３１はエージェントの手であ
る。エージェントの手３１が指を延ばしてスクリーンに
触り、この指でスクリーンを横断するとスクリーン上の
スペースとオブジェクトは移動表示され、ユーザーイン
ターフェースから「パンアクティブ」サウンドが発せら
れる。図９では、エージェントの手３１がスクリーン上
を横断しているように表示されている。表示スクリーン
を触り、表示スクリーン上を指で横断することで、エー
ジェントの手３１はスペース画面上を移動するパンジェ
スチャーの使い方を初めてのユーザーに説明する。
【０１１９】スペース内を動き回るパンジェスチャーの
使い方を説明した後、エージェントの手３１はポイント
およびセレクトジェスチャーの使い方を説明する。オブ
ジェクトを指さすポイントジェスチャーの使い方を実際
にエージェントが指を地球ポータル１００の上に置いて
やって見せる。エージェントが地球ポータル１００を指
すと、「選択可能オブジェクト」サウンドがユーザーイ
ンターフェースから発せられ、地球ポータル１００は選
択可能なオブジェクトであることをユーザーに知らせる
フィードバックが行われる。次に、エージェントは地球
ポータル１００を指し続けてオブジェクトをセレクトす
るオブジェクトセレクトジェスチャーの使い方を説明す
る。所定最小時間地球ポータル１００をエージェントの
手３１で指すと、地球ポータル１００は予想を行い、Ｃ
ＰＵは「ポータル通過」サウンドを生成する。ユーザー
の方へ地球ポータル１００が近づいているように急激に
膨張することで地球ポータル１００は予想を行う。する
と、スクリーンが薄れてゆき、図１０に示すような地球
ポータル１００に対応する地球表面スペース３２を示す
新しい背景イメージが現れる。
【０１２０】地球表面スペース３２では、エージェント
ポータル４１がタッチスクリーン３７の中に「飛び出
し」、表示スクリーンの左下隅に移動する。エージェン
トスペース以外のあらゆるスペースにこのエージェント
は現れるため、いつでもエージェント４１にアクセスす
ることができる。必要であれば、左下隅から表示スクリ
ーン上の別の場所へエージェントを移動させることがで
きる。エージェントは移動できるため、どのスペースで
もエージェントの場所を変更することができる。
【０１２１】図１０のディスプレイの右下隅にはウェイ
バックポータル４５が表示されている。ウェイバックポ
ータル４５には、たった今移動してきたばかりの図９の
宇宙空間スペース９９がフレーム付きのスナップショッ
トで表示されている。ウェイバックポータル４５を用い
れば、ユーザーインターフェースによってウェイバック
ポータル４５の中に表示されているスペースへ後戻りで
きる。例えば、ウェイバックポータル４５に表示されて
いる宇宙空間スペース９９へ戻りたい時にはウェイバッ
クポータル４５を選択すればよい。
【０１２２】図１０の地球表面スペース３２は、店、銀
行、学校等の公共建築物の他に家などの複数の建物で構
成されている。地球表面スペース３２の中の各建物はポ
ータルを表しており、このポータルをセレクトしてポー
タルに対応するスペースの中に入ることができる。例え
ば、図１０の地球表面スペースでは、第１の家４７と第
２の家４８がポータルであり、ユーザーはこれらのポー
タルをセレクトできる。第１の家４７あるいは第２の家
４８をユーザーがセレクトすると、ユーザーは対応する
家スペースへ移動する。
【０１２３】図１０の地球表面スペースの中では、図９
のエージェントの手３１を説明したようにタッチスクリ
ーン上でパンジェスチャーを用いることによりユーザー
はスペース内を移動できる。移動するには、スクリーン
上にユーザーの指を置き、次にこの指を移動した方向に
動かす。ユーザーインターフェースはユーザーの指の動
きに応答し、「パンアクティブ」サウンドを発生させ、
また、指の動きと反対方向にスクリーン上の背景イメー
ジとオブジェクトを移動させて別のオブジェクトを見え
るようにする。
【０１２４】例えば、図１０の地球表面スペース３２を
見ているユーザーが右側へ移動した時は、まずユーザー
は地球表面スペース３２の背景上に指を置き、次にこの
指を右側へ移動するだけでよい。ユーザーインターフェ
ースはユーザーの指の動きに対応してスペースの背景イ
メージとスペース内のオブジェクトを左側へ移動する。
図１０の背景上にユーザーの指を置き、この指を右側へ
移動させた後の地球表面スペース３２が図１１に示され
ている。図１０に示されていた第１の家４７は視界から
消えているため図１１には見えない。図１０で右側に示
されていた第２の家４８は図１１では左側に移動してお
り、一部だけが見えている。図１１に示すように、図１
０では見えなかった銀行ポータル４９が右側から視界に
入ってきている。エージェント４１とウェイバックポー
タル４５はどちらも左下隅と右下隅の同じ位置に留まっ
ている。
【０１２５】図１０と１１の地球表面スペース３２から
ポータルをセレクトすると、セレクトされたポータルは
予測を行いユーザーへフィードバックをし、ユーザーイ
ンターフェースはセレクトされたポータルに対応するス
ペースへユーザーを移動させる。例えば、図１０の地球
表面スペース３２にいるユーザーが第１の家ポータル４
７をセレクトすると、家ポータル４７が予想を行い、そ
して、家ポータル４７に対応する家スペースへユーザー
インターフェースがユーザーを移動させる。図１２には
図１０の家ポータル４７に対応する家スペース５０が示
されている。
【０１２６】図１２の家スペース５０は、家の中の各部
屋が見えるよう外壁が取り払われた状態になっている。
家の中の部屋、すなわち、居間５４、寝室５３、風呂５
５、屋根裏５２、台所５６は全てユーザーがセレクトで
きる。図１２に示すように、前回のスペースを出ている
時に見えたように地球表面スペース３２の小形スナップ
ショットがウェイバックポータル４５の中に表示されて
いる。このように、図１２のウェイバックポータルには
地球表面スペースの小形スナップショットが表示されて
いるだけでなく、図１０でユーザーが家ポータル４７を
選択した時に見えた地球表面スペース３２の部分も表示
されている。図１０の地球表面スペースへ戻るには、地
球表面スペースのスナップショットが表示されたウェイ
バックポータル４５をセレクトする。
【０１２７】図１２において、居間５４をセレクトした
場合は、居間ポータル５４が予想を行い、「ポータル通
過」サウンドを生成する。すると、ユーザーインターフ
ェースによって居間ポータル５４に対応する居間スペー
スへユーザーが移動する。図１３には居間スペース６０
の例が示されている。図１３の居間スペース６０の中に
は、テレビ７３、ビデオカセットレコーダー７５、テレ
ビ番組表の本７１が置かれている。テレビ７３、ビデオ
カセットレコーダー７５、テレビ番組表の本７１はそれ
ぞれポータルでユーザーがセレクトできる。テレビ７３
とビデオカセットレコーダー７５はそれぞれ本当のテレ
ビとビデオカセットレコーダーに対応している。
【０１２８】図１３の居間スペース６０の中に表示され
ているテレビポータル７３をセレクトすると、テレビポ
ータル７３は予想を行い、本当のテレビに対応した図形
ユーザーインターフェースがユーザーインターフェース
によって表示される。図１４はテレビ制御スペース６４
を示しており、このスペースはこの実施例のテレビの図
形ユーザーインターフェースで構成されている。このテ
レビスペース６４で利用可能なオブジェクトには、緑色
の「ｏｎ」ボタン６１、赤色の「ｏｆｆ」ボタン６２、
複数のテレビチャンネルボタン６６ー６９が含まれてい
る。テレビチャンネルボタン６６ー６９はオブジェクト
ホイール６３の表面に横方向に並べて配列されており、
オブジェクトホイール６３を右か左にスピンさせて現在
表示スクリーン上に表示されていない別のテレビチャン
ネルボタンを見えるようにすることができる。
【０１２９】テレビスペース６４で利用可能な「ｏｎ」
ボタン６１、「ｏｆｆ」ボタン６２、テレビチャンネル
ボタン６６ー６９はポータルではなく、図２のスペース
マップの中の別のスペースへアクセスするためのもので
はない。しかしながら、これら「ｏｎ」ボタン６１、
「ｏｆｆ」ボタン６２、テレビチャンネルボタン６６ー
６９は機能付きボタンである。例えば、緑色の「ｏｎ」
ボタン６１と赤色の「ｏｆｆ」ボタン６２は「テレビ電
源ｏｎ」と「テレビ電源ｏｆｆ」の機能にそれぞれ対応
している。ｏｎまたはｏｆｆのいずれかのボタンをセレ
クトすると、そのボタンは予想を行い、ボタンがセレク
トされたことをユーザーへフィードバックする。次に、
ハンドヘルド表示装置からは、テレビをｏｎまたはｏｆ
ｆする適当なコマンドが送信される。同様に、テレビチ
ャンネルボタン６６ー６９のいずれか一つのボタンをセ
レクトすると、テレビチャンネルボタンは予想を行い、
ハンドヘルド表示装置から本当のテレビへ適当なコマン
ドが送信されてセレクトされたチャンネルへテレビを切
り換える。物理的なテレビ装置へコマンドを送信するプ
ロセスを以下の章で詳細に説明する。
【０１３０】図１３において、テレビ番組表の本７１を
セレクトすると、テレビ番組表の本７１は予想を行い、
ユーザーインターフェースによってユーザーはテレビ番
組表スペースへ移動する。図１５はこの実施例のテレビ
番組表の本のスペースを示している。図１５のテレビ番
組表の本のスペースでは、テレビ番組リストが二次元的
に表示されている。このテレビ番組リストの縦にはテレ
ビチャンネルを、また、横には時間が表示されている。
各テレビ番組はポータルになっており、ユーザーがセレ
クトできる。また、テレビ番組リストをユーザーが持ち
運んでビデオカセットポータルの上に落下させると、そ
のテレビ番組を録画するようビデオカセットレコーダー
をハンドヘルド表示装置でプログラムできる。
【０１３１】図１５のテレビ番組表の本のスペースは、
実際には互いに接続された縦向きの一対のオブジェクト
ホイールである。図１７にはテレビ番組表の本のスペー
スの概念図が示されている。図１５のテレビチャンネル
を図１７の第１のオブジェクトホイール７２の上に配置
する。一方、テレビ番組リストは第２のオブジェクトホ
イール８５の上に配置する。これら二つのオブジェクト
ホイール７２と８５は、いずれか一方のオブジェクトホ
イールをスピンした場合にもう一方のオブジェクトホイ
ールが同じ速度でスピンし、テレビチャンネルとテレビ
番組リストが常に並んだ状態になるよう接続されてい
る。
【０１３２】テレビ番組表のオブジェクトホイール８５
に配置されている各テレビ番組リストはポータルであ
る。テレビ番組リストポータルのうちいずれか一つのポ
ータルをセレクトすると、そのテレビ番組リストポータ
ルは予想を行い、ユーザーインターフェースによってテ
レビ番組情報スペースへユーザーは移動する。図１６に
は一般的なテレビ番組情報スペースが示されている。こ
のテレビ番組情報スペースは、クロック８１、日付８
２、テレビチャンネル８３で構成されており、この情報
スペースによってユーザーはいつテレビ番組がオンにな
り、どのチャンネルでテレビ番組が放映されるかが分か
る。図１６に示すように、テレビ番組情報スペースには
テレビ番組の記事も含まれている。
【０１３３】エージェント エージェントとはユーザーを様々な方法で補助するよう
設計された擬人化キャラクターである。このエージェン
トは、手助けを行ったり、ステート情報を与えたり、あ
る事象(events)をユーザーに警告したり、相談人のよう
に振る舞ってユーザーを補助する。エージェントが機能
をそれぞれ説明する。
【０１３４】ヘルプ 図９のツアーの例ですでに説明したように、まず、本願
発明のユーザーインターフェースへユーザーは入ってい
く。すると、エージェントは、ポイントおよびセレクト
ジェスチャーの使い方をユーザーに説明する。さらに、
エージェントは、スペース内を動き回るパンジェスチャ
ーの使い方も説明する。また、必要に応じては、ユーザ
ーインターフェースの他の機能の使い方も説明すること
ができる。
【０１３５】さらにユーザーの手助けをするため、エー
ジェントのブリーフケースにはヘルプマニュアルが納め
られており、ユーザーはいつでもこれを利用することが
できる。ヘルプマニュアルにアクセスするにはエージェ
ントポータルを選択するだけでよい。エージェントはブ
リーフケースを開ける動作を行って予想を行う。次に、
ユーザーはブリーフケースからヘルプマニュアルをセレ
クトする。
【０１３６】ステートおよびモード情報 エージェントを用いてユーザーインターフェースの現在
のステート（状態、当該明細書ではステートと称す）ま
たはモードを知ることができる。現在のステートまたは
モードを知らせるため、エージェントの服装、外見ある
いは持ち運んでいる小道具を変える。
【０１３７】例えば、本願発明のユーザーインターフェ
ースが診断モードになっている場合は、そのことが分か
るようエージェントの着ている服装が変化する。図２４
では、図から分かるようにエージェントは医者の服装を
しており、ユーザーインターフェースが診断モードであ
ることを象徴している。
【０１３８】図２５は、ステート情報を知らせる他の例
のエージェントの服装である。書き込み状態にある時は
エージェントは鉛筆を持っており、ユーザーインターフ
ェースは書き込み状態であることを象徴している。
【０１３９】警告（アラート） 本願発明のハンドヘルド表示装置を使用している最中に
ユーザーに至急知らせなくてはならないような出来事が
発生するかもしれない。このよな出来事（事象とも称
す）を通常は警告（アラートとも称す）と言っている。
例えば、ハンドヘルド表示装置が電子メッセージサービ
スに接続されており、ユーザーに知らせなくてはならな
いメッセージを受信した場合はユーザーへ警告を発す
る。
【０１４０】本願発明のユーザーインターフェースで
は、ユーザーに警告を知らせるためエージェントを用い
てユーザーの注意を引くこともできる。例えば、ユーザ
ーの注意を引くためエージェントの手を振らせることが
できる。もし、警告が大変重要な場合は、エージェント
の手を振らせるだけでなく音声も出させてユーザーの注
意を引くようにできる。
【０１４１】例えば、ユーザーに注意を喚起しなくては
ならないような出来事が起こった場合は、図２６に示す
ようにエージェントが手を振り始める。警告の理由が何
であるかを説明するため、すでに前章で説明したように
エージェントの外見をさらに変えて特定の警告の情報を
知らせることも可能である。具体的には、緊急メッセー
ジが届いた場合に、一方の手に電報を持たせてエージェ
ントの手を振らせることができる。
【０１４２】警告はステートやモード情報よりも重要な
ものであるため、アラートはステートまたはモード情報
よりも優先する。このため、エージェントのイメージを
用いてステートまたはモード情報を伝えようとしている
最中に重要な出来事が発生した場合は、エージェントの
イメージは変化し、ユーザーの注意を喚起してアラート
の情報をユーザーに伝える。具体的には、図２５に示す
ように書き込みモードでエージェントが鉛筆を持ってい
る時に緊急メッセージが届いた場合は、図２６に示すよ
うにエージェントはすぐさま手を振る動画へ変化し、メ
ッセージをユーザーに知らせる。
【０１４３】遠隔装置制御 本願発明のハンドヘルド表示装置は遠隔装置を制御でき
るよう設計されている。従って、前章で説明したハンド
ヘルド表示装置用ユーザーインターフェースは、遠隔装
置を制御する理想的な図形ユーザーインターフェースと
して設計されていることになる。例えば、ユーザーの居
間の装置を制御するには、ユーザーはまず図１３のユー
ザーインターフェースの居間スペース６０へ移動する。
次に、ユーザーが制御したいと思っている装置に対応し
たオブジェクトを選択する。具体的には、ユーザーがテ
レビを制御した時は、実際のテレビに対応したテレビポ
ータル７３を選択する。ユーザーがテレビポータル７３
を選択すると、テレビポータル７３は予想を行い、ユー
ザーの居間にある実際のテレビを制御する図形ユーザー
インターフェースが表示される。図１４はテレビ制御用
テレビ制御セットの一例である。ハンドヘルド表示装置
に表示されているテレビ制御セットを用いてユーザーは
テレビを制御する。
【０１４４】ハンドヘルド表示装置で遠隔装置を制御す
るには、その遠隔装置についての確かな情報をハンドヘ
ルド表示装置が有していなくてはならない。つまり、ハ
ンドヘルド表示装置は、遠隔装置に対応するオブジェク
トのオブジェクト指向プログラムタイプでなくてはなら
ない。オブジェクトは複数の方法で構成されており、ハ
ンドヘルド表示装置の表示スクリーン上にオブジェクト
を表示する方法や遠隔装置用図形ユーザーインターフェ
ースを表示する方法なども含まれている。
【０１４５】本願発明の操作を簡単にするため、自動的
に各互換遠隔装置からハンドヘルド表示装置へ必要なオ
ブジェクト指向プログラミングタイプが伝送される。遠
隔装置からハンドヘルド表示装置へオブジェクトが伝送
されると、ハンドヘルド表示装置は表示スクリーン上に
オブジェクトを表示する方法を呼び出す。ユーザーはこ
のオブジェクトを適当なスペースに移動することができ
る。ユーザーがオブジェクトを選択すると、選択された
オブジェクトは予想を行い、図形ユーザーインターフェ
ースを表示する方法が呼び出される。この方法により、
遠隔装置の図形ユーザーインターフェースがハンドヘル
ド表示装置のタッチスクリーンディスプレイ上に表示さ
れる。タッチスクリーンディスプレイ上に表示されてい
る遠隔装置の図形ユーザーインターフェースと対話する
ことでユーザーは遠隔装置を制御できる。
【０１４６】本願発明のハンドヘルド表示装置は２種類
の互換遠隔装置から図形ユーザーインターフェースを自
動的に受け取る。遠隔装置の第１のタイプは、専用コン
ピュータ制御システムを備えたインテリジェント遠隔装
置である。また、第２のタイプの遠隔装置は、単純な被
コード化コマンドにだけ応答する単純な遠隔装置であ
る。
【０１４７】ハンドヘルド表示装置は２種類の互換遠隔
装置とそれぞれ異なる方法で対話する。インテリジェン
ト遠隔装置との通信には、遠隔装置制御用遠隔呼び出し
方法とのピア・ツー・ピア(peer-to-peer)通信を用い
る。さらに、単純な遠隔装置との通信には単純な制御コ
ードだけを使用する。しかし、ユーザーから見ればイン
テリジェント遠隔装置と単純な遠隔装置との区別は困難
であるため、図形ユーザーインターフェースとユーザー
との対話はいずれの遠隔装置の場合も同じである。ユー
ザーの動作によって遠隔方法呼び出しが行われるか、あ
るいは、何らかの通信機構を介して制御コードが伝送さ
れるのかといった実施(implementation)詳細事項はユー
ザーには分からない。
【０１４８】この章では２種類の互換遠隔装置からハン
ドヘルド表示装置への情報の伝送の仕方を説明する。さ
らに、第３の種類の遠隔装置も説明する。この第３の種
類の遠隔装置は、被コード化赤外線信号で制御可能な電
子装置で構成されている。
【０１４９】この章では、オブジェクト指向プログラミ
ングタイプ装置について説明する。オブジェクト指向プ
ログラミングタイプのオブジェクトには、呼びされると
機能を実行するデータおよび方法がそれぞれ内蔵されて
いる。用語を簡略化するため、単語「プログラムオブジ
ェクト」を用いた場合はオブジェクト指向プログラミン
グタイプオブジェクトを表しているものとする。混乱を
防ぐため、前述のユーザーインターフェースで説明した
ユーザーインターフェースのタッチスクリーンディスプ
レイに表示されているオブジェクトはこの章では「ディ
スプレイオブジェクト」と称す。
【０１５０】遠隔方法呼び出しとのピア・ツー・ピア通
信 本願発明では、遠隔装置がプログラムオブジェクト内の
方法を呼び出せるようマイクロプロセッサー、通信シス
テム、十分なメモリー量を備えている場合、この遠隔装
置を「インテリジェント遠隔装置」と定義する。図３に
はインテリジェント遠隔装置内の部品がブロック図の形
で表されている。本願発明のハンドヘルド表示装置はイ
ンテリジェント遠隔装置とピア・ツー・ピアにて通信す
る。
【０１５１】インテリジェント遠隔装置は、ダイアル、
スィッチ、スライダー等のタッチスクリーン制御エレメ
ントで構成された対応図形ユーザーインターフェースを
備えている。インテリジェント遠隔装置の図形ユーザー
インターフェースは、インテリジェント遠隔装置のメモ
リー４０４の中に記録されているユーザーインターフェ
ースプログラムオブジェクト３０３の中で定義される。
インテリジェント遠隔装置をまずオンすると、インテリ
ジェント遠隔装置はハンドヘルド表示装置へユーザーイ
ンターフェースプログラムオブジェクト３０３を自動的
に伝送する。すると、ハンドヘルド表示装置はインテリ
ジェントプログラムオブジェクトで定義したインテリジ
ェント遠隔装置用ユーザーインターフェースを表示す
る。
【０１５２】ハンドヘルド表示装置に表示されているよ
うなインテリジェント遠隔装置の図形ユーザーインター
フェースとユーザーが対話すると、ハンドヘルド表示装
置はインテリジェント遠隔装置内のデバイスドライバー
プログラムオブジェクト３０１の中の方法を呼び出して
遠隔装置を制御する。このように、インテリジェント遠
隔装置を実際に「制御」するソフトウェアはインテリジ
ェント遠隔装置自体の中に納められている。
【０１５３】インテリジェント遠隔装置からハンドヘル
ド表示装置へユーザーインターフェースオブジェクト３
０３を伝送する方法を図２７ー３０、３１−３４および
図３５のフローチャートを参照しながら説明する。図２
７ー３０にはインテリジェント遠隔装置１５０と本願発
明のハンドヘルド表示装置１７０の通信の仕方が具体的
に図示されている。また、図３１−３４には、インテリ
ジェント遠隔装置１５０内のユーザーインターフェース
プログラムオブジェクト３０３とハンドヘルド表示装置
１７０と通信の仕方が概念的に図示されている。
【０１５４】図３５のステップ１０１では、図２７のイ
ンテリジェントサーモスタット制御装置のような新しい
インテリジェント遠隔装置１５０がまずオンされた時
に、出力用(to export) ユーザーインターフェースプロ
グラムオブジェクトを備えていることを通信ネットワー
ク１６０を介して通信する。ハードウェアの章で説明し
たように、通信ネットワーク１６０での通信はエシェロ
ン（Ｅｃｈｅｌｏｎ 登録商標）ベースのロン（ＬＯＮ
登録商標）システムの場合のように従来の電源線で高
周波、低電力、セルラー、赤外線信号あるいは電子信号
などを用いて行うことができる。ステップ１０２では、
ハンドヘルド表示装置１７０はインターフェースエキス
ポートメッセージを受け取る。ハンドヘルド表示装置１
７０は通信ネットワーク１６０を介して新しいインテリ
ジェント遠隔装置１５０へ信号を送り返し、インテリジ
ェント装置１５０はユーザーインターフェースオブジェ
クト３０３へ伝送を開始するよう要求する。
【０１５５】次に、図２７に示すように、インテリジェ
ント遠隔装置１５０は図３５のステップ１０３で規定し
ているように表示装置１７０へユーザーインターフェー
スオブジェクト３０３を伝送する。図３１では、インテ
リジェント遠隔装置１５０からもインテリジェント遠隔
装置１５０内のデバイスドライバーオブジェクト３０１
へポインター（点線にて表示）を伝送する。ユーザーイ
ンターフェースプログラムオブジェクト３０３は、イン
テリジェント遠隔装置１５０用ユーザーインターフェー
スが表示スクリーン上にどのように表示されるかを定義
する。ユーザーインターフェースプログラムオブジェク
ト３０３はデバイスドライバープログラムオブジェクト
３０１の中の方法を呼び出し、ユーザーインターフェー
スの対話を処理する。デバイスドライバープログラムオ
ブジェクト３０１には実際のインテリジェント遠隔装置
１５０を制御する方法が格納されている。図３２におい
て、ここで、表示装置１７０はインテリジェント装置の
ユーザーインターフェースプログラムオブジェクト３１
３とデバイスドライバープログラムオブジェクト３１１
のポインターのコピーを入手する。
【０１５６】ユーザーインターフェースプログラムオブ
ジェクト３１３を受け取ると、ハンドヘルド表示装置１
７０はユーザーインターフェースプログラムオブジェク
ト３１３の中の方法を呼び出す。この方法により、ステ
ップ１０４に示すように現在のスペース内のディスプレ
イオブジェクトが表示される。インテリジェント遠隔装
置１５０は通信ネットワーク１６０に接続されている遠
隔名前サーバーにも登録する。
【０１５７】新しいインテリジェント遠隔装置１５０に
対応する表示オブジェクトをユーザーが選択すると、ス
テップ１０５（呼び出された方法と一緒のオブジェクト
と太書きされている）に述べているように、ハンドヘル
ド表示装置１７０はユーザーインターフェースプログラ
ムオブジェクト３１３の中の方法を呼び出す。ユーザー
インターフェースプログラムオブジェクト３１３で呼び
出された方法は、図２８に示すように、表示装置１７０
の表示スクリーン１７１の上に遠隔インテリジェント装
置の図形ユーザーインターフェースを表示する。ステッ
プ１０６で述べているように、ユーザーは表示装置１７
０の上に表示されている遠隔インテリジェント装置の図
形ユーザーインターフェースと対話できる。
【０１５８】ハンドヘルド表示装置１７０の上に表示さ
れている図形ユーザーインターフェースと対話してユー
ザーはインテリジェント遠隔装置１５０を制御する。ユ
ーザーの対話を変換する(resolve) ため、ユーザーイン
ターフェースプログラムオブジェクト３１３はインテリ
ジェント遠隔装置のデバイスドライバープログラムオブ
ジェクト３０１の中の制御方法を要求する。インテリジ
ェント遠隔装置のデバイスドライバープログラムオブジ
ェクト３０１の中の制御方法にアクセスするため、ハン
ドヘルド表示装置１７０はデバイスドライバープログラ
ムオブジェクトポインター３１１を使用する。このデバ
イスドライバープログラムオブジェクトポインター３１
１が実際のデバイスドライバープログラムオブジェクト
３０１の中の方法を呼び出す。インテリジェント遠隔装
置のデバイスドライバープログラムオブジェクト３０１
は、図２９と３３に示すように（再び、呼びされた方法
と一緒のオブジェクトが太書きされている）、通信ネッ
トワーク１６０を介してメッセージを送ると呼び出され
る。ステップ１０８で説明しているように、インテリジ
ェント遠隔装置のデバイスドライバープログラムオブジ
ェクト３０１の中で呼び出された方法がインテリジェン
ト装置１５０を制御する。
【０１５９】最後に、図３０と３４に示すように、ステ
ップ１０９ではインテリジェント遠隔装置１５０内のデ
バイスドライバープログラムオブジェクト３０１で生成
した何らかの返却値またはフィードバックを通信ネット
ワーク１６０を介してハンドヘルド表示装置１７０へ送
り返す。
【０１６０】ハンドヘルド表示装置１７０とプログラム
遠隔装置１５０の間で遠隔方法呼出を伝送する場合に
は、通信ネットワーク１６０において頑丈な通信プロト
コルが必要である。方法の呼出を要求するハンドヘルド
表示装置１７０とこの方法を実行するインテリジェント
遠隔装置１５０のいずれも破壊された通信パスを処理で
きる必要がある。このため、遠隔方法呼出しを処理する
専用遠隔手順呼出（ＲＰＣ）マネージャーがハンドヘル
ド表示装置１７０とインテリジェント遠隔装置１５０の
いずれにも設けられている。図３１ー３４では、遠隔手
順呼出マネージャー３０９はハンドヘルド表示装置１７
０用遠隔方法呼出要求を伝送する。一方、サーバー遠隔
手順呼出マネージャー３０７はインテリジェント遠隔装
置１５０内の受信遠隔方法呼出を処理する。
【０１６１】図３６と３７には、ハンドヘルド表示装置
１７０の側と遠隔装置の側の両方の遠隔方法呼出を処理
する遠隔手順呼出（ＲＰＣ）マネージャーを制御する場
合に使用するダイアグラムが示されている。本願発明で
は、ハンドヘルド表示装置１７０内のユーザーインター
フェースプログラムオブジェクト３１３が、遠隔インテ
リジェント装置内にあるデバイスドライバープログラム
オブジェクト３０１への遠隔方法呼出を要求する。図３
６において、ユーザーインターフェースオブジェクトが
遠隔方法呼出を要求すると、ハンドヘルド表示装置のＲ
ＰＣマネージャーが「伝送待機」状態４０３に移る。次
に、表示装置のＲＰＣマネージャーはエラーカウントダ
ウンタイマーをセットし、メッセージを内蔵したパケッ
トを方法セレクターや対応するデータと共に伝送する。
パケットの伝送が終わると、表示装置のＲＰＣマネージ
ャーは「応答待機」状態４０５に移る。適切な応答メッ
セージが送り返されると、方法呼出は完了し、状態４０
７で応答メッセージの分析が行われる。
【０１６２】遠隔方法呼出は必ずしも簡単に完了するも
のではない。インテリジェント遠隔装置１５０の中のデ
バイスドライバープログラムオブジェクト３０１が方法
を終了させるのにもっと時間を必要とする場合は、もっ
と時間を要求するメッセージが送り返される。表示装置
のＲＰＣマネージャーは、タイムアウト値が増加する状
態４０９へ移ると応答を行う。エラーカウントダウンタ
イマーが終了するまでに表示装置のＲＰＣマネージャー
が応答を受信できない場合は、表示装置のＲＰＣマネー
ジャーは「エラー回復」状態４１１へ移行する。もし、
エラーカウントダウンタイマーが所定回数以下で終了す
る場合には、表示装置のＲＰＣマネージャーは「伝送待
機」状態４０３へ復帰する。エラーカウントダウンタイ
マーが所定リミットまできた場合は、表示装置のＲＰＣ
マネージャーは遠隔方法呼出を放棄し、失敗状態４１３
へ移る。この時、ユーザーには通信異常が通知される。
【０１６３】図３７には、遠隔装置の側の遠隔方法呼出
しを処理するインテリジェント遠隔装置内の遠隔手順呼
出マネージャー３０７用ステートマシーンが図示されて
いる。この遠隔装置のＲＰＣマネージャー３０７は「受
信待機」状態４５１からスタートする。パケットが受信
されると、遠隔装置のＲＰＣマネージャーは状態４５３
でそのパケットを分析する。受信したパケットに方法呼
出を要求する新しいメッセージが含まれている場合に
は、遠隔装置のＲＰＣマネージャーは状態４５５でその
方法要求を実行するオブジェクトへそのパケットを送
る。次に、遠隔装置のＲＰＣマネージャーはその結果を
伝送し、待機状態４５１へ送り返す。
【０１６４】遠隔装置がすでに見終わったメッセージが
受信パケットに含まれている場合は、インテリジェント
遠隔装置のＲＰＣマネージャーは状態４５７へ移る。こ
の状態では、方法呼出要求はすでに完了したか、あるい
は、まだその要求を実行しているかをインテリジェント
遠隔装置が判断する。もしインテリジェント遠隔装置が
すでにその要求を終了してしまっている場合は、状態４
５９の結果をサブシステムが再度伝送し、待機状態４５
１へ送り返す。あるいは、インテリジェント遠隔装置が
まだその方法呼出を実行している場合は、遠隔装置のＲ
ＰＣマネージャーは状態４６１へ移行する。この状態
で、遠隔装置のＲＰＣマネージャーは呼出された方法を
完了するのにもっと時間を要求し、待機状態４５１へ送
り返す。
【０１６５】図３８には通信異常のない場合の遠隔方法
呼出の順序（sequence 以下シーケンスと称す）が示さ
れている。ステップ５０１では、ハンドヘルド表示装置
の中のユーザーインターフェースオブジェクトが遠隔方
法呼出を要求する。従って、ユーザーインターフェース
オブジェクトは方法セレクターや引数(argument)と一緒
に表示装置のＲＰＣマネージャーへメッセージを送出す
る。表示装置のＲＰＣマネージャーは受信したメッセー
ジをステップ５０２においてパケットの中にパックし、
そのパケットをステップ５０３において通信ネットワー
クを介して伝送する。
【０１６６】インテリジェント遠隔装置のＲＰＣマネー
ジャーは伝送されてきたパケットをステップ５０４で受
信する。ステップ５０５では遠隔装置のＲＰＣマネージ
ャーはパケットを開封してメッセージを受取り、そのパ
ケットをインテリジェント遠隔装置内のデバイスドライ
バープログラムオブジェクトへ送る。ステップ５０６で
は、メッセージの中の方法セレクターで規定された方法
をデバイスドライバープログラムオブジェクトが呼び出
す。遠隔装置のＲＰＣマネージャーへ送り返される返却
メッセージをデバイスドライバープログラムオブジェク
トが生成する。ステップ５０７では、遠隔装置のＲＰＣ
マネージャーはその返却メッセージを応答バッファーの
中にパックする。ステップ５０８では、遠隔装置のＲＰ
Ｃマネージャーはその応答バッファーを送出する。
【０１６７】ステップ５０９では表示装置のＲＰＣマネ
ージャーが応答バッファーを受信し、ステップ５１０で
はその応答バッファーを開封して返却値を取り出す。表
示装置のＲＰＣマネージャーは、デバイスドライバープ
ログラムオブジェクトの中の方法を呼び出した要求側ユ
ーザーインターフェースプログラムオブジェクトへその
返却値を送る。最後に、ステップ５１１でユーザーイン
ターフェースプログラムオブジェクトはその返却値を分
析する。
【０１６８】以上説明したように、本願発明ではインテ
リジェント遠隔装置の中にあるデバイスドライバープロ
グラムオブジェクトの内の方法を遠隔地から呼び出すこ
とでインテリジェント遠隔装置を制御することができ
る。また、遠隔装置も遠隔地から表示装置内の方法を呼
び出すことができることが分かる。例えば、遠隔装置内
のデバイスドライバーオブジェクトは表示装置内のユー
ザーインターフェースオブジェクトの中の方法を呼び出
してメッセージを表示させることができる。
【０１６９】遠隔装置の多くは、表示装置から呼び出し
可能な内部制御方法を所有できるほど精巧ではない。従
って、本願発明では単純な装置を制御する方法も提供す
る。
【０１７０】単純な装置の制御 本願発明では、マイクロプロセッサーを内蔵していない
遠隔装置あるいは遠隔装置内の方法を表示装置で呼び出
し制御できない程原始的なプロセッサーを内蔵した遠隔
装置の場合、このような遠隔装置を「単純な装置」と定
義している。図４には単純な遠隔装置内の部品をブロッ
ク図の形で図示している。単純な装置を制御するには、
単純な遠隔装置内の方法を呼び出し制御する代わりに本
願発明のハンドヘルド表示装置から単純な定義済み制御
コードを伝送する。このため、単純な制御装置を制御す
るため、ハンドヘルド表示装置はこの単純な遠隔装置か
らユーザーインターフェースプログラムオブジェクトと
デバイスドライバープログラムオブジェクトの両方を受
け取らなくてはならない。
【０１７１】単純な遠隔装置からユーザーインターフェ
ースプログラムオブジェクトとデバイスドライバープロ
グラムオブジェクトの両方を受け取る例を図３９ー４
２、４３ー４６およびフローチャート２４を参照しなが
ら説明する。図３９ー４２には遠隔装置１５５と本願発
明のハンドヘルド表示装置１７０が互いに通信している
様子を具体的に示されている。図４３ー４６には、ユー
ザーインターフェースプログラムオブジェクト３５３と
遠隔外部装置１５０のデバイスドライバープログラムオ
ブジェクト３５１がハンドヘルド表示装置１７０へ伝送
され、使用される様子が概念的に図示されている。
【０１７２】図３９では、単純な遠隔装置１５５として
サーモスタットが示されている。図４７のステップ１２
４で規定されているように、図３９の単純な遠隔装置１
５５からハンドヘルド表示装置１７０へユーザーインタ
ーフェースプログラムオブジェクトとデバイスドライバ
ープログラムオブジェクトの両方が伝送される。図４３
に概念的に示されているように、単純な装置１５５から
はユーザーインターフェースプログラムオブジェクト３
５３とデバイスドライバープログラムオブジェクト３５
１が伝送される。プログラムオブジェクトの伝送は、通
信ネットワークあるいは表示装置１７０へ情報を転送す
る何等かの手段である通信手段１６２を用いて行われ
る。
【０１７３】ハンドヘルド表示装置１７０は、単純な装
置の図形ユーザーインターフェースを説明するユーザー
インターフェースプログラムオブジェクト３６３のコピ
ーを受信する。次に、ハンドヘルド表示装置１７０は、
ハンドヘルド表示装置１７０上のスペース内にオブジェ
クトを表示するユーザーインターフェースプログラムオ
ブジェクト３６３の中の方法を呼び出す。単純な遠隔装
置１５５に対応する表示オブジェクトを選択した場合
は、図４７のステップ１２５や図４０に示すように、ユ
ーザーインターフェースプログラムオブジェクト３６３
の中の方法をハンドヘルド表示装置１７０が呼び出す。
ユーザーインターフェースプログラムオブジェクト３６
３で呼び出された方法は、単純な遠隔装置に対応する図
形ユーザーインターフェースを表示装置１７０の表示ス
クリーン１７１上に表示する。次に、ステップ１２７で
は、表示装置１７０上の単純な遠隔装置の図形ユーザー
インターフェースとユーザーが対話できる。
【０１７４】単純な装置の図形ユーザーインターフェー
スとユーザーとの対話は表示装置１７０の中の単純な装
置のデバイスドライバープログラムオブジェクト３６１
によって分析される。デバイスドライバープログラムオ
ブジェクト３６１は、ユーザーの対話を単純な遠隔装置
１５５が応答できる制御コードへ変換する(resolve)。
図４５に示すように、表示装置１７０の中にあるデバイ
スドライバプログラムオブジェクト３６１がユーザーの
動作を分析する。
【０１７５】図４１と４５において、ハンドヘルド表示
装置１７０は単純な遠隔装置１５５へ前記制御コードを
伝送する。ステップ１３０では、受信したこの制御コー
トに応答して単純な遠隔装置１５５は変化する。最後
に、通信ネットワークにより単純な遠隔装置１５５と表
示装置１７０が互いに接続されている場合は、図４２に
示すように単純な遠隔装置１５５で生成した何らかの返
却値またはフィードバックは単純な遠隔装置１５５から
伝送できる。
【０１７６】従来の装置制御 本願発明のハンドヘルド表示装置用として設計されてい
ない従来の遠隔装置は、ハンドヘルド表示装置へ伝送す
るユーザーインターフェースプログラムオブジェクトを
有していない。例えば、図５には赤外線信号のようなコ
ード化されたコマンド信号にだけ応答できる一般的な従
来の遠隔装置が示されている。この場合、この遠隔装置
を用いてハンドヘルド表示装置に手で情報を送らなくて
はならない。この後、ハンドヘルド表示装置は一般的な
遠隔装置用の総称ユーザーインターフェースプログラム
オブジェクトを使用する。
【０１７７】例えば、ユーザーが持っているテレビが赤
外線信号で制御する従来型のテレビの場合、テレビのモ
デル番号を入力して従来のテレビについての情報をハン
ドヘルド表示装置へ入力する。ハンドヘルド表示装置で
は、データベースへアクセスして従来のテレビで理解で
きる制御コードのリストを持ってくる。次に、テレビ表
示オブジェクトを作成してこの従来のテレビを制御す
る。テレビ表示オブジェクトをユーザーが選択した場合
は、総称テレビユーザーインターフェースを表示する方
法をハンドヘルド表示装置が呼び出す。この総称テレビ
ユーザーインターフェースとユーザーが対話すると、表
示装置から適切な赤外線制御コードが送信されてテレビ
が制御される。
【０１７８】まとめ 以上、図形マップ構造に基づいた直覚的図形ユーザーイ
ンターフェースおよび遠隔外部電子装置を制御するシス
テムについて説明してきた。本願発明のユーザーインタ
ーフェースでは、地理的マップ構造の各スペースがスペ
ースとしてタッチスクリーンディスプレイ上に表示され
ている。各スペースには着色された「オブジェクト」と
呼ばれるアイコンが配置されており、このオブジェクト
はユーザーが選択および操作できるようになっている。
ポータルと呼んでいる一定のオブジェクトを選択する
と、ユーザーは一つのスペースから別のスペースへ移動
する。ボタンと呼ばれている別のオブジェクトを選択す
ると、このオブジェクトに対応する動作または機能が実
行される。ハンドヘルド表示装置にはユーザーインター
フェースが表示され、このインターフェースは遠隔電子
装置を制御することができる。各遠隔電子装置からは、
図形ユーザーインターフェースを定義するユーザーイン
ターフェースプログラムオブジェクトが前記表示装置へ
伝送される。表示装置のタッチスクリーンディスプレイ
上の遠隔装置に対応するアイコンをユーザーが選択する
と、その遠隔装置に対応する図形ユーザーインターフェ
ースがハンドヘルド表示装置に表示される。
【図面の簡単な説明】
【図１】本願発明の遠隔制御機能の全体図
【図２】本願発明のハンドヘルド表示装置を実現するの
に用いるハードウェアの全体図
【図３】本願発明で制御するインテリジェント遠隔装置
のブロック図
【図４】本願発明で制御する単純な遠隔装置のブロック
図
【図５】本願発明で遠隔制御する従来の電子装置のブロ
ック図
【図６】異なる地理的スペースの構造を示す概略図
【図７−８】ユーザーインターフェースを提供するのに
用いるスペースの地理的サンプル地図構造を示す概略図
【図９】図７と８の地理的地図構造に基づくユーザーイ
ンターフェースの宇宙空間スペースを示す概略図
【図１０】図７と８の地理的地図構造に基づくユーザー
インターフェース内の地球表面スペースの第１図
【図１１】図７と８の地理的地図構造に基づくユーザー
インターフェース内の地球表面スペースの第２図
【図１２】図７と８の地理的地図構造に基づくユーザー
インターフェースの第１ハウススペースの概略図
【図１３】図７と８の地理的地図構造に基づくユーザー
インターフェース内の居間スペースを示す概略図
【図１４】図７と８の地理的地図構造に基づくユーザー
インターフェース内のテレビスペースを示す概略図
【図１５】図７と８の地理的地図構造に基づくユーザー
インターフェース内のテレビ番組表の本のスペースを示
す概略図
【図１６】図７と８の地理的地図構造に基づくユーザー
インターフェースの一つのテレビ番組の記事のスペース
を示す概略図
【図１７】図１５のテレビ番組表の本のスペースの概念
図
【図１８】単一スクリーン表示に表れていない複数のオ
ブジェクトを示す概略図
【図１９】オブジェクトホイール上に配置された複数の
オブジェクトを示す概念図
【図２０】オブジェクトホイールが回転して新しいオブ
ジェクトを示す時の図１９のオブジェクトホイールの概
念図
【図２１】オブジェクトホイールを回転するのに使って
いる「回転ジェスチャー」を示す概略図
【図２２】オブジェクトホイールからオブジェクトを取
り出すのに使っている「ピックアップジェスチャー」を
示す概略図
【図２３】スペースからオブジェクトを取り出すのに使
っている「ピックアップジェスチャー」を示す概略図
【図２４】診断モードを記号表示するため医者のユニフ
ォームを着た本願発明のエージェントポータル(agent p
ortal)を示す概略図
【図２５】書き込みモードを記号表示するため鉛筆を持
った本願発明のエージェントポータルを示す概略図
【図２６】最近の出来事についてユーザーに注意を喚起
しようとしている本願発明のエージェントポータルを示
す概略図
【図２７】表示装置へ図形インターフェースを伝送する
インテリジェント装置を示す概略図
【図２８】インテリジェント制御可能装置の図形インタ
ーフェースを表示する表示装置を示す概略図
【図２９】インテリジェント装置へユーザーインターフ
ェースと共にユーザー会話を伝送する表示装置を示す概
略図
【図３０】表示装置へ返却値またはフィードバックを伝
送するインテリジェント装置を示す概略図
【図３１】表示装置へ伝送中のインテリジェント装置内
のプログラムオブジェクトの概念図
【図３２】表示装置内のインテリジェント装置のプログ
ラムオブジェクトの概念図
【図３３】遠隔インテリジェント装置内のオブジェクト
中の方法を呼び出す表示装置の概念図
【図３４】ステータスを返却する遠隔インテリジェント
装置内のオブジェクト中の方法の概念図
【図３５】インテリジェント装置のユーザーインターフ
ェースの転送のフローチャート
【図３６】クライアントが遠隔方法呼出しを行うＲＰＣ
マネジャーの状態ダイアグラム
【図３７】サーバーが遠隔方法呼出しを処理するＲＰＣ
マネジャーの状態ダイアグラム
【図３８】遠隔方法呼出しの順序を示すフロー図
【図３９】表示装置へ図形ユーザーインターフェースを
転送する単純な装置を示す概略図
【図４０】制御可能な単純な装置の図形ユーザーインタ
ーフェースを示す表示装置を示した概略図
【図４１】単純な装置へ単純な制御コードを伝送する表
示装置を示した概略図
【図４２】表示装置へ返却値またはフィードバックを伝
送する単純な装置を示した概略図
【図４３】表示装置へ転送中の単純な装置のプログラム
オブジェクトの概念図
【図４４】表示装置内の単純な装置のプログラムオブジ
ェクトの概念図
【図４５】プログラムオブジェクト内の方法を呼出し、
単純な装置へ制御コードを転送する表示装置の概念図
【図４６】状態情報を送り返す単純な遠隔装置の概念図
【図４７】単純な装置のユーザーインターフェースの転
送のフローチャート
【符号の説明】
３０、４０３ ＣＰＵ ３２ 地球表面スペース ３３、４０４、４２４ メモリー ３４ Ｉ／Ｏ ユニット ３５、４０１ 通信回路 ３７ タッチスクリーンディスプレイ ４１ エージェント ４２ 他の入力装置 ４５ ウェイバックポータル １５０ インテリジェント遠隔装置 １５５ 単純遠隔装置 １５７ 電子装置 １６０ 通信媒体 １７０ ハンドヘルド表示装置 ３０１、３５１ デバイスドライバーオブジェクト ３０３、３５３ ユーザーインターフェースオブジェ
クト ４２０ エミッター ４２１、４５０ 受信器 ４２５、４５５ デバイス制御回路
フロントページの続き (72)発明者 チャールズ エイチ クラントン ザ サ ード アメリカ合衆国 カリフォルニア州 94117 サンフランシスコ ダウニー ス トリート 220 (72)発明者 ジェームズ エイ ゴスリング アメリカ合衆国 カリフォルニア州 94062 ウッドサイド リッジ ロード 363 (72)発明者 クリス ワース アメリカ合衆国 カリフォルニア州 94110 サンフランシスコ ドロアーズ ストリート 1617 (72)発明者 ジョゼフ エム パルラング アメリカ合衆国 カリフォルニア州 94086 サニーヴェイル サン コンラド テラス 701 ナンバー２ (72)発明者 エドワード エイチ フランク アメリカ合衆国 カリフォルニア州 94028 ポートラ ヴァレー ブルックサ イド ロード 127 (72)発明者 デヴィッド エイ ラヴァリー アメリカ合衆国 カリフォルニア州 パロ アルト シール アヴェニュー 651 (72)発明者 アール マイケル シェリダン アメリカ合衆国 ヴァージニア州 22124 オークトン オークトン リッジ コー ト 10651

Claims (44)

    【特許請求の範囲】
  1. 【請求項１】 それぞれ図形背景イメージで構成された
    複数のスペースを生成するステップと、 複数のポータル（門）に接続されている前記スペース
    を、指示された図形構造体の中に配列するステップと、 前記ポータルが存在しているスペースと対応目標スペー
    スが前記ポータルによって接続されるよう図形アイコン
    からなる前記ポータルのそれぞれに対応目標スペースが
    設けられており、前記スペースの内部に前記複数のポー
    タルを配置するステップと、 少なくとも第１のポータルが設けられた第１スペースの
    図形背景イメージと当該第１スペース内に配置されてい
    るポータルを図形表示スクリーン上に表示するステップ
    と、 前記第１スペースの内部に配置されている前記複数のポ
    ータルの中から選択した１つのポータルからなる前記入
    力をユーザーから受け取るステップと、 選択された前記ポータルに対応する目標スペースの図形
    背景イメージを前記図形表示スクリーン上に表示するス
    テップとを有しており、前記スペースの中の前記ポータ
    ルを選択することにより前記指示された図形構造体の中
    のスペース間を前記ユーザーが移動できることを特徴と
    するＣＰＵ、メモリー、図形表示スクリーンからなるコ
    ンピューターシステム上で図形ユーザーインターフェー
    スを実行する方法。
  2. 【請求項２】 背景イメージを表示する前記ステップ
    は、 前記背景イメージの中の第１の場所の第１サブセットを
    前記図形表示スクリーン上に表示するステップと、 移動方向である方向入力を前記ユーザーから受け取るス
    テップと、 前記運動方向に応じたオフセットを前記第１の場所に付
    加して求めた第２の場所であって、前記背景イメージの
    中の該第２の場所の第２サブセットを前記図形表示スク
    リーン上に表示するステップをさらに有しており、前記
    ユーザーはスペースに対応する背景イメージの中で動き
    回れることを特徴とする請求項１記載のコンピュータシ
    ステム上で図形ユーザーインターフェースを実行する方
    法。
  3. 【請求項３】 方向入力を前記ユーザーから受け取る前
    記ステップは、 前記表示スクリーン上を横断させている前記ユーザーの
    指を検出するステップをさらに有していることを特徴と
    する請求項２記載のコンピュータシステム上で図形ユー
    ザーインターフェースを実行する方法。
  4. 【請求項４】 ウェイバック（逆行）ポータルはデータ
    構造体のスタックから構成されており、前記データ構造
    体はそれぞれポインターで構成されており、前記ポイン
    ターはそれぞれ前記スペースの中の１つのスペースを指
    し示し、前記ウェイバックポータルは前記各スペースの
    中に表示されるものであって、当該ウェイバックポータ
    ルを生成するステップと、 前記ユーザーが前記第１スペースへ移動すると前記第１
    スペースに対するポインターから成る第１データ構造体
    を前記ウェイバックポータル上にプッシュするステップ
    と、 前記ユーザーが前記ウェイバックポータルを選択すると
    第２スペースに対するポインターから成る第２データ構
    造体を前記ウェイバックポータルからポップするステッ
    プと、 前記ウェイバックポータルからポップされた前記第２デ
    ータ構造体の中の前記ポインターで指し示す前記第２ス
    ペースへ前記ユーザーを移動させるステップをさらに有
    しており、前記ユーザーが辿ってきたスペース経路に沿
    って前記ユーザーを送り戻すことができることを特徴と
    する請求項１記載のコンピュータシステム上で図形ユー
    ザーインターフェースを実行する方法。
  5. 【請求項５】 前記ウェイバックポータル内の前記デー
    タ構造体は、前記第１スペースを前記ユーザーが去った
    時に前記ユーザーが居た前記第１スペース内の位置を識
    別する座標をさらに備えていることを特徴とする請求項
    ４記載のコンピュータシステム上で図形ユーザーインタ
    ーフェースを実行する方法。
  6. 【請求項６】 前記ウェイバックポータルスタックの一
    番上にあるデータ構造体の中のポインターが指し示すス
    ペースのスナップショットとして前記ウェイバックポー
    タルを表示することを特徴とする請求項４記載のコンピ
    ュータシステム上で図形ユーザーインターフェースを実
    行する方法。
  7. 【請求項７】 機能に対応した複数のボタンオブジェク
    トを生成するステップと、 図形アイコンからなる前記ボタンオブジェクトを前記ス
    ペース内に表示するステップと、 前記ユーザーが前記ボタンオブジェクトを選択すると該
    ボタンオブジェクトに対応する機能を実行するステップ
    をさらに有していることを特徴とする請求項１記載のコ
    ンピュータシステム上で図形ユーザーインターフェース
    を実行する方法。
  8. 【請求項８】 前記表示スクリーンはタッチ感知表示ス
    クリーンで構成されていることを特徴とする請求項１記
    載のコンピュータシステム上で図形ユーザーインターフ
    ェースを実行する方法。
  9. 【請求項９】 前記ユーザーからの入力は、前記タッチ
    感知表示スクリーンを指で触ることであることを特徴と
    する請求項８記載のコンピュータシステム上で図形ユー
    ザーインターフェースを実行する方法。
  10. 【請求項１０】 擬人化キャラクターを前記表示スクリ
    ーン上に表示するステップと、 前記擬人化キャラクターを動かして前記ユーザーの注意
    を引くステップと、 前記擬人化キャラクターの視覚的外見を変化させて前記
    ユーザーへステート情報を送るステップをさらに有して
    いることを特徴とする請求項１記載のコンピュータシス
    テム上で図形ユーザーインターフェースを実行する方
    法。
  11. 【請求項１１】 環状オブジェクトリストの中に複数の
    オブジェクトを配列するステップと、 前記環状オブジェクトリスト内の前記オブジェクトの第
    １サブセットを図形オブジェクトの第１サブセットとし
    て表示スクリーン上に表示するステップであり、前記表
    示スクリーン上に表示された図形オブジェクトは第１の
    軸に沿って配列されているところの第１サブセット表示
    ステップと、 前記表示スクリーン上の第２サブセット図形オブジェク
    トは前記環状オブジェクトリスト内の前記オブジェクト
    の第２サブセットに対応しているものであって、前記図
    形オブジェクト上を前記第１軸に略平行な方向へ前記ユ
    ーザーが指示装置をスライドした時に前記表示スクリー
    ン上の図形オブジェクトの前記第１サブセットが前記表
    示スクリーン上の前記第２サブセット図形オブジェクト
    と入れ替わるよう前記環状オブジェクトリストを回転さ
    せるステップを有しており、前記表示スクリーン上に所
    望のオブジェクトが現れるまで前記環状オブジェクトリ
    ストを回転させることにより前記ユーザーは前記複数の
    オブジェクトの中からどれか１つのオブジェクトを選択
    できることを特徴とするユーザーがオブジェクトの選択
    を行う対象である複数のオブジェクトをコンピューター
    システムに対応した表示スクリーン上に表示する方法。
  12. 【請求項１２】 最小時間前記表示スクリーン上に表示
    されている前記図形オブジェクトを指示装置で指し示す
    と前記表示スクリーン上に表示されている図形オブジェ
    クトが選択されるステップをさらに有していることを特
    徴とする請求項１１記載のユーザーがオブジェクトの選
    択を行う対象である複数のオブジェクトをコンピュータ
    ーシステムに対応した表示スクリーン上に表示する方
    法。
  13. 【請求項１３】 前記ユーザーが前記図形オブジェクト
    上に前記指示装置を置いて、前記第１の軸に略垂直な方
    向へ前記指示装置を移動すると前記環状オブジェクトリ
    ストから図形オブジェクトが離れるように移動するステ
    ップをさらに有していることを特徴とする請求項１１記
    載のユーザーがオブジェクトの選択を行う対象である複
    数のオブジェクトをコンピューターシステムに対応した
    表示スクリーン上に表示する方法。
  14. 【請求項１４】 前記表示スクリーンはタッチスクリー
    ンであり、また、前記指示装置は指であることを特徴と
    する請求項１３記載のユーザーがオブジェクトの選択を
    行う対象である複数のオブジェクトをコンピューターシ
    ステムに対応した表示スクリーン上に表示する方法。
  15. 【請求項１５】 前記環状オブジェクトリストを回転す
    るステップは、摩擦の影響を受ける物理的ホイールをシ
    ミュレートすることにより一層効果的になることを特徴
    とする請求項１１記載のユーザーがオブジェクトの選択
    を行う対象である複数のオブジェクトをコンピューター
    システムに対応した表示スクリーン上に表示する方法。
  16. 【請求項１６】 図形ユーザーインターフェースは指示
    された図形構造体内に配列された複数のスペースで構成
    されており、前記各スペースは図形背景イメージで構成
    され、前記スペースは複数のポータルによって前記指示
    された図形構造体に接続されており、前記ポータルはそ
    れぞれ第１スペースと第２スペースを接続するところの
    コンピュータシステム用図形ユーザーインターフェース
    内における前記指示された図形構造体に沿って巡ってき
    た経路を記録する方法において、 目標スペースに対応した少なくとも１つのポータルから
    なる第１スペースに対応する図形背景イメージを表示ス
    クリーン上に表示するステップと、 前記複数のスペースの各スペース内に表示され、前回訪
    れたスペースを指すスペースポインターのスタックから
    なるウェイバックポータルを生成するステップと、 前記第１スペース内の前記複数のポータルから選択した
    １つのポータルまたは前記ウェイバックポータルからな
    る入力をユーザーから受け取るステップと、 前記ユーザーがポータルと選択した場合は、この選択さ
    れたポータルに対応するスペースのポインターを前記ウ
    ェイバックスタック上に前記ユーザーインターフェース
    がプッシュし、そして前記選択されたポータルに対応す
    る前記スペースの図形背景イメージを前記表示スクリー
    ン上に表示するように、あるいは、 前記ユーザーが前記ウェイバックポータルを選択した場
    合は、前記ウェイバックポータルの一番上からスペース
    ポインターをポップし、そして前記スペースポインター
    で指し示した前記スペースを前記図形表示スクリーン上
    に表示するように前記ユーザーから受け取った前記入力
    を処理するステップを有していることを特徴とするコン
    ピュータシステム用図形ユーザーインターフェース内の
    指示された図形構造体に沿って巡ってきた経路を記録す
    る方法。
  17. 【請求項１７】 前記ウェイバックポータルは、前記ウ
    ェイバックポータルスタックの一番上にある前記ポイン
    ターが指し示す前記スペースの小型イメージで構成され
    ていることを特徴とする請求項１６に記載のコンピュー
    タシステム用図形ユーザーインターフェース内の指示さ
    れた図形構造体に沿って巡ってきた経路を記録する方
    法。
  18. 【請求項１８】 図形ユーザーインターフェースと汎用
    性動画アイコンを有するコンピュータシステムにおい
    て、前記アイコンは表示スクリーン上に表示される擬人
    化図形キャラクターと、 前記擬人化図形キャラクターを動画化してユーザーの注
    意を引く手段と、 前記擬人化図形キャラクターの視覚的外見を変化させて
    ステート情報を伝える手段で構成されていることを特徴
    とするコンピュータシステム。
  19. 【請求項１９】 図形ユーザーインターフェースは表示
    スクリーン上に表示される複数の図形オブジェクトから
    構成されており、スクリーン上においた指を検出し、ま
    た、該スクリーン上の該指の位置を判断するタッチスク
    リーンで前記表示スクリーンは構成されているところの
    コンピュータ用図形ユーザーインターフェースの中でユ
    ーザー図形オブジェクトを掴めるようにする方法におい
    て、 前記タッチスクリーン上の領域を定義する図形オブジェ
    クトを当該スクリーン上に表示するステップと、 前記タッチスクリーン上に表示されている前記図形オブ
    ジェクトの近くに指をおくステップと、 前記タッチスクリーン上に表示されている前記図形オブ
    ジェクトの回りに前記指で円を描くステップと、 前記タッチスクリーン上に表示されている前記図形オブ
    ジェクトに触れるステップと、 前記タッチスクリーンで判断したように前記タッチスク
    リーン上の前記指が定めた当該スクリーン上の位置に前
    記図形オブジェクトを表示するステップとを有してお
    り、前記図形オブジェクトの回りに指で円を描くことに
    よりユーザーは前記図形オブジェクトを選択することが
    できることを特徴とするユーザーが図形オブジェクトを
    掴めるようにする方法。
  20. 【請求項２０】 中央演算処理ユニット（ＣＰＵ）と、 前記中央演算処理ユニットに接続されたメモリーと、 前記中央演算処理ユニットに接続されており、図形イメ
    ージを表示する表示スクリーンと、 前記中央演算処理ユニットに接続されており、通信ネッ
    トワークを介してメッセージを送受信する通信手段と、 遠隔装置によって伝送されるとともに前記遠隔装置用ユ
    ーザーインターフェースの定義を行うユーザーインター
    フェースオブジェクトを前記通信手段を介して受信する
    手段と、 前記遠隔装置に対応する図形ユーザーインターフェース
    を前記表示スクリーン上に表示するユーザーインターフ
    ェース方法を前記ユーザーインターフェースプログラム
    オブジェクトの中から呼び出す手段と、 前記表示スクリーン上の前記遠隔装置に対応する前記図
    形ユーザーインターフェースによって導かれた入力をユ
    ーザーから受信する手段と、 遠隔装置を制御するデバイス駆動方法であって、前記遠
    隔装置に対応したデバイス駆動方法を前記ユーザーから
    の入力に応じて呼び出す手段を有しており、前記遠隔装
    置の前記ユーザーインターフェースを前記表示スクリー
    ン上に表示し、また、前記ユーザーインターフェースと
    の対話によって前記デバイス駆動方法を呼び出すことを
    特徴とする少なくとも１個の遠隔装置を制御する装置。
  21. 【請求項２１】 デバイス駆動プログラムオブジェクト
    は遠隔装置を制御する前記デバイス駆動方法を有してい
    るものであって、前記遠隔装置に対応する当該デバイス
    駆動プログラムオブジェクトを前記通信手段を介して受
    信する手段をさらに有していることを特徴とする請求項
    ２０に記載された少なくとも１個の遠隔装置を制御する
    装置。
  22. 【請求項２２】 前記通信ネットワークを介して前記デ
    バイス駆動方法は前記遠隔装置によって伝送されること
    を特徴とする請求項２１に記載された少なくとも１個の
    遠隔装置を制御する装置。
  23. 【請求項２３】 前記デバイス駆動方法は前記ユーザー
    からの前記入力を複数の制御コードに翻訳することを特
    徴とする請求項２２に記載された少なくとも１個の遠隔
    装置を制御する装置。
  24. 【請求項２４】 前記遠隔装置へ前記複数の制御コード
    を伝送することを特徴とする請求項２３に記載された少
    なくとも１個の遠隔装置を制御する装置。
  25. 【請求項２５】 前記デバイス駆動方法は前記遠隔装置
    の中に配置されていることを特徴とする請求項２０に記
    載された少なくとも１個の遠隔装置を制御する装置。
  26. 【請求項２６】 前記通信ネットワークを介して遠くか
    ら離れて前記デバイス駆動方法を呼び出すことを特徴と
    する請求項２５に記載された少なくとも１個の遠隔装置
    を制御する装置。
  27. 【請求項２７】 頑丈な遠隔手順(procedure) 呼出マネ
    ージャーを用いて前記デバイス駆動方法を遠く離れて呼
    び出すことを特徴とする請求項２６に記載された少なく
    とも１個の遠隔装置を制御する装置。
  28. 【請求項２８】 遠隔装置から図形ユーザーインターフ
    ェースを獲得すると共に通信ネットワークに接続された
    局所表示装置を用いて前記遠隔装置を制御する方法にお
    いて、 前記通信ネットワークへ前記遠隔装置を接続するステッ
    プと、 前記通信ネットワークに接続された場合に出力を行う(t
    o export) 図形ユーザーインターフェースを備えている
    という信号を前記遠隔装置から送るステップと、 前記局所表示装置で前記図形ユーザーインターフェース
    を要求するステップと、 前記図形ユーザーインターフェースを表示する方法を有
    した図形ユーザーインターフェースプログラムオブジェ
    クトを前記局所表示装置へ伝送するステップと、 前記局所表示装置上に前記遠隔装置の図形ユーザーイン
    ターフェースが表示されるよう前記ユーザーインターフ
    ェースプログラムオブジェクトの中から前記方法を呼び
    出すステップを有していることを特徴とする遠隔装置か
    ら図形ユーザーインターフェースを獲得すると共に通信
    ネットワークに接続された局所表示装置を用いて前記遠
    隔装置を制御する方法。
  29. 【請求項２９】 前記局所表示装置上に表示されている
    前記遠隔装置のユーザーインターフェースと対話するス
    テップと、 デバイス駆動プログラムの中から制御方法を呼び出して
    前記遠隔装置のユーザーインターフェースとの前記対話
    を処理するステップをさらに有していることを特徴とす
    る請求項２８記載の遠隔装置から図形ユーザーインター
    フェースを獲得すると共に通信ネットワークに接続され
    た局所表示装置を用いて前記遠隔装置を制御する方法。
  30. 【請求項３０】 前記デバイス駆動プログラムは前記遠
    隔装置の内部に配置されていることを特徴とする請求項
    ２９記載の遠隔装置から図形ユーザーインターフェース
    を獲得すると共に通信ネットワークに接続された局所表
    示装置を用いて前記遠隔装置を制御する方法。
  31. 【請求項３１】 前記デバイス駆動プログラム内の前記
    制御方法は、前記通信ネットワークを介して遠くから呼
    び出されることを特徴とする請求項３０記載の遠隔装置
    から図形ユーザーインターフェースを獲得すると共に通
    信ネットワークに接続された局所表示装置を用いて前記
    遠隔装置を制御する方法。
  32. 【請求項３２】 前記通信ネットワークを介して前記局
    所表示装置へ前記デバイス駆動プログラムを伝送するス
    テップをさらに有していることを特徴とする請求項２９
    記載の遠隔装置から図形ユーザーインターフェースを獲
    得すると共に通信ネットワークに接続された局所表示装
    置を用いて前記遠隔装置を制御する方法。
  33. 【請求項３３】 前記デバイス駆動プログラムオブジェ
    クト内の前記デバイス駆動方法は、前記局所表示装置内
    に呼び出されることを特徴とする請求項３２記載の遠隔
    装置から図形ユーザーインターフェースを獲得すると共
    に通信ネットワークに接続された局所表示装置を用いて
    前記遠隔装置を制御する方法。
  34. 【請求項３４】 前記デバイス駆動方法は前記ユーザー
    入力をコマンドコードに翻訳することを特徴とする請求
    項３３記載の遠隔装置から図形ユーザーインターフェー
    スを獲得すると共に通信ネットワークに接続された局所
    表示装置を用いて前記遠隔装置を制御する方法。
  35. 【請求項３５】 前記局所表示装置は前記遠隔装置へ前
    記コマンドコードを伝送することを特徴とする請求項３
    ４記載の遠隔装置から図形ユーザーインターフェースを
    獲得すると共に通信ネットワークに接続された局所表示
    装置を用いて前記遠隔装置を制御する方法。
  36. 【請求項３６】 図形表示スクリーン上の第１の位置に
    オブジェクトの第１図形イメージを標示するステップ
    と、 前記オブジェクトをコピーするコマンドからなる入力を
    ユーザーから受取ステップと、 ぼかした色で描かれた前記第１図形イメージのコピーか
    らなる前記第１の位置の前記オブジェクトのゴーストイ
    メージを前記表示スクリーン上に表示するステップと、 前記オブジェクトのコピーを配置する第２の位置からな
    る入力をユーザーから受け取るステップと、 前記第２の位置に前記オブジェクトの前記第１図形イメ
    ージを表示するステップと、 前記オブジェクトの前記ゴーストイメージが前記オブジ
    ェクトの前記第１図形イメージと同じになるよう前記表
    示スクリーン上の前記第１の位置の前記オブジェクトの
    前記ゴーストイメージを変化させるステップを有してお
    り、前記オブジェクトの２つの図形イメージが存在する
    ことを特徴とする図形ユーザーインターフェース内のオ
    ブジェクトをコピーする方法。
  37. 【請求項３７】 前記入力は、タッチスクリーンディス
    プレイを指で触ることにより行われることを特徴とする
    請求項３６に記載の図形ユーザーインターフェース内の
    オブジェクトをコピーする方法。
  38. 【請求項３８】 オブジェクトの第１図形イメージを図
    形標示スクリーン上の第１の位置に標示するステップ
    と、 前記オブジェクトを移動するコマンドからなる入力をユ
    ーザーから受け取るステップと、 ぼかした色で描かれた前記オブジェクトの前記第１の図
    形イメージのコピーからなる前記第１の位置の前記オブ
    ジェクトのゴーストイメージを前記標示スクリーン上に
    標示するステップと、 前記オブジェクトの第２図形イメージを配置する第２の
    位置からなる入力をユーザーから受け取るステップと、 前記第２の位置に前記オブジェクトの前記第２図形イメ
    ージを標示するステップと、 前記オブジェクトの前記ゴーストイメージと前記第２の
    位置の前記オブジェクトの前記第２図形イメージが溶け
    合うよう前記第１の位置の前記オブジェクトの前記ゴー
    ストイメージを前記第２の位置へ移動するステップを有
    しており、前記オブジェクトの一方の図形イメージが前
    記第２の位置に現在存在していることを特徴とする図形
    ユーザーインターフェース内のオブジェクトを移動する
    方法。
  39. 【請求項３９】 タッチスクリーンディスプレイを指で
    触れることにより前記入力は行われることを特徴とする
    請求項３８に記載の図形ユーザーインターフェース内の
    オブジェクトを移動する方法。
  40. 【請求項４０】 オブジェクトを図形アイコンで表示す
    るオブジェクト指向図形ユーザーインターフェースにお
    いて情報をプログラムオブジェクトへ送る方法であっ
    て、 図形表示スクリーン上の第１の位置にデータオブジェク
    トの図形イメージを表示するステップと、 前記データオブジェクトを移動するコマンドからなる入
    力をユーザーから受け取るステップと、 ぼかした色で描かれた前記オブジェクトの第１図形イメ
    ージのコピーからなる前記第１の位置の前記オブジェク
    トのゴーストイメージを前記表示スクリーン上に表示す
    るステップと、 前記データオブジェクトを位置きめする第２の位置から
    なる入力をユーザーから受け取るステップであって、前
    記プログラムオブジェクトは当該第２の位置に配置され
    るところの入力受取ステップと、 前記プログラムオブジェクトへ前記データオブジェクト
    を供給するコマンドである入力をユーザーから受け取る
    ステップを有しており、前記オブジェクトの２つの図形
    イメージが現在存在していることを特徴とするプログラ
    ムオブジェクトへの情報供給方法。
  41. 【請求項４１】 タッチスクリーンディスプレイに触れ
    ることにより前記入力は行われることを特徴とするプロ
    グラムオブジェクトへの情報供給方法。
  42. 【請求項４２】 表示スクリーン上に図形ユーザーイン
    ターフェースが表示され、前記図形ユーザーインターフ
    ェースはそれぞれ図形背景イメージからなる複数のスペ
    ースで構成されており、前記スペースは地図構造に構成
    されているものであって、前記図形ユーザーインターフ
    ェース内を航行する方法は、 前記地図構造内の現在のユーザーの位置を現す第１スペ
    ースを前記表示スクリーン上に表示するステップと、 ポータルは対応目標スペースを有し、また、図形アイコ
    ンで構成されているものであって、前記ポータルが存在
    するスペースと前記前記対応目標スペースが前記ポータ
    ルによって接続され、また、前記ポータルによって前記
    ユーザーの行く場所が得られるよう複数の前記ポータル
    を前記第１スペース内に表示するステップと、 前記ユーザーが去ったばかりのスペースのイメージを表
    すウェイバックポータルを前記第１スペース内に表示す
    るステップを有していることを特徴とする図形ユーザー
    インターフェース内の航行方法。
  43. 【請求項４３】 前記地図構造体は指示された地図で構
    成されていることを特徴とする請求項４２記載の図形ユ
    ーザーインターフェース内航行方法。
  44. 【請求項４４】 前記複数のポータルの中から１つのポ
    ータルを選択すると当該ポータルに対応するスペースへ
    前記ユーザーが移動することを特徴とする請求項４３記
    載の図形ユーザーインターフェース内航行方法。
JP10998394A 1993-05-24 1994-05-24 図形ユーザーインターフェースの提供方法 Expired - Lifetime JP3898235B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US6757493A 1993-05-24 1993-05-24
US067574 1993-05-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005108776A Division JP4471114B2 (ja) 1993-05-24 2005-04-05 遠隔装置の制御装置および方法

Publications (2)

Publication Number Publication Date
JPH0798640A true JPH0798640A (ja) 1995-04-11
JP3898235B2 JP3898235B2 (ja) 2007-03-28

Family

ID=22076936

Family Applications (2)

Application Number Title Priority Date Filing Date
JP10998394A Expired - Lifetime JP3898235B2 (ja) 1993-05-24 1994-05-24 図形ユーザーインターフェースの提供方法
JP2005108776A Expired - Lifetime JP4471114B2 (ja) 1993-05-24 2005-04-05 遠隔装置の制御装置および方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2005108776A Expired - Lifetime JP4471114B2 (ja) 1993-05-24 2005-04-05 遠隔装置の制御装置および方法

Country Status (4)

Country Link
US (7) US6160551A (ja)
EP (1) EP0626635B1 (ja)
JP (2) JP3898235B2 (ja)
DE (1) DE69432199T2 (ja)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110955A (ja) * 1994-07-08 1996-04-30 Microsoft Corp 動画化したキャラクタを伴う実社会型インターフェイスを有するソフトウェアプラットホーム
JPH096575A (ja) * 1995-06-16 1997-01-10 Sony Corp 情報通信方法及び装置
JPH096576A (ja) * 1995-06-16 1997-01-10 Sony Corp オンライン端末装置及び画像表示方法
JPH096577A (ja) * 1995-06-16 1997-01-10 Sony Corp 画像表示装置及び画像表示方法
JPH0997162A (ja) * 1995-10-02 1997-04-08 Sony Corp 画像制御装置および方法
JPH0997154A (ja) * 1995-10-02 1997-04-08 Sony Corp 画像制御装置および方法
JPH0997153A (ja) * 1995-10-02 1997-04-08 Sony Corp 画像制御装置および方法
JPH09116791A (ja) * 1995-10-23 1997-05-02 Nikon Corp 情報処理機器
JPH10228380A (ja) * 1996-06-05 1998-08-25 Sun Microsyst Inc 低減されたラン−タイム・メモリ空間要求を有するネットワーク移動コードを実行する方法及びコンピュータ・システム
JPH10232757A (ja) * 1997-02-19 1998-09-02 Sharp Corp メディア選択装置
JPH1165968A (ja) * 1997-08-13 1999-03-09 Nippon Telegr & Teleph Corp <Ntt> ネットワーク管理方法及びそのシステム
JPH11110106A (ja) * 1997-10-02 1999-04-23 Sharp Corp メニュー操作装置
JP2003512668A (ja) * 1999-10-20 2003-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 情報処理装置
JP2004070956A (ja) * 2002-08-01 2004-03-04 Xerox Corp 通信制御システムおよびその方法
JP2005039517A (ja) * 2003-07-15 2005-02-10 Sony Corp 端末装置及び表示制御プログラム
JP2006522391A (ja) * 2003-04-03 2006-09-28 トムソン ライセンシング メニューボタンのプレゼンテーション方法
KR100775711B1 (ko) * 1999-06-14 2007-11-09 소니 가부시끼 가이샤 제어기 디바이스, 통신 시스템 및 제어 방법
JP2008148344A (ja) * 1997-08-06 2008-06-26 Koninkl Philips Electronics Nv 汎用リモートコントローラ用自動設定機構
JP2008204402A (ja) * 2007-02-22 2008-09-04 Eastman Kodak Co ユーザインターフェース装置
JP2008257740A (ja) * 2001-03-31 2008-10-23 Siebel Systems Inc 適応型通信アプリケーション・プログラミング・インタフェース
WO2008136151A1 (ja) * 2007-04-24 2008-11-13 Sony Computer Entertainment Inc. 画像表示装置、画像表示方法及び情報記憶媒体
US7530024B2 (en) 1993-07-30 2009-05-05 Canon Kabushiki Kaisha System using icons representative for controlling data input and output relationship between a network of multimedia devices
JP2009211712A (ja) * 2000-11-10 2009-09-17 Sharp Corp サービス情報収集装置、クライアント装置、サービス提供装置、サービス提供システム、サービス中継方法、サービス中継プログラム、サービス実行制御方法、サービス実行制御プログラム、サービス提供方法、および、サービス提供プログラム
US7975237B2 (en) 2003-08-28 2011-07-05 Sony Corporation Information processing apparatus, information processing method, and storage medium containing information processing program with rotary operation
WO2012039441A1 (ja) * 2010-09-24 2012-03-29 シャープ株式会社 コンテンツ表示装置、コンテンツ表示方法、携帯端末、プログラム、及び記録媒体
JP2012069008A (ja) * 2010-09-24 2012-04-05 Sharp Corp コンテンツ表示装置、制御方法、携帯端末、プログラム及び記録媒体
JP2012069010A (ja) * 2010-09-24 2012-04-05 Sharp Corp コンテンツ表示装置、コンテンツ表示方法、プログラム、および記録媒体
JP2012517630A (ja) * 2009-02-09 2012-08-02 ノキア コーポレイション 情報の表示
USRE44006E1 (en) 1996-12-20 2013-02-19 Koninklijke Philips Electronics N.V. User interface for television
JP2013175222A (ja) * 2013-04-23 2013-09-05 Sharp Corp コンテンツ表示装置、コンテンツ表示方法、プログラム、および記録媒体
JP2014170330A (ja) * 2013-03-02 2014-09-18 Yasuaki Iwai 仮想現実提示システム、仮想現実提示方法、仮想現実提示装置
JP2016071192A (ja) * 2014-09-30 2016-05-09 株式会社Ｎｔｔドコモ 対話装置および対話方法

Families Citing this family (1045)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0626635B1 (en) * 1993-05-24 2003-03-05 Sun Microsystems, Inc. Improved graphical user interface with method for interfacing to remote devices
US8280682B2 (en) 2000-12-15 2012-10-02 Tvipr, Llc Device for monitoring movement of shipped goods
DE19539172C2 (de) * 1995-03-13 1998-06-18 Nsm Ag Multimedia-Box
US5671378A (en) * 1995-03-31 1997-09-23 International Business Machines Corporation Method and system for sizing of graphical user interface objects for localization
JP3671259B2 (ja) * 1995-05-31 2005-07-13 カシオ計算機株式会社 表示装置
US6072521A (en) * 1995-06-15 2000-06-06 Intel Corporation Hand held apparatus for simulating two way connectivity for one way data streams
US6359636B1 (en) 1995-07-17 2002-03-19 Gateway, Inc. Graphical user interface for control of a home entertainment system
DE59601562D1 (de) * 1995-07-22 1999-05-06 Kuka Roboter Gmbh Steuer- und programmiereinrichtung
DE19530955A1 (de) * 1995-08-23 1997-02-27 Miro Computer Prod Ag Bedienungsanordnung für eine Mehrzahl von Multimediageräten
US6267673B1 (en) * 1996-09-20 2001-07-31 Nintendo Co., Ltd. Video game system with state of next world dependent upon manner of entry from previous world via a portal
DE19548776A1 (de) * 1995-12-23 1997-06-26 Thomson Brandt Gmbh Verfahren zur Fernbedienung von elektronischen Geräten und Vorrichtung zur Fernbedienung von elektronischen Geräten sowie elektronisches Gerät
US7035914B1 (en) 1996-01-26 2006-04-25 Simpleair Holdings, Inc. System and method for transmission of data
US5905442A (en) * 1996-02-07 1999-05-18 Lutron Electronics Co., Inc. Method and apparatus for controlling and determining the status of electrical devices from remote locations
JP2000512039A (ja) * 1996-03-15 2000-09-12 ザパ デジタル アーツ リミテッド プログラム可能なコンピュータグラフィックオブジェクト
JP3911047B2 (ja) * 1996-04-30 2007-05-09 ソニー株式会社 録画予約制御システム及び録画予約制御方法
US5922050A (en) * 1996-07-02 1999-07-13 Sun Microsystems, Inc. Method and apparatus for controlling a device on a network
US6229533B1 (en) * 1996-08-02 2001-05-08 Fujitsu Limited Ghost object for a virtual world
US6411308B1 (en) * 1996-08-14 2002-06-25 Samsung Electronics Co., Ltd. Television graphical user interface having variable channel control bars
JP3941178B2 (ja) 1996-09-05 2007-07-04 ソニー株式会社 記録媒体、デジタル記録機器、及び制御用ｉｃ
MY121267A (en) 1996-09-05 2006-01-28 Sony Corp Digital recording apparatus and copyright protection method thereof
US7221853B1 (en) 1996-09-05 2007-05-22 Sony Corporation Digital recording apparatus and copyright protection method thereof
US6757729B1 (en) * 1996-10-07 2004-06-29 International Business Machines Corporation Virtual environment manager for network computers
US5956487A (en) * 1996-10-25 1999-09-21 Hewlett-Packard Company Embedding web access mechanism in an appliance for user interface functions including a web server and web browser
US6760751B1 (en) * 1996-12-20 2004-07-06 Sony Corporation Method and apparatus for automatic sending of E-mail and automatic sending control program supplying medium
TW401548B (en) 1996-12-20 2000-08-11 Sony Corp Method and apparatus for sending E-mail, method and apparatus for receiving E-mail, sending program supplying medium, receiving program supplying medium
JP3870983B2 (ja) 1997-02-17 2007-01-24 ソニー株式会社 電子機器制御装置および方法、並びに電子機器
JP4038700B2 (ja) * 1997-02-17 2008-01-30 ソニー株式会社 電子機器制御装置および方法、並びに、情報処理システムおよび方法
JPH1186038A (ja) * 1997-03-03 1999-03-30 Sega Enterp Ltd 画像処理装置、画像処理方法及び媒体並びにゲーム機
US6504580B1 (en) 1997-03-24 2003-01-07 Evolve Products, Inc. Non-Telephonic, non-remote controller, wireless information presentation device with advertising display
US6205485B1 (en) 1997-03-27 2001-03-20 Lextron Systems, Inc Simulcast WEB page delivery using a 3D user interface system
EP0886411A3 (en) * 1997-04-15 2004-01-21 Hewlett-Packard Company, A Delaware Corporation Method and apparatus for device interaction by protocol
JP3491665B2 (ja) 1997-04-16 2004-01-26 ソニー株式会社 遠隔制御装置および遠隔制御方法
US7155677B2 (en) * 1997-04-25 2006-12-26 Diane Kessenich Portal for supplying supplementary information for printed books
DE19719038C2 (de) * 1997-04-30 2002-10-24 Art & Com Medientechnologie Un Vorrichtung und Verfahren und ihre Verwendung zur veränderbaren Darstellung
US5990884A (en) * 1997-05-02 1999-11-23 Sony Corporation Control of multimedia information with interface specification stored on multimedia component
US6281898B1 (en) * 1997-05-16 2001-08-28 Philips Electronics North America Corporation Spatial browsing approach to multimedia information retrieval
US6204850B1 (en) * 1997-05-30 2001-03-20 Daniel R. Green Scaleable camera model for the navigation and display of information structures using nested, bounded 3D coordinate spaces
US6195692B1 (en) 1997-06-02 2001-02-27 Sony Corporation Television/internet system having multiple data stream connections
US6260192B1 (en) 1997-06-02 2001-07-10 Sony Corporation Filtering system based on pattern of usage
US6397387B1 (en) 1997-06-02 2002-05-28 Sony Corporation Client and server system
US6072483A (en) * 1997-06-02 2000-06-06 Sony Corporation Active frame scroll interface
US6028600A (en) 1997-06-02 2000-02-22 Sony Corporation Rotary menu wheel interface
US7503057B2 (en) 1997-06-02 2009-03-10 Sony Corporation Client and server system
JP4367971B2 (ja) 1997-06-05 2009-11-18 ソニー株式会社 電子機器制御装置、電子機器制御方法、および電子機器
US5956025A (en) * 1997-06-09 1999-09-21 Philips Electronics North America Corporation Remote with 3D organized GUI for a home entertainment system
US6320592B1 (en) * 1997-06-30 2001-11-20 Sun Microsystems, Inc. Method and apparatus for separating image data from a color system in image processing
US6988248B1 (en) * 1997-06-30 2006-01-17 Sun Microsystems, Inc. Animated indicators that reflect function activity or state of objects data or processes
US6211870B1 (en) * 1997-07-07 2001-04-03 Combi/Mote Corp. Computer programmable remote control
US6802053B1 (en) * 1997-08-18 2004-10-05 National Instruments Corporation Graphical programming system with distributed block diagram execution and front panel display
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
JP4223680B2 (ja) * 1997-08-28 2009-02-12 トムソン コンシユーマ エレクトロニクス インコーポレイテツド 異なる表示セクションを有する表示におけるナビゲーションシステム及び方法
US7039876B2 (en) * 1997-10-06 2006-05-02 Canon Kabushiki Kaisha User interface for image acquisition devices
FR2770017B1 (fr) * 1997-10-17 1999-12-03 Thomson Multimedia Sa Systeme de controle d'equipement domestique par affichage graphique sur ecran
US7434172B1 (en) * 1997-10-21 2008-10-07 International Business Machines Corporation Color and symbol coded visual cues for relating screen items to each other
AU1452199A (en) * 1997-11-07 1999-05-31 Hill-Rom, Inc. Medical equipment controller
US7159009B2 (en) 1997-12-17 2007-01-02 Sony Corporation Method and apparatus for automatic sending of e-mail and automatic sending control program supplying medium
AU9717798A (en) * 1998-01-13 1999-08-05 Sony Electronics Inc. System and method for enabling manipulation of graphic images to form a graphic image
JPH11212934A (ja) * 1998-01-23 1999-08-06 Sony Corp 情報処理装置および方法、並びに提供媒体
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7808479B1 (en) 2003-09-02 2010-10-05 Apple Inc. Ambidextrous mouse
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US7760187B2 (en) 2004-07-30 2010-07-20 Apple Inc. Visual expander
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US7844914B2 (en) * 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US9239673B2 (en) 1998-01-26 2016-01-19 Apple Inc. Gesturing with a multipoint sensing device
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US20060033724A1 (en) * 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
EP1717679B1 (en) 1998-01-26 2016-09-21 Apple Inc. Method for integrating manual input
JP3634614B2 (ja) * 1998-02-17 2005-03-30 富士通株式会社 通信システムおよび通信装置
FR2776415A1 (fr) * 1998-03-20 1999-09-24 Philips Consumer Communication Appareil electronique comportant un ecran et procede pour afficher des graphismes
US6298409B1 (en) * 1998-03-26 2001-10-02 Micron Technology, Inc. System for data and interrupt posting for computer devices
US6735767B1 (en) 1998-04-10 2004-05-11 International Business Machines Corporation Installation planning window
US6211856B1 (en) 1998-04-17 2001-04-03 Sung M. Choi Graphical user interface touch screen with an auto zoom feature
EP1084576B1 (en) * 1998-05-07 2005-07-27 Samsung Electronics Co., Ltd. Method and apparatus for universally accessible command and control information in a network
WO1999059374A1 (fr) * 1998-05-13 1999-11-18 Matsushita Electric Industrial Co., Ltd. Systeme de commande de reseau, unite de commande et dispositif associe
US7603684B1 (en) 1998-05-19 2009-10-13 United Video Properties, Inc. Program guide system with video-on-demand browsing
US6456892B1 (en) * 1998-07-01 2002-09-24 Sony Electronics, Inc. Data driven interaction for networked control of a DDI target device over a home entertainment network
US7865832B2 (en) * 1999-07-26 2011-01-04 Sony Corporation Extended elements and mechanisms for displaying a rich graphical user interface in panel subunit
AR020608A1 (es) 1998-07-17 2002-05-22 United Video Properties Inc Un metodo y una disposicion para suministrar a un usuario acceso remoto a una guia de programacion interactiva por un enlace de acceso remoto
ES2207953T3 (es) 1998-07-20 2004-06-01 Thomson Licensing S.A. Sistema de navegacion para sistema de television digital multicanal.
US9924234B2 (en) * 1998-07-23 2018-03-20 Comcast Ip Holdings I, Llc Data structure and methods for providing an interactive program
US6754905B2 (en) 1998-07-23 2004-06-22 Diva Systems Corporation Data structure and methods for providing an interactive program guide
US7831930B2 (en) 2001-11-20 2010-11-09 Universal Electronics Inc. System and method for displaying a user interface for a remote control application
US20010015719A1 (en) * 1998-08-04 2001-08-23 U.S. Philips Corporation Remote control has animated gui
US6208341B1 (en) * 1998-08-05 2001-03-27 U. S. Philips Corporation GUI of remote control facilitates user-friendly editing of macros
US6738809B1 (en) 1998-08-21 2004-05-18 Nortel Networks Limited Network presence indicator for communications management
EP0989700B1 (en) * 1998-08-21 2006-03-29 Nortel Networks Limited Network presence indicator for communications management
US7149985B1 (en) 1998-08-25 2006-12-12 Thomson Licensing System and method for navigating within a display having different display sections
US7358956B2 (en) * 1998-09-14 2008-04-15 Microsoft Corporation Method for providing feedback responsive to sensing a physical presence proximate to a control of an electronic device
US7256770B2 (en) * 1998-09-14 2007-08-14 Microsoft Corporation Method for displaying information responsive to sensing a physical presence proximate to a computer input device
CN1288539A (zh) * 1998-09-17 2001-03-21 皇家菲利浦电子有限公司 基于因特网的更新可编程控制设备的服务
US7574693B1 (en) * 1998-09-17 2009-08-11 Koninklijke Philips Electronics N.V. Internet-based service for updating a programmable control device
EP1046097B1 (en) * 1998-09-17 2004-03-17 Koninklijke Philips Electronics N.V. Remote control device with location dependent interface
US6563430B1 (en) 1998-12-11 2003-05-13 Koninklijke Philips Electronics N.V. Remote control device with location dependent interface
US6437836B1 (en) * 1998-09-21 2002-08-20 Navispace, Inc. Extended functionally remote control system and method therefore
US6546297B1 (en) * 1998-11-03 2003-04-08 Robertshaw Controls Company Distributed life cycle development tool for controls
GB9824482D0 (en) * 1998-11-09 1999-01-06 Nokia Mobile Phones Ltd Portable controller
US6597374B1 (en) * 1998-11-12 2003-07-22 Microsoft Corporation Activity based remote control unit
US6712703B2 (en) * 1998-11-19 2004-03-30 Nintendo Co., Ltd. Video game apparatus and information storage medium for video game
US6612930B2 (en) 1998-11-19 2003-09-02 Nintendo Co., Ltd. Video game apparatus and method with enhanced virtual camera control
JP3967502B2 (ja) * 1998-11-27 2007-08-29 株式会社スクウェア・エニックス ゲーム進行制御方法
US6317144B1 (en) * 1998-11-30 2001-11-13 Sun Microsystems, Inc. Method and apparatus for navigating displayed elements
US20080091663A1 (en) * 1998-12-08 2008-04-17 Inala Suman K Software Bundle for Providing Automated Functionality to a WEB-Browser
TW515146B (en) * 1998-12-09 2002-12-21 Intel Corp Remotely controlling electronic devices
US6848104B1 (en) * 1998-12-21 2005-01-25 Koninklijke Philips Electronics N.V. Clustering of task-associated objects for effecting tasks among a system and its environmental devices
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US7111242B1 (en) * 1999-01-27 2006-09-19 Gateway Inc. Method and apparatus for automatically generating a device user interface
US6334107B1 (en) * 1999-02-04 2001-12-25 Rental Tracker Method of managing a real estate unit
US6664988B1 (en) * 1999-02-10 2003-12-16 Micron Technology, Inc. Graphical representation of system information on a remote computer
JP2000244989A (ja) * 1999-02-19 2000-09-08 Sharp Corp 双方向リモコン制御システム
JP2000261482A (ja) 1999-03-08 2000-09-22 Sony Corp アドレス設定方法、クライアント装置、サーバ装置、並びにクライアントサーバシステム
US6421066B1 (en) * 1999-03-23 2002-07-16 Klab.Com - The Knowledge Infrastructure Laboratory Ltd. Method for creating a knowledge map
US6507762B1 (en) 1999-03-31 2003-01-14 International Business Machines Corporation Method and system for remotely controlling an appliance using a personal digital assistant
FI111760B (fi) * 1999-04-16 2003-09-15 Metso Automation Oy Kenttälaitteen langaton ohjaus teollisuusprosessissa
US7213061B1 (en) 1999-04-29 2007-05-01 Amx Llc Internet control system and method
US20020057285A1 (en) * 2000-08-04 2002-05-16 Nicholas James J. Non-intrusive interactive notification system and method
WO2000073970A2 (en) 1999-05-19 2000-12-07 Nicholas James J Cursor movable interactive message
DE19923701A1 (de) * 1999-05-22 2000-11-23 Volkswagen Ag Verfahren zur Fernkommunikation und Fernbeeinflussung eines Kraftfahrzeuges
US6476834B1 (en) * 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6496927B1 (en) * 1999-06-09 2002-12-17 Amx Corporation Method and configuring a user interface for controlling a controlled device based upon a device class
EP1069694A1 (en) * 1999-07-16 2001-01-17 Alcatel Telecommunication system with downloadable interface
EP1069730A1 (en) * 1999-07-16 2001-01-17 Alcatel Telecommunications system with flexible remote control
US6396523B1 (en) * 1999-07-29 2002-05-28 Interlink Electronics, Inc. Home entertainment device remote control
AU6550700A (en) * 1999-08-04 2001-03-05 724 Solutions Inc. Dynamic client system
DE19939065A1 (de) 1999-08-18 2001-02-22 Volkswagen Ag Multifunktions-Bedieneinrichtung
US6850953B1 (en) * 1999-08-23 2005-02-01 Sun Microsystems, Inc. Creating multiple sets of data by spawning a secondary virtual machine
IL131569A0 (en) * 1999-08-24 2001-01-28 Itay Katz Method and apparatus for improving the virtual desktop
JP2001066986A (ja) 1999-08-26 2001-03-16 Sony Corp 送信装置および方法、受信装置および方法、通信システム、並びにプログラム格納媒体
SE9903112L (sv) † 1999-09-03 2001-03-04 Delaval Holding Ab Grafiskt användargränssnitt och förfarande relaterat därtill
JP2001077831A (ja) 1999-09-08 2001-03-23 Sony Corp 通信制御装置および方法、通信システム、並びにプログラム格納媒体
US6636244B1 (en) 1999-09-13 2003-10-21 International Business Machines Corporation Pointing device selection method
DE19944299A1 (de) * 1999-09-15 2001-03-29 Siemens Ag Verfahren und Anordnung zum Laden einer Funktionalität
JP4168304B2 (ja) 1999-09-16 2008-10-22 ソニー株式会社 情報出力装置、情報報知方法および情報信号供給経路選択方法
EP1085432B1 (en) 1999-09-20 2008-12-03 NCR International, Inc. Information retrieval and display
GB9924177D0 (en) 1999-10-12 1999-12-15 Srs Technology Limited Communication and control system
US6621918B1 (en) 1999-11-05 2003-09-16 H Innovation, Inc. Teleradiology systems for rendering and visualizing remotely-located volume data sets
DE19961460A1 (de) * 1999-12-20 2001-06-21 Bsh Bosch Siemens Hausgeraete System zur Visualisierung von Betriebszustands- und/oder Steuerinformationen
WO2001052478A2 (en) * 2000-01-07 2001-07-19 Invensys Controls Plc Building control
WO2001059555A2 (en) * 2000-02-09 2001-08-16 David Elderfield Enterprise task management system and lcd touch screen display for use therewith
US6867789B1 (en) 2000-02-15 2005-03-15 Bank One, Delaware, National Association System and method for generating graphical user interfaces
GB0003306D0 (en) * 2000-02-15 2000-04-05 Koninkl Philips Electronics Nv Control of interconnected audio/video devices
US20010037386A1 (en) * 2000-03-06 2001-11-01 Susumu Takatsuka Communication system, entertainment apparatus, recording medium, and program
KR20010113919A (ko) 2000-03-09 2001-12-28 요트.게.아. 롤페즈 소비자 전자 시스템과의 대화 방법
US6784805B2 (en) 2000-03-15 2004-08-31 Intrigue Technologies Inc. State-based remote control system
US8531276B2 (en) 2000-03-15 2013-09-10 Logitech Europe S.A. State-based remote control system
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US6636246B1 (en) * 2000-03-17 2003-10-21 Vizible.Com Inc. Three dimensional spatial user interface
US6791467B1 (en) * 2000-03-23 2004-09-14 Flextronics Semiconductor, Inc. Adaptive remote controller
US7187947B1 (en) 2000-03-28 2007-03-06 Affinity Labs, Llc System and method for communicating selected information to an electronic device
US6505194B1 (en) * 2000-03-29 2003-01-07 Koninklijke Philips Electronics N.V. Search user interface with enhanced accessibility and ease-of-use features based on visual metaphors
WO2001077895A1 (en) * 2000-04-07 2001-10-18 Matthew William Hart Graphical environment
US20010030667A1 (en) * 2000-04-10 2001-10-18 Kelts Brett R. Interactive display interface for information objects
US7106887B2 (en) * 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
JP4434424B2 (ja) * 2000-04-18 2010-03-17 株式会社ルネサステクノロジ ホームエレクトロニクスシステム、ホームサーバ装置およびコンピュータをホームサーバ装置として機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体
US7249325B1 (en) * 2000-05-11 2007-07-24 Palmsource, Inc. Automatically centered scrolling in a tab-based user interface
US7659940B2 (en) * 2000-05-12 2010-02-09 Thomson Licensing Apparatus and method for improved device interoperability
AUPQ786500A0 (en) * 2000-05-31 2000-06-22 Canon Kabushiki Kaisha A method for active user feedback
US6750887B1 (en) * 2000-06-02 2004-06-15 Sun Microsystems, Inc. Graphical user interface layout manager
US6714222B1 (en) * 2000-06-21 2004-03-30 E2 Home Ab Graphical user interface for communications
JP2002078957A (ja) 2000-06-28 2002-03-19 Sony Corp ビデオゲームシステム、ビデオゲーム装置及びその制御方法並びにビデオゲームプログラム記録媒体
US8789114B2 (en) * 2000-06-30 2014-07-22 Jlb Ventures Llc Remote control of program scheduling
US8756635B2 (en) * 2000-06-30 2014-06-17 JLB Ventures, LLC. Remote control of program scheduling
AU2000259854A1 (en) * 2000-07-17 2002-01-30 Tresor Tv Produktions Gmbh User interface for networked applications
JP2002041276A (ja) * 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
DE10036468A1 (de) * 2000-07-25 2002-02-14 Thomson Brandt Gmbh Verfahren zur Erläuterung der Bedienung eines Gerätes
JP2002049451A (ja) * 2000-08-03 2002-02-15 Fujitsu Ltd 情報処理装置、メニュー表示方法及びメニュー処理プログラムを格納したコンピュータ可読の記憶媒体
DE60042156D1 (de) * 2000-08-24 2009-06-18 Sony Deutschland Gmbh Fernbedienungsgeber
US6351218B1 (en) * 2000-08-29 2002-02-26 Weatherdata, Inc. Method and apparatus for activating weather warning devices
US6646559B2 (en) 2000-08-29 2003-11-11 User-Centric Enterprises, Inc. Method and apparatus for activating warning devices
EP1185090A1 (en) * 2000-09-04 2002-03-06 Sony Service Centre (Europe) N.V. Multimedia Home Platforme television device and Graphical User Interface application
US6686838B1 (en) 2000-09-06 2004-02-03 Xanboo Inc. Systems and methods for the automatic registration of devices
US7555528B2 (en) * 2000-09-06 2009-06-30 Xanboo Inc. Systems and methods for virtually representing devices at remote sites
US7734724B2 (en) * 2000-09-06 2010-06-08 Xanboo Inc. Automated upload of content based on captured event
JP2002078958A (ja) * 2000-09-08 2002-03-19 Sony Corp ビデオゲームシステム、ビデオゲーム装置及びその制御方法
DE10045558A1 (de) * 2000-09-14 2002-04-04 Siemens Ag Verfahren und Anordnung zum Verifizieren einer Verbindung zwischen einer einen Zugriff auf eine Kommunikationseinrichtung durchführenden Applikation und einer den Zugriff steuernden Einrichtung
US10261303B1 (en) * 2000-09-28 2019-04-16 Intel Corporation Method and apparatus for transmission and manipulation of program data by means of spherical display
US7277765B1 (en) 2000-10-12 2007-10-02 Bose Corporation Interactive sound reproducing
US7206853B2 (en) 2000-10-23 2007-04-17 Sony Corporation content abstraction layer for use in home network applications
US6595430B1 (en) * 2000-10-26 2003-07-22 Honeywell International Inc. Graphical user interface system for a thermal comfort controller
US7673241B2 (en) * 2002-06-26 2010-03-02 Siebel Systems, Inc. User interface for multi-media communication for the visually disabled
US6621507B1 (en) 2000-11-03 2003-09-16 Honeywell International Inc. Multiple language user interface for thermal comfort controller
KR100359827B1 (ko) * 2000-11-27 2002-11-07 엘지전자 주식회사 홈 어플라이언스 네트워크 장치 및 방법
US6910186B2 (en) 2000-12-08 2005-06-21 Kyunam Kim Graphic chatting with organizational avatars
US20080060011A1 (en) 2000-12-22 2008-03-06 Hillcrest Laboratories, Inc. Zoomable user interfaces for television
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US7093003B2 (en) * 2001-01-29 2006-08-15 Universal Electronics Inc. System and method for upgrading the remote control functionality of a device
US8909739B2 (en) 2001-01-29 2014-12-09 Universal Electronics Inc. System and method for upgrading the remote control functionality of a device
US6977753B2 (en) * 2001-02-02 2005-12-20 Eastman Kodak Company Printing assembly and an operator control panel user interface for the printing assembly
US7505577B2 (en) * 2001-03-31 2009-03-17 Siebel Systems, Inc. System and method for multi-channel communication queuing
US7030861B1 (en) 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
US6883145B2 (en) * 2001-02-15 2005-04-19 Denny Jaeger Arrow logic system for creating and operating control systems
US7240300B2 (en) * 2001-02-15 2007-07-03 Nbor Corporation Method for creating user-defined computer operations using arrows
FR2820932B1 (fr) * 2001-02-15 2003-05-16 Cit Alcatel Procede et structure de donnees pour la gestion d'une animation d'icones definies dans un message et terminal mobile permettant d'executer ce procede
EP1367822B1 (en) * 2001-03-05 2010-05-05 Panasonic Corporation Epg display apparatus, epg display method, medium, and program
US20020175945A1 (en) * 2001-03-15 2002-11-28 Hissenhoven Jean Paul Van Method and apparatus for accessing information through a user friendly interface
US6989801B2 (en) * 2001-03-22 2006-01-24 Koninklijke Philips Electronics N.V. Two-way presentation display system
US7224365B1 (en) * 2001-03-23 2007-05-29 Totally Global, Inc. System and method for transferring thematic information over the internet
US6987512B2 (en) * 2001-03-29 2006-01-17 Microsoft Corporation 3D navigation techniques
US7730204B2 (en) * 2001-03-31 2010-06-01 Siebel Systems, Inc. Extensible interface for inter-module communication
US7315616B2 (en) * 2001-03-31 2008-01-01 Siebel Systems, Inc. System and method for maintaining real-time agent information for multi-channel communication queuing
US8601492B2 (en) * 2001-03-31 2013-12-03 Siebel Systems, Inc. User interface for multi-channel communication
US20030018705A1 (en) * 2001-03-31 2003-01-23 Mingte Chen Media-independent communication server
US20030206192A1 (en) * 2001-03-31 2003-11-06 Mingte Chen Asynchronous message push to web browser
US7500197B2 (en) * 2001-04-10 2009-03-03 Hewlett-Packard Development Company, L.P. Extensible user interface
CN1252578C (zh) * 2001-04-26 2006-04-19 皇家菲利浦电子有限公司 可佩戴的触摸垫装置
FR2825216B1 (fr) * 2001-05-23 2003-11-07 France Telecom Procede et systeme de notification visuelle de l'etat de la messagerie d'un utilisateur
US20030058243A1 (en) * 2001-09-21 2003-03-27 Faust Paul G. Delivery and display of measurement instrument data via a network
WO2003003235A1 (en) 2001-06-27 2003-01-09 4 Media, Inc. Improved media delivery platform
US7103171B1 (en) 2001-06-29 2006-09-05 Siebel Systems, Inc. System and method for multi-channel communication queuing using routing and escalation rules
CA2390390C (en) 2001-07-03 2011-08-30 Research In Motion Limited Graphics stack system and method
EP2980991B1 (en) * 2001-07-12 2018-10-24 Sony Corporation Remote controller and system having the same
US6885362B2 (en) * 2001-07-12 2005-04-26 Nokia Corporation System and method for accessing ubiquitous resources in an intelligent environment
US9264755B2 (en) * 2001-07-13 2016-02-16 Universal Electronics Inc. System and method for presenting program guide information in an electronic portable device
US8863184B2 (en) 2001-07-13 2014-10-14 Universal Electronics Inc. System and method for presenting program guide information in an electronic portable device
US20030117427A1 (en) * 2001-07-13 2003-06-26 Universal Electronics Inc. System and method for interacting with a program guide displayed on a portable electronic device
US20050134578A1 (en) * 2001-07-13 2005-06-23 Universal Electronics Inc. System and methods for interacting with a control environment
US8063923B2 (en) * 2001-07-13 2011-11-22 Universal Electronics Inc. System and method for updating information in an electronic portable device
US6961912B2 (en) * 2001-07-18 2005-11-01 Xerox Corporation Feedback mechanism for use with visual selection methods
US7206808B2 (en) * 2001-07-31 2007-04-17 Tandberg Telecom As System and method for managing diverse video network devices via application and interface objects
US20030037341A1 (en) * 2001-08-17 2003-02-20 Van Der Meulen Pieter Sierd System for remotely controlling consumer electronics using a web-cam image
US7371041B2 (en) 2001-08-30 2008-05-13 Seagate Technology Llc Assembly station with rotatable turret which forms and unloads a completed stack of articles
US7039723B2 (en) * 2001-08-31 2006-05-02 Hinnovation, Inc. On-line image processing and communication system
US20030054846A1 (en) * 2001-09-14 2003-03-20 Cvsht Apparatus and methods for selectively establishing wireless communications
US7134088B2 (en) * 2001-09-24 2006-11-07 Tactical Survey Group, Inc. Method and system for providing tactical information during crisis situations
GB0123321D0 (en) * 2001-09-27 2001-11-21 Hewlett Packard Co Computer apparatus for causing display and manipulation of pictorial image synchronously with remote computer apparatus
US7032188B2 (en) * 2001-09-28 2006-04-18 Nokia Corporation Multilevel sorting and displaying of contextual objects
KR20030031202A (ko) * 2001-10-12 2003-04-21 주식회사 엘지이아이 컴퓨터를 통한 사용자 인터페이스 방법
US20030076353A1 (en) * 2001-10-23 2003-04-24 Blackstock Michael A. Graphical user interface for collaboration
JP2003143670A (ja) * 2001-10-31 2003-05-16 Sony Corp リモートコントロールシステム、電子機器、及びプログラム
US8674966B2 (en) 2001-11-02 2014-03-18 Neonode Inc. ASIC controller for light-based touch screen
US9164654B2 (en) * 2002-12-10 2015-10-20 Neonode Inc. User interface for mobile computer unit
US9778794B2 (en) 2001-11-02 2017-10-03 Neonode Inc. Light-based touch screen
US9052777B2 (en) 2001-11-02 2015-06-09 Neonode Inc. Optical elements with alternating reflective lens facets
US20030087602A1 (en) * 2001-11-05 2003-05-08 Palm, Inc. Data prioritization and distribution limitation system and method
US20030086595A1 (en) * 2001-11-07 2003-05-08 Hui Hu Display parameter-dependent pre-transmission processing of image data
US8091042B2 (en) 2001-11-15 2012-01-03 Siebel Systems, Inc. Apparatus and method for displaying selectable icons in a toolbar for a user interface
US7047500B2 (en) * 2001-11-16 2006-05-16 Koninklijke Philips Electronics N.V. Dynamically configurable virtual window manager
US8176432B2 (en) * 2001-11-20 2012-05-08 UEI Electronics Inc. Hand held remote control device having an improved user interface
US6747591B1 (en) 2001-11-20 2004-06-08 Universal Electronics Inc. System and method for retrieving information while commanding operation of an appliance
US6996777B2 (en) * 2001-11-29 2006-02-07 Nokia Corporation Method and apparatus for presenting auditory icons in a mobile terminal
US20030112467A1 (en) * 2001-12-17 2003-06-19 Mccollum Tim Apparatus and method for multimedia navigation
US7254777B2 (en) 2001-12-20 2007-08-07 Universal Electronics Inc. System and method for controlling the recording functionality of an appliance using a program guide
EP2341442B1 (en) 2001-12-20 2015-07-01 Universal Electronics, Inc. System and method for interacting with a program guide displayed on a portable electronic device
US6690387B2 (en) * 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
US6934911B2 (en) * 2002-01-25 2005-08-23 Nokia Corporation Grouping and displaying of contextual objects
US6824069B2 (en) 2002-01-30 2004-11-30 Howard B. Rosen Programmable thermostat system employing a touch screen unit for intuitive interactive interface with a user
CA2388101A1 (en) * 2002-02-01 2003-08-01 Concepts Egeria Inc. Conceptual user interface
US6982697B2 (en) * 2002-02-07 2006-01-03 Microsoft Corporation System and process for selecting objects in a ubiquitous computing environment
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
AUPS058602A0 (en) * 2002-02-15 2002-03-14 Canon Kabushiki Kaisha Representing a plurality of independent data items
AU2003200159B2 (en) * 2002-02-15 2005-04-28 Canon Kabushiki Kaisha Representing a Plurality of Independent Data Items
US20030158927A1 (en) * 2002-02-21 2003-08-21 Gateway, Inc. Connected home network console
US20030156131A1 (en) * 2002-02-21 2003-08-21 Samir Khazaka Method and apparatus for emulating a mobile device
US7027053B2 (en) * 2002-02-28 2006-04-11 Sun Microsystems, Inc. Graphical user interface for indicating device failover
US7250939B2 (en) 2002-03-19 2007-07-31 Aol Llc Display motion multiplier
US20030179186A1 (en) * 2002-03-22 2003-09-25 Wen-Tsung Sun Electronic note pad
US6914551B2 (en) * 2002-04-12 2005-07-05 Apple Computer, Inc. Apparatus and method to facilitate universal remote control
US8255968B2 (en) 2002-04-15 2012-08-28 Universal Electronics, Inc. System and method for adaptively controlling the recording of program material using a program guide
US20030197595A1 (en) 2002-04-22 2003-10-23 Johnson Controls Technology Company System and method for wireless control of multiple remote electronic systems
US7120652B2 (en) 2002-04-25 2006-10-10 Sun Microsystems, Inc. Method, system and program for determining version of storage devices and programs indicated in the resource information installed in the computer system
US20040136062A1 (en) * 2002-05-13 2004-07-15 Avner Farkash Portable periscope
JP4403966B2 (ja) 2002-05-20 2010-01-27 ソニー株式会社 情報処理システム、情報処理装置及び情報処理方法
US20030221009A1 (en) * 2002-05-21 2003-11-27 Logitech Europe S.A. Dual mode peer-to-peer link establishment for instant message video
US7159186B2 (en) * 2002-05-31 2007-01-02 Nokia Corporation User interface for transferring data with a communications terminal
JP2004005272A (ja) * 2002-05-31 2004-01-08 Cad Center:Kk 仮想空間移動制御装置及び制御方法並びに制御プログラム
US7607107B2 (en) * 2002-06-18 2009-10-20 The Directv Group, Inc. On-screen user interface device
US20030234809A1 (en) * 2002-06-19 2003-12-25 Parker Kathryn L. Method and system for remotely operating a computer
US7225262B2 (en) * 2002-06-28 2007-05-29 Pitney Bowes Inc. System and method for selecting an external user interface using spatial information
US6920557B2 (en) * 2002-06-28 2005-07-19 Pitney Bowes Inc. System and method for wireless user interface for business machines
DE10229068B3 (de) 2002-06-28 2004-02-05 Fujitsu Siemens Computers Gmbh PDA (Personal Digital Assistant) mit Touch-Screen Display
US7656393B2 (en) 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
US11275405B2 (en) * 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7239981B2 (en) 2002-07-26 2007-07-03 Arbitron Inc. Systems and methods for gathering audience measurement data
US20040021698A1 (en) * 2002-08-05 2004-02-05 Baldwin Amanda K. Intuitive touchscreen interface for a multifunction device and method therefor
US20040027487A1 (en) * 2002-08-09 2004-02-12 Rzadzki Robert J. System to provide custom text and graphic information to a television system infrastructure
US7003598B2 (en) * 2002-09-18 2006-02-21 Bright Entertainment Limited Remote control for providing interactive DVD navigation based on user response
DE10243771A1 (de) * 2002-09-20 2004-04-22 Siemens Ag Vorrichtung zur Automatisierung und/oder Steuerung von Werkzeug- oder Produktionsmaschinen
US7959946B2 (en) 2002-09-20 2011-06-14 Watson Pharmaceuticals, Inc. Pharmaceutical formulation containing a biguanide and a thiazolidinedione derivative
US7337409B2 (en) * 2002-09-25 2008-02-26 Siemens Aktiengesellschaft Customizable drag and drop for industrial software applications
US6788241B2 (en) 2002-09-25 2004-09-07 Universal Electronics Inc. System and method for using keystroke data to configure a remote control device
US9711153B2 (en) 2002-09-27 2017-07-18 The Nielsen Company (Us), Llc Activating functions in processing devices using encoded audio and detecting audio signatures
US8959016B2 (en) 2002-09-27 2015-02-17 The Nielsen Company (Us), Llc Activating functions in processing devices using start codes embedded in audio
KR100932813B1 (ko) * 2002-10-01 2009-12-21 엘지전자 주식회사 동일 유형의 홈 네트웍 기기를 위치별로 구분 및 표시하는장치
AU2003275382A1 (en) * 2002-10-02 2004-04-23 Nielsen Media Research, Inc. Methods and apparatus to present survey information
US20040090464A1 (en) * 2002-11-01 2004-05-13 Shake Francis David Method for automatically determining equipment control code sets from a database and presenting information to a user interface
US8416217B1 (en) 2002-11-04 2013-04-09 Neonode Inc. Light-based finger gesture user interface
JP4078398B2 (ja) * 2002-12-11 2008-04-23 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 情報処理装置
US7302279B2 (en) * 2002-12-18 2007-11-27 Nokia Corporation Mobile terminal, a method of operating the terminal, and information items for use therein
US20050009469A1 (en) * 2002-12-20 2005-01-13 Sakari Kotola Client software download in bluetooth device bonding
JP2004206550A (ja) * 2002-12-26 2004-07-22 Fanuc Ltd 数値制御装置
EP1586045A1 (en) 2002-12-27 2005-10-19 Nielsen Media Research, Inc. Methods and apparatus for transcoding metadata
US20040210933A1 (en) * 2003-01-07 2004-10-21 Universal Electronics Inc. User interface for a remote control application
US20040130566A1 (en) * 2003-01-07 2004-07-08 Prashant Banerjee Method for producing computerized multi-media presentation
US7043316B2 (en) 2003-02-14 2006-05-09 Rockwell Automation Technologies Inc. Location based programming and data management in an automated environment
US7417536B2 (en) * 2003-03-13 2008-08-26 Sridhar Lakshmanan Living being presence detection system
US8042049B2 (en) * 2003-11-03 2011-10-18 Openpeak Inc. User interface for multi-device control
US7610553B1 (en) * 2003-04-05 2009-10-27 Apple Inc. Method and apparatus for reducing data events that represent a user's interaction with a control interface
US8014768B2 (en) * 2003-04-30 2011-09-06 Disney Enterprises, Inc. Mobile phone multimedia controller
US20040217987A1 (en) * 2003-05-01 2004-11-04 Solomo Aran Method and system for intercepting and processing data during GUI session
AU2004246432A1 (en) * 2003-05-14 2004-12-16 Gautam Dharamdas Goradia Interactive system for building, organising, and sharing one's own databank of questions and answers in a variety of questioning formats, on any subject in one or more languages
JP4800953B2 (ja) * 2003-05-15 2011-10-26 コムキャスト ケーブル ホールディングス，エルエルシー 映像再生方法およびシステム
DE10323466A1 (de) * 2003-05-23 2004-12-30 Robert Bosch Gmbh Bedienvorrichtung
US7302642B2 (en) * 2003-06-03 2007-11-27 Tim Simon, Inc. Thermostat with touch-screen display
US7862428B2 (en) 2003-07-02 2011-01-04 Ganz Interactive action figures for gaming systems
EP1501062B1 (de) * 2003-07-22 2012-01-04 Siemens Aktiengesellschaft Verfahren und HMI System zur Bedienung und Beobachtung einer technischen Anlage
US7755506B1 (en) 2003-09-03 2010-07-13 Legrand Home Systems, Inc. Automation and theater control system
US7156318B1 (en) 2003-09-03 2007-01-02 Howard Rosen Programmable thermostat incorporating a liquid crystal display selectively presenting adaptable system menus including changeable interactive virtual buttons
US20050053503A1 (en) * 2003-09-05 2005-03-10 Gallant Raymond Denis Anti gas-lock pumping system
EP1515223A1 (de) * 2003-09-10 2005-03-16 Siemens Aktiengesellschaft Generierung einer Objekt-Bearbeitungsplattform zwischen zwei Computern über eine Bildschirmzusammenfügung
US7440767B2 (en) * 2003-10-15 2008-10-21 Eaton Corporation Home system including a portable fob having a rotary menu and a display
DE10349542B4 (de) * 2003-10-22 2019-09-05 Volkswagen Ag Anzeigevorrichtung und Anzeigeverfahren für ein Kraftfahrzeug
WO2005041029A2 (en) * 2003-10-24 2005-05-06 Matsushita Electric Industrial Co., Ltd. Remote operation system, communication apparatus remote control system and document inspection apparatus
US7155305B2 (en) * 2003-11-04 2006-12-26 Universal Electronics Inc. System and methods for home appliance identification and control in a networked environment
US7136709B2 (en) * 2003-11-04 2006-11-14 Universal Electronics Inc. Home appliance control system and methods in a networked environment
CN1879355B (zh) * 2003-11-13 2010-05-26 皇家飞利浦电子股份有限公司 用于远程用户接口的一致性用户接口前端
US7720906B2 (en) * 2003-11-24 2010-05-18 Microsoft Corporation Web service for remote application discovery
US7590713B2 (en) * 2003-11-24 2009-09-15 Microsoft Corporation Presenting a merged view of remote application shortcuts from multiple providers
US7114554B2 (en) * 2003-12-01 2006-10-03 Honeywell International Inc. Controller interface with multiple day programming
US7706923B2 (en) 2003-12-02 2010-04-27 Honeywell International Inc. Controller interface with separate schedule review mode
US7225054B2 (en) * 2003-12-02 2007-05-29 Honeywell International Inc. Controller with programmable service event display mode
US10705549B2 (en) * 2003-12-02 2020-07-07 Ademco Inc. Controller interface with menu schedule override
US8554374B2 (en) 2003-12-02 2013-10-08 Honeywell International Inc. Thermostat with electronic image display
US7181317B2 (en) 2003-12-02 2007-02-20 Honeywell International Inc. Controller interface with interview programming
US7614004B2 (en) * 2003-12-15 2009-11-03 Microsoft Corporation Intelligent forward resource navigation
US7774721B2 (en) * 2003-12-15 2010-08-10 Microsoft Corporation Intelligent backward resource navigation
US7962843B2 (en) * 2003-12-15 2011-06-14 Microsoft Corporation Browser session overview
US7534157B2 (en) 2003-12-31 2009-05-19 Ganz System and method for toy adoption and marketing
CA2552367A1 (en) 2003-12-31 2005-07-14 Howard Ganz System and method for toy adoption and marketing
US8196044B2 (en) * 2004-01-05 2012-06-05 Microsoft Corporation Configuration of user interfaces
US7142948B2 (en) * 2004-01-07 2006-11-28 Honeywell International Inc. Controller interface with dynamic schedule display
CN1914595A (zh) * 2004-02-02 2007-02-14 皇家飞利浦电子股份有限公司 用于因特网的ce设备gui的委托外皮制作服务
DE102004005712A1 (de) * 2004-02-05 2006-01-12 Siemens Ag Universelle Vorrichtung zum Zugriff und zum Steuern von Geräten und entsprechende Geräte
US7587215B2 (en) * 2004-02-09 2009-09-08 Siemens Aktiengesellschaft User interface for cellular telephone group calls
JP4325439B2 (ja) * 2004-03-02 2009-09-02 株式会社日立製作所 画面表示方法
US7667700B1 (en) 2004-03-05 2010-02-23 Hrl Laboratories, Llc System and method for navigating operating in a virtual environment
US8645569B2 (en) 2004-03-12 2014-02-04 Rockwell Automation Technologies, Inc. Juxtaposition based machine addressing
US11811845B2 (en) 2004-03-16 2023-11-07 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US10237237B2 (en) 2007-06-12 2019-03-19 Icontrol Networks, Inc. Communication protocols in integrated systems
US10721087B2 (en) 2005-03-16 2020-07-21 Icontrol Networks, Inc. Method for networked touchscreen with integrated interfaces
US11916870B2 (en) 2004-03-16 2024-02-27 Icontrol Networks, Inc. Gateway registry methods and systems
GB2428821B (en) 2004-03-16 2008-06-04 Icontrol Networks Inc Premises management system
US11244545B2 (en) 2004-03-16 2022-02-08 Icontrol Networks, Inc. Cross-client sensor user interface in an integrated security network
US12063220B2 (en) 2004-03-16 2024-08-13 Icontrol Networks, Inc. Communication protocols in integrated systems
US11343380B2 (en) 2004-03-16 2022-05-24 Icontrol Networks, Inc. Premises system automation
US20220057917A1 (en) * 2004-03-16 2022-02-24 Icontrol Networks, Inc. User interface in a premises network
US9729342B2 (en) 2010-12-20 2017-08-08 Icontrol Networks, Inc. Defining and implementing sensor triggered response rules
US7840984B1 (en) 2004-03-17 2010-11-23 Embarq Holdings Company, Llc Media administering system and method
US7725826B2 (en) * 2004-03-26 2010-05-25 Harman International Industries, Incorporated Audio-related system node instantiation
JP4646538B2 (ja) 2004-03-26 2011-03-09 アルパイン株式会社 ナビゲーション機能を有する電子装置および夜景マップ表示方法
US7116229B1 (en) * 2004-03-31 2006-10-03 Zilog, Inc. Programming a remote control device using RFID technology
US8448083B1 (en) * 2004-04-16 2013-05-21 Apple Inc. Gesture control of multimedia editing applications
WO2005103867A1 (en) * 2004-04-22 2005-11-03 Denis Fompeyrine Multi-terminal control interface to manage information within user groups connected to each other in peer-to-peer networks
JP4436186B2 (ja) * 2004-05-12 2010-03-24 アルパイン株式会社 ナビゲーション装置及び地図表示方法
US20080182570A1 (en) * 2004-05-21 2008-07-31 Carmen Kuhl Device and Method For Automated Functionality-Based Selective Establishing of Wireless Data Communication Connections
WO2005121937A2 (en) * 2004-06-07 2005-12-22 Koninklijke Philips Electronics N.V. Spatial interaction system
US9552141B2 (en) 2004-06-21 2017-01-24 Apple Inc. Methods and apparatuses for operating a data processing system
US7185825B1 (en) 2004-06-24 2007-03-06 Howard Rosen Programmable thermostat employing a fail safe real time clock
US20060004834A1 (en) * 2004-06-30 2006-01-05 Nokia Corporation Dynamic shortcuts
US7084775B1 (en) * 2004-07-12 2006-08-01 User-Centric Ip, L.P. Method and system for generating and sending user-centric weather alerts
KR100631763B1 (ko) * 2004-07-26 2006-10-09 삼성전자주식회사 3차원 모션 그래픽 사용자 인터페이스 및 이를 제공하는방법 및 장치
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US20100081375A1 (en) * 2008-09-30 2010-04-01 Apple Inc. System and method for simplified control of electronic devices
KR101065943B1 (ko) 2004-08-16 2011-09-20 애플 인크. 터치 감지 장치의 공간 해상도를 증가시키는 방법
US20060036970A1 (en) * 2004-08-16 2006-02-16 Charles Rich System for configuring and controlling home appliances
US7786891B2 (en) * 2004-08-27 2010-08-31 Embarq Holdings Company, Llc System and method for an interactive security system for a home
US11687217B2 (en) 2004-09-08 2023-06-27 Universal Electronics Inc. System and method for flexible configuration of a controlling device
US20110093799A1 (en) * 2004-09-08 2011-04-21 Universal Electronics Inc. System and method for configuration of controlling device functionality
US9632665B2 (en) 2004-09-08 2017-04-25 Universal Electronics Inc. System and method for flexible configuration of a controlling device
KR100582888B1 (ko) 2004-09-22 2006-05-25 삼성전자주식회사 정보 공유가 가능한 호스트 기기 및 주변기기, 그의문자정보 공유 방법 및 문자정보 공유 시스템
US8099313B2 (en) 2004-09-22 2012-01-17 Samsung Electronics Co., Ltd. Method and system for the orchestration of tasks on consumer electronics
US8185427B2 (en) 2004-09-22 2012-05-22 Samsung Electronics Co., Ltd. Method and system for presenting user tasks for the control of electronic devices
DE102004046582B4 (de) * 2004-09-23 2007-12-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Steuerung einer steuerbaren Einrichtung
US7721311B2 (en) * 2004-09-24 2010-05-18 Canon Kabushiki Kaisha Displaying EPG information on a digital television
US8412554B2 (en) 2004-09-24 2013-04-02 Samsung Electronics Co., Ltd. Method and system for describing consumer electronics using separate task and device descriptions
US7840982B1 (en) 2004-09-28 2010-11-23 Embarq Holding Company, Llc Video-all call system and method for a facility
US8744852B1 (en) 2004-10-01 2014-06-03 Apple Inc. Spoken interfaces
JP2006134288A (ja) * 2004-10-06 2006-05-25 Sharp Corp インターフェース及びコンピュータにより実行されるインターフェースプログラム
US8033479B2 (en) 2004-10-06 2011-10-11 Lawrence Kates Electronically-controlled register vent for zone heating and cooling
US8169410B2 (en) 2004-10-20 2012-05-01 Nintendo Co., Ltd. Gesture inputs for a portable display device
JP2008511895A (ja) * 2004-10-28 2008-04-17 ノキア コーポレイション デバイスメニュー
US8382567B2 (en) 2004-11-03 2013-02-26 Mattel, Inc. Interactive DVD gaming systems
US20060112073A1 (en) * 2004-11-22 2006-05-25 Jensen David L Interface building/design tool for generating nested interface systems and displays
US20060123081A1 (en) * 2004-12-03 2006-06-08 Motorola, Inc. Method and system for seamless portability by profile sharing
US20060123080A1 (en) * 2004-12-03 2006-06-08 Motorola, Inc. Method and system of collectively setting preferences among a plurality of electronic devices and users
US20060120518A1 (en) * 2004-12-03 2006-06-08 Motorola, Inc. Method and system for information relay between multiple user environments
US8726168B2 (en) * 2004-12-04 2014-05-13 Adobe Systems Incorporated System and method for hiding latency in computer software
US7629966B2 (en) * 2004-12-21 2009-12-08 Microsoft Corporation Hard tap
US7683889B2 (en) * 2004-12-21 2010-03-23 Microsoft Corporation Pressure based selection
US7619616B2 (en) * 2004-12-21 2009-11-17 Microsoft Corporation Pressure sensitive controls
US8510737B2 (en) 2005-01-07 2013-08-13 Samsung Electronics Co., Ltd. Method and system for prioritizing tasks made available by devices in a network
US7802618B2 (en) * 2005-01-19 2010-09-28 Tim Simon, Inc. Thermostat operation method and apparatus
US20060196953A1 (en) * 2005-01-19 2006-09-07 Tim Simon, Inc. Multiple thermostat installation
DE102005010914A1 (de) * 2005-01-21 2006-08-10 Siemens Ag Verfahren zur Gebäudesteuerung und Gebäudeüberwachung
DE102005003680A1 (de) * 2005-01-21 2006-07-27 Siemens Ag Verfahren zur Steuerung eines Geräts
US7697927B1 (en) 2005-01-25 2010-04-13 Embarq Holdings Company, Llc Multi-campus mobile management system for wirelessly controlling systems of a facility
US20060168528A1 (en) * 2005-01-27 2006-07-27 Microsoft Corporation Method for arranging user interface glyphs on displays
JP2008532576A (ja) * 2005-02-02 2008-08-21 ピーコック，ジェイムズ，シー 完全血管閉塞治療システム及び方法
US8819569B2 (en) 2005-02-18 2014-08-26 Zumobi, Inc Single-handed approach for navigation of application tiles using panning and zooming
US7861941B2 (en) * 2005-02-28 2011-01-04 Honeywell International Inc. Automatic thermostat schedule/program selector system
KR101354316B1 (ko) * 2005-03-04 2014-01-22 애플 인크. 다기능 휴대용 장치
US7765573B1 (en) 2005-03-08 2010-07-27 Embarq Holdings Company, LLP IP-based scheduling and control of digital video content delivery
US20120324566A1 (en) 2005-03-16 2012-12-20 Marc Baum Takeover Processes In Security Network Integrated With Premise Security System
US7584897B2 (en) 2005-03-31 2009-09-08 Honeywell International Inc. Controller system user interface
DE102006018238A1 (de) 2005-04-20 2007-03-29 Logitech Europe S.A. System und Verfahren zur adaptiven Programmierung einer Fernbedienung
KR100716288B1 (ko) * 2005-06-17 2007-05-09 삼성전자주식회사 디스플레이장치 및 그 제어방법
FI20055369A0 (fi) * 2005-06-30 2005-06-30 Nokia Corp Menetelmä ja laite digitaalisten mediatiedostojen käsittelemiseksi
US20070050468A1 (en) * 2005-08-09 2007-03-01 Comverse, Ltd. Reality context menu (RCM)
US7294089B2 (en) * 2005-08-15 2007-11-13 Ford Global Technologies, Llc Multiple-speed automatic transmission
JP4773159B2 (ja) * 2005-08-19 2011-09-14 任天堂株式会社 ゲームプログラム、ゲーム装置およびゲーム制御方法
US8225231B2 (en) 2005-08-30 2012-07-17 Microsoft Corporation Aggregation of PC settings
US8092304B2 (en) * 2006-11-08 2012-01-10 Igt Simulation of mechanical reels of gaming machines
US20070149281A1 (en) * 2005-09-02 2007-06-28 Igt Virtual movable mechanical display device
US9552686B2 (en) 2005-09-02 2017-01-24 Igt Video and mechanical spinning bonus wheel
WO2007030421A2 (en) 2005-09-07 2007-03-15 Amx Llc Method and computer program for device configuration
US7778262B2 (en) 2005-09-07 2010-08-17 Vantage Controls, Inc. Radio frequency multiple protocol bridge
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
EP1780952B1 (en) * 2005-09-26 2013-07-03 Samsung Electronics Co., Ltd. Home network device and method of receiving and transmitting sound information using the same
US9015587B2 (en) 2005-09-26 2015-04-21 Samsung Electronics Co., Ltd. Home network device and method of receiving and transmitting sound information using the same
DE102005048230A1 (de) * 2005-10-07 2007-04-12 Volkswagen Ag Eingabevorrichtung für ein Kraftfahrzeug
US8349863B2 (en) * 2005-10-10 2013-01-08 Cipla Limited Crystalline polymorphic form of a camptothecin analogue
US8417700B2 (en) * 2005-12-01 2013-04-09 Northrop Grumman Systems Corporation Interactive tool for constructing and editing process diagrams
US11812111B2 (en) 2005-12-20 2023-11-07 Universal Electronics Inc. System and method for presenting program guide information in an electronic portable device
US20070150820A1 (en) * 2005-12-22 2007-06-28 Salvo Anthony C Data-driven user interface
US8806347B2 (en) * 2005-12-27 2014-08-12 Panasonic Corporation Systems and methods for providing distributed user interfaces to configure client devices
US7673240B2 (en) * 2005-12-30 2010-03-02 Polaroid Labs, Llc Ubiquitous navbar user interface across multiple heterogeneous digital media devices
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
US8514244B2 (en) * 2006-01-23 2013-08-20 Nokia Corporation Mobile communication terminal and method therefore
FR2896892B1 (fr) * 2006-01-30 2008-06-06 Isen Toulon Systeme et procede de controle a distance d'appareils electriques dans un reseau domotique
US7836437B2 (en) * 2006-02-10 2010-11-16 Microsoft Corporation Semantic annotations for virtual objects
US8725845B2 (en) 2006-03-16 2014-05-13 Exceptional Innovation Llc Automation control system having a configuration tool
US7587464B2 (en) * 2006-03-16 2009-09-08 Exceptional Innovation, Llc Device automation using networked device control having a web services for devices stack
US8155142B2 (en) 2006-03-16 2012-04-10 Exceptional Innovation Llc Network based digital access point device
US7966083B2 (en) * 2006-03-16 2011-06-21 Exceptional Innovation Llc Automation control system having device scripting
US8001219B2 (en) 2006-03-16 2011-08-16 Exceptional Innovation, Llc User control interface for convergence and automation system
US8209398B2 (en) 2006-03-16 2012-06-26 Exceptional Innovation Llc Internet protocol based media streaming solution
US7496627B2 (en) 2006-03-16 2009-02-24 Exceptional Innovation, Llc Automation control system having digital logging
US7509402B2 (en) 2006-03-16 2009-03-24 Exceptional Innovation, Llc Automation control system having a configuration tool and two-way ethernet communication for web service messaging, discovery, description, and eventing that is controllable with a touch-screen display
WO2007126781A2 (en) 2006-03-27 2007-11-08 Exceptional Innovation Llc Set top box for convergence and automation system
US7511702B2 (en) * 2006-03-30 2009-03-31 Apple Inc. Force and location sensitive display
US7538760B2 (en) * 2006-03-30 2009-05-26 Apple Inc. Force imaging input device and system
WO2007124453A2 (en) * 2006-04-20 2007-11-01 Exceptional Innovation Llc Touch screen for convergence and automation system
US7978181B2 (en) 2006-04-25 2011-07-12 Apple Inc. Keystroke tactility arrangement on a smooth touch surface
US7682250B2 (en) * 2006-04-28 2010-03-23 Nintendo Co., Ltd. Method and apparatus for simulating interactive spinning bar gymnastics on a 3D display
US8279180B2 (en) * 2006-05-02 2012-10-02 Apple Inc. Multipoint touch surface controller
US8700772B2 (en) 2006-05-03 2014-04-15 Cloud Systems, Inc. System and method for automating the management, routing, and control of multiple devices and inter-device connections
US7667968B2 (en) * 2006-05-19 2010-02-23 Exceptional Innovation, Llc Air-cooling system configuration for touch screen
US8073984B2 (en) 2006-05-22 2011-12-06 Apple Inc. Communication protocol for use with portable electronic devices
US20070271116A1 (en) 2006-05-22 2007-11-22 Apple Computer, Inc. Integrated media jukebox and physiologic data handling application
US7643895B2 (en) 2006-05-22 2010-01-05 Apple Inc. Portable media device with workout support
EP2020088A2 (en) * 2006-05-22 2009-02-04 Nike International Ltd. User interface for remotely controlling a digital music player
US8237736B2 (en) 2006-06-01 2012-08-07 Microsoft Corporation User interface color based on background image
US8552989B2 (en) * 2006-06-09 2013-10-08 Apple Inc. Integrated display and touch screen
CN104965621B (zh) * 2006-06-09 2018-06-12 苹果公司 触摸屏液晶显示器及其操作方法
CN102981678B (zh) 2006-06-09 2015-07-22 苹果公司 触摸屏液晶显示器
US12063221B2 (en) 2006-06-12 2024-08-13 Icontrol Networks, Inc. Activation of gateway device
US9144204B2 (en) 2006-06-20 2015-09-29 Rain Bird Corporation User interface for a sensor-based interface device for interrupting an irrigation controller
EP2035629A4 (en) 2006-06-20 2012-08-29 Rain Bird Corp SENSOR DEVICE FOR IRRITATION INTERRUPTION
US9940626B2 (en) * 2006-06-23 2018-04-10 At&T Intellectual Property I, L.P. Methods and apparatus to provide an electronic agent
US8316325B2 (en) * 2006-06-29 2012-11-20 Lg Electronics Inc. Mobile terminal and method for controlling screen thereof
US20080059896A1 (en) * 2006-08-30 2008-03-06 Microsoft Corporation Mobile Device User Interface
WO2008027447A2 (en) * 2006-08-31 2008-03-06 Wms Gaming Inc. Remote input device for a wagering game
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7940250B2 (en) 2006-09-06 2011-05-10 Apple Inc. Web-clip widgets on a portable multifunction device
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080062137A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Touch actuation controller for multi-state media presentation
US9565387B2 (en) * 2006-09-11 2017-02-07 Apple Inc. Perspective scale video with navigation menu
US8243017B2 (en) 2006-09-11 2012-08-14 Apple Inc. Menu overlay including context dependent menu icon
US20080066135A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Search user interface for media device
US20080065722A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Media device playlists
US9630104B2 (en) * 2006-10-23 2017-04-25 Konrad V. Sherinian Systems, methods, and apparatus for transmitting virtual world content from a server system to a client
US8570278B2 (en) 2006-10-26 2013-10-29 Apple Inc. Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker
US7856605B2 (en) * 2006-10-26 2010-12-21 Apple Inc. Method, system, and graphical user interface for positioning an insertion marker in a touch screen display
KR20080042354A (ko) * 2006-11-09 2008-05-15 삼성전자주식회사 이동 통신 단말기에서 대기 화면 전환 방법 및 대기 화면회전 방법과 그 이동 통신 단말기
US7962130B2 (en) * 2006-11-09 2011-06-14 Exceptional Innovation Portable device for convergence and automation solution
US20080120448A1 (en) * 2006-11-21 2008-05-22 Microsoft Corporation Remote mouse and keyboard using bluetooth
KR100851302B1 (ko) * 2006-11-27 2008-08-08 삼성전자주식회사 휴대 단말기의 대기화면에서의 기능 실행 방법
NZ564006A (en) * 2006-12-06 2009-03-31 2121200 Ontario Inc System and method for product marketing using feature codes
KR101532369B1 (ko) 2006-12-11 2015-06-29 삼성전자주식회사 휴대용 단말기의 원격제어 장치 및 방법
US20080155478A1 (en) * 2006-12-21 2008-06-26 Mark Stross Virtual interface and system for controlling a device
US8493330B2 (en) * 2007-01-03 2013-07-23 Apple Inc. Individual channel phase delay scheme
US8015581B2 (en) * 2007-01-05 2011-09-06 Verizon Patent And Licensing Inc. Resource data configuration for media content access systems and methods
US9710095B2 (en) 2007-01-05 2017-07-18 Apple Inc. Touch screen stack-ups
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US8788954B2 (en) 2007-01-07 2014-07-22 Apple Inc. Web-clip widgets on a portable multifunction device
WO2008085979A1 (en) * 2007-01-08 2008-07-17 Bmo Llc Household network incorporating secure set- top devices
US11706279B2 (en) 2007-01-24 2023-07-18 Icontrol Networks, Inc. Methods and systems for data communication
KR20090000248A (ko) * 2007-02-07 2009-01-07 엘지전자 주식회사 에어컨의 통합관리 표시 장치 및 방법
KR101376894B1 (ko) * 2007-02-28 2014-03-20 엘지전자 주식회사 이동통신단말기의 다이얼링 방법 및 터치스크린을 구비한이동통신단말기
US7633385B2 (en) 2007-02-28 2009-12-15 Ucontrol, Inc. Method and system for communicating with and controlling an alarm system from a remote server
JP4887184B2 (ja) * 2007-03-02 2012-02-29 株式会社リコー 表示処理装置、表示処理方法、および表示処理プログラム
US7849096B2 (en) * 2007-03-13 2010-12-07 Fein Gene S Multiple parameter data media search in a distributed network
US8914786B2 (en) 2007-03-23 2014-12-16 Zumobi, Inc. Systems and methods for controlling application updates across a wireless interface
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US7693842B2 (en) * 2007-04-09 2010-04-06 Microsoft Corporation In situ search for active note taking
KR101379995B1 (ko) * 2007-04-17 2014-04-02 엘지전자 주식회사 단말기 및 그 표시방법
KR20080097059A (ko) * 2007-04-30 2008-11-04 삼성전자주식회사 통신 단말기의 사용자 컨텐츠 관리 방법
US9423996B2 (en) * 2007-05-03 2016-08-23 Ian Cummings Vehicle navigation user interface customization methods
US10042898B2 (en) 2007-05-09 2018-08-07 Illinois Institutre Of Technology Weighted metalabels for enhanced search in hierarchical abstract data organization systems
US9633028B2 (en) 2007-05-09 2017-04-25 Illinois Institute Of Technology Collaborative and personalized storage and search in hierarchical abstract data organization systems
US8209358B2 (en) * 2007-05-09 2012-06-26 Illinois Institute Of Technology Hierarchical structured abstract data organization system
US9128954B2 (en) 2007-05-09 2015-09-08 Illinois Institute Of Technology Hierarchical structured data organization system
US20080307109A1 (en) * 2007-06-08 2008-12-11 Galloway Curtis C File protocol for transaction based communication
US12003387B2 (en) 2012-06-27 2024-06-04 Comcast Cable Communications, Llc Control system user interface
US11212192B2 (en) 2007-06-12 2021-12-28 Icontrol Networks, Inc. Communication protocols in integrated systems
US8711102B2 (en) * 2007-06-15 2014-04-29 Microsoft Corporation Graphical communication user interface with graphical position user input mechanism for selecting a display image
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US9772751B2 (en) 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
KR20090005680A (ko) * 2007-07-09 2009-01-14 삼성전자주식회사 원통형 입체 형상의 메뉴를 제공하기 위한 ｇｕｉ 제공방법및 이를 적용한 멀티미디어 기기
ITMI20071607A1 (it) * 2007-08-03 2009-02-04 Incard Sa Metodo per accedere a contenuti multimediali associati a un' area geografica.
US10223903B2 (en) 2010-09-28 2019-03-05 Icontrol Networks, Inc. Integrated security system with parallel processing architecture
FR2920055B1 (fr) * 2007-08-14 2013-05-03 Airbus France Systeme et procede de transmission de donnees entre au moins un ecran d'affichage et un systeme client
US20090051671A1 (en) * 2007-08-22 2009-02-26 Jason Antony Konstas Recognizing the motion of two or more touches on a touch-sensing surface
US11831462B2 (en) 2007-08-24 2023-11-28 Icontrol Networks, Inc. Controlling data routing in premises management systems
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US20090058820A1 (en) 2007-09-04 2009-03-05 Microsoft Corporation Flick-based in situ search from ink, text, or an empty selection region
US11126321B2 (en) 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
US8122356B2 (en) * 2007-10-03 2012-02-21 Eastman Kodak Company Method for image animation using image value rules
US7904818B2 (en) * 2007-10-15 2011-03-08 International Business Machines Corporation Summarizing portlet usage captured responsive to trigger events in a portal page
US8191002B2 (en) * 2007-10-15 2012-05-29 International Business Machines Corporation Summarizing portlet usage in a portal page
US8375397B1 (en) 2007-11-06 2013-02-12 Google Inc. Snapshot view of multi-dimensional virtual environment
US8595299B1 (en) 2007-11-07 2013-11-26 Google Inc. Portals between multi-dimensional virtual environments
US8732591B1 (en) 2007-11-08 2014-05-20 Google Inc. Annotations of objects in multi-dimensional virtual environments
EP2063350A1 (en) * 2007-11-20 2009-05-27 Samsung Electronics Co., Ltd. Method and apparatus for interfacing between devices in home network
US20100333017A1 (en) * 2007-11-27 2010-12-30 David J. Ortiz Computer graphic user interface and display system
US8346396B2 (en) 2007-11-30 2013-01-01 Honeywell International Inc. HVAC controller with parameter clustering
US8224491B2 (en) * 2007-11-30 2012-07-17 Honeywell International Inc. Portable wireless remote control unit for use with zoned HVAC system
US20090156251A1 (en) * 2007-12-12 2009-06-18 Alan Cannistraro Remote control protocol for media systems controlled by portable devices
US8542323B2 (en) * 2007-12-21 2013-09-24 Sony Corporation Touch sensitive wireless navigation device for remote control
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8990720B2 (en) * 2008-01-09 2015-03-24 International Business Machines Corporation Setting alert thresholds in the context of a real-time dashboard chart
US11916928B2 (en) 2008-01-24 2024-02-27 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US8146004B2 (en) * 2008-02-01 2012-03-27 At&T Intellectual Property I, L.P. Graphical user interface to facilitate selection of contacts and file attachments for electronic messaging
US20090195513A1 (en) * 2008-02-05 2009-08-06 Delphi Technologies, Inc. Interactive multimedia control module
US8151215B2 (en) * 2008-02-07 2012-04-03 Sony Corporation Favorite GUI for TV
US20090207175A1 (en) * 2008-02-15 2009-08-20 Apple Inc. Animation Using Animation Effect and Trigger Element
US8650507B2 (en) * 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
US8271951B2 (en) * 2008-03-04 2012-09-18 International Business Machines Corporation System and methods for collecting software development feedback
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US8416196B2 (en) 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8201109B2 (en) 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
TWI428814B (zh) * 2008-04-15 2014-03-01 Htc Corp 在螢幕鎖定狀態下切換背景圖的方法、其行動電子裝置與儲存媒體
US9870123B1 (en) 2008-04-18 2018-01-16 Universal Electronics Inc. Selecting a picture of a device to identify an associated codeset
US8947460B2 (en) 2008-04-22 2015-02-03 Htc Corporation Method and apparatus for operating graphic menu bar and recording medium using the same
TW200945165A (en) * 2008-04-22 2009-11-01 Htc Corp Method and apparatus for operating graphic menu bar and recording medium using the same
TWI361377B (en) * 2008-04-24 2012-04-01 Htc Corp Method for switching user interface, electronic device and recording medium using the same
US8237551B2 (en) 2008-04-30 2012-08-07 Centurylink Intellectual Property Llc System and method for in-patient telephony
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100293462A1 (en) * 2008-05-13 2010-11-18 Apple Inc. Pushing a user interface to a remote device
US9311115B2 (en) 2008-05-13 2016-04-12 Apple Inc. Pushing a graphical user interface to a remote device with display rules provided by the remote device
US8970647B2 (en) * 2008-05-13 2015-03-03 Apple Inc. Pushing a graphical user interface to a remote device with display rules provided by the remote device
US9870130B2 (en) 2008-05-13 2018-01-16 Apple Inc. Pushing a user interface to a remote device
US20090284476A1 (en) * 2008-05-13 2009-11-19 Apple Inc. Pushing a user interface to a remote device
FR2931329B1 (fr) * 2008-05-16 2010-06-18 Airbus France Procede de transmission de donnees entre au moins un ecran d'affichage d'un poste de pilotage et au moins un ensemble client distant
US8738360B2 (en) 2008-06-06 2014-05-27 Apple Inc. Data detection of a character sequence having multiple possible data types
US8311806B2 (en) 2008-06-06 2012-11-13 Apple Inc. Data detection in a sequence of tokens using decision tree reductions
CN101609396B (zh) * 2008-06-16 2012-12-26 成都吉锐触摸技术股份有限公司 一种触摸屏通讯协议的实现方法
US8665228B2 (en) 2008-06-19 2014-03-04 Tactile Displays, Llc Energy efficient interactive display with energy regenerative keyboard
US9513705B2 (en) 2008-06-19 2016-12-06 Tactile Displays, Llc Interactive display with tactile feedback
US8115745B2 (en) 2008-06-19 2012-02-14 Tactile Displays, Llc Apparatus and method for interactive display with tactile feedback
US8217908B2 (en) 2008-06-19 2012-07-10 Tactile Displays, Llc Apparatus and method for interactive display with tactile feedback
US20170185278A1 (en) 2008-08-11 2017-06-29 Icontrol Networks, Inc. Automation system user interface
WO2009158726A1 (en) * 2008-06-27 2009-12-30 Walters Clifford A Compact camera-mountable video encoder, studio rack-mountable video encoder, configuration device, and broadcasting network utilizing the same
US9294705B2 (en) 2008-06-27 2016-03-22 Universal Electronics Inc. System and method for ubiquitous appliance control
USD626561S1 (en) * 2008-06-30 2010-11-02 Nellcor Puritan Bennett Llc Circular satseconds indicator and triangular saturation pattern detection indicator for a patient monitor display panel
USD626562S1 (en) * 2008-06-30 2010-11-02 Nellcor Puritan Bennett Llc Triangular saturation pattern detection indicator for a patient monitor display panel
JP4636131B2 (ja) * 2008-07-04 2011-02-23 ソニー株式会社 情報提供装置、情報提供方法、およびプログラム
US9716774B2 (en) 2008-07-10 2017-07-25 Apple Inc. System and method for syncing a user interface on a server device to a user interface on a client device
US20100017385A1 (en) 2008-07-16 2010-01-21 International Business Machines Creating and managing reference elements of deployable web archive files
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
CN101644970A (zh) * 2008-08-07 2010-02-10 鸿富锦精密工业（深圳）有限公司 通信装置的输入方法
US11758026B2 (en) 2008-08-11 2023-09-12 Icontrol Networks, Inc. Virtual device systems and methods
US11792036B2 (en) 2008-08-11 2023-10-17 Icontrol Networks, Inc. Mobile premises automation platform
GB2463516A (en) * 2008-08-12 2010-03-24 Hathaway Technologies Ltd Remote control of appliances using a graphical user interface
US20100044449A1 (en) * 2008-08-19 2010-02-25 Honeywell International Inc. Service reminders for building control systems
US8805110B2 (en) * 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
EP2340603B1 (en) * 2008-09-23 2020-04-08 Aerovironment inc. Predictive pulse width modulation for an open delta h-bridge driven high efficiency ironless permanent magnet machine
US20100075695A1 (en) * 2008-09-24 2010-03-25 Apple Inc. Systems, methods, and devices for retrieving local broadcast source presets
US20100076576A1 (en) * 2008-09-24 2010-03-25 Apple Inc. Systems, methods, and devices for providing broadcast media from a selected source
US8452228B2 (en) * 2008-09-24 2013-05-28 Apple Inc. Systems, methods, and devices for associating a contact identifier with a broadcast source
US8886112B2 (en) * 2008-09-24 2014-11-11 Apple Inc. Media device with enhanced data retrieval feature
US20100082662A1 (en) * 2008-09-25 2010-04-01 Microsoft Corporation Information Retrieval System User Interface
US20100083189A1 (en) * 2008-09-30 2010-04-01 Robert Michael Arlein Method and apparatus for spatial context based coordination of information among multiple devices
US8214747B1 (en) * 2008-10-10 2012-07-03 Adobe Systems Incorporated Role based state and dynamic feature enablement for collaborative and non-collaborative workspaces and imbeded applications
DE102008050912A1 (de) * 2008-10-10 2010-04-22 EOS-Werke Günther GmbH Benutzerschnittstelle sowie Verfahren zu deren Betrieb
US8086275B2 (en) 2008-10-23 2011-12-27 Microsoft Corporation Alternative inputs of a mobile communications device
US8411046B2 (en) 2008-10-23 2013-04-02 Microsoft Corporation Column organization of content
US8385952B2 (en) 2008-10-23 2013-02-26 Microsoft Corporation Mobile communications device user interface
US8359205B2 (en) 2008-10-24 2013-01-22 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8121830B2 (en) 2008-10-24 2012-02-21 The Nielsen Company (Us), Llc Methods and apparatus to extract data encoded in media content
US9667365B2 (en) 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US9954976B2 (en) * 2008-11-03 2018-04-24 Viavi Solutions Inc. System and method for remotely displaying data
US8489388B2 (en) 2008-11-10 2013-07-16 Apple Inc. Data detection
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US8508357B2 (en) 2008-11-26 2013-08-13 The Nielsen Company (Us), Llc Methods and apparatus to encode and decode audio for shopper location and advertisement presentation tracking
CN101751286B (zh) * 2008-11-28 2015-05-13 汉达精密电子(昆山)有限公司 直觉化档案传输方法
US10228820B2 (en) 2008-12-08 2019-03-12 Samsung Electronics Co., Ltd. Display apparatus and displaying method thereof
KR101588666B1 (ko) * 2008-12-08 2016-01-27 삼성전자주식회사 디스플레이 장치 및 그의 표시방법
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US9075901B2 (en) 2008-12-15 2015-07-07 International Business Machines Corporation System and method to visualize activities through the use of avatars
US8453057B2 (en) * 2008-12-22 2013-05-28 Verizon Patent And Licensing Inc. Stage interaction for mobile device
US8255807B2 (en) * 2008-12-23 2012-08-28 Ganz Item customization and website customization
US20100178938A1 (en) * 2009-01-13 2010-07-15 Apple Inc. Systems and methods for customizing radio presets
KR20100085328A (ko) * 2009-01-20 2010-07-29 삼성전자주식회사 디스플레이장치 및 영상표시방법
US8775023B2 (en) 2009-02-15 2014-07-08 Neanode Inc. Light-based touch controls on a steering wheel and dashboard
US8307299B2 (en) * 2009-03-04 2012-11-06 Bayerische Motoren Werke Aktiengesellschaft Virtual office management system
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US8510665B2 (en) * 2009-03-16 2013-08-13 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
KR101542744B1 (ko) * 2009-03-18 2015-08-10 삼성전자주식회사 네트워크에서 피제어장치를 제어하는 방법 및 그 장치
US20100241955A1 (en) * 2009-03-23 2010-09-23 Microsoft Corporation Organization and manipulation of content items on a touch-sensitive display
US8175653B2 (en) 2009-03-30 2012-05-08 Microsoft Corporation Chromeless user interface
US8238876B2 (en) 2009-03-30 2012-08-07 Microsoft Corporation Notifications
US8355698B2 (en) 2009-03-30 2013-01-15 Microsoft Corporation Unlock screen
KR20100110079A (ko) * 2009-04-02 2010-10-12 삼성전자주식회사 원격 사용자 인터페이스를 이용하여 다른 디바이스를 제어하는 방법 및 이를 위한 시스템
US9578113B2 (en) 2009-04-15 2017-02-21 Wyse Technology L.L.C. Method and apparatus for transferring remote session data
US9448815B2 (en) * 2009-04-15 2016-09-20 Wyse Technology L.L.C. Server-side computing from a remote client device
US9189124B2 (en) * 2009-04-15 2015-11-17 Wyse Technology L.L.C. Custom pointer features for touch-screen on remote client devices
US9106696B2 (en) * 2009-04-15 2015-08-11 Wyse Technology L.L.C. Method and apparatus for portability of a remote session
US9553953B2 (en) 2009-04-15 2017-01-24 Dell Products L.P. Method and apparatus for extending capabilities of a virtualization domain to support features available in a normal desktop application
US8676926B2 (en) 2009-04-15 2014-03-18 Wyse Technology L.L.C. System and method for handling remote drawing commands
US20100268762A1 (en) * 2009-04-15 2010-10-21 Wyse Technology Inc. System and method for scrolling a remote application
US8638211B2 (en) 2009-04-30 2014-01-28 Icontrol Networks, Inc. Configurable controller and interface for home SMA, phone and multimedia
CA2760677C (en) 2009-05-01 2018-07-24 David Henry Harkness Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
US8788943B2 (en) * 2009-05-15 2014-07-22 Ganz Unlocking emoticons using feature codes
US8269736B2 (en) * 2009-05-22 2012-09-18 Microsoft Corporation Drop target gestures
US8836648B2 (en) 2009-05-27 2014-09-16 Microsoft Corporation Touch pull-in gesture
JP5687826B2 (ja) * 2009-05-29 2015-03-25 任天堂株式会社 ゲームプログラムおよびゲーム装置
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US20100321319A1 (en) * 2009-06-17 2010-12-23 Hefti Thierry Method for displaying and updating a view of a graphical scene in response to commands via a touch-sensitive device
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8894367B2 (en) * 2009-08-06 2014-11-25 Siemens Energy, Inc. Compound cooling flow turbulator for turbine component
KR101686913B1 (ko) * 2009-08-13 2016-12-16 삼성전자주식회사 전자기기에서 이벤트 서비스 제공 방법 및 장치
US8933960B2 (en) * 2009-08-14 2015-01-13 Apple Inc. Image alteration techniques
US8654524B2 (en) 2009-08-17 2014-02-18 Apple Inc. Housing as an I/O device
US20110046805A1 (en) * 2009-08-18 2011-02-24 Honeywell International Inc. Context-aware smart home energy manager
US8856670B1 (en) * 2009-08-25 2014-10-07 Intuit Inc. Technique for customizing a user interface
US8495048B2 (en) 2009-08-26 2013-07-23 International Business Machines Applying user-generated deployment events to a grouping of deployable portlets
US8418079B2 (en) 2009-09-01 2013-04-09 James J. Nicholas, III System and method for cursor-based application management
EP3260969B1 (en) 2009-09-22 2021-03-03 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8832585B2 (en) 2009-09-25 2014-09-09 Apple Inc. Device, method, and graphical user interface for manipulating workspace views
US8799826B2 (en) 2009-09-25 2014-08-05 Apple Inc. Device, method, and graphical user interface for moving a calendar entry in a calendar application
US8780069B2 (en) 2009-09-25 2014-07-15 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
KR101612553B1 (ko) * 2009-10-09 2016-04-27 삼성전자주식회사 리모트 사용자 인터페이스 서버와 리모트 사용자 인터페이스 클라이언트간의 인터페이스를 위한 장치 및 방법
US8430402B2 (en) * 2009-10-25 2013-04-30 Greenwave Reality Pte Ltd. Networked light bulb with color wheel for configuration
US20110106835A1 (en) * 2009-10-29 2011-05-05 International Business Machines Corporation User-Defined Profile Tags, Rules, and Recommendations for Portal
US20110138333A1 (en) * 2009-12-03 2011-06-09 Ravishankar Gundlapalli Room User Interface
US8621391B2 (en) * 2009-12-16 2013-12-31 Apple Inc. Device, method, and computer readable medium for maintaining a selection order in a displayed thumbnail stack of user interface elements acted upon via gestured operations
US8438592B2 (en) * 2009-12-22 2013-05-07 Qualcomm Incorporated Dynamic live content promoter for digital broadcast TV
FI20096399A0 (fi) 2009-12-28 2009-12-28 Valtion Teknillinen Järjestelmä ja menetelmä sähkölaitteiden etäkäyttämiseksi
US8736561B2 (en) 2010-01-06 2014-05-27 Apple Inc. Device, method, and graphical user interface with content display modes and display rotation heuristics
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
ES2687460T3 (es) * 2010-01-25 2018-10-25 Innogy Se Control de un sistema domótico
WO2011089450A2 (en) 2010-01-25 2011-07-28 Andrew Peter Nelson Jerram Apparatuses, methods and systems for a digital conversation management platform
US8610722B2 (en) * 2010-01-26 2013-12-17 Apple Inc. User interface for an application
US8239785B2 (en) * 2010-01-27 2012-08-07 Microsoft Corporation Edge gestures
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US9411504B2 (en) * 2010-01-28 2016-08-09 Microsoft Technology Licensing, Llc Copy and staple gestures
US20110185299A1 (en) * 2010-01-28 2011-07-28 Microsoft Corporation Stamp Gestures
US20110185320A1 (en) * 2010-01-28 2011-07-28 Microsoft Corporation Cross-reference Gestures
US8548135B1 (en) 2010-02-03 2013-10-01 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US8879698B1 (en) 2010-02-03 2014-11-04 Tal Lavian Device and method for providing enhanced telephony
US8687777B1 (en) 2010-02-03 2014-04-01 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US8903073B2 (en) 2011-07-20 2014-12-02 Zvi Or-Bach Systems and methods for visual presentation and selection of IVR menu
US8406388B2 (en) 2011-07-18 2013-03-26 Zvi Or-Bach Systems and methods for visual presentation and selection of IVR menu
US8594280B1 (en) 2010-02-03 2013-11-26 Zvi Or-Bach Systems and methods for visual presentation and selection of IVR menu
US8625756B1 (en) 2010-02-03 2014-01-07 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US8537989B1 (en) 2010-02-03 2013-09-17 Tal Lavian Device and method for providing enhanced telephony
US8572303B2 (en) 2010-02-03 2013-10-29 Tal Lavian Portable universal communication device
US9001819B1 (en) 2010-02-18 2015-04-07 Zvi Or-Bach Systems and methods for visual presentation and selection of IVR menu
US8553859B1 (en) 2010-02-03 2013-10-08 Tal Lavian Device and method for providing enhanced telephony
US8681951B1 (en) 2010-02-03 2014-03-25 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US8548131B1 (en) 2010-02-03 2013-10-01 Tal Lavian Systems and methods for communicating with an interactive voice response system
US9519356B2 (en) * 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
US20110191704A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Contextual multiplexing gestures
US20110191719A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Cut, Punch-Out, and Rip Gestures
US8799827B2 (en) * 2010-02-19 2014-08-05 Microsoft Corporation Page manipulations using on and off-screen gestures
US9367205B2 (en) 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9274682B2 (en) * 2010-02-19 2016-03-01 Microsoft Technology Licensing, Llc Off-screen gestures to create on-screen input
US9310994B2 (en) 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
US9965165B2 (en) * 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US20110209101A1 (en) * 2010-02-25 2011-08-25 Hinckley Kenneth P Multi-screen pinch-to-pocket gesture
US8539384B2 (en) 2010-02-25 2013-09-17 Microsoft Corporation Multi-screen pinch and expand gestures
US8473870B2 (en) * 2010-02-25 2013-06-25 Microsoft Corporation Multi-screen hold and drag gesture
FR2956757B1 (fr) * 2010-02-25 2012-09-21 Somfy Sas Affectation de scenarios a des boutons de commande.
US20110209058A1 (en) * 2010-02-25 2011-08-25 Microsoft Corporation Multi-screen hold and tap gesture
US8707174B2 (en) * 2010-02-25 2014-04-22 Microsoft Corporation Multi-screen hold and page-flip gesture
US9075522B2 (en) * 2010-02-25 2015-07-07 Microsoft Technology Licensing, Llc Multi-screen bookmark hold gesture
US9454304B2 (en) * 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US20110209089A1 (en) * 2010-02-25 2011-08-25 Hinckley Kenneth P Multi-screen object-hold and page-change gesture
US8751970B2 (en) * 2010-02-25 2014-06-10 Microsoft Corporation Multi-screen synchronous slide gesture
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US8140570B2 (en) * 2010-03-11 2012-03-20 Apple Inc. Automatic discovery of metadata
US20110239146A1 (en) * 2010-03-23 2011-09-29 Lala Dutta Automatic event generation
US10719131B2 (en) 2010-04-05 2020-07-21 Tactile Displays, Llc Interactive display with tactile feedback
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US8458615B2 (en) 2010-04-07 2013-06-04 Apple Inc. Device, method, and graphical user interface for managing folders
US20110248877A1 (en) * 2010-04-12 2011-10-13 Jeyhan Karaoguz System and method providing remote user selection of a device
US20200393907A1 (en) 2010-04-13 2020-12-17 Tactile Displays, Llc Interactive display with tactile feedback
US8719730B2 (en) 2010-04-23 2014-05-06 Ganz Radial user interface and system for a virtual world game
US8323068B2 (en) 2010-04-23 2012-12-04 Ganz Villagers in a virtual world with upgrading via codes
CN102884805B (zh) * 2010-04-27 2016-05-04 Lg电子株式会社 图像显示装置及其操作方法
EP2383984B1 (en) * 2010-04-27 2019-03-06 LG Electronics Inc. Image display apparatus and method for operating the same
US8729826B2 (en) 2010-06-07 2014-05-20 Greenwave Reality, Pte, Ltd. Dual-mode dimming of a light
US10216408B2 (en) 2010-06-14 2019-02-26 Apple Inc. Devices and methods for identifying user interface objects based on view hierarchy
US9002481B2 (en) 2010-07-14 2015-04-07 Honeywell International Inc. Building controllers with local and global parameters
US9098182B2 (en) 2010-07-30 2015-08-04 Apple Inc. Device, method, and graphical user interface for copying user interface objects between content regions
US8972879B2 (en) 2010-07-30 2015-03-03 Apple Inc. Device, method, and graphical user interface for reordering the front-to-back positions of objects
US9081494B2 (en) 2010-07-30 2015-07-14 Apple Inc. Device, method, and graphical user interface for copying formatting attributes
US8799815B2 (en) * 2010-07-30 2014-08-05 Apple Inc. Device, method, and graphical user interface for activating an item in a folder
US8826164B2 (en) 2010-08-03 2014-09-02 Apple Inc. Device, method, and graphical user interface for creating a new folder
US8508401B1 (en) 2010-08-31 2013-08-13 Logitech Europe S.A. Delay fixing for command codes in a remote control system
US8843239B2 (en) 2010-11-19 2014-09-23 Nest Labs, Inc. Methods, systems, and related architectures for managing network connected thermostats
US9104211B2 (en) 2010-11-19 2015-08-11 Google Inc. Temperature controller with model-based time to target calculation and display
US8918219B2 (en) 2010-11-19 2014-12-23 Google Inc. User friendly interface for control unit
US8910065B2 (en) * 2010-09-14 2014-12-09 Microsoft Corporation Secondary output generation from a presentation framework
US8727611B2 (en) 2010-11-19 2014-05-20 Nest Labs, Inc. System and method for integrating sensors in thermostats
US9489062B2 (en) 2010-09-14 2016-11-08 Google Inc. User interfaces for remote management and control of network-connected thermostats
US8422889B2 (en) 2010-09-16 2013-04-16 Greenwave Reality, Pte Ltd. Noise detector in a light bulb
US8950687B2 (en) 2010-09-21 2015-02-10 Honeywell International Inc. Remote control of an HVAC system that uses a common temperature setpoint for both heat and cool modes
US8836467B1 (en) 2010-09-28 2014-09-16 Icontrol Networks, Inc. Method, system and apparatus for automated reporting of account and sensor zone information to a central station
US9107040B2 (en) 2010-09-29 2015-08-11 Apple Inc. Systems, methods, and computer readable media for sharing awareness information
KR101708821B1 (ko) * 2010-09-30 2017-02-21 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9466127B2 (en) * 2010-09-30 2016-10-11 Apple Inc. Image alteration techniques
US9092039B2 (en) 2010-11-19 2015-07-28 Google Inc. HVAC controller with user-friendly installation features with wire insertion detection
US9459018B2 (en) 2010-11-19 2016-10-04 Google Inc. Systems and methods for energy-efficient control of an energy-consuming system
US11334034B2 (en) 2010-11-19 2022-05-17 Google Llc Energy efficiency promoting schedule learning algorithms for intelligent thermostat
US10346275B2 (en) 2010-11-19 2019-07-09 Google Llc Attributing causation for energy usage and setpoint changes with a network-connected thermostat
US9256230B2 (en) 2010-11-19 2016-02-09 Google Inc. HVAC schedule establishment in an intelligent, network-connected thermostat
US8195313B1 (en) 2010-11-19 2012-06-05 Nest Labs, Inc. Thermostat user interface
US9552002B2 (en) 2010-11-19 2017-01-24 Google Inc. Graphical user interface for setpoint creation and modification
US8850348B2 (en) 2010-12-31 2014-09-30 Google Inc. Dynamic device-associated feedback indicative of responsible device usage
US9453655B2 (en) 2011-10-07 2016-09-27 Google Inc. Methods and graphical user interfaces for reporting performance information for an HVAC system controlled by a self-programming network-connected thermostat
US9075419B2 (en) 2010-11-19 2015-07-07 Google Inc. Systems and methods for a graphical user interface of a controller for an energy-consuming system having spatially related discrete display elements
US8995981B1 (en) 2010-12-13 2015-03-31 Csr Technology Inc. Systems and methods for remote control adaptive configuration
US11750414B2 (en) 2010-12-16 2023-09-05 Icontrol Networks, Inc. Bidirectional security sensor communication for a premises security system
US20120159401A1 (en) * 2010-12-16 2012-06-21 Microsoft Corporation Workspace Manipulation Using Mobile Device Gestures
US9147337B2 (en) 2010-12-17 2015-09-29 Icontrol Networks, Inc. Method and system for logging security event data
US20120159383A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Customization of an immersive environment
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US8804056B2 (en) 2010-12-22 2014-08-12 Apple Inc. Integrated touch screens
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US9423951B2 (en) 2010-12-31 2016-08-23 Microsoft Technology Licensing, Llc Content-based snap point
US9022868B2 (en) 2011-02-10 2015-05-05 Ganz Method and system for creating a virtual world where user-controlled characters interact with non-player characters
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9383917B2 (en) 2011-03-28 2016-07-05 Microsoft Technology Licensing, Llc Predictive tiling
JP2012226737A (ja) * 2011-04-06 2012-11-15 Panasonic Corp 表示装置、端末装置、及び表示装置接続支援システム
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
US9380356B2 (en) 2011-04-12 2016-06-28 The Nielsen Company (Us), Llc Methods and apparatus to generate a tag for media content
US9104440B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US20120304132A1 (en) 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
US8893033B2 (en) 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US8677232B2 (en) 2011-05-31 2014-03-18 Apple Inc. Devices, methods, and graphical user interfaces for document manipulation
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US9366448B2 (en) 2011-06-20 2016-06-14 Honeywell International Inc. Method and apparatus for configuring a filter change notification of an HVAC controller
US9515904B2 (en) 2011-06-21 2016-12-06 The Nielsen Company (Us), Llc Monitoring streaming media content
US9209978B2 (en) 2012-05-15 2015-12-08 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US20130007672A1 (en) * 2011-06-28 2013-01-03 Google Inc. Methods and Systems for Correlating Head Movement with Items Displayed on a User Interface
US8060533B1 (en) 2011-07-07 2011-11-15 Google Inc. Panel-based management of data objects from a plurality of data sources
US8751538B1 (en) 2011-07-07 2014-06-10 Google Inc. Method and apparatus for panel-based management of data
US8903648B2 (en) * 2011-07-15 2014-12-02 Forestech Consulting, Inc. System and method for field sampling
US9115908B2 (en) 2011-07-27 2015-08-25 Honeywell International Inc. Systems and methods for managing a programmable thermostat
US9157764B2 (en) 2011-07-27 2015-10-13 Honeywell International Inc. Devices, methods, and systems for occupancy detection
US8687023B2 (en) 2011-08-02 2014-04-01 Microsoft Corporation Cross-slide gesture to select and rearrange
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US8892223B2 (en) 2011-09-07 2014-11-18 Honeywell International Inc. HVAC controller including user interaction log
US10353566B2 (en) 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US9557909B2 (en) 2011-09-09 2017-01-31 Microsoft Technology Licensing, Llc Semantic zoom linguistic helpers
US8922575B2 (en) 2011-09-09 2014-12-30 Microsoft Corporation Tile cache
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US8933952B2 (en) 2011-09-10 2015-01-13 Microsoft Corporation Pre-rendering new content for an application-selectable user interface
US9244802B2 (en) 2011-09-10 2016-01-26 Microsoft Technology Licensing, Llc Resource user interface
US20130067392A1 (en) * 2011-09-12 2013-03-14 Microsoft Corporation Multi-Input Rearrange
WO2013041888A1 (en) * 2011-09-23 2013-03-28 Videojet Technologies Inc. Networking method
KR101958902B1 (ko) * 2011-09-30 2019-07-03 삼성전자주식회사 전자기기들의 그룹 제어 방법 및 그를 위한 전자기기 관리 시스템
US20130085849A1 (en) * 2011-09-30 2013-04-04 Matthew G. Dyor Presenting opportunities for commercialization in a gesture-based user interface
US8893032B2 (en) 2012-03-29 2014-11-18 Google Inc. User interfaces for HVAC schedule display and modification on smartphone or other space-limited touchscreen device
US9222693B2 (en) 2013-04-26 2015-12-29 Google Inc. Touchscreen device user interface for remote control of a thermostat
US20130104039A1 (en) * 2011-10-21 2013-04-25 Sony Ericsson Mobile Communications Ab System and Method for Operating a User Interface on an Electronic Device
WO2013059671A1 (en) 2011-10-21 2013-04-25 Nest Labs, Inc. Energy efficiency promoting schedule learning algorithms for intelligent thermostat
JP2014534405A (ja) 2011-10-21 2014-12-18 ネスト・ラブズ・インコーポレイテッド ユーザフレンドリーな、ネットワーク接続された学習サーモスタットならびに関連するシステムおよび方法
US9223761B2 (en) * 2011-11-04 2015-12-29 Microsoft Technology Licensing, Llc Real time visual feedback during move, resize and/or rotate actions in an electronic document
WO2013074991A1 (en) * 2011-11-18 2013-05-23 Gipson Dale L Computer-implemented apparatus, system, and method for three dimensional modeling software
KR101373612B1 (ko) 2011-11-24 2014-03-13 전자부품연구원 Ｎｕｉ 제공 방법 및 시스템
WO2013081239A1 (ko) * 2011-12-02 2013-06-06 전자부품연구원 Ｎｕｉ 제공 방법 및 시스템
US10533761B2 (en) 2011-12-14 2020-01-14 Ademco Inc. HVAC controller with fault sensitivity
US9206993B2 (en) 2011-12-14 2015-12-08 Honeywell International Inc. HVAC controller with utility saver switch diagnostic feature
US8902071B2 (en) 2011-12-14 2014-12-02 Honeywell International Inc. HVAC controller with HVAC system fault detection
US10747243B2 (en) 2011-12-14 2020-08-18 Ademco Inc. HVAC controller with HVAC system failure detection
US9002523B2 (en) 2011-12-14 2015-04-07 Honeywell International Inc. HVAC controller with diagnostic alerts
US20130158720A1 (en) 2011-12-15 2013-06-20 Honeywell International Inc. Hvac controller with performance log
US9223472B2 (en) 2011-12-22 2015-12-29 Microsoft Technology Licensing, Llc Closing applications
US9128605B2 (en) 2012-02-16 2015-09-08 Microsoft Technology Licensing, Llc Thumbnail-image selection of applications
US10139843B2 (en) 2012-02-22 2018-11-27 Honeywell International Inc. Wireless thermostatic controlled electric heating system
US8731148B1 (en) 2012-03-02 2014-05-20 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US8867708B1 (en) 2012-03-02 2014-10-21 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9442500B2 (en) 2012-03-08 2016-09-13 Honeywell International Inc. Systems and methods for associating wireless devices of an HVAC system
US10452084B2 (en) 2012-03-14 2019-10-22 Ademco Inc. Operation of building control via remote device
EP2831687B1 (en) 2012-03-29 2020-01-01 Google LLC Processing and reporting usage information for an hvac system controlled by a network-connected thermostat
US9488994B2 (en) 2012-03-29 2016-11-08 Honeywell International Inc. Method and system for configuring wireless sensors in an HVAC system
CN102665123B (zh) * 2012-03-30 2015-09-09 华为技术有限公司 一种电视操控方法、手持设备、电视及电视操控系统
US9098096B2 (en) 2012-04-05 2015-08-04 Google Inc. Continuous intelligent-control-system update using information requests directed to user devices
KR101868352B1 (ko) * 2012-05-14 2018-06-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
DE112012006448T5 (de) 2012-05-29 2015-02-26 Hewlett-Packard Development Company, L.P. Umsetzung einer Berührungseingabe in eine lokale Eingabe auf der Grundlage eines Umsetzungsprofils für eine Anwendung
DE102012209250A1 (de) * 2012-05-31 2013-12-05 Protected-Networks.Com Gmbh Sicherheitssystem
USD678084S1 (en) 2012-06-05 2013-03-19 Honeywell International Inc. Thermostat housing
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US20140019319A1 (en) * 2012-07-10 2014-01-16 Honeywell International Inc. Floorplan-based residential energy audit and asset tracking
US9477239B2 (en) 2012-07-26 2016-10-25 Honeywell International Inc. HVAC controller with wireless network based occupancy detection and control
US9594384B2 (en) 2012-07-26 2017-03-14 Honeywell International Inc. Method of associating an HVAC controller with an external web service
US10118241B2 (en) * 2012-09-07 2018-11-06 Illinois Tool Works Inc. Welding system with multiple user interface modules
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9218118B2 (en) 2012-09-11 2015-12-22 Apple Inc. Media player playlist management
US9558278B2 (en) 2012-09-11 2017-01-31 Apple Inc. Integrated content recommendation
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9557846B2 (en) 2012-10-04 2017-01-31 Corning Incorporated Pressure-sensing touch system utilizing optical and capacitive systems
US9204291B2 (en) * 2012-10-12 2015-12-01 Crestron Electronics, Inc. User identification and location determination in control applications
US9582122B2 (en) 2012-11-12 2017-02-28 Microsoft Technology Licensing, Llc Touch-sensitive bezel techniques
US12032817B2 (en) 2012-11-27 2024-07-09 Neonode Inc. Vehicle user interface
US9092093B2 (en) 2012-11-27 2015-07-28 Neonode Inc. Steering wheel user interface
US9383825B2 (en) * 2012-12-31 2016-07-05 Nicolas Jones Universal script input device and method
US10094585B2 (en) 2013-01-25 2018-10-09 Honeywell International Inc. Auto test for delta T diagnostics in an HVAC system
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US9313544B2 (en) 2013-02-14 2016-04-12 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
USD737842S1 (en) * 2013-03-14 2015-09-01 Microsoft Corporation Display screen with graphical user interface
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US9450952B2 (en) 2013-05-29 2016-09-20 Microsoft Technology Licensing, Llc Live tiles without application-code execution
US9806705B2 (en) 2013-04-23 2017-10-31 Honeywell International Inc. Active triac triggering circuit
US9584119B2 (en) 2013-04-23 2017-02-28 Honeywell International Inc. Triac or bypass circuit and MOSFET power steal combination
US10852025B2 (en) 2013-04-30 2020-12-01 Ademco Inc. HVAC controller with fixed segment display having fixed segment icons and animation
WO2014188227A1 (en) * 2013-05-20 2014-11-27 Thomson Licensing Remote control programming using images
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
EP3937002A1 (en) 2013-06-09 2022-01-12 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
AU2014278595B2 (en) 2013-06-13 2017-04-06 Apple Inc. System and method for emergency calls initiated by voice command
USD757740S1 (en) * 2013-06-20 2016-05-31 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11054448B2 (en) 2013-06-28 2021-07-06 Ademco Inc. Power transformation self characterization mode
US10811892B2 (en) 2013-06-28 2020-10-20 Ademco Inc. Source management for a power transformation system
US9983244B2 (en) 2013-06-28 2018-05-29 Honeywell International Inc. Power transformation system with characterization
US20150039321A1 (en) 2013-07-31 2015-02-05 Arbitron Inc. Apparatus, System and Method for Reading Codes From Digital Audio on a Processing Device
US9711152B2 (en) 2013-07-31 2017-07-18 The Nielsen Company (Us), Llc Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
KR102229356B1 (ko) * 2013-09-05 2021-03-19 삼성전자주식회사 제어 장치
USD750667S1 (en) * 2013-09-10 2016-03-01 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
USD730993S1 (en) 2013-09-20 2015-06-02 Wms Gaming Inc. Inclined input interface for a gaming terminal
US9349240B2 (en) 2013-09-20 2016-05-24 Bally Gaming, Inc. Gaming terminal with an inclined input interface
USD720633S1 (en) 2013-10-25 2015-01-06 Honeywell International Inc. Thermostat
JP6393325B2 (ja) 2013-10-30 2018-09-19 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 関連するユーザインターフェースオブジェクトの表示
US10563876B2 (en) 2013-11-22 2020-02-18 Ademco Inc. Setup routine to facilitate user setup of an HVAC controller
US9673811B2 (en) 2013-11-22 2017-06-06 Honeywell International Inc. Low power consumption AC load switches
US9857091B2 (en) 2013-11-22 2018-01-02 Honeywell International Inc. Thermostat circuitry to control power usage
US20150159895A1 (en) 2013-12-11 2015-06-11 Honeywell International Inc. Building automation system with user defined lifestyle macros
USD761305S1 (en) 2013-12-20 2016-07-12 Microsoft Corporation Display screen with icons
USD753713S1 (en) 2013-12-20 2016-04-12 Microsoft Corporation Display screen with icons
USD758428S1 (en) * 2013-12-20 2016-06-07 Microsoft Corporation Display screen with icons
USD757793S1 (en) 2013-12-20 2016-05-31 Microsoft Corporation Display screen with icons
USD757794S1 (en) * 2013-12-20 2016-05-31 Microsoft Corporation Display screen with icon
KR101548228B1 (ko) * 2013-12-27 2015-08-28 주식회사 케이티 사용자 상태에 기반하여 사용자 인터페이스를 동기화하는 동기화 기기 및 동기화 방법
US9761035B1 (en) * 2014-03-03 2017-09-12 Mindstream Interface Dynamics, Inc. Dynamic user interfaces
US11405463B2 (en) 2014-03-03 2022-08-02 Icontrol Networks, Inc. Media content management
US9477337B2 (en) 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
WO2015149347A1 (en) 2014-04-04 2015-10-08 Microsoft Technology Licensing, Llc Expandable application representation
TWI524620B (zh) * 2014-04-09 2016-03-01 Grand Mate Co Ltd Radiator control method
KR20160143784A (ko) 2014-04-10 2016-12-14 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 컴퓨팅 디바이스용 슬라이더 커버
CN105378582B (zh) 2014-04-10 2019-07-23 微软技术许可有限责任公司 计算设备的可折叠壳盖
GB201408258D0 (en) * 2014-05-09 2014-06-25 British Sky Broadcasting Ltd Television display and remote control
USD778314S1 (en) * 2014-05-13 2017-02-07 Xiaomi Inc. Display screen or portion thereof with a graphical user interface
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US20150355611A1 (en) * 2014-06-06 2015-12-10 Honeywell International Inc. Apparatus and method for combining visualization and interaction in industrial operator consoles
US9628074B2 (en) 2014-06-19 2017-04-18 Honeywell International Inc. Bypass switch for in-line power steal
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10089762B2 (en) * 2014-07-04 2018-10-02 Mapillary Ab Methods for navigating through a set of images
US9683749B2 (en) 2014-07-11 2017-06-20 Honeywell International Inc. Multiple heatsink cooling system for a line voltage thermostat
KR101535032B1 (ko) * 2014-07-17 2015-07-07 현대자동차주식회사 차량 인터페이스 확장 방법
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US10467320B2 (en) * 2014-08-05 2019-11-05 Polycom, Inc. Method for providing seamless graphical user interface control for a complex system consisting of distributed hardware modules
US11103948B2 (en) 2014-08-18 2021-08-31 Illinois Tool Works Inc. Systems and methods for a personally allocated interface for use in a welding system
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US10642365B2 (en) 2014-09-09 2020-05-05 Microsoft Technology Licensing, Llc Parametric inertia and APIs
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9674335B2 (en) 2014-10-30 2017-06-06 Microsoft Technology Licensing, Llc Multi-configuration input device
USD788813S1 (en) * 2014-11-14 2017-06-06 Microsoft Corporation Display screen with icon
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
CN104537907B (zh) * 2015-01-23 2017-06-16 上海宜享智能科技有限公司 一种智能化协同讨论系统
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
CN104867311A (zh) * 2015-05-14 2015-08-26 连宁 通过第三方终端配置无线遥控终端的方法和装置
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9762965B2 (en) 2015-05-29 2017-09-12 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
JP6497624B2 (ja) * 2015-06-15 2019-04-10 パナソニックＩｐマネジメント株式会社 スイッチ、機器制御システム、プログラム
KR102398488B1 (ko) * 2015-06-26 2022-05-13 엘지전자 주식회사 복수의 디바이스에 대한 원격제어를 수행할 수 있는 이동 단말기
CN105117004A (zh) * 2015-08-13 2015-12-02 小米科技有限责任公司 展现设备工作状态的方法和装置
WO2017038261A1 (ja) * 2015-08-28 2017-03-09 シャープ株式会社 表示装置、テレビジョン受像機、プログラム及び記録媒体
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
FR3041857A1 (fr) * 2015-09-30 2017-03-31 Orange Procede de commande locale d'un dispositif electronique
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US9702582B2 (en) 2015-10-12 2017-07-11 Ikorongo Technology, LLC Connected thermostat for controlling a climate system based on a desired usage profile in comparison to other connected thermostats controlling other climate systems
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
GB2552273A (en) * 2015-11-09 2018-01-17 Sky Cp Ltd Television User Interface
DE102016220526A1 (de) * 2016-10-19 2018-04-19 HiAsset GmbH Automatische Menüauswahl in einer Gebäudesteuerung
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10741091B2 (en) 2016-02-05 2020-08-11 ThinkCERCA.com, Inc. Methods and systems for mitigating the effects of intermittent network connectivity in educational settings
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179494B1 (en) * 2016-06-12 2019-01-11 Apple Inc. USER INTERFACE FOR MANAGING CONTROLLABLE EXTERNAL DEVICES
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US10302322B2 (en) 2016-07-22 2019-05-28 Ademco Inc. Triage of initial schedule setup for an HVAC controller
US10253994B2 (en) 2016-07-22 2019-04-09 Ademco Inc. HVAC controller with ventilation review mode
US10488062B2 (en) 2016-07-22 2019-11-26 Ademco Inc. Geofence plus schedule for a building controller
US10317100B2 (en) 2016-07-22 2019-06-11 Ademco Inc. Simplified schedule programming of an HVAC controller
US11435888B1 (en) * 2016-09-21 2022-09-06 Apple Inc. System with position-sensitive electronic device interface
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10444769B2 (en) 2017-04-24 2019-10-15 Rain Bird Corporation Sensor-based interruption of an irrigation controller
US10757873B2 (en) 2017-04-24 2020-09-01 Rain Bird Corporation Sensor-based interruption of an irrigation controller
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
WO2019133273A1 (en) 2017-12-29 2019-07-04 Rain Bird Corporation Weather override irrigation control systems and methods
EP3769510A1 (en) 2018-05-07 2021-01-27 Apple Inc. User interfaces for viewing live video feeds and recorded video
CN108854069B (zh) * 2018-05-29 2020-02-07 腾讯科技（深圳）有限公司 音源确定方法和装置、存储介质及电子装置
US10936163B2 (en) 2018-07-17 2021-03-02 Methodical Mind, Llc. Graphical user interface system
CN113165515B (zh) 2018-11-28 2021-11-02 内奥诺德公司 驾驶员用户界面传感器
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11389735B2 (en) 2019-10-23 2022-07-19 Ganz Virtual pet system
DK202070612A1 (en) 2020-02-14 2021-10-26 Apple Inc User interfaces for workout content
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
US11358059B2 (en) 2020-05-27 2022-06-14 Ganz Live toy system
US11669210B2 (en) 2020-09-30 2023-06-06 Neonode Inc. Optical touch sensor
USD1040852S1 (en) * 2022-08-01 2024-09-03 Altria Client Services Llc Display screen having a graphical user interface
US11886685B1 (en) 2022-10-20 2024-01-30 Stardock Corporation Desktop container peek interface

Family Cites Families (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US34340A (en) * 1862-02-04 Improved washing-machine
US32632A (en) * 1861-06-25 Water-elevator
US566552A (en) * 1896-08-25 Tubular-tower construction
DE2807986A1 (de) * 1978-02-22 1979-08-30 Hertz Inst Heinrich Anlage fuer interaktives kabelfernsehen
US4536791A (en) * 1980-03-31 1985-08-20 Tocom, Inc. Addressable cable television control system with video format data transmission
USRE32632E (en) 1982-07-19 1988-03-29 Apple Computer, Inc. Display system
GB2126054A (en) * 1982-08-11 1984-03-14 Philips Electronic Associated Display system with nested information display
US4622545A (en) * 1982-09-30 1986-11-11 Apple Computer, Inc. Method and apparatus for image compression and manipulation
US4555775B1 (en) * 1982-10-07 1995-12-05 Bell Telephone Labor Inc Dynamic generation and overlaying of graphic windows for multiple active program storage areas
US4533910A (en) * 1982-11-02 1985-08-06 Cadtrak Corporation Graphics display system with viewports of arbitrary location and content
US4641205A (en) * 1984-03-05 1987-02-03 Rca Corporation Television system scheduler with on-screen menu type programming prompting apparatus
US4573072A (en) * 1984-03-21 1986-02-25 Actv Inc. Method for expanding interactive CATV displayable choices for a given channel capacity
US4785408A (en) * 1985-03-11 1988-11-15 AT&T Information Systems Inc. American Telephone and Telegraph Company Method and apparatus for generating computer-controlled interactive voice services
US4873623A (en) * 1985-04-30 1989-10-10 Prometrix Corporation Process control interface with simultaneously displayed three level dynamic menu
US4884223A (en) * 1985-07-05 1989-11-28 Hybond, Inc. Dynamic force measurement system
US4706121B1 (en) * 1985-07-12 1993-12-14 Insight Telecast, Inc. Tv schedule system and process
US4812834A (en) * 1985-08-01 1989-03-14 Cadtrak Corporation Graphics display system with arbitrary overlapping viewports
US4914732A (en) * 1985-10-16 1990-04-03 Supra Products, Inc. Electronic key with interactive graphic user interface
US4653090A (en) * 1985-12-16 1987-03-24 American Telephone & Telegraph (At&T) Graphics based call management
US4893256A (en) * 1986-04-04 1990-01-09 International Business Machines Corporation Interactive video composition and presentation systems
US4899136A (en) * 1986-04-28 1990-02-06 Xerox Corporation Data processor having a user interface display with metaphoric objects
US4939507A (en) * 1986-04-28 1990-07-03 Xerox Corporation Virtual and emulated objects for use in the user interface of a display screen of a display processor
US4750036A (en) * 1986-05-14 1988-06-07 Radio Telcom & Technology, Inc. Interactive television and data transmission system
US5177604A (en) * 1986-05-14 1993-01-05 Radio Telcom & Technology, Inc. Interactive television and data transmission system
US4748618A (en) * 1986-05-21 1988-05-31 Bell Communications Research, Inc. Telecommunications interface
US4772882A (en) * 1986-07-18 1988-09-20 Commodore-Amiga, Inc. Cursor controller user interface system
US4788538A (en) * 1986-11-17 1988-11-29 Lotus Development Corporation Method and apparatus for determining boundaries of graphic regions
US5062060A (en) * 1987-01-05 1991-10-29 Motorola Inc. Computer human interface comprising user-adjustable window for displaying or printing information
US5233687A (en) * 1987-03-25 1993-08-03 Xerox Corporation User interface with multiple workspaces for sharing display system objects
US5072412A (en) * 1987-03-25 1991-12-10 Xerox Corporation User interface with multiple workspaces for sharing display system objects
US5394521A (en) * 1991-12-09 1995-02-28 Xerox Corporation User interface with multiple workspaces for sharing display system objects
US4847700A (en) * 1987-07-16 1989-07-11 Actv, Inc. Interactive television system for providing full motion synched compatible audio/visual displays from transmitted television signals
US5195092A (en) * 1987-08-04 1993-03-16 Telaction Corporation Interactive multimedia presentation & communication system
US4847604A (en) * 1987-08-27 1989-07-11 Doyle Michael D Method and apparatus for identifying features of an image on a video display
USRE34340E (en) 1987-10-26 1993-08-10 Actv, Inc. Closed circuit television system having seamless interactive television programming and expandable user participation
US5008853A (en) * 1987-12-02 1991-04-16 Xerox Corporation Representation of collaborative multi-user activities relative to shared structured data objects in a networked workstation environment
US4935865A (en) * 1988-06-02 1990-06-19 The United States Of America As Represented By The Secretary Of The Air Force Computer controlled electropolishing system
US4890320A (en) * 1988-06-09 1989-12-26 Monslow H Vincent Television broadcast system for selective transmission of viewer-chosen programs at viewer-requested times
US4995078A (en) * 1988-06-09 1991-02-19 Monslow H Vincent Television broadcast system for selective transmission of viewer-chosen programs at viewer-requested times
US4977455B1 (en) * 1988-07-15 1993-04-13 System and process for vcr scheduling
US4931783A (en) * 1988-07-26 1990-06-05 Apple Computer, Inc. Method and apparatus for removable menu window
US5065347A (en) * 1988-08-11 1991-11-12 Xerox Corporation Hierarchical folders display
US5107443A (en) * 1988-09-07 1992-04-21 Xerox Corporation Private regions within a shared workspace
US5146556A (en) * 1988-10-11 1992-09-08 Next Computer, Inc. System and method for managing graphic images
US5021976A (en) * 1988-11-14 1991-06-04 Microelectronics And Computer Technology Corporation Method and system for generating dynamic, interactive visual representations of information structures within a computer
US4987486A (en) * 1988-12-23 1991-01-22 Scientific-Atlanta, Inc. Automatic interactive television terminal configuration
JPH02174360A (ja) * 1988-12-27 1990-07-05 Canon Inc 通信端末装置
US5086385A (en) * 1989-01-31 1992-02-04 Custom Command Systems Expandable home automation system
US5157768A (en) * 1989-03-15 1992-10-20 Sun Microsystems, Inc. Method and apparatus for displaying context sensitive help information on a display
US5155806A (en) * 1989-03-15 1992-10-13 Sun Microsystems, Inc. Method and apparatus for displaying context sensitive help information on a display
US4959720A (en) * 1989-04-06 1990-09-25 Rca Licensing Corporation Tuner control apparatus having tune-by-label capability
US4914517A (en) * 1989-04-06 1990-04-03 Thomson Consumer Electronics, Inc. Tuner control apparatus having tune-by-label capability and using alphabetical label storage
US5014125A (en) * 1989-05-05 1991-05-07 Cableshare, Inc. Television system for the interactive distribution of selectable video presentations
US5333256A (en) * 1989-05-15 1994-07-26 International Business Machines Corporation Methods of monitoring the status of an application program
US5151782A (en) * 1989-05-17 1992-09-29 Reiss Media Enterprises Control system for satellite delivered pay-per-view television system
US5047867A (en) * 1989-06-08 1991-09-10 North American Philips Corporation Interface for a TV-VCR system
US5235679A (en) * 1989-06-14 1993-08-10 Hitachi, Ltd. Guidance method and apparatus upon a computer system
US5471190A (en) * 1989-07-20 1995-11-28 Timothy D. Schoechle Method and apparatus for resource allocation in a communication network system
US5327161A (en) * 1989-08-09 1994-07-05 Microtouch Systems, Inc. System and method for emulating a mouse input device with a touchpad input device
US5241671C1 (en) * 1989-10-26 2002-07-02 Encyclopaedia Britannica Educa Multimedia search system using a plurality of entry path means which indicate interrelatedness of information
EP0874524B1 (en) * 1989-10-30 2003-05-14 Starsight Telecast, Inc. A system for unattended recording of television programs
US5295243A (en) * 1989-12-29 1994-03-15 Xerox Corporation Display of hierarchical three-dimensional structures with rotating substructures
US5347628A (en) * 1990-01-18 1994-09-13 International Business Machines Corporation Method of graphically accessing electronic data
JP2909491B2 (ja) * 1990-01-19 1999-06-23 株式会社山武 設備管理装置
DE69022210T2 (de) * 1990-01-29 1996-05-02 Ibm Datenverarbeitungssystem.
US5140678A (en) * 1990-05-04 1992-08-18 International Business Machines Corporation Computer user interface with window title bar icons
US5140677A (en) * 1990-05-11 1992-08-18 International Business Machines Corporation Computer user interface with window title bar mini-icons
US5412377A (en) * 1990-06-08 1995-05-02 Evans; Benjamin F. Universal remote control program scheduling system
US5361091A (en) * 1990-09-28 1994-11-01 Inteletext Systems, Inc. Interactive home information system for distributing video picture information to television viewers over a fiber optic telephone system
US5093718A (en) * 1990-09-28 1992-03-03 Inteletext Systems, Inc. Interactive home information system
US5526034A (en) * 1990-09-28 1996-06-11 Ictv, Inc. Interactive home information system with signal assignment
US5220420A (en) * 1990-09-28 1993-06-15 Inteletext Systems, Inc. Interactive home information system for distributing compressed television programming
US5204947A (en) * 1990-10-31 1993-04-20 International Business Machines Corporation Application independent (open) hypermedia enablement services
US5393073A (en) * 1990-11-14 1995-02-28 Best; Robert M. Talking video games
JP2957316B2 (ja) * 1990-11-20 1999-10-04 インターナショナル・ビジネス・マシーンズ・コーポレイション 複数のソフトウェア・アプリケーションにアクセスするための方法およびシステム
US5239540A (en) * 1990-11-27 1993-08-24 Scientific-Atlanta, Inc. Method and apparatus for transmitting, receiving and communicating digital data signals with corresponding program data signals which describe the digital data signals
US5148154A (en) * 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5442742A (en) * 1990-12-21 1995-08-15 Apple Computer, Inc. Method and apparatus for the manipulation of text on a computer display screen
US5206722A (en) * 1990-12-28 1993-04-27 At&T Bell Laboratories Remote channel switching for video on demand service
AU1569392A (en) * 1991-02-07 1992-09-07 Data Card Corporation Network interface circuit apparatus and method
US5327160A (en) * 1991-05-09 1994-07-05 Asher David J Touch sensitive user interface for television control
US5236199A (en) * 1991-06-13 1993-08-17 Thompson Jr John W Interactive media system and telecomputing method using telephone keypad signalling
US5381158A (en) * 1991-07-12 1995-01-10 Kabushiki Kaisha Toshiba Information retrieval apparatus
JPH07113881B2 (ja) * 1991-07-17 1995-12-06 財団法人パーソナル情報環境協会 メタファ環境制御方式
US5638505A (en) * 1991-08-16 1997-06-10 Sun Microsystems, Inc. Apparatus and methods for moving/copying objects using destination and/or source bins
CA2068486C (en) * 1991-08-30 1998-09-15 Stephen S. Fleming System and graphical method for creating an object
US5247347A (en) * 1991-09-27 1993-09-21 Bell Atlantic Network Services, Inc. Pstn architecture for video-on-demand services
US5333254A (en) * 1991-10-02 1994-07-26 Xerox Corporation Methods of centering nodes in a hierarchical display
US5396546A (en) * 1991-10-03 1995-03-07 Viscorp Apparatus and method for automatic and user configurable information appliance
US5349658A (en) * 1991-11-01 1994-09-20 Rourke Thomas C O Graphical user interface
US5253067A (en) * 1991-12-16 1993-10-12 Thomson Consumer Electronics, Inc. Channel labeling apparatus for a television receiver wherein graphics and text labels may be selected from a preprogrammed list
US5422993A (en) * 1991-12-17 1995-06-06 International Business Machines Corporation Method and system for performing direct manipulation operations in a computer system
US5297253A (en) * 1992-01-09 1994-03-22 Ehrlich Associates, Inc. Computer user interface navigational tool
WO1993015455A1 (en) * 1992-01-24 1993-08-05 Interactive Media Corporation System for performing function on second portal upon activation of related first portal
US5146901A (en) * 1992-02-03 1992-09-15 General Motors Corporation Vapor suppressing fuel handling system
JP3198486B2 (ja) * 1992-03-11 2001-08-13 ソニー株式会社 Ａｖシステムのモニタ装置
US5461710A (en) * 1992-03-20 1995-10-24 International Business Machines Corporation Method for providing a readily distinguishable template and means of duplication thereof in a computer system graphical user interface
DE4243912A1 (de) * 1992-04-09 1993-10-14 Fuji Photo Film Co Ltd Lichtempfindliches Übertragungsmaterial und Bilderzeugungs-Verfahren unter Verwendung desselben
US5310349A (en) * 1992-04-30 1994-05-10 Jostens Learning Corporation Instructional management system
US5223924A (en) * 1992-05-27 1993-06-29 North American Philips Corporation System and method for automatically correlating user preferences with a T.V. program information database
US5689663A (en) * 1992-06-19 1997-11-18 Microsoft Corporation Remote controller user interface and methods relating thereto
JPH0612401A (ja) * 1992-06-26 1994-01-21 Fuji Xerox Co Ltd 感情模擬装置
US5471564A (en) * 1992-07-10 1995-11-28 Microsoft Corporation System and method for dynamic printer timeout
US5388993A (en) * 1992-07-15 1995-02-14 International Business Machines Corporation Method of and system for demonstrating a computer program
USD348654S (en) 1992-09-14 1994-07-12 Par Technology Corporation Hand held terminal with input keyboard and LCD display touch screen
US5377997A (en) * 1992-09-22 1995-01-03 Sierra On-Line, Inc. Method and apparatus for relating messages and actions in interactive computer games
EP0596594B1 (en) * 1992-10-26 2000-07-12 Sun Microsystems, Inc. Remote control and pointing device
US5442376A (en) * 1992-10-26 1995-08-15 International Business Machines Corporation Handling multiple command recognition inputs in a multi-tasking graphical environment
US5357276A (en) * 1992-12-01 1994-10-18 Scientific-Atlanta, Inc. Method of providing video on demand with VCR like functions
US5410326A (en) * 1992-12-04 1995-04-25 Goldstein; Steven W. Programmable remote control device for interacting with a plurality of remotely controlled devices
US5416901A (en) * 1992-12-17 1995-05-16 International Business Machines Corporation Method and apparatus for facilitating direct icon manipulation operations in a data processing system
US5561444A (en) * 1992-12-21 1996-10-01 Apple Computer, Inc. Method and apparatus for providing visual feedback during manipulation of text on a computer screen
US5428734A (en) * 1992-12-22 1995-06-27 Ibm Corporation Method and apparatus for enhancing drag and drop manipulation of objects in a graphical user interface
US5434965A (en) * 1992-12-23 1995-07-18 Taligent, Inc. Balloon help system
US5463725A (en) * 1992-12-31 1995-10-31 International Business Machines Corp. Data processing system graphical user interface which emulates printed material
US5530865A (en) * 1993-03-03 1996-06-25 Apple Computer, Inc. Method and apparatus for improved application program switching on a computer-controlled display system
US5754178A (en) * 1993-03-03 1998-05-19 Apple Computer, Inc. Method and apparatus for improved feedback during manipulation of data on a computer controlled display system
US5517663A (en) * 1993-03-22 1996-05-14 Kahn; Kenneth M. Animated user interface for computer program creation, control and execution
US5555354A (en) * 1993-03-23 1996-09-10 Silicon Graphics Inc. Method and apparatus for navigation within three-dimensional information landscape
US5812862A (en) * 1993-05-10 1998-09-22 Apple Computer, Inc. Computer-human interface system for compound documents
US5524195A (en) * 1993-05-24 1996-06-04 Sun Microsystems, Inc. Graphical user interface for interactive television with an animated agent
EP0626635B1 (en) * 1993-05-24 2003-03-05 Sun Microsystems, Inc. Improved graphical user interface with method for interfacing to remote devices
US5491784A (en) * 1993-12-30 1996-02-13 International Business Machines Corporation Method and apparatus for facilitating integration of software objects between workspaces in a data processing system graphical user interface
US5515385A (en) * 1994-03-09 1996-05-07 Motorola, Inc. Device and method for limiting delay by substantial elimination of duplicate synchronous data frames in a communication system
US5500794A (en) * 1994-03-31 1996-03-19 Panasonic Technologies, Inc. Distribution system and method for menu-driven user interface
US5491743A (en) * 1994-05-24 1996-02-13 International Business Machines Corporation Virtual conference system and terminal apparatus therefor
US5600785A (en) * 1994-09-09 1997-02-04 Compaq Computer Corporation Computer system with error handling before reset
US5657221A (en) * 1994-09-16 1997-08-12 Medialink Technologies Corporation Method and apparatus for controlling non-computer system devices by manipulating a graphical representation
DK0712926T3 (da) * 1994-10-18 2004-02-09 Akzo Nobel Nv Virus, der forårsager bugspytkirtelsygdom hos fisk
US5543857A (en) * 1994-10-25 1996-08-06 Thomson Consumer Electronics, Inc. Graphical menu for a television receiver
US6724732B1 (en) * 1999-01-05 2004-04-20 Lucent Technologies Inc. Dynamic adjustment of timers in a communication network
US6574770B1 (en) * 2000-06-29 2003-06-03 Lucent Technologies Inc. Error-correcting communication method for transmitting data packets in a network communication system

Cited By (183)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7530024B2 (en) 1993-07-30 2009-05-05 Canon Kabushiki Kaisha System using icons representative for controlling data input and output relationship between a network of multimedia devices
JPH08110955A (ja) * 1994-07-08 1996-04-30 Microsoft Corp 動画化したキャラクタを伴う実社会型インターフェイスを有するソフトウェアプラットホーム
JPH096575A (ja) * 1995-06-16 1997-01-10 Sony Corp 情報通信方法及び装置
JPH096576A (ja) * 1995-06-16 1997-01-10 Sony Corp オンライン端末装置及び画像表示方法
JPH096577A (ja) * 1995-06-16 1997-01-10 Sony Corp 画像表示装置及び画像表示方法
JPH0997162A (ja) * 1995-10-02 1997-04-08 Sony Corp 画像制御装置および方法
JPH0997154A (ja) * 1995-10-02 1997-04-08 Sony Corp 画像制御装置および方法
JPH0997153A (ja) * 1995-10-02 1997-04-08 Sony Corp 画像制御装置および方法
JPH09116791A (ja) * 1995-10-23 1997-05-02 Nikon Corp 情報処理機器
JPH10228380A (ja) * 1996-06-05 1998-08-25 Sun Microsyst Inc 低減されたラン−タイム・メモリ空間要求を有するネットワーク移動コードを実行する方法及びコンピュータ・システム
USRE44006E1 (en) 1996-12-20 2013-02-19 Koninklijke Philips Electronics N.V. User interface for television
JPH10232757A (ja) * 1997-02-19 1998-09-02 Sharp Corp メディア選択装置
JP2008148344A (ja) * 1997-08-06 2008-06-26 Koninkl Philips Electronics Nv 汎用リモートコントローラ用自動設定機構
JP4568753B2 (ja) * 1997-08-06 2010-10-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 汎用リモートコントローラ用自動設定機構
JPH1165968A (ja) * 1997-08-13 1999-03-09 Nippon Telegr & Teleph Corp <Ntt> ネットワーク管理方法及びそのシステム
JPH11110106A (ja) * 1997-10-02 1999-04-23 Sharp Corp メニュー操作装置
KR100775711B1 (ko) * 1999-06-14 2007-11-09 소니 가부시끼 가이샤 제어기 디바이스, 통신 시스템 및 제어 방법
JP2003512668A (ja) * 1999-10-20 2003-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 情報処理装置
JP2009211712A (ja) * 2000-11-10 2009-09-17 Sharp Corp サービス情報収集装置、クライアント装置、サービス提供装置、サービス提供システム、サービス中継方法、サービス中継プログラム、サービス実行制御方法、サービス実行制御プログラム、サービス提供方法、および、サービス提供プログラム
JP2008257740A (ja) * 2001-03-31 2008-10-23 Siebel Systems Inc 適応型通信アプリケーション・プログラミング・インタフェース
JP2004070956A (ja) * 2002-08-01 2004-03-04 Xerox Corp 通信制御システムおよびその方法
JP4532861B2 (ja) * 2002-08-01 2010-08-25 ゼロックス コーポレイション 通信制御システムおよびその方法
JP2013033530A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013041623A (ja) * 2003-04-03 2013-02-28 Thomson Licensing メニューボタンを表示する方法
JP2011034597A (ja) * 2003-04-03 2011-02-17 Thomson Licensing メニューボタンを表示する方法
JP2011044136A (ja) * 2003-04-03 2011-03-03 Thomson Licensing メニューボタンを表示する方法
JP4656549B2 (ja) * 2003-04-03 2011-03-23 トムソン ライセンシング メニューボタンを表示する方法
JP2011060315A (ja) * 2003-04-03 2011-03-24 Thomson Licensing メニューボタンを表示する方法
JP2011076710A (ja) * 2003-04-03 2011-04-14 Thomson Licensing メニューボタンを表示する方法
JP2011076618A (ja) * 2003-04-03 2011-04-14 Thomson Licensing メニューボタンを表示する方法
JP2011081898A (ja) * 2003-04-03 2011-04-21 Thomson Licensing メニューボタンを表示する方法
JP2015064906A (ja) * 2003-04-03 2015-04-09 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ メニューボタンを表示する方法
JP2011165196A (ja) * 2003-04-03 2011-08-25 Thomson Licensing メニューボタンを表示する方法
JP2013251007A (ja) * 2003-04-03 2013-12-12 Thomson Licensing メニューボタンを表示する方法
JP2013101620A (ja) * 2003-04-03 2013-05-23 Thomson Licensing メニューボタンを表示する方法
JP2013101621A (ja) * 2003-04-03 2013-05-23 Thomson Licensing メニューボタンを表示する方法
JP2013080480A (ja) * 2003-04-03 2013-05-02 Thomson Licensing メニューボタンを表示する方法
JP2013080479A (ja) * 2003-04-03 2013-05-02 Thomson Licensing メニューボタンを表示する方法
JP2013080555A (ja) * 2003-04-03 2013-05-02 Thomson Licensing メニューボタンを表示する方法
JP2013030222A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030224A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030225A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030228A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030221A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030220A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030223A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030230A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030216A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030213A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030215A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030208A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030227A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030229A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030219A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030211A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030207A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030232A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030212A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030218A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030210A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030206A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030231A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030217A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030226A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030214A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013030209A (ja) * 2003-04-03 2013-02-07 Thomson Licensing メニューボタンを表示する方法
JP2013033539A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033522A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033536A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033546A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033519A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033545A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033535A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033527A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033520A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033528A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033525A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033547A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033524A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033532A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033523A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033544A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033540A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033542A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033526A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033538A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033533A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033541A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033531A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033543A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013077304A (ja) * 2003-04-03 2013-04-25 Thomson Licensing メニューボタンを表示する方法
JP2013033529A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033518A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033534A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033521A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2013033537A (ja) * 2003-04-03 2013-02-14 Thomson Licensing メニューボタンを表示する方法
JP2006522391A (ja) * 2003-04-03 2006-09-28 トムソン ライセンシング メニューボタンのプレゼンテーション方法
JP2013041615A (ja) * 2003-04-03 2013-02-28 Thomson Licensing メニューボタンを表示する方法
JP2013041614A (ja) * 2003-04-03 2013-02-28 Thomson Licensing メニューボタンを表示する方法
JP2013041616A (ja) * 2003-04-03 2013-02-28 Thomson Licensing メニューボタンを表示する方法
JP2013041617A (ja) * 2003-04-03 2013-02-28 Thomson Licensing メニューボタンを表示する方法
JP2013041613A (ja) * 2003-04-03 2013-02-28 Thomson Licensing メニューボタンを表示する方法
JP2013041621A (ja) * 2003-04-03 2013-02-28 Thomson Licensing メニューボタンを表示する方法
JP2013077303A (ja) * 2003-04-03 2013-04-25 Thomson Licensing メニューボタンを表示する方法
JP2013041618A (ja) * 2003-04-03 2013-02-28 Thomson Licensing メニューボタンを表示する方法
JP2013041620A (ja) * 2003-04-03 2013-02-28 Thomson Licensing メニューボタンを表示する方法
JP2013041619A (ja) * 2003-04-03 2013-02-28 Thomson Licensing メニューボタンを表示する方法
JP2013041622A (ja) * 2003-04-03 2013-02-28 Thomson Licensing メニューボタンを表示する方法
JP2013047984A (ja) * 2003-04-03 2013-03-07 Thomson Licensing メニューボタンを表示する方法
JP2013047983A (ja) * 2003-04-03 2013-03-07 Thomson Licensing メニューボタンを表示する方法
JP2013047985A (ja) * 2003-04-03 2013-03-07 Thomson Licensing メニューボタンを表示する方法
JP2013047982A (ja) * 2003-04-03 2013-03-07 Thomson Licensing メニューボタンを表示する方法
JP2013047986A (ja) * 2003-04-03 2013-03-07 Thomson Licensing メニューボタンを表示する方法
JP2013050986A (ja) * 2003-04-03 2013-03-14 Thomson Licensing メニューボタンを表示する方法
JP2013050981A (ja) * 2003-04-03 2013-03-14 Thomson Licensing メニューボタンを表示する方法
JP2013050985A (ja) * 2003-04-03 2013-03-14 Thomson Licensing メニューボタンを表示する方法
JP2013050989A (ja) * 2003-04-03 2013-03-14 Thomson Licensing メニューボタンを表示する方法
JP2013050987A (ja) * 2003-04-03 2013-03-14 Thomson Licensing メニューボタンを表示する方法
JP2013050988A (ja) * 2003-04-03 2013-03-14 Thomson Licensing メニューボタンを表示する方法
JP2013050983A (ja) * 2003-04-03 2013-03-14 Thomson Licensing メニューボタンを表示する方法
JP2013050980A (ja) * 2003-04-03 2013-03-14 Thomson Licensing メニューボタンを表示する方法
JP2013050984A (ja) * 2003-04-03 2013-03-14 Thomson Licensing メニューボタンを表示する方法
JP2013050982A (ja) * 2003-04-03 2013-03-14 Thomson Licensing メニューボタンを表示する方法
JP2013054762A (ja) * 2003-04-03 2013-03-21 Thomson Licensing メニューボタンを表示する方法
JP2013054765A (ja) * 2003-04-03 2013-03-21 Thomson Licensing メニューボタンを表示する方法
JP2013054763A (ja) * 2003-04-03 2013-03-21 Thomson Licensing メニューボタンを表示する方法
JP2013054766A (ja) * 2003-04-03 2013-03-21 Thomson Licensing メニューボタンを表示する方法
JP2013054764A (ja) * 2003-04-03 2013-03-21 Thomson Licensing メニューボタンを表示する方法
JP2013058242A (ja) * 2003-04-03 2013-03-28 Thomson Licensing メニューボタンを表示する方法
JP2013058243A (ja) * 2003-04-03 2013-03-28 Thomson Licensing メニューボタンを表示する方法
JP2013058244A (ja) * 2003-04-03 2013-03-28 Thomson Licensing メニューボタンを表示する方法
JP2013058241A (ja) * 2003-04-03 2013-03-28 Thomson Licensing メニューボタンを表示する方法
JP2013058245A (ja) * 2003-04-03 2013-03-28 Thomson Licensing メニューボタンを表示する方法
JP2013058238A (ja) * 2003-04-03 2013-03-28 Thomson Licensing メニューボタンを表示する方法
JP2013058236A (ja) * 2003-04-03 2013-03-28 Thomson Licensing メニューボタンを表示する方法
JP2013058235A (ja) * 2003-04-03 2013-03-28 Thomson Licensing メニューボタンを表示する方法
JP2013058237A (ja) * 2003-04-03 2013-03-28 Thomson Licensing メニューボタンを表示する方法
JP2013058240A (ja) * 2003-04-03 2013-03-28 Thomson Licensing メニューボタンを表示する方法
JP2013058234A (ja) * 2003-04-03 2013-03-28 Thomson Licensing メニューボタンを表示する方法
JP2013058233A (ja) * 2003-04-03 2013-03-28 Thomson Licensing メニューボタンを表示する方法
JP2013058246A (ja) * 2003-04-03 2013-03-28 Thomson Licensing メニューボタンを表示する方法
JP2013058239A (ja) * 2003-04-03 2013-03-28 Thomson Licensing メニューボタンを表示する方法
JP2013061963A (ja) * 2003-04-03 2013-04-04 Thomson Licensing メニューボタンを表示する方法
JP2013061967A (ja) * 2003-04-03 2013-04-04 Thomson Licensing メニューボタンを表示する方法
JP2013061962A (ja) * 2003-04-03 2013-04-04 Thomson Licensing メニューボタンを表示する方法
JP2013061968A (ja) * 2003-04-03 2013-04-04 Thomson Licensing メニューボタンを表示する方法
JP2013061960A (ja) * 2003-04-03 2013-04-04 Thomson Licensing メニューボタンを表示する方法
JP2013061966A (ja) * 2003-04-03 2013-04-04 Thomson Licensing メニューボタンを表示する方法
JP2013061969A (ja) * 2003-04-03 2013-04-04 Thomson Licensing メニューボタンを表示する方法
JP2013061965A (ja) * 2003-04-03 2013-04-04 Thomson Licensing メニューボタンを表示する方法
JP2013061964A (ja) * 2003-04-03 2013-04-04 Thomson Licensing メニューボタンを表示する方法
JP2013061961A (ja) * 2003-04-03 2013-04-04 Thomson Licensing メニューボタンを表示する方法
JP2013065324A (ja) * 2003-04-03 2013-04-11 Thomson Licensing メニューボタンを表示する方法
JP2013065322A (ja) * 2003-04-03 2013-04-11 Thomson Licensing メニューボタンを表示する方法
JP2013065323A (ja) * 2003-04-03 2013-04-11 Thomson Licensing メニューボタンを表示する方法
JP2013069308A (ja) * 2003-04-03 2013-04-18 Thomson Licensing メニューボタンを表示する方法
JP2013069312A (ja) * 2003-04-03 2013-04-18 Thomson Licensing メニューボタンを表示する方法
JP2013069311A (ja) * 2003-04-03 2013-04-18 Thomson Licensing メニューボタンを表示する方法
JP2013069317A (ja) * 2003-04-03 2013-04-18 Thomson Licensing メニューボタンを表示する方法
JP2013069307A (ja) * 2003-04-03 2013-04-18 Thomson Licensing メニューボタンを表示する方法
JP2013069310A (ja) * 2003-04-03 2013-04-18 Thomson Licensing メニューボタンを表示する方法
JP2013069314A (ja) * 2003-04-03 2013-04-18 Thomson Licensing メニューボタンを表示する方法
JP2013069318A (ja) * 2003-04-03 2013-04-18 Thomson Licensing メニューボタンを表示する方法
JP2013069315A (ja) * 2003-04-03 2013-04-18 Thomson Licensing メニューボタンを表示する方法
JP2013069313A (ja) * 2003-04-03 2013-04-18 Thomson Licensing メニューボタンを表示する方法
JP2013069309A (ja) * 2003-04-03 2013-04-18 Thomson Licensing メニューボタンを表示する方法
JP2013069316A (ja) * 2003-04-03 2013-04-18 Thomson Licensing メニューボタンを表示する方法
JP2013069319A (ja) * 2003-04-03 2013-04-18 Thomson Licensing メニューボタンを表示する方法
JP2005039517A (ja) * 2003-07-15 2005-02-10 Sony Corp 端末装置及び表示制御プログラム
US8332779B2 (en) 2003-08-28 2012-12-11 Sony Corporation Information processing apparatus, method, and storage medium containing information processing program with rotary operation
US7975237B2 (en) 2003-08-28 2011-07-05 Sony Corporation Information processing apparatus, information processing method, and storage medium containing information processing program with rotary operation
US8631344B2 (en) 2003-08-28 2014-01-14 Sony Corporation Menu display apparatus, menu display method, and storage medium containing menu display program
JP2008204402A (ja) * 2007-02-22 2008-09-04 Eastman Kodak Co ユーザインターフェース装置
WO2008136151A1 (ja) * 2007-04-24 2008-11-13 Sony Computer Entertainment Inc. 画像表示装置、画像表示方法及び情報記憶媒体
US8952982B2 (en) 2007-04-24 2015-02-10 Sony Corporation Image display device, image display method and information recording medium for displaying and scrolling objects on a display
JP2012517630A (ja) * 2009-02-09 2012-08-02 ノキア コーポレイション 情報の表示
WO2012039441A1 (ja) * 2010-09-24 2012-03-29 シャープ株式会社 コンテンツ表示装置、コンテンツ表示方法、携帯端末、プログラム、及び記録媒体
JP2012069008A (ja) * 2010-09-24 2012-04-05 Sharp Corp コンテンツ表示装置、制御方法、携帯端末、プログラム及び記録媒体
JP2012069010A (ja) * 2010-09-24 2012-04-05 Sharp Corp コンテンツ表示装置、コンテンツ表示方法、プログラム、および記録媒体
US9189070B2 (en) 2010-09-24 2015-11-17 Sharp Kabushiki Kaisha Content display device, content display method, portable terminal, program, and recording medium
JP2014170330A (ja) * 2013-03-02 2014-09-18 Yasuaki Iwai 仮想現実提示システム、仮想現実提示方法、仮想現実提示装置
JP2013175222A (ja) * 2013-04-23 2013-09-05 Sharp Corp コンテンツ表示装置、コンテンツ表示方法、プログラム、および記録媒体
JP2016071192A (ja) * 2014-09-30 2016-05-09 株式会社Ｎｔｔドコモ 対話装置および対話方法

Also Published As

Publication number Publication date
US20020060701A1 (en) 2002-05-23
EP0626635A3 (en) 1997-02-12
US7240289B2 (en) 2007-07-03
DE69432199D1 (de) 2003-04-10
DE69432199T2 (de) 2004-01-08
EP0626635B1 (en) 2003-03-05
US6020881A (en) 2000-02-01
JP2005293599A (ja) 2005-10-20
EP0626635A2 (en) 1994-11-30
US5886697A (en) 1999-03-23
US6344861B1 (en) 2002-02-05
US5995106A (en) 1999-11-30
US6160551A (en) 2000-12-12
JP4471114B2 (ja) 2010-06-02
JP3898235B2 (ja) 2007-03-28
US6154209A (en) 2000-11-28

Similar Documents

Publication Publication Date Title
JP3898235B2 (ja) 図形ユーザーインターフェースの提供方法
US10754517B2 (en) System and methods for interacting with a control environment
US7917868B2 (en) Three-dimensional motion graphic user interface and method and apparatus for providing the same
Myers Using handhelds and PCs together
US7761813B2 (en) Three-dimensional motion graphic user interface and method and apparatus for providing the same
US20030222915A1 (en) Data processor controlled display system with drag and drop movement of displayed items from source to destination screen positions and interactive modification of dragged items during the movement
US5973697A (en) Method and system for providing preferred face views of objects in a three-dimensional (3D) environment in a display in a computer system
US9395906B2 (en) Graphic user interface device and method of displaying graphic objects
JP2003528377A (ja) 三次元空間ユーザ・インタフェース
JPH0869524A (ja) ディジタルフォイルの経路を選定する方法、表示システム及び経路選定装置
Beaudouin-Lafon et al. CPN/Tools: A post-WIMP interface for editing and simulating coloured Petri nets
Deller et al. ModControl–mobile phones as a versatile interaction device for large screen applications
JPH11143677A (ja) ポインタ装置
CN100498683C (zh) 计算机网络界面的管理方法
CN100476695C (zh) 计算机界面的管理方法
Otto et al. Innovative UI Concepts for Mobile Devices
CN117839209A (zh) 游戏界面交互方法、装置、可读存储介质与电子设备
JP2001236158A (ja) メニューシステム、メニュー処理方法及びメニュー処理プログラムを記録した記録媒体
Robinsson A Personal Digital Assistant interface for Immersive Projection Technology visualisation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 19940705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20010523

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20010523

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20020326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20020326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20030714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041005

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050105

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060425

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060721

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061221

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110105

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120105

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130105

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130105

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term