JP5072844B2 - User interface service provision - Google Patents

User interface service provision Download PDF

Info

Publication number
JP5072844B2
JP5072844B2 JP2008526213A JP2008526213A JP5072844B2 JP 5072844 B2 JP5072844 B2 JP 5072844B2 JP 2008526213 A JP2008526213 A JP 2008526213A JP 2008526213 A JP2008526213 A JP 2008526213A JP 5072844 B2 JP5072844 B2 JP 5072844B2
Authority
JP
Japan
Prior art keywords
uis
presentation
service providing
client
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008526213A
Other languages
Japanese (ja)
Other versions
JP2009505235A (en
Inventor
ダブリュ.ベンソン ロジャー
アール.フルマー ディヴィッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2009505235A publication Critical patent/JP2009505235A/en
Application granted granted Critical
Publication of JP5072844B2 publication Critical patent/JP5072844B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

パーソナルコンピュータ(コンピューティングデバイスのアレイを考察するために本明細書で使用される)は、オフィスはもちろん、それ以上に家庭のリビングルームにふさわしいデバイスへと発展し続けている。例えば、PCの一般的な用途は、PVR(パーソナルビデオレコーダ)として知られるDVR(デジタルビデオレコーダ)として使用することである。このような形で使用されるPCは、興味のあるテレビ番組などのメディア番組を後から再生するために録画したり、または外部デバイスにダウンロードすることができる。用途を広げていく、コンピュータに関連する進化的側面の1つに、そのユーザインターフェース(UI)の進化がある。   Personal computers (used herein to consider an array of computing devices) continue to evolve into devices that are more suitable for the living room of the home as well as the office. For example, a common use of PCs is for use as a DVR (Digital Video Recorder) known as PVR (Personal Video Recorder). A PC used in this manner can record a media program such as a television program of interest for later playback or download to an external device. One of the evolutionary aspects related to computers that expands its usage is the evolution of its user interface (UI).

従来、コンピュータは、2フィートUI(長さ約61cm)と本明細書で呼ばれるUI、つまり近接UIと情報のやり取りを行ってきた。2フィートUIは、コンピュータ画面から、約2フィート(61cm)離れている、またはほぼ腕の長さ分だけ離れているユーザに関連して使用されるように設計されている。コンピュータ用に設計されたグラフィカルユーザインターフェース(GUI)のほとんどすべては、2フィートUIである。しかし近年、10フィートUI(長さ約3m)というアイデアが具体化した。10フィートUIを使用すると、さらに遠い距離−テレビを見る距離程度−からコンピュータとの情報のやり取りが容易になる。このUIのタイプに対する他の記述的用語として、「遠隔ユーザインターフェース(Distance User Interface)」(DUI)がある。もちろん、「10フィートUI」または「DUI」という用語は、ちょうど10フィート(3m)のところにあるコンピュータと相互にやり取りすることを考慮しておらず、むしろ、ほぼテレビ視聴距離のところからPCを操作するという概念を記述するために本明細書では使用される。   Conventionally, computers have exchanged information with a UI referred to herein as a two-foot UI (length: about 61 cm), that is, a proximity UI. The 2 foot UI is designed to be used in connection with users who are about 2 feet (61 cm) away from the computer screen, or approximately the length of their arms. Almost all graphical user interfaces (GUIs) designed for computers are 2 foot UIs. However, in recent years, the idea of a 10-foot UI (about 3 meters in length) has been materialized. Using a 10-foot UI makes it easy to exchange information with a computer from a farther distance—about the distance to watch TV. Another descriptive term for this type of UI is “Distance User Interface” (DUI). Of course, the terms “10 feet UI” or “DUI” do not consider interacting with a computer that is exactly 10 feet (3 meters), but rather, the PC from about a TV viewing distance. Used herein to describe the concept of manipulating.

このようなDUIの一実施例は、名称「User Interface for Operating a Computer From A Distance」の同時係属出願第10/174,619号において説明されている。他のこのようなシステムの一実施例およびその相互のやり取りは、名称「User Friendly Remote System Interface」の米国特許第6,313,851号および名称「User-Friendly Remote System Interface With Menu Highlighting」の米国特許第6,898,765号において説明されている。これらの参考文献それぞれは、参照により本明細書に明示的に組み込まれている。   One embodiment of such a DUI is described in co-pending application No. 10 / 174,619 with the name “User Interface for Operating a Computer From A Distance”. Another embodiment of such a system and its interaction are described in US Pat. No. 6,313,851 entitled “User Friendly Remote System Interface” and US in the name “User-Friendly Remote System Interface With Menu Highlighting”. This is described in US Pat. No. 6,898,765. Each of these references is expressly incorporated herein by reference.

ユーザインターフェースシェル(UIS)は、ユーザへのデータの提示を制御するために様々なアプリケーション(コンピュータのオペレーティングシステムを含む)と相互にやり取りする環境の一種である。一般に、10フィートUIアプリケーションは、10フィートUIを提示するシステムと互換性があるわけではない。2フィートUIに関連して動作するように構成される必要があるのとまったく同様に、アプリケーションは、10フィートUIに関連して動作するように構成されなければならない。このような構成は、ソフトウェアおよびUI開発者の両方にとって特に問題となる可能性がある。   A user interface shell (UIS) is a type of environment that interacts with various applications (including computer operating systems) to control the presentation of data to the user. In general, a 10 foot UI application is not compatible with a system that presents a 10 foot UI. Just as an application needs to be configured to operate in conjunction with a 2 foot UI, the application must be configured to operate in conjunction with a 10 foot UI. Such a configuration can be particularly problematic for both software and UI developers.

これが問題である理由の1つは、相互運用性を保証することに関連している。つまり、UIは、所望のアプリケーションとの互換性を有していなければならない。ソフトウェアベンダは、アプリケーションに関連付けられているデータを提示するために使用されることになっているUIとの互換性を自分達のアプリケーションに持たせなければならない。相互にやり取りすべきシェルが多いほど、ソフトウェアベンダが多数の人々により使用できるアプリケーションを開発する際に直面する負担が増大する。   One reason why this is a problem is related to ensuring interoperability. In other words, the UI must be compatible with the desired application. Software vendors must make their applications compatible with the UI that is to be used to present the data associated with the application. The more shells that must interact with each other, the greater the burden that software vendors face when developing applications that can be used by many people.

この課題に対し可能性のある解決策の1つは、単一のUI、本明細書で規定しているように、単一の10フィートUIのみを備えることである。このシナリオは、独立系ソフトウェアベンダ(ISV)にとっては重要なものとなる。なぜならば、彼らは、単一の10フィートUIのみと相互にやり取りするように自分達のアプリケーションをプログラムする必要があるからである。しかし、このシナリオには、他のソフトウェアベンダ、特に、代替UIシェル(第1シェル、またはデフォルトのシェルの代替)を開発することに従事しているベンダにとって遺憾な点が多い。特定のソフトウェアベンダが、カスタマイズされた10フィートUIを備えることを望む場合がある。しかし、カスタマイズされた10フィートUIを開発することを望むその企業は、本発明がなければ、そのUIが他の様々なソフトウェアベンダにより提供される様々な製品との互換性を有することを保証する厄介な仕事に直面する。   One possible solution to this challenge is to have only a single UI, as defined herein, a single 10 foot UI. This scenario is important for independent software vendors (ISVs). This is because they need to program their applications to interact with only a single 10 foot UI. However, this scenario has many regrets for other software vendors, especially those engaged in developing alternative UI shells (first shell, or alternative to the default shell). Certain software vendors may wish to have a customized 10 foot UI. However, the company wishing to develop a customized 10 foot UI ensures that without the present invention, the UI is compatible with various products offered by various other software vendors. Face a messy job.

さらに、ベンダが、代替10フィートUISなどの代替UISを独立に開発しようとした場合には、機能、ブランドなどでそのシェルをカスタマイズすることができるだろうけれども、UIS(他のアプリケーションおよびハードウェアデバイスなどと通信する)のタスクすべてを実行できる必要がある。このような試みは、資源集約的であるだけでなく、市場によってどれだけ受け入れられ、様々なハードウェアおよびソフトウェア製品とどの程度互換性があるかについて、かなりの不確定性を伴う。現行技術は、とりわけ、完全相互運用性を持つUIを開発することに関連する負担を担うことなく所望のソフトウェアベンダがカスタマイズされた10フィートUIを実現することができる方法およびシステムを提供することによって、改善することが可能であろう。   In addition, if a vendor attempts to independently develop an alternative UIS, such as an alternative 10-foot UIS, the shell may be customized with features, brands, etc., although UIS (other applications and hardware devices) Communicate with other tasks). Such attempts are not only resource intensive, but involve considerable uncertainties as to how well they are accepted by the market and how compatible with various hardware and software products. Current technology, among other things, by providing a method and system that allows a desired software vendor to achieve a customized 10 foot UI without the burden associated with developing a fully interoperable UI. It would be possible to improve.

本発明の実施形態は、とりわけ、第1のUISを使用して第2のUISをサービスすることにより、1つまたは複数のコンピューティングデバイスとの相互のやり取りを容易にするシステムおよび方法を提供することで、少なくとも上記の問題点を解決する。本発明は、クライアント/サーバのタイプまたは関係をユーザインターフェースに拡大適用する。本発明は、UIシェルの開発を容易にすること、およびそれにより、動作しているコンピューティングシステムで代替UIシェルを利用できるようにすることに関連する資源を低減することを含む当業のいくつかの実用的応用を有する。   Embodiments of the present invention provide, among other things, a system and method that facilitates interaction with one or more computing devices by servicing a second UIS using a first UIS. This solves at least the above problems. The present invention extends the client / server type or relationship to the user interface. The present invention provides several methods in the art, including facilitating UI shell development and thereby reducing resources associated with making an alternative UI shell available to a running computing system. Have practical applications.

第1の例示的な態様において、サービス提供ユーザインターフェースシェル(UIS)と連携する提示UI(presented UI)を提示する方法を容易に実行できるようにするアプリケーションプログラムインターフェース(API)(複数のコンポーネントインターフェースから構成することができる)が備えられる。この方法は、タスクが完了することを示すデータを受信すること、タスクの完了を調整すること、および提示UIに制御権を返却することを含む。   In a first exemplary aspect, an application program interface (API) (from multiple component interfaces) that facilitates a method for presenting a presented UI (presented UI) in conjunction with a service providing user interface shell (UIS) Can be configured). The method includes receiving data indicating that the task is complete, coordinating the completion of the task, and returning control to the presentation UI.

第2の例示的な態様において、本発明の一実施形態は、第2のUISで第1のグラフィカルUISをサービスすることを含むコンピュータ実装方法の形態をとる。第1のUISは、クライアントUISとすることができ、第2のUISは、サービス提供UISであり、第1のUISは、第2のUISによるサービスを受ける。   In a second exemplary aspect, one embodiment of the invention takes the form of a computer-implemented method that includes servicing a first graphical UIS with a second UIS. The first UIS can be a client UIS, the second UIS is a service providing UIS, and the first UIS is serviced by the second UIS.

第3の例示的な一態様では、本発明の一実施形態は、第2のUI環境で第1のUI環境をサービスすることを含む。   In a third exemplary aspect, an embodiment of the invention includes servicing a first UI environment with a second UI environment.

第4の例示的な一態様では、本発明の一実施形態は、少なくとも2つのUIシェルを有する1つまたは複数のコンピューティングデバイスとの相互のやり取りを容易にする方法を実行するためのコンピュータプログラム製品である。この方法は、ユーザには提示されない第1のUISを使用して、ユーザに提示される第2のUISをサービスすることを含む。   In a fourth exemplary aspect, an embodiment of the invention provides a computer program for performing a method that facilitates interaction with one or more computing devices having at least two UI shells. It is a product. The method includes servicing a second UIS that is presented to the user using a first UIS that is not presented to the user.

最後の例示的な一態様では、本発明の一実施形態は、非表示UISによるサービスを受ける1つまたは複数のコンピュータ可読媒体上に具現化される表示可能UISである。   In one last exemplary aspect, one embodiment of the present invention is a displayable UIS embodied on one or more computer-readable media served by a hidden UIS.

本発明は、参照により本明細書に組み込まれている、付属の図面を参照しつつ以下で詳しく説明される。   The present invention is described in detail below with reference to the accompanying drawings, which are incorporated herein by reference.

すでに述べたように、UI開発者は、様々なオペレーティングシステム、サードパーティ製アプリケーション、ハードウェアデバイスなどと互換性のある独立のUIを作成することに関連する作業を行うことなく、10フィートUIの独自ルック・アンド・フィール(look and feel)をデザインし、そのようなルック・アンド・フィールをユーザに提示することを望む場合がある。本明細書で説明されている解決策では、第1のユーザインターフェースシェル(UIS)に、第2のUIS(代替またはカスタマイズされたUIS)をサービスさせ、その結果、コンピュータユーザにはカスタマイズされたUIが見えるが、カスタマイズされたUIは、独立のUIと関連する従来の「力仕事」を行うサービス提供UIと連携して動作するようになる。UIシェルは、UI環境の一種である。   As already mentioned, UI developers can use the 10-foot UI without the work associated with creating independent UIs compatible with various operating systems, third-party applications, hardware devices, etc. You may want to design your own look and feel and present such a look and feel to the user. The solution described herein causes a first user interface shell (UIS) to service a second UIS (alternate or customized UIS), so that the computer user has a customized UI. However, the customized UI will operate in conjunction with a service provisioning UI that performs the traditional “powerful work” associated with an independent UI. The UI shell is a kind of UI environment.

ある意味で、本発明の一実施形態の一態様は、見せかけ(facade)として説明することも可能であろう。クライアントUIは、ユーザに提示される一種の見せかけである。そのため、クライアントシェルが提示されるが、サービス提供シェルは、一実施形態にはない。本発明の様々な実施形態によれば、サービス提供UISは、一端のクライアントUIとのデータ交換、および様々なアプリケーションと他端の他のコンポーネントとの間のデータ交換を容易にするユニバーサルUI(表示されないが、必要とあれば表示可能である)となる。   In a sense, one aspect of one embodiment of the present invention could be described as a facade. The client UI is a kind of appearance presented to the user. Thus, although a client shell is presented, the service providing shell is not in one embodiment. In accordance with various embodiments of the present invention, a service providing UIS is a universal UI (display) that facilitates data exchange with a client UI at one end and data exchange between various applications and other components at the other end. But can be displayed if necessary).

本発明の説明全体を通して、関連するシステムおよびサービスに関係するいくつかの概念を理解しやすくするために複数の頭字語と簡略表記が使用される。これらの頭字語および簡略表記は、本明細書で明らかにされるアイデアを伝達する簡便な方法を提供することのみを目的としており、決して、本発明の範囲を制限することを意図していない。これらの頭字語のリストを以下に掲載する。
API:アプリケーションプログラムインターフェース
サービス提供UIS:クライアントUIシェルと呼ばれる他のユーザインターフェースシェルをサービスするユーザインターフェースシェル。
クライアントUIS:サービス提供UISと呼ばれる他のユーザインターフェースシェルによるサービスを受けるユーザインターフェースシェル。
ISV:独立系ソフトウェアベンダ
10フィートUI/DUI:10フィート(約3m)のユーザインターフェース/遠隔ユーザインターフェース(ほぼテレビ視聴距離のところからコンピュータを操作する)。
2フィートUI/DUI:2フィート(約61cm)のユーザインターフェース(ほぼテレビ視聴距離のところからコンピュータを操作する)。
UI:ユーザインターフェース
UIS:ユーザインターフェースシェル
Throughout the description of the present invention, multiple acronyms and shorthand notations are used to facilitate understanding of some concepts related to related systems and services. These acronyms and shorthand notations are intended only to provide a convenient way of communicating the ideas disclosed herein, and are not intended to limit the scope of the invention in any way. A list of these acronyms is given below.
API: Application program interface service provision UIS: A user interface shell that services another user interface shell called a client UI shell.
Client UIS: A user interface shell that receives services from another user interface shell called a service providing UIS.
ISV: Independent software vendor 10 ft UI / DUI: 10 ft user interface / remote user interface (operates the computer from approximately the TV viewing distance).
2 feet UI / DUI: 2 feet (about 61 cm) user interface (operating a computer from a distance of about a television viewing distance).
UI: User interface UIS: User interface shell

図1に戻ると、本発明の例示的な一実施形態が示されており、全体として番号110で参照される。API 112が参照される。API 112は、方法などで様々な機能的態様を公開する構成要素の集合で構成することができるが、本明細書では、本発明をわかりにくくしないため、また読みやすくするために、単数形で主に参照される。API 112を使用すると、一実施形態においてサービス提供UIS 116によるサービスを受けるクライアントUIS 114間の通信が容易に行える。   Returning to FIG. 1, an exemplary embodiment of the present invention is shown and is generally referred to by the number 110. API 112 is referenced. The API 112 can be composed of a collection of components that expose various functional aspects, such as in a method, but in this document it is singular to avoid obscuring the present invention and to make it easier to read. Mainly referenced. The use of API 112 facilitates communication between client UIS 114 that are serviced by service providing UIS 116 in one embodiment.

サービス提供UIS 116は、一種のサーバコンポーネントとして、UIS 116に関して一種のクライアントとして動作するクライアントUIS 114の要求をサービスすることを求める。それぞれのUISは、本発明のいくつかの実施形態により、直接的に、または間接的に他のアプリケーションをホストすることができる。   The service providing UIS 116, as a kind of server component, seeks to service the request of the client UIS 114 that operates as a kind of client with respect to the UIS 116. Each UIS can host other applications either directly or indirectly according to some embodiments of the present invention.

様々なネットワークは、本発明をわかりにくくしないために図1に示されていないが、それは、そのようなネットワークが本発明の範囲内でうまく考えられる場合である。例えば、サービス提供UIS 116およびクライアントUIS 114は、1つまたは複数のネットワークによって互いに結合された異なるPCなどの異なるデバイス上に常駐することができる。上でほのめかされているように、シェルは、ネットワーク上でクライアントサーバ型アレンジにより動作することができる。例えば、クライアントUIS 114は、一種のクライアントとして、比較的多くの資源集約的タスクを遂行するために一種のサーバとして動作するサービス提供UIS 116によるサービスを受ける。用語「クライアント」および「サーバ」(および「サービス提供」などの変更形態)が本明細書で使用されるが、これらは、シェルの様々な機能的態様を説明するために使用される。これらは、その用語の歴史的意味に関して、必ずしもそれ自体「クライアント」または「サーバ」ではない。しかし、これらの用語は、本発明に関連する概念を伝える。   Various networks are not shown in FIG. 1 in order not to obscure the present invention, which is the case when such networks are considered well within the scope of the present invention. For example, the serving UIS 116 and the client UIS 114 can reside on different devices such as different PCs coupled to each other by one or more networks. As alluded to above, the shell can operate in a client-server arrangement on the network. For example, the client UIS 114 is serviced by a service providing UIS 116 that operates as a type of server to perform a relatively large number of resource intensive tasks as a type of client. The terms “client” and “server” (and variations such as “service provision”) are used herein, which are used to describe various functional aspects of the shell. They are not necessarily themselves “clients” or “servers” with respect to the historical meaning of the term. However, these terms convey concepts related to the present invention.

要するに、クライアントUIS 114は、他のUIシェルによって履行される要求をサブミットするUIシェルである。サービス提供UIシェルは、他のUIシェルをサービスする(以下で説明されるように、要求を受信する、タスクを完了する、など)シェルである。クライアントUIS 114は、サービス提供UIS 116によるサービスを受ける。しかし、ユーザには、クライアントUIS 114に関連するコンポーネント(UIコンポーネントなど)しか見えないので、ユーザはサービス提供UIS 116が存在していることすら知らない場合がある。同様に、いくつかのアプリケーションでは、クライアントUIS 114が存在することすら知らない場合がある。なぜならば、一実施形態においては、アプリケーションは、サービス提供UIS 116と相互にやり取りし、次いで、サービス提供UIS 116がデータまたはデータの変更形態をクライアントUIS 114にわたすからである。   In short, the client UIS 114 is a UI shell that submits requests fulfilled by other UI shells. A service-providing UI shell is a shell that services other UI shells (such as receiving a request, completing a task, etc., as described below). The client UIS 114 receives a service provided by the service providing UIS 116. However, since the user only sees components related to the client UIS 114 (such as UI components), the user may not even know that the serving UIS 116 exists. Similarly, some applications may not even know that the client UIS 114 is present. This is because, in one embodiment, the application interacts with the service providing UIS 116, and then the service providing UIS 116 passes the data or data modifications to the client UIS 114.

様々な視覚的要素またはデータコンポーネントが、提示領域118における表示デバイスに提示され、これは、コンピュータのモニタ、ハンドヘルドデバイスの形態を取りうる。提示領域118は、ユーザ選択領域120、および、ビデオの再生、画像の表示、または番号124により一般に参照されるアプリケーションの集合と相互にやり取りするサービス提供UIS 116からのフィードの表示のようなものについて使用できる挿入物(インセット:inset)122などの、いくつかの例示的なコンポーネントを示す。前の方で示唆されている参考文献では、例示的なDUIのコンポーネント、ナビゲーションなどを詳細に説明している。   Various visual elements or data components are presented on a display device in the presentation area 118, which may take the form of a computer monitor, a handheld device. The presentation area 118 is for user selection area 120 and the like, such as playing a video, displaying an image, or displaying a feed from a service providing UIS 116 that interacts with a collection of applications generally referenced by number 124. Several exemplary components are shown, such as inserts 122 that can be used. References suggested earlier describe in detail exemplary DUI components, navigation, and the like.

アプリケーション124の集合は、例示的であり、メディアプレーヤ124A、ソフトウェアフレームワーク124B、コンピュータまたはソフトウェアアドイン124C、他のアプリケーションまたはさらにはオペレーティングシステム124D、またはオペレーティングシステムそれ自体124Eなどの例示的なアイテムを含む。オペレーティングシステムそれ自体124Eは、第1のAPI 126A、第2のAPI 126B、第3のAPI 126C、および第4のAPI 126Dなどのそれぞれのインターフェースを介して前述のアプリケーション124と通信するのとは反対に、一実施形態においてサービス提供UIS 116によって直接的動作する場合があるものとして示している。   The collection of applications 124 is exemplary and includes exemplary items such as media player 124A, software framework 124B, computer or software add-in 124C, other applications or even operating system 124D, or operating system itself 124E. . The operating system itself 124E is the opposite of communicating with the aforementioned application 124 via respective interfaces such as the first API 126A, the second API 126B, the third API 126C, and the fourth API 126D. In one embodiment, the service providing UIS 116 may operate directly.

データの一部は、番号128A〜Dにより参照されるが、本明細書では番号128として総称され、提示領域118とクライアントUIS 114との間で、またはクライアントUIS 114およびサービス提供116との間でデータが一般的に移動するという概念を伝えることができる。しかし、より具体的には、データ部分128Aは、提示領域118からクライアントUIS 114に届くデータに対応し、参照番号128Bは、API 112からサービス提供UIS 116へ交換されるデータを指しており、データ部分128Cは、サービス提供UIS 116からAPI 112へ伝達されるデータを指しており、データ部分128Dは、クライアントUIS 114から提示領域118へ伝達されるデータを指している。データフローは、例示することを目的としてブロック図形態で示されている。実際のデータフローは、データフローの実際の性質のせいで示されているものと異なる場合があるが、そのようなものは、請求項の範囲内で考えられる。   Some of the data is referenced by the numbers 128A-D, but is collectively referred to herein as the number 128, between the presentation area 118 and the client UIS 114, or between the client UIS 114 and the service provider 116. Can convey the concept that data generally moves. More specifically, however, the data portion 128A corresponds to the data that arrives from the presentation area 118 to the client UIS 114, and the reference number 128B refers to the data that is exchanged from the API 112 to the service providing UIS 116, Portion 128C points to data communicated from service providing UIS 116 to API 112, and data portion 128D points to data transmitted from client UIS 114 to presentation area 118. The data flow is shown in block diagram form for purposes of illustration. Although the actual data flow may differ from that shown due to the actual nature of the data flow, such is contemplated within the scope of the claims.

図1で使用される形状および記号は、特定の形状が特定のものを意味する本質的に任意の流れ図に準拠しようとしているものとして解釈すべきではない。むしろ、図は、様々な実用的アプリケーション、および本発明により実現される技術の利点の一部を絵によりわかりやすく示す。例えば、パズルのピースを使用してアプリケーションプログラムインターフェースの概念を絵で例示する方法が用いられる。例えば、図1は、クライアントUIS 114がAPI 112と互換性があることを示している。   The shapes and symbols used in FIG. 1 should not be construed as trying to conform to essentially any flow diagram where a particular shape means a particular thing. Rather, the figures illustrate various practical applications and some of the advantages of the technology realized by the present invention with pictures. For example, a method of exemplifying the concept of an application program interface using a puzzle piece is used. For example, FIG. 1 shows that the client UIS 114 is compatible with the API 112.

サービス提供UIS 116は、様々なソフトウェアアプリケーション124と相互にやり取りする一群のAPI 126A〜126Dに関連付けられている。本明細書で使用されているように、「ソフトウェアアプリケーション」という用語は、広い意味で使用され、コンピューティングシステム内で使用される実行可能ファイル、ライブラリ、および他のソフトウェアコンポーネントなどを考慮する。図に示されているように、第1のAPI 126Aは、特定メディアプレーヤ124Aとの相互のやり取りを容易にすることができる。図には示されていないが、異なるAPIが、異なるメディアプレーヤと相互にやり取りするために使用されることができ、または、すべてのメディアプレーヤが第1のAPI 126Aと相互にやり取りする場合もありえる。同様に、フレームワーク124Bは、通信を行うためにAPI 126Bを必要とすることがある。例示的なフレームワークは、Microsoft Corporationによって提供される「.NET Framework」を含む。   The service providing UIS 116 is associated with a group of APIs 126A-126D that interact with various software applications 124. As used herein, the term “software application” is used in a broad sense and considers executable files, libraries, other software components, etc. used within a computing system. As shown, the first API 126A can facilitate interaction with the specific media player 124A. Although not shown in the figure, different APIs can be used to interact with different media players, or all media players can interact with the first API 126A. . Similarly, framework 124B may require API 126B to communicate. Exemplary frameworks include “.NET Framework” provided by Microsoft Corporation.

カスタマイズされたインターフェースがサービス提供UIS 116と通信する必要がある場合の他の例では、第3のAPI 126Cを使用するアドイン124Cのインターフェースを含む。利用可能な多数のソフトウェアアプリケーションと相互にやり取りすることに関連する様々なAPIのすべてを列挙しようとすると、本発明の焦点をぼかすことになる。したがって、図1に示されているものよりも多くのAPIが本明細書で特に考察されていることを示すために、省略記号が示される。最後の例示的なAPI、第4のAPI 126Dは、他のアプリケーションまたはオペレーティングシステム124Dと相互にやり取りするために使用されるものとして示されている。もちろん、サービス提供UIS 116は、オペレーティングシステム124Eと直接的に、または様々な他のソフトウェアプログラムと直接的に相互にやり取りすることができる。   Another example where a customized interface needs to communicate with the serving UIS 116 includes an add-in 124C interface that uses a third API 126C. Attempting to enumerate all of the various APIs associated with interacting with the many available software applications will defocus the present invention. Accordingly, ellipses are shown to indicate that more APIs than those shown in FIG. 1 are specifically contemplated herein. The last exemplary API, fourth API 126D, is shown as being used to interact with other applications or operating system 124D. Of course, the service providing UIS 116 can interact directly with the operating system 124E or directly with various other software programs.

しかし、本発明の一実施形態によれば、クライアントUIS 114は、第1のAPI 126A、第2のAPI 126Bなどを認識する必要もなく、またオペレーティングシステム124Eとの直接的リンクも認識することすら必要としないが、それは、API 112を介してサービス提供UIS 116と相互にやり取りする方法を知るだけで、十分に他のコンポーネントと間接的に相互にやり取りすることができるからである。   However, according to one embodiment of the present invention, the client UIS 114 does not need to recognize the first API 126A, the second API 126B, etc., or even recognizes a direct link with the operating system 124E. Although not required, it is sufficient to know how to interact with the service providing UIS 116 via the API 112 and can sufficiently interact with other components indirectly.

クライアントUIS 114では、カスタマイズされた表示(ディスプレイ)118をユーザに提示することができる。入力データが、カスタマイズされたクライアントUIS 114を介してユーザから受信されると、そのデータは、API 112を介してサービス提供UIS116にわたすことができる。サービス提供UIS116は、クライアントUIS 114により求められた様々なタスクの遂行を調整する。このようにして、開発者は、サービス提供UIS 116などの自社独自の本格的シェルを開発することに関連する互換性問題を取り扱わずに表示をカスタマイズする機会を与えられる。   The client UIS 114 can present a customized display 118 to the user. As input data is received from the user via the customized client UIS 114, the data can be passed to the serving UIS 116 via the API 112. The service providing UIS 116 coordinates the performance of various tasks sought by the client UIS 114. In this way, developers are given the opportunity to customize the display without dealing with compatibility issues associated with developing their own full-fledged shells, such as service offering UIS 116.

本発明の一実施形態では、サービス提供UIS 116は、提示領域118内に独自コンポーネントをそれ自体表示することはなく、むしろAPI 112を介してクライアントUIS 114によるそのようなコンポーネントの表示を容易にする10フィートUISである。この実施形態では、クライアントUIS 114は、サービス提供UIS 116に関してカスタマイズされた代替10フィートUI(UIS 116の代替)である。API 112は、便宜上、単数形で参照されており、これからもそうするが、すでに述べたように、本発明では、API 112は、複数のアプリケーションプログラムインターフェースで構成できると考えている。本発明では、とりわけ、ソフトウェアベンダが、クライアントUIS 114などの代替シェルを介して提示したいものを提示することができるこれらのAPIを公開する。   In one embodiment of the invention, the serving UIS 116 does not display its own components in the presentation area 118 itself, but rather facilitates the display of such components by the client UIS 114 via the API 112. 10 feet UIS. In this embodiment, the client UIS 114 is an alternate 10 foot UI (an alternative to the UIS 116) customized with respect to the serving UIS 116. The API 112 has been referred to in the singular form for convenience and will continue to do so, but as previously described, the present invention believes that the API 112 can be comprised of multiple application program interfaces. In the present invention, among others, software vendors expose these APIs that can present what they want to present via an alternative shell, such as client UIS 114.

一実施形態では、サービス提供UIS 116は、データ、タスクなどがクライアントUIS 114により受け取られ、サービス提供UIS 116にわたされ、そうすることでそれらのタスクが容易に遂行され、該当する場合には、データがクライアントUIS 114に返され、提示領域118にデータを提示することを含む用途に使用されることができるようにクライアントUIS 114をサービスする。   In one embodiment, the service providing UIS 116 receives data, tasks, etc. received by the client UIS 114 and passed to the service providing UIS 116 so that those tasks can be easily performed, if applicable. The client UIS 114 is serviced so that the data can be returned to the client UIS 114 and used for applications including presenting the data in the presentation area 118.

一実施形態では、サービス提供UIS 116は、ユーザが見ることができるように従来どおりデータそれ自体を提示するUISの修正バージョンとすることができる。修正された状態では、コンポーネントそれ自体を提示するよりもむしろ、サービス提供UIS 116は、グラフィック表示に関連する方策を用いて、クライアントUIS 114によって求められるデータの表示を容易にする。一態様では、サービス提供UIS 116は、不可視モードで動作し、クライアントUIS 114などのサードパーティ製アプリケーションをサービスする。   In one embodiment, the serving UIS 116 may be a modified version of the UIS that presents the data itself as is conventionally viewable by the user. In the modified state, rather than presenting the component itself, the serving UIS 116 facilitates the display of data sought by the client UIS 114 using strategies related to the graphical display. In one aspect, the serving UIS 116 operates in an invisible mode and services third party applications such as the client UIS 114.

したがって、サービス提供UIS 116がないと、クライアントUIS 114は、ソフトウェアアプリケーション124と直接的に相互にやり取りする方法を知っている必要があるが、本発明の一実施形態を使用すると、クライアントUIS 114は、その必要がない。クライアントUIS 114は、API 112を通じてサービス提供UIS 116と相互にやり取りのみするように構成される必要がある。同様に、ソフトウェアアプリケーション124のメーカーなどのソフトウェア開発者は、API 126A〜126Dのうちの1つなど、単一のAPIと連携して動作する製品を開発し続けることができる。第1のAPI 126Aが、サービス提供UIS 114をメディアプレーヤと連携動作させることができるAPIを表す例示的な実施例を考える。メディアプレーヤ開発者は、そのソフトウェア124Aを何度も繰り返し提供してUIS 116およびクライアントUIS 114の両方との連携動作をする必要はなく、むしろ、サービス提供UIS 116との連携動作をすればよい。   Thus, without the serving UIS 116, the client UIS 114 needs to know how to interact directly with the software application 124, but using one embodiment of the present invention, the client UIS 114 That is not necessary. The client UIS 114 needs to be configured to only interact with the serving UIS 116 through the API 112. Similarly, a software developer, such as the manufacturer of software application 124, can continue to develop products that operate in conjunction with a single API, such as one of APIs 126A-126D. Consider an illustrative example in which a first API 126A represents an API that allows a service providing UIS 114 to operate in conjunction with a media player. The media player developer does not need to provide the software 124A over and over again to cooperate with both the UIS 116 and the client UIS 114. Rather, the media player developer may cooperate with the service providing UIS 116.

図1Aに少しの間戻ると、異なるベンダ140のクライアントUISは、さらに異なるベンダ142のクライアントUISとともに示されている。本発明の一実施形態を使用すれば、メディアプレーヤ124A(または何らかのアプリケーション)は、クライアントUIS 140または142などの様々なクライアント10フィートUIシェルを気にする必要はない。UIS 140および142は、API 112と互換性を有し、相互にやり取りするように設計されたアームを持つことが絵で示されていることに留意されたい。これは、代替UI開発者が気にする必要のある唯一のAPIがAPI 112であるからである。UI開発者が、サービス提供UIS 116に関連するAPI 112を使用するUIを作ることができる場合には、サービス提供UIS 116の性質のおかげで、開発者は、サービス提供UIS 116を自由に使ってアプリケーションの間接的制御を利用する。サービス提供UIS 116は、クライアントUIシェル(114、140、142など)およびアプリケーション124がサービス提供UIS 116と突き合わせて試験のみすればよいように標準実行環境として動作可能である。   Returning briefly to FIG. 1A, the client UIS of the different vendor 140 is shown with the client UIS of the different vendor 142. Using one embodiment of the present invention, media player 124A (or any application) does not need to care about various client 10 foot UI shells such as client UIS 140 or 142. Note that UIS 140 and 142 are pictorially shown to have arms that are compatible with API 112 and designed to interact with each other. This is because API 112 is the only API that alternative UI developers need to be concerned about. If the UI developer can create a UI that uses the API 112 associated with the service provisioning UIS 116, the developer is free to use the service provisioning UIS 116 because of the nature of the service provisioning UIS 116. Use indirect control of the application. The service providing UIS 116 can operate as a standard execution environment so that the client UI shell (114, 140, 142, etc.) and the application 124 need only test against the service providing UIS 116.

そこで、図2に戻ると、コンピューティングデバイスとの相互のやり取りを容易にする例示的な方法が示されており、また番号200により総称されている。プロセス200のステップは、図1Aで説明されているコンポーネントに関連して説明される。以下のステップは、ただ1つの実施形態のものであるが、本質的に例示的であることを目的としており、本質的に制限するものとして解釈すべきではなく、むしろ、本発明の一実施形態の様々な機能的態様を例示することを目的としている。   Returning now to FIG. 2, an exemplary method for facilitating interaction with a computing device is shown and is generally referred to by the number 200. The steps of process 200 are described in connection with the components described in FIG. 1A. The following steps are of only one embodiment, but are intended to be exemplary in nature and should not be construed as limiting in nature, rather, one embodiment of the present invention. The purpose is to illustrate various functional aspects.

一実施形態では、ユーザ入力は、ステップ210でクライアントUIS 114によって受信される。このユーザ入力は、提示領域118内の表現、マウスクリック、無線キーボードから受信したキーボードコマンド、例えば、選択領域120から楽曲またはビデオの再生をするなどのリモートコントロールから受信された刺激などを選択するという性質のものでよい。ユーザ入力は、人間による入力に限られないが、いくつかの実施形態では、他のマシンまたは同じマシンのコンポーネントから受信された入力を考えることができる。   In one embodiment, user input is received by client UIS 114 at step 210. This user input selects an expression in the presentation area 118, a mouse click, a keyboard command received from the wireless keyboard, for example, a stimulus received from a remote control such as playing a song or video from the selection area 120, etc. It may be of a nature. User input is not limited to human input, but in some embodiments, input received from other machines or components of the same machine can be considered.

ステップ212において、データは、ステップ210で受信されたユーザ入力に基づき、サービス提供UIS 116に伝達される。一実施形態では、伝達されるこのデータは、データコンポーネント128Aであってよい。データ128Aは、ステップ210のユーザ入力を介して受信したそのままのデータであるか、またはその変更形態もしくは追加とすることができる。以下に、この概念を具現化する一実施例を示す。   In step 212, the data is communicated to the serving UIS 116 based on the user input received in step 210. In one embodiment, this data communicated may be data component 128A. Data 128A may be the raw data received via the user input in step 210, or may be a modified form or addition thereof. An example embodying this concept is shown below.

ユーザは、特定のチャネルにナビゲートにしたい場合があり、データ128Aは、所望のチャネルの指定と、さらには所望のテレビ番組を表示する表示領域を提示することに関連付けられている命令セットとの両方を含む。したがって、ステップ214において、サービス提供UISは、ステップ212で受信したデータに関連付けられているタスクの遂行を調整する。これらのタスクは、様々な形態を取りうる。次の複数の段落において、クライアントUIS 114により要求されるか、またはクライアントUIS 114に関連付けられる可能性があり、またサービス提供UIS 116に関連して容易にされる、限定的であり例示的な様々なタスクのリストを提供する。   The user may wish to navigate to a particular channel, and data 128A includes a specification of the desired channel and an instruction set associated with presenting a display area that displays the desired television program. Includes both. Accordingly, in step 214, the serving UIS coordinates the performance of the task associated with the data received in step 212. These tasks can take a variety of forms. In the following paragraphs, a limited and exemplary variety that may be required by or associated with the client UIS 114 and facilitated in connection with the serving UIS 116. A list of important tasks.

第1の例示的なタスクは、互換性のあるアプリケーションを列挙することを含む。すでに述べたように、10フィートUI上で動作するアプリケーションは、一般に、2フィートUI上で動作する場合と異なる形で構成される。様々な理由から、コンピュータシステム上にインストールされているどのようなソフトウェアアプリケーションが特定のUISと互換性を有するかを知っていると都合がよい。クライアントUIS 114は、サービス提供UIS 116のおかげでアプリケーション124と間接的互換性を有するので、クライアントUIS 114は、相互にやり取りするためにどのようなアプリケーションが利用可能かを知りたい場合がある。このタスクは、様々な互換性のあるソフトウェアアプリケーションの名前、配置される場所、備える機能、メタデータを含むアプリケーションに関連付けられているアイコンおよび他の属性などを挙げることを含むことも可能である。アプリケーションを列挙することは、利用可能で、かつクライアントUIS 114と互換性のあるどのようなアプリケーションとも関連付けられている、いかなる抽出可能な属性を抽出することを含む。   The first exemplary task includes enumerating compatible applications. As already mentioned, applications that run on a 10 foot UI are generally configured differently than those that run on a 2 foot UI. For various reasons, it is convenient to know what software applications installed on a computer system are compatible with a particular UIS. Because the client UIS 114 is indirectly compatible with the application 124 thanks to the service providing UIS 116, the client UIS 114 may want to know what applications are available to interact with each other. This task can also include naming various compatible software applications, where they are located, features they have, icons and other attributes associated with the application including metadata, and so forth. Enumerating applications includes extracting any extractable attribute that is associated with any application that is available and compatible with client UIS 114.

他の例示的なタスクは、それぞれの機能および/または属性に基づいてアプリケーションのフィルタリングすることを含む。ここで、クライアントUIS 114は、特定の属性を含むすべてのアプリケーション、例えば、サウンドカードを必要とするアプリケーションを認識または識別したい場合がある(実質的にはどのようなものでもよい)。このタスクは、リソースおよび機能を指定し、次いで、与えられた基準に合致するソフトウェアアプリケーションを利用可能なリソースのプールから問い合わせるか、あるいは別の方法で決定することを伴う。そのため、クライアントUIS 114は、例えば、画像を提示したり、ビデオを再生したり、または記録を録画したりするために使用することができるすべてのアプリケーションを識別することができる。   Other exemplary tasks include filtering the application based on the respective function and / or attribute. Here, the client UIS 114 may want to recognize or identify all applications that include a particular attribute, such as an application that requires a sound card (substantially anything). This task involves specifying resources and functions and then querying or otherwise determining a software application that meets the given criteria from a pool of available resources. Thus, the client UIS 114 can identify all applications that can be used, for example, to present an image, play a video, or record a recording.

他の例示的なタスクは、データをユーザに提示することを含む。クライアントUIS 114は、カスタマイズされたフォーマットに従って提示領域118内にデータを提示しなければならない。しかし、様々なハードウェアコンポーネントおよび/またはソフトウェアコンポーネントと相互にやり取りするために、サービス提供UIS 116は、このような提示を容易にする。クライアントUIS 114は、提示領域118に示されるようなコンポーネントを提示することに関連する様々な複雑な部分を最終的には制御することができるとしても、サービス提供UIS 116は、クライアントUIS 114と連携して動作し、様々な表示コンポーネントを提示することに関連して使用されるデータを供給する。本発明の一実施形態は、UIまたは他のデータが1つ(または複数)の表示デバイスに提示されるときにクライアントUIS 114がクライアントUISに従うことを含む。そのため、クライアントUIS 114は、サービス提供UIS 116に従って、サービス提供UIS 116がアプリケーション124などのアプリケーションに関連付けられている表示データを提示できるようにすることが可能である。   Other exemplary tasks include presenting data to the user. Client UIS 114 must present data in presentation area 118 according to a customized format. However, in order to interact with various hardware and / or software components, the service providing UIS 116 facilitates such presentation. Even though the client UIS 114 can ultimately control the various complex parts associated with presenting the components as shown in the presentation area 118, the serving UIS 116 works with the client UIS 114. And provides data used in connection with presenting various display components. One embodiment of the present invention includes the client UIS 114 following the client UIS when UI or other data is presented on one (or more) display devices. As such, the client UIS 114 can allow the service providing UIS 116 to present display data associated with an application, such as the application 124, in accordance with the service providing UIS 116.

他の例示的なタスクでは、クライアントUIS 114が、ソフトウェアアプリケーション124A〜Eのうちの1つなどのアプリケーションを起動するようサービス提供UIS 116に指令することができる。ここでは、クライアントUIS 114は、起動すべき所望のアプリケーションを指定して識別するか、または方法で参照することができ、サービス提供UIS 116にわたされたデータ128Aなどのデータを使用して、サービス提供UIS 116は、所望のアプリケーションの起動を容易にする。画面サイズ、ウィンドウタイプ、位置などの環境パラメータも、データ128Aとしてわたすことが可能であろう。   In another exemplary task, the client UIS 114 can instruct the serving UIS 116 to launch an application, such as one of the software applications 124A-E. Here, the client UIS 114 can specify and identify or refer to the desired application to be launched and use data such as data 128A passed to the service providing UIS 116 to The provided UIS 116 facilitates launching of the desired application. Environmental parameters such as screen size, window type, and position could also be passed as data 128A.

他のタスクでは、サービス提供UIS 116が他のタスクを実行している間に、サービス提供UIS 116を制御する手段を保持する。例えば、サービス提供UIS 116が第1のタスクを遂行している間に、ユーザは、クライアントUIS 114のおかげで、例えば、アイコンを移動するか、またはウィンドウのサイズを変更する指令をコンピュータに出す。このようなコマンドは、サービス提供UIS 116にわたすことが可能であろうが、これは同時に他のタスクの実行を容易にするとしてもそうである。   In other tasks, the service providing UIS 116 retains a means to control the service providing UIS 116 while performing other tasks. For example, while the serving UIS 116 is performing a first task, the user may, for example, issue a command to the computer to move the icon or resize the window thanks to the client UIS 114. Such a command could be passed to the serving UIS 116, even if it facilitates the execution of other tasks at the same time.

他のタスクは、サービス提供UIS 116が知るべき特定のイベントを修正すること、または、サービス提供UIS 116が知るべき特定のイベントをクライアントUIS 114に通知することを含む。例えば、サービス提供UIS 116がタスクを完了したときに、クライアントUIS 114に制御権を返すことができる。そのアクティビティを終わらせるこのイベントは、制御を引き継ぐ用意や準備がなされるように、クライアントUIS 114が認識しなければならない何かである。サービス提供UIS 116は、さらに、エラー条件、UIコンポーネント移動、サイズ変更などのフィードバックを送ることも可能であろう。   Other tasks include modifying a particular event that the serving UIS 116 should know or notifying the client UIS 114 of a particular event that the serving UIS 116 should know. For example, control can be returned to the client UIS 114 when the service providing UIS 116 completes the task. This event that ends the activity is something that the client UIS 114 must be aware of so that it can be prepared to take over control. The serving UIS 116 may also send feedback such as error conditions, UI component movement, resizing, etc.

他の例示的なタスクは、代替シェル、つまりクライアントUIS 114に返す追加APIのコールバックを容易にすることを含む。言い換えれば、このタスクは、クライアントUIS 114に、サービス提供UIS 116が認識されるべきとみなしている何かを認識させる。サービス提供UIS 116が、例えば、認識されるべきであると知っていると思われる何らかのイベントまたは出来事が発生した場合には、そのことをクライアントUIS 114に通知する。いくつかの本実施形態では、このタスクは、データをクライアントUIS 114に転送するという形をとる。例えば、特定のテレビ番組を録画したいということをユーザが示す実施例を考える。その入力は、クライアントUIS 114を経由して来て、次いで、クライアントUIS 114は、その要求をサービス提供UIS 116に伝達する。録画する番組の指示を除いて、どのような情報もわたすことができないが、サービス提供UIS 116は、所望の番組の録画を容易にすることに関して遂行されなければならない他の機能も認識している場合がある。したがって、サービス提供UIS 116は、録画情報をクライアントUIS 114に返して、それ独自の録画コンポーネントまたは他の何らかの録画アプリケーションを使用できるようにすることが可能である。多くの場合、サービス提供UIS 116は、ビデオ録画などのイベントを遂行する自身の機能を備えている。しかし、クライアントUIS 114の一部が、ビデオ録画コンポーネント(または画像表示コンポーネント、オーディオ提示コンポーネントなど)を含む場合がある。この場合、クライアントUIS 114は、ビデオ番組を録画および/または再生することに関連するカスタマイズされた表示を提示する。そして、例えば、ビデオキャプチャカードなどのデバイスと相互にやり取りする必要があるけれども、カスタマイズされたUIを提示するように構成されうる。そのようなものとして、サービス提供UIS 116への要求を開始して、番組を録画することに関連する複雑な作業を容易にし、クライアントUIS 114がその録画コンポーネント、または他の録画コンポーネントと整合性のある番組イベントをおそらく録画することを可能にするデータを返すことができる。このタスクは、クライアントUIS 114からの要求に関連するデータを提供する。   Other exemplary tasks include facilitating callbacks for additional APIs that are returned to the alternate shell, the client UIS 114. In other words, this task makes the client UIS 114 aware of what the serving UIS 116 considers to be recognized. The service UIS 116 notifies the client UIS 114 of any events or events that may be known to be recognized, for example. In some present embodiments, this task takes the form of transferring data to the client UIS 114. For example, consider an embodiment where the user indicates that he wants to record a particular television program. The input comes via the client UIS 114, which then communicates the request to the serving UIS 116. Although no information can be given except for the indication of the program to be recorded, the service UIS 116 also recognizes other functions that must be performed with respect to facilitating recording of the desired program. There is a case. Accordingly, the serving UIS 116 can return recording information to the client UIS 114 to use its own recording component or some other recording application. In many cases, the service providing UIS 116 has its own ability to perform events such as video recording. However, some of the client UIS 114 may include a video recording component (or image display component, audio presentation component, etc.). In this case, client UIS 114 presents a customized display associated with recording and / or playing a video program. And, for example, it may be configured to present a customized UI, although it needs to interact with a device such as a video capture card. As such, it initiates a request to the serving UIS 116 to facilitate the complex work associated with recording a program, and the client UIS 114 is consistent with its recording component or other recording components. Data can be returned that allows a program event to possibly be recorded. This task provides data related to requests from client UIS 114.

他の例示的なタスクは、クライアントUIS 114がサービス提供UIS 116に追加機能を加えるための方法を実行することを含む。つまり、サービス提供UIS 116は、クライアントUIS 114によってサービス提供UIS 116に供給されたデータに従って成長または進化するように構成することができる。このタスクは、クライアントUIS 114などの代替シェルに、API 112などのサービス提供UIS 116に関連付けられているAPIセットの拡張を任せることを含む。このようなタスクの例示的な一実施例は、例えば起動時など何らかの時点に提示領域118にある種の表示ボックスを提示することがクライアントUISで望まれている方法に似た何かとすることができる。おそらく、画像が表示されるか、あるいはテキスト、あるいは小さなビデオクリップなどが表示される。クライアントUIS 114で表示したいものをウィンドウに表示できるようにウィンドウと相互にやり取りする追加のAPIを公開することができる。API 112が、そのような相互のやり取りを容易にする命令セットを備えていなかった場合には、このタスクは、そのような相互のやり取りを行う機能をAPI 112に補う機能を備える。   Another exemplary task includes the client UIS 114 performing a method for adding additional functionality to the serving UIS 116. That is, the service providing UIS 116 can be configured to grow or evolve according to the data provided by the client UIS 114 to the service providing UIS 116. This task includes leaving an alternative shell, such as client UIS 114, to extend the API set associated with a serving UIS 116, such as API 112. An illustrative example of such a task can be something similar to the way a client UIS would like to present a certain display box in the presentation area 118 at some point, such as at startup. . Perhaps an image is displayed or text or a small video clip is displayed. Additional APIs that interact with the window can be published so that the client UIS 114 can display what it wants to display in the window. If the API 112 does not have an instruction set for facilitating such mutual exchange, this task has a function for supplementing the API 112 with a function for performing such mutual exchange.

他の例示的なタスクは、他の変更が生じている間に、バックグラウンドまたはフォアグラウンドでイベントを持続させることができる機能に関係する。このようなタスクの例示的な実施例は、インセット122を参照しつつ説明される。インセット122は、バックグラウンドで変更が生じている間にイベント(ビデオを表示する、画像を提示する、カメラフィードを示すなど)を持続的に実行することができるUIの一領域である。例えば、ユーザが選択領域120により行われた選択を介して音楽またはビデオまたは画像をナビゲートしている間に、インセット122が特定のビデオ録画を再生する場合がある。このようなインセットのさらなる詳細は、前記の同時係属出願第10/174,619号で説明されている。このパスで、クライアントUIS 114などの代替シェルは、サービス提供UIS 116に、インセット122のイベントに関連する情報をわたすことができ、そのインセット122は、バックグラウンドの例の変更が生じている間に実行していることを実行し続けることができる。クライアントUIS 114がない場合には、サービス提供116が唯一のUISであり、サービス提供UIS 116が様々なハードウェアコンポーネントまたはソフトウェアコンポーネント124にアクセスを有するので、122などのインセットに、イベントを持続的に表示または提示することができる。このタスクでは、クライアントUIS 114は、類似のことを行う、つまり、インセット122に表示されているものを持続的に表示することができる。API 112のおかげで、クライアントUIS 114は、インセット122またはインセットの複数のインスタンス(わかりやすくするため図に示されていない)を提示することができる。   Other exemplary tasks relate to the ability to persist events in the background or foreground while other changes are occurring. An exemplary embodiment of such a task is described with reference to inset 122. The inset 122 is a region of the UI where events (displaying videos, presenting images, showing camera feeds, etc.) can be continuously executed while changes occur in the background. For example, inset 122 may play a particular video recording while the user is navigating music or video or images through selections made by selection area 120. Further details of such insets are described in the aforementioned copending application No. 10 / 174,619. In this pass, an alternative shell, such as client UIS 114, can pass information related to the event of inset 122 to serving UIS 116, which inset 122 has undergone a background example change. You can keep doing what you are doing in the meantime. In the absence of the client UIS 114, the service provision 116 is the only UIS and the service provision UIS 116 has access to various hardware or software components 124, so events are persisted to insets such as 122. Can be displayed or presented. In this task, the client UIS 114 can do something similar, i.e., continuously display what is displayed in the inset 122. Thanks to the API 112, the client UIS 114 can present an inset 122 or multiple instances of the inset (not shown in the figure for clarity).

他の例示的なタスクは、クライアントUIS 144とサービス提供UIS 116との間の異なるシステムリソースの使用のネゴシエーションを提供することを含む。ユーザが、例えば、クライアントUIS 114によって提示されているビデオを見ている状況を考える。次いで、ユーザは、特定のチャネルに変えるコマンドを起動する。しかし、そのようなアクションが意図的でなかった場合がある、例えば、他の人たちがビデオを見ている間に、子供がリモートコントロールで遊んでいるような場合である。この場合、おそらく、ビデオを停止して、実際に指示されたチャネルに切り替える前に確認が望まれる。この状況において、瞬間的タスクにより、クライアントUIS 114は、所望のチャネルに合わせたいのか、何もしないのかなどについてユーザに尋ねることができる。この実施例では、映画を再生することに関連するリソース、および、番組の特定のチャネルにナビゲートし、かつ/またはチャネルを再生することに関連するリソースなどの2つの異なるシステムリソースの間のネゴシエーションが必要であった。クライアントUIS 114がそのようなネゴシエーションを完了する方法を知らなければならないようにするのではなく、サービス提供UIS 116がそのようなネゴシエーションを容易にすることができる。   Other exemplary tasks include providing negotiation of the use of different system resources between the client UIS 144 and the serving UIS 116. Consider a situation where a user is watching a video being presented by client UIS 114, for example. The user then activates a command to change to a specific channel. However, such actions may not have been intentional, such as when a child is playing with a remote control while others are watching a video. In this case, perhaps confirmation is desired before the video is stopped and actually switched to the indicated channel. In this situation, an instantaneous task allows the client UIS 114 to ask the user as to whether he wants to match the desired channel, does nothing, etc. In this example, a negotiation between two different system resources, such as resources associated with playing a movie and resources associated with navigating to and / or playing a channel of a program. Was necessary. Rather than having the client UIS 114 have to know how to complete such negotiation, the serving UIS 116 can facilitate such negotiation.

サービス提供UIS 116が容易にすることができる他の例示的なタスクは、初期化を必要とするデバイスまたはサービスを初期化することに関連付けられる。例えば、ユーザが新しいPCの包装を解き、プラグをコンセントに差し込んだときに、特定の製品提供物を最初に構成する必要がある場合がある。例えば、テレビ番組を視聴するには、PCに、ユーザのコンテンツプロバイダ、地理的位置、時間帯などを認識させる必要がある可能性がある。ユーザは、クライアントUIS 114などの代替シェルがない場合にそのような初期化を実行するよう求められることがあるが、それらの提示は、一実施形態においてサービス提供UIS 116により抑制される。一実施形態では、そのような初期化は、ユーザがそのような初期化を必要とするサービスを要求するまで遅らせることができる。この要求は、クライアントUIS 114を介して受信され、API 112を通じてデータをサービス提供UIS 116に伝達し、次いで、クライアントUIS 114に、そのような初期化を必要とするデータを提示させ、集めさせるための情報をクライアントUIS 114に供給する。このようにして、クライアントUIS 114は、初期構成を必要とするサービスの初期化などをカスタマイズすることさえできる。   Another exemplary task that the service providing UIS 116 can facilitate is associated with initializing a device or service that requires initialization. For example, when a user unpacks a new PC and plugs it into an electrical outlet, a particular product offering may need to be configured first. For example, viewing a television program may require the PC to recognize the user's content provider, geographic location, time zone, and the like. Users may be asked to perform such initialization when there is no alternative shell, such as client UIS 114, but their presentation is suppressed by the serving UIS 116 in one embodiment. In one embodiment, such initialization can be delayed until the user requests a service that requires such initialization. This request is received via the client UIS 114 and communicates the data to the serving UIS 116 through the API 112, and then causes the client UIS 114 to present and collect the data that requires such initialization. Is supplied to the client UIS 114. In this way, the client UIS 114 can even customize the initialization of services that require initial configuration and the like.

例示的なタスクの数は多いが、API 112が存在しているおかげで容易にすることが可能なタスクの精神と広い範囲を伝えるために上記の、および最後の例示的タスクを列挙した。API 112が存在しているおかげで実行することが可能な最後の例示的なタスクは、サービス提供UIS 116と連携して動作するように設計された可能性があるレガシーリモートコントロールをクライアントUIS 114とともに使用できるようにすることである。   Although the number of example tasks is large, the above and last example tasks are listed to convey the spirit and broad scope of tasks that can be facilitated by the presence of API 112. The last exemplary task that can be performed thanks to the presence of the API 112 is a legacy remote control that may be designed to work with the serving UIS 116 along with the client UIS 114. Is to be able to use it.

そこで、図2を参照すると、ステップ214で終了した後、本発明の一実施形態の次のステップは、ステップ216でタスクを実際に完了させることである。これらのタスクを実行することに関連する任意のデータは、ステップ218で受信することができる。上述では、要求されたタスクを実行することと関連してアプリケーション124などのアプリケーションまたはハードウェアデバイスからデータを返してもらうことができるいくつかの場合について言及している。次いで、そのデータまたは変更を、ステップ220において、サービス提供UIS 116で受信することができる。このデータがフォーマットされるか、または補われるか、または他の方法で変更される必要がある場合には、ステップ222でUIS 114にわたされるようなことを実行することができ、これは、一実施形態で制御権をクライアントUIS 114に返却することを含むことができる。これにより、次いで、ステップ224において、クライアントUIS 114は、適切な出力をユーザに提示することができる。   Thus, referring to FIG. 2, after completing at step 214, the next step in one embodiment of the present invention is to actually complete the task at step 216. Any data related to performing these tasks can be received at step 218. The foregoing refers to several cases where data can be returned from an application, such as application 124, or a hardware device in connection with performing the requested task. The data or changes can then be received at the serving UIS 116 at step 220. If this data needs to be formatted or supplemented or otherwise modified, things such as passed to UIS 114 at step 222 can be performed, which Embodiments can include returning control to the client UIS 114. This then allows the client UIS 114 to present the appropriate output to the user at step 224.

次に、より低いレベルで、いくつかの例示的な実施例について説明する。追加の実施例および技術的開示を行うために説明する。実施例および例示的なAPI構造は、本発明を制限するものと解釈すべきではない。本発明は、付属の特許請求の範囲により定められる。以下のモジュールは、1つまたは複数の実施形態におけるAPI 112の様々な機能的態様を公開する。さらに、例示的なモジュールおよび構文の以下のリストは、決して網羅されてはおらず、例示することを目的としている。   Next, at a lower level, some exemplary embodiments are described. Additional examples and technical disclosure are provided for purposes of disclosure. The examples and exemplary API structures should not be construed as limiting the invention. The invention is defined by the appended claims. The following modules expose various functional aspects of API 112 in one or more embodiments. Furthermore, the following list of exemplary modules and syntax is by no means exhaustive and is intended to be exemplary.

<低レベルの説明>
クライアントUIS 114などの外部または代替シェルは、本明細書では「IExtensibilityApplications::GetFilteredEntryPoints」と呼ばれるコンポーネントを使用して、システムにインストールされているDUIアプリケーションおよびそのエントリポイントのリストを受信することができる。次いで、クライアントUIS 114は、本明細書では「IExtensibilityApplications::LaunchEntryPoint」と呼ばれるコンポーネントを使用することによりインストールされているアプリケーション124を起動するようサービス提供UIS 116に指令することができる。また、クライアントUIS 114は、本明細書では「IExtensibilityApplications::LaunchUrl」と呼ばれるコンポーネントを使用することによりインストールされているアプリケーションに関連付けられていないURLでアプリケーション124を起動することもできる。これら3つのコンポーネントの機能は、特定の実施形態に比べて重要な機能である。しかし、例示的ないくつかの実施形態が、上記の機能を実装する一手段にすぎないものとして以下の表にまとめられている。これらは、本発明を制限するものと解釈してはならず、付属の特許請求の範囲で定められる。ホストされているアプリケーションが起動された後、そのアプリケーションは、本明細書では「IextensibilityHostControl」と呼ばれるコンポーネントを使用して、サービス提供UIS 116を制御し、指令することができる。例示的な機能は、ウィンドウを閉じる、ウィンドウを最大化する、ウィンドウを最小化する、ウィンドウのサイズおよび位置を設定する、またはウィンドウが閉じられるまで実行をブロックする制御を公開することを含む。
<Low level explanation>
An external or alternative shell, such as client UIS 114, can receive a list of DUI applications installed on the system and their entry points using a component referred to herein as “IExtensibilityApplications :: GetFilteredEntryPoints”. The client UIS 114 can then instruct the serving UIS 116 to launch the installed application 124 by using a component referred to herein as “IExtensibilityApplications :: LaunchEntryPoint”. The client UIS 114 can also launch the application 124 with a URL that is not associated with an installed application by using a component called “IExtensibilityApplications :: LaunchUrl” herein. The functions of these three components are important functions compared to the specific embodiment. However, some exemplary embodiments are summarized in the following table as only one means of implementing the above functionality. These should not be construed as limiting the invention, but are defined in the appended claims. After the hosted application is launched, it can control and command the serving UIS 116 using a component referred to herein as “IextensibilityHostControl”. Exemplary functions include exposing a control that closes the window, maximizes the window, minimizes the window, sets the size and position of the window, or blocks execution until the window is closed.

表1に示されているものは、「IExtensibilityApplications::GetFilteredEntryPoints」の出現をインスタンス化するための構文の例示的な一実施例にすぎない。当業者であれば、同じ機能を異なる構文を使って実行する多くの方法があることを理解し、またそれは付属の特許請求の範囲内で考えられる。   What is shown in Table 1 is just one illustrative example of a syntax for instantiating the occurrence of “IExtensibilityApplications :: GetFilteredEntryPoints”. Those skilled in the art will appreciate that there are many ways to perform the same function using different syntaxes, and that are considered within the scope of the appended claims.

Figure 0005072844
Figure 0005072844

表2に示されているものは、「IExtensibilityApplications::LaunchEntryPoint」の出現をインスタンス化するための構文の例示的な一実施例にすぎない。当業者であれば、同じ機能を異なる構文を使って実行する多くの方法があることを理解し、またそれは付属の特許請求の範囲内で考えられる。   What is shown in Table 2 is just one illustrative example of a syntax for instantiating the occurrence of “IExtensibilityApplications :: LaunchEntryPoint”. Those skilled in the art will appreciate that there are many ways to perform the same function using different syntaxes, and that are considered within the scope of the appended claims.

Figure 0005072844
Figure 0005072844

表3に示されているものは、「IExtensibilityApplications::LaunchUrl」の出現をインスタンス化するための構文の例示的な一実施例にすぎない。当業者であれば、同じ機能を異なる構文を使って実行する多くの方法があることを理解し、またそれは付属の特許請求の範囲内で考えられる。   What is shown in Table 3 is just one illustrative example of a syntax for instantiating the occurrence of “IExtensibilityApplications :: LaunchUrl”. Those skilled in the art will appreciate that there are many ways to perform the same function using different syntaxes, and that are considered within the scope of the appended claims.

Figure 0005072844
Figure 0005072844

サービス提供UIS 116に関してAPI 112からなる、またはAPI 112により公開される4つの例示的なインターフェースは、表4に示されている。   Four exemplary interfaces that consist of or are exposed to API 112 with respect to serving UIS 116 are shown in Table 4.

Figure 0005072844
Figure 0005072844

次に、表4のメソッドのそれぞれの低レベルの詳細について説明する。一実施形態では、IExtensibilityApplicationsインターフェースは、表5に記載されているようなメソッドを公開する。   Next, the low level details of each of the methods in Table 4 are described. In one embodiment, the IExtensibilityApplications interface exposes methods as described in Table 5.

Figure 0005072844
Figure 0005072844

表4に示されている第2のメソッドは、本明細書で「IExtensibilityEntryPoint」インターフェースと呼ばれ、クライアントUIS 114などの代替シェルがエントリポイントの属性を発見できるようにAPI 112からなるか、またはAPI 112により公開されるコンポーネントに付けられた名前である。表6は、IExtensibilityEntryPointにより公開されるいくつかの例示的なメソッドを示している。   The second method shown in Table 4 is referred to herein as the “IExtensibilityEntryPoint” interface and consists of an API 112 or an API so that an alternative shell, such as the client UIS 114, can find the entry point attribute. This is the name given to the component published by 112. Table 6 shows some exemplary methods exposed by IExtensibilityEntryPoint.

Figure 0005072844
Figure 0005072844

表4に示されている第3のメソッドは、本明細書で「IExtensibilityHostControl」と呼ばれ、アプリケーションが起動されたときに開かれるウィンドウを制御するためにAPI 112からなるか、またはAPI 112により公開されるコンポーネントに付けられた名前である。表7は、IExtensibilityHostControlにより公開されるいくつかの例示的なメソッドを示している。   The third method shown in Table 4 is referred to herein as “IExtensibilityHostControl” and consists of or exposed by API 112 to control the window that is opened when the application is launched. Is the name given to the component to be created. Table 7 shows some example methods exposed by IExtensibilityHostControl.

Figure 0005072844
Figure 0005072844

表4に示されている第4の、そして最後の例示的なメソッドは、本明細書で「IExtensibilityHostEvents」と呼ばれ、サービスウィンドウイベントを表すためAPI 112からなるか、またはAPI 112により公開されるコンポーネントに付けられた名前である。表8は、IExtensibilityHostEventsにより公開されるいくつかの例示的なメソッドを示している。   The fourth and last exemplary method shown in Table 4 is referred to herein as “IExtensibilityHostEvents” and consists of or is exposed by API 112 to represent service window events. The name given to the component. Table 8 shows some example methods exposed by IExtensibilityHostEvents.

Figure 0005072844
Figure 0005072844

繰り返して言うが、プログラマーが猫に皮を被せるのにたくさんの方法があるように、プログラミングの本質は、多くの場合、個人主義的である。これは、著作権出願ではなく、特許出願である。本開示は、付属の特許請求の範囲を裏付けるものであるが、本発明を定めるのは特許請求の範囲である。   Again, the essence of programming is often individualistic as there are many ways for a programmer to skin a cat. This is not a copyright application, but a patent application. While this disclosure supports the appended claims, it is the claims that define the invention.

<例示的な動作環境>
特に図3を参照すると、本発明を実装するための例示的な動作環境が示されており、一般にコンピューティングデバイス300として指示されている。コンピューティングデバイス300は、好適なコンピューティング環境の一例にすぎず、本発明の用途または機能性の範囲に関する制限を示唆する意図はない。コンピューティング環境300は、例示されている1つのコンポーネントまたはその組合せに関係する何らかの依存関係または要求条件がその環境にあるものと解釈すべきでない。
<Example operating environment>
With particular reference to FIG. 3, an exemplary operating environment for implementing the invention is shown and generally designated as computing device 300. The computing device 300 is only one example of a suitable computing environment and is not intended to suggest any limitation as to the scope of use or functionality of the invention. Neither should the computing environment 300 be interpreted as having any dependency or requirement relating to one illustrated component or combination thereof.

本発明は、パーソナルデータアシスタントまたは他のハンドヘルドデバイスなどのコンピュータまたは他のマシンによって実行される、プログラムモジュールなどのコンピュータ実行可能命令を含む、コンピュータコードまたはマシン使用可能命令の一般的背景状況において説明することができる。一般に、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含むプログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するコードを意味する。本発明は、ハンドヘルドデバイス、家電製品、汎用コンピュータ、より具体的にはコンピューティングデバイスなどを含む、様々なシステム構成において実施することができる。また、本発明は、通信ネットワークを通じてリンクされているリモート処理デバイスによりタスクが実行される分散コンピューティング環境で実施することもできる。   The present invention is described in the general context of computer code or machine-usable instructions, including computer-executable instructions, such as program modules, executed by a computer or other machine, such as a personal data assistant or other handheld device. be able to. In general, a program module that includes routines, programs, objects, components, data structures, and the like refers to code that performs a particular task or implements a particular abstract data type. The present invention can be implemented in various system configurations including handheld devices, consumer electronics, general purpose computers, and more specifically computing devices. The invention may also be practiced in distributed computing environments where tasks are performed by remote processing devices that are linked through a communications network.

図3を参照すると、コンピューティングデバイス300は、メモリ312、1つまたは複数のプロセッサ314、1つまたは複数の提示コンポーネント316、入出力ポート318、入出力コンポーネント320、および例示的な電源322などのデバイスを直接的または間接的に結合するバス310を備える。バス310は、1つまたは複数のバス(アドレスバス、データバス、またはその組合せなど)となるようなものとしてよい。わかりやすくするために図3の様々なブロックが線で示されているが、実際は、様々なコンポーネントを線引きするのはそれほど明確でなく、これらの線は、暗喩的に、より正確には灰色で曖昧なものとなる。例えば、表示デバイスなどの提示コンポーネントをI/Oコンポーネントとみなすことができる。また、プロセッサはメモリを備える。我々は、このようなことは技術の本質であることを理解しており、繰り返して言うと、図3は、本発明の1つまたは複数の実施形態に関して使用することができる例示的なコンピューティングデバイスを単に例示しているにすぎない。すべて図3の範囲内にあるような「ワークステーション」、「サーバ」、「ラップトップ」、「ハンドヘルドデバイス」などのカテゴリと、「コンピューティングデバイス」の参照との区別はなされない。   With reference to FIG. 3, the computing device 300 includes a memory 312, one or more processors 314, one or more presentation components 316, input / output ports 318, input / output components 320, and an exemplary power source 322. A bus 310 is provided that couples the devices directly or indirectly. Bus 310 may be one or more buses (such as an address bus, a data bus, or a combination thereof). The various blocks in FIG. 3 are shown as lines for clarity, but in practice it is not so obvious to draw the various components, and these lines are metaphorically, more precisely gray. It becomes ambiguous. For example, a presentation component such as a display device can be regarded as an I / O component. The processor includes a memory. We understand that this is the nature of the technology, and to reiterate, FIG. 3 illustrates exemplary computing that can be used in connection with one or more embodiments of the invention. It merely illustrates the device. No distinction is made between categories such as “workstation”, “server”, “laptop”, “handheld device”, etc., all within the scope of FIG. 3, and references to “computing devices”.

コンピューティングデバイス300は、典型的には、様々なコンピュータ可読媒体を備える。例えば、限定はしないが、コンピュータ可読媒体は、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、電子的消去可能プログラム可能読み取り専用メモリ(EEPROM)、フラッシュメモリまたはその他のメモリ技術、CDROM、デジタル多目的ディスク(DVD)またはその他の光またはホログラフィック媒体、磁気カセット、磁気テープ、磁気ディスク記憶装置またはその他の磁気記憶装置デバイス、搬送波、または所望の情報を符号化し、コンピューティングデバイス300によりアクセスするために使用することができるその他の媒体を含むことができる。   Computing device 300 typically includes a variety of computer readable media. For example, without limitation, computer readable media may include random access memory (RAM), read only memory (ROM), electronically erasable programmable read only memory (EEPROM), flash memory or other memory technology, CDROM, digital To encode and access by a computing device 300 a multipurpose disc (DVD) or other optical or holographic media, magnetic cassette, magnetic tape, magnetic disc storage device or other magnetic storage device, carrier wave, or desired information Other media that can be used in

メモリ312は、揮発性および/または不揮発性メモリの形態のコンピュータ記憶媒体を含む。メモリは、取り外し可能、取り外し不可能、またはその組合せとすることができる。例示的なハードウェアデバイスは、ソリッドステートメモリ、ハードドライブ、光ディスクドライブなどを含む。コンピューティングデバイス300は、メモリ312またはI/Oコンポーネント320などの様々な要素からデータを読み取る1つまたは複数のプロセッサを含む。(複数の)提示コンポーネント316は、ユーザまたは他のデバイスにデータ指示を送る。例示的な提示コンポーネントは、表示デバイス、スピーカー、印刷コンポーネント、振動コンポーネントなどを含む。I/Oポート318を使用することで、コンピューティングデバイス300は、I/Oコンポーネント320を含む他のデバイスに論理的に結合することができ、一部は組み込みにすることもできる。例示的なコンポーネントは、マイク、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、プリンタ、無線デバイスなどを含む。   The memory 312 includes computer storage media in the form of volatile and / or nonvolatile memory. The memory can be removable, non-removable, or a combination thereof. Exemplary hardware devices include solid state memory, hard drives, optical disk drives, and the like. Computing device 300 includes one or more processors that read data from various elements, such as memory 312 or I / O component 320. The presentation component (s) 316 sends a data indication to the user or other device. Exemplary presentation components include display devices, speakers, printing components, vibration components, and the like. Using the I / O port 318, the computing device 300 can be logically coupled to other devices including the I / O component 320, and some can be embedded. Exemplary components include a microphone, joystick, game pad, satellite dish, scanner, printer, wireless device, and the like.

示されている様々なコンポーネント、さらには、図に示されていないコンポーネントの多くの異なる配列は、本発明の精神および範囲から逸脱することなく可能である。本発明の実施形態は、制限するのではなく、例示的であることを意図して説明されている。範囲から逸脱しない他の実施形態も、当業者には明らかであろう。当業者であれば、本発明の範囲から逸脱することなく前述の改善を実装する代替手段を開発することができる。   Many different arrangements of the various components shown, as well as those not shown in the figures, are possible without departing from the spirit and scope of the present invention. The embodiments of the present invention have been described by way of example and not limitation. Other embodiments that do not depart from the scope will be apparent to those skilled in the art. One skilled in the art can develop alternative means of implementing the above improvements without departing from the scope of the present invention.

いくつかの特徴および部分的組合せは、有用であり、他の特徴および部分的組合せを参照せずに使用することができ、特許請求の範囲内にあると考えられる。様々な図に示されているすべてのステップが、説明されている特定の順序で実行される必要はない。   Some features and subcombinations are useful, can be used without reference to other features and subcombinations, and are considered to be within the scope of the claims. All steps shown in the various figures need not be performed in the specific order described.

本発明の例示的な一実施形態を示すブロック図である。1 is a block diagram illustrating an exemplary embodiment of the present invention. 本発明の例示的な一実施形態による例示的な代替クライアントUIシェルを示す図である。FIG. 4 illustrates an example alternative client UI shell according to an example embodiment of the invention. 本発明の例示的な一実施形態のステップを例示する流れ図である。4 is a flow diagram illustrating the steps of an exemplary embodiment of the invention. 本発明の一実施形態を実施するのに好適な例示的な動作環境の図である。FIG. 2 is an exemplary operating environment suitable for implementing an embodiment of the present invention.

Claims (7)

第1の表示可能インターフェースであるサービス提供ユーザインターフェースシェル(UISと連携する第2の表示可能インターフェースである提示UISのコンポーネントを提示する方法であって、前記方法は、
完了すべき1つまたは複数のタスクを示すデータを前記サービス提供UISが前記提示UISから受信するステップと、
前記サービス提供UISに結合される1つまたは複数のアプリケーションを用いる、前記1つまたは複数のタスクの前記完了を前記サービス提供UISが調整するステップであって、前記サービス提供UISが前記1つまたは複数のアプリケーションと直接的にやり取りし、前記調整するステップは、
前記サービス提供UISに結合される前記1つまたは複数のアプリケーションに一組のコマンドを発行するステップと、
前記一組のコマンドを発行することに関連して前記1つまたは複数のアプリケーションから返却データを受信するステップと
を含む、ステップと、
前記サービス提供UISが制御権を前記提示UISに返却するステップと
を備えることを特徴とする方法
A method of presenting a component of a presentation UIS that is a second displayable interface that works in conjunction with a service providing user interface shell ( UIS ) that is a first displayable interface, the method comprising:
The service providing UIS receives data from the presentation UIS indicating one or more tasks to be completed;
Using one or more applications that are coupled to the service providing UIS, the one or the completion of a plurality of tasks comprising the steps of the service providing UIS is adjusted, the serving UIS said one or more Interacting directly with the application and adjusting is as follows:
Issuing a set of commands to the one or more applications coupled to the serving UIS;
Receiving return data from the one or more applications in connection with issuing the set of commands;
Including steps , and
Method characterized by comprising the steps of the service providing UIS to return control to the presentation UIS.
前記1つまたは複数のタスクは、
前記1つまたは複数のアプリケーションから返却された返却データを処理してユーザへ前記返却データに基づいて提示を描写するステップと、
前記提示UISが前記サービス提供UISに命令してアプリケーションを起動させることを可能にするステップと、
前記提示UISがアプリケーションへの参照を指定することを可能にするステップと、
前記提示UISが環境パラメータを指定することを可能にするステップと、
前記サービス提供UISの態様を制御するステップと、
追加APIのために前記提示UISへコールバックするステップと、
前記サービス提供UISと互換性のあるアプリケーションを列挙するステップと、
前記互換性のあるアプリケーションに関連付けられる1つまたは複数の属性に基づいて前記互換性のあるアプリケーションをフィルタリングするステップと、
前記提示UISが前記サービス提供UISの機能的態様を補う方法を提供するステップと、
前記サービス提供UISと前記提示UISとの間の1つまたは複数のシステムリソースの使用をネゴシエートするステップと、
前記提示UISの提示変更が生じるときにメディア・エクスペリエンスの持続的提示を提供するステップと、
メディア・プログラミング・ガイドを初期化するステップと、
リソースデバイスを構成するステップと
のうちの少なくとも1つを含むことを特徴とする請求項に記載の方法
The one or more tasks are:
Processing return data returned from the one or more applications and rendering a presentation to the user based on the return data;
Allowing the presenting UIS to instruct the service providing UIS to launch an application;
Allowing the presentation UIS to specify a reference to an application;
Allowing the presentation UIS to specify environmental parameters;
Controlling aspects of the service providing UIS;
Calling back to the presentation UIS for additional APIs ;
Enumerating applications compatible with the service providing UIS;
Filtering the compatible application based on one or more attributes associated with the compatible application;
Providing the method by which the presenting UIS supplements the functional aspects of the service providing UIS;
Negotiating the use of one or more system resources between the serving UIS and the presenting UIS;
Providing a persistent presentation of a media experience when a presentation change of the presentation UIS occurs;
Initializing the media programming guide;
Configure resource devices and
The method of claim 1 , comprising at least one of:
前記提示UISがアプリケーションへの参照を指定することを可能にするステップは、前記アプリケーションのロケーションを指定することを含み、
前記環境パラメータは、ウィンドウを最小化するか、最大化するか、モーダルか、サイズ変更可能か、または与えられたサイズにするかどうかを含むウィンドウモード属性、オブジェクトを提示する画面ロケーション、のうちの1つまたは複数を含むことを特徴とする請求項1に記載の方法
Allowing the presenting UIS to specify a reference to an application includes specifying a location of the application;
The environmental parameters include: a window mode attribute that includes whether the window is minimized, maximized, modal, resizable, or given size, the screen location presenting the object, The method of claim 1, comprising one or more.
前記サービス提供UISの態様を制御するステップは、アイテムをサイズ変更すること、アイテムの視覚的属性を変更すること、および/またはURLを含む代替参照を指定することを含むことを特徴とする請求項1に記載の方法Controlling the manner of the service providing UIS is claims, characterized in that it comprises resizing the items, altering the visual attributes of an item, and / or to specify an alternate reference including the URL The method according to 1 . 1つまたは複数の属性に基づいて前記互換性のあるアプリケーションをフィルタリングするステップは、他のリソースに対する依存関係に基づいて前記互換性のあるアプリケーションをフィルタリングすることを含み、前記他のリソースは周辺機器デバイスまたは他のアプリケーションの1つまたは複数を有することを特徴とする請求項1に記載の方法Filtering the compatible application based on one or more attributes includes filtering the compatible application based on dependencies on other resources, wherein the other resource is a peripheral device. The method of claim 1, comprising one or more of a device or other application. メディア・エクスペリエンスの持続的提示を提供するステップは、
スライドショーの提示と、
カメラフィードの提示を含むビデオの提示と、
オーディオの提示と、
データの提示と
のうちの1つまたは複数の持続を提供することを含むことを特徴とする請求項1に記載の方法
The steps to provide a persistent presentation of the media experience are:
Presenting a slideshow,
Video presentation including camera feed presentation;
Audio presentation,
The method of claim 1, comprising providing one or more persistences of presentation of data.
請求項1から6のいずれかに記載の方法をコンピュータに実行させるためのコンピュータ実行可能命令を格納することを特徴とするコンピュータ可読記録媒体。  A computer-readable recording medium storing computer-executable instructions for causing a computer to execute the method according to claim 1.
JP2008526213A 2005-08-12 2006-08-09 User interface service provision Active JP5072844B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/202,832 US7810100B2 (en) 2005-08-12 2005-08-12 Employing a servicing user-interface shell to service a presented user-interface shell
US11/202,832 2005-08-12
PCT/US2006/031292 WO2007021884A2 (en) 2005-08-12 2006-08-09 User-interface servicing

Publications (2)

Publication Number Publication Date
JP2009505235A JP2009505235A (en) 2009-02-05
JP5072844B2 true JP5072844B2 (en) 2012-11-14

Family

ID=37743962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008526213A Active JP5072844B2 (en) 2005-08-12 2006-08-09 User interface service provision

Country Status (7)

Country Link
US (1) US7810100B2 (en)
EP (1) EP1913494A4 (en)
JP (1) JP5072844B2 (en)
CN (1) CN101243432B (en)
BR (1) BRPI0614760A2 (en)
MX (1) MX2008001960A (en)
WO (1) WO2007021884A2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8230450B2 (en) * 2009-01-06 2012-07-24 International Business Machines Corporation Method for executing a software routine identified in a task object
US20100175076A1 (en) * 2009-01-06 2010-07-08 International Business Machines Corporation Method for executing a software routine identified in a task object
US8627223B1 (en) * 2009-06-30 2014-01-07 Sprint Communications Company L.P. Customized execution sequences for portions of third party applications
EP3491601A1 (en) * 2016-07-29 2019-06-05 Square, Inc. Reprogrammable point of sale transaction flows
WO2019018510A1 (en) * 2017-07-21 2019-01-24 Carrier Corporation A service system of an air conditioning system

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0612390A (en) * 1992-06-26 1994-01-21 Hokkaido Oki Denki Syst:Kk Client/server system control method
US5790120A (en) 1992-08-27 1998-08-04 Starfish Software, Inc. Individually configurable panel user interface with selective launching, sticky windows, hot keys, start up options and configurable background
US5812129A (en) 1994-01-03 1998-09-22 International Business Machines Corp. Method and system for accessing functions of a user interface environment from processes running outside of the user interface environment
US5892905A (en) 1996-12-23 1999-04-06 International Business Machines Corporation Computer apparatus and method for providing a common user interface for software applications accessed via the world-wide web
JPH10214196A (en) * 1997-01-29 1998-08-11 Oki Electric Ind Co Ltd Software linking processor
US6516356B1 (en) 1997-09-30 2003-02-04 International Business Machines Corporation Application interface to a media server and a method of implementing the same
US20020026507A1 (en) * 2000-08-30 2002-02-28 Sears Brent C. Browser proxy client application service provider (ASP) interface
US20030079002A1 (en) * 2001-10-23 2003-04-24 Fischer William A. Computer-assisted equipment having a user interface configured according to a service program
US7487460B2 (en) 2003-03-21 2009-02-03 Microsoft Corporation Interface for presenting data representations in a screen-area inset
US7275221B2 (en) * 2003-11-07 2007-09-25 Microsoft Corporation Method and system for representing hierarchal structures of a user-interface

Also Published As

Publication number Publication date
EP1913494A4 (en) 2008-12-31
EP1913494A2 (en) 2008-04-23
JP2009505235A (en) 2009-02-05
WO2007021884A3 (en) 2007-04-12
MX2008001960A (en) 2008-03-24
WO2007021884A2 (en) 2007-02-22
US20070038940A1 (en) 2007-02-15
CN101243432B (en) 2012-12-05
CN101243432A (en) 2008-08-13
US7810100B2 (en) 2010-10-05
BRPI0614760A2 (en) 2011-04-12

Similar Documents

Publication Publication Date Title
US11902377B2 (en) Methods, systems, and computer program products for implementing cross-platform mixed-reality applications with a scripting framework
WO2021057830A1 (en) Information processing method and electronic device
US12073234B2 (en) Management framework for mixed reality devices
US8601470B2 (en) Symbiotic smart peripherals
US20140019891A1 (en) System and method for creating and delivering platform independent interactive applications on user devices
US11412012B2 (en) Method, apparatus, and computer-readable medium for desktop sharing over a web socket connection in a networked collaboration workspace
JP2016076216A (en) Application trial system, method, server thereof, and user device
JP2006313536A (en) System for efficient remote projection of rich interactive user interface
WO2012109568A1 (en) System and method for using an application on a mobile device to transfer internet media content
JP5072844B2 (en) User interface service provision
US9214005B2 (en) Methods and systems for overriding graphics commands
JP2004005321A (en) Program, recording medium, information processing device and method, and information processing system
TW201617839A (en) Light dismiss manager
US8982137B2 (en) Methods and systems for overriding graphics commands
Jackson Android apps for absolute beginners: covering Android 7
KR101955744B1 (en) Event service for local client applications through local server
US20120192079A1 (en) Methods and systems for operating a remote computer application from a thin client
US8700802B2 (en) Method and system for providing advertising content suitable for multiple platforms
WO2021052488A1 (en) Information processing method and electronic device
US20140173028A1 (en) Methods and systems for overriding graphics commands
CN112584210B (en) Display device, video recording method and recorded file display method
KR102531655B1 (en) Electronic device and method for providing virtual device via at least portion of content
JP2021525910A (en) Methods, devices and computer-readable media for desktop sharing over websocket connections in networked collaborative workspaces
US20080148162A1 (en) Device for Providing User Interface According to Markup-Language Document
Beck-Norén Cross-platform Development for Wearable Devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120817

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120821

R150 Certificate of patent or registration of utility model

Ref document number: 5072844

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250