JP6243380B2 - 電話機の遠隔制御 - Google Patents

Description

１．発明の分野
本発明は、携帯電話と、とりわけ、外部装置によって携帯電話を遠隔制御する方法とに関する。

２．関連技術の詳細
最先端の電話機は、電話機を遠隔制御する選択肢が非常に限られている。Ｂｌｕｅｔｏｏｔｈ（登録商標）は、遠隔装置から非常に特殊な機能にアクセスすることを可能にする。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）のハンズフリーの特性は、電話帳にある番号をダイヤルし、その後、ハンズフリー装置または車の音声システムのような遠隔装置に音声データを送信することを可能にする。電話機の新しい機能を制御する必要がある場合、新しいＢｌｕｅｔｏｏｔｈ（登録商標）特性が与えられ、電話機と制御装置とによってサポートされる必要がある。新しいＢｌｕｅｔｏｏｔｈ（登録商標）特性を提供し、サポートする要件は、この手法の柔軟性を著しく低下させ、車のような分野で配備される装置をアップグレードすることを一般的に不可能にする。

Ｎｏｋｉａの特許文献１は、自動車環境のために設計された電話機の遠隔制御について記載している。Ｎｏｋｉａの発明は、電話機の限られた量の機能に強固に統合されている。この技術を念頭に置いて特別に設計されたアプリケーションのみが、遠隔電子装置の機能を利用することができる。その発明は、この拡張を念頭に置いて設計されなかった電話機で利用できる無限にある第３のアプリケーションを、どのように制御するかを教示していない。

上記の制限に対処するために、表示コンテンツを遠隔装置と共有することを可能にする電話機もなかにはある。映像出力用の物理的なコネクターを使用することにより、これは達成され得る。あるいは、Ｘウインドウ、リモートデスクトッププロトコル、および、バーチャル・ネットワーク・コンピューティングなどの最先端の技術は、電話機の表示コンテンツを別の装置に送信することを可能にし、かつ、電話機で動作する任意のアプリケーションの遠隔操作を可能にする。この手法は、電話機で動作するほとんどすべての機能またはアプリケーションを遠隔に制御することを可能にするが、制御装置が電話機によって提供されるコンテンツにどれだけ相互作用し得るかのという点では、著しく制限されている。この解決策は、変更されていない画面コンテンツを別の装置のスクリーンに送信する。スクリーンまたはアプリケーションのレイアウトを再配置するか、あるいは、ドライバ・ナビゲーション・システムで必要とされるコンテンツをフィルタ処理または制御しさえするような高度な操作は可能ではない。さらに、既存の技術のいずれも、制御コンピューターで利用できるアプリケーションのグラフィック表現に一致させるために、遠隔制御される装置のアプリケーションからの出力をどのようにして統合するかを教示していない。

遠隔制御の代替的な手法は、ネットワークルーターまたはユニバーサルなプラグ・アンド・プレイ（ＵＰｎＰ）メディアサーバーのような装置によって使用されてきた。このような装置は、ルーターまたはメディアサーバーに接続し、物理的に触れることなく装置を表示および操作するために、制御コンピューターで利用できるウェブブラウザを使用することを可能にする。ウェブブラウザ以上のソフトウェアが遠隔制御コンピューター上では必要ではないため、この手法は非常に便利ではあるが、ルーターまたはメディアサーバーが、ウェブブラウザを介してさらされるほんのわずかな決められた機能しか提供しないため、それは限定された手法である。スマートフォンとは対照的に、これらの装置は、新しいアプリケーションを加えることを可能にしない。結果として、遠隔制御インタフェースの機能は静的になる。

Ｊｏｈｎｓｏｎ ＣｏｎｔｒｏｌのＢｌｕｅｔｏｏｔｈ（登録商標） Ｍｏｂｉｌｅ Ｄｅｖｉｃｅ Ｇａｔｅｗａｙのような最先端の技術は、車からのセンサー情報を、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＵＳＢを用いて接続される携帯ナビゲーションシステムに送信することを可能にする。携帯ナビゲーションシステムは、それ自体のスクリーンおよびラウドスピーカーについての情報および表示出力を処理する。

先行技術によって開示も示唆もされていないのは、上記のような先行技術の制限を有さない、携帯電子装置を遠隔に制御する方法である。

国際特許公開公報ＷＯ２００６０６７５４１

本発明は、車載のインフォテインメントシステム、テレビ、または、個人宅のコントロールパネルなどの外部装置から、携帯電話や他の携帯装置、および、そのような装置で利用できるアプリケーションを遠隔制御することを可能にする。本発明は、遠隔電子装置の要件に一致させるために、電話機の出力を調節することを可能にしてもよく、電話機で動作しているアプリケーションと、遠隔電子装置で利用できるアプリケーションとの間の相互作用を可能にしてもよく、電話機のコンテンツが提示される方法を、遠隔制御によって修正することを可能にしてもよく、コンテンツが提示される前に、電話機から送信されるコンテンツの修正を可能にしてもよく、および、電話機の新しい機能を制御するために、ユーザーに、遠隔電子装置に部品を取り付けるようには要求しない。加えて、本発明は、遠隔電子装置が、電話機から受け取る情報を、第２の電話機またはインターネットのような他のデータ供給源からの追加情報と組み合わせることを可能にするために、遠隔電子装置に機能を加えてもよい。最後に、本発明は、遠隔電子装置から電話機へと情報を送り返すことを可能にしてもよい。現在の最先端技術とは対照的に、本発明は、統一された手法で提供する機能をすべて組み合わせてもよく、遠隔電子装置に追加のソフトウェアをインストールする必要はない。

本発明は、携帯電話および他の携帯装置の多目的な遠隔制御を可能にしてもよい。本発明は、遠隔電子装置としての機能を果たすために、電話機のスクリーンよりも大きいスクリーンを有する装置、例えば、テレビ、モニター、壁に取り付けられるディスプレイ、または、車載のインフォテインメントシステムといった装置を可能にしてもよい。

ネットワークルーターと同様に、本発明のシステムは、携帯電話を遠隔制御するためにウェブブラウザに依存してもよい。最先端の技術とは対照的に、本発明のシステムは、依然としてユーザーによってインストールされる第三者からのアプリケーションを含む、電話機で動作するアプリケーションにサポートを追加してもよい。加えて、本発明は、遠隔制御される装置のコンテンツを制御、修正、および、これに相互作用するとともに、遠隔電子装置と制御される装置の両方の間で機械的に処理可能なデータを共有する、といった幅広い新規な機能を提供してもよい。

本発明は、その１つの形状で、携帯電子装置を遠隔制御する方法を含み、該方法は、携帯電子装置と、ユーザインターフェースを有する遠隔電子装置との間で通信を開始する工程を含む。携帯電子装置の第１の出力は、第１のＨＴＭＬファイルに変換される。第１のＨＴＭＬファイルは携帯電子装置から遠隔電子装置に送信される。第２の出力は、遠隔電子装置によって受け取られる第１のＨＴＭＬファイルに依存して、遠隔電子装置上で表示される。データは遠隔電子装置から携帯電子装置に送信される。アプリケーションは、遠隔電子装置からのデータを処理するために、携帯電子装置内で特定される。遠隔電子装置からのデータは、アプリケーション内で処理される。第３の出力は、遠隔電子装置からのデータの処理に基づいて、携帯電子装置内部で生成される。携帯電子装置の第３の出力は、第２のＨＴＭＬファイルに変換される。第２のＨＴＭＬファイルは、携帯電子装置から遠隔電子装置に送信される。

本発明は、その別の形状で、携帯電子装置を遠隔制御する方法を含み、該方法は、携帯電子装置と、ユーザインターフェースを有する遠隔電子装置との間で通信を開始する工程を含む。遠隔電子装置は、テレビ、モニター、家庭用コントロールパネル、または、車載のインフォテインメントシステムである。携帯装置の第１の出力は遠隔電子装置に送信される。機械処理可能なデータは、携帯装置から第１の出力から抽出される。第２の出力は、抽出された機械処理可能なデータに依存して、遠隔電子装置上で表示される。データは遠隔電子装置から携帯装置に送信される。アプリケーションは、遠隔電子装置からのデータを処理するために、携帯装置内部で特定される。遠隔電子装置からのデータはアプリケーション内部で処理される。第３の出力は、遠隔電子装置からのデータの処理に基づいて、携帯装置内部で生成される。第３の出力は携帯装置から遠隔電子装置に送信される。

本発明は、さらに別の形状で、ウェブブラウザを有する遠隔電子装置を含む、ネットワーク配置を含む。遠隔電子装置は、車載のインフォテインメントシステム、テレビ、または、家庭用オートメーションパネル（ａｕｔｏｍａｔｉｏｎ ｐａｎｅｌ）の形状をしている。携帯電子装置はｗｅｂサーバを含む。携帯装置は、コンテンツを生み出し、ＨＴＭＬ、Ｊａｖａ（登録商標）ｓｃｒｉｐｔ、および、ＣＳＳのコンテンツをエンコードし、エンコードされたコンテンツを遠隔電子装置に送信する、アプリケーションを起動させる。遠隔電子装置は、携帯装置からエンコードされたコンテンツを受け取り、エンコードされたコンテンツをユーザーに提示し、エンコードされたコンテンツがユーザーに提示された後、ユーザーからの入力を受け取り、ユーザーからの入力を遠隔電子装置から携帯装置へと送信する。

本発明の上記および他の特徴および目的と、これらを成し遂げる手法がさらに明らかになるとともに、本発明そのものは、添付の図面と併せて取り込まれた本発明の実施形態の以下の記載を参照することによって、一層よく理解されるであろう。

携帯電話を無線で遠隔制御する遠隔電子装置を含む、本発明のネットワークの１つの実施形態のブロック図である。 携帯電話を遠隔制御するための本発明の方法の１つの実施形態を示すフローチャートである。 本発明にしたがって、携帯電子装置を遠隔制御する別の方法の１つの実施形態を示すフローチャートである。

対応する参照文字は、複数の図にわたって対応する部分を示している。本明細書で説明される事例は本発明の実施形態を示しており、幾つかの形状では、以下に開示される実施形態は、包括的となるよう意図されたものではなく、本発明の範囲を、開示された正確な形状に制限するものとして解釈されるように意図されたものでもない。

ここで、図面、特に図１を参照すると、携帯電話（１４）を無線で遠隔制御する遠隔電子装置（１２）を含む、本発明のネットワーク（１０）の１つの実施形態が示されている。携帯電話（１４）は、いくつかの実施形態において、両矢印（１６）によって示されるように、遠隔電子装置（１２）と通信するおよび／または遠隔電子装置（１２）を制御してもよい。いくつかの実施形態において、遠隔電子装置（１２）は、両矢印（２０）によって示されるように、携帯電話（１８）などの他の随意の携帯装置を制御して該装置と通信することが可能である。またさらなる実施形態において、遠隔電子装置（１２）は、両矢印（２４）によって示されるように、部品（２２）のような他の部品と随意に通信する。携帯電話（１４）は、いくつかの実施形態において、遠隔電子装置（１２）を介して、部品（２２）を操作してもよい。

携帯電話を制御する本発明の方法（２００）が、図２で示されている。第１の工程（２０２）では、携帯電話は、遠隔電子装置と接続し、これは「遠隔制御」と本明細書で呼ばれることもある。携帯電話の遠隔制御は、ユーザーが遠隔電子装置を該電話と接続したときに始められてもよい。該電話と遠隔電子装置の間の接続は、ＵＳＢ、ＷｉＦｉ、または、Ｂｌｕｅｔｏｏｔｈ（登録商標）のような無線または有線のデータ接続の形状であってもよい。携帯電話と遠隔電子装置の両方の間の認証は、周知の装置のみが互いにアクセスすることができることを確かめるために、使用されてもよい。したがって、接続が初めて確立される際には、両方の装置間のペアリング（ａ ｐａｉｒｉｎｇ）が要求されてもよい。ペアリング工程に関して、本発明は、「ＶＩＳＵＡＬ ＰＡＩＲＩＮＧ ＡＮＤ ＤＡＴＡ ＥＸＣＨＡＮＧＥ ＢＥＴＷＥＥＮ ＤＥＶＩＣＥＳ ＵＳＩＮＧ ＢＡＲＣＯＤＥＳ ＦＯＲ ＤＡＴＡ ＥＸＣＨＡＮＧＥ ＷＩＴＨ ＭＯＢＩＬＥ ＮＡＶＩＧＡＴＩＯＮ ＳＹＳＴＥＭＳ」と題された、２０１０年５月２８日に出願され、本発明の譲受人に譲渡され、そのまま引用されることで本明細書に組み込まれる米国特許出願第１２／７８９，９９９号の最先端の技術または手法を含んでいる。

次の工程（２０４）で、電話機のコンテンツはＨＴＭＬに変換されてもよい。電話機と遠隔電子装置の間の接続が確立された後、電話機はデータの交換を準備してもよい。これに応じて、通常、電話機の画面、電話機のラウドスピーカー、または、触覚ディスプレイやフォースフィードバック装置などの利用可能な他の出力チャネル上で出力されるコンテンツは、キャプチャされてもよい。

電話機の出力をキャプチャするために、出力を生成する必要なグラフィックスと音声とによる命令は、すべてキャプチャされ、および／または、記録されてもよい。この手法は、例えば、「線を引く」、「テキストを示す」、「入力領域を表示する」、または、「オーディオサンプルを再生する」といった、電話機のグラフィックスおよび音声システムで出力を生成するすべての命令を記録可能な部品を必要としてもよい。したがって、電話機で開始されるあらゆるグラフィックスと音声とによるコマンドは登録されてもよい。その後、これらの命令は、標準的なウェブ技術、ＨＴＭＬ、Ｊａｖａ（登録商標）ｓｃｒｉｐｔ、および、ＣＳＳ（カスケーディング・スタイル・シート）からなる表現に変換されてもよい。

作成されたＨＴＭＬファイルは、グラフィック要素の階層と順序のような記録されたアプリケーションコンテンツの構造化された表現を包含してもよい。その後、この階層と構造は、ボタン、リスト、画像、および、入力フィールドのような、ＨＴＭＬタグによって記載されてもよい。

アニメコンテンツは、ビデオストリームを用いて表現されてもよい。これに応じて、アニメコンテンツは、電話機でキャプチャされ、オンザフライでＭｏｔｉｏｎ ＪＰＥＧまたはＭｏｔｉｏｎ ＰＮＧのような適切なビデオフォーマットへとエンコードされ、その後、遠隔電子装置にストリームされる。その後、ＨＴＭＬファイルはビデオストリームに準拠して拡張されてもよい。この手法によって、２Ｄと３Ｄのグラフィックスが電話機で計算され、その結果は、それが後に表示される遠隔電子装置へと転送される。同様に、音声コンテンツはキャプチャされ、ＰＣＭまたはＭＰＥＧのような標準的なオーディオ形式へとエンコードされ、遠隔電子装置にストリームされる。

各々のＨＴＭＬ要素は、ユーザーが入力を実行したあとの後の工程で要素を特定するために使用される、固有の識別（ＩＤ）を割り当てられてもよい。

Ｊａｖａ（登録商標）ｓｃｒｉｐｔファイルは、遠隔電子装置によって実行されるプログラム論理で作成されてもよい。この１つの目的は、遠隔電子装置上でユーザー入力を処理し、ユーザー入力を電話機に戻すことである。加えて、Ｊａｖａ（登録商標）ｓｃｒｉｐｔは、遠隔電子装置が、電話機に話しかけることなく処理を実行するとともに、ユーザーとの対話をより動的なものとすることを可能にしてもよい。

さらに、Ｊａｖａ（登録商標）ｓｃｒｉｐｔは、電話機からのキャプチャされた２Ｄおよび３Ｄのグラフィックス命令が、遠隔電子装置で再生されることを可能にしてもよい。この目的のために、本発明は、ＨＴＭＬ５〈ｃａｎｖａｓ〉タグとＷｅｂＧＬ標準に依存する（ウェブサイトｋｈｒｏｎｏｓ．ｏｒｇ／ｗｅｂｇｌ／を参照）。例えば、本発明のシステムは、電話機に記録された本来の２Ｄおよび３Ｄ命令を取り込み、この命令を、例えば、ＷｅｂＧＬに関する等価のＪａｖａ（登録商標）ｓｃｒｉｐｔ命令へと変換し、変換された命令をＪａｖａ（登録商標）ｓｃｒｉｐｔファイルに置くことがある。遠隔制御によって実行される際、Ｊａｖａ（登録商標）ｓｃｒｉｐｔ命令はグラフィック出力を再生してもよい。

最後に、ＣＳＳファイルは、各々のアプリケーションとその目に見える要素のグラフィック表現と様式をキャプチャするために用いられてもよい。例えば、ＣＳＳファイルは、グラフィックな要素によって使用される大きさと配色を記録してもよい。

グラフィックと音声とによる命令をキャプチャすることで、電話機のアプリケーションは、アプリケーションを修正する必要なく、サポートされ得る。いくつかの電話機では、この手法は、そのような拡張を防ぐ電話機操作システムとして機能しない。この場合、個々のアプリケーションの修正を要求する代替的な手法が用いられてもよい。この目的のために、グラフィックスまたは音声による操作を行なうために使用される操作システムの通常の機能を模倣する部品が提供されてもよい。電話機アプリケーションは、これらの新しい機能を使用するために修正される必要があってもよい。そのような場合、アプリケーションコンテンツは、再度キャプチャされ、ＨＴＭＬ、ＣＳＳおよびＪａｖａ（登録商標）ｓｃｒｉｐｔに変換されてもよい。

この代替的な手法は自動的ではなくてもよいが、この手法によって、グラフィックスまたは音声による命令のみからでは抽出することができないＨＴＭＬファイルに追加のコンテンツを加えることができるため、アプリケーションのより優れた遠隔制御を可能にしてもよい。この追加コンテンツは、電話機のセンサーデータ、電話機のデータベースに存在するコンテンツ、または、電話機のカメラからのライブビデオストリームなど含んでもよい。この追加コンテンツのエンコード化は、様々な手法によって行なわれてもよい。マイクロホンからのライブビデオまたは音声は、上記のようなストリーミングフォーマットにエンコードされ、ＨＴＭＬファイル中で参照されてもよい。他のコンテンツは、ＨＴＭＬドキュメントにもリンクされるＸＭＬまたは他のファイルを用いて表現されてもよい。他のコンテンツもＪａｖａ（登録商標）ｓｃｒｉｐｔプログラムまたはデータコンテナ（ｄａｔａ ｃｏｎｔａｉｎｅｒ）（ＪＳＯＮ）にもエンコードされてもよい。別の代替案として、他のコンテンツは、マイクロフォーマットを用いて、ＨＴＭＬファイルへ直接統合されてもよい。これらのマイクロフォーマットは、目に見えないＨＴＭＬタグ属性に特別な意味を付け加えるか、あるいは、ＨＴＭＬネームスペース機構を用いて導入される新しいタグを用いてデータをエンコードしてもよい。これは、地理的な座標やアドレスをエンコードして、例えば、遠隔制御によって理解され自動的に処理され得るフォーマットのＨＴＭＬファイルにすることを可能にしてもよい。

次に、工程（２０６）では、電話機のｗｅｂサーバは、遠隔電子装置にコンテンツを送ってもよい。電話機の操作システムが背景のコンポーネントを動作させることを防ぐ場合、ｗｅｂサーバは、操作システムにおいて、または、アプリケーションの一部として作動してもよい。ＨＴＭＬ、ＣＳＳ、および、Ｊａｖａ（登録商標）ｓｃｒｉｐｔコンテンツは、ｗｅｂサーバにハンドオーバーされてもよい。その後、ｗｅｂサーバは、このコンテンツを、接続された遠隔電子装置が利用できるようにしてもよい。遠隔電子装置はコンテンツにアクセスする２つの方法を有してもよい。第１に、遠隔電子装置は、ＨＴＴＰ ＧＥＴまたはＰＯＳＴリクエストを用いて、電話機のｗｅｂサーバからのコンテンツを盛んに要求してもよい。あるいは、電話機のｗｅｂサーバは、ｗｅｂサーバが遠隔電子装置へとコンテンツを盛んに強要することを可能にする、ＨＴＭＬのＷｅｂｓｏｃｋｅｔ技術を
使用してもよい。

工程（２０８）では、遠隔電子装置はその出力装置にコンテンツを表示する。遠隔電子装置は、電話機のコンテンツを表示して該コンテンツに相互作用するための手段として、ウェブブラウザを使用してもよい。ウェブブラウザは、遠隔電子装置に追加ソフトウェアまたは部品をインストールする必要なく、遠隔電子装置のほとんどすべての種類のコンテンツを表示することを可能にしてもよい。遠隔電子装置が電話機の新しいアプリケーションを容易に制御してダウンロードすることができるため、このことは、遠隔電子装置を非常に柔軟かつ色あせないものとする。

電話機から受け取ったＨＴＭＬ、ＣＳＳ、Ｊａｖａ（登録商標）ｓｃｒｉｐｔ、および、追加のコンテンツファイルを使用するため、遠隔電子装置におけるウェブブラウザは、その装置上にコンテンツを出力し、したがって、電話機で動作するアプリケーションを再生してもよい。ＨＴＭＬファイルは、遠隔電子装置、電話機、または、他の外部ソースに保存される追加コンテンツへの参照を含んでもよい。これらのソースは、例えば、インターネットまたは追加の遠隔制御可能な電話機のウェブサービス（ｗｅｂｓｅｒｖｉｃｅ）であり得る。これは、いくつかのソースから集められたデータから効果的に構成されるコンテンツを遠隔電子装置で表示することを可能にしてもよい。例は、後に遠隔電子装置に表示される、２つの異なる電話機のアドレス帳を組み合わせている。加えて、さらなる詳細は、インターネットからダウンロードされるマップのように、各々表示されたアドレスに加えられてもよい。

音声とビデオのコンテンツのストリーミングがＨＴＭＬコンテンツで参照される場合、遠隔電子装置のブラウザは、ストリームへの接続を開き、電話機からストリームされるコンテンツを備えたブラウザ出力を絶えず更新してもよい。前に記載されたように、ライブ・ストリーミングは、電話機でレンダリングされるリアルタイムの３Ｄグラフィックスのような、電話機からのアニメコンテンツを示す目的に役立ってもよい。

電話機からのライブ・ストリーミングのあらかじめレンダリングされるコンテンツの代わりとして、例えば、ＷｅｂＧＬ標準の２Ｄまたは３Ｄの命令を含むＪａｖａ（登録商標）ｓｃｒｉｐｔファイルは、ブラウザ内で直接、電話機の出力の再生を生じさせることができる。Ｊａｖａ（登録商標）ｓｃｒｉｐｔを用いることによって、遠隔電子装置は、ブラウザ内での大量のアプリケーションロジックを実現し、遠隔電子装置にもともとインストールされているアプリケーションと等しい機能を実現することを可能にすることができる。

電話機から送られるＣＳＳファイルは、ＨＴＭＬコンテンツをどのようにレイアウトしてグラフで表示するかについての記載を含んでもよい。ＣＳＳ記載への修正は、遠隔電子装置によって使用される全体的なグラフィックデザインおよびレイアウトと、電話機のコンテンツのデザインとを一致させる方法として、使用されてもよい。基本的な手法では、遠隔電子装置は、ＣＳＳファイル内の命令にただ従うだけでよい。高度な実現形態において、遠隔電子装置は、ＨＴＭＬコンテンツが添付されたＣＳＳ定義の一部またはすべてを無視してもよい。そうすることによって、配色、グラフィックス、および、レイアウトが変更されてもよい。これは、例えば、車内の遠隔電子装置に取り付けられるナビゲーションシステムのように、遠隔電子装置に取り付けられる他のアプリケーションまたは部品と、電話機のコンテンツを事実上統合することを可能にしてもよい。加えて、ＣＳＳファイルに対する修正は、必要に応じて、電話機のコンテンツの一部をユーザーに見せないようにしておくことを可能にしてもよい。

次に、工程（２１０）では、遠隔電子装置は、電話機からのコンテンツと相互作用する。遠隔電子装置によって、ユーザーは、電話機のコンテンツと対話することができてもよい。この目的のために、ユーザーは、例えば、要素を選択するか、または、テキストを入力領域へと入力することによって、遠隔電子装置のウェブブラウザ内で入力することができる。ＡＪＡＸのような技術は、それらの入力を即座に電話機へと入力し戻すために、かつ、応答を表示するために、使用されてもよい。ユーザーが入力を行う場合、Ｊａｖａ（登録商標）ｓｃｒｉｐｔが実行されてもよく、入力は、入力を受け取った要素の特定とともに電話機へと送られてもよい。

ユーザーによって認識され修正されるコンテンツに加えて、遠隔電子装置によって理解され自動的に処理され得る追加のコンテンツは、電話機から遠隔電子装置に送られてもよい。上に記載されたように、ＸＭＬ、埋め込まれたＨＴＭＬマイクロフォーマットタグ、または、他の属性が、この特別なコンテンツをマークするために使用されてもよい。遠隔電子装置はこの追加のコンテンツを認識し、別のコンテンツからそれを抽出してもよい。例えば、位置の記載、アドレス、または、地理座標が、コンテンツ中にエンコードされる場合、遠隔電子装置は遠隔電子装置の他の部品に、このデータを転送してもよい。例えば、遠隔電子装置が車に搭載されている場合、座標またはアドレスは、選択後、ナビゲーションシステムに自動的にハンドオーバーされ、その後、ルートをガイドするために、ユーザーに提示されてもよい。同様に、電話機からの他のセンサーデータは、遠隔電子装置に取り付けられる部品に転送されてもよい。

データがエンコードされ、それに反応しているかどうかを検知することに加えて、電話機は、遠隔電子装置とその取り付けられる部品とに影響を及ぼし得る。この目的のために、遠隔電子装置内のブラウザは、Ｊａｖａ（登録商標）ｓｃｒｉｐｔファイルによってアクセスされ得る機能をさらしてもよい。このことは、取り付けられる部品の動作を変えることを可能にしてもよい。例えば、特定のＪａｖａ（登録商標）ｓｃｒｉｐｔ機能を呼び出すことによって、電話機で動作する家庭用の自動化アプリケーションの遠隔電子装置として機能する家庭用自動化パネルに取り付けられるエアコンの温度設定を変えることが可能であってもよい。

新しいＪａｖａ（登録商標）ｓｃｒｉｐｔ機能を備えたブラウザを拡張することの代わりとして、遠隔電子装置にウェブサービスを加える手法が用いられてもよい。この手法では、電話機からのＨＴＭＬコンテンツは、遠隔電子装置で動作するウェブサービスの参照を包含してもよい。ＨＴＭＬがブラウザに表示される場合、参照は、規則的なＨＴＴＰ ＧＥＴおよびＰＯＳＴリクエストにつながってもよい。リクエストでエンコードされるパラメータは、遠隔電子装置のどのような動作が修正されるのか、または、取り付けられた度の部品が修正されるのかを定義してもよい。

次の工程（２１２）では、遠隔電子装置は電話機にデータを送信する。遠隔電子装置は、ＧＥＴまたはＰＯＳＴのような標準的なＨＴＴＰコマンドを用いて、送信データを電話機に送ってもよい。電話機から先に受け取ったＨＴＭＬまたはＪａｖａ（登録商標）ｓｃｒｉｐｔのファイルは、どのような種類のデータが送り戻されるかを自由に定義することができる。したがって、遠隔電子装置の動作は、電話機によって完全に制御され、このことが、本発明のシステムを、非常に柔軟かつ色あせないものとしている。電話機に送り戻されたデータは、ユーザー入力、遠隔電子装置に取り付けられた部品から読み込まれるセンサーデータ（例えば、車の最新のガソリンの残量）、および／または、（例えば、テレビに取り付けられたビデオカメラまたはマイクロホンからの）カメラ画像または音声放送を含んでもよい。

最後の工程（２１４）では、電話機のウェブサーバーは、受信データを処理する。電話機で動作するウェブサーバーがデータを受信する際、ｗｅｂサーバは、データを処理する必要があるアプリケーションを決定し、そのアプリケーションへとコンテンツを転送してもよい。このディスパッチタスク（ｄｉｓｐａｔｃｈ ｔａｓｋ）に必要な情報は、ＧＥＴまたはＰＯＳＴリクエストの一部であるＵＲＬから抽出されてもよい。データが電話機に表示されたユーザインターフェース要素への入力を含んでいる場合、適切なユーザインターフェース要素の入力および特定は、電話機にフィードバックされてもよい。これは、表示されるコンテンツへのアップグレードを引き起こしてもよく、したがって、遠隔電子装置でなされる入力を反映してもよい。例えば、遠隔電子装置上の入力領域になされる入力は、電話機へと送り戻され、その後、電話機の対応する入力領域へと入力されてもよい。新しい入力に基づいて、アプリケーションは、順に遠隔電子装置へと再度送られる新しい出力を生じさせてもよく、それによって、新しいサイクルが開始される。

代替的な実施形態では、遠隔電子装置は、電話機のコンテンツを表示し、該コンテンツに相互作用するユーザインターフェースを作成するために、ウェブブラウザを使用しなくてもよい。その代わりに、機械処理可能なデータのみが、電話機によって送られたコンテンツから遠隔電子装置へと抽出されてもよい。このデータに基づいて、遠隔電子装置は、依然として遠隔電子装置に送られる任意のＨＴＭＬ／Ｊａｖａ（登録商標）ｓｃｒｉｐｔ／ＣＳＳユーザインターフェースの記載とは無関係に、コンテンツの可視化をもたらしてもよい。この手法は遠隔電子装置の柔軟性を固定された機能に制限することもあるが、遠隔電子装置がコンピューティングリソースを制限した場合においては望ましいこともある。電話機に対してなされた拡張はそのままであってもよく、したがって、電話機は、ブラウザに基づいた遠隔電子装置と、固定されたユーザインターフェースを備えた遠隔電子装置との両方をサポートすることができてもよい。

本発明の例示的な使用例において、ナビゲーションシステムは電話機内で動作されてもよいが、その出力は車内のシステムで表示されてもよい。携帯電話上で動作するナビゲーションシステムは、マップおよび音声による命令を表示してもよい。電話機が車の遠隔電子装置に接続される場合、マップレンダリングは、電話機から車に送られるライブビデオストリームへとエンコードされてもよい。加えて、ＨＴＭＬファイルは電話機から車へと送られてもよく、ＨＴＭＬファイルはビデオを参照し、到着時間や現在の通りの名前のような追加のコンテンツも含んでよい。加えて、次の運転命令に対応する音声による命令は、音声ストリームに変換されてもよく、これも車へと送られてもよい。ＨＴＭＬコンテンツと参照の音声およびビデオストリームは、車のウェブブラウザによって出力されてもよく、それによって、運転手は、ナビゲーションシステムが車にインストールされていなくても、車のスクリーンやスピーカーをナビゲーション目的に使用することができる。

本発明の別の使用例において、センサーデータはパネルから電話機へ送られる。例えば、ユーザーは、自宅の温度とセンサー設定を制御したいと思ってもよい。自宅にグラフィック制御ディスプレイと取り付けられた様々なセンサーを備えた家庭用自動化システムがあると仮定する。家庭用自動化システムは、温度制御のような基本的な設定へのアクセスを許可してもよいが、その計算能力に限りがあるため、データの高度な処理を欠くことがある。本発明の１つの実施形態によれば、ユーザーは、自分の携帯電話に制御アプリケーションをダウンロードしてもよい。アプリケーションが始まると、家庭用パネルに無線で接続してもよい。家庭用パネルにおけるブラウザは、電話機から受け取ったＨＴＭＬユーザインターフェースを表示してもよい。追加のＣＳＳのグラフィック様式の記載は、ＨＴＭＬユーザインターフェースがコントロールパネルのビジュアルデザインと一致することを確かめるために、送られてもよい。加えて、電話機は、現在の温度設定と他のセンサーデータを測定するように家庭用パネルに命じるＪａｖａ（登録商標）ｓｃｒｉｐｔコマンドを送ってもよい。ユーザーがユーザインターフェース中の選択肢を選択した後、集められたセンサーデータは電話機のアプリケーションへと送り返される。アプリケーションは、強力なＣＰＵまたはインターネット接続などの電話機のリソースをすべて用いて、データを処理してもよい。その結果を用いて最新のＨＴＭＬコンテンツが作成され、それが家庭用制御ディスプレイへと再度送られてもよい。

本発明のさらに別の使用例において、電話機のアドレス帳は車内からアクセスされる。すなわち、携帯電話は、創造性のある遠隔電子装置を用いて、自動車からアクセスされてもよい。電話機のアプリケーションは、車内で動作するウェブブラウザを用いることで、アドレス帳をブラウズすることを可能にしてもよい。該工程では、各々のアドレスはＨＴＭＬへとエンコードされてもよい。加えて、ＨＴＭＬマイクロフォーマットは、アドレスに意味情報を添付するために使用されてもよい。このことによって、通りの名前、都市、郵便番号、および、国のようなすべての個々のアドレス要素が示され得る。車のウェブブラウザに表示される時、この意味のある印はユーザーに見えなくてもよい。すなわち、ユーザーは通常のアドレスのみを見るだけでもよい。しかしながら、車のウェブブラウザは、埋め込みマイクロフォーマットを認識し、埋め込みマイクロフォーマットと相互作用する機会を提供してもよい。これはマップ上にアドレスの位置をプロットすること、または、車内の遠隔電子装置に接続されるナビゲーションシステムに、選択されたアドレスをハンドオーバーすることを含んでもよい。その後、ナビゲーションシステムは、ルートを計算するために個々のアドレス要素を使用してもよい。

本発明は、先行技術に開示されていないいくつかの新規な特徴を含んでもよい。第１のそのような新規な特徴は、電話機のｗｅｂサーバと遠隔電子装置でウェブブラウザとを使用する、携帯電話用の遠隔制御技術であってもよい。コンテンツは、例えば、ＨＴＭＬ、Ｊａｖａ（登録商標）ｓｃｒｉｐｔ、または、ＣＳＳでエンコードされてもよい。遠隔電子装置は固定された機能に制限されなくてもよい。むしろ、遠隔電子装置は遠隔電子装置を修正する必要なく、電話機の新しい機能の制御をサポートしてもよい。

本発明の第２の新規な特徴は、遠隔電子装置が、車載のインフォテインメントシステム、テレビ、または、家庭用自動化パネルの形状であってもよいということである。

本発明の第３の新規な特徴は、画面コンテンツが電話機からキャプチャされ、ＨＴＭＬ、Ｊａｖａ（登録商標）ｓｃｒｉｐｔ、および／または、ＣＳＳ表現へと変換され、遠隔電子装置に送られてもよいということである。遠隔電子装置になされる入力は記録されてもよく、その後、入力は電話機のアプリケーションへと送り返されてもよく、電話機のアプリケーションのコンテンツは更新されてもよい。

本発明の第４の新規な特徴は、電話機のアニメの二次元および三次元のコンテンツは、コンテンツをオンザフライでビデオストリームへとエンコードし、ＨＴＭＬドキュメントで該ストリームへの参照を作成し、ビデオストリームとＨＴＭＬドキュメントの両方を遠隔電子装置に送信することによって、キャプチャされてもよい、ということである。その後、コンテンツは遠隔電子装置の表示画面で示されてもよい。

本発明の第５の新規な特徴は、電話機の音声コンテンツは、コンテンツをオンザフライで音声ストリームへとエンコードし、ＨＴＭＬドキュメントで該ストリームへの参照を作成し、および、音声ストリームとＨＴＭＬドキュメントの両方を遠隔電子装置に送信することによって、キャプチャされてもよい、ということである。その後、コンテンツは遠隔電子装置の音声スピーカーで再生されてもよい。

本発明の第６の新規な特徴は、アニメの二次元および三次元のコンテンツへの命令がキャプチャされ、Ｊａｖａ（登録商標）ｓｃｒｉｐｔコマンドへと変換され、遠隔電子装置に送信されてもよい、ということである。Ｊａｖａ（登録商標）ｓｃｒｉｐｔは、結果を表示するために遠隔電子装置のブラウザで実行されてもよい。

本発明の第７の新規な特徴は、電話機から送られるＣＳＳコンテンツが、遠隔電子装置で動作する他のアプリケーションによって使用される、レイアウト、配色、または、グラフィックデザインと一致するように修正されてもよい、ということである。

本発明の第８の新規な特徴は、電話機が、意味およびセンサーデータを、遠隔電子装置によって認識されるＨＴＭＬに埋め込んでもよい、ということである。データは、遠隔電子装置の表示画面において、ユーザーに見せないようにしておくことができる。遠隔電子装置はデータを自動処理に使用してもよく、取り付けられる部品にデータを渡してもよい。このことは、埋め込みデータが地理的な位置を含む、本発明の第９の新規な特徴につながる。遠隔電子装置は、遠隔電子装置に取り付けられる、位置情報システム／ナビゲーションシステムに、データを送信してもよい。

本発明の第１０の新規な特徴は、遠隔電子装置が、第１の電話機から受け取ったデータを、第２の電話機またはインターネット上の他のデータ源から受け取った追加の情報と組み合わせてもよい、ということである。集められた結果は、遠隔電子装置で表示されてもよい。

本発明の第１１の新規な特徴は、特定のＪａｖａ（登録商標）ｓｃｒｉｐｔ機能が遠隔電子装置のブラウザに加えられてもよいということである。これらの機能が電話機から送られたＪａｖａ（登録商標）ｓｃｒｉｐｔファイルで呼び出される場合、電話機は遠隔電子装置に取り付けられる部品を操作することができてもよい。

本発明の第１２の新規な特徴は、特定のウェブサービス機能が遠隔電子装置のブラウザに加えられてもよいということである。これらの機能が電話機から送られるウェブサービスファイルで呼び出される場合、電話機は遠隔電子装置に取り付けられる部品を修正することができてもよい。電話機は、取り付けられる部品から遠隔電子装置へとデータを送り返すことができてもよい。

本発明の第１３の新規な特徴は、センサーデータが、ＨＴＴＰ ＧＥＴおよびＰＯＳＴリクエストを用いて、遠隔電子装置から電話機へと送られてもよいということである。リクエストの間に呼び出されるＵＲＬと、添付されるＰＯＳＴデータとは、電話機に送られるセンサー情報をエンコードしてもよい。

携帯電子装置を遠隔制御するための本発明の方法（３００）の実施形態が図３で示されている。第１の工程（３０２）において、携帯電子装置と、ユーザインターフェースを有する遠隔電子装置との間で、通信が始められる。例えば、携帯電話（１４）の遠隔制御は、ユーザーが遠隔電子装置（１２）を携帯電話（１４）に接続した後に始められてもよい。その接続は無線でも有線でもよく、例えば、ＵＳＢ、ＷｉＦｉ、または、Ｂｌｕｅｔｏｏｔｈ（登録商標）を採用してもよい。遠隔電子装置（１２）は、表示画面と入力装置を含む、テレビ、車載のインフォテインメントシステム、または、家庭用自動化システムであってもよい。

次の工程（３０４）において、携帯装置の第１の出力は第１のＨＴＭＬファイルに変換される。例えば、携帯電話（１４）は、電話機の表示画面、音声スピーカー、または、他の出力チャネル上で出力される、コンテンツを作成する。出力を生成するグラフィックおよび音声による命令はすべて、携帯電話（１４）によってキャプチャされるか記録されてもよい。その後、携帯電話（１４）は、命令をＨＴＭＬ、Ｊａｖａ（登録商標）ｓｃｒｉｐｔ、および、ＣＳＳに変換してもよい。

次に、工程（３０６）において、第１のＨＴＭＬファイルは、携帯装置（１４）から遠隔電子装置（１２）へと送信される。例えば、ＨＴＭＬ、Ｊａｖａ（登録商標）ｓｃｒｉｐｔ、および、ＣＳＳコンテンツは、電話機の操作システムで動作するｗｅｂサーバに渡されてもよい。その後、ｗｅｂサーバはコンテンツを遠隔電子装置（１２）に利用可能にしてもよい。具体的には、遠隔電子装置（１２）は、ＨＴＴＰ ＧＥＴまたはＰＯＳＴリクエストを用いてコンテンツを要求してもよく、または、ＨＴＭＬのＷｅｂｓｏｃｋｅｔ技術を使用してもよい。

工程（３０８）において、第２の出力は、遠隔装置が受け取る第１のＨＴＭＬファイルに依存して、遠隔装置上で表示される。例えば、携帯電話（１４）から受け取るＨＴＭＬ、ＣＳＳ、Ｊａｖａ（登録商標）ｓｃｒｉｐｔ、および、追加のコンテンツファイルを用いることによって、遠隔電子装置（１２）のウェブブラウザは、その装置上でコンテンツを出力してもよく、したがって、携帯電話（１４）上で動作するアプリケーションを再生してもよい。

工程（３１０）において、データは遠隔装置から携帯装置に送信される。例えば、遠隔電子装置（１２）は、ＧＥＴまたはＰＯＳＴのような通常のＨＴＴＰコマンドを用いて、携帯電話（１４）にデータを送り返してもよい。携帯電話（１４）から先に受け取ったＨＴＭＬまたはＪａｖａ（登録商標）ｓｃｒｉｐｔのファイルは、どのような種類のデータが携帯電話（１４）に送信されるかを定義してもよい。

次に、工程（３１２）において、アプリケーションは、遠隔装置からのデータを処理するために、携帯装置内部で特定される。すなわち、携帯電話（１４）で動作するｗｅｂサーバが遠隔電子装置（１４）からデータを受信する際、ｗｅｂサーバは、データを処理する必要があるアプリケーションを特定し、特定されたアプリケーションにコンテンツを転送する。

次に、工程（３１４）において、遠隔装置からのデータはアプリケーション内部で処理される。例えば、特定されたアプリケーションがアドレス帳であり、遠隔電子装置（１２）からのデータが、アドレス帳への次の入力に進むためのコマンドである場合、携帯電話（１４）内部の電話帳のアプリケーションは、アドレス帳への次の入力に関連したコマンドおよびアクセスのコンテンツを処理してもよい。

次に、工程（３１６）では、第３の出力は、遠隔装置からのデータの処理に基づいて、携帯装置内部で生成される。例えば、携帯電話（１４）は、そのユーザインターフェース上に、要求されたアドレス帳への次の入力を表示してもよい。

工程（３１８）において、携帯装置の第３の出力は、第２のＨＴＭＬファイルに変換される。例えば、携帯電話（１４）は、アドレス帳に新しくアクセスされた入力を、ＨＴＭＬ、Ｊａｖａ（登録商標）ｓｃｒｉｐｔ、および、ＣＳＳに変換してもよい。

最終工程（３２０）において、第２のＨＴＭＬファイルは、携帯装置から遠隔装置へと送信される。例えば、新しくアクセスされた電話帳への入力に関連するＨＴＭＬ、Ｊａｖａ（登録商標）ｓｃｒｉｐｔ、および、ＣＳＳコンテンツは、携帯電話の操作システムで動作するｗｅｂサーバにハンドオーバーされてもよい。工程（３０６）と同様に、ｗｅｂサーバはコンテンツを遠隔電子装置（１２）にとって利用可能にしてもよい。

本発明は例示的なデザインを有するものとして記載されてきたが、本発明はこの開示の精神と範囲の中においてさらに修正されてもよい。したがって、この出願は、その一般的な原理を用いて、本発明の任意の変化、用途、または、適応を含むように意図されている。

Claims (2)

1. 携帯電子装置を遠隔制御する方法であって、該方法は：
   前記携帯電子装置とユーザインターフェースを有する遠隔電子装置の間の通信を始める工程、
   前記携帯電子装置の第１の出力を第１のＨＴＭＬファイルに変換する工程、
   前記携帯電子装置から前記遠隔電子装置に第１のＨＴＭＬファイルを送信する工程、
   前記遠隔電子装置によって受け取られた第１のＨＴＭＬファイルに依存して前記遠隔電子装置に第２の出力を示す工程、
   前記遠隔電子装置から前記携帯電子装置にデータを送信する工程、
   前記遠隔電子装置からのデータを処理するために、前記携帯電子装置内のアプリケーションを識別する工程、
   前記アプリケーション内で前記遠隔電子装置からのデータを処理する工程、
   前記遠隔電子装置からのデータの処理に基づいて前記携帯電子装置内の第３の出力を生成する工程、
   前記携帯電子装置の第３の出力を第２のＨＴＭＬファイルに変換する工程、
   及び、前記第２のＨＴＭＬファイルを前記携帯電子装置から前記遠隔電子装置に送信する工程を含み、前記携帯電子装置内で生成された前記第１及び第３の出力はライブビデオストリームに符号化される２Ｄ／３Ｄコンテンツと、音声ストリームに符号化される音声コンテンツを含み、
   前記第１及び第２のＨＴＭＬファイルは、前記ビデオストリームおよび音声ストリームが前記遠隔電子装置上でユーザーに提供されるように、前記ビデオストリームおよび音声ストリームを参照し、
   前記携帯電子装置が、意味データおよびセンサーデータを、前記第１のＨＴＭＬファイル及び前記第２のＨＴＭＬファイルに埋め込み、
   前記携帯電子装置から送信されるＣＳＳコンテンツが、前記遠隔電子装置で動作する他のアプリケーションによって使用される、レイアウト、配色、又はグラフィックデザインと一致するように修正され、
   前記遠隔電子装置によって、第１の電話機から受け取ったデータが、第２の電話機又はインターネット上の他のデータ源から受け取った追加の情報と組み合わされる
   ことを特徴とする方法。
2. 前記携帯電子装置内のアプリケーションがナビゲーションシステムを含み、
   前記携帯電子装置内で生成された第１および第３の出力はグラフィカルマップおよび音声による命令を含み、
   該グラフィカルマップのレンダリングがライブビデオストリームに符号化され、
   音声による命令のライブビデオストリームは遠隔電子装置に送信され、
   前記第１及び第２のＨＴＭＬファイルは前記ビデオストリームおよび音声ストリームを参照し、到着時間及び／又は前記遠隔電子装置が現在の通りの名前を含んでなる
   請求項１に記載の方法。