JP6177883B2 - Ａｓｒおよびｈｔ入力を有する補助ディスプレイとしてのヘッドセットコンピュータ（ｈｓｃ） - Google Patents

Description

関連出願

本出願は、２０１２年４月２５日に出願されたJacobsenらによる米国仮特許出願第６１／６３８，４１９号（代理人整理番号０７１７．２１６１−０００）、発明の名称「Improved Headset Computer」；２０１２年５月３１日に出願されたJacobsenらによる米国仮特許出願第６１／６５３，４７４号（代理人整理番号０７１７．２１６３−０００）、発明の名称「Headset Computer (HSC) As Auxiliary Display With ASR And HT Input」；２０１３年１月２日に出願されたParkinsonらによる米国仮特許出願第６１／７４８，４４４号（代理人整理番号０７１７．２２０４−０００）、発明の名称「Smartphone API For Processing VGH Input」；および２０１３年１月４日に出願されたParkinsonらによる米国仮特許出願第６１／７４９，１５５（代理人整理番号０７１７．２２０３−０００）、発明の名称「Smartphone Application Programming Interface (API) For Controlling HC Differently From Smartphone Display」の利益を請求する、２０１３年３月１３日に出願された米国継続特許出願第１３／７９９,５７０号の優先権を主張する出願である。

本出願は、２００９年５月８日に出願された米国仮特許出願第６１／１７６，６６２号、発明の名称「Remote Control of Host Application Using Tracking and Voice Commands」（代理人整理番号０７１７．２０９６−０００）；および２００９年８月２８日に出願された米国仮特許出願第６１／２３７，８８４号、発明の名称「Remote Control of Host Application Using Motion and Voice Commands」（代理人整理番号０７１７．２０９８−０００）の利益を請求する、２０１０年５月５日に出願されたJacobsenらによる米国特許出願第１２／７７４,１７９号（代理人整理番号０７１７．２０９８−００１）、発明の名称「Remote Control Of Host Application Using Motion And Voice Commands」に関する。

上記出願の全ての内容は、参照により本願明細書に組み込まれる。

本出願は、ヒューマン／コンピュータインターフェースに関し、より具体的には、ボイスコマンドを受け入れ、頭部動作を追跡して、リモートホストコンピューティングデバイス上で実行されるソフトウェアアプリケーションにコマンド入力を提供し、該ソフトウェアアプリケーションから表示情報を受信する、ヘッドセットコンピューティングディスプレイデバイスに関する。

ノートパソコン（ＰＣ）、スマートフォン、タブレットコンピューティングデバイスなどのモバイルコンピューティングデバイスは、現在、ビジネスと私生活の両方において、データを生成、分析、伝達および消費するために用いられる一般的なツールとなっている。高速ワイヤレス通信技術のユビキタス化とともに、デジタル情報へのアクセスの容易さが増すにつれて、消費者は、モバイルデジタルライフスタイルを受け入れ（lembrace）続けている。モバイルコンピューティングデバイスの一般的な用途は、多くの場合ワイヤレスでデバイスにストリーム配信される大量の高解像度のコンピュータグラフィックス情報および（動画）映像コンテンツの表示を含む。これらのデバイスは、典型的には、表示画面を含むが、そのようなデバイスの物理的な大きさが、可動性の向上のために制限されるため、高解像度の大きいフォーマット表示の好ましい視覚体験はそのようなモバイルデバイスでは容易に再現され得ない。上述のデバイスのタイプの別の欠点は、ユーザインターフェースが、手に依存するものであり、典型的には、ユーザが、キーボード（物理的もしくは仮想）またはタッチスクリーンディスプレイを用いてデータ入力や選択を行う必要があることである。結果として、消費者は、現在、手に依存するモバイルデバイスを拡張するまたはこれに取って代わる、ハンズフリーの高品質で携帯可能なカラー表示のソリューションを求めている。

最近開発されたマイクロディスプレイは、非常に小さなフォームファクタで、大きいフォーマットの高解像度カラーピクチャおよびストリーミング映像を提供できる。そのようなディスプレイの１つの適用例は、眼鏡、オーディオヘッドセット、またはビデオアイウェアと同様のフォーマットの、ユーザの視野内に置かれたディスプレイを有する、ユーザの頭部に着用されたワイヤレスヘッドセットコンピュータに統合できる。「ワイヤレスコンピューティングヘッドセット」デバイスは、（静止）画像を拡大する１つ以上の小型高解像度マイクロディスプレイおよびオプティクスを含む。ＷＶＧＡマイクロディスプレイは、super video graphics array（ＳＶＧＡ）（８００×６００）解像度またはextended graphic arrays（ＸＧＡ）（１０２４×７６８）またはさらに高い解像度を提供できる。ワイヤレスコンピューティングヘッドセットは、データおよびストリーミング映像能力を可能にする１つ以上のワイヤレスコンピューティングおよび通信インターフェースを含み、手に依存するデバイスより高い利便性および可動性を提供する。

そのようなデバイスに関するさらなる情報については、２００９年１月５日出願されたParkinsonらによる同時係属中の米国特許出願第１２／３４８，６４６号、発明の名称「Mobile Wireless Display Software Platform for Controlling Other Systems and Devices」；２００９年３月２７日に出願されたJacobsenらによるＰＣＴ国際出願第ＰＣＴ／ＵＳ０９／３８６０１号、発明の名称「Handheld Wireless Display Devices Having High Resolution Display Suitable For Use as a Mobile Internet Device」；および２０１２年４月２５日に出願されたJacobsenらによる米国特許出願第６１／６３８，４１９号、発明の名称「Improved Headset Computer」を参照されたい。これら全てはその全体が参照により本明細書に組み込まれる。

本発明の例示的な実施形態は、スマートフォンまたはＰＣにネイティブであるアプリケーションをスマートフォンまたはＰＣ上で実行することを含む、スマートフォンまたはＰＣアプリケーションを操作する方法およびこれに対応するシステムを含む。本発明の方法およびシステムは、スマートフォンまたはＰＣ画面およびヘッドセットコンピューティングディスプレイデバイスを介して同時に表示するための、ネイティブアプリケーションの出力を生成する。一実施形態では、ヘッドセットコンピューティングデバイスのための表示出力は、マークアップ言語で行われる。ヘッドセットコンピューティングデバイスは、スマートフォンまたはＰＣによって生成された表示出力を要求し受信することに応じて、受信された表示出力をヘッドセットディスプレイを介して描画するために翻訳する。音声認識および頭部追跡ユーザインターフェースモードで動作しているヘッドセットコンピューティングデバイスは、ヘッドセットコンピューティングデバイスを装着しているエンドユーザからの認識されたユーザ音声（ボイスコマンド）および頭部追跡コマンド（頭部動作）をモニタする。受信された音声認識および頭部追跡コマンド−エンドユーザ入力−に応じて、ヘッドセットコンピューティングデバイスは、受信された音声認識および頭部追跡コマンドを等価のスマートフォンコマンドまたはＰＣコマンド（例えば、タッチスクリーン、キーボード、および／またはマウスコマンド）に翻訳して、当該等価のコマンドをスマートフォンまたはＰＣに送信してネイティブアプリケーションを制御する。

本発明のさらなる例示的な実施形態は、スマートフォン上でネイティブ画像および／または映像視聴用アプリケーションを実行することを含む、スマートフォン（またはＰＣ）を操作する方法およびこれに対応するシステムを含む。本実施形態は、音声認識および頭部追跡ユーザインターフェースモードでヘッドセットコンピューティングデバイスを動作させ、ヘッドセットコンピューティングデバイスにおいてエンドユーザからのユーザ音声認識および頭部追跡コマンドをモニタする。本実施形態は、受信された音声認識および頭部追跡コマンドに応じて、ヘッドセットコンピューティングデバイスにおいて該受信された音声認識および頭部追跡コマンドを等価のスマートフォンコマンドに翻訳する。等価のスマートフォンコマンドは、ヘッドセットコンピューティングデバイスのディスプレイ上の画像または映像を取り込むことと、等価のスマートフォンコマンドをスマートフォンに送信してネイティブ画像および映像視聴用アプリケーションを制御することと、取り込まれた画像および／または映像をヘッドセットコンピューティングディスプレイデバイスを介しておよびスマートフォンディスプレイを介して同時に表示することとを含む。

例示的な実施形態は、生成された表示出力に含まれるハイパーテキストマークアップ言語５（ＨＴＭＬ５）などのマークアップ言語の使用をさらに含んでよい。例示的な実施形態は、音声認識および頭部追跡コマンドにより、可聴的および視覚的プロンプトなどのメニュー選択肢およびプロンプトをエンドユーザに提示してもよい。ホストスマートフォンまたはＰＣとヘッドセットコンピューティングデバイスとの間のワイヤレス通信リンクは、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉワイヤレス規格などのワイヤレス通信リンクを使用してよい。

さらなる例示的な実施形態は、スマートフォンまたはＰＣ上で実行されるネイティブアプリケーションの制御、音声認識およびハンズフリーユーザインターフェースをさらに効果的に可能にしてよい。

スマートフォンアプリケーションからの出力をヘッドセットコンピュータ上に表示するさらなる例示的な方法、およびこれに対応するデバイスについて述べる。実施形態は、スマートフォン上でアプリケーションを実行し、ヘッドセットコンピュータを介して表示するための実行されたアプリケーションの出力を生成する。スマートフォンは、実行されたアプリケーションの出力をヘッドセットコンピュータが表示するためのアクションを示す記述言語による指示を構成し送信する。実施形態では、構成された指示をヘッドセットコンピュータにおいて低帯域幅で受信し、これに応じて、ヘッドセットコンピュータが、行うべき前記示されたアクションに基づいて上記生成された出力の表示を形成する。アクションは、オンスクリーン通知、メッセージ、グラフィック要素、および、複数の予め定義された音声シーケンスのうちの１つを再生しヘッドセットコンピュータの構成要素を制御する要求、のうちのいずれかを含む。

それぞれの要素タイプのアクションは、そして、各要素タイプについて、指示はヘッドセットコンピュータに関して予め定義された複数のスタイルのうちの１つを示してよい。記述言語は、ＨＴＭＬ５または他のマークアップ言語であってよい。ヘッドセットにおいてヘッドセットドメインで描画される形成された表示は、音声認識／頭部追跡ユーザインターフェースによって提示されるメニュー選択肢およびプロンプトを含んでよい。メニュー選択肢および出力は、可聴的におよび視覚的にユーザに提示されてよい。ヘッドセットコンピュータによる受信、およびスマートフォンによる送信は、ワイヤレス通信リンクを介して行われ得る。ワイヤレス通信リンクは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、または他のプロトコルのいずれであってもよい。

例示的な方法は、ヘッドセットコンピュータにおいて音声認識／頭部追跡ユーザインターフェースからの入力をモニタすることをさらに含むことができる。受信された音声認識／頭部追跡コマンド入力に応じて、ヘッドセットコンピュータは、受信された音声認識／頭部追跡コマンドを等価のスマートフォンコマンドに翻訳し、等価のスマートフォンコマンドをスマートフォンに送信して実行されたアプリケーションを制御する。ヘッドセットコンピュータによる表示は、スマートフォンとの音声およびハンズフリーユーザインタラクションを効果的に可能にすることができる。

上記は、以下の本発明の例示的な実施形態のさらに具体的な説明からさらに明らかになるであろう。添付図面において、異なる図全体にわたり、同じ部分は同じ参照符号で示す。図面は必ずしも原寸に比例しておらず、本発明の実施形態の説明に重点が置かれている。
本発明の原理による、ホストコンピューティングデバイス（例えば、スマートフォン、ＰＣなど）と通信中のヘッドセットコンピューティングデバイスの例示的な実施形態を示す図である。 ヘッドセットコンピュータの例示的な実施形態の斜視図である。 本発明の原理による図１Ａおよび１Ｂの例示的な実施形態のデータおよび制御通信を示すブロック図である。 本発明の原理による、ヘッドセットコンピューティングデバイスを使用してホストコンピューティングデバイス（スマートフォンまたはＰＣ）上でネイティブアプリケーションを実行する例を示す図である。 本発明の原理による、ヘッドセットコンピューティングデバイスを使用してホストコンピューティングデバイス（スマートフォンまたはＰＣ）上でネイティブアプリケーションを実行する例を示す図である。 本発明の原理による、ヘッドセットコンピューティングデバイスを使用してホストコンピューティングデバイス（スマートフォンまたはＰＣ）上でネイティブアプリケーションを実行するさらなる例を示す図である。 本発明の原理による、ヘッドセットコンピューティングデバイスを使用してホストコンピューティングデバイス（スマートフォンまたはＰＣ）上でネイティブアプリケーションを実行するさらなる例を示す図である。 本発明の原理による、ヘッドセットコンピュータを使用してホストアプリケーションを操作する例示的な方法を示すフローチャートである。 音声認識および頭部追跡ユーザインターフェースを使用してヘッドセットコンピューティングデバイスがどのようにホストコンピューティングデバイス上で実行されるアプリケーションを制御するために使用され得るかを示す例示的な実施形態の高レベルソフトウェアダイアグラムである。 本発明の実施形態のフローチャートである。

以下に、本発明の例示的な実施形態を説明する。

少なくとも補助ディスプレイおよびエンドユーザ入力デバイスとして使用されるのに十分な計算能力および演算能力を有するヘッドセットコンピュータ（ＨＳＣ）が、「ホスト」（あるいは「メイン」または「コントローラ」）コンピューティングデバイスに動作可能に接続され、ホスト上で実行される従来のソフトウェアアプリケーションを、ホストおよびＨＳＣを介して同時に表示させると共に、ＨＳＣで受信されたエンドユーザ入力を使用して制御されることが可能になる。ホストコンピューティングデバイスは、スマートフォン、タブレット、またはパーソナルコンピュータ（ＰＣ）を含んでよい。ＨＳＣおよびホストは、有線でまたは好ましくは無線で動作可能に結合され得る。

本発明の例示的な方法によれば、スマートフォンまたはＰＣは一次（またはメイン）コンピューティングデバイスであってよく、ＨＳＣは、スマートフォンまたはＰＣコンピューティングデバイスに対する補助ディスプレイおよびユーザインターフェースであってよい。スマートフォンまたはＰＣは、従来の通例の様式で自己のディスプレイを使用して、自己のネイティブソフトウェアを実行することができる。ＨＳＣだけでは、タッチスクリーン、キーボード、および／またはマウスなどの従来のユーザインターフェースハードウェアがないため、そのようなソフトウェアアプリケーションを実行できない。したがって、ハンズフリーコンピューティングを行うために、スマートフォンまたはＰＣは、セカンドクラスのアプリケーションを実行できる。このセカンドクラスのアプリケーションは、スマートフォンまたはＰＣ上で直接動作しつつ、ネイティブアプリケーションのための表示出力としてＨＳＣを使用し、かつＨＳＣユーザ入力デバイスに機能的に内蔵された自動音声認識装置（ＡＳＲ）および頭部追跡装置（ＨＴ）を使用するように、特別に設計されている。

本発明の例示的な実施形態では、ＨＳＣは、以下を行うために少なくとも十分な計算および演算能力を含む：（ｉ）フルスクリーン（screen-full）の情報を表示する；（ｉｉ）頭部ジェスチャ追跡をモニタし、頭部動作情報をメインコンピュータ（例えばスマートフォンまたはＰＣ）にフィードバックする；および（ｉｉｉ）音声をモニタおよび処理し、音声認識結果をメインコンピュータにフィードバックする。ＨＳＣとメインコンピュータ（スマートフォンまたはＰＣ）をペアリングすることで、メインコンピュータは、メインコンピュータ上で主に動作するがＨＳＣのディスプレイおよびＨＳＣからの拡張入力を使用する、特別に作成されたハンズフリーアプリケーションを効果的に維持できる。

一実施形態では、ＨＳＣは、２０１１年２月１日に出願された、Jacobsenらによる同時係属中の米国特許出願第１３／０１８，９９９号、発明の名称「Wireless Hands-Free Computing Headset With Detachable Accessories Controllable By Motion, Body Gesture And/Or Vocal Commands」（これは全体が参照により本願明細書に組み込まれる）に記載されるＨＳＣの形態をとってもよい。

図１Ａおよび図１Ｂは、高解像度（ＶＧＡ以上）マイクロディスプレイ要素１０１０と以下に述べる他の特徴とを組み込んだ、ワイヤレスコンピューティングヘッドセットデバイス１００（本明細書においてヘッドセットコンピュータ（ＨＳＣ）ともいう）の例示的な実施形態を示す。ＨＳＣ１００は、以下を含むオーディオ入力および／または出力デバイスを含んでよい：ヘッドセットに組み込まれおよび／もしくは統合され、ならびに／もしくは１つ以上の周辺機器ポート（図１Ｂでは詳細に図示せず）を介してデバイスに取り付けられた、１つ以上のマイク、スピーカ、地理測位センサ（ＧＰＳ）、３軸〜９軸自由度方位センサ、大気センサ、健康状態センサ、デジタルコンパス、圧力センサ、環境センサ、エネルギーセンサ、加速度センサ、位置、姿勢、運動、速度用センサおよび／もしくは光センサ、カメラ（可視光、赤外線など）、複数のワイヤレス無線、補助照明、距離計など、ならびに／またはセンサのアレイ。ヘッドセットコンピューティングデバイス１００の筐体内に典型的に配置されているのは、マイクロコンピュータ（シングルまたはマルチコアプロセッサ）を含む様々な電子回路、１つ以上の有線および／またはワイヤレス通信インターフェース、メモリまたは記憶装置、様々なセンサ、ならびに「ホットシュー」などの周辺機器マウントである。

ＨＳＣ１００の例示的な実施形態は、ボイスコマンドの認識、頭部動作１１０、１１１、１１２の検知、およびハンドジェスチャ１１３、またはこれらの組み合わせを通して、ユーザ入力を受信できる。ＨＳＣ１００に動作可能に結合または好ましくは統合されたマイク（複数可）を使用して音声（ボイス）コマンドをとらえることができ、次いで、この音声コマンドは、自動音声認識（ＡＳＲ）技術を使用してデジタル化および処理される。ジャイロスコープ、加速度計、および他のマイクロ電気機械的システムセンサを、ＨＳＣ１００に統合し、ユーザの頭部動作の追跡に使用して、ユーザ入力コマンドを提供できる。カメラまたは他の動作追跡センサを使用して、ユーザ入力コマンドのためのユーザのハンドジェスチャをモニタできる。ボイスコマンドの自動認識や頭部動作追跡機能（features）など、そのようなユーザインターフェースは、他のモバイルデバイスの手に依存するフォーマットに打ち勝つ。

ヘッドセットコンピューティングデバイス１００は、リモートホストコンピューティングデバイス２００（図１Ａに示す）から受信したストリーミング映像信号用のリモート補助ディスプレイとして使用できる。ホスト２００は、例えば、ＨＳＣ１００と通信し、ネイティブアプリケーションを実行し、出力表示フィードを生成送信しＨＳＣ１００からユーザ入力コマンドを受信するのに十分な計算能力を有する、ノートブックＰＣ、スマートフォン、タブレットデバイス、または他のコンピューティングデバイスであってよい。ホストは、さらに、インターネットなどの他のネットワーク２１０に接続可能であってもよい。ＨＳＣ１００およびホスト２００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、ＷｉＭＡＸ、または他のワイヤレス無線リンク１５０などの１つ以上のワイヤレスプロトコルを介してワイヤレス通信可能である。（Ｂｌｕｅｔｏｏｔｈ（登録商標）は、９８０３３ワシントン州カークランドレイクワシントンブールバード５２０９のBluetooth Sig, Inc.の登録商標である。）

図１Ｂは、ヘッドセットコンピュータ１００の例示的な実施形態を幾分詳細に示した斜視図である。例示的な実施形態のＨＳＣ１００は、概して、フレーム１０００と、ストラップ１００２と、後部筐体１００４と、スピーカ１００６と、内蔵マイク（複数可）を有するカンチレバー（あるいはアームまたはブームともいう）１００８と、マイクロディスプレイサブアセンブリ１０１０と、周辺機器ポート１０２０とを含む。

頭部装着フレーム１０００およびストラップ１００２は、概して、ユーザが自己の頭部にヘッドセットコンピュータデバイス１００を装着できるように構成されている。筐体１００４は、一般に、ロープロファイルユニットであり、例えばマイクロプロセッサ、メモリもしくは他の記憶装置、低電力ワイヤレス通信デバイス（複数可）などのエレクトロニクスを、他の関連する回路と共に収容する。スピーカ１００６は、例えばマルチメディア提示のオーディオ部分、またはユーザコマンドの認識を知らせるオーディオプロンプト、アラート、もしくはフィードバックなどの情報がユーザに聞こえるように、オーディオ出力をユーザに提供する。

マイクロディスプレイサブアセンブリ１０１０は、ユーザに対して画像や映像などの視覚情報を描画するために使用される。マイクロディスプレイ１０１０は、アーム１００８に結合されている。アーム１００８は、一般に、ユーザの視野内、好ましくはユーザの目の前、または好ましくは目の少し下もしくは少し上の周辺視野内にマイクロディスプレイサブアセンブリが位置づけられるように、物理的支持を提供する。アーム１００８はまた、マイクロディスプレイサブアセンブリ１０１０と筐体ユニット１００４内に収容された制御回路との間の電気接続または光接続を提供する。

以下にさらに詳細に説明する局面によれば、マイクロディスプレイ１０１０を有するＨＳＣディスプレイデバイス１００によって、エンドユーザは、仮想ディスプレイ４００で定義される非常に大きい領域内の視野３００（図１Ａ）を選択できる。ユーザは、典型的には、位置、程度（Ｘ−Ｙもしくは３Ｄレンジなど）および／または視野３００の倍率を制御できる。

図１Ａ、図１Ｂに示すＨＳＣ１００の例示的な実施形態は、カンチレバーブームでユーザの顔の前の視野内に支持される単一の固定表示要素を提供する単眼マイクロディスプレイであるが、補助ディスプレイデバイスＨＳＣ１００のための他の機械的構成も可能であることを理解されたい。

図２は、ＨＳＣデバイス１００、ホスト２００、およびその間を行き来するデータをより詳細に示すブロック図である。双方向通信リンク１５０を、ＨＳＣ１００とホストコンピューティングデバイス２００との間に確立することができる（そのような通信リンクのさらなる詳細については、２０１３年１月１５日発行の米国特許第８，３５５，６７１号、発明の名称「Method And Apparatus For Transporting Video Signal Over Bluetooth Wireless Interface」（この全体が参照により本明細書に組み込まれる）を参照のこと）。

本発明の例示的な実施形態では、外部の「スマート」デバイス２００（本明細書において「ホスト」デバイスまたは「コントローラ」ともいう）をＨＳＣ１００と結合して、情報およびハンズフリー制御をユーザに提供する。例示的な実施形態では、ホスト２００とＨＳＣ１００との間の少量のデータの送信を使用し、したがって、リアルタイム制御のためのより信頼性の高いデータ転送方法および制御方法を提供する。

好ましい実施形態は、２つのデバイスを協働させることを含み、そのうちの一方がＨＳＣ１００である。他方のデバイス（コントローラまたはホスト）はスマートデバイス２００であり、スマートデバイス２００は、アプリケーションを実行し、データを処理し、ユーザに機能性を提供するデバイスである。例示的なコントローラは、スマートフォン、タブレット、ラップトップを含むが、これらに限定されない。

コントローラ２００とＨＳＣ１００は、適切なトランスポート、典型的にはＢｌｕｅｔｏｏｔｈ（登録商標）などのワイヤレス双方向通信リンクを介して、ペアリングすることができる。そのような適切なプロトコルによって転送されるデータ量は少ないので、転送において、より高帯域幅を必要とする他のアクティビティとシェアできる。

コントローラ２００は、セカンドクラスのアプリケーションなどのソフトウェアを実行することができる。このソフトウェアは、ソフトウェアスタックの最上位層で動作し、コントローラ２００がＨＳＣ１００に指示を送れるようにするものである。ＨＳＣ１００上での全画面コンテンツをアウトラインするデータを送らなければならないことを避けるために、コントローラ２００は、その代わりに、ＨＳＣ１００がＨＳＣ１００上で機能するソフトウェアを使用して解釈できる指示を、送ることができる。コントローラ２００から送られた指示は、オンスクリーン通知、メッセージ、および他のグラフィック要素を含む、行うべきアクションを記述できる。そのような指示は、予め設定された（予め定義された）音声シーケンスのセットのうちの１つを再生するまたはＨＳＣ１００の他の構成要素を制御する要求を、含むこともできる。

上記指示はさらに、予め設定された「スタイル付けされた要素」を含むことができる。スタイル付けされた要素は、表示画面のレイアウトの仕方、どのテキストを表示するか、テキストフォント、フォントサイズ、ならびに、例えば矢印の描画、矢印スタイルおよびサイズ、背景および前景カラー、含むべき画像または除外すべき画像などの他のスタイル要素情報に関する、ショートハンド指示またはコードを含むことができる。したがって、各要素タイプ（通知、メッセージ、テキストボックス、ピクチャボックスなど）について、複数の表示スタイルがある。スタイル付けされた要素により、コントローラ２００は、ＨＳＣ１００上での情報の表示の仕方において、高度の柔軟性を有することができる。このように、所与の情報について、ＨＳＣ１００に表示される視覚要素は、コントローラ２００のディスプレイに表示された視覚要素とは異なり得る。

双方向通信プロトコルが表示指示を転送している間に、より高帯域幅のアクティビティを要求することができる。より高帯域幅のトラフィックは、本発明の低帯域幅のトラフィックと分けることができる。例えば、ＨＳＣ１００を映像呼出しのために利用することができ、それによって要求を送り、ディスプレイ、カメラ、ならびにオーディオ通信周辺機器（マイクおよびスピーカ）に対するアクセスおよび制御を得ることができ、そしてＨＳＣ１００上でライブ映像を表示しライブオーディオを再生することができる。そのような要求は、補助プロトコル（例えば、ＨＳＣ１００のための低帯域幅指示）の一部であってよいが、高帯域幅の映像呼出しトラフィックは、その外側にあってよい。

スタイル付けされた要素の送信では、接続１５０を介して送信されるデータ量は、画面のレイアウトの仕方、どのテキストを表示するか、ならびに、例えば矢印の描画、背景カラー、含むべき画像などの他のスタイル情報に関する、小さな単純な指示の量である。コントローラ２００によって要求された場合、映像ストリームなどの追加のデータは、同じリンク１５０または他の接続を介してストリームでき、画面１０１０に表示できる。

他の実施形態では、双方向通信リンクが確立された後、ホストコンピューティングデバイスにネイティブであるソフトウェアアプリケーションが、ホスト２００プロセッサによって実行され得る。ネイティブアプリケーションは、表示用の出力画像のフィードを生成できる。出力画像がマルチスクリーン表示用に使用され得るように、セカンドクラスのアプリケーションがホストによって実行されて、ハイパーテキストマークアップ言語５（ＨＴＭＬ５）などのマークアップ言語を出力画像に追加することができる。ホストは、ホストデバイス２００およびＨＳＣ１００の両方のディスプレイを介して、しかしそれぞれのフォーマット、レイアウト、ユーザインターフェースで、アプリケーション出力を同時に表示するために、マークアップされた表示データをＨＳＣ１００に送信できる。ＨＳＣ１００は、マークアップされた表示データを処理して、利用可能なメニュー選択肢およびプロンプトをＨＳＣ１００のエンドユーザに提示してもよい。それによって、エンドユーザは、ホスト２００上で動作中のアプリケーションと、ＨＳＣ１００を介してハンズフリーでインターフェースをとることができるようになる。例えば、視覚プロンプトは、認識された言語コマンドを示す１つ以上のテキストボックス、および／もしくは頭部追跡（ならびに／または手の動作）コマンドを示す矢印もしくは他の動作インジケータを含んでよい。オーディオプロンプトは、例えば、認識された言語コマンドのテキストから音声への機械朗読を含んでよい。

ＨＳＣデバイス１００は、マイクを介してユーザから音声入力を、位置および方位センサ、カメラまたは光センサ（複数可）を介して手の動作またはボディジェスチャを、３軸〜９軸自由度方位検知などの頭部追跡回路を介して頭部動作入力を、受信できる。これらのコマンド入力は、ＨＳＣデバイス１００内のソフトウェアによって等価のホストデバイス２００用コマンド（例えば、タッチジェスチャ、キーボードおよび／またはマウスコマンド）に翻訳され、そしてこれらのコマンドは、Ｂｌｕｅｔｏｏｔｈ（登録商標）または他のワイヤレスインターフェース１５０を介してホスト２００へ送られ得る。そして、ホスト２００は、ホストオペレーティングシステムおよび実行されたネイティブアプリケーションソフトウェアに従って、翻訳された等価のコマンドを解釈し、様々な機能を実施することができる。

等価のコマンドの中には、仮想ディスプレイ４００内の視野３００（図１Ａ）を選択し、選択された画面データをＨＳＣデバイス１００に返すコマンドが含まれ得る。したがって、非常に大きなフォーマットの仮想ディスプレイ領域が、ホスト２００上で動作中のアプリケーションソフトウェアまたはオペレーティングシステムと関連づけられ得ることを理解されたい。しかし、視野３００内における大きな仮想ディスプレイ領域４００の一部分だけをＨＳＣデバイス１００のマイクロディスプレイ１０１０に返し、ＨＳＣデバイス１００のマイクロディスプレイ１０１０によって実際に表示してもよい。

図３Ａおよび図３Ｂは、本発明の原理による、ヘッドセットコンピューティングデバイス１００を使用してホストコンピューティングデバイス２００（スマートフォンまたはＰＣ）上で地理測位システム（ＧＰＳ）地図ベースのネイティブアプリケーションを実行する例を示す。

例示的な本実施形態では、少なくとも説明の目的で、ＨＳＣは、表示データを処理し、ユーザ音声および動作入力をモニタし、そのような入力を等価のコマンドに翻訳するだけのために十分な処理装備および能力を備えることができる。図３Ａおよび図３Ｂに示した例示的な実施形態において、ＨＳＣ１００は、ＧＰＳレシーバモジュールを備えず、直接のインターネット接続を有さない。

ホストコンピューティングデバイス２００（例えば、スマートフォン、またはＧＰＳレシーバを備える他の一次（primary）コンピューティングデバイス）は、自己の現在の座標に基づいて地図画面画像を生成できる。典型的には、スマートフォン２００は、スマートフォン２００が自己の現在の位置を提供できるように、ＧＰＳレシーバおよび関連づけられた処理ソフトウェアを備える。さらに、スマートフォン２００は、通常、関連する地図グラフィックをダウンロードできるようにインターネット接続を備える。地図グラフィックは、スマートフォン上で動作中のセカンドクラスのアプリケーションによって後処理されることができ、それによって、後処理されたマークアップ済グラフィックデータが、視野３００を介してユーザに対して描画および表示されるためにＨＳＣ１００に送られる。後処理されたデータは、図３Ａに示すように、「衛星」、「パン」、「ズームイン」、および「終了」などの、テキスト形式でＨＳＣ１００に送られた認識されるべき音声コマンド３０３０の組を含むことができる。ＨＳＣ１００は、マークアップされたデータを受信して処理した後、ユーザがコマンド３０３０のうちの１つを選択してそれを話す／発音することで聞くことを開始できる。

地図が視野３００を介してＨＳＣ１００上に表示されている間に、頭部ジェスチャ動作が、ＨＳＣ１００によってモニタされ、等価のタッチスクリーンまたはキーボード（物理的もしくは仮想）コマンドに翻訳され、ＧＰＳ地図ベースのアプリケーションに従って処理するために双方向通信リンク１５０を介してスマートフォン２００へ直接フィードバックされ得る。例えば、ユーザの頭部が左に動くと、スマートフォン２００は地図を左にパンし、更新されたグラフィックをＨＳＣディスプレイ１０１０に送ってもよい。このように、スマートフォン２００はそうした処理ワークを行うことができ、その一方でＨＳＣ１００は補助ディスプレイおよびユーザインターフェースを提供できる。

同時に、ユーザは、「衛星」などの認識される有効なコマンド３０３０を話してよい。ユーザは、「衛星」が有効なコマンドであることを、ＨＳＣ１００を介して視覚的にまたは可聴的にプロンプトされることによって気づかされてもよい。これは、ＨＳＣ１００がスマートフォンアプリケーションから生成されたマークアップされたデータを処理し、ＨＳＣ１００によって処理された時に該データが、有効なコマンド３０３０を聞くようにＨＳＣ１００に指示することによって、行われる。コマンドワード「衛星」を認識する際、ＨＳＣ１００は、話し言葉を等価のデジタルコマンドに置き換え、デジタルコマンドをスマートフォン２００に送り返すことができる。そして、スマートフォン２００は、新しい地図ビューを生成し、この新しい生成されたビューを、図３Ｂに示すようにマイクロディスプレイ１０１０の視野３００を介して表示するためにＨＳＣ１００に送ることにより、受信した等価のデジタルコマンドに応答できる。したがって、スマートフォン２００はボイス認識能力を有する必要がない。この機能はＨＳＣ１００によって行われる。

ＨＳＣ１００のエンドユーザが、ハンズフリー操作のためにスマートフォン２００のメモリまたは他の記憶装置に記憶されているネイティブアプリケーションのアレイから選択を行えることも、さらに想定される。ＨＳＣ１００ユーザは、オンスクリーン（ＨＳＣ画面３００）メニューおよび関連づけられたボイスコマンドを介して、操作すべきアプリケーションを選択できるであろう。そのようなメニューはセカンドクラスのアプリケーションによって生成され得、上述のようにしてスマートフォン２００からＨＳＣへ送られ得る。セカンドクラスのアプリケーションは、一旦実行されると、どのネイティブアプリケーションが互換性を有しＨＳＣ１００でアクセス可能であるかを判断できる。

ＨＳＣ１００の全ての動作中、ホストコンピューティングデバイス２００（スマートフォンまたはＰＣ）の通常の機能性は継続できる。このような手法により、ＨＳＣ１００は、エンドユーザが認識するようないかなる機能性も諦めることなく、既知の（ＨＳＣの）実施形態におけるよりもさらに単純なデバイスとすることができる。計算知能は主にホスト２００によって提供される。しかし、頭部追跡および音声コマンドなどと組み合わせて頭部追跡および入力コマンドを使用してハンズフリー操作およびナビゲーションを提供するような、ＨＳＣ１００の進歩した点の全てが、依然として利用可能であることを理解されたい。

図４Ａおよび図４Ｂは、本発明の原理による、ヘッドセットコンピューティングデバイス１００を使用してホストコンピューティングデバイス（スマートフォンまたはＰＣ）２００上で例えばｅメールアプリケーションなどのネイティブアプリケーションを実行する、他の例を示す。

図４Ａおよび図４Ｂの例では、少なくとも説明の目的で、ＨＳＣ１００は、主に、表示データを処理し、ユーザ音声および動作入力をモニタし、そのような入力を等価のコマンドに翻訳するのに十分な処理装備および能力を備える。ＨＳＣ１００はインターネット接続を備えない。

ここではｉＰｈｏｎｅ（登録商標）として描かれているホストコンピューティングデバイス２００は、自己のネイティブｅメールアプリケーションに基づき画面画像を生成する。（ｉＰｈｏｎｅはカリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．の登録商標である）。典型的には、ｉＰｈｏｎｅ（またはスマートフォン）２００は、ｉＰｈｏｎｅ２００がインターネット接続を介してｅメールサーバーにアクセスできるように、ｅメールアプリケーションおよび関連づけられた処理および通信能力を備える。ｅメールアプリケーション表示出力２０１０ａのグラフィックフィードは、スマートフォン２００上で動作中のセカンドクラスのアプリケーションによって後処理され、それによって、後処理されたマークアップ済グラフィックデータは、視野３００を介してユーザに対して描画および表示されるためにＨＳＣ１００へ送られる。後処理されたデータは、図４Ｂに示すように、「返信」、「全員に返信」、「破棄」、「次へ」、「受信箱」、および「終了」など、ＨＳＣ１００へテキスト形式で送られた認識される音声コマンド３０３０の組を含むことができる。ＨＳＣ１００は、マークアップされたデータを受信して処理すると、ユーザが（１つ以上の）コマンド３０３０を話す（発音する）のを聞き始めることができる。

ｅメールアプリケーションが視野３００を介してＨＳＣ１００上に表示されている間、頭部ジェスチャ動作が、ＨＳＣ１００によってモニタされ、等価のタッチスクリーンまたはキーボード（物理的もしくは仮想）コマンドに翻訳され、ｅメールアプリケーションに従って処理するためにスマートフォン２００に直接フィードバックされる。例えば、矢印３０３１でプロンプト表示されているようにユーザの頭部が左に動くと、ＨＳＣ１００は、対応するスマートフォン２００の互換性コマンドを生成し送信する。これに応じて、スマートフォン２００は「受信箱」に戻り、更新されたグラフィックをディスプレイ１０１０で提示するためにＨＳＣ１００に送る。このように、スマートフォン２００はそうした処理ワークを実行でき、その一方で、ＨＳＣ１００は補助ディスプレイおよびユーザインターフェースを提供できる。

同時に、ユーザは、前述したように「返信」などの有効な認識されるコマンド３０３０を話してもよい。ＨＳＣ１００は、「返信」などのコマンドワードを認識すると、この話し言葉を等価のデジタルコマンドに変換し、生成したコマンドをスマートフォン２００に送り返すことができる。そして、スマートフォン２００は、返信メッセージを表す更新グラフィックを生成することにより、受信した等価のコマンドに応答し、（ＨＳＣ１００ドメイン用に修正した）返信メッセージ画面ビュー２０１０ｂをマイクロディスプレイ１０１０の視野３００を介して表示するためにＨＳＣ１００へ送ることができる。

図５は、本発明の原理に従った、ホストコンピューティングデバイス２００のアプリケーションを操作する方法５００の高レベルのフローチャートである。最初のステップにおいて、本方法が開始する（ステップ５０１）。その後、ホストデバイス２００は、ネイティブアプリケーションを実行できる（ステップ５１１）。そして、ネイティブアプリケーションは、表示出力ともいう出力画像のフィードを生成できる（ステップ５１３）。生成された出力画像のフィードは、適切なフォーマットでホスト表示画面を介して表示され得る（ステップ５１９）。次に、ユーザ指示（例えば、制御コマンド）がネイティブアプリケーションによって実行され得るように、デバイス２００におけるユーザ入力がモニタされ得る（ステップ５２１）。タッチスクリーン入力またはタイプ入力などのユーザコマンドが検出されると、そのようなコマンドは、ネイティブアプリケーションに従って実行され得る（ステップ５１１）。そうでない場合は、ホスト２００処理が完了しているか否かが判断される（ステップ５２３）。該処理が完了していない場合、ネイティブアプリケーションに従い、実行を継続できる（ステップ５１１）。処理が完了している場合、本方法は終了できる（ステップ５３０）。

ステップ５１１および５１３と並行して（または続けて順番に、前後して）、双方向通信リンクがホストデバイス２００とＨＳＣ１００との間で確立され得る（ステップ５０５）。また、ステップ５１１、５１３、および５０５と並行して（または続けて順番に、前後して）、ＨＳＣ１００は、自動音声認識（ＡＳＲ）および頭部追跡（ＨＴ）動作モードで動作され得て、その間、エンドユーザ入力（例えば、話し言葉コマンドおよび／または頭部動作）がユーザコマンドとしてモニタされ認識される（ステップ５１２）。ＡＳＲ／ＨＴモードで動作開始（ステップ５１２）後、ＨＳＣ１００は、ホスト２００上で実行中のネイティブアプリケーションの、ホスト２００からの表示出力を要求できる（ステップ５１４）。

セカンドクラスのアプリケーションであるＨＳＣ補助アプリケーションは、ＨＳＣ１００からの入力要求と、実行されたネイティブアプリケーションによって生成された表示出力とを受信し、次いで、表示出力データにマークアップ指示を追加できる（ステップ５１５）。そして、追加されたマークアップ済表示データは、確立された通信リンク（図２の１５０）を介してＨＳＣ１００に送信され得る（ステップ５１７）。ＨＳＣ１００は、次いで、（ホスト２００によって修正／マークアップされた）表示出力が受信されたか否かを判断できる（ステップ５１８）。該出力が受信されていない場合、再度、要求することができる（ステップ５１４）。該出力が受信されている場合、受信された表示出力データは、マイクロディスプレイ１０１０を介して描画するために翻訳され得る（ステップ５２０）。

次に、翻訳されたデータは、ＨＳＣディスプレイ（例えば、マイクロディスプレイ１０１０）を介して描画および表示される（ステップ５２２）。ホストディスプレイ（ステップ５１９）およびＨＳＣディスプレイ（ステップ５２２）を介した、ネイティブアプリケーションによって生成された上記出力の表示は、略同時に、しかしそれぞれのドメイン／フォーマットで行われ得る。ネイティブアプリケーションによって生成された上記出力をＨＳＣディスプレイ（ステップ５２２）を介して表示した後、ＨＳＣ１００は、ＨＳＣにおけるユーザ入力（ＡＳＲ／ＨＴ）が認識されているか否かを判断する（ステップ５２４）。ＨＳＣ１００におけるエンドユーザ入力（ＡＳＲ／ＨＴ）が（ステップ５２４において）検出されていると、そのような入力は、等価のホストデバイス２００のコマンドに翻訳されて、ユーザ入力としてホストデバイスに送信され得る（ステップ５２６）。ＨＳＣ１００におけるエンドユーザ入力がないと判断された場合、ＨＳＣ１００は、ＨＳＣ１００の処理が完了したか否かを判断する（ステップ５２８）。ＨＳＣ１００における処理が完了していない場合、処理は、ＡＳＲ／ＨＴモードに従って動作し続けることができる（ステップ５１２）。ＨＳＣ１００処理が完了している場合、本方法は終了できる（ステップ５３０）。

図６は、音声認識および頭部追跡ユーザインターフェースを使用するＨＳＣ１００が、ホストコンピューティングデバイス２００上で実行されるアプリケーションを制御するためにどのように使用され得るかを示す、高レベルのソフトウェアダイアグラムである。ＨＳＣソフトウェアスタック６１００は、リナックス（登録商標）カーネル（Linux （登録商標）kernel）６１０１などのオペレーティングシステム（ＯＳ）のカーネル（kernel）と；ライブラリ／ランタイムスタック６１０２におけるような、アプリケーションの実行時にプログラミング言語に埋め込まれてその機能を実装するためのライブラリおよびランタイムライブラリと；アプリケーションフレームワーク６１０３などのアプリケーションの標準構造を実装するためのアプリケーションフレームワークと；ＯＳカーネル、ライブラリ、およびフレームワークの上位で動作できる、ＨＳＣディスプレイアプリケーション６１０４などのアプリケーションとを含み得る。ＨＳＣディスプレイアプリケーション６１０４は、エンドユーザが、補助ディスプレイおよびハンズフリーユーザインターフェースとしてＨＳＣ１００を使用できるようにし、アイコンおよびメニューインターフェースを含み得る。

ＨＳＣディスプレイアプリケーション６１０４のコンテキスト内で動作するアプリケーションは、音声認識入力６１２１と、頭部追跡入力６１２２と、（ホスト２００からの）マークアップされた表示出力を翻訳するための、および（ＨＳＣ１００における）ＡＳＲ／ＨＴ入力を等価のホスト２００のコマンドに翻訳するための翻訳モジュール６１２３と、ＨＳＣ１００とホストデバイス２００との間の双方向通信リンクを確立可能とする仮想ネットワーク接続６１２４とを含み得る。

ホストソフトウェアスタック６２００は、リナックス（登録商標）カーネル６２０１などのオペレーティングシステム（ＯＳ）のカーネルと；ライブラリ／ランタイムスタック６２０２におけるような、アプリケーション実行時にプログラミング言語に内蔵されてその機能を実装するためのライブラリおよびランタイムライブラリと；アプリケーションフレームワーク６２０３などのアプリケーションの標準構造を実装するためのアプリケーションフレームワークと；ＯＳカーネル、ライブラリ、およびフレームワークの上位で動作できる、ネイティブアプリケーション６２０４などのアプリケーションと；スタックおよびネイティブアプリケーション６２０４の上位で動作するＨＳＣ補助ディスプレイインターフェースアプリケーション６２０５などのセカンドクラスのアプリケーションとを含み得る。上記で詳述したように、ＨＳＣ補助ディスプレイインターフェースアプリケーション６２０５は、エンドユーザが、補助ディスプレイおよびハンズフリーユーザインターフェースとしてＨＳＣ１００を使用できるようして、ホスト２００を実行するネイティブアプリケーション６２０４を制御できるようにする。ＨＳＣ補助ディスプレイインターフェースアプリケーション６２０５のコンテキスト内で動作するアプリケーションは、ホストデバイス２００とＨＳＣ１００との間の双方向通信リンクを確立可能とする、仮想ネットワーク接続６１２４を含み得る。ホストソフトウェアスタック６２００は、ＨＳＣソフトウェアスタック６１００よりも広範囲かつ複雑であり得る。

図７は、本発明の例示的な実施形態の高レベルのフローチャートを示す。図７は、スマートフォンアプリケーションからの出力をヘッドセットコンピュータ上に表示する代替方法７００のステップを示す高レベルのフローチャートである。スマートフォンアプリケーション７００からの出力をヘッドセットコンピュータ上に表示する方法７００は、スマートフォン上でアプリケーションを実行することと（ステップ７１０）；ヘッドセットコンピュータを介して表示するための実行されたアプリケーションの出力を生成し、該生成は、上記実行されたアプリケーションの出力をヘッドセットコンピュータが表示するためのアクションを示す記述言語による指示を、スマートフォンが構成し送信することを含むことと（ステップ７２０）；構成された指示をヘッドセットコンピュータにおいて低帯域幅通信リンクを介して受信し、受信された構成されるべき指示に応じて、ヘッドセットコンピュータが、示された行うべきアクション（該指示）に基づいて上記生成された出力の表示を形成および描画し、該アクションは、オンスクリーン通知、メッセージ、グラフィック要素、および、複数の予め定義された音声シーケンスのうちの１つを再生しヘッドセットコンピュータの構成要素を制御する要求、のうちのいずれかを含むことと（ステップ７３０）、を含み得る。

アクションはそれぞれの要素タイプであってよく、各要素タイプについて、指示は、ヘッドセットコンピュータに関して予め定義された複数のスタイルのうちの１つを示してよい。スタイルは、スタイル要素であってよい。ヘッドセットドメインにおいて描画され形成された表示は、音声認識／頭部追跡ユーザインターフェースによって提示されたメニュー選択肢およびプロンプトを含んでよい。そのようなメニュー選択肢および出力は、視覚的におよび可聴的にユーザに提示されてよい。スマートフォンとヘッドセットコンピュータとの間の通信リンクは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、または他の通信プロトコルなどのワイヤレス通信リンクであってよい。

図７に示す代替例の処理は、ヘッドセットコンピュータにおいて音声認識／頭部追跡ユーザインターフェースからの入力をモニタすることと；音声認識／頭部追跡コマンド入力を受信することに応じて、ヘッドセットコンピュータにおいて該受信した音声認識／頭部追跡コマンドを等価のスマートフォンコマンドに翻訳することと；該等価のスマートフォンコマンドをスマートフォンに送信して、実行されたアプリケーションを制御することと、をさらに含んでよい。そのような方法により、実行されたアプリケーションの音声（ボイスコマンド）およびハンズフリー（頭部動作追跡）によるユーザ制御が効果的に可能になる。

本発明のさらに例示的な実施形態が、コンピュータプログラム製品を用いて構成されてもよい。例えば、制御が、本発明の例示的な実施形態を実施するためのソフトウェアにプログラム化されてもよい。本発明のさらに例示的な実施形態が、プロセッサによって実行され得て、かつ、実行される際、当該プロセッサに本明細書中に記載の方法を完了させる命令を含む非一時的でコンピュータ読み取り可能な媒体を含んでもよい。本明細書中に記載したブロック図およびフローチャートの要素は、ソフトウェア、ハードウェア、ファームウェア、または将来決定される他の類似する実装形式で実装されてもよいことが理解されるべきである。また、本明細書中に記載したブロック図およびフローチャートの要素は、ソフトウェア、ハードウェアまたはファームウェアにおいて、任意の方法で組み合わされてよくまたは分割されてもよい。ソフトウェアで実施される場合、当該ソフトウェアは、本明細書中に記載した例示的な実施形態をサポートし得る任意の言語で記述されてもよい。ソフトウェアは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）などの任意の形態のコンピュータ読み取り可能な媒体に記憶されていてもよい。作動中、汎用またはアプリケーションに特化したプロセッサが、当該技術分野でよく理解された方法で、ソフトウェアをロードして実行する。ブロック図およびフローチャートが、より多いまたはより少ない要素を含み、配置または向きが異なり、または表現が異なっていてもよいことがさらに理解されるべきである。本発明の実施形態の実行を説明するブロック図、フローチャート、および／もしくはネットワーク図、ならびにブロック図ならびにフローチャートの数を、実装の際に規定されてもよいことが理解されるべきである。

本明細書で引用した全ての特許、公開された出願、および参考文献の教示は、その全体が参照により本明細書に組み込まれる。

本発明をその例示的な実施形態を参照して詳細に示して説明してきたが、添付の特許請求の範囲に包含される本発明の範囲を逸脱することなく、さまざまな形の変更および詳細化がなされ得ることが当業者によって理解されるであろう。
なお、本発明は、実施の態様として以下の内容を含む。
［態様１］
スマートフォンアプリケーションを操作する方法であって、
ネイティブアプリケーションをスマートフォン上で実行することと、
前記スマートフォンを介しておよびヘッドセットコンピュータを介して同時に表示するための、前記ネイティブアプリケーションの出力を生成することと、
前記ヘッドセットコンピュータにおいて前記生成された出力を受信することに応じて、ヘッドセットドメインにおいて描画するために前記受信された出力を翻訳することと、
音声認識および頭部追跡ユーザインターフェースモードで前記ヘッドセットコンピュータを動作させることと、
前記ヘッドセットコンピュータにおいてエンドユーザからのユーザ音声認識および頭部追跡コマンドをモニタすることと、
受信された音声認識および頭部追跡コマンドに応じて、前記ヘッドセットコンピュータにおいて前記受信された音声認識および頭部追跡コマンドを等価のスマートフォンコマンドに翻訳し、前記等価のスマートフォンコマンドを前記スマートフォンに送信して前記ネイティブアプリケーションを制御することと
を含む方法。
［態様２］
態様１に記載の方法において、前記ヘッドセットコンピュータを介して表示するための前記生成された出力は、マークアップ言語ファイルを含む方法。
［態様３］
態様２に記載の方法において、前記マークアップ言語はハイパーテキストマークアップ言語５（ＨＴＭＬ５）である方法。
［態様４］
態様１に記載の方法において、前記ヘッドセットドメインにおいて描画するための前記受信された出力を前記翻訳することにより、結果的に、前記音声認識および頭部追跡ユーザインターフェースコマンドによるメニュー選択肢およびプロンプトが前記エンドユーザに提示される方法。
［態様５］
態様４に記載の方法において、前記メニュー選択肢およびプロンプトは可聴的におよび視覚的に前記エンドユーザに提示される方法。
［態様６］
態様１に記載の方法において、前記ヘッドセットコンピュータによる前記受信、および前記ヘッドセットコンピュータによる前記送信は、ワイヤレスで行われる方法。
［態様７］
態様６に記載の方法において、前記ヘッドセットコンピュータによる前記受信、および前記ヘッドセットコンピュータによる前記送信は、ＢｌｕｅｔｏｏｔｈまたはＷｉ−Ｆｉ規格を使用してワイヤレスで行われる方法。
［態様８］
態様１に記載の方法において、前記ヘッドセットコンピュータによる前記翻訳は、前記実行されたネイティブスマートフォンアプリケーションとの音声認識およびハンズフリーユーザインターフェースを効果的に可能にする方法。
［態様９］
態様１に記載の方法において、
前記実行されたネイティブスマートフォンアプリケーションは、タッチタイプユーザインターフェースコマンドを採用し、
前記ヘッドセットが等価のスマートフォンコマンドに翻訳することは、音声認識および頭部追跡されたコマンドをタッチタイプコマンドに翻訳することを含む方法。
［態様１０］
態様１に記載の方法において、前記実行されたネイティブスマートフォンアプリケーションは、画像および／または映像視聴用アプリケーションであり、前記ヘッドセットコンピュータによって送信される前記等価のスマートフォンコマンドは、前記スマートフォンを介して画像および／または映像を表示するためのコマンドを含む方法。
［態様１１］
態様１に記載の方法において、前記ネイティブスマートフォンアプリケーションは、前記ヘッドセットコンピュータから駆動されるマルチメディアコンテンツを受信するように構成される方法。
［態様１２］
スマートフォンディスプレイを操作する方法であって、
スマートフォン上でネイティブ画像および映像視聴用アプリケーションを実行することと、
音声認識および頭部追跡ユーザインターフェースモードでヘッドセットコンピュータを動作させることと、
前記ヘッドセットコンピュータにおいてエンドユーザからのユーザ音声認識および頭部追跡コマンドをモニタすることと、
受信された音声認識および頭部追跡コマンドに応じて、前記ヘッドセットコンピュータにおいて前記受信された音声認識および頭部追跡コマンドを等価のスマートフォンコマンドに翻訳し、前記等価のスマートフォンコマンドは、前記ヘッドセットコンピュータのマイクロディスプレイ上で表示される画像または映像を取り込むことを含むことと、
前記等価のスマートフォンコマンドを前記スマートフォンに送信して前記ネイティブ画像および映像視聴用アプリケーションを制御することと、
前記ヘッドセットコンピュータを介しておよび前記スマートフォンを介して前記取り込まれた画像または映像を表示することと
を含む方法。
［態様１３］
デュアルディスプレイシステムであって、
ネイティブディスプレイとスマートフォン通信モジュールとを含むスマートフォンと、
前記スマートフォンによって実行されるネイティブアプリケーションであって、前記スマートフォンネイティブディスプレイを介して、およびヘッドセットコンピューティングデバイスを介して、同時に表示するための、前記スマートフォン通信モジュールによってヘッドセットコンピューティングデバイスへ送信される表示出力を生成する、ネイティブアプリケーションと、
マイクロディスプレイとヘッドセット通信モジュールとを含む前記ヘッドセットコンピューティングデバイスと、
エンドユーザコマンドを受信するために前記ヘッドセットコンピューティングデバイスによって使用される音声認識および頭部追跡ユーザインターフェースと、
前記ヘッドセット通信モジュールへ通信された前記表示出力を受信することに応じて前記ヘッドセットコンピューティングデバイスによって実行される翻訳モジュールであって、前記表示出力を前記マイクロディスプレイを介して描画するために翻訳し、前記受信されたエンドユーザコマンドを等価のスマートフォンコマンドに翻訳する、翻訳モジュールと
を含み、
前記ヘッドセット通信モジュールは、前記等価のスマートフォンコマンドを前記スマートフォン通信モジュールに通信して前記ネイティブアプリケーションを制御する
デュアルディスプレイシステム。
［態様１４］
態様１３に記載のデュアルディスプレイシステムにおいて、前記表示出力はマークアップ言語ファイルを含むデュアルディスプレイシステム。
［態様１５］
態様１４に記載のデュアルディスプレイシステムにおいて、前記マークアップ言語はハイパーテキストマークアップ言語５（ＨＴＭＬ５）であるデュアルディスプレイシステム。
［態様１６］
態様１３に記載のデュアルディスプレイシステムにおいて、前記マイクロディスプレイを介して描画するための前記表示出力は、前記エンドユーザに対する音声認識および頭部追跡ユーザインターフェースによるメニュー選択肢およびプロンプトを含むデュアルディスプレイシステム。
［態様１７］
態様１６に記載のデュアルディスプレイシステムにおいて、前記メニュー選択肢およびプロンプトは、前記エンドユーザに対して可聴的におよび視覚的に提示されるデュアルディスプレイシステム。
［態様１８］
態様１３に記載のデュアルディスプレイシステムにおいて、前記スマートフォン通信モジュールおよび前記ヘッドセット通信モジュールはワイヤレス通信モジュールであるデュアルディスプレイシステム。
［態様１９］
態様１８に記載のデュアルディスプレイシステムにおいて、前記ワイヤレス通信モジュールはＢｌｕｅｔｏｏｔｈまたはＷｉ−Ｆｉモジュールであるデュアルディスプレイシステム。
［態様２０］
態様１３に記載のデュアルディスプレイシステムにおいて、前記ヘッドセットコンピューティングデバイスは、前記ネイティブアプリケーションを制御するために前記音声認識および頭部追跡ユーザインターフェースを効果的に可能にするデュアルディスプレイシステム。
［態様２１］
態様１３に記載のデュアルディスプレイシステムにおいて、前記ネイティブアプリケーションは、タッチタイプユーザインターフェースコマンドを使用し、前記翻訳モジュールは、前記受信された音声認識および頭部追跡ユーザインターフェースエンドユーザコマンドを前記タッチタイプユーザインターフェースコマンドに翻訳するデュアルディスプレイシステム。
［態様２２］
態様１３に記載のデュアルディスプレイシステムにおいて、前記ネイティブスマートフォンアプリケーションは、画像および／または映像視聴用アプリケーションであり、前記等価のスマートフォンコマンドは、前記スマートフォンの前記ネイティブディスプレイを介して画像および／または映像を表示するためのコマンドを含むデュアルディスプレイシステム。
［態様２３］
態様１３に記載のデュアルディスプレイシステムにおいて、前記ネイティブスマートフォンアプリケーションは、前記ヘッドセットコンピューティングデバイスからマルチメディアコンテンツを受信するよう構成されるデュアルディスプレイシステム。
［態様２４］
スマートフォンアプリケーションからの出力をヘッドセットコンピュータ上に表示する方法であって、
前記スマートフォン上でアプリケーションを実行することと、
ヘッドセットコンピュータを介して表示するための前記実行されたアプリケーションの出力を生成し、該生成は、前記実行されたアプリケーションの前記出力を前記ヘッドセットコンピュータが表示するためのアクションを示す記述言語による指示を、前記スマートフォンが構成し送信することを含むことと、
前記構成された指示を前記ヘッドセットコンピュータにおいて低帯域幅で受信し、これに応じて、前記ヘッドセットコンピュータが、行うべき前記示されたアクションに基づいて前記生成された出力の表示を形成し、前記アクションは、オンスクリーン通知、メッセージ、グラフィック要素、および、複数の予め定義された音声シーケンスのうちの１つを再生し前記ヘッドセットコンピュータの構成要素を制御する要求、のうちのいずれかを含むことと
を含む方法。
［態様２５］
態様２４に記載の方法において、前記アクションはそれぞれの要素タイプであり、各要素タイプについて、前記指示は、前記ヘッドセットコンピュータに関して予め定義された複数のスタイルのうちの１つを示す方法。
［態様２６］
態様２４に記載の方法において、前記記述言語はＨＴＭＬ５または他のマークアップ言語である方法。
［態様２７］
態様２４に記載の方法において、ヘッドセットドメインにおいて描画される前記形成された表示は、音声認識／頭部追跡ユーザインターフェースによって提示されるメニュー選択肢およびプロンプトを含む方法。
［態様２８］
態様２７に記載の方法において、前記メニュー選択肢および出力は、可聴的におよび視覚的にユーザに提示される方法。
［態様２９］
態様２４に記載の方法において、前記ヘッドセットコンピュータによる前記受信、および前記スマートフォンによる前記送信は、ワイヤレス通信リンクを介して行われる方法。
［態様３０］
態様２９に記載の方法において、前記ワイヤレス通信リンクはＢｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、または他のプロトコルのいずれかである方法。
［態様３１］
態様２４に記載の方法において、
前記ヘッドセットコンピュータにおいて音声認識／頭部追跡ユーザインターフェースからの入力をモニタすることと、
前記音声認識／頭部追跡コマンド入力を受信することに応じて、前記ヘッドセットコンピュータにおいて前記受信された音声認識／頭部追跡コマンドを等価のスマートフォンコマンドに翻訳することと、
前記等価のスマートフォンコマンドを前記スマートフォンに送信して前記実行されたアプリケーションを制御することと
をさらに含む方法。
［態様３２］
態様３１に記載の方法において、前記ヘッドセットコンピュータによる前記送信は、前記実行されたアプリケーションの音声およびハンズフリーユーザ制御を効果的に可能にする方法。

Claims (29)

1. スマートフォンアプリケーションを操作する方法であって、
   ネイティブアプリケーションをスマートフォン上で実行することと、
   前記スマートフォンを介しておよびヘッドセットコンピュータを介して同時に表示するための、前記ネイティブアプリケーションの出力を生成することと、
   前記ヘッドセットコンピュータにおいて前記生成された出力を受信することに応じて、ヘッドセットドメインにおいて描画するために前記受信された出力を翻訳することと、
   音声認識および頭部追跡ユーザインターフェースモードで前記ヘッドセットコンピュータを動作させることと、
   前記ヘッドセットコンピュータにおいてエンドユーザからのユーザ音声認識および頭部追跡コマンドをモニタすることと、
   受信された音声認識および頭部追跡コマンドに応じて、前記ヘッドセットコンピュータにおいて前記受信された音声認識および頭部追跡コマンドを等価のスマートフォンコマンドに翻訳し、前記等価のスマートフォンコマンドを前記スマートフォンに送信して前記ネイティブアプリケーションを制御することと
   を含み、
   前記ネイティブアプリケーションの前記生成された出力は、マークアップ言語ファイルを含む方法。
2. 請求項１に記載の方法において、前記マークアップ言語はハイパーテキストマークアップ言語５（ＨＴＭＬ５）である方法。
3. 請求項１に記載の方法において、前記ヘッドセットドメインにおいて描画するための前記受信された出力を前記翻訳することにより、結果的に、前記音声認識および頭部追跡ユーザインターフェースコマンドによるメニュー選択肢およびプロンプトが前記エンドユーザに提示される方法。
4. 請求項３に記載の方法において、前記メニュー選択肢およびプロンプトは可聴的におよび視覚的に前記エンドユーザに提示される方法。
5. 請求項１に記載の方法において、前記ヘッドセットコンピュータによる前記受信、および前記ヘッドセットコンピュータによる前記送信は、ワイヤレスで行われる方法。
6. 請求項５に記載の方法において、前記ヘッドセットコンピュータによる前記受信、および前記ヘッドセットコンピュータによる前記送信は、ＢｌｕｅｔｏｏｔｈまたはＷｉ−Ｆｉ規格を使用してワイヤレスで行われる方法。
7. 請求項１に記載の方法において、前記ヘッドセットコンピュータによる前記翻訳は、前記実行されたネイティブスマートフォンアプリケーションとの音声認識およびハンズフリーユーザインターフェースを可能にする方法。
8. 請求項１に記載の方法において、
   前記実行されたネイティブスマートフォンアプリケーションは、タッチタイプユーザインターフェースコマンドを採用し、
   前記ヘッドセットが等価のスマートフォンコマンドに翻訳することは、音声認識および頭部追跡されたコマンドをタッチタイプコマンドに翻訳することを含む方法。
9. 請求項１に記載の方法において、前記実行されたネイティブスマートフォンアプリケーションは、画像および／または映像視聴用アプリケーションであり、前記ヘッドセットコンピュータによって送信される前記等価のスマートフォンコマンドは、前記スマートフォンを介して画像および／または映像を表示するためのコマンドを含む方法。
10. 請求項１に記載の方法において、前記ネイティブスマートフォンアプリケーションは、前記ヘッドセットコンピュータで取り込まれたコンテンツを表示するように構成される方法。
11. デュアルディスプレイシステムであって、
    ネイティブディスプレイとスマートフォン通信モジュールとを含むスマートフォンと、
    前記スマートフォンによって実行されるネイティブアプリケーションであって、前記スマートフォンネイティブディスプレイを介して、およびヘッドセットコンピューティングデバイスを介して、同時に表示するための、前記スマートフォン通信モジュールによってヘッドセットコンピューティングデバイスへ送信される表示出力を生成する、ネイティブアプリケーションと、
    マイクロディスプレイとヘッドセット通信モジュールとを含む前記ヘッドセットコンピューティングデバイスと、
    エンドユーザコマンドを受信するために前記ヘッドセットコンピューティングデバイスによって使用される音声認識および頭部追跡ユーザインターフェースと、
    前記ヘッドセット通信モジュールへ通信された前記表示出力を受信することに応じて前記ヘッドセットコンピューティングデバイスによって実行される翻訳モジュールであって、前記表示出力を前記マイクロディスプレイを介して描画するために翻訳し、前記受信されたエンドユーザコマンドを等価のスマートフォンコマンドに翻訳する、翻訳モジュールと
    を含み、
    前記ヘッドセット通信モジュールは、前記等価のスマートフォンコマンドを前記スマートフォン通信モジュールに通信して前記ネイティブアプリケーションを制御し、
    前記ヘッドセットコンピューティングデバイスへ送信される前記表示出力はマークアップ言語ファイルを含む
    デュアルディスプレイシステム。
12. 請求項１１に記載のデュアルディスプレイシステムにおいて、前記マークアップ言語はハイパーテキストマークアップ言語５（ＨＴＭＬ５）であるデュアルディスプレイシステム。
13. 請求項１１に記載のデュアルディスプレイシステムにおいて、前記マイクロディスプレイを介して描画するための前記表示出力は、前記エンドユーザに対する音声認識および頭部追跡ユーザインターフェースによるメニュー選択肢およびプロンプトを含むデュアルディスプレイシステム。
14. 請求項１３に記載のデュアルディスプレイシステムにおいて、前記メニュー選択肢およびプロンプトは、前記エンドユーザに対して可聴的におよび視覚的に提示されるデュアルディスプレイシステム。
15. 請求項１１に記載のデュアルディスプレイシステムにおいて、前記スマートフォン通信モジュールおよび前記ヘッドセット通信モジュールはワイヤレス通信モジュールであるデュアルディスプレイシステム。
16. 請求項１５に記載のデュアルディスプレイシステムにおいて、前記ワイヤレス通信モジュールはＢｌｕｅｔｏｏｔｈまたはＷｉ−Ｆｉモジュールであるデュアルディスプレイシステム。
17. 請求項１１に記載のデュアルディスプレイシステムにおいて、前記ヘッドセットコンピューティングデバイスは、前記ネイティブアプリケーションを制御するために前記音声認識および頭部追跡ユーザインターフェースを可能にするデュアルディスプレイシステム。
18. 請求項１１に記載のデュアルディスプレイシステムにおいて、前記ネイティブアプリケーションは、タッチタイプユーザインターフェースコマンドを使用し、前記翻訳モジュールは、前記受信された音声認識および頭部追跡ユーザインターフェースエンドユーザコマンドを前記タッチタイプユーザインターフェースコマンドに翻訳するデュアルディスプレイシステム。
19. 請求項１１に記載のデュアルディスプレイシステムにおいて、前記ネイティブスマートフォンアプリケーションは、画像および／または映像視聴用アプリケーションであり、前記等価のスマートフォンコマンドは、前記スマートフォンの前記ネイティブディスプレイを介して画像および／または映像を表示するためのコマンドを含むデュアルディスプレイシステム。
20. 請求項１１に記載のデュアルディスプレイシステムにおいて、前記ネイティブスマートフォンアプリケーションは、前記ヘッドセットコンピューティングデバイスで取り込まれたコンテンツを表示するよう構成されるデュアルディスプレイシステム。
21. スマートフォンアプリケーションからの出力をヘッドセットコンピュータ上に表示する方法であって、
    前記スマートフォン上でアプリケーションを実行することと、
    ヘッドセットコンピュータを介して表示するための前記実行されたアプリケーションの出力を生成し、該生成は、前記実行されたアプリケーションの前記出力を前記ヘッドセットコンピュータが表示するためのアクションを示す記述言語による指示を、前記スマートフォンが構成し送信することを含むことと、
    前記構成された指示を前記ヘッドセットコンピュータにおいて低帯域幅で受信し、これに応じて、前記ヘッドセットコンピュータが、行うべき前記示されたアクションに基づいて前記生成された出力の表示を形成し、前記アクションは、オンスクリーン通知、メッセージ、グラフィック要素、および、複数の予め定義された音声シーケンスのうちの１つを再生し前記ヘッドセットコンピュータの構成要素を制御する要求、のうちのいずれかを含むことと
    を含む方法。
22. 請求項２１に記載の方法において、前記アクションはそれぞれの要素タイプであり、各要素タイプについて、前記指示は、前記ヘッドセットコンピュータに関して予め定義された複数のスタイルのうちの１つを示す方法。
23. 請求項２１に記載の方法において、前記記述言語はＨＴＭＬ５または他のマークアップ言語である方法。
24. 請求項２１に記載の方法において、ヘッドセットドメインにおいて描画される前記形成された表示は、音声認識／頭部追跡ユーザインターフェースによって提示されるメニュー選択肢およびプロンプトを含む方法。
25. 請求項２４に記載の方法において、前記メニュー選択肢および出力は、可聴的におよび視覚的にユーザに提示される方法。
26. 請求項２１に記載の方法において、前記ヘッドセットコンピュータによる前記受信、および前記スマートフォンによる前記送信は、ワイヤレス通信リンクを介して行われる方法。
27. 請求項２６に記載の方法において、前記ワイヤレス通信リンクはＢｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、または他のプロトコルのいずれかである方法。
28. 請求項２１に記載の方法において、
    前記ヘッドセットコンピュータにおいて音声認識／頭部追跡ユーザインターフェースからの入力をモニタすることと、
    前記音声認識／頭部追跡コマンド入力を受信することに応じて、前記ヘッドセットコンピュータにおいて前記受信された音声認識／頭部追跡コマンドを等価のスマートフォンコマンドに翻訳することと、
    前記等価のスマートフォンコマンドを前記スマートフォンに送信して前記実行されたアプリケーションを制御することと
    をさらに含む方法。
29. 請求項２８に記載の方法において、前記ヘッドセットコンピュータによる前記送信は、前記実行されたアプリケーションの音声およびハンズフリーユーザ制御を可能にする方法。

Images