JP3737447B2 - 音声及び映像システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、一般的に音声、映像及びマルチメディア装置の制御を備えた音声及び映像システムに関する。特に、本発明は、ユーザーによる手書き命令の入力のためのディジタル書込み面を有するリモートコントロール装置を使用する、音声、映像及びマルチメディアの複数のコンポーネントと双方向通信するスクリーン上のユーザーインターフェースに関連する音声及び映像システムに関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
テレビ技術は変革の嵐の中にある。以前の独立したコンピュータ、通信及び消費者の電子技術は一点に集中している。ユーザーが彼又は彼女が何に興味があるかを発見するために選択の分類を介して誘導することができることは、必ずしもはっきりとはしていないが、この一点集中は確実に、番組の内容及びサービスの豊富な分類を生成する。例えば、未来のシステムは、番組の５００チャンネルまでの高品質なディジタル式の音声及び映像の両方と、ホームショッピング並びにホームバンキング、双方向ゲーム並びに娯楽、及びマルチメディアライブラリ並びにインターネットへの完全なアクセスを含むオンデマンドの種々のサービスとを提供することが予測される。
【０００３】
このような複雑なシステムのためのユーザーインターフェースを提供することは、簡単な仕事ではない。テレビが複雑なシステムとなることは予想されるが、複雑なシステムへの使用方法が簡単なアクセスは、今日のハンドヘルド型のリモートコントローラ上の数値キーパッド及び早送り並びに巻戻しボタンを使用して簡単に達成されることはできない。簡便性及び有用性に関して、現在のハンドヘルド型のリモートコントローラはすでに、収益を減少するポイントに達している。さらにボタンを加えることによって、これらのシステムは制御をより簡単にはされずに、より困難にされる。幾つかのシステムは今日、ボタンが押されているリモートコントローラのプッシュボタンの現在の動作パラメータを繰り返すために、スクリーン上の表示を使用する。例えば、色の濃淡ボタンを押している間、従来のシステムは現在の濃淡の設定を示すバーグラフを表示する。この簡単なユーザーフィードバックシステムが何も無いより非常に優れている一方で、それは、直感的なコントロールをすべての年齢及びすべての国籍のユーザーにどのように提供するかのより基本的な問題を決して解決はしない。また、パラメータのスクリーン上の表示が暗くされた部屋において見えるかもしれない一方、これらの複数のパラメータを制御するために用いられる複数のプッシュボタンは見えないかもしれない。従って、ハンドヘルド型のリモートコントローラ上のプッシュボタン数を多くすればするほど、最適に見るために暗くされた部屋において正確なプッシュボタンの位置決めすることがより困難になる。
【０００４】
ユーザーインターフェース技術の欠点は別として、現在の技術はまた、複雑なシステムの特徴を学習するための時間がなく若しくはその傾向を有するユーザー又は読むことができない就学前の子供のようなユーザーをサポートするには不十分である。上記複数の機能を制御するコンピュータ式のキーボードの付加は、そのようなシステムを簡単化するための手助けにはならない。さらに、居間のコーヒーテーブル上のキーボードの配置は、小型のリモートコントローラ又はディジタル書込みタブレットよりも受容できるようである。
【０００５】
本発明の目的は、以上の問題点を解決し、複数の音声及び映像装置のコンポーネントを容易に制御し、ユーザーによる手書き及び音声命令を入力して処理することが可能である映像ユーザー環境を有する音声及び映像システムを提供することにある。
【０００６】
【課題を解決するための手段】
本発明に係る請求項１記載の音声及び映像システムは、拡張された映像ユーザー環境を有する音声及び映像システムであって、上記音声及び映像システムは、ユーザーの選択に従って予め決められた複数の音声及び映像コントロール機能を選択的に実行する音声及び映像コントロール装置を備え、上記音声及び映像コントロール装置は、映像データを表示する映像表示装置に接続するポートを含み、
ユーザーによる手書き命令の入力のためのディジタル書込み面を有するリモートコントロール装置を備え、上記リモートコントロール装置は上記音声及び映像コントロール装置と通信し、
上記手書き命令に従って上記映像表示装置の動作を制御する上記音声及び映像コントロール装置と上記リモートコントロール装置とのうちの少なくとも１つと通信するプロセッサを備え、
上記ユーザー自身の生成によるユーザーにより書かれた注釈に対応するインクデータの入力を受信する注釈生成手段を備え、上記注釈生成手段は、上記ユーザーにより書かれた注釈を、ユーザー識別又は制御機能に対応するデータと関連付けるタプルデータ構造を形成するようにさらに動作し、
上記プロセッサはユーザーの入力を記憶するメモリ手段に接続され、
上記ユーザーにより書かれた注釈は上記ディジタル書込み面上に書かれたことを特徴とする。
【０００７】
また、請求項２記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記リモートコントロール装置はハンドヘルド型のプッシュボタンリモートコントロール構造を備え、上記ディジタル書込み面は上記ハンドヘルド型のプッシュボタンリモートコントロール構造に組み込まれることを特徴とする。
【０００８】
さらに、請求項３記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記リモートコントロール装置は赤外線信号によって上記音声及び映像コントロール装置と通信することを特徴とする。
【０００９】
また、請求項４記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記リモートコントロール装置は上記音声及び映像コントロール装置と双方向に通信することを特徴とする。
【００１０】
さらに、請求項５記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記リモートコントロール装置は音声命令の入力のためのマイクロフォンを含むことを特徴とする。
【００１１】
また、請求項６記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記ディジタル書込み面はハンドヘルド型のペン型入力装置に応答することを特徴とする。
【００１２】
さらに、請求項７記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記ディジタル書込み面はユーザーの指先に応答することを特徴とする。
【００１３】
また、請求項８記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記音声及び映像コントロール装置は、音声及び映像装置の少なくとも１つのコンポーネントに接続する少なくとも１つのコントロールポートを含み、上記音声及び映像コントロール装置は、制御信号を上記コントロールポートを介して上記音声及び映像装置のコンポーネントに出力することを特徴とする。
【００１４】
さらに、請求項９記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記音声及び映像装置のコンポーネントは、テレビ、ビデオカセットレコーダ（ＶＣＲ）、オーディオテープレコーダ、オーディオディスクプレイヤ、ビデオディスクプレイヤ、オーディオ増幅器、サラウンドサウンドプロセッサ、映像信号プロセッサ、カメラ一体型ＶＴＲ、ビデオ電話、ケーブルテレビ信号選択器、衛星アンテナコントローラ、コンピュータ、ＣＤ−ＲＯＭプレイヤ、フォトＣＤプレイヤ、ビデオゲームプレイヤ、及び情報ネットワークアクセス装置から構成されるグループから選択されるコンポーネントであることを特徴とする。
【００１５】
また、請求項１０記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記プロセッサは、上記音声及び映像コトロール装置に設けられることを特徴とする。
【００１６】
さらに、請求項１１記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記プロセッサは、上記音声及び映像コントロール装置に取り付けられることを特徴とする。
【００１７】
また、請求項１２記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記プロセッサは、上記リモートコントロール装置に設けられることを特徴とする。
【００１８】
さらに、請求項１３記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記プロセッサは、上記音声及び映像コントロール装置に設けられる第１の部分と、上記リモートコントロール装置に設けられる第２の部分とを有することを特徴とする。
【００１９】
また、請求項１４記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記音声及び映像コントロール装置は、ユーザーにより選択されたチャンネルをチューニングしかつ映像信号を上記映像表示装置に提供する、一体化されたテレビチューナを含み、上記ユーザーにより選択されたチャンネルは番組情報を運び、上記映像信号は上記番組情報を表示することを特徴とする。
【００２０】
さらに、請求項１５記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記映像表示装置はテレビであり、上記音声及び映像コントロール装置はＮＴＳＣ映像信号を上記ポートを介して出力することを特徴とする。
また、請求項１６記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記音声及び映像コントロール装置は、ある１つの音声及び映像装置のコンポーネントに備えられることを特徴とする。
【００２１】
さらに、請求項１７記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記音声及び映像装置のコンポーネントは、テレビ、ビデオカセットレコーダ（ＶＣＲ）、オーディオテープレコーダ、オーディオディスクプレイヤ、ビデオディスクプレイヤ、オーディオ増幅器、サラウンドサウンドプロセッサ、映像信号プロセッサ、カメラ一体型ＶＴＲ、ビデオ電話、ケーブルテレビ信号選択器、サテライトアンテナコントローラ、コンピュータ、ＣＤ−ＲＯＭプレイヤ、フォトＣＤプレイヤ、ビデオゲームプレイヤ、及び情報ネットワークアクセス装置から構成されるグループから選択されるコンポーネントであることを特徴とする。
【００２２】
また、請求項１８記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記プロセッサは音声認識器モジュールを含むことを特徴とする。
【００２３】
さらに、請求項１９記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記プロセッサは、ユーザーが選択可能な複数のシステムコントロールオプションの少なくとも１つのメニューを生成し、上記音声及び映像コントロール装置は、１つの信号を上記ポートを介して出力し、上記ポートに接続された上記映像表示装置上に上記メニューを表示することを特徴とする。
【００２４】
また、請求項２０記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記音声及び映像システムはオンデマンド映像インターフェースを含み、上記手書き注釈は、上記映像表示装置上に表示する予め記録された娯楽番組を再現するために使用されることを特徴とする。
【００２５】
さらに、請求項２１記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記手書き注釈は、後の処理のために公知のコンピュータのキャラクタセットに翻訳されることを特徴とする。
【００２６】
また、請求項２２記載の音声及び映像システムは、音声及び映像システムは拡張された映像ユーザー環境を有し、上記音声及び映像システムは、
ユーザーの選択に従って予め決められた複数の音声及び映像コントロール機能を選択的に実行する音声及び映像コントロール装置を備え、上記音声及び映像コントロール装置は、映像データを表示する映像表示装置に接続するポートを含み、
上記音声及び映像コントロール装置と通信するリモートコントロール装置を備え、上記リモートコントロール装置は、ユーザーによる手書き命令を入力しかつ上記ユーザーに情報を表示するディジタル書込み表示面を有し、
上記音声及び映像コントロール装置に配置された第１の部分と上記リモートコントロール装置に配置された第２の部分とを有するマルチプロセッサシステムを備え、上記マルチプロセッサシステムは、上記手書き命令に従って上記映像表示装置の動作を制御する、上記音声及び映像コントロール装置と上記リモートコントロール装置との間を通信し、
上記ユーザー自身の生成によるユーザーにより書かれた注釈に対応するインクデータの入力を受信する注釈生成手段を備え、上記注釈生成手段は、上記ユーザーにより書かれた注釈を、ユーザー識別又は制御機能に対応するデータと関連付けるタプルデータ構造を形成するようにさらに動作し、
上記プロセッサはユーザーの入力を記憶するメモリ手段に接続され、
上記ユーザーにより書かれた注釈は上記ディジタル書込み面上に書かれたことを特徴とする。
【００２７】
さらに、請求項２３記載の音声及び映像システムは、請求項２２記載の音声及び映像システムにおいて、上記マルチプロセッサシステムのうちの少なくとも１つのプロセッサは、ユーザーが選択可能な複数のシステムコントロール動作の少なくとも１つのメニューを生成し、上記音声及び映像コントロール装置は、上記ポートを介する信号を生成し、上記ポートに接続された上記映像表示装置上に上記メニューを表示することを特徴とする。
【００２８】
また、請求項２４記載の音声及び映像システムは、請求項２２記載の音声及び映像システムにおいて、上記リモートコントロール装置は、ハンドヘルド型のプッシュボタンリモートコントロール構造を備え、上記ディジタル書込み面は上記ハンドヘルド型のプッシュボタンリモートコントローラ構造に備えられることを特徴とする。
【００２９】
さらに、請求項２５記載の音声及び映像システムは、請求項２２記載の音声及び映像システムにおいて、上記リモートコントロール装置は、赤外線信号によって上記音声及び映像コントロール装置と通信することを特徴とする。
【００３０】
また、請求項２６記載の音声及び映像システムは、請求項２２記載の音声及び映像システムにおいて、上記リモートコントロール装置は、上記音声及び映像コントロール装置と双方向に通信することを特徴とする。
【００３１】
さらに、請求項２７記載の音声及び映像システムは、請求項２２記載の音声及び映像システムにおいて、上記リモートコントロール装置は、音声命令の入力のためのマイクロフォンを含むことを特徴とする。
【００３２】
また、請求項２８記載の音声及び映像システムは、請求項２２記載の音声及び映像システムにおいて、上記ディジタル書込み面はハンドヘルド型のペン型入力装置に応答することを特徴とする。
【００３３】
さらに、請求項２９記載の音声及び映像システムは、請求項２２記載の音声及び映像システムにおいて、上記ディジタル書込み面はユーザーの指先に応答することを特徴とする。
【００３４】
本発明は上記問題への新規なアプローチを取る。プッシュボタンを有するハンドヘルド型のリモートコントローラはまだ使用されるが、本発明はディジタル書込み面を提供し、ユーザーはそれを介して手書き命令を入力する。これらの命令は手書きのテキスト、記号又は絵でもよく、それらの全てはペン又はペン型入力装置（スタイラス）を用いてディジタル書込み面に書かれる。システムを制御し、入力を提供するそのような手段は、従来のキーボードよりもより幅広い範囲のユーザーにアピールする。手書き命令を提供する機構によって、複雑なシステムは簡単に制御されることが可能である。ユーザーは彼又は彼女自身の手書き命令（単語、記号、絵等）を生成し、どのような所望される制御機能をも表し、上記制御機能は、ある時間に電源を入れてユーザーの選択したお気にいりの番組を表示すること又はユーザーの興味の判断基準に合う番組を見付けるためにすべての有効な番組を検索することを上記音声及び映像システムに命令するこのような複雑な制御機能でもよい。この手書き入力はまた、上記音声及び映像システムによって認識されかつ上記音声及び映像システムの種々の機能を制御するコマンドとして処理される複数のジェスチャを含む。例えば、上記ディジタル書込み面上に大きな“Ｘ”を書くことは、テレビ及び／又は音声及び映像システムの電源を切るコマンドとして翻訳されることができる。加えて、手書き記号又はテキストはディジタル書込み面に書かれ、次いで、まるで上記記号がキーボードで打たれたかのような公知の手書き認識技術を用いて処理されることができる。一度、上記手書き行為が標準の文字記号コードに翻訳されると、この入力はさらに処理され又は後での使用のためにシステムのメモリに記憶されることができる。
【００３５】
本発明の１つの態様によれば、拡張された映像ユーザー環境は、ユーザーの選択又は命令に従って予め決められた音声及び映像コントロール機能を選択的に実行する音声及び映像コントロール装置を備える。上記音声及び映像コントロール装置は好ましくは、テレビ、プロジェクションシステム又はモニタのような映像表示装置に接続するポートを有するように設計される。上記音声及び映像コントロール装置は、既存の音声及び映像装置から独立して包含されることも可能であり、又は既存のコンポーネントに組み合わされることも可能である。ディジタル書込み面を有するリモートコントロール装置は、ユーザーによる手書き命令の入力を提供される。上記リモートコントロール装置は、上記音声及び映像コントロール装置と通信する。あるいは代わって、パーソナルディジタルアシスタンツ（ＰＤＡ）のプログラミング可能な機能のうちの１つとしてＴＶのリモートコントロールを実施する、完全に特徴付けられた上記パーソナルディジタルアシスタンツはまた、リモートコントロール装置として用いられることができる。多くの市販用の入手できるＰＤＡは現在、赤外線リンクのような無線通信のための手段を含む。
【００３６】
上記システムは、上記音声及び映像コントロール装置、上記リモートコントロール装置又はその両方と通信する１つのプロセッサをさらに含む。上記プロセッサは、上記ディジタル書込み面を介して提供される手書き命令に従って上記映像表示装置の動作を制御する。上記プロセッサは上記音声及び映像コントロール装置の回路と組み合わされることが可能であり、又は上記リモートコントロール装置の回路と組み合わされることが可能である。上記プロセッサはまた、上記音声及び映像コントロール装置と関連するプロセッサと、上記リモーロコントロール装置と関連するもう１つのプロセッサである複数のプロセッサを使用して本発明を実施することが可能である。上記複数のプロセッサは、本発明によって必要とされる複数の処理機能を実施するために分散された複数のプロセッサと協働する。
【００３７】
本発明のより完全な理解のために、それの目的と利点は以下の発明の詳細な説明と添付の図面とを参照すれば明らかになるであろう。
【００３８】
【発明の実施の形態】
本発明の実施形態は、拡張された映像ユーザーインターフェース又は映像ユーザー環境を有する音声及び映像システムとして実施される。多くの異なる実施形態が可能である。当該システムの好ましい本実施態様におけるシステムの詳細な説明を続ける前に、２つの異なる実施形態の概観が図示されて記述される。これらは、それが作動しているシステムにおいて本発明に係る実施形態がどのように実施するかの単なる例である。他の複数のシステムはもちろん可能である。
【００３９】
図１を参照すると、本発明に係る実施形態の音声及び映像システムは、独立型のテレビセット又は他のより簡単な家庭用娯楽システムとの使用に適切である簡単な実施形態において図示される。図１において図示されるように、本発明に係る実施形態は音声及び映像コントロールユニット２０を含み、上記音声及び映像コントロールユニット２０はテレビ２２の上部に設けるように設計されたセットトップボックスとして１つの装置として一体化される。ハンドヘルド型のリモートコントローラ２４はディジタル書込み面２６を含み、ユーザーは適切なペン又はペン型入力装置（スタイラス）２８を用いて上記ディジタル書込み面２６上に手書き命令を入力する。パーソナルディジタルアシスタンツ（ＰＤＡ：個人向けペン入力小型情報機器の総称）はまた、代用されたり、又はリモートコントローラ２４とともに用いられ、ディジタル書込み面２６とペン型入力装置２８とを含む。音声及び映像コントロールユニット２０は、３０で概略的に図示される赤外線リンクを介してもう１つのものと通信する。この実施形態において、音声及び映像コントロールユニット２０は、テレビ２２の映像ポートと接続するユニットの後方部のポート（図示せず。）を含む。このように、テレビ２２は、映像ユーザーインターフェースが投射される映像表示装置として機能する。図１において、映像ユーザーインターフェースは、コマンドバー３２とユーザー双方向パネル３４とを含むように、縮小された詳細で図示されている。コマンドバー３２とユーザー双方向パネル３４は、テレビチューナによって生成される既存のＮＴＳＣ映像信号を用いて（適切な信号の包含によって）テレビ２２のスクリーン上に投影される。映像ユーザーインターフェースの完全な詳細は、以下で表される。もし所望すれば、音声及び映像コントロールユニット２０は、アンテナ又はケーブル入力を介して無線周波のテレビ放送を受信して復号するために適切なテレビチューナモジュールを含んでもよい。上記テレビチューナモジュールは、テレビ２２の内部チューナセクションを使用する必要性を無視して、ＮＴＳＣ信号をテレビ２２の映像入力ポートに与える。
【００４０】
より複雑な家庭用娯楽システムは図２において示される。この実施形態において、リモートコントローラ２４は、図１に関連して記述されたものと本質的に同一である。音声及び映像コントロールユニット２０は、音声及び映像装置の複数のコンポーネントと共に、家庭用娯楽システムに１つの装置として一体化するためにラックマウントユニットとして構成される。図示目的のために、ここに記述された家庭用娯楽システムは、大きなスクリーンのプロジェクションテレビ３６とサラウンドサウンドスピーカ３８とサブウーハ４０と多機能チューナ及びアンプ４２とを含む。上記多機能チューナ及びアンプ４２は、音声及び映像装置の複数の付加的なコンポーネントが接続される複数の映像及び音声入力部を有する。ディジタルオーディオテーププレイヤ４４とＶＣＲ４６とレーザーディスクプレイヤ４８と、カメラ一体型ＶＴＲ（カムコーダ）５０とがここに図示される。これらは、本発明に係る実施形態と用いられるかもしれない装置のタイプの単なる例である。パーソナルコンピュータ５２もまた、図示されたシステムに含まれる。パーソナルコンピュータ５２はインターネットのサービスプロバイダに接続されてもよい。音声及び映像コントロールユニット２０は、図示目的のために図２において独立したコンポーネントとして図示される。しかしながら、ここで図示されるように音声及び映像コントロールユニット２０を独立したコンポーネントとして１つの装置として一体化する必要はない。むしろ、上記音声及び映像コントロールユニット２０は、音声及び映像装置の複数のコンポーネントのうちのいずれかに組み込まれてもよく、テレビ２２自身に含まれてもよい。
【００４１】
リモートコントローラ２４の拡大された概観が図３に示される。好ましい本リモートコントローラ２４は、通常は従来のハンドヘルド型のコントロールユニットと同一の形態要素及びサイズを有するハンドヘルドケース５４に収容される。上記リモートコントローラ２４は、従来の数値キーパッド５６とＶＣＲ並びにレーザーディスクの動きコントロールボタン５８、及び一般的に使用される特色の便利な制御を提供する選択された他のボタンとを含む。親指で操作されるジョグシャトルホイール６０はまた、種々の他のシステム操作機能を選択するために含まれる。あるいは代わって、ジョグシャトルダイヤルは、上記親指で操作されるジョグシャトルホイール６０の代わりに用いられてもよい。
【００４２】
リモートコントローラ２４は、ペン又はペン型入力装置２８による手書き入力を受信するように設計されるディジタル書込み面２６を含む。もし所望されるなら、ディジタル書込み面２６は、ハンドヘルドケース５４にヒンジで取り付けられ、ディジタル書込み面２６が真下に付加的なプッシュボタンを見せるように上方向に持ち上げられることを可能にする。好ましい実施形態のディジタル書込み面２６は、ディジタル書込み面２６それ自身上に見ることができるフィードバックを提供することなく、（以下で説明されるインクデータタイプに従って）ペンストローク（ストローク：画数、筆順）入力を受信する受動的スクリーンである。この実施形態によれば、見ることができるフィードバックは映像スクリーン上に現れる。当業者はまた、ディジタル書込み面２６が、テーブルのような固定面上に置かれた独立したタブレットユニットにおいて実施され、上記タブレットユニットによってより快適に書くことが可能になることを認識するであろう。あるいは代わって、ディジタル書込み面２６は、ペンストローク入力を受信するだけでなく、書込み可能なディスプレイを含む能動的スクリーンとして実施されてもよい。上記能動的スクリーンは、暗闇でも見えるように、バックライトを付けてもよい。
【００４３】
好ましい本システムの概観が図４において示される。特に、図４は前述された音声及び映像コントロールユニット２０とリモートコントローラ２４とを図示する。音声及び映像コントロールユニット２０は映像表示装置６４に接続するポート６２を含む。前述したように、映像表示装置６４は、テレビセット若しくはテレビモニタであってもよいし、又はフラットパネルディスプレイ、プロジェクションシステム若しくはコンピュータモニタであってもよい。ほとんどの家庭用娯楽システムにおいては、表示機能はテレビによって提供される。
【００４４】
音声及び映像コントロールユニット２０はまた、ＶＣＲ４６、レーザーディスクプレイヤ４８及びマルチメディアコンピュータ５２のような他の装置に接続されてもよい。これは網羅的なリストとして意図されたのではなく、音声及び映像コントロールユニット２０に接続されることが可能な豊富なエンターテイメント及び情報技術である。図４において、この他の装置は他の媒体装置６６として概略的に図示される。これらの他の媒体装置６６は好ましくは、従来のケーブル６８によって音声及び映像コントロールユニット２０に接続される。従って、音声及び映像コントロールユニット２０は、システムのために音声及び映像信号切替及び処理センターとして動作する。例えば、もしユーザーが、ＶＣＲ４６を番組の内容のソースとして選択すれば、ＶＣＲ４６からの音声及び映像信号は、音声及び映像コントロールユニット２０によって切り替えられ、ポート６２を介して映像表示装置６４に通信される。これに関して、音声及び映像コントロールユニット２０は好ましくは、複数のタスクを同時に処理することができる。従って、ＶＣＲ４６が後で見るためにテレビ放送を録画している一方で、レーザーディスクプレイヤ４８は、映像表示装置６４上に表示する番組素材の現在のソースとして選択されてもよい。音声及び映像コントロールユニット２０は、テレビチューナを含み、必要な音声及び映像信号をＶＣＲ４６に提供してもよい。
【００４５】
音声及び映像信号のフローはケーブル６８を使用する複数のコンポーネント間でルーティングされるが、複数の制御機能は赤外線リンクのような別のリンクを介して提供されることができる。図４において、赤外線トランスポンダ７０はこの機能を提供する。音声及び映像コントロールユニット２０はコマンドを赤外線トランスポンダ７０に送信し、上記赤外線トランスポンダ７０はそのコマンドを上記システムにおける複数のコンポーネントの各々に送信する。赤外線コマンドは、どのコンポーネントが上記コマンドに応答すべきかを示すデバイスヘッダを含む。ある１つの実施形態において、赤外線リンクは双方向であり、ＶＣＲ４６又はマルチメディアパーソナルコンピュータ５２のようなコンポーネントが赤外線の応答を音声及び映像コントロールユニット２０に返信することを可能にする。しかしながら、赤外線リンクはまた、現在のリモートコントローラのように単方向であってもよい。もちろん、種々のコンポーネントと音声及び映像コントロールユニット２０との間で制御信号を通信する他の方法も存在する。赤外線は既存の家庭用娯楽装置と互換性があるという利点を有する。赤外線制御を使用することによって、音声及び映像コントロールユニット２０は、現在の技術の出現より前に設計された複数の家庭用娯楽コンポーネントの動作を制御することができる。あるいは代わって、個々のコンポーネントは赤外線ネットワーク機能を有してもよく、その結果、リモートコントローラ２４は、音声及び映像コントロールユニット２０を介して行わずに上記複数のコンポーネントと直接通信することができる。従って、本発明に係る実施形態の映像ユーザー環境は既存のシステムに組み合わされることが可能であり、ほとんどのユーザーの既存の装置と協働する。
【００４６】
リモートコントローラ２４と音声及び映像コントロールユニット２０は好ましくは分散処理の方式を使用し、各ユニットは他と関連して機能する１つのプロセッサを含む。図４において、この分散アーキテクチャはプロセッサ７２によって概略的に図示され、上記プロセッサ７２は、リモートコントローラ２４と音声及び映像コントロールユニット２０の両方によって共有される又は関連するように図示される。分散処理は好ましい実施を表すが、映像ユーザー環境は、すべての処理能力がリモートコントローラ２４又は音声及び映像コントロールユニット２０のうちの１つだけに集中化されたシステムによって実施される。例えば、リモートコントローラ２４は、最小の処理能力を用いて構築されて、翻訳のためにユーザーのすべての手書き命令を音声及び映像コントロールユニット２０に単に中継するように構成されることができる。そのような構成は、リモートコントローラ２４と音声及び映像コントロールユニット２０との間のより高いデータ転送レートを必要とする。実施形態の変形例は、リモートコントローラ２４に処理能力を置き、その結果、ユーザーによって入力される手書き命令は、さらなる処理のために音声及び映像コントロールユニット２０に送信される高いデータレートを用いて、リモートコントローラ２４において翻訳される。
【００４７】
図５は、好ましい実施形態のハードウェアアーキテキチャを示す。リモートコントローラ２４と音声及び映像コントロールユニット２０のコンポーネントは、それぞれ、２４番と２０番とを付けられた点線の箱において示される。リモートコントローラ２４は、読出し専用メモリ又はＲＯＭ７６及びローカルランダムアクセスメモリ又はＲＡＭ７４を有するプロセッサ７２ａを含む。これらの機能はブロック図上に独立して示される一方、プロセッサ７２ａとＲＡＭ７４とＲＯＭ７６と種々の他の機能は、現在の製造技術を用いた単一で非常に集積化された回路上で実施されることができる。赤外線インターフェース７８はプロセッサ７２ａに接続される。リモートコントローラ２４は任意でプッシュボタンディスプレイ７７を含んでもよく、上記プッシュボタンディスプレイ７７は、種々の光学機能による見ることができるフィードバックと、音声及び映像コントロールユニット２０への入力を提供するプッシュボタンキーパッド７９とを提供する。プッシュボタンキーパッド７９は、プッシュボタンキーパッド７９が全般的な機能を行うことを可能にする学習機能を含み、予めプログラミングされた機能を有し、又はユーザーによってプログラミングされてもよい。リモートコントローラ２４はまた、ユーザーからの複数の話されたコマンドを受信するマイクロフォンインターフェース８１を提供されてもよい。当業者は、プロセッサ７２ａ又は７２ｂは複数の話されたコマンドをコンピュータの命令に翻訳する公知の音声処理技術を実施してもよいことを認識するであろう。リモートコントローラ２４はまた、タブレットインターフェース８０とタブレット８２とを備えるディジタル書込み面２６を含む。タブレットインターフェース８０は、ユーザーによって入力された手書き命令を復号して、位置又は空間データ（ｘ，ｙデータ）に変換する。各ｘ、ｙデータ値が時間値に関連するように、プロセッサ７２ａは内部クロックを含み、タブレット８２上に描かれるペン又はペン型入力装置の位置の記録を生成する。この空間／時間データは、“インク（ink）”デ−タタイプの表現で手書き命令を表す。インクデータタイプは、空間的及び時間的コンポーネント（ｘ，ｙ，ｔ）の両方を有する画成されたデータタイプである。上記インクデータタイプは以下でより完全に説明される。
【００４８】
音声及び映像コントロールユニット２０はまた、関連するＲＡＭ８６とＲＯＭ８８を有するプロセッサ７２ｂを含む。プロセッサ７２ｂはまた、赤外線インターフェース９０を提供される。赤外線インターフェース９０は、リモートコントローラ２４の赤外線インターフェース７８と（実施形態に依存して）単方向又は双方向で通信する。赤外線インターフェースに加えて、プロセッサ７２ｂはまた、適切な映像信号を映像出力ポート６２に提供する映像インターフェース回路９２を含む。
【００４９】
多くの映像ユーザー環境は好ましくは、分散処理アーキテクチャ７２（例えば、７２ａ及び７２ｂ）によって実行されるソフトウェアとして実施される。このソフトウェアのアーキテクチャは図６に図示される。上記ソフトウェアは、それぞれリモートコントローラ２４と音声及び映像コントロールユニット２０の読出し専用メモリのＲＯＭ７６とＲＯＭ８８に記憶されることが可能である。あるいは代わって、上記ソフトウェアはまた、種々の転送媒体をわたってランダムアクセスメモリのＲＡＭ７４とＲＡＭ８６にダウンロードされることが可能であり、上記種々の転送媒体は制限されないが、一般的には、電話線、光ファイバーケーブル又は映像信号を伝送するテレビケーブルである。
【００５０】
図６を参照すると、本発明に係る実施形態のソフトウェアのコンポーネントは、１００で概略的に図示される。図示されるように、ソフトウェアのコンポーネント１００はユーザー１０２とハードウェア１０４との間に位置決めされる。ソフトウェアのコンポーネント１００は、１０６で一般的に図示される複数の機能の各々を提供する。
【００５１】
ソフトウェアのコンポーネント１００は、幾つかの層の連結としてここでは図示されている。最下層には、ハードウェア１０４に最も近いハードウェア抽出層１０８がある。この層は、実際のハードウェア１０４への接続を提供する。ハードウェア抽出層１０８は、タイマを実施することと、テレビチューナをチューニング（同調）することと、映像及びグラフィックスアダプタのハードウェアをサポートすることと、複数のセキュリティ機能を提供することと、周辺装置を動作することのようなハードウェアに関連する作業を処理する。例えば、ハードウェア抽出層１０８はタブレットインターフェース８０のために必要なデバイスドライバを含む。
【００５２】
ハードウェア抽出層１０８の１つ上の層はマイクロカーネル層１１０である。マイクロカーネル層１１０は、映像ユーザー環境のためのリアルタイム動作システムとして機能する。リアルタイム動作システムは、層１１２において図示されるドライバとライブラリを使用し、より高いレベルの層の入力、映像及びネットワークの管理機能を生成する。ユーザーインターフェース層１１４は、下にある層１０８、１１０及び１１２によってサポートされる。電子番組ガイド、映像プレイヤ及びマルチユーザーゲームのようなアプリケーションは、ユーザーインターフェース層１１４内で実行される。例示的なアプリケーションは１１６で図示される。
【００５３】
＜好ましい映像ユーザーインターフェース＞
ユーザーインターフェース層１１４によって生成される好ましい映像ユーザーインターフェースは、図７乃至図１４において示される。
【００５４】
図７を参照すると、好ましい映像ユーザーインターフェースはスクリーンの最下端のように好ましくは予め決められた位置でコマンドバー３２を表示する。コマンドバー３２は種々の機能へのアクセスを提供する；好ましいコマンドバー３２は、機能の名前がボタン上に表示されるそれらの機能にアクセスするための８個のボタンを提供する。通常は、映像ユーザー環境が特定の映像表示装置又はテレビ上で動作していることの表示はない。普通に見えている動作の間、映像写真は全体のスクリーンを占めて、コマンドバー３２は表示されない。ユーザーが映像ユーザーインターフェースの機能にアクセスしたいときに、ユーザーは、ディジタルタブレット上のどこかをペンで一度軽くたたく（tap）こと、又はリモートコントローラ２４上のボタンを押すことによってコマンドバーを要求し、コマンドバー３２をスクリーン上に表示させる。もう１度、ペンにより軽くたたく又はボタンを押すことによって、コマンドバー３２は消去される。
【００５５】
誰でも本発明に係る実施形態に備え付けられたテレビに近付くことができ、それをすぐに使用することを開始することができる。しかしながら、映像ユーザー環境のほとんどの能力は、個人的な注釈を形成する機能から来る。例えば、ユーザーは、短い説明的な絵文字を書き、好みのチャンネルをマークすることができる。
【００５６】
そのような個人化されたデータが利用できるようになる前に、ユーザーは彼自身又は彼女自身を当該システムに明らかにしなければならない。このことは、コマンドバー３２上の“署名”ボタンを選択して、それを一度軽くたたくことによって実行される。このことは図８において図示されるパネルを表示し、ユーザーは上記パネルを介して署名できる。上記パネルは、ユーザーリスト１２０を備え、２つのタイプの情報が上記ユーザーリスト１２０上に表示される：テキストストリング１２２と関連するインク領域１２４である。各ユーザーの身元証明は、上記テキストストリング１２２とそれに関連する上記インク領域１２４とによって記号化される。図示されるように、インク領域１２４は上記テキストストリング１２２を必ずしも複製する必要はない。図８において、テキストストリング１２２のＪＺは、インク領域１２４に彼女の名前を“ソフィー（Sophie）”と署名したユーザーを識別する。インク領域１２４は次のように全く制約されない：それは絵、落書き、署名、任意の言語で記述された言葉、及びその他のものである。境界で区別化された１組が、単一の個人を識別するシステムとユーザーの両方に理解されるように、インク領域１２４とテキストストリング１２２との間に明示的な制約が存在する。インク領域１２４とテキストストリング１２２とをリンクすることは、よく１つの組（tuple:タプル）として参照されるデータ構造を形成する。この同一のパラダイムは、論じられるべき映像ユーザー環境の幾つかのアプリケーションを実行させる。
【００５７】
署名パネルがスクリーン上にあると、ユーザーはそれを軽くたたくことによってＩＤを選択する。“実行せよ！”ボタンを軽くたたくことは、アクションを完成し、ユーザーを示されたＩＤとしてログインする。あるいは代わって、ユーザーは、以下で述べる本発明に係る実施形態の検索特徴を使用して特定のＩＤを検索してもよい。上記検索特徴は、近似インクマッチング技術を使用し、従って、ユーザーは毎回、正確に全く同じように署名する必要はない。上記システムは通常の手書きの変化に適合するには十分に柔軟である。
【００５８】
署名パネルはまた、ユーザーＩＤを付加、削除又は編集するオプションを提供する。これらの動作は形式上であり、それらは特定のＩＤの場合に適用することを意味する。従って、１つのＩＤが選択されるときに、“編集”ボタンはオンされるだけである。
【００５９】
当該システムは、ユーザーにより入力された手書き注釈上を近似インクマッチング検索を実行することができる。検索ボタン１２６を軽くたたくことによって、検索ダイアログボックス１２８は図９において図示されるように表示される。ユーザーはインク領域１３０に手書き入力又は注釈を入力し、この入力は複数のユーザーＩＤとして以前に記憶されたインクデータと比較される。本発明に係る本実施形態の近似インクマッチングシステムは、最適なマッチングを識別し、図示されるようにそれをユーザーリスト１２０内で強調表示する。もしユーザーが、強調表示された入力が正しくないと決定すれば、ユーザーは、“発見”ボタン１３２をもう一度タイプ打ちすることによって次の近似マッチングに進む。上記プロセスは所望されるＩＤが見付かるまで繰り返されることができる。
【００６０】
変形例の検索技術として、ユーザーはテキストストリング領域１２２における入力に基づいてＩＤを検索することができる。これは、キーボードアイコン１３４上を軽くたたくことによって表示されるソフトキーボードを用いて所望されるテキストストリングをタイプ打ちすることによって実行される。キーボードアイコン１３４は好ましくは、パーソナルコンピュータ上で見られる従来のキーボードに似ている通常のクワーティ（QWERTY）キーボードとして現れる。上記キーボードがテキストストリングを入力するために使用されるとき、当該システムは、ユーザーによって入力された文字ストリングを検索することによってＩＤのリストにおいて正確なマッチングを発見する。上記インク検索のように、テキストマッチング検索はまた近似的である。従って、もしユーザーが質問“ddl”を入力すれば、上記テキストストリング１２２の“dpl”がテキストストリング１２２の“jeff”よりもより良いマッチングと考えられる。
【００６１】
ユーザーがユーザーリストスクリーンに署名した後に、簡単に表示される確認のスクリーンは、ユーザーがＩＤを介して署名するそのＩＤを表すテキスト及びインクデータを示して投射される。また、もし所望すれば、日時はまた、少しの間表示されてもよい。確認のスクリーンが適切な時間長（例えば、５分である。）で表示された後、それは、現在の映像スクリーンだけを見えるように残して消去する。ユーザーが署名をしないことを選択するイベントにおいては、当該システムは、最後にユーザーにより入力されたＩＤがデフォルトによって適用可能であることを仮定する。
【００６２】
本発明に係る本実施形態の映像ユーザー環境は、ボリューム、バランス、輝度、色彩等のような通常のテレビの制御のすべての補足物を提供する。さらに、スクリーン上のキーパッドは、数値チャンネルの番号の直接入力によって、又は適切な上方向及び下方向のボタンをクリックすることによるダイヤルの上方向及び下方向にサーフィングすることによって、複数のチャンネルを変更することに利用できる。通常のテレビの制御は、コマンドバー３２上のＴＶボタン１３６を軽くたたくことによって表示される。
【００６３】
好ましい本実施形態は、上述したような通常のテレビ制御機能を実行する複数の伝統的リモートコントロールプッシュボタンを使用することを継続する。連続性と最大の柔軟性のために、これらの同一の機能は、映像ユーザーインターフェースを介してスクリーン上で複製される。
【００６４】
映像ユーザーインターフェースは同一の機能を提供し、通常のテレビ制御機能を伝統的なリモートコントローラとして制御するが、本発明に係る実施形態の映像ユーザーインターフェースは、伝統的なリモートコントローラを越えた大きな効果がある。本発明に係る本実施形態は洗練されたツールを提供し、ユーザーが彼又は彼女の映像プログラミングを管理することを援助する。図１０は、ＴＶボタン１３６が軽くたたかれるときに表示されるテレビコントロールパネル１３８を示す。数値キーパッド１４０はテレビのチャンネルを直接入力するために使用され、上下ボタン１４２は前進方向及び後進方向における複数のチャンネルを介して連続してサーフィングする。チャンネルリストボタン１４４上を軽くたたくことによって、図１１に図示される手書き注釈を伴うチャンネルのスクロール可能なリストを表示する。パネルにおけるサインを用いて、ユーザーは手動で１つの項目を選択すること又は近似インク若しくはテキストマッチング技術を用いて１つの項目を検索することが可能である。この場合において、（適切な数値のキーボードアイコン１３４上を軽くたたくことによってアクセスされる）数値キーパッド１４０は、ユーザーの数値入力（例えば、ＴＶチャンネル）を制限する。スケジュールボタン１４６上を軽くたたくことが、図１２において図示される便利なＴＶスケジュールを表示する。好ましい実施形態は、伝統的な紙によるテレビガイドの形状におけるＴＶスケジュールを描く。しかしながら、上記ＴＶスケジュールは、それが何時にあるかを知る大きな利点を有する。従って、ＴＶスケジュ−ルスクリ−ン（図１２）は現在放送されている番組を強調表示し、ユーザーが選択を行うことを助ける。従って、図１２のＴＶスケジュールは、リアルタイムで表示を更新して、現在の番組を強調表示することができる動的なスケジュールである。図１２において、進行中の番組は、強調を示すために１４８で点線によって指定される。しかしながら、本発明に係る本実施形態は、さらに１ステップ、動的にスケジュールする概念を実行する。上記表示における各番組はそれのジャンルを示す予め画成されたアイコンをタグ付けされる。従って、ニュース、スポーツ、ドラマ、コメディ、子供向け及び種々雑多なものが指定される。ユーザーは、“オールクリア”ボタン１５０を軽くたたくことと、次いで、カテゴリパレット１５２における１つ又はそれ以上のチェックボックスをオンすることによって、あるジャンルにおけるそれらの番組だけを表示するようにＴＶスケジュールを制限する。図１３に示される例において、ユーザーはスポーツ、コメディ及び子供向けカテゴリにおける番組の表示に制限するように選択している。映像ユーザー環境におけるこの特徴は、ユーザーが、彼又は彼女が見たい番組はどれかを識別することがより容易に行えるようにする。
【００６５】
結局、上記ＴＶスケジュールによって、ユーザーは特定の時間に自動的にチャンネルを変更するためにＴＶをプログラミングすることができる。従って、ユーザーは大事な番組を見逃すことはない。複雑化してフラストレーションを引き起こす現在のＶＣＲのプログラミングとは異なり、本映像ユーザー環境におけるプログラミングは非常に直感的な方法で処理される。ユーザーは単に、スケジュールにおいて表示される番組を軽くたたいて、そこでそれを強調する。次いで、適切な時間に、映像ユーザー環境は適切なチャンネル（この場合におけるチャンネル２）に変更する。すべての映像ユーザー環境のアプリケーションを用いて、キーは簡単に使用できる。
【００６６】
次は、映像ユーザー環境がテレビをアクセス及び制御するためにどのように使用されるかを説明している。同様の機能がＶＣＲのような他の音声及び映像装置の複数のコンポーネントに提供される。図１４は、ＶＣＲボタン１５６が軽くたたかれると表示されるＶＣＲコントロールパネル１５４を図示する。ＶＣＲコントロールパネル１５４は、伝統的な再生、停止、一時停止、巻戻し及び早送り制御を提供する。さらに、もしＶＣＲ装置がそのような機能が可能であれば、ＶＣＲテープはフレーム毎を基準として前方又は後方にインデックスが付けられる。同様の機能は、例えばレーザーディスクを制御することに提供されることができる。
【００６７】
図１４に最良に図示されるように、“プログラム”ボタン１５８を軽くたたくことは、図１２のＴＶスケジュール表示と視覚的に同一の表示を呼び出す。しかしながら、ＴＶスケジュールとＶＣＲスケジュールは独立したデータ構造として保持され、その結果、ユーザーはＴＶとＶＣＲを独立してプログラミングすることができる。異なるが匹敵する複数の機能のための同一の可視表示を用いることは、より容易に使用できるシステムを形成する好ましい本実施形態の１つの方法である。学習処理を高速化する（同一のウィンドウのレイアウト、位置、及びボタンの機能を含む）同一のアイコン及びツールを再利用することによって、ユーザーは、その他の設定においてそれを適用する方法を知るために、ツールの１度の実例だけを経験する必要がある。コードは幾つかの機能の間で共有されることができるので、これはまた、映像ユーザー環境のアプリケーションをより小さくできる。
【００６８】
“ライブラリ”ボタン１６０（図１４）上を軽くたたくことは、テキスト及びインク注釈を一対で表示するもう１つのブラウザを表示する。図１１のチャンネルリストの表示と同様に、映像ライブラリの表示は、ユーザーが自由に視聴できる特定の映像番組に対応するそれを入力する。従って、映像ライブラリは、ビデオオンデマンドシステム又はユーザー自身の個人的なコレクションにおける記録へのインターフェースとして機能する。例えば、ユーザーは“夜のニュース”を映像ライブラリに入力し、それを要求選択の特定の映像に記号を付ける。あるいは代わって、ユーザーは“ボブのお気に入りのヤンキーゲーム”のような記念のスポーツイベントを呼び出す。従って、ユーザーは後で、映像ライブラリにおける入力によって検索し、それを軽くたたくことによって記憶されたイベントを選択することができる。このことが、ビデオオンデマンドシステムがユーザーへのニュース又は他の娯楽番組の送信を開始することを交互にできるようにする。ビデオオンデマンドシステムはより洗練されるので、この機能は非常に価値がある。例えば、ユーザーは、彼又は彼女が休暇をとってニュースを見れない一週間分の夜のニュース番組を再び見るために、映像ライブラリを使用することを望む。又は、ユーザーは、ビデオオンデマンドシステムから以前のスポーツイベントを呼び出すために映像ライブラリを使用することを望む。
【００６９】
“ゲーム”ボタン（図１４）を軽くたたくことは、ユーザー（子供でも）が種々のオンラインゲームにアクセスすることが素早くかつ容易にできるインターフェースを提供するウィンドウ（図１５）を表示する。これらの幾つかのゲームは、ネットワーク上の他の複数のプレイヤを含んでもよい。そのようなゲームは複数の商業的ゲーム開発者によって供給されることが考えられるので、映像ユーザー環境の好ましい本実施形態はこれらのゲームを直接実施しない。好ましい双方向ゲームのインターフェースは単に、複数のアイコンを表示してユーザーのシステム上に利用できるゲームの各々を表す。
【００７０】
“ショッピング”ボタン１６４上を軽くたたくことは、ホームショッピングオプションの表示（図１６）を呼び出す。好ましい各オプションは、ユーザーがそれらのショッピングサービスにアクセスするために軽くたたく独立したアイコンとして表示される。もし所望すれば、上記ショッピングボタン１６４は、他のショッピングの場所へのハイパーテキストリンクを提供する開始点として使用できる、インターネット上のウェブサイトを呼び出すことができる。
【００７１】
“Ｉ−メール”ボタン１６６（インク−メール）上を軽くたたくことは、ユーザーに電子メール通信システムを提供する。キーボードで入力されるテキストに依存する従来のＥ−メールシステムとは対照的に、本映像ユーザー環境は、ユーザーが手描き又は手書きメッセージを送信することを可能にする。Ｉ−メールインターフェース（図１７）は好ましくは、ユーザーが手書きメッセージを書くことができるノートパッド領域を提供し、上記メッセージは次いで、インターネット又は他の適切な通信ネッワワークを介して受取人に送信される。これらの手書きメッセージはより個人化された文書を可能にし、タイプ打ちされた電子メールより利用しやすい。更に、ペンを用いて書くことはより効果的である。例えば、ユーザーはＩ−メールテキストメッセージを書き始め、次いで、現在のキーボード／マウスに基づく電子メールシステムで必要とされるツールを変更することなく地図を描くことができる。
【００７２】
上述したように、映像ユーザー環境はシステムクロックにアクセスし、ここでＴＶスケジュールとＶＣＲスケジュールは起動される。クロックボタン１６８（図４）は、ユーザーがシステムの正確な日時をセットすることができるスクリーンを呼び出すために軽くたたかれてもよい。
【００７３】
＜好ましいインク検索と検索技術＞
好ましい実施形態は近似マッチング手順を使用して、ディジタルタブレット及びペンを用いてユーザーによって生成される可能な手書き“インク”入力を識別してランク付けする。近似マッチング手順は、質問と候補との間の距離をスコア付け及びランク付けすることに基づいて可能性のあるサブストリングマッチング候補を識別してランク付けするファジー検索手順である。上記手順は各候補に対してスコアを生成し、複数の候補が“スコアの良好な度合い”の順番でランク付けされることを可能にする。
【００７４】
近似マッチング手順の１つの利点は、手書き入力又は質問におけるいかなるラインの分解もインク検索上で影響がないことである。書くことにおけるラインの分解は無視され、その結果、ユーザーはラインの分解が元の入力においてどこで発生したかを覚える必要がない。
【００７５】
好ましい実施形態のファジー検索技術は、ユーザーによる手書き入力のベクトル量子化された表現を使用し、インクデータタイプの複数のペンストロークを獲得して比較する。上記インクデータタイプは、ユーザーが注釈又は入力を書く又は描く時間にわたってペンの先端の正確な（ｘ，ｙ）位置を獲得する、システムに画成されるデータタイプである。従って、上記インクデータタイプは、インクの空間的位置だけではなく、ユーザーがディジタル書き込み面２６上に入力を記述するようにインクが“利用される”時間的シーケンスもまた獲得する。図１８は、ペンストロークの分類がベクトル量子化を用いて実行される方法の概観を与える。インクデータタイプは、ディジタルのタブレット８２の表面上にペンの先端の動きを（ｘ，ｙ）インク点のストリングとして記録する。個々の（ｘ，ｙ）インク点は連続して獲得され、それによって、上記データの一時的又は時間に基づくコンポーネントを保存する。従って、インクデータタイプは（ｘ，ｙ，ｔ）ベクトルを備えるように考慮されてもよい。
【００７６】
図１８において図示されるように、着信インクデータ２００は２０２での複数のストロークに分割される。着信インクデータ２００を複数のストロークにセグメント分割することによって、各ストロークはここに解析されることができる。図のように、図１８は、着信インクデータ２００におけるプラスの符号（＋）がユーザーによって記述されたことを示し、まず第１に水平線を形成し、次いで垂直線を形成する。このことは、２０２のセグメント分割されたデータを左から右に読むことによって２０２で図示される。
【００７７】
ストロークへのセグメント分割の後に、次いで、個々のストロークが解析されて複数の特徴ベクトルを抽出する。このことは２０４で概略的に示される。図１８においては、上記抽出された複数の特徴ベクトルは表現を単純化するために概略的に示される。実際の実施形態においては、上記抽出された複数の特徴ベクトルは、コンピュータに記憶される数値データとして表現される。２０６で示されるように、各抽出された特徴ベクトルは予め決められたコードブック２１０に従って分類される。好ましい本実施形態はストロークタイプの６４個のクラスタを記憶し、各クラスタはそれの重心又はそのタイプの平均ストロークによって表現される。抽出された特徴ベクトルの場合（ブロック２０４）におけるように、特徴ベクトルの複数のクラスタは数値コンピュータデータとして記憶される。図１８において、コードブック２１０を備える上記データは表現を単純化するために（数値の代わりに）概略的に示される。図１８においては、ブロック２０６の水平線のセグメント分割はタイプ２のストローククラスタ２１４の重心２１２に最も近接してマッチすることに注意されたい。従って、出力ストリング（ブロック２１６）において、ＶＱコード２はブロック２０６における垂直線を表現するために使用される。ブロック２１６において、最も左の数値２は最も左の水平線のストロークに対応する。残りの複数のコードは、元の着信インクデータ２００を備える残りの複数のインクストロークを表す。
【００７８】
上述された手順によって、着信インクデータはペンストローク毎に、各個々のペンストロークに対応する特徴ベクトルに変換される。一連のペンストロークを集合的に表す１組の特徴ベクトルは、ユーザーによる手書き注釈としてコンピュータのデータベースに記憶される。これは２１８で図示される。
【００７９】
さらに図示するために、好ましい本実施形態のソフトウェアブロック図は図１９において図示される。注釈システムは、“インク”データタイプとして最終的に表されるディジタル化されたペンストロークデータを処理する。図示されるように、上記インクデータタイプをＡＳＣＩＩ文字データタイプに変換して探索と検出の手順を実行する必要はない。実に、グラフィック的な（テキストではない）注釈の場合において、ＡＳＣＩＩ文字データタイプへの変換は意味が無い。従って、重要な利点は、注釈システムが、“インク”データが言語から独立することを可能にする方法で動作することである。
【００８０】
図１９において図示されるように、ユーザーによる手書き質問３００は（ｘ，ｙ）インク点のストリングとして獲得され、上記インク点のストリングは、ユーザーが質問３００を描くようなディジタルタブレット又はパッドの表面上のペンの先端の動きに対応する。好ましい本実施形態は、予め決められたサンプリングレートでディジタルパッドの出力をサンプリングすることによって、この情報をディジタル化する。固定サンプリングレートはここでは好ましいが、本発明に係る本実施形態は、そのうえ変化可能なサンプリングレートを使用して実施されることができる。Ｘ、Ｙの位置データのディジタル化された獲得によって、ユーザーによるペンストロークの空間的及び時間的コンポーネントの両方が獲得される。時間的コンポーネントは明示的情報でもよく、もう１つに関連するサンプリングされた点の順序付けは時間的情報を伝達する。あるいは代わって、時間的コンポーネントは暗示的でもよく、サンプリングされた各点の抽出時間は外部クロックから獲得される。
【００８１】
固定サンプリングレートを使用する好ましい本実施形態において、各Ｘ、Ｙデータ点は異なるサンプリング時間に関連する。なぜなら、サンプリングレートが一定なので、ペンストロークに関連する時間的データを記憶するためにサンプリング時間を記憶する必要がない。シーケンスにおける各点が次に続くサンプリング時間で発生することが知られるので、Ｘ、Ｙの位置データを１つのシーケンスと共に単に記録することは、時間的データを自動的に記憶する。
【００８２】
変形例において、もし変化可能なサンプリングレートのシステムが実施されれば、（ｘ，ｙ，ｔ）データは獲得されて記憶される。これらのデータは、（ｘ，ｙ）インク点と各インク点が獲得される対応する時間Ｔとである。
【００８３】
インク点の生データはデータ記憶部３０２に記憶される。次に、セグメント分割プロセス３０４が記憶されたインク点データ３０２上で実行される。好ましい本セグメント分割プロセス３０４は、最小のＹに対するインク点データ３０２を検索する。それは、セグメント分割プロセス３０４がＹ値の座標がローカルに最小なそれらのローカルな点を検出することである。文字“Ｖ”を単一の連続したストロークとして手書きすることにおいて、文字“Ｖ”の最も低い点はＹの最小値を表す。
【００８４】
セグメント分割は生のインク点データをより扱い易い複数のサブセットに分解するために実行される。セグメント分割はまた、ユーザーが複数の文字または複数の単語の接続である連結を生成するときに変化を最小化するために重要である。これらの複数のセグメントのサブセットは複数の適切なポインタを用いて指定され、Ｙの最小点が発生する複数のメモリ位置を示してもよい。この場合において、これらのセグメント分割ポインタは、前に獲得されたインク点データ３０２に関連させるために３０６で記憶される。変形例において、もし所望されれば、セグメント分割されたデータは、複数のポインタを用いる代わりに１つ又はそれ以上のメモリバッファに独立して記憶されてもよい。
【００８５】
一度、生のインク点データがセグメント分割されると、個々のセグメント又はペンストロークは１組の抽出機能３０８によって処理される。好ましい本実施形態は、１３個の異なる抽出機能を用いて上記ペンストローク（セグメント）を処理する。これらの抽出機能は各々、ペンストロークデータの異なる特徴を抽出し、次いで、上記ペンストロークのデータは、特徴ベクトルを構築するために使用される。数１乃至数１３は、上記複数の抽出機能３０８によって抽出された複数の好ましい本特徴を表すｆ_１乃至ｆ_１３を示す。これらの抽出機能におけるさらなる背景情報のために、文献「Rubine(ルーバイン), Dean(ディーン), “Specifying Gestures by Example（例によるジェスチャの特定化）”, Computer Graphics, vol.25, No4, 1991年7月」を参照されたい。与えられた１つのストロークの上記複数の特徴ベクトルは、図１９における３１０で図表で表される。
【００８６】
【数１】
ｆ_１＝（ｘ_２−ｘ_０）／√｛（ｘ_２−ｘ_０）^２＋（ｙ_２−ｙ_０）^２｝
【００８７】
【数２】
ｆ_２＝（ｙ_２−ｙ_０）／√｛（ｘ_２−ｘ_０）^２＋（ｙ_２−ｙ_０）^２｝
【００８８】
【数３】
ｆ_３＝√｛（ｘ_ｍａｘ−ｘ_ｍｉｎ）^２＋（ｙ_ｍａｘ−ｙ_ｍｉｎ）^２｝
【００８９】
【数４】
ｆ_４＝ａｒｃｔａｎ｛（ｙ_ｍａｘ−ｙ_ｍｉｎ）／（ｘ_ｍａｘ−ｘ_ｍｉｎ）｝
【００９０】
【数５】
ｆ_５＝√｛（ｘ_Ｐ−１−ｘ_０）^２＋（ｙ_Ｐ−１−ｙ_０）^２｝
【００９１】
【数６】
ｆ_６＝（ｘ_Ｐ−１−ｘ_０）／ｆ_５
【００９２】
【数７】
ｆ_７＝（ｙ_Ｐ−１−ｙ_０）／ｆ_５
【００９３】
ここで、Δｘ_Ｐ＝ｘ_Ｐ＋１−ｘ_Ｐと、Δｙ_Ｐ＝ｙ_Ｐ＋１−ｙ_Ｐと、Δｔ_Ｐ＝ｔ_Ｐ＋１−ｔ_Ｐである。
【００９４】
【数８】

【００９５】
【数９】

【００９６】
【数１０】

【００９７】
【数１１】

【００９８】
【数１２】

【００９９】
【数１３】
ｆ_１３＝ｔ_Ｐ−１−ｔ_０
【０１００】
ここで、Ｐは点の全ての数を表す。また、数１２は、Ｐが０乃至ｐ−１の範囲で変化するときの｛（Δｘ_Ｐ ^２＋Δｙ_Ｐ ^２）／Δｔ_Ｐ ^２｝の最大値であるｆ_１２の値を示す。
【０１０１】
次いで、３１０で表される抽出された複数の特徴ベクトルは、複数のストロークデータタイプの予め決められた１組のクラスタとの比較によってコード化されて量子化される。特徴ベクトルデータ３１０は、ベクトル量子化プロセス３１２によって量子化され、各クラスタを最近傍の予め決められたストロークタイプに割り当てる。これに関して、好ましい本実施形態は、異なる名前又は数字によって各々表される６４個の異なるストロークタイプを画成する。好ましい本システムは６４個の異なるストロークタイプを使用するが、本発明に係る本実施形態の原理はより多い又は少ないストロークタイプを用いて使用されることができる。
【０１０２】
複数の予め決められたストロークタイプは学習手順３１３の間に到着される。上記学習手順は、ベクトル量子化（vector quantization、ＶＱ）コードブック３１４を予め決めるために使用されてもよく、上記ＶＱコードブック３１４は次いで、複数のユーザーに用いられる。多くの商業的実施例においては、ユーザーから独立した１組の学習データを用いて工場で当該システムを学習することが望ましい。あるいは代わって、学習手順は、個々のユーザーによる使用の前に用いられる。両方のアプリケーションはうまく機能する。いずれの場合においても、当該システムはいまだユーザーに依存しており、なぜなら、２人の異なる人が同一の注釈を書くと大きな変化量が存在し得るからである。従って、好ましい実施形態はある１人自身の注釈を検索することが最適である。
【０１０３】
ほとんどの場合において、ユーザーはいつも及び毎回、前回と同一のように同一の注釈を書かないことは理解されるであろう。それは、ユーザーがその注釈を書くたびに、与えられた注釈の（ｘ，ｙ，ｔ）座標と時間的性質は、やや変化する。好ましい本システムは、ベクトル量子化が実行される方法によってまず最初にこの変化に受容（収容）する。特に、ユーザーから独立したストロークタイプ３１４からのベクトル量子化プロセス３１２は、各入力ストロークを、最近傍のマッチングを表すユーザーから独立したストロークタイプ３１４からの予め決められたベクトルに割り当てる。
【０１０４】
質問を表すストロークの各々がこの方法で処理された後に、それらのストロークと、データベース３２０における文書に関連する記憶されたユーザーが書いた注釈との間で比較が行われる。従って、例えば、質問“important”は、記憶された注釈“This is very important!”に対して比較される。編集距離解析はこの比較を行うために実行される。
【０１０５】
編集距離解析プロセス３１８として示され、上記質問のストロークタイプのストリングは、データベース３２０の記憶された注釈のストロークタイプのストリング３２１の各々と比較される。編集距離解析は、質問ストリングにおける各ストロークタイプ値と注釈のストリングの各々における各ストロークタイプ値を比較する。編集距離計算はこの比較によって実行され、ある１つのストリングを他のストリングに変形させること（編集すること）の“コスト”を生成する。次いで、個々のストリングとストリングの比較は、最小コストの結果物がまず最初に表されるように、コストに従ってランク付けされる。このように、すべての又はｎ個の最良のマッチングを備えるソートされたリストは、メインブラウザスクリーンの小さなサイズで表示される。あるいは代わって、記憶されたリストを示すよりむしろ、ユーザーはメインブラウザスクリーン上に最適なマッチングを示される。もしユーザーがこのマッチングが正確ではないと決定すれば、ユーザーは“次”ボタン（図示せす。）を軽くたたいて、次の最適なマッチングを見る。
【０１０６】
図２０は基本的な編集距離技術を示す。この場合において、記憶された注釈“compress”は、質問ストリング“compass”と比較される。図２０は、２つのストリングの比較を２つの異なる綴りの単語における個々の文字の比較として記述することは、理解されるべきである。この記述は、編集距離計算技術の理解を助けることを意図され、２つのストロークタイプのストリングが実際に似ていることの記述として必ずしも必要ではない。これに関して、６４個の異なるストロークタイプの各々は、異なる数値ラベルを任意的に割り当てられてもよい。従って、編集距離計算は、記憶された注釈と直接入力の質問とのそれぞれの数値ラベルを互いに比較する。個々のストリングをＡＳＣＩＩ文字に変換する必要はなく、図２０は、そのような変換が必要であることの暗示を意図してはない。
【０１０７】
図２０を参照すると、注釈ストリングのストローク値が質問ストリングのストローク値と釣り合うたびに、コストゼロが割り当てられる。従って、図２０においては、ゼロのコストが最初の４つのストリング値“comp”の比較に対して入力される。ストリングとストリングの比較が挿入、削除又は値の入れ換えを含む可能性に収容させるために、挿入、削除又は入れ換えが比較のシーケンスの間で行われるたびに、コストが割り当てられる。図２０の例において、質問ストリング“compass”は、値“p”の後に付加的な値“r”の挿入を要求する。１のコストが（４２２で表される入力値で示されるように）割り当てられる。比較を続けて、入れ換えは、記憶された注釈ストリングの値“e”と質問ストリングの値“a”との間で発生する。このことは、前のコストの割り当てに加えられるべき１の付加的なコストの割り当てという結果を生じ、図２０における４２４で表される総計２のコストを結果として生じる。これらの挿入及び入れ換え処理は別として、残りの比較は値に対して値をマッチングする。従って、注釈ストリングと質問ストリングとの比較における最終的な“コスト”は図２０における４２６で表される２である。
【０１０８】
前述において、最初の最小コストパスは、“compass”が、“r”を挿入することと“a”の代わりに“r”を用いることとによって“compress”に編集されることにおいて記述された。変形例の編集は、“a”の代わりに“r”を用いることと“e”を挿入することである。これらの両方のパスは、同一のコスト、即ち２を有する。
【０１０９】
図２１は編集距離計算技術のもう１つの例を与える。前述のように、アルファベット文字のストリングは実例による説明目的のために比較される。前述したように、これは、図を簡単化するための簡便のために実行され、ストリングが比較が実行される前に最初に英数字テキストに変換されなければならないことを意味するように、解釈されるべきではない。むしろ、図２０及び２１において図示される手順は、それぞれの記憶された注釈ストリングと入力質問ストリングのそれぞれのストロークデータ（複数のベクトル量子化された記号）上で実行される。
【０１１０】
図２１は特に、近似マッチング（単語にスポットを当てること）を実行するために用いられてもよい技術を図示する。図２１において、記憶された注釈“This is compression,”は質問ストリング“compress”と比較される。マッチングされる領域４３０は、テーブルの最後の列を走査することによって記憶された注釈の完全なストリングから抽出され、最低値を表すインデックスを発見することに注意されたい。図２１における最初の（初期化する）列はすべて０であり、これによって近似マッチング手順がデータベースのストリングに沿ってどこででも開始することができることに注意されたい。
【０１１１】
好ましい本編集距離手順は、文献に記述される従来の手順以上に拡張される。３つの基本的な編集処理（文字を削除すること、文字を挿入すること、及びある１つの文字をもう１つの文字の代わりに用いること）に加えて、ペンストロークのシーケンスを比較するときに、２つの新しい処理を加えることが有効である。これらの新しい処理は、“分解する”（１つのストロークの代わりに２つのストロークを用いる）と、“組み合わせる”（２つのストークの代わりに１つのストロークを用いる）とである。これらの付加的な処理は、ストロークのセグメント分割において起こるエラーに対して許容し、一般的により正確な結果に導く。
【０１１２】
我々の拡張された編集距離手順の使用は図２１において図示される。図２１において、分解処理は“compress”における“re”を“compass”における“a”の代わりに用いるために使用される。図２１における後ろ向きの矢印は１つの列だが２つの行にかかっており、それによって複数の文字の（組み合わせ）入れ換えを表す。従って、この場合では、編集距離は２ではなく１である。比較を行って、図２０は２つの新しい複数の文字の処理を用いることなく基本的な編集距離アルゴリズムを図示する。従って、“compass”を“compress”に編集することの（図２０において図示される）コストは２である。
【０１１３】
上述された手順は、ユーザーにより記述された注釈のほとんどのアプリケーションにおいて良く機能する。ベクトル量子化と編集距離計算との組み合わされた使用は、まるでストリングとサブストリングがユーザーによって以前と同一の方法で書かれていないように、上記ストリングと上記サブストリングとのマッチングを見付けるそれの機能において非常に頑健であるシステムを生成する。好ましい本実施形態はここで図示されるが、幾つかの変形例は本発明の範囲から逸脱することなく可能である。例えば、もしより高速なマッチングが所望されれば、上記システムは、似た個数のデータ点を有するすべてのストロークを単に見付けることによって初期の“第１のパス”マッチングを実行してもよい。このことは、データ点の個数を特徴データの一部分として記憶し、次いで、予め決められたデータ点の計数値内ではないそれらのストロークを単に選択する又は除去することによって、実行されてもよい。単純な数値マッチングアルゴリズムが必要とされるすべてのものであるので、このタイプの第１のパスは非常に高速に実行されることが可能である。しかしながら、編集距離計算が可能になるので、データ点の計数に基づく第１のパス技術は、抽出されるべき複数のサブストリングをマッチングすることは可能ではない。隠れマルコフ技術が、編集距離計算によって決定されるｎ個の最適な条件上の最後のパスとして使用されるように、より高いマッチングのアキュラシーがより計算的にコストのかかるマッチング技術より所望される。高いアキュラシーを加えるが、計算的にコストのかかる最後の出力への処理ステージは、非常によく似た多数のストリングの間で決定する必要があるシステムにおいて使用されてもよい。
【０１１４】
前述の記載は本発明の例示的な実施形態を開示して説明する。当業者は、そのような記述又は添付の図面及び特許請求の範囲から、種々の変形例、変更例及びバリエーションが、特許請求の範囲において画成される本発明の精神及び範囲から逸脱することなく形成されることが可能であることを容易に認識するであろう。
【０１１５】
【発明の効果】
以上詳述したように本発明に係る請求項１記載の音声及び映像システムによれば、拡張された映像ユーザー環境を有する音声及び映像システムであって、上記音声及び映像システムは、
ユーザーの選択に従って予め決められた複数の音声及び映像コントロール機能を選択的に実行する音声及び映像コントロール装置を備え、上記音声及び映像コントロール装置は、映像データを表示する映像表示装置に接続するポートを含み、
ユーザーによる手書き命令の入力のためのディジタル書込み面を有するリモートコントロール装置を備え、上記リモートコントロール装置は上記音声及び映像コントロール装置と通信し、
上記手書き命令に従って上記映像表示装置の動作を制御する上記音声及び映像コントロール装置と上記リモートコントロール装置とのうちの少なくとも１つと通信するプロセッサを備え、
上記ユーザー自身の生成によるユーザーにより書かれた注釈に対応するインクデータの入力を受信する注釈生成手段を備え、上記注釈生成手段は、上記ユーザーにより書かれた注釈を、ユーザー識別又は制御機能に対応するデータと関連付けるタプルデータ構造を形成するようにさらに動作し、
上記プロセッサはユーザーの入力を記憶するメモリ手段に接続され、
上記ユーザーにより書かれた注釈は上記ディジタル書込み面上に書かれている。
従って、上記音声及び映像システムは、上記音声及び映像コントロール装置を備えるので複数の音声及び映像装置をより簡単に制御することが可能であり、上記リモートコントロール装置を備えるのでユーザーによる手書き命令を処理しかつ上記複数の音声及び映像装置をより容易に遠隔制御することが可能であり、上記プロセッサを有するので上記音声及び映像コントロール装置と上記リモートコントロール装置とのうちの少なくとも１つと通信して上記映像表示装置の動作をより簡単に制御することが可能である。また、上記音声及び映像システムにおける上記ユーザーの入力は上記ディジタル書込み面上に書かれた手書き注釈を備えるので、キーボード又はプッシュボタン等の入力装置によるユーザーによる入力だけでなく、ユーザーによってディジタル書込み面に記述された手書き入力をも記憶して後の処理に使用して後の処理をより簡単に行うことが可能である。
【０１１６】
また、請求項２記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記リモートコントロール装置はハンドヘルド型のプッシュボタンリモートコントロール構造を備え、上記ディジタル書込み面は上記ハンドヘルド型のプッシュボタンリモートコントロール構造に組み込まれる。
従って、上記音声及び映像システムにおける上記リモートコントロール装置は、ディジタル書き込み面が組み込まれたハンドヘルド型のプッシュボタンリモートコントロール構造を備えるので、プッシュボタンにより容易にリモートコントロール装置をより容易に制御可能でありかつハンドヘルド型により容易に手で持つことが可能である。
【０１１７】
さらに、請求項３記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記リモートコントロール装置は赤外線信号によって上記音声及び映像コントロール装置と通信する。
従って、上記音声及び映像システムにおける上記リモートコントロール装置は赤外線信号によって上記音声及び映像コントロール装置と通信するので、赤外線信号によって制御される複数の既存の又は新しい音声及び映像装置と通信してそれをより簡単に制御することが可能である。
【０１１８】
また、請求項４記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記リモートコントロール装置は上記音声及び映像コントロール装置と双方向に通信する。
従って、上記音声及び映像システムにおける上記リモートコントロール装置は上記音声及び映像コントロール装置と双方向に通信するので、上記リモートコントロール装置から上記音声及び映像コントロール装置を容易に制御するだけでなく、上記音声及び映像コントロール装置から上記リモートコントロール装置を容易に制御することが可能である。
【０１１９】
さらに、請求項５記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記リモートコントロール装置は音声命令の入力のためのマイクロフォンを含む。
従って、上記音声及び映像システムにおける上記リモートコントロール装置は、上記リモートコントロール装置は音声命令の入力のためのマイクロフォンを含むので、ユーザーは手書き命令だけではなく音声命令を入力してより簡単に制御することが可能である。
【０１２０】
また、請求項６記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記ディジタル書込み面はハンドヘルド型のペン型入力装置に応答する。
従って、上記音声及び映像システムにおける上記ディジタル書込み面はハンドヘルド型のペン型入力装置に応答するので、ユーザーはハンドヘルド型のペン型入力装置を用いてディジタル書込み面に書込み命令をより簡単に入力することが可能である。
【０１２１】
さらに、請求項７記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記ディジタル書込み面はユーザーの指先に応答する。
従って、上記音声及び映像システムにおける上記ディジタル書込み面はユーザーの指先に応答するので、ユーザーは自分の指を用いてディジタル書込み面に書込み命令をより簡単に入力することが可能である。
【０１２２】
また、請求項８記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記音声及び映像コントロール装置は、音声及び映像装置の少なくとも１つのコンポーネントに接続する少なくとも１つのコントロールポートを含み、上記音声及び映像コントロール装置は、制御信号を上記コントロールポートを介して上記音声及び映像装置のコンポーネントに出力するコントロールモジュールを含む。
従って、上記音声及び映像システムにおける上記音声及び映像コントロール装置は、音声及び映像装置の少なくとも１つのコンポーネントに接続する少なくとも１つのコントロールポートを含み、上記音声及び映像コントロール装置は、制御信号を上記コントロールポートを介して上記音声及び映像装置のコンポーネントに出力するコントロールモジュールを含むので、上記音声及び映像コントロール装置は複数の音声及び映像装置をより容易に制御することが可能である。
【０１２３】
さらに、請求項９記載の音声及び映像システムによれば、請求項８記載の音声及び映像システムにおいて、上記音声及び映像装置のコンポーネントは、テレビ、ビデオカセットレコーダ（ＶＣＲ）、オーディオテープレコーダ、オーディオディスクプレイヤ、ビデオディスクプレイヤ、オーディオ増幅器、サラウンドサウンドプロセッサ、映像信号プロセッサ、カメラ一体型ＶＴＲ、ビデオ電話、ケーブルテレビ信号選択器、衛星アンテナコントローラ、コンピュータ、ＣＤ−ＲＯＭプレイヤ、フォトＣＤプレイヤ、ビデオゲームプレイヤ、及び情報ネットワークアクセス装置から構成されるグループから選択されるコンポーネントである。
従って、上記音声及び映像システムにおける上記音声及び映像装置のコンポーネントは、以上のものから構成されるグループから選択されるコンポーネントであるので、上記音声及び映像システムは以上の音声及び映像装置のコンポーネントを制御することができる。
【０１２４】
また、請求項１０記載の音声及び映像システムは、請求項１記載の音声及び映像システムにおいて、上記プロセッサは、上記音声及び映像コントロール装置に設けられる。
従って、上記音声及び映像システムにおける上記プロセッサは上記音声及び映像コントロール装置に設けられるので、上記リモートコントロール装置は最小の処理能力を用いてユーザーによる手書き命令を上記音声及び映像コントロール装置に単に中継し、上記音声及び映像コントロール装置に設けられた上記プロセッサによって上記手書き命令は処理され、かつ上記音声及び映像コントロール装置の制御をも上記プロセッサによって集中して行うことが可能である。
【０１２５】
さらに、請求項１１記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記プロセッサは、上記音声及び映像コントロール装置に取り付けられる。
従って、上記音声及び映像システムにおける上記プロセッサは上記音声及び映像コントロール装置に取り付けられるので、上記リモートコントロール装置は最小の処理能力を用いてユーザーによる手書き命令を単に上記音声及び映像コントロール装置に中継し、実際には上記音声及び映像コントロール装置に取り付けられた上記プロセッサによって処理され、かつ上記音声及び映像コントロール装置の制御をも上記プロセッサによって集中して行うことが可能である。
【０１２６】
また、請求項１２記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記プロセッサは、上記リモートコントロール装置に設けられる。
従って、上記音声及び映像システムにおける上記プロセッサは上記リモートコントロール装置に設けられるので、上記音声及び映像コントロール装置の制御を上記リモートコントローラに設けられた上記プロセッサによって行われ、かつ上記リモートコントロール装置の制御をも上記プロセッサによって行われることが可能である。
【０１２７】
さらに、請求項１３記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記プロセッサは、上記音声及び映像コントロール装置に設けられる第１の部分と、上記リモートコントロール装置に設けられる第２の部分とを有する。
従って、上記音声及び映像システムにおける上記プロセッサは、上記音声及び映像コントロール装置に設けられる第１の部分と、上記リモートコントロール装置に設けられる第２の部分とを有するので、上記音声及び映像コントロール装置は上記プロセッサの第１の部分によってより簡単に制御され、上記リモートコントロール装置は上記プロセッサの第２の部分によってより簡単に制御されることが可能である。
【０１２８】
また、請求項１４記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記音声及び映像コントロール装置は、ユーザーにより選択されたチャンネルをチューニングしかつ映像信号を上記映像表示装置に提供する、一体化されたテレビチューナを含み、上記ユーザーにより選択されたチャンネルは番組情報を運び、上記映像信号は上記番組情報を表示する。
従って、上記音声及び映像システムにおける上記音声及び映像コントロール装置は、ユーザーにより選択されたチャンネルをチューニングしかつ映像信号を上記映像表示装置に提供する、一体化されたテレビチューナを含むので、上記音声及び映像システムは、ユーザーにより選択されたチャンネルをチューニングして上記チャンネルの番組を上記映像表示装置により簡単に表示することが可能である。
【０１２９】
さらに、請求項１５記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記映像表示装置はテレビであり、上記音声及び映像コントロール装置はＮＴＳＣ映像信号を上記ポートを介して出力する。
従って、上記音声及び映像システムにおける上記映像表示装置はテレビであり、上記音声及び映像コントロール装置はＮＴＳＣ映像信号を上記ポートを介して出力するので、上記音声及び映像システムは、既存のテレビを使用してユーザーにより簡便な映像ユーザー環境を提供することが可能である。
【０１３０】
また、請求項１６記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記音声及び映像コントロール装置は、ある１つの音声及び映像装置のコンポーネントに備えられる。
従って、上記音声及び映像システムにおける上記音声及び映像コントロール装置は、ある１つの音声及び映像装置のコンポーネントに備えられるので、上記音声及び映像システムから独立して上記ある１つの音声及び映像装置のコンポーネントに備えることが可能である。
【０１３１】
さらに、請求項１７記載の音声及び映像システムによれば、請求項１６記載の音声及び映像システムにおいて、上記音声及び映像装置のコンポーネントは、テレビ、ビデオカセットレコーダ（ＶＣＲ）、オーディオテープレコーダ、オーディオディスクプレイヤ、ビデオディスクプレイヤ、オーディオ増幅器、サラウンドサウンドプロセッサ、映像信号プロセッサ、カメラ一体型ＶＴＲ、ビデオ電話、ケーブルテレビ信号選択器、サテライトアンテナコントローラ、コンピュータ、ＣＤ−ＲＯＭプレイヤ、フォトＣＤプレイヤ、ビデオゲームプレイヤ、及び情報ネットワークアクセス装置から構成されるグループから選択されるコンポーネントである。
従って、上記音声及び映像システムにおける上記音声及び映像装置のコンポーネントは、以上のものから構成されるグループから選択されるコンポーネントであるので、上記音声及び映像システムから独立して上記選択された音声及び映像装置のコンポーネントに備えることが可能である。
【０１３２】
また、請求項１８記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記プロセッサは音声認識器モジュールを含む。
従って、上記音声及び映像システムにおける上記プロセッサは音声認識器モジュールを含むので、上記音声及び映像システムは、ユーザーにより入力される音声命令をより容易に処理することが可能である。
【０１３３】
さらに、請求項１９記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記プロセッサは、ユーザーが選択可能な複数のシステムコントロールオプションの少なくとも１つのメニューを生成し、上記音声及び映像コントロール装置は、１つの信号を上記ポートを介して出力し、上記ポートに接続された上記映像表示装置上に上記メニューを表示する。
従って、上記音声及び映像システムにおける上記プロセッサは、ユーザーが選択可能な複数のシステムコントロールオプションの少なくとも１つのメニューを生成し、上記音声及び映像コントロール装置は、１つの信号を上記ポートを介して出力し、上記ポートに接続された上記映像表示装置上に上記メニューを表示するので、ユーザーは上記メニューを見て、容易に複数のシステムコントロールオプションをより簡単に選択することが可能である。
【０１３４】
また、請求項２０記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記音声及び映像システムはオンデマンド映像インターフェースを含み、上記手書き注釈は、上記映像表示装置上に表示する予め記録された娯楽番組を再現するために使用される。
従って、上記音声及び映像システムはオンデマンド映像インターフェースを含み、上記手書き注釈は、上記映像表示装置上に表示する予め記録された娯楽番組を再現するために使用されるので、上記音声及び映像システムはユーザーの要求によって映像インターフェースを制御し、上記記憶された手書き注釈によって予め記憶された娯楽番組を上記映像表示装置により簡単に表示することが可能である。
【０１３５】
さらに、請求項２１記載の音声及び映像システムによれば、請求項１記載の音声及び映像システムにおいて、上記手書き注釈は後の処理のために公知のコンピュータのキャラクタセットに翻訳される。
従って、上記音声及び映像システムにおける上記手書き注釈は、後の処理のために公知のコンピュータのキャラクタセットに翻訳されるので、後の処理が容易に実行されることが可能になる。
【０１３６】
また、請求項２２記載の音声及び映像システムによれば、音声及び映像システムは拡張された映像ユーザー環境を有し、上記音声及び映像システムは、
ユーザーの選択に従って予め決められた複数の音声及び映像コントロール機能を選択的に実行する音声及び映像コントロール装置を備え、上記音声及び映像コントロール装置は、映像データを表示する映像表示装置に接続するポートを含み、
上記音声及び映像コントロール装置と通信するリモートコントロール装置を備え、上記リモートコントロール装置は、ユーザーによる手書き命令を入力しかつ上記ユーザーに情報を表示するディジタル書込み表示面を有し、
上記音声及び映像コントロール装置に配置された第１の部分と上記リモートコントロール装置に配置された第２の部分とを有するマルチプロセッサシステムを備え、上記マルチプロセッサシステムは、上記手書き命令に従って上記映像表示装置の動作を制御する、上記音声及び映像コントロール装置と上記リモートコントロール装置との間を通信し、
上記ユーザー自身の生成によるユーザーにより書かれた注釈に対応するインクデータの入力を受信する注釈生成手段を備え、上記注釈生成手段は、上記ユーザーにより書かれた注釈を、ユーザー識別又は制御機能に対応するデータと関連付けるタプルデータ構造を形成するようにさらに動作し、
上記プロセッサはユーザーの入力を記憶するメモリ手段に接続され、
上記ユーザーにより書かれた注釈は上記ディジタル書込み面上に書かれている。
従って、上記音声及び映像システムは、音声及び映像コントロール装置を備えるので複数の音声及び映像装置をより簡単に制御することが可能であり、上記リモートコントロール装置を備えるので、ユーザーによる手書き命令を処理して、上記ディジタル書込み表示面によってユーザーが容易に上記リモートコントロール装置を使用することを可能にし、かつ上記音声及び映像コントロール装置をより容易に遠隔制御することが可能であり、上記マルチプロセッサシステムを備えるので、上記音声及び映像コントロール装置は上記プロセッサの第１の部分によってより簡単に制御され、上記リモートコントロール装置は上記プロセッサの第２の部分によってより簡単に制御されることが可能であり、上記音声及び映像コントロール装置と上記リモートコントロール装置との少なくとも１つと通信して上記映像表示装置の動作をより容易に制御することが可能である。また、上記音声及び映像システムにおける上記ユーザーの入力は上記ディジタル書込み面上に書かれた手書き注釈を備えるので、キーボード又はプッシュボタン等の入力装置によるユーザーによる入力だけでなく、ユーザーによってディジタル書込み面に記述された手書き入力をも記憶して後の処理に使用して後の処理をより簡単に行うことが可能である。
【０１３７】
さらに、請求項２３記載の音声及び映像システムによれば、請求項２２記載の音声及び映像システムにおいて、上記マルチプロセッサシステムのうちの少なくとも１つのプロセッサは、ユーザーが選択可能な複数のシステムコントロール動作の少なくとも１つのメニューを生成し、上記音声及び映像コントロール装置は、上記ポートを介する信号を生成し、上記ポートに接続された上記映像表示装置上に上記メニューを表示する。
従って、上記音声及び映像システムにおける上記マルチプロセッサシステムのうちの少なくとも１つのプロセッサは、ユーザーが選択可能な複数のシステムコントロール動作の少なくとも１つのメニューを生成し、上記音声及び映像コントロール装置は、上記ポートを介する信号を生成し、上記ポートに接続された上記映像表示装置上に上記メニューを表示するので、ユーザーは上記メニューを見て、より容易に複数のシステムコントロールオプションを選択することが可能である。
【０１３８】
また、請求項２４記載の音声及び映像システムによれば、請求項２２記載の音声及び映像システムにおいて、上記リモートコントロール装置は、ハンドヘルド型のプッシュボタンリモートコントロール構造を備え、上記ディジタル書込み面は上記ハンドヘルド型のプッシュボタンリモートコントローラ構造に備えられる。
従って、上記音声及び映像システムにおける上記リモートコントロール装置は、ハンドヘルド型のプッシュボタンリモートコントロール構造を備え、上記ディジタル書込み面は上記ハンドヘルド型のプッシュボタンリモートコントローラ構造に備えられるので、プッシュボタンにより容易にリモートコントロール装置を制御可能でありかつハンドヘルド型により容易に手で持つことが可能である。
【０１３９】
さらに、請求項２５記載の音声及び映像システムによれば、請求項２２記載の音声及び映像システムにおいて、上記リモートコントロール装置は、赤外線信号によって上記音声及び映像コントロール装置と通信する。
従って、上記音声及び映像システムにおける上記リモートコントロール装置は、赤外線信号によって上記音声及び映像コントロール装置と通信するので、赤外線信号によって制御される複数の既存の又は新しい音声及び映像装置と通信してそれをより容易に制御することが可能である。
【０１４０】
また、請求項２６記載の音声及び映像システムによれば、請求項２２記載の音声及び映像システムにおいて、上記リモートコントロール装置は、上記音声及び映像コントロール装置と双方向に通信する。
従って、上記音声及び映像システムにおける上記リモートコントロール装置は、上記音声及び映像コントロール装置と双方向に通信するので、上記リモートコントロール装置から上記音声及び映像コントロール装置をより簡単に制御するだけでなく、上記音声及び映像コントロール装置から上記リモートコントロール装置をより簡単に制御することが可能である。
【０１４１】
さらに、請求項２７記載の音声及び映像システムによれば、請求項２２記載の音声及び映像システムにおいて、上記リモートコントロール装置は、音声命令の入力のためのマイクロフォンを含む。
従って、上記音声及び映像システムにおける上記リモートコントロール装置は、音声命令の入力のためのマイクロフォンを含むので、ユーザーは手書き命令だけではなく音声命令を入力してより簡単に制御することが可能である。
【０１４２】
また、請求項２８記載の音声及び映像システムによれば、請求項２２記載の音声及び映像システムにおいて、上記ディジタル書込み面はハンドヘルド型のペン型入力装置に応答する。
従って、上記音声及び映像システムにおける上記ディジタル書込み面はハンドヘルド型のペン型入力装置に応答するので、ユーザーはハンドヘルド型のステイラスを用いてよりディジタル書込み面に書込み命令をより簡単に入力することが可能である。
【０１４３】
さらに、請求項２９記載の音声及び映像システムによれば、請求項２２記載の音声及び映像システムにおいて、上記ディジタル書込み面はユーザーの指先に応答する。
従って、上記音声及び映像システムにおける上記ディジタル書込み面はユーザーの指先に応答するので、ユーザーは自分の指を用いてディジタル書込み面に書込み命令をより簡単に入力することが可能である。
【図面の簡単な説明】
【図１】 音声及び映像コントロール装置が簡単なテレビセットとの使用に対して適切なセットトップボックスとして１つの装置として一体化された本発明に係る第１の実施形態の斜視図である。
【図２】 音声及び映像コントロール装置が家庭用娯楽システムの一部分として１つの装置として一体化された本発明に係るもう１つの実施形態の正面図である。
【図３】 本発明に係る実施形態におけるディジタル書込み面を有する例示的なリモートコントローラの拡大した斜視図である。
【図４】 本発明の実施形態がどのようにこの装置と接続されるかを図示した、音声及び映像装置の他のコンポーネントの幾つかの例と共に本発明の実施形態のコンポーネントを図示したシステムブロック図である。
【図５】 本発明に係る実施形態における音声及び映像コントロール装置とリモートコントローラのハードウェアのコンポーネントを示したブロック図である。
【図６】 本発明に係る好ましい実施形態のソフトウェアのブロック図である。
【図７】 本発明に係る好ましい実施形態のユーザーインターフェースのコマンドバーを示すスクリーンのスナップショットを表す正面図である。
【図８】 本発明に係る好ましい実施形態のユーザーインターフェースの署名パネルを示す正面図である。
【図９】 本発明に係る好ましい実施形態のユーザーインターフェースの署名パネルにおけるインク検索の一例を示す正面図である。
【図１０】 本発明に係る実施形態のコマンドバー上のＴＶボタンを選択することによって、ユーザーインターフェースを介して操作するために利用できる標準的なテレビ制御を示す正面図である。
【図１１】 本発明に係る実施形態において近似インクマッチングを用いたＴＶチャンネル検索の一例を図示する正面図である。
【図１２】 本発明に係る実施形態においてユーザーインターフェースを介して表されるＴＶ番組スケジュールを示す正面図である。
【図１３】 本発明に係る実施形態においてユーザーインターフェースを介して操作によって、あるカテゴリだけを表示するように制限された同様のＴＶ番組スケジュールを示す正面図である。
【図１４】 本発明に係る実施形態におけるコマンドバー上のＶＣＲボタンを選択することによって生成されるＶＣＲ制御機能表示を示す正面図である。
【図１５】 本発明に係る実施形態におけるビデオゲームクイックアクセスインターフェースの一例を示す正面図である。
【図１６】 本発明に係る実施形態におけるホームショッピングアクセスインターフェースの一例を示す正面図である。
【図１７】 本発明に係る実施形態におけるインクメール（Ｉ−メール）ユーザーインターフェースの一例を示す正面図である。
【図１８】 本発明に係る実施形態における認識システムの一部分を形成するインクデータの機械語翻訳を説明するフローチャートである。
【図１９】 本発明に係る実施形態において、システムがユーザーが記述した入力又は注釈に対する検索において実行する複数のステップを図示する入力関係図である。
【図２０】 本発明に係る好ましい実施形態によって用いられる基本的な編集距離技術を図示する機能図である。
【図２１】 本発明に係る好ましい実施形態によって用いられる近似マッチングが、どのように編集距離技術を用いて実行されるかを図示するもう１つの機能図である。
【符号の説明】
２０…音声及び映像コントロールユニット、
２２…テレビ、
２４…リモートコントローラ、
２６…ディジタル書込み面、
２８…ペン、
３０…赤外線のリンク、
３２…コマンドバー、
３４…ユーザー双方向パネル、
３６…プロジェクションテレビ、
３８…サラウンドサウンドスピーカ、
４０…サブウーハ、
４２…多機能チューナ及びアンプ、
４４…ディジタルオーディオテーププレイヤ、
４６…ＶＣＲ、
４８…レーザーディスクプレイヤ、
５０…カメラ一体型ＶＴＲ、
５２…パーソナルコンピュータ、
５４…ハンドヘルドケース、
５６…数値キーパッド、
５８…動きコントロールボタン、
６０…ジョグシャトルホイール、
６２…ポート、
６４…映像表示装置、
６６…他の媒体装置、
６８…ケーブル、
７０…赤外線トランスポンダ、
７２ａ，７２ｂ…プロセッサ、
７４…ランダムアクセスメモリ、
７６…メモリ、
７８…赤外線インターフェース、
７９…プッシュボタンキーパッド、
８０…タブレットインターフェース、
８２…タブレット、
８６…ＲＡＭ、
８８…ＲＯＭ、
９０…赤外線インターフェース、
９２…映像インターフェース、
１００…ソフトウェアのコンポーネント、
１０２…ユーザー、
１０４…ハードウェア、
１０６…複数の機能、
１０８…ハードウェア抽出層、
１１０…マイクロカーネル層、
１１２…ドライバとライブラリ層、
１１４…ユーザーインターフェース、
１１６…複数のアプリケーション、
１２０…ユーザーリスト、
１２２…テキストストリング、
１２４…インク領域、
１２６…検索ボタン、
１２８…検索ダイアログボックス、
１３０…インク領域、
１３２…発見ボタン、
１３４…キーボードアイコン、
１３６…ＴＶボタン、
１３８…テレビコントロールパネル、
１４０…数値キーパッド、
１４２…上下ボタン、
１４４…チャンネルリストボタン、
１４６…スケジュールボタン、
１４８…進行中の番組、
１５０…オールクリアボタン、
１５２…カテゴリパケット、
１５４…ＶＣＲコントロールパネル、
１５６…ＶＣＲボタン、
１５８…プログラムボタン、
１６０…ライブラリボタン、
１６２…ゲームボタン、
１６４…ショッピングボタン、
１６６…Ｉ−メールボタン、
１６８…クロックボタン、
２００…着信インクデータ、
２０２…ストロークにセグメント分割するブロック、
２０４…特徴ベクトルの抽出するブロック、
２０６…ストロークタイプの分類するブロック、
２１０…コードブック、
２１２…タイプ２のストローククラスタ、
２１４…重心、
２１６…ストロークタイプのストリングを出力するブロック、
２１８…一連のペンストロークを集合的に表す１組の特徴ベクトル、
３００…ユーザーが記述した質問、
３０２…インク点データ、
３０４…セグメント分割プロセス、
３０６…セグメント分割されたデータ、
３０８…抽出機能、
３１０…特徴ベクトル、
３１２…ベクトル量子化プロセス、
３１４…ストロークタイプ、
３１８…編集距離解析プロセス、
３２０…文書データベース、
３２１…記憶された注釈のストロークタイプのストリング、
４２２…コスト１、
４２４…コスト２、
４２６…コスト２、
４３０…マッチングされる領域。

Claims (33)

1. 拡張された映像ユーザー環境を有する音声及び映像システムであって、上記音声及び映像システムは、
   映像データを表示する映像表示装置に接続するポートを含み、ユーザーの選択に従って予め決められた複数の音声及び映像コントロール機能を選択的に実行する音声及び映像コントロール装置と、
   ユーザーによる手書き命令の入力のためのディジタル書込み面を有し、上記音声及び映像コントロール装置と通信するリモートコントロール装置と、
   上記音声及び映像コントロール装置と上記リモートコントロール装置とのうちの少なくとも１つと通信し、上記手書き命令に従って上記映像表示装置の動作を制御するプロセッサと、
   メモリ手段に接続され、上記ユーザー自身の生成による注釈であって上記ディジタル書込み面上にユーザーにより書かれた注釈に対応するインクデータの入力を受信し、上記ユーザーにより書かれた注釈を、ユーザー識別又は制御機能に対応するデータと関連付けるタプルデータ構造を有するデータを上記メモリ手段に記憶する注釈生成手段とを備え、
   上記プロセッサは、上記手書き命令と上記ユーザーにより書かれた注釈との間の不一致を評価する編集距離解析を実行することによって、上記ディジタル書込み面から入力された手書き命令と、上記タプルデータ構造を有するデータとして記憶されたユーザーにより書かれた注釈とを比較することを特徴とする音声及び映像システム。
2. 上記リモートコントロール装置はハンドヘルド型のプッシュボタンリモートコントロール構造を備え、上記ディジタル書込み面は上記ハンドヘルド型のプッシュボタンリモートコントロール構造に組み込まれることを特徴とする請求項１記載の音声及び映像システム。
3. 上記リモートコントロール装置は、赤外線信号によって上記音声及び映像コントロール装置と通信することを特徴とする請求項１記載の音声及び映像システム。
4. 上記リモートコントロール装置は上記音声及び映像コントロール装置と双方向に通信することを特徴とする請求項１記載の音声及び映像システム。
5. 上記リモートコントロール装置は音声命令の入力のためのマイクロフォンを含むことを特徴とする請求項１記載の音声及び映像システム。
6. 上記ディジタル書込み面はハンドヘルド型のペン型入力装置に応答することを特徴とする請求項１記載の音声及び映像システム。
7. 上記ディジタル書込み面はユーザーの指先に応答することを特徴とする請求項１記載の音声及び映像システム。
8. 上記音声及び映像コントロール装置は、音声及び映像装置の少なくとも１つのコンポーネントに接続する少なくとも１つのコントロールポートを含み、上記音声及び映像コントロール装置は、制御信号を上記コントロールポートを介して上記音声及び映像装置のコンポーネントに出力することを特徴とする請求項１記載の音声及び映像システム。
9. 上記音声及び映像装置のコンポーネントは、テレビ、ビデオカセットレコーダ（ＶＣＲ）、オーディオテープレコーダ、オーディオディスクプレイヤ、ビデオディスクプレイヤ、オーディオ増幅器、サラウンドサウンドプロセッサ、映像信号プロセッサ、カメラ一体型ＶＴＲ、ビデオ電話、ケーブルテレビ信号選択器、衛星アンテナコントローラ、コンピュータ、ＣＤ−ＲＯＭプレイヤ、フォトＣＤプレイヤ、ビデオゲームプレイヤ、及び情報ネットワークアクセス装置から構成されるグループから選択されるコンポーネントであることを特徴とする請求項８記載の音声及び映像システム。
10. 上記プロセッサは、上記音声及び映像コトロール装置に設けられたことを特徴とする請求項１記載の音声及び映像システム。
11. 上記プロセッサは、上記音声及び映像コントロール装置に取り付けられることを特徴とする請求項１記載の音声及び映像システム。
12. 上記プロセッサは、上記リモートコントロール装置に設けられたことを特徴とする請求項１記載の音声及び映像システム。
13. 上記プロセッサは、上記音声及び映像コントロール装置に設けられた第１の部分と、上記リモートコントロール装置に設けられた第２の部分とを有することを特徴とする請求項１記載の音声及び映像システム。
14. 上記音声及び映像コントロール装置は、ユーザーにより選択されたチャンネルをチューニングしかつ映像信号を上記映像表示装置に提供する、一体化されたテレビチューナを含み、上記ユーザーにより選択されたチャンネルは番組情報を運び、上記映像信号は上記番組情報を表示することを特徴とする請求項１記載の音声及び映像システム。
15. 上記映像表示装置はテレビであり、上記音声及び映像コントロール装置はＮＴＳＣ映像信号を上記ポートを介して出力することを特徴とする請求項１記載の音声及び映像システム。
16. 上記音声及び映像コントロール装置は、ある１つの音声及び映像装置のコンポーネントに備えられることを特徴とする請求項１記載の音声及び映像システム。
17. 上記音声及び映像装置のコンポーネントは、テレビ、ビデオカセットレコーダ（ＶＣＲ）、オーディオテープレコーダ、オーディオディスクプレイヤ、ビデオディスクプレイヤ、オーディオ増幅器、サラウンドサウンドプロセッサ、映像信号プロセッサ、カメラ一体型ＶＴＲ、ビデオ電話、ケーブルテレビ信号選択器、サテライトアンテナコントローラ、コンピュータ、ＣＤ−ＲＯＭプレイヤ、フォトＣＤプレイヤ、ビデオゲームプレイヤ、及び情報ネットワークアクセス装置から構成されるグループから選択されるコンポーネントであることを特徴とする請求項１６記載の音声及び映像システム。
18. 上記プロセッサは音声認識器モジュールを含むことを特徴とする請求項１記載の音声及び映像システム。
19. 上記プロセッサは、ユーザーが選択可能な複数のシステムコントロールオプションの少なくとも１つのメニューを生成し、上記音声及び映像コントロール装置は、１つの信号を上記ポートを介して出力し、上記ポートに接続された上記映像表示装置上に上記メニューを表示することを特徴とする請求項１記載の音声及び映像システム。
20. 上記音声及び映像システムはオンデマンド映像インターフェースを含み、上記手書き注釈は、上記映像表示装置上に表示する予め記録された娯楽番組を再現するために使用されることを特徴とする請求項１記載の音声及び映像システム。
21. 上記手書き注釈は、後の処理のために公知のコンピュータのキャラクタセットに翻訳されることを特徴とする請求項１記載の音声及び映像システム。
22. 音声及び映像システムは拡張された映像ユーザー環境を有し、上記音声及び映像システムは、
    映像データを表示する映像表示装置に接続するポートを含み、ユーザーの選択に従って予め決められた複数の音声及び映像コントロール機能を選択的に実行する音声及び映像コントロール装置と、
    ユーザーによる手書き命令を入力しかつ上記ユーザーに情報を表示するディジタル書込み表示面を有し、上記音声及び映像コントロール装置と通信するリモートコントロール装置と、
    上記音声及び映像コントロール装置に配置された第１の部分と上記リモートコントロール装置に配置された第２の部分とを有するマルチプロセッサシステムとを備え、上記マルチプロセッサシステムは、上記音声及び映像コントロール装置と上記リモートコントロール装置との間で通信して、上記手書き命令に従って上記映像表示装置の動作を制御し、
    メモリ手段に接続され、上記ユーザー自身の生成による注釈であって上記ディジタル書込み面上にユーザーにより書かれた注釈に対応するインクデータの入力を受信し、上記ユーザーにより書かれた注釈を、ユーザー識別又は制御機能に対応するデータと関連付けるタプルデータ構造を有するデータを上記メモリ手段に記憶する注釈生成手段を備え、
    上記マルチプロセッサシステムのうちの少なくとも１つのプロセッサは、上記手書き命令と上記ユーザーにより書かれた注釈との間の不一致を評価する編集距離解析を実行することによって、上記ディジタル書込み面から入力された手書き命令と、上記タプルデータ構造を有するデータとして記憶されたユーザーにより書かれた注釈とを比較することを特徴とする音声及び映像システム。
23. 上記マルチプロセッサシステムのうちの少なくとも１つのプロセッサは、ユーザーが選択可能な複数のシステムコントロール動作の少なくとも１つのメニューを生成し、上記音声及び映像コントロール装置は、上記ポートを介する信号を生成し、上記ポートに接続された上記映像表示装置上に上記メニューを表示することを特徴とする請求項２２記載の音声及び映像システム。
24. 上記リモートコントロール装置は、ハンドヘルド型のプッシュボタンリモートコントロール構造を備え、上記ディジタル書込み面は上記ハンドヘルド型のプッシュボタンリモートコントローラ構造に備えられることを特徴とする請求項２２記載の音声及び映像システム。
25. 上記リモートコントロール装置は、赤外線信号によって上記音声及び映像コントロール装置と通信することを特徴とする請求項２２記載の音声及び映像システム。
26. 上記リモートコントロール装置は、上記音声及び映像コントロール装置と双方向に通信することを特徴とする請求項２２記載の音声及び映像システム。
27. 上記リモートコントロール装置は、音声命令の入力のためのマイクロフォンを含むことを特徴とする請求項２２記載の音声及び映像システム。
28. 上記ディジタル書込み面はハンドヘルド型のペン型入力装置に応答することを特徴とする請求項２２記載の音声及び映像システム。
29. 上記ディジタル書込み面はユーザーの指先に応答することを特徴とする請求項２２記載の音声及び映像システム。
30. 上記編集距離解析は、上記手書き命令と上記記憶されたユーザーにより書かれた注釈との間の不一致を評価するためのコスト値を生成することを特徴とする請求項１記載の音声及び映像システム。
31. 上記編集距離解析は、複数個生成された上記コストに従って複数の比較結果をランク付けすることを特徴とする請求項３０記載の音声及び映像システム。
32. 上記音声及び映像コントロール装置は、上記複数の比較結果をランク付けすることに基づいた、上記手書き命令と上記記憶されたユーザーにより書かれた注釈との間の複数ｎ個の最良のマッチングを備えるソートされたリストを表示し、
    上記複数ｎ個の最良のマッチングから１つのマッチングがユーザーにより選択されることを特徴とする請求項３１記載の音声及び映像システム。
33. 上記音声及び映像コントロール装置は、上記複数個生成されたコストに従って複数の比較結果をランク付けすることに基づいて、上記手書き命令と上記記憶されたユーザーにより書かれた注釈との間の１つのマッチングを表示することを特徴とする請求項３１記載の音声及び映像システム。

Images