JP5491955B2 - ネットワークシステム、シナリオ記述ファイル管理装置制御プログラム及びユーザ指示認識装置制御プログラム - Google Patents
ネットワークシステム、シナリオ記述ファイル管理装置制御プログラム及びユーザ指示認識装置制御プログラム Download PDFInfo
- Publication number
- JP5491955B2 JP5491955B2 JP2010110090A JP2010110090A JP5491955B2 JP 5491955 B2 JP5491955 B2 JP 5491955B2 JP 2010110090 A JP2010110090 A JP 2010110090A JP 2010110090 A JP2010110090 A JP 2010110090A JP 5491955 B2 JP5491955 B2 JP 5491955B2
- Authority
- JP
- Japan
- Prior art keywords
- description file
- scenario
- recognition
- scenario description
- user instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本発明は、映像、音声などのコンテンツを提示する装置が接続されたネットワークシステムに係り、特にヒューマンインターフェースの技術に関する。
近年、ユーザのジェスチャー認識や音声認識などの認識処理結果を基に映像、音声などのコンテンツを操作する方法が提案されている（例えば、特許文献１参照）。このように構成したユーザインターフェースは、通常、単一の情報機器とのやりとりを目的に設計されており、認識処理結果を利用することによって、リモコンに依存しない直感的なユーザインターフェースが実現でき、操作も直感的でわかりやすくなる。
また、ホームネットワークに接続された複数の情報機器間でユーザには複雑な操作をさせずに、シームレスに映像を連続視聴できるように構成された技術が提案されている。これは、情報機器の再生の状態まで含めたデータ構造を統一化してホームネットワーク上で共有化することにより実現している（特許文献２参照）。
しかし、特許文献１に開示された技術では、単一の情報機器とのやりとりを目的に設計されており、今後、家庭環境で増えてくる複数の情報機器との連携的な操作が実現できるように設計されてはいない。
また、特許文献２に開示された技術では、ヒューマンインターフェースを利用してネットワークに接続された情報機器を動作させているが、このような動作は設置されたネットワークシステムにおいて固定的である。すなわち、ネットワーク設置後に情報機器の動作の変更あるいは動作対象の情報機器の変更をユーザが望む場合に対応することは困難であるという問題がある。
また、特許文献２に開示された技術では、ヒューマンインターフェースを利用してネットワークに接続された情報機器を動作させているが、このような動作は設置されたネットワークシステムにおいて固定的である。すなわち、ネットワーク設置後に情報機器の動作の変更あるいは動作対象の情報機器の変更をユーザが望む場合に対応することは困難であるという問題がある。
本発明は、以上のような問題点に鑑みてなされたものであり、ユーザの動作等により情報機器を連携させ、また、ユーザごとの異なる環境下でも対応が容易となるネットワークシステム、シナリオ記述ファイル管理装置制御プログラム及びユーザ指示認識装置制御プログラムを提供することを課題とする。
本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載のネットワークシステムは、情報機器が接続されたネットワークを構成するネットワークシステムであって、ネットワークに接続された少なくとも１つ以上の情報機器と、シナリオ記述ファイル管理装置と、ユーザ指示認識装置と、を備え、シナリオ記述ファイル管理装置が、シナリオ記述ファイル記憶手段と、シナリオ供給手段と、を備え、情報機器が、シナリオ記憶手段と、受信手段と、判定手段と、シナリオ実行手段と、を備え、ユーザ指示認識装置が、認識識別コード記憶手段と、探索手段と、送信手段と、を備える構成とした。
かかる構成において、ネットワークシステムは、シナリオ記述ファイル管理装置によって、ネットワークに接続された少なくとも１つ以上の予め定められた情報機器の動作を制御するために予め定められた手順を記述したシナリオ記述ファイルを管理する。
そして、ネットワークシステムは、ユーザ指示認識装置によって、ユーザの指示に基づいて、ユーザの指示に対応する認識識別コードをネットワークに接続されたすべての情報機器に送信する。
また、ネットワークシステムは、シナリオ記述ファイル管理装置において、シナリオ記述ファイル記憶手段によって、シナリオ記述ファイルを記憶する。
そして、シナリオ供給手段によって、シナリオ記述ファイルのうち予め定められた情報機器に係る部分である情報機器用シナリオ記述ファイルを当該情報機器に送信するとともに、情報機器用シナリオ記述ファイルに記述された認識識別コードをユーザ指示認識装置に送信する。これによって、シナリオ記述ファイルに記述された内容が各情報機器、ユーザ指示認識装置及びシナリオ記述ファイル管理装置に分配され、認識識別コードを共有する。
また、ネットワークシステムは、情報機器において、シナリオ記述ファイル管理装置から送信された情報機器用シナリオ記述ファイルをシナリオ記憶手段に記憶する。
また、受信手段によって、ユーザ指示認識装置が送信した認識識別コードを受信する。
そして、判定手段によって、受信手段が受信した認識識別コードが、シナリオ記憶手段に記憶された情報機器用シナリオ記述ファイルに記述された認識識別コードと一致するか否かを判定する。
また、シナリオ実行手段によって、判定手段による判定結果に基づいて、前記シナリオ記憶手段に記憶された情報機器用シナリオ記述ファイルを実行する。
また、ネットワークシステムは、ユーザ指示認識装置において、シナリオ記述ファイル管理装置から送信された認識識別コードとユーザの指示とを対応させて認識識別コード記憶手段に記憶する。
そして、探索手段によって、ユーザの指示に基づいてユーザの指示に対応した認識識別コードを認識識別コード記憶手段から探索する。
そして、送信手段によって、探索手段により探索された認識識別コードを前記予め定められた情報機器に届くように送信する。
そして、ネットワークシステムは、ユーザ指示認識装置によって、ユーザの指示に基づいて、ユーザの指示に対応する認識識別コードをネットワークに接続されたすべての情報機器に送信する。
また、ネットワークシステムは、シナリオ記述ファイル管理装置において、シナリオ記述ファイル記憶手段によって、シナリオ記述ファイルを記憶する。
そして、シナリオ供給手段によって、シナリオ記述ファイルのうち予め定められた情報機器に係る部分である情報機器用シナリオ記述ファイルを当該情報機器に送信するとともに、情報機器用シナリオ記述ファイルに記述された認識識別コードをユーザ指示認識装置に送信する。これによって、シナリオ記述ファイルに記述された内容が各情報機器、ユーザ指示認識装置及びシナリオ記述ファイル管理装置に分配され、認識識別コードを共有する。
また、ネットワークシステムは、情報機器において、シナリオ記述ファイル管理装置から送信された情報機器用シナリオ記述ファイルをシナリオ記憶手段に記憶する。
また、受信手段によって、ユーザ指示認識装置が送信した認識識別コードを受信する。
そして、判定手段によって、受信手段が受信した認識識別コードが、シナリオ記憶手段に記憶された情報機器用シナリオ記述ファイルに記述された認識識別コードと一致するか否かを判定する。
また、シナリオ実行手段によって、判定手段による判定結果に基づいて、前記シナリオ記憶手段に記憶された情報機器用シナリオ記述ファイルを実行する。
また、ネットワークシステムは、ユーザ指示認識装置において、シナリオ記述ファイル管理装置から送信された認識識別コードとユーザの指示とを対応させて認識識別コード記憶手段に記憶する。
そして、探索手段によって、ユーザの指示に基づいてユーザの指示に対応した認識識別コードを認識識別コード記憶手段から探索する。
そして、送信手段によって、探索手段により探索された認識識別コードを前記予め定められた情報機器に届くように送信する。
また、ネットワークシステムは、シナリオ供給手段が、認識識別コードの他に認識識別メタデータを送信し、ユーザ指示認識装置が、ユーザ指示解析手段をさらに備える。
これによって、ネットワークシステムは、シナリオ供給手段において、情報機器用シナリオ記述ファイルに記述された認識識別コードの他に、情報機器用シナリオ記述ファイルに記述された情報機器用シナリオコードを実行するための変数を記述した認識識別メタデータを、ユーザ指示認識装置に送信する。
また、ネットワークシステムは、ユーザ指示解析手段によって、認識識別メタデータに対応する値を生成し、前記値を認識識別メタデータに代入する。これによって、情報機器の種々の動作が可能になる。
また、ネットワークシステムは、ユーザ指示解析手段によって、認識識別メタデータに対応する値を生成し、前記値を認識識別メタデータに代入する。これによって、情報機器の種々の動作が可能になる。
また、請求項２に記載のネットワークシステムは、請求項１に記載のネットワークシステムにおいて、シナリオ記述ファイル管理装置が、更新手段を備える構成とした。
かかる構成において、ネットワークシステムは、シナリオ記述ファイル管理装置において、更新手段によって、シナリオ記述ファイル記憶手段に記憶されたシナリオ記述ファイルを追加、変更または削除する。これによって、ネットワーク設置後に情報機器の動作の変更あるいは動作対象の情報機器の変更が可能となる。
また、請求項３に記載のシナリオ記述ファイル管理装置制御プログラムは、ネットワークに接続された少なくとも１つ以上の予め定められた情報機器の動作を制御するために予め定められた手順を記述したシナリオ記述ファイルを管理するシナリオ記述ファイル管理装置と、ユーザの指示に対応する認識識別コードをネットワークに接続されたすべての情報機器に送信するユーザ指示認識装置と、をネットワークに接続して備えたネットワークシステムにおいて、シナリオ記述ファイルのうち予め定められた情報機器に係る部分である情報機器用シナリオ記述ファイルを記憶するシナリオ記憶手段を備えた情報機器を制御するために、情報機器のコンピュータを、シナリオ供給手段、として機能させる構成とした。
かかる構成において、シナリオ記述ファイル管理装置制御プログラムは、シナリオ供給手段によって、シナリオ記述ファイルのうち予め定められた情報機器に係る部分である情報機器用シナリオ記述ファイルを当該情報機器に送信するとともに、情報機器用シナリオ記述ファイルに記述された認識識別コードをユーザ指示認識装置に送信する。これによって、ユーザの指示に対応する認識識別コードを共通にして複数の情報機器に所望の動作をさせる。
さらに、シナリオ供給手段は、情報機器用シナリオ記述ファイルに記述された認識識別コードの他に、情報機器用シナリオ記述ファイルに記述された情報機器用シナリオコードを実行するための変数を記述した認識識別メタデータを、ユーザ指示認識装置に送信する。
さらに、シナリオ供給手段は、情報機器用シナリオ記述ファイルに記述された認識識別コードの他に、情報機器用シナリオ記述ファイルに記述された情報機器用シナリオコードを実行するための変数を記述した認識識別メタデータを、ユーザ指示認識装置に送信する。
また、請求項４に記載のユーザ指示認識装置制御プログラムは、ネットワークに接続された少なくとも１つ以上の予め定められた情報機器の動作を制御するために予め定められた手順を記述したシナリオ記述ファイルを管理するシナリオ記述ファイル管理装置と、ユーザの指示に対応する認識識別コードをネットワークに接続されたすべての情報機器に送信するユーザ指示認識装置と、をネットワークに接続して備えたネットワークシステムにおいて、シナリオ記述ファイルのうち予め定められた情報機器に係る部分である情報機器用シナリオ記述ファイルを記憶するシナリオ記憶手段を備えた情報機器を制御するために、情報機器のコンピュータを、探索手段、ユーザ指示解析手段、送信手段、として機能させる構成とした。
かかる構成において、ユーザ指示認識装置制御プログラムは、探索手段によって、ユーザの指示に基づいてユーザの指示に対応した認識識別コードを認識識別コード記憶手段から探索する。
また、ユーザ指示認識装置制御プログラムは、ユーザ指示解析手段によって、シナリオ記述ファイル管理装置から送信された、シナリオ記述ファイルのうち予め定められた情報機器に係る部分である情報機器用シナリオ記述ファイルに記述された情報機器用シナリオコードを実行するための変数を記述した認識識別メタデータに対応する値を生成し、値を認識識別メタデータに代入する。
また、ユーザ指示認識装置制御プログラムは、送信手段によって、探索手段により探索された認識識別コード及び値が代入された認識識別メタデータを予め定められた情報機器に届くように送信する。これによって、ユーザの指示に基づいて情報機器を動作させるトリガーとなる。
また、ユーザ指示認識装置制御プログラムは、ユーザ指示解析手段によって、シナリオ記述ファイル管理装置から送信された、シナリオ記述ファイルのうち予め定められた情報機器に係る部分である情報機器用シナリオ記述ファイルに記述された情報機器用シナリオコードを実行するための変数を記述した認識識別メタデータに対応する値を生成し、値を認識識別メタデータに代入する。
また、ユーザ指示認識装置制御プログラムは、送信手段によって、探索手段により探索された認識識別コード及び値が代入された認識識別メタデータを予め定められた情報機器に届くように送信する。これによって、ユーザの指示に基づいて情報機器を動作させるトリガーとなる。
本発明は、以下に示す優れた効果を奏するものである。
請求項１、請求項３乃至請求項４に記載の発明によれば、既存の操作リモコン以外であっても、ユーザの動作等により情報機器を連携させ、また、ユーザごとの異なる環境下でも対応が容易となる。
請求項１、請求項３乃至請求項４に記載の発明によれば、既存の操作リモコン以外であっても、ユーザの動作等により情報機器を連携させ、また、ユーザごとの異なる環境下でも対応が容易となる。
請求項１、請求項３乃至請求項４に記載の発明によれば、ネットワークに接続された情報機器に対して、任意に設定されたユーザの動作等に従って、より複雑な処理をさせることができる。
請求項２に記載の発明によれば、シナリオ記述ファイルを追加、変更または削除することによって、ネットワーク設置後に情報機器の動作の変更あるいは動作対象の情報機器の変更が可能となる。
本発明に係るネットワークシステム、情報機器制御プログラム、シナリオ記述ファイル管理装置制御プログラム及びユーザ指示認識装置制御プログラムの実施形態について、添付図面を参照して説明する。
[ネットワークシステムの概略]
図１に示すように、ネットワークシステム１は、シナリオ記述ファイル管理装置１０、ユーザ指示認識装置２０、情報機器３００から構成される。
本発明では、ユーザの動作等の指示によって、情報機器３００を動作させる。つまり、ユーザが指示を開始すると、ユーザ指示認識装置２０がそれを認識し、各情報機器にトリガーである認識識別コードを送信し、各情報機器は、認識識別コードと対応した制御プログラムを実行する。
図１に示すように、ネットワークシステム１は、シナリオ記述ファイル管理装置１０、ユーザ指示認識装置２０、情報機器３００から構成される。
本発明では、ユーザの動作等の指示によって、情報機器３００を動作させる。つまり、ユーザが指示を開始すると、ユーザ指示認識装置２０がそれを認識し、各情報機器にトリガーである認識識別コードを送信し、各情報機器は、認識識別コードと対応した制御プログラムを実行する。
また、シナリオ記述ファイル管理装置１０、ユーザ指示認識装置２０及び情報機器３００は、ネットワーク接続装置５００を介して、電気通信回線６００や有線無線による各種放送等７００に接続することができる。情報機器３００は、ネットワークに接続可能な情報機器である。例えば、情報機器３００は、本発明に適用可能なコンピュータ、プリンタ等の情報処理装置、テレビジョン（テレビ）、ＤＶＤレコーダ、冷蔵庫、電話機、照明器具等である。
このようなネットワークの形態は、例えば、オフィスにおけるＬＡＮ、家庭内におけるいわゆるホームネットワーク等が代表的である。ただし、本発明を適用可能なネットワークの構成はこれらに限られない。
このようなネットワークの形態は、例えば、オフィスにおけるＬＡＮ、家庭内におけるいわゆるホームネットワーク等が代表的である。ただし、本発明を適用可能なネットワークの構成はこれらに限られない。
＜第１実施形態＞
次に、本発明の第１実施形態について説明する。
図２に示すように、ネットワークシステム１Ａは、図１の情報機器３００として、テレビ（ＴＶ）３１０、パーソナルコンピュータ（ＰＣ）３２０及びプリンタ３３０がネットワークに接続されている。
第１実施形態では、「ユーザがテレビに映された役者を指し、次にパーソナルコンピュータを指すと、役者名をキーワードにしてその役者の情報をパーソナルコンピュータがインターネットを用いて検索し、その検索結果をテレビに表示する」動作を例にして説明する。ここでは、テレビが後記するソース機器、パーソナルコンピュータが後記するターゲット機器である。
シナリオ記述ファイル管理装置１０、ユーザ指示認識装置２０、テレビ（ＴＶ）３１０及びパーソナルコンピュータ（ＰＣ）３２０の構成は図３に示す。なお、説明を簡易にするためプリンタ３３０の構成については省略する。また、同一の構成には同一の符号を付して、重複した説明は省略する。
次に、本発明の第１実施形態について説明する。
図２に示すように、ネットワークシステム１Ａは、図１の情報機器３００として、テレビ（ＴＶ）３１０、パーソナルコンピュータ（ＰＣ）３２０及びプリンタ３３０がネットワークに接続されている。
第１実施形態では、「ユーザがテレビに映された役者を指し、次にパーソナルコンピュータを指すと、役者名をキーワードにしてその役者の情報をパーソナルコンピュータがインターネットを用いて検索し、その検索結果をテレビに表示する」動作を例にして説明する。ここでは、テレビが後記するソース機器、パーソナルコンピュータが後記するターゲット機器である。
シナリオ記述ファイル管理装置１０、ユーザ指示認識装置２０、テレビ（ＴＶ）３１０及びパーソナルコンピュータ（ＰＣ）３２０の構成は図３に示す。なお、説明を簡易にするためプリンタ３３０の構成については省略する。また、同一の構成には同一の符号を付して、重複した説明は省略する。
[シナリオ記述ファイル管理装置１０の構成]
図３に示すように、シナリオ記述ファイル管理装置１０は、図示を省略した制御部、記憶部及び入出力部等を備えており、このシナリオ記述ファイル管理装置１０は、入出力手段１１、初期設定手段１２、シナリオ記述ファイル記憶手段１３、更新手段１４、シナリオ供給手段１５、ネットワーク管理手段１６、送受信手段１７を備えている。
ユーザは、後記するシナリオ記述ファイルをアプリケーション開発業者などから入手し、このシナリオ記述ファイルをシナリオ記述ファイル管理装置１０に設定し、情報機器に対して所望の動作をさせることになる。
図３に示すように、シナリオ記述ファイル管理装置１０は、図示を省略した制御部、記憶部及び入出力部等を備えており、このシナリオ記述ファイル管理装置１０は、入出力手段１１、初期設定手段１２、シナリオ記述ファイル記憶手段１３、更新手段１４、シナリオ供給手段１５、ネットワーク管理手段１６、送受信手段１７を備えている。
ユーザは、後記するシナリオ記述ファイルをアプリケーション開発業者などから入手し、このシナリオ記述ファイルをシナリオ記述ファイル管理装置１０に設定し、情報機器に対して所望の動作をさせることになる。
入出力手段１１は、ディスプレイ装置等の表示装置、キーボード、マウス等の入力装置で構成され、シナリオ記述ファイル等の情報を入出力するものであり、一般的なものであるため説明を省略する。
初期設定手段１２は、ユーザがネットワークの初期情報を予め設定するものである。例えば、初期設定手段１２は、ネットワークに接続された情報機器３００の機器の設置位置、機器の種類、機器ＩＤ、ＩＰアドレス、機器の名称などを設定する。
シナリオ記述ファイル記憶手段１３は、後記するシナリオ記述ファイルを記憶するものである。また、シナリオ記述ファイル記憶手段１３は、複数のシナリオ記述ファイルを記憶することもできる。さらに、シナリオ記述ファイル記憶手段１３は、ユーザごと、例えば、家族の構成員ごとに記憶させてもよい。
更新手段１４は、ユーザがシナリオ記述ファイル管理装置１０に新しくシナリオ記述ファイルを追加した場合、シナリオ記述ファイル記憶手段１３にシナリオ記述ファイルを追加するものである。また、更新手段１４は、ユーザがシナリオ記述ファイル管理装置１０からシナリオ記述ファイルを削除した場合、シナリオ記述ファイル記憶手段１３からシナリオ記述ファイルを削除する。
更新手段１４は、ユーザがシナリオ記述ファイル管理装置１０に新しくシナリオ記述ファイルを追加した場合、シナリオ記述ファイル記憶手段１３にシナリオ記述ファイルを追加するものである。また、更新手段１４は、ユーザがシナリオ記述ファイル管理装置１０からシナリオ記述ファイルを削除した場合、シナリオ記述ファイル記憶手段１３からシナリオ記述ファイルを削除する。
シナリオ供給手段１５は、シナリオ記述ファイルのうち予め定められた情報機器に係る部分である情報機器用シナリオ記述ファイルを抽出し、当該情報機器に送信する。なお、情報機器用シナリオ記述ファイルについては後記する。また、シナリオ供給手段１５は、情報機器用シナリオ記述ファイルに記述された認識識別コード及び認識識別メタデータを後記するユーザ指示認識装置２０に送信する。
ネットワーク管理手段１６は、ネットワークに接続された情報機器等を認知するものである。例えば、ネットワークに接続された情報機器３００の機器の設置位置、機器の種類、機器ＩＤ、ＩＰアドレス、機器の名称などを共有する。
送受信手段１７は、入出力インターフェース装置等からなり、ネットワークに接続された情報機器等との間で信号を送受信するものである。
送受信手段１７は、入出力インターフェース装置等からなり、ネットワークに接続された情報機器等との間で信号を送受信するものである。
次に、図４を参照してシナリオ記述ファイルの説明をする。
図４に示すように、シナリオ記述ファイル２Ａは、使用機器及び情報機器用シナリオコード３０、認識識別メタデータ４０、認識識別コード５０から構成される。
使用機器及び情報機器用シナリオコード３０は、ネットワークに接続された情報機器３００を制御するプログラムコードである。本実施形態では、使用機器及び情報機器用シナリオコード３０には、テレビ（ＴＶ）３１０、パーソナルコンピュータ（ＰＣ）３２０及びプリンタ３３０を制御するためのプログラムコードが記述されている。
図４に示すように、シナリオ記述ファイル２Ａは、使用機器及び情報機器用シナリオコード３０、認識識別メタデータ４０、認識識別コード５０から構成される。
使用機器及び情報機器用シナリオコード３０は、ネットワークに接続された情報機器３００を制御するプログラムコードである。本実施形態では、使用機器及び情報機器用シナリオコード３０には、テレビ（ＴＶ）３１０、パーソナルコンピュータ（ＰＣ）３２０及びプリンタ３３０を制御するためのプログラムコードが記述されている。
認識識別メタデータ４０は、使用機器及び情報機器用シナリオコード３０を実行するために必要な変数の集合体である。本実施形態では、ユーザ４０ａは、ユーザを特定するための情報である。ソース機器４０ｂは、ユーザが指した機器を特定するための情報である。イベント発火時間４０ｃは、ユーザが指示を開始した時間を特定するための情報である。動作始点４０ｄは、ユーザの動作の始点を特定するための情報である。動作終点４０ｅは、ユーザの動作の終点を特定するための情報である。本実施形態では、ユーザ指示認識装置２０は、ユーザの指示に基づいて、ユーザを識別するための値を変数「ｗｈｏ」に、ソース機器を特定するための値を変数「ｅｑｐ１」に、ユーザが指示を開始した時間を変数「Ｔｅ」に、ユーザが始めに指した方向を変数「Ｐｓｔａｒｔ」に、ユーザが次に指した方向を変数「Ｐｅｎｄ」に代入する。
これらは一例であり、アプリケーション開発者が使用機器及び情報機器用シナリオコード３０に応じて種々の変数を含ませることができる。
これらは一例であり、アプリケーション開発者が使用機器及び情報機器用シナリオコード３０に応じて種々の変数を含ませることができる。
認識識別コード５０は、ユーザの指示を識別するための識別子である。ユーザの指示に対応させるものであり、これにより、ユーザの指示に基づいて情報機器を動作させるトリガーとなる。本実施形態では、認識識別コード５０は、「Ｍ１」である。
なお、シナリオ記述ファイル２Ａには、複数の認識識別コードを含ませることもできる。ユーザの指示には様々な種類があり、ユーザの動作の他に、ユーザの音声、リモートコントローラによる指示、物体認識等がある。図４では、認識識別コード５０がユーザの動作に対応する「Ｍ１」とユーザの音声に対応する「Ａ１」を示しているが、ここでは、説明を簡易にするため、ユーザの指示がユーザの動作のみである場合について説明していく。
なお、シナリオ記述ファイル２Ａには、複数の認識識別コードを含ませることもできる。ユーザの指示には様々な種類があり、ユーザの動作の他に、ユーザの音声、リモートコントローラによる指示、物体認識等がある。図４では、認識識別コード５０がユーザの動作に対応する「Ｍ１」とユーザの音声に対応する「Ａ１」を示しているが、ここでは、説明を簡易にするため、ユーザの指示がユーザの動作のみである場合について説明していく。
シナリオ記述ファイル２Ａは、アプリケーション開発者が情報機器に対して所望の動作をさせるように予め設計する。ユーザは、シナリオ記述ファイル２Ａをシナリオ記述ファイル管理装置１０に設定し、情報機器に対して所望の動作をさせることになる。
次に、図５を参照して、情報機器用シナリオ記述ファイルの説明をする。
図５に示すように、情報機器用シナリオ記述ファイル３Ａは、シナリオ記述ファイル２Ａから各情報機器用に抽出したものである。情報機器用シナリオ記述ファイルは、予めシナリオ記述ファイルから各情報機器用に分離できるようになっている。認識識別コードは共通し、情報機器用シナリオコードはそれぞれの情報機器で異なる。この例では、テレビ（ＴＶ）用シナリオ記述ファイル３Ａａ、パーソナルコンピュータ（ＰＣ）用シナリオ記述ファイル３Ａｂ、プリンタ用シナリオ記述ファイル３Ａｃがある。認識識別コードは「Ｍ１」で共通しており、これにより、各情報機器は、特定のユーザの指示に対して連携して動作することができる。
また、シナリオ供給手段１５は、シナリオ記述ファイルのうち予め定められた情報機器に係る部分である情報機器用シナリオ記述ファイルを当該情報機器に送信するとともに、情報機器用シナリオ記述ファイルに記述された認識識別コード及び認識識別メタデータを後記するユーザ指示認識装置２０に送信する。
図５に示すように、情報機器用シナリオ記述ファイル３Ａは、シナリオ記述ファイル２Ａから各情報機器用に抽出したものである。情報機器用シナリオ記述ファイルは、予めシナリオ記述ファイルから各情報機器用に分離できるようになっている。認識識別コードは共通し、情報機器用シナリオコードはそれぞれの情報機器で異なる。この例では、テレビ（ＴＶ）用シナリオ記述ファイル３Ａａ、パーソナルコンピュータ（ＰＣ）用シナリオ記述ファイル３Ａｂ、プリンタ用シナリオ記述ファイル３Ａｃがある。認識識別コードは「Ｍ１」で共通しており、これにより、各情報機器は、特定のユーザの指示に対して連携して動作することができる。
また、シナリオ供給手段１５は、シナリオ記述ファイルのうち予め定められた情報機器に係る部分である情報機器用シナリオ記述ファイルを当該情報機器に送信するとともに、情報機器用シナリオ記述ファイルに記述された認識識別コード及び認識識別メタデータを後記するユーザ指示認識装置２０に送信する。
[ユーザ指示認識装置２０の構成]
次に、図３に戻り、ユーザ指示認識装置２０について説明する。
図３に示すように、ユーザ指示認識装置２０は、ユーザの指示に対応する認識識別コードをネットワークに接続された情報機器に送信するものである。
ユーザ指示認識装置２０は、ユーザ指示取得手段２１、ユーザ指示解析手段２２、探索手段２３、認識識別コード記憶手段２４、認識識別コード更新手段２５、ネットワーク管理手段１６、送受信手段１７を備えて構成されている。
次に、図３に戻り、ユーザ指示認識装置２０について説明する。
図３に示すように、ユーザ指示認識装置２０は、ユーザの指示に対応する認識識別コードをネットワークに接続された情報機器に送信するものである。
ユーザ指示認識装置２０は、ユーザ指示取得手段２１、ユーザ指示解析手段２２、探索手段２３、認識識別コード記憶手段２４、認識識別コード更新手段２５、ネットワーク管理手段１６、送受信手段１７を備えて構成されている。
ユーザ指示取得手段２１は、ユーザからの動画や音声を取得する一般的なカメラ等、または、リモートコントローラによる信号を受信する装置等から構成される。
ユーザ指示解析手段２２は、ユーザ指示取得手段２１が取得した動画や音声データを解析し、必要な値を生成するものである。例えば、ユーザ指示解析手段２２は、動画認識技術により、輝度、色情報や奥行き情報から抽出するなどして、ユーザの指示である動作等やユーザの指している方向を割り出し特定する。ユーザの指している方向を特定する方法としては、例えば、ユーザが指先に極小の位置検知デバイスを装着し、その方向を検知する方法がある。また、ステレオカメラの原理などで奥行き画像を生成し、画面から一番近い突起形状で肌色成分を検出して指先位置を推定し、画面、顔位置などの関係からその方向を特定する方法などがある。
ユーザ指示解析手段２２は、ユーザ指示取得手段２１が取得した動画や音声データを解析し、必要な値を生成するものである。例えば、ユーザ指示解析手段２２は、動画認識技術により、輝度、色情報や奥行き情報から抽出するなどして、ユーザの指示である動作等やユーザの指している方向を割り出し特定する。ユーザの指している方向を特定する方法としては、例えば、ユーザが指先に極小の位置検知デバイスを装着し、その方向を検知する方法がある。また、ステレオカメラの原理などで奥行き画像を生成し、画面から一番近い突起形状で肌色成分を検出して指先位置を推定し、画面、顔位置などの関係からその方向を特定する方法などがある。
また、ユーザ指示解析手段２２は、ユーザが指示を開始した時間を図示しないタイマを参照して特定する。また、ユーザ指示解析手段２２は、予め登録されたユーザ識別のための情報、例えば、身長や輪郭などからユーザが誰であるかを特定する。ユーザを特定する方法としては、ＲＦタグなどの個人認証用センサーを用いる方法や顔認識技術を用いる方法がある。本実施形態では、ユーザが指示を開始した時間「Ｔｅ」、ユーザが指した方向「Ｐｓｔａｒｔ」、ユーザがテレビの次に指した方向「Ｐｅｎｄ」などの値を生成する。
このため、ユーザは、予めユーザの指示である動作等やユーザ識別のための情報を、後記する認識識別コード記憶手段２４に、認識識別コードと対応させ、対応表として記憶させておく。本実施形態では、「テレビを指す」というユーザの動作と認識識別コード「Ｍ１」を対応させる。
さらに、ユーザ指示解析手段２２は、ネットワーク管理手段１６によって共有するネットワークに接続された情報機器の設置位置、機器の種類、機器ＩＤを使用して、ユーザの指している方向線に最も近い位置にある機器ＩＤを取得する。本実施形態では、「Ｐｅｎｄ」からターゲット機器を特定し、ターゲット機器ＩＤを取得する。
さらに、ユーザ指示解析手段２２は、ネットワーク管理手段１６によって共有するネットワークに接続された情報機器の設置位置、機器の種類、機器ＩＤを使用して、ユーザの指している方向線に最も近い位置にある機器ＩＤを取得する。本実施形態では、「Ｐｅｎｄ」からターゲット機器を特定し、ターゲット機器ＩＤを取得する。
探索手段２３は、ユーザ指示解析手段２２が特定したユーザの指示に基づいて、認識識別コード記憶手段２４に記憶されたユーザの指示と認識識別コードとの対応表を探索するものである。
認識識別コード記憶手段２４は、シナリオ記述ファイル管理装置１０から送信された認識識別コード及び認識識別メタデータとユーザの指示とを対応させ、対応表として記憶するものである。
認識識別コード更新手段２５は、新しくシナリオ記述ファイルがシナリオ記述ファイル管理装置１０に追加され、シナリオ記述ファイル管理装置１０のシナリオ供給手段１５から認識識別コード及び認識識別メタデータが送信されてきた場合に、その認識識別コード及び認識識別メタデータを、認識識別コード記憶手段２４に追加するものである。
また、ユーザ指示認識装置２０は、ネットワーク管理手段１６を介して、シナリオ記述ファイル管理装置１０が認知した各情報機器の設置位置、機器の種類、機器ＩＤなどをネットワークを介して共有する。
認識識別コード記憶手段２４は、シナリオ記述ファイル管理装置１０から送信された認識識別コード及び認識識別メタデータとユーザの指示とを対応させ、対応表として記憶するものである。
認識識別コード更新手段２５は、新しくシナリオ記述ファイルがシナリオ記述ファイル管理装置１０に追加され、シナリオ記述ファイル管理装置１０のシナリオ供給手段１５から認識識別コード及び認識識別メタデータが送信されてきた場合に、その認識識別コード及び認識識別メタデータを、認識識別コード記憶手段２４に追加するものである。
また、ユーザ指示認識装置２０は、ネットワーク管理手段１６を介して、シナリオ記述ファイル管理装置１０が認知した各情報機器の設置位置、機器の種類、機器ＩＤなどをネットワークを介して共有する。
[テレビ（ＴＶ）３１０の構成]
テレビ（ＴＶ）３１０は、ネットワーク管理手段１６、送受信手段１７、動画像表示手段３１１、ＴＶ初期設定手段３１２、シナリオ記憶手段３１３、シナリオ更新手段３１４、番組メタデータ記憶手段３１５、判定手段３１６、シナリオ実行手段３１７、から構成される。
テレビ（ＴＶ）３１０は、ネットワーク管理手段１６、送受信手段１７、動画像表示手段３１１、ＴＶ初期設定手段３１２、シナリオ記憶手段３１３、シナリオ更新手段３１４、番組メタデータ記憶手段３１５、判定手段３１６、シナリオ実行手段３１７、から構成される。
動画像表示手段３１１は、放送等の動画像や情報を表示するものである。
ＴＶ初期設定手段３１２は、テレビに固有の情報を設定するものである。例えば、放送番組に対するユーザの好み等のユーザプロファイルを登録しておくと、指示したユーザが誰であるかによって、処理を変えることができる。
シナリオ記憶手段３１３は、シナリオ記述ファイル管理装置１０のシナリオ供給手段１５から送信されたテレビ（ＴＶ）用シナリオ記述ファイル３Ａａを記憶するものである。
シナリオ更新手段３１４は、新しくシナリオ記述ファイルがシナリオ記述ファイル管理装置１０に追加され、シナリオ記述ファイル管理装置１０のシナリオ供給手段１５からテレビ（ＴＶ）用シナリオ記述ファイルが送信されてきた場合に、そのテレビ（ＴＶ）用シナリオ記述ファイルを、シナリオ記憶手段３１３に追加するものである。
ＴＶ初期設定手段３１２は、テレビに固有の情報を設定するものである。例えば、放送番組に対するユーザの好み等のユーザプロファイルを登録しておくと、指示したユーザが誰であるかによって、処理を変えることができる。
シナリオ記憶手段３１３は、シナリオ記述ファイル管理装置１０のシナリオ供給手段１５から送信されたテレビ（ＴＶ）用シナリオ記述ファイル３Ａａを記憶するものである。
シナリオ更新手段３１４は、新しくシナリオ記述ファイルがシナリオ記述ファイル管理装置１０に追加され、シナリオ記述ファイル管理装置１０のシナリオ供給手段１５からテレビ（ＴＶ）用シナリオ記述ファイルが送信されてきた場合に、そのテレビ（ＴＶ）用シナリオ記述ファイルを、シナリオ記憶手段３１３に追加するものである。
番組メタデータ記憶手段３１５は、放送番組に付随するオブジェクトに関する情報である番組メタデータを記憶するものである。番組メタデータは、本実施形態では例えば、フレームごとにどの役者が画面上のどの位置に現れるかを特定する情報である。
判定手段３１６は、ユーザ指示認識装置２０が送信した認識識別コードと、シナリオ記憶手段３１３に記憶されたテレビ（ＴＶ）用シナリオ記述ファイル３Ａａに記述された認識識別コードとが一致するか否かを判定するものである。本実施形態では、シナリオ記憶手段３１３に記憶されたテレビ（ＴＶ）用シナリオ記述ファイル３Ａａに記述された認識識別コードが「Ｍ１」であり、ユーザ指示認識装置２０が送信してきた認識識別コードが「Ｍ１」である場合に、認識識別コードが一致すると判定する。
シナリオ実行手段３１７は、判定手段３１６が認識識別コードが一致すると判定した場合に、シナリオ記憶手段３１３に記憶されたテレビ（ＴＶ）用シナリオ記述ファイル３Ａａの情報機器用シナリオコードを実行するものである。認識識別コードが一致しないと判定した場合には、シナリオ実行手段３１７は、当該情報機器用シナリオコードを実行しない。
判定手段３１６は、ユーザ指示認識装置２０が送信した認識識別コードと、シナリオ記憶手段３１３に記憶されたテレビ（ＴＶ）用シナリオ記述ファイル３Ａａに記述された認識識別コードとが一致するか否かを判定するものである。本実施形態では、シナリオ記憶手段３１３に記憶されたテレビ（ＴＶ）用シナリオ記述ファイル３Ａａに記述された認識識別コードが「Ｍ１」であり、ユーザ指示認識装置２０が送信してきた認識識別コードが「Ｍ１」である場合に、認識識別コードが一致すると判定する。
シナリオ実行手段３１７は、判定手段３１６が認識識別コードが一致すると判定した場合に、シナリオ記憶手段３１３に記憶されたテレビ（ＴＶ）用シナリオ記述ファイル３Ａａの情報機器用シナリオコードを実行するものである。認識識別コードが一致しないと判定した場合には、シナリオ実行手段３１７は、当該情報機器用シナリオコードを実行しない。
[パーソナルコンピュータ（ＰＣ）３２０の構成]
パーソナルコンピュータ（ＰＣ）３２０は、情報入出力手段３２１、ＰＣ初期設定手段３２２、シナリオ記憶手段３１３、シナリオ更新手段３１４、インターネット検索手段３２５、判定手段３１６、シナリオ実行手段３１７、ネットワーク管理手段１６、送受信手段１７から構成される。
パーソナルコンピュータ（ＰＣ）３２０は、情報入出力手段３２１、ＰＣ初期設定手段３２２、シナリオ記憶手段３１３、シナリオ更新手段３１４、インターネット検索手段３２５、判定手段３１６、シナリオ実行手段３１７、ネットワーク管理手段１６、送受信手段１７から構成される。
情報入出力手段３２１は、キーボード、マウス、ディスプレイ装置といった一般的な装置から構成され、一般的な情報を入出力するものである。
ＰＣ初期設定手段３２２は、ユーザプロファイルや使用アプリケーションなどを登録するものである。これにより、ユーザが誰であるのかによって処理を変更することや、使用するアプリケーションを指定することなどを、予めシナリオ記述ファイルに記述することができる。
インターネット検索手段３２５は、インターネットに接続し、外部のサーバ等から情報を検索して取得するものである。
ＰＣ初期設定手段３２２は、ユーザプロファイルや使用アプリケーションなどを登録するものである。これにより、ユーザが誰であるのかによって処理を変更することや、使用するアプリケーションを指定することなどを、予めシナリオ記述ファイルに記述することができる。
インターネット検索手段３２５は、インターネットに接続し、外部のサーバ等から情報を検索して取得するものである。
[ネットワークシステムの動作の概略]
次に、本発明に係るネットワークシステム１の動作の流れについて図６を参照（適宜図２〜図５を参照）して説明する。
まず、ユーザが、情報機器の設置位置、情報機器の種類、情報機器のＩＤ、情報機器が使用するアプリケーション、ユーザの指示である動作等、ユーザ識別のための情報、ユーザプロファイルなどを設定しておく。また、各情報機器の電源はＯＮとなっている。
次に、本発明に係るネットワークシステム１の動作の流れについて図６を参照（適宜図２〜図５を参照）して説明する。
まず、ユーザが、情報機器の設置位置、情報機器の種類、情報機器のＩＤ、情報機器が使用するアプリケーション、ユーザの指示である動作等、ユーザ識別のための情報、ユーザプロファイルなどを設定しておく。また、各情報機器の電源はＯＮとなっている。
図６に示すように、ステップＳ１において、シナリオ記述ファイル管理装置１０は、初期設定を処理する。すなわち、ユーザが設定した各情報機器の設置位置、情報機器の種類、情報機器のＩＤ、情報機器が使用するアプリケーションなどをユーザ指示認識装置２０と共有する。また、シナリオ記述ファイル管理装置１０は、設定されたシナリオ記述ファイル２Ａから情報機器用シナリオ記述ファイル３Ａを各情報機器３００に送信する。さらに、シナリオ記述ファイル管理装置１０は、認識識別コード及び認識識別メタデータをユーザ指示認識装置２０に送信する。
ステップＳ２において、各情報機器３００は、各情報機器固有の機能を処理しながら、認識識別コードがユーザ指示認識装置２０から送信されているか否かを常時判定する。例えば、テレビであれば、テレビ視聴機能を処理しながら、認識識別コードが送信されているか否かを常時判定する。ここでは、この状態をアイドリング状態と呼ぶ。
ステップＳ３において、各情報機器３００は、ユーザ指示認識装置２０から認識識別コードを受信すると、情報機器用シナリオ記述ファイル３Ａに記述された認識識別コードと一致するか否かを判定する。
ステップＳ３において一致すると判定された場合（ステップＳ３：Ｙｅｓ）、各情報機器３００は、認識識別コード及び認識識別メタデータを解析し、必要な値を生成する（ステップＳ４）。一致しないと判定された場合（ステップＳ３：Ｎｏ）、再びステップＳ２に戻る。
ステップＳ５において、各情報機器３００は、受信した認識識別コードに対応する処理をする。処理を終了すると、再びステップＳ２に戻る。
ステップＳ２において、各情報機器３００は、各情報機器固有の機能を処理しながら、認識識別コードがユーザ指示認識装置２０から送信されているか否かを常時判定する。例えば、テレビであれば、テレビ視聴機能を処理しながら、認識識別コードが送信されているか否かを常時判定する。ここでは、この状態をアイドリング状態と呼ぶ。
ステップＳ３において、各情報機器３００は、ユーザ指示認識装置２０から認識識別コードを受信すると、情報機器用シナリオ記述ファイル３Ａに記述された認識識別コードと一致するか否かを判定する。
ステップＳ３において一致すると判定された場合（ステップＳ３：Ｙｅｓ）、各情報機器３００は、認識識別コード及び認識識別メタデータを解析し、必要な値を生成する（ステップＳ４）。一致しないと判定された場合（ステップＳ３：Ｎｏ）、再びステップＳ２に戻る。
ステップＳ５において、各情報機器３００は、受信した認識識別コードに対応する処理をする。処理を終了すると、再びステップＳ２に戻る。
[ネットワークシステム１Ａの動作の詳細]
次に、本実施形態に係るネットワークシステム１Ａにおける各機器間の動作の流れを詳述する。
図７に示すように、ステップＳ１０１において、シナリオ記述ファイル管理装置１０の初期設定手段１２は、ユーザが設定した各情報機器の設置位置、情報機器の種類、情報機器のＩＤなどを認知する。
ステップＳ１０２において、ユーザ指示認識装置２０は、ステップＳ１０１においてシナリオ記述ファイル管理装置１０が認知した各情報機器の設置位置、情報機器の種類、情報機器のＩＤなどをネットワーク管理手段１６を介して共有する。
次に、本実施形態に係るネットワークシステム１Ａにおける各機器間の動作の流れを詳述する。
図７に示すように、ステップＳ１０１において、シナリオ記述ファイル管理装置１０の初期設定手段１２は、ユーザが設定した各情報機器の設置位置、情報機器の種類、情報機器のＩＤなどを認知する。
ステップＳ１０２において、ユーザ指示認識装置２０は、ステップＳ１０１においてシナリオ記述ファイル管理装置１０が認知した各情報機器の設置位置、情報機器の種類、情報機器のＩＤなどをネットワーク管理手段１６を介して共有する。
ステップＳ１０３において、シナリオ記述ファイル管理装置１０のシナリオ記述ファイル記憶手段１３は、ユーザが設定したシナリオ記述ファイルを認知する。
ステップＳ１０４において、シナリオ記述ファイル管理装置１０のシナリオ供給手段１５は、設定されたシナリオ記述ファイル２Ａから、テレビ（ＴＶ）用シナリオ記述ファイル３Ａａをテレビ（ＴＶ）３１０に、パーソナルコンピュータ（ＰＣ）用シナリオ記述ファイル３Ａｂをパーソナルコンピュータ（ＰＣ）３２０に、それぞれ送信する。また、シナリオ供給手段１５は、シナリオ記述ファイル２Ａに記述された認識識別コード５０及び認識識別メタデータ４０をユーザ指示認識装置２０に送信する。
ステップＳ１０４において、シナリオ記述ファイル管理装置１０のシナリオ供給手段１５は、設定されたシナリオ記述ファイル２Ａから、テレビ（ＴＶ）用シナリオ記述ファイル３Ａａをテレビ（ＴＶ）３１０に、パーソナルコンピュータ（ＰＣ）用シナリオ記述ファイル３Ａｂをパーソナルコンピュータ（ＰＣ）３２０に、それぞれ送信する。また、シナリオ供給手段１５は、シナリオ記述ファイル２Ａに記述された認識識別コード５０及び認識識別メタデータ４０をユーザ指示認識装置２０に送信する。
ステップＳ１０５において、ユーザ指示認識装置２０は、シナリオ記述ファイル管理装置１０から送信された認識識別コード５０及び認識識別メタデータ４０を受信する。また、テレビ（ＴＶ）３１０は、テレビ（ＴＶ）用シナリオ記述ファイル３Ａａを受信し、パーソナルコンピュータ（ＰＣ）３２０は、パーソナルコンピュータ（ＰＣ）用シナリオ記述ファイル３Ａｂを受信する。
ステップＳ１０６において、ユーザ指示認識装置２０の認識識別コード記憶手段２４は、ユーザが登録したユーザの指示である動作等やユーザ識別のための情報を認識識別コードと対応させて対応表として記憶する。
ステップＳ１０７において、ユーザ指示認識装置２０のユーザ指示取得手段２１は、ユーザの動作等を監視する。テレビ（ＴＶ）３１０の判定手段３１６は、ユーザ指示認識装置２０から認識識別コードが送信されているか否かを常時判定する。パーソナルコンピュータ（ＰＣ）３２０の判定手段３１６も同様である。
ステップＳ１０８において、ユーザ指示認識装置２０のユーザ指示取得手段２１は、ユーザの動作である「テレビを指す」の動画データを取得する。ユーザ指示解析手段２２は、動画認識技術により、動画データを解析し、ユーザの指している方向と情報機器の設置位置から情報機器がテレビであることを割り出し、ユーザの指示が「テレビを指す」であることを特定する。探索手段２３は、ユーザ指示解析手段２２が特定したユーザの指示に基づいて、認識識別コード記憶手段２４に記憶されたユーザの指示と認識識別コードの対応表を探索し、ユーザの指示に対応する認識識別コードが「Ｍ１」であることを特定する。ユーザ指示解析手段２２は、認識識別コード「Ｍ１」に付随する認識識別メタデータ４０に必要な値を代入する。ここでは、ユーザを特定する値を「ｗｈｏ」に、ユーザが指示を開始した時間を特定する値を「Ｔｅ」に、ユーザが始めに指した方向を特定する値を「Ｐｓｔａｒｔ」に、ユーザが次に指した方向を特定する値を「Ｐｅｎｄ」に、それぞれ代入する。また、ユーザ指示解析手段２２は、ターゲット機器がパーソナルコンピュータ（ＰＣ）３２０であることを特定する。そして、ユーザ指示認識装置２０の送受信手段１７は、認識識別コード「Ｍ１」及びこれに付随する認識識別メタデータ、ターゲット機器ＩＤなどをネットワークに接続されたすべての情報機器に送信する。
ステップＳ１０９において、テレビ（ＴＶ）３１０の判定手段３１６は、受信した認識識別コード「Ｍ１」がテレビ（ＴＶ）用シナリオ記述ファイル３Ａａに記述された認識識別コード「Ｍ１」と一致すると判定する。また、パーソナルコンピュータ（ＰＣ）３２０の判定手段３１６は、受信した認識識別コード「Ｍ１」がパーソナルコンピュータ（ＰＣ）用シナリオ記述ファイル３Ａｂに記述された認識識別コード「Ｍ１」と一致すると判定する。なお、認識識別コードが一致しない場合には、ステップＳ１０７に戻る。
ステップＳ１１０において、テレビ（ＴＶ）３１０のシナリオ実行手段３１７は、受信した認識識別コードと認識識別メタデータを解析し、「Ｔｅ」、「Ｐｓｔａｒｔ」、「ｗｈｏ」、ユーザプロファイル、及び番組メタデータ記憶手段３１５が記憶している「フレームごとにどの役者が画面上のどの位置に現れるかを特定する情報」に基づいて、ユーザが指した役者を特定し、キーワード等を生成する。
ステップＳ１１１において、テレビ（ＴＶ）３１０の送受信手段１７は、生成したキーワード等を、ターゲット機器ＩＤが示すパーソナルコンピュータ（ＰＣ）３２０へ送信する。
ステップＳ１１１において、テレビ（ＴＶ）３１０の送受信手段１７は、生成したキーワード等を、ターゲット機器ＩＤが示すパーソナルコンピュータ（ＰＣ）３２０へ送信する。
ステップＳ１１２において、パーソナルコンピュータ（ＰＣ）３２０のインターネット検索手段３２５は、テレビ（ＴＶ）３１０から受信したキーワード等を基に、インターネットで検索し、検索結果を生成する。
ステップＳ１１３において、パーソナルコンピュータ（ＰＣ）３２０の送受信手段１７は、検索結果をテレビ（ＴＶ）３１０に送信する。
ステップＳ１１４において、テレビ（ＴＶ）３１０の動画像表示手段３１１は、パーソナルコンピュータ（ＰＣ）から受信した検索結果を表示する。
ステップＳ１１５において、テレビ（ＴＶ）３１０とパーソナルコンピュータ（ＰＣ）は、アイドリング状態に戻る。すなわち、ステップＳ１０７に戻る。
ステップＳ１１４において、テレビ（ＴＶ）３１０の動画像表示手段３１１は、パーソナルコンピュータ（ＰＣ）から受信した検索結果を表示する。
ステップＳ１１５において、テレビ（ＴＶ）３１０とパーソナルコンピュータ（ＰＣ）は、アイドリング状態に戻る。すなわち、ステップＳ１０７に戻る。
以上の動作によって、ネットワークシステム１Ａは、ユーザがテレビに映された役者を指し、次にパーソナルコンピュータを指すと、その役者の情報をパーソナルコンピュータがインターネットを用いて検索し、その検索結果をテレビに表示する動作を実現することができる。
なお、本実施形態では、ユーザがテレビ（ＴＶ）を指し、次にパーソナルコンピュータ（ＰＣ）を指した場合について述べたが、ユーザがテレビ（ＴＶ）を指し、次にプリンタを指した場合、テレビ（ＴＶ）の静止画像をプリントするというような処理も同様にして可能である。すなわち、ターゲット機器ＩＤがプリンタであり、テレビ（ＴＶ）が認識識別コードの「Ｔｅ」の時点における静止画を記憶し、プリンタへ送信する。プリンタはテレビ（ＴＶ）から送信された静止画をプリントする。このような動作を情報機器用シナリオコードへ記述しておく。また、シナリオ記述ファイルに記述すれば、表示する機器などを変更することもできる。
また、情報機器が使用するアプリケーションについて予めシナリオ記述ファイルに記述されていることを前提として説明したが、情報機器またはシナリオ記述ファイル管理装置の初期設定において、認識識別コードと情報機器が使用するアプリケーションとを対応づけた対応表を予め作成しておいてもよい。
また、説明を簡易にするためにユーザの指示がユーザの動作のみである場合について説明したが、ユーザの指示がユーザの動作と音声である場合について簡単に説明する。
認識識別コードについて、ユーザの動作に対応するものが「Ｍ１」で、ユーザの音声に対応するものが「Ａ１」であるとする。認識識別コード「Ａ１」に付属する認識識別メタデータには、ユーザの発話内容を特定するための変数が含まれる。同一の情報機器が両者を受信してから情報機器の処理を開始したい場合は、情報機器用シナリオコードに、一方を受信したときは他方を待つように条件設定などをすればよい。両者を受信した後、例えば、ユーザが同一であるか否かなどの条件設定をしてもよい。そして、音声による発話内容によって情報機器の処理を選択する等の制御が可能である。
認識識別コードについて、ユーザの動作に対応するものが「Ｍ１」で、ユーザの音声に対応するものが「Ａ１」であるとする。認識識別コード「Ａ１」に付属する認識識別メタデータには、ユーザの発話内容を特定するための変数が含まれる。同一の情報機器が両者を受信してから情報機器の処理を開始したい場合は、情報機器用シナリオコードに、一方を受信したときは他方を待つように条件設定などをすればよい。両者を受信した後、例えば、ユーザが同一であるか否かなどの条件設定をしてもよい。そして、音声による発話内容によって情報機器の処理を選択する等の制御が可能である。
また、ユーザ指示認識装置は、情報機器が有するアプリケーションのリストをネットワークを介して取得し、さらに、シナリオ記述ファイルにおいて使用するアプリケーションのリストを認識識別メタデータにより取得し、ユーザが指した方向に複数の情報機器が存在する場合に、それらの情報機器のアプリケーションのリストと認識識別メタデータとを
参照して、ターゲット機器を特定することもできる。
参照して、ターゲット機器を特定することもできる。
また、ステップＳ１０６において、ユーザの指示を予め認識識別コード記憶手段２４に記憶させたが、例えば、ユーザの指示を音声で認識する場合、シナリオ記述ファイルにユーザの指示としてテキストデータを記述しておき、ユーザ指示認識装置がこれを取得すれば、このテキストデータに対応する音声をユーザの指示であると特定することもできる。この場合は、ユーザの指示を予め認識識別コード記憶手段２４に記憶させる必要はない。
＜第２実施形態＞
次に、本発明の第２実施形態について説明する。
図８に示すように、ネットワークシステム１Ｂは、情報機器３００として、第１のテレビ（ＴＶ）３４０、第２のテレビ（ＴＶ）３５０、及びレコーダ３６０がネットワークに接続されている。
第２実施形態では、「ユーザがテレビを視聴しているときに、ユーザが指示のトリガとして手首を回す等の予め定められたポーズをとって、次に視聴している第１のテレビ（ＴＶ）を指し、次に別室にある第２のテレビ（ＴＶ）の方向を指すと、ユーザが指示した時点からの番組放送が、第２のテレビ（ＴＶ）に流れる」動作を例にして説明する。ここでは、第１のテレビ（ＴＶ）３４０がソース機器で、第２のテレビ（ＴＶ）３５０がターゲット機器である。
また、ユーザ指示認識装置が第１のテレビ（ＴＶ）３４０及び第２のテレビ（ＴＶ）３５０に内蔵されている。第１のテレビ（ＴＶ）３４０の構成は図９に示す。第２のテレビ（ＴＶ）３５０及びレコーダ３６０の構成は図１０に示す。なお、シナリオ記述ファイル管理装置１０の構成については、第１実施形態と同様であるため、説明を省略する。
次に、本発明の第２実施形態について説明する。
図８に示すように、ネットワークシステム１Ｂは、情報機器３００として、第１のテレビ（ＴＶ）３４０、第２のテレビ（ＴＶ）３５０、及びレコーダ３６０がネットワークに接続されている。
第２実施形態では、「ユーザがテレビを視聴しているときに、ユーザが指示のトリガとして手首を回す等の予め定められたポーズをとって、次に視聴している第１のテレビ（ＴＶ）を指し、次に別室にある第２のテレビ（ＴＶ）の方向を指すと、ユーザが指示した時点からの番組放送が、第２のテレビ（ＴＶ）に流れる」動作を例にして説明する。ここでは、第１のテレビ（ＴＶ）３４０がソース機器で、第２のテレビ（ＴＶ）３５０がターゲット機器である。
また、ユーザ指示認識装置が第１のテレビ（ＴＶ）３４０及び第２のテレビ（ＴＶ）３５０に内蔵されている。第１のテレビ（ＴＶ）３４０の構成は図９に示す。第２のテレビ（ＴＶ）３５０及びレコーダ３６０の構成は図１０に示す。なお、シナリオ記述ファイル管理装置１０の構成については、第１実施形態と同様であるため、説明を省略する。
[第１のテレビ（ＴＶ）３４０の構成]
図９に示すように、第１のテレビ（ＴＶ）３４０に内蔵されているユーザ指示認識装置２１０は、ＴＶ連携手段２６を備え、必要に応じてテレビ（ＴＶ）と情報をやりとりする機能を有する。また、第１のテレビ（ＴＶ）３４０は、番組データ記憶手段３４１を備え、番組データを一時的に保存する機能を有する。その他の構成は、第１実施形態の構成と同様であり、同一の構成には同一の符号を付して、重複した説明は省略する。なお、ユーザ指示認識装置２１０のカメラ等がテレビの外枠上部等に取り付けられている。
図９に示すように、第１のテレビ（ＴＶ）３４０に内蔵されているユーザ指示認識装置２１０は、ＴＶ連携手段２６を備え、必要に応じてテレビ（ＴＶ）と情報をやりとりする機能を有する。また、第１のテレビ（ＴＶ）３４０は、番組データ記憶手段３４１を備え、番組データを一時的に保存する機能を有する。その他の構成は、第１実施形態の構成と同様であり、同一の構成には同一の符号を付して、重複した説明は省略する。なお、ユーザ指示認識装置２１０のカメラ等がテレビの外枠上部等に取り付けられている。
[第２のテレビ（ＴＶ）３５０及びレコーダ３６０の構成]
図１０に示すように、レコーダ３６０は、動画像記憶手段３６１を備えている。動画像記憶手段３６１は、一般的なハードディスクドライブ等で構成され、一般的な動画像や情報を記憶する機能を有する。レコーダ３６０のその他の構成は、他の情報機器の構成と同様であり、同一の構成には同一の符号を付して、重複した説明は省略する。
第２のテレビ（ＴＶ）３５０は、第１のテレビ（ＴＶ）３４０と同様であるため、説明を省略する。
図１０に示すように、レコーダ３６０は、動画像記憶手段３６１を備えている。動画像記憶手段３６１は、一般的なハードディスクドライブ等で構成され、一般的な動画像や情報を記憶する機能を有する。レコーダ３６０のその他の構成は、他の情報機器の構成と同様であり、同一の構成には同一の符号を付して、重複した説明は省略する。
第２のテレビ（ＴＶ）３５０は、第１のテレビ（ＴＶ）３４０と同様であるため、説明を省略する。
次に、第２実施形態のシナリオ記述ファイルについて説明する。
図１１に示すように、シナリオ記述ファイル２Ｂは、認識識別メタデータ４１にユーザ有無４１ｆが追加されている。ユーザ有無４１ｆは、ユーザの有無を判定するための変数を格納するための項目である。変数「ｂＰ」の値は、例えば、「ｂＰ＝１」であれば、ユーザが室内にいることを示し、「ｂＰ＝０」であれば、ユーザが室内にいないことを示す。
また、使用機器及び情報機器用シナリオコード３１は、テレビ（ＴＶ）用とレコーダ用があり、テレビ（ＴＶ）用には、さらにソース機器用とターゲット機器用が記述されている。ここで、ソース機器とは、本実施形態では、ユーザが始めに指した方向にある情報機器であり、ターゲット機器とは、ユーザが次に指した方向にある情報機器のことである。
本実施形態では、第１のテレビ（ＴＶ）３４０及び第２のテレビ（ＴＶ）３５０は、いずれも、ソース機器にもなり得るし、ターゲット機器にもなり得る。また、第１のテレビ（ＴＶ）３４０及び第２のテレビ（ＴＶ）３５０は、いずれも、ソース機器になった場合には、ソース機器用の情報機器用シナリオコードを実行する。一方、ターゲット機器になった場合には、ターゲット機器用の情報機器用シナリオコードを実行する。
図１１に示すように、シナリオ記述ファイル２Ｂは、認識識別メタデータ４１にユーザ有無４１ｆが追加されている。ユーザ有無４１ｆは、ユーザの有無を判定するための変数を格納するための項目である。変数「ｂＰ」の値は、例えば、「ｂＰ＝１」であれば、ユーザが室内にいることを示し、「ｂＰ＝０」であれば、ユーザが室内にいないことを示す。
また、使用機器及び情報機器用シナリオコード３１は、テレビ（ＴＶ）用とレコーダ用があり、テレビ（ＴＶ）用には、さらにソース機器用とターゲット機器用が記述されている。ここで、ソース機器とは、本実施形態では、ユーザが始めに指した方向にある情報機器であり、ターゲット機器とは、ユーザが次に指した方向にある情報機器のことである。
本実施形態では、第１のテレビ（ＴＶ）３４０及び第２のテレビ（ＴＶ）３５０は、いずれも、ソース機器にもなり得るし、ターゲット機器にもなり得る。また、第１のテレビ（ＴＶ）３４０及び第２のテレビ（ＴＶ）３５０は、いずれも、ソース機器になった場合には、ソース機器用の情報機器用シナリオコードを実行する。一方、ターゲット機器になった場合には、ターゲット機器用の情報機器用シナリオコードを実行する。
[ネットワークシステム１Ｂの動作の詳細]
次に、本実施形態に係るネットワークシステム１Ｂにおける各機器間の動作の流れを詳述する。
図１２は、本実施形態におけるネットワークシステム１Ｂの具体的な処理のシーケンスの前半を示している。なお、シーケンスの後半については、丸付き番号１から６をそれぞれ対応させて図１３に示す。
次に、本実施形態に係るネットワークシステム１Ｂにおける各機器間の動作の流れを詳述する。
図１２は、本実施形態におけるネットワークシステム１Ｂの具体的な処理のシーケンスの前半を示している。なお、シーケンスの後半については、丸付き番号１から６をそれぞれ対応させて図１３に示す。
ステップＳ２０１乃至ステップＳ２０３は、図７のステップＳ１０１乃至ステップＳ１０３と同様であるため、説明を省略する。
ステップＳ２０４において、シナリオ記述ファイル管理装置１０のシナリオ供給手段１５は、設定されたシナリオ記述ファイル２Ｂから、テレビ（ＴＶ）用シナリオ記述ファイルを第１のテレビ（ＴＶ）３４０及び第２のテレビ（ＴＶ）３５０に、レコーダ用シナリオ記述ファイルをレコーダ３６０に、それぞれ送信する。なお、テレビ（ＴＶ）用シナリオ記述ファイルには、ソース機器用及びターゲット機器用の両方の情報機器用シナリオコードが記述されている。また、シナリオ記述ファイル２Ｂに記述された認識識別コード５１及び認識識別メタデータ４１を、第１のテレビ（ＴＶ）３４０に内蔵されたユーザ指示認識装置２１０及び第２のテレビ（ＴＶ）３５０に内蔵されたユーザ指示認識装置２２０へ、それぞれ送信する。ここでは、認識識別コード５１は、「Ｍ２」であり、認識識別メタデータ４１は、「ｗｈｏ」、「Ｔｅ」、「ｂＰ」などである。
ステップＳ２０４において、シナリオ記述ファイル管理装置１０のシナリオ供給手段１５は、設定されたシナリオ記述ファイル２Ｂから、テレビ（ＴＶ）用シナリオ記述ファイルを第１のテレビ（ＴＶ）３４０及び第２のテレビ（ＴＶ）３５０に、レコーダ用シナリオ記述ファイルをレコーダ３６０に、それぞれ送信する。なお、テレビ（ＴＶ）用シナリオ記述ファイルには、ソース機器用及びターゲット機器用の両方の情報機器用シナリオコードが記述されている。また、シナリオ記述ファイル２Ｂに記述された認識識別コード５１及び認識識別メタデータ４１を、第１のテレビ（ＴＶ）３４０に内蔵されたユーザ指示認識装置２１０及び第２のテレビ（ＴＶ）３５０に内蔵されたユーザ指示認識装置２２０へ、それぞれ送信する。ここでは、認識識別コード５１は、「Ｍ２」であり、認識識別メタデータ４１は、「ｗｈｏ」、「Ｔｅ」、「ｂＰ」などである。
ステップＳ２０５において、第１のテレビ（ＴＶ）３４０に内蔵されたユーザ指示認識装置２１０は、ＴＶ連携手段２６及び送受信手段１７を介して、シナリオ記述ファイル管理装置１０から送信された認識識別コード５１及び認識識別メタデータ４１を受信する。第２のテレビ（ＴＶ）３５０に内蔵されたユーザ指示認識装置２２０も同様である。また、第１のテレビ（ＴＶ）３４０は、テレビ（ＴＶ）用シナリオ記述ファイルを受信する。第２のテレビ（ＴＶ）３５０も同様である。レコーダ３６０は、レコーダ用シナリオ記述ファイルを受信する。
ステップＳ２０６において、第１のテレビ（ＴＶ）３４０に内蔵されたユーザ指示認識装置２１０及び第２のテレビ（ＴＶ）３５０に内蔵されたユーザ指示認識装置２２０の認識識別コード記憶手段２４は、ユーザが登録したユーザの指示である動作等やユーザ識別のための情報を認識識別コードと対応させて記憶する。本実施形態では例えば、「手首を回す」というユーザの動作と認識識別コード「Ｍ２」を対応させる。
ステップＳ２０７において、第１のテレビ（ＴＶ）３４０に内蔵されたユーザ指示認識装置２１０及び第２のテレビ（ＴＶ）３５０に内蔵されたユーザ指示認識装置２２０のユーザ指示取得手段２１は、ユーザの動作等を監視する。第１のテレビ（ＴＶ）３４０の判定手段３１６は、認識識別コードが送信されているか否かを常時判定する。第２のテレビ（ＴＶ）３５０の判定手段３１６及びレコーダ３６０の判定手段３１６も、同様である。
ステップＳ２０８において、第１のテレビ（ＴＶ）３４０に内蔵されたユーザ指示認識装置２１０のユーザ指示取得手段２１は、ユーザの動作である「手首を回す」の動画データを取得する。第１のテレビ（ＴＶ）３４０に内蔵されたユーザ指示解析手段２２は、ステップＳ１０８と同様にして、ユーザの指示に対応する認識識別コードが「Ｍ２」であることを特定する。また、ユーザが指示を開始した時間「Ｔｅ」、ユーザが指した方向「Ｐｓｔａｒｔ」、ユーザが第１のテレビ（ＴＶ）３４０の次に指した方向「Ｐｅｎｄ」などを生成する。さらに「Ｐｓｔａｒｔ」からソース機器を、「Ｐｅｎｄ」からターゲット機器を、それぞれ特定し、ソース機器ＩＤ及びターゲット機器ＩＤを生成する。ここでは、ソース機器は第１のテレビ（ＴＶ）３４０とし、ターゲット機器は第２のテレビ（ＴＶ）３５０として説明する。
そして、第１のテレビ（ＴＶ）３４０に内蔵されたユーザ指示認識装置２１０のＴＶ連携手段２６は、第１のテレビ（ＴＶ）３４０の送受信手段１７を介して、認識識別コード「Ｍ２」及びこれに付随する認識識別メタデータ「ｗｈｏ」、「Ｔｅ」、「Ｐｓｔａｒｔ」、「Ｐｅｎｄ」、「ｂＰ」、ソース機器ＩＤ及びターゲット機器ＩＤなどを、第１のテレビ（ＴＶ）３４０、レコーダ３６０及び第２のテレビ（ＴＶ）３５０に送信する。
ここから先は、図１３において説明する。
図１３に示すように、ステップＳ２０９において、第１のテレビ（ＴＶ）３４０の判定手段３１６は、受信した認識識別コード「Ｍ２」がテレビ（ＴＶ）用シナリオ記述ファイルに記述された認識識別コード「Ｍ２」と一致すると判定する。同様に、第２のテレビ（ＴＶ）３５０の判定手段３１６及びレコーダ３６０の判定手段３１６は、受信した認識識別コード「Ｍ２」がそれぞれの情報機器用シナリオ記述ファイルに記述された認識識別コード「Ｍ２」と一致すると判定する。なお、認識識別コードが一致しない場合には、ステップＳ２０７に戻る。
図１３に示すように、ステップＳ２０９において、第１のテレビ（ＴＶ）３４０の判定手段３１６は、受信した認識識別コード「Ｍ２」がテレビ（ＴＶ）用シナリオ記述ファイルに記述された認識識別コード「Ｍ２」と一致すると判定する。同様に、第２のテレビ（ＴＶ）３５０の判定手段３１６及びレコーダ３６０の判定手段３１６は、受信した認識識別コード「Ｍ２」がそれぞれの情報機器用シナリオ記述ファイルに記述された認識識別コード「Ｍ２」と一致すると判定する。なお、認識識別コードが一致しない場合には、ステップＳ２０７に戻る。
ステップＳ２１０において、第１のテレビ（ＴＶ）３４０のシナリオ実行手段３１７は、受信した認識識別コードと認識識別メタデータを解析し、ソース機器ＩＤからソース機器が自己であることを認知する。また、シナリオ実行手段３１７は、ターゲット機器ＩＤからターゲット機器が第２のテレビ（ＴＶ）３５０であることを認知し、また、ユーザが指示を開始した時間「Ｔｅ」を取得する。そして、ＴＶ用シナリオコードのソース機器用を実行する。レコーダ３６０のシナリオ実行手段３１７は、受信した認識識別コードと認識識別メタデータを解析し、ソース機器が第１のテレビ（ＴＶ）３４０であること及びターゲット機器が第２のテレビ（ＴＶ）３５０であることを認知し、ソース機器である第１のテレビ（ＴＶ）３４０からの要求を待つ。第２のテレビ（ＴＶ）３５０のシナリオ実行手段３１７は、受信した認識識別コードと認識識別メタデータを解析し、ソース機器が第１のテレビ（ＴＶ）３４０であること及びターゲット機器が自己であることを認知し、ユーザの入室を待つ。第２のテレビ（ＴＶ）３５０のシナリオ実行手段３１７は、ＴＶ用シナリオコードのターゲット機器用を実行することになる。また、第２のテレビ（ＴＶ）３５０のシナリオ実行手段３１７は、第２のテレビ（ＴＶ）３５０におけるユーザ指示認識装置２２０のＴＶ連携手段２６を介して、ユーザを待機中であることを、ユーザ指示解析手段２２に伝える。
ステップＳ２１１において、第１のテレビ（ＴＶ）３４０の送受信手段１７は、ユーザが指示を開始した時間「Ｔｅ」からの番組データを番組データ記憶手段３４１から取得し、レコーダ３６０へ送信する。
ステップＳ２１２において、レコーダ３６０の動画像記憶手段３６１は、第１のテレビ（ＴＶ）３４０が送信してきた「Ｔｅ」からの番組データを記憶する。
ステップＳ２１３において、第１のテレビ（ＴＶ）３４０に内蔵されたユーザ指示認識装置２１０のユーザ指示解析手段２２は、ユーザが退室すると、ユーザ退室信号を第１のテレビ（ＴＶ）３４０に供給する。ここで、ユーザ退室信号とは、例えば、ユーザ有無４１ｆの「ｂＰ」を２値で定義し、「ｂＰ＝０」としてユーザが退室したことを示す。
ステップＳ２１４において、例えば、第１のテレビ（ＴＶ）３４０のシナリオ実行手段３１７は、ユーザ退室信号を取得すると、番組再生を止める。
ステップＳ２１２において、レコーダ３６０の動画像記憶手段３６１は、第１のテレビ（ＴＶ）３４０が送信してきた「Ｔｅ」からの番組データを記憶する。
ステップＳ２１３において、第１のテレビ（ＴＶ）３４０に内蔵されたユーザ指示認識装置２１０のユーザ指示解析手段２２は、ユーザが退室すると、ユーザ退室信号を第１のテレビ（ＴＶ）３４０に供給する。ここで、ユーザ退室信号とは、例えば、ユーザ有無４１ｆの「ｂＰ」を２値で定義し、「ｂＰ＝０」としてユーザが退室したことを示す。
ステップＳ２１４において、例えば、第１のテレビ（ＴＶ）３４０のシナリオ実行手段３１７は、ユーザ退室信号を取得すると、番組再生を止める。
ステップＳ２１５において、第２のテレビ（ＴＶ）３５０に内蔵されたユーザ指示認識装置２２０のユーザ指示解析手段２２は、ユーザが入室すると、ユーザ入室信号を第２のテレビ（ＴＶ）３５０に供給する。ユーザ入室信号とは、「ｂＰ＝１」としてユーザが入室したことを示すものである。なお、第２のテレビ（ＴＶ）３５０のシナリオ実行手段３１７は、時間経過によって処理の実行を制限することや同一人物か否かをチェックしてもよい。
ステップＳ２１６において、第２のテレビ（ＴＶ）３５０のシナリオ実行手段３１７は、ユーザ入室信号を取得すると、再生要求をレコーダ３６０へ送信する。
ステップＳ２１７において、レコーダ３６０のシナリオ実行手段３１７は、第２のテレビ（ＴＶ）３５０からの再生要求を受信すると、「Ｔｅ」からの番組データを第２のテレビ（ＴＶ）３５０へ送信する。
ステップＳ２１８において、第２のテレビ（ＴＶ）３５０のシナリオ実行手段３１７は、レコーダ３６０から送信された「Ｔｅ」からの番組データを受信し、再生する。
ステップＳ２１９において、第１のテレビ（ＴＶ）３４０、第２のテレビ（ＴＶ）３５０及びレコーダ３６０は、アイドリング状態に戻る。すなわち、ステップＳ２０７（図１２参照）に戻る。
ステップＳ２１６において、第２のテレビ（ＴＶ）３５０のシナリオ実行手段３１７は、ユーザ入室信号を取得すると、再生要求をレコーダ３６０へ送信する。
ステップＳ２１７において、レコーダ３６０のシナリオ実行手段３１７は、第２のテレビ（ＴＶ）３５０からの再生要求を受信すると、「Ｔｅ」からの番組データを第２のテレビ（ＴＶ）３５０へ送信する。
ステップＳ２１８において、第２のテレビ（ＴＶ）３５０のシナリオ実行手段３１７は、レコーダ３６０から送信された「Ｔｅ」からの番組データを受信し、再生する。
ステップＳ２１９において、第１のテレビ（ＴＶ）３４０、第２のテレビ（ＴＶ）３５０及びレコーダ３６０は、アイドリング状態に戻る。すなわち、ステップＳ２０７（図１２参照）に戻る。
以上の動作によって、ネットワークシステム１Ｂは、ユーザが手首を回し、次に第１のテレビ（ＴＶ）を指し、次に第２のテレビ（ＴＶ）を指すと、第１のテレビ（ＴＶ）に出力されていた番組放送が第２のテレビ（ＴＶ）に出力される動作を実現することができる。
なお、本実施形態では、レコーダが独立してネットワークに接続された例を示したが、レコーダがテレビ（ＴＶ）等に内蔵されていてもよい。また、ユーザ指示認識装置がそれぞれのテレビ（ＴＶ）に内蔵された例を示したが、独立してネットワークに接続されていてもよい。
また、本実施形態では、ユーザの指示がユーザの動作のみである場合について説明したが、ユーザの指示がユーザの音声であっても同様に処理できる。例えば、第１のテレビ（ＴＶ）３４０の前にいるユーザの発話内容が「止めて」であれば、第１のテレビ（ＴＶ）３４０の番組再生を止めて、レコーダ３６０の動画像記憶手段３６１に番組データの記憶を開始する。第２のテレビ（ＴＶ）３５０の前で発話内容が「プレイ」であれば、レコーダ３６０の動画像記憶手段３６１に記憶した番組データを第２のテレビ（ＴＶ）３５０で再生するというようなこともできる。
また、第１実施形態と同様、ターゲット機器を特定する際に、ユーザが指した方向線に複数の情報機器が存在する場合に、情報機器が動画像記憶手段を持っているか否かを加味して情報機器を特定する機能をユーザ指示認識装置に持たせてもよい。
また、本実施形態では、ユーザの指示がユーザの動作のみである場合について説明したが、ユーザの指示がユーザの音声であっても同様に処理できる。例えば、第１のテレビ（ＴＶ）３４０の前にいるユーザの発話内容が「止めて」であれば、第１のテレビ（ＴＶ）３４０の番組再生を止めて、レコーダ３６０の動画像記憶手段３６１に番組データの記憶を開始する。第２のテレビ（ＴＶ）３５０の前で発話内容が「プレイ」であれば、レコーダ３６０の動画像記憶手段３６１に記憶した番組データを第２のテレビ（ＴＶ）３５０で再生するというようなこともできる。
また、第１実施形態と同様、ターゲット機器を特定する際に、ユーザが指した方向線に複数の情報機器が存在する場合に、情報機器が動画像記憶手段を持っているか否かを加味して情報機器を特定する機能をユーザ指示認識装置に持たせてもよい。
＜第３実施形態＞
次に、本発明の第３実施形態について説明する。
図１４に示すように、ネットワークシステム１Ｃは、情報機器３００として、テレビ（ＴＶ）３７０、パーソナルコンピュータ（ＰＣ）３８０及びプリンタ３９０がネットワークに接続されている。
第３実施形態では、「ユーザが紙媒体を指し、次にテレビ（ＴＶ）を指すと、紙媒体の内容に関連する番組情報が検索されテレビ（ＴＶ）に表示される」動作を例にする。
また、ユーザの近傍に紙媒体４００がある。ここで、紙媒体とは、画像や文字が印刷された本、雑誌、新聞等である。シナリオ記述ファイル管理装置１０、ユーザ指示認識装置２０及びテレビ（ＴＶ）３７０の構成は図１５に示す。なお、説明を簡易にするため、パーソナルコンピュータ（ＰＣ）３８０及びプリンタ３９０の構成については省略する。
次に、本発明の第３実施形態について説明する。
図１４に示すように、ネットワークシステム１Ｃは、情報機器３００として、テレビ（ＴＶ）３７０、パーソナルコンピュータ（ＰＣ）３８０及びプリンタ３９０がネットワークに接続されている。
第３実施形態では、「ユーザが紙媒体を指し、次にテレビ（ＴＶ）を指すと、紙媒体の内容に関連する番組情報が検索されテレビ（ＴＶ）に表示される」動作を例にする。
また、ユーザの近傍に紙媒体４００がある。ここで、紙媒体とは、画像や文字が印刷された本、雑誌、新聞等である。シナリオ記述ファイル管理装置１０、ユーザ指示認識装置２０及びテレビ（ＴＶ）３７０の構成は図１５に示す。なお、説明を簡易にするため、パーソナルコンピュータ（ＰＣ）３８０及びプリンタ３９０の構成については省略する。
図１５に示すように、テレビ（ＴＶ）３７０は、番組データ検索手段３７１を備えている。番組データ検索手段３７１は、キーワードや画像情報等からハードディスクドライブ等に記憶された放送番組の番組データを検索するものである。
その他の構成は、第１実施形態の構成と同様であり、同一の構成には同一の符号を付して、重複した説明は省略する。
その他の構成は、第１実施形態の構成と同様であり、同一の構成には同一の符号を付して、重複した説明は省略する。
次に、第３実施形態のシナリオ記述ファイルについて説明する。
図１６に示すように、シナリオ記述ファイル２Ｃは、紙媒体４２ｇ、テキストデータ４２ｈ、画像情報４２ｉが追加されている。また、使用機器及び情報機器用シナリオコード３２は、テレビ（ＴＶ）用、パーソナルコンピュータ（ＰＣ）及びプリンタ用がある。
紙媒体４２ｇは、ユーザが指した紙媒体の内容を特定するための情報である。テキストデータ４２ｈは、ユーザが指した紙媒体の文字情報を特定するための情報である。画像情報４２ｉは、ユーザが指した紙媒体の画像情報を特定するための情報である。
図１６に示すように、シナリオ記述ファイル２Ｃは、紙媒体４２ｇ、テキストデータ４２ｈ、画像情報４２ｉが追加されている。また、使用機器及び情報機器用シナリオコード３２は、テレビ（ＴＶ）用、パーソナルコンピュータ（ＰＣ）及びプリンタ用がある。
紙媒体４２ｇは、ユーザが指した紙媒体の内容を特定するための情報である。テキストデータ４２ｈは、ユーザが指した紙媒体の文字情報を特定するための情報である。画像情報４２ｉは、ユーザが指した紙媒体の画像情報を特定するための情報である。
[ネットワークシステム１Ｃの動作の詳細]
次に、本実施形態に係るネットワークシステム１Ｃにおける各機器間の動作の流れを詳述する。
なお、説明を簡易にするため、パーソナルコンピュータ（ＰＣ）３８０及びプリンタ３９０の動作の流れについては、説明を省略する。
次に、本実施形態に係るネットワークシステム１Ｃにおける各機器間の動作の流れを詳述する。
なお、説明を簡易にするため、パーソナルコンピュータ（ＰＣ）３８０及びプリンタ３９０の動作の流れについては、説明を省略する。
図１７に示すように、ステップＳ３０１乃至ステップＳ３０３は、図７のステップＳ１０１乃至ステップＳ１０３と同様であるため、説明を省略する。
ステップＳ３０４において、シナリオ記述ファイル管理装置１０のシナリオ供給手段１５は、設定されたシナリオ記述ファイル２Ｃからテレビ（ＴＶ）用シナリオ記述ファイルを抽出し、テレビ（ＴＶ）３７０に送信する。また、シナリオ供給手段１５は、シナリオ記述ファイル２Ｃに記述された認識識別コード５２及び認識識別メタデータ４２を、ユーザ指示認識装置２０に送信する。ここでは、認識識別コード５２は、「Ｍ３」であり、認識識別メタデータ４２は、「Ｐｓｔｏｐ」、「Ｔｘｔ」、「Ｉｍｇ」などである。
ステップＳ３０４において、シナリオ記述ファイル管理装置１０のシナリオ供給手段１５は、設定されたシナリオ記述ファイル２Ｃからテレビ（ＴＶ）用シナリオ記述ファイルを抽出し、テレビ（ＴＶ）３７０に送信する。また、シナリオ供給手段１５は、シナリオ記述ファイル２Ｃに記述された認識識別コード５２及び認識識別メタデータ４２を、ユーザ指示認識装置２０に送信する。ここでは、認識識別コード５２は、「Ｍ３」であり、認識識別メタデータ４２は、「Ｐｓｔｏｐ」、「Ｔｘｔ」、「Ｉｍｇ」などである。
ステップＳ３０５において、ユーザ指示認識装置２０は、シナリオ記述ファイル管理装置１０から送信された認識識別コード５２及び認識識別メタデータ４２を受信する。また、テレビ（ＴＶ）３７０は、テレビ（ＴＶ）用シナリオ記述ファイルを受信する。
ステップＳ３０６において、ユーザ指示認識装置２０の認識識別コード記憶手段２４は、ユーザが登録したユーザの指示である動作等やユーザ識別のための情報を認識識別コードと対応させて記憶する。本実施形態では例えば、「紙媒体を指す」というユーザの動作と認識識別コード「Ｍ３」を対応させる。
ステップＳ３０６において、ユーザ指示認識装置２０の認識識別コード記憶手段２４は、ユーザが登録したユーザの指示である動作等やユーザ識別のための情報を認識識別コードと対応させて記憶する。本実施形態では例えば、「紙媒体を指す」というユーザの動作と認識識別コード「Ｍ３」を対応させる。
ステップＳ３０７において、ユーザ指示認識装置２０のユーザ指示取得手段２１は、ユーザの動作等を監視する。テレビ（ＴＶ）３７０の判定手段３１６は、認識識別コードがユーザ指示認識装置２０から送信されているか否かを常時判定する。
ステップＳ３０８において、ユーザ指示認識装置２０のユーザ指示取得手段２１は、ユーザの動作である「紙媒体を指す」の動画データを取得する。
ユーザ指示解析手段２２は、ステップＳ１０８と同様にして、ユーザの指示に対応する認識識別コードが「Ｍ３」であることを特定する。また、ユーザ指示解析手段２２は、ユーザが指した紙媒体の内容「Ｐｓｔｏｐ」、紙媒体の文字情報「Ｔｘｔ」、紙媒体の画像情報「Ｉｍｇ」、ユーザが紙媒体４００の次に指した方向「Ｐｅｎｄ」などの値を生成する。紙媒体の内容を特定する方法としては、紙媒体に付随したバーコードやＱＲコードを読み取る方法や、画像認識技術を用いて、紙媒体中の文字情報、人物情報、物体情報などをその紙媒体を撮影した画像から自動的に認識して内容を推定する方法がある。
ステップＳ３０８において、ユーザ指示認識装置２０のユーザ指示取得手段２１は、ユーザの動作である「紙媒体を指す」の動画データを取得する。
ユーザ指示解析手段２２は、ステップＳ１０８と同様にして、ユーザの指示に対応する認識識別コードが「Ｍ３」であることを特定する。また、ユーザ指示解析手段２２は、ユーザが指した紙媒体の内容「Ｐｓｔｏｐ」、紙媒体の文字情報「Ｔｘｔ」、紙媒体の画像情報「Ｉｍｇ」、ユーザが紙媒体４００の次に指した方向「Ｐｅｎｄ」などの値を生成する。紙媒体の内容を特定する方法としては、紙媒体に付随したバーコードやＱＲコードを読み取る方法や、画像認識技術を用いて、紙媒体中の文字情報、人物情報、物体情報などをその紙媒体を撮影した画像から自動的に認識して内容を推定する方法がある。
さらに、ユーザ指示解析手段２２は、文字情報「Ｔｘｔ」や画像情報「Ｉｍｇ」から検索に使用するキーワードやオブジェクトを抽出する。さらに、ユーザ指示解析手段２２は、「Ｐｅｎｄ」からターゲット機器を特定し、ターゲット機器ＩＤを生成する。本実施形態では、ターゲット機器はテレビ（ＴＶ）３７０である。
そして、ユーザ指示認識装置２０の送受信手段１７は、認識識別コード「Ｍ３」及びこれに付随する認識識別メタデータ「Ｐｓｔｏｐ」、「Ｔｘｔ」、「Ｉｍｇ」、「Ｐｅｎｄ」及びキーワード等並びにターゲット機器ＩＤなどをネットワークに接続されたすべての情報機器に送信する。
そして、ユーザ指示認識装置２０の送受信手段１７は、認識識別コード「Ｍ３」及びこれに付随する認識識別メタデータ「Ｐｓｔｏｐ」、「Ｔｘｔ」、「Ｉｍｇ」、「Ｐｅｎｄ」及びキーワード等並びにターゲット機器ＩＤなどをネットワークに接続されたすべての情報機器に送信する。
ステップＳ３０９において、テレビ（ＴＶ）３７０の判定手段３１６は、受信した認識識別コード「Ｍ３」がテレビ（ＴＶ）用シナリオ記述ファイルに記述された認識識別コード「Ｍ３」と一致すると判定する。なお、認識識別コードが一致しない場合には、ステップＳ３０７に戻る。
ステップＳ３１０において、テレビ（ＴＶ）３７０のシナリオ実行手段３１７は、受信した認識識別コードと認識識別メタデータを解析し、ターゲット機器が自己であることを認知し、また、キーワード等を取得する。
ステップＳ３１０において、テレビ（ＴＶ）３７０のシナリオ実行手段３１７は、受信した認識識別コードと認識識別メタデータを解析し、ターゲット機器が自己であることを認知し、また、キーワード等を取得する。
ステップＳ３１１において、テレビ（ＴＶ）３７０のシナリオ実行手段３１７は、番組データ検索手段３７１に、取得したキーワード等を基に、番組データを検索させる。
ステップＳ３１２において、テレビ（ＴＶ）３７０の動画像表示手段３１１は、検索結果を表示する。
ステップＳ３１３において、テレビ（ＴＶ）３７０は、アイドリング状態に戻る。すなわち、ステップＳ３０７に戻る。
ステップＳ３１２において、テレビ（ＴＶ）３７０の動画像表示手段３１１は、検索結果を表示する。
ステップＳ３１３において、テレビ（ＴＶ）３７０は、アイドリング状態に戻る。すなわち、ステップＳ３０７に戻る。
以上の動作によって、ネットワークシステム１Ｃは、ユーザが紙媒体を指し、次にテレビ（ＴＶ）を指すと、紙媒体の内容に関連する番組情報が検索されテレビ（ＴＶ）に表示される動作を実現することができる。
なお、本実施形態では、ユーザが紙媒体４００を指し、次にテレビ（ＴＶ）３７０を指すと、紙媒体の内容に関連する番組情報が検索されテレビ（ＴＶ）３７０に表示される場合について説明したが、ユーザが紙媒体４００を指し、次にパーソナルコンピュータ（ＰＣ）３８０を指すと、パーソナルコンピュータ（ＰＣ）３８０がインターネットで関連情報を検索し、パーソナルコンピュータ（ＰＣ）３８０が検索結果を表示するとしてもよい。あるいは、ユーザが紙媒体４００を指し、次にプリンタ３９０を指すと、紙媒体４００の画像情報をプリンタ３９０がプリントするとしてもよい。
以上、本発明の実施形態に係るネットワークシステム１の構成および動作について説明したが、本発明はこの実施形態に限定されるものではない。第１実施形態から第３実施形態に挙げた実施形態はあくまでも例示であって、シナリオ記述ファイルに予め記述すれば、他にも様々な動作が考えられる。
なお、これらの実施形態は、シナリオ記述ファイル２Ａから２Ｃをシナリオ記述ファイル管理装置１０に設定し、２つ以上をアクティブにして共存することも可能である。ユーザ指示認識装置が、Ｓ１０８、Ｓ２０８、Ｓ３０８の直後にユーザの動作等を監視し、一の認識識別コードに対応する処理の実行中に、他の認識識別コードがネットワークに流れたときは、ユーザにその旨を知らせることとしてもよい。
なお、これらの実施形態は、シナリオ記述ファイル２Ａから２Ｃをシナリオ記述ファイル管理装置１０に設定し、２つ以上をアクティブにして共存することも可能である。ユーザ指示認識装置が、Ｓ１０８、Ｓ２０８、Ｓ３０８の直後にユーザの動作等を監視し、一の認識識別コードに対応する処理の実行中に、他の認識識別コードがネットワークに流れたときは、ユーザにその旨を知らせることとしてもよい。
また、第１実施形態から第３実施形態では、認識識別コードに付随して認識識別メタデータを使用しているが、認識識別メタデータは必ずしも必要でない場合がある。例えば、「指をならすと、特定の照明機器がＯＮ／ＯＦＦする」という動作の場合について説明する。予めシナリオ記述ファイルに特定の照明機器ＩＤを記述しておき、ユーザは、ユーザの指示である「指をならす」という動作と認識識別コードとを対応させる。ユーザの指示があると、ユーザ指示認識装置は、予め定められた特定の照明機器へ当該認識識別コードを送信し、当該照明機器は、ＯＮ／ＯＦＦの動作をする。この場合は、認識識別メタデータは必ずしも必要でない。
また、ユーザ指示認識装置２０の送受信手段１７は、認識識別コード及びこれに付随する認識識別メタデータをネットワークに接続されたすべての情報機器に送信するとしたが、当該認識識別コードに関連する情報機器のみに送信してもよい。
また、ユーザ指示認識装置は、撮像装置が１台である場合に限られない。複数台によって認識識別コードを認知してもよい。
また、ユーザ指示認識装置２０の送受信手段１７は、認識識別コード及びこれに付随する認識識別メタデータをネットワークに接続されたすべての情報機器に送信するとしたが、当該認識識別コードに関連する情報機器のみに送信してもよい。
また、ユーザ指示認識装置は、撮像装置が１台である場合に限られない。複数台によって認識識別コードを認知してもよい。
また、シナリオ記述ファイルがシナリオ記述ファイル管理装置に設定されたときに、当該シナリオ記述ファイルに記述された動作が実現できるネットワーク環境か否かを判定する機能をシナリオ記述ファイル管理装置に備えても良い。新たに情報機器が追加、削除されたときも同様にシナリオ記述ファイル管理装置が認知して、シナリオ記述ファイルに記述された動作が実現できるネットワーク環境か否かを判定してもよい。
また、ユーザ指示認識装置やシナリオ記述ファイル管理装置が別々の装置として成立する場合に限られず、１つの装置において両装置の機能が成立することとしてもよい。ユーザ指示認識装置又はシナリオ記述ファイル管理装置の機能が、２つ以上の装置によって成立してもよい。
１ ネットワークシステム
２Ａ シナリオ記述ファイル
２Ｂ シナリオ記述ファイル
２Ｃ シナリオ記述ファイル
３Ａ 情報機器用シナリオ記述ファイル
３Ａａ テレビ（ＴＶ）用シナリオ記述ファイル
３Ａｂ パーソナルコンピュータ（ＰＣ）用シナリオ記述ファイル
３Ａｃ プリンタ用シナリオ記述ファイル
１０ シナリオ記述ファイル管理装置
１３ シナリオ記述ファイル記憶手段
１４ 更新手段
１５ シナリオ供給手段
１７ 送受信手段
２０ ユーザ指示認識装置
２２ ユーザ指示解析手段
２３ 探索手段
２４ 認識識別コード記憶手段
３０ 使用機器及び情報機器用シナリオコード
３１ 使用機器及び情報機器用シナリオコード
３２ 使用機器及び情報機器用シナリオコード
４０ 認識識別メタデータ
５０ 認識識別コード
２１０ ユーザ指示認識装置
２２０ ユーザ指示認識装置
３００ 情報機器
３１１ 動画像表示手段
３１３ シナリオ記憶手段
３１６ 判定手段
３１７ シナリオ実行手段
３２５ インターネット検索手段
３６１ 動画像記憶手段
３７１ 番組データ検索手段
４００ 紙媒体
２Ａ シナリオ記述ファイル
２Ｂ シナリオ記述ファイル
２Ｃ シナリオ記述ファイル
３Ａ 情報機器用シナリオ記述ファイル
３Ａａ テレビ（ＴＶ）用シナリオ記述ファイル
３Ａｂ パーソナルコンピュータ（ＰＣ）用シナリオ記述ファイル
３Ａｃ プリンタ用シナリオ記述ファイル
１０ シナリオ記述ファイル管理装置
１３ シナリオ記述ファイル記憶手段
１４ 更新手段
１５ シナリオ供給手段
１７ 送受信手段
２０ ユーザ指示認識装置
２２ ユーザ指示解析手段
２３ 探索手段
２４ 認識識別コード記憶手段
３０ 使用機器及び情報機器用シナリオコード
３１ 使用機器及び情報機器用シナリオコード
３２ 使用機器及び情報機器用シナリオコード
４０ 認識識別メタデータ
５０ 認識識別コード
２１０ ユーザ指示認識装置
２２０ ユーザ指示認識装置
３００ 情報機器
３１１ 動画像表示手段
３１３ シナリオ記憶手段
３１６ 判定手段
３１７ シナリオ実行手段
３２５ インターネット検索手段
３６１ 動画像記憶手段
３７１ 番組データ検索手段
４００ 紙媒体
Claims (4)
- ネットワークに接続された情報機器を備えるネットワークシステムであって、
前記ネットワークに接続された少なくとも１つ以上の情報機器と、
前記情報機器の動作を制御するために予め定められた手順を記述したシナリオ記述ファイルを管理するシナリオ記述ファイル管理装置と、
ユーザの指示に基づいて、前記ユーザの指示に対応する認識識別コードを前記予め定められた情報機器に届くように送信するユーザ指示認識装置と、を備え、
前記シナリオ記述ファイル管理装置は、前記シナリオ記述ファイルを記憶するシナリオ記述ファイル記憶手段と、前記シナリオ記述ファイルのうち予め定められた情報機器に係る部分である情報機器用シナリオ記述ファイルを当該情報機器に送信するとともに、前記情報機器用シナリオ記述ファイルに記述された認識識別コードを前記ユーザ指示認識装置に送信するシナリオ供給手段と、を備え、
前記情報機器は、前記シナリオ記述ファイル管理装置から送信された前記情報機器用シナリオ記述ファイルを記憶するシナリオ記憶手段と、前記ユーザ指示認識装置が送信した認識識別コードを受信する受信手段と、前記受信手段が受信した認識識別コードが、前記シナリオ記憶手段に記憶された情報機器用シナリオ記述ファイルに記述された認識識別コードと一致するか否かを判定する判定手段と、前記判定手段が一致すると判定した場合に、前記シナリオ記憶手段に記憶された情報機器用シナリオ記述ファイルを実行するシナリオ実行手段と、を備え、
前記ユーザ指示認識装置は、前記シナリオ記述ファイル管理装置から送信された認識識別コードとユーザの指示とを対応させて記憶する認識識別コード記憶手段と、ユーザの指示に基づいて前記ユーザの指示に対応した認識識別コードを前記認識識別コード記憶手段から探索する探索手段と、前記探索手段により探索された認識識別コードを前記予め定められた情報機器に届くように送信する送信手段と、を備え、
前記シナリオ記述ファイル管理装置の前記シナリオ供給手段は、前記情報機器用シナリオ記述ファイルに記述された認識識別コードの他に、前記情報機器用シナリオ記述ファイルに記述された情報機器用シナリオコードを実行するための変数を記述した認識識別メタデータを、前記ユーザ指示認識装置に送信し、
前記ユーザ指示認識装置は、前記認識識別メタデータに対応する値を生成し、前記値を前記認識識別メタデータに代入するユーザ指示解析手段をさらに備え、
前記ユーザ指示認識装置の前記送信手段は、前記探索手段により探索された認識識別コード及び前記値が代入された認識識別メタデータを前記予め定められた情報機器に届くように送信する
ことを特徴とするネットワークシステム。 - 前記シナリオ記述ファイル管理装置は、前記シナリオ記述ファイル記憶手段に記憶されたシナリオ記述ファイルを追加、変更または削除する更新手段をさらに備えることを特徴とする請求項１に記載のネットワークシステム。
- ネットワークに接続された少なくとも１つ以上の予め定められた情報機器の動作を制御するために予め定められた手順を記述したシナリオ記述ファイルを管理するシナリオ記述ファイル管理装置と、ユーザの指示に対応する認識識別コードを前記予め定められた情報機器に届くように送信するユーザ指示認識装置と、を前記ネットワークに接続して備えたネットワークシステムにおいて、前記シナリオ記述ファイルを記憶するシナリオ記述ファイル記憶手段を備えた前記シナリオ記述ファイル管理装置を制御するために、前記シナリオ記述ファイル管理装置のコンピュータを、
前記シナリオ記述ファイルのうち予め定められた情報機器に係る部分である情報機器用シナリオ記述ファイルを当該情報機器に送信するとともに、前記情報機器用シナリオ記述ファイルに記述された認識識別コードを前記ユーザ指示認識装置に送信するシナリオ供給手段、
として機能させ、
前記シナリオ供給手段は、前記情報機器用シナリオ記述ファイルに記述された認識識別コードの他に、前記情報機器用シナリオ記述ファイルに記述された情報機器用シナリオコードを実行するための変数を記述した認識識別メタデータを、前記ユーザ指示認識装置に送信する
ことを特徴とするシナリオ記述ファイル管理装置制御プログラム。 - ネットワークに接続された少なくとも１つ以上の予め定められた情報機器の動作を制御するために予め定められた手順を記述したシナリオ記述ファイルを管理するシナリオ記述ファイル管理装置と、ユーザの指示に対応する認識識別コードを前記予め定められた情報機器に届くように送信するユーザ指示認識装置と、を前記ネットワークに接続して備えたネットワークシステムにおいて、前記シナリオ記述ファイル管理装置から送信された認識識別コードとユーザの指示とを対応させて記憶する認識識別コード記憶手段を備えた前記ユーザ指示認識装置を制御するために、前記ユーザ指示認識装置のコンピュータを、
ユーザの指示に基づいて前記ユーザの指示に対応した認識識別コードを前記認識識別コード記憶手段から探索する探索手段、
前記シナリオ記述ファイル管理装置から送信された、前記シナリオ記述ファイルのうち予め定められた情報機器に係る部分である情報機器用シナリオ記述ファイルに記述された情報機器用シナリオコードを実行するための変数を記述した認識識別メタデータに対応する値を生成し、前記値を前記認識識別メタデータに代入するユーザ指示解析手段、
前記探索手段により探索された認識識別コード及び前記値が代入された認識識別メタデータを前記予め定められた情報機器に届くように送信する送信手段、
として機能させることを特徴とするユーザ指示認識装置制御プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010110090A JP5491955B2 (ja) | 2010-05-12 | 2010-05-12 | ネットワークシステム、シナリオ記述ファイル管理装置制御プログラム及びユーザ指示認識装置制御プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010110090A JP5491955B2 (ja) | 2010-05-12 | 2010-05-12 | ネットワークシステム、シナリオ記述ファイル管理装置制御プログラム及びユーザ指示認識装置制御プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011238095A JP2011238095A (ja) | 2011-11-24 |
| JP5491955B2 true JP5491955B2 (ja) | 2014-05-14 |
Family
ID=45325991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010110090A Expired - Fee Related JP5491955B2 (ja) | 2010-05-12 | 2010-05-12 | ネットワークシステム、シナリオ記述ファイル管理装置制御プログラム及びユーザ指示認識装置制御プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5491955B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103019555B (zh) | 2012-11-19 | 2016-06-01 | 中兴通讯股份有限公司 | 转移播放的数字媒体内容切回方法、装置及系统 |
| CN102984592B (zh) * | 2012-12-05 | 2018-10-19 | 中兴通讯股份有限公司 | 一种数字媒体内容播放转移的方法、装置和系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002354555A (ja) * | 2001-05-23 | 2002-12-06 | Matsushita Electric Ind Co Ltd | 機器制御装置及び電子機器 |
| JP4640900B2 (ja) * | 2001-07-04 | 2011-03-02 | シャープ株式会社 | 情報中継装置、情報提示装置、情報提示装置の連携システム、情報中継装置の制御方法、情報提示装置の制御方法、情報提示プログラムならびにそれを記録したコンピュータ読み取り可能な記録媒体 |
| JP2003022224A (ja) * | 2001-07-09 | 2003-01-24 | Fujitsu Ltd | ネットワークを介して相互接続された複数の機器の連携動作の制御 |
| JP2003125472A (ja) * | 2001-10-16 | 2003-04-25 | Nippon Hoso Kyokai <Nhk> | 電化製品制御方法および電化製品制御装置ならびに電化製品制御システムプログラム |
| JP2008066775A (ja) * | 2006-09-04 | 2008-03-21 | Funai Electric Co Ltd | リモコン装置およびリモコン制御システム |
-
2010
- 2010-05-12 JP JP2010110090A patent/JP5491955B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011238095A (ja) | 2011-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5791605B2 (ja) | メタデータのタグ付けシステム、イメージ検索方法、デバイス及びそれに適用されるジェスチャーのタグ付け方法 | |
| JP2009093208A (ja) | 画像形成システム、情報処理装置、管理装置、画像形成装置、データ処理方法、記憶媒体、プログラム | |
| JP2010086194A (ja) | シェア画像閲覧方法および装置 | |
| JP7035840B2 (ja) | 情報処理装置、情報処理システム及び遠隔共有方法 | |
| CN109895092B (zh) | 信息处理装置、信息处理方法以及计算机可读介质 | |
| JP2002170119A (ja) | 画像認識装置、画像認識方法及び記録媒体 | |
| JP5491955B2 (ja) | ネットワークシステム、シナリオ記述ファイル管理装置制御プログラム及びユーザ指示認識装置制御プログラム | |
| JP2008258696A (ja) | ユーザインタフェース画面カスタマイズ装置、画面表示制御装置及びプログラム | |
| JP2008217660A (ja) | 検索方法、および装置 | |
| JP6965704B2 (ja) | 情報処理装置、プログラム及び制御方法 | |
| JP6257040B2 (ja) | カラオケシステム、携帯型情報処理装置及びプログラム | |
| JP5376689B2 (ja) | 情報処理装置、装置検索方法、装置検索支援方法および記録媒体 | |
| JP2009258914A (ja) | 情報処理装置及びプログラム、情報処理システム | |
| JP6641732B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP7077585B2 (ja) | 情報処理システム、情報処理装置およびプログラム | |
| JP2007213350A (ja) | 情報像処理装置及び情報像処理方法。 | |
| JP2009100217A (ja) | ネットワーク機器判別管理システム及び判別管理方法 | |
| CN110741652A (zh) | 具有智能用户界面的显示设备 | |
| KR101759563B1 (ko) | 콘텐츠 요청 장치 및 방법과 콘텐츠 전송 장치 및 방법 | |
| JP6867541B1 (ja) | 画像表示装置及びプログラム | |
| JP7009956B2 (ja) | 情報処理装置、プログラム及び制御方法 | |
| JP7333027B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2009104609A (ja) | ホスト装置、クライアント装置、ホスト装置制御プログラム、ホスト装置制御方法 | |
| US20210019100A1 (en) | Preset information displaying method and information processing apparatus | |
| JP2007293655A (ja) | 文書処理装置、電子文書の出力処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130104 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130906 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140228 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5491955 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |