本発明の実施形態について、図面を参照しながら説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
[第1実施形態]
図1を参照して、本発明の第1実施形態に係る情報処理システム1について説明する。図1は、本発明の第1実施形態に係る情報処理システム1を示すブロック図である。
情報処理システム1は、例えば、会議に使用される。図1に示すように、情報処理システム1は、サーバ2と、アクセスポイント3と、複数の端末機器Aと、スマートスピーカ6と、表示機器7とを備える。第1実施形態では、複数の端末機器Aは、第1端末機器4と、第2端末機器5とで構成される。
サーバ2は、例えば、ユーザーが発声した音声に所定のキーワードが含まれる場合、ユーザーが発声した音声に応じて表示機器7の表示画面を切り替える。なお、以下の説明において、ユーザーが発声した音声を、「ユーザー音声」と記載する場合がある。
サーバ2は、本発明の情報処理装置の一例である。
アクセスポイント3は、インターネット回線8とLAN(Local Area Network)ケーブル9とを接続する。LANケーブル9には、第1端末機器4、第2端末機器5、及び表示機器7が接続される。サーバ2は、インターネット回線8、アクセスポイント3、及びLANケーブル9を介して、第1端末機器4、及び第2端末機器5の各々との間で通信を行う。なお、サーバ2は、表示機器7とは、通信可能に接続されていない。
アクセスポイント3は、無線LANを介してスマートスピーカ6と接続される。サーバ2は、インターネット回線8、アクセスポイント3、及び無線LANを介して、スマートスピーカ6との間で通信を行う。
なお、アクセスポイント3は、無線LANを介して第1端末機器4、及び第2端末機器5の各々に接続されてもよいし、LANケーブル9を介してスマートスピーカ6に接続されてもよい。
第1端末機器4及び第2端末機器5の各々は、情報処理装置である。第1端末機器4及び第2端末機器5は、表示機器7に接続されて、表示機器7に画像データを出力する。
第1端末機器4及び第2端末機器5は、画像データを出力できる限り、特に限定されない。第1実施形態において、第1端末機器4及び第2端末機器5は、PC(パーソナルコンピューター)である。
第1実施形態では、情報処理システム1は、第1端末機器4及び第2端末機器5からなる2つの端末機器Aを備える。しかし、本発明はこれに限定されない。情報処理システム1は、3つ以上の端末機器Aを備えていてもよい。
端末機器Aは、PCに限定されない。端末機器Aは、表示機器7に対して画像データ、及び/又は、音声データのような情報を送信できる機器であればよい。端末機器Aは、例えば、DVDプレイヤー、又は、オーディオプレイヤーでもよい。
スマートスピーカ6は、ユーザーが発声した音声を集音し、集音した音声を音声データ(デジタルデータ)に変換して、サーバ2へ送信する。また、スマートスピーカ6は、サーバ2から受信した音声データ(デジタルデータ)に基づいて音声を出力する。
スマートスピーカ6は、本発明の受付装置の一例である。
表示機器7は、端末機器Aから受信した情報を出力する。第1実施形態では、表示機器7は、画像を表示する。表示機器7は、複数の入力端子Bを備える。第1実施形態では、複数の入力端子Bは、第1入力端子71と、第2入力端子72とで構成される。複数の入力端子Bは、本発明の入力部の一例である。
第1入力端子71及び第2入力端子72には、画像データ、及び/又は、音声データを送信できる機器が接続される。第1入力端子71及び第2入力端子72は、例えば、D-SUB端子、HDMI(登録商標)端子、又はDisplayportである。
第1実施形態では、第1入力端子71には第1端末機器4が接続される。第2入力端子72には第2端末機器5が接続される。第1実施形態では、表示機器7は、第1入力端子71、及び第2入力端子72のうちのいずれかの入力端子Bを活性化させ、活性化させた入力端子Bが受信した画像データが示す画像を表示する。
表示機器7は、活性化端子に接続された端末機器Aが活性化端子に送信する情報を出力する。表示機器7は、非活性化端子に接続された端末機器Aが非活性化端子に送信する情報を出力しない。活性化端子は、複数の端末機器Aのうち、活性化された端末機器Aを示す。非活性化端子は、複数の端末機器Aのうち、活性化されていない端末機器Aを示す。活性化端子に接続されることは、本発明の、入力部に信号を入力可能に接続されることの一例である。非活性化端子に接続されることは、本発明の、入力部に信号を入力不能に接続されることの一例である。
表示機器7は、本発明の出力機器の一例である。
次に、図1及び図2を参照して、サーバ2について説明する。図2は、サーバ2を示すブロック図である。図2に示すように、サーバ2は、通信部21と、音声認識部22と、記憶部23と、制御部24とを備える。
通信部21は、インターネット回線8に接続される。例えば、通信部21は、LANボード又はLANモジュールを備える。通信部21は、第1端末機器4、第2端末機器5、及びスマートスピーカ6と通信する。
音声認識部22は、スマートスピーカ6から受信した音声データを音声認識技術によりテキストデータに変換する。音声認識部22は、例えば、音声認識LSI(Large Scale Integration)を備える。
記憶部23は、例えばRAM(Random Access Memory)、及びROM(Read Only Memory)のような半導体メモリーを備える。さらに、記憶部23は、HDD(Hard Disk Drive)のようなストレージデバイスを備える。記憶部23は、制御部24が実行する制御プログラムを記憶する。記憶部23は、サーバテーブル231を記憶する。サーバテーブル231の説明は後述する。
制御部24は、例えばCPU(Central Processing Unit)又はMPU(Micro Processing Unit)のようなプロセッサを備える。また、制御部24(コンピューター)は、記憶部23に記憶された制御プログラム(コンピュータープログラム)に基づいて、サーバ2の動作を制御する。
以上、図1及び図2を参照して、サーバ2について説明した。なお、図2に示すサーバ2は音声認識部22を備えたが、制御部24が音声認識部22の機能を有してもよい。この場合、音声認識部22は省略される。
次に、図1及び図3を参照して、第1端末機器4について説明する。図3は、第1端末機器4を示すブロック図である。
図3に示すように、第1端末機器4は、第1出力端子41と、第1通信部42と、第1操作部43と、第1表示部44と、第1記憶部45と、第1制御部46とを備える。
第1出力端子41は、画像データを出力する。第1出力端子41は、表示機器7の第1入力端子71に接続される。第1出力端子41は、例えば、D-SUB端子、HDMI(登録商標)端子、又はDisplayportである。表示機器7の第1入力端子71が活性化している場合、第1出力端子41から出力された画像が表示機器7によって表示される。
第1通信部42は、LANケーブル9に接続される。第1通信部42は、例えば、LANボード又はLANモジュールを備える。第1通信部42は、サーバ2との間の通信を制御する。また、第1通信部42は、第2端末機器5、及び表示機器7との間の通信を制御する。
第1操作部43は、第1端末機器4に対する外部からの指示を受け付ける。第1操作部43は、ユーザーによって操作されて、ユーザーからの指示を受け付ける。第1操作部43は、ユーザーの操作に応じた信号を第1制御部46に出力する。その結果、第1端末機器4は、第1操作部43が受け付けた操作に応じた動作を行う。第1操作部43は、例えば、ポインティングデバイスと、キーボードとを備える。なお、第1操作部43は、タッチセンサを備えてもよい。タッチセンサは、第1表示部44の表示面に重畳される。
第1表示部44は、各種の情報を表示する。第1表示部44は、例えば、液晶ディスプレー又は有機EL(electroluminescence)ディスプレーである。なお、タッチセンサが第1表示部44の表示面に重畳される場合、第1表示部44は、タッチディスプレーとして機能する。
第1記憶部45は、例えばRAM及びROMのような半導体メモリーを備える。さらに、第1記憶部45は、HDDのようなストレージデバイスを備える。第1記憶部45は、第1制御部46が実行する制御プログラムを記憶する。
第1制御部46は、例えばCPUのようなプロセッサを備える。また、第1制御部46(コンピューター)は、第1記憶部45に記憶された制御プログラム(コンピュータープログラム)に基づいて、第1端末機器4の動作を制御する。
次に、図3及び図4を参照して、第2端末機器5について説明する。図4は、第2端末機器5を示すブロック図である。
図3及び図4に示すように、第2端末機器5は、第2出力端子51と、第2通信部52と、第2操作部53と、第2表示部54と、第2記憶部55と、第2制御部56とを備える。
第2出力端子51は、第1出力端子41と同様の構成を有し、表示機器7の第2入力端子72に接続される。第2通信部52は、第1通信部42と同様の構成を有し、LANケーブル9に接続される。第2操作部53は、第1操作部43と同様の構成を有し、第2端末機器5に対する外部からの指示を受け付ける。第2表示部54は、第1表示部44と同様の構成を有し、各種の情報を表示する。第2記憶部55は、第1記憶部45と同様の構成を有し、第2制御部56が実行する制御プログラムを記憶する。第2制御部56は、第1制御部46と同様の構成を有し、第2端末機器5の動作を制御する。
次に、図1及び図5を参照して、スマートスピーカ6について説明する。図5は、スマートスピーカ6を示すブロック図である。
図5に示すように、スマートスピーカ6は、通信部61と、音声入力部62と、音声出力部63と、撮像部64と、記憶部65と、制御部66とを備える。
通信部61は、アクセスポイント3に接続される。通信部61は、サーバ2との間の通信を制御する。
通信部61は、音声データをサーバ2に送信する。また、通信部61は、サーバ2から音声データを受信する。通信部61は、例えば、無線LANボード又は無線LANモジュールである。
音声入力部62は、ユーザーが発声した音声を集音して、アナログ電気信号に変換する。アナログ電気信号は、制御部66に入力される。音声入力部62は、例えば、マイクロフォンである。音声出力部63は、サーバ2から受信した音声データに対応する音声を出力する。音声出力部63は、例えば、スピーカである。
撮像部64は、表示機器7が表示する画像を撮像する。撮像部64は、例えば、デジタルカメラを含む。
記憶部65は、例えば、RAM及びROMのような半導体メモリーを備える。記憶部65はさらに、HDDのようなストレージデバイスを備えてもよい。記憶部65は、制御部66が実行する制御プログラムを記憶する。
制御部66は、例えば、CPU又はMPUのようなプロセッサを備える。また、制御部66(コンピューター)は、記憶部65に記憶された制御プログラム(コンピュータープログラム)に基づいて、スマートスピーカ6の動作を制御する。
次に、図1及び図6を参照して、表示機器7について説明する。図6は、表示機器7を示すブロック図である。
図1及び図6に示すように、表示機器7は、第1入力端子71と、第2入力端子72とに加えて、通信部73と、入力端子切替部74と、表示部75と、記憶部77と、制御部78とを備える。
通信部73は、LANケーブル9に接続される。通信部73は、例えば、LANボード又はLANモジュールを備える。通信部73は、第1端末機器4及び第2端末機器5との間の通信を制御する。
入力端子切替部74は、第1入力端子71、及び第2入力端子72のうちのいずれか1つの入力端子Bを選択して活性化させる。
表示部75は、第1入力端子71、及び第2入力端子72のうち活性化した入力端子Bが受信する画像を表示する。表示部75は、例えば、液晶ディスプレー又は有機ELディスプレーである。なお、表示部75は、タッチセンサを備え得る。換言すると、表示部75は、タッチディスプレーであり得る。
操作部76は、表示機器7に対する外部からの指示を受け付ける。操作部76は、ユーザーによって操作されて、ユーザーからの指示を受け付ける。操作部76は、ユーザーの操作に応じた信号を制御部78に出力する。その結果、表示機器7は、操作部76が受け付けた操作に応じた動作を行う。
操作部76は、例えば、リモコン、操作キー、及び/又はタッチパネルを含む。操作部76は、第1入力端子71、及び第2入力端子72のうち活性化させる入力端子Bの選択を受け付ける。ユーザーは、第1入力端子71、及び第2入力端子72のうち活性化させる入力端子Bを、操作部76を介して選択することができる。
記憶部77は、例えば、RAM及びROMのような半導体メモリーを備える。さらに、記憶部77は、HDDのようなストレージデバイスを備え得る。記憶部77は、制御部78が実行する制御プログラムを記憶する。
記憶部77は、機器テーブル771を記憶する。機器テーブル771の説明は後述する。
制御部78は、例えば、CPU又はMPUのようなプロセッサを備える。また、制御部78(コンピューター)は、記憶部77に記憶された制御プログラム(コンピュータープログラム)に基づいて、表示機器7の動作を制御する。
操作部76を介して第1入力端子71が選択されると、入力端子切替部74が第1入力端子71を活性化させるように、制御部78が入力端子切替部74を制御する。操作部76を介して第2入力端子72が選択されると、入力端子切替部74が第2入力端子72を活性化させるように、制御部78が入力端子切替部74を制御する。
次に、図7を参照して、図2に示すサーバテーブル231について説明する。図7は、サーバテーブル231を示す図である。サーバテーブル231は、サーバ2が、複数の端末機器Aを管理するためのテーブルである。
図7に示すように、サーバテーブル231は、情報処理装置IDを示す情報23aと、会議室IDを示す情報23bと、接続状態を示す情報23cとを含む。
サーバテーブル231は、端末機器A毎に、情報処理装置IDと、会議室IDと、接続状態とを対応付けた情報である。
情報処理装置IDは、複数の端末機器Aを互いに識別するための情報である。複数の端末機器Aの各々には、互いに異なる情報処理装置IDが予め割り当てられる。第1実施形態では、第1端末機器4の情報処理装置IDは、情報処理装置ID「123456」である。第2端末機器5の情報処理装置IDは、情報処理装置ID「123458」である。
会議室IDは、複数の端末機器Aの各々が設置された会議室を特定するための情報である。第1実施形態では、第1端末機器4と第2端末機器5とは、会議室ID「101」の会議室に設置される。
第1実施形態では、情報処理装置ID、及び会議室IDの各々は、数字である。しかし、本発明はこれに限定されない。情報処理装置ID、及び会議室IDの各々は、例えば、文字、数字、及びマークのうちの少なくとも1を含む記号でもよい。
接続状態は、入力端子Bに対する端末機器Aの接続状態を示す。端末機器Aの接続状態は、未接続状態、活性化状態、及び非活性化状態のうちのいずれか1つの状態を示す。
未接続状態は、端末機器Aが入力端子Bに未接続な状態を示す。この場合、端末機器Aから出力される画像は、表示機器7に表示されない。第1実施形態では、端末機器Aが未接続状態のとき、サーバテーブル231の接続状態の欄には、「Disconnect」と表示される。
活性化状態は、活性化されている入力端子Bに端末機器Aが接続されている状態を示す。この場合、端末機器Aから出力される画像は、表示機器7に表示される。第1実施形態では、端末機器Aが活性化状態のとき、サーバテーブル231の接続状態の欄には、「Displayed」と表示される。
非活性化状態は、活性化されていない入力端子Bに端末機器Aが接続されている状態を示す。この場合、端末機器Aから出力される画像は、表示機器7に表示されない。第1実施形態では、端末機器Aが非活性化状態のとき、サーバテーブル231の接続状態の欄には、「Connected」と表示される。
図7のサーバテーブル231では、第1端末機器4の接続状態が「Disconnected」であり、第2端末機器5の接続状態が「Connected」である。従って、サーバ2の制御部24は、サーバテーブル231に基づいて、第1端末機器4が入力端子Bと未接続であることを認識していると共に、第2端末機器5が活性化されていない入力端子Bと接続されていることを認識している。
サーバ2は、サーバテーブル231に基づいて、複数の端末機器Aの各々の接続状態を認識することができる。
次に、図8を参照して、図6に示す機器テーブル771について説明する。図8は、機器テーブル771を示す図である。機器テーブル771は、表示機器7が、入力端子Bに対する端末機器Aの接続状態を管理するためのテーブルである。
図8に示すように、機器テーブル771は、入力端子Bを示す情報77aと、接続装置IDを示す情報77bと、端子状態を示す情報77cとを含む。
機器テーブル771は、入力端子B毎に、接続装置IDと、端子状態とを対応付けた情報である。
接続装置IDは、入力端子Bに接続されている端末機器Aの情報処理装置IDを示す。
端子状態は、複数の入力端子Bの各々が活性化されているか否かを示す情報である。第1実施形態では、入力端子Bが活性化されているとき、機器テーブル771の端子状態の欄には、「〇」と表示される。入力端子Bが活性化されていないとき、機器テーブル771の端子状態の欄には、「×」と表示される。
ユーザーは、図6に示す操作部76を操作することにより、複数の入力端子Bの各々を、活性化させるか否かを選択することが可能である。
図8の機器テーブル771では、第1入力端子71の接続装置IDが「なし」であり、第1入力端子71の端子状態が「〇」である。従って、表示機器7の制御部78は、機器テーブル771に基づいて、第1入力端子71に端末機器Aが接続されておらず、かつ、第1入力端子71が活性化されていることを認識している。
また、図8の機器テーブル771では、第2入力端子72の接続装置IDが、第2端末機器5の情報処理装置ID「123458」であり、かつ、第2入力端子72の端子状態が「×」である。従って、表示機器7の制御部78は、機器テーブル771に基づいて、第2入力端子72に第2端末機器5が接続されているが、第2入力端子72が活性化されていないことを認識している。
表示機器7は、機器テーブル771に基づいて、接続情報を認識することができる。接続情報は、複数の端末機器Aのうち、どの端末機器Aが入力端子Bに接続されているかを示す情報である。機器テーブル771は、サーバ2の記憶部23に記憶されてもよい。この場合、機器テーブル771に含まれる情報は、表示機器7からサーバ2に送信される。
次に、図9から図12を参照して、情報処理システム1の第1処理について説明する。図9は、情報処理システム1の第1処理を示す第1フロー図である。図10は、情報処理システム1の第1処理を示す第2フロー図である。第1処理は、ユーザーの会議参加時に情報処理システム1が行う処理を示す。
第1実施形態では、第1処理の開始時において、サーバ2が図7に示すサーバテーブル231を有しており、かつ、表示機器7が図8に示す機器テーブル771を有している。
図9に示すように、ステップS200において、第1端末機器4の第1操作部43は、会議室ログイン情報を受け付ける。会議室ログイン情報は、端末機器Aをサーバ2に接続することを示す情報である。
ステップS201において、第1通信部42がサーバ2に会議室ログイン情報を送信するように、第1制御部46が第1通信部42を制御する。
ステップS100において、サーバ2の通信部21は、会議室ログイン情報を受信する。
ステップS202において、ユーザーは、表示機器7の第1入力端子71に第1端末機器4を接続する。第1実施形態では、第1端末機器4の第1出力端子41が、HDMI(登録商標)ケーブルを介して第1入力端子71と接続される。第1端末機器4が第1入力端子71に接続されると、第1出力端子41が表示機器7に対して第1端末機器4の情報処理装置IDを送信するように、第1制御部46が第1出力端子41を制御する。その結果、第1端末機器4から表示機器7に第1端末機器4の情報処理装置IDが送信される。
第1実施形態では、第1端末機器4の情報処理装置IDは、HDMI(登録商標)のCEC経由で第1端末機器4から表示機器7に送信される。
ステップS300において、表示機器7の第1入力端子71は、第1端末機器4の情報処理装置IDを受信する。
ステップS301において、制御部78は、図8に示す機器テーブル771を更新することで、第1更新後の機器テーブル771を生成する。
図11は、第1更新後の機器テーブル771を示す図である。
図11に示すように、第1更新後の機器テーブル771では、第1入力端子71の項目に、第1入力端子71の情報処理装置ID「123456」が追加される。具体的には、第1更新後の機器テーブル771では、第1入力端子71の接続装置IDの欄が、「なし」から、第1端末機器4の情報処理装置ID「123456」に変更される。
制御部78は、第1更新後の機器テーブル771に基づいて、活性化されている第1入力端子71に第1端末機器4が接続されていることを認識する。
図10及び図11に示すように、ステップS203において、第1通信部42が表示機器7に問い合わせ情報を送信するように、第1制御部46が第1通信部42を制御する。その結果、第1端末機器4から表示機器7に問い合わせ情報が送信される。第1実施形態では、LAN経由で問い合わせ情報が送信される。
問い合わせ情報は、入力端子Bに対する端末機器Aの接続状態を問い合わせる情報である。
ステップS302において、表示機器7の通信部73は、問い合わせ情報を受信する。
ステップS303において、制御部78は、図11に示す第1更新後の機器テーブル771に基づいて、問い合わせ情報に対する回答情報を生成する。回答情報は、第1更新後の機器テーブル771を示す情報である。
ステップS304において、通信部73が第1端末機器4に回答情報を送信するように、制御部78が通信部73を制御する。ステップS304に示す処理が終了すると、表示機器7の処理が終了する。
ステップS204において、第1端末機器4の第1通信部42が回答情報を受信する。
ステップS205において、第1通信部42がサーバ2に回答情報を送信するように、第1制御部46が第1通信部42を制御する。ステップS205に示す処理が終了すると、第1端末機器4の処理が終了する。
ステップS101において、サーバ2の通信部21が回答情報を受信する。つまり、サーバ2の通信部21は、第1端末機器4を介して表示機器7から回答情報を受信する。その結果、サーバ2は、回答情報に基づいて、活性化された第1入力端子71に第1端末機器4が接続されていることを認識する。また、サーバ2は、回答情報に基づいて、活性化されていない第2入力端子72に第2端末機器5が接続されていることを認識する。
ステップS102において、サーバ2の制御部24は、回答情報に基づいて図7に示すサーバテーブル231を更新することで、第1更新後のサーバテーブル231を生成する。
図12は、第1更新後のサーバテーブル231を示す図である。
図12に示すように、第1更新後のサーバテーブル231において、接続状態の欄が、ステップS303で表示機器7が生成した回答情報を反映した内容に更新される。第1更新後のサーバテーブル231では、第1端末機器4の接続状態の欄が、「Disconnect」から「Displayed」に変更されている。第2端末機器5の接続状態の欄は、「Connected」のままである。ステップS102に示す処理が終了すると、サーバ2の処理が終了する。
以上、図9から図12を参照して説明したように、図9のステップS301において、第1端末機器4が第1入力端子71に接続されると、表示機器7は機器テーブル771を第1更新後の機器テーブル771に更新する。従って、入力端子Bに新たに端末機器Aが接続された場合、表示機器7は、第1更新後の機器テーブル771に基づいて、最新の接続情報を認識することができる。
また、図10のステップS102において、サーバ2は、第1更新後の機器テーブル771に基づいて、サーバテーブル231を更新する。従って、入力端子Bに新たに端末機器Aが接続された場合、サーバ2は、更新後のサーバテーブル231に基づいて、端末機器Aの最新の接続状態を認識することができる。
次に、図13を参照して、第1端末機器4の第1動作について説明する。図13は、第1端末機器4の第1動作を示すフロー図である。第1端末機器4の第1動作は、情報処理システム1が図9及び図10に示す第1処理を行う際の第1端末機器4の動作を示す。
図13に示すように、ステップS10において、第1端末機器4の第1操作部43は、会議室ログイン情報を受け付ける。
ステップS11において、第1制御部46は、第1出力端子41が表示機器7の入力端子Bと接続されているか否かを判定する。第1出力端子41が表示機器7の入力端子Bと接続されていると第1制御部46が判定すると(ステップS11で、Yes)、処理がステップS12に移行する。第1出力端子41が表示機器7の入力端子Bと接続されていないと第1制御部46が判定すると(ステップS11で、No)、ステップS11に示す処理が繰り返される。
ステップS12において、第1出力端子41が表示機器7に対して第1端末機器4の情報処理装置IDを送信するように、第1制御部46が第1出力端子41を制御する。
ステップS13において、第1通信部42が表示機器7に問い合わせ情報を送信するように、第1制御部46が第1通信部42を制御する。
ステップS14において、第1通信部42が表示機器7から回答情報を受信する。
ステップS15において、第1通信部42がサーバ2に回答情報を送信するように、第1制御部46が第1通信部42を制御する。その結果、処理が終了する。
以上、図13を参照して説明したように、ステップS14及びステップS15において、表示機器7から第1端末機器4を介して、サーバ2に回答情報が送信される。従って、表示機器7とサーバ2とが互いに直接に通信できなくても、サーバ2が回答情報を取得することができる。
次に、図14を参照して、サーバ2の第1動作について説明する。図14は、サーバ2の第1動作を示すフロー図である。サーバ2の第1動作は、情報処理システム1が図9及び図10に示す第1処理を行う際のサーバ2の動作を示す。
ステップS20において、通信部21が第1端末機器4から会議室ログイン情報を受信する。その結果、サーバ2が第1端末機器4と接続される。
ステップS21において、通信部21が第1端末機器4から回答情報を受信する。
ステップS22において、制御部24は、回答情報と比較して、サーバテーブル231の接続状態に変更があるか否かを判定する。接続状態に変更があると制御部24が判定すると(ステップS22で、Yes)、処理がステップS23に移行する。接続状態に変更がないと制御部24が判定すると(ステップS22で、No)、処理が終了する。
ステップS23において、制御部24は、サーバテーブル231の接続状態が回答情報を反映した内容になるようにサーバテーブル231を更新する。従って、制御部24は、更新後のサーバテーブル231に基づいて、端末機器Aの最新の接続状態を認識することができる。ステップS23に示す処理が終了すると、処理が終了する。
次に、図15から図20を参照して、情報処理システム1の第2処理について説明する。第2処理は、スマートスピーカ6が所定の指示を示す音声を受け付けたときに情報処理システム1が行う処理を示す。
図15は、情報処理システム1の第2処理を示す模式図である。
図15に示すように、スマートスピーカ6に所定の指示を示す音声をユーザーが入力したときに、情報処理システム1が第2処理を実行する。所定の指示は、表示機器7に表示される画像に関する指示を示す。画像に関する指示は、例えば、表示機器7に表示される画像を制御する指示、及び/又は、画像と共に出力される音声を制御する指示を示す。画像を制御する指示は、例えば、画像を変更する指示、画像を拡大又は縮小する指示、及び、画像を消去又は表示する指示のうちの少なくとも1つの指示を含む。音声を制御する指示は、例えば、音声の音量を増大又は減少させる指示を含む。
第2処理は、図9から図12に示す第1処理の終了後に行われる。
第1実施形態では、第1処理が行われてから第2処理が行われるまでの間に、ユーザーが操作部76を操作することで、活性化させる入力端子Bを、第1入力端子71から第2入力端子72に変更している。その結果、図11に示す第1更新後の機器テーブル771が、第2更新後の機器テーブル771に更新されている。
図16は、第2更新後の機器テーブル771を示す図である。
図16に示すように、第2更新後の機器テーブル771では、第1入力端子71の端子状態の欄が、「〇」から「×」に変更されている。また、第2入力端子72の端子状態の欄が、「×」から「〇」に変更されている。
第1実施形態では、第2処理の開始時において、サーバ2が図12に示す第1更新後のサーバテーブル231を有しており、かつ、表示機器7が図16に示す第2更新後の機器テーブル771を有している。
図15及び図16に示すように、第2処理の開始時において、表示機器7は、第1端末機器4が送信する画像を表示していないが、第2端末機器5が送信する画像を表示している。従って、表示機器7の表示部75には、第2端末機器5の第2表示部54に表示される画像と同じ画像が表示されている。
以下では、情報処理システム1の第2処理の手順について説明する。
図17は、情報処理システム1の第2処理を示す第1フロー図である。図18は、情報処理システム1の第2処理を示す第2フロー図である。図19は、情報処理システム1の第2処理を示す第3フロー図である。
図15及び図17に示すように、スマートスピーカ6が、所定の指示を示す音声を受け付ける。第1実施形態では、ユーザーは、スマートスピーカ6に対して、「次のページ」と発音する。従って、第1実施形態では、所定の指示は、表示機器7に表示される画像を次のページの画像に変更する指示である。
スマートスピーカ6は、所定の指示を示す音声を受け付けると、所定の指示を示す音声データを生成する。そして、スマートスピーカ6は、サーバ2に対して所定の指示を示す音声データを送信する。
ステップS110において、サーバ2の通信部21は、スマートスピーカ6から所定の指示を示す音声データを受信する。
ステップS111において、サーバ2の制御部24は、図12に示す第1更新後のサーバテーブル231に基づいて、複数の端末機器Aのうち、確認処理を行う端末機器Aを決定する。制御部24は、第1更新後のサーバテーブル231において接続状態が「Displayed」の端末機器Aを、確認処理を行う端末機器Aに決定する。第1実施形態では、第1端末機器4が、確認処理を行う端末機器Aに決定される。
確認処理は、図10のステップS203からステップS205に示すように、表示機器7に問い合わせ情報を送信する処理と、表示機器7から受信した問い合わせ情報に対する回答情報を受信する処理と、回答情報をサーバ2に送信する処理とを含む。
ステップS112において、通信部21が第1端末機器4に対して依頼信号を送信するように、制御部24が通信部21を制御する。依頼信号は、端末機器Aに対して確認処理を行うことを依頼する信号を示す。
ステップS210において、第1端末機器4の第1通信部42が依頼信号を受信する。第1端末機器4は、依頼信号を受信すると、処理が図18に示すステップS211に移行する。なお、ステップS211からステップS213に示す処理は、確認処理を示す。
図18に示すように、ステップS211において、第1通信部42が表示機器7に問い合わせ情報を送信するように、第1制御部46が第1通信部42を制御する。
ステップS410において、表示機器7の通信部73は、問い合わせ情報を受信する。
ステップS411において、制御部78は、図16に示す第2更新後の機器テーブル771に基づいて、問い合わせ情報に対する回答情報を生成する。回答情報は、第2更新後の機器テーブル771を示す情報である。
ステップS412において、通信部73が第1端末機器4に回答情報を送信するように、制御部78が通信部73を制御する。ステップS411に示す処理が終了すると、表示機器7の処理が終了する。
ステップS212において、第1端末機器4の第1通信部42が回答情報を受信する。
ステップS213において、第1通信部42がサーバ2に回答情報を送信するように、第1制御部46が第1通信部42を制御する。ステップS213に示す処理が終了すると、第1端末機器4の処理が終了する。
ステップS113において、サーバ2の通信部21が回答情報を受信する。つまり、サーバ2の通信部21は、第1端末機器4を介して表示機器7から回答情報を受信する。その結果、サーバ2は、回答情報に基づいて、活性化されていない第1入力端子71に第1端末機器4が接続されていることを認識する。また、回答情報に基づいて、サーバ2は、活性化された第2入力端子72に第2端末機器5が接続されていることを認識する。
ステップS114において、サーバ2の制御部24は、回答情報に基づいて図12に示す第1更新後のサーバテーブル231を更新することで、第2更新後のサーバテーブル231を生成する。ステップS114に示す処理が終了すると、処理が図19に示すステップS115に移行する。
図20は、第2更新後のサーバテーブル231を示す図である。
図20に示すように、第2更新後のサーバテーブル231において、接続状態が、ステップS411で表示機器7が生成した回答情報を反映した内容に、更新される。第2更新後のサーバテーブル231では、第1端末機器4の接続状態の欄が、「Displayed」から「Connected」に変更されている。第2端末機器5の接続状態の欄が、「Connected」から「Displayed」に変更されている。
図19に示すように、ステップS115において、制御部24は、ステップS110(図17参照)で受信した所定の指示を示す音声データに基づいて、制御コマンドを生成する。
制御部24が制御コマンドを生成する手順について説明する。まず、音声認識部22が所定の指示を示す音声データのテキストデータを生成する。そして、制御部24は、テキストデータに基づいて、音声データが所定の指示を示すことを認識する。そして、制御部24は、所定の指示を示す制御コマンドを生成する。
第1実施形態では、所定の指示は、表示機器7に表示される画像を次のページの画像に変更する指示である(図15参照)。
ステップS116において、制御部24は、第2更新後のサーバテーブル231に基づいて、制御コマンドの送信先の端末機器Aを決定する。制御部24は、第2更新後のサーバテーブル231において、接続状態が「Displayed」の端末機器Aを、制御コマンドの送信先の端末機器Aに決定する。第1実施形態では、制御部24は、第2端末機器5を制御コマンドの送信先に決定する。
ステップS117において、通信部21が第2端末機器5に対して制御コマンドを送信するように、制御部24が通信部21を制御する。
ステップS310において、第2端末機器5の第2通信部52が制御コマンドを受信する。
ステップS311において、第2制御部56が制御コマンドを実行する。第1実施形態では、第2出力端子51が表示機器7に対して次の画像を送信するように、第2制御部56が第2出力端子51を制御する。次の画像は、例えば、HDMI(登録商標)ケーブルを介して第2端末機器5から表示機器7に送信される。その結果、表示機器7に表示される画像が次の画像に変更される。なお、次の画像は、例えば、第2記憶部55に記憶される。
ステップS312において、第2通信部52がサーバ2に対して完了通知を送信するように、第2制御部56が第2通信部52を制御する。完了通知は、制御コマンドを実行する処理が完了したことを示す通知である。ステップS312に示す処理が終了すると、第2端末機器5の処理が終了する。
ステップS118において、サーバ2の通信部21は、完了通知を受信する。
ステップS119において、通信部21がスマートスピーカ6に完了通知を送信するように、制御部24が通信部21を制御する。その結果、サーバ2の処理が終了する。
以上、図15から図20を参照して説明したように、ステップS111において、制御部24は、複数の端末機器Aのうち、確認処理を行う端末機器Aを決定する。言い換えれば、制御部24は、複数の端末機器Aのうち、活性化端子に接続されている端末機器Aを決定する。従って、図15及びステップS110に示すように、活性化端子に接続されている端末機器Aをユーザーが操作する場合、操作対象の端末機器Aを特定する必要がない。その結果、複数の端末機器Aのうち活性化端子に接続される端末機器Aを、ユーザーが容易に操作することができる。
また、図18のステップS114において、スマートスピーカ6が所定の指示を示す音声を受け付けると、サーバ2が表示機器7から機器テーブル771を示す情報を取得する。詳細には、サーバ2が、表示機器7から第1端末機器4を介して、機器テーブル771を示す情報を取得する。そして、サーバ2が、機器テーブル771を示す情報に基づいて、サーバテーブル231を更新する。従って、スマートスピーカ6が所定の指示を示す音声を受け付けた場合、サーバ2は、更新後のサーバテーブル231に基づいて、端末機器Aの最新の接続状態を認識することができる。
また、図19のステップS116において、サーバ2は、更新後のサーバテーブル231に基づいて、複数の端末機器Aのうち、所定の指示を示す制御コマンドの送信先の端末機器Aを決定する。従って、サーバ2は、最新の接続状態を反映したサーバテーブル231に基づいて、制御コマンドの送信先の端末機器Aを決定することができる。その結果、活性化された入力端子Bに接続されている端末機器Aに対して、正確に制御コマンドを送信することができる。
次に、図21を参照して、第1端末機器4の第2動作について説明する。図21は、第1端末機器4の第2動作を示すフロー図である。第1端末機器4の第2動作は、情報処理システム1が図17から図19に示す第2処理を行う際の第1端末機器4の動作を示す。
ステップS30において、第1通信部42がサーバ2から制御コマンドを受信する。
ステップS31において、第1制御部46は、制御コマンドが依頼信号を含むか否かを判定する。依頼信号を含むと第1制御部46が判定すると(ステップS31で、Yes)、処理がステップS32に移行する。依頼信号を含まないと第1制御部46が判定すると(ステップS31で、No)、処理がステップS35に移行する。
ステップS32において、第1通信部42が表示機器7に問い合わせ情報を送信するように、第1制御部46が第1通信部42を制御する。
ステップS33において、第1通信部42が表示機器7から回答情報を受信する。
ステップS34において、第1通信部42がサーバ2に回答情報を送信するように、第1制御部46が第1通信部42を制御する。従って、表示機器7とサーバ2とが互いに直接に通信できなくても、サーバ2が回答情報を取得することができる。ステップS34に示す処理が終了すると、処理が終了する。
ステップS35において、第1制御部46は、音声データのテキストデータに基づいて、確認処理以外の処理を行う。その結果、処理が終了する。
次に、図22及び図23を参照して、サーバ2の第2動作について説明する。図22は、サーバ2の第2動作を示す第1フロー図である。図23は、サーバ2の第2動作を示す第2フロー図である。サーバ2の第2動作は、情報処理システム1が図17から図19に示す第2処理を行う際のサーバ2の動作を示す。
図22に示すように、ステップS40において、通信部21は、スマートスピーカ6から音声データを受信する。
ステップS41において、音声認識部22は、音声データを示すテキストデータを生成する。そして、制御部24は、テキストデータに所定の指示を示す情報が含まれるか否かを判定する。所定の指示を示す情報が含まれると制御部24が判定すると(ステップS41で、Yes)、処理がステップS42に移行する。所定の指示を示す情報が含まれないと制御部24が判定すると(ステップS41で、No)、処理が図23に示すステップS47に移行する。
ステップS42において、制御部24は、確認処理を行う端末機器Aを決定する。第1実施形態では、ステップS111(図7参照)に示すように、確認処理を行う端末機器Aとして、第1端末機器4が決定される。
ステップS43において、確認処理を行う端末機器Aに対して通信部21が依頼信号を送信するように、制御部24が通信部21を制御する。第1実施形態では、第1端末機器4に対して依頼信号が送信される。
ステップS44において、通信部21は、依頼信号を送信した端末機器Aから回答情報を受信する。第1実施形態では、通信部21は、第1端末機器4から回答情報を受信する。
ステップS45において、制御部24は、回答情報に基づいて、サーバテーブル231の接続状態に変更があるか否かを判定する。接続状態に変更があると制御部24が判定すると(ステップS45で、Yes)、処理がステップS46に移行する。接続状態に変更がないと制御部24が判定すると(ステップS45で、No)、処理が図23に示すステップS47に移行する。
ステップS46において、制御部24は、サーバテーブル231の接続状態が回答情報を反映した内容になるように、サーバテーブル231を更新する。第1実施形態では、制御部24は、図12に示す第1更新後のサーバテーブル231を図20に示す第2更新後のサーバテーブル231に更新する。ステップS46に示す処理が終了すると、処理が図23に示すステップS47に移行する。
図23に示すように、ステップS47において、制御部24は、ステップS40(図22参照)で受信した音声データに基づいて、制御コマンドを生成する。
ステップS48において、制御部24は、制御コマンドの送信先の端末機器Aを決定する。第1実施形態では、制御部24は、図20に示す第2更新後のサーバテーブル231に基づいて、第2端末機器5を、制御コマンドの送信先に決定する。
ステップS49において、ステップS48で決定された制御コマンドの送信先に通信部21が制御コマンドを送信するように、制御部24が通信部21を制御する。第1実施形態では、第2端末機器5に制御コマンドが送信される。
ステップS50において、通信部21が制御コマンドの送信先から完了通知を受信する。
ステップS51において、通信部21がスマートスピーカ6に完了通知を送信するように、制御部24が通信部21を制御する。その結果、処理が終了する。
[第2実施形態]
図24から図36を参照して、本発明の第2実施形態に係る情報処理システム1について説明する。
第2実施形態は、QRコード(登録商標)のような識別記号を用いて、複数の端末機器Aのうち表示機器7に画像を表示している端末機器Aを判別する点が第1実施形態と異なる。また、第2実施形態では、表示機器7が機器テーブル771(図8参照)を有していない点で第1実施形態と異なる。以下では、主に第1実施形態と異なる点を説明する。
図24を参照して、情報処理システム1の第3処理について説明する。図24は、情報処理システム1の第3処理を示すフロー図である。第3処理は、ユーザーの会議参加時に情報処理システム1が行う処理を示す。第3処理は、図9及び図10に示す第1処理の変形例である。
ステップS220において、第1端末機器4の第1操作部43は、会議室ログイン情報を受け付ける。
ステップS221において、第1通信部42がサーバ2に会議室ログイン情報を送信するように、第1制御部46が第1通信部42を制御する。
ステップS120において、サーバ2の通信部21は、会議室ログイン情報を受信する。その結果、サーバ2の処理が終了する。
ステップS222において、第1端末機器4が表示機器7の第1入力端子71に接続される。その結果、処理が終了する。
次に、図25から図32を参照して、情報処理システム1の第4処理について説明する。図25は、情報処理システム1の第4処理を示す第1フロー図である。図26は、情報処理システム1の第4処理を示す第2フロー図である。図27は、情報処理システム1の第4処理を示す第3フロー図である。図28は、情報処理システム1の第4処理を示す第4フロー図である。図29は、情報処理システム1の第4処理を示す第5フロー図である。
第4処理は、スマートスピーカ6が所定の指示を受け付けたときに情報処理システム1が行う処理を示す。第4処理は、図17から図19に示す第2処理の変形例である。
第4処理は、図24に示す第3処理の終了後に行われる。
第2実施形態では、第4処理の開始時において、サーバ2が図12に示す第1更新後のサーバテーブル231を有している。また、第4処理の開始時において、図15に示すように、表示機器7の表示部75には、第2端末機器5の第2表示部54に表示される画像と同じ画像が表示されている。
図25に示すように、ステップS530において、スマートスピーカ6の音声入力部62は、所定の指示を示す音声を受け付ける。そして、制御部66は、所定の指示を示す音声データを生成する。そして、通信部61がサーバ2に対して所定の指示を示す音声データを送信するように、制御部66が通信部61を制御する。
ステップS130において、サーバ2の通信部21が、所定の指示を示す音声データを受信する。
ステップS131において、制御部24が、端末機器A毎に識別記号を示す信号を生成する。識別記号は、複数の端末機器Aの各々を互いに識別するための記号である。複数の端末機器Aの各々に対して、互いに異なる識別記号が生成される。
識別記号は、例えば、識別子、文字、数字、及びマークのうちの少なくとも1を含む。識別子は、例えば、バーコードのような一次元コード、又はQRコード(登録商標)のような二次元コードを示す。第2実施形態では、識別記号は、QRコード(登録商標)である。
第1実施形態では、制御部24は、第1端末機器4の識別記号を示す第1識別記号4aと、第2端末機器5の識別記号を示す第2識別記号5aとを生成する。
制御部24は、図12に示す第1更新後のサーバテーブル231に識別記号を示す情報23dを追加することで、第3更新後のサーバテーブル231を生成する。
図30は、第3更新後のサーバテーブル231を示す図である。図30に示すように、第3更新後のサーバテーブル231において、端末機器Aの情報処理装置ID毎に識別記号が対応付けられる。第1実施形態では、第1端末機器4の情報処理装置ID「123456」には、第1識別記号4aが対応付けられる。第2端末機器5の情報処理装置ID「123458」には、第2識別記号5aが対応付けられる。
図25に示すように、ステップS132において、通信部21がスマートスピーカ6に対して検知要求信号を送信するように、制御部24が通信部21を制御する。検知要求信号は、表示機器7に表示される識別記号の画像を検知することをスマートスピーカ6に対して指示する信号である。ステップS132に示す処理が終了すると、処理が図26に示すステップS133に移行する。
ステップS531において、スマートスピーカ6の通信部61が検知要求信号を受信する。通信部61が検知要求信号を受信すると、撮像部64が表示機器7に表示される画像を撮像するように、制御部66が撮像部64を制御する。ステップS531に示す処理が終了すると、処理が図26に示すステップS133に移行する。
図31は、情報処理システム1の第4処理を示す模式図である。
図26及び図31に示すように、ステップS133において、サーバ2の通信部21が第1端末機器4に対して第1識別記号4aを示す信号を送信するように、制御部24が通信部21を制御する。さらに、通信部21が第1端末機器4に対して表示コマンドを送信するように、制御部24が通信部21を制御する。
表示コマンドは、端末機器Aが表示機器7に識別記号を表示させる処理を行うように、端末機器Aに対して指示する制御コマンドを示す。
ステップS230において、第1端末機器4の第1通信部42が、第1識別記号4aを示す信号を受信する。さらに、第1通信部42が表示コマンドを受信する。
ステップS231において、第1制御部46が、第1識別記号4aを示す信号に基づいて、第1識別記号4aの画像データを生成する。そして、第1表示部44が第1識別記号4aを表示するように、第1制御部46が第1表示部44を制御する。その結果、第1表示部44に第1識別記号4aが表示される。
ステップS232において、第1出力端子41が表示機器7に対して第1識別記号4aの画像データを送信するように、第1制御部46が第1出力端子41を制御する。その結果、第1端末機器4の処理が終了する。
第1出力端子41は、本発明の送信部の一例である。第1識別記号4aの画像データは、本発明の互いに異なる情報の一例である。
ステップS430において、表示機器7の第1入力端子71が第1識別記号4aの画像データを受信する。しかし、第1入力端子71が活性化されていないので、第1識別記号4aが表示機器7の表示部75に表示されない。ステップS430に示す処理が終了すると、処理が図27に示すステップS134に移行する。
図27及び図31に示すように、ステップS134において、サーバ2の通信部21が第2端末機器5に対して第2識別記号5aを示す信号を送信するように、制御部24が通信部21を制御する。さらに、通信部21が第2端末機器5に対して表示コマンドを送信するように、制御部24が通信部21を制御する。
ステップS330において、第2端末機器5の第2通信部52が、第2識別記号5aを示す信号を受信する。さらに、第2通信部52が表示コマンドを受信する。
ステップS331において、第2制御部56が第2識別記号5aの画像データを生成する。そして、第2表示部54が第2識別記号5aを表示するように、第2制御部56が第2表示部54を制御する。その結果、第2表示部54に第2識別記号5aが表示される。
ステップS332において、第2出力端子51が表示機器7に対して第2識別記号5aの画像データを送信するように、第2制御部56が第2出力端子51を制御する。
第2出力端子51は、本発明の送信部の二例である。第2識別記号5aの画像データは、本発明の互いに異なる情報の二例である。
ステップS431において、表示機器7の第2入力端子72が第2識別記号5aの画像データを受信する。そして、第2入力端子72が活性化されているので、第2識別記号5aの画像データが第2入力端子72を介して表示機器7に入力される。
ステップS432において、表示部75が第2識別記号5aを表示するように、制御部78が表示部75を制御する。その結果、第2識別記号5aが表示部75に表示される。ステップS432に示す処理が終了すると、表示機器7の処理が終了する。
表示部75に表示される第2識別記号5aは、本発明の出力機器が出力する情報の一例である。
ステップS532において、スマートスピーカ6の撮像部64が、表示機器7の表示部75に表示される第2識別記号5aの画像を撮像する。ステップS532に示す処理が終了すると、処理が図28に示すステップS533に移行する。
撮像部64は、本発明の取得部の一例である。表示機器7の表示部75に表示される第2識別記号5aの画像を撮像部64が撮像することは、本発明の出力機器が出力する情報を取得部が取得することの一例である。
図28及び図31に示すように、ステップS533において、スマートスピーカ6の制御部66は、撮像部64が撮像した第2識別記号5aの画像から第2識別記号5aを示す信号を抽出する。制御部66は、例えば、第2識別記号5aであるQRコード(登録商標)の画像を読み取ることによって、第2識別記号5aを示す信号を抽出する。
ステップS534において、通信部61がサーバ2に対して第2識別記号5aを示す信号を送信するように、制御部66が通信部61を制御する。
ステップS135において、サーバ2の通信部21がスマートスピーカ6から第2識別記号5aを示す信号を受信する。その結果、制御部24は、表示機器7が第2端末機器5から出力された画像を表示していることを認識する。言い換えれば、制御部24は、第2端末機器5の接続状態が「Displayed」であることを認識する。
ステップS136において、制御部24は、スマートスピーカ6から受信した第2識別記号5aを示す信号に基づいて、図30に示す第3更新後のサーバテーブル231を更新することで、第4更新後のサーバテーブル231を生成する。
図32は、第4更新後のサーバテーブル231を示す図である。図32に示すように、第4更新後のサーバテーブル231では、第1端末機器4の接続状態が、「Displayed」から「Connected」に変更される。第4更新後のサーバテーブル231では、第2端末機器5の接続状態が、「Connected」から「Displayed」に変更される。
図28及び図32に示すように、ステップS137において、制御部24は、ステップS130(図25参照)で受信した所定の指示を示す音声データに基づいて、制御コマンドを生成する。
ステップS138において、制御部24は、第4更新後のサーバテーブル231に基づいて、制御コマンドの送信先の端末機器Aを決定する。第2実施形態では、制御部24は、第2端末機器5を制御コマンドの送信先に決定する。ステップS138に示す処理が終了すると、処理が図29に示すステップS139に移行する。なお、制御部24は、第4更新後のサーバテーブル231を用いることなく、制御コマンドの送信先の端末機器Aを決定してもよい。この場合、制御部24は、ステップS135において、スマートスピーカ6から受信した第2識別記号5aを示す信号を受信すると、第2端末機器5の接続状態が「Displayed」であることを認識するので、第2端末機器5を制御コマンドの送信先に決定する。すなわち、制御部24は、スマートスピーカ6が出力した情報に基づいて、複数の端末機器Aのうち制御コマンドの送信先の端末機器Aを決定してもよい。
図29に示すように、ステップS139において、通信部21が第2端末機器5に対して制御コマンドを送信するように、制御部24が通信部21を制御する。
ステップS333において、第2端末機器5の第2通信部52が制御コマンドを受信する。
ステップS334において、第2制御部56が制御コマンドを実行する。
ステップS335において、第2通信部52がサーバ2に対して完了通知を送信するように、第2制御部56が第2通信部52を制御する。
ステップS140において、サーバ2の通信部21は、完了通知を受信する。
ステップS141において、通信部21がスマートスピーカ6に完了通知を送信するように、制御部24が通信部21を制御する。その結果、サーバ2の処理が終了する。
ステップS535において、スマートスピーカ6の通信部61が完了通知を受信する。その結果、スマートスピーカ6の処理が終了する。
以上、図25から図32を参照して説明したように、図28のステップS136において、スマートスピーカ6が所定の指示を示す音声を受け付けると、サーバ2が、サーバテーブル231を更新する。従って、スマートスピーカ6が所定の指示を示す音声を受け付けた場合、サーバ2は、更新後のサーバテーブル231に基づいて、端末機器Aの最新の接続状態を認識することができる。
また、図28のステップS138において、サーバ2は、更新後のサーバテーブル231に基づいて、複数の端末機器Aのうち、所定の指示を示す制御コマンドの送信先の端末機器Aを決定する。その結果、サーバ2は、活性化された入力端子Bに接続されている端末機器Aに対して、正確に制御コマンドを送信することができる。
次に、図33及び図34を参照して、サーバ2の第3動作について説明する。図33は、サーバ2の第3動作を示す第1フロー図である。図34は、サーバ2の第3動作を示す第2フロー図である。サーバ2の第3動作は、情報処理システム1が図25から図29に示す第4処理を行う際のサーバ2の動作を示す。
図33に示すように、ステップS60において、通信部21が音声データを受信したか否かを制御部24が判定する。音声データを受信したと制御部24が判定すると(ステップS60で、Yes)、処理がステップS61に移行する。音声データを受信していないと制御部24が判定すると(ステップS60で、No)、処理がステップS67に移行する。
ステップS61において、音声認識部22は、音声データを示すテキストデータを生成する。そして、制御部24は、テキストデータが示すコマンドが端末機器Aに対するコマンドであるか否かを判定する。端末機器Aに対するコマンドではないと制御部24が判定すると(ステップS61で、No)、処理がステップS62に移行する。端末機器Aに対するコマンドであると制御部24が判定すると(ステップS61で、Yes)、処理がステップS63に移行する。
ステップS62において、制御部24が、テキストデータに基づいて、端末機器Aに対する処理以外の処理を行う。
ステップS63において、制御部24は、所定の指示を示す情報がテキストデータに含まれるか否かを判定する。所定の指示を示す情報が含まれると制御部24が判定すると(ステップS63で、Yes)、処理がステップS64に移行する。所定の指示を示す情報が含まれないと制御部24が判定すると(ステップS63で、No)、処理が図34に示すステップS70に移行する。
ステップS64において、制御部24は、端末機器A毎に識別記号を示す信号を生成する。
ステップS65において、通信部21がスマートスピーカ6に対して検知要求信号を送信するように、制御部24が通信部21を制御する。
ステップS66において、通信部21が複数の端末機器Aの各々に識別記号を示す信号を送信するように、制御部24が通信部21を制御する。第2実施形態では、第1端末機器4に対しては、第1識別記号4aを示す信号が送信される。第2端末機器5に対しては、第2識別記号5aを示す信号が送信される。
ステップS67において、通信部21が識別記号を示す信号を受信したか否かを制御部24が判定する。
識別記号を示す信号を受信したと制御部24が判定すると(ステップS67で、Yes)、処理が図34に示すステップS68に移行する。第2実施形態では、図28に示すステップS135において、通信部21が第2識別記号5aを受信する。
識別記号を示す信号を受信していないと制御部24が判定すると(ステップS67で、No)、処理がステップS60に移行する。
図34に示すように、ステップS68において、制御部24は、サーバテーブル231の接続状態に変更があるか否かを判定する。接続状態に変更があると制御部24が判定すると(ステップS68で、Yes)、処理がステップS69に移行する。接続状態に変更がないと制御部24が判定すると(ステップS68で、No)、処理がステップS70に移行する。
ステップS69において、制御部24は、サーバテーブル231を更新する。第2実施形態では、制御部24は、図30に示す第3更新後のサーバテーブル231を図32に示す第4更新後のサーバテーブル231に更新する。
ステップS70において、制御部24は、ステップS60(図33参照)で受信した音声データに基づいて、制御コマンドを生成する。
ステップS71において、制御部24は、制御コマンドの送信先の端末機器Aを決定する。第2実施形態では、制御部24は、図32に示す第4更新後のサーバテーブル231に基づいて、第2端末機器5を、制御コマンドの送信先に決定する。
ステップS72において、ステップS71で決定された制御コマンドの送信先に通信部21が制御コマンドを送信するように、制御部24が通信部21を制御する。第2実施形態では、第2端末機器5に制御コマンドが送信される。
ステップS73において、通信部21が制御コマンドの送信先から完了通知を受信する。
ステップS74において、通信部21がスマートスピーカ6に完了通知を送信するように、制御部24が通信部21を制御する。その結果、処理が終了する。
図35を参照して、第1端末機器4の第3動作について説明する。図35は、第1端末機器4の第3動作を示すフロー図である。第1端末機器4の第3動作は、情報処理システム1が図25から図29に示す第4処理を行う際の第1端末機器4の動作を示す。
図35に示すように、ステップS80において、第1通信部42がサーバ2からコマンドを受信する。
ステップS81において、第1制御部46は、サーバ2から受信したコマンドに表示コマンドが含まれるか否かを判定する。
表示コマンドが含まれると第1制御部46が判定すると(ステップS81で、Yes)、処理がステップS82に移行する。この場合、第1通信部42は、表示コマンドと共に、第1識別記号4aを示す信号を受信する(図26のステップS230参照)。
表示コマンドが含まれないと第1制御部46が判定すると(ステップS81で、No)、処理がステップS84に移行する。
ステップS82において、第1制御部46が、第1識別記号4aを示す信号に基づいて、第1識別記号4aの画像データを生成する。
ステップS83において、第1出力端子41が表示機器7に対して第1識別記号4aの画像データを送信するように、第1制御部46が第1出力端子41を制御する。その結果、処理が終了する。
ステップS84において、第1制御部46は、サーバ2から受信したコマンドに基づいて、ステップS82及びステップS82に示す処理以外の処理を行う。その結果、処理が終了する。
図36を参照して、スマートスピーカ6の動作について説明する。図36は、スマートスピーカ6の動作を示すフロー図である。スマートスピーカ6の動作は、情報処理システム1が図25から図29に示す第4処理を行う際のスマートスピーカ6の動作を示す。
図36に示すように、ステップS90において、通信部61がサーバ2からコマンドを受信する。
ステップS91に示すように、制御部66は、サーバ2から受信したコマンドに検知要求信号が含まれるか否かを判定する。検知要求信号が含まれると制御部66が判定すると(ステップS91で、Yes)、処理がステップS92に移行する。検知要求信号が含まれないと制御部66が判定すると(ステップS91で、No)、処理がステップS96に移行する。
ステップS92において、制御部66は、撮像部64を制御して、撮像処理を開始する。撮像処理は、表示機器7の表示部75に表示される画像を撮像部64により撮像する処理を示す。
ステップS93において、撮像部64が識別記号の画像を撮像したか否かを制御部66が判定する。第2実施形態では、識別記号の画像は、第1識別記号4aの画像、及び第2識別記号5aの画像(図31参照)のうちのいずれかの画像を示す。
識別記号の画像を撮像したと制御部66が判定すると(ステップS93で、Yes)、処理がステップS94に移行する。識別記号の画像を撮像していないと制御部66が判定すると(ステップS93で、No)、ステップS93に示す処理が繰り返される。
ステップS94において、制御部66は、撮像部64が撮像した識別記号の画像から識別記号を示す信号を抽出する。第2実施形態では、図31に示すように、表示機器7の表示部75には、第2識別記号5aの画像が表示される。従って、撮像部64が第2識別記号5aの画像を撮像する。その結果、制御部66は、第2識別記号5aを示す信号を抽出する。
ステップS95において、通信部61がサーバ2に対して識別記号を示す信号を送信するように、制御部66が通信部61を制御する。第2実施形態では、通信部61がサーバ2に対して、第2識別記号5aを示す信号を送信する。ステップS95に示す処理が終了すると、処理が終了する。
ステップS96において、制御部66は、サーバ2から受信したコマンドに基づいて、ステップS92及びステップS95に示す処理以外の処理を行う。その結果、処理が終了する。
以上、図面(図1~図36)を参照しながら本発明の実施形態について説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で実施することが可能である(例えば、(1)~(9))。また、上記の実施形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明の形成が可能である。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の個数等は、図面作成の都合から実際とは異なる場合もある。また、上記の実施形態で示す各構成要素は一例であって、特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能である。
(1)第2実施形態では、サーバ2の制御部24が、複数の端末機器Aのうち表示機器7に画像を表示している端末機器Aを判別する際、QRコード(登録商標)のような識別記号を用いる。しかし、本発明はこれに限定されない。識別記号に代えて、可視光通信、画像認識、又は超音波が用いられてもよい。
可視光通信が用いられる場合の情報処理システム1の動作について説明する。表示機器7の表示部75のバックライトが点滅することで、表示機器7が点滅情報を出力する。点滅情報は、複数の端末機器Aのうち、表示機器7に画像を表示している端末機器Aを示す情報を含む。サーバ2は、点滅情報に基づいて、複数の端末機器Aのうち表示機器7に画像を表示している端末機器Aを判別する。その結果、サーバ2は、複数の入力端子Bのうち、活性化されている入力端子Bを認識することができる。
画像認識が用いられる場合の情報処理システム1の動作について説明する。第1端末機器4の第1表示部44には、第1画像が表示される。第2端末機器5の第2表示部54には、第2画像が表示される。表示機器7の表示部75には、第3画像が表示される。撮像部64は、第3画像を撮像する。第1端末機器4は、第1画像を示す画像データをサーバ2に送信する。第2端末機器5は、第2画像を示す画像データをサーバ2に送信する。スマートスピーカ6は、第3画像を示す画像データをサーバ2に送信する。サーバ2は、第1画像と、第2画像と、第3画像とを、例えば、パターンマッチングにより比較する。
第3画像が第1画像を含む場合、サーバ2は、表示機器7に画像を表示している端末機器Aが第1端末機器4であると判別する。これに対し、第3画像が第2画像を含む場合、サーバ2は、表示機器7に画像を表示している端末機器Aが第2端末機器5であると判別する。
超音波が用いられる場合の情報処理システム1の動作について説明する。情報処理システム1は、音声を出力する音声出力装置(不図示)を備える。音声出力装置は、例えば、スピーカである。音声出力機器は、本発明の出力機器の二例である。
第1端末機器4は、音声出力装置に対して第1音波データを送信する。第2端末機器5は、音声出力装置に対して第2音波データを送信する。第1入力端子71が活性化されている場合、音声出力装置は第1音波を出力する。第1音波は、第1音波データが示す超音波である。第2入力端子72が活性化されている場合、音声出力装置は第2音波を出力する。第2音波は、第2音波データが示す超音波である。
音声出力装置が第1音波を出力する場合、サーバ2は、表示機器7に画像を表示している端末機器Aが第1端末機器4であると判別する。これに対し、音声出力装置が第2音波を出力する場合、サーバ2は、表示機器7に画像を表示している端末機器Aが第2端末機器5であると判別する。
(2)所定端末機器の所有者以外の人が、スマートスピーカ6に対して音声で指示を入力する場合、所定端末機器の表示に所定の入力欄が表示されてもよい。所定端末機器は、表示機器7に画像を表示している端末機器Aが第1端末機器4を示す。所定の入力欄は、所定の端末機器が指示に基づいた動作を行うことを許可するか否かの検討結果を入力するための入力欄を示す。例えば、所定端末機器の所有者以外の人が、スマートスピーカ6に対して、「会議Cの資料を表示して」と発音した場合、所定端末機器の表示部には、第1入力アイコンと、第2入力アイコンとが表示される。第1入力アイコンは、会議Cの資料を表示することを許可することを受け付けるアイコンを示す。第2入力アイコンは、会議Cの資料を表示することを拒否することを受け付けるアイコンを示す。その結果、情報処理システム1のセキュリティを向上させることができる。
(3)表示機器7の表示部75には、ピクチャインピクチャのような複数の画像が表示されてもよい。この場合、第1実施形態において、複数の端末機器Aのうち、表示機器7のメイン画面に画像を表示している端末機器Aと、表示機器7のサブ画面に画像を表示している端末機器Aとが判別される。
(4)本発明の情報処理装置は、第1実施形態、及び第2実施形態では、サーバ2として機能する。しかし、本発明はこれに限定されない。本発明の情報処理装置は、例えば、表示機器7に設けられていてもよく、スマートスピーカ6に設けられていてもよく、又は、表示機器7及びスマートスピーカ6とは異なる機器に設けられていてもよい。
(5)第1実施形態及び第2実施形態では、サーバ2が音声データに基づいてテキストデータを生成すると共に、テキストデータが示す制御コマンドを実行する。しかし、本発明はこれに限定されない。テキストデータを生成するサーバと、制御コマンドを実行するサーバとが別々に存在していてもよい。
(6)第1実施形態及び第2実施形態では、サーバ2が音声データのテキストデータを生成する。しかし、本発明はこれに限定されない。サーバ2に代えてスマートスピーカ6がテキストデータを生成してもよい。また、サーバ2、及びスマートスピーカ6とは異なる外部機器がテキストデータを生成してもよい。
(7)第1実施形態及び第2実施形態では、複数の端末機器Aは、複数の入力端子Bと有線接続される。しかし、本発明はこれに限定されない。複数の端末機器Aは、通信部73(図6参照)と無線接続されてもよい。通信部73は、本発明の入力部の二例である。複数の端末機器Aと通信部73とのデータの伝送は、例えば、Miracast(登録商標)の規格に則って実行される。この場合、通信部73が受信した複数の端末機器Aからの信号のうち、制御部78は、1の端末機器Aからの信号のみ処理し、残りの端末機器Aからの信号は処理しない。つまり、複数の端末機器Aのうち、1の端末機器Aが通信部73に信号を入力可能に接続され、残りの端末機器Aが通信部73に信号を入力不能に接続される。また、この場合も、第1実施形態及び第2実施形態と同様に、例えば、通信部73に信号を入力可能な端末機器Aを、操作部76の操作により、複数の端末機器Aのうちから変更できる。
(8)本発明の受付装置は、スマートスピーカ6に限定されない。本発明の受付装置は、外部からの情報の入力を受け付ける装置であればよい。本発明の受付装置は、例えば、チャットのような文字の入力を受け付ける装置、カメラのような風景の入力(撮像)を受け付けて風景の画像データを生成する装置、又は、ジェスチャー動作の入力を受け付けるセンサーでもよい。
(9)図17及び図18に示すように、サーバ2がスマートスピーカ6から所定の指示を示す音声データを受信すると、サーバ2は、サーバテーブル231を更新する。しかし、本発明はこれに限定されない。サーバ2は、スマートスピーカ6から所定の指示を示す音声データを受信しなくても、所定のタイミングでサーバテーブル231を更新してもよい。例えば、会議終了5分前に所定の指示を示す音声データがスマートスピーカ6に入力されることが予め分かっている場合、会議終了5分前の直前(所定のタイミング)に、サーバ2がサーバテーブル231を更新してもよい。その後、サーバ2は、スマートスピーカ6から所定の指示を示す音声データを受信すると、サーバテーブル231を更新する処理を行うことなく、所定の指示を示す音声データに基づいて、制御コマンドを生成する。その結果、制御コマンドを生成する処理を円滑に行うことが可能になる。所定のタイミングを示す情報は、予めサーバ2の記憶部23に記憶されている。サーバ2の制御部24は、タイマーとして機能し、タイマーにより所定のタイミングをカウントする。