JP7250228B2 - 表示システム、仮想空間提供装置および表示方法 - Google Patents

Description

本開示は、表示システム、仮想空間提供装置および表示方法に関する。

近年、実際の操作者を模擬したアバターを使用した情報処理システムが普及している。例えば、特許文献１に記載されるプラント設計支援システムは、プラント設計内容の３次元コンピュータグラフィックス表示を行ってプラントの運転状況を試験するものである。このシステムは、プラント事象の模擬出力データに基づいてプラント設計内容を変化させて、この変化に伴い運転手順書および人間属性データに基づいて仮想運転員の行動を生成し、仮想運転員の行動に基づいてプラント設計内容の操作の完了有無を判定し、仮想運転員の行動または操作完了有無の判定に基づいてプラント設計内容を評価する。
また、特許文献１に記載されるプラント設計支援システムは、仮想制御室内の仮想運転員を操作で移動させる、もしくは、仮想制御室の機器を選択し、操作を行い、この操作に仮想運転員を追従させるものである。

特開平１１－３２８２４３号公報

しかしながら、従来の仮想現実技術は、仮想空間を実空間に近づけることを主眼としており、実空間で可視できない情報、言い換えれば、状況または雰囲気といった非言語情報は表現されない。このため、操作者が、どの画面を監視しているか、どの程度の作業負荷状況かが、仮想空間または仮想の操作者（以下、アバターと記載する。）を視認しても、把握できないという課題があった。
例えば、特許文献１に記載されたプラント設計支援システムにおいて、操作者の目的はプラントを制御するための画面を操作することである。このため、仮想空間内のアバターを移動させる、仮想空間内のスイッチを押すといった、仮想空間を介してでしか操作できない手間もあった。

特許文献１に記載されたプラント設計支援システムは、仮想の操作スイッチの操作が必要になった場合、運転員のアバターを仮想の操作スイッチまで移動させてから、アバターによって当該操作スイッチが操作される。このため、仮想の操作スイッチが操作されない場合、アバターに対応する運転員が、仮想制御室において作業を行っているのか否かを把握できない。また、操作スイッチを操作するために、運転員のアバターを移動させるか、仮想制御室内のスイッチを操作するなど、一度、仮想空間を介した操作を行う手間が発生し、本来の目的である操作スイッチの操作に至る以前に、予備操作が発生していた。

本開示は上記課題を解決するものであり、操作者の監視状況と作業負荷状況とが少ない手数で把握可能な仮想空間と操作画面との組み合わせを提供することができる、表示システム、仮想空間提供装置および表示方法を得ることを目的とする。

本開示に係る表示システムは、操作者からの操作を受け付ける操作画面を示す操作画面情報を取得する操作画面情報取得部と、操作画面情報が示す操作画面を表示装置に表示させることにより、操作者に提供する操作画面提供部と、操作画面情報が示す操作画面を模擬した仮想操作画面を含んだ仮想空間を表示装置に表示させることにより、操作者に提供する仮想空間提供部とを備え、仮想空間提供部は、操作画面情報取得部によって操作者が閲覧または操作している操作画面を示す操作画面情報が取得されると、当該操作画面を模擬した仮想操作画面に対応する仮想空間内の位置に、操作者に対応したアバターを表示させることを特徴とする。

本開示によれば、操作者が閲覧または操作している操作画面を示す操作画面情報が取得されると、当該操作画面を模擬した仮想操作画面に対応する仮想空間内の位置に、操作者に対応したアバターを表示させた仮想空間を提供する。操作者は、仮想空間を介して、実世界での複数の操作者が、注視している画面および作業負荷状況を把握することが可能である。これにより、本開示に係る表示システムは、操作者の監視状況と作業負荷状況とが少ない手数で把握可能な仮想空間と操作画面との組み合わせを提供することができる。

実施の形態１に係る表示システムの構成を示すブロック図である。 制御装置、端末および仮想空間提供装置の構成を示すブロック図である。 実施の形態１に係る表示方法を示すフローチャートである。 図３のステップＳＴ４の詳細な処理を示すフローチャートである。 実施の形態１における表示装置の表示例を示す図である。 図６Ａは、実施の形態１に係る仮想空間提供装置の機能を実現するハードウェア構成を示すブロック図であり、図６Ｂは、実施の形態１に係る仮想空間提供装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。 実施の形態２に係る仮想空間提供装置の構成を示すブロック図である。 実施の形態２におけるメインアバターおよび作業負荷画像の表示例を示す図である。 図９Ａは、実施の形態２におけるメインアバターの表示例（１）を示す図であり、図９Ｂは、実施の形態２におけるサブアバターの表示例（１）を示す図である。 図１０Ａは、実施の形態２におけるメインアバターの表示例（２）を示す図であり、図１０Ｂは、実施の形態２におけるサブアバターの表示例（２）を示す図である。 実施の形態２における仮想空間の表示例を示す図である。 実施の形態３に係る仮想空間提供装置の構成を示すブロック図である。 実施の形態３に係る表示方法を示すフローチャートである。 実施の形態３における表示装置の表示例を示す図である。 実施の形態４に係る表示システムの構成を示すブロック図である。 実施の形態４における表示装置の表示例を示す図である。

実施の形態１．
図１は、実施の形態１に係る表示システム１の構成を示すブロック図である。図１において、表示システム１は、例えば、各種のプラント設備、電力設備または上下水処理設備といった監視対象設備を監視制御するシステムに用いられ、監視制御処理のグラフィカルユーザインタフェース（以下、ＧＵＩと記載する。）を提供する。表示システム１が提供するＧＵＩは、操作者が使用する端末から操作を受け付け、受け付けた操作の処理結果を操作者へ提示するための操作画面を含んで構成される。操作画面は、表示装置の全画面に表示されてもよいし、表示装置の画面内の一部の領域に表示される子画面（ウィンドウ）であってもよい。

表示システム１は、制御装置２、端末３Ａ～３Ｅおよび仮想空間提供装置４を備える。制御装置２、端末３Ａ～３Ｅおよび仮想空間提供装置４は、有線または無線によって互いに接続されている。図１において、操作者は、Ａ～Ｅで示す５人である。操作者Ａは端末３Ａを使用し、操作者Ｂは端末３Ｂを使用し、操作者Ｃは端末３Ｃを使用し、操作者Ｄは端末３Ｄを使用し、操作者Ｅは端末３Ｅを使用する。制御装置２は、端末３Ａ～３Ｅから作業内容の選択を受け付け、選択された作業内容についての操作を行うための操作画面を示す操作画面情報を生成する。なお、作業内容についての操作を行うための操作画面は、１つの画面である場合に限らず、複数の画面もあり得る。制御装置２は、操作画面情報を仮想空間提供装置４に出力する。

仮想空間提供装置４は、操作画面情報が示す操作画面を、この操作画面に対応する作業内容を選択した操作者の端末が備える表示装置に表示させ、さらに、この操作画面を模擬した仮想操作画面を含んだ仮想空間を、端末３Ａ～３Ｅがそれぞれ備える表示装置に表示させる。例えば、操作者Ａが端末３Ａを用いて作業内容を選択すると、端末３Ａが備える表示装置には、選択された作業内容の操作を行うための操作画面が表示される。これにより、操作者Ａは、端末３Ａが備える表示装置に表示された操作画面を閲覧し、さらに操作することが可能となる。

仮想空間提供装置４は、操作者Ａが作業内容を選択することにより、端末３Ａ～３Ｅがそれぞれ備える表示装置に対し、操作者Ａが選択した作業内容に対応する操作画面を模擬した仮想操作画面と、この仮想操作画面に対応する位置に配置されたアバターが含まれる仮想空間を表示させる。上記アバターは、操作者Ａに対応するアバターである。

操作者Ｂ～Ｅがそれぞれ作業内容を選択することにより、上記と同様に、端末３Ｂ～３Ｅがそれぞれ備える表示装置には、操作者Ｂ～Ｅがそれぞれ選択した作業内容に対応する操作画面が表示され、さらに、これらの操作画面をそれぞれ模擬した仮想操作画面およびアバターが含まれる仮想空間が表示される。これらのアバターは、操作者Ｂ～Ｅにそれぞれ対応するアバターである。例えば、操作者Ａは、当該仮想空間を視認することにより、仮想空間内で作業している操作者、個々の操作者の作業数および仮想操作画面に対応した作業内容を知ることができ、これにより、仮想空間内の操作者の作業負荷状況を把握することができる。

図２は、制御装置２、端末３Ａ～３Ｅおよび仮想空間提供装置４の構成を示すブロック図である。図２において、制御装置２は、例えば、監視対象の設備を監視制御する装置であり、操作受付部２１および操作画面情報生成部２２を備える。端末３Ａ～３Ｅは、入力装置３１および表示装置３２を備える。仮想空間提供装置４は、操作画面情報取得部４１、操作画面提供部４２および仮想空間提供部４３を備える。

操作受付部２１は、端末３Ａ～３Ｅが備える入力装置３１を用いた情報入力を受け付ける。例えば、操作受付部２１は、端末３Ａ～３Ｅにおいて、入力装置３１を用いて入力された操作情報または作業内容の選択情報を受け付ける。なお、操作情報は、例えば、表示装置３２に表示された操作画面に対する、入力装置３１を用いた操作内容を示している。
操作画面情報生成部２２は、端末３Ａ～３Ｅから受け付けられた作業内容の選択情報に基づいて、操作者Ａ～Ｅによって選択された作業内容に対応する操作画面を示す操作画面情報を生成する。操作画面情報は、例えば、操作者によって選択された作業内容の操作を行うための操作画面の画面レイアウト情報に加え、操作者が当該作業内容の選択に用いた端末のアドレス情報が含まれる。

入力装置３１は、端末３Ａ～３Ｅにおいて、操作者Ａ～Ｅが情報の入力に使用する装置であり、例えば、キーボード、マウスまたはタッチパネルである。表示装置３２は、端末３Ａ～３Ｅに搭載されたディスプレイであってもよいし、外付けされたディスプレイであってもよい。表示装置３２は、一つのディスプレイに限定されるものではなく、操作画面を表示するディスプレイと、仮想空間を表示するディスプレイであってもよい。

操作画面情報取得部４１は、操作者からの操作を受け付ける操作画面を示す操作画面情報を取得する。例えば、操作画面情報取得部４１は、制御装置２が備える操作画面情報生成部２２から出力された操作画面情報を取得する。操作画面提供部４２は、操作画面情報が示す操作画面を、端末３Ａ～３Ｅが備える表示装置３２に表示させることにより、操作者に提供する。例えば、操作画面提供部４２は、操作画面情報に含まれるアドレス情報に基づいて、作業内容の選択に用いられた端末を特定し、特定した端末が備える表示装置３２に操作画面を表示させる。また、表示装置３２に表示させる操作画面が複数種類である場合、操作画面提供部４２は、各操作画面をウィンドウ画面として表示装置３２に表示させる。

仮想空間提供部４３は、操作画面情報が示す操作画面を模擬した仮想操作画面を含んだ仮想空間を表示装置に表示させることにより、操作者に提供する。また、仮想空間提供部４３は、操作画面情報取得部４１によって操作者が閲覧または操作している操作画面を示す操作画面情報が取得されると、当該操作画面を模擬した仮想操作画面に対応する仮想空間内の位置に、操作者に対応したアバターを表示させる。

図３は、実施の形態１に係る表示方法を示すフローチャートである。
操作画面情報取得部４１が、操作者が閲覧または操作している操作画面を示す操作画面情報が取得されたか否かを確認する（ステップＳＴ１）。例えば、操作画面情報取得部４１は、操作者によって最初に作業内容が選択されたときに、選択された作業内容に対応する操作画面を示す操作画面情報を取得する。または、操作者が、入力装置３１を用いて、表示装置３２に表示された操作画面の操作を行うと、その操作情報が制御装置２に出力され、操作された操作画面を示す操作画面情報が生成される。操作画面情報取得部４１は、操作された操作画面を示す操作画面情報を取得する。制御装置２から操作画面情報が取得されなかった場合（ステップＳＴ１；ＮＯ）、操作画面情報取得部４１は、ステップＳＴ１の確認処理を繰り返す。

操作画面提供部４２は、操作画面情報取得部４１によって操作画面情報が取得された場合（ステップＳＴ１；ＹＥＳ）、操作画面情報が示す操作画面を実空間の表示装置３２に表示させる（ステップＳＴ２）。例えば、操作画面提供部４２は、操作画面情報に含まれる画面レイアウト情報に基づいて、操作画面の画像情報を生成する。そして、操作画面提供部４２は、端末３Ａ～３Ｅのうち、操作画面情報が示す操作画面に対応する作業内容を選択した端末が備える表示装置３２、または、操作画面に対する操作を行った端末が備える表示装置３２に対し、生成した画像情報を出力する。表示装置３２は、当該画像情報を用いて操作画面を表示する。

仮想空間提供部４３は、操作画面情報が示す操作画面を模擬した仮想操作画面を、実空間の表示装置３２に表示させる（ステップＳＴ３）。例えば、仮想空間提供部４３は、操作画面情報に含まれる画面レイアウト情報に基づいて、仮想操作画面の画像情報を生成する。仮想空間提供部４３は、端末３Ａ～３Ｅがそれぞれ備える表示装置３２に対し、生成した画像情報を出力する。表示装置３２は、当該画像情報を用いて、仮想操作画面を表示する。なお、図３では、表示装置３２に操作画面を表示した後に仮想操作画面を表示する流れになっているが、これらは同時に表示してもよいし、仮想操作画面を先に表示してもよい。

仮想空間提供部４３は、操作画面を模擬した仮想操作画面に対応する仮想空間内の位置に、操作者に対応したアバターを表示させる（ステップＳＴ４）。ここで、仮想操作画面に対応する仮想空間内の位置とは、操作者が表示装置３２の表示画面からみて、仮想操作画面およびその周辺領域内の位置である。例えば、仮想空間提供部４３は、操作者が操作画面を操作している場合、当該操作画面を模擬した仮想操作画面に重なる位置にアバターが配置された仮想空間を表示装置３２に表示させる。また、仮想空間提供部４３は、操作者が操作画面を閲覧のみしている場合、当該操作画面を模擬した仮想操作画面の周縁部分にアバターが配置された仮想空間を表示装置３２に表示させる。

図４は、図３のステップＳＴ４の詳細な処理を示すフローチャートである。
仮想空間提供部４３は、操作画面情報取得部４１によって取得された操作画面情報が、操作者が操作している操作画面を示す操作画面情報であるか否かを判定する（ステップＳＴ４－１）。操作者が操作している操作画面を示す操作画面情報であると判定した場合（ステップＳＴ４－１；ＹＥＳ）、仮想空間提供部４３は、端末３Ａ～３Ｅがそれぞれ備える表示装置３２に対し、当該操作画面を模擬した仮想操作画面と重なる位置に、操作者に対応するメインアバターを表示させる（ステップＳＴ４－２）。メインアバターとは、仮想操作画面を操作している操作者を表現したアバター画像である。

操作者が操作している操作画面を示す操作画面情報ではないと判定した場合（ステップＳＴ４－１；ＮＯ）、仮想空間提供部４３は、操作画面情報取得部４１によって取得された操作画面情報が、操作者が閲覧のみしている操作画面を示す操作画面情報であると判定する（ステップＳＴ４－３）。操作画面情報取得部４１によって取得された操作画面情報は、操作者が選択した作業内容に対応する操作画面を示す情報である。すなわち、操作画面情報が示す操作画面は、操作者によって操作されていなくても、表示装置３２において閲覧可能に表示されている。

仮想空間提供部４３は、端末３Ａ～３Ｅがそれぞれ備える表示装置３２に対して、当該操作画面を模擬した仮想操作画面に対応する仮想空間内の位置に、操作者に対応するサブアバターを表示させる（ステップＳＴ４－４）。例えば、サブアバターは、仮想操作画面の周縁部分に表示される。サブアバターとは、仮想操作画面を操作者が閲覧のみしていることを示すアバター画像であり、例えば、当該操作者の名前、ニックネームまたはＩＤといった識別情報が付加された図形画像である。

図５は、表示装置３２（１）および表示装置３２（２）の表示例を示す図である。図５において、操作者Ａが使用する端末３Ａは、表示装置３２（１）と表示装置３２（２）とを備える。操作画面提供部４２が、操作画面情報に基づいて、操作画面Ｐ、操作画面Ｑ、操作画面Ｒおよび操作画面Ｔを表示装置３２（１）に表示させている。操作者Ａは、入力装置３１であるマウスを用いて、表示装置３２（１）に表示された操作画面Ｐを操作しており、操作画面Ｑ、操作画面Ｒおよび操作画面Ｔについては閲覧のみしている。

仮想空間提供部４３は、操作者Ａが操作している操作画面Ｐを模擬した仮想操作画面Ｐと重なる位置に、操作者Ａに対応するメインアバター１０を配置し、操作者Ａが閲覧のみしている操作画面Ｑ、操作画面Ｒおよび操作画面Ｔのうち、操作画面Ｑを模擬した仮想操作画面Ｑの周縁部分に、操作者Ａに対応するサブアバター１０（１）を配置し、操作画面Ｒを模擬した仮想操作画面Ｒの周縁部分に、操作者Ａに対応するサブアバター１０（２）を配置し、操作画面Ｔを模擬した仮想操作画面Ｔの周縁部分に、操作者Ａに対応するサブアバター１０（３）を配置した仮想空間を、表示装置３２（２）に表示させる。さらに、表示装置３２（２）に表示された仮想空間には、操作者Ｂが操作している操作画面Ｓを模擬した仮想操作画面Ｓと重なる位置に、操作者Ｂに対応するメインアバター１１が配置され、操作者Ｂが閲覧のみしている操作画面Ｔを模擬した仮想操作画面Ｔの周縁部分に、操作者Ｂに対応するサブアバター１１（１）が配置されている。

操作者Ａは、表示装置３２（２）に表示された仮想空間を視認することにより、仮想空間内で作業している操作者（操作者Ａおよび操作者Ｂ）を知ることができ、操作者の作業数として操作者Ａおよび操作者Ｂがそれぞれ作業に用いている操作画面の数を知ることができ、各仮想操作画面から作業内容を知ることができる。これにより、操作者Ａは、仮想空間内で作業している操作者全体の作業負荷状況を把握することができる。

仮想空間提供部４３は、表示装置３２（１）に表示させて閲覧している、操作画面Ｑ、操作画面Ｒおよび操作画面Ｔに対する操作者Ａの注目度合いに応じた色、透明度および大きさのうちの少なくとも一つでサブアバター１０（１）～１０（３）を表示させてもよい。操作者に注目されている操作画面に対応した作業内容は、操作者の作業負荷状況を示す情報となり得る。また、表示装置に複数の操作画面（ウィンドウ画面）を表示させて作業を行う場合、前面側の操作画面であるほど、操作者の注目度合いが高いと考えられる。

例えば、図５において、表示装置３２（１）には、操作画面Ｑが、操作画面Ｒおよび操作画面Ｔよりも前面に表示されている。すなわち、操作者Ａは、操作している操作画面Ｐの他に、操作画面Ｑに最も注目しており、その次に操作画面Ｒ、その次に操作画面Ｔに注目している。仮想空間提供部４３には、表示装置における操作画面の表示の順序（注目度合い）に応じた色、透明度および大きさの少なくとも一つが設定されている。

図５は、表示装置３２（１）に表示された操作画面の注目度合いに応じた透明度が仮想空間提供部４３に設定されている場合を示している。例えば、操作画面Ｑ、操作画面Ｒおよび操作画面Ｔを用いた作業において、操作者Ａが、操作画面Ｑ、操作画面Ｒおよび操作画面Ｔの順で前面側に表示されるように表示の順序を設定した場合、この表示順序を含む操作画面情報が制御装置２によって生成される。

仮想空間提供部４３は、制御装置２によって生成された上記操作画面情報に基づいて、表示装置３２（２）に対し、仮想操作画面Ｑに対応した位置に配置するサブアバター１０（１）の透明度が最も低く、仮想操作画面Ｒに対応した位置に配置するサブアバター１０（２）および仮想操作画面Ｔに対応した位置に配置するサブアバター１０（３）の順で透明度が高くなるように表示させる。この仮想空間を視認することにより、操作者Ａに対応するサブアバターの透明度に基づいて、操作者Ａが操作画面Ｑ、操作画面Ｒおよび操作画面Ｔの順で注目していることを把握することができる。

仮想空間提供部４３は、表示装置３２（２）に対して、操作画面の注目度合いに応じた色でサブアバターを表示させてもよい。例えば、仮想空間提供部４３は、注目度合い最も高い操作画面を模擬した仮想画面に対応する位置に配置されるサブアバターを、注意喚起させるために赤色で表示させ、対応する操作画面の注目度合いが下がるに連れて赤系の色から黄色を経て緑色へサブアバターの色を変化させる。

また、仮想空間提供部４３は、表示装置３２（２）に対して、操作画面の注目度合いに応じた大きさでサブアバターを表示させてもよい。例えば、仮想空間提供部４３は、注目度合い最も高い操作画面を模擬した仮想画面に対応する位置に配置されるサブアバターを最も大きく表示させ、対応する操作画面の注目度合いが下がるに連れて大きさが小さくなるようにサブアバターを表示させる。

さらに、仮想空間提供部４３は、表示装置３２（２）に対して、操作画面の注目度合いに応じた色、透明度および大きさのうちの少なくとも２つの組み合わせでサブアバターを表示させてもよい。例えば、仮想空間提供部４３は、注目度合い最も高い操作画面を模擬した仮想画面に対応する位置に配置されるサブアバターを赤色かつ透明度が最も低くかつ最も大きく表示させ、対応する操作画面の注目度合いが下がるに連れて赤系の色から黄色を経て緑色に変化させ、かつ透明度を高くし、かつ大きさが小さくなるようにサブアバターを表示させる。操作者は、仮想空間内のサブアバターを視認すれば、操作者がどの操作画面に注目しているかを把握することができる。

表示装置に複数の操作画面（ウィンドウ画面）を表示させて作業を行う場合、操作画面の表示面積が大きいほど、操作者の注目度合いが高い操作画面であると考えられる。そこで、仮想空間提供部４３は、表示装置３２（１）の画面内の操作画面の表示面積に応じた色、透明度および大きさのうちの少なくとも一つでサブアバターを表示させてもよい。

例えば、仮想空間提供部４３は、表示装置３２（１）の画面内の操作画面の表示面積を考慮した係数ＲＷおよびＲＨを、下記式（１）および下記式（２）に従って算出し、ＲＷとＲＨのうち、小さい方を、操作画面の表示面積を考慮した係数Ｒとして採用する。仮想空間提供部４３は、下記式（３）に従って、サブアバターの透明度Ｔを算出する。下記式（１）～（３）において、Ｗ０は、表示装置３２（１）に表示される操作画面の基準の幅（ピクセル）であり、Ｈ０は、表示装置３２（１）に表示される操作画面の基準の高さ（ピクセル）である。Ｗ１は、表示装置３２（１）に表示された操作画面の現在の幅（ピクセル）であり、Ｈ１は、表示装置３２（１）に表示された操作画面の現在の高さ（ピクセル）である。ＤＭは、操作画面に表示されているコンテンツの表示倍率である。Ａは、表示装置３２（１）における操作画面の表示順序に応じた表示面積の割合であり、最前面の操作画面の割合Ａは１００（％）である。ＦＲは、最前面に表示された操作画面であるか否かを示すフラグ値であり、最前面に表示された操作画面のＦＲの値は「１」であり、最前面以外に表示された操作画面のＦＲの値は「０」である。Ｕは、操作者が任意に設定する係数であり、０より大きく１より小さい値の範囲を設定可能である。
ＲＷ＝（Ｗ１／Ｗ０）×ＤＭ×Ａ （１）
ＲＨ＝（Ｈ１／Ｈ０）×ＤＭ×Ａ （２）
Ｔ＝（１－ＦＲ）×（１－Ｒ×Ｕ） （３）

仮想空間提供部４３は、表示装置３２（２）の表示画面からみて、メインアバター１０における少なくとも仮想操作画面Ｐと重なる部分を輪郭のみで表示させ、メインアバター１１における少なくとも仮想操作画面Ｓと重なる部分を輪郭のみで表示させてもよい。
例えば、図５に示すように、仮想空間提供部４３は、メインアバター１０を、操作者Ａの輪郭のみを模擬したアバター画像とし、メインアバター１１を、操作者Ｂの輪郭のみを模擬したアバター画像とする。これにより、メインアバター１０が前面に配置されていても仮想操作画面Ｐの表示内容を視認することができ、メインアバター１１が前面に配置されていても仮想操作画面Ｓの表示内容を視認することができる。

操作画面提供部４２は、第１の操作者が閲覧または操作している操作画面のうち、第１の操作者以外の第２の操作者が閲覧または操作している操作画面に対し、当該第２の操作者を示す画像を付加して表示装置に表示させてもよい。図５において、第１の操作者が操作者Ａであり、第２の操作者が操作者Ｂであるものとする。例えば、操作者Ａが閲覧または操作している操作画面のうち、操作画面Ｔは、操作者Ｂも閲覧している。操作画面提供部４２は、操作画面Ｔに対し、操作者Ｂを示す画像であるサブアバター１１（１）を付加して表示装置３２（１）に表示させる。これにより、操作者Ａは、表示装置３２（１）に表示された操作画面Ｔに付加されたサブアバター１１（１）を視認することにより、当該操作画面Ｔが操作者Ｂによっても閲覧されていることを把握できる。

仮想空間提供装置４における操作画面情報取得部４１、操作画面提供部４２および仮想空間提供部４３の機能は、処理回路によって実現される。すなわち、仮想空間提供装置４は、図３に示したステップＳＴ１からステップＳＴ４までの処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

図６Ａは、仮想空間提供装置４の機能を実現するハードウェア構成を示すブロック図である。図６Ｂは、仮想空間提供装置４の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図６Ａおよび図６Ｂにおいて、入力インタフェース１００は、制御装置２から仮想空間提供装置４へ出力される操作画面情報などの情報を中継するインタフェースである。出力インタフェース１０１は、仮想空間提供装置４から端末３Ａ～３Ｅへ出力される操作画面および仮想空間の各画像情報を中継するインタフェースである。

処理回路が図６Ａに示す専用のハードウェアの処理回路１０２である場合に、処理回路１０２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはこれらを組み合わせたものが該当する。仮想空間提供装置４における操作画面情報取得部４１、操作画面提供部４２および仮想空間提供部４３の機能を別々の処理回路で実現してもよく、これらの機能をまとめて一つの処理回路で実現してもよい。

処理回路が図６Ｂに示すプロセッサ１０３である場合、仮想空間提供装置４における操作画面情報取得部４１、操作画面提供部４２および仮想空間提供部４３の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０４に記憶される。

プロセッサ１０３は、メモリ１０４に記憶されたプログラムを読み出して実行することで、仮想空間提供装置４における操作画面情報取得部４１、操作画面提供部４２および仮想空間提供部４３の機能を実現する。例えば、仮想空間提供装置４は、プロセッサ１０３によって実行されるときに図３に示すフローチャートにおけるステップＳＴ１からステップＳＴ４の処理が結果的に実行されるプログラムを記憶するためのメモリ１０４を備えている。これらのプログラムは、操作画面情報取得部４１、操作画面提供部４２および仮想空間提供部４３が行う処理の手順または方法を、コンピュータに実行させる。メモリ１０４は、コンピュータを、操作画面情報取得部４１、操作画面提供部４２および仮想空間提供部４３として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。

メモリ１０４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

仮想空間提供装置４における操作画面情報取得部４１、操作画面提供部４２および仮想空間提供部４３の機能の一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。例えば、操作画面情報取得部４１は、専用のハードウェアである処理回路１０２によって機能を実現し、操作画面提供部４２および仮想空間提供部４３は、プロセッサ１０３がメモリ１０４に記憶されたプログラムを読み出して実行することにより機能を実現する。このように、処理回路はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより上記機能を実現することができる。

以上のように、実施の形態１に係る表示システム１は、操作者からの操作を受け付ける操作画面を示す操作画面情報を取得する操作画面情報取得部４１と、操作画面情報が示す操作画面を表示装置３２（１）に表示させることにより操作者に提供する操作画面提供部４２と、操作画面情報が示す操作画面を模擬した仮想操作画面を含んだ仮想空間を表示装置３２（２）に表示させることにより操作者に提供する仮想空間提供部４３を備える。
仮想空間提供部４３は、操作画面情報取得部４１によって操作者が閲覧または操作している操作画面を示す操作画面情報が取得されると、当該操作画面を模擬した仮想操作画面に対応する仮想空間内の位置に、操作者に対応したアバターを表示させる。
操作者は、表示装置３２（２）に表示された仮想空間内のアバターと仮想操作画面とを視認することにより、仮想空間内の作業負荷状況を把握可能である。

実施の形態１に係る表示システム１において、仮想空間提供部４３は、操作者Ａが操作している操作画面を模擬した仮想操作画面に対応する仮想空間内の位置に、当該操作者Ａに対応したメインアバター１０を表示させ、操作者Ａが閲覧のみしている操作画面Ｑ、ＲおよびＴを模擬した仮想操作画面Ｑ、ＲおよびＴに対応する仮想空間内の位置に、操作者Ａに対応したサブアバター１０（１）、１０（２）および１０（３）を表示させる。この仮想空間を視認することにより、操作者Ａが操作している操作画面と、閲覧のみしている操作画面を把握することができる。これにより、操作者Ａ～Ｅは、仮想空間内の操作者Ａの作業負荷状況を把握可能である。

実施の形態１に係る表示システム１において、仮想空間提供部４３は、表示装置３２に表示させた操作画面に対する操作者の注目度合いに応じた色、透明度および大きさのうちの少なくとも一つでサブアバターを表示させる。操作者は、サブアバターを視認することにより、仮想空間内の作業負荷状況を把握可能である。

実施の形態１に係る表示システム１において、仮想空間提供部４３は、表示装置３２の画面内の操作画面の表示面積に応じた色、透明度および大きさのうちの少なくとも一つでサブアバターを表示させる。サブアバターを視認することにより、仮想空間内の操作者の作業負荷状況を把握可能である。

実施の形態１に係る表示システム１において、仮想空間提供部４３は、表示装置３２の表示画面からみてアバターにおける少なくとも仮想操作画面と重なる部分を、輪郭のみで表示させる。アバターが前面に配置されていても仮想操作画面の表示内容を視認することができる。これにより、仮想空間内の操作者の作業負荷状況を把握可能である。

実施の形態１に係る表示システム１において、操作画面提供部４２は、操作者Ａが閲覧または操作している操作画面のうち、操作者Ａ以外の操作者Ｂが閲覧または操作している操作画面に対して、操作者Ｂを示す画像を付加して表示装置３２に表示させる。操作者Ａは、表示装置３２に表示された操作画面に付加された、操作者Ｂを示す画像を視認することにより、当該操作画面が操作者Ｂによっても閲覧されていることを把握できる。これにより、仮想空間内の操作者の作業負荷状況を把握可能である。

実施の形態２．
図７は、実施の形態２に係る仮想空間提供装置４Ａの構成を示すブロック図である。図７において、仮想空間提供装置４Ａは、操作画面情報取得部４１、操作画面提供部４２、仮想空間提供部４３Ａおよび負荷算出部４４を備える。負荷算出部４４は、操作者の作業負荷を示す値を算出する。操作者の作業負荷は、例えば、表示装置３２に表示された操作画面に対応する作業の未処理タスク数、または、操作画面を用いた操作者の連続作業時間のうちの少なくとも一方である。

例えば、負荷算出部４４は、端末３Ａ～３Ｅから受け付けた操作に対応する操作画面情報の数をカウントし、端末ごとの操作画面情報の数を、操作画面に対応する作業の未処理タスク数とする。また、負荷算出部４４は、操作者Ａの作業が停止して一定時間（例えば１０分間）経過した状態から、操作者Ａが操作画面に対する操作を開始した時点をトリガーとして、操作者Ａの連続作業時間をカウントする。

仮想空間提供部４３Ａは、負荷算出部４４によって算出された作業負荷を示す画像情報を付加したアバターを表示させる。例えば、作業負荷を示す画像情報は、操作者の未処理タスク数および操作者の連続作業時間である。仮想空間提供部４３Ａは、操作者の未処理タスク数および操作者の連続作業時間を表す画像情報を、操作者に対応するアバターに付加する。

図８は、メインアバター１０および作業負荷画像の表示例を示す図であり、操作者Ａに対応するメインアバター１０に対して作業負荷画像を付加した場合を示している。図８において、仮想空間提供部４３Ａは、操作者Ａの未処理タスク数を示すテキスト画像４４Ａと、操作者Ａの連続作業時間を表す作業時間画像４４Ｂとを含む作業負荷画像を、メインアバター１０に付加している。例えば、操作者Ａの未処理タスク数が「４」である場合、テキスト画像４４Ａは、図８に示すように「４」となる。

作業時間画像４４Ｂは、時間経過に伴って環状に伸びる画像であり、例えば、一周で６０分を表している。負荷算出部４４は、操作者Ａが操作画面を用いた作業を開始すると、作業時間をカウントする。負荷算出部４４によってカウントされた作業時間は、仮想空間提供部４３Ａに出力される。仮想空間提供部４３Ａは、負荷算出部４４による操作者Ａの作業時間のカウントが開始されると、操作者Ａに関する作業時間画像４４Ｂを描画し始める。なお、図８に示す作業時間画像４４Ｂは、操作者Ａが５５分間連続して作業を続けたときの画像を示している。

作業時間画像４４Ｂにおける画像部分４４Ｂ１は、操作者Ａによって作業が開始されてから３５分間経過したときの画像部分である。操作者Ａが作業を開始して３５分間経過するまでの時間帯においては、操作者Ａの未処理タスク数が、作業開始から５５分経過した時点における「４」よりも少なく、かつ第１の基準数（４＞第１の基準数）よりも少ない状態であったものと仮定する。この場合、仮想空間提供部４３Ａは、例えば、安全色である青色で画像部分４４Ｂ１を描画する。なお、第１の基準数は、例えば、作業負荷が増加したことを知らせるための未処理タスク数の閾値である。

作業時間画像４４Ｂにおける画像部分４４Ｂ２は、操作者Ａによって作業が開始されてから３５分経過した時点からさらに１０分間経過したときの画像部分である。３５分から４５分までの時間帯においては、操作者Ａの未処理タスク数が、作業開始から５５分経過した時点における「４」よりも少なく、かつ、第１の基準数よりも多いが、第２の基準数（４＞第２の基準数＞第１の基準数）よりは少ない状態であったものと仮定する。この場合、仮想空間提供部４３Ａは、例えば、注意喚起色である黄色で画像部分４４Ｂ２を描画する。なお、第２の基準数は、例えば、作業負荷が過多になりつつあることを知らせるための未処理タスク数の閾値である。

作業時間画像４４Ｂにおける画像部分４４Ｂ３は、操作者Ａによって作業が開始されてから４５分経過した時点からさらに１０分間経過したときの画像部分である。４５分から５５分までの時間帯において、操作者Ａの未処理タスク数が「４」であり、第２の基準数よりも多くなっている。この場合、仮想空間提供部４３Ａは、例えば、注意喚起色である赤色で画像部分４４Ｂ３を描画する。操作者は、前述したような作業負荷画像を視認することにより、当該作業負荷画像が負荷されたアバターに対応する操作者の未処理タスク数と、連続作業時間と、作業経過に伴う作業負荷状況の変遷を把握することができる。
なお、４＞第２の基準数＞第１の基準数である場合を示したが、仮想空間提供部４３Ａにおいて、未処理タスク数を判定する基準数の関係は、これに限定されるものではない。

また、仮想空間提供部４３Ａは、表示装置３２に対して、負荷算出部４４によって算出された作業負荷に応じた色のアバターを表示させる。例えば、仮想空間提供部４３Ａは、操作画面に対応する作業の未処理タスク数が閾値よりも多い場合、作業負荷が過多であることを操作者に注意喚起させるために、メインアバターおよびサブアバターを赤色で表示させる。仮想空間提供部４３Ａは、操作画面に対応する作業の未処理タスク数が少なくなるに連れて、メインアバターおよびサブアバターの色を、赤系の色から黄色を経て緑色に変化させる。

図９Ａは、メインアバター１０の表示例（１）を示す図である。また、図９Ｂは、サブアバター１０（１）の表示例（１）を示す図である。図９Ａおよび図９Ｂにおいて、操作者Ａの未処理タスクの数は、上記第２の基準数よりも多い「４」であるものとする。この場合、仮想空間提供部４３Ａは、作業負荷が過多であることを操作者に注意喚起させるために、メインアバター１０およびサブアバター１０（１）を、例えば赤色で表示させる。

図１０Ａは、メインアバター１１の表示例（２）を示す図である。また、図１０Ｂは、サブアバター１１（１）の表示例（２）を示す図である。図１０Ａおよび図１０Ｂにおいて、操作者Ｂの未処理タスクの数は、上記第１の基準数よりも少ない「２」であるものとする。この場合、仮想空間提供部４３Ａは、操作者Ｂの作業負荷が低いので、メインアバター１１およびサブアバター１１（１）を、例えば、安全色である青色で表示させる。

また、仮想空間提供部４３Ａは、操作者の作業負荷に応じた色の他に、操作者の作業負荷に応じた透明度および大きさのうちの少なくとも一つでアバターを表示させてもよい。
例えば、仮想空間提供部４３Ａは、作業負荷が高い操作者に対応するアバターの透明度を低く表示させ、作業負荷が下がるに連れて透明度が高くなるようにアバターを表示させる。また、仮想空間提供部４３Ａは、作業負荷が高い操作者に対応するアバターを大きく表示させ、作業負荷が下がるに連れて大きさが小さくなるようにアバターを表示させる。

さらに、仮想空間提供部４３Ａは、操作者の作業負荷に応じた色、透明度および大きさのうちの少なくとも２つの組み合わせでサブアバターを表示させてもよい。例えば、仮想空間提供部４３Ａは、作業負荷が高い操作者に対応するアバターを赤色かつ透明度が最も低くかつ最も大きく表示させ、作業負荷が下がるに連れて赤系の色から黄色を経て緑色に変化させ、かつ透明度を高くし、かつ大きさが小さくなるようにアバターを表示させる。仮想空間内のアバターを視認することにより、操作者は、作業負荷状況を把握することができる。

負荷算出部４４は、操作者の数を算出してもよい。例えば、負荷算出部４４は、端末３Ａ～３Ｅのうち、作業内容の選択を受け付けた端末の数をカウントし、カウントした値を仮想空間内で作業している操作者の数として仮想空間提供部４３Ａに出力する。仮想空間提供部４３Ａは、負荷算出部４４によって算出された操作者の数を示す画像を含む仮想空間を、表示装置３２（２）に表示させる。

図１１は、仮想空間の表示例を示す図である。図１１に示す仮想空間には、操作者Ａ～Ｅにそれぞれ対応したアバター１０～１４が表示されており、当該仮想空間内で作業している操作者の数は「５」である。仮想空間提供部４３Ａは、表示装置３２（２）に対し、操作者の数を示す画像４４Ｃを表示させる。画像４４Ｃを視認することにより、操作者は、自分以外に作業を行っている操作者の数を容易に認識することができる。

なお、仮想空間提供装置４Ａにおける操作画面情報取得部４１、操作画面提供部４２、仮想空間提供部４３Ａおよび負荷算出部４４の機能は、図６Ａまたは図６Ｂに示した処理回路によって実現される。すなわち、仮想空間提供装置４Ａは、実施の形態２で示した処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵであってもよい。

以上のように、実施の形態２に係る仮想空間提供装置４Ａは、操作者の作業負荷を示す値を算出する負荷算出部４４を備える。仮想空間提供部４３Ａは、負荷算出部４４によって算出された作業負荷に応じた色のアバターを表示させる。操作者は、仮想空間内のアバターの色を視認することにより、仮想空間内の作業負荷状況を把握可能である。

実施の形態２に係る仮想空間提供装置４Ａにおいて、仮想空間提供部４３Ａは、負荷算出部４４によって算出された作業負荷を示す画像４４Ａおよび４４Ｂを付加したアバターを表示させる。また、負荷算出部４４は、操作画面に対応する未処理タスクの数または操作画面を用いた操作者の連続作業時間のうちの少なくとも一方を作業負荷として算出する。操作者は、アバターに付加された画像４４Ａおよび４４Ｂを視認することにより、仮想空間内の作業負荷状況を把握可能である。

実施の形態２に係る仮想空間提供装置４Ａにおいて、負荷算出部４４は、操作者の数を算出する。仮想空間提供部４３Ａは、負荷算出部４４によって算出された操作者数を示す画像４４Ｃを含む仮想空間を表示装置に表示させる。操作者は、画像４４Ｃを視認することにより、自分以外に作業を行っている操作者の数を容易に認識することができる。

実施の形態３．
図１２は、実施の形態３に係る仮想空間提供装置４Ｂの構成を示すブロック図である。図１２において、仮想空間提供装置４Ｂは、操作画面情報取得部４１、操作画面提供部４２Ａおよび仮想空間提供部４３Ｂを備える。操作画面情報取得部４１は、仮想空間内の仮想操作画面が選択されると、選択された仮想操作画面に対応する操作画面を示す操作画面情報を制御装置２から取得する。操作画面提供部４２Ａは、操作画面情報取得部４１によって取得された操作画面情報に基づいて、操作者が選択した仮想操作画面に対応する操作画面を、表示装置３２に表示させる。

また、操作画面情報取得部４１は、仮想空間内のアバターが選択されると、選択されたアバターに対応した操作者が閲覧または操作している操作画面を示す操作画面情報を、制御装置２から取得する。操作画面提供部４２Ａは、操作画面情報取得部４１によって取得された操作画面情報に基づいて、選択されたアバターに対応した操作者が閲覧または操作している操作画面を、表示装置３２に表示させる。

仮想空間提供部４３Ｂは、仮想空間内の仮想操作画面またはアバターが選択されると、仮想操作画面またはアバターを選択した操作者に対応したサブアバターを、仮想操作画面またはアバターが選択された操作者が閲覧または操作している操作画面を模擬した仮想操作画面に対応する仮想空間内の位置に表示させる。例えば、操作者Ａが、操作者Ｂによって閲覧または操作されている操作画面を模擬した仮想操作画面、または、操作者Ｂに対応したアバターを選択すると、仮想空間提供部４３Ｂは、操作者Ａに対応したサブアバターを、操作者Ｂによって閲覧または操作されている操作画面を模擬した仮想操作画面に対応する仮想空間内の位置に表示させる。

図１３は、実施の形態３に係る表示方法を示すフローチャートであり、図４の処理後に行われる一連の処理を示している。また、図１４は、表示装置３２（１）および表示装置３２（２）の表示例を示す図である。操作画面提供部４２Ａは、仮想空間内の仮想操作画面が選択されたか否かを判定する（ステップＳＴ１ａ）。例えば、図１４に示すように、操作者Ａが、入力装置３１を用いて、表示装置３２（２）に表示された仮想空間内の仮想操作画面Ｓにポインタ５０を合わせてクリックすることにより仮想操作画面Ｓが選択される。仮想操作画面Ｓを選択した操作情報は、入力装置３１から制御装置２へ出力される。

制御装置２は、操作者Ａが仮想操作画面Ｓを選択した操作情報を仮想空間提供装置４Ｂに出力する。操作画面情報取得部４１は、制御装置２から取得した操作情報を操作画面提供部４２Ａおよび仮想空間提供部４３Ｂに出力する。操作画面提供部４２Ａは、この操作情報を取得することにより、操作者Ａが仮想操作画面Ｓを選択したと判定する。

仮想空間内の仮想操作画面が選択されたと判定すると（ステップＳＴ１ａ；ＹＥＳ）、操作画面提供部４２Ａは、選択された仮想操作画面に対応する操作画面を示す操作画面情報を取得する（ステップＳＴ２ａ）。例えば、制御装置２が備える操作画面情報生成部２２は、操作者Ａによって選択された仮想操作画面Ｓに対応する操作画面情報を生成する。操作画面情報取得部４１は、操作画面情報生成部２２から操作画面情報を取得する。操作画面提供部４２Ａは、操作者Ａによって選択された仮想操作画面Ｓに対応する操作画面情報を、操作画面情報取得部４１から取得する。

操作画面提供部４２Ａは、取得した操作画面情報に基づいて、操作者Ａが選択した仮想操作画面Ｓに対応する操作画面Ｓを表示装置３２（１）に表示させる（ステップＳＴ３ａ）。例えば、操作画面提供部４２Ａは、操作者Ａによって選択された仮想操作画面Ｓに対応する操作画面情報に基づいて、図１４に示すように、表示装置３２（１）の前面に操作画面Ｓを表示させる。これにより、操作者Ａは、表示装置３２（１）において操作画面Ｓを閲覧または操作可能となる。

仮想空間内の仮想操作画面が選択されないと判定すると（ステップＳＴ１ａ；ＮＯ）、操作画面提供部４２Ａは、仮想空間内のアバターが選択されたか否かを判定する（ステップＳＴ４ａ）。例えば、図１４に示すように、操作者Ａが、入力装置３１を用いて、表示装置３２（２）に表示された仮想空間内のメインアバター１１にポインタ５１を合わせてクリックすることにより、メインアバター１１が選択される。メインアバター１１を選択した操作情報は、入力装置３１から制御装置２へ出力される。

制御装置２は、操作者Ａがメインアバター１１を選択した操作情報を仮想空間提供装置４Ｂに出力する。操作画面情報取得部４１は、制御装置２から取得した操作情報を操作画面提供部４２Ａおよび仮想空間提供部４３Ｂに出力する。操作画面提供部４２Ａは、この操作情報を取得することにより、操作者Ａがメインアバター１１を選択したと判定する。

仮想空間内のアバターが選択されたと判定すると（ステップＳＴ４ａ；ＹＥＳ）、操作画面提供部４２Ａは、選択されたアバターに対応する操作者が閲覧または操作している操作画面を示す操作画面情報を取得する（ステップＳＴ５ａ）。例えば、制御装置２が備える操作画面情報生成部２２は、操作者Ａによって選択されたメインアバター１１に対応する操作者Ｂが閲覧している操作画面Ｔと操作者Ｂが操作している操作画面Ｓとに対応する操作画面情報を生成する。操作画面情報取得部４１は、操作画面情報生成部２２から操作画面情報を取得する。操作画面提供部４２Ａは、操作画面Ｔおよび操作画面Ｓを示す操作画面情報を、操作画面情報取得部４１から取得する。

操作画面提供部４２Ａは、取得した操作画面情報に基づいて、操作者が選択したアバターに対応する操作者が閲覧または操作している操作画面を表示装置３２（１）に表示させる（ステップＳＴ３ａ）。例えば、操作画面提供部４２Ａは、操作画面情報取得部４１から取得した操作画面情報に基づいて、図１４に示すように、表示装置３２（１）の前面に操作画面Ｓおよび操作画面Ｔを表示させる。これにより、操作者Ａは、表示装置３２（１）において操作画面Ｓおよび操作画面Ｔを閲覧または操作可能となる。

この後、仮想空間提供部４３Ｂは、操作者Ａに対応したサブアバター１０（４）を、仮想操作画面Ｓに対応する仮想空間内の位置に表示させ、操作者Ａに対応したサブアバター１０（３）を、仮想操作画面Ｔに対応する仮想空間内の位置に表示させる。操作画面Ｓおよび操作画面Ｔは、表示装置３２（１）の前面に表示されており、操作者Ａの注目度合いが高いと考えられる。このため、サブアバター１０（３）およびサブアバター１０（４）は、操作者Ａの注目度合に応じた色、透明度および大きさのうちの少なくとも一つで表示される。

なお、仮想空間提供装置４Ｂにおける操作画面情報取得部４１、操作画面提供部４２Ａおよび仮想空間提供部４３Ｂの機能は、図６Ａまたは図６Ｂに示した処理回路によって実現される。すなわち、仮想空間提供装置４Ｂは、図１３に示したステップＳＴ１ａからステップＳＴ５ａまでの処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵであってもよい。

以上のように、実施の形態３に係る仮想空間提供装置４Ｂにおいて、操作画面情報取得部４１が、仮想空間内の仮想操作画面が選択されると、選択された仮想操作画面に対応する操作画面を示す操作画面情報を制御装置２から取得する。操作画面提供部４２Ａが、操作画面情報取得部４１によって取得された操作画面情報に基づいて、操作者が選択した仮想操作画面に対応する操作画面を、表示装置３２に表示させる。これにより、操作者は、仮想空間から選択した仮想操作画面に対応する操作画面を閲覧または操作することが可能となる。

実施の形態３に係る仮想空間提供装置４Ｂにおいて、操作画面情報取得部４１が、仮想空間内のアバターが選択されると、選択されたアバターに対応した操作者が閲覧または操作している操作画面を示す操作画面情報を、制御装置２から取得する。操作画面提供部４２Ａが、操作画面情報取得部４１によって取得された操作画面情報に基づいて、選択されたアバターに対応した操作者が閲覧または操作している操作画面を、表示装置３２に表示させる。これにより、操作者は、仮想空間から選択したアバターに対応する操作者が閲覧または操作している操作画面を閲覧または操作することが可能となる。

実施の形態４．
図１５は、実施の形態４に係る表示システム１Ａの構成を示すブロック図である。図１５において、制御装置２Ａは、例えば、監視対象の設備を監視制御する装置であり、操作受付部２１、操作画面情報生成部２２および報知情報生成部２３を備える。端末３Ａ～３Ｅは、入力装置３１および表示装置３２を備える。仮想空間提供装置４Ｃは、操作画面情報取得部４１、操作画面提供部４２Ｂ、仮想空間提供部４３Ｃおよび報知情報取得部４５を備える。

報知情報生成部２３は、操作者に対する報知情報を生成する。例えば、報知情報生成部２３は、仮想空間内で行われる各種の作業のうち、操作者が早急に処理すべき事象が発生した作業を特定し、特定した作業を行うための操作画面および上記事情を示す報知情報を生成する。操作者が早急に処理すべき事象は、例えば、監視対象の設備の異常動作などが考えられる。

報知情報取得部４５は、制御装置２Ａから報知情報を取得する。例えば、報知情報生成部２３によって生成された報知情報は、仮想空間内で行われる各種の作業に関する情報であり、かつ、操作画面情報が示す操作画面を用いた処理に関連した情報である。報知情報取得部４５によって取得された報知情報は、操作画面提供部４２Ｂおよび仮想空間提供部４３Ｃに出力される。

操作画面提供部４２Ｂは、操作画面情報取得部４１によって取得された操作画面情報と報知情報取得部４５によって取得された報知情報とに基づいて、報知情報とともに、操作画面を、表示装置３２に表示させる。仮想空間提供部４３Ｃは、操作画面情報取得部４１によって取得された操作画面情報と報知情報取得部４５によって取得された報知情報とに基づいて、報知情報が強調表示された仮想操作画面を表示装置３２に表示させる。

図１６は、表示装置３２（１）および表示装置３２（２）の表示例を示す図である。図１６において、操作者が早急に処理すべき事象が、操作画面Ｐ、操作画面Ｑ、操作画面Ｒおよび操作画面Ｓに対応する作業に発生しているものと仮定する。操作画面提供部４２Ｂは、操作画面情報が示す操作画面のうち、報知情報が示す事情が発生している作業を行うために用いられる操作画面を特定し、特定した操作画面を、報知情報とともに、表示装置３２（１）に表示させる。

例えば、操作者Ａが閲覧または操作している操作画面Ｐ、操作画面Ｑ、操作画面Ｒおよび操作画面Ｔのうち、操作画面Ｐ、操作画面Ｑおよび操作画面Ｒを用いる作業には、報知情報が示す事情が発生している。そこで、操作画面提供部４２Ｂは、操作者が早急に処理すべき事象が発生していることを報知するための警告画像４５（１）、４５（２）および４５（３）を生成し、警告画像４５（１）を含めた操作画面Ｐ、警告画像４５（２）を含めた操作画面Ｑおよび警告画像４５（３）を含めた操作画面Ｒを、表示装置３２（１）に表示させる。

仮想空間提供部４３Ｃは、操作者が早急に処理すべき事象が発生していることを報知するための警告画像４６（１）、４６（２）、４６（３）および４６（４）を生成し、警告画像４６（１）を強調表示した仮想操作画面Ｐ、警告画像４６（２）を強調表示した仮想操作画面Ｑ、警告画像４６（３）を強調表示した仮想操作画面Ｒおよび警告画像４６（４）を強調表示した仮想操作画面Ｓを、表示装置３２（２）に表示させる。警告画像の強調表示とは、操作者が閲覧または操作可能に表示装置３２（１）に表示させている操作画面よりも強調して警告画像を表示することを意味する。

例えば、図１６において、警告画像４５（１）、４５（２）および４５（３）は、操作画面の内容の閲覧を妨げない大きさで操作画面内に配置されている。これに対して、警告画像４６（１）、４６（２）、４６（３）および４６（４）は、仮想操作画面からはみ出す程度の大きさで表示されている。操作者は、仮想空間において強調表示された警告画像を視認することにより、早急に処理すべき事象が仮想操作画面に対応する作業に発生していることを容易に把握できる。

なお、警告画像を仮想操作画面からはみ出す程度の大きさで表示する場合を示したが、強調表示は、これに限定されるものではない。例えば、仮想空間提供部４３Ｃは、警告画像を、操作者に注意喚起させるために赤色で表示させてもよいし、操作画面内に配置する警告画像とは異なる形状で表示させてもよい。

さらに、仮想空間提供部４３Ｃは、報知情報に基づいて仮想空間内の報知数を算出し、算出した報知数を示す画像を含んだ仮想空間を表示装置３２（２）に表示させてもよい。
例えば、仮想空間提供部４３Ｃは、操作画面情報が示す操作画面Ｐ、操作画面Ｑ、操作画面Ｒ、操作画面Ｓおよび操作画面Ｔのうち、報知情報が示す事情が発生している作業を行うために用いられる操作画面の数を、報知数として算出する。図１６に示す例では、操作画面Ｐ、操作画面Ｑ、操作画面Ｒおよび操作画面Ｓの４つの画面である。仮想空間提供部４３Ｃは、報知数を示す警告画像４６を生成し、生成した警告画像４６を表示装置３２（２）に表示させる。操作者は、警告画像４６を視認することにより、早急に処理すべき事象が仮想空間内でどれだけ発生しているかを容易に把握することができる。

なお、仮想空間提供装置４Ｃに対し、実施の形態２で示した負荷算出部４４を追加してもよい。負荷算出部４４を備えることで、仮想空間提供部４３Ｃは、負荷算出部４４によって算出された操作者数を示す画像４４Ｃを含む仮想空間を、表示装置３２（２）に表示させる。操作者は、画像４４Ｃを視認することにより、自分以外に作業を行っている操作者の数を容易に認識することができる。

なお、仮想空間提供装置４Ｃにおける操作画面情報取得部４１、操作画面提供部４２Ｂ、仮想空間提供部４３Ｃおよび報知情報取得部４５の機能は、図６Ａまたは図６Ｂに示した処理回路によって実現される。すなわち、仮想空間提供装置４Ｃは、実施の形態４で示した各処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵであってもよい。

以上のように、実施の形態４に係る表示システム１Ａは、操作画面情報が示す操作画面を用いた処理に関連した報知情報を取得する報知情報取得部４５を備える。操作画面提供部４２Ｂは、操作画面情報および報知情報に基づいて、報知情報を示す警告画像とともに操作画面を、表示装置３２（１）に表示させる。仮想空間提供部４３Ｃは、操作画面情報および報知情報に基づいて、報知情報を示す警告画像が強調表示された仮想操作画面を、表示装置３２（２）に表示させる。操作者は、強調表示された警告画像を視認することにより、早急に処理すべき事象が仮想操作画面に対応する作業に発生していることを容易に把握できる。

実施の形態４に係る表示システム１Ａにおいて、仮想空間提供部４３Ｃは、報知情報に基づいて仮想空間内の報知数を算出し、報知数を示す警告画像４６を含んだ仮想空間を表示装置３２（２）に表示させる。操作者は、警告画像４６を視認することにより、早急に処理すべき事象が仮想空間内でどれだけ発生しているかを容易に把握することができる。

なお、各実施の形態の組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。

本開示に係る表示システムは、例えば、操作者の遠隔操作によって動作するプラントの監視制御システムに利用可能である。

１，１Ａ 表示システム、２，２Ａ 制御装置、３Ａ～３Ｅ 端末、４，４Ａ～４Ｃ 仮想空間提供装置、１０～１４ メインアバター、１０（１）～１０（４），１１（１） サブアバター、２１ 操作受付部、２２ 操作画面情報生成部、２３ 報知情報生成部、３１ 入力装置、３２，３２（１），３２（２） 表示装置、４１ 操作画面情報取得部、４２，４２Ａ，４２Ｂ 操作画面提供部、４３，４３Ａ～４３Ｃ 仮想空間提供部、４４ 負荷算出部、４４Ａ テキスト画像、４４Ｂ 作業時間画像、４４Ｂ１～４４Ｂ３ 画像部分、４４Ｃ 画像、４５（１）～４５（３）、４６（１）～４６（４） 警告画像、５０，５１ ポインタ、１００ 入力インタフェース、１０１ 出力インタフェース、１０２ 処理回路、１０３ プロセッサ、１０４ メモリ。

Claims (16)

1. 操作者の操作を受け付ける操作画面を示す操作画面情報を取得する操作画面情報取得部と、
   前記操作画面情報が示す前記操作画面を表示装置に表示させることにより、前記操作者に提供する操作画面提供部と、
   前記操作画面情報が示す前記操作画面を模擬した仮想操作画面を含んだ仮想空間を表示装置に表示させることにより、前記操作者に提供する仮想空間提供部と、
   を備え、
   前記仮想空間提供部は、前記操作画面情報取得部によって前記操作者が閲覧または操作している前記操作画面を示す前記操作画面情報が取得されると、当該操作画面を模擬した前記仮想操作画面に対応する前記仮想空間内の位置に、前記操作者に対応したアバターを表示させること
   を特徴とする表示システム。
2. 前記仮想空間提供部は、前記操作者が操作している前記操作画面を模擬した前記仮想操作画面に対応する前記仮想空間内の位置に、当該操作者に対応したメインの前記アバターを表示させ、前記操作者が閲覧のみしている前記操作画面を模擬した前記仮想操作画面に対応する前記仮想空間内の位置に、前記操作者に対応したサブの前記アバターを表示させること
   を特徴とする請求項１に記載の表示システム。
3. 前記仮想空間提供部は、表示装置に表示させた前記操作画面に対する前記操作者の注目度合いに応じた色、透明度および大きさのうちの少なくとも一つでサブの前記アバターを表示させること
   を特徴とする請求項２に記載の表示システム。
4. 前記仮想空間提供部は、表示装置の画面内の前記操作画面の表示面積に応じた色、透明度および大きさのうちの少なくとも一つでサブの前記アバターを表示させること
   を特徴とする請求項２に記載の表示システム。
5. 前記仮想空間提供部は、表示装置の表示画面からみて前記アバターにおける少なくとも前記仮想操作画面と重なる部分を、輪郭のみで表示させること
   を特徴とする請求項１または請求項２に記載の表示システム。
6. 前記操作者の作業負荷を示す値を算出する負荷算出部を備え、
   前記仮想空間提供部は、前記作業負荷に応じた色の前記アバターを表示させること
   を特徴とする請求項１に記載の表示システム。
7. 前記仮想空間提供部は、前記作業負荷を示す画像情報を付加した前記アバターを表示させること
   を特徴とする請求項６に記載の表示システム。
8. 前記負荷算出部は、前記操作画面に対応する作業の未処理タスクの数または前記操作画面を用いた前記操作者の連続作業時間のうちの少なくとも一方を前記作業負荷として算出すること
   を特徴とする請求項６または請求項７に記載の表示システム。
9. 前記負荷算出部は、前記操作者の数を算出し、
   前記仮想空間提供部は、前記操作者の数を示す画像を含んだ前記仮想空間を表示装置に表示させること
   を特徴とする請求項６または請求項７に記載の表示システム。
10. 前記操作画面情報取得部は、前記仮想空間内の前記仮想操作画面が選択されると、選択された前記仮想操作画面に対応する前記操作画面を示す前記操作画面情報を取得し、
    前記操作画面提供部は、前記操作画面情報に基づいて、前記操作者が選択した前記仮想操作画面に対応する前記操作画面を表示装置に表示させること
    を特徴とする請求項１に記載の表示システム。
11. 前記操作画面情報取得部は、前記仮想空間内の前記アバターが選択されると、選択された前記アバターに対応した前記操作者が閲覧または操作している前記操作画面を示す前記操作画面情報を取得し、
    前記操作画面提供部は、前記操作画面情報に基づいて、選択された前記アバターに対応した前記操作者が閲覧または操作している前記操作画面を表示装置に表示させること
    を特徴とする請求項１に記載の表示システム。
12. 前記操作画面情報が示す前記操作画面を用いた処理に関連した報知情報を取得する報知情報取得部を備え、
    前記操作画面提供部は、前記操作画面情報および前記報知情報に基づいて、前記報知情報を示す画像とともに前記操作画面を表示装置に表示させ、
    前記仮想空間提供部は、前記操作画面情報および前記報知情報に基づいて、前記報知情報を示す画像が強調表示された前記仮想操作画面を表示装置に表示させること
    を特徴とする請求項１に記載の表示システム。
13. 前記仮想空間提供部は、前記報知情報に基づいて、前記仮想空間内の報知数を算出し、算出した前記報知数を示す画像を含んだ前記仮想空間を表示装置に表示させること
    を特徴とする請求項１２に記載の表示システム。
14. 前記操作画面提供部は、第１の操作者が閲覧または操作している前記操作画面のうち、前記第１の操作者以外の第２の操作者が閲覧または操作している前記操作画面に対し、当該第２の操作者を示す画像を付加して表示装置に表示させること
    を特徴とする請求項１に記載の表示システム。
15. 操作者の操作を受け付ける操作画面を示す操作画面情報を取得する操作画面情報取得部と、
    前記操作画面情報が示す前記操作画面を表示装置に表示させることにより、前記操作者に提供する操作画面提供部と、
    前記操作画面情報が示す前記操作画面を模擬した仮想操作画面を含んだ仮想空間を表示装置に表示させることにより、前記操作者に提供する仮想空間提供部と、
    を備え、
    前記仮想空間提供部は、前記操作画面情報取得部によって前記操作者が閲覧または操作している前記操作画面を示す前記操作画面情報が取得されると、前記操作者が操作している前記操作画面を模擬した前記仮想操作画面に対応する前記仮想空間内の位置に、当該操作者に対応したメインのアバターを表示させ、前記操作者が閲覧のみしている前記操作画面を模擬した前記仮想操作画面に対応する前記仮想空間内の位置に、前記操作者に対応したサブのアバターを表示させること
    を特徴とする仮想空間提供装置。
16. 操作画面情報取得部が、操作者からの操作を受け付ける操作画面を示す操作画面情報を取得するステップと、
    操作画面提供部が、前記操作画面情報が示す前記操作画面を表示装置に表示させることにより、前記操作者に提供するステップと、
    仮想空間提供部が、前記操作画面情報が示す前記操作画面を模擬した仮想操作画面を含んだ仮想空間を表示装置に表示させることにより、前記操作者に提供するステップと、
    を備え、
    前記仮想空間提供部は、前記操作画面情報取得部によって前記操作者が閲覧または操作している前記操作画面を示す前記操作画面情報が取得されると、当該操作画面を模擬した前記仮想操作画面に対応する前記仮想空間内の位置に、前記操作者に対応したアバターを表示させること
    を特徴とする表示方法。

Images