JP6444767B2 - 業務支援装置および業務支援プログラム - Google Patents

Description

本発明は、複数のユーザの業務またはコミュニケーションを支援する技術に関する。

従来から、利用者の端末操作によりネットワークを介して特定の人同士のコミュニケーションによる交流をコンピュータが支援する技術が知られている。例えば、特許文献１では、装置との対話等の利用者の発信した情報を、共有サーバに記録したり、関係者へ提示したりする技術が開示されている。

また、特許文献２では、利用者の端末操作により、現実世界における人同士の交流を模倣するような仮想映像を生成し、人の交流を支援する技術が開示されている。

また、特許文献３では、ネットワーク上の協調支援サーバを介し、参加者の状態または会議の雰囲気を推定する技術が開示されている。

特開平０８−２５５１５０号公報 特許第５５２７７５１号明細書 特開２００８−３０６５８６号公報

しかしながら、特許文献１では、入力装置に対して情報を発信したり、表示装置から情報が提示されたりと、利用者と機械とのやり取りに過ぎず、同一空間にいない勤務者同士が協調して仕事を執り行なう際に、本システムを利用すると、人間的な意思疎通が図れず、仕事効率が低下する、または信頼関係が欠如するといった課題がある。また、利用者は、自分の状態を知らせるために、自ら情報を発信する必要があり、手間である。

また、特許文献２では、現実世界における人を模倣するような仮想映像を生成するので、同一空間にいない勤務者同士が協調して仕事を執り行なう際に、互いの勤務者の映像を生成しながら会話をすることにより、人間的な意思疎通は図れるようになるが、離席や書類作成等の勤務者の行動、繁忙や怠惰等の勤務者の状況、驚きや怒り等の勤務者の感情、監視されている感覚や緊迫している感覚等の場の雰囲気まで提示することはできない。また、対象者以外の人の映像は生成しないため、勤務者全員が同一空間に勤務する感覚を持てない。

また、特許文献３では、ネットワーク上に協調支援サーバを設置する必要がある。また、参加者の状態または会議の雰囲気をディスプレイ越しに確認するため、勤務者全員が同一空間に勤務する物理的な感覚を持つことができない。

本発明は、このような事情に鑑みてなされたものであり、同一空間にいない複数の勤務者の状態を同一の仮想空間に合成させることにより、協調型の仕事に従事する在宅勤務者を支援する装置を提供する。また、本発明は、勤務者の状態を常に認識して提示することにより、サーバを介さず、勤務者全員が同一空間に勤務する物理的な感覚を持つことが可能となる。さらに、本発明において、勤務者の表情や仕草等を模倣する映像を仮想空間に合成すれば、互いの勤務者の映像を確認しながら会話をすることができ、人間的な意思疎通を図ることが可能となる。加えて、本発明において、勤務者の行動、状態、感情、場の雰囲気等を認識すれば、他の勤務者が直接視認できない離席や書類作成等の勤務者の行動、繁忙や怠惰等の勤務者の状況、驚きや怒り等の勤務者の感情、監視されている感覚や緊迫している感覚等の場の雰囲気等の情報を提示することができ、仕事効率が低下する、または信頼関係が欠如するといった課題を解消することが可能となる。また、勤務者の状態を人型ロボットが表現すれば、自分とは異なる空間にいる勤務者同士のやり取りも、ロボットを介して視認することができ、実空間においても勤務者全員が同一空間で勤務することが可能となる。

（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、複数のユーザの業務またはコミュニケーションを支援する業務支援装置であって、各ユーザの行動、状況、感情および前記ユーザの周囲の雰囲気を認識し、認識情報を出力する状態認識部と、前記認識した認識情報および他の業務支援装置で認識した認識情報を合成して合成情報を生成する状態合成部と、前記生成した合成情報を表示する状態表示部と、を備えることを特徴とする。

このように、各ユーザの行動、状況、感情およびユーザの周囲の雰囲気を認識し、認識情報を出力する状態認識部と、前記認識した認識情報および他の業務支援装置で認識した認識情報を合成して合成情報を生成し、生成した合成情報を表示するので、同一空間にいないユーザであっても、他のユーザと同一の空間に存在する物理的な感覚をリアルタイムで共有することができる仮想空間を提供することができ、複数のユーザの業務またはコミュニケーションを支援することが可能となる。さらに、サーバを介さないため、低コストでの実現が可能となる。

（２）また、前記認識した認識情報に基づき、予めデータベースに記憶されたユーザの表情および仕草を示す情報を用いて、映像データを生成する映像生成部を備え、状態合成部は、自装置で生成した映像データおよび他の業務支援装置から取得した映像データを合成して合成情報を生成することを特徴とする。

このように、認識した認識情報に基づき、予めデータベースに記憶されたユーザの表情および仕草を示す情報を用いて、映像データを生成し、状態合成部は、自装置で生成した映像データおよび他の業務支援装置から取得した映像データを合成して合成情報を生成するので、お互いの映像を確認しながら会話をすることができ、人間的な意思疎通を図ることが可能となる。

（３）また、前記生成した合成情報を、ロボットを用いて表現する状態表現部を備えることを特徴とする。

このように、生成した合成情報を、ロボットを用いて表現するので、より人間的な意思疎通を図ることが可能となる。

（４）また、前記状態認識部は、ユーザの動作情報、ユーザの体温情報、ユーザの血圧情報、ＩＣチップの電波に含まれるユーザの位置情報、またはユーザの周囲の雰囲気を示す環境音圧レベルの少なくとも一つを認識することを特徴とする。

このように、状態認識部は、ユーザの動作情報、ユーザの体温情報、ユーザの血圧情報、ＩＣチップに含まれるユーザの位置情報、またはユーザの周囲の雰囲気を示す環境音圧レベルの少なくとも一つを認識するので、ユーザの移動や作業などのユーザの行動、繁忙や怠惰などのユーザの状態、驚きや怒り等のユーザの感情、他のユーザからの監視状況など、遠隔地にいるユーザが視認することができない情報を取得することが可能となる。

（５）また、本発明のプログラムは、複数のユーザの業務またはコミュニケーションを支援する業務支援プログラムであって、各ユーザの行動、状況、感情および前記ユーザの周囲の雰囲気を認識し、認識情報を出力する処理と、前記認識した認識情報および他の業務支援装置で認識した認識情報を合成して合成情報を生成する処理と、前記生成した合成情報を表示する処理と、を含む一連の処理をコンピュータに実行させることを特徴とする。

このように、各ユーザの行動、状況、感情および前記ユーザの周囲の雰囲気を認識し、認識情報を出力し、認識した認識情報および他の業務支援装置で認識した認識情報を合成して合成情報を生成し、生成した合成情報を表示するので、同一空間にいないユーザであっても、他のユーザと同一の空間に存在する物理的な感覚をリアルタイムで共有することができる仮想空間を提供することができる。さらに、サーバを介さないため、低コストでの実現が可能となる。

本発明によれば、同一空間にいないユーザであっても、他のユーザと同一の空間に存在する物理的な感覚をリアルタイムで共有することができる仮想空間を提供することができるようになる。その結果、複数のユーザの業務またはコミュニケーションを支援することが可能となる。さらに、サーバを介さないため、低コストでの実現が可能となる。

本実施形態に係る業務支援装置の概略構成を示す図である。 本実施形態に係る業務支援装置のブロック図である。 本実施形態に係る業務支援装置の動作例を示すフローチャートである。 状態認識部の機能を示すブロック図である。 映像生成部の機能を示すブロック図である。 状態合成部の機能を示すブロック図である。 状態表示部の機能を示すブロック図である。 状態表現部の機能を示すブロック図である。 具体的な用途例を示した図である。

本発明者らは、同一空間にいないユーザとインターネットを介して業務またはコミュニケーションを行なう際に、相手の感情や状況を把握することできず、人間的な意思疎通が図れないことにより、やり取りの効率が低下し、信頼関係が欠如してしまう場合があることに着目し、同一空間にいない複数のユーザの状態を同一の仮想空間に合成させ、その仮想空間を複数のユーザが共有することによって、円滑な業務の遂行またはコミュニケーションを行なうことができ、やり取りの効率が向上し、お互いにより良い信頼関係を築くことができることを見出し、本発明をするに至った。

すなわち、本発明の業務支援装置は、複数のユーザの業務またはコミュニケーションを支援する業務支援装置であって、各ユーザの行動、状況、感情および前記ユーザの周囲の雰囲気を認識し、認識情報を出力する状態認識部と、前記認識した認識情報および他の業務支援装置で認識した認識情報を合成して合成情報を生成する状態合成部と、前記生成した合成情報を表示する状態表示部と、を備えることを特徴とする。

これにより、本発明者らは、同一空間にいないユーザであっても、他のユーザと同一の空間に存在する物理的な感覚をリアルタイムで共有することができる仮想空間を提供することができ、複数のユーザの業務またはコミュニケーションを支援することを可能とした。さらに、サーバを介さないため、低コストでの実現を可能とした。以下、本発明の実施形態について、図面を参照しながら、具体的に説明する。

図１は、本実施形態に係る業務支援装置の概略構成を示す図である。本発明の業務支援装置は、スマートフォン等の小型情報端末７０に内蔵されるＩＣチップ１０、温度センサ２０、血圧センサ３０、ＩＣ受信機４０、カメラ５０、マイクロフォン６０と、ディスプレイ８０、スピーカ９０、人型ロボット１００から構成される。そして、温度センサ２０、血圧センサ３０、ＩＣ受信機４０、カメラ５０、マイクロフォン６０、ディスプレイ８０、スピーカ９０、人型ロボット１００は、ネットワークを介して小型情報端末７０と接続されている。なお、遠隔から測定できるセンサであれば、温度センサ２０、血圧センサ３０は、各勤務者に装着しなくても良い。また、ディスプレイ８０、スピーカ９０は、小型情報端末７０に内蔵されているものを使用しても良い。さらに、小型情報端末、ディスプレイ、スピーカ、人型ロボットがすべて組み込まれた業務支援装置としても構成することが可能である。

小型情報端末７０は、温度センサ２０、血圧センサ３０、ＩＣ受信機４０、カメラ５０、マイクロフォン６０が取得した情報に基づき、勤務者の状態または場の雰囲気を認識する。また、小型情報端末７０は、認識された勤務者の状態または場の雰囲気に基づき、勤務者の表情や仕草を模倣する映像を生成すると共に、認識された同一または異なる空間にいる複数の勤務者の状態または場の雰囲気、および、生成されたそれら勤務者の映像を同一の仮想空間に合成する。さらに、ディスプレイ８０、スピーカ９０は、合成された複数の勤務者の状態および映像または場の雰囲気を表示する。更に、人型ロボット１００を用いて、合成された複数の勤務者の状態を表現することも可能である。

図２は、本実施形態に係る業務支援装置のブロック図である。小型情報端末７０の状態認識部７０−１は、温度センサ２０、血圧センサ３０、ＩＣ受信機４０、カメラ５０、マイクロフォン６０が取得した情報に基づいて、勤務者の作業内容、存在位置、状況、顔の向き、視線、体調、感情、勤務する同一または異なる空間における環境音圧レベルなどの、勤務者の状態または場の雰囲気を認識する。小型情報端末７０の映像生成部７０−２は、状態認識部７０−１が認識した勤務者の感情や作業内容に基づいて、勤務者の表情や仕草を模倣する映像を生成する。小型情報端末７０の状態合成部７０−３は、状態認識部７０−１が認識した同一または異なる空間にいる複数の勤務者の状態または場の雰囲気、および、映像生成部７０−２が生成した同一または異なる空間にいる複数の勤務者の表情や仕草を模倣する映像を、同一の仮想空間に合成する。ディスプレイ８０およびスピーカ９０の状態表示部は、状態合成部７０−３で合成された複数の勤務者の状態または場の雰囲気、および、複数の勤務者の表情や仕草を模倣する映像を表示する。人型ロボット１００の状態表現部は、状態合成部７０−３で合成された複数の勤務者の状態、および、複数の勤務者の表情や仕草を表現する。映像生成部７０−２は、生成した映像を状態表示部または状態表現部へ直接送信しても良い。

図３は、本実施形態に係る業務支援装置の動作例を示すフローチャートである。本実施形態に係る業務支援装置を構成する各機能を示すブロック図とともに、動作例について説明する。

図４は、状態認識部７０−１の機能を示すブロック図である。初めに、温度センサ２０、血圧センサ３０、ＩＣ受信機４０、カメラ５０、マイクロフォン６０は、各勤務者の情報を取得し、小型情報端末７０に送信する（ステップＳ１）。なお、本実施形態では、ＩＣチップ、温度センサ、血圧センサ、ＩＣ受信機、カメラ、マイクロフォンを使用して情報を取得するが、本発明の技術的思想は、これらに限定されるわけではなく、他の装置を使用して情報を取得しても良い。

各勤務者に装着された温度センサ２０は、各勤務者の体温を随時計測し、小型情報端末７０に送信する。各勤務者に装着された血圧センサ３０は、各勤務者の最高血圧、最低血圧、心拍数を随時計測し、小型情報端末７０に送信する。各勤務者の勤務席に備え付けられたＩＣ受信機４０は、各勤務者が所持している端末などに搭載されたＩＣチップ１０のうち、近接にあるＩＣチップ１０を随時計測し、近接に存在する各勤務者の位置情報を取得し、小型情報端末７０に送信する。各勤務者の勤務席に備え付けられたカメラ５０は、各勤務者の顔、全身、周辺の映像を随時取得し、小型情報端末７０に送信する。各勤務者の勤務席に備え付けられたマイクロフォン６０は、各勤務者の音声または各勤務者が勤務する空間の環境音を随時取得し、小型情報端末７０に送信する。

図５は、映像生成部７０−２の機能を示すブロック図である。小型情報端末７０は、ステップＳ１で取得した情報に基づいて、各勤務者の状態または場の雰囲気を認識する（ステップＳ２）。なお、本実施形態では、各勤務者の作業内容、存在位置、状況、顔の向き、視線、体調、感情、環境音圧レベルを用いて、勤務者の状態または場の雰囲気を認識するが、本発明の技術的思想は、これらに限定されるわけではなく、他の状態または場の雰囲気を認識しても良い。また、以下に説明する各勤務者の状態または場の雰囲気の認識方法についても同様である。次に、各勤務者の状態または場の雰囲気の認識方法について、具体的な例を用いて説明する。

（勤務者の作業内容の認識）
・勤務者が手でキーボードを操作している映像をカメラ５０が取得した場合
→ 勤務者の作業内容：ＰＣ操作中
・勤務者が手に筆記用具を所持している映像をカメラ５０が取得した場合
→ 勤務者の作業内容：筆記中
・勤務者が手に電話を所持している映像をカメラ５０が取得した場合
→ 勤務者の作業内容：電話対応中
・θ秒以上継続して勤務者の目蓋が閉じている映像をカメラ５０が取得した場合
→ 勤務者の作業内容：睡眠中

（勤務者の存在位置の認識）
・勤務者Ａの勤務席に備え付けられたＩＣ受信機４０が近接にあると計測したＩＣチップ１０に、勤務者Ａのものが含まれる場合
→ 勤務者の存在位置：勤務者Ａは在席中
・勤務者Ａ以外（ここでは勤務者Ｂ）の勤務席に備え付けられたＩＣ受信機４０が近接にあると計測したＩＣチップ１０に、勤務者Ａのものが含まれる場合
→ 勤務者の存在位置：勤務者Ａは勤務者Ｂの席に移動中
・何れの勤務席に備え付けられたＩＣ受信機４０にも、近接にあると計測したＩＣチップ１０に、勤務者Ａのものが含まれない場合
→ 勤務者の存在位置：勤務者Ａは離席中

（勤務者の状況の認識）
・θ分以上継続して勤務者の作業内容が何れかと認識された場合
→ 勤務者の状況：繁忙
・θ分以上継続して勤務者の作業内容が睡眠中と認識された、または、何れの作業内も認識されない場合
→ 勤務者の状況：怠惰

（勤務者の顔の向きの認識）
・θ秒以上継続して勤務者の顔が右を向いている映像をカメラ５０が取得した場合
→ 勤務者の顔の向き：右
・θ秒以上継続して勤務者の顔が左を向いている映像をカメラ５０が取得した場合
→ 勤務者の顔の向き：左
・θ秒以上継続して勤務者の顔が下を向いている映像をカメラ５０が取得した場合
→ 勤務者の顔の向き：下
・上記の何れの映像もカメラ５０が取得しない場合
→ 勤務者の顔の向き：正面

（勤務者の視線の認識）
・θ秒以上継続して勤務者Ａの視線が勤務者Ｂを向いている映像をカメラ５０が取得した場合
→ 勤務者の視線：勤務者Ａは勤務者Ｂを監視中
・θ秒以上継続して勤務者Ａの視線が勤務者Ｂに向かない映像をカメラ５０が取得した場合
→ 勤務者の視線：勤務者Ａは勤務者Ｂを放置

（勤務者の体調の認識）
・温度センサ２０が３７．５℃以上を計測した場合
→ 勤務者の体調：発熱
・温度センサ２０が３６．８℃以上且つ３７．５℃未満を計測した場合
→ 勤務者の体調：微熱
・温度センサ２０が３６．０℃未満を計測した場合
→ 勤務者の体調：低体温
・血圧センサ３０が最高血圧１４０以上を計測した場合
→ 勤務者の体調：高血圧
・血圧センサ３０が最低血圧１００未満を計測した場合
→ 勤務者の体調：低血圧
・血圧センサ３０が心拍数１００以上を計測した場合
→ 勤務者の体調：動悸息切れ
・温度センサ２０および血圧センサ３０が上記の何れも計測しない場合
→ 勤務者の体調：正常

（勤務者の感情の認識）
人間の表情形成に用いられる感情に対応する勤務者の顔画像を予め登録しておく。例えば、感情分類として、「喜び」「悲しみ」「怒り」「嫌悪」「恐怖」「罪」「恥」「興味」「驚き」の９つの感情および無感情がある。また感情分類に加え、勤務者の音声を取得し、人間の感情をより豊かに表現することも可能である。
・カメラ５０で取得した映像が「喜び」の顔画像に最も近い場合
→ 勤務者の感情：喜び
・カメラ５０で取得した映像が「悲しみ」の顔画像に最も近い場合
→ 勤務者の感情：悲しみ
・カメラ５０で取得した映像が「怒り」の顔画像に最も近い場合
→ 勤務者の感情：怒り
・カメラ５０で取得した映像が「嫌悪」の顔画像に最も近い場合
→ 勤務者の感情：嫌悪
・カメラ５０で取得した映像が「恐怖」の顔画像に最も近い場合
→ 勤務者の感情：恐怖
・カメラ５０で取得した映像が「罪」の顔画像に最も近い場合
→ 勤務者の感情：罪
・カメラ５０で取得した映像が「恥」の顔画像に最も近い場合
→ 勤務者の感情：恥
・カメラ５０で取得した映像が「興味」の顔画像に最も近い場合
→ 勤務者の感情：興味
・カメラ５０で取得した映像が「驚き」の顔画像に最も近い場合
→ 勤務者の感情：驚き
・カメラ５０で取得した映像が「無感情」の顔画像に最も近い場合
→ 勤務者の感情：無感情
・マイクロフォン６０で取得した勤務者の音声がαｄＢ以上の場合
→ 勤務者の感情：強度Ｗ大
・βｄＢ未満の勤務者の音声をマイクロフォン６０が取得した場合
→ 勤務者の感情：強度Ｗ小

（環境音圧レベルの認識）
・γｄＢ以上の環境音を同一空間にあるＮ個以上のマイクロフォン６０が取得した場合
→ 場の雰囲気：騒々しい
・δｄＢ未満の環境音を同一空間にあるＮ個以上のマイクロフォン６０が取得した場合
→ 場の雰囲気：静寂
・δｄＢ未満の環境音を同一空間にあるＮ個以上のマイクロフォン６０が取得し、同空間内の勤務者の何れかの感情が「怒り」または「恐怖」と認識された場合
→ 場の雰囲気：緊迫（ピリピリモード）

次に、小型情報端末７０において、ステップＳ２で認識された勤務者の作業内容、状況、顔の向き、感情に基づいて、勤務者の表情または仕草を模倣する映像を生成する（ステップＳ３）。

任意のエージェントにおけるアニメーションデータ生成の例を以下に示す。なお、本実施形態では、アニメーションデータとして、時刻ｔにおけるエージェントの任意のポリゴンＰ（ｐ＝１，２，…，ｎ）の空間位置座標（Ｘ_ｐ ^ｔ，Ｙ_ｐ ^ｔ，Ｚ_ｐ ^ｔ）が記述されている場合の例を示すが、本発明の技術的思想は、これに限定されるわけなく、予め登録した勤務者本人の映像を再生しても良い。

初めに、予め用意されたモデルデータベースから当該勤務者のエージェントを読み込む。ここで、予め登録された勤務者の顔画像に対して、「喜び」における無感情との差分を（ΔＸ_ｐ１ ^ｔ，ΔＹ_ｐ１ ^ｔ，ΔＺ_ｐ１ ^ｔ）、「悲しみ」における無感情との差分を（ΔＸ_ｐ２ ^ｔ，ΔＹ_ｐ２ ^ｔ，ΔＺ_ｐ２ ^ｔ）、「怒り」における無感情との差分を（ΔＸ_ｐ３ ^ｔ，ΔＹ_ｐ３ ^ｔ，ΔＺ_ｐ３ ^ｔ）、「嫌悪」における無感情との差分を（ΔＸ_ｐ４ ^ｔ，ΔＹ_ｐ４ ^ｔ，ΔＺ_ｐ４ ^ｔ）、「恐怖」における無感情との差分を（ΔＸ_ｐ５ ^ｔ，ΔＹ_ｐ５ ^ｔ，ΔＺ_ｐ５ ^ｔ）、「罪」における無感情との差分を（ΔＸ_ｐ６ ^ｔ，ΔＹ_ｐ６ ^ｔ，ΔＺ_ｐ６ ^ｔ）、「恥」における無感情との差分を（ΔＸ_ｐ７ ^ｔ，ΔＹ_ｐ７ ^ｔ，ΔＺ_ｐ７ ^ｔ）、「興味」における無感情との差分を（ΔＸ_ｐ８ ^ｔ，ΔＹ_ｐ８ ^ｔ，ΔＺ_ｐ８ ^ｔ）、「驚き」における無感情との差分を（ΔＸ_ｐ９ ^ｔ，ΔＹ_ｐ９ ^ｔ，ΔＺ_ｐ９ ^ｔ）、と表わす。

（勤務者の表情を模擬する映像の生成）
Ｐの座標（Ｘ_ｐ ^ｔ，Ｙ_ｐ ^ｔ，Ｚ_ｐ ^ｔ）を次式で更新して当該勤務者のエージェントにおけるアニメーションデータを生成することで、勤務者の感情に応じた勤務者の表情を模擬する映像を生成する。

（勤務者の仕草を模擬する映像の生成）
予め用意されたアニメーションデータベースから当該アニメーションデータを抽出して付与することで、勤務者の勤務者の作業内容、状況、顔の向き、視線、感情に応じた勤務者の仕草を模擬する映像を生成する。

図６は、状態合成部７０−３の機能を示すブロック図である。小型情報端末７０において、ステップＳ２で認識された勤務者の状態または場の雰囲気、および、ステップＳ３で生成された同一または異なる空間にいる複数の勤務者の表情または仕草を模倣する映像を、同一の仮想空間に合成する（ステップＳ４）。

まず、仮想空間上に各勤務者の勤務席を配置する。同一空間にいる勤務者については、予めフロア図等を用いて相互の位置関係を取得し、仮想空間上に勤務席を配置する。一方、異なる空間の勤務者については、各空間を並列表示する等行ない、空間同士を結合し、全ての勤務者を同一の仮想空間上に配置する。

次に、ステップＳ２で認識された各勤務者の存在位置に該当する仮想空間上に勤務席において、ステップＳ２で認識された各勤務者の体調またはステップＳ３で生成された勤務者の表情または仕草を模倣する映像を合成する。これにより、例えば、実空間であっても相互の勤務者同士が視認しにくい体温、血圧等、体調に関する情報が視覚的かつ即時に確認でき、健康管理の効率化、過労の防止に繋がる。また、異なる空間にいる勤務者同士が会話する場合でも、同一空間で会話をしている仮想映像を提示でき、他の勤務者がその会話に気軽に加わることが可能となる。さらに、勤務者の視線を模擬する仮想映像と共に、監視中や放置等の認識された勤務者の視線情報を提示すれば、他の勤務者から見られている、他の勤務者の注目を集めていない等の情報を勤務者同士で共有でき、勤務者全員が同一空間に勤務する感覚を提供することが可能となる。さらに加えて、勤務者の状況を模擬する仮想映像と共に、繁忙や怠惰等の認識された勤務者の状況情報を提示すれば、仕事が回っていない、仕事をサボっている等の情報を勤務者同士で共有でき、仕事効率が低下する、信頼関係が欠如するといった課題を解消することが可能となる。

次に、ステップＳ２で認識された場の雰囲気を同一の仮想空間上に合成する。ここでは、認識された場の雰囲気のテキスト情報を合成する場合を述べるが、場の雰囲気に応じて、仮想空間の配色を変える、雰囲気を示すアイコンを提示する等、空間アニメーションで合成しても良い。また、実空間によって異なる場の雰囲気が認識された場合は、勤務者の最も多い実空間における場の雰囲気を統一の仮想空間上の場の雰囲気として合成しても良いし、実空間単位で異なる場の雰囲気を仮想空間上に合成しても良い。例えば、大半の勤務者が勤務する場の雰囲気が緊迫（ピリピリモード）と認識された場合、それとは異なる実空間にいる勤務者の場の雰囲気も緊迫（ピリピリモード）と提示することにより、緊迫感を共有でき、勤務者全員が同一空間に勤務する感覚を提供することが可能となる。

図７は、状態表示部の機能を示すブロック図である。状態表示部の機能を有するディスプレイ８０およびスピーカ９０において、ステップＳ４で合成された勤務者の状態または場の雰囲気、および、複数の勤務者の表情や仕草を模倣する映像を表示する（ステップＳ５）。

図８は、状態表現部の機能を示すブロック図である。状態表現部の機能を有する人型ロボット１００において、ステップＳ４で合成された複数の勤務者の状態、および、複数の勤務者の表情や仕草を表現する（ステップＳ６）。ステップＳ４で合成された複数の勤務者の状態のうち、顔の向き、視線、表情、仕草等、人型ロボット１００の駆動装置で表現可能なものは、物理制御を行なって表現する。駆動装置で表現できないものについては、発話により表現することも可能である。これにより、例えば、異なる空間にいる勤務者における、ＰＣ操作中や電話対応中等の勤務者の作業内容、在席中や離席中等の勤務者の存在位置、勤務者の顔の向きや視線に加え、繁忙や怠惰等の勤務者の状況、発熱や息切れ等の勤務者の体調、怒りや驚き等の勤務者の感情、静寂や緊迫等の場の雰囲気等、人間や場の内面的な情報まで提示することが可能となる。

また、本発明を用いることにより、例えば、図９に示すような在宅勤務支援の環境を提供することができる。その結果、在宅勤務者と協調作業を円滑に行なうことが可能となり、実際は異なる空間にいる隣の席の勤務者の状態に感化されて仕事が捗る等の作用が期待される。さらに、在宅勤務支援の他、遠隔地にいる家族間コミュニケーションの活性化や遠隔医療支援等にまでも用途を広げることができる。

以上説明したように、本実施形態によれば、同一空間にいないユーザであっても、他のユーザと同一の空間に存在する物理的な感覚をリアルタイムで共有することができる仮想空間を提供することができるようになる。その結果、複数のユーザの業務またはコミュニケーションを支援することが可能となる。さらに、サーバを介さないため、低コストでの実現が可能となる。

１０ ＩＣチップ
２０ 温度センサ
３０ 血圧センサ
４０ ＩＣ受信機
５０ カメラ
６０ マイクロフォン
７０ 小型情報端末
７０−１ 状態認識部
７０−２ 映像生成部
７０−３ 状態合成部
８０ ディスプレイ
９０ スピーカ
１００、２２０、３２０、４２０ 人型ロボット
２００ 会議室
２１０ 勤務者
３００ 自宅Ａ
３１０ 在宅勤務者Ａ
４００ 自宅Ｂ
４１０ 在宅勤務者Ｂ

Claims (5)

1. 複数のユーザの業務またはコミュニケーションを支援する業務支援装置であって、
   ユーザの行動、状況、感情および前記ユーザの周囲の雰囲気を認識し、認識情報を出力する状態認識部と、
   前記認識した認識情報および他の業務支援装置で認識した認識情報のうち、前記ユーザが最も多く存在する実空間におけるユーザの周囲の雰囲気を統一して仮想空間上の場の雰囲気とし、この場の雰囲気および前記各認識情報のうち前記ユーザの周囲の雰囲気以外の認識情報を合成して合成情報を生成する状態合成部と、
   前記生成した合成情報に基づいて、全ユーザの状態および統一された場の雰囲気を表示する状態表示部と、を備えることを特徴とする業務支援装置。
2. 前記認識した認識情報に基づき、予めデータベースに記憶されたユーザの表情および仕草を示す情報を用いて、映像データを生成する映像生成部を備え、
   前記状態合成部は、自装置で生成した映像データおよび他の業務支援装置から取得した映像データを合成して合成情報を生成することを特徴とする請求項１記載の業務支援装置。
3. 前記生成した合成情報を、ロボットを用いて表現する状態表現部を備えることを特徴とする請求項１または請求項２記載の業務支援装置。
4. 前記状態認識部は、
   ユーザの動作情報、ユーザの体温情報、ユーザの血圧情報、ＩＣチップの電波に含まれるユーザの位置情報、またはユーザの周囲の雰囲気を示す環境音圧レベルの少なくとも一つを認識することを特徴とする請求項１から請求項３のいずれかに記載の業務支援装置。
5. 複数のユーザの業務またはコミュニケーションを支援する業務支援プログラムであって、
   ユーザの行動、状況、感情および前記ユーザの周囲の雰囲気を認識し、認識情報を出力する処理と、
   前記認識した認識情報および他の業務支援装置で認識した認識情報のうち、前記ユーザが最も多く存在する実空間におけるユーザの周囲の雰囲気を統一して仮想空間上の場の雰囲気とし、この場の雰囲気および前記各認識情報のうち前記ユーザの周囲の雰囲気以外の認識情報を合成して合成情報を生成する処理と、
   前記生成した合成情報に基づいて、全ユーザの状態および統一された場の雰囲気を表示する処理と、を含む一連の処理をコンピュータに実行させることを特徴とする業務支援プログラム。
   

Images