JP6674620B2 - 情報処理システム、情報処理システムの制御方法、スマートデバイスの制御方法およびスマートデバイスの制御プログラム - Google Patents

Description

本発明は、情報処理システム、情報処理システムの制御方法、スマートデバイスの制御方法およびスマートデバイスの制御プログラムに関する。

上記技術分野において、特許文献１には、カメラで撮影した撮影画像から、ワイヤレスヘッドホンに設けた識別マークの座標位置を画像認識により算出して、当該ヘッドホンを装着した人物が着席している場所を判別する技術が開示されている。特許文献２には、画面上に表示された複数のエアタグのうち、ユーザが指定したエアタグのみを表示する技術が開示されている。特許文献３には、スマートフォンが備える拡張現実提供機能を用いて、カーナビゲーションシステムが備えるカメラで撮影した画像にエアタグを表示する技術が開示されている。特許文献４には、監視対象のステータスが不在の場合に、その監視対象を通知登録しておくと、ステータスが在席になった場合に、監視者にその旨を通知するメッセージを送信する技術が開示されている。特許文献５には、プレゼンスサーバからプレゼンス情報を取得して表示する技術が開示されている。

国際公開第２０１２／０４６２７６号 特開２０１４−１２０１３２号公報 特開２０１２−２４４５０９号公報 特開２０１１−１６６６４０号公報 特開２００８−２８２０６８号公報

しかしながら、上記文献のいずれに記載の技術においても、プレゼンス情報と拡張現実（AR:Augmented Reality）マーカとを組み合わせて、不在と判定された人物のプレゼンスに関する情報を提示することができなかった。

本発明の目的は、上述の課題を解決する技術を提供することにある。

撮像手段および表示手段を備えたスマートデバイスを用いる情報処理システムであって、
ＡＲマーカと識別子と座席位置とを対応付けて記憶するＡＲマーカデータベースと、
前記識別子とプレゼンス情報とを対応付けて記憶するプレゼンスデータベースと、
前記撮像手段を用いて撮像したライブ映像内にＡＲマーカが含まれる場合に、前記ＡＲマーカに紐付いた前記識別子および前記座席位置を前記ＡＲマーカデータベースから読出す読出手段と、
前記ライブ映像に基づいて、前記座席位置に対応する人物が在席しているか不在かを判定する判定手段と、
読み出された前記識別子に対応するプレゼンス情報を前記プレゼンスデータベースから読み出すプレゼンス情報読出手段と、
人物が不在と判定された前記座席位置と前記識別子とを特定する特定手段と、
特定された前記識別子に対応する前記プレゼンス情報を、前記表示手段において前記ライブ映像に重畳して表示させる表示制御手段と、
を備えた情報処理システム。

撮像手段および表示手段を備えたスマートデバイスを利用する情報処理システムの制御方法であって、
前記情報処理システムは、ＡＲマーカと識別子と座席位置とを対応付けて記憶するＡＲマーカデータベースと、前記識別子とプレゼンス情報とを対応付けて記憶するプレゼンスデータベースと、を含み、
読出手段が、前記撮像手段を用いて撮像したライブ映像内にＡＲマーカが含まれる場合に、前記ＡＲマーカに紐付いた前記識別子および前記座席位置を前記ＡＲマーカデータベースから読出す座席位置読出ステップと、
判定手段が、前記ライブ映像に基づいて、前記座席位置に対応する人物が在席しているか不在かを判定する判定ステップと、
プレゼンス情報読出部が、読み出された前記識別子に対応するプレゼンス情報を前記プレゼンスデータベースから読み出すプレゼンス情報読出ステップと、
特定手段が、人物が不在と判定された前記座席位置と前記識別子とを特定する特定ステップと、
表示制御手段が、特定された前記識別子に対応する前記プレゼンス情報を、前記表示手段において前記ライブ映像に重畳して表示させる表示制御ステップと、
を含む制御方法。

撮像手段および表示手段を備えたスマートデバイスの制御方法であって、
前記スマートデバイスは、ＡＲマーカと識別子と座席位置とを対応付けて記憶するＡＲマーカデータベースと、前記識別子とプレゼンス情報とを対応付けて記憶するプレゼンスデータベースと、を含み、
読出手段が、前記撮像手段を用いて撮像したライブ映像内にＡＲマーカが含まれる場合に、前記ＡＲマーカに紐付いた前記識別子および前記座席位置を前記ＡＲマーカデータベースから読出す座席位置読出ステップと、
判定手段が、前記ライブ映像に基づいて、前記座席位置に対応する人物が在席しているか不在かを判定する判定ステップと、
プレゼンス情報読出部が、読み出された前記識別子に対応するプレゼンス情報を前記プレゼンスデータベースから読み出すプレゼンス情報読出ステップと、
特定手段が、人物が不在と判定された前記座席位置と前記識別子とを特定する特定ステップと、
表示制御部が、特定された前記識別子に対応する前記プレゼンス情報を、前記表示手段において前記ライブ映像に重畳して表示させる表示制御ステップと、
を含む制御方法。

撮像手段および表示手段を備えたスマートデバイスの制御プログラムであって、
前記スマートデバイスは、ＡＲマーカと識別子と座席位置とを対応付けて記憶するＡＲマーカデータベースと、前記識別子とプレゼンス情報とを対応付けて記憶するプレゼンスデータベースと、を含み、
前記撮像手段を用いて撮像したライブ映像内にＡＲマーカが含まれる場合に、前記ＡＲマーカに紐付いた前記識別子および前記座席位置を前記データベースから読出す座席位置読出ステップと、
前記ライブ映像に基づいて、前記座席位置に対応する人物が在席しているか不在かを判定する判定ステップと、
読み出された前記識別子に対応するプレゼンス情報を前記プレゼンスデータベースから読み出すプレゼンス情報読出ステップと、
人物が不在と判定された前記座席位置と前記識別子とを特定する特定ステップと、
特定された前記識別子に対応する前記プレゼンス情報を、前記表示手段において前記ライブ映像に重畳して表示させる表示制御ステップと、
をコンピュータに実行させる制御プログラム。

本発明によれば、不在と判定された人物のプレゼンスに関する情報を提示することができる。

本発明の第１実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第２実施形態に係る情報処理システムの動作の概要を示す図である。 本発明の第２実施形態に係る情報処理システムの動作の概要を示す図である。 本発明の第２実施形態に係る情報処理システムの基本モードの動作手順を示すシーケンス図である。 本発明の第２実施形態に係る情報処理システムの検索モードの動作手順を示すシーケンス図である。 本発明の第２実施形態に係る情報処理システムの関係者サーチモードの動作手順を示すシーケンス図である。 本発明の第２実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第２実施形態に係る情報処理システムの別の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理システムの備える個人情報テーブルの構成を説明する図である。 本発明の第２実施形態に係る情報処理システムの備えるＡＲマーカ情報テーブルの構成を説明する図である。 本発明の第２実施形態に係る情報処理システムの備える座席情報テーブルの構成を説明する図である。 本発明の第２実施形態に係る情報処理システムの備えるエアタグテーブルの構成を説明する図である。 本発明の第２実施形態に係る情報処理システムを１つの情報処理装置で実現した場合のハードウェア構成を説明する図である。 本発明の第２実施形態に係る情報処理システムの処理手順を説明するフローチャートである。 本発明の第３実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第３実施形態に係る情報処理システムの処理手順を説明するフローチャートである。

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。

［第１実施形態］
本発明の第１実施形態としての情報処理システム１００について、図１を用いて説明する。情報処理システム１００は、ＡＲマーカとプレゼンス情報とを用いて、不在者に関する情報を提示するシステムである。

図１に示すように、情報処理システム１００は、読出部１０１と、判定部１０２と、プレゼンス情報読出部１０３と、表示制御部１０４とを含む。情報処理システム１００は、撮像部１２１および表示部１２２を備えたスマートデバイス１２０を用いる。

読出部１０１は、撮像部１２１を用いて撮像したライブー映像中にＡＲマーカが含まれる場合に、ＡＲマーカに紐付いた識別子およびライブー映像内の座席位置をデータベース１３０から読み出す。判定部１０２は、ライブ映像に基づいて、座席位置に対応する人物が在席しているか不在かを判定する。プレゼンス情報読出部１０３は、不在と判定された人物を識別子を用いて特定し、特定された人物のプレゼンス情報をプレゼンスデータベース１４０から読み出す。表示制御部１０４は、ライブ映像に重畳してプレゼンス情報を表示させる。

本実施形態によれば、ＡＲマーカと識別子とを紐付けて人物の在席または不在を判定するので、不在と判定された人物のプレゼンスに関する情報を提示することができる。

［第２実施形態］
次に本発明の第２実施形態に係る情報処理システム２００について、図２〜図７を用いて説明する。情報処理システム２００は、ＡＲマーカとプレゼンス情報とを用いて、不在者に関する情報を提示するシステムである。図２Ａおよび図２Ｂは、本実施形態に係る情報処理システム２００の動作の概要を説明するための図である。

（前提技術）
例えば、会社において、ある事業を進める場合には、ユーザが所属する部署の直属の上司から承認を貰うことは勿論、様々な部署から承認を貰わなければならないシチュエーションが発生する。このような場合、ユーザは、実際に、ユーザが普段業務を行っている部屋とは異なる部屋などにある他の部署や事業部などを直接訪問して、その部署の責任者や担当者から承認のための印鑑やサインなどを貰わなければならない。また、ユーザは、１つの部署だけでなく、複数の部署を回って、決められた期限までに承認を得なければならない。

ユーザが、訪問相手のいる場所に訪れて承認を得るためには、ユーザがその訪問相手と面識があれば、ユーザ自身が目視により訪問相手を探して確認する方法が一般的であった。具体的には、ユーザが、訪問した部屋全体を眺めて、どこに訪問相手が着席しているかをユーザ自身の目視で確認することにより、訪問相手の座席まで訪れて、承認を得ていた。

これとは反対に、ユーザが訪問相手と面識がない場合には、ユーザ自身が、その部署の座席表などを見て確認する方法で、訪問相手の座席まで訪れて、承認を得ていた。さらに、この他の方法として、例えば、各従業員の机や座席に従業員名の書かれたポップなどを置く方法などもあった。ただし、これらの方法の場合には、個人情報が流出してしまうという懸念があった。

ユーザが座席表などを見て確認する方法では、ユーザは訪問相手と面識がないので、訪問相手の座席を探す場合は、座席表を見て訪問相手の座席位置を覚えて、その座席位置まで行くか、座席表を持ち出して、その座席表を参照しながら、訪問相手の座席まで行く必要があった。この場合、座席位置を誤って記憶したり、座席表との比較ミスにより、訪問相手とは異なる誤った従業員に声を掛けてしまうことがあった。また、訪問相手の座席まで辿り着くことができたとしても、訪問相手が在席していないことがあるので、このような場合に、訪問相手が一時的に離席しているだけなのか、出張や会議などで不在なのかを知りたいこともある。

訪問相手が在席していない場合、ユーザが、訪問相手の在席状況を知るためには、各部署に設けられた予定表や行先掲示板などをユーザが確認するか、または、その部屋にいる従業員から訪問相手の予定を聞き出すなどしていた。また、その部屋にいる従業員に訪問相手の予定を尋ねてみても、その従業員は訪問相手とは全く別の部署の従業員であることもある。さらに、訪問相手の予定を尋ねた従業員が訪問相手の予定を知らない場合もあり、この場合には、ユーザがプレゼンスシステムで訪問相手のプレゼンス状態を確認するなどしていた。

しかしながら、このような場合には、ユーザとしては、訪問相手の部署に訪れたにも関わらず、承認を得ることができずに、無駄足になってしまったり、訪問相手の予定によっては、出直さなければならないこともあった。このように、ユーザが、承認を得るためには、ユーザ自身の都合と、訪問相手の都合とが一致しなければならず、承認を得ること自体がユーザにとって業務を停滞させる一因となっていた。

（本実施形態の技術）
ユーザ２７０は、承認を得るために、承認権限を有する人物の在席する部署の部屋２６０を訪れたとする。ユーザ２７０が訪問した部屋２６０には、人物２３０および人物２４０が在席している。また、机の上にはＡＲマーカ２１０が置いてある。ここで、ＡＲマーカ２１０は、例えば、１次元コード（バーコード）や２次元コードなどであるが、これらには限定されず、所定パターンの画像であればよい。

ここで、ユーザ２７０は、訪問相手である人物２５０とは面識がなく、訪問相手である人物２５０が在席していない。もしくは、ユーザ２７０は、訪問相手である人物２５０と面識はあるが、訪問相手である人物２５０が在席していないとする。

このような状況において、ユーザ２７０は、自身が所有するスマートフォンなどのスマートデバイス２２０に内蔵されているカメラや外付けされているカメラで机の上に置いてあるＡＲマーカ２１０が映り込むように部屋２６０の様子を撮像する。ＡＲマーカ２１０には、識別子（ID:Identifier）、例えば、座席を識別する座席識別子や個人を識別する個人識別子、座席位置などが紐付けられている。そして、情報処理システム２００は、これらの識別子と座席位置とをデータベースから読み出して、座席位置に対応する人物が在席しているか不在かを判定し、不在の人物のプレゼンス情報をエアタグにより表示する。具体的には、スマートデバイス２２０が、ＡＲシステム２７０に対してプレゼンス情報を送信するように要求する。そして、ＡＲシステム２７０が、スマートデバイス２２０からの要求に応じて、顔認証システム２８０およびプレゼンスシステム２９０を用いてプレゼンス情報を取得して、スマートデバイス２２０の画面２２１に表示する。

そうすると、スマートデバイス２２０の画面２２１には、部屋２６０の様子と、在席中の人物２３０、２４０と、これらの人物２３０、２４０のエアタグ２３１、２４１とが表示される。さらに、在席していない人物２５０のエアタグ２５１も表示される。

エアタグ２３１およびエアタグ２４１には、人物２３０および人物２４０の名前や、役職、プレゼンス状況、顔写真などが表示されている。同様に、エアタグ２５１には、訪問相手である人物２５０の名前や、役職、プレゼンス状況、顔写真（非公開）などが表示されている。これにより、ユーザ２７０は、訪問相手である人物２５０が不在であっても、その場にいない訪問相手である人物２５０の現在の状況や、今後の予定などに関するプレゼンス情報を知ることができる。

ここでは、１つの島に１つのＡＲマーカ２１０が配置されている例で説明をしたが、ＡＲマーカ２１０の数は１つには限定されず、複数であってもよい。また、ＡＲマーカ２１０は、各机に１つ配置してもよいし、各部屋に１つ配置してもよい。また、ＡＲマーカ２１０の配置場所は、机上に限られず、例えば、柱や壁、天井などでもよい。さらに、ここでは、不在者の他に在席者のプレゼンス情報もエアタグにより表示しているが、表示するエアタグは不在者のエアタグだけでもよく、ユーザが適宜選択することができる。

図３Ａは、本実施形態に係る情報処理システム２００の基本モードの動作手順を示すシーケンス図である。

ステップＳ３０１において、スマートデバイス２２０は、内蔵されているカメラや外付けのカメラなどを用いてＡＲマーカ２１０が映り込むようにライブ映像を撮像する。ステップＳ３０２において、スマートデバイス２２０は、撮像したＡＲマーカ２１０の情報を読み取り、読み取った情報をＡＲシステム２１０へ送信する。

ステップＳ３６１において、ＡＲシステム２７０は、スマートデバイス２２０から送信されたＡＲマーカ２１０の情報に基づいて、ＡＲマーカ２１０の情報に紐付く座席の識別子である座席ＩＤを、データベースなどから取得する。さらに、ステップＳ３６３において、ＡＲシステム２７０は、取得した座席ＩＤに対応する座席位置、例えば、（Ｘ，Ｙ，Ｚ）座標軸上の位置を、データベースなどから取得する。ステップＳ３６５において、ＡＲシステム２７０は、座席ＩＤに紐付く人物のプレゼンス情報を取得するために、プレゼンスシステム２９０に対して要求を送信する。

プレゼンスシステム２９０は、ステップＳ３９５において、ＡＲシステム２７０からの要求に応じて、プレゼンスデータベースから、座席位置に対応する人物のプレゼンスに関する情報であるプレゼンス情報を検索して、抽出する。そして、プレゼンスシステム２９０は、抽出したプレゼンス情報をＡＲシステム２７０へ返信する。

ステップＳ３６７において、ＡＲシステム２７０は、スマートデバイス２２０のカメラで撮像したライブ映像から、座席位置に該当する箇所の映像情報を切り抜く。すなわち、スマートデバイス２２０で撮像したライブ映像中において、座席位置、つまり、（Ｘ，Ｙ，Ｚ）座標軸に対応する場所の映像を切り抜く。そして、ステップＳ３６９において、ＡＲシステム２７０は、切り取った映像に基づいて、顔認証システム２８０に照合を要求する。

ステップＳ３９１において、顔認証システム２８０は、ＡＲシステム２７０からの要求に応じて、顔認証システム２８０に登録されている人物の顔情報とスマートデバイス２２０で撮像したライブ映像から切り抜いた映像とを比較して、一致するか否かを判定する。そして、顔認証システム２８０は、認証の結果、一致した場合には、一致したことを示す応答をＡＲシステム２７０へ返信し、不一致の場合には、不一致を示す応答をＡＲシステム２７０へ返信する。

ステップＳ３７１において、ＡＲシステム２７０は、顔認証システム２８０からの返信が、一致か不一致かを判断する。すなわち、顔認証システム２８０による顔認証の結果、ＡＲマーカ２１０に紐付いた座席位置に座っている人物が在席しているか否かを判断する。顔認証システム２８０からの返信が「一致」の場合、つまり、在席の場合、ステップＳ３７３において、ＡＲシステム２７０は、座席位置上に在席の場合のプレゼンス情報をエアタグにより表示するようにスマートデバイス２２０に対して指示する。

これとは反対に、顔認証システムからの返信が「不一致」の場合、つまり、在席していない場合、ＡＲシステム２７０は、ステップＳ３０５において、「○○さんが見つけられません」というメッセージをエアタグなどにより表示するようにスマートデバイス２２０に指示する。そして、ステップＳ３０７において、ＡＲシステム２７０は、ユーザが不在者をさらに探すことを選択するか否かを判断し、ユーザがさらに探すことを選択した場合には、図３Ｂに示したシーケンスへ移動する（図３Ａの”Ａ”）。一方、ステップＳ３０７において、ユーザがさらに探すことを選択しなかった場合には、ＡＲシステム２７０は、次のステップへ進む。

ステップＳ３０９において、ＡＲシステム２７０は、座席位置上に不在の場合のプレゼンス情報をエアタグにより表示するようにスマートデバイス２２０に対して指示する。

ステップＳ３１１において、スマートデバイス２２０は、ＡＲシステム２７０からの指示に従って、カメラで撮像したライブ映像内に在席または不在を示す情報やプレゼンス情報などをエアタグにより重畳して表示する。

次に、図３Ｂを参照して、本実施形態に係る情報処理システム２００のサーチモードについて説明する。図４Ｂは、本実施形態に係る情報処理システム２００のサーチモードの動作手順を示すシーケンス図である。このシーケンスは、図３ＡのステップＳ３０７のＹＥＳ以降のシーケンスに該当する。

ステップＳ３７５において、ＡＲシステム２７０は、サーチモードへ移行する。サーチモードは、撮像範囲内の顔認証を行うモードである。ステップＳ３１３において、スマートデバイス２２０は、スマートデバイス２２０に内蔵されているカメラまたは外付けのカメラを用いて、例えば、ユーザが訪問した部屋などを撮像する。スマートデバイス２２０は、撮像したライブ映像を顔認証システム２８０に送信する。

ステップＳ３９２において、顔認証システム２８０は、スマートデバイス２２０から受信したライブ映像に基づいて、顔認証システム２８０に登録されている人物の顔情報とスマートデバイス２２０のカメラで撮像したライブ映像の映像情報との一致または不一致を判定する。そして、顔認証システム２８０は、一致または不一致を示す応答をＡＲ２７０システムへ返信する。

ステップＳ３７７において、ＡＲシステム２７０は、顔認証システム２８０から受信した認証結果が一致か否かを判定する。一致する場合、ステップＳ３７９において、ＡＲシステム２７０は、一致した顔の人物が座っている座席位置の位置情報上に在席を示す情報をエアタグにより表示するようにスマートデバイス２２０のアプリケーションなどに指示する。一致しない場合、ＡＲシステム２７０は、不一致を示す応答をスマートデバイス２２０に対して送信する。

ステップＳ３１５において、スマートデバイス２２０は、例えば、「○○さんが見つけられません」というメッセージを表示する。そして、ステップＳ３１７において、スマートデバイス２２０は、ユーザが、不在者をさらに探すことを望むか否かを判定する。具体的には、ステップＳ３１５で表示したメッセージと共に、さらに探すか否かを選択できるボタンなどを表示する。この場合の探索の対象は、ユーザがコンタクトを取りたい人物の関係者などである。ここで、ユーザがさらに探すことを選択した場合、図３Ｃに示したシーケンスへ移動する（図３Ｂの”Ｂ”）。一方、ステップＳ３１７において、ユーザがさらに探すことを選択しなかった場合には、スマートデバイス２２０は、次のステップへ進む。

ステップＳ３１９において、スマートデバイス２２０は、不在であった人物（見つけられなかった人物）に対してメールなどを送るか否かをユーザに問い合わせるメッセージを表示する。ステップＳ３２１において、スマートデバイス２２０は、ユーザがメッセージを送ることを選択したか否かを判定し、送ることを選択しなかった場合、ステップＳ３２２において、アプリケーションに対して、不在者の座標位置上に不在の場合のプレゼンス情報をエアタグにより表示するように指示する。

一方、ユーザがメッセージを送信することを選択した場合、ステップＳ３２３において、スマートデバイス２２０は、ユーザに対して定型文を選択するか否かを問い合わせるメッセージを表示する。ユーザが、定型文送信を選択した場合は、ステップＳ３２７において、定型文の選択画面を表示する。ユーザが定型文送信を選択しなかった場合、ステップＳ３２９において、スマートデバイス２２０は、文章作成モードへと移行する。ステップＳ３３１において、スマートデバイス２２０は、ユーザが作成したメールを送信する。

また、ステップＳ３２２およびステップＳ３７９において、エアタグの表示を指示されたスマートデバイス２２０は、ステップＳ３３３において、ＡＲシステム２７０からの指示に従って、カメラで撮像したライブ映像内に在席または不在などを示すプレゼンス情報をエアタグにより重畳して表示する。

次に、図３Ｃを参照して、本実施形態に係る情報処理システム２００の関係者サーチモードについて説明する。図３Ｃは、本実施形態に係る情報処理システム２００の関係者サーチモードの動作手順を示すシーケンス図である。このシーケンスは、図３ＢのステップＳ３１７のＹＥＳ以降のシーケンスに該当する。

ステップＳ３８１において、ＡＲシステム２７０は関係者サーチモードへと移行する。ステップＳ３８３において、ＡＲシステム２７０は、プレゼンスシステム２９０に対して、関係者の情報を検索して、取得することを要求する。

ステップＳ３９７において、プレゼンスシステム２９０は、ＡＲシステム２７０からの要求に応じて、ユーザが訪問した人物の人事情報などから、その人物の上司や秘書、同僚などの関係者を検索して、抽出する。そして、プレゼンスシステム２９０は、抽出結果をスマートデバイス２２０に対して送信する。

ステップＳ３３５において、スマートデバイス２２０は、プレゼンスシステム２９０から送信された、関係者の名前と関係とを箇条書きにしたリストを表示する。ステップＳ３３７において、スマートデバイス２２０は、ユーザがリストから選択した関係者について、その関係者の社員ＩＤなどをプレゼンスシステム２９０へ送る。

ステップＳ３９９において、プレゼンスシステム２９０は、スマートデバイス２２０から送信された社員ＩＤなどに基づいて、ユーザが選択した関係者の情報を検索して、抽出する。そして、プレゼンスシステム２９０は、抽出した関係者の情報をスマートデバイス２２０に対して、送信する。

ステップＳ３３９において、スマートデバイス２２０は、選択された関係者の情報を表示する。例えば、ここで表示する関係者の情報は、氏名と役職などの簡易的なものであってもよい。ステップＳ３４１において、スマートデバイス２２０は、ユーザが選択した関係者の詳細情報を表示するための操作を行った場合、選択した関係者の詳細な情報を表示する。詳細な情報としては、例えば、氏名や役職の他に、顔写真などが含まれるが、これらには限定されない。ステップＳ３４３において、スマートデバイス２２０は、関係者をサーチするか否かを問い合わせるメッセージをユーザに対して表示する。そして、ステップＳ３４５において、スマートデバイス２２０は、ユーザが、その関係者を探すことを希望するか否かを判定する。ユーザが希望しない場合、スマートデバイス２２０は、処理を終了する。

一方、ユーザが、関係者を探すことを希望した場合、ステップＳ３８５において、ＡＲシステム２７０は、撮像範囲内の顔認証を行うサーチモードへ移行する。

ステップＳ３４７において、スマートデバイス２２０は、カメラでライブ映像を撮像する。そして、撮像したライブ映像を顔認証システム４３０へ送信する。

ステップＳ３９３において、顔認証システム２８０は、顔認証システム２８０に登録されている関係者の顔情報とカメラで撮像したライブ映像に映った関係者の顔情報とが一致するか否かを認証する。そして、認証結果をＡＲシステム２７０へ送る。

ステップＳ３８７において、ＡＲシステム２７０は、認証結果が一致か否かを判定する。一致した場合、ステップＳ３８９において、ＡＲシステム２７０は、一致した関係者の座席位置上に在席の場合のプレゼンス情報などをエアタグにより表示するようにスマートデバイス２２０へ指示する。ステップＳ３５１において、スマートデバイス２２０は、ＡＲシステム２２０からの指示に従って、カメラで撮像したライブ映像内にプレゼンス情報などをエアタグにより重畳して表示する。

一方、ステップＳ３８７において一致しなかった場合、ＡＲシステム２７０は、不在を示す応答をスマートデバイス２２０へ送信する。スマートデバイス２２０は、ＡＲシステム２７０からの指示に従って、「○○さんが見つけられません」などのメッセージを表示する。

図４Ａは、本実施形態に係る情報処理システム２００の機能構成を説明するためのブロック図である。図４Ａに示すように、情報処理システム２００は、ＡＲシステム２７０と、スマートデバイス２２０と、顔認証システム２８０と、プレゼンスシステム２９０と、データベース４１０と、ＡＲマーカ２１０とを含む。

ＡＲシステム２７０は、読出部４０１と、判定部４０２と、プレゼンス情報読出部４０３と、表示制御部４０４と、関係者探索部４０５とを備える。

読出部４０１は、スマートデバイス２２０の撮像部４２１で撮像したライブ映像内にＡＲマーカ２１０が含まれる場合に、ＡＲマーカ２１０に紐付いた座席ＩＤや個人ＩＤなどの識別子と、ライブ映像内の座席位置を、例えば、データベース４１０から取得する。つまり、ユーザが、スマートデバイス２２０の撮像部４２１をＡＲマーカ２１０に向けて撮像すると、読出部４０１は、その映像に映っているＡＲマーカ２１０に紐付けられた座席ＩＤなどをデータベース４１０から読み出す。

判定部４０２は、データベース４１０から読み出した座席位置に対応する人物、つまり、その座席位置に座っている人物が在席しているか不在かを判定する。判定部４０２は、スマートデバイス２２０で撮像したライブ映像の中で、データベース４１０から読み出した座席位置に該当する箇所の映像を切り抜いて、切り抜いた映像を顔認証システム２８０に送信する。そして、顔認証システム２８０は、ＡＲシステム２７０から送られてきた切り抜かれた映像と、顔認証データベース３３２に登録されている当該人物の映像とを比較して、顔認証部３３１で顔認識に基づく顔認証を行う。すなわち、顔認証システム２８０は、座席位置の画像領域において顔認識による顔認証を実施して、認証結果をＡＲシステム２７０に送信する。判定部４０２は、顔認証システム２８０から送信された認証結果に基づいて、人物の在席または不在を判定する。なお、上述の判定は、ＡＲシステム２７０が顔認証システム２８０を用いて行う例で説明をしたが、判定の方法はこれには限定されず、例えば、スマートデバイス２２０に顔認証アプリケーションをインストールしておき、当該顔認証アプリケーションで行ってもよい。

プレゼンス情報読出部４０３は、判定部４０２で不在と判定された人物のプレゼンス情報をプレゼンスシステム２９０から読み出す。具体的には、ＡＲシステム２７０は、不在と判定された人物のプレゼンス情報を送信するように、プレゼンスシステム２９０に対して、送信要求を送る。

プレゼンスシステム２９０のプレゼンス取得部３４１は、ＡＲシステム２７０からの送信要求に基づいて、不在と判定された人物のプレゼンス情報をプレゼンスデータベース３４２から読み出す。そして、プレゼンスシステム２９０は、読み出したプレゼンス情報をＡＲシステム２７０に対して送信する。

表示制御部４０４は、プレゼンス情報読出部４０３で読み出した不在者のプレゼンス情報を、スマートデバイス２２０の表示部４２２において、撮像部４２１で撮像しているライブ映像にエアタグなどにより重畳して表示する。プレゼンス情報の表示位置は、例えば、ライブ映像中の不在者の座席位置上にプレゼンス情報を表示するが、プレゼンス情報の表示位置はこれには限定されない。

また、表示制御部４０４は、不在者のプレゼンス情報だけでなく、在席者のプレゼンス情報もライブ映像に重畳して表示してもよい。さらに、プレゼンス情報の表示形態は、不在と判断された人物のプレゼンス情報と在席と判断された人物のプレゼンス情報とで異なる形態としてもよい。例えば、エアタグの色や大きさなどを変えたり、エアタグを点滅させたりしてもよい。

関係者探索部４０５は、不在と判断された人物の関係者を探索する。関係者探索部４０５は、プレゼンスシステム２９０に対して、不在と判断された人物の関係者、例えば、上司や同僚、秘書などの情報を要求する。プレゼンスシステム２９０は、不在と判断された人物の人事情報などに基づいて、管理者や秘書、上司、同僚などの関係者をプレゼンスデータベース３４２から検索して、抽出する。そして、プレゼンスシステム２９０は、抽出した関係者の情報を関係者探索部４０５へ送る。関係者探索部４０５が受け取った関係者の情報は、表示制御部４０４を介してスマートデバイス２２０の表示部４２２において、ライブ映像に重畳して表示される。なお、プレゼンスシステム２９０が、抽出した関係者の情報を直接スマートデバイス２２０に送信してもよい。

なお、図４Ｂに示したように、スマートデバイス２２０にＡＲシステム２７０の機能をアプリケーションによりソフトウェア的またはハードウェア的に組み込むことにより、スマートデバイス２２０単独でＡＲシステム２７０の機能を実現してもよい。

図５Ａは、本実施形態に係る情報処理システム２００の備える個人情報テーブル５０１の構成を説明するための図である。個人情報テーブル５０１は、個人識別子である社員ＩＤ５１１に関連付けて、その社員の氏名５１２や、役職５１３、ステータス５１４、写真データ５１５、関係者５１６などを記憶する。ステータス５１４には、その社員の現在の状態、例えば、オンラインや離席中などの情報が格納される。関係者５１６は、例えば、その社員の管理者や秘書、上司、部下、同僚などに関する情報であり、その社員に関係する人物の情報が格納される。情報処理システム２００は、社員の個人情報を表示するために、個人情報テーブル５０１を参照して、社員の個人情報を取得する。

図５Ｂは、本実施形態に係る情報処理システム２００の備えるＡＲマーカ情報テーブル５０２の構成を説明するための図である。ＡＲマーカ情報テーブル５０２は、ＡＲマーカＩＤ５２１に関連付けて、座席位置５２２と社員ＩＤ５１１とを記憶する。情報処理システム２００は、ＡＲマーカ情報テーブル５０２を参照して、そのＡＲマーカに紐付いている座席識別子である座席位置５２２や個人識別子である社員ＩＤ５１１を特定する。

なお、ＡＲマーカ情報テーブル５０２は、例えば、ＡＲデータベースなどに格納されるが、ＡＲマーカ情報テーブル５０２が格納される場所は、ＡＲデータベースには限定されない。

図５Ｃは、本実施形態に係る情報処理システム２００の備える座席情報テーブル５０３の構成を説明するための図である。座席情報テーブル５０３は、座席位置５２２に関連付けて、座標位置情報５３２と社員ＩＤ５１１とを記憶する。座標位置情報５３２は、その座席位置のＡＲマーカ２１０からの相対距離を表している。

情報処理システム２００は、座席情報テーブル５０３を参照して、座席位置５２２のＡＲマーカ２１０からの相対位置（相対距離）５３２や、その座席位置に対応する社員ＩＤ５１１を決定する。

図５Ｄは、本実施形態に係る情報処理システム２００の備えるエアタグテーブル５０４の構成を説明するための図である。エアタグテーブル５０４は、エアタグパターン５４１に関連付けて、出力情報５４２を記憶する。出力情報５４２には、名前、役職、プレゼンスステータスおよび顔写真情報が含まれるが、出力情報５４２に含まれる情報はこれらには限定されない。情報処理システム２００は、エアタグテーブル５０４を参照して、例えば、人物が在席している場合または不在の場合に表示するエアタグの内容を決定する。

顔認証で一致した場合には、情報処理システム２００は、エアタグパターン５４１が在席の場合の出力情報５４２を表示する。この場合、顔認証を行った結果、一致しているので、顔写真やプレゼンスステータス（在または不在）の情報の表示は不要であるが、出力情報５４２の内容は、ユーザが適宜設定することができる。

これとは反対に、顔認証を行った結果、不一致であった場合には、情報処理システム２００は、エアタグパターン５４１が不在の場合の出力情報５４２を表示する。なお、情報処理システム２００が、表示するエアタグの内容の決定方法は、エアタグテーブル５０４を参照する方法には限定されず、例えば、ユーザの指示に基づいて、エアタグの表示内容を決定してもよい。

図６は、本実施形態に係る情報処理システム２００を１つの情報処理装置で実現した場合のハードウェア構成の一例を示すブロック図である。情報処理装置６００は、ＣＰＵ(Central Processing Unit)６１０、ＲＯＭ(Read Only Memory)６２０およびＲＡＭ(Random Access Memory)６４０を備えている。さらに、情報処理装置６００は、ストレージ６５０と通信制御部６３０とを備えている。

ＣＰＵ６１０は、演算処理用のプロセッサであり、プログラムを実行することにより情報処理装置６００の各機能構成部を実現する。なお、ＣＰＵ６１０は１つに限定されず、複数であってもよく、また、画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。ＲＯＭ６２０は、リードオンリメモリであり、ファームウェアなどのプログラムを記憶する。通信制御部６３０は、例えば、情報処理装置６００とその他の機器などとの間の通信を制御する。

ＲＡＭ６４０は、ＣＰＵ６１０が一時記憶用のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ６４０には、本実施形態の実現に必要なデータを記憶する領域がある。このようなデータとして、ＲＡＭ６４０は、社員ＩＤ５１１、座席位置５２２、ＡＲマーカＩＤ５２１、プレゼンス情報６４１、エアタグパターン５４１および送受信データ６４２を一時的に記憶する。

ストレージ６５０は、本実施形態の実現に必要なプログラムやデータベースなどを記憶する記憶デバイスである。ストレージ６５０は、個人情報テーブル５０１と、ＡＲマーカ情報テーブル５０２と、座席情報テーブル５０３と、エアタグテーブル５０４とを格納する。

ストレージ６５０は、さらに、情報処理装置制御プログラム６５１と、判定モジュール６５２と、プレゼンス情報読出モジュール６５３と、表示制御モジュール６５４とを格納する。これらのモジュール６５２〜６５４は、ＣＰＵ６１０によりＲＡＭ６４０のアプリケーション実行領域に読み出され、実行される。情報処理装置制御プログラム６５１は、情報処理装置６００の全体を制御するためのプログラムである。

なお、図６に示したＲＡＭ６４０やストレージ６５０には、情報処理装置６００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

図７は、本実施形態に係る情報処理システム２００の処理手順を説明するフローチャートである。このフローチャートは、図６のＣＰＵ６１０がＲＡＭ６４０を使用して実行し、図４の情報処理システム２００の機能構成部を実現する。

ステップＳ７０１において、情報処理システム２００は、スマートデバイス２２０のカメラで撮像したライブ映像を取得する。ステップＳ７０３において、情報処理システム２００は、ライブ映像内に含まれているＡＲマーカ２１０に紐付いた座席ＩＤや個人ＩＤなどの識別子をデータベース４１０から読み出す。さらに、情報処理システム２００は、ライブ映像内の座席位置をデータベース４１０から読み出す。ステップＳ７０５において、データベース４１０から読み出した座席位置に対応する人物が在席しているか不在かを、顔認証などにより判定する。

ステップＳ７０５において、座席位置に対応する人物が在席している場合は、情報処理システム２００は、ステップＳ７０７に進む。ステップＳ７０７において、情報処理システム２００は、在席している人物を識別子に基づいて特定して、その人物の名前や役職、顔写真などの個人情報を取得する。そして、ステップＳ７１３において、情報処理システム２００は、例えば、その人物の座席位置上に、その人物の個人情報が表されたエアタグをライブ映像に重畳表示する。

ステップＳ７０５において、座席位置に対応する人物が不在の場合は、情報処理システム２００は、ステップＳ７０９に進む。ステップＳ７０９において、情報処理システム２００は、不在の人物の関係者を探索するか否かを判定する。不在の人物の関係者を探索しない場合には、情報処理システム２００は、ステップＳ７１１に進む。ステップＳ７１１において、情報処理システム２００は、不在の人物を特定し、その人物のプレゼンス情報を取得する。

ステップＳ７０９において、不在の人物の関係者を探索する場合には、情報処理システム２００は、ステップＳ７１３に進む。ステップＳ７１３において、情報処理システム２００は、不在の人物の上司や秘書、同僚などの関係者を特定し、その関係者の連絡先やプレゼンス情報などを所定のデータベースから取得する。

本実施形態によれば、ＡＲマーカとプレゼンス情報とを組み合わせて情報を提示するので、不在者に関する情報を表示することができる。また、不在者に関する情報を表示するので、ユーザは、不在者のプレゼンスを確実に把握することができ、業務をスムーズに遂行できる。さらに、不在者の関係者の情報や連絡先を表示するので、ユーザは、不在者とコンタクトがとれなくても、その関係者とコンタクトを取ることができる。さらにまた、不在者の関係者とコンタクトが取れるので、ユーザは、不在者と直接コンタクトが取れるまで、不在者のいる部署を訪問しなくてもよく、無駄足を防止できる。

［第３実施形態］
次に本発明の第３実施形態に係る情報処理システム８００について、図８〜図９を用いて説明する。図８は、本実施形態に係る情報処理システム８００の機能構成を説明するためのブロック図である。本実施形態に係る情報処理システム８００は、上記第２実施形態と比べると、ＡＲシステムが連絡先情報読出部を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

連絡先情報読出部８０１は、不在と判断された人物を個人ＩＤや座席ＩＤを用いて特定する。そして、連絡先情報読出部８０１は、特定された人物の連絡先の情報を連絡先データベース８１０から読み出す。読み出された連絡先情報は、スマートデバイス２２０の表示部４２２において、ライブ映像に重畳して表示される。

また、連絡先情報読出部８０１は、不在と判断された人物を個人ＩＤなどに基づいて、特定し、特定された人物の関係者、例えば、管理者や秘書に関する情報を連絡先データベース８１０から読み出す。読み出された関係者に関する情報は、スマートデバイス２２０の表示部４２２において、ライブ映像に重畳して表示される。

図９は、本実施形態に係る情報処理システム８００の処理手順を説明するフローチャートである。なお、図７と同様の処理には同じステップ番号を付して説明を省略する。ステップＳ９０１において、情報処理システム８００は、不在者および関係者の連絡先情報を取得する。そして、情報処理システム８００は、不在者および関係者のプレゼンス情報と共に、連絡先情報もライブ映像に重畳表示する。

本実施形態によれば、不在者やその関係者の連絡先を表示するので、ユーザは、不在者やその関係者に対して、メールなどのメッセージを送信することができる。また、ユーザは、同じ部署の他の従業員に声を掛けて、言付けなどをしなくても、不在者に対して直接要件を伝えることができる。さらに、ユーザから不在者などに対してメッセージを送信できるので、不在者は自身に訪問者があったことを知ることができる。

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

Claims (11)

1. 撮像手段および表示手段を備えたスマートデバイスを用いる情報処理システムであって、
   ＡＲマーカと識別子と座席位置とを対応付けて記憶するＡＲマーカデータベースと、
   前記識別子とプレゼンス情報とを対応付けて記憶するプレゼンスデータベースと、
   前記撮像手段を用いて撮像したライブ映像内にＡＲマーカが含まれる場合に、前記ＡＲマーカに紐付いた前記識別子および前記座席位置を前記ＡＲマーカデータベースから読出す読出手段と、
   前記ライブ映像に基づいて、前記座席位置に対応する人物が在席しているか不在かを判定する判定手段と、
   読み出された前記識別子に対応するプレゼンス情報を前記プレゼンスデータベースから読み出すプレゼンス情報読出手段と、
   人物が不在と判定された前記座席位置と前記識別子とを特定する特定手段と、
   特定された前記識別子に対応する前記プレゼンス情報を、前記表示手段において前記ライブ映像に重畳して表示させる表示制御手段と、
   を備えた情報処理システム。
2. 前記識別子は、座席を識別する座席ＩＤであって、
   前記プレゼンス情報読出手段は、読み出された前記座席ＩＤに対応するプレゼンス情報を前記プレゼンスデータベースから読み出し、
   前記表示制御手段は、前記特定手段により特定された前記座席ＩＤに対応する前記プレゼンス情報を、前記表示手段において前記ライブ映像に重畳して表示させることを特徴とする請求項１に記載の情報処理システム。
3. 前記識別子は、人物を識別する個人ＩＤであって、
   前記プレゼンス情報読出手段は、読み出された前記個人ＩＤに対応するプレゼンス情報を前記プレゼンスデータベースから読み出し、
   前記表示制御手段は、前記特定手段により特定された前記個人ＩＤに対応する前記プレゼンス情報を、前記表示手段において前記ライブ映像に重畳して表示させることを特徴とする請求項１に記載の情報処理システム。
4. 前記表示制御手段は、前記ライブ映像内において、前記不在と判定された人物の座席位置に前記プレゼンス情報を表示させることを特徴とする請求項１、２または３に記載の情報処理システム。
5. 前記判定手段は、前記座席位置の画像領域において顔認識を行なうことにより、前記識別子に対応する人物が不在か否かを判定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
6. 前記表示制御手段は、前記特定手段により特定された前記識別子に対応する前記プレゼンス情報と、人物が不在と判定された前記座席位置から前記識別子を特定し、特定された前記識別子に対応する前記プレゼンス情報と、を異なる形態で表示することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
7. 不在と判定された前記人物を前記識別子を用いて特定し、特定された前記人物の連絡先情報を連絡先データベースから読み出す連絡先情報読出手段をさらに有し、
   前記表示制御手段は、前記ライブ映像に重畳して前記連絡先情報を前記表示手段に表示させることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。
8. 前記連絡先情報読出手段は、不在と判定された前記人物を前記識別子を用いて特定し、特定された前記人物の管理者または秘書に関する情報を前記連絡先データベースから読み出し、
   前記表示制御手段は、前記ライブ映像に重畳して前記人物の管理者または秘書に関する情報を表示させることを特徴とする請求項７に記載の情報処理システム。
9. 撮像手段および表示手段を備えたスマートデバイスを利用する情報処理システムの制御方法であって、
   前記情報処理システムは、ＡＲマーカと識別子と座席位置とを対応付けて記憶するＡＲマーカデータベースと、前記識別子とプレゼンス情報とを対応付けて記憶するプレゼンスデータベースと、を含み、
   読出手段が、前記撮像手段を用いて撮像したライブ映像内にＡＲマーカが含まれる場合に、前記ＡＲマーカに紐付いた前記識別子および前記座席位置を前記ＡＲマーカデータベースから読出す座席位置読出ステップと、
   判定手段が、前記ライブ映像に基づいて、前記座席位置に対応する人物が在席しているか不在かを判定する判定ステップと、
   プレゼンス情報読出部が、読み出された前記識別子に対応するプレゼンス情報を前記プレゼンスデータベースから読み出すプレゼンス情報読出ステップと、
   特定手段が、人物が不在と判定された前記座席位置と前記識別子とを特定する特定ステップと、
   表示制御手段が、特定された前記識別子に対応する前記プレゼンス情報を、前記表示手段において前記ライブ映像に重畳して表示させる表示制御ステップと、
   を含む制御方法。
10. 撮像手段および表示手段を備えたスマートデバイスの制御方法であって、
    前記スマートデバイスは、ＡＲマーカと識別子と座席位置とを対応付けて記憶するＡＲマーカデータベースと、前記識別子とプレゼンス情報とを対応付けて記憶するプレゼンスデータベースと、を含み、
    読出手段が、前記撮像手段を用いて撮像したライブ映像内にＡＲマーカが含まれる場合に、前記ＡＲマーカに紐付いた前記識別子および前記座席位置を前記ＡＲマーカデータベースから読出す座席位置読出ステップと、
    判定手段が、前記ライブ映像に基づいて、前記座席位置に対応する人物が在席しているか不在かを判定する判定ステップと、
    プレゼンス情報読出部が、読み出された前記識別子に対応するプレゼンス情報を前記プレゼンスデータベースから読み出すプレゼンス情報読出ステップと、
    特定手段が、人物が不在と判定された前記座席位置と前記識別子とを特定する特定ステップと、
    表示制御部が、特定された前記識別子に対応する前記プレゼンス情報を、前記表示手段において前記ライブ映像に重畳して表示させる表示制御ステップと、
    を含む制御方法。
11. 撮像手段および表示手段を備えたスマートデバイスの制御プログラムであって、
    前記スマートデバイスは、ＡＲマーカと識別子と座席位置とを対応付けて記憶するＡＲマーカデータベースと、前記識別子とプレゼンス情報とを対応付けて記憶するプレゼンスデータベースと、を含み、
    前記撮像手段を用いて撮像したライブ映像内にＡＲマーカが含まれる場合に、前記ＡＲマーカに紐付いた前記識別子および前記座席位置を前記データベースから読出す座席位置読出ステップと、
    前記ライブ映像に基づいて、前記座席位置に対応する人物が在席しているか不在かを判定する判定ステップと、
    読み出された前記識別子に対応するプレゼンス情報を前記プレゼンスデータベースから読み出すプレゼンス情報読出ステップと、
    人物が不在と判定された前記座席位置と前記識別子とを特定する特定ステップと、
    特定された前記識別子に対応する前記プレゼンス情報を、前記表示手段において前記ライブ映像に重畳して表示させる表示制御ステップと、
    をコンピュータに実行させる制御プログラム。

Images