以下、図面に基づいて、本願の開示する表示制御プログラム、表示制御方法、情報処理装置およびヘッドマウントユニットの実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
図1は、実施例の情報制御システムの構成の一例を示すブロック図である。図1に示す情報制御システム1は、ヘッドマウントユニット10(以下、HMユニット10ともいう。)と、データベース20と、ビル管理システム30と、認証システム40と、ゲート50と、情報処理装置100とを有する。なお、情報制御システム1では、HMユニット10の数は限定されず、任意の数のHMユニット10を有するようにしてもよい。
HMユニット10と、情報処理装置100との間は、ネットワークN1を介して、相互に通信可能に接続される。また、データベース20と、ビル管理システム30と、情報処理装置100との間は、ネットワークN2を介して、相互に通信可能に接続される。さらに、ビル管理システム30と、認証システム40およびゲート50との間は、相互に通信可能に接続される。
かかるネットワークN1,N2には、有線または無線を問わず、インターネットを始め、LAN(Local Area Network)やVPN(Virtual Private Network)などの任意の種類の通信網を採用できる。また、ネットワークN1,N2を介する通信は、例えば、TLS(Transport Layer Security)/SSL(Secure Sockets Layer)等によって暗号化されるようにしてもよい。
情報制御システム1は、例えば、セキュリティルーム内で作業を行う利用者がHMユニット10を装着し、セキュリティルーム内の顧客システムの端末画面等に表示される秘密情報を利用者の権限に応じてマスキングするシステムである。なお、セキュリティルームは、セキュリティエリアの一例である。また、以下の説明では、セキュリティルーム内にある物体、例えば端末装置、ホワイトボード、ポスター、椅子、机等をオブジェクトと称する。さらに、オブジェクトのうち、情報の表示が可能なもの、例えば、端末装置、ホワイトボード、ポスター等を媒体と称する。
HMユニット10は、セキュリティルーム内で作業を行う利用者が装着する端末装置である。HMユニット10は、例えば没入型のHMD(Head Mounted Display)である。なお、HMユニット10は、利用者の視界をマスキングできれば、透過型のHMDを用いてもよい。また、HMユニット10は、外部情報を取得するための外部カメラと、利用者の視線や注視点、生体認証情報を取得する内部カメラとを有する。さらに、HMユニット10は、周囲の視界を妨げる遮蔽部材を有し、ディスプレイを介した視界以外が利用者から視認出来ない構造である。HMユニット10は、情報処理装置100から受信したマスク画像を表示することで、利用者が権限を有しない情報にマスキングを行うことができる。
データベース(以下、DBともいう。)20は、利用者やセキュリティルームの情報、入退室管理や秘匿対象に関する情報等の各種の情報を記憶する。データベース20は、情報処理装置100からの要求に基づいて、対応する情報を情報処理装置100に提供する。また、データベース20は、情報処理装置100や、情報制御システム1の管理者等により、情報が更新される。
ビル管理システム30は、例えば、ビル内の各フロアやセキュリティルームの入退室管理を行う。ビル管理システム30では、認証システム40が入退室者の認証を行い、ゲート50が認証結果に応じて施錠管理を行う。例えば、利用者がID(IDentifier)カードをゲート50の読取装置にかざすと、読み取ったIDカードの情報に基づいて認証システム40が認証を行う。ビル管理システム30は、認証結果が認証OKである場合にゲート50を解錠する。
情報処理装置100は、HMユニット10を装着した利用者の位置と、HMユニット10で撮像された撮像画像とに基づいて、セキュリティルーム内の物体(オブジェクト)を認識し、秘密情報を利用者の権限に応じてマスキングする。すなわち、情報処理装置100は、セキュリティエリア内の利用者の位置、および、該利用者の視界に対応する撮像画像に基づいて、該撮像画像内のオブジェクトのうち、文字列および画像のうち1つ以上の情報を含むオブジェクトについて情報を認識する。情報処理装置100は、認識した情報が、利用者の属性に応じた秘匿対象情報を記憶した記憶部に記憶されている場合に、認識した情報に対応する撮像画像の領域を非表示にする領域と判定する。情報処理装置100は、撮像画像のうち、判定した非表示にする領域の情報を加工(マスキング)する。情報処理装置100は、加工した非表示にする領域の情報をHMユニット10に表示させる。これにより、情報処理装置100は、利用者ごとに閲覧可能な情報を制御できるので、セキュリティレベルの異なる利用者間の情報連携が迅速にできる。
次に、HMユニット10の構成について説明する。図2は、実施例のHMユニットの構成の一例を示すブロック図である。図2に示すように、HMユニット10は、通信部11と、表示部12と、第1撮像部13と、第2撮像部14と、制御部15とを有する。なお、HMユニット10は、図2に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部11は、例えば、無線LAN等の通信モジュール等によって実現される。通信部11は、ネットワークN1を介して情報処理装置100と無線で接続され、情報処理装置100との間で情報の通信を司る通信インタフェースである。通信部11は、制御部15から入力された生体情報、位置情報、撮像画像および監視情報を情報処理装置100に送信する。また、通信部11は、情報処理装置100から認証情報、初期表示情報、第1マスク画像、第2マスク画像および警告情報を受信する。通信部11は、受信した認証情報、初期表示情報、第1マスク画像、第2マスク画像および警告情報を制御部15に出力する。
表示部12は、各種情報を表示するための表示デバイスである。表示部12は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部12は、制御部15から入力された撮像画像、初期表示の画像、第1マスク画像および第2マスク画像等の各種画像に基づく画面を表示する。なお、表示部12の周囲には、表示部12以外の視界を遮る遮蔽部材が設けられている。
第1撮像部13は、HMユニット10の外部の情報を取得する外部カメラである。第1撮像部13は、例えば、撮像素子としてCMOS(Complementary Metal Oxide Semiconductor)イメージセンサまたはCCD(Charge Coupled Device)イメージセンサ等を用いて、画像を撮像する。第1撮像部13は、撮像素子が受光した光を光電変換しA/D(Analog/Digital)変換を行って画像を生成する。第1撮像部13は、生成した画像を制御部15に出力する。なお、第1撮像部13から出力する撮像画像は、HMユニット10を装着した利用者の視界に対応する撮像画像である。
第2撮像部14は、HMユニット10を装着した利用者の視線や注視点、生体認証情報を取得する内部カメラである。第2撮像部14は、例えば、撮像素子としてCMOSイメージセンサまたはCCDイメージセンサ等を用いて、画像を撮像する。第2撮像部14は、撮像素子が受光した光を光電変換しA/D変換を行って画像を生成する。第2撮像部14は、生成した画像を制御部15に出力する。第2撮像部14から出力する撮像画像は、HMユニット10を装着した利用者の生体情報、および、視線や注視点に関する視線情報の生成元となる撮像画像である。
制御部15は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部15は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されるようにしてもよい。
制御部15は、HMユニット10の動作を制御する。制御部15は、通信部11を用いて無線LANを利用した測位を行い、利用者の位置情報を取得する。制御部15は、通信部11およびネットワークN1を介して、取得した位置情報を情報処理装置100に送信する。すなわち、制御部15は、セキュリティエリア(ルーム)内における利用者の位置を検出可能である。
制御部15は、第1撮像部13から入力された撮像画像を表示部12に表示するとともに、通信部11およびネットワークN1を介して、情報処理装置100に送信する。
制御部15は、第2撮像部14から入力された撮像画像に基づいて、利用者の虹彩を抽出して生体情報を生成する。制御部15は、通信部11およびネットワークN1を介して、生成した生体情報を情報処理装置100に送信する。つまり、第2撮像部14および制御部15は、生体認証装置の一例である。
制御部15は、ネットワークN1および通信部11を介して、情報処理装置100から利用者の操作の監視を指示されると、第2撮像部14から入力された撮像画像に基づいて、視線や注視点に関する視線情報を生成する。制御部15は、第1撮像部13から入力された撮像画像に基づいて、利用者が注視する画面等の情報を生成する。制御部15は、生成した視線情報と、利用者が注視する画面等の情報とを含む監視情報を生成する。制御部15は、通信部11およびネットワークN1を介して、生成した監視情報を情報処理装置100に送信する。
制御部15は、ネットワークN1および通信部11を介して、情報処理装置100から入室を許可する旨の認証情報を受信すると、位置情報および撮像画像の取得を開始する。また、制御部15は、入室を許可する旨の認証情報の受信後に、所定の間隔で生体情報を生成し、従前の生体情報と一致するか否かを判定する。すなわち、制御部15は、利用者について所定の間隔で認証を行う。制御部15は、従前の生体情報と一致しない場合、通信部11およびネットワークN1を介して、新たに生成した生体情報を情報処理装置100に送信する。制御部15は、ネットワークN1および通信部11を介して、情報処理装置100から警告情報を受信すると、例えば表示部12に警告画面を表示するとともに、図示しないスピーカから警告音を出力する。つまり、制御部15は、利用者がHMユニット10を外した場合に警告することができる。
また、制御部15は、ネットワークN1および通信部11を介して、情報処理装置100から初期表示情報を受信すると、初期表示の画像を表示部12に表示する。なお、初期表示の画像は、例えば、セキュリティルームに入室した際の位置において予め撮像された画像に対し、秘匿対象の情報を含むオブジェクトをマスキングした画像である。
制御部15は、ネットワークN1および通信部11を介して、情報処理装置100から第1マスク画像または第2マスク画像を受信すると、表示部12に受信した第1マスク画像または第2マスク画像を表示する。
言い換えると、HMユニット10は、利用者に装着して移動可能な装置である。また、HMユニット10は、カメラで撮像された画像を表示するディスプレイを備えたヘッドマウントユニットである。制御部15は、カメラで撮像された画像から文字が検出されると、検出された文字について秘匿化処理を施してディスプレイに表示する第1の制御を実行する。制御部15は、検出された文字のうち秘匿化対象の文字に制限して秘匿化処理を施してディスプレイに表示する第2の制御を実行する。また、第1の制御は、ヘッドマウントユニットに搭載されたセンサにより移動中であることが検知された場合に実行される。また、第2の制御は、ヘッドマウントユニットに搭載されたセンサにより非移動中であることの検知、所定の物の検知、所定の画面の検知、所定のフォームの検知、のいずれか、または、複数の組み合わせに応じて実行される。また、制御部15は、カメラで撮像された画像から所定の画面または所定のフォームが検知された場合に、所定の画面または所定のフォームに対応づけられた特定の箇所または文字について秘匿化処理を施した画像をディスプレイに表示させる。
続いて、データベース20の構成について説明する。データベース20は、内部の記憶部として、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。図3は、実施例のデータベースの構成の一例を示すブロック図である。図3に示すように、データベース20は、利用者情報DB21、作業管理DB22、入室時基本情報DB23、文字列情報DB24、居室内情報DB25、Web設計情報DB26、秘匿対象情報DB27および秘匿情報表示ルールDB28を有する。
利用者情報DB21は、利用者の氏名やセキュリティ権限を利用者IDに対応付けて記憶する。図4は、利用者情報DBの一例を示す図である。図4に示すように、利用者情報DB21は、「利用者ID」、「氏名(漢字)」、「氏名(かな)」、「所属会社」、「連絡先」、「所属先責任者」、「所属先責任者連絡先」、「セキュリティ権限」といった項目を有する。また、利用者情報DB21は、利用者ごとの生体情報、例えば虹彩の情報等を記憶する。
「利用者ID」は、利用者を識別する識別子である。「氏名(漢字)」および「氏名(かな)」は、利用者の氏名を、それぞれ漢字とかなで表す情報である。「所属会社」は、利用者が所属する会社名を示す情報である。「連絡先」は、利用者の連絡先を示す情報である。「所属先責任者」は、利用者が所属する会社の責任者を示す情報である。「所属先責任者連絡先」は、利用者が所属する会社の責任者の連絡先を示す情報である。「セキュリティ権限」は、セキュリティルーム内の情報に対して、利用者に設定されたセキュリティに関する権限を示す情報である。
図3の説明に戻って、作業管理DB22は、セキュリティルーム内において、誰がいつどの様な作業をするかを示す情報を記憶する。図5は、作業管理DBの一例を示す図である。図5に示すように、作業管理DB22は、「作業管理ID」、「依頼日」、「作業予定開始終了日時」、「実作業開始終了日時」、「利用者ID」、「アクセス予定画面帳票」、「アクセス予定DB」といった項目を有する。
「作業管理ID」は、セキュリティルーム内で実施される作業を識別する識別子である。「依頼日」は、当該作業が依頼された日を示す情報である。「作業予定開始終了日時」は、作業の予定開始日時または予定終了日時を示す情報である。「実作業開始終了日時」は、実際に行われた作業の開始日時または終了日時を示す情報である。「利用者ID」は、当該作業に従事する利用者を示す情報である。「アクセス予定画面帳票」は、当該作業でアクセス予定の顧客システムの画面や帳票を示す情報である。「アクセス予定DB」は、当該作業でアクセス予定の顧客システムのデータベースを示す情報である。
図3の説明に戻って、入室時基本情報DB23は、利用者がセキュリティルームに入室したゲート50の位置から撮像した撮像画像に、オブジェクトまたは媒体の位置を対応付けた画像を記憶する。図6は、入室時基本情報DBの一例を示す図である。図6に示すように、入室時基本情報DB23は、「ルームID」、「ルーム名」、「画像」、「取得日時」といった項目を有する。
「ルームID」は、セキュリティルームを識別する識別子である。「ルーム名」は、セキュリティルームの名称を示す情報である。「画像」は、利用者がセキュリティルームに入室したゲート50の位置から撮像した撮像画像に、オブジェクトまたは媒体の位置を対応付けた画像のファイル名を示す情報である。なお、画像自体は、入室時基本情報DB23の図示しない記憶領域に記憶される。また、「画像」は、適宜HMユニット10において撮像された撮像画像に基づいて更新される。「取得日時」は、画像を取得した日時を示す情報である。
図3の説明に戻って、文字列情報DB24は、媒体に表示された文字列を識別するための辞書情報を記憶する。文字列情報DB24は、例えば、文字ごとに字形や特徴点等のパターンを記憶し、撮像画像内の文字列を光学文字認識(OCR:Optical Character Recognition)によって認識するために用いる。なお、文字列情報DB24は、機械学習によって文字を学習させた学習モデルとしてもよい。
居室内情報DB25は、セキュリティルーム内の媒体の座標を記憶する。図7は、居室内情報DBの一例を示す図である。図7に示すように、居室内情報DB25は、「ルームID」、「コンテンツID」、「コンテンツ名」、「画像」、「取得日時」、「座標」、「秘匿レベル」といった項目を有する。
「ルームID」は、セキュリティルームを識別する識別子である。「コンテンツID」は、媒体を識別する識別子である。「コンテンツ名」は、媒体の名称を示す情報である。「画像」は、対応する媒体の撮像画像のファイル名を示す情報である。なお、画像自体は、居室内情報DB25の図示しない記憶領域に記憶される。「取得日時」は、画像を取得した日時を示す情報である。「座標」は、セキュリティルーム内の媒体の位置を示す情報である。「秘匿レベル」は、媒体に表示される情報の秘匿レベルを示す情報である。
図3の説明に戻って、Web設計情報DB26は、顧客システムにおけるWeb画面の表示項目等の設計情報を記憶する。図8は、Web設計情報DBの一例を示す図である。図8に示すように、Web設計情報DB26は、画面帳票構成情報26aと、画面帳票項目26bと、画面帳票情報26cと、画面帳票遷移情報26dとを有する。
画面帳票構成情報26aは、「画面帳票ID」、「項目ID」、「座標」、「フォント」といった項目を有する。「画面帳票ID」は、画面に表示される帳票を識別する識別子である。「項目ID」は、帳票内の各項目を識別する識別子である。「座標」は、画面内における項目の座標を示す情報である。「フォント」は、項目におけるフォントサイズを示す情報である。
画面帳票項目26bは、「画面帳票ID」、「項目ID」、「項目名」、「セキュリティレベル」、「設計情報」といった項目を有する。「画面帳票ID」は、画面に表示される帳票を識別する識別子である。「項目ID」は、帳票内の各項目を識別する識別子である。「項目名」は、項目の名称を示す情報である。「セキュリティレベル」は、項目ごとに設定されたセキュリティレベルを示す情報である。「セキュリティレベル」は、例えば、数値が大きいほどセキュリティレベルが高いことを示す。「設計情報」は、項目が入力可能なフィールドであるか、入力不可能なラベルであるかといった項目に関する設計事項を示す情報である。
画面帳票情報26cは、「画面帳票ID」、「画面名」、「項目量」といった項目を有する。「画面帳票ID」は、画面に表示される帳票を識別する識別子である。「画面名」は、画面に表示される帳票の名称を示す情報である。「項目量」は、当該画面における項目の数を示す情報である。
画面帳票遷移情報26dは、「親画面帳票ID」、「子画面帳票ID」といった項目を有する。「親画面帳票ID」と「子画面帳票ID」は、画面の親子関係を示す情報である。
図3の説明に戻って、秘匿対象情報DB27は、秘匿対象の項目や秘匿レベルを記憶する。図9は、秘匿対象情報DBの一例を示す図である。図9に示すように、秘匿対象情報DB27は、秘匿ルール27aと、秘匿グループルール27bとを有する。
秘匿ルール27aは、「秘匿管理ID」、「項目名」、「秘匿レベル」といった項目を有する。「秘匿管理ID」は、秘匿する項目を識別する識別子である。「項目名」は、秘匿する項目を示す情報である。「秘匿レベル」は、利用者のセキュリティ権限に応じて、当該項目を秘匿するか否かを制御するための情報である。
秘匿グループルール27bは、「グループID」、「秘匿管理ID」といった項目を有する。「グループID」は、秘匿管理IDをグループに分けて管理する際におけるグループを識別する識別子である。「秘匿管理ID」は、秘匿する項目を識別する識別子である。
図3の説明に戻って、秘匿情報表示ルールDB28は、媒体の秘匿対象の文字を置き換えるための表示ルールを記憶する。図10は、秘匿情報表示ルールDBの一例を示す図である。図10に示すように、秘匿情報表示ルールDB28は、「ルールID」、「変換対象」、「枝版」、「フォント」、「色」、「開始位置」、「文字数」、「置き換え値」といった項目を有する。
「ルールID」は、文字を置き換えるための表示ルールを識別する識別子である。「変換対象」は、文字を置き換える対象となる項目を示す情報である。「枝版」は、当該ルールの改版数を示す枝番の情報である。「フォント」は、置き換え値の文字のフォントを示す情報である。「色」は、置き換え値の文字の色を示す情報である。「開始位置」は、文字を置き換える対象となる項目において、何文字目から置き換えるかを示す情報である。「文字数」は、開始位置から何文字を置き換えるかを示す情報である。「置き換え値」は、置き換える文字を示す情報である。
次に、情報処理装置100の構成について説明する。図11は、実施例の情報処理装置の構成の一例を示すブロック図である。図11に示すように、情報処理装置100は、通信部110と、表示部111と、操作部112と、記憶部120と、制御部130とを有する。なお、情報処理装置100は、図11に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部110は、例えば、NIC(Network Interface Card)や無線LAN等の通信モジュール等によって実現される。通信部110は、ネットワークN1を介してHMユニット10と有線または無線で接続され、HMユニット10との間で情報の通信を司る通信インタフェースである。また、通信部110は、ネットワークN2を介してデータベース20およびビル管理システム30と接続され、データベース20およびビル管理システム30との間で情報の通信を司る通信インタフェースである。
通信部110は、HMユニット10から生体情報、位置情報、撮像画像および監視情報を受信する。通信部110は、受信した生体情報、位置情報、撮像画像および監視情報を制御部130に出力する。また、通信部110は、制御部130から入力された認証情報、初期表示情報、第1マスク画像、第2マスク画像および警告情報をHMユニット10に送信する。さらに、通信部110は、制御部130から入力されたデータベース20への要求をデータベース20に送信するとともに、要求に対応する情報をデータベース20から受信して制御部130に出力する。また、通信部110は、ビル管理システム30との間でセキュリティルームに関する認証情報を送受信する。
表示部111は、各種情報を表示するための表示デバイスである。表示部111は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部111は、制御部130から入力された表示画面等の各種画面を表示する。
操作部112は、情報処理装置100の管理者から各種操作を受け付ける入力デバイスである。操作部112は、例えば、入力デバイスとして、キーボードやマウス等によって実現される。操作部112は、管理者によって入力された操作を操作情報として制御部130に出力する。なお、操作部112は、入力デバイスとして、タッチパネル等によって実現されるようにしてもよく、表示部111の表示デバイスと、操作部112の入力デバイスとは、一体化されるようにしてもよい。
記憶部120は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部120は、ログ記憶部121を有する。また、記憶部120は、制御部130での処理に用いる情報を記憶する。
ログ記憶部121は、セキュリティルームに入室する利用者について、入室時から退室時までの閲覧情報や操作ログ等を記憶する。図12は、ログ記憶部の一例を示す図である。図12に示すように、ログ記憶部121は、認証・入室情報121aと、移動ログ121bと、閲覧情報121cと、操作ログ121dと、マスキング対象データ121eと、退出情報121fとを有する。
認証・入室情報121aは、「管理ID」、「利用者ID」、「認証日」、「認証時刻」、「入室情報(時刻)」、「入室ルーム」といった項目を有する。「管理ID」は、利用者が入室してから退室するまでの一連の動作に対して割り振られ、ログを管理するための識別子である。「利用者ID」は、ログの取得対象となる利用者を識別する識別子である。「認証日」は、セキュリティルームへの入室のためにビル管理システム30を介して認証システム40で認証された日を示す情報である。「認証時刻」は、認証日と同様に、認証システム40で認証された時刻を示す情報である。「入室情報(時刻)」は、認証後に利用者がゲート50を通過してセキュリティルームに入室した時刻を示す情報である。「入室ルーム」は、利用者が入室したセキュリティルームを示す情報である。「入室ルーム」は、例えばルームIDやセキュリティルームの名称等を用いることができる。なお、認証・入室情報121aは、認証がNGとなった場合でも、その旨を記憶するようにしてもよい。
移動ログ121bは、「管理ID」、「取得日」、「取得時刻」、「滞在場所」といった項目を有する。「管理ID」は、ログを管理するための識別子である。「取得日」は、利用者の位置情報を取得した日を示す情報である。「取得時刻」は、利用者の位置情報を取得した時刻を示す情報である。「滞在場所」は、利用者の位置情報である、セキュリティルーム内の座標を示す情報である。すなわち、移動ログ121bは、セキュリティルームに入室した利用者の所定時間ごとの位置を記憶する。
閲覧情報121cは、「管理ID」、「取得日」、「取得時刻」、「閲覧媒体ID」、「閲覧詳細」、「閲覧時間」、「視覚情報、閲覧情報」、「マスキングフラグ」といった項目を有する。「管理ID」は、ログを管理するための識別子である。「取得日」は、閲覧情報の取得日、つまり利用者が媒体を閲覧した日を示す情報である。「取得時刻」は、閲覧情報の取得時刻、つまり利用者が媒体を閲覧した時刻を示す情報である。「閲覧媒体ID」は、利用者が閲覧した媒体を識別する識別子である。「閲覧詳細」は、閲覧した顧客システムの端末の画面等におけるアプリケーションIDやログ名等を示す情報である。「閲覧時間」は、当該媒体を閲覧していた時間を示す情報である。「視覚情報、閲覧情報」は、具体的な視覚情報や文字化された閲覧情報を示す情報である。「マスキングフラグ」は、利用者に対して、当該媒体の情報をマスキングしたか否かを示す情報である。
操作ログ121dは、「管理ID」、「取得日」、「取得時刻」、「入力情報」といった項目を有する。「管理ID」は、ログを管理するための識別子である。「取得日」は、操作ログの取得日、つまり利用者が顧客システムの端末を操作した日を示す情報である。「取得時刻」は、操作ログの取得時刻、つまり利用者が顧客システムの端末を操作した時刻を示す情報である。「入力情報」は、利用者が顧客システムの端末に入力した操作コマンド等を示す情報である。
マスキング対象データ121eは、「管理ID」、「取得日」、「取得時刻」、「データ内容」といった項目を有する。「管理ID」は、ログを管理するための識別子である。「取得日」は、マスキングした情報について、当該マスキングを行った日を示す情報である。「取得時刻」は、マスキングした情報について、当該マスキングを行った時刻を示す情報である。「データ内容」は、秘匿対象の情報、つまりマスキングした情報を示す。
退出情報121fは、「管理ID」、「退室日」、「退室時刻」といった項目を有する。「管理ID」は、ログを管理するための識別子である。「退室日」は、利用者がセキュリティルームから退室した日を示す情報である。「退室時刻」は、利用者がセキュリティルームから退室した時刻を示す情報である。
すなわち、ログ記憶部121は、利用者情報(利用者ID)、認証結果、入室情報(時間)、移動ログ(特定間隔時間ごとの位置)、閲覧情報、入力情報(操作コマンド)、退室情報(時間)といった情報を記憶する。また、閲覧情報は、閲覧媒体ID(端末、ホワイトボード等)、情報詳細(アプリケーションID、ログ名)、時刻、閲覧時間、焦点ポイント情報(焦点が合った情報)、マスキング情報等である。
図11の説明に戻って、制御部130は、例えば、CPUやMPU等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASICやFPGA等の集積回路により実現されるようにしてもよい。制御部130は、取得部131と、認識部132と、判定部133と、加工部134と、表示制御部135と、警告部136と、ログ記録部137とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図11に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
取得部131は、ネットワークN1および通信部110を介して、HMユニット10から生体情報を取得する。取得部131は、取得した生体情報に基づいて、データベース20の利用者情報DB21および作業管理DB22を参照し、利用者を照合する。取得部131は、照合の結果、利用者が利用者情報DB21および作業管理DB22に登録されているか否かを判定する。取得部131は、登録されていないと判定した場合には、通信部110およびネットワークN1を介して、HMユニット10に未登録者として通知、つまり未登録者である旨の認証情報を送信する。また、取得部131は、通信部110およびネットワークN2を介して、ビル管理システム30に対して、入室が許可されていない人物である旨を通知する。
取得部131は、登録されていると判定した場合には、通信部110およびネットワークN1を介して、入室を許可する旨の認証情報をHMユニット10に送信する。取得部131は、入室を許可する旨の認証情報の送信後、ネットワークN1および通信部110を介して、HMユニット10から位置情報の受信を開始する。取得部131は、受信した位置情報に基づいて、利用者がセキュリティルーム内にいるか否かを判定する。取得部131は、利用者がセキュリティルーム内にいないと判定した場合には、引き続き、利用者がセキュリティルーム内にいるか否かの判定を行う。
取得部131は、利用者がセキュリティルーム内にいると判定した場合には、HMユニット10に対する表示制御処理を実行するように、認識部132に処理開始指示を出力する。つまり、表示制御処理を実行する場合とは、利用者がセキュリティルームの入口にいる状態で、HMユニット10がセキュリティルーム内の撮像画像を取得し、情報処理装置100が撮像画像内の媒体の文字列等を認識可能な位置であると判定した場合である。
言い換えると、取得部131は、検出した位置が、文字列および画像のうち1つ以上の情報を含むオブジェクトの情報を認識可能な位置である場合に、認識する処理、判定する処理および加工する処理を行うように制御する。
認識部132は、取得部131から処理開始指示が入力されると、データベース20の入室時基本情報DB23を参照し、初期表示用の初期値を取得する。認識部132は、取得した初期値に基づいて、初期表示情報を生成する。認識部132は、通信部110およびネットワークN1を介して、生成した初期表示情報をHMユニット10に送信する。
認識部132は、初期表示情報の送信後、ネットワークN1および通信部110を介して、HMユニット10から撮像画像の受信を開始する。認識部132は、受信した撮像画像からオブジェクトを検出する。認識部132は、データベース20の居室内情報DB25を参照し、検出したオブジェクトから文字列や画像等の情報を含むオブジェクトを媒体として特定する。また、認識部132は、居室内情報DB25を参照し、媒体に秘密情報が含まれ秘匿することが求められる秘匿領域があるか否かを判定する。なお、当該判定は、媒体が複数ある場合には、それぞれの媒体に対して行う。すなわち、認識部132は、初期表示を行っている間に、HMユニット10の第1撮像部13の望遠等の機能を利用してより詳細な情報を遠距離の時点で取得する。
認識部132は、撮像画像内の全ての媒体に秘匿領域がないと判定した場合には、順次受信する撮像画像を監視し、新しい媒体が現れた場合に、秘匿領域があるか否かの判定を行う。
認識部132は、媒体に秘匿領域があると判定した場合には、居室内情報DB25を参照し、秘匿領域がある媒体をマスキングする第1マスク画像を生成する。認識部132は、通信部110およびネットワークN1を介して、生成した第1マスク画像をHMユニット10に送信する。認識部132は、第1マスク画像の送信後、マスキング処理を実行する。なお、マスキング処理は、認識部132、判定部133および加工部134が連携して実行する。
認識部132は、マスキング処理として、まず、秘匿領域があると判定された媒体を1つ選択する。認識部132は、選択した媒体がPC(Personal Computer)画面か否かを判定する。認識部132は、PC画面であると判定した場合には、PC画面に表示されている内容がWeb画面であるか否かを判定する。認識部132は、Web画面であると判定した場合には、データベース20の文字列情報DB24を参照し、Web画面内の文字列等を認識する。なお、Web画面であるか否かの判定には、例えば画面内に表示されたアプリケーションIDや画面ID等の各種の識別情報、Web画面のレイアウト情報(座標情報)等を用いることができる。また、認識部132は、Web画面内のフォントの大きさを参照することで、撮像画像内のWeb画面の大きさによらずに、Web画面内の文字列等を認識する。なお、以下の説明において、文字列の認識を行う際には、文字列情報DB24の参照を行っている。認識部132は、データベース20のWeb設計情報DB26を参照し、認識した情報に基づいて、情報が一致する画面帳票IDがあるか否かを判定する。
認識部132は、情報が一致する画面帳票IDがないと判定した場合には、情報が類似する画面があるか否かを判定する。認識部132は、情報が類似する画面がないと判定した場合には、当該Web画面をWeb設計情報DB26の図示しない登録外画面情報の記憶領域に記憶するとともに、認識した情報を判定部133に出力する。
一方、認識部132は、情報が一致する画面帳票IDがあると判定した場合、または、情報が類似する画面があると判定した場合には、認識した情報を判定部133に出力する。また、認識部132は、選択した媒体がPC画面か否かの判定において、PC画面でないと判定した場合には、媒体の文字列等を認識する。認識部132は、認識した情報を判定部133に出力する。
また、認識部132は、Web画面であるか否かの判定において、Web画面でないと判定した場合には、コンソール画面内の文字列等の認識を開始する。認識部132は、認識を開始すると、通信部110およびネットワークN1を介して、HMユニット10に対して利用者の操作の監視を指示する。
認識部132は、利用者の操作の監視の指示後、ネットワークN1および通信部110を介して、監視情報の受信を開始する。認識部132は、監視情報に含まれる視線情報と、利用者が注視する画面等の情報とに基づいて、コンソール画面上の文字列について、利用者が入力しているか否かを判定する。認識部132は、利用者が入力していないと判定した場合には、認識中の文字列等の情報を判定部133に出力する。
認識部132は、利用者が入力していると判定した場合には、視線情報と、利用者が注視する画面等の情報とに基づいて、注視点を特定する。認識部132は、特定した注視点における認識中の文字列から入力コマンドを検出する。認識部132は、検出したコマンドを判定部133に出力する。
言い換えると、認識部132は、セキュリティエリア内の利用者の位置、および、該利用者の視界に対応する撮像画像に基づいて、該撮像画像内のオブジェクトのうち、文字列および画像のうち1つ以上の情報を含むオブジェクトについて情報を認識する。また、認識部132は、利用者の位置における視界内に存在する秘匿対象のオブジェクトの位置を特定する情報が記憶された居室内情報DB25を参照し、秘匿対象のオブジェクトの位置を特定する情報に基づいて、撮像画像内の秘匿対象のオブジェクトを認識する。また、認識部132は、セキュリティエリア内に設けられたシステムの端末に表示される画面の設計情報が記憶されたWeb設計情報DB26を参照し、画面の設計情報に基づいて、文字列および画像のうち1つ以上の情報を含むオブジェクトの情報を認識する。
判定部133は、認識部132から認識した情報が入力されると、データベース20の利用者情報DB21および秘匿対象情報DB27を参照し、秘匿対象の文字列等を特定する。また、判定部133は、認識部132から検出したコマンドが入力されると、利用者情報DB21および秘匿対象情報DB27を参照し、コマンドに対応してコンソール画面上に表示される情報が秘匿対象であるか否かを判定する。
判定部133は、コマンドに対応する情報が秘匿対象であると判定した場合、または、秘匿対象の文字列等を特定した場合には、居室内情報DB25を参照し、秘匿対象領域の座標を取得する。判定部133は、取得した秘匿対象領域の座標を加工部134に出力する。なお、判定部133は、利用者がコマンド入力を行った場合には、コンソール画面のコマンドの下側の行に表示される情報を秘匿対象領域と判定する。また、判定部133は、利用者がコンソール画面において顧客システムにより勝手に吐き出されるログを見ている場合には、設計情報等に基づいて、秘匿対象領域を判定する。
一方、判定部133は、コマンドに対応する情報が秘匿対象でないと判定した場合には、当該コンソール画面は秘匿対象領域ではない旨の判定情報を加工部134に出力する。
言い換えると、判定部133は、認識した情報が、利用者の属性に応じた秘匿対象情報を記憶した記憶部に記憶されている場合に、認識した情報に対応する撮像画像の領域を非表示にする領域と判定する。また、判定部133は、生体認証装置によって認証された利用者の権限に応じて判定を行う。また、判定部133は、非表示にしない領域内のオブジェクトを特定する。また、判定部133は、認識した秘匿対象のオブジェクトに対応する撮像画像内の領域を非表示にする領域と判定する。また、判定部133は、端末に表示される画面ごとに設定された秘匿対象情報に基づいて、該画面内の秘匿対象の項目を非表示にする領域と判定する。
加工部134は、判定部133から秘匿対象領域の座標が入力されると、データベース20の居室内情報DB25、Web設計情報DB26および秘匿情報表示ルールDB28を参照し、秘匿対象領域をマスキングする第2マスク画像を生成する。なお、加工部134は、秘匿対象の媒体が複数ある場合には、先に生成した第2マスク画像を更新する。また、加工部134は、判定部133から秘匿対象領域ではない旨の判定情報が入力されると、当該コンソール画面をマスクしない第2マスク画像を生成または更新する。
加工部134は、秘匿領域があると判定された媒体について、未処理の媒体があるか否かを判定する。加工部134は、未処理の媒体があると判定した場合には、秘匿領域があると判定された媒体のうち、次の媒体を1つ選択するように、認識部132に指示する。加工部134は、未処理の媒体がないと判定した場合には、生成した第2マスク画像を表示制御部135に出力し、マスキング処理を終了する。すなわち、加工部134は、撮像画像のうち、判定した非表示にする領域の情報を加工する。
表示制御部135は、加工部134から第2マスク画像が入力されると、通信部110およびネットワークN1を介して、入力された第2マスク画像をHMユニット10に送信する。すなわち、表示制御部135は、加工した非表示にする領域の情報を表示させる。また、表示制御部135は、HMユニット10の表示部12に、第1撮像部13で撮像された撮像画像を表示させるとともに、判定部133で判定された非表示にする領域が存在する場合、撮像画像に、加工した非表示にする領域の情報を重畳表示させる。
警告部136は、ネットワークN1および通信部110を介して、HMユニット10から認証情報の送信後に、新たな生体情報を受信すると、受信した生体情報に基づいて、利用者情報DB21および作業管理DB22を参照し、利用者を照合する。警告部136は、照合の結果、受信した生体情報に対応する利用者が利用者情報DB21および作業管理DB22に登録されていない場合、通信部110およびネットワークN1を介して、警告情報をHMユニット10に送信する。また、警告部136は、通信部110およびネットワークN2を介して、警告情報をビル管理システム30に送信する。すなわち、警告部136は、HMユニット10で認証が出来ない場合に、HMユニット10(表示装置)の利用者に警告を発する。つまり、警告部136は、利用者が対応付けられたHMユニット10を掛けていることを監視し、例えば、HMユニット10を外したり、他人とHMユニット10を交換したりした場合に警告を発する。
ログ記録部137は、HMユニット10を装着した利用者の認証開始からセキュリティルームを退室するまでの各種情報についてログを取得してログ記憶部121に記録する。ログ記録部137は、例えば、認証・入室情報、移動ログ、閲覧情報、操作ログ、マスキング対象データ、退出情報といった各種の情報をログとして記録する。
すなわち、ログ記録部137は、特定した非表示にしない領域内のオブジェクトのうち、利用者の視線情報に基づいて、利用者が視線を合わせたオブジェクトの情報を記録する。また、ログ記録部137は、セキュリティエリア内に設けられたシステムの端末に表示される画面を特定する情報が記憶されたWeb設計情報DB26を参照し、特定した非表示にしない領域内のオブジェクトのうち、画面を特定する情報を含むオブジェクトの情報を記録する。
ここで、図13から図18を用いて表示画面およびマスキング処理について説明する。図13は、初期表示の表示画面の一例を示す図である。図13に示す表示画面60は、利用者がセキュリティルームに入室した時点における表示画面である。表示画面60では、PC画面61、ホワイトボード62およびポスター63といった媒体は、全てマスキング処理がされている。
図14は、利用者の表示画面の一例を示す図である。図14に示す表示画面64は、ある閲覧権限を有する利用者Aに対する表示画面である。表示画面64では、PC画面61aと、ポスター65と、ホワイトボード66とは閲覧可能であるが、ホワイトボード62aと、ポスター63aと、PC画面67は閲覧禁止となりマスキングされている。
図15は、利用者の表示画面の他の一例を示す図である。図15に示す表示画面68は、利用者Aと異なる閲覧権限を有する利用者Bに対する表示画面である。表示画面68では、利用者Aが閲覧可能であったPC画面61aが、閲覧禁止であるPC画面61bとなっている。一方、表示画面68では、利用者Aが閲覧禁止であったホワイトボード62aと、ポスター63aと、PC画面67とが、閲覧可能であるホワイトボード62bと、ポスター63bと、PC画面67bとなっている。このように、情報処理装置100は、利用者や、表示画面に応じてマスキング対象を変更することができる。
図16は、コンソール画面の一例を示す図である。図16に示すコンソール画面69は、コマンド69aと、コマンド69aの入力に応じて出力される情報とを表示したものである。HMユニット10は、コンソール画面69を見ている利用者に対して、視線情報に基づく操作の監視を行い、監視情報を情報処理装置100に送信する。情報処理装置100は、監視情報に基づいて、入力コマンドの検出や、コマンドに対する情報が秘匿対象であるかを判定し、秘匿対象領域に対してマスキング処理を行う。
図17は、印刷物のマスキング処理の一例を示す図である。図17は、例えば机上に置かれた印刷物に対してマスキング処理を行う場合の一例である。図17の例では、机上に管理者手引き70と、印刷された帳票71とが置かれていたとする。帳票71には、画面帳票ID72が印刷されている。このとき、ある利用者について閲覧権限がない場合には、管理者手引き70に対して閲覧権限がない旨の表示73が重畳表示される。また、帳票71に対しては、画面帳票ID72に基づいて秘匿対象領域が特定され、文字単位でマスクが重畳表示された帳票74に示す様な表示となる。
図18は、端末の画面に対するマスキング処理の一例を示す図である。図18は、PC画面75に表示された帳票に対してマスキング処理を行う場合の一例である。図18の例では、PC画面75には、画面帳票ID76が表示されている。このとき、ある利用者について閲覧権限がない場合には、画面帳票ID76に基づいて秘匿対象領域が特定され、文字単位でマスクが重畳表示されたPC画面77に示す様な表示となる。
次に、実施例の情報制御システム1の動作について説明する。まず、図19を用いて利用者の認証処理について説明する。図19は、実施例の認証処理の一例を示すシーケンス図である。
HMユニット10の制御部15は、第2撮像部14から入力された撮像画像に基づいて、生体情報を取得する(ステップS1)。制御部15は、取得した生体情報を情報処理装置100に送信する。
情報処理装置100の取得部131は、HMユニット10から生体情報を取得する。取得部131は、取得した生体情報に基づいて、利用者情報DB21および作業管理DB22を参照し、利用者を照合する(ステップS2)。取得部131は、照合の結果、利用者が利用者情報DB21および作業管理DB22に登録されているか否かを判定する(ステップS3)。
取得部131は、登録されていないと判定した場合には(ステップS3:否定)、未登録者として通知する旨の認証情報をHMユニット10に送信する(ステップS4)。また、取得部131は、ビル管理システム30に対して、入室が許可されていない人物である旨を通知する。一方、取得部131は、登録されていると判定した場合には(ステップS3:肯定)、入室を許可する旨の認証情報をHMユニット10に送信する(ステップS5)。
HMユニット10の制御部15は、情報処理装置100から入室を許可する旨の認証情報を受信すると、位置情報および撮像画像の取得を開始する(ステップS6)。制御部15は、取得した位置情報を情報処理装置100に送信する。
情報処理装置100の取得部131は、入室を許可する旨の認証情報の送信後、HMユニット10から位置情報の受信を開始する。取得部131は、受信した位置情報に基づいて、利用者がセキュリティルーム内にいるか否かを判定する(ステップS7)。取得部131は、利用者がセキュリティルーム内にいないと判定した場合には(ステップS7:否定)、ステップS7の判定を繰り返す。
取得部131は、利用者がセキュリティルーム内にいると判定した場合には(ステップS7:肯定)、HMユニット10に対する表示制御処理を実行するように、認識部132に処理開始指示を出力する(ステップS8)。これにより、情報処理装置100は、利用者の認証を行って表示制御処理を実行できる。
続いて、図20を用いて表示制御処理について説明する。図20は、実施例の表示制御処理の一例を示すシーケンス図である。
情報処理装置100の認識部132は、取得部131から処理開始指示が入力されると、入室時基本情報DB23を参照し、初期表示用の初期値を取得する(ステップS11)。認識部132は、取得した初期値に基づいて、初期表示情報を生成する。認識部132は、生成した初期表示情報をHMユニット10に送信する。
HMユニット10の制御部15は、情報処理装置100から初期表示情報を受信すると、初期表示の画像を表示部12に表示する(ステップS12)。また、制御部15は、第1撮像部13から入力された撮像画像を表示部12に表示するとともに、情報処理装置100に対して撮像画像の送信を開始する(ステップS13)。なお、HMユニット10における撮像画像の表示部12への表示は、認証処理のステップS6の直後から開始してもよい。
情報処理装置100の認識部132は、初期表示情報の送信後、HMユニット10から撮像画像の受信を開始する。認識部132は、受信した撮像画像からオブジェクトを検出する(ステップS14)。認識部132は、居室内情報DB25を参照し、検出したオブジェクトから文字列や画像等の情報を含むオブジェクトを媒体として特定する(ステップS15)。また、認識部132は、居室内情報DB25を参照し、媒体に秘匿領域があるか否かを判定する(ステップS16)。
認識部132は、撮像画像内の全ての媒体に秘匿領域がないと判定した場合には(ステップS16:否定)、順次受信する撮像画像を監視し、新しい媒体が現れた場合に、ステップS16の判定を行う。
認識部132は、媒体に秘匿領域があると判定した場合には(ステップS16:肯定)、居室内情報DB25を参照し、秘匿領域がある媒体をマスキングする第1マスク画像を生成する。認識部132は、生成した第1マスク画像をHMユニット10に送信する(ステップS17)。
HMユニット10の制御部15は、情報処理装置100から第1マスク画像を受信すると、表示部12に受信した第1マスク画像を表示する(ステップS18)。
情報処理装置100の認識部132は、第1マスク画像の送信後、マスキング処理を実行する(ステップS19)。
ここで、図21および図22を用いてマスキング処理について説明する。図21および図22は、実施例のマスキング処理の一例を示すシーケンス図である。
認識部132は、秘匿領域があると判定された媒体を1つ選択する(ステップS101)。認識部132は、選択した媒体がPC画面か否かを判定する(ステップS102)。認識部132は、PC画面であると判定した場合には(ステップS102:肯定)、PC画面に表示されている内容がWeb画面であるか否かを判定する(ステップS103)。認識部132は、Web画面であると判定した場合には(ステップS103:肯定)、Web画面内の文字列等を認識する(ステップS104)。認識部132は、Web設計情報DB26を参照し、認識した情報に基づいて、情報が一致する画面帳票IDがあるか否かを判定する(ステップS105)。
認識部132は、情報が一致する画面帳票IDがないと判定した場合には(ステップS105:否定)、情報が類似する画面があるか否かを判定する(ステップS106)。認識部132は、情報が類似する画面がないと判定した場合には(ステップS106:否定)、当該Web画面を登録するとともに(ステップS107)、認識した情報を判定部133に出力し、ステップS118に進む。
一方、認識部132は、情報が一致する画面帳票IDがあると判定した場合(ステップS105:肯定)、または、情報が類似する画面があると判定した場合には(ステップS106:肯定)、認識した情報を判定部133に出力し、ステップS118に進む。
また、認識部132は、ステップS102において、PC画面でないと判定した場合には(ステップS102:否定)、媒体の文字列等を認識する(ステップS108)。認識部132は、認識した情報を判定部133に出力し、ステップS118に進む。
また、認識部132は、ステップS103において、Web画面でないと判定した場合には(ステップS103:否定)、コンソール画面内の文字列等の認識を開始する(ステップS109)。認識部132は、認識を開始すると、HMユニット10に対して利用者の操作の監視を指示する(ステップS110)。
HMユニット10の制御部15は、情報処理装置100から利用者の操作の監視を指示されると、第1撮像部13および第2撮像部14から入力された撮像画像に基づいて、視線情報と、利用者が注視する画面等の情報とを含む監視情報の生成を開始する。つまり、制御部15は、視線情報に基づく操作の監視を開始する(ステップS111)。制御部15は、生成した監視情報の情報処理装置100への送信を開始する(ステップS112)。
情報処理装置100の認識部132は、利用者の操作の監視の指示後、監視情報の受信を開始する(ステップS113)。認識部132は、コンソール画面上の文字列について、利用者が入力しているか否かを判定する(ステップS114)。認識部132は、利用者が入力していないと判定した場合には(ステップS114:否定)、認識中の文字列等の情報を判定部133に出力し、ステップS118に進む。
判定部133は、認識部132から認識した情報が入力されると、利用者情報DB21および秘匿対象情報DB27を参照し、秘匿対象の文字列等を特定し(ステップS118)、ステップS119に進む。
一方、認識部132は、ステップS114において、利用者が入力していると判定した場合には(ステップS114:肯定)、注視点を特定する(ステップS115)。認識部132は、特定した注視点における認識中の文字列から入力コマンドを検出する(ステップS116)。認識部132は、検出したコマンドを判定部133に出力する。
判定部133は、認識部132から検出したコマンドが入力されると、利用者情報DB21および秘匿対象情報DB27を参照し、コマンドに対応してコンソール画面上に表示される情報が秘匿対象であるか否かを判定する(ステップS117)。
判定部133は、コマンドに対応する情報が秘匿対象であると判定した場合(ステップS117:肯定)、または、秘匿対象の文字列等を特定した場合には(ステップS118)、居室内情報DB25を参照し、秘匿対象領域の座標を取得する(ステップS119)。判定部133は、取得した秘匿対象領域の座標を加工部134に出力する。
加工部134は、判定部133から秘匿対象領域の座標が入力されると、居室内情報DB25、Web設計情報DB26および秘匿情報表示ルールDB28を参照し、秘匿対象領域をマスキングする第2マスク画像を生成または更新する(ステップS120)。
一方、判定部133は、コマンドに対応する情報が秘匿対象でないと判定した場合には(ステップS117:否定)、当該コンソール画面は秘匿対象領域ではない旨の判定情報を加工部134に出力する。加工部134は、判定部133から秘匿対象領域ではない旨の判定情報が入力されると、当該コンソール画面をマスクしない第2マスク画像を生成または更新し、ステップS121に進む。
加工部134は、第2マスク画像の生成または更新に続いて、秘匿領域があると判定された媒体について、未処理の媒体があるか否かを判定する(ステップS121)。加工部134は、未処理の媒体があると判定した場合には(ステップS121:肯定)、ステップS101に戻る。加工部134は、未処理の媒体がないと判定した場合には(ステップS121:否定)、生成した第2マスク画像を表示制御部135に出力し、マスキング処理を終了する。これにより、情報処理装置100は、HMユニット10に秘密情報をマスキングするための第2マスク画像を表示させることができる。
図20の説明に戻って、表示制御部135は、加工部134から第2マスク画像が入力されると、入力された第2マスク画像をHMユニット10に送信する(ステップS20)。
HMユニット10の制御部15は、情報処理装置100から第2マスク画像を受信すると、表示部12に受信した第2マスク画像を表示する(ステップS21)。これにより、情報処理装置100は、HMユニット10の利用者ごとに閲覧可能な情報を制御できるので、セキュリティレベルの異なる利用者間の情報連携が迅速にできる。
このように、情報処理装置100は、セキュリティエリア内の利用者の位置、および、該利用者の視界に対応する撮像画像に基づいて、該撮像画像内のオブジェクトのうち、文字列および画像のうち1つ以上の情報を含むオブジェクトについて情報を認識する。また、情報処理装置100は、認識した情報が、利用者の属性に応じた秘匿対象情報を記憶した記憶部に記憶されている場合に、認識した情報に対応する撮像画像の領域を非表示にする領域と判定する。また、情報処理装置100は、撮像画像のうち、判定した非表示にする領域の情報を加工する。また、情報処理装置100は、加工した非表示にする領域の情報を表示させる。その結果、情報処理装置100は、利用者ごとに閲覧可能な情報を制御できるので、セキュリティレベルの異なる利用者間の情報連携が迅速にできる。
また、非表示にする領域の情報を表示させる表示装置(HMユニット10)は、撮像部(第1撮像部13)と表示部12とを有する。また、情報処理装置100は、表示部12に、第1撮像部13で撮像された撮像画像を表示させるとともに、判定する処理で判定された非表示にする領域が存在する場合、撮像画像に、加工した非表示にする領域の情報を重畳表示させる。その結果、情報処理装置100は、HMユニット10の利用者が閲覧権限を有しない情報をマスキングすることができる。
また、表示装置(HMユニット10)は、利用者に装着して移動可能な装置であるとともに、セキュリティエリア内における利用者の位置を検出可能である。表示部12の表示は、利用者の視野を遮蔽する。また、情報処理装置100は、検出した位置が、文字列および画像のうち1つ以上の情報を含むオブジェクトの情報を認識可能な位置である場合に、認識する処理、判定する処理および加工する処理を行うように制御する。その結果、情報処理装置100は、セキュリティエリア内を移動する利用者の視界に応じて閲覧可能な情報を制御できる。
また、表示装置(HMユニット10)は、生体認証装置(第2撮像部14,制御部15)を有する。また、情報処理装置100は、生体認証装置によって認証された利用者の権限に応じて判定を行う。その結果、情報処理装置100は、利用者の閲覧権限に応じて閲覧可能な情報を制御できる。
また、生体認証装置は、所定の間隔で認証を行う。また、情報処理装置100は、認証が出来ない場合に、表示装置(HMユニット10)の利用者に警告を発する。その結果、情報処理装置100は、利用者がHMユニット10を外した場合に警告することができる。
また、情報処理装置100は、非表示にしない領域内のオブジェクトを特定する。また、情報処理装置100は、特定した非表示にしない領域内のオブジェクトのうち、利用者の視線情報に基づいて、利用者が視線を合わせたオブジェクトの情報を記録する。その結果、情報処理装置100は、利用者がどの様な情報を閲覧したかを記録することができる。
また、情報処理装置100は、セキュリティエリア内に設けられたシステムの端末に表示される画面を特定する情報が記憶された記憶部を参照し、特定した非表示にしない領域内のオブジェクトのうち、画面を特定する情報を含むオブジェクトの情報を記録する。その結果、情報処理装置100は、利用者のコンソール画面での操作を記録することができる。
また、情報処理装置100は、利用者の位置における視界内に存在する秘匿対象のオブジェクトの位置を特定する情報が記憶された記憶部を参照し、秘匿対象のオブジェクトの位置を特定する情報に基づいて、撮像画像内の秘匿対象のオブジェクトを認識する。また、情報処理装置100は、認識した秘匿対象のオブジェクトに対応する撮像画像内の領域を非表示にする領域と判定する。その結果、情報処理装置100は、秘密情報が表示される可能性のある媒体を秘匿することができる。
また、情報処理装置100は、セキュリティエリア内に設けられたシステムの端末に表示される画面の設計情報が記憶された記憶部を参照し、画面の設計情報に基づいて、文字列および画像のうち1つ以上の情報を含むオブジェクトの情報を認識する。また、情報処理装置100は、端末に表示される画面ごとに設定された秘匿対象情報に基づいて、該画面内の秘匿対象の項目を非表示にする領域と判定する。その結果、情報処理装置100は、コンソール画面に表示された秘密情報を文字単位で秘匿することができる。
HMユニット10(ヘッドマウントユニット)は、カメラ(第1撮像部13)で撮像された画像を表示するディスプレイ(表示部12)を備える。HMユニット10は、周囲の視界を妨げる遮蔽部材を備える。また、HMユニット10は、カメラで撮像された画像から文字が検出されると、検出された文字について秘匿化処理を施してディスプレイに表示する第1の制御を実行可能である。また、HMユニット10は、検出された文字のうち秘匿化対象の文字に制限して秘匿化処理を施してディスプレイに表示する第2の制御を実行可能である。その結果、HMユニット10は、利用者が閲覧権限を有しない情報をマスキングすることができる。
また、第1の制御は、HMユニット10に搭載されたセンサにより移動中であることが検知された場合に実行させる。その結果、HMユニット10は、新たに視界に入ってきた文字を迅速にマスキングできる。
また、第2の制御は、HMユニット10に搭載されたセンサにより非移動中であることの検知、所定の物の検知、所定の画面の検知、所定のフォームの検知、のいずれか、または、複数の組み合わせに応じて、実行される。その結果、HMユニット10は、利用者が移動していない場合に、より細かく閲覧を制御することができる。
HMユニット10(ヘッドマウントユニット)は、カメラ(第1撮像部13)で撮像された画像を表示するディスプレイ(表示部12)を備える。HMユニット10は、周囲の視界を妨げる遮蔽部材を備える。また、HMユニット10は、カメラで撮像された画像から所定の画面または所定のフォームが検知された場合に、所定の画面または所定のフォームに対応づけられた特定の箇所または文字について秘匿化処理を施した画像をディスプレイに表示させる。その結果、HMユニット10は、コンソール画面に表示された秘密情報を所定の画面または所定のフォームに応じて秘匿することができる。
なお、上記実施例では、利用者がHMユニット10を外しているか否かの判定に、第2撮像部14を用いた虹彩認証を用いたが、これに限定されない。例えば、利用者の視線情報を用いてもよいし、サーモパイル等を用いて利用者の体温を検知するようにしてもよい。
また、上記実施例では、HMユニット10に初期表示する画像を情報処理装置100から送信したが、これに限定されない。例えば、予め初期表示する画像をHMユニット10に記憶させておき、セキュリティルームに入室した時点で初期表示する画像を表示させるようにしてもよい。また、初期表示させる画像は、HMユニット10が撮像する画像に基づいて、随時更新するようにしてもよい。これにより、レイアウト変更等が行われても、対応して閲覧制限を行うことができる。
また、上記実施例では、データベース20に、利用者やセキュリティルームの情報、入退室管理や秘匿対象に関する情報等の各種の情報を記憶したが、これに限定されない。例えば、情報処理装置100の記憶部120にこれらの各種データベースを記憶するようにしてもよい。また、情報処理装置100に設けたログ記憶部121をデータベース20に設けてもよい。
また、上記実施例では、セキュリティルーム内における閲覧権限の制御について説明したが、これに限定されない。例えば、スマートフォン等に適用することで、子供を対象としたペアレンタルコントロールについて、より柔軟に閲覧権限を制御することができる。
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、情報処理装置100の認識部132と判定部133と加工部134とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものでなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
さらに、各装置で行われる各種処理機能は、CPU(またはMPU、MCU(Micro Controller Unit)等のマイクロ・コンピュータ)上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、CPU(またはMPU、MCU等のマイクロ・コンピュータ)で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
ところで、上記の各実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図23は、表示制御プログラムを実行するコンピュータの一例を示す図である。
図23に示すように、コンピュータ200は、各種演算処理を実行するCPU201と、データ入力を受け付ける入力装置202と、モニタ203とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読み取る媒体読取装置204と、各種装置と接続するためのインタフェース装置205と、他の情報処理装置等と有線または無線により接続するための通信装置206とを有する。また、コンピュータ200は、各種情報を一時記憶するRAM207と、ハードディスク装置208とを有する。また、各装置201~208は、バス209に接続される。
ハードディスク装置208には、図11に示した取得部131、認識部132、判定部133、加工部134、表示制御部135、警告部136およびログ記録部137の各処理部と同様の機能を有する表示制御プログラムが記憶される。また、ハードディスク装置208には、ログ記憶部121、および、表示制御プログラムを実現するための各種データが記憶される。入力装置202は、例えば、コンピュータ200の管理者から操作情報等の各種情報の入力を受け付ける。モニタ203は、例えば、コンピュータ200の管理者に対して表示画面等の各種画面を表示する。インタフェース装置205は、例えば印刷装置等が接続される。通信装置206は、例えば、図11に示した通信部110と同様の機能を有しネットワークN1,N2と接続され、HMユニット10、データベース20、ビル管理システム30、および、他の情報処理装置と各種情報をやりとりする。
CPU201は、ハードディスク装置208に記憶された各プログラムを読み出して、RAM207に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ200を図11に示した取得部131、認識部132、判定部133、加工部134、表示制御部135、警告部136およびログ記録部137として機能させることができる。
なお、上記の表示制御プログラムは、必ずしもハードディスク装置208に記憶されている必要はない。例えば、コンピュータ200が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ200が読み出して実行するようにしてもよい。コンピュータ200が読み取り可能な記憶媒体は、例えば、CD-ROMやDVD(Digital Versatile Disc)、USB(Universal Serial Bus)メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、LAN等に接続された装置にこの表示制御プログラムを記憶させておき、コンピュータ200がこれらから表示制御プログラムを読み出して実行するようにしてもよい。