JP7013757B2 - 情報処理装置、情報処理システム及びプログラム - Google Patents

情報処理装置、情報処理システム及びプログラム Download PDF

Info

Publication number
JP7013757B2
JP7013757B2 JP2017180371A JP2017180371A JP7013757B2 JP 7013757 B2 JP7013757 B2 JP 7013757B2 JP 2017180371 A JP2017180371 A JP 2017180371A JP 2017180371 A JP2017180371 A JP 2017180371A JP 7013757 B2 JP7013757 B2 JP 7013757B2
Authority
JP
Japan
Prior art keywords
information
image
containment
display
cabinet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017180371A
Other languages
English (en)
Other versions
JP2019057059A (ja
Inventor
忠秋 佐藤
誓哉 稲木
一成 橋本
英剛 出雲
佑介 山浦
大輔 安岡
哲平 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2017180371A priority Critical patent/JP7013757B2/ja
Priority to US15/913,123 priority patent/US11010973B2/en
Priority to CN201810418456.8A priority patent/CN109521835B/zh
Publication of JP2019057059A publication Critical patent/JP2019057059A/ja
Priority to US17/232,501 priority patent/US11763529B2/en
Application granted granted Critical
Publication of JP7013757B2 publication Critical patent/JP7013757B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。
近年、電子文書と紙文書を対応づけて管理する文書管理装置が提案されている（例えば、特許文献１参照。）。
特許文献１に記載された文書管理装置は、電子文書及び紙文書を管理する文書管理装置であって、紙文書の管理場所（キャビネット）を記憶する文書情報記憶部と、紙文書に対応する電子文書を記憶する電子文書記憶部と、紙文書を文書情報記憶部に登録するとともに、電子文書を電子文書記憶部に登録し、かつ、紙文書及び電子文書を検索する文書登録管理部とを有する。
特開２００４－２２７４６２号公報
本発明の課題は、収容手段に収容された収容物に関する情報を収容手段の近傍に仮想的に表示する情報処理装置、情報処理システム及びプログラムを提供することにある。
［１］現実空間に仮想空間の画像が重なるように表示するとともに撮影機能を有する表示装置により、収容物を収容する収容手段を撮影して得られた画像から前記収容手段の位置情報を取得する取得手段と、
前記位置情報に関係付けられて記憶された前記収容物に関する情報を前記仮想空間の画像として前記収容手段の近傍に表示するよう前記表示装置に指示する指示手段と、を備え、
前記収容手段と前記収容物とは関係付けられており、前記収容物に関する情報は、前記収容物が前記収容手段から取り出されている場合には、当該収容物が取り出されていることを示す情報を含む、情報処理装置。
［２］前記取得手段は、前記表示装置と前記収容手段との間の距離を取得し、
前記指示手段は、前記収容物に関する情報を、前記距離が長い方を短い方よりも文字サイズを大きいサイズに変更して表示するよう指示する、前記［１］に記載の情報処理装置。
［３］前記指示手段は、前記表示装置からの指示に基づいて、前記収容物に関する情報を変更するよう指示する、前記［１］又は［２］に記載の情報処理装置。
［４］前記指示手段は、前記表示装置からの指示に基づいて、選択された情報の属性情報を表示するよう指示する、前記［３］に記載の情報処理装置。
［５］前記属性情報は、前記表示装置の使用者に与えられたアクセス権によって表示が制限される、前記［４］に記載の情報処理装置。
［６］前記収容物に関する情報は、前記表示装置の使用者に与えられたアクセス権に応じた内容である、前記［１］から［５］のいずれかに記載の情報処理装置。
［７］前記収容物に関する情報は、予め定められた時間に応じて変更される、前記［１］から［６］のいずれかに記載の情報処理装置。
［８］前記収容物は、書類を綴じるファイルであり、
前記収容物に関する情報は、ファイルの背部に表示するファイル名である、前記［１］から［７］のいずれかに記載の情報処理装置。
［９］前記ファイル名の表示幅は、実物のファイルの背幅に対応した大きさを有し、前記ファイル名の文字を表示幅に応じた大きさで表示される、前記［８］に記載の情報処理装置。
［１０］前記ファイルの色は、前記実物のファイルが前記収容手段から取り出された回数に応じて変更される、前記［９］に記載の情報処理装置。
［１１］前記ファイルは、前記実物のファイルが前記収容手段から取り出されていることを示す色で表示される、前記［９］又は［１０］に記載の情報処理装置。
［１２］前記収容手段は、扉と、前記使用者が当該収容手段へのアクセス権が有している場合に、前記扉を開錠する施錠制御手段とを備えたものである、前記［５］又は［６］に記載の情報処理装置。
［１３］前記指示手段は、前記表示装置から前記収容手段を撮影した画像とともに前記表示装置からログインの要求があった場合に、前記収容物に関する情報を前記仮想空間の画像として表示するよう指示し、予め定められた時間指示がなかった場合、又はログオフの要求があった場合に、前記収容物に関する情報を前記仮想空間の画像として表示するのを終了するよう指示する、前記［１］から［１２］のいずれかに記載の情報処理装置。
［１４］現実空間に仮想空間の画像が重なるように表示するとともに撮影機能を有する表示装置と、
前記表示装置により収容物を収容する収容手段を撮影して得られた画像から前記収容手段の位置情報を取得する取得手段と、
前記位置情報に関係付けられて記憶された前記収容物に関する情報を前記仮想空間の画像として前記収容手段の近傍に表示するよう前記表示装置に指示する指示手段と、を備え、
前記収容手段と前記収容物とは関係付けられており、前記収容物に関する情報は、前記収容物が前記収容手段から取り出されている場合には、当該収容物が取り出されていることを示す情報を含む、情報処理システム。
［１５］コンピュータを、現実空間に仮想空間の画像が重なるように表示するとともに撮影機能を有する表示装置により、収容物を収容する収容手段を撮影して得られた画像から前記収容手段の位置情報を取得する取得手段と、
前記位置情報に関係付けられて記憶された前記収容物に関する情報を前記仮想空間の画像として前記収容手段の近傍に表示するよう前記表示装置に指示する指示手段、として機能させるためのプログラムであって、
前記収容手段と前記収容物とは関係付けられており、前記収容物に関する情報は、前記収容物が前記収容手段から取り出されている場合には、当該収容物が取り出されていることを示す情報を含む、プログラム。
請求項１、１４、１５に係る発明によれば、収容手段に収容された収容物に関する情報を収容手段の近傍に仮想的に表示することができ、収容物が重要なものの場合、使用者に注意を促すことができる。
請求項２に係る発明によれば、収容物に関する情報を収容手段までの距離に応じた大きさで表示することができる。
請求項３、４に係る発明によれば、収容手段から離れた位置で収容物に関する情報を変更させることができる。
請求項５、６に係る発明によれば、アクセス権の有無に応じて表示内容を制限することができる。
請求項７に係る発明によれば、予め定められた時間以外の場合に表示内容を制限することができる。
請求項８、９に係る発明によれば、実物のファイルに近い状況で仮想画像を表示することができる。
請求項１０、１１に係る発明によれば、実物のファイルの収容状況を視覚的に認識することができる。
請求項１２に係る発明によれば、管理者の開錠の手間を省くことができる。
請求項１３に係る発明によれば、表示装置の使用者からの意志に基づいて仮想画像の表示又は仮想画像の表示を終了することができる。
図１は、本発明の第１の実施の形態に係る情報処理システムの構成例を示す図である。 図２は、ヘッドマウントディスプレイ装置の一例を示す外観図である。 図３は、ＨＭＤ装置の制御系の一例を示す図である。 図４は、情報処理装置の制御系の一例を示すブロック図である。 図５は、ユーザ属性テーブルの一例を示す図である。 図６は、キャビネットテーブルの一例を示す図である。 図７は、キャビネット説明情報の階層構造の一例を示す図である。 図８は、仮想画像の表示例を示す図である。 図９は、仮想画像の表示例を示す図である。 図１０は、仮想画像の表示例を示す図である。 図１１は、第１の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。 図１２は、他の仮想画像の表示例を示す図である。 図１３は、本発明の第２の実施の形態に係る情報処理装置の制御系の一例を示すブロック図である。 図１４は、仮想画像の表示例を示す図である。 図１５は、他の仮想画像の表示例を示す図である。 図１６は、ユーザ属性テーブルの変形例を示す図である。
以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。
［実施の形態の要約］
本実施の形態に係る情報処理装置は、現実空間に仮想空間の画像が重なるように表示するとともに撮影機能を有する表示装置により、収容物を収容する収容手段を撮影して得られた画像から前記収容手段の位置情報を取得する取得手段と、前記位置情報に関係付けられた前記収容物に関する情報を前記仮想空間の画像として前記収容手段の近傍に表示するよう前記表示装置に指示する指示手段とを備える。
「表示装置」には、使用者の頭部に装着され、使用者が公開情報を仮想空間の画像として視認すると同時に現実空間（外景）も直接視認可能な光透過方式の頭部装着型表示装置、外景を撮影した画像に公開情報を仮想空間の画像として重ねて表示する携帯型情報端末等が含まれる。光透過方式の頭部装着型表示装置は、ゴーグル型でもメガネ型でもよい。携帯型情報端末は、頭部装着型でもよい。
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る情報処理システムの構成例を示す図である。
この情報処理システム１は、ヘッドマウントディスプレイ装置（以下「ＨＭＤ装置」という。）２と、ＨＭＤ装置２を制御する情報処理装置３とを備える。ＨＭＤ装置２と情報処理装置３とは、互いに無線によって通信可能に接続されている。図１では、ＨＭＤ装置２を１つ図示しているが、複数でもよい。ＨＭＤ装置２は、表示装置の一例である。
このような情報処理システム１は、例えば、オフィス、公共施設等の場所で用いられ得る。図１は、オフィスに複数のキャビネット４Ａ、４Ｂ（これらを総称するときは「キャビネット４」ともいう。）が配置され、ＨＭＤ装置２を装着した者がキャビネット４の方向を見ている状態を示す。図１では、キャビネット４を２つ図示しているが、１つでも３つ以上でもよい。キャビネット４は、収容手段の一例である。
ＨＭＤ装置２は、現実空間（外景）に仮想空間の画像（以下「仮想画像」ともいう。）が重なるように表示するもの、すなわち仮想画像を仮想的に表示するものである。具体的には、ＨＭＤ装置２は、使用者の頭部に装着されるものであり、使用者が仮想画像を視認すると同時に外景も直接視認可能な光透過方式の頭部装着型表示装置である。
情報処理装置３は、キャビネット４に収容されたファイル５（図４参照）をキャビネット４ごとに管理し、ファイル５に関する情報をＨＭＤ装置２の使用者に提供する。
キャビネット４は、本実施の形態では、施錠ができる扉を備えているが、扉を備えていないキャビネットでもよい。複数のキャビネット４のうち、例えば、重要な物が収容されているキャビネット４については、管理者によって予め定められた時刻（例えば、午前８時）に解錠され、予め定められた時刻（例えば、午後６時）に施錠されてもよい。なお、全てのキャビネット４を管理者によって解錠及び施錠してもよく、解錠及び施錠しなくてもよい。
ファイル５は、書類を綴じたものであり、ファイル５は、収容物の一例である。なお、収容手段に収容する収容物は、ファイル５に限られず、社内、部署又はグループ等で共通して使用するカメラ、パーソナルコンピュータ、携帯端末等の備品でもよい。
図２は、ＨＭＤ装置２の一例を示す外観図である。ＨＭＤ装置２は、表示部２２と、外向きカメラ２３Ａとを備える。表示部２２は、耳に装着されるフレーム２２０と、右側透過型ディスプレイ２２１ａ及び左側透過型ディスプレイ２２１ｂ（これらを総称するときは「透過型ディスプレイ２２１」ともいう。）とを備える。
透過型ディスプレイ２２１は、例えば、透過型液晶ディスプレイ、透過型有機ＥＬディスプレイ、透過型無機ＥＬディスプレイ等を用いることができる。右側透過型ディスプレイ２２１ａは、右眼用の表示画像を表示し、左側透過型ディスプレイ２２１ｂは、左眼用の表示画像を表示する。右眼用の表示画像及び左眼用の表示画像は、外景に重なって仮想画像として当該ＨＭＤ装置２の使用者に視認される。
（ＨＭＤ装置の構成）
図２は、ＨＭＤ装置２の制御系の一例を示す図である。ＨＭＤ装置２は、ＨＭＤ装置２の各部を制御する制御部２０と、各種の情報を記憶する記憶部２１と、上記の表示部２２と、上記の外向きカメラ２３Ａと、内向きカメラ２３Ｂと、センサ部２４と、音声入力部２５と、位置検出部２６と、処理部２７と、無線通信部２８とを備える。
制御部２０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、記憶部２１に記憶されたプログラム２１０に従って動作することにより送信手段２００、受信手段２０１、表示制御手段２０２等として機能する。各手段２００～２０２の詳細は後述する。
記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラム、データ等が記憶されている。
外向きカメラ２３Ａは、外景や当該ＨＭＤ装置２の使用者の手等を撮影し、撮影した画像を制御部２０に送る。内向きカメラ２３Ｂは、当該ＨＭＤ装置２の使用者の眼を撮影し、撮影した画像を制御部２０に送る。外向きカメラ２３Ａ及び内向きカメラ２３Ｂが撮影する画像は、静止画でも動画でもよい。使用者の手等を撮影してジェスチャーを検出する場合や視線を検出する場合は、動画又は１秒間に複数枚撮影する連続的な静止画が好ましい。
センサ部２４は、距離画像センサと、加速度センサと、ジャイロセンサとを備える。距離画像センサは、例えば、赤外線距離センサ、レーザ距離センサ、超音波距離センサ等を用いることができる。距離画像センサは、赤外線、レーザ又は超音波等を照射し、その反射の時間差から画素ごとに距離を読み取って距離画像を得る。加速度センサは、ＨＭＤ装置２に加わる加速度を検出する。ジャイロセンサは、ＨＭＤ装置２に加わる角速度を検出する。
音声入力部２５は、マイクロフォンで構成され、当該ＨＭＤ装置２の使用者が発声した音声を電気信号である音声信号に変換して入力する。
処理部２７は、外向きカメラ２３Ａ、内向きカメラ２３Ｂ、センサ部２４及び音声入力部２５により入力された情報を処理するものであり、ジェスチャー検出部２７０と、視線検出部２７１と、音声認識部２７２と備える。
ジェスチャー検出部２７０は、当該ＨＭＤ装置２の使用者の動きを示すジェスチャーを検出する。具体的には、ジェスチャー検出部２７０は、センサ部２４の距離画像センサが検出した距離画像から、使用者の手の動き（例えば、２本指によるピンチ動作等）により予め定められた手のジェスチャーを検出する。また、ジェスチャー検出部２７０は、センサ部２４の加速度センサが検出したＨＭＤ装置２の加速度と、ジャイロセンサが検出したＨＭＤ装置２の角速度とに基づいて、使用者の頭部の動き（例えば、左右に振る等）により予め定められた頭部のジェスチャーを検出する。ジェスチャー検出部２７０は、検出したジェスチャーに対応するコマンドを制御部２０に送信する。
視線検出部２７１は、内向きカメラ２３Ｂが使用者の眼を撮影した画像から使用者の視線方向を検出し、検出した視線方向や視線方向に対応するコマンドを制御部２０に送信する。視線検出技術としては、例えば、内向きカメラ２３Ｂに可視光カメラを用いて、目頭の位置に対する虹彩の位置に基づいて視線を検出してもよく、内向きカメラ２３Ｂに赤外線カメラと赤外線ＬＥＤを用いて、角膜反射の位置に対する瞳孔の位置に基づいて視線方向を検出してもよい。なお、ジェスチャーの代わりに視線方向を用いてもよい。
音声認識部２７２は、音声入力部２５が入力した音声信号をデジタルの音声データに変換し、音声データを制御部２０に送信する。
無線通信部２８は、例えば、Ｗｉ－Ｆｉ（Wireless Fidelity）、Ｗｉ－Ｆｉダイレクト等の無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等の近距離無線通信を用いて情報処理装置３と通信する。なお、無線通信部２８は、ＨＭＤ装置２同士で通信してもよい。
位置検出部２６は、自装置２の位置を示す位置情報をＧＰＳ（Global Positioning System）等を用いて定期的に検出し、検出した位置情報を制御部２０に送信する。なお、自装置２の位置をビーコン信号を用いて検出してもよい。すなわち、位置検出部２６は、ビーコン発信機を識別するビーコンＩＤを含むビーコン信号を検出し、ビーコンＩＤ及びビーコン信号の強度情報を情報処理装置３に送信する。情報処理装置３は、ビーコンＩＤに対応するビーコン発信機の位置の情報及びビーコン信号の強度からＨＭＤ装置２の位置情報を取得する。
次に、ＨＭＤ装置２の各手段２００～２０２について説明する。
送信手段２００は、外向きカメラ２３Ａにより撮影された画像、処理部２７による処理結果（例えば、ジェスチャー検出部２７０が検出したジェスチャーに対応するコマンド、視線検出部２７１が検出した視線方向や視線方向に対応するコマンド、又は音声認識部２７２により認識された音声データ）、又は位置検出部２６が検出した位置情報を、当該ＨＭＤ装置２の使用者を識別するユーザＩＤとともに無線通信部２８により情報処理装置３に送信する。
受信手段２０１は、情報処理装置３の送信手段３０４から送信された表示画像、及び表示画像を仮想画像として視認させるべき位置を示す位置情報を受信する。
表示制御手段２０２は、受信手段２０１が受信した表示画像及び位置情報に基づいて表示部２２を制御する。すなわち、表示制御手段２０２は、受信手段２０１が受信した表示画像及び位置情報に基づいて右眼用の表示画像及び左眼用の表示画像を生成し、右眼用の表示画像を右側透過型ディスプレイ２２１ａに表示し、左眼用の表示画像を左側透過型ディスプレイ２２１ｂに表示して位置情報に対応する位置に仮想画像が当該ＨＭＤ装置２の使用者に視認されるよう制御する。
（情報処理装置の構成）
図４は、情報処理装置３の制御系の一例を示すブロック図である。情報処理装置３は、情報処理装置３の各部を制御する制御部３０と、各種の情報を記憶する記憶部３１と、各ＨＭＤ装置２と無線通信を行う無線通信部３２と、タグインターフェース３３とを備える。
制御部３０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、プログラム３１０に従って動作することにより受信手段３０１、取得手段３０２、表示画像生成手段３０３、送信手段３０４、管理手段３０５等として機能する。表示画像生成手段３０３及び送信手段３０４は、指示手段の一例である。各手段３０１～３０５の詳細は後述する。
記憶部３１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラム３１０、ユーザ属性テーブル３１１（図５参照）、キャビネットテーブル３１２（図６参照）、地図データ３１３、キャビネット説明情報３１４等が記憶されている。なお、本明細書において、テーブルに情報を書き込む場合に記録又は登録を用い、記憶部に情報を書き込む場合に記憶を用いる。キャビネット説明情報３１４は、収容物に関する情報の一例である。
地図データ３１３は、キャビネット４が配置される、建物内又は部屋内の３次元図形と、キャビネット４を識別するキャビネットＩＤに紐付けられ、建物内又は部屋内に配置されたキャビネット４の３次元位置を示す位置情報とを含む。３次元図形は、ＨＭＤ装置２の外向きカメラ２３Ａによって撮影されたキャビネット４の画像と比較されるものである。
無線通信部３２は、例えば、Ｗｉ－Ｆｉ（Wireless Fidelity）、Ｗｉ－Ｆｉダイレクト等の無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等の近距離無線通信を用いてＨＭＤ装置２と通信する。
タグインターフェース３３には、キャビネット４Ａ、４Ｂにそれぞれ設けられたタグリーダ７Ａ、７Ｂ（これらを総称するときは「タグリーダ７」ともいう。）が接続されている。ファイル５には、ＩＣタグ６が設けられている。ＩＣタグ６は、メモリにファイルを識別するファイルＩＤを記憶している。
（ユーザ属性テーブルの構成）
図５は、ユーザ属性テーブル３１１の一例を示す図である。ユーザ属性テーブル３１１は、ユーザＩＤが記録された「ユーザＩＤ」欄と、ユーザ名が記録された「ユーザ名」欄と、ユーザが所属する部署が記録された「所属部署」欄と、ユーザが正社員か派遣社員か、管理職か一般職か等の種別が記録された「ユーザ種別」欄とを有する。ユーザＩＤ、ユーザ名、所属部署及びユーザ種別は、人の属性情報の一例である。所属部署は、グループの一例である。
（キャビネットテーブルの構成）
図６は、キャビネットテーブル３１２の一例を示す図である。キャビネットテーブル３１２は、キャビネットを識別するキャビネットＩＤが記録される「キャビネットＩＤ」欄と、キャビネット４の位置を示す位置情報が記録される「位置情報」欄と、当該キャビネット４に収容されるファイル５を識別するファイルＩＤが記録される「ファイルＩＤ」欄と、ファイル名が記録される「ファイル名」欄と、ファイル５を作成した日時が記録される「作成日時」欄と、ファイル５が更新される更新日時が記録される「更新日時」欄等を有する。
（キャビネット説明情報の階層構造）
図７は、キャビネット説明情報３１４の階層構造の一例を示す図である。キャビネット説明情報３１４は、キャビネット４に収容されるファイル５の概要を説明する情報である。具体的には、キャビネット説明情報３１４は、階層構造の複数の情報から構成され、キャビネットＩＤに関係付けられて記憶部３１に記憶されている。キャビネット説明情報３１４は、例えば、キャビネット４の管理に関する管理情報３１４ａ（図８参照）と、キャビネット４に収容されるファイル５のプロパティー情報３１４ｂ（図９参照）と、プロパティー情報３１４ｂを構成する項目の詳細情報３１４ｃ（図１０参照）とを含む。管理情報３１４ａ、プロパティー情報３１４ｂ、詳細情報３１４ｃは、それぞれ階層構造の上層、中間層、下層に位置する。詳細情報３１４ｃは、選択された情報の属性情報の一例である。
次に、情報処理装置３の各手段３０１～３０５について説明する。
受信手段３０１は、ＨＭＤ装置２から送信されるユーザＩＤ、画像、音声データ、ＨＭＤ装置２の位置情報及び各種のコマンド等を受信する。
取得手段３０２は、受信手段３０１がログインの要求を示すコマンド、ＨＭＤ装置２の位置情報、キャビネット４の画像、及びユーザＩＤを受信すると、ＨＭＤ装置２の位置情報、キャビネット４の画像及び地図データ３１３に基づいてキャビネット４に位置情報及びキャビネットＩＤを取得する。また、取得手段３０２は、ＨＭＤ装置２の位置情報及びキャビネット４の位置情報に基づいて、ＨＭＤ装置２からキャビネット４までの距離を算出する。画像に含まれているキャビネット４が複数の場合は、それぞれのキャビネット４までの距離を算出する。
なお、各キャビネット４にキャビネット４の位置情報及びキャビネットＩＤを暗号化したＱＲコード（登録商標）等のコード画像を表面に設けておき、取得手段３０２が、ＨＭＤ装置２の外向きカメラ２３Ａで撮影した画像に含まれるコード画像及びキャビネットＩＤを復号してキャビネット４の位置情報及びキャビネットＩＤを取得してもよい。
表示画像生成手段３０３は、ＨＭＤ装置２の表示部２２に表示させる表示画像、例えば、ＨＭＤ装置２からキャビネット４までの距離に応じたキャビネット説明情報３１４を含む表示画像を生成する。すなわち、表示画像生成手段３０３は、ＨＭＤ装置２までの距離が長い方を短い方よりもキャビネット説明情報３１４の文字サイズを大きいサイズに変更して表示画像を生成する。文字サイズを変更しない場合には、ＨＭＤ装置２からキャビネット４までの距離が長くなるに従って仮想画像として表示されるキャビネット説明情報３１４の文字が小さく見えるところを、本実施の形態によれば、文字を小さく見えないようにすることができる。
送信手段３０４は、生成された表示画像を仮想画像として表示するようにＨＭＤ装置２に指示する。具体的には、送信手段３０４は、表示画像生成手段３０３が生成した表示画像、及び表示画像を仮想画像として視認させるべき位置情報（例えば、当該キャビネット４の近傍）をＨＭＤ装置２に送信して表示画像を仮想画像としてキャビネット４の近傍に表示するよう指示をする。なお、仮想画像の位置情報は、キャビネット４の前面でもよい。
管理手段３０５は、ファイル５をキャビネット４から取り出し、タグリーダ７によってＩＣタグ６から情報を読み取れなくなった場合に、ファイル５がキャビネット４から取り出されたと判断する。また、管理手段３０５は、ファイル５がキャビネット４に戻され、タグリーダ７によってＩＣタグ６から情報を読み取れるようになった場合に、ファイル５がキャビネット４に戻されたと判断する。
（第１の実施の形態の動作）
次に、情報処理システム１の動作の一例について、図７～図１０を参照し、図１１のフローチャートに従って説明する。
（１）ログイン
例えば、ＨＭＤ装置２の使用者が手を動かし、キャビネット４の撮影を指示するジェスチャー（第１のジェスチャー）を行うと、ＨＭＤ装置２のジェスチャー検出部２７０は、センサ部２４の距離画像センサが取得した距離画像から第１のジェスチャーを検出し、それに対応する第１のコマンドを制御部２０に送信する。
制御部２０は、ジェスチャー検出部２７０からの第１のコマンドに基づいて、外向きカメラ２３Ａを制御してキャビネット４を撮影する。制御部２０は、撮影した画像を、その画像を撮影したときの位置検出部２６が検出した位置情報とともに記憶部２１に記憶する。
次に、ＨＭＤ装置２の使用者が手を動かし、ログインを指示するジェスチャー（第２のジェスチャー）を行うと、ＨＭＤ装置２のジェスチャー検出部２７０は、センサ部２４の距画像センサが取得した距離画像から第２のジェスチャーを検出し、それに対応する第２のコマンドを制御部２０に送信する。
ＨＭＤ装置２の送信手段２００は、ログインの要求を、画像、ＨＭＤ装置２の位置情報及びＨＭＤ装置２の使用者を識別するユーザＩＤとともに情報処理装置３に送信する。
情報処理装置３の受信手段３０１は、ＨＭＤ装置２から送信されたログインの要求、画像、ＨＭＤ装置２の位置情報及びユーザＩＤを受信する（Ｓ１：Ｙｅｓ）。
（２）キャビネットの位置情報の取得
取得手段３０２は、受信手段３０１が受信した画像及びＨＭＤ装置２の位置情報と地図データ３１３とから、画像に含まれるキャビネット４の位置情報、及びキャビネットＩＤを取得する。また、ＨＭＤ装置２の位置情報及びキャビネット４の位置情報に基づいて、ＨＭＤ装置２からキャビネット４までの距離を算出する（Ｓ２）。後述する図８に示す場合は、キャビネット４Ａまでの距離Ｌ１とキャビネット４Ｂまでの距離Ｌ２を算出する。
（３）表示画像の生成
表示画像生成手段３０３は、取得手段３０２が取得したキャビネットＩＤ、取得手段３０２が算出したＨＭＤ装置２からキャビネット４までの距離に基づいて、表示画像を生成する（Ｓ３）。すなわち、表示画像生成手段３０３は、キャビネットＩＤに対応するキャビネット説明情報３１４のうち上層の管理情報３１４ａを記憶部３１から読み出し、ＨＭＤ装置２からキャビネット４までの距離に応じて文字サイズを変更して表示画像を生成する。
（４）表示画像及び位置情報の送信
送信手段３０４は、表示画像生成手段３０３が生成した表示画像、及び取得手段３０２が取得したキャビネット４の位置情報をＨＭＤ装置２に送信する（Ｓ４）。
ＨＭＤ装置２の表示制御手段２０２は、表示画像及び位置情報に基づいて表示画像がキャビネット４の近傍に仮想画像として視認されるよう表示部２２を制御する。
図８は、仮想画像の表示例を示す図である。図８に示す仮想画像１１０ａ、１１０ｂは、例えば、キャビネット４を使用する部署、キャビネット４に収容されているファイル５の種類、アクセスに関する情報等の管理情報３１４ａを含む。アクセスに関する情報には、鍵の管理者、アクセス権が付与される者等が含まれる。仮想画像１１０ａ、１１０ｂは、管理情報３１４ａを含む２次元の画像である。
具体的には、図８に示すように、ＨＭＤ装置２の使用者には、ＨＭＤ装置２から距離Ｌ１離れた遠方のキャビネット４Ａの近傍に「デザイン部のキャビネット デザイン仕様書があります。鍵は○○さんにお問い合わせください。」の管理情報３１４ａを含む仮想画像１１０ａが視認され、ＨＭＤ装置２から距離Ｌ２離れた近くのキャビネット４Ｂの近傍に「知財部のキャビネット 出願に関する資料があります。知財部以外の人は閲覧できません。」の管理情報３１４ａを含む仮想画像１１０ｂが視認される。管理情報３１４ａは、階層構造のうち上層に位置するものである。
ＨＭＤ装置２からキャビネット４までの距離が長くなるに従って仮想画像として表示される管理情報３１４ａの文字が小さく見えるところを、文字サイズを変更して小さく見えないようにすることで、文字サイズを変更しない場合と比較して管理情報３１４ａが読み易くなる。
なお、ＨＭＤ装置２の使用者が有するアクセス権に応じた仮想画像の表示を行うようにしてもよい。例えば、取得手段３０２が、ユーザＩＤに基づいて所属部署の情報をユーザ属性テーブル３１１から取得し、キャビネット説明情報３１４の管理情報３１４ａからキャビネット４を使用する部署を取得する。ＨＭＤ装置２の使用者がキャビネット４の使用する部署に属していない部外者の場合には、当該情報にアクセスするアクセス権を有していないとして、表示画像を生成しないか、仮想画像として表示しないようにしてもよい。また、部外者には、上層の管理情報３１４ａのみを仮想画像として表示し、中間層のプロパティー情報３１４ｂや下層の詳細情報３１４ｃを仮想画像として表示しないようにしてもよい。
また、仮想画像として仮想的に表示する情報は、予め定められた時間に応じて変更してもよい。例えば、予め定められた時間（例えば、午前８時から午後６時）は、キャビネット説明情報３１４の全てにアクセス可能であるが、予め定められた時間以外は、部外者には、キャビネット説明情報３１４の全て、又はプロパティー情報３１４ｂ及び詳細情報３１４ｃにアクセスできない、すなわち仮想画像として表示しないとしてもよい。
（５）操作の受付
図９に示すように、キャビネット４Ａの近傍に表示されている仮想画像１１０ａに対してＨＭＤ装置２の使用者がキャビネット４Ａから離れた位置で手を動かし、中間層の表示を指示するジェスチャー（第３のジェスチャー）を行うと、ＨＭＤ装置２のジェスチャー検出部２７０は、センサ部２４の距離画像センサが取得した距離画像から第３のジェスチャーを検出し、それに対応する第３のコマンドを制御部２０に送信する。
送信手段２００は、ジェスチャー検出部２７０からの第３のコマンドをユーザＩＤとともに情報処理装置３に送信する。
情報処理装置３の受信手段３０１が、ＨＭＤ装置２から送信された第３のコマンド及びユーザＩＤを受信すると（Ｓ５）、取得手段３０２は、第３のコマンドに基づいて、キャビネット説明情報３１４のうち中間層のプロパティー情報３１４ｂを記憶部３１から取得する。
表示画像生成手段３０３は、取得手段３０２が取得したプロパティー情報３１４ｂを含む表示画像を生成する（Ｓ６）。
送信手段３０４は、表示画像生成手段３０３が生成した表示画像、及び取得手段３０２が取得したキャビネット４の位置情報をＨＭＤ装置２に送信する（Ｓ７）。
ＨＭＤ装置２の表示制御手段２０２は、表示画像及び位置情報に基づいて表示画像がキャビネット４の近傍に仮想画像として視認されるよう表示部２２を制御する。
図９は、仮想画像の表示例を示す図である。図９に示す仮想画像１１１ａは、キャビネット４に収容されたファイル５のプロパティー情報３１４ｂを含む。プロパティー情報３１４ｂは、図９に示すように、例えば、収容されているファイル５のファイル名、データの形式、データ作成日時等を含む。仮想画像１１１ａは、プロパティー情報３１４ｂを含む２次元の画像である。図９に示すように、ＨＭＤ装置２の使用者は、キャビネット４Ａから離れた位置から上層の管理情報３１４ａ及び中間層のプロパティー情報３１４ｂを見ることができる。
次に、図１０に示すように、キャビネット４Ａの近傍に表示されている仮想画像１１１ａに対してＨＭＤ装置２の使用者が手を動かし、仮想画像１１１ａに含まれるプロパティー情報３１４ｂに対して項目を選択するためのアイコン１２０の表示とアイコン１２０の操作を示すジェスチャー（第４のジェスチャー）を行うと、ＨＭＤ装置２のジェスチャー検出部２７０は、センサ部２４の距離画像センサが取得した距離画像から第４のジェスチャーを検出し、それに対応する第４のコマンド及び項目の位置情報を制御部２０に送信する。
送信手段２００は、ジェスチャー検出部２７０からの第４のコマンド及び項目の位置情報をユーザＩＤとともに情報処理装置３に送信する。
情報処理装置３の受信手段３０１が、ＨＭＤ装置２から送信された第４のコマンド、項目の位置情報及びユーザＩＤを受信すると（Ｓ５）、取得手段３０２は、第４のコマンド及び項目の位置情報に基づいて、キャビネット説明情報３１４のうち下層の項目に対応する詳細情報３１４ｃを記憶部３１から取得する。
表示画像生成手段３０３は、取得手段３０２が取得した詳細情報３１４ｃを含む表示画像を生成する（Ｓ６）。
送信手段３０４は、表示画像生成手段３０３が生成した表示画像、及び取得手段３０２が取得した項目の位置情報をＨＭＤ装置２に送信する（Ｓ７）。
ＨＭＤ装置２の表示制御手段２０２は、表示画像及び項目の位置情報に基づいて表示画像がキャビネット４Ａの近傍に仮想画像として視認されるよう表示部２２を制御する。
図１０は、仮想画像の表示例を示す図である。図１０に示す仮想画像１１２ａ、１１３ａは、プロパティー情報３１４ｂを構成する項目の詳細情報３１４ｃを含む。プロパティー情報３１４ｂのうち管理者の氏名（例えば、富士太郎）の項目をアイコン１２０で選択すると、詳細情報３１４ｃ（例えば、富士太郎の連絡先の情報）を含む仮想画像１１２ａを仮想的に表示する。プロパティー情報３１４ｂのうちグラフィックリストの項目をアイコン１２０で選択すると、グラフィックリストの詳細情報３１４ｃ（例えば、作成日時、更新日時）を含む仮想画像１１３ａを仮想的に表示する。詳細情報３１４ｃは、プロパティー情報３１４ｂの下層に位置している。仮想画像１１２ａ、１１３ａは、詳細情報３１４ｃを含む２次元の画像である。アイコン１２０で項目を選択可能とすることで、キャビネット４Ａから離れた位置からプロパティー情報３１４ｂ及び詳細情報３１４ｃを見ることができる。
上記ステップＳ５において、予め定められた時間を経過しても操作を示すコマンドを受信しなければ（Ｓ８：Ｙｅｓ）、当該ＨＭＤ装置２を強制的にログアウトする（Ｓ９）。なお、ＨＭＤ装置２の使用者からのログアウトの要求に基づいてログアウトしてもよい。
（他の仮想画像の表示例）
図１２は、他の仮想画像の表示例を示す図である。同図に示すように、ＨＭＤ装置２からキャビネット４までの距離に応じて情報量の異なる仮想画像を仮想的に表示してもよい。具体的には、図１２に示すように、遠方のキャビネット４Ａに対しては、情報量の少ない電子看板（Digital Signage）に類似した仮想画像１１０ａを仮想的に表示し、近くのキャビネット４Ｂに対しては、仮想画像１１０ａよりも情報量の多い仮想画像１１１ｂを仮想的に表示する。仮想画像１１０ａは、管理情報３１４ａを含む。仮想画像１１１ｂは、プロパティー情報３１４ｂを含む。近くのキャビネット４Ｂに表示される仮想画像１１１ｂは、情報量が多くてもキャビネット４Ｂまでの距離が短いため、読み取ることができる。なお、同図に示す場合においても、表示画像生成手段３０３は、ＨＭＤ装置２までの距離が長い方を短い方よりも文字サイズを大きいサイズに変更して表示画像を生成してもよい。
［第２の実施の形態］
図１３は、本発明の第２の実施の形態に係る情報処理装置の制御系の一例を示すブロック図である。第１の実施の形態では、収容物に関する情報としてキャビネット説明情報３１４を仮想的に表示したが、本実施の形態は、キャビネット内部画像３１５を仮想的に表示するものである。以下、第１の実施の形態と異なる点を中心に説明する。
すなわち、本実施の形態に係る情報処理装置３の記憶部３１には、キャビネット説明情報３１４の代わりにキャビネット内部画像３１５が記憶されている。キャビネット内部画像３１５は、収容物に関する情報の一例である。
表示画像生成手段３０３は、ＨＭＤ装置２の表示部２２に表示させる表示画像、例えば、ＨＭＤ装置２からキャビネット４までの距離に応じたキャビネット内部画像３１５を含む表示画像を生成する。
キャビネット内部画像３１５は、キャビネット４の扉を開けたときに見える状態を画像化したものである。キャビネット内部画像３１５は、キャビネットＩＤに関係付けられて記憶部３１に記憶されている。
図１４は、仮想画像の表示例を示す図である。図１４は、遠方のキャビネット４Ａの前面に仮想画像１１４ａを仮想的に表示し、近くのキャビネット４Ｂの前面に仮想画像１１４ｂを仮想的に表示している状態を示している。仮想画像１１４ａ、１１４ｂは、キャビネット内部画像３１５に基づいて生成された表示画像を仮想的に表示したものである。仮想画像１１４ａ、１１４ｂは、それぞれキャビネット４Ａ、４Ｂの扉を開けたときに見える状態が画像化されている。すなわち、仮想画像１１４ａは、キャビネット４Ａに収容されているファイル５の背部３１５ａ及びファイル名３１５ｂを含む。仮想画像１１４ｂは、キャビネット４Ｂに収容されているファイル５の背部３１５ａ及びファイル名３１５ｂを含む。仮想画像１１４ａ、１１４ｂは、２次元の画像である。ＨＭＤ装置２からキャビネット４までの距離が長くなるに従って仮想画像として表示されるファイル名３１５ｂの文字が小さく見えるところを、文字サイズを変更して小さく見えないようにすることで、文字サイズを変更しない場合と比較してファイル名３１５ｂが読み易くなる。
ファイル名３１５ｂの表示幅は、実物のファイル５の背幅に対応した大きさを有し、ファイル名３１５ｂの文字を表示幅に応じた大きさで表示する。なお、ファイル５の背部３１５ａ又はファイル名３１５ｂの色を、実物のファイル５がキャビネット４から取り出された回数に応じて変更してもよい。例えば、ファイル５がキャビネット４から取り出される回数が多くなるほど、明るい色、目立つ色で表示してもよい。これにより、色を変えない場合と比較して頻繁に取り出されるファイル５の場所を容易に発見することができる。また、ファイル５の背部３１５ａ又はファイル名３１５ｂの色を、実物のファイル５がキャビネット４から取り出されていることを示す色で表示してもよい。これにより、色を変えない場合と比較してファイル５がキャビネット４から取り出されていることが容易に分かる。なお、キャビネットＩＤとファイルＩＤとを関係付けて記憶しておき、ファイル５が誤ったキャビネット４に収容されようとした場合、そのことを何らかの方法、例えばファイル５の収納先が誤っていることをＨＭＤ装置２の表示部２２に表示してもよい。
（他の仮想画像の表示例）
図１５は、他の仮想画像の表示例を示す図である。同図は、それぞれのキャビネット４Ａ、４Ｂの前面に仮想画像１１４ａ、１１４ｂを仮想的に表示している状態を示している。仮想画像１１４ａ、１１４ｂは、それぞれキャビネット４Ａ、４Ｂの扉を開けたときに見える状態が画像化されている。同図は、ＨＭＤ装置２の使用者から各キャビネット４Ａ、４Ｂまでの距離が同じであるため、仮想画像１１４ａ、１１４ｂは同じ大きさで表示されている。
ＨＭＤ装置２の使用者が図１０を用いて説明したようにアイコン１２０を操作して仮想画像１１４ｂに含まれるファイル（例えば、背部３１５ａ）を選択した場合、当該ファイル５に関する詳細情報を仮想画像として表示してもよい。
（ユーザ属性テーブルの変形例）
図１６は、ユーザ属性テーブルの変形例である。同図に示すユーザ属性テーブル３１１ａは、図５に示すユーザ属性テーブル３１１に対して、特定のキャビネットへのアクセス権を有しているか否かの情報が記録される「特定のキャビネットへのアクセス権」欄を追加したものである。
この場合、図６に示すキャビネットテーブル３１２の「キャビネットＩＤ」欄には、通常のキャビネット４の場合は、先頭に「Ｃ」を有するＩＤが付与され、アクセス権を必要とする特定のキャビネット４の場合は、通常のＩＤの先頭に「Ｓ」が付加してもよい。これにより、キャビネットＩＤにより対応するキャビネット４が特定のキャビネット４であるか否かが分かる。
取得手段３０２は、画像に含まれているキャビネット４が特定のキャビネット４の場合は、ユーザＩＤに基づいて当該ＨＭＤ装置２の使用者が特定のキャビネット４へのアクセス権を有しているか否かを図１６に示すユーザ属性テーブル３１１ａを参照して判断する。
表示画像生成手段３０３は、アクセス権の有無に応じた表示画像を生成する。アクセス権を有していない場合は、表示画像を生成しないとしてもよい。また、図１５に示す場合において、ＨＭＤ装置２の使用者が図１０を用いて説明したようにアイコン１２０を操作して仮想画像１１４ｂに含まれるファイル（例えば、背部３１５ａ）を選択した場合、ＨＭＤ装置２の使用者が当該キャビネット４Ｂに対してアクセス権を有している場合にのみ当該ファイル５に関する詳細情報を仮想画像として表示してもよい。
キャビネット４は、扉と、ＨＭＤ装置２の使用者が当該キャビネット４へのアクセス権が有している場合に、扉を開錠する施錠制御手段とを備えたものでもよい。この場合、情報処理装置３の取得手段３０２がユーザ属性テーブル３１１ａに基づいて当該使用者のアクセス権の有無を判断し、その判断結果を施錠制御手段に通知する。管理者の施錠の手間を省くことが可能になる。
以上、本発明の実施の形態を説明したが、本発明の実施の形態は上記実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲内で種々の変形、実施が可能である。例えば、各実施の形態では、表示装置として光透過方式の頭部装着型表示装置について説明したが、本発明は、現実空間（外景）を撮影した画像に表示画像を仮想画像として重ねて表示するスマートフォン等の携帯型情報端末にも同様に適用することができる。
また、情報処理装置３が有する機能の一部をＨＭＤ装置２に移してもよく、ＨＭＤ装置２が有する機能の一部を情報処理装置３に移してもよい。例えば、ＨＭＤ装置２が有する音声認識機能を情報処理装置３に移し、ＨＭＤ装置２から音声信号を情報処理装置３に送信し、情報処理装置３の音声認識機能により音声信号を音声データに変換してもよい。
制御部２０、３０の各手段は、それぞれ一部又は全部を再構成可能回路（ＦＰＧＡ：Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）等のハードウエア回路によって構成してもよい。
また、本発明の要旨を変更しない範囲内で、上記実施の形態の構成要素の一部を省くことや変更することが可能である。また、本発明の要旨を変更しない範囲内で、上記実施の形態のフローにおいて、ステップの追加、削除、変更、入替え等が可能である。また、上記実施の形態で用いたプログラムをＣＤ－ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録して提供することができる。また、上記実施の形態で用いたプログラムをクラウドサーバ等の外部サーバに格納しておき、ネットワークを介して利用することができる。
１…情報処理システム、２…ＨＭＤ装置、３…情報処理装置、４、４Ａ、４Ｂ…キャビネット、５…ファイル、６…ＩＣタグ、７、７Ａ、７Ｂ…タグリーダ、２０…制御部、２１…記憶部、２２…表示部、２３Ａ…外向きカメラ、２３Ｂ…内向きカメラ、２４…センサ部、２５…音声入力部、２６…位置検出部、２７…処理部、２８…無線通信部、３０…制御部、３１…記憶部、３２…無線通信部、３３…タグインターフェース、１１０ａ、１１０ｂ、１１１ａ、１１１ｂ、１１２ａ、１１３ａ、１１４ａ、１１４ｂ…仮想画像、１２０…アイコン、２００…送信手段、２０１…受信手段、２０２…表示制御手段、２１０…プログラム、２２０…フレーム、２２１…透過型ディスプレイ、２２１ａ…右側透過型ディスプレイ、２２１ｂ…左側透過型ディスプレイ、２７０…ジェスチャー検出部、２７１…視線検出部、２７２…音声認識部、３０１…受信手段、３０２…取得手段、３０３…表示画像生成手段、３０４…送信手段、３０５…管理手段、３１０…プログラム、３１１、３１１ａ…ユーザ属性テーブル、３１２…キャビネットテーブル、３１３…地図データ、３１４…キャビネット説明情報、３１４ａ…管理情報、３１４ｂ…プロパティー情報、３１４ｃ…詳細情報、３１５…キャビネット内部画像、３１５ａ…背部、３１５ｂ…ファイル名

Claims (15)

  1. 現実空間に仮想空間の画像が重なるように表示するとともに撮影機能を有する表示装置により、収容物を収容する収容手段を撮影して得られた画像から前記収容手段の位置情報を取得する取得手段と、
    前記位置情報に関係付けられて記憶された前記収容物に関する情報を前記仮想空間の画像として前記収容手段の近傍に表示するよう前記表示装置に指示する指示手段と、を備え、
    前記収容手段と前記収容物とは関係付けられており、前記収容物に関する情報は、前記収容物が前記収容手段から取り出されている場合には、当該収容物が取り出されていることを示す情報を含む、
    情報処理装置。
  2. 前記取得手段は、前記表示装置と前記収容手段との間の距離を取得し、
    前記指示手段は、前記収容物に関する情報を、前記距離が長い方を短い方よりも文字サイズを大きいサイズに変更して表示するよう指示する、
    請求項１に記載の情報処理装置。
  3. 前記指示手段は、前記表示装置からの指示に基づいて、前記収容物に関する情報を変更するよう指示する、
    請求項１又は２に記載の情報処理装置。
  4. 前記指示手段は、前記表示装置からの指示に基づいて、選択された情報の属性情報を表示するよう指示する、
    請求項３に記載の情報処理装置。
  5. 前記属性情報は、前記表示装置の使用者に与えられたアクセス権によって表示が制限される、
    請求項４に記載の情報処理装置。
  6. 前記収容物に関する情報は、前記表示装置の使用者に与えられたアクセス権に応じた内容である、
    請求項１から５のいずれか１項に記載の情報処理装置。
  7. 前記収容物に関する情報は、予め定められた時間に応じて変更される、
    請求項１から６のいずれか１項に記載の情報処理装置。
  8. 前記収容物は、書類を綴じるファイルであり、
    前記収容物に関する情報は、ファイルの背部に表示するファイル名である、
    請求項１から７のいずれか１項に記載の情報処理装置。
  9. 前記ファイル名の表示幅は、実物のファイルの背幅に対応した大きさを有し、前記ファイル名の文字を表示幅に応じた大きさで表示される、
    請求項８に記載の情報処理装置。
  10. 前記ファイルの色は、前記実物のファイルが前記収容手段から取り出された回数に応じて変更される、
    請求項９に記載の情報処理装置。
  11. 前記ファイルは、前記実物のファイルが前記収容手段から取り出されていることを示す色で表示される、
    請求項９又は１０に記載の情報処理装置。
  12. 前記収容手段は、扉と、前記使用者が当該収容手段へのアクセス権が有している場合に、前記扉を開錠する施錠制御手段とを備えたものである、
    請求項５又は６に記載の情報処理装置。
  13. 前記指示手段は、前記表示装置から前記収容手段を撮影した画像とともに前記表示装置からログインの要求があった場合に、前記収容物に関する情報を前記仮想空間の画像として表示するよう指示し、予め定められた時間指示がなかった場合、又はログオフの要求があった場合に、前記収容物に関する情報を前記仮想空間の画像として表示するのを終了するよう指示する、
    請求項１から１２のいずれか１項に記載の情報処理装置。
  14. 現実空間に仮想空間の画像が重なるように表示するとともに撮影機能を有する表示装置と、
    前記表示装置により収容物を収容する収容手段を撮影して得られた画像から前記収容手段の位置情報を取得する取得手段と、
    前記位置情報に関係付けられて記憶された前記収容物に関する情報を前記仮想空間の画像として前記収容手段の近傍に表示するよう前記表示装置に指示する指示手段と、を備え、
    前記収容手段と前記収容物とは関係付けられており、前記収容物に関する情報は、前記収容物が前記収容手段から取り出されている場合には、当該収容物が取り出されていることを示す情報を含む、
    情報処理システム。
  15. コンピュータを、
    現実空間に仮想空間の画像が重なるように表示するとともに撮影機能を有する表示装置により、収容物を収容する収容手段を撮影して得られた画像から前記収容手段の位置情報を取得する取得手段と、
    前記位置情報に関係付けられて記憶された前記収容物に関する情報を前記仮想空間の画像として前記収容手段の近傍に表示するよう前記表示装置に指示する指示手段、として機能させるためのプログラムであって、
    前記収容手段と前記収容物とは関係付けられており、前記収容物に関する情報は、前記収容物が前記収容手段から取り出されている場合には、当該収容物が取り出されていることを示す情報を含む、
    プログラム。
JP2017180371A 2017-09-20 2017-09-20 情報処理装置、情報処理システム及びプログラム Active JP7013757B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017180371A JP7013757B2 (ja) 2017-09-20 2017-09-20 情報処理装置、情報処理システム及びプログラム
US15/913,123 US11010973B2 (en) 2017-09-20 2018-03-06 Information processing apparatus, information processing system, and non-transitory computer readable medium
CN201810418456.8A CN109521835B (zh) 2017-09-20 2018-05-04 信息处理设备、信息处理系统和信息处理方法
US17/232,501 US11763529B2 (en) 2017-09-20 2021-04-16 Information processing apparatus, information processing system, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017180371A JP7013757B2 (ja) 2017-09-20 2017-09-20 情報処理装置、情報処理システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2019057059A JP2019057059A (ja) 2019-04-11
JP7013757B2 true JP7013757B2 (ja) 2022-02-01

Family

ID=65719279

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017180371A Active JP7013757B2 (ja) 2017-09-20 2017-09-20 情報処理装置、情報処理システム及びプログラム

Country Status (3)

Country Link
US (2) US11010973B2 (ja)
JP (1) JP7013757B2 (ja)
CN (1) CN109521835B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113227940A (zh) * 2018-11-09 2021-08-06 贝克曼库尔特有限公司 具有选择性数据提供的服务眼镜
CN109961045B (zh) * 2019-03-25 2021-10-22 联想(北京)有限公司 一种位置信息提示方法、装置及电子设备
WO2021020150A1 (ja) * 2019-07-26 2021-02-04 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299760A (ja) 2007-06-01 2008-12-11 Canon Inc 画像提示装置及び方法
JP2009271732A (ja) 2008-05-07 2009-11-19 Sony Corp 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム
JP2010076887A (ja) 2008-09-25 2010-04-08 Brother Ind Ltd 物品管理システム
JP2011227644A (ja) 2010-04-19 2011-11-10 Sony Corp 画像処理装置、画像処理方法及びプログラム
WO2014002686A1 (ja) 2012-06-29 2014-01-03 トーヨーカネツソリューションズ株式会社 物品のピッキング作業の支援装置及びシステム
WO2014128752A1 (ja) 2013-02-19 2014-08-28 株式会社ブリリアントサービス 表示制御装置、表示制御プログラム、および表示制御方法
JP2015070598A (ja) 2013-10-01 2015-04-13 共同印刷株式会社 識別コード読取システム及び方法
JP2016033757A (ja) 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP2016081502A (ja) 2014-10-20 2016-05-16 良幸 香取 拡張現実システム
JP2016188123A (ja) 2015-03-30 2016-11-04 オークラ輸送機株式会社 ピッキングシステム
JP2016206447A (ja) 2015-04-23 2016-12-08 セイコーエプソン株式会社 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2017106945A (ja) 2015-12-07 2017-06-15 セイコーエプソン株式会社 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06263204A (ja) * 1993-03-10 1994-09-20 Wanbishi Aakaibuzu:Kk 物品の保管・移送用セキュリティシステム
US7116434B2 (en) * 2000-08-10 2006-10-03 Canon Kabushiki Kaisha Controlling a cluster operation
JP2004227462A (ja) 2003-01-27 2004-08-12 Apolloservice Co Ltd 文書管理装置、文書管理方法、及び文書管理プログラム
JP4266870B2 (ja) * 2003-04-07 2009-05-20 キヤノン株式会社 画像出力システム、印刷装置、撮像装置、通信装置、情報処理装置、記憶装置と及びその方法
JP2005223518A (ja) * 2004-02-04 2005-08-18 Seiko Epson Corp 画像供給装置、画像保存装置、自動保存システムおよび画像保存方法
JP4501572B2 (ja) * 2004-07-20 2010-07-14 富士ゼロックス株式会社 書類管理装置および書類管理システム
JP5488082B2 (ja) * 2010-03-17 2014-05-14 セイコーエプソン株式会社 情報認識システム及びその制御方法
JP6064464B2 (ja) * 2012-09-10 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、認証システム
US20140160157A1 (en) * 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
JP6261206B2 (ja) * 2013-06-28 2018-01-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2015159775A1 (ja) * 2014-04-15 2015-10-22 オリンパス株式会社 画像処理装置、通信システム及び通信方法並びに撮像装置
US10225506B2 (en) * 2014-08-01 2019-03-05 Sony Corporation Information processing apparatus and information processing method
US9784976B2 (en) * 2015-02-04 2017-10-10 Seiko Epson Corporation Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
US10650684B2 (en) * 2015-02-19 2020-05-12 Francesco Ricci Guidance system and automatic control for vehicles

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299760A (ja) 2007-06-01 2008-12-11 Canon Inc 画像提示装置及び方法
JP2009271732A (ja) 2008-05-07 2009-11-19 Sony Corp 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム
JP2010076887A (ja) 2008-09-25 2010-04-08 Brother Ind Ltd 物品管理システム
JP2011227644A (ja) 2010-04-19 2011-11-10 Sony Corp 画像処理装置、画像処理方法及びプログラム
WO2014002686A1 (ja) 2012-06-29 2014-01-03 トーヨーカネツソリューションズ株式会社 物品のピッキング作業の支援装置及びシステム
WO2014128752A1 (ja) 2013-02-19 2014-08-28 株式会社ブリリアントサービス 表示制御装置、表示制御プログラム、および表示制御方法
JP2015070598A (ja) 2013-10-01 2015-04-13 共同印刷株式会社 識別コード読取システム及び方法
JP2016033757A (ja) 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP2016081502A (ja) 2014-10-20 2016-05-16 良幸 香取 拡張現実システム
JP2016188123A (ja) 2015-03-30 2016-11-04 オークラ輸送機株式会社 ピッキングシステム
JP2016206447A (ja) 2015-04-23 2016-12-08 セイコーエプソン株式会社 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2017106945A (ja) 2015-12-07 2017-06-15 セイコーエプソン株式会社 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム

Also Published As

Publication number Publication date
US20210233324A1 (en) 2021-07-29
JP2019057059A (ja) 2019-04-11
US11763529B2 (en) 2023-09-19
CN109521835B (zh) 2024-03-22
CN109521835A (zh) 2019-03-26
US20190088017A1 (en) 2019-03-21
US11010973B2 (en) 2021-05-18

Similar Documents

Publication Publication Date Title
US9727211B2 (en) Systems and methods for unlocking a wearable device
US11763529B2 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium
CN101093542B (zh) 查询系统、成像装置、查询装置、信息处理方法
US11108990B2 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium storing program
WO2016053008A1 (ko) 수하인 정보 보호를 위한 운송장 및 물류배송관리시스템, 그리고 이를 이용한 물류배송 지원 방법
US20200322506A1 (en) Image processing system, non-transitory recording medium, and image processing method
KR20160015972A (ko) 웨어러블 디바이스 및 그 제어 방법
WO2016079974A1 (en) Authentication management method, information processing apparatus, wearable device, and computer program
CN107025080A (zh) 文档处理系统和方法
JP2018097581A (ja) 情報処理装置およびプログラム
KR102243576B1 (ko) 증강현실 기반 관람 가이드 서비스 방법
US20190180042A1 (en) Image display device, image display control device, and image display control method
JP6214082B2 (ja) 情報処理装置、情報処理方法、プログラム、管理システム、及び管理方法
JP6450890B2 (ja) 画像提供システム、画像提供方法、およびプログラム
JP2016038682A (ja) 情報処理装置及びその制御方法、サーバ装置及びその制御方法、コンピュータプログラム
US20150169568A1 (en) Method and apparatus for enabling digital memory walls
KR101596760B1 (ko) 글래스 타입의 이동 단말기, 이를 이용한 차량 트렁크 잠금장치 해제 방법 및 차량 트렁크 잠금장치 해제 시스템
CN109672798A (zh) 信息处理装置以及存储媒体
WO2022074815A1 (ja) 携帯端末とヘッドマウントディスプレイ及びその連携表示システム
US20220397957A1 (en) Information processing apparatus and non-transitory computer readable medium storing information processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220103