JPWO2017081920A1 - 情報処理装置、制御方法、及びプログラム - Google Patents

Abstract

画像取得部（２０２０）は、点検対象の機器が含まれる撮像画像を取得する。点検情報取得部（２０４０）は、撮像画像に含まれる機器に関する点検情報を取得する。点検情報は、機器の点検項目を示す情報である。第１表示制御部（２０６０）は、点検情報に示される点検項目に対応する点検箇所を示す表示をディスプレイ装置（１０）に表示する。例えば第１表示制御部（２０６０）は、点検箇所を表す表示を、ディスプレイ装置（１０）上の点検箇所に重畳して表示する。また例えば、第１表示制御部（２０６０）は、ディスプレイ装置（１０）上の点検箇所又は機器の付近に表示する。

Description

本発明は、情報処理装置、制御方法、及びプログラムに関する。

工場設備等の点検において情報処理装置が利用されている。例えば特許文献１は、端末装置を利用した設備点検支援システムを開示している。点検作業者は端末装置を携帯して点検作業を行う。端末装置はコンテンツ格納部から点検項目を取得する。点検作業者は、端末装置が取得した点検項目について点検作業を行う。

特許第４６２００３０号

点検対象の機器上に点検箇所が複数ある場合がある。例えば１つの機器にメータが複数備えられている場合がある。このような場合、点検作業者は、複数のメータそれぞれについて、測定値の記録などを行う。

このように機器上に点検箇所が複数ある場合、点検作業者は、各点検項目が機器上のどの点検箇所に関するものであるかを把握しながら作業する必要がある。そのため、機器上の点検箇所が１箇所のみである場合と比較して、点検作業が煩雑になる。よって、点検作業者の作業負担が大きくなる。特許文献１は、点検作業におけるこのような作業負担について言及しておらず、このような作業負担を軽減する方法を開示していない。

本発明は、上記課題に鑑みてなされたものである。本発明の目的は、点検作業者の作業負担を軽減する技術を提供することである。

本発明の情報処理装置は、１）点検対象の機器が含まれる撮像画像を取得する画像取得手段と、２）前記撮像画像に含まれる機器の点検項目を示す点検情報を取得する点検情報取得手段と、３）前記点検情報に示される点検項目に対応する点検箇所を示す表示を、ディスプレイ装置上の前記点検箇所に重畳して表示するか、又は前記ディスプレイ装置上の前記点検箇所若しくは前記機器の付近に表示する第１表示制御手段と、を有する。

本発明の制御方法は、コンピュータによって実行される制御方法である。当該制御方法は、１）点検対象の機器が含まれる撮像画像を取得する画像取得ステップと、２）前記撮像画像に含まれる機器の点検項目を示す点検情報を取得する点検情報取得ステップと、３）前記点検情報に示される点検項目に対応する点検箇所を示す表示を、ディスプレイ装置上の前記点検箇所に重畳して表示するか、又は前記ディスプレイ装置上の前記点検箇所若しくは前記機器の付近に表示する第１表示制御ステップと、を有する。

本発明によれば、点検作業者の作業負担を軽減する技術が提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

実施形態１に係る情報処理装置を例示するブロック図である。 実施形態１の情報処理装置の動作を概念的に例示する図である。 情報処理装置を実現する計算機の構成を例示する図である。 ディスプレイ装置及びカメラを備えたタブレット端末を例示する図である。 ディスプレイ装置及びカメラを備えたヘッドマウントディスプレイを例示する図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 点検情報をテーブル形式で例示する図である。 撮像画像に表示が重畳された画像がディスプレイ装置に表示される様子を例示する図である。 ディスプレイ装置に表示が表示される様子を例示する図である。 表示と合わせて表示画像に示される画像が表示される様子を例示する図である。 複数の点検項目を含む点検情報を情報処理装置が処理する流れを例示するフローチャートである。 実施形態２の情報処理装置を例示するブロック図である。 タブレット端末のタッチパネルにインタフェース画像が表示されている様子を例示する図である。 ヘッドマウントディスプレイのディスプレイ装置にキーボード画像が表示される様子を例示している。 インタフェース情報をテーブル形式で例示する図である。 キーボード画像以外のインタフェース画像を例示する図である。 インタフェース画像の ID 又は種類を示す点検情報を例示する図である。 点検項目にインタフェース画像が対応付けられている場合における第２表示制御部の処理の流れを例示するフローチャートである。 マーカが撮像画像に含まれる様子を例示する図である。 マーカを利用して入力インタフェースの画像を表示する処理を例示するフローチャートである。 実施形態３の情報処理装置を例示するブロック図である。 タブレット端末のタッチパネルに機器の画像が表示されている様子を例示している。 機器の画像がタッチパネルに表示されている状態で点検結果が入力される様子を例示する図である。 実施形態４の情報処理装置を例示するブロック図である。 実施形態４の情報処理装置の動作を概念的に例示する図である。 表示が示す方向を算出する方法を概念的に示す図である。 点検箇所の位置に応じて表示を表示する位置が定まるケースを例示する図である。 第４表示制御部によって実行される処理の流れを例示するフローチャートである。 実施形態５の情報処理装置を例示するブロック図である。 実施形態５の情報処理装置によって実行される処理の流れを例示するフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、各ブロック図において、各ブロックはハードウエア単位の構成ではなく、機能単位の構成を表している。

［実施形態１］
図１は、実施形態１に係る情報処理装置２０００を例示するブロック図である。情報処理装置２０００は、画像取得部２０２０、点検情報取得部２０４０、及び第１表示制御部２０６０を有する。画像取得部２０２０は、点検対象の機器が含まれる撮像画像を取得する。点検情報取得部２０４０は、撮像画像に含まれる機器に関する点検情報を取得する。点検情報は、機器の点検項目を示す情報である。例えば点検項目は、「機器上のメータの値が正常な値の範囲内であるか否かを確認する」といった内容の点検項目を表す。第１表示制御部２０６０は、点検情報に示される点検項目に対応する点検箇所を示す表示をディスプレイ装置１０に表示する。例えば点検項目が上述したメータの値に関する点検項目である場合、点検箇所はそのメータである。ここで、例えば第１表示制御部２０６０は、点検箇所を表す表示を、ディスプレイ装置１０上の点検箇所に重畳して表示する。また例えば、第１表示制御部２０６０は、点検箇所を表す表示を、ディスプレイ装置１０上の点検箇所又は機器の付近に表示する。以降の説明では、点検箇所を表す表示を点検箇所に重畳して表示する形態について主に説明する。点検箇所を表す表示を点検箇所の付近に表示する形態の情報処理装置２０００の動作は、点検箇所を表す表示を点検箇所に重畳して表示する形態の情報処理装置２０００の動作と同様である。

図２は、実施形態１の情報処理装置２０００の動作を概念的に例示する図である。図２において、情報処理装置２０００は撮像画像２０を取得している。ここで、撮像画像２０には、機器３０が含まれる。そこで情報処理装置２０００は、機器３０に対応する点検情報２００を取得する。そして、情報処理装置２０００は、点検情報２００に示されている点検箇所５０を表す表示６０を、ディスプレイ装置１０に表示する。図２では、情報処理装置２０００は、ディスプレイ装置上の機器３０における点検箇所５０に重畳して表示６０を表示している。

なお、図２を用いて説明した上述の例は、以降で説明する情報処理装置２０００の詳細の理解を容易にするための例示であり、情報処理装置２０００の動作は上述の例に限定されるわけではない。情報処理装置２０００の動作の詳細やバリエーションについては、以降の記載で説明する。

＜作用・効果＞
本実施形態の情報処理装置２０００によれば、ディスプレイ装置１０上の機器３０における点検箇所５０に、点検箇所であることを表す表示６０が表示される。これにより、ユーザ（点検作業者など）は、機器３０上のどこを点検すべきであるかを容易に把握することができるようになる。よって、点検作業の作業負担が軽減される。

以下、本実施形態の情報処理装置２０００をさらに詳細に説明する。

＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図３は、情報処理装置２０００を実現する計算機１０００の構成を例示する図である。計算機１０００は、タブレット端末、スマートフォン、Personal Computer（PC）、サーバ装置、ヘッドマウントディスプレイなど、種々の計算機である。計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、ハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ１０８０は、RAM や ROM などのメモリであってもよい。ネットワークインタフェース１１２０は、計算機１０００が外部の装置と通信するためのインタフェースである。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。図３では、入出力インタフェース１１００に対してディスプレイ装置１０及びカメラ７０が接続されている。ディスプレイ装置１０は、画像を表示することができる任意のディスプレイ装置である。例えばディスプレイ装置１０は、スマートフォンやタブレット端末のディスプレイ装置や、ヘッドマウントディスプレイのディスプレイ装置などである。

カメラ７０は、機器３０を撮像することで機器３０が含まれる撮像画像２０を生成できる任意のカメラである。カメラ７０は、繰り返し撮像を行って、各撮像結果を表す撮像画像２０を生成する。なお、カメラ７０は、２Ｄカメラであってもよいし、３Ｄカメラであってもよい。

カメラ７０が設けられる場所は任意である。例えばカメラ７０は、スマートフォンやタブレット端末に内蔵されているカメラである。また例えばカメラ７０は、ユーザが身につけている物に取り付けられるカメラである。ユーザが身につけている物とは、例えばヘッドマウントディスプレイや、首から提げている社員証などである。また例えば、カメラ７０は、機器３０が設置されている場所の壁等に設けられてもよい。カメラ７０が壁等に設けられている場合、カメラ７０の撮影範囲（撮影方向やズーム率など）は、リモコンなどによる遠隔操作によって変更できることが好ましい。

図４は、ディスプレイ装置及びカメラを備えたタブレット端末８０を例示する図である。タブレット端末８０は、ディスプレイ装置１０に相当するタッチパネル８２、及びカメラ７０に相当するカメラ８４を有する。カメラ８４によって生成された撮像画像２０は、例えばタッチパネル８２に表示される。

図５は、ディスプレイ装置及びカメラを備えたヘッドマウントディスプレイ９０を例示する図である。ヘッドマウントディスプレイ９０は、前述したディスプレイ装置１０に相当するディスプレイ装置９２、及びカメラ７０に相当するカメラ９４を有する。ここで、ディスプレイ装置９２は、透過型のディスプレイ装置である。ユーザは、ディスプレイ装置９２を介して実世界の景色を見つつ、ディスプレイ装置９２に表示される画像を見ることで、実世界上の景色に画像が重畳された様子を見ることができる。

図５において、カメラ９４は、ディスプレイ装置９２の近くに設けられている。これにより、カメラ９４は、ユーザの視界方向と同じ又はこれに近い方向を撮像することとなる。そのため、カメラ７０によって生成される撮像画像２０に含まれる景色は、ユーザが見ている景色に近い景色となる。

ただし、カメラ９４の撮像方向は任意であり、ユーザの視界方向又はこれに近い方向に限定されない。また、カメラ９４が設けられる位置は、ディスプレイ装置９２の近くに限定されない。また、カメラ９４が設けられるヘッドマウントディスプレイ９０は、透過型のディスプレイ装置を持つヘッドマウントディスプレイに限定されず、非透過型のディスプレイ装置を持つヘッドマウントディスプレイでもよい。ヘッドマウントディスプレイの種類と情報処理装置２０００の実装方法との関係については、必要に応じて後述する。

なお、タブレット端末８０のタッチパネル８２及びカメラ８４をディスプレイ装置１０及びカメラ７０として用いる場合、計算機１０００はタブレット端末８０であってもよいし、タブレット端末８０以外の計算機であってもよい。後者の場合、計算機１０００は、タブレット端末８０から撮像画像２０を取得して撮像画像２０を処理する。また、計算機１０００は、表示６０の表示をタブレット端末８０へ指示する。ヘッドマウントディスプレイ９０のディスプレイ装置９２及びカメラ９４をディスプレイ装置１０及びカメラ７０として利用する場合についても同様である。

ストレージ１０８０は情報処理装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。ここでプロセッサ１０４０は、上記各モジュールを実行する際、これらのモジュールをメモリ１０６０上に読み出してから実行してもよいし、メモリ１０６０上に読み出さずに実行してもよい。

ストレージ１０８０は、点検情報を記憶していてもよい。ただし、点検情報は、情報処理装置２０００の外部の装置（データベースなど）に記憶されていてもよい。点検情報が情報処理装置２０００の外部に装置に記憶されている場合、情報処理装置２０００は、ネットワークなどを介してその外部の装置にアクセスして、点検情報を取得する。

計算機１０００のハードウエア構成は図３に示した構成に限定されない。例えば、各プログラムモジュールはメモリ１０６０に格納されてもよい。この場合、計算機１０００は、ストレージ１０８０を備えていなくてもよい。

＜処理の流れ＞
図６は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。画像取得部２０２０は、撮像画像２０を取得する（Ｓ１０２）。点検情報取得部２０４０は、撮像画像２０に含まれる機器３０の点検情報２００を取得する（Ｓ１０４）。第１表示制御部２０６０は、点検箇所５０を示す表示６０を、ディスプレイ装置１０上の点検箇所５０に重畳して表示する（Ｓ１０６）。

＜画像取得部２０２０の詳細＞
画像取得部２０２０は、カメラ７０によって生成された撮像画像２０を取得する（Ｓ１０２）。画像取得部２０２０が撮像画像２０を取得する方法は様々である。例えば画像取得部２０２０は、カメラ７０から撮像画像２０を取得する。この場合、情報処理装置２０００とカメラ７０とは通信可能に接続されている。

また、カメラ７０が外部の記憶装置に撮像画像２０を記憶する場合、画像取得部２０２０は、この記憶装置から撮像画像２０を取得する。この場合、画像取得部２０２０は、この記憶装置と通信可能に接続されている。

＜点検情報取得部２０４０の詳細＞
点検情報取得部２０４０は、機器３０の点検情報２００を取得する（Ｓ１０４）。機器３０の点検情報２００は、機器３０の点検に関する点検項目を１つ以上示す。点検情報取得部２０４０は、撮像画像２０に含まれる機器３０に対応する点検情報２００を取得する。そのために、例えば点検情報取得部２０４０は、撮像画像２０を画像解析することで、撮像画像２０の中から、機器３０が含まれる領域を割り出す。そして、点検情報取得部２０４０は、この領域に基づいて機器３０の点検情報２００を取得する。例えば点検情報取得部２０４０は、機器３０が含まれる領域の特徴量を算出し、この特徴量を用いて、点検情報２００が記憶されている記憶装置内の情報を検索する。その結果、点検情報取得部２０４０は、撮像画像２０に含まれる機器３０に対応する点検情報を取得する。ここで、撮像画像２０の中から機器３０が含まれる領域を割り出す処理や、その領域の特徴量を算出する処理には、既知の技術を用いることができる。

図７は、点検情報２００をテーブル形式で例示する図である。図６の点検情報２００は、点検項目ＩＤ２０２、点検項目名２０４、点検内容２０６、入力形式２０７、点検箇所２０８、及び表示画像２１０を有する。

点検項目ＩＤ２０２は、点検項目の識別子（ＩＤ：identifier）を示す。点検項目名２０４は、点検項目の名称を示す。点検内容２０６は、点検の内容を示す。例えば点検項目 0001 の点検内容２０６である「正常値（１０−１５Ｖ）内確認」は、「点検箇所であるメータの値が、１０Ｖ以上１５Ｖ以下という正常値の範囲に含まれていることを確認する」という点検作業を表す。また、点検項目 0006 の点検内容２０６である「設定値を入力」は、「点検箇所であるつまみの位置（設定値）を入力して記録する」という点検作業を表す。また、点検項目 0007 の点検内容２０６である「ON/OFF を入力」は、「点検箇所であるスイッチの ON/OFF を入力して記録する」という点検作業を表す。

入力形式２０７は、ユーザから受け付ける入力の形式を表す。例えば点検項目 0001 の入力形式２０７は、OK と NG という２択の入力を受け付けることを示している。

点検箇所２０８は、撮像画像２０に含まれる景色の中から点検箇所５０の位置を特定するための情報を示す。例えば点検箇所２０８は、点検箇所５０の外見の特徴量を示す。ここで、点検箇所２０８に示す点検箇所５０の外見の特徴量は、点検箇所５０自体だけでなく、点検箇所５０の周囲を含めた外見の特徴量であってもよい。例えばメータの付近にそのメータの ID が表記されている場合、点検箇所２０８は、メータ自体だけでなく、メータの周囲にある ID が含まれる範囲の特徴量を示す。例えば図２の機器３０上に設けられている３つのメータのように、機器３０は、外見が互いに類似している複数の点検箇所５０を含むことがある。そこで、点検箇所２０８が、点検箇所５０自体だけでなく、点検箇所５０の周囲に記載されている点検箇所５０の ID などの情報も含まれる範囲の特徴量を示すようにすることで、外見が互いに類似している複数の点検箇所５０を区別することができる。

また例えば、点検箇所２０８は、機器３０全体における点検箇所５０の相対位置を示す。例えば点検箇所５０の相対位置は、機器３０を正面から平面視した場合における機器３０の左上端を原点、水平方向の右方向を X 軸、垂直方向の下方向を Y 軸とする XY 座標で表される。

ただし、点検箇所２０８が示す情報は、撮像画像２０に含まれる景色の中から点検箇所５０の位置を特定できる情報であればよく、外見の特徴量や相対位置には限定されない。

表示画像２１０は、表示６０と合わせて点検箇所５０付近に表示される画像を示す。例えば点検項目 0001 の場合、第１表示制御部２０６０は、点検箇所５０の付近に「正常値内確認」という吹き出しの表示の画像、及び点検項目を示すレコードの画像を表示する。

図７の点検情報２００において、点検項目 0000 のレコードは、機器３０に関する情報を示す。例えば機器３０に関する情報は、機器３０の特徴量である。点検項目 0000のレコードは、点検情報取得部２０４０が、撮像画像２０に含まれる機器３０に対応する点検情報２００を取得する際に利用される。また図７のように、点検項目 0000 の表示画像２１０に画像が示されている場合、第１表示制御部２０６０は、その画像をディスプレイ装置１０上の機器３０の付近に表示してもよい。

＜第１表示制御部２０６０の詳細＞
第１表示制御部２０６０は、点検箇所５０を示す表示６０を、ディスプレイ装置１０上の点検箇所５０に重畳して表示する（Ｓ１０６）。まず第１表示制御部２０６０は、取得した点検情報２００に示される点検箇所２０８を用いることで、撮像画像２０の中から、点検箇所５０の位置を割り出す。例えば点検箇所２０８が点検箇所５０の外見の特徴量を示す場合、第１表示制御部２０６０は、撮像画像２０を画像解析することで、この特徴量を示す領域を割り出す。この領域が、点検箇所５０の位置となる。また例えば、点検箇所２０８が機器３０全体における点検箇所５０の相対位置を示す場合、第１表示制御部２０６０は、撮像画像２０に含まれる機器３０の領域と、点検箇所２０８に示される相対位置とから、撮像画像２０における点検箇所５０の位置を割り出す。なお、図２に示す３つのメータのように、機器３０上に外見が類似する点検箇所が複数ある場合、第１表示制御部２０６０は、機器３０上における点検箇所５０の相対位置を利用する。

第１表示制御部２０６０は、撮像画像２０上の点検箇所５０の位置に基づいて、ディスプレイ装置１０上の点検箇所５０に表示６０が重畳されるように、又は点検箇所５０の付近に表示６０が重畳されるように、表示６０を表示する。ここで、第１表示制御部２０６０がディスプレイ装置１０に表示する画像は、１）ユーザがディスプレイ装置１０に表示されている機器３０の画像を見ているのか、又は２）ユーザが実世界上の機器３０を見ているのか、によって異なる。以下、それぞれの場合について説明する。

１）の場合、例えばディスプレイ装置１０は、タブレット端末８０のタッチパネル８２や、非透過型のヘッドマウントディスプレイ９０のディスプレイ装置９２である。これらの場合、第１表示制御部２０６０は、撮像画像２０上の点検箇所５０に表示６０を重畳した画像を生成し、その画像をディスプレイ装置１０に表示する。

図８は、撮像画像２０に表示６０が重畳された画像がディスプレイ装置に表示される様子を例示する図である。図８（ａ）では、撮像画像２０に表示６０が重畳された画像が、タブレット端末８０のタッチパネル８２に表示されている。一方、図８（ｂ）では、撮像画像２０に表示６０が重畳された画像が、非透過型のヘッドマウントディスプレイ９０のディスプレイ装置９２に表示されている。

一方、２）の場合（ユーザが実世界上の機器３０を見ている場合）、例えばディスプレイ装置１０は、透過型のヘッドマウントディスプレイ９０のディスプレイ装置９２である。この場合、ユーザは、ディスプレイ装置１０の先に存在する実世界の機器３０を見ることができる。そのため、第１表示制御部２０６０は、撮像画像２０をディスプレイ装置１０に表示する必要がなく、表示６０をディスプレイ装置１０に表示する。第１表示制御部２０６０がディスプレイ装置１０の適切な位置に表示６０を表示することで、ユーザの目から見えるディスプレイ装置１０には、実世界の機器３０上の点検箇所５０と表示６０とが重なって見えることとなる。

図９は、ディスプレイ装置に表示６０が表示される様子を例示する図である。図８では、表示６０が透過型のヘッドマウントディスプレイ９０のディスプレイ装置９２に表示されている。ユーザは、ディスプレイ装置９２に表示された表示６０と、ディスプレイ装置９２の先に見える機器３０上の点検箇所５０とを同時に見ることで、表示６０が点検箇所５０に重畳された様子を見ることができる。

透過型のヘッドマウントディスプレイ９０の場合、第１表示制御部２０６０は、撮像画像２０上の点検箇所５０の位置に基づいて、表示６０を表示するディスプレイ装置９２上の位置（前述した「適切な位置」）を算出する。具体的には、第１表示制御部２０６０は、撮像画像２０上の点検箇所５０の位置を、ディスプレイ装置９２上の位置に変換することで、表示６０を表示するディスプレイ装置９２上の位置を算出する。

ここで、撮像画像２０上の位置とディスプレイ装置９２上の位置との対応関係は、カメラ９４に関する各種のパラメタ（画角や焦点距離）や、ディスプレイ装置９２とカメラ９４との位置関係などに基づいて定まる。この対応関係は、これらのパラメタなどを用いて第１表示制御部２０６０によって算出されてもよいし、設定値として予め定められていてもよい。

＜＜表示６０として用いる画像について＞＞
第１表示制御部２０６０が表示６０として用いる画像は任意である。例えば第１表示制御部２０６０は、点検箇所５０の一部又は全部を囲う図形（円形や四角形など）の画像を表示６０として用いる。この場合、前述したように、第１表示制御部２０６０は、円形などの図形である表示６０と合わせて、図７の表示画像２１０に示される画像を点検箇所５０の付近に表示してもよい。図１０は、表示６０と合わせて表示画像２１０に示される画像が表示される様子を例示する図である。図１０において、第１表示制御部２０６０は、表示６０、補助表示６２及び補助表示６４を表示している。

また例えば、第１表示制御部２０６０は、点検箇所５０を囲う図形の代わりに、図７の表示画像２１０に示される画像を表示６０として用いてもよい。

＜＜点検作業の進行に伴う表示６０の変更＞＞
点検情報２００が複数の点検項目を示す場合、情報処理装置２０００のユーザは、複数の点検項目を順次点検していく。そこで情報処理装置２０００は、点検情報２００に含まれる点検項目を順次処理していく。そのために、第１表示制御部２０６０は、点検作業の進行に伴って、表示６０の表示位置などを変更していく。

図１１は、複数の点検項目を含む点検情報２００を情報処理装置２０００が処理する流れを例示するフローチャートである。Ｓ２０２からＳ２０８は、各点検項目について順次実行されるループ処理Ａである。Ｓ２０２において、第１表示制御部２０６０は、点検情報２００に示される全ての点検項目についてループ処理Ａを実行したか否かを判定する。既に全ての点検項目についてループ処理Ａを実行した場合、図１１の処理は終了する。一方、まだループ処理Ａの対象となっていない点検項目がある場合、第１表示制御部２０６０は、次の点検項目を取得する。ここで、次の点検項目を点検項目ｉと表記する。

第１表示制御部２０６０は、点検項目ｉに対応する点検箇所５０を示す表示６０をディスプレイ装置１０に表示する（Ｓ２０４）。情報処理装置２０００は、点検項目ｉに関する点検結果の入力をユーザから受け付ける（Ｓ２０６）。Ｓ２０８は、ループ処理Ａの終端である。そこで、図１１の処理は、Ｓ２０８からＳ２０２に進む。

なお、Ｓ２０２において、第１表示制御部２０６０が複数の点検項目の中から点検項目ｉを選択する方法は任意である。例えば第１表示制御部２０６０は、まだループ処理Ａの対象とされていない点検項目の中から、点検項目ｉをランダムに選択する。また例えば、第１表示制御部２０６０は、点検情報２００において予め定められている順番に従って、点検項目を選択する。点検情報２００において予め定められている点検項目の順番は、例えば点検項目ＩＤ２０２の昇順である。

さらに第１表示制御部２０６０は、ユーザが視線を向けた点検項目を点検項目ｉとして選択してもよい。具体的には、第１表示制御部２０６０は、まだループ処理Ａの対象とされていない点検項目それぞれに対応する点検箇所について、撮像画像２０上の位置を算出する。ここで用いられる撮像画像２０は、例えば撮像時点が最も遅い（最も新しい）撮像画像２０である。そして第１表示制御部２０６０は、各点検箇所のうち、撮像画像２０上の基準位置（例えば撮像画像２０の中心位置）との距離が最も短い点検箇所を割り出す。そして、第１表示制御部２０６０は、割り出された点検箇所に対応する点検項目を、点検項目ｉとして選択する。

なお、割り出された点検箇所に対応する点検項目が複数ある場合、例えば第１表示制御部２０６０は、これらの点検項目からランダムに選択した点検項目や、予め定められている順番がもっとも早い点検項目を、点検項目ｉとして選択する。

このようにすることで、できる限りユーザが視線方向を変えずに点検箇所５０を見ることができるようになる。よって、ユーザが点検作業に要する労力をさらに減らすことができる。

＜入力を受け付ける方法について＞
情報処理装置２０００がユーザから入力を受け付ける方法は様々である。例えば情報処理装置２０００は、キーボードやタッチパネルを用いたキー入力を受け付けてもよいし、マイクを用いた音声入力を受け付けてもよい。また情報処理装置２０００は、カメラ７０を用いてユーザのジェスチャを撮影することで、ジェスチャ入力を受け付けてもよい。その他の入力方法については、後述の実施形態で説明する。

［実施形態２］
図１２は、実施形態２の情報処理装置２０００を例示するブロック図である。実施形態２の情報処理装置２０００は、第２表示制御部２０８０をさらに有する。第２表示制御部２０８０は、ディスプレイ装置１０に入力インタフェースの画像（以下、インタフェース画像）を表示する。情報処理装置２０００は、このインタフェース画像に対する操作を認識することで、ユーザによる入力を受け付ける。

図１３は、タブレット端末８０のタッチパネル８２にインタフェース画像が表示されている様子を例示する図である。図１３において、インタフェース画像は、キーボードを表すキーボード画像１００である。ユーザは、タッチパネル８２に表示されたキーボード画像１００をタッチすることで、文字等の入力を行う。ユーザによる入力は入力欄１４０に表示される。ここで、タブレット端末８０のタッチパネル８２にキーボード画像１００などのインタフェース画像を表示する方法、及びタブレット端末８０がインタフェース画像に対する入力を受け付ける方法には、既知の技術を利用できる。

図１４は、ヘッドマウントディスプレイ９０のディスプレイ装置９２にキーボード画像１００が表示される様子を例示している。ユーザは、キーボード画像１００を操作することで入力を行う。例えばヘッドマウントディスプレイ９０は、キーボード画像１００が表示されている場所（図１４ではユーザの左腕）に加えられた振動を検出することで、インタフェース画像が操作されたことを検出する。

図１４において、ユーザは時計型のデバイス１１０を装着している。デバイス１１０には、振動センサが内蔵されている。ユーザが左腕をタップすると、デバイス１１０に内蔵されている振動センサが、タップによって発生した振動を検出する。デバイス１１０は、振動の検出をヘッドマウントディスプレイ９０へ通知する。ヘッドマウントディスプレイ９０は、この通知を受信することで、ユーザの左腕に振動が加えられたことを把握する。

さらにヘッドマウントディスプレイ９０は、ユーザの左腕に振動が加えられたタイミングで生成された撮像画像２０を画像解析して、その撮像画像２０においてユーザの指がインタフェース画像のどの部分に重なっているかを割り出す。そして、ヘッドマウントディスプレイ９０は、その重なっている部分がユーザによって操作された部分であると判定する。例えばヘッドマウントディスプレイ９０は、振動が検出されたタイミングで生成された撮像画像２０上におけるユーザの指の位置を算出する。そして、ヘッドマウントディスプレイ９０は、ディスプレイ装置９２に表示されているインタフェース画像の位置、及び撮像画像２０におけるユーザの指の位置に基づいて、ユーザの指がインタフェース画像のどのキーに重なっているかを割り出す。例えばユーザの指の位置がＡのキーに重なる位置である場合、ヘッドマウントディスプレイ９０は、Ａのキーが押されたことを割り出す。なお、前述した通り、撮像画像２０上の位置とディスプレイ装置９２上の位置との対応関係は、カメラ９４に関する各種のパラメタや、ディスプレイ装置９２とカメラ９４との位置関係などに基づいて定まる。

ここで、ユーザによってどのボタン（キーなど）が押されたのかを判定するために、ヘッドマウントディスプレイ９０は、各ボタンがインタフェース画像上のどの位置に設けられているのかを把握する必要がある。そのために、例えばヘッドマウントディスプレイ９０は、第２表示制御部２０８０によって表示されるインタフェース画像について、そのインタフェース画像に関する情報（以下、インタフェース情報）を取得する。

図１５はインタフェース情報をテーブル形式で例示する図である。図１５のインタフェース情報３００は、ボタンＩＤ３０２、ボタン名３０４、及び座標情報３０６を有する。ボタンＩＤ３０２はボタンのＩＤを示す。ボタン名３０４はボタンの名称を示す。座標情報３０６はインタフェース画像上におけるボタンの位置（ボタンが占める領域）を示す。例えば座標情報３０６は、インタフェース画像の左上端を原点とする座標を用いて表される。図１５において、座標情報３０６は、ボタンの領域の左上端の座標及び右下端の座標を、インタフェース画像の左上端を原点とする座標で表している。

例えば情報処理装置２０００は、ディスプレイ装置１０上のインタフェース画像の位置及び撮像画像２０上のユーザの指の位置に基づいて、インタフェース画像上におけるユーザの指の位置を算出する。そして、情報処理装置２０００は、算出した相対及び各ボタンの座標情報３０６に基づいて、ユーザの指の位置に対応するボタン（押されているボタン）を割り出す。

なお、振動センサを用いて入力を検出する上述の方法はあくまで例示であり、振動センサは必須の構成要素ではない。例えばヘッドマウントディスプレイ９０は、同一のキー上に所定時間以上ユーザの指が重なっている場合に、そのキーが操作されたと検出してもよい。

＜表示されるインタフェース画像について＞
ディスプレイ装置１０に表示されるインタフェース画像は、予め定められている１つの画像であってもよいし、ユーザの選択によって変更可能な画像であってもよい。前者の場合、例えばインタフェース画像は、予め第２表示制御部２０８０に設定されている。また例えば、ディスプレイ装置１０に表示するインタフェース画像を示す情報が、第２表示制御部２０８０からアクセス可能な記憶装置に記憶されている。

一方、インタフェース画像がユーザの選択によって変更可能である場合、例えば第２表示制御部２０８０は、まずデフォルトのインタフェース画像をディスプレイ装置１０に表示する。その際、インタフェース画像には、別のインタフェース画像を選択するためのキーの画像が含まれている。ユーザは、このキーを操作することで、インタフェース画像の切り換えを行う。図１６は、キーボード画像１００以外のインタフェース画像を例示する図である。図１６（ａ）は、テンキーを表すインタフェース画像を例示する。図１６（ｂ）は、ON/OFF の選択肢を表すインタフェース画像を例示する。

また、インタフェース画像は、点検箇所５０に応じて異なっていてもよい。例えば、点検箇所５０に対する点検作業が任意の数値の入力を伴う場合、インタフェース画像は、テンキーの画像（図１６（ａ））などである。また例えば、点検箇所５０に対する点検作業が複数の選択肢のいずれかを選択する入力を伴う場合、インタフェース画像は、その選択肢を表すインタフェース画像（図１６（ｂ））などである。選択肢の選択を伴う点検箇所５０には、例えば ON 又は OFF の状態をとりうるスイッチがある。

インタフェース画像が点検箇所５０に応じて異なる場合、点検情報２００の各項目は、その項目の点検箇所５０に対応するインタフェース画像の ID 又は種類を示す。インタフェース画像の ID は、例えばインタフェース画像のファイル名である。インタフェース画像の種類は、キーボードやテンキーなどである。

図１７は、インタフェース画像の ID 又は種類を示す点検情報２００を例示する図である。図１７に示す点検情報２００は、図７に示す点検情報２００が有する各列に加え、インタフェース画像２１２をさらに有する。ただし、図を見やすくするため、図１７に示す点検情報２００では表示画像２１０の内容を省略している。

インタフェース画像２１２は、インタフェース画像の ID 又は種類を示す。例えば項目 0001 のインタフェース画像２１２は「if001.png」というインタフェース画像の ID（ファイル名）を示している。一方、項目 0006 のインタフェース画像２１２は「テンキー」というインタフェース画像の種類を示している。

点検情報２００にインタフェース画像の ID が示されている場合、第２表示制御部２０８０は、その ID を持つインタフェース画像を取得し、取得したインタフェース画像をディスプレイ装置１０に表示する。一方、第２表示制御部２０８０は、点検情報２００においてインタフェース画像の種類が示されている場合、その種類のインタフェース画像を取得し、取得したインタフェース画像をディスプレイ装置１０に表示する。

ここで、インタフェース画像は、情報処理装置２０００の内部又は外部の記憶装置に記憶されていてもよいし、点検情報２００に含まれていてもよい。

図１８は、点検項目にインタフェース画像が対応付けられている場合における第２表示制御部２０８０の処理の流れを例示するフローチャートである。Ｓ３０２からＳ３０８は、各点検項目について順次実行されるループ処理Ｂである。Ｓ３０２において、第２表示制御部２０８０は、点検情報２００に示される全ての点検項目についてループ処理Ｂを実行したか否かを判定する。既に全ての点検項目についてループ処理Ｂを実行した場合、図１８の処理は終了する。一方、まだループ処理Ｂの対象となっていない点検項目がある場合、第２表示制御部２０８０は、次の点検項目を取得する。ここで、次の点検項目を点検項目ｉと表記する。

第２表示制御部２０８０は、点検項目ｉに対応するインタフェース画像を表示する（Ｓ３０４）。情報処理装置２０００は、点検項目ｉに関する点検結果の入力をユーザから受け付ける（Ｓ３０６）。Ｓ３０８は、ループ処理Ｂの終端である。そこで、図１８の処理は、Ｓ３０８からＳ３０２に進む。

なおＳ３０２において第２表示制御部２０８０が複数の点検項目の中から点検項目ｉを選択する方法は、実施形態１で説明した、Ｓ２０２において第１表示制御部２０６０が複数の点検項目の中から点検項目ｉを選択する方法と同様である。

＜インタフェース画像を表示するタイミング＞
第２表示制御部２０８０がインタフェース画像を表示するタイミングは様々である。例えば第２表示制御部２０８０は、第１表示制御部２０６０が表示６０をディスプレイ装置１０に表示するタイミングと同じタイミング又はそれに近いタイミングで、インタフェース画像をディスプレイ装置１０に表示する。

また例えば、第２表示制御部２０８０は、インタフェース画像を表示するための目印となるマーカが撮像画像２０に含まれたタイミング（マーカがカメラによって撮像されたタイミング）で、インタフェース画像をディスプレイ装置１０に表示してもよい。図１９は、マーカが撮像画像２０に含まれている様子を例示する図である。図１９において、マーカは、ユーザが腕に付けている時計型のデバイス１１０のタッチパネル１１２に表示されているマーカ画像１１４である。第２表示制御部２０８０は、カメラによって生成される撮像画像２０を繰り返し画像解析し、撮像画像２０にマーカ画像１１４が含まれていることを検出した場合に、インタフェース画像（図１９ではキーボード画像１００）を表示する。

ここで、マーカとして利用できるものは、前述したマーカ画像１１４に限定されない。マーカは、画像解析によって検出できる任意の目印（文字、図形又は記号など）でよい。例えばマーカは、ユーザの腕などに直接描画された所定の目印である。また例えば、マーカは、ユーザの腕などに身に付けられた任意の物に描画された所定の目印である。ユーザの腕に身につけられた物とは、例えばユーザの指に取り付けられている指輪、ユーザの手首に取り付けられているリストバンド、又はユーザが着ている服の袖などである。例えばマーカは、点検作業を行う作業員が共通で身に付ける作業着の袖に印字される。なお、マーカは、手で描画されたものでもよいし、印字されたものでもよい。

マーカとして認識する目印を特定する情報は、第２表示制御部２０８０に予め設定されていてもよいし、第２表示制御部２０８０からアクセス可能な記憶装置に記憶されていてもよい。

図２０は、マーカを利用して入力インタフェースの画像を表示する処理を例示するフローチャートである。画像取得部２０２０は撮像画像２０を取得する（Ｓ４０２）。第２表示制御部２０８０は撮像画像２０にマーカが含まれているか否かを判定する（Ｓ４０４）。撮像画像２０にマーカが含まれている場合（Ｓ４０４：ＹＥＳ）、第２表示制御部２０８０は入力インタフェースの画像をディスプレイ装置１０に表示する（Ｓ４０６）。一方、撮像画像２０にマーカが含まれていない場合（Ｓ４０４：ＮＯ）、図２０の処理は終了する。

＜インタフェース画像の表示位置＞
第２表示制御部２０８０がインタフェース画像を表示する位置は様々である。例えば第２表示制御部２０８０は、ディスプレイ装置１０の所定位置にインタフェース画像を表示する。例えば所定位置は、ディスプレイ装置１０の四隅のいずれかなどである。この所定位置を表す情報は、予め第２表示制御部２０８０に設定されていてもよいし、第２表示制御部２０８０からアクセス可能な記憶装置に記憶されていてもよい。

また例えば第２表示制御部２０８０は、前述したマーカの位置に基づいて、インタフェース画像の表示位置を決定してもよい。具体的には、インタフェース画像の表示位置は、マーカの位置との相対位置として予め定義される。第２表示制御部２０８０は、撮像画像２０に含まれているマーカの位置から、撮像画像２０上のインタフェース画像の位置を算出する。そして第２表示制御部２０８０は、算出した位置にインタフェース画像を重畳した撮像画像２０を、ディスプレイ装置１０に表示する。

なお前述したように、撮像画像２０をディスプレイ装置１０に表示しない形態（透過型のヘッドマウントディスプレイ９０を利用する形態など）の場合、第２表示制御部２０８０は、撮像画像２０上のインタフェース画像の位置を、ディスプレイ装置１０上の位置に変換する。そして、第２表示制御部２０８０は、この変換によって算出したディスプレイ装置１０上の位置に、インタフェース画像を表示する。

＜作用・効果＞
本実施形態の情報処理装置２０００によれば、ユーザは、情報処理装置２０００を用いて点検結果の入力を行うことができる。そのため、例えばノートなどの紙媒体に点検結果を記入しなければいけない場合と比較し、ユーザにとって点検結果の入力作業が容易になる。特に、点検項目に応じてインタフェース画像の ID や種類が定められている場合、ユーザは点検項目に応じた入力結果をより容易に行えるようになる。これは、点検項目に応じたインタフェース画像が、自動でディスプレイ装置１０に表示されるためである。

［実施形態３］
図２１は、実施形態３の情報処理装置２０００を例示するブロック図である。以下で説明する点を除き、実施形態３の情報処理装置２０００は、実施形態１若しくは２の情報処理装置２０００、又はこれらの組み合わせと同様の機能を有する。

実施形態３において、情報処理装置２０００は、第３表示制御部２１００をさらに含む。第３表示制御部２１００は、機器３０を含まない撮像画像２０が取得された場合に、機器３０の画像及び表示６０をディスプレイ装置１０上に表示する。これにより、ユーザは、機器３０が視界に入らなくなった場合にも機器３０を見ることができるようになり、点検箇所を把握できるようになる。

図２２は、タブレット端末８０のタッチパネル８２に機器３０の画像が表示されている様子を例示している。図２２において、撮像範囲１２０は、カメラ８４の撮像範囲を表している。図の通り、実際の機器３０は、カメラ８４の撮像範囲の外にある。よって、撮像画像２０には機器３０が含まれない。そこで、第３表示制御部２１００は、機器３０の画像をタッチパネル８２に表示する。また、タッチパネル８２に表示されている機器３０の画像上の点検箇所５０には、表示６０が重畳して表示されている。ユーザは、タッチパネル８２に表示されている機器３０及び表示６０を見ることで、現在の点検箇所を把握できる。ディスプレイ装置１０がヘッドマウントディスプレイ９０のディスプレイ装置９２である場合についても、同様となる。

ここで前述した通り、透過型のヘッドマウントディスプレイ９０を利用する場合、ユーザは、撮像画像２０に含まれる機器３０を見るのではなく、実際の機器３０を見ることになる。しかしこの場合にも、カメラ９４の撮像方向とユーザの視点方向とが同一又は近似となるようにカメラ９４の位置及び画角などを設定しておけば、撮像画像２０に機器３０が含まれていないときには、ユーザの視界に機器３０が入らない。よって、第３表示制御部２１００は、撮像画像２０に機器３０が含まれているか否かを判定することで、ユーザの視界に機器３０が入っているか否かを間接的に把握することができる。よって、撮像画像２０に機器３０が含まれていない場合に機器３０の画像がディスプレイ装置９２に表示されることで、ユーザは、機器３０が視界から外れた場合に、実際の機器３０の代わりに、機器３０の画像を見ることができるようになる。

＜機器３０の画像を表示する方法について＞
第３表示制御部２１００は、ディスプレイ装置１０に表示する機器３０の画像を取得する。ここで、第３表示制御部２１００が機器３０の画像を取得する方法は様々である。例えば第３表示制御部２１００は、機器３０が含まれていた撮像画像２０の全体、又はその撮像画像２０の内の機器３０が含まれる領域を、機器３０の画像をとして取得する。また例えば、図７の点検情報２００のように、点検情報２００が機器の画像を含んでいる場合、第３表示制御部２１００は、点検情報２００に含まれている機器３０の画像を取得してもよい。

機器３０の画像が表示されるディスプレイ装置１０上の位置は任意である。例えば第３表示制御部２１００は、ディスプレイ装置１０上の所定位置（四隅のいずれかなど）に機器３０の画像を表示する。この所定位置を定める情報は、第３表示制御部２１００に予め設定されていてもよいし、第３表示制御部２１００からアクセス可能な記憶装置に記憶されていてもよい。

また例えば、第３表示制御部２１００は、実施形態２で説明したマーカを基準として定まる位置に、機器３０の画像を表示してもよい。この場合、第３表示制御部２１００は、マーカが撮像画像２０に含まれている場合に、機器３０の画像を表示する。なお、第３表示制御部２１００がマーカの位置に基づいた位置に機器３０の画像を表示する方法は、第２表示制御部２０８０がマーカの位置に基づいた位置にインタフェース画像を表示する方法と同様である。

＜表示６０の変更について＞
機器３０の画像がディスプレイ装置１０に表示されている状態でユーザが点検結果の入力を行った場合、第３表示制御部２１００は、機器３０の画像上における表示６０の表示位置などを、次の点検項目に対応するものに変更する。こうすることでユーザは、機器３０が撮像画像２０に含まれていない状態で点検結果を入力した場合でも、次の点検箇所５０を把握できるようになる。よって、ユーザは、次に見るべき点検箇所５０へ容易に目を向けることができるようになる。

図２３は、機器３０の画像がタッチパネル８２に表示されている状態で点検結果が入力される様子を例示する図である。図２３（ａ）は点検箇所５０−１についての点検結果が入力される前の様子を表しており、図２３（ｂ）は点検箇所５０−１についての点検結果が入力された後の様子を表している。図２３（ａ）では、点検箇所５０−１に対して表示６０−１が重畳されている。一方、図２３（ｂ）では、点検箇所５０−１の次の点検箇所である点検箇所５０−２に表示６０−２が重畳されている。

＜機器３０の画像を表示する条件について＞
上述の説明では、第３表示制御部２１００は、「機器３０が撮像画像２０に含まれていない場合」に機器３０の画像を表示している。しかし、第３表示制御部２１００が機器３０の画像の表示を行うのは、機器３０が撮像画像２０に完全に含まれてない場合に限定されない。例えば第３表示制御部２１００は、撮像画像２０に含まれている機器３０の大きさが、機器３０全体の大きさに対して所定の割合以下である場合に、機器３０の画像を表示する。また例えば、第３表示制御部２１００は、機器３０が撮像画像２０に含まれているものの、現在の点検箇所５０が表示６０に含まれていない場合に、機器３０の画像を表示する。また例えば、第３表示制御部２１００は、マーカが撮像画像２０に含まれている場合、機器３０が撮像画像２０に含まれているか否かに関わらず、機器３０の画像を表示する。

［実施形態４］
図２４は、実施形態４の情報処理装置２０００を例示するブロック図である。以下で説明する点を除き、実施形態４の情報処理装置２０００は、実施形態１から実施形態３の情報処理装置２０００のいずれか、又はこれらの組み合わせと同様の機能を有する。

実施形態４の情報処理装置２０００は第４表示制御部２１２０をさらに有する。第４表示制御部２１２０は、点検項目に対応する点検箇所５０が撮像画像２０に含まれていない場合、その点検箇所５０が位置する方向を示す表示を、ディスプレイ装置１０に表示する。

図２５は、実施形態４の情報処理装置２０００の動作を概念的に例示する図である。図２５（ａ）は、撮像画像２０がタブレット端末８０のタッチパネル８２に表示されている様子を示している。撮像画像２０には、機器３０の一部しか含まれていない。そのため、タッチパネル８２には、機器３０の一部しか表示されない。

図２５（ｂ）は、実際の機器３０を示している。現在の点検項目は、図２５（ｂ）で示されている点検箇所５０である。この点検箇所５０は、カメラ８４の撮像範囲外に位置するため、撮像画像２０に含まれていない。そのため、図２５（ａ）のタッチパネル８２には、点検箇所５０が含まれていない。

そこで図２５（ａ）に示すように、第４表示制御部２１２０は、点検箇所５０が位置する方向を示す表示１３０をタッチパネル８２（ディスプレイ装置１０）に表示する。これにより、ユーザは、点検箇所５０のおおよその位置を把握することができる。

例えばユーザは、表示１３０を参考にし、タブレット端末８０を下方へ傾けるなどの動作を行うことで、カメラ９４を点検箇所５０へ向ける。こうすることで点検箇所５０がカメラ９４の撮像範囲に入ると、情報処理装置２０００は、実施形態１などで説明したように、タッチパネル８２に表示される点検箇所５０に重畳するように表示６０を表示する。その結果、ユーザは、点検箇所５０の位置などを具体的に把握することができる。

＜点検箇所５０が位置する方向の算出方法＞
本実施形態において、点検情報２００の点検箇所２０８は、機器３０上における点検箇所５０の相対位置を示す。撮像画像２０には、機器３０の一部が含まれている。第４表示制御部２１２０は、撮像画像２０に含まれている機器３０の一部と、機器３０上における点検箇所５０の相対位置とを用いて、撮像画像２０によって定まる平面上における点検箇所５０の位置を算出する。そして、第４表示制御部２１２０は、表示１３０を表示する位置を始点とし、その位置から上記算出した点検箇所５０の位置へ向かう方向又はそれに近い方向を、表示１３０が表す方向とする。「それに近い方向」とは、例えば、上下左右の４方向のうち、表示１３０を表示する位置から見た点検箇所５０の方向に最も近い方向である。

図２６は、表示１３０が示す方向を算出する方法を概念的に示す図である。図２６（ａ）は、現在の点検箇所５０であるスイッチの位置を、機器３０上の相対位置として示す図である。図２６（ａ）における XY 平面の原点は、機器３０の左上端である。そして、点検箇所５０の中心の座標は (a, b) である。

図２６（ｂ）は、撮像画像２０によって定まる平面を示す図である。図２６（ｂ）に示す XY 平面の原点は、撮像画像２０の左上端である。そして、この XY 平面において、機器３０の左上端の座標は (x0, y0) であり、表示１３０を表示する位置は、(x1, y1）である。第４表示制御部２１２０は、撮像画像２０によって定まる平面における点検箇所５０の中心の座標を算出する。この座標は (x0+a, y0+b) となる。そこで第４表示制御部２１２０は、表示１３０が示す方向として、始点が（x1, y1) であり、終点が（x0+a, y0+b）となる方向を算出する。

なお、表示１３０を表示する位置は、予め定められている所定の位置（例えばディスプレイ装置１０の中央や四隅）でもよいし、点検箇所５０の位置に応じて定まる位置であってもよい。図２７は、点検箇所５０の位置に応じて表示１３０を表示する位置が定まるケースを例示する図である。例えば点検箇所５０の位置が撮像画像２０に含まれている領域よりも右に位置する場合、第４表示制御部２１２０は、タッチパネル８２の右端付近に表示１３０−１（右方向の矢印）を表示する。また例えば、点検箇所５０の位置が撮像画像２０に含まれている領域よりも下に位置する場合、第４表示制御部２１２０は、タッチパネル８２の下端付近に表示１３０−２（下方向の矢印）を表示する。点検箇所５０の位置が撮像画像２０に含まれている領域よりも左や上に位置する場合も同様である。

＜処理の流れ＞
図２８は、第１表示制御部２０６０及び第４表示制御部２１２０によって実行される処理の流れを例示するフローチャートである。Ｓ５０２からＳ５１２は、各点検項目について順次実行されるループ処理Ｃである。Ｓ５０２において、第４表示制御部２１２０は、点検情報２００に示される全ての点検項目についてループ処理Ｃを実行したか否かを判定する。既に全ての点検項目についてループ処理Ｃを実行した場合、図２８の処理は終了する。一方、まだループ処理Ｃの対象となっていない点検項目がある場合、第４表示制御部２１２０は、次の点検項目を取得する。ここで、次の点検項目を点検項目ｉと表記する。

第４表示制御部２１２０は、点検項目ｉに対応する点検箇所５０が撮像画像２０に含まれているか否かを判定する（Ｓ５０４）。点検項目ｉに対応する点検箇所５０が撮像画像２０に含まれている場合、図２８の処理はＳ５０６に進む。一方、点検項目ｉに対応する点検箇所５０が撮像画像２０に含まれていない場合、図２８の処理はＳ５１０に進む。

Ｓ５０６において、第１表示制御部２０６０は、点検項目ｉに対応する点検箇所５０を示す表示６０をディスプレイ装置１０に表示する。情報処理装置２０００は、点検項目ｉに関する点検結果の入力をユーザから受け付ける（Ｓ５０８）。

一方、Ｓ５１０において、第４表示制御部２１２０は、点検項目ｉに対応する点検箇所５０が位置する方向を示す表示１３０をディスプレイ装置１０に表示する。

Ｓ５１２はループ処理Ｃの終端である。そこで、図２８の処理はＳ５０２に進む。

なおＳ５０２において第４表示制御部２１２０が複数の点検項目の中から点検項目ｉを選択する方法は、実施形態１で説明した、第１表示制御部２０６０が複数の点検項目の中から点検項目ｉを選択する方法と同様である。

＜作用・効果＞
本実施形態の情報処理装置２０００は、撮像画像２０に点検箇所５０が含まれていない場合に、点検箇所５０が位置する方向を示す表示１３０を、ディスプレイ装置１０に表示する。この表示１３０は、ユーザがカメラ７０を点検箇所５０へ向けるための手がかりになる。よって、カメラ７０の撮像範囲に点検箇所５０が入っていない場合でも、カメラ７０の撮像範囲に点検箇所５０が入るようにユーザを誘導することにより、ユーザが点検箇所５０を容易に把握できるようになる。

［実施形態５］
図２９は、実施形態５の情報処理装置２０００を例示するブロック図である。以下で説明する点を除き、実施形態５の情報処理装置２０００は、実施形態１から４のいずれかの情報処理装置２０００、又はこれらの組み合わせと同様の機能を有する。

実施形態５の情報処理装置２０００は異常判定部２１４０及び追加情報取得部２１６０を有する。異常判定部２１４０は、点検項目について受け付けた点検結果の入力が異常な状態を示すか否かを判定する。点検結果の入力が異常な状態を示すとは、例えばメータが正常値の範囲に含まれない値を示していたり、ON となっているべきスイッチが OFF になっていたりする状態を意味する。追加情報取得部２１６０は、点検結果の入力が異常な状態を示す場合、追加情報を取得する。

異常判定部２１４０は、点検情報を利用して、点検結果の入力が異常な状態を示すか否かを判定する。そのために、本実施形態の点検情報は、各点検項目の点検箇所について、正常な状態又は異常な状態を把握するための情報（以下、参照情報）を含む。例えば参照情報は、メータなどの正常値の範囲又は異常値の範囲を示す。また例えば参照情報は、ON/OFF されるスイッチなどについて、正常な状態では ON と OFF のどちらなのか、又は異常な状態では ON と OFF のどちらなのかなどを示す。

追加情報取得部２１６０が取得する追加情報は、点検箇所に異常があった場合にユーザに提供される種々の情報である。例えば追加情報は、追加で点検すべき点検項目を示す点検情報である。例えば点検作業において、ある点検箇所に異常があった場合、その点検箇所に関係のある別の点検箇所をさらに点検しなければならないことがある。そこで追加情報は、このようにさらに点検すべき点検箇所に関する点検情報を示す。

また例えば、追加情報は、点検箇所に異常があった場合にユーザが行うべき行動を示したマニュアルなどでもよい。例えば、ON であるべきスイッチが OFF になっている場合に、点検作業員がその場で ON に変更してもよいケースもあれば、機器の管理者を呼び出して管理者に処置を依頼しなければならないケースもある。そこで、追加情報取得部２１６０は、このようなユーザが行うべき行動を示すマニュアルを追加情報として取得する。

情報処理装置２０００は、追加情報をディスプレイ装置１０に表示する。例えば追加情報が追加で点検すべき点検項目を示す点検情報である場合、第１表示制御部２０６０は、追加情報に示される点検項目について、点検情報取得部２０４０によって取得される点検情報と同様の処理を行う。この場合、第１表示制御部２０６０は、点検情報取得部２０４０によって取得された点検情報について処理を終えた後に、追加情報について処理をしてもよいし、点検情報取得部２０４０によって取得された点検情報よりも先に、追加情報について処理を行ってもよい。

追加情報取得部２１６０は、追加情報が記憶されている記憶部から追加情報を取得する。この記憶部は、情報処理装置２０００の内部に設けられていてもよいし、外部に設けられていてもよい。なお、外部に設けられている記憶部は、Network Attached Storage（NAS）などの記憶装置であってもよいし、データベースサーバなどのサーバであってもよい。

＜処理の流れ＞
図３０は、実施形態５の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。図３０は、Ｓ６０２及びＳ６０４が、図１１のＳ２０６とＳ２０８の間で行われることを表している。ただし、Ｓ６０２及びＳ６０４は、図１８のＳ３０６とＳ３０８の間、又は図２８のＳ５０８とＳ５１２の間で行われてもよい。

異常判定部２１４０は、受け付けた入力が異常な状態を示すか否かを判定する（Ｓ６０２）。入力が異常な状態を示す場合（Ｓ６０２：ＹＥＳ）、追加情報取得部２１６０は追加情報を取得する（Ｓ６０４）。一方、入力が正常な状態を示す場合（Ｓ６０２：ＮＯ）、図３０の処理は終了する。

＜作用・効果＞
本実施形態によれば、点検箇所に異常があった場合に、追加情報が提供される。そのため、ユーザは、追加情報に示される追加の点検項目について点検を行ったり、追加情報に示されるマニュアルにしたがって行動したりするなどの種々の対応をすることができる。よって、点検箇所に異常があった場合に行うべき行動などを、ユーザが容易に把握できるようになる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。

以下、参考形態の例を付記する。
１． 点検対象の機器が含まれる撮像画像を取得する画像取得手段と、
前記撮像画像に含まれる機器の点検項目を示す点検情報を取得する点検情報取得手段と、
前記点検情報に示される点検項目に対応する点検箇所を示す表示を、ディスプレイ装置上の前記点検箇所に重畳して表示するか、又は前記ディスプレイ装置上の前記点検箇所若しくは前記機器の付近に表示する第１表示制御手段と、
を有する情報処理装置。
２． 前記点検情報は、複数の点検項目を順位付けて示しており、
前記第１表示制御手段は、第１の順位の点検項目に対応する点検箇所を示す表示を前記ディスプレイ装置に表示し、その第１の順位の点検項目に関する点検結果が入力された後に、第１の順位の次の順位である第２の順位の点検項目に対応する点検箇所を示す表示を前記ディスプレイ装置に表示する、１．に記載の情報処理装置。
３． 各前記点検項目には、その点検項目の点検結果の入力に用いる入力インタフェースの識別子又は種類が対応付けられており、
前記点検項目に対応する識別子又は種類で特定される入力インタフェースの画像を前記ディスプレイ装置に表示する第２表示制御手段を有する、１．又は２．に記載の情報処理装置。
４． 前記点検情報を取得した後、マーカを含む撮像画像が取得された場合に、前記点検項目に関する点検結果の入力を受け付ける入力インタフェースの画像を前記ディスプレイ装置に表示する第２表示制御手段を有する、１．又は２．に記載の情報処理装置。
５． 前記機器を含み、なおかつ前記点検箇所を示す表示が重畳された画像を、前記ディスプレイ装置上に表示する第３表示制御手段を有する、１．乃至４．いずれか一つに記載の情報処理装置。
６． 前記第３表示制御手段は、前記点検情報を取得した後、前記機器が含まれない撮像画像又はマーカを含む撮像画像が取得された場合に、前記機器を含み、なおかつ前記点検箇所を示す表示が重畳された画像を、前記ディスプレイ装置上に表示する、５．に記載の情報処理装置。
７． 前記取得された点検情報に示される前記点検箇所が前記撮像画像に含まれない場合に、前記撮像画像に含まれない点検箇所が位置する方向を示す表示を前記ディスプレイ装置に表示する第４表示制御手段を有する、１．乃至６．いずれか一つに記載の情報処理装置。
８． 前記点検項目について受け付けた点検結果の入力が、異常な状態を示しているか否かを判定する異常判定手段と、
前記点検結果の入力が異常な状態を示している場合に、追加の情報を取得する追加情報取得手段と、
を有する１．乃至７．いずれか一項に記載の情報処理装置。
９． 前記ディスプレイ装置は、透過型のヘッドマウントディスプレイのディスプレイ装置であり、
第１表示制御手段は、前記ディスプレイ装置を透過してユーザの目に映る前記点検箇所と重なる前記ディスプレイ装置上の位置又はその付近に、前記点検箇所を示す表示を表示する、１．乃至８．いずれか一つに記載の情報処理装置。
１０． 前記第１表示制御手段は、前記撮像画像を生成するカメラの画角、前記カメラと前記ディスプレイ装置との位置関係、及び前記撮像画像に含まれる前記点検箇所の位置に基づいて、前記ディスプレイ装置を透過してユーザの目に映る前記点検箇所の前記ディスプレイ装置上の位置を算出し、前記算出した位置又はその付近に、前記点検箇所を示す表示を表示する、９．に記載の情報処理装置。
１１． 前記点検項目が示す点検箇所は、メータ、つまみ又はスイッチである１．乃至１０．いずれか一つに記載の情報処理装置。
１２． コンピュータによって実行される制御方法であって、
点検対象の機器が含まれる撮像画像を取得する画像取得ステップと、
前記撮像画像に含まれる機器の点検項目を示す点検情報を取得する点検情報取得ステップと、
前記点検情報に示される点検項目に対応する点検箇所を示す表示を、ディスプレイ装置上の前記点検箇所に重畳して表示するか、又は前記ディスプレイ装置上の前記点検箇所若しくは前記機器の付近に表示する第１表示制御ステップと、
を有する制御方法。
１３． 前記点検情報は、複数の点検項目を順位付けて示しており、
前記第１表示制御ステップは、第１の順位の点検項目に対応する点検箇所を示す表示を前記ディスプレイ装置に表示し、その第１の順位の点検項目に関する点検結果が入力された後に、第１の順位の次の順位である第２の順位の点検項目に対応する点検箇所を示す表示を前記ディスプレイ装置に表示する、１２．記載の制御方法。
１４． 各前記点検項目には、その点検項目の点検結果の入力に用いる入力インタフェースの識別子又は種類が対応付けられており、
前記点検項目に対応する識別子又は種類で特定される入力インタフェースの画像を前記ディスプレイ装置に表示する第２表示制御ステップを有する、１２．又は１３．に記載の制御方法。
１５． 前記点検情報を取得した後、マーカを含む撮像画像が取得された場合に、前記点検項目に関する点検結果の入力を受け付ける入力インタフェースの画像を前記ディスプレイ装置に表示する第２表示制御ステップを有する、１２．又は１３．に記載の制御方法。
１６． 前記機器を含み、なおかつ前記点検箇所を示す表示が重畳された画像を、前記ディスプレイ装置上に表示する第３表示制御ステップを有する、１２．乃至１５．いずれか一つに記載の制御方法。
１７． 前記第３表示制御ステップにおいて、前記点検情報を取得した後、前記機器が含まれない撮像画像又はマーカを含む撮像画像が取得された場合に、前記機器を含み、なおかつ前記点検箇所を示す表示が重畳された画像を、前記ディスプレイ装置上に表示する、１６．に記載の情報処理装置。
１８． 前記取得された点検情報に示される点検箇所が前記撮像画像に含まれない場合に、前記撮像画像に含まれない点検箇所が位置する方向を示す表示を前記ディスプレイ装置に表示する第４表示制御ステップを有する、１２．乃至１７．いずれか一つに記載の制御方法。
１９． 前記点検項目について受け付けた点検結果の入力が、異常な状態を示しているか否かを判定する異常判定手段と、
前記点検結果の入力が異常な状態を示している場合に、追加の情報を取得する追加情報取得手段と、
を有する１２．乃至１８．いずれか一項に記載の情報処理装置。
２０． 前記ディスプレイ装置は、透過型のヘッドマウントディスプレイのディスプレイ装置であり、
第１表示制御ステップは、前記ディスプレイ装置を透過してユーザの目に映る前記点検箇所と重なる前記ディスプレイ装置上の位置又はその付近に、前記点検箇所を示す表示を表示する、１２．乃至１９．いずれか一つに記載の制御方法。
２１． 前記第１表示制御ステップは、前記撮像画像を生成するカメラの画角、前記カメラと前記ディスプレイ装置との位置関係、及び前記撮像画像に含まれる前記点検箇所の位置に基づいて、前記ディスプレイ装置を透過してユーザの目に映る前記点検箇所の前記ディスプレイ装置上の位置を算出し、前記算出した位置又はその付近に、前記点検箇所を示す表示を表示する、２０．に記載の制御方法。
２２． 前記点検項目が示す点検箇所は、メータ、つまみ又はスイッチである１２．乃至２１．いずれか一つに記載の制御方法。
２３． コンピュータに、１２．乃至２２．いずれか一つに記載の制御方法の各ステップを実行させるプログラム。

この出願は、２０１５年１１月１０日に出願された日本出願特願２０１５−２２０３２０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (13)

1. 点検対象の機器が含まれる撮像画像を取得する画像取得手段と、
   前記撮像画像に含まれる機器の点検項目を示す点検情報を取得する点検情報取得手段と、
   前記点検情報に示される点検項目に対応する点検箇所を示す表示を、ディスプレイ装置上の前記点検箇所に重畳して表示するか、又は前記ディスプレイ装置上の前記点検箇所若しくは前記機器の付近に表示する第１表示制御手段と、
   を有する情報処理装置。
2. 前記点検情報は、複数の点検項目を順位付けて示しており、
   前記第１表示制御手段は、第１の順位の点検項目に対応する点検箇所を示す表示を前記ディスプレイ装置に表示し、その第１の順位の点検項目に関する点検結果が入力された後に、第１の順位の次の順位である第２の順位の点検項目に対応する点検箇所を示す表示を前記ディスプレイ装置に表示する、請求項１に記載の情報処理装置。
3. 各前記点検項目には、その点検項目の点検結果の入力に用いる入力インタフェースの識別子又は種類が対応付けられており、
   前記点検項目に対応する識別子又は種類で特定される入力インタフェースの画像を前記ディスプレイ装置に表示する第２表示制御手段を有する、請求項１又は２に記載の情報処理装置。
4. 前記点検情報を取得した後、マーカを含む撮像画像が取得された場合に、前記点検項目に関する点検結果の入力を受け付ける入力インタフェースの画像を前記ディスプレイ装置に表示する第２表示制御手段を有する、請求項１又は２に記載の情報処理装置。
5. 前記機器を含み、なおかつ前記点検箇所を示す表示が重畳された画像を、前記ディスプレイ装置上に表示する第３表示制御手段を有する、請求項１乃至４いずれか一項に記載の情報処理装置。
6. 前記第３表示制御手段は、前記点検情報を取得した後、前記機器が含まれない撮像画像又はマーカを含む撮像画像が取得された場合に、前記機器を含み、なおかつ前記点検箇所を示す表示が重畳された画像を、前記ディスプレイ装置上に表示する、請求項５に記載の情報処理装置。
7. 前記取得された点検情報に示される点検箇所が前記撮像画像に含まれない場合に、前記撮像画像に含まれない点検箇所が位置する方向を示す表示を前記ディスプレイ装置に表示する第４表示制御手段を有する、請求項１乃至６いずれか一項に記載の情報処理装置。
8. 前記点検項目について受け付けた点検結果の入力が、異常な状態を示しているか否かを判定する異常判定手段と、
   前記点検結果の入力が異常な状態を示している場合に、追加の情報を取得する追加情報取得手段と、
   を有する請求項１乃至７いずれか一項に記載の情報処理装置。
9. 前記ディスプレイ装置は、透過型のヘッドマウントディスプレイのディスプレイ装置であり、
   第１表示制御手段は、前記ディスプレイ装置を透過してユーザの目に映る前記点検箇所と重なる前記ディスプレイ装置上の位置又はその付近に、前記点検箇所を示す表示を表示する、請求項１乃至８いずれか一項に記載の情報処理装置。
10. 前記第１表示制御手段は、前記撮像画像を生成するカメラの画角、前記カメラと前記ディスプレイ装置との位置関係、及び前記撮像画像に含まれる前記点検箇所の位置に基づいて、前記ディスプレイ装置を透過してユーザの目に映る前記点検箇所の前記ディスプレイ装置上の位置を算出し、前記算出した位置又はその付近に、前記点検箇所を示す表示を表示する、請求項９に記載の情報処理装置。
11. 前記点検項目が示す点検箇所は、メータ、つまみ又はスイッチである請求項１乃至１０いずれか一項に記載の情報処理装置。
12. コンピュータによって実行される制御方法であって、
    点検対象の機器が含まれる撮像画像を取得する画像取得ステップと、
    前記撮像画像に含まれる機器の点検項目を示す点検情報を取得する点検情報取得ステップと、
    前記点検情報に示される点検項目に対応する点検箇所を示す表示を、ディスプレイ装置上の前記点検箇所に重畳して表示するか、又は前記ディスプレイ装置上の前記点検箇所若しくは前記機器の付近に表示する第１表示制御ステップと、
    を有する制御方法。
13. コンピュータに、請求項１２に記載の制御方法の各ステップを実行させるプログラム。

Images