JP6911914B2 - 点検支援装置、点検支援方法およびプログラム - Google Patents

Description

本開示は、点検支援装置、点検支援方法および記録媒体に関する。

計測器などの機器に対する点検作業を支援する方法が開示されている。例えば、特許文献１には、カメラが撮影した計測器の画像情報に基づいて計測器の識別情報および測定値を認識し、測定値を計器の識別情報と対応付けたうえで記憶部に記憶させる点検支援装置が記載されている。

また、特許文献２には、作業者の視野中に複数の認識対象がある場合に、複数の認識対象の使用の可否などを表す生産情報を作業者の視野中の識別マーカーの近傍に一対一に対応付けて表示する基板生産支援システムが記載されている。

また、特許文献３には、保守対象機器に装着される発光型ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｅｒ）タグを一意に特定する識別情報を読み取り、このＲＦＩＤタグの発光位置に基づいて算出された位置に、保守対象機器に関連する表示情報を表示する情報提示システムが記載されている。

なお、音声を利用する装置の一例が特許文献４に、携帯端末上でのデータ入力を簡易にする方法の一例が特許文献５に記載されている。

国際公開第２０１２／０４６７２６号 特開２０１４−２３５７０４号公報 特開２００７−０１８１８８号公報 特開２００３−１７７７７５号公報 特開平９−１６７１９２号公報

特許文献１に記載の技術では、計測器の識別情報および測定値が認識され、認識された結果が記憶部に記憶される。作業者が、測定値に対する認識結果を点検中に把握するためには、手元の処理端末で確認する必要がある。しかしながら、このような場合、作業者は視線を計測器から処理端末に動かす必要があり、作業効率を低下させてしまう可能性がある。

また、特許文献２および３に記載の技術は、識別マーカーやＲＦＩＤタグを読み取ることにより、記憶部等に格納された、特定した機器に関する情報を表示している。したがって、特許文献２および３に記載の技術では、識別マーカーやＲＦＩＤタグを読み取った時点における機器に対して行う点検結果に関連する情報を作業者が作業しながら把握することができない。

本開示は、上記課題に鑑みてなされたものであり、その目的は、点検の作業をより効率化する技術を提供することにある。

本開示の一態様に係る点検支援装置は、点検対象が撮像されている画像データを取得する画像データ取得手段と、取得された前記画像データに基づいて認識された、前記点検対象の点検結果に関する情報を、前記点検対象を含む画像に重畳して表示部に表示させる表示制御手段と、前記表示部に表示されている前記情報と、前記点検対象の情報とを対応付けて記録する記録制御手段と、を備える。

また、本開示の一態様に係る点検支援方法は、点検対象が撮像されている画像データを取得し、取得された前記画像データに基づいて認識された、前記点検対象の点検結果に関する情報を、前記点検対象を含む画像に重畳して表示部に表示させ、表示されている前記情報と、前記点検対象の情報とを対応付けて記録する。

なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。

本開示によれば、点検の作業をより効率化することができる。

第１の実施の形態に係る点検支援装置の機能構成の一例を示す機能ブロック図である。 図１に示す点検支援装置の適用例の一例を示す図である。 第１の実施の形態に係る点検支援装置の処理の流れの一例を示すフローチャートである。 第２の実施の形態に係る点検支援装置を含むウェアラブルグラスを説明するための図である。 第２の実施の形態に係る点検支援装置を含むウェアラブルグラスの構成の一例を示すブロック図である。 第２の実施の形態に係る点検支援装置の処理の流れの一例を示すフローチャートである。 画像データ取得部が取得した画像データが表す画像の一例を示す図である。 表示部が表示する表示画面の一例を示す図である。 記録部に記録された記録情報の一例を示す図である。 表示部が表示する表示画面の他の例を示す図である。 画像データ取得部が取得した画像データが表す画像の他の例を示す。 表示部が表示する表示画面の他の例を示す図である。 表示部が表示する表示画面の他の例を示す図である。 第３の実施の形態に係る点検支援装置の構成の一例を示すブロック図である。 点検対象情報記録部に記録された点検対象情報の一例を示す図である。 点検対象情報記録部に記録された点検対象情報の他の例を示す図である。 各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。

＜第１の実施の形態＞
本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係る点検支援装置１０の機能構成の一例を示す機能ブロック図である。図２は、図１に示す点検支援装置１０の適用例の一例を示す図である。図２に示す通り、点検支援装置１０は、例えば、眼鏡型ウェアラブル端末に搭載される。以下、眼鏡型ウェアラブル端末をウェアラブルグラス１と呼ぶ。ウェアラブルグラス１を装着した作業者２が、例えば計測器などの点検対象３の方向に顔を向けることにより、ウェアラブルグラス１が点検対象３を撮像する。撮像された画像は、ウェアラブルグラス１の表示部１４に表示される。これにより、作業者２は、ウェアラブルグラス１を介して点検対象３が撮像されている画像を確認する。

本実施の形態に係る点検支援装置１０は、図１に示す通り、画像データ取得部１１と、表示制御部１２と、記録制御部１３とを備える。

画像データ取得部１１は、点検対象３が撮像されている画像データを取得する。画像データ取得部１１は、例えば、レンズおよび撮像素子を含むカメラによって撮像された画像を表す画像データを取得する。撮像された画像は、点検対象３を含む。画像データ取得部１１は、カメラそのものであってもよいし、カメラによって取得された画像データを該カメラから取得してもよい。画像データ取得部１１は、カメラによって取得された画像データが記録された記録部から取得してもよい。画像データ取得部１１は、取得した画像データを表示制御部１２に供給する。

表示制御部１２は、画像データ取得部１１によって取得された画像データに基づいて認識された、点検対象３の点検結果に関する情報を、点検対象３を含む画像に重畳して表示部１４に表示させる。表示制御部１２は、画像データ取得部１１から画像データを受け取り、受け取った画像データが表す画像に含まれる点検対象３を特定する。表示制御部１２は、特定した点検対象３に関連する点検結果に関する情報を認識する。例えば、点検対象３が温度計の場合、表示制御部１２は、温度を点検結果に関する情報としてもよい。また、例えば、点検対象３が温度計の場合、表示制御部１２は、温度が所定の範囲内か否かを表す情報を、点検結果に関する情報としてもよい。表示制御部１２は、認識した点検結果に関する情報を、画像データが表す、点検対象３を含む画像に重畳して表示部１４に表示させる。

表示部１４は、例えば、図２に示す通り、ウェアラブルグラス１のレンズ部であり、例えば、外界光を透過し、表示制御部１２の指示に従った情報を表示するディスプレイモジュールによって実現されるが、これに限定されるものではない。表示部１４は、表示制御部１２によって生成された、点検結果に関する情報を重畳した点検対象３を含む画像を、作業者２の網膜に表示させる機能を有するモジュールであってもよい。このように、表示部１４は、表示制御部１２の制御に従って、表示制御部１２が生成した画像を、投影する機能を有していてもよい。なお、表示制御部１２が生成した画像を投影する機能は、表示制御部１２が有していてもよい。例えば、表示部１４を網膜とした場合、表示制御部１２は、認識した点検結果に関する情報を、点検対象３を含む画像に重畳して、網膜に直接投影する機能を有していてもよい。

記録制御部１３は、表示部１４に表示されている、点検結果に関する情報と、点検対象３の情報とを対応付けて記録する。記録制御部１３は、互いに対応付けた点検結果に関する情報と点検対象３の情報とを、例えば、ハードディスクドライブや紙等の記録媒体に記録する。点検対象３の情報とは、例えば、点検対象３に対する点検項目や点検対象３の正常値、正常である場合の点検対象３の状態を表す情報などが挙げられるがこれに限定されるものではない。

図３は、本実施の形態に係る点検支援装置１０の処理の流れの一例を示すフローチャートである。図３に示す通り、画像データ取得部１１が、点検対象３が撮像されている画像データを取得する（ステップＳ３１）。そして、表示制御部１２が、取得された画像データに基づいて認識された、点検対象３の点検結果に関する情報を、点検対象３を含む画像に重畳して表示部１４に表示させる（ステップＳ３２）。そして、記録制御部１３が、表示部１４に表示されている情報と、点検対象３の情報とを対応付けて記録する（ステップＳ３３）。

以上により、本実施の形態に係る点検支援装置１０は、点検対象３を撮像した画像データに基づいて認識された点検結果に関する情報を、該画像データが表す画像に重畳して、ウェアラブルグラス１の表示部１４に表示することができる。画像データが表す画像には、点検対象３が含まれるため、ウェアラブルグラス１を装着した作業者２は、点検対象３と点検対象３の点検結果に関する情報とを把握することができる。例えば、点検結果に関する情報が計測器の測定値の場合、作業者２は、表示部１４に表示された測定値を、点検対象３の測定値であると容易に把握することができる。

また、点検支援装置１０は、表示部１４に表示された点検結果に関する情報と点検対象の情報とを対応付けて記録する。例えば、点検対象の情報が点検項目の場合、点検支援装置１０は、点検項目と、点検結果に関する情報とを対応付けて記録する。これにより、作業者２が、点検結果に関する情報を、例えば端末等を用いて手入力で入力するという手間を省くことができる。また、手入力による人的エラーを低減することができる。

また、点検結果を確認する作業者は、記録された情報を参照することにより、点検項目と、点検結果に関する情報とを容易に把握することができる。以上のように、本実施の形態に係る点検支援装置１０によれば、点検の作業をより効率化することができる。

＜第２の実施の形態＞
次に、上述した第１の実施の形態を基本とする、本開示の第２の実施の形態について、図面を参照して説明する。図４は、本実施の形態に係る点検支援装置１００を含むウェアラブルグラス４を説明するための図である。図４に示す通り、点検支援装置１００は、例えば、ウェアラブルグラス４に搭載される。ウェアラブルグラス４を装着した作業者２が、例えば計測器などの点検対象３の方に顔を向けることにより、ウェアラブルグラス４が点検対象３を撮像する。撮像された画像は、ウェアラブルグラス４の表示部１６０に表示される。これにより、作業者２は、ウェアラブルグラス４を介して点検対象３が撮像されている画像を確認する。また、ウェアラブルグラス４は、入力装置２００を含んでもよい。入力装置２００については、後述する。

図５は、本実施の形態に係る点検支援装置１００を含むウェアラブルグラス４の構成の一例を示すブロック図である。図５に示す通り、ウェアラブルグラス４は、点検支援装置１００と、入力装置２００と、表示部１６０と、記録部１７０とを含む。なお、点検支援装置１００は、入力装置２００と、表示部１６０と、記録部１７０とを含む構成であってもよい。

点検支援装置１００は、第１の実施の形態における点検支援装置１０の一例である。点検支援装置１００は、図５に示す通り、画像データ取得部１１０と、表示制御部１２０と、記録制御部１３０と、受付部１４０と、点検対象情報取得部１５０とを備える。

画像データ取得部１１０は、第１の実施の形態における画像データ取得部１１の一例である。画像データ取得部１１０は、点検対象３が撮像されている画像データを取得する。画像データ取得部１１０は、例えば、レンズおよび撮像素子を含むカメラによって撮像された画像を表す画像データを取得する。撮像された画像は、点検対象３を含む。画像データ取得部１１０は、カメラそのものであってもよいし、カメラによって取得された画像データを該カメラから取得してもよい。画像データ取得部１１０は、カメラによって取得された画像データが記録された記録部から取得してもよい。画像データ取得部１１０は、取得した画像データを表示制御部１２０に供給する。

表示制御部１２０は、第１の実施の形態における表示制御部１２の一例である。表示制御部１２０は、画像データ取得部１１０によって取得された画像データに基づいて認識された、点検対象３の点検結果に関する情報を、点検対象３を含む画像に重畳して表示部１６０に表示させる。表示制御部１２０は、画像データ取得部１１０から画像データを受け取り、受け取った画像データが表す画像に含まれる点検対象３を特定する。表示制御部１２０が点検対象３を特定する方法は特に限定されず、どのような方法を採用してもよい。例えば、表示制御部１２０は、画像データ取得部１１０が取得した画像データと、点検対象３を特定するための画像データとの比較により、該画像データに含まれる点検対象３が何を示すのかを特定してもよい。

そして、表示制御部１２０は、特定した点検対象３に関連する点検結果に関する情報を認識する。表示制御部１２０が点検結果に関する情報を認識する方法は特に限定されず、どのような方法を採用してもよい。例えば、点検対象３が温度計などの計器の場合、表示制御部１２０は、この温度計が示す温度を、メモリを読み取り、読み取った結果を点検結果に関する情報として認識してもよい。また、点検対象３が構造物の場合、表示制御部１２０は、色やテクスチャの変化から算出することにより、該構造物の劣化度を算出し、算出した結果を点検結果に関する情報として認識してもよい。なお、劣化度の算出方法はどのような方法を採用してもよく、例えば、色の変化量を劣化度としてもよい。

表示制御部１２０は、認識した点検結果に関する情報を、画像データが表す、点検対象３を含む画像に重畳して表示部１６０に表示させる。表示部１６０が表示する情報の例については、図面を変えて説明する。なお、表示部１６０は、上述した表示部１４と同様にウェアラブルグラス４のレンズ部であってもよい。

入力装置２００は、例えば、作業者２が指示を入力するための装置である。入力装置２００は、例えば、ウェアラブルグラス４に搭載された、作業者２によって押下可能なスイッチ等で実現されてもよい。また、入力装置２００は、ウェアラブルグラス４とは別個の、ウェアラブルグラス４と通信可能な端末であってもよい。また、入力装置２００は、作業者２の操作を検知することが可能な、例えば、赤外線センサ等であってもよい。

受付部１４０は、作業者２が入力装置２００を用いて入力した指示（記録指示）を受け付ける。受付部１４０は、受け付けた記録指示を記録制御部１３０に供給する。

点検対象情報取得部１５０は、点検対象３の情報を取得する。点検対象３の情報とは、例えば、点検対象３を識別する識別子、点検対象３を表す点検対象名、点検対象３に対する点検項目などが挙げられる。点検対象情報取得部１５０は、画像データ取得部１１０によって取得された画像データに基づいて、点検対象３の情報を取得する。点検対象情報取得部１５０は、画像データ取得部１１０が取得した画像データを、表示制御部１２０を介して受け取り、この画像データに含まれる点検対象３を例えば辞書と比較することによって点検対象３を認識し、認識した点検対象３に関連付けられた点検対象３の情報を取得してもよい。また、点検対象情報取得部１５０は、表示制御部１２０から、該表示制御部１２０が特定した点検対象３を表す情報を受け取り、この情報から点検対象３の情報を取得してもよい。点検対象３の情報は、画像データそのものから取得されてもよいし、点検対象の情報を格納した記録部から取得されてもよい。

記録制御部１３０は、第１の実施の形態における記録制御部１３の一例である。記録制御部１３０は、表示部１６０に表示されている、点検結果に関する情報と、点検対象の情報とを対応付けて記録する。記録制御部１３０は、点検対象の情報を点検対象情報取得部１５０から受け取り、表示制御部１２０が表示部１６０に表示した、点検結果に関する情報と点検対象の情報とを対応付けて記録する。本実施の形態では、記録制御部１３０は、記録部１７０に対応付けた情報を記録するとするが、記録制御部１３０は、紙やその他の媒体に出力することにより、対応付けた情報を記録する構成であってもよい。なお、記録制御部１３０は、受付部１４０が記録指示を受け付けた場合に、点検結果に関する情報と点検対象の情報とを記録することが好ましい。これにより、作業者２が記録指示を行った情報のみが記録され、記録不要と判断された情報は記録されない。よって、点検作業において必要な情報が記録されることになるため、記録された情報の管理の効率を上げることができる。

記録部１７０は、例えば、ハードディスクドライブで実現される。記録部１７０は、記録制御部１３０が対応付けた点検結果に関する情報と点検対象の情報とを記録する。

図６は、本実施の形態に係る点検支援装置１００の処理の流れの一例を示すフローチャートである。図６に示す通り、画像データ取得部１１０が、点検対象３が撮像されている画像データを取得する（ステップＳ６１）。そして、表示制御部１２０が、取得された画像データに基づいて認識された、点検対象３の点検結果に関する情報を、点検対象３を含む画像に重畳して表示部１６０に表示させる（ステップＳ６２）。

また、点検対象情報取得部１５０が、取得された画像データに基づき、点検対象３の情報を取得する（ステップＳ６３）。なお、ステップＳ６２とステップＳ６３とは同時に行われてもよいし、逆順で行われてもよい。

次に、受付部１４０が、記録指示を受け付けたか否かを確認する（ステップＳ６４）。表示部１６０に表示された情報を確認した作業者２が、入力装置２００を用いて記録指示を入力した場合、受付部１４０はこの記録指示を受け付ける（ステップＳ６４にてＹＥＳ）。受付部１４０が記録指示を受け付けると、記録制御部１３０が、表示部１６０に表示されている情報と、点検対象３の情報とを対応付けて記録する（ステップＳ６５）。なお、受付部１４０が記録指示を受け付けていない場合（ステップＳ６４にてＮＯ）、点検支援装置１００は処理を終了する。なお、受付部１４０は、例えば、表示部１６０が点検結果に関する情報を表示したあと所定時間、記録指示を受け付けていない場合、記録指示を受け付けなかったと判定してもよい。

また、受付部１４０は、記録をしないという指示を受け付ける構成であってもよい。この場合、受付部１４０が記録をしないという指示を受け付けなかった場合に、記録制御部１３０は表示部１６０に表示されている情報と、点検対象３の情報とを対応付けて記録してもよい。このような構成により、記録する情報が多い場合であっても、作業者２は容易に記録不要な情報を選別することができる。

また、受付部１４０が所定時間、記録指示を受け付けなかった場合、または、記録部１４０が記録をしないという指示を受け付けた場合、画像データ取得部１１０は、ステップＳ６１で取得した画像データと異なる、新たな画像データを取得してもよい。そして、表示制御部１２０は、新たな画像データから、点検対象３に関連する点検結果に関する情報を認識してもよい。なお、受付部１４０が上記の場合、表示制御部１２０は、ステップＳ６２において認識に用いた画像データと同じ画像データを用いて再度、認識処理を行ってもよい。このとき、表示制御部１２０は、ステップＳ６２で行ったときと同じ条件（例えば、同じ認識パラメータ）で認識処理を行ってもよいし、異なる条件で認識処理を行ってもよい。または、表示制御部１２０は画像データに所定の補正処理を施して、認識処理を行ってもよい。また、受付部１４０が上記の場合において、例えば、表示制御部１２０が同じ画像データを用いて再度認識を行った結果がその前に認識を行った結果と同じ場合に、画像データ取得部１１０が新たな画像データを取得してもよい。

また、受付部１４０は、作業者２による再認識指示を受け付ける構成であってもよい。例えば、作業者２が表示部１６０に表示されている情報を確認し、表示されている情報に誤りがあると判断し、再認識を行う再認識指示を入力した場合、受付部１４０は、この再認識指示を受け付ける。受付部１４０が再認識指示を受け付けた場合、画像データ取得部１１０は、ステップＳ６１で取得した画像データと異なる、新たな画像データを取得してもよい。そして、表示制御部１２０は、新たな画像データから、点検対象３に関連する点検結果に関する情報を認識してもよい。なお、受付部１４０が再認識指示を受け付けた場合、表示制御部１２０は、ステップＳ６２において認識に用いた画像データと同じ画像データを用いて再度、認識処理を行ってもよい。このとき、表示制御部１２０は、ステップＳ６２で行ったときと同じ条件で認識処理を行ってもよいし、異なる条件で認識処理を行ってもよい。または、表示制御部１２０は画像データに所定の補正処理を施して、認識処理を行ってもよい。また、受付部１４０が再認識指示を受け付けた場合において、例えば、表示制御部１２０が同じ画像データを用いて再度認識を行った結果がその前に認識を行った結果と同じ場合に、画像データ取得部１１０が新たな画像データを取得してもよい。

図７は、画像データ取得部１１０が取得した画像データが表す画像の一例を示す。図７に示す通り、画像データ取得部１１０が取得した画像データが表す画像７０は、点検対象３を含む。図７に示す例では、点検対象３は、２つの温度計（温度計３１および温度計３２）であるとして説明を行う。なお点検対象３は、温度計３１および温度計３２を含む計測器全体であってもよい。

図８は、表示部１６０が表示する表示画面７１の一例を示す図である。図８に示す通り、点検対象３である温度計３１の点検結果に関する情報である測定温度情報７２および点検対象３である温度計３２の点検結果に関する情報である測定温度情報７３を、図７に示した画像７０に重畳して表示させた表示画面７１が表示部１６０に表示される。なお、表示制御部１２０は、温度計３１および温度計３２を含む計測器全体を特定し、その後、該計測器に関連する点検対象３が温度計３１および温度計３２であることを特定し、温度計３１の測定温度と、温度計３２の測定温度とを認識してもよい。そして、表示制御部１２０は、温度計３１の測定温度を表す測定温度情報７２と、温度計３２の測定温度を表す測定温度情報７３とを画像７０に重畳させた表示画面７１を生成してもよい。なお、記録制御部１３０が測定温度情報７２および測定温度情報７３を表示する位置は特に限定されず、任意の位置であってもよい。

ウェアラブルグラス４を装着した作業者２は、ウェアラブルグラス４の表示部１６０に表示された表示画面７１を確認することにより、点検対象３の点検結果に関する情報を容易に把握することができる。

次に、図９を参照して、記録部１７０に記録された情報について説明する。図９は、記録部１７０に記録された記録情報９１の一例を示す図である。記録情報９１は、記録制御部１３０によって互いに対応付けられた表示部１６０に表示されている情報と、点検対象３の情報とを含む。図９に示す例では、表示部１６０に表示されている情報は、計測値９２であるとする。図９に示す計測値９２は、図８に示す測定温度情報７２が表す測定温度および測定温度情報７３が表す測定温度である。なお、表示部１６０に表示されている情報は、図８に示す測定温度情報７２および測定温度情報７３そのものであってもよい。例えば、計測値９２の欄には、図８に示す「温度：７℃」が含まれてもよい。また、点検対象３の情報は、本例では、点検対象３の名前を表す点検対象名９３と、点検対象３に対する点検項目９４とであるとする。図９に示す通り、点検対象３である温度計３１の点検対象名９３は、「温度計３１」および「温度計３２」であるとする。そして、温度計３１および温度計３２の夫々に対する点検項目９４は、夫々「温度を測る」であるとする。図９に示す通り、記録情報９１は、互いに対応付けられた、計測値９２と、点検対象名９３および点検項目９４とを記録する。

なお、記録制御部１３０は、表示部１６０に表示された表示画面７１を表すデータを、表示部１６０に表示された情報として、点検対象３の情報と対応付けてもよい。また、記録制御部１３０は、画像７０を点検対象３の情報に更に対応付けて記録してもよい。このとき、記録制御部１３０は、例えば、画像７０に含まれる温度計３１の部分の画像を切り出して、温度計３１の部分の画像を温度計３１の情報に対応付けてもよい。

また、記録制御部１３０は、受付部１４０が受け付けた記録指示を表す情報を、更に関連付けて記録部１７０に記録してもよい。記録指示を表す情報とは、チェックを完了したことを表すフラグであってもよいし、表示された内容が正しいか否かを表す情報であってもよい。また、受付部１４０が受け付けた記録指示が、例えば、温度計３１を指し示すものである場合、記録制御部１３０は、画像７０に含まれる温度計３１の部分の画像を切り出して、温度計３１の部分の画像を温度計３１の情報に対応付けてもよい。

また、入力装置２００がマイクロフォン等の集音装置の場合、受付部１４０は、集音された音声データを受け付けてもよい。記録制御部１３０は、受付部１４０が音声データを受け付けたことを記録指示としてもよい。また、記録制御部１３０は、受付部１４０が受け付けた音声データを解析し、記録指示を表す音声が含まれていた場合に、表示部１６０に表示されている情報と、点検対象３の情報とを対応付けて記録してもよい。また、記録制御部１３０は、集音された音声データを、表示部１６０に表示された情報に対応付けて記録してもよい。

また、入力装置２００は、作業者２が所定の動作を行ったことを検知し、検知した動作を表す動作情報を受付部１４０に供給してもよい。そして、受付部１４０は、この動作情報を受け付けてもよい。この動作情報は、所定の動作を表してもよいし、表示画面７１に対する動作を表してもよい。記録制御部１３０は、受付部１４０が動作情報を受け付けたことを記録指示としてもよい。また、記録制御部１３０は、受付部１４０が受け付けた動作情報に含まれる動作を例えば辞書と比較することによって認識し、該動作情報に記録指示を表す動作が含まれていた場合に、表示部１６０に表示されている情報と、点検対象３の情報とを対応付けて記録してもよい。また、記録制御部１３０は、動作情報を表示部１６０に表示された情報に対応付けて記録してもよい。

また、点検対象の情報とは、例えば、点検対象に対する点検項目や点検対象の正常値、正常である場合の点検対象の状態を表す情報などが挙げられるがこれに限定されるものではない。

図８に示した表示画面７１は、点検結果に関する情報として、温度計３１に対する測定値である測定温度情報７２と、温度計３２に対する測定値である測定温度情報７３とを含んでいるが、点検結果に関する情報は測定値に限定されない。図１０は、表示部１６０が表示する表示画面７４の一例を示す図である。図１０に示す表示画面７４には、点検結果が正常か否かを表す情報（７５、７６）が、点検結果に関する情報として表示されている。点検結果が正常か否かを表す情報（７５、７６）は、点検対象３が図１０に示すような温度計３１および温度計３２の場合、温度が所定の範囲内か否かを判定した結果である。

また、点検対象３は計測器に限定されない。図１１は、画像データ取得部１１０が取得した画像データが表す画像の他の例を示す。作業者２が点検対象３として橋１１１の一部分を撮影すると、図１１に示す通り、画像データ取得部１１０が取得した画像データが表す画像１１２は、点検対象３として、橋１１１の一部分を含む。このように、点検対象は計測器ではなく、構造物であってもよい。橋１１１にはひび１１３が入っているとする。

図１２は、表示部１６０が表示する表示画面１１４の一例を示す図である。この例では、表示制御部１２０が、ひび１１３を以前に撮影した橋１１１の画像またはひび１１３を表す画像との比較により検知するとする。この場合、表示部１６０は、図１２に示す通り、ひび１１３の位置を把握させるマーク（図１２の例の場合、楕円１１５）を、橋１１１の点検結果に関する情報として、図１１に示した画像１１２に重畳して表示させた表示画面１１４を表示する。このように、記録制御部１３０は、構造物が劣化している箇所を、点検結果に関する情報として、作業者２に把握可能な態様で表示させてもよい。なお、構造物が劣化している箇所の表示方法は楕円１１５に限定されず、例えば、ひび１１３の箇所を他の色とは異なる色で表示してもよいし、その他の方法であってもよい。

図１３は、表示部１６０が表示する表示画面１１６の一例を示す図である。図１３に示す表示画面１１６には、劣化度を表す情報１１７が、点検結果に関する情報として表示されている。この場合、表示制御部１２０は、画像データからひび１１３を認識し、ひび１１３の劣化度を所定の方法で算出することにより、劣化度を表す情報１１７を表示画面１１６に含めてもよい。

以上のように、本実施の形態に係る点検支援装置１００は、画像データ取得部１１０が、点検対象が撮像されている画像データを取得し、表示制御部１２０が取得された画像データに基づいて認識された、点検対象の点検結果に関する情報を、点検対象を含む画像に重畳して表示部に表示させる。

このように、本実施の形態に係る点検支援装置１００は、点検対象を撮像した画像データに基づいて認識された点検結果に関する情報を、該画像データが表す画像に重畳して、ウェアラブルグラス４の表示部１６０に表示することができる。画像データが表す画像には、点検対象が含まれるため、ウェアラブルグラス４を装着した作業者２は、点検対象と点検対象の点検結果に関する情報とを把握することができる。

また、点検支援装置１００の記録制御部１３０は、表示部１６０に表示された点検結果に関する情報と点検対象の情報とを対応付けて記録する。例えば、点検対象の情報が点検項目の場合、記録制御部１３０は、点検項目と点検結果に関する情報とを対応付けて記録する。これにより、作業者２が、点検結果に関する情報を、例えば端末等を用いて手入力で入力するという手間を省くことができる。また、手入力による人的エラーを低減することができる。このとき、記録制御部１３０は、受付部１４０が記録指示を受け付けた場合に、点検結果に関する情報と点検対象の情報とを記録することが好ましい。これにより、点検作業において必要な情報が記録されることになるため、記録された情報の管理の効率を上げることができる。

また、点検結果を確認する作業者は、記録された情報を参照することにより、点検項目と、点検結果に関する情報とを容易に把握することができる。以上のように、本実施の形態に係る点検支援装置１００によれば、点検の作業をより効率化することができる。

＜第３の実施の形態＞
上述した第２の実施の形態では、点検対象情報取得部１５０が、画像データに基づいて、点検対象の情報を取得する構成について説明したが、本開示はこれに限定されない。本実施の形態では、点検対象の情報の取得の他の例について説明する。なお、上述した第２の実施の形態において説明したブロックと同様の機能を有するブロックについては同じ符号を付す。

図１４は、本実施の形態に係る点検支援装置１０１の構成の一例を示すブロック図である。点検支援装置１０１は、点検支援装置１００と同様に、ウェアラブルグラス４に搭載される。

点検支援装置１０１は、画像データ取得部１１０と、表示制御部１２０と、記録制御部１３０と、受付部１４０と、点検対象情報記録部１８０と、点検対象情報取得部１９０とを備える。点検支援装置１０１は、点検支援装置１００の点検対象情報取得部１５０に代えて点検対象情報取得部１９０を備え、更に、点検対象情報記録部１８０を備える構成である。

点検対象情報記録部１８０は、点検対象情報を記録する。点検対象情報記録部１８０が記録する点検対象情報の一例を、図１５に示す。点検対象情報１５１は、点検対象３の情報を含む。点検対象３の情報は、上述した第２の実施の形態と同様に、点検対象名１５３および点検項目１５４とする。また、点検対象情報１５１は、点検対象３の位置を表す点検対象位置１５２を含む。なお、点検対象位置１５２の表記方法は特に限定されず、位置がわかる情報であればよい。

点検対象情報記録部１８０は、点検支援装置１０１とは別個の記録装置で実現されてもよい。

点検対象情報取得部１９０は、画像データ撮像時の位置情報に基づき、点検対象の情報を取得する。点検対象情報取得部１９０は、表示制御部１２０を介して、画像データ撮像時の位置情報を取得する。画像データ撮像時の位置情報とは、画像データを撮影したウェアラブルグラス４の位置を示す情報であってもよいし、取得した画像データから推測した、該画像データに含まれる点検対象３の位置を示す情報であってもよい。

画像データを取得したウェアラブルグラス４の位置の場合、ウェアラブルグラス４は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用して、位置情報を受信し、画像データに付与してもよい。そして、点検対象情報取得部１９０は、画像データに付与された位置情報と、点検対象情報記録部１８０に格納された点検対象情報１５１の点検対象位置１５２とを比較する。点検対象情報取得部１９０は、画像データに付与された位置情報が示す位置から所定の範囲内の点検対象位置１５２に関連付けられた点検対象３の情報を、点検対象情報記録部１８０から取得する。図１５に示す例の場合、点検対象情報取得部１９０は、画像データに付与された位置情報が示す位置から所定の範囲内の点検対象位置１５２に関連付けられた点検対象名１５３と、点検項目１５４とを点検対象情報記録部１８０から取得する。

そして、記録制御部１３０は、上述した第２の実施の形態における記録制御部１３０と同様に、表示部１６０に表示されている点検結果に関する情報と、点検対象情報取得部１９０が取得した点検対象の情報とを対応付けて記録する。

本実施の形態に係る点検支援装置１０１によれば、点検対象情報取得部１９０が画像データ撮像時の位置情報に基づいて、点検対象の情報を取得する。これにより、例えば、同じ形状を有する点検対象が複数の位置に存在する場合であっても、画像データに含まれる点検対象に関する情報を特定することができる。これにより、記録制御部１３０は、画像データに含まれる点検対象に対する点検結果に関する情報と、該点検対象の情報とを適切に対応付けることができる。よって、点検結果を確認する作業者は、記録された情報を参照することにより、点検項目と、点検結果に関する情報とを容易に把握することができる。以上のように、本実施の形態に係る点検支援装置１０１によれば、点検の作業をより効率化することができる。

（変形例）
点検対象情報記録部１８０が記録する点検対象情報は、図１５の形式に限定されない。本変形例では、点検対象情報記録部１８０が記録する点検対象情報の他の例について説明する。図１６は、点検対象情報記録部１８０が記録する点検対象情報の他の例を示す図である。点検対象情報１６１は、点検対象３の情報を含む。点検対象３の情報は、点検対象情報１５１と同様に、点検対象名１６３および点検項目１６４とする。また、点検対象情報１６１は、点検対象３が点検される際の時刻を表す点検時刻１６２を含む。なお、点検時刻１６２の表記方法は特に限定されず、時刻がわかる情報であればよい。

点検対象情報取得部１９０は、画像データ撮像時の時刻情報に基づき、点検対象の情報を取得する。点検対象情報取得部１９０は、表示制御部１２０を介して、画像データ撮像時の時刻情報を取得する。画像データ撮像時の時刻情報とは、画像データを撮影した時刻を示す情報である。なお、画像データ撮影時の時刻情報は画像データに付与されていてもよい。

点検対象情報取得部１９０は、画像データ撮影時の時刻情報と、点検対象情報記録部１８０に格納された点検対象情報１６１の点検時刻１６２とを比較する。点検対象情報取得部１９０は、画像データ撮影時の時刻情報が表す時刻から所定の期間内の点検時刻１６２に関連付けられた点検対象３の情報を、点検対象情報記録部１８０から取得する。図１６に示す例の場合、点検対象情報取得部１９０は、画像データ撮影時の時刻情報が表す時刻から所定の期間内の点検時刻１６２に関連付けられた点検対象名１６３と、点検項目１６４とを点検対象情報記録部１８０から取得する。

そして、記録制御部１３０は、上述した第２の実施の形態における記録制御部１３０と同様に、表示部１６０に表示されている点検結果に関する情報と、点検対象情報取得部１９０が取得した点検対象の情報とを対応付けて記録する。

本変形例に係る点検支援装置１０１によれば、点検対象情報取得部１９０が画像データ撮像時の時刻情報に基づいて、点検対象の情報を取得する。これにより、例えば、時刻毎に点検する点検対象が異なる場合、時刻情報を比較することにより、画像データに含まれる点検対象に関する情報を特定することができる。これにより、点検対象情報取得部１９０は、容易に、点検対象の情報を取得することができる。また、例えば、同じ形状を有する点検対象が複数の位置に存在する場合であっても、夫々の点検時刻が異なる場合、点検対象情報取得部１９０は、画像データに含まれる点検対象に関する情報を特定することができる。

このように、本変形例に係る点検支援装置１０１によれば、上述した第３の実施の形態に係る点検支援装置１０１と同様に、点検の作業をより効率化することができる。

なお、点検支援装置１０１の点検対象情報取得部１９０は、例えば、ＲＦＩＤを用いて、点検対象の情報を取得してもよい。例えば、点検対象情報取得部１９０は画像データに含まれる点検対象に付与されたＲＦＩＤタグを読み取り、読み取ったデータに基づいて、点検対象を特定する。そして、点検対象情報取得部１９０は、特定した点検対象の情報を、点検対象情報記録部１８０から取得してもよい。このように、ＲＦＩＤを用いた構成であっても、点検支援装置１０１は、点検対象の情報を取得することができる。

（ハードウェア構成について）
本開示の各実施形態において、点検支援装置（１０、１００、１０１）の各構成要素は、機能単位のブロックを示している。点検支援装置（１０、１００、１０１）の各構成要素の一部又は全部は、例えば図１７に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図１７は、点検支援装置（１０、１００、１０１）の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における点検支援装置（１０、１００、１０１）の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。点検支援装置（１０、１００、１０１）の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１が読み出す。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。

点検支援装置（１０、１００、１０１）の実現方法には、様々な変形例がある。例えば、点検支援装置（１０、１００、１０１）は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、点検支援装置（１０、１００、１０１）が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。

また、点検支援装置（１０、１００、１０１）の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。

点検支援装置（１０、１００、１０１）の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

点検支援装置（１０、１００、１０１）の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。

１ ウェアラブルグラス
２ 作業者
３ 点検対象
４ ウェアラブルグラス
１０ 点検支援装置
１１ 画像データ取得部
１２ 表示制御部
１３ 記録制御部
１４ 表示部
１００ 点検支援装置
１０１ 点検支援装置
１１０ 画像データ取得部
１２０ 表示制御部
１３０ 記録制御部
１４０ 受付部
１５０ 点検対象情報取得部
１６０ 表示部
１７０ 記録部
１８０ 点検対象情報記録部
１９０ 点検対象情報取得部
２００ 入力装置

Claims (9)

1. 点検対象が撮像されている画像データを取得する画像データ取得手段と、
   取得された前記画像データに基づいて認識された、前記点検対象の点検結果に関する情報を、前記点検対象を含む画像に重畳して表示部に表示させる表示制御手段と、
   前記表示部に表示されている前記点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する記録制御手段とを備え、
   前記表示制御手段は、再認識指示を受け付けた場合に、前記再認識指示を受け付ける前に前記点検結果に関する情報を認識する際に用いられた条件と、異なる条件を用いて、前記画像データに基づいて、前記点検結果に関する情報を再認識し、
   前記表示制御手段は、前記再認識された点検結果と、前記再認識の前に認識された点検結果とが同じ場合に、前記画像データとは異なる画像データに基づいて、前記点検結果に関する情報を再認識することを特徴とする点検支援装置。
2. 取得された前記画像データに基づき、前記点検対象の情報を取得する点検対象情報取得手段を更に備える請求項１に記載の点検支援装置。
3. 前記画像データ撮像時の位置情報に基づき、前記点検対象の情報を取得する点検対象情報取得手段を更に備える請求項１に記載の点検支援装置。
4. 前記画像データ撮像時の時刻情報に基づき、前記点検対象の情報を取得する点検対象情報取得手段を更に備える請求項１に記載の点検支援装置。
5. コンピュータが、
   点検対象が撮像されている画像データを取得し、
   取得された前記画像データに基づいて認識された、前記点検対象の点検結果に関する情報を、前記点検対象を含む画像に重畳して表示部に表示させ、
   表示されている前記点検結果に関する情報と、前記点検対象の情報とを対応付けて記録し、再認識指示を受け付けた場合に、前記再認識指示を受け付ける前に前記点検結果に関する情報を認識する際に用いられた条件と、異なる条件を用いて、前記画像データに基づいて、前記点検結果に関する情報を再認識し、
   前記再認識された点検結果と、前記再認識の前に認識された点検結果とが同じ場合に、前記画像データとは異なる画像データに基づいて、前記点検結果に関する情報を再認識する点検支援方法。
6. 点検対象が撮像されている画像データを取得する取得処理と、
   取得された前記画像データに基づいて認識された、前記点検対象の点検結果に関する情報を、前記点検対象を含む画像に重畳して表示させる表示処理と、
   表示されている前記点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する記録処理と、
   再認識指示を受け付けた場合に、前記再認識指示を受け付ける前に前記点検結果に関する情報を認識する際に用いられた条件と、異なる条件を用いて、前記画像データに基づいて、前記点検結果に関する情報を再認識する再認識処理とをコンピュータに実行させ、
   さらにコンピュータに、前記再認識処理において、前記再認識された点検結果と、前記再認識の前に認識された点検結果とが同じ場合に、前記画像データとは異なる画像データに基づいて、前記点検結果に関する情報を再認識する処理を実行させるプログラム。
7. 記録指示を受け付ける受付処理を更にコンピュータに実行させ、
   前記記録処理は、前記記録指示を受け付けた場合に、表示されている前記点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する、
   請求項６に記載のプログラム。
8. 点検対象が撮像されている画像データを取得する画像データ取得手段と、
   取得された前記画像データに基づいて認識された、前記点検対象の点検結果に関する情報を、前記点検対象を含む画像に重畳して表示部に表示させる表示制御手段と、
   記録しないという指示を受け付けなかった場合に、前記表示部に表示されている前記点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する記録制御手段とを備え、
   前記表示制御手段は、再認識指示を受け付けた場合に、前記再認識指示を受け付ける前に前記点検結果に関する情報を認識する際に用いられた条件と、異なる条件を用いて、前記画像データに基づいて、前記点検結果に関する情報を再認識し、
   前記表示制御手段は、前記再認識された点検結果と、前記再認識の前に認識された点検結果とが同じ場合に、前記画像データとは異なる画像データに基づいて、前記点検結果に関する情報を再認識することを特徴とする点検支援装置。
9. 点検対象が撮像されている画像データを取得する画像データ取得手段と、
   取得された前記画像データに基づいて認識された、前記点検対象の点検結果に関する情報を、前記点検対象を含む画像に重畳して表示部に表示させる表示制御手段と、
   前記表示部に表示されている前記点検結果に関する情報と、前記点検対象の情報とを対応付けて記録する記録制御手段とを備え、
   前記表示制御手段は、再認識指示を受け付けた場合に、前記再認識指示を受け付ける前に前記点検結果に関する情報を認識する際に用いられた条件と、異なる条件を用いて、前記画像データとは異なる画像データに基づいて、前記点検結果に関する情報を再認識し、
   前記表示制御手段は、前記再認識された点検結果と、前記再認識の前に認識された点検結果とが同じ場合に、前記異なる画像データとはさらに異なる画像データに基づいて、前記点検結果に関する情報を再認識することを特徴とする点検支援装置。

Images