JP7111694B2 - 点検支援装置、点検支援方法およびプログラム - Google Patents

Description

本開示は、点検支援装置、点検支援方法および記録媒体に関する。

計測器などの機器に対する点検作業を支援する方法が開示されている。例えば、特許文献１には、カメラが撮影した計測器の画像情報に基づいて計測器の識別情報および測定値を認識し、測定値を計器の識別情報と対応付けたうえで記憶部に記憶させる点検支援装置が記載されている。

また、特許文献２には、作業者の視野中に複数の認識対象がある場合に、複数の認識対象の使用の可否などを表す生産情報を作業者の視野中の識別マーカーの近傍に一対一に対応付けて表示する基板生産支援システムが記載されている。

また、特許文献３には、画像データから作成した第１の数値データと、音声データから作成した第２の数値データとを比較して、点検結果のデータを決定する設備点検装置が記載されている。

国際公開第２０１２／０４６７２６号 特開２０１４－２３５７０４号公報 特開２０１５－１５３３４２号公報

特許文献１に記載の技術では、計測器の識別情報および測定値が認識され、認識された結果が記憶部に記憶される。作業者が、測定値に対する認識結果を点検中に把握するためには、手元の処理端末で確認する必要がある。同様に、特許文献３に記載の技術でも、作業者は、携帯端末の表示部に表示されたデータを、作業者が目視にて確認する必要がある。しかしながら、このような場合、作業者は視線を計測器から処理端末に動かす必要があり、作業効率を低下させてしまう可能性がある。また、特許文献１および３に記載の技術のように、点検結果があっているかどうかを処理端末または携帯端末に表示された情報を目視で確認する場合、点検結果が実際とは異なる場合であっても見逃してしまう可能性がある。

また、特許文献２に記載の技術は、識別マーカーを読み取ることにより、記憶部等に格納された、特定した機器に関する情報を表示している。したがって、特許文献２に記載の技術では、識別マーカーを読み取った時点における機器に対して行う点検結果に関連する情報を作業者が作業しながら把握することができない。

本開示は、上記課題に鑑みてなされたものであり、その目的は、点検の作業をより効率化する技術を提供することにある。

本開示の一態様に係る点検支援装置は、点検対象の点検結果を取得するために用いられる画像データである第１データを取得する第１取得手段と、前記点検対象の点検結果を取得するために用いられる、前記第１データとは異なる種類の第２データを取得する第２取得手段と、取得された前記第１データに基づく点検結果に関する第１点検結果情報と、取得された前記第２データに基づく点検結果に関する第２点検結果情報との比較結果を、前記点検対象が表示されている画像に重畳して表示部に表示させる表示制御手段と、を備える。

また、本開示の一態様に係る点検支援方法は、点検対象の点検結果を取得するために用いられる画像データである第１データを取得し、前記点検対象の点検結果を取得するために用いられる、前記第１データとは異なる種類の第２データを取得し、取得された前記第１データに基づく点検結果に関する第１点検結果情報と、取得された前記第２データに基づく点検結果に関する第２点検結果情報との比較結果を、前記点検対象が表示されている画像に重畳して表示部に表示させる。

なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。

本開示によれば、点検の作業をより効率化することができる。

第１の実施の形態に係る点検支援装置の機能構成の一例を示す機能ブロック図である。 図１に示す点検支援装置の適用例の一例を示す図である。 第１の実施の形態に係る点検支援装置の処理の流れの一例を示すフローチャートである。 第２の実施の形態に係る点検支援装置を含む点検支援システムの構成の一例を示す図である。 図４に示す点検支援システムの適用例の一例を示す図である。 第２の実施の形態に係る点検支援装置の処理の流れの一例を示すフローチャートである。 画像データ取得部が取得した画像データが表す画像の一例を示す図である。 表示制御部が第１データから取得した第１点検結果情報の一例を示す図である。 表示制御部が第２データから取得した第２点検結果情報の一例を示す図である。 表示部が表示する表示画面の一例を示す図である。 表示部が表示する表示画面の他の一例を示す図である。 記録部に記録された記録情報の一例を示す図である。 表示部が表示する表示画面の他の例を示す図である。 表示部が表示する表示画面の他の例を示す図である。 点検対象情報の一例を示す図である。 記録部に記録された記録情報の他の例を示す図である。 各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。

＜第１の実施の形態＞
本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係る点検支援装置１０の機能構成の一例を示す機能ブロック図である。図２は、図１に示す点検支援装置１０の適用例の一例を示す図である。図２に示す通り、点検支援装置１０は、例えば、眼鏡型ウェアラブル端末に搭載される。以下、眼鏡型ウェアラブル端末をウェアラブルグラス１と呼ぶ。ウェアラブルグラス１を装着した作業者２が、例えば計測器などの点検対象３の方向に顔を向けることにより、ウェアラブルグラス１に搭載された撮像装置２００が点検対象３を撮像する。これにより、作業者２は、ウェアラブルグラス１を介して点検対象３が撮像されている画像を確認する。なお、本実施の形態では、点検支援装置１０は、ウェアラブルグラス１に搭載されるとして説明を行うが、点検支援装置１０は、ウェアラブルグラス１と通信可能な装置で実現されてもよい。

本実施の形態に係る点検支援装置１０は、図１に示す通り、第１取得部１１と、第２取得部１２と、表示制御部１３とを備える。

第１取得部１１は、点検対象の点検結果を取得するために用いられる画像データである第１データを取得する。第１取得部１１は、例えば、撮像装置２００により撮像された画像データを第１データとして取得する。撮像装置２００は、例えば、レンズおよび撮像素子を含むカメラである。第１データは、撮像装置２００によって撮像された、点検対象３を含む映像である。この映像は、動画像であってもよいし、静止画像であってもよい。つまり、第１データは、動画像を構成する複数のフレームのデータを含んでもよいし、静止画像を表現する静止画像データであってもよい。なお、本実施の形態のように、点検支援装置１０がウェアラブルグラス１に内蔵される構成の場合、第１取得部１１は、撮像装置２００の機能を含んでもよい。第１取得部１１は、取得した第１データを表示制御部１３に供給する。

第２取得部１２は、点検対象の点検結果を取得するために用いられる、第１データとは異なる種類の第２データを取得する。第２データは、例えば、キーボードやタッチパネルなどの入力装置を介して、作業者２によって入力された情報を含むデータであってもよい。第２データは、例えば、マイクロフォンなどによって入力された音声を含む音声データであってもよい。第２取得部１２は、取得した第２データを表示制御部１３に供給する。

表示制御部１３は、取得された第１データに基づく点検結果に関する情報と、取得された第２データに基づく点検結果に関する情報との比較結果を、点検対象が表示されている画像に重畳して表示部１４に表示させる。具体的に、表示制御部１３は、第１取得部１１から第１データを受け取り、受け取った第１データに基づいて、該第１データが表す画像に含まれる点検対象３の点検結果に関する情報（第１点検結果情報と呼ぶ）を取得する。

また、表示制御部１３は、第２取得部１２から第２データを受け取り、受け取った第２データに基づいて、点検対象３の点検結果に関する情報（第２点検結果情報と呼ぶ）を取得する。第２点検結果情報は、例えば、点検対象３を視認した作業者２によって入力された数値および／または文字を含む第２データそのものであってもよい。また、第２点検結果情報は、例えば、第２データが音声データの場合、入力された音声データから得られる点検結果であってもよい。

そして、表示制御部１３は、第１点検結果情報と第２点検結果情報とを比較する。表示制御部１３は、比較結果を点検対象３が表示されている画像に重畳して表示部１４に表示させる。点検対象３が表示されている画像は、例えば、第１取得部１１が取得した第１データが表す画像である。第１取得部１１が取得した第１画像が複数のフレームからなる画像データの場合、点検対象３が表示されている画像は、複数のフレームのうちの何れかのフレームであってもよい。

表示部１４は、例えば、図２に示す通り、ウェアラブルグラス１のレンズ部であり、例えば、外界光を透過し、表示制御部１３の指示に従った情報を表示するディスプレイモジュールによって実現されるが、これに限定されるものではない。表示部１４は、表示制御部１３によって生成された、点検対象３が表示されている画像に比較結果を重畳した画像を、作業者２の網膜に表示させる機能を有するモジュールであってもよい。このように、表示部１４は、表示制御部１３の制御に従って、表示制御部１３が生成した画像を、投影する機能を有していてもよい。なお、表示制御部１３が生成した画像を投影する機能は、表示制御部１３が有していてもよい。例えば、表示部１４を網膜とした場合、表示制御部１３は、点検対象３が表示されている画像に比較結果を重畳した画像を、網膜に直接投影する機能を有していてもよい。

図３は、本実施の形態に係る点検支援装置１０の処理の流れの一例を示すフローチャートである。図３に示す通り、第１取得部１１が、点検対象の点検結果を取得するために用いられる画像データである第１データを取得する（ステップＳ３１）。また、第２取得部１２が、点検対象の点検結果を取得するために用いられる、第１データとは異なる種類の第２データを取得する（ステップＳ３２）。そして、表示制御部１３が、取得された第１データに基づく点検結果に関する情報と、取得された第２データに基づく点検結果に関する情報との比較結果を、点検対象が表示されている画像に重畳して表示部１４に表示させる（ステップＳ３３）。

以上により、点検支援装置１０は、取得された第１データに基づく点検結果に関する第１点検結果情報と、取得された第２データに基づく点検結果に関する第２点検結果情報との比較結果を、点検対象３が表示されている画像に重畳して表示部１４に表示させる。これにより、表示部１４に表示された画面を確認する作業者２は、点検対象３と、第１データに基づく点検結果に関する第１点検結果情報と第２データに基づく点検結果に関する第２点検結果情報とを把握することができる。例えば、第１データに基づく点検結果に関する第１点検結果情報が、画像データから認識された測定値であり、第２データに基づく点検結果に関する第２点検結果情報が、作業者２が入力した測定値であるとする。この場合、点検支援装置１０は、点検対象３と、該点検対象３に対する測定値同士の比較結果とを画面に表示する。これにより、作業者２は、画面を見るだけで、画像データから認識された測定値と自身が入力した測定値とが一致しているか否かを容易に把握することができる。

例えば、反復動作や点検作業に対する慣れが有る場合、例えば、作業者２が入力ミスをする可能性や点検結果を間違って把握する可能性がある。しかしながら、本実施の形態に係る点検支援装置１０は、画像データに基づく点検結果に関する情報と、入力された点検結果に関する情報とを比較するため、作業者２のミスが発生した場合であっても、作業者２に入力ミスの可能性を把握させることができる。

また、この比較結果が、点検対象３が表示されている画像に重畳して表示されることにより、作業者２は、視線を点検対象３に向けたままで、比較結果を把握することができる。よって、点検対象３に対する、第１点検結果情報と第２点検結果情報との比較結果を容易に把握することができるため、比較結果が第１点検結果情報と第２点検結果情報とが異なることを表す場合であっても、作業者２は容易にその差異を把握することができる。よって、本実施の形態によれば、作業者２による点検結果の差異の見逃しを防ぐことができる。

以上のように、本実施の形態に係る点検支援装置１０によれば、点検の作業をより効率化することができる。

＜第２の実施の形態＞
次に、上述した第１の実施の形態を基本とする、本開示の第２の実施の形態について、図面を参照して説明する。図４は、本実施の形態に係る点検支援装置１００を含む点検支援システム４の構成の一例を示す図である。図４に示す通り、点検支援システム４は、点検支援装置１００と、撮像装置２００と、入力装置３００と、表示部１４０とを含む。

図５は、図４に示す点検支援システム４の適用例の一例を示す図である。図５に示す通り、点検支援システム４に含まれる点検支援装置１００、撮像装置２００および入力装置３００は、ウェアラブルグラス５に搭載される。なお、点検支援装置１００および入力装置３００は、ウェアラブルグラス５と通信可能なサーバ装置に搭載されてもよい。なお、点検支援装置１００の一部の機能（例えば、図４に示す第１取得部１１０、第２取得部１２０および表示制御部１３０）がウェアラブルグラス５に搭載されてもよい。

ウェアラブルグラス５を装着した作業者２が、例えば計測器などの点検対象３の方に顔を向けることにより、ウェアラブルグラス５の撮像装置２００が点検対象３を撮像する。撮像された映像は、ウェアラブルグラス５のレンズの部分である表示部１４０に表示される。

点検対象３は、点検の対象となる、例えば、温度計などのセンサ、スイッチ、構造物などである。点検対象３は、点検対象となるものであれば特に限定されない。本実施の形態では、点検対象３は、温度計３１、温度計３２およびスイッチ３３であるとして説明を行う。なお、点検対象３は、温度計３１、温度計３２およびスイッチ３３を含む装置全体であってもよい。

撮像装置２００は、点検対象３を撮像し、撮像された映像を表す画像データを生成する。生成された画像データは、撮像装置２００内に格納されてもよいし、撮像装置２００とは異なる記憶装置に格納されてもよい。撮像装置２００が撮像する映像は動画像であってもよいし、静止画像であってもよい。撮像装置２００は、画像データを生成すると、点検支援装置１００に該画像データを供給してもよい。

入力装置３００は、例えば、作業者２が指示を入力するための装置である。入力装置３００は、例えば、ウェアラブルグラス５に搭載された、作業者２の音声を集音可能なマイクロフォン等であってもよい。また、入力装置３００は、ウェアラブルグラス５とは別個の、キーボード等の装置であってもよい。また、入力装置３００は、ウェアラブルグラス５とは別個の、タッチパネルを有した携帯端末等であってもよい。入力装置３００に入力された情報を表す入力データは、入力装置３００内に格納されてもよいし、入力装置３００とは異なる記憶装置に格納されてもよい。また、入力装置３００は、音声の入力や文字の入力を受け付けると、受け付けた情報を表す入力データを点検支援装置１００に供給してもよい。

次に、点検支援装置１００の構成について説明する。点検支援装置１００は、図４に示す通り、第１取得部１１０と、第２取得部１２０と、表示制御部１３０と、記録制御部１５０と、記録部１６０とを含む。なお、記録部１６０は、点検支援装置１００とは異なる記憶装置で実現されてもよい。

第１取得部１１０は、第１の実施の形態における第１取得部１１の一例である。第１取得部１１０は、点検対象３の点検結果を取得するために用いられる画像データである第１データを取得する。第１取得部１１０は、例えば、撮像装置２００によって撮像された映像を表す画像データ全体を第１データとして取得してもよいし、一部を第１データとして取得してもよい。一部の画像データは、画像データを構成する複数のフレームの何れかであってもよいし、点検対象３が含まれる領域の画像（部分画像）を表す画像データであってもよい。第１取得部１１０は、点検対象３の点検結果が取得可能な画像データであればよい。第１取得部１１０が、撮像装置２００が撮像した画像データのうち一部を取得することによって、画像データ全体を取得する場合に比べ、データ量を削減することができる。第１取得部１１０は、取得した第１データを表示制御部１３０に供給する。

第２取得部１２０は、第１の実施の形態における第２取得部１２の一例である。第２取得部１２０は、点検対象３の点検結果を取得するために用いられる、第１データとは異なる種類の第２データを取得する。第２データは、入力装置３００を介して、作業者２によって入力された、音声や文字を表す入力データであってもよい。また、入力装置３００が、表示制御部１３０が表示部１４０に表示させたソフトウェアキーボードの場合、第２取得部１２０は、作業者２の指の位置を示す情報を、第２データとして取得してもよい。第２取得部１２０は、第２データを表示制御部１３０に供給する。

表示制御部１３０は、第１の実施の形態における表示制御部１３の一例である。表示制御部１３０は、取得された第１データに基づく点検結果に関する情報と、取得された第２データに基づく点検結果に関する情報との比較結果を、点検対象が表示されている画像に重畳して表示部１４０に表示させる。

表示制御部１３０は、第１取得部１１０から第１データを受け取り、受け取った第１データに基づいて、該第１データが表す画像に含まれる点検対象３の点検結果に関する情報（第１点検結果情報と呼ぶ）を取得する。例えば、表示制御部１３０は、第１データに含まれる点検対象３を認識する。表示制御部１３０は、第１データから点検対象３の種類（例えば、温度計、湿度計等）を認識してもよい。表示制御部１３０が点検対象３を認識する方法は特に限定されず、任意の方法を採用してもよい。そして、表示制御部１３０は、第１データから認識した点検対象３の状態を認識する。例えば、点検対象３が温度計の場合、表示制御部１３０は、温度計が示す温度を、第１データから認識する。これにより、表示制御部１３０は、点検対象３の認識結果および点検対象３が表す状態の認識結果を第１点検結果情報として取得する。

また、表示制御部１３０は、第２取得部１２０から第２データを受け取り、受け取った第２データに基づいて、点検対象３の点検結果に関する情報（第２点検結果情報と呼ぶ）を取得する。例えば、入力装置３００がキーボードの場合、または、入力装置３００がタッチパネルを有する装置であり、タッチパネル上に表示されたソフトウェアキーボードを用いて作業者２が入力を行った場合、第２データは文字を表す。このような場合、表示制御部１３０は、第２データを第２点検結果情報として取得してもよい。また、入力装置３００が、表示制御部１３０が表示部１４０に表示させたソフトウェアキーボードの場合、上述した通り、第２データは作業者２の指の位置を示す情報である。このような場合、表示制御部１３０は、表示制御部１３０が表示部１４０に表示させたソフトウェアキーボードの情報と第２データとから、作業者２によって入力された情報を特定し、特定した情報（例えば文字列）を第２点検結果情報として取得してもよい。

また、例えば、入力装置３００がタッチパネルを有する装置であり、作業者２がタッチパネル上に描いた線や点を表現する情報が第２データである場合、表示制御部１３０は、この第２データに基づいて、第２点検結果情報を取得してもよい。例えば、作業者２がタッチパネル上に数字を描いた場合、表示制御部１３０は、作業者が描いた線の情報から数字を取得する。また、第２データが音声データの場合、表示制御部１３０は、該音声データに含まれる作業者２の音声を取得し、取得した音声から得られる発話内容を第２点検結果情報として取得してもよい。

そして、表示制御部１３０は、第１点検結果情報と第２点検結果情報とを比較する。表示制御部１３０は、比較結果を点検対象３が表示されている画像に重畳して表示部１４０に表示させる。点検対象３が表示されている画像は、例えば、第１取得部１１０が取得した第１データが表す画像である。第１取得部１１０が取得した第１画像が複数のフレームからなる画像データの場合、点検対象３が表示されている画像は、複数のフレームのうちの何れかのフレームであってもよい。

表示部１４０は、例えば、図５に示す通り、ウェアラブルグラス５のレンズ部であり、例えば、外界光を透過し、表示制御部１３０の指示に従った情報を表示するディスプレイモジュールによって実現されるが、これに限定されるものではない。表示部１４０は、表示制御部１３０によって生成された情報を、作業者２の網膜に表示させる機能を有するモジュールであってもよい。このように、表示部１４０は、表示制御部１３０の制御に従って、表示制御部１３０が生成した情報を、投影する機能を有していてもよい。なお、表示制御部１３０が生成した情報を投影する機能は、表示制御部１３０が有していてもよい。例えば、表示部１４０を網膜とした場合、表示制御部１３０は、生成した情報を、網膜に直接投影する機能を有していてもよい。

記録制御部１５０は、表示制御部１３０から比較結果を受け取り、該比較結果を点検対象３の情報に対応付けて記録部１６０に記録する。点検対象３の情報とは、例えば、点検対象３を表す点検対象名、点検対象３に対する点検項目などが挙げられる。なお、点検対象３の情報はこれに限定されるものではなく、その他の情報を含んでもよい。

本実施の形態では、記録制御部１５０は、記録部１６０に対応付けた情報を記録するとするが、記録制御部１５０は、紙、表示部１４０やその他の媒体に出力することにより、対応付けた情報を記録する構成であってもよい。

記録部１６０は、例えば、ハードディスクドライブで実現される。記録部１６０は、記録制御部１５０が対応付けた比較結果と点検対象３の情報とを記録する。

図６は、本実施の形態に係る点検支援装置１００の処理の流れの一例を示すフローチャートである。図６に示す通り、第１取得部１１０が、点検対象の点検結果を取得するために用いられる画像データである第１データを取得する（ステップＳ６１）。また、第２取得部１２０が、点検対象の点検結果を取得するために用いられる、第１データとは異なる種類の第２データを取得する（ステップＳ６２）。ステップＳ６１およびステップＳ６２は同時に行われてもよいし、逆順で行われてもよい。

ステップＳ６１で第１取得部１１０が取得した第１データが表す画像の一例を図７に示す。図７に示す通り、第１取得部１１０が取得した第１データが表す画像７０は、点検対象３として、２つの温度計（温度計３１および温度計３２）とスイッチ３３とを含む。なお、本例では、ステップＳ６２にて取得される第２データは音声データであるとして説明を行う。

次に、表示制御部１３０が、ステップＳ６１にて取得された第１データに基づく点検結果に関する第１点検結果情報を取得する（ステップＳ６３）。図８は、表示制御部１３０が第１データから取得した第１点検結果情報８０の一例を示す図である。表示制御部１３０は、図８に示すような、点検対象を識別する情報である点検対象名８１と、点検対象名８１が表す点検対象の状態を表す状態情報８２とを含む第１点検結果情報８０を第１データから取得する。この第１点検結果情報８０は、例えば、表示制御部１３０内の記憶部に格納される。なお、第１点検結果情報８０は、図８に示すものに限定されず、点検対象３の点検結果に関する情報であればよい。

また、表示制御部１３０が、ステップＳ６２にて取得された第２データに基づく点検結果に関する第２点検結果情報を取得する（ステップＳ６４）。図９は、表示制御部１３０が第２データから取得した第２点検結果情報９０の一例を示す図である。例えば、第２データが「温度計３１、４℃。温度計３２、１０℃。温度計３２、ＯＮ」という音声を表す音声データであるとする。この場合、表示制御部１３０は、第２データに対し所定の音声分析処理を施し、図９に示すような、点検対象を識別する情報である点検対象名９１と、点検対象名９１に関連する点検対象の点検結果を表す点検結果情報９２とを含む第２点検結果情報９０を該第２データから取得する。そして、表示制御部１３０は、この第２点検結果情報９０を、例えば、表示制御部１３０内の記憶部に格納する。なお、第２点検結果情報９０は、図９に示すものに限定されず、点検対象３の点検結果に関する情報であればよい。

なお、ステップＳ６３およびステップＳ６４は同時に行われてもよいし、逆順で行われてもよい。

そして、表示制御部１３０は、第１点検結果情報と、第２点検結果情報とを比較する（ステップＳ６５）。その後、表示制御部１３０は、ステップＳ６５における比較結果を、点検対象が表示されている画像に重畳して表示部１４０に表示させる（ステップＳ６６）。

図１０は、表示部１４０が表示する表示画面１０１の一例を示す図である。ここで、表示部１４０には、図７に示した画像７０と同様の画像が表示されているとする。表示制御部１３０は、図７に示した画像７０に、ステップＳ６５における比較結果を重畳した表示画面１０１を表示部１４０に表示させる。図８および図９を参照すると、第１点検結果情報８０と第２点検結果情報９０とは、温度計３１の温度が異なる。よって、表示制御部１３０は、温度計３１の温度が異なることを表す比較結果１０２を、図７に示した画像７０に重畳して表示させる。

このように、表示制御部１３０は、比較結果が異なっていることを示す場合、第１点検結果情報と第２点検結果情報とが異なっていることが把握可能な態様で比較結果を表示部１４０に表示させてもよい。なお、図１０では、表示制御部１３０は、第２点検結果情報９０に含まれる点検結果情報９２に対して、第１点検結果情報８０に含まれる状態情報８２が異なる場合、状態情報８２を含む情報を、比較結果１０２として表示させているが、比較結果１０２の表示方法はこれに限定されない。

図１１は、表示部１４０が表示する表示画面１０３の一例を示す図である。表示制御部１３０は、図１１に示すような表示画面１０３を表示してもよい。表示制御部１３０は、比較結果が一致することを示す場合、図１１に示す通り、一致することを表すチェックマーク１０５および１０６を比較結果として表示部１４０に表示させてもよい。また、表示制御部１３０は、比較結果が異なっていることを示す場合、異なっていることを表すバツ印１０４を比較結果として表示部１４０に表示させてもよい。また、表示制御部１３０は図１１に示す表示画面１０３に、図１０に示した比較結果１０２を更に表示させてもよい。また、表示制御部１３０は、図１０に示す表示画面１０１にチェックマーク１０５および１０６を表示させてもよい。

表示制御部１３０は、このような表示画面１０１または表示画面１０３を表示部１４０に表示させることにより、作業者２に比較結果を容易に把握させることができる。

ステップＳ６６終了後、記録制御部１５０は、比較結果を点検対象３の情報に対応付けて記録部１６０に記録する（ステップＳ６７）。以上により、点検支援装置１００は、処理を終了する。

図１２は、記録部１６０に記録された記録情報１２１の一例を示す図である。図１２に示す通り、記録情報１２１は、点検対象３の情報である、点検対象３を表す点検対象名１２２および点検対象３に対する点検項目１２３と、比較結果１２４とを含む。比較結果１２４の欄には、第１点検結果情報と第２点検結果情報とが一致することを示す「一致」または第１点検結果情報と第２点検結果情報とが異なることを示す「不一致」が含まれる。なお、記録情報１２１は、図１２に示すものに限定されず、例えば、第１データ、第１点検結果情報、第２データ、第２点検結果情報、点検作業を行ったか否かを示す情報などを含んでもよい。

このように、本実施の形態に係る点検支援装置１００は、取得された第１データに基づく点検結果に関する第１点検結果情報と、取得された第２データに基づく点検結果に関する第２点検結果情報との比較結果を、点検対象３が表示されている画像に重畳して表示部１４０に表示させる。これにより、表示部１４０に表示された画面を確認する作業者２は、点検対象３と、第１点検結果情報と第２点検結果情報とを把握することができる。これにより、作業者２は、画面を見るだけで、第１点検結果情報と第２点検結果情報とが一致しているか否かを容易に把握することができる。

例えば、反復動作や点検作業に対する慣れが有る場合、作業者２が入力ミスをする可能性や点検結果を間違って把握する可能性がある。しかしながら、本実施の形態に係る点検支援装置１００は、画像データに基づく点検結果に関する情報と、入力された点検結果に関する情報とを比較するため、作業者２のミスが発生した場合であっても、作業者２に入力ミスの可能性を把握させることができる。

また、この比較結果が、点検対象３が表示されている画像に重畳して表示されることにより、作業者２は、視線を点検対象３に向けたままで、比較結果を把握することができる。よって、点検対象３に対する、第１点検結果情報と第２点検結果情報との比較結果を容易に把握することができるため、比較結果が第１点検結果情報と第２点検結果情報とが異なることを表す場合であっても、作業者２は容易にその差異を把握することができる。よって、本実施の形態によれば、作業者２による点検結果の差異の見逃しを防ぐことができる。したがって、本実施の形態に係る点検支援装置１００によれば、点検の作業をより効率化することができる。

また、記録制御部１５０が、点検対象３の情報と比較結果とを対応付けて記録することにより、点検結果が正しいか否かのチェックを、所定のタイミングで行うことができる。

なお、記録制御部１５０は、比較結果が、第１点検結果情報と第２点検結果情報とが一致することを表す場合に、該比較結果と該比較結果に関連する点検対象３の情報とを対応付けて記録してもよい。これにより、点検支援装置１００は、故意に改ざんされた第２点検結果情報が、点検結果として記録部１６０に記録されることを防ぐことができる。

また、表示制御部１３０は、比較結果に応じた画面を表示部１４０に表示させてもよい。比較結果が異なっていることを表す場合、作業者２による入力ミスが考えられる。このような場合、表示制御部１３０は、比較結果として、図１３に示すような表示画面１３１を表示部１４０に表示させてもよい。図１３に示す表示画面１３１は、比較結果として、作業者２に第２データの入力を促す情報１３２を含む。また、このとき、表示制御部１３０は、図１１と同様に、一致することを表すチェックマーク１３３および１３４を比較結果として表示部１４０に表示させてもよい。

このように、表示制御部１３０が第２データの入力を促す情報を表示部１４０に表示させることにより、作業者２による入力ミスや点検結果の見逃しを防ぐことができる。

また、比較結果が異なっている場合、表示制御部１３０によって第１データから認識された情報が誤っている場合がある。このような場合、表示制御部１３０は、比較結果として、図１４に示すような表示画面１４１を表示部１４０に表示させてもよい。図１４に示す表示画面１４１は、比較結果として、点検対象３の撮像を促す情報１４２を含む。撮像装置２００が、動画像を撮像している場合、表示制御部１３０は、図１４に示すように、作業者２に対し、点検対象３である温度計３１を認識しやすい第１データが得られるように、温度計３１に近づくことを促す情報を表示してもよい。表示された情報に従った作業者２は、温度計３１に近づくことにより、ウェアラブルグラス５に搭載された撮像装置２００が温度計３１を撮像することができる。

また、比較結果が異なっている場合、撮像された場所の明るさを検知し、検知した明るさを示す値が所定の値より大きい場合、表示制御部１３０は、明るさを調整して再度撮影する指示を表す情報を表示部１４０に表示してもよい。このように、表示制御部１３０は、認識精度が高くなるような画像の撮像を促す情報を表示部１４０に表示してもよい。また、このとき、表示制御部１３０は、図１１と同様に、一致することを表すチェックマーク１４３および１４４を比較結果として表示部１４０に表示させてもよい。

なお、表示制御部１３０は、まず、表示画面１３１に示す作業者２に第２データの入力を促す情報１３２を表示させ、その後の比較結果が異なる場合に、表示画面１４１に示す作業者２に点検対象３の撮像を促す情報１４２を表示させてもよいし、逆であってもよい。また、表示制御部１３０は、比較結果が異なる場合に、撮像環境を確認し、撮像環境が所定の条件を満たす場合、表示画面１３１を表示させ、満たさない場合、表示画面１４１を表示させてもよい。

また、点検項目として、点検対象３の状態が条件を満たすか否かを確認することが考えられる。このような場合、表示制御部１３０は、点検対象３の情報に含まれる条件を満たすか否かを判定し、判定結果を第１点検結果情報としてもよい。この場合の点検対象３の情報の一例を図１５に示す。図１５は、点検対象３の情報である点検対象情報１５１の一例を示す図である。点検対象情報１５１は、本実施の形態では、記録部１６０に格納されるとして説明を行うが、点検対象情報１５１は記録部１６０とは別個の記憶装置に格納されてもよい。

点検対象情報１５１は、点検対象名１５２、点検項目１５３および条件１５４を含む。条件１５４は、点検対象が満たすべき値や状態を示す。例えば、点検対象３が温度計の場合、条件１５４は、満たすべき温度を示す。図１５に示す通り、温度計３１が満たすべき条件１５４は５℃未満であり、温度計３２が満たすべき条件１５４は１４℃未満であり、スイッチ３３が満たすべき条件１５４は、「ＯＮ」の状態であることである。

表示制御部１３０が、第１データから、図８に示す状態情報８２を認識したとする。つまり、温度計３１は、６℃を示し、温度計３２は、１０℃を示し、スイッチ３３はＯＮであるとする。表示制御部１３０は、記録制御部１５０を介して記録部１６０に格納された点検対象情報１５１を参照し、認識された状態情報が条件を満たすか否かを判定する。図１５に示す通り、温度計３１の値は、条件である５℃未満を満たしていないため、表示制御部１３０は、条件を満たしていないことを示す情報を、温度計３１に関連する第１点検結果情報とする。また、表示制御部１３０は、条件を満たしていることを示す情報を、温度計３２およびスイッチ３３の夫々に関連する第１点検結果情報とする。

また、作業者２は、各点検対象に対する条件を満たすか否かを示す情報を、第２データとして入力する。第２取得部１２０は、この入力された第２データを取得する。表示制御部１３０は、第２データに基づいて、第２点検結果情報を取得する。ここでは、第２点検結果情報は、第２データ情報と同様に、各点検対象に対する条件を満たすか否かを示す情報であるとする。

図１６は、記録部１６０に記録された記録情報１６１の一例を示す図である。記録情報１６１は、点検対象３の情報である、点検対象名１５２、点検項目１５３および条件１５４を含む。また、記録情報１６１は、状態情報１６５と、第１点検結果情報１６６と、第２点検結果情報１６７と、比較結果１６８とを含む。なお、記録情報１６１は、状態情報１６５と、第１点検結果情報１６６と、第２点検結果情報１６７とを含まなくてもよい。

第１点検結果情報１６６および第２点検結果情報１６７は、各点検対象に対する条件を満たすか否かを示す。図１６では、条件を満たす場合「ＯＫ」が設定され、満たさない場合「ＮＧ」が設定されている。比較結果１６８は、第１点検結果情報と第２点検結果情報とが一致するか否かを示す。比較結果１６８の欄には、一致することを示す「一致」または異なることを示す「不一致」が含まれる。図１６によれば、温度計３１に関連する比較結果が「不一致」となっていることがわかる。これにより、例えば、作業者２が反復作業を行うことにより、誤って条件を満たすと入力してしまった場合であっても、表示制御部１３０は、比較結果を表示部１４０に表示させることができる。また、記録情報１６１を記録部１６０に記録することにより、点検作業後の確認処理において、作業者２は、点検結果に間違いがないか否かを確認することができる。

なお、第２データは、上述した点検結果情報９２と同様に、点検対象３が示す値や状態であってもよい。この場合であっても、表示制御部１３０は、条件１５４を満たすか否かを判定し、判定結果を第２点検結果情報１６７としてもよい。

また、第２取得部１２０は、作業者２の所定の動作を示す情報を、第２データとして取得してもよい。例えば、作業者２が、点検対象３が表示されている画面上において、点検結果が所定の条件を満たしている場合、チェックを付ける動作を指で行い、所定の条件を満たしていない場合、バツ印を付ける動作を指で行ったとする。このように、第２取得部１２０は、作業者２が行った所定の動作を示す情報、この例の場合、指の軌跡を表す情報を、第２データとして取得してもよい。このような構成によって、作業者２はより簡単に点検対象３に対する点検結果の入力を行うことができる。

また、点検対象３は、橋などの構造物であってもよい。点検対象３が構造物の場合、表示制御部１３０は、第１データから劣化度を算出し、入力された劣化度と比較することにより、比較結果を表示部１４０に表示させてもよい。劣化度の算出方法は特に限定されず、例えば、色や亀裂の量等に基づいて算出する方法であってもよいし、その他の状態から算出する方法であってもよい。

（ハードウェア構成について）
本開示の各実施形態において、点検支援装置（１０、１００）の各構成要素は、機能単位のブロックを示している。点検支援装置（１０、１００）の各構成要素の一部又は全部は、例えば図１７に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図１７は、点検支援装置（１０、１００）の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における点検支援装置（１０、１００）の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。点検支援装置（１０、１００）の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１が読み出す。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。

点検支援装置（１０、１００）の実現方法には、様々な変形例がある。例えば、点検支援装置（１０、１００）は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、点検支援装置（１０、１００）が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。

また、点検支援装置（１０、１００）の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。

点検支援装置（１０、１００）の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

点検支援装置（１０、１００）の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。

１ ウェアラブルグラス
２ 作業者
３ 点検対象
４ 点検支援システム
５ ウェアラブルグラス
１０ 点検支援装置
１１ 第１取得部
１２ 第２取得部
１３ 表示制御部
１４ 表示部
３１ 温度計
３２ 温度計
３３ スイッチ
１００ 点検支援装置
１１０ 第１取得部
１２０ 第２取得部
１３０ 表示制御部
１４０ 表示部
１５０ 記録制御部
１６０ 記録部
２００ 撮像装置
３００ 入力装置

Claims (7)

1. 点検対象を撮像し、撮像された映像を表す画像データである第１データを取得する第１取得手段と、
   前記点検対象の状態が所定の条件を満たしているか否かを示す、作業者の指の軌跡によって入力された入力データである第２データを取得する第２取得手段と、
   取得された前記第１データに基づいて認識された前記点検対象の状態が所定の条件を満たしているか否かを示す第１点検結果情報と、取得された前記第２データに基づいて取得された点検結果である第２点検結果情報とが一致するか異なるかを示す比較結果を、前記点検対象が表示されている画像に重畳して表示部に表示させる表示制御手段と、
   を備える点検支援装置。
2. 前記表示制御手段は、前記比較結果が異なっていることを示す場合、前記第１点検結果情報と前記第２点検結果情報とが異なっていることが把握可能な態様で前記比較結果を前記表示部に表示させる、
   請求項１に記載の点検支援装置。
3. 前記表示制御手段は、前記比較結果が異なっていることを示す場合、前記第２データの入力を促す情報を表示させる、
   請求項１または２に記載の点検支援装置。
4. 前記表示制御手段は、前記比較結果が異なっていることを示す場合、前記点検対象の撮像を促す情報を表示させる、
   請求項１から３の何れか１項に記載の点検支援装置。
5. 前記比較結果と前記点検対象の情報とを対応付けて記録する記録制御手段、
   を更に備える請求項１から４の何れか１項に記載の点検支援装置。
6. 点検対象を撮像し、撮像された映像を表す画像データである第１データを取得し、
   前記点検対象の状態が所定の条件を満たしているか否かを示す、作業者の指の軌跡によって入力された入力データである第２データを取得し、
   取得された前記第１データに基づいて認識された前記点検対象の状態が所定の条件を満たしているか否かを示す第１点検結果情報と、取得された前記第２データに基づいて取得された点検結果である第２点検結果情報とが一致するか異なるかを示す比較結果を、前記点検対象が表示されている画像に重畳して表示部に表示させる、
   情報処理装置が実行する点検支援方法。
7. 点検対象を撮像し、撮像された映像を表す画像データである第１データを取得する処理と、
   前記点検対象の状態が所定の条件を満たしているか否かを示す、作業者の指の軌跡によって入力された入力データである第２データを取得する処理と、
   取得された前記第１データに基づいて認識された前記点検対象の状態が所定の条件を満たしているか否かを示す第１点検結果情報と、取得された前記第２データに基づいて取得された点検結果である第２点検結果情報とが一致するか異なるかを示す比較結果を、前記点検対象が表示されている画像に重畳して表示部に表示させる処理と、
   をコンピュータに実行させるプログラム。

Images