JPWO2020021589A1 - 情報処理装置、情報処理システム、方法、及びプログラム - Google Patents

情報処理装置、情報処理システム、方法、及びプログラム Download PDF

Info

Publication number
JPWO2020021589A1
JPWO2020021589A1 JP2019508996A JP2019508996A JPWO2020021589A1 JP WO2020021589 A1 JPWO2020021589 A1 JP WO2020021589A1 JP 2019508996 A JP2019508996 A JP 2019508996A JP 2019508996 A JP2019508996 A JP 2019508996A JP WO2020021589 A1 JPWO2020021589 A1 JP WO2020021589A1
Authority
JP
Japan
Prior art keywords
portable device
diagnosis
inspection
diagnosis target
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019508996A
Other languages
English (en)
Other versions
JP6584721B1 (ja
Inventor
安章 後藤
安章 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6584721B1 publication Critical patent/JP6584721B1/ja
Publication of JPWO2020021589A1 publication Critical patent/JPWO2020021589A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395Quality analysis or management
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Educational Technology (AREA)
  • Game Theory and Decision Science (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

点検データ受付部(120)は、診断対象に対する点検作業において携帯型デバイスによって収集された点検データを、携帯型デバイスから受け付ける。学習部(130)は、ニューラルネットワークに過去に収集した点検データを入力し、診断対象の損傷の有無の診断について学習させる。診断部(140)は、点検データ受付手段が受け付けた点検データをニューラルネットワークに入力し、ニューラルネットワークの出力から診断対象の損傷の有無を診断する。指示部(150)は、診断部(140)が診断対象について診断した診断結果から、点検作業の指示の内容を判別し、判別した結果に応じた指示を携帯型デバイスに送信する。

Description

本発明は、情報処理装置、情報処理システム、方法、及びプログラムに関する。
工場設備において安全及び品質を維持するためには、機器の保守点検が欠かせない。このため、例えば、化学プラントにおいては、パイプ、タンク等を点検するため、複数の作業者が工場内を巡回しながら点検を行う。
作業者が日常的に行う非破壊点検として、目視検査と打音検査とがある。例えば、作業者は、パイプを目視して、または、パイプを叩いたときの打音から、パイプに損傷が生じていないかを判断する。目視検査と打音検査とは作業者の手作業による点検であるため、作業者が異常の発生の有無を正しく判断するには、作業者が経験を積み、熟練したスキルを有している必要があった。このため、経験が浅い作業者は、熟練したスキルを有している作業者に同行して作業の経験を積んでいた。また、熟練したスキルを有した作業者がいない場合には、経験が浅い作業者は、マニュアルを読みながら又は制御管理室から電話による指示を受けながら作業を行うという実情があった。
特許文献1に記載された情報処理システムにおいては、プラントにおいて、作業者が読み取った計器の指示値と、生産装置の動作パラメータを調整した調整量とを、作業者が携帯するウェアラブルコンピュータからホストコンピュータに送信することが記載されている。ホストコンピュータは、収集した計器の指示値と作業者による動作パラメータの調整量とを、他の作業者が携帯するウェアラブルコンピュータに送信する。
特開2001−22505号公報
特許文献1においては、作業者間において、他の作業者が担当する計器の指示値と動作パラメータの調整量とを共有するのにとどまっており、最終的には、作業者自身が、自身が担当する計器の指示値から、異常の発生の有無の判断を行う必要があった。しかし、経験が浅い作業者にとっては適切な判断を行うことは困難であった。
本発明は、上記実情に鑑みてなされたものであり、点検データから診断対象について診断を行い、点検についての適切な手順を作業者に提示することを目的とする。
上記目的を達成するため、本発明に係る情報処理装置において、点検データ受付手段は、診断対象に対する点検作業において携帯型デバイスによって収集された点検データを、携帯型デバイスから受け付ける。学習手段は、ニューラルネットワークに過去に収集した点検データを入力し、診断対象の損傷の有無の診断について学習させる。診断手段は、点検データ受付手段が受け付けた点検データをニューラルネットワークに入力し、ニューラルネットワークの出力から診断対象の損傷の有無を診断する。指示手段は、診断手段が診断対象について診断した診断結果に応じた指示を携帯型デバイスに送信する。
本発明に係る情報処理装置は、診断対象に対する点検作業において携帯型デバイスによって収集された点検データをニューラルネットワークに入力し、ニューラルネットワークの出力から診断対象の損傷の有無を診断する。診断結果に応じた指示を携帯型デバイスに送信する。このような構成を備えることで、点検データから診断対象について診断を行い、点検についての適切な手順を作業者に提示することを可能とする。
実施の形態に係る情報処理システムのハードウェア構成を示すブロック図 実施の形態に係る携帯型デバイスの構成の一例を示す図 実施の形態に係る情報処理装置の機能ブロック図 実施の形態に係る処置テーブルのデータの一例を示す図 実施の形態に係る携帯型デバイスの表示パネルに表示される画像の一例を示す図 実施の形態に係る携帯型デバイスの表示パネルに表示される画像の他の例を示す図 実施の形態に係る打音検査についての指示を示す画像の一例を示す図 実施の形態に係る打音検査についての指示を示す画像の他の例を示す図 実施の形態に係る保守作業についての指示を示す画像の一例を示す図 実施の形態に係る情報処理装置のディスプレイに表示される構内の地図の画像の一例を示す図 実施の形態に係る点検作業処理のフローチャート 変形例1に係る処置テーブルのデータの一例を示す図
以下、本発明の実施の形態に係る情報処理システム1について、図面を参照しつつ詳細に説明する。
(実施の形態)
図1に示すように、本発明の実施の形態1に係る情報処理システム1は、情報処理装置100と、複数の携帯型デバイス200とを含む。情報処理システム1は、例えば、化学プラント、鉄鋼プラント等の保守点検業務を管理するシステムである。情報処理装置100は、携帯型デバイス200が収集したプラント内の設備の点検データから、プラント内の設備に損傷が発生しているか否かの診断を行う。
情報処理装置100は、プラントの制御管理室に設置されている。プラントの構内を巡回しながら点検作業を行う作業者50は、携帯型デバイス200をそれぞれ携帯している。携帯型デバイス200は、図2に示すように、作業者50が装着するウェアラブルコンピュータである。具体的には、携帯型デバイス200は、作業者50が着用するヘルメット10に一体的に取り付けられている。図1に示すように、情報処理装置100と携帯型デバイス200とは無線通信を行う。例えば、情報処理装置100は、作業者50への指示を携帯型デバイス200に送信する。携帯型デバイス200は、取得した点検データを情報処理装置100に送信する。点検データは、診断対象の状態を示すデータである。実施の形態において、点検データは、作業者50による打音検査の打音の音声データと、診断対象を撮影した画像データと、ガス濃度の測定値とを含む。
情報処理装置100はハードウェア構成として、各種データを記憶するメモリ101と、ユーザの入力操作を検出する入力装置102と、画像を表示装置に出力する出力装置103と、他の装置と無線通信を行う無線通信回路104と、情報処理装置100全体を制御するプロセッサ105とを有する。メモリ101と、入力装置102と、出力装置103と、無線通信回路104とはいずれもバス109を介してプロセッサ105に接続されており、プロセッサ105と通信する。
メモリ101は、揮発性メモリと不揮発性メモリとを含み、プログラムと各種データとを記憶する。また、メモリ101はプロセッサ105のワークメモリとして用いられる。また、メモリ101は、情報処理装置100における点検作業処理を実現するためのプログラム1000を記憶する。
入力装置102は、キーボード、マウス、タッチパネル等を含み、制御管理室内のユーザの入力操作を検出し、検出したユーザの入力操作を示す信号をプロセッサ105に出力する。
出力装置103は、ディスプレイ、タッチパネル等を含み、プロセッサ105から供給される信号に基づく画像を表示する。出力装置103は、例えば、制御管理室内のユーザの操作に応答して、プラントの構内の地図をディスプレイに表示する。また、出力装置103は、携帯型デバイス200が撮影した画像データをディスプレイに表示する。
無線通信回路104は、アンテナ104aを有し、他の装置と無線通信を行うためのネットワークインタフェース回路を含む。無線通信回路104は、プロセッサ105から供給されたデータを、電気信号に変換し、電気信号を電波に乗せて出力する。また、無線通信回路104は、他の装置から出力された電波を受信し、電波に乗せられた電気信号をデータに復元してプロセッサ105に出力する。
プロセッサ105は、CPU(Central Processing Unit)を含み、メモリ101に記憶される各種プログラムを実行して、情報処理装置100の各種機能を実現する。プロセッサ105は、AI(Artificial Intelligence)用の専用プロセッサをさらに備えているものとする。
図2に示すように、携帯型デバイス200は作業者50が着用するヘルメット10に一体的に取り付けられたAR(Augmented Reality)のヘッドマウントディスプレイである。図1に示すように、携帯型デバイス200は、ハードウェア構成として、各種データを記憶するメモリ201と、情報処理装置100から供給された情報を作業者50に提示する出力装置202と、点検に関するデータを収集する収集装置203と、他の装置と無線通信を行う無線通信回路204と、携帯型デバイス200全体を制御するプロセッサ205とを有する。メモリ201と、出力装置202と、収集装置203と、無線通信回路204とはいずれもバス209を介してプロセッサ205に接続されており、プロセッサ205と通信する。
メモリ201は、揮発性メモリ、不揮発性メモリを含み、プログラムと各種データを記憶する。メモリ201はプロセッサ205のワークメモリとして用いられる。また、メモリ201は、携帯型デバイス200における点検データの収集処理を実現するためのプログラム2000を記憶する。メモリ201は図2に示す本体部20に収容されている。
出力装置202は、表示パネル202aとスピーカ202bとを有する。表示パネル202aは、プロセッサ205の制御に従って、情報処理装置100から受信した画像を表示パネル202aに表示する。表示パネル202aに表示される画像は、例えば、作業者50に対する作業の指示を示す画像である。図2に示すように、実施の形態においては、表示パネル202aは、作業者50の片方の目の前に位置するよう配置されている。表示パネル202aは、作業者50の片方の目を覆う程度の大きさを有しているものとする。
図1に示すように、スピーカ202bはプロセッサ205の制御に従って、情報処理装置100から受信した音声を出力する。スピーカ202bから出力される音声は、例えば、作業者50に対する作業の指示を示す音声である。スピーカ202bは図2に示す本体部20に収容されている。
図1に示すように、収集装置203は、カメラ203aと、マイク203bと、ガス検知センサ203cと、GPS(Global Positioning System)受信機203dとを有し、プロセッサ205の制御に従って、点検に係る各種データを収集する。
図2に示すように、カメラ203aは、レンズが作業者50の視線と同じ方向を向くように、作業者50の顔の側面に配置されている。カメラ203aは、作業者50が向く方向に存在する診断対象を撮影する。カメラ203aは、電源がオンされている間、継続して撮影を行い、撮影した画像データをプロセッサ205に出力する。
図2に示すように、マイク203bは、作業者50の顔の側面であって、ヘルメット10とカメラ203aに挟まれる位置に取り付けられている。マイク203bは、作業者50が発した音声、打音検査で発生した打音等を収集する。マイク203bは、音声の入力を検出すると、収集した音声をプロセッサ205に出力する。
ガス検知センサ203cは、周囲の空気を吸引し、空気中の指定されたガスの濃度を測定し、測定値をプロセッサ205に出力する。図2に示すように、ガス検知センサ203cは、本体部20にケーブル203eを介して接続されている。ガス検知センサ203cはケーブル203eを介して、プロセッサ205に測定値を出力する。これは、作業者50が、ガス検知センサ203cを動かして、周囲のガスを吸引することができるようにするためである。
図1に示すGPS受信機203dは、GPS衛生から受信した衛星電波から、作業者50の現在位置を特定し、特定した位置を示す位置データをプロセッサ205に出力する。GPS受信機203dが出力する位置データは、3次元の座標で表されるものとする。GPS受信機203dでは、決められた期間毎に、例えば、1分おきに、作業者50の現在位置を示す情報をプロセッサ205に出力する。GPS受信機203dは図2に示す本体部20に収容されている。
図1に示す無線通信回路204は、アンテナ204aを有し、他の装置の無線通信回路と無線通信を行う。無線通信回路204は、プロセッサ205から供給されたデータを、電気信号に変換し、電気信号を電波に乗せて出力する。また、無線通信回路204は、他の装置から出力された電波を受信し、電波に乗せられた電気信号をデータに復元してプロセッサ205に出力する。無線通信回路204は図2に示す本体部20に収容されている。
図1に示すプロセッサ205は、CPUを含み、メモリ201に記憶される各種プログラムを実行して、携帯型デバイス200の各種機能を実現する。
また、プロセッサ205は、プログラム2000を実行して、点検データの収集処理を実行する。プロセッサ205は、決められた期間毎に、カメラ203aが出力した画像データを、無線通信回路204を介して情報処理装置100に送信する。プロセッサ205は、マイク203bが音声データを出力すると、その音声データを、無線通信回路204を介して情報処理装置100に送信する。プロセッサ205は、ガス検知センサ203cがガス濃度の測定値を出力すると、その測定値を、無線通信回路204を介して情報処理装置100に送信する。プロセッサ205は点検データ以外に、決められた期間毎に、GPS受信機203dが出力する作業者50の現在位置を示す情報を、無線通信回路204を介して情報処理装置100に送信する。プロセッサ205は図2に示す本体部20に収容されている。
図3Aに示すように、情報処理装置100は、機能的には、点検及び診断に係る各種データを記憶する記憶部110と、携帯型デバイス200から点検データを受け付ける点検データ受付部120と、ディープラーニングを行う学習部130と、点検データ受付部120が受け付けた点検データと学習部130の学習結果とから診断対象の損傷の有無を診断する診断部140と、作業者50への指示の内容を判別し、判別した指示の内容を携帯型デバイス200に出力する指示部150とを含む。点検データ受付部120は本発明の点検データ受付手段の一例である。学習部130は本発明の学習手段の一例である。診断部140は、本発明の診断手段の一例である。指示部150は本発明の指示手段の一例である。
実施の形態においては、情報処理装置100は、学習済みのニューラルネットワークを使用して、診断対象に損傷が生じているか否かを診断する。情報処理装置100が出力する診断結果は、診断対象に損傷が生じていないという診断結果、または、診断対象に損傷が生じているという診断結果のいずれかであるものとする。
記憶部110は、点検及び診断に係る各種データを記憶する。具体的には、記憶部110は、点検作業に関する点検マニュアル111と、点検の実施に関する履歴データ112と、点検のための各種の基準データ113と、ニューラルネットワークを定義する学習モデル114と、学習データ115と、診断対象に対する処置の内容を示すデータを格納した処置テーブル116とを記憶する。記憶部110の機能は、メモリ101により実現される。処置テーブル116は、本発明の処置情報記憶手段の一例である。
点検マニュアル111は、点検対象の位置、点検方法に関する情報を含む。点検マニュアル111は、プラントの構内の地図データと、プラントの構内における診断対象であるパイプ、タンク等の位置を示す位置データとを含む。なお、診断対象の位置データは、3次元の座標で表されるものとする。
さらに、点検マニュアル111は、打音検査のときに、診断対象を叩く位置を示す情報を含む。診断対象を叩く位置を示す情報についても、3次元の座標で表されるものとする。例えば、診断対象が構内に延伸するパイプである場合、1本のパイプに対する打音検査で、複数の箇所を叩かなければならない場合もある。このような場合、点検マニュアル111は、パイプを叩く位置のみならず、パイプを叩く順序を示す情報も含む。
履歴データ112は、具体的には、携帯型デバイス200から受信した点検データと当該点検が実施された日時とを含む点検履歴のデータと、診断対象を特定する情報と、診断結果データとを含む。前述のように点検データには、診断対象を撮影した画像データと、作業者による打音検査の打音の音声データと、ガス濃度の測定値と、が含まれる。診断対象を特定する情報は、例えば、診断対象の位置を示す情報である。診断結果データは、診断部140が点検データから診断した診断結果を示すデータを含む。例えば、診断結果データは、診断対象の損傷の発生の有無を示す。
基準データ113は、打音検査の音の適正な大きさを示す基準値を含む。指示部150は、携帯型デバイス200から受信した打音の大きさがこの基準値未満である場合、携帯型デバイス200を介して、作業者50にさらに強く叩くよう指示を出す。さらに、基準データ113は、ガス漏れが発生しているか否かを判断する基準となるガスの濃度の閾値を記憶する。
学習モデル114は、ニューラルネットワークの形状、規模を定義する情報を含む。具体的には、学習モデル114は、学習モデルを表す数式、中間層の総数、各層のニューロン(ノード)の数、各ニューロンの重み係数等を含む。実施の形態においては、記憶部110は、画像認識に適した学習モデルと音声認識に適した学習モデルとを記憶する。これは、診断部140が、診断対象を撮影した画像データと、打音の音声データとを、学習済みのニューラルネットワークに入力して、ニューラルネットワークの出力から診断を行うからである。記憶部110が記憶する学習モデルの各ニューロンの重み係数は、学習部130の学習により更新される。
学習データ115は、後述の学習部130の学習において、過去に収集された点検データそれぞれについて、点検対象の損傷有り又は点検対象の損傷無しに分類されたデータを含む。
例えば、診断対象がパイプであると仮定する。この場合、学習データ115は、損傷が発生しているパイプの画像データ、損傷が発生しているパイプを叩いたときの打音の音声データと、それぞれの診断対象についての損傷の有無を示す値とがセットにされたデータを含む。さらに、学習データ115は、損傷が発生していないパイプの画像データ、損傷が発生していないときのパイプを叩いたときの打音の音声データと、それぞれの診断対象についての損傷の有無を示す値とがセットにされたデータとを含む。学習データ115に含まれる画像データ、音声データは、過去の点検時に携帯型デバイス200により収集されたデータであってもよいし、他の機器、例えば、個別のカメラ、マイク等により収集されたデータであってもよい。なお、学習データ115は、診断対象の材質、診断対象の大きさ、内部を流れるガス等の診断対象に関する前提によりグループ分けされているものとする。学習データ115に含まれる点検データが、損傷有りの点検対象についてのデータであるか、損傷無しの点検対象についてのデータであるかの分類は、例えば、過去の点検において収集された画像、音声データに基づいて熟練した作業者が判断した診断結果からなされたものである。
処置テーブル116は、診断対象毎に、診断対象に損傷が発生している等と診断された場合に作業者50が取るべき対処方法を定義したテーブルである。図3Bに示す例では、ガス漏れが発生していると診断された場合には、対処方法として、バルブを閉めることが定義されている。パイプが損傷していると診断された場合には、報告することが定義されている。この場合、パイプの交換が必要であり、制御管理室への報告の後に、パイプの補修作業、交換作業等が行われることになるためである。
点検データ受付部120は、携帯型デバイス200から診断対象に係る点検データの入力を受け付ける。点検データ受付部120の機能は、無線通信回路104とプロセッサ105とにより実現される。点検データ受付部120は、携帯型デバイス200から受け付けた点検データと、受け付けた日時及び携帯型デバイス200の位置データとを対応付けて診断部140に出力する。さらに点検データ受付部120は、受け付けた点検データと、受け付けた日時及び送信元の携帯型デバイス200を識別する情報とを対応付けて記憶部110に格納する。
学習部130は、学習モデル114により定義された構成のニューラルネットワークに、学習データ115を入力し、例えば、バックプロパゲーション法により、ニューラルネットワークの出力が予め求められた真値に近づくよう、ニューラルネットワークの中間層のニューロンの重み係数を調整し、診断部140の診断に使用される学習モデルを決定する。実施の形態においては、損傷無しと、損傷有りとを判別するので、学習部130は、出力層のニューロンを2個配置する。学習データとしては、過去の点検データと、点検対象の損傷の有無を示すニューロンの番号とがセットにされたデータを複数組用意する。学習部130は、各学習データの点検データをニューラルネットワークに供給し、対応する番号が示す出力層のニューロンが発火するように、中間層と出力層の各ニューロンの重み係数をバックプロパゲーション法を用いて調整する。学習により、調整された重み係数で学習モデル114の重み係数の値が更新される。このようにして、ニューラルネットワークに入力と出力との関係を学習させる。学習部130の機能は、プロセッサ105により実現される。
ニューラルネットワークに与えられる学習データ115の例を示す。例えば、学習データ115は、(a)損傷したパイプの画像データと、損傷ありを示す値とのセット、(b)損傷していないパイプの画像データと、損傷無しを示す値とのセット、(c)損傷したパイプの打音の音声データと、損傷ありを示す値とのセット、(d)損傷していないパイプの打音の音声データと、損傷無しを示す値とのセット、を含む。
画像認識に適した学習モデルを採用したニューラルネットワークは、(a)の画像データを入力とし、損傷が生じていることを示す値を出力として、中間層のニューロンの重み係数を調整し、さらに、(b)の画像データを入力とし、損傷が生じていないことを示す値を出力として、中間層のニューロンの重み係数を調整する。
また、音声認識に適した学習モデルを採用したニューラルネットワークは、(c)の音声データを入力とし、損傷が生じていることを示す値を出力として、中間層のニューロンの重み係数を調整し、さらに、(d)の音声データを入力とし、損傷が生じていないことを示す値を出力として、中間層のニューロンの重み係数を調整する。なお、上記の学習は一例であり、学習データ115は、(a)〜(d)のうち一部のデータのみを含んでいてもよい。この場合もディープラーニングは可能である。
従って、学習済みのニューラルネットワークに新たな点検データを入力すると、ニューラルネットワークは、診断対象についての損傷の有無を示す値を出力する。即ち、学習済みのニューラルネットワークは、診断対象の損傷の有無を判断することができる。このようにして、学習済みのニューラルネットワークが、携帯型デバイス200が収集した画像データ、音声データから、パイプが損傷を有しているか否かを診断することが可能になる。学習部130の学習は、携帯型デバイス200から点検データが供給される前に予め行っておく必要がある。
診断部140は、学習部130による学習済みの学習モデルを実現したニューラルネットワークに、携帯型デバイス200から受信した点検データを入力して、その出力から診断対象の損傷の有無を診断する。診断部140の機能は、プロセッサ105により実現される。診断部140は、例えば、携帯型デバイス200が撮影したプラントにあるパイプの撮影画像を、学習済みの学習モデルを採用したニューラルネットワークに入力し、ニューラルネットワークの出力値から、診断対象が損傷しているか否かを診断する。診断部140は、診断の結果を、指示部150に出力する。
また、診断部140は、携帯型デバイス200が収集した打音の音声を、学習済みの学習モデルを採用したニューラルネットワークに入力し、ニューラルネットワークの出力値から、診断対象が損傷しているか否かを診断する。診断部140は、診断の結果を、指示部150に出力する。
また、診断部140は、携帯型デバイス200が測定したガス濃度の測定値が、基準データ113に定義された閾値を超えている場合には、ガス漏れが発生していると判別する。診断部140は、診断の結果を、指示部150に出力する。
指示部150は、点検作業の指示の内容を判別して、判別した結果に応じた点検作業の指示を携帯型デバイス200に送信する。ここで、指示部150が判別する点検作業の指示には、(i)診断部140の診断結果によらない作業指示と、(ii)診断部140の診断結果に基づく作業指示とがある。
(i)の例として、例えば、指示部150は、作業者50に検査対象の位置に移動するよう指示する。この場合、指示部150は、携帯型デバイス200のGPS受信機203dが求めた作業者50の位置を示す位置データと、点検マニュアル111から点検対象の位置データと、を取得する。指示部150は、携帯型デバイス200に、プラントの構内を示す地図上における作業者50の現在の位置データ及び診断対象の位置データと、診断対象の位置に移動する指示とを送信する。
従って、携帯型デバイス200のプロセッサ205は、表示パネル202aに、図4Aに示すようなプラントの構内の地図の画像と、診断対象の位置30を示す画像とを表示する。図示する例では、作業者50の現在位置を黒塗りの人型の画像で表し、診断対象の位置30を黒塗りの星の画像で表している。さらに、作業者50から診断対象の位置30までの経路が矢印で表されている。さらに、指示部150は、音声による指示を出力することを示す信号を携帯型デバイス200に送信してもよい。この場合、携帯型デバイス200のプロセッサ205は、指定された位置30まで移動するよう指示する音声をスピーカ202bから出力する。
さらに、指示部150は、作業者50が移動中に、図4Bに示すように、道順を示す矢印の画像を表示パネル202aに表示させるよう携帯型デバイス200を制御してもよい。この場合、携帯型デバイス200のプロセッサ205は、表示パネル202aに矢印の画像を表示する。よって、表示パネル202a上には、現実の構内の通路と、矢印の画像とが重ね合わせられて表示される。
指示部150は、携帯型デバイス200から受信する位置データと、点検マニュアル111に含まれるプラントの構内の地図データから、作業者50が診断対象の位置30に到達したと判別すると、点検作業の指示を携帯型デバイス200に送信する。具体的には、指示部150は、診断対象を叩く箇所を作業者50に示すため、点検マニュアル111に含まれている打音検査において叩く位置の情報と、当該箇所を叩く指示とを、携帯型デバイス200に送信する。
従って、携帯型デバイス200のプロセッサ205は、図5に示すように作業者50が叩くべき位置を示す画像と、「叩け」という指示を表示パネル202aに表示する。図示する例では、パイプ1001、1002のうち、診断対象はパイプ1002であり、斜線で示した箇所が叩く位置を示す。よって、表示パネル202a上には、現実のパイプ1001、1002と、「叩け」という指示と、叩くべき位置を示す画像とが、重ね合わせられて表示される。さらに、指示部150は、音声による指示を出力することを示す信号を携帯型デバイス200に送信してもよい。この場合、携帯型デバイス200のプロセッサ205は、診断対象を叩くよう指示する音声をスピーカ202bから出力する。
指示部150は、打音の音声データを携帯型デバイス200から受信すると、その音の大きさが十分な大きさであるか否かを判別し、打音の大きさが十分な大きさでない場合には、さらに強く叩く指示を携帯型デバイス200に送信する。従って、携帯型デバイス200のプロセッサ205は、図6に示すように、さらに強く叩く指示を表示パネル202aに表示する。図示する例では、指示内容を示す「もう少し強く叩け」と表示されている。さらに、指示部150は、音声による指示を出力することを示す信号を携帯型デバイス200に送信してもよい。この場合、携帯型デバイス200のプロセッサ205は、さらに強く叩くよう指示する音声をスピーカ202bから出力する。
指示部150は、さらに、ガス濃度を検出する指示を携帯型デバイス200に送信する。従って、携帯型デバイス200のプロセッサ205は、ガス検知センサ203cを使用してガス濃度を検出する指示を表示パネル202aに表示する。さらに、指示部150は、音声による指示を出力することを示す信号を携帯型デバイス200に送信してもよい。この場合、携帯型デバイス200のプロセッサ205は、ガス検知センサ203cを使用してガス濃度を検出するよう指示する音声をスピーカ202bから出力する。
また、指示部150は、診断部140の診断結果が損傷の発生していることを示すものである場合、(ii)診断部140の診断結果に基づく作業指示を以下のように出す。例えば、診断部140が、ガス漏れが発生していると判別した場合、指示部150は、診断結果と処置テーブル116とに基づいて、作業者50が行うべき指示を携帯型デバイス200に送信する。診断結果がガス漏れの発生であるので、図3Bに示すように、バルブを時計回りに回すことが行うべき処置である。指示部150は、対象のバルブの位置を示す情報と、バルブを回す方向を示す情報とを携帯型デバイス200に送信する。
従って、携帯型デバイス200のプロセッサ205は、図7に示すように、対象となるバルブについて、「回して閉めろ」という指示と、バルブを回す方向を示す矢印の画像とを表示パネル202aに表示する。よって、表示パネル202a上には、現実のバルブと、バルブを回す指示である「回して閉めろ」という指示と、回す方向を示す矢印の画像とが、重ね合わせられて表示される。さらに、指示部150は、音声による指示を出力することを示す信号を携帯型デバイス200に送信してもよい。この場合、携帯型デバイス200のプロセッサ205は、バルブを閉める指示を示す音声をスピーカ202bから出力する。
さらに、指示部150は、構内における作業者50の位置を、制御管理室の監視員が確認することができるように、出力装置103のディスプレイに図4A、図8に示すような画面を表示する。図4Aでは、プラントの構内の地図上において、携帯型デバイス200を携帯する作業者すべてについての位置が表示されている。図8では、破線で表された移動中の作業者50と、移動経路を示す矢印とが表示されている。よって、監視員は、移動の指示を受けた作業者50の動きを確認することができる。指示部150の機能は、無線通信回路104とプロセッサ105によって実現される。
図9を参照しながら、上記構成を備えた情報処理装置100が、携帯型デバイス200と連携して、作業者50に指示を出す点検作業処理を説明する。
図4Aに示すように作業者50は、携帯型デバイス200が取り付けられたヘルメット10を着用した状態で、プラントの構内にいるものと仮定する。作業者50は、打音検査用のハンマーを携帯している。ここで、情報処理装置100は、診断対象の点検を作業者50に指示するものとする。なお、学習部130は、ニューラルネットワークの学習を完了しており、記憶部110には、学習済みの学習モデルが格納されているものとする。
また、前述のように、携帯型デバイス200のカメラ203aとマイク203bとガス検知センサ203cとは、それぞれ決められたタイミングで点検データを取得する。携帯型デバイス200のプロセッサ205は、点検データを情報処理装置100に送信する。さらに、GPS受信機203dも決められたタイミングで位置データを取得する。プロセッサ205は、位置データを情報処理装置100に送信する。
指示部150は、作業者50への診断対象の位置30への移動の指示を携帯型デバイス200に送信する(ステップS11)。具体的には、指示部150は、プラントの地図データと、作業者50の現在位置を示す座標値及び診断対象の位置30を示す座標値と、移動指示とを含む信号を携帯型デバイス200に送信する。これに応答して、携帯型デバイス200は、図4Aに示すようなプラントの構内の地図の画像と、当該位置への移動の指示とを表示パネル202aに表示する。さらに、携帯型デバイス200のプロセッサ205は、位置30に移動することを指示する音声をスピーカ202bから出力する。作業者50は指示に従って、指定された位置30に移動したものとする。
指示部150は、携帯型デバイス200から受信する位置データと、点検マニュアル111に含まれるプラントの構内の地図データとから、作業者50が指定した位置30に到着したか否か判別する(ステップS12)。作業者50が指定した位置30に到着したと判別すると(ステップS12;Yes)、指示部150は、携帯型デバイス200から診断対象を撮影した画像データを受信したか否かを判別する(ステップS13)。なお、前述のように携帯型デバイス200のカメラ203aは継続して撮影を行い、携帯型デバイス200は決められた期間毎に情報処理装置100に画像データを送信している。指示部150は、画像データを受信したと判別すると(ステップS13;Yes)、診断処理のため、受信した画像データを記憶部110に格納する。一方、指示部150は、携帯型デバイス200から画像データを受信していないと判別すると(ステップS13;No)、画像データを受信するまで待つ。
指示部150は、作業者50への打音検査の指示を携帯型デバイス200に送信する(ステップS14)。打音検査の指示として、点検マニュアル111に含まれる点検対象を叩く箇所を示す情報を含む信号を携帯型デバイス200に送信する。携帯型デバイス200は、指示部150から受信した信号に基づいて、図5に示すように叩くべき位置を示す画像を表示パネル202aに表示する。さらに、携帯型デバイス200は、診断対象を叩くことを指示する音声をスピーカ202bから出力する。作業者50は、指示されたように打音検査を実施したものとする。従って、携帯型デバイス200は、情報処理装置100に音声データを送信する。
指示部150は、携帯型デバイス200から打音の音声データを受信したか否かを判別する(ステップS15)。ここで、指示部150は、受信した打音の大きさが、基準データ113に含まれる打音検査の音の適正な大きさを示す基準値以上であるか否かを判別する。
携帯型デバイス200から受信した打音の大きさが基準値未満である場合、指示部150は、適正な大きさの打音の音声データを受信していないと判別する(ステップS15;No)。この場合、指示部150は、打音検査についての指示を再度出す(ステップS14)。具体的には、指示部150は、診断対象をさらに強く叩く指示を携帯型デバイス200に送信する。これに応答して、携帯型デバイス200は、図6に示すように、さらに強く叩くよう指示するメッセージを表示パネル202aに表示する。さらに、携帯型デバイス200は、さらに強く叩くことを指示する音声をスピーカ202bから出力する。作業者50は、指示されたように診断対象をさらに強く叩いたものとする。
指示部150は、携帯型デバイス200から十分な大きさの打音の音声データを受信したと判別すると(ステップS15;Yes)、音声データを記憶部110に格納する。続いて、指示部150は、ガス濃度を測定する指示を携帯型デバイス200に送信する(ステップS16)。これに応答して、携帯型デバイス200は、ガス濃度の測定を指示するメッセージを表示パネル202aに表示する。さらに、携帯型デバイス200は、ガス濃度を測定することを指示する音声をスピーカ202bから出力する。作業者50が、指示されたようにガス検知センサ203cを使用してガス濃度を測定したものとする。従って、携帯型デバイス200は、情報処理装置100に計測値のデータを送信する。
指示部150は、携帯型デバイス200からガス濃度の計測値のデータを受信したか否かを判別する(ステップS17)。指示部150は、例えば、決められた時間待機した後に、携帯型デバイス200からガス濃度の計測値のデータを受信したと判別すると(ステップS17;Yes)、測定値のデータを記憶部110に格納する。一方、指示部150は、例えば、決められた時間待機した後に、携帯型デバイス200からガス濃度の計測値のデータを受信していないと判別すると(ステップS17;No)、再びステップS16の処理を実行する。
続いて、診断部140は、点検データ受付部120が受け付けた点検データから、診断対象の損傷の有無を診断する(ステップS18)。
具体的には、診断部140は以下のように診断処理を行う。診断部140は、点検データ受付部120が受け付けた画像データを学習部130による学習済みの画像解析用の学習モデルを採用したニューラルネットワークに入力して、診断対象が損傷しているか否かを診断する。続いて、診断部140は、点検データ受付部120が受け付けた音声データを学習部130による学習済みの音声解析用の学習モデルを採用したニューラルネットワークに入力して、診断対象が損傷しているか否かを診断する。さらに、診断部140は、点検データ受付部120が受け付けたガス濃度の測定値が、基準データ113の閾値を超えたか否かに基づいて、ガス漏れが発生しているかを判別する。ガス漏れが発生していると判別した場合、診断部140は、診断対象が損傷していると診断する。さらに、診断部140は、診断結果を記憶部110の履歴データ112に記録する。
指示部150は、作業者50に診断結果と作業指示とを提示する(ステップS19)。ここでは、指示部150は、画像データに基づく診断結果、音声データに基づく診断結果、ガス濃度の測定値に基づく診断結果のうち、少なくとも1つの診断結果が、診断対象に損傷があることを示す場合、診断対象が損傷している旨を作業者50に提示する。指示部150は、診断結果とともに、処置テーブル116に基づく対処方法を示す情報を携帯型デバイス200に送信する。
例えば、診断対象がパイプであり、ガス濃度の測定値に基づく診断結果が、診断対象が損傷を有していることを示したとする。この場合、指示部150は、診断対象のパイプのバルブを閉める指示を携帯型デバイス200に送信する。従って、携帯型デバイス200は、情報処理装置100から受信した診断結果及び対処方法を表示パネル202aに表示する。
なお、ステップS17において診断部140が診断対象に損傷が生じていないと診断した場合、指示部150はステップS18において、作業者50に作業指示を提示しなくてもよい。
その後、指示部150は、再びステップS11を実行し、次の診断対象の位置への移動の指示を携帯型デバイス200に送信する。以上が、情報処理装置100が行う点検作業処理である。
以上説明したように、実施の形態における情報処理システム1においては、点検についての適切な手順を作業者50に提示し、点検データから診断対象について診断を行い、作業者50に行うべき作業を指示する。このため、経験が浅い作業者50であっても、適切な手順で検査を行うことができる。さらに、情報処理装置100が点検データから診断を行い、診断結果に基づいて対処方法を作業者50に提示するため、経験が浅い作業者50であっても、適切な処置を行うことができる。
また、情報処理装置100の指示に従って、打音検査の経験を積むことで、経験が浅い作業者であっても、叩く位置、叩く強さ等について修得することが可能である。さらに、制御管理室の監視員は、従来のように、経験が浅い作業者50に電話で作業の方法を説明する必要がない。
(変形例1)
実施の形態においては、診断部140は、診断対象の損傷の有り/無しを診断したが、これに限られない。例えば、予め、損傷の度合いを示すレベルを定義しておき、診断部140は、診断対象の損傷の有無に加えて、損傷がある場合に、損傷のレベル及び/又は損傷の原因といった他の事項を診断してもよい。
この場合、学習部130は、ニューラルネットワークの出力層のニューロンの数を判別する事象の数に合わせて配置する。例えば、損傷無し、損傷有りレベル1、損傷有りレベル2、…、損傷有りレベルnを判別する場合には、出力層のニューロンを(n+1)個配置する。例えば、損傷無し、損傷有り原因1、損傷有り原因2、…、損傷有り原因mを判別する場合には、出力層のニューロンを(m+1)個配置する。学習データとしては、点検データと、点検対象の損傷の有無と損傷の度合及び/又は原因を示す出力層のニューロンの番号とがセットにされたデータを複数組用意する。学習部130は、各学習データの点検データをニューラルネットワークに供給し、対応する番号が示す出力層のニューロンが発火するように、中間層と出力層の各ニューロンの重み係数をバックプロパゲーション法などを用いて調整する。即ち、学習部130は、学習データをニューラルネットワークに学習させる。診断部140は学習済みのニューラルネットワークに、携帯型デバイス200から受信した点検データを入力して、その出力から診断対象の損傷の度合い及び又は/原因を診断する。なお、損傷がある場合でも、損傷の程度・原因が軽い場合には、継続的な監視は必要となるが、保守作業を急いで行う必要がない場合もある。
指示部150は、例えば、損傷の度合いに応じて、図10に示すような処置テーブル116aに基づき、携帯型デバイス200に作業の指示を出すようにしてもよい。なお、図10に示す例では、レベルの値が大きいほど、大きな損傷が生じていることを示す。
(変形例2)
実施の形態においては、情報処理装置100は、処置の内容のデータが予め格納された処置テーブル116を有している例を説明したが、これに限られない。学習部130が、診断結果に応じた処置の内容を学習し、診断部140は、診断対象の損傷の有無を診断するとともに、処置の内容を判別してもよい。診断部140の診断対象の損傷の有無の診断方法は前述した通りである。
例えば、処置1、処置2、…、処置pを判別するとする。この場合、学習データとして、診断結果のデータと、処置の内容を示す出力層のニューロンの番号とがセットにされたデータを複数組用意する。学習部130は、各学習データの診断結果のデータをニューラルネットワークに供給し、バックプロパゲーション法等により、各ニューロンの重み係数を調整する。学習データとして、例えば、過去の点検作業において、熟練した作業者が判断した診断結果と処置の内容に関するデータを使用する事ができる。診断部140は、診断対象の損傷の有無を診断した後、診断結果を学習済みのニューラルネットワークに入力して、その出力から処置の内容を判別する。
実施の形態においては、情報処理装置100は、打音検査、バルブを閉めること等の指示を作業者50に出したが、作業者50に対する指示はこれらには限られない。例えば、情報処理装置100は、計器の位置を作業者50に提示し、作業者50に計器の位置に移動するよう指示を出す。情報処理装置100は、移動した作業者50に、計器が示す値をカメラ203aで撮影させ、計器の値に応じた適宜の作業を作業者50に出してもよい。
実施の形態においては、情報処理装置100が、携帯型デバイス200に移動指示を送信し、作業者50が移動した先において打音検査、診断対象の撮影を行ったが、これに限られない。例えば、作業者50が構内を巡回しているものとし、情報処理装置100は、携帯型デバイス200から受信した位置データから、作業者50が診断対象の近くにいると判別したときに、携帯型デバイス200に打音検査、診断対象の撮影の指示を送信するようにしてもよい。
また、情報処理装置100は、履歴データ112に記録された点検の履歴から、診断対象についての点検が、過去一定期間内に実施されている場合には、その診断対象の点検を作業者50に指示しないようにしてもよい。
情報処理装置100は、作業者50が、診断対象の位置に到着したときに、履歴データ112に記録された点検の履歴と、過去の診断結果とを、携帯型デバイス200に送信してもよい。従って、携帯型デバイス200は、情報処理装置100から受信した点検の履歴と、過去の診断結果とを、表示パネル202aに表示する。
上記の実施の形態においては、携帯型デバイス200が、カメラ203a、マイク203b、ガス検知センサ203c、GPS受信機203dを有する例を説明したが、携帯型デバイス200は、これらの全てを有していなくてもよい。例えば、作業者の一部は、カメラ203aを有していない携帯型デバイス200を携帯し、打音検査のみを行ってもよい。残りの作業者は、マイク203bを有していない携帯型デバイス200を携帯し、診断対象の撮影のみを行ってもよい。また、携帯型デバイス200は、他のセンサ、例えば、温度センサ、湿度センサ、圧力センサを有していてもよい。
実施の形態においては、情報処理装置100のプロセッサ105が演算を行うことで、ニューラルネットワークを実現する例を説明したが、ニューラルネットワークはソフトウェアにより実現されなくてもよい。例えば、ニューロンをLSIチップにより構成したニューロチップを使用し、ニューラルネットワークをハードウェアにより実現してもよい。あるいは、SQUID(Superconducting Quantum Interference Device:超伝導量子干渉デバイス)によるアナログ回路を用いたニューラルネットワーク、光を用いた光ニューラルネットワーク等を使用することも可能である。
上記のプログラムを記録する記録媒体としては、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ、半導体メモリ、磁気テープを含むコンピュータ読取可能な記録媒体を使用することができる。
本発明は、広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
1 情報処理システム、10 ヘルメット、20 本体部、30 位置、50 作業者、100 情報処理装置、101,201 メモリ、102 入力装置、103,202 出力装置、104,204 無線通信回路、104a,204a アンテナ、105,205 プロセッサ、109,209 バス、110 記憶部、111 点検マニュアル、112 履歴データ、113 基準データ、114 学習モデル、115 学習データ、116 処置テーブル、120 点検データ受付部、130 学習部、140 診断部、150 指示部、200 携帯型デバイス、202 出力装置、202a 表示パネル、202b スピーカ、203 収集装置、203a カメラ、203b マイク、203c ガス検知センサ、203d GPS受信機、203e ケーブル、1000,2000 プログラム、1001,1002 パイプ
上記目的を達成するため、本発明に係る情報処理装置において、点検データ受付手段は、診断対象に対する点検作業において携帯型デバイスによって収集された点検データを、携帯型デバイスから受け付ける。学習手段は、ニューラルネットワークに過去に収集した点検データを入力し、診断対象の損傷の有無の診断について学習させる。診断手段は、点検データ受付手段が受け付けた点検データをニューラルネットワークに入力し、ニューラルネットワークの出力から診断対象の損傷の有無を診断する。指示手段は、作業者が診断対象に対して行うべき点検作業の方法を示す指示と、診断手段が診断対象について診断した診断結果に応じて作業者が取るべき処置の内容を示す指示を携帯型デバイスに送信する。
上記目的を達成するため、本発明に係る情報処理装置において、点検データ受付手段は、診断対象に対する点検作業において携帯型デバイスによって収集された点検データを、携帯型デバイスから受け付ける。学習手段は、ニューラルネットワークに過去に収集した点検データを入力し、診断対象の損傷の有無の診断について学習させる。診断手段は、点検データ受付手段が受け付けた点検データをニューラルネットワークに入力し、ニューラルネットワークの出力から診断対象の損傷の有無を診断する。指示手段は、作業者が診断対象に対して行うべき点検作業の方法を示す指示と、診断手段が診断対象について診断した診断結果に応じて作業者が取るべき処置の内容を示す指示とを携帯型デバイスに送信する。点検データは、作業者による打音検査により発生した打音の音声データを含む。指示手段は、携帯型デバイスから取得した打音の音声データから、作業者が診断対象を叩く強さが適切であるか否かを判別し、作業者が診断対象を叩く強さが適切でないと判別した場合、叩く強さを変える指示を携帯型デバイスに供給し、携帯型デバイスを介して作業者に指示を通知する。

Claims (10)

  1. 診断対象に対する点検作業において携帯型デバイスによって収集された点検データを、前記携帯型デバイスから受け付ける点検データ受付手段と、
    ニューラルネットワークに過去に収集した点検データを入力し、前記診断対象の損傷の有無の診断について学習させる学習手段と、
    前記点検データ受付手段が受け付けた前記点検データを前記ニューラルネットワークに入力し、前記ニューラルネットワークの出力から前記診断対象の損傷の有無を診断する診断手段と、
    前記診断手段が前記診断対象について診断した診断結果に応じた指示を前記携帯型デバイスに送信する指示手段と、
    を備える情報処理装置。
  2. 前記点検データは、前記携帯型デバイスが前記診断対象を撮影した画像データと、作業者による打音検査により発生した打音の音声データとを含み、
    前記診断手段は、前記点検データ受付手段が受け付けた前記画像データと前記打音の音声データとから、前記診断対象の損傷の有無を診断する、
    請求項1に記載の情報処理装置。
  3. 前記指示手段は、作業者が前記診断対象を叩く位置を示す情報を前記携帯型デバイスに供給し、前記携帯型デバイスの表示装置に前記診断対象を叩く位置を表示させる、
    請求項2に記載の情報処理装置。
  4. 前記指示手段は、前記携帯型デバイスから取得した前記打音の音声データから、作業者が前記診断対象を叩く強さが適切であるか否かを判別し、作業者が前記診断対象を叩く強さが適切でないと判別した場合、叩く強さを変える指示を前記携帯型デバイスに供給し、前記携帯型デバイスを介して作業者に指示を通知する、
    請求項2又は3に記載の情報処理装置。
  5. 診断結果に対応づけられた診断対象に対する処置の内容を示す情報を格納する処置情報記憶手段をさらに備え、
    前記指示手段は、前記診断手段による前記診断対象の診断結果と一致する前記処置情報記憶手段の診断結果に対応づけられた処置を行う指示を前記携帯型デバイスに送信する、
    請求項1から4のいずれか一項に記載の情報処理装置。
  6. 前記指示手段は、前記診断対象までの経路を示す情報を前記携帯型デバイスに供給し、前記携帯型デバイスの表示装置に前記診断対象までの前記経路を表示させる、
    請求項1から5のいずれか1項に記載の情報処理装置。
  7. 前記指示手段は、前記携帯型デバイスから受信した作業者の現在位置を示す情報から、作業者が前記診断対象の傍に到達したと判別した場合に、点検作業を示す指示を、前記携帯型デバイスに送信する、
    請求項6に記載の情報処理装置。
  8. 携帯型デバイスと、前記携帯型デバイスと相互に通信可能な情報処理装置と、を有する情報処理システムであって、
    前記携帯型デバイスは、
    診断対象に対する点検作業において収集した点検データを前記情報処理装置に送信する手段、
    を備え、
    前記情報処理装置は、
    前記点検データを前記携帯型デバイスから受け付ける点検データ受付手段と、
    前記点検データをニューラルネットワークに入力し、前記ニューラルネットワークの出力から診断対象の損傷の有無を診断する診断手段と、
    前記診断手段の診断結果に応じた指示を前記携帯型デバイスに送信する指示手段と、
    を備える、
    情報処理システム。
  9. 携帯型デバイスと相互に通信可能なコンピュータが行う方法であって、
    診断対象に対する点検作業において前記携帯型デバイスによって収集された点検データを前記携帯型デバイスから受け付けるステップと、
    前記点検データをニューラルネットワークに入力し、前記ニューラルネットワークの出力から診断対象の損傷の有無を診断するステップと、
    前記診断するステップにおいて診断された前記診断対象についての診断結果に応じた指示を前記携帯型デバイスに送信するステップと、
    を含む方法。
  10. コンピュータが、
    診断対象に対する点検作業において携帯型デバイスによって収集された点検データを前記携帯型デバイスから受信し、
    前記点検データをニューラルネットワークに入力し、前記ニューラルネットワークの出力から診断対象の損傷の有無を診断し、
    診断結果に応じた指示を前記携帯型デバイスに送信する、
    ようにさせるプログラム。
JP2019508996A 2018-07-23 2018-07-23 情報処理装置、情報処理システム、方法、及びプログラム Active JP6584721B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/027445 WO2020021589A1 (ja) 2018-07-23 2018-07-23 情報処理装置、情報処理システム、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP6584721B1 JP6584721B1 (ja) 2019-10-02
JPWO2020021589A1 true JPWO2020021589A1 (ja) 2020-07-30

Family

ID=68095335

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019508996A Active JP6584721B1 (ja) 2018-07-23 2018-07-23 情報処理装置、情報処理システム、方法、及びプログラム

Country Status (5)

Country Link
JP (1) JP6584721B1 (ja)
CN (1) CN112424726B (ja)
DE (1) DE112018007754B4 (ja)
TW (1) TW202008278A (ja)
WO (1) WO2020021589A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7419201B2 (ja) * 2020-09-15 2024-01-22 株式会社東芝 情報処理装置、情報処理方法、プログラムおよび情報処理システム
WO2022158059A1 (ja) * 2021-01-21 2022-07-28 株式会社カネカ 情報処理装置、情報処理方法およびプログラム
WO2023053240A1 (ja) * 2021-09-29 2023-04-06 日本電気株式会社 保守作業支援装置、保守作業支援方法、及び記録媒体
WO2023145250A1 (ja) * 2022-01-27 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 装着型端末、提示方法、及び、プログラム
JP2024057647A (ja) * 2022-10-13 2024-04-25 株式会社Subaru タッピング検査システム及びタッピング検査方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10116113A (ja) * 1996-10-09 1998-05-06 Hitachi Ltd プラント監視制御方法及び監視制御装置
DE10065954A1 (de) 2000-09-01 2002-03-14 Stefan Metzner Gerät zur Überwachung von Gleisanlagen
JP4101714B2 (ja) * 2003-08-29 2008-06-18 月島テクノメンテサービス株式会社 回転機器の状態診断支援装置およびそのプログラム、ならびに同プログラムを記録した記録媒体、状態診断支援方法
CN101509604B (zh) * 2009-03-20 2012-11-28 武汉大学 一种金属管内堆积物的检测和评定方法及装置
JP6195234B2 (ja) 2013-04-10 2017-09-13 福岡県 ろう付け物品の打音検査方法及びその装置
JPWO2017149587A1 (ja) * 2016-02-29 2018-03-08 三菱電機株式会社 携帯端末装置、サーバ装置、作業記録システム、作業記録方法及び作業支援プログラム
JP6833364B2 (ja) * 2016-07-01 2021-02-24 株式会社東芝 Icカード、および、icカード処理装置
JP6625494B2 (ja) * 2016-07-05 2019-12-25 株式会社サイバー・ラボ 点検システム
DE102016213584A1 (de) * 2016-07-25 2018-01-25 Deere & Company Verfahren, tragbares Gerät und Kombination aus einer mobilen Arbeitsmaschine und einem tragbaren Gerät zur Unterstützung des Auffindens einer zu Fehlerbehebungs -, Störungsbeseitigungs- oder Wartungsarbeiten aufzusuchenden Position an einer mobilen Arbeitsmaschine oder einem damit gekoppelten Gerät
JP6798276B2 (ja) * 2016-11-25 2020-12-09 Jfeエンジニアリング株式会社 鋼構造物の保全管理システム及び劣化判定装置

Also Published As

Publication number Publication date
CN112424726A (zh) 2021-02-26
DE112018007754T5 (de) 2021-03-11
WO2020021589A1 (ja) 2020-01-30
TW202008278A (zh) 2020-02-16
JP6584721B1 (ja) 2019-10-02
DE112018007754B4 (de) 2023-08-31
CN112424726B (zh) 2022-01-25
DE112018007754T9 (de) 2021-08-05

Similar Documents

Publication Publication Date Title
JP6584721B1 (ja) 情報処理装置、情報処理システム、方法、及びプログラム
CN110212451B (zh) 一种电力ar智能巡检装置
KR100861759B1 (ko) 휴대형 누설 검출 장치
CN106477407B (zh) 电梯点检辅助系统
US20180136035A1 (en) Method for detecting vibrations of a device and vibration detection system
CN109544548A (zh) 餐盒的缺陷检测方法、装置、服务器、设备和存储介质
KR101859909B1 (ko) 드론을 이용한 적조 예찰 및 추적 시스템 및 방법
US11762378B2 (en) Remote non-destructive testing
JP2019164751A (ja) 無人移動ユニットおよび巡回点検システム
KR20180057785A (ko) 영상분석을 통한 어류 개체수 측정 시스템 및 그 측정방법
WO2019230687A1 (ja) 打音検査端末、打音検査システムおよび打音検査データ登録方法
CN109523041A (zh) 核电站管理系统
CN110209297A (zh) 用于自动检查电子设备的至少一个功能的方法和装置
CN113206977B (zh) 输气站场的巡检监控方法、装置和存储介质
JP3697816B2 (ja) 巡回点検支援システム
JP2022062971A (ja) 検出装置及び検出方法
JP7199395B2 (ja) データ収集判定システム、判定装置、データ収集判定装置、プログラム
CN117499621B (zh) 视频采集设备的检测方法、装置、设备及介质
JP7246211B2 (ja) 点検支援システムおよび点検支援方法
CN112017503B (zh) 一种面向潜水作业人员能力提升的水下训练设施及评测系统和方法
JP2024039996A (ja) 音源位置計測方法、音源位置計測装置、破損検出方法、異常検出方法、音源位置計測用の端末装置、音源位置計測システム、端末システム、音源位置計測用プログラム、端末装置用プログラム及び記録媒体
Shen A Novel IoT-Enabled System for Real-Time Face Mask Recognition Based on Petri Nets
KR20230000568A (ko) Vr 영상을 이용한 수중생물 모니터링 장치와 방법
JP2023055382A (ja) 対応能力推定システム
TW202344435A (zh) 船艦損害管理裝置、系統與方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190215

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190215

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190903

R150 Certificate of patent or registration of utility model

Ref document number: 6584721

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250