JP7196433B2 - 装置、方法、プログラムおよび記録媒体 - Google Patents

装置、方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP7196433B2
JP7196433B2 JP2018121293A JP2018121293A JP7196433B2 JP 7196433 B2 JP7196433 B2 JP 7196433B2 JP 2018121293 A JP2018121293 A JP 2018121293A JP 2018121293 A JP2018121293 A JP 2018121293A JP 7196433 B2 JP7196433 B2 JP 7196433B2
Authority
JP
Japan
Prior art keywords
information
image
display
unit
specifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018121293A
Other languages
English (en)
Other versions
JP2020003954A (ja
Inventor
友明 江藤
佐和子 石原
隼人 脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP2018121293A priority Critical patent/JP7196433B2/ja
Priority to EP19182077.8A priority patent/EP3588399A1/en
Priority to CN201910554094.XA priority patent/CN110647444B/zh
Priority to US16/451,008 priority patent/US11093779B2/en
Publication of JP2020003954A publication Critical patent/JP2020003954A/ja
Application granted granted Critical
Publication of JP7196433B2 publication Critical patent/JP7196433B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • G06F11/327Alarm or error message display
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0267Fault communication, e.g. human machine interface [HMI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words

Description

本発明は、装置、方法、プログラムおよび記録媒体に関する。
従来、プラントに設置されるフィールド機器などの機器では省電力化、小型化の観点から表示部の表示能力が抑えられており、エラー等の情報がコードで表示されるため、ユーザは表示内容を取扱説明書などで調べる必要がある。近年、取扱説明書を電子化してプロセス制御用の表示部に表示する技術が提案されている(例えば、特許文献1参照)。
特許文献1 特開平6-295236号公報
しかしながら、機器の制約に起因して表示内容が不十分で、詳細な情報を得ることができない場合がある。
上記課題を解決するために、本発明の第1の態様においては、装置が提供される。装置は、画像を取得する画像取得部を備えてよい。装置は、画像に写った機器に示されている表示情報を抽出する抽出部を備えてよい。装置は、機器の製品を特定するための特定用情報を取得する特定用情報取得部を備えてよい。装置は、特定用情報と、表示情報とに関連付けられた関連情報を出力する出力部を備えてよい。
特定用情報取得部は、画像に写った機器の外観を解析して特定用情報を取得してよい。
画像取得部は、画像を撮像してよい。
画像取得部は、撮像機能を有する装置から画像を取得してよい。
特定用情報取得部は、機器の本体または付属品に記憶された情報に基づいて特定用情報を取得してよい。
装置は、複数の特定用情報および複数の表示情報の各組み合わせに関連付けて関連情報を記憶する記憶装置から、特定用情報取得部により取得された特定用情報、および、抽出部により抽出された表示情報に関連付けられた関連情報を取得する関連情報取得部をさらに備えてよい。
抽出部は、画像に写った機器に示されている各表示情報のうち、記憶装置において関連情報に関連付けられている表示情報を抽出してよい。
表示情報は、機器に生じたエラーの種類を示してよい。関連情報は、エラーの内容、エラーの対処方法、および、エラーについての問い合わせ先の少なくとも1つを示してよい。
抽出部は、画像に写った機器に表示されている各表示情報のうち、エラーが生じていることを示す文字および記号の少なくとも1つに基づいて、エラーの種類を示す表示情報を抽出してよい。
関連情報に含まれる情報の量は、表示情報に含まれる情報の量よりも大きくてよい。
本発明の第2の態様においては、方法が提供される。方法は、画像を取得する画像取得段階を備えてよい。方法は、画像に写った機器に示されている表示情報を抽出する抽出段階を備えてよい。方法は、機器の製品を特定するための特定用情報を取得する特定用情報取得段階を備えてよい。方法は、特定用情報と、表示情報とに関連付けられた関連情報を出力する出力段階を備えてよい。
本発明の第3の態様においては、プログラムが提供される。プログラムは、コンピュータを、画像を取得する画像取得部として機能させてよい。プログラムは、コンピュータを、画像に写った機器に示されている表示情報を抽出する抽出部として機能させてよい。プログラムは、コンピュータを、機器の製品を特定するための特定用情報を取得する特定用情報取得部として機能させてよい。プログラムは、コンピュータを、特定用情報と、表示情報とに関連付けられた関連情報を出力する出力部として機能させてよい。
本発明の第4の態様においては、プログラムを記録した記録媒体が提供される。プログラムは、コンピュータを、画像を取得する画像取得部として機能させてよい。プログラムは、コンピュータを、画像に写った機器に示されている表示情報を抽出する抽出部として機能させてよい。プログラムは、コンピュータを、機器の製品を特定するための特定用情報を取得する特定用情報取得部として機能させてよい。プログラムは、コンピュータを、特定用情報と、表示情報とに関連付けられた関連情報を出力する出力部として機能させてよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係るシステム1を示す。 システム1が適用される保全管理システム10を示す。 読み出し用記憶部441を示す。 読み書き用記憶部442を示す。 本実施形態に係るシステム1の動作を示す。 フィールド機器11としての渦流量計110を示す。 渦流量計110の表示情報の関連情報が表示されたモバイルデバイス3を示す。 フィールド機器11としてのレコーダ111と、その表示情報の関連情報が表示されたモバイルデバイス3を示す。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
[1.システム1の構成]
図1は、本実施形態に係るシステム1を示す。システム1は、機器2と、モバイルデバイス3と、装置4と、ベンダ端末5とを備える。
[1-1.機器2]
機器2は、情報を表示するための表示部20を有する機器であり、一例として、図示しない制御部による制御によって情報を表示する電気製品である。表示部20に表示される情報(表示情報とも称する)は、製品の種類、機器2の状態、設定内容、または、入力し得る操作の種類などを示してよい。表示部20には複数の表示領域が設けられてよく、同時に複数の表示情報が表示されてよい。表示部20に表示される少なくとも1つの表示情報は、コーディングされてバーコードまたは二次元コード(一例としてQRコード(登録商標))などのコードとして表示されてもよい。表示情報は7個,11個,14個,16個または24個などの任意の個数のセグメントによりセグメント表示されてもよいし、ドットマトリクス表示されてもよい。
[1-2.モバイルデバイス3]
モバイルデバイス3は、機器2のユーザにより携帯されるスマートフォンまたはタブレットPCなどであり、有線または無線で装置4と接続される。モバイルデバイス3は、画像を撮像するための撮像部31と、情報を表示するための表示部32とを有する。撮像部31による撮像画像などの画像データは、装置4に供給されてよい。供給される画像は静止画像でもよいし、動画像でもよい。静止画像は動画内のフレーム画像でもよい。なお、装置4に供給される画像は、モバイルデバイス3上で動作するアプリケーション(一例としてオーサリングアプリケーション)によって作成される画像でもよいし、モバイルデバイス3が内部保存した画像を表示したときのスクリーンショット画像でもよいし、モバイルデバイス3に接続されるスキャナ等の外部機器から供給される画像でもよい。表示部32は、機器2の表示部20よりも表示能力が高い。例えば、表示部32は、表示部20よりも大きい表示画面を有してよい。また、表示部32はドットマトリクス表示を行ってよく、表示部32の解像度は機器2の表示部20の解像度よりも高くてよい。
[1-3.装置4]
装置4は、機器2の表示情報に関連する情報を出力するものであり、クラウドコンピューティングにより実現されてもよいし、物理サーバまたはPCで実現されてもよい。装置4は、画像取得部41と、抽出部42と、特定用情報取得部43と、記憶部44と、関連情報取得部45と、出力部46とを有する。
[1-3-1.画像取得部41]
画像取得部41は、画像を取得する。例えば、画像取得部41は、モバイルデバイス3から画像を取得する。一例として、画像取得部41は、モバイルデバイス3により撮像された画像を取得してよい。画像取得部41は、取得した画像データを抽出部42および特定用情報取得部43に供給する。
[1-3-2.抽出部42]
抽出部42は、画像に写った機器2の表示部20の表示画面に表示されている表示情報を抽出する。抽出部42は、OCR(Optical Character Recognition)の技術により表示内容を文字認識することで表示情報を抽出してよい。一例として、抽出部42は、文字認識のアルゴリズムをドットマトリクス表示の場合と、セグメント表示の場合とで使い分けてよく、セグメント表示の場合にはセグメント数によって更に使い分けてよい。表示情報が2次元コード等のコードとして表示される場合には、抽出部42は当該コードをデコードして元の表示情報を抽出してよい。抽出部42は、抽出した表示情報を関連情報取得部45に供給する。
[1-3-3.特定用情報取得部43]
特定用情報取得部43は、機器2の製品を特定するための特定用情報を取得する。ここで、特定用情報は、一例として機器2の製品IDであってよい。製品IDとは、製品の種類を識別するための識別情報であり、例えば製品の型名である。製品IDは、製品のバージョン情報、同じ製品の個々を識別するためのシリアル番号、および、生産単位ごとのロット情報の少なくとも1つを含んでもよい。
特定用情報取得部43は、ユーザによる入力によって特定用情報を取得してもよいし、画像に写った機器2の外観を解析して特定用情報を取得してもよい。解析用の画像はモバイルデバイス3から供給されてよい。解析用の画像は、抽出部42により表示情報が抽出される画像と同じ画像でもよいし、異なる画像でもよい。特定用情報取得部43は、画像に写った機器2の外観を解析して外観の情報を取得し、外観の情報から製品を特定して製品IDを取得してよい。外観の情報には、詳細は後述するものの、機器2の形状、銘版の記号などが含まれてよい。特定用情報取得部43が外観の情報として文字を取得する場合には、特定用情報取得部43は、抽出部42と同様にしてOCRの技術により文字認識を行ってよい。特定用情報取得部43は、特定用情報を関連情報取得部45に供給する。
[1-3-4.記憶部44]
記憶部44は、読み出し用記憶部441および読み書き用記憶部442を有する。読み出し用記憶部441は、記憶装置の一例であり、複数の特定用情報および複数の表示情報の各組み合わせに関連付けて関連情報を記憶する。読み出し用記憶部441は、機器2の表示部20に表示され得る表示情報のうち、一部の表示情報(一例としてプロセス値など)については関連情報を記憶しなくてもよい。関連情報は、機器2の表示情報に関連する情報であり、例えば表示部20の表示情報についての詳細内容を示してよい。関連情報に含まれる情報の量は、機器2に表示される表示情報に含まれる情報の量よりも大きくてよい。なお、情報の量とは、一例として、表示する文字数が多いことであってよい。読み書き用記憶部442は、装置4とモバイルデバイス3との間の通信内容などを記憶する。
[1-3-5.関連情報取得部45]
関連情報取得部45は、特定用情報取得部43により取得された特定用情報、および、抽出部42により抽出された表示情報に関連付けられた関連情報を読み出し用記憶部441から取得する。関連情報取得部45は、取得した関連情報を出力部46に供給する。
[1-3-6.出力部46]
出力部46は関連情報を出力する。例えば、出力部46は、モバイルデバイス3に関連情報を出力して表示部32に表示させる。出力部46は、機器2の種類によらず表示態様が統一されるように関連情報を出力してよい。これにより、関連情報の把握が容易化される。
[1-4.ベンダ端末5]
ベンダ端末5は、機器2の製造者または販売者等のベンダにより設置される端末であり、有線または無線で装置4と接続される。ベンダ端末5は、物理サーバまたはPCなどで実現されてよい。ベンダ端末5は、読み書き用記憶部442内の情報に統計処理を行ってよい。
以上のシステム1によれば、機器2の特定用情報と表示部20の表示情報とに関連付けられた関連情報(一例として表示情報の詳細内容)が出力されるので、機器2の制約(一例として電力消費量の制約、表示部20のサイズの制約)に起因して機器2では表示内容が不十分な場合であっても、詳細な関連情報を得ることができる。例えば、機器2の表示能力が低い場合に、その表示情報よりも情報量が大きい関連情報が出力されるので、機器2に変更を加えることなく、機器2の表示能力を拡張した効果を得ることができる。また、機器2と通信を行うことなく関連情報を出力させることができるため、機器2に通信処理時の負荷が加わるのを防ぐことができる。また、機器2の画像を取得することによって表示情報が抽出されて関連情報が出力されるので、取扱説明書などを調べて関連情報を取得する場合と比較して、容易に関連情報を取得することができる。
また、装置4の関連情報取得部45によって読み出し用記憶部441から関連情報を取得するので、表示情報および特定用情報を外部に供給して関連情報を取得させる場合と比較して外部との通信を省略できる分、関連情報の出力を早めることができる。
また、画像に写った機器2の特定用情報が取得されるので、装置4に機器2の画像を供給することで特定用情報が取得される。従って、機器2の特定用情報を入力する場合と比較して、容易に特定用情報を取得させることができる。
[2.適用例]
図2は、システム1が適用される保全管理システム10を示す。
保全管理システム10は、プラントなどの設備に設置されるフィールド機器11の保全管理を行うものであり、複数のフィールド機器11と、保全用端末12と、運転制御装置13と、インタフェース装置14と、資源管理装置15と、ドキュメントデータベース17と、保全管理装置18とを備える。ここで、フィールド機器11が設置されるプラントとしては、化学等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等がある。各フィールド機器11と、保全用端末12とは、設備においてプロセスが実行される現場に配置されてよい。また、運転制御装置13と、インタフェース装置14と、資源管理装置15とは、設備における管理室、計器室などに配置されてよい。ドキュメントデータベース17は、設備の外部に配置されてよい。保全管理装置18は設備内の管理室、計器室などに配置されてもよいし、設備の外部に配置されてもよい。
[2-1.フィールド機器]
フィールド機器11は器具、機械または装置であり、例えば、設備のプロセスにおける圧力、温度、pH、速度、流量などの物理量を測定するセンサでもよいし、いずれかの物理量を制御するバルブ、流用制御弁、開閉弁、ポンプ、ファン、モータ等のアクチュエータでもよいし、プラント内の状況や対象物を撮影するカメラ、ビデオ等の撮像機器でもよいし、プラント内の異音等を収集したり警報音等を発したりするマイク、スピーカ等の音響機器でもよいし、各機器の位置情報を出力する位置検出機器でもよいし、その他の機器でもよい。各フィールド機器11は互いに異種でもよいし、少なくとも一部の2以上のフィールド機器11が同種でもよい。各フィールド機器11の製造業者は同じでもよいし、異なってもよい。フィールド機器11は、制御用ネットワーク100を介して有線または無線で運転制御装置13に接続されてよい。制御用ネットワーク100内の通信は、例えばISA(International Society of Automation:国際計測制御学会)の無線通信プロトコルで行われてよく、一例としてISA100.11a、HART(Highway Addressable Remote Transducer)(登録商標)、BRAIN(登録商標)、FOUNDATION Fieldbus、PROFIBUS等で行われてよい。
[2-2.保全用端末]
保全用端末12は、フィールド機器11の設定パラメータにアクセスし、設定パラメータの値の参照、設定および変更などを行う。保全用端末12は、現場作業者が携帯するハンドヘルドターミナル(HHT)(一例としてスマートフォンまたはタブレットPC)でもよいし、据え置き型のPCでもよい。保全用端末12がハンドヘルドターミナルである場合には、保全用端末12はフィールド機器11に対して着脱可能に接続されてよい。
[2-3.運転制御装置]
運転制御装置13は、各フィールド機器11と通信してプロセスを制御する。例えば、運転制御装置13は、センサであるフィールド機器11からプロセス値を取得し、アクチュエータであるフィールド機器11を駆動させる。運転制御装置13は、プロセス値をインタフェース装置14に供給し、インタフェース装置14からプロセス値の目標値を受信してよい。なお、本実施形態では一例として保全管理システム1には運転制御装置13が1つ具備されて全てのフィールド機器11を制御することとして説明するが、運転制御装置13が複数具備されて、それぞれ一部のフィールド機器11を分散制御してもよい。運転制御装置13は、一例としてFCS(Field Control Station)でよい。
[2-4.インタフェース装置]
インタフェース装置14は、管理者と設備とのインタフェースを行う。インタフェース装置14は、管理者による操作に応じ、運転制御装置13を介してプロセスを制御してよい。例えば、インタフェース装置14は、運転制御装置13からプロセス値を受信し、プロセス値の目標値を運転制御装置13に供給してよい。インタフェース装置14は、一例としてHIS(Human Interface Station)でよく、PCなどで構成されてよい。
[2-5.資源管理装置]
資源管理装置15は、設備内のオンライン監視および集中管理を行う。例えば、資源管理装置15は、運転制御装置13が取得したフィールド機器11の情報などを管理してよい。資源管理装置15は、一例としてPCなどで構成されてよい。
[2-6.ドキュメントデータベース]
ドキュメントデータベース17は、フィールド機器11の製品ID(一例として型名)と、当該フィールド機器11に関するドキュメントとを対応付けて格納する。ドキュメントは、電子化されたドキュメントのファイルでもよいし、このようなファイルの保存先(URL名等)とファイル名との組み合わせでもよい。ドキュメントのファイルは、フィールド機器11の仕様書、マニュアル、検査成績書などのテキストファイルでもよいし、画像ファイルでもよい。ドキュメントデータベース17は、一例としてフィールド機器11のベンダ毎に設置されてよい。なお、ドキュメントデータベース17および保全管理装置18は、ネットワーク101(一例としてインターネットまたは専用回線)を介して資源管理装置15等と接続されてよい。
[2-7.保全管理装置]
保全管理装置18は、設備の保全管理を支援する。保全管理装置18は、複数のフィールド機器11のそれぞれについて少なくとも機器固有情報および設定パラメータの値を記憶する機器台帳1800を有してよい。保全管理装置18は、一例としてDevice Lifecycle Managerでよく、クラウドコンピューティングにより実現されてもよいし、物理サーバまたはPCで実現されてもよい。保全管理装置18は、ネットワーク101を介して有線または無線で資源管理装置15等と接続されてよい。
以上の保全管理システム10においては、一例として図1の機器2はフィールド機器11であり、図1の装置4は保全管理装置18である。これにより、フィールド機器11の表示画面が小さい場合に、その表示情報を現場のモバイルデバイス3で撮像する等して保全管理装置18に供給することにより、表示情報よりも情報量を増やした関連情報をモバイルデバイス3で確認することができる。なお、保全管理装置18の機器台帳1800は記憶部44の読み書き用記憶部442に設けられてよい。また、装置4は資源管理装置15、インタフェース装置14または運転制御装置13でもよい。また、モバイルデバイス3は保全用端末12でもよい。
[3.記憶部44]
[3-1.読み出し用記憶部441]
図3は、読み出し用記憶部441を示す。読み出し用記憶部441は、特定用情報と、表示情報との各組み合わせに関連付けて関連情報を記憶する。表示情報は、例えば機器2の状態を示してよく、本実施形態では機器2に生じたエラーの種類(一例としてエラーコード、アラームメッセージ)を示す。機器2が経時的に切り替わる一連の表示情報で一の内容を示す場合には、読み出し用記憶部441は、一連の表示情報のまとまりを特定用情報および関連情報に関連付けて記憶してよい。関連情報は1または複数の言語で表されてよい。関連情報は、機器2で生じたエラーの内容(エラーの詳細情報)、エラーの対処方法、および、エラーについての問い合わせ先の少なくとも1つを示してよい。エラーの対処方法は、例えば機器2の操作方法でもよいし、機器2の状態やエラーの原因を解析する方法でもよいし、部品の交換方法でもよい。エラーについての問い合わせ先は、機器2のベンダの連絡先の電話番号やメールアドレス、URL等でよい。関連情報は、エラーの識別情報およびエラー箇所の部品の注文先などを示してもよい。なお、本実施形態では一例として、読み出し用記憶部441は、機器2ごとに外観の情報を記憶してよい。外観の情報は、機器2の全体または一部(一例として表示部)の形状、機器2の全体または一部の色、機器2の製品IDをコーディングして機器2の本体または付属品に設けられたコードの情報、表示部20に表示されている文字列、アイコン、表示画像、画面レイアウト、表示色、銘版の記号の少なくとも1つを含んでよい。このうち、コードは、バーコードまたは二次元コード(一例としてQRコード(登録商標))であり、貼付、印刷または刻印によって設けられる。コードは、機器2に取り付けられた銘版に貼付、印刷または刻印によって設けられてもよい。コードの設けられる機器2の付属品は、機器2が嵌め込まれた壁やラックマウント型のパネルでもよい。図3では一例として、製品ID「AAA-P10」のフィールド機器11と、当該フィールド機器11で表示されるエラーコード「AL10」,「AL20」とに対する関連情報が記憶されている。
以上のような読み出し用記憶部441内の情報によれば、表示情報は機器2に生じたエラーの種類を示し、関連情報はエラーの内容、エラーの対処方法、および、エラーについての問い合わせ先の少なくとも1つを示すので、機器2に生じたエラーの内容、対処方法、問い合わせ先などを容易に確認することができる。従って、取扱説明書を調べることなく迅速にエラーへ対処することが可能となる。また、関連情報が複数の言語で表される場合には、ユーザの使用言語で表された関連情報を出力することができるため、関連情報を確実に確認することができる。
[3-2.読み書き用記憶部442]
図4は、読み書き用記憶部442を示す。読み書き用記憶部442は、ユーザごと、あるいは機器2ごとに、ユーザ情報(一例としてユーザ識別ID、ユーザ名、ログイン情報)、装置4に対するユーザの登録情報(一例としてユーザの所属会社、地域など)、モバイルデバイス3からのアクセス日時、モバイルデバイス3において装置4との通信に使用したアプリケーションの種類、特定用情報取得部43により取得された機器2の製品ID、機器2の使用環境、エラー内容、画像取得部41により取得された画像、画像の撮影位置、撮影日時、および、特定用情報取得部43により取得された外観情報の少なくとも1つを含んでよい。機器2の使用環境は、一例として使用位置、標高、使用時の温度、湿度、および、稼働サイクルなどの少なくとも1つを含んでよい。エラー内容は、発生したエラーのエラーID、発生状況(機器2の使用環境など)、機器2のバージョン、機器2のロット情報、対処内容および対処結果などの少なくとも1つを含んでよい。なお、以上の情報のうち、ユーザ情報、登録情報、アクセス日時および使用アプリケーションの種類は、装置4とモバイルデバイス3との通信内容から取得されてよい。画像の撮影位置および撮影日時は画像データのEXIFデータから取得されてよく、機器2の使用環境は撮影位置および撮影日時に応じて特定されてもよいし、モバイルデバイス3に対するユーザ入力により取得されてもよい。エラー内容は、特定用情報取得部43および関連情報取得部45により取得されてもよいし、モバイルデバイス3に対するユーザ入力により取得されてもよいし、モバイルデバイス3と機器2との通信により取得されてもよい。特定用情報取得部43により取得された情報は、画像から取得された外観の情報、ユーザによる入力によって取得された情報、および、機器2の本体または付属品との通信により取得された情報の少なくとも1つを含んでよい。なお、図4では一例として、ユーザ識別ID「aaaaa」のユーザが使用する製品ID「AAA-P10」のフィールド機器11についてエラーの内容などが記憶されている。
以上のような読み書き用記憶部442内の情報によれば、ベンダ端末5において種々の統計処理を行うことができる。例えば、ベンダ端末5は、読み書き用記憶部442内の情報のうち、ベンダがアクセス権限を持つ情報にアクセスして、機器2の製品ごと、あるいはユーザごとに使用環境、および、発生したエラーの内容の少なくとも一方を抽出して統計処理を行ってよい。これにより、使用頻度の高い機能や、エラーの傾向(一例としてエラーの生じやすい機能、使用環境)を数量的に把握することができる。また、ベンダ端末5は、エラーコードを表示した機器2(今回の機器2とも称する)の画像が読み書き用記憶部442に記憶されたことに応じて、今回の機器2と同じ製品IDの機器2について登録されているエラーの内容を解析して過去のエラーの原因を特定し、今回の機器2のエラーの対処方法を決定してよい。ベンダ端末5は、今回の機器2について得られる情報(例えば使用環境)と過去のエラー内容とを比較して、エラーが解消される可能性の高い順に対処方法を決定してよい。さらに、モバイルデバイス3に表示される関連情報中の問い合わせ先にユーザが連絡した場合に、決定した対処方法をベンダ端末5がモバイルデバイス3に送信してもよいし、連絡を受けたベンダのオペレータが対処方法を案内してもよい。
[4.動作]
図5は、本実施形態に係るシステム1の動作を示す。システム1は、ステップS11~26の処理を行うことにより機器2の表示情報の関連情報をモバイルデバイス3に表示する。なお、この図ではベンダ端末5の動作の説明を省略している。
まずステップS11においてモバイルデバイス3は、撮像部31によって機器2を撮像し、画像データを装置4に供給する。撮像部31は、少なくとも表示部20を撮像すればよい。撮像部31は、機器2の全体像を撮像してもよく、この場合には機器2の全体像と、表示部20とを別々に撮像してもよいし、まとめて撮像してもよい。表示部20による表示が経時的に切り替わる場合(一例としてエラーコードが点滅表示される場合、または、複数のエラーコードが順に表示される場合)には、撮像部31は、動画像を撮像してもよいし、表示情報が切り替わる毎に静止画像を撮像してもよい。
ステップS21において装置4の画像取得部41はモバイルデバイス3から供給された画像を取得し、ステップS22において装置4の抽出部42は、画像に写った表示画面に表示されている表示情報を抽出する。表示画面に複数の表示情報が表示されている場合には、抽出部42は、表示されている各表示情報のうち、読み出し用記憶部441において関連情報に関連付けられている表示情報を抽出してよい。また、表示画面に複数の表示情報が表示されている場合には、抽出部42は、表示されている各表示情報のうち、エラーが生じていることを示す文字および記号の少なくとも1つに基づいて、エラーの種類を示す表示情報を抽出してよい。一例として、機器2にエラーが生じていることが「Alarm」、「AL」、「!」などの文字または記号で示される場合には、抽出部42は、これらを含む表示情報、または、これらの近傍に表示される表示情報を抽出してよい。また、機器2の表示部20による表示が経時的に切り替わることで撮像部31が動画像または複数の静止画像を撮像した場合には、抽出部42は、表示が切り替わる毎の表示情報を抽出してよい。
ステップS23において装置4の特定用情報取得部43は、機器2の製品を特定するための特定用情報(本実施形態では一例として製品ID)を取得する。例えば、特定用情報取得部43は、画像に写った機器2の外観を解析して製品IDの特定を試みる。特定用情報取得部43は読み出し用記憶部441を用いて製品IDを特定してよく、一例として、画像に写った機器2の外観を解析して取得される外観の情報を検索キーにして、外観の情報に対応する製品IDを読み出し用記憶部441内で検索してよい。また、特定用情報取得部43は、複数の学習用画像を用いた機械学習を予め行っておくことにより、機器2の外観から製品、ひいては製品IDを特定してもよい。学習用画像としては、配線・配管の有無、操作する指の有無、照明の有無、照明の角度、撮影角度、および、撮影距離などの少なくとも1つについて条件を変えて撮像された機器2の複数の状態の画像(一例として画面レイアウトごと、表示項目の選択状態ごと、エラーの発生状態ごとの画像)を用いてよい。特定用情報取得部43は、画像に写った機器2の外観を解析して製品IDを特定する試み、および、機械学習により外観の情報から製品IDを特定する試みの一方を行って製品IDが特定されない場合に、他方の試みを行ってよい。さらに、両者の試みを行って製品IDが特定されない場合には、特定用情報取得部34は、一方の試みを行って得られた複数の製品IDの候補と、他方の試みを行って得られた複数の製品IDの候補との間で重複する製品IDを、機器2の製品IDとして特定してよい。また、特定用情報取得部43は、何れかの試みを行って製品IDが特定されない場合には、モバイルデバイス3と通信して複数の製品IDの候補のうち、ユーザにより選択される製品IDを、機器2の製品IDとして特定してもよい。
製品IDが特定できない場合には、特定用情報取得部43は、モバイルデバイス3と通信して機器2についての追加情報を取得して製品IDの特定を改めて試みてよい。追加情報は、機器2を撮像した別の画像でもよいし、ユーザにより入力(一例として機器2の外観・機能などの選択肢に対する選択入力)された機器2の情報でもよい。追加情報の取得は段階的に行われてよい。なお、特定用情報取得部43は、画像から特定用情報の取得を行わずに、ユーザからモバイルデバイス3への入力内容によって特定情報を取得してもよい。この場合には、撮像を行うことなく特定用情報を取得することができる。また、特定用情報取得部43は、機器2の本体または付属品に記憶された情報に基づいて特定用情報を取得してもよい。例えば機器2の本体または付属品には、製品ID、設定パラメータおよび通信データ(一例として測定データなど)の少なくとも1つに関する情報が無線または有線の通信により読出可能に記憶されてよい。特定用情報取得部43は通信により、モバイルデバイス3を介して、または、モバイルデバイス3を介さずに、機器2の本体または付属品に記憶されている情報を取得してよい。取得情報に製品IDが含まれる場合には、特定用情報取得部43は、当該製品IDを機器2の製品IDとしてよい。取得情報に設定パラメータおよび通信データの少なくとも一方が含まれる場合には、特定用情報取得部43は、機器2の製品毎に製品IDと、その設定パラメータおよび通信データのフォーマットとを対応付けて予め記憶したデータベースなどを用いて機器2の製品IDを取得してよい。
ステップS24において装置4の関連情報取得部45は、特定用情報取得部43により取得された特定用情報、および、抽出部42により抽出された表示情報に関連付けられた関連情報を読み出し用記憶部441から取得する。一例として、関連情報取得部45は、特定用情報取得部43により取得された特定用情報、および、抽出部42により抽出された表示情報の組み合わせを検索キーにして読み出し用記憶部441内で関連情報を検索してよい。なお、異なる関連情報に対応する複数の表示情報が併せて機器2に表示される場合には、関連情報取得部45は、モバイルデバイス3と通信してユーザに何れかの表示情報を選択させ、選択された表示情報に対する関連情報を取得してよい。また、一の関連情報に対応する一連の表示情報が経時的に機器2に表示される場合には、関連情報取得部45は、一連の表示情報のまとまりと、特定用情報とに関連付けられた関連情報を取得してよい。また、異なる関連情報に対応する複数の表示情報が経時的に機器2に表示される場合には、関連情報取得部45は、モバイルデバイス3と通信してユーザに何れかの表示情報が表示されている画像を選択させ、選択された画像の表示情報に対する関連情報を取得してもよい。また、関連情報が複数の言語で表されている場合には、関連情報取得部45は、モバイルデバイス3と通信してユーザに何れかの言語を選択させ、選択言語で表された部分の関連情報のみを抽出して取得してもよい。これに代えて、関連情報取得部45は、モバイルデバイス3と通信してモバイルデバイス3の設定言語を検出し、設定言語で表された部分の関連情報のみを抽出して取得してもよい。
ステップS25において装置4の出力部46はモバイルデバイス3に関連情報を出力し、ステップS12においてモバイルデバイス3の表示部32は、装置4の出力部46から受信した関連情報を表示する。
ステップS26において装置4は、モバイルデバイス3から取得した情報(一例としてユーザ情報、アクセス日時、取得した画像、機器2の製品を特定するためにユーザ入力された追加情報、およびエラー内容など)を読み書き用記憶部442に記憶させる。エラー内容としてエラーの対処結果を読み書き用記憶部442に記憶させる場合には、装置4は、ステップS12で表示された関連情報を参照して機器2に行われた操作と、その結果とを、モバイルデバイス3を介してユーザに入力させてよい。
以上の動作によれば、異なる関連情報に対応する複数の表示情報が併せて機器2に表示される場合に、表示されている各表示情報のうち、読み出し用記憶部441において関連情報に関連付けられている表示情報が抽出され、当該表示情報に対する関連情報が表示されるので、関連情報に関連付けられていない表示情報が抽出されるのを防ぎ、抽出効率を高めることができる。また、異なる関連情報に対応する複数の表示情報が併せて機器2に表示される場合に、表示されている各表示情報のうち、エラーが生じていることを示す文字および記号の少なくとも1つに基づいて、エラーの種類を示す表示情報が抽出されるので、エラーの内容、エラーの対処方法、および、エラーについての問い合わせ先を関連情報として確実に表示させることができる。また、複数の表示情報が併せて機器2に表示される場合に、ユーザに選択された表示情報に対する関連情報が表示されるので、所望の表示情報の関連情報を確認することができる。
また、異なる関連情報に対応する複数の表示情報が経時的に機器2に表示される場合に、ユーザに選択された表示情報に対する関連情報が表示されるので、所望の表示情報の関連情報を確認することができる。
また、一の関連情報に対応する一連の表示情報が経時的に機器2に表示される場合に、一連の表示情報のまとまりに対する関連情報が表示されるので、一連の表示情報によって一の内容が示される場合に、その関連情報を確認することができる。
また、関連情報が複数の言語で表されている場合に、ユーザによる選択言語またはモバイルデバイス3の設定言語で表された部分の関連情報が抽出されて表示されるので、関連情報を容易かつ確実に確認することができる。
また、機器2の本体または付属品に記憶された情報に基づいて特定用情報が取得されるので、画像に写った機器2の外観から特定用情報を取得することができない場合でも、特定用情報を取得することができる。従って、機器2の外観全体を鮮明に撮影できない場合(一例として周辺が暗い場合、機器2の周囲に障害物がある場合など)にも特定用情報を取得することができる。
なお、図5の動作では、表示情報の抽出の後に特定用情報の取得を行うこととして説明したが、逆の順に行ってもよい。この場合には、特定用情報の取得によって機器2の製品が特定された場合に、当該機器2の表示画面に最適なアルゴリズム(一例として表示画面が7セグメント表示を行う場合には、7セグメント表示に適した文字抽出アルゴリズム)を使用して、文字の抽出を行ってよい。
また、関連情報が複数の言語で表されている場合に、ユーザによる選択言語またはモバイルデバイス3の設定言語で表された部分の関連情報が抽出されて取得されることとして説明したが、複数の言語で表された関連情報がそのまま取得されてモバイルデバイス3に出力されてもよい。この場合には、モバイルデバイス3の表示部32はユーザによるスクロール操作に応じて関連情報をスクロール表示して何れかの言語で表された関連情報を表示してよい。
[5.表示例]
図6は、フィールド機器11としての渦流量計110を示す。渦流量計110は、流体の流速、流量、および密度の少なくとも1つを測定する。渦流量計110の表示部20は、図中の拡大部分に示すように表示情報をセグメント表示する。
図7は、渦流量計110の表示情報の関連情報が表示されたモバイルデバイス3を示す。この図では一例として、関連情報として、渦流量計110で生じたエラーの内容および対処方法が表示されている。また、関連情報は、表示部32の表示領域のうち、渦流量計の撮像画像が表示されている領域とは別の領域に表示されている。
図8は、フィールド機器11としてのレコーダ(データロガー、記録計とも称する)111と、その表示情報の関連情報が表示されたモバイルデバイス3を示す。レコーダ111は、1または複数のセンサとしてのフィールド機器11による測定データを記録する。この図では一例として、レコーダ111は、接続された各フィールド機器11から送信された複数の表示情報(一例としてエラーコード)をリスト化して示している。
また、モバイルデバイス3では、レコーダ111の表示情報の関連情報が表示されている。この図では一例として、表示部32に表示されたレコーダ111に重ねて関連情報が表示されている。より具体的には、関連情報は、レコーダ111の撮像画像が表示されている領域のうち、表示情報が表示されていない領域に表示されている。また、この図では、リスト化された複数の表示情報のうち、ユーザが選択した表示情報に対する関連情報が表示されている。
[6.変形例]
なお、上記の実施形態においては、記憶部44が装置4に具備されることとして説明したが、外部記憶装置として装置4に接続されてもよい。一例として、記憶部44は、ドキュメントデータベース17でよい。この場合には装置4を小型化することができる。
また、出力部46が関連情報をモバイルデバイス3に出力することとして説明したが、装置4の表示部に表示させてもよいし、記録媒体に記録してもよい。
また、装置4を物理サーバ等として説明したが、撮像機能付きのモバイルデバイスとしてもよい。この場合には、出力部46は関連情報を表示してよい。また、画像取得部41は画像を撮像してよい。これにより、画像を外部から受信する場合と比較して、機器2の画像の取得を容易化することができる。また、特定用情報取得部43は、機器2の本体または付属品(一例として非接触ICチップ)との有線または無線通信により特定用情報を取得してもよい。これにより、撮像を行うことなく特定用情報を取得することができる。装置4がモバイルデバイスであり、かつ、記憶部44を有する場合には、装置4は外部と通信することなく表示情報の関連情報を出力することができるため、通信不能な環境においても関連情報を確認することができる。
また、装置4は、撮像機能を有しないモバイルデバイスであってもよい。この場合には、画像取得部41は、通信機能を有さない撮像装置から画像を取得してよい。これにより、通信機能を有する撮像装置の持ち込みが禁止されているエリア内の機器2についても画像を取得することができる。
また、装置4が画像取得部41、抽出部42、特定用情報取得部43、記憶部44、関連情報取得部45および出力部46を有することとして説明したが、これらの一部の構成をモバイルデバイス3が有してもよい。例えば、画像取得部41および出力部46はモバイルデバイス3に具備されてもよい。この場合には、画像取得部41は撮像部31であってよく、出力部46は表示部32であってよい。
また、読み書き用記憶部442の情報を用いてベンダ端末5が統計処理を行うこととして説明したが、モバイルデバイス3が行ってもよい。この場合、モバイルデバイス3は、読み書き用記憶部442内の情報のうち、ユーザがアクセス権限を持つ情報にアクセスして統計処理を行ってよい。モバイルデバイス3において関連情報を表示するアプリケーションと、統計処理を行うアプリケーションは同一でもよいし、異なってもよい。
また、機器2の製品を特定するための特定用情報は製品IDであり、特定用情報取得部43は画像に写った機器2の外観を解析して外観の情報を取得し、読み出し用記憶部441内で外観の情報を検索キーとして製品IDを検索するか、あるいは、機械学習により外観の情報から製品IDを特定することとして説明した。しかしながら、特定用情報取得部43は、画像取得部41が取得した画像データを装置4の内部または外部の画像解析装置(図示せず)に供給し製品IDを特定させることで製品IDを取得してもよい。また、特定用情報は、製品IDに加えて、または製品IDに代えて、機器2の外観の情報、および、機器2が写った画像データの少なくとも一方を含んでもよい。特定用情報が外観の情報を含む場合には、特定用情報取得部43は、画像取得部41が取得した画像に写った機器2の外観を解析して外観の情報を取得してもよいし、装置4の内部または外部の画像解析装置に画像データを供給して外観の情報を取得してもよく、取得した外観の情報を関連情報取得部45に供給する。関連情報取得部45は外観の情報と、抽出部42により抽出された表示情報とに関連付けられた関連情報を読み出し用記憶部441から取得してよい。特定用情報が画像データを含む場合には、読み出し用記憶部441には機器2ごとに配線・配管の有無、操作する指の有無、照明の有無、照明の角度、撮影角度、および、撮影距離などの少なくとも1つについて条件を変えて撮像された機器2の複数の状態の画像(一例として画面レイアウトごと、表示項目の選択状態ごと、エラーの発生状態ごとの画像)が特定用情報として記憶されてよい。特定用情報取得部43は、画像取得部41から供給される画像データを特定用情報として取得してもよいし、当該画像データに対し画像処理(例えば機器2の領域をトリミングする処理、機器2以外のノイズ成分(一例として画像内の配線・配管)を除去する処理)を行った画像データを特定用情報として取得してもよく、取得した画像データを関連情報取得部45に供給する。関連情報取得部45は、画像データと、抽出部42により抽出された表示情報とに関連付けられた関連情報を読み出し用記憶部441から取得してよい。
また、機器2をフィールド機器11として説明したが、洗濯機、炊飯器、体重計、録画再生機、エアコンディショナーなどの家電製品の本体または付属品(一例としてリモートコントローラ)でもよい。
また、表示部20がセグメント表示またはドットマトリクス表示などにより表示情報を表示することとして説明したが、複数の光源(一例としてLED)の点灯パターンにより表示情報を表示してもよい。例えば、表示部20は、3つの光源の何れを点灯させるかによって、機器2に生じたエラーの種類を示してよい。この場合には、機器2の特定用情報と表示部20の表示情報とに関連付けられた関連情報が出力部46から出力されるので、機器2に変更を加えることなく、機器2の表示能力を顕著に拡張した効果を得ることができる。なお、この場合には、表示情報は文字認識されなくてよく、抽出部42は、複数の光源の点灯パターンを表示情報として抽出してよい。
また、表示情報は表示部20に表示される情報であることとして説明したが、機器2の他の部分に表示される情報であってもよい。例えば、表示情報は、機器2の操作パネルまたは操作ボタン上に貼付、印刷または刻印によって静的に表示されてもよいし、操作パネルまたは操作ボタン上の透光部と、内部のバックライトとにより動的に表示されてもよい。また、表示情報は、対応する操作ボタンの種類、または、操作ボタンにより行われる操作の内容を示してよい。この場合には、機器2の特定用情報と表示情報とに関連付けられた関連情報として、例えば操作の内容の説明を出力させることができる。
また、特定用情報取得部43は画像に写った機器2の外観から特定用情報の取得を試み、取得できない場合に機器2の本体または付属品に記憶された情報に基づいて特定用情報を取得することとして説明した。しかしながら、特定用情報取得部43は、画像に写った機器2の外観から特定用情報の取得することを試みずに、機器2の本体または付属品に記憶された情報に基づいて特定用情報の取得を試みてもよいし、この試みで特定用情報が取得できない場合に画像に写った機器2の外観から特定用情報を取得してもよい。
また、本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、およびコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサの少なくとも1つによって実装されてよい。専用回路は、デジタルおよびアナログの少なくとも一方のハードウェア回路を含んでよく、集積回路(IC)およびディスクリート回路の少なくとも一方を含んでよい。プログラマブル回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1または複数のプログラミング言語の任意の組み合わせで記述されたコードまたはオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図9は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。コンピュータ2200にインストールされたプログラムは、コンピュータ2200に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の1または複数のセクションとして機能させることができ、または当該操作または当該1または複数のセクションを実行させることができ、これに加えて、またはこれに代えて、コンピュータ2200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ2200に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、CPU2212によって実行されてよい。
本実施形態によるコンピュータ2200は、CPU2212、RAM2214、グラフィックコントローラ2216、およびディスプレイデバイス2218を含み、それらはホストコントローラ2210によって相互に接続されている。コンピュータ2200はまた、通信インタフェース2222、ハードディスクドライブ2224、DVD-ROMドライブ2226、およびICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ2220を介してホストコントローラ2210に接続されている。コンピュータはまた、ROM2230およびキーボード2242のようなレガシの入出力ユニットを含み、それらは入出力チップ2240を介して入出力コントローラ2220に接続されている。
CPU2212は、ROM2230およびRAM2214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ2216は、RAM2214内に提供されるフレームバッファ等またはそれ自体の中にCPU2212によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス2218上に表示されるようにする。
通信インタフェース2222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ2224は、コンピュータ2200内のCPU2212によって使用されるプログラムおよびデータを格納する。DVD-ROMドライブ2226は、プログラムまたはデータをDVD-ROM2201から読み取り、ハードディスクドライブ2224にRAM2214を介してプログラムまたはデータを提供する。ICカードドライブは、プログラムおよびデータをICカードから読み取り、これに加えて、またはこれに代えてプログラムおよびデータをICカードに書き込む。
ROM2230はその中に、アクティブ化時にコンピュータ2200によって実行されるブートプログラム等、およびコンピュータ2200のハードウェアに依存するプログラムの少なくとも1つを格納する。入出力チップ2240はまた、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ2220に接続してよい。
プログラムが、DVD-ROM2201またはICカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ2224、RAM2214、またはROM2230にインストールされ、CPU2212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ2200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ2200の使用に従い情報の操作または処理を実現することによって構成されてよい。
例えば、通信がコンピュータ2200および外部デバイス間で実行される場合、CPU2212は、RAM2214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース2222に対し、通信処理を命令してよい。通信インタフェース2222は、CPU2212の制御下、RAM2214、ハードディスクドライブ2224、DVD-ROM2201、またはICカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
また、CPU2212は、ハードディスクドライブ2224、DVD-ROMドライブ2226(DVD-ROM2201)、ICカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM2214に読み取られるようにし、RAM2214上のデータに対し様々なタイプの処理を実行してよい。CPU2212は次に、処理されたデータを外部記録媒体にライトバックする。
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU2212は、RAM2214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索,置換等を含む、様々なタイプの処理を実行してよく、結果をRAM2214に対しライトバックする。また、CPU2212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU2212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ2200上またはコンピュータ2200近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ2200に提供する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
1 システム、2 機器、3 モバイルデバイス、4 装置、5 ベンダ端末、10 保全管理システム、11 フィールド機器、12 保全用端末、13 運転制御装置、14 インタフェース装置、15 資源管理装置、17 ドキュメントデータベース、18 保全管理装置、20 表示部、31 撮像部、32 表示部、41 画像取得部、42 抽出部、43 特定用情報取得部、44 記憶部、45 関連情報取得部、46 出力部、100 制御用ネットワーク、101 ネットワーク、110 渦流量計、111 レコーダ、441 読み出し用記憶部、442 読み書き用記憶部、1800 機器台帳、2200 コンピュータ、2201 DVD-ROM、2210 ホストコントローラ、2212 CPU、2214 RAM、2216 グラフィックコントローラ、2218 ディスプレイデバイス、2220 入出力コントローラ、2222 通信インタフェース、2224 ハードディスクドライブ、2226 DVD-ROMドライブ、2230 ROM、2240 入出力チップ、2242 キーボード

Claims (17)

  1. 画像を取得する画像取得部と、
    前記画像に写った機器に示されている表示情報を抽出する抽出部と、
    前記機器の製品を特定するための特定用情報を取得する特定用情報取得部と、
    前記特定用情報と、前記表示情報とに関連付けられた関連情報を出力する出力部と
    を備え
    前記特定用情報取得部は、
    前記画像に写った前記機器の表示部に表示されている画面レイアウトを解析して前記特定用情報を取得する、装置。
  2. 前記特定用情報取得部は、
    機器の複数の状態を示す複数の画像を用いた機械学習が予め行われており、前記画像に写った前記機器の表示部に表示されている画面レイアウトを解析して前記特定用情報を取得する、請求項1に記載の装置
  3. 画像を取得する画像取得部と、
    前記画像に写った機器に示されている表示情報を抽出する抽出部と、
    前記機器の製品を特定するための特定用情報を取得する特定用情報取得部と、
    前記特定用情報と、前記表示情報とに関連付けられた関連情報を出力する出力部と
    複数の前記特定用情報および複数の前記表示情報の各組み合わせに関連付けて複数の言語で表された前記関連情報を記憶する記憶装置から、前記特定用情報取得部により取得された前記特定用情報、および、前記抽出部により抽出された前記表示情報に関連付けられ、かつ、予め設定された言語で表された前記関連情報を取得して前記出力部に供給する関連情報取得部と、
    を備える、装置。
  4. 前記関連情報取得部は、前記出力部による出力先の装置の設定言語を、前記予め設定された言語として検出する、請求項3に記載の装置。
  5. 前記抽出部は、前記画像に写った前記機器に示されている各表示情報のうち、前記記憶装置において前記関連情報に関連付けられている前記表示情報を抽出する、
    請求項3または4に記載の装置。
  6. 前記特定用情報取得部は、
    前記機器の本体または付属品に記憶された情報に基づいて前記特定用情報を取得する、
    請求項1から5のいずれか一項に記載の装置。
  7. 前記画像取得部は、前記画像を撮像する、
    請求項1からのいずれか1項に記載の装置。
  8. 前記画像取得部は、撮像機能を有する装置から前記画像を取得する、
    請求項1からのいずれか1項に記載の装置。
  9. 前記表示情報は、前記機器に生じたエラーの種類を示し、
    前記関連情報は、前記エラーの内容、前記エラーの対処方法、および、前記エラーについての問い合わせ先の少なくとも1つを示す、
    請求項1~のいずれか1項に記載の装置。
  10. 前記抽出部は、前記画像に写った前記機器に表示されている各表示情報のうち、エラーが生じていることを示す文字および記号の少なくとも1つに基づいて、前記エラーの種類を示す前記表示情報を抽出する、
    請求項に記載の装置。
  11. 前記関連情報に含まれる情報の量は、前記表示情報に含まれる情報の量よりも大きい、
    請求項1~10のいずれか1項に記載の装置。
  12. 画像を取得する画像取得段階と、
    前記画像に写った機器に示されている表示情報を抽出する抽出段階と、
    前記機器の製品を特定するための特定用情報を取得する特定用情報取得段階と、
    前記特定用情報と、前記表示情報とに関連付けられた関連情報を出力する出力段階と
    を備え
    前記特定用情報取得段階では、
    前記画像に写った前記機器の表示部に表示されている画面レイアウトを解析して前記特定用情報を取得する方法。
  13. 画像を取得する画像取得段階と、
    前記画像に写った機器に示されている表示情報を抽出する抽出段階と、
    前記機器の製品を特定するための特定用情報を取得する特定用情報取得段階と、
    前記特定用情報と、前記表示情報とに関連付けられた関連情報を出力する出力段階と
    複数の前記特定用情報および複数の前記表示情報の各組み合わせに関連付けて複数の言語で表された前記関連情報を記憶する記憶装置から、前記特定用情報取得段階により取得された前記特定用情報、および、前記抽出段階により抽出された前記表示情報に関連付けられ、かつ、予め設定された言語で表された前記関連情報を取得する関連情報取得段階と、
    を備え
    前記出力段階では、前記関連情報取得段階で取得された前記関連情報を出力する方法。
  14. コンピュータを、
    画像を取得する画像取得部と、
    前記画像に写った機器に示されている表示情報を抽出する抽出部と、
    前記機器の製品を特定するための特定用情報を取得する特定用情報取得部と、
    前記特定用情報と、前記表示情報とに関連付けられた関連情報を出力する出力部と
    として機能させ
    前記特定用情報取得部は、
    前記画像に写った前記機器の表示部に表示されている画面レイアウトを解析して前記特定用情報を取得するプログラム。
  15. コンピュータを、
    画像を取得する画像取得部と、
    前記画像に写った機器に示されている表示情報を抽出する抽出部と、
    前記機器の製品を特定するための特定用情報を取得する特定用情報取得部と、
    前記特定用情報と、前記表示情報とに関連付けられた関連情報を出力する出力部と
    複数の前記特定用情報および複数の前記表示情報の各組み合わせに関連付けて複数の言語で表された前記関連情報を記憶する記憶装置から、前記特定用情報取得部により取得された前記特定用情報、および、前記抽出部により抽出された前記表示情報に関連付けられ、かつ、予め設定された言語で表された前記関連情報を取得して前記出力部に供給する関連情報取得部と
    として機能させるプログラム。
  16. コンピュータを、
    画像を取得する画像取得部と、
    前記画像に写った機器に示されている表示情報を抽出する抽出部と、
    前記機器の製品を特定するための特定用情報を取得する特定用情報取得部と、
    前記特定用情報と、前記表示情報とに関連付けられた関連情報を出力する出力部と
    として機能させ
    前記特定用情報取得部は、
    前記画像に写った前記機器の表示部に表示されている画面レイアウトを解析して前記特定用情報を取得するプログラムを記録した記録媒体。
  17. コンピュータを、
    画像を取得する画像取得部と、
    前記画像に写った機器に示されている表示情報を抽出する抽出部と、
    前記機器の製品を特定するための特定用情報を取得する特定用情報取得部と、
    前記特定用情報と、前記表示情報とに関連付けられた関連情報を出力する出力部と
    複数の前記特定用情報および複数の前記表示情報の各組み合わせに関連付けて複数の言語で表された前記関連情報を記憶する記憶装置から、前記特定用情報取得部により取得された前記特定用情報、および、前記抽出部により抽出された前記表示情報に関連付けられ、かつ、予め設定された言語で表された前記関連情報を取得して前記出力部に供給する関連情報取得部と
    として機能させるプログラムを記録した記録媒体。
JP2018121293A 2018-06-26 2018-06-26 装置、方法、プログラムおよび記録媒体 Active JP7196433B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018121293A JP7196433B2 (ja) 2018-06-26 2018-06-26 装置、方法、プログラムおよび記録媒体
EP19182077.8A EP3588399A1 (en) 2018-06-26 2019-06-24 Apparatus, method and recording medium for displaying maintenance information
CN201910554094.XA CN110647444B (zh) 2018-06-26 2019-06-25 装置、方法和存储介质
US16/451,008 US11093779B2 (en) 2018-06-26 2019-06-25 Apparatus, method and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018121293A JP7196433B2 (ja) 2018-06-26 2018-06-26 装置、方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2020003954A JP2020003954A (ja) 2020-01-09
JP7196433B2 true JP7196433B2 (ja) 2022-12-27

Family

ID=67303344

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018121293A Active JP7196433B2 (ja) 2018-06-26 2018-06-26 装置、方法、プログラムおよび記録媒体

Country Status (4)

Country Link
US (1) US11093779B2 (ja)
EP (1) EP3588399A1 (ja)
JP (1) JP7196433B2 (ja)
CN (1) CN110647444B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7255619B2 (ja) * 2021-03-19 2023-04-11 横河電機株式会社 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092214A (ja) 2000-09-19 2002-03-29 Casio Comput Co Ltd 商品情報提供装置、懸賞情報提供装置、及び記憶媒体
JP2005141411A (ja) 2003-11-05 2005-06-02 Fujikura Ltd 光コネクタの識別方法および画像照合装置
JP2015087853A (ja) 2013-10-29 2015-05-07 株式会社安川電機 表示制御システム、表示制御方法、文書抽出装置、携帯情報端末、プログラム、及び情報記憶媒体
JP2017509065A (ja) 2014-02-21 2017-03-30 ジャガー ランド ローバー リミテッドJaguar Land Rover Limited 異なる言語の翻訳を用いる車両用画像キャプチャーシステム
JP2017174127A (ja) 2016-03-23 2017-09-28 横河電機株式会社 保全情報共有装置、保全情報共有方法、保全情報共有プログラム及び記録媒体
JP2018005640A (ja) 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4242323C2 (de) * 1992-12-15 1995-02-16 Siemens Ag Verfahren zur Systemführung bei der Entstörung von Einrichtungen in Kommunikationssystemen
JPH06295236A (ja) 1993-04-07 1994-10-21 Yokogawa Electric Corp エンジニアリング装置
US20030058367A1 (en) * 2000-03-21 2003-03-27 Kosuke Sato Information display and information providing device
JP5587058B2 (ja) * 2010-06-29 2014-09-10 キヤノン株式会社 情報送信装置、情報送信装置の制御方法及びコンピュータプログラム
US9830631B1 (en) * 2014-05-02 2017-11-28 A9.Com, Inc. Image recognition result culling
JP6874410B2 (ja) * 2017-02-15 2021-05-19 オムロン株式会社 画像出力装置及び画像出力方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092214A (ja) 2000-09-19 2002-03-29 Casio Comput Co Ltd 商品情報提供装置、懸賞情報提供装置、及び記憶媒体
JP2005141411A (ja) 2003-11-05 2005-06-02 Fujikura Ltd 光コネクタの識別方法および画像照合装置
JP2015087853A (ja) 2013-10-29 2015-05-07 株式会社安川電機 表示制御システム、表示制御方法、文書抽出装置、携帯情報端末、プログラム、及び情報記憶媒体
JP2017509065A (ja) 2014-02-21 2017-03-30 ジャガー ランド ローバー リミテッドJaguar Land Rover Limited 異なる言語の翻訳を用いる車両用画像キャプチャーシステム
JP2017174127A (ja) 2016-03-23 2017-09-28 横河電機株式会社 保全情報共有装置、保全情報共有方法、保全情報共有プログラム及び記録媒体
JP2018005640A (ja) 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム

Also Published As

Publication number Publication date
US20190392241A1 (en) 2019-12-26
US11093779B2 (en) 2021-08-17
EP3588399A1 (en) 2020-01-01
JP2020003954A (ja) 2020-01-09
CN110647444A (zh) 2020-01-03
CN110647444B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
US11295552B2 (en) Mobile user interface extraction
CN112040014B (zh) 物联网系统确定方法、装置、电子设备及存储介质
CN107463331B (zh) 手势轨迹模拟方法、装置及电子设备
JP5961905B2 (ja) 点検システム及び点検方法
WO2016107327A1 (zh) 实现app统一管理智能硬件设备的方法、装置和客户端
US10372958B2 (en) In-field data acquisition and formatting
CN104123405A (zh) 三维建筑物信息提供装置和方法
CN104541300A (zh) 增强现实信息的确定
JP7196433B2 (ja) 装置、方法、プログラムおよび記録媒体
CN109328096B (zh) 信息处理设备、信息处理方法和程序
CN113435467A (zh) 数据管理系统、数据管理方法及记录介质
CN116663008A (zh) 漏洞检测方法、装置、电子设备、存储介质及程序产品
US20220076465A1 (en) Electronic device and method for editing content of external device
JP7222388B2 (ja) 装置、方法及びプログラム
JP7347409B2 (ja) 装置、方法及びプログラム
JP7327370B2 (ja) 装置、方法およびプログラム
JP7243691B2 (ja) 装置、システム、方法およびプログラム
JP7237484B2 (ja) プラント監視装置、プラント監視方法、およびプラント監視プログラム
CN107632851B (zh) 操控记录方法及自动执行操控方法
Patel et al. Predictive Maintenance of Machine Health by S-NODE Using AR
JP6606876B2 (ja) 情報処理装置及び情報処理方法
KR101875258B1 (ko) 자동 이동 장치를 이용한 홈 모니터링 방법 및 그 장치
Stiefenhöfer et al. Revolution in Industrial Image Processing: Can embedded vision revolutionize imaging and machine vision?
JP2022112512A (ja) ロギング支援装置、ロギングシステム、ロギング支援方法及びプログラム
JP2023169060A (ja) 装置、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221128

R150 Certificate of patent or registration of utility model

Ref document number: 7196433

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150