JP7222388B2 - 装置、方法及びプログラム - Google Patents

装置、方法及びプログラム Download PDF

Info

Publication number
JP7222388B2
JP7222388B2 JP2020219165A JP2020219165A JP7222388B2 JP 7222388 B2 JP7222388 B2 JP 7222388B2 JP 2020219165 A JP2020219165 A JP 2020219165A JP 2020219165 A JP2020219165 A JP 2020219165A JP 7222388 B2 JP7222388 B2 JP 7222388B2
Authority
JP
Japan
Prior art keywords
output
target
subject
unit
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020219165A
Other languages
English (en)
Other versions
JP2022104138A (ja
Inventor
征世 秋定
康樹 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP2020219165A priority Critical patent/JP7222388B2/ja
Priority to US17/644,089 priority patent/US20220206574A1/en
Priority to EP21216005.5A priority patent/EP4020138A1/en
Priority to CN202111611042.5A priority patent/CN114690898A/zh
Publication of JP2022104138A publication Critical patent/JP2022104138A/ja
Application granted granted Critical
Publication of JP7222388B2 publication Critical patent/JP7222388B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0235Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on a comparison with predetermined threshold or range, e.g. "classical methods", carried out during normal operation; threshold adaptation or choice; when or how to compare with the threshold
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Digital Computer Display Output (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)

Description

本発明は、装置、方法及びプログラムに関する。
特許文献1には、「電子機器は、ユーザの視線を検出する視線検出部を備え、制御部は、視線検出部から取得したユーザの視線情報に基づいて、ユーザが注目したウェブページ内の領域を取得してもよい」と記載されている。
特許文献1 特開2015-191551号公報
上記課題を解決するために、本発明の第1の態様においては、装置が提供される。装置は、対象者の見た対象を検出する検出部を備えてよい。装置は、シーン内で発生した複数の状況のそれぞれに対応付けて、当該状況が発生したことに応じて対象者が見た対象の履歴データを記憶する記憶部を備えてよい。装置は、複数の状況の何れかが発生した場合に、履歴データにおいて当該状況に対応付けられた対象を識別するための情報を出力する出力部を備えてよい。
検出部は、一の対象者が見た対象を検出し、出力部は、他の対象者に対して情報を出力してよい。
記憶部は、複数の対象を、検出部による検出順と合わせて記憶してよい。出力部は、検出部による検出順に従って複数の対象の情報を順に出力してよい。
装置は、シーン内の状況の変化を検出する第2検出部を備えてよい。第2検出部は、対象である機器に対して操作が行われること、及びセンサによる測定値が閾値を跨いで変化したことの少なくとも一方に応じて、シーン内の状況が変化したことを検出してよい。
出力部は、対象を識別するための情報を、対象者に装着される表示装置に表示させる、対象である機器の表示画面を明るくする、及び対象である機器を音声で示す、のうちの少なくとも1つにより、対象を識別するための情報を出力してよい。
出力部は、対象の位置を識別するための情報を出力してよい。
本発明の第2の態様においては、方法が提供される。方法は、対象者の見た対象を検出する検出段階を備えてよい。方法は、シーン内で発生した複数の状況のそれぞれに対応付けて、当該状況が発生したことに応じて対象者が見た対象の履歴データを記憶する記憶段階を備えてよい。方法は、複数の状況の何れかが発生した場合に、履歴データにおいて当該状況に対応付けられた対象を識別するための情報を出力する出力段階を備えてよい。
本発明の第3の態様においては、プログラムが提供される。方法は、コンピュータを、対象者の見た対象を検出する検出部として機能させてよい。方法は、コンピュータを、シーン内で発生した複数の状況のそれぞれに対応付けて、当該状況が発生したことに応じて対象者が見た対象の履歴データを記憶する記憶部として機能させてよい。方法は、コンピュータを、複数の状況の何れかが発生した場合に、履歴データにおいて当該状況に対応付けられた対象を識別するための情報を出力する出力部として機能させてよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る保全管理システム1を示す。 出力装置17を示す。 出力装置17の動作を示す。 出力装置17の他の動作を示す。 表示画面を示す。 本発明の複数の態様が全体的又は部分的に具現化されてよいコンピュータ2200の例を示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本実施形態に係る保全管理システム1を示す。保全管理システム1は、プラントの保全管理を行うものであり、複数の機器11と、保全用端末12と、運転制御装置15と、インタフェース装置16と、出力装置17と、資源管理装置18とを備える。
ここで、プラントとしては、化学等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等がある。複数の機器11のうちの一部と、保全用端末12は、プラントにおいてプロセスが実行される現場に配置されてよい。例えば、現場には、被測定流体を流す配管及び配管に設置されて流体の流量を測定する流量計等が存在する。運転制御装置15と、複数の機器11のうちの他の一部と、インタフェース装置16と、出力装置17と、資源管理装置18とは、プラントの管理センタに配置されてよい。
複数の機器11は、器具、機械、又は装置であり、例えば、プラントのプロセスにおける圧力、温度、pH、速度、流量等の物理量を測定するセンサでもよいし、いずれかの物理量を制御するバルブ、流用制御弁、開閉弁、ポンプ、ファン、モータ、加熱装置、冷却装置等のアクチュエータでもよいし、プラント内の異音等を収集したり警報音等を発したりするマイク、スピーカ等の音響機器でもよいし、各機器の位置情報を出力する位置検出機器でもよいし、流体を流す配管であってもよいし、管理センタ等の室内に配置されたスイッチ、カメラ、PC(Personal computer)等であってもよいし、その他の機器でもよい。複数の機器11における各機器11は互いに異種でもよいし、少なくとも一部の2以上の機器11が同種でもよい。
複数の機器11のうちの少なくともいくつかは、制御用ネットワーク100を介して有線又は無線で運転制御装置15に接続されてよい。制御用ネットワーク100内の通信は、デジタル通信でもよいし、アナログ信号(4~20mA信号等)にデジタル信号を重畳したハイブリッド通信でもよく、1000bps~10000bps程度(一例として1200bps、2400bps)の速度でよい。制御用ネットワーク100内の通信は、例えばISA(International Society of Automation:国際計測制御学会)の無線通信プロトコルで行われてよく、一例としてISA100、HART(Highway Addressable Remote Transducer)(登録商標)、BRAIN(登録商標)、FOUNDATION Fieldbus、PROFIBUS等で行われてよい。
各機器11は、固有の識別情報(機器固有情報とも称する)を有してよい。機器固有情報は、機器11を一意に識別するための情報であり、本実施形態では一例として、通信プロトコル(一例としてHART)によって機器11に付与されたシリアル番号、機器11の製造業者により設定されたシリアル番号、及びユーザが付与した機器IDの少なくとも1つでよい。
保全用端末12は、複数の機器11のうちのいくつかの設定パラメータにアクセスし、設定パラメータの値の参照、設定及び変更等を行う。保全用端末12は、現場の対象者が携帯するハンドヘルドターミナル(HHT)(一例としてスマートフォン又はタブレットPC)でもよいし、据え置き型のPCでもよい。保全用端末12がハンドヘルドターミナルである場合には、保全用端末12は機器11に対して着脱可能に接続されてよい。
運転制御装置15は、複数の機器11のうちのいくつかと通信してプロセスを制御する。例えば、運転制御装置15は、センサである機器11から測定データであるプロセス値を取得し、アクチュエータである機器11を駆動させる。そして、運転制御装置15は、プロセス値をインタフェース装置16に供給し、インタフェース装置16からプロセス値の目標値を受信してよい。なお、本実施形態では一例として保全管理システム1には、運転制御装置15が1つ具備されて、複数の機器11を制御することとして説明するが、運転制御装置15が複数具備されて、それぞれ一部の機器11を分散制御してもよい。運転制御装置15は、一例としてFCS(Field Control Station)でよい。
インタフェース装置16は、プラントにおける種々のデータを表示画面に表示して、対象者とプラントとのインタフェースを行う。インタフェース装置16は、対象者による操作に応じ、運転制御装置15を介してプラントのプロセスを制御してよい。例えば、インタフェース装置16は、運転制御装置15からプロセス値を受信し、プロセス値の目標値を運転制御装置15に供給してよい。また、インタフェース装置16は、運転制御装置15を介して機器11の設定パラメータの値を変更してよい。また、インタフェース装置16は、少なくとも一部の機器11に対応付けて当該機器11の設定パラメータの値を記憶してよい。インタフェース装置16は、一例としてHIS(Human Interface Station)でよく、PC等で構成されてよい。
出力装置17は、装置の一例であり、プラントでの各状況において各種の情報を対象者に対して出力する。例えば、出力装置17は、各状況において見るべき対象を対象者に示してよい。出力装置17は、一例として、ウェアラブルデバイス、PC、カメラ等で構成されてよい。出力装置17は、本実施形態ではプラントの機器11、資源管理装置18、インタフェース装置16、運転制御装置15、及び保全用端末12等(以下、外部装置とも称する)と通信可能に接続されているが、外部装置と接続されていなくてもよい。
資源管理装置18は、プラントのオンライン監視及び集中管理を行う。例えば、資源管理装置18は、運転制御装置15が取得した機器11のデータ(一例として設定パラメータの値やプロセス値)等を管理してよい。資源管理装置18は、一例としてPC等で構成されてよい。
図2は、出力装置17を示す。出力装置17は、記憶モードにおいて対象者が見た対象を記憶し、出力モードにおいて対象者に見るべき対象を示す。出力装置17は、撮像部171と、検出部172と、取得部173と、第2検出部174と、入出力制御部175と、記憶部176と、出力部177とを有する。
撮像部171は、対象者の視線検出のために対象者を撮像する。撮像部171は、対象者の一部(眼球、頭等)を撮像する。撮像部171は、めがね型のウェアラブルデバイス、出力装置17若しくは外部装置の表示画面の外周部に設けられるカメラ、又は管理センタ等の天井や壁に設けられる監視カメラ等であってよい。撮像部171は、撮像したデータを検出部172に供給してよい。
検出部172は、対象者の見た対象を検出する。検出部172は、撮像部171から供給される画像を解析することによって視線を検出してよい。検出部172は、眼球の画像から両目の注視位置を検出し、両目の中間点と、対象者の注視位置とを結ぶ直線を対象者の視線として検出してよい。検出部172は、対象者の眼、鼻、口等の位置から、対象者の頭の向きを検出して、検出された向きの直線を対象者の視線として検出してもよい。検出部172は、検出した視線上の領域又は機器11を対象として検出してよい。検出部172は、対象を座標範囲として検出してよく、この場合、座標範囲と機器11との対応関係を示すテーブルを有してよい。検出部172は、さらに対象者の位置をGPSや画像から検出して、対象者の位置及び視線から対象を検出してよい。検出部172は、対象を示すデータを入出力制御部175及び第2検出部174に供給してよい。
取得部173は、対象者又は外部装置から、プラントにおける状況に関する入力を取得する。取得部173は、プラント内に存在する外部装置から、有線又は無線で各種のデータを受け取ってよい。取得部173は、キーボード、タッチパネル、通信端末、及びボタン等の少なくとも1つを含んでよい。取得部173は、取得内容を第2検出部174に供給してよい。
ここで、状況は、管理センタ等の建物や部屋からの対象者の退室/入室、予め定められた時刻になったこと、プラントにおいて対象者が作業(一例として、外部装置に対する所定の操作)を行ったこと、及びプラント内の機器11のプロセス値の異常が検出されたこと等の少なくとも1つを含んでよい。
第2検出部174は、取得部173からの取得内容から、シーン内の状況の変化又は発生を検出する。第2検出部174は、対象である外部装置(一例としてインタフェース装置16等)に対して操作が行われること、及び外部装置(一例としてセンサ等の機器11)による測定値が閾値を跨いで変化したことの少なくとも一方に応じて、シーン内の状況が変化したことを検出してよい。第2検出部174は、検出部172からのデータを用いて、対象者が見た対象を検出し、対象者が特定の対象を見たと判断したことに応じて、状況が変化したと検出してよい。第2検出部174は、さらにシーンの変化を検出してもよい。第2検出部174は、各状況について、状況の変化又は発生を判断するための条件(一例として、閾値又は範囲等)を記憶してよい。第2検出部174は、検出した状況の変化又は発生を示すデータを入出力制御部175に供給してよい。
ここで、シーンは、プラントにおける所定の空間であってよく、一例として、撮像部171の撮像可能範囲、プラントにおける建物、部屋、作業場、1又は複数の機器11の設置領域、及び出力装置17又は外部装置の表示画面の少なくとも1つであってよい。
入出力制御部175は、記憶部176に記憶されるデータの入出力を制御する。入出力制御部175は、記憶モードにおいて、対象者が見た対象(一例として、対象者が見た座標範囲、対象者が見た機器11等)に状況を対応付けて、記憶部176に記憶させてよい。入出力制御部175は、検出部172から供給された対象を示すデータから、記憶させる対象を決定してよい。入出力制御部175は、第2検出部174から供給されるデータから、現在の状況を決定してよい。
入出力制御部175は、出力モードにおいて、状況に対応付けられた対象を識別するための情報を記憶部176から取得して、出力部177に供給してよい。入出力制御部175は、対象者が取得部173を介して入力したモードに応じて、記憶モードと出力モードとの間で切り替えてよい。
ここで、対象を識別するための情報は、対象の座標範囲、対象の機器固有情報、対象の機器11の設置領域、及び表示画面に表示された何れかのウィンドウを示す情報の少なくとも1つを含んでよい。
記憶部176は、シーン内で発生した複数の状況のそれぞれに対応付けて、当該状況が発生したことに応じて対象者が見た対象の履歴データを記憶する。記憶部176は、記憶モードにおいて、入出力制御部175から供給されるデータを履歴データとして記憶してよい。記憶部176は、複数の対象を、検出部172による検出順と合わせて記憶してよい。
出力部177は、複数の状況の何れかが発生した場合に、入出力制御部175から供給された履歴データにおいて当該状況に対応付けられた対象を識別するための情報を出力する。出力部177は、対象の位置を識別するための情報を出力してよい。出力部177は、検出部172による検出順に従って複数の対象の情報を順に出力してよい。出力部177は、対象を識別するための情報を、対象者に装着される表示装置(例えば、ヘッドマウントディスプレイ)に表示させる、対象である機器11等の外部装置の表示画面を明るくする、及び対象である機器11等の外部装置を音声で示す、のうちの少なくとも1つにより、対象を識別するための情報を出力してよい。出力部177は、対象を識別するための情報を出力するために、外部装置と有線又は無線で接続されてよい。また、出力部177は、当該情報を出力するための表示画面又はスピーカ等を含んでよい。
図3は、出力装置17の動作を示す。出力装置17は、ステップS11~S17の処理を行うことにより、プラントの保全管理を支援する。ステップS11~S17は、出力装置17の記憶モードでの動作を示す。なお、この動作はプラントの始動に応じて開始されてよい。
ステップS11において出力装置17は、記憶開始の条件を満たすか否かを判断する。出力装置17は、対象者又は外部装置から、所定の入力が取得部173を介して行われると、記憶動作を開始してよい。所定の入力は、特定の状況の入力、特定のシーンの入力、対象者の識別情報、及び記憶モードを設定する入力の少なくとも1つを含んでよい。また、出力装置17は、予め定められた時刻になった場合又は第2検出部174が状況変化を検出した場合に記憶動作を開始してもよい。記憶開始の条件を満たす場合(ステップS11;Y)にはステップS13に処理が移行してよい。記憶開始の条件を満たさない場合(ステップS11;N)には、当該条件が満たされるまで待機してよい。
ステップS13において検出部172は、撮像部171から供給されるデータから、対象者が見た対象を検出する。検出部172は、複数の検出予定対象(一例として、座標範囲、機器固有情報等)を予め記憶しておき、当該対象が対象者により見られた場合に、当該対象を検出してよい。検出部172は、シーン毎に複数の検出予定対象を予め記憶してよい。検出部172は、撮像部171から供給されるデータが示す座標範囲が検出予定対象の少なくとも1部と一致する場合に、当該検出予定対象を、対象者により見られた対象として検出してよい。検出部172は、予め定められた期間(例えば1秒)を超えて対象者により見られた領域又は機器11を対象として検出してよい。
ステップS15において入出力制御部175は、現在のシーン内の現在の状況に、検出された対象を対応付けて履歴データとして記憶部176に記憶させる。入出力制御部175は、さらに、当該履歴データに対応付けて、対象者の識別情報及び対象の検出順の少なくとも一方を記憶してよい。入出力制御部175は、取得部173を介して対象者から、履歴データにおける複数の対象のいずれかを削除する選択を受け取った場合に、記憶部176の履歴データから選択された対象を削除してよい。
ステップS17において第2検出部174は、状況が変化したかを検出する。第2検出部174は、プラントの外部装置から各種のデータを取得部173を介して受信し、当該データに応じて状況変化を検出してよい。第2検出部174は、シーン又は状況に応じて、異なる測定値及び/又は異なる閾値を用いて状況の変化を検出してよい。一例として、第2検出部174は、プラント内の温度センサが異常値を示すという状況である場合、当該温度センサからの測定温度が正常範囲内になると状況が変化したと検出してよい。また、第2検出部174は、インタフェース装置16等の外部装置から操作完了を示す信号を取得部173を介して受信した場合に、状況が変化したと検出してよい。また、第2検出部174は、予め定められた時刻が過ぎた又は予め定められた期間が過ぎた場合に、状況が変化したと検出してよい。
第2検出部174が状況変化を検出した場合(ステップS17;Y)には記憶モードが終了してよい。第2検出部174が状況変化を検出しない場合(ステップS17;N)には、当該条件が満たされるまで対象を検出して記憶モードを継続してよい。なお、出力装置17は、第2検出部174により新たな状況又はシーンが検出されると、当該新たな状況又はシーンについての記憶モードをステップ13から開始してよい。
図4は、出力装置17の他の動作を示す。出力装置17は、ステップS21~S27の処理を行うことにより、プラントの保全管理を支援する。ステップS21~S27は、出力装置17の出力モードでの動作を示す。なお、この動作はプラントの始動に応じて開始されてよい。ここで、ステップS21~S27の処理における対象者は、記憶モードのステップS11~S17の処理における対象者とは異なってよい。
ステップS21において第2検出部174は状況が発生したかを検出する。第2検出部174は、ステップS15と同様に状況発生を検出してよい。一例として、第2検出部174は、プラント内の温度センサの測定値が閾値を超える場合に、特定の状況が発生したと検出してよい。また、第2検出部174は、インタフェース装置16等の外部装置から操作開始を示す信号を取得部173を介して受信した場合に、状況が発生したと検出してよい。また、第2検出部174は、対象者から取得部173を介して所定の操作開始の状況を示す入力を受信すると、状況が発生したと検出してよい。
ステップS23において入出力制御部175は、第2検出部174が検出した状況に応じた複数の対象を決定し、当該対象及び検出順を示すデータを、記憶部176の履歴データから取得する。入出力制御部175は、取得したデータを出力部177に供給する。
ステップS25において出力部177は、検出順に、複数の対象を識別するための情報を出力する。出力部177は、1つの対象を示す情報を出力した後に、第2検出部174が当該対象に対応する作業が完了したことを示す入力を対象者又は外部装置から受信した場合に、次の対象を示す情報を検出順に出力してよい。出力部177は、一例として、対象者に取り付けられたヘッドマウントディスプレイに、対象である機器11の名前、設置領域等を表示させてよい。また、出力部177は、一例として、対象である機器11の表示画面において、対象のウィンドウを明るくする、対象のウィンドウを大きくする、又は対象のウィンドウの色を変更する等のための制御情報を出力してよい。
ステップS27において第2検出部174は、ステップS15と同様に状況変化を検出してよい。第2検出部174が状況変化を検出した場合(ステップS27;Y)には、入出力制御部175は、変化後の状況に応じた対象を決定してよい。第2検出部174が状況変化を検出しない場合(ステップS27;N)には、ステップS25の戻り、状況変化するまで情報を出力してよい。なお、出力装置17は、第2検出部174により検出された変化後の状況が出力条件に該当しない場合(例えば、状況が正常範囲になった場合)、出力モードを終了してよい。
以上の出力装置17によれば、熟練者の操作等を記憶し、当該熟練者と同様の操作等を初心者に効率的に引き継いでいくことができる。
図5は、出力モードにおける対象の一例である表示画面180を示す。表示画面180は、出力装置17の表示画面又はプラント内の外部装置の表示画面であってよい。この場合、撮像部171は、表示画面180の端部に設けられて、視線検出のために、表示画面180を見ている対象者の眼等を撮像してよい。
表示画面180には、プラント内の各機器11のうち、対象者により選択される一部の機器11のプロセス値が表示されてよい。例えば、表示画面180には、プラント内の機器11の設置領域を選択するための選択領域1641と、選択された設置領域に属する各機器11のプロセス値を表示するデータ表示領域1642とが設けられてよい。何れかの機器11のプロセス値に異常が生じ、出力装置17が、状況が発生したと判断した場合には、出力部177は、当該プロセス値のデータ表示領域1642の表示態様を変更してよい。
本図では一例として、選択領域1641には、機器11の設置領域の選択肢としてプラント内の建物や部屋が表示されて、「B棟」の「aルーム」が選択されており、当該設置領域に設置された「機器(1)」~「機器(4)」のプロセス値の履歴がデータ表示領域1642(1)~1642(4)に表示されている。また、「機器(1)」のプロセス値に異常が生じて、そのデータ表示領域1642(1)が見るべき対象である場合、出力部177の制御により、データ表示領域1642(1)の背景色が変更されている。また、出力装置17は、対象者の視線が領域1643にあることを検出しているため、状況が変化していないと判断して、データ表示領域1642(1)の背景色の変更を継続する。
なお、本実施形態では出力装置17は、出力モードと記憶モードを異なるタイミングで異なる対象者に対して実行したが、出力モードと記憶モードを並列に同じ対象者に対して実行してもよい。一例として、出力装置17は、出力モードにおいて、記憶部176に記憶されていない新たな対象を対象者が見たと検出した場合には、記憶モードで当該新たな対象を記憶してよい。
また、撮像部171は、対象者(例えば、頭、肩等)に取り付けられ、対象者が向いている方向を撮像してよい。例えば、撮像部171は、機器11に取り付けられたコード(一例として、バーコード、QRコード(登録商標))等を撮像して、検出部172は、当該コードにより機器11を認識し、入出力制御部175は、当該機器11を対象として記憶部176に記憶させてよい。
また、出力装置17は、撮像部171を有さなくてよく、この場合、検出部172は、対象者の視線を検出するためのデータを外部のデバイス(例えば、ウェアラブルデバイス、カメラ等)から受け取ってよい。
また、出力装置17は、プラントの機器11、資源管理装置18、インタフェース装置16、運転制御装置15、又は保全用端末12の一部であってもよい。
また、本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階又は(2)操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階及びセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャート又はブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ又はプログラマブル回路に対し、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供され、フローチャート又はブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図6は、本発明の複数の態様が全体的又は部分的に具現化されてよいコンピュータ2200の例を示す。コンピュータ2200にインストールされたプログラムは、コンピュータ2200に、本発明の実施形態に係る装置に関連付けられる操作又は当該装置の1又は複数のセクションとして機能させることができ、又は当該操作又は当該1又は複数のセクションを実行させることができ、及び/又はコンピュータ2200に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ2200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定の操作を実行させるべく、CPU2212によって実行されてよい。
本実施形態によるコンピュータ2200は、CPU2212、RAM2214、グラフィックコントローラ2216、及びディスプレイデバイス2218を含み、それらはホストコントローラ2210によって相互に接続されている。コンピュータ2200はまた、通信インタフェース2222、ハードディスクドライブ2224、DVD-ROMドライブ2226、及びICカードドライブのような入/出力ユニットを含み、それらは入/出力コントローラ2220を介してホストコントローラ2210に接続されている。コンピュータはまた、ROM2230及びキーボード2242のようなレガシの入/出力ユニットを含み、それらは入/出力チップ2240を介して入/出力コントローラ2220に接続されている。
CPU2212は、ROM2230及びRAM2214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ2216は、RAM2214内に提供されるフレームバッファ等又はそれ自体の中にCPU2212によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス2218上に表示されるようにする。
通信インタフェース2222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ2224は、コンピュータ2200内のCPU2212によって使用されるプログラム及びデータを格納する。DVD-ROMドライブ2226は、プログラム又はデータをDVD-ROM2201から読み取り、ハードディスクドライブ2224にRAM2214を介してプログラム又はデータを提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
ROM2230はその中に、アクティブ化時にコンピュータ2200によって実行されるブートプログラム等、及び/又はコンピュータ2200のハードウェアに依存するプログラムを格納する。入/出力チップ2240はまた、様々な入/出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入/出力コントローラ2220に接続してよい。
プログラムが、DVD-ROM2201又はICカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ2224、RAM2214、又はROM2230にインストールされ、CPU2212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ2200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ2200の使用に従い情報の操作又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ2200及び外部デバイス間で実行される場合、CPU2212は、RAM2214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース2222に対し、通信処理を命令してよい。通信インタフェース2222は、CPU2212の制御下、RAM2214、ハードディスクドライブ2224、DVD-ROM2201、又はICカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
また、CPU2212は、ハードディスクドライブ2224、DVD-ROMドライブ2226(DVD-ROM2201)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM2214に読み取られるようにし、RAM2214上のデータに対し様々なタイプの処理を実行してよい。CPU2212は次に、処理されたデータを外部記録媒体にライトバックする。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU2212は、RAM2214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM2214に対しライトバックする。また、CPU2212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU2212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ2200上又はコンピュータ2200近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバーシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ2200に提供する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
1 保全管理システム
11 機器
12 保全用端末
15 運転制御装置
16 インタフェース装置
17 出力装置
18 資源管理装置
100 制御用ネットワーク
171 撮像部
172 検出部
173 取得部
174 第2検出部
175 入出力制御部
176 記憶部
177 出力部
180 表示画面
2200 コンピュータ
2201 DVD-ROM
2210 ホストコントローラ
2212 CPU
2214 RAM
2216 グラフィックコントローラ
2218 ディスプレイデバイス
2220 入/出力コントローラ
2222 通信インタフェース
2224 ハードディスクドライブ
2226 DVD-ROMドライブ
2230 ROM
2240 入/出力チップ
2242 キーボード

Claims (8)

  1. 対象者の見た対象を検出する検出部と、
    シーン内で発生した複数の状況のそれぞれに対応付けて、当該状況が発生したことに応じて対象者が見た対象の履歴データを記憶する記憶部と、
    前記複数の状況の何れかが発生した場合に、前記履歴データにおいて当該状況に対応付けられた対象を識別するための情報を出力する出力部と、を備える
    装置。
  2. 前記検出部は、一の対象者が見た対象を検出し、
    前記出力部は、他の対象者に対して情報を出力する
    請求項1に記載の装置。
  3. 前記記憶部は、複数の対象を、前記検出部による検出順と合わせて記憶し、
    前記出力部は、前記検出部による検出順に従って複数の対象の前記情報を順に出力する
    請求項1または2に記載の装置。
  4. 前記シーン内の状況の変化を検出する第2検出部を備え、
    前記第2検出部は、
    前記対象である機器に対して操作が行われること、及びセンサによる測定値が閾値を跨いで変化したことの少なくとも一方に応じて、前記シーン内の状況が変化したことを検出する
    請求項1から3のいずれか一項に記載の装置。
  5. 前記出力部は、前記対象を識別するための情報を、対象者に装着される表示装置に表示させる、前記対象である機器の表示画面を明るくする、及び前記対象である機器を音声で示す、のうちの少なくとも1つにより、前記対象を識別するための情報を出力する
    請求項1から4の何れか一項に記載の装置。
  6. 前記出力部は、前記対象の位置を識別するための情報を出力する
    請求項1から5の何れか一項に記載の装置。
  7. 対象者の見た対象を検出する検出段階と、
    シーン内で発生した複数の状況のそれぞれに対応付けて、当該状況が発生したことに応じて対象者が見た対象の履歴データを記憶する記憶段階と、
    前記複数の状況の何れかが発生した場合に、前記履歴データにおいて当該状況に対応付けられた対象を識別するための情報を出力する出力段階と、を備える
    方法。
  8. コンピュータを、
    対象者の見た対象を検出する検出部と、
    シーン内で発生した複数の状況のそれぞれに対応付けて、当該状況が発生したことに応じて対象者が見た対象の履歴データを記憶する記憶部と、
    前記複数の状況の何れかが発生した場合に、前記履歴データにおいて当該状況に対応付けられた対象を識別するための情報を出力する出力部と、
    として機能させるためのプログラム。
JP2020219165A 2020-12-28 2020-12-28 装置、方法及びプログラム Active JP7222388B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020219165A JP7222388B2 (ja) 2020-12-28 2020-12-28 装置、方法及びプログラム
US17/644,089 US20220206574A1 (en) 2020-12-28 2021-12-13 Apparatus, method, and recording medium
EP21216005.5A EP4020138A1 (en) 2020-12-28 2021-12-20 Apparatus, method, program and recording medium for object detection and management of associated historical data
CN202111611042.5A CN114690898A (zh) 2020-12-28 2021-12-27 装置、方法和记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020219165A JP7222388B2 (ja) 2020-12-28 2020-12-28 装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022104138A JP2022104138A (ja) 2022-07-08
JP7222388B2 true JP7222388B2 (ja) 2023-02-15

Family

ID=78958001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020219165A Active JP7222388B2 (ja) 2020-12-28 2020-12-28 装置、方法及びプログラム

Country Status (4)

Country Link
US (1) US20220206574A1 (ja)
EP (1) EP4020138A1 (ja)
JP (1) JP7222388B2 (ja)
CN (1) CN114690898A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017191490A (ja) 2016-04-14 2017-10-19 株式会社フジタ 技能伝承システム及び方法
JP2020098405A (ja) 2018-12-17 2020-06-25 日本電気株式会社 監視システム、監視方法、およびプログラム
JP2020144776A (ja) 2019-03-08 2020-09-10 株式会社日立製作所 作業支援システム、作業支援装置、及び作業支援方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19953739C2 (de) * 1999-11-09 2001-10-11 Siemens Ag Einrichtung und Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten
US20160335731A1 (en) * 2010-05-05 2016-11-17 Site 10.01, Inc. System and method for monitoring and managing information
JP2015191551A (ja) 2014-03-28 2015-11-02 株式会社ニコン 電子機器
US9361011B1 (en) * 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US10319128B2 (en) * 2016-09-26 2019-06-11 Rockwell Automation Technologies, Inc. Augmented reality presentation of an industrial environment
US11235734B2 (en) * 2020-02-07 2022-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Proximity based vehicle security system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017191490A (ja) 2016-04-14 2017-10-19 株式会社フジタ 技能伝承システム及び方法
JP2020098405A (ja) 2018-12-17 2020-06-25 日本電気株式会社 監視システム、監視方法、およびプログラム
JP2020144776A (ja) 2019-03-08 2020-09-10 株式会社日立製作所 作業支援システム、作業支援装置、及び作業支援方法

Also Published As

Publication number Publication date
EP4020138A1 (en) 2022-06-29
JP2022104138A (ja) 2022-07-08
CN114690898A (zh) 2022-07-01
US20220206574A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
US20160291577A1 (en) Work support device and work support method
JP7222388B2 (ja) 装置、方法及びプログラム
US11093779B2 (en) Apparatus, method and recording medium
JP7283462B2 (ja) 装置、方法およびプログラム
US20190302722A1 (en) Device management apparatus, device management method, storage medium, and device management system
JP7347409B2 (ja) 装置、方法及びプログラム
JP7327370B2 (ja) 装置、方法およびプログラム
JP7243691B2 (ja) 装置、システム、方法およびプログラム
US11635811B2 (en) Apparatus, method and storage medium to provide maintenance management with altered display based on a user's visual line
JP7222387B2 (ja) 装置、方法およびプログラム
JP7347468B2 (ja) 装置、方法およびプログラム
EP4254094A1 (en) Data processing apparatus, data processing method, and program
JP2023169060A (ja) 装置、方法およびプログラム
CN115903674A (zh) 监视装置、监视方法以及计算机可读介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220304

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230117

R150 Certificate of patent or registration of utility model

Ref document number: 7222388

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150