JP2024029775A - 遠隔作業制御システム、遠隔作業制御方法及びコンピュータープログラム - Google Patents
遠隔作業制御システム、遠隔作業制御方法及びコンピュータープログラム Download PDFInfo
- Publication number
- JP2024029775A JP2024029775A JP2023150588A JP2023150588A JP2024029775A JP 2024029775 A JP2024029775 A JP 2024029775A JP 2023150588 A JP2023150588 A JP 2023150588A JP 2023150588 A JP2023150588 A JP 2023150588A JP 2024029775 A JP2024029775 A JP 2024029775A
- Authority
- JP
- Japan
- Prior art keywords
- remote work
- display
- terminal device
- unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 13
- 238000004590 computer program Methods 0.000 title claims description 4
- 238000011156 evaluation Methods 0.000 claims abstract description 52
- 238000004891 communication Methods 0.000 claims abstract description 37
- 238000003384 imaging method Methods 0.000 claims abstract description 29
- 230000005856 abnormality Effects 0.000 claims description 85
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 description 62
- 238000010586 diagram Methods 0.000 description 31
- 229910000831 Steel Inorganic materials 0.000 description 19
- 238000004458 analytical method Methods 0.000 description 19
- 239000010959 steel Substances 0.000 description 19
- 239000000463 material Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 230000010365 information processing Effects 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000013403 standard screening design Methods 0.000 description 2
- 230000006400 anxiety behaviour Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Control Of Metal Rolling (AREA)
- User Interface Of Digital Computer (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
【課題】遠隔の端末装置で行われる作業の品質を高く維持すること。【解決手段】遠隔作業を行う作業者によって操作される端末装置と、前記端末装置に対して少なくとも前記遠隔作業の実施対象となるシステムである対象システムにおいて撮像して得られた動画像データを送信する遠隔作業制御装置と、を備え、前記端末装置は、前記動画像データを受信する通信部と、前記作業者による操作を受け付ける操作部と、前記動画像データを再生することによって得られる映像を表示部に表示し、前記作業者による前記操作部への操作に応じて前記表示部における表示を制御する表示制御部と、を備え、前記端末装置又は前記遠隔作業制御装置は、前記作業者による前記遠隔作業における操作の履歴を示す操作履歴情報に基づいて、前記遠隔作業の品質を評価する評価部を備える、遠隔作業制御システムである。【選択図】図1
Description
本発明は、遠隔作業制御システム、遠隔作業制御方法及びコンピュータープログラムに関する。
従来から、製造プラントにおいて製造される製品の品質不良を診断する仕組みが提案されている。近年では、特にネットワークを介して遠隔で診断を行う技術も提案されている。例えば特許文献1に記載の技術では、圧延プラントで生産製品のコイルを遠隔監視するときに、解析に必要な最小限の映像データがプロセスデータと対応づけて遠隔の端末装置に送信される。このようなデータが送信されることによって、遠隔の端末装置で所定の作業(例えば品質の診断)をすることが可能となる。
しかしながら、作業の対象となる物や空間(以下「作業対象」という。)を直接目視するのではなく、画像出力装置に表示された画面を介して作業対象を見ながら作業が行われる場合には、高品質の作業を担保することが難しかった。
本発明は、上述した事情に鑑みてなされたものであり、画像出力装置に表示された画面を用いて行われる作業の品質を高く維持することを可能にする技術を提供するものである。
本発明は、上述した事情に鑑みてなされたものであり、画像出力装置に表示された画面を用いて行われる作業の品質を高く維持することを可能にする技術を提供するものである。
[1]本発明の一態様は、遠隔作業を行う作業者によって操作される端末装置と、前記端末装置に対して少なくとも前記遠隔作業の実施対象となるシステムである対象システムにおいて撮像して得られた動画像データを送信する遠隔作業制御装置と、を備え、前記端末装置は、前記動画像データを受信する通信部と、前記作業者による操作を受け付ける操作部と、前記動画像データを再生することによって得られる映像を表示部に表示し、前記作業者による前記操作部への操作に応じて前記表示部における表示を制御する表示制御部と、を備え、前記端末装置又は前記遠隔作業制御装置は、前記作業者による前記遠隔作業における操作の履歴を示す操作履歴情報に基づいて、前記遠隔作業の品質を評価する評価部を備える、遠隔作業制御システムである。
[2]本発明の一態様は、上記[1]に記載の遠隔作業制御システムであって、前記操作履歴情報は、前記表示部における表示を制御するための操作に関する情報である。
[3]本発明の一態様は、上記[2]に記載の遠隔作業制御システムであって、前記操作履歴情報は、前記動画像データの再生を制御するための操作に関する情報である。
[4]本発明の一態様は、上記[3]に記載の遠隔作業制御システムであって、前記評価部は、前記動画像データの再生において再生速度又は一時停止に関する制御の操作に応じて評価する。
[5]本発明の一態様は、上記[1]に記載の遠隔作業制御システムであって、前記遠隔作業は、前記対象システムにおいて異常が生じないか監視する作業である。
[6]本発明の一態様は、上記[1]に記載の遠隔作業制御システムであって、前記動画像データは、予め前記対象システムにおいて過去に撮像が行われて記録された動画像データである。
[7]本発明の一態様は、遠隔作業を行う作業者によって操作される端末装置と、前記端末装置に対して少なくとも前記遠隔作業の実施対象となるシステムである対象システムにおいて撮像して得られた動画像データを送信する遠隔作業制御装置と、を備える遠隔作業制御システムが行う遠隔作業制御方法であって、前記動画像データを再生することによって得られる映像を前記端末装置の表示部に表示し、前記作業者による前記端末装置の操作部への操作に応じて前記表示部における表示を制御する表示制御ステップと、前記作業者による前記遠隔作業における操作の履歴を示す操作履歴情報に基づいて、前記遠隔作業の品質を評価する評価ステップと、を有する遠隔作業制御方法である。
[8]本発明の一態様は、遠隔作業を行う作業者によって操作される端末装置と、前記端末装置に対して少なくとも前記遠隔作業の実施対象となるシステムである対象システムにおいて撮像して得られた動画像データを送信する遠隔作業制御装置と、を備え、前記端末装置は、前記動画像データを受信する通信部と、前記作業者による操作を受け付ける操作部と、前記動画像データを再生することによって得られる映像を表示部に表示し、前記作業者による前記操作部への操作に応じて前記表示部における表示を制御する表示制御部と、を備え、前記端末装置又は前記遠隔作業制御装置は、前記作業者による前記遠隔作業における操作の履歴を示す操作履歴情報に基づいて、前記遠隔作業の品質を評価する評価部を備える、遠隔作業制御システム、としてコンピューターを機能させるためのコンピュータープログラムである。
本発明により、画像出力装置に表示された画面を用いて行われる作業の品質を高く維持することが可能となる。
図1は、本発明の遠隔作業制御システム100のシステム構成を示す概略ブロック図である。本実施形態において、遠隔作業とは、作業対象を直接目視せずに画像出力装置に表示された作業対象を見て行われる作業を指す。本実施形態における遠隔作業は、必ずしも作業対象から物理的に距離が離れている必要は無い。遠隔作業の具体例として、例えば安全監視作業(監視カメラの画像から不安前行動を抽出する作業)や、有姿煙監視(監視カメラの画像から、所定の施設から出ている煙を抽出する作業)などがある。遠隔作業制御システム100は、端末装置10と遠隔作業制御装置50とを含む。端末装置10と遠隔作業制御装置50とは、ネットワーク70を介して通信可能に接続される。ネットワーク70は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク70は、例えばインターネットを用いて構成されてもよいし、ローカルエリアネットワーク(LAN)を用いて構成されてもよい。ネットワーク70は、複数のネットワークが組み合わされて構成されてもよい。
遠隔作業制御装置50は、対象システム200において情報を取得する装置(例えば撮像装置20やセンサー30等)と通信可能に接続される。対象システム200は、遠隔作業制御システム100における遠隔作業の実施対象となるシステムである。対象システム200は、例えば物を製造するプラントに実装されるシステムであってもよいし、所定の領域において異常が生じないか監視する監視システムであってもよいし、他のどのようなシステムであってもよい。物を製造するプラントに実装されるシステムの具体例としては、鋼鉄を製造するシステムや、薬品を製造するシステムや、食品を製造するシステムなどがある。本実施形態では、対象システム200の一つの具体例として鋼鉄を製造するシステムを取り上げて説明する。
撮像装置20は、対象システム200の一部の領域の映像を撮影する装置である。センサー30は、対象システム200において所定の情報を取得するセンサーである。センサー30の具体例として、振動センサー、温度センサー、湿度センサー、電流センサー、圧力センサーなどがある。図2及び図3は、撮像装置20及びセンサー30の設置の具体例を示す図である。図2及び図3では、圧延された鋼材220と、鋼材220を上流から下流に向けて搬送する搬送機210と、搬送機210及び鋼材220を上方から撮像する撮像装置20と、鋼材220の表面温度を測定する温度センサーであるセンサー30と、が示されている。符号21で示される2つの破線の内側の領域が、撮像装置20の撮像範囲である。撮像装置20の撮像範囲21には、搬送機210及び鋼材220が含まれている。図2では、鋼材220は搬送機210によって図中の右側から左側へ向けて搬送されている。図3では、鋼材220は搬送機210によって図中の手前側から奥側へ向けて搬送されている。
遠隔作業制御装置50と撮像装置20とセンサー30とは、ネットワーク40を介して通信可能に接続される。ネットワーク40は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク40は、例えばインターネットを用いて構成されてもよいし、ローカルエリアネットワーク(LAN)を用いて構成されてもよい。ネットワーク40は、複数のネットワークが組み合わされて構成されてもよい。ネットワーク40とネットワーク70とは、同じネットワークを用いて構成されてもよいし、異なるネットワークとして構成されてもよい。撮像装置20は、撮像して得られた映像データを、ネットワーク40を介して遠隔作業制御装置50に送信する。センサー30は、測定によって得られた情報を示すデータ(例えば温度を示す時系列データ)を、ネットワーク40を介して遠隔作業制御装置50に送信する。
図4は、端末装置10の機能構成の具体例を示す概略ブロック図である。端末装置10は、例えばスマートフォン、タブレット、パーソナルコンピューター、専用機器などの情報機器を用いて構成される。端末装置10は、通信部11、操作部12、表示部13、記憶部14及び制御部15を備える。
通信部11は、通信機器である。通信部11は、例えばネットワークインターフェースとして構成されてもよい。通信部11は、制御部15の制御に応じて、ネットワーク70を介して他の装置とデータ通信する。通信部11は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。
操作部12は、キーボード、ポインティングデバイス(マウス、タブレット等)、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部12は、ユーザーの指示を端末装置10に入力する際にユーザーによって操作される。操作部12は、入力装置を端末装置10に接続するためのインターフェースであっても良い。この場合、操作部12は、入力装置においてユーザーの入力に応じ生成された入力信号を端末装置10に入力する。操作部12は、マイク及び音声認識装置を用いて構成されてもよい。この場合、操作部12はユーザーの発話によって生じた音響信号を取得し、ユーザーによって発話された文言を音声認識し、認識結果の文字列情報を端末装置10に入力する。音声認識処理は制御部15によって実行されてもよい。操作部12は、ユーザーの指示を端末装置10に入力可能な構成であればどのように構成されてもよい。
表示部13は、情報をユーザーが視覚的に認知可能な形で出力する。表示部13は、例えば液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の画像表示装置であってもよい。表示部13は、画像表示装置を端末装置10に接続するためのインターフェースであっても良い。この場合、表示部13は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。表示部13は、さらにスピーカー等の音響を出力する装置を備えてもよい。表示部13はスピーカーやヘッドホン等の音響出力装置を端末装置10に接続するためのインターフェースを備えてもよい。この場合、表示部13は、音響データを再生するための音響信号を生成し、自身に接続されている音響出力装置に音響信号を出力する。なお、表示部13は、操作部12と一体のタッチパネルとして構成されてもよい。
記憶部14は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部14は、制御部15によって使用されるデータを記憶する。記憶部14は、制御部15が処理を行う際に必要となるデータを記憶する。記憶部14は、例えば作業者情報記憶部141として機能する。
作業者情報記憶部141は、作業者情報を記憶する。作業者情報は、端末装置10を操作して遠隔作業を行う作業者に関する情報である。作業者情報は、例えば遠隔作業制御システム100に関与する作業者を一意に識別するための識別情報を含んでもよい。
制御部15は、CPU(Central Processing Unit)等のプロセッサーとメモリー(主記憶装置)とを用いて構成される。制御部15は、プロセッサーがプログラムを実行することによって、表示制御部151として機能する。なお、制御部15の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM、半導体記憶装置(例えばSSD:Solid State Drive)等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。
制御部15は、例えば自装置(端末装置10)にインストールされたアプリケーションを実行してもよい。このようなアプリケーションの具体例として、遠隔作業制御システム100の専用アプリケーションとして端末装置10に提供されるアプリケーションがある。このようなアプリケーションの他の具体例として、WEBブラウザーのアプリケーションがある。このようなアプリケーションは、予め端末装置10にインストールされていてもよいし、判定処理を実行する際にその都度ダウンロードされてもよい。例えばWEBブラウザーのアプリケーションとして実装される場合には、特定のWEBサーバーに端末装置10が接続することに応じてWEBサーバーによって指定された装置(例えばWEBサーバーそのものでもよいし他のサーバーでもよい)から端末装置10がアプリケーションをダウンロードして実行してもよい。制御部15は、実行中のアプリケーションのプログラムにしたがって動作する。
表示制御部151は、ネットワーク70を介して遠隔作業制御装置50に対し、遠隔作業に必要な表示情報の送信を要求する。表示情報は、端末装置10の表示部13において表示を行うために必要となる情報である。表示情報は、例えば表示部13に表示される画面の映像情報そのものであってもよいし、表示部13に表示される画面の映像情報を作るためのデータであってもよい。表示情報が映像情報そのものである場合には、映像情報は遠隔作業制御装置50によって生成される。表示情報が映像情報を作るためのデータである場合には、表示情報は撮像装置20によって撮影された映像データや、センサー30によって取得されたデータや、画面のレイアウトを示す情報等を含む。この場合、表示部13に表示される画面の映像情報は、表示制御部151によって生成される。
表示制御部151は、端末装置10の操作部12に対する作業者の操作の内容を示す操作情報を生成する。表示制御部151は、生成された操作情報を遠隔作業制御装置50に送信する。操作情報は、作業者が所定の作業を行うにあたって端末装置10に対して入力する操作を示す情報である。どのような情報を操作情報として用いるかについては、遠隔作業制御システム100に応じて定められてもよい。
例えば、表示部13における表示を制御するための操作に関する情報が操作情報として用いられてもよい。このような表示の制御の具体例として、動画像の再生に関する制御、表示の拡大に関する制御、表示させる情報の選択に関する制御、がある。動画像の再生に関する制御のさらに具体的な例としては、再生速度の変更や一時停止の操作がある。動画像の再生に関する制御の情報は、動画像のどの部分でその制御が行われたかを示す情報とともに示されてもよい。表示の拡大に関する制御のさらに具体的な例としては、拡大された領域を示す情報や、拡大の比率を示す情報がある。表示の拡大が動画像の再生中に行われた場合には、動画像のどの部分でその拡大が行われたかを示す情報とともに示されてもよい。表示させる情報の選択に関する制御のさらに具体的な例としては、表示させるグラフや数値の種類の選択がある。例えば、複数の撮像装置20のうちどの撮像装置20で撮影された動画像を表示させる制御なのか、複数のセンサー30のうちどのセンサーで測定された値を表示させる制御なのか、表示させるグラフの種類としてどのグラフを表示させる制御なのか、を示す情報が操作情報として用いられてもよい。
表示制御部151は、受信された表示情報に基づいて表示部13の画面の表示を制御する。受信される表示情報が映像情報そのものである場合には、表示制御部151は、受信された映像情報を表示部13に表示させる。表示情報が映像情報を作るためのデータである場合には、表示制御部151は、受信された表示情報に基づいて表示部13に表示される画面の映像情報を生成し、表示部13に表示させる。表示制御部151は、操作部12に対して作業者から表示を制御するための操作が行われると、行われた操作に応じて表示を制御する。例えば、動画像の再生に関する制御が行われた場合には、表示制御部151は操作に応じた態様で動画像を再生する。表示の拡大に関する制御が行われた場合には、表示制御部151は操作に応じた領域を操作に応じた倍率で拡大表示する。表示させる情報の選択に関する制御が行われた場合には、表示制御部151は操作に応じた情報を画面に表示する。表示制御部151は、操作に応じた表示を行うにあたって不足するデータがある場合には、そのデータを遠隔作業制御装置50に要求してもよい。なお、画面の映像情報が遠隔作業制御装置50で生成される場合には、表示制御部151は操作に関する情報を遠隔作業制御装置50に送信することで、操作に応じた画面の映像情報を取得してもよい。
図5は、端末装置10の処理の具体例を示すフローチャートである。まず、表示制御部151は表示情報を遠隔作業制御装置50に要求し表示情報を取得する(ステップS101)。表示制御部151は、取得した表示情報に基づいて表示部13に画面を表示する(ステップS102)。操作部12に対して操作がない場合には(ステップ103-NO)、ステップS106に進む。操作部12に対して操作があった場合には(ステップS103-YES)、表示制御部151は、操作に応じて画面を更新する(ステップS104)。そして、表示制御部151は、入力された操作を示す操作情報を生成して遠隔作業制御装置50に送信する(ステップS105)。その後、表示制御部151は表示が終了したか否か判定する(ステップS106)。表示が終了していなければ(ステップS106-NO)、表示制御部151はステップS101に戻って更新された表示情報を取得し表示を更新する(ステップS101、S102)。表示が終了した場合(ステップS106-YES)、表示制御部151は表示終了となるように画面を制御する。
図6は、遠隔作業制御装置50の機能構成の具体例を示す概略ブロック図である。遠隔作業制御装置50は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。遠隔作業制御装置50は、通信部51、記憶部52及び制御部53を備える。
通信部51は、通信機器である。通信部51は、例えばネットワークインターフェースとして構成されてもよい。通信部51は、制御部53の制御に応じて、ネットワーク70を介して他の装置とデータ通信する。通信部51は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。
記憶部52は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部52は、制御部53によって使用されるデータを記憶する。記憶部52は、例えば取得情報記憶部521、遠隔作業履歴情報記憶部522、操作履歴情報記憶部523及び操作解析情報記憶部524として機能してもよい。
取得情報記憶部521は、対象システム200において取得された情報を記憶する。取得情報記憶部521は、例えば撮像装置20によって撮影された映像データや、センサー30によって取得された情報の時系列データ等を記憶する。
遠隔作業履歴情報記憶部522は、端末装置10において実施された遠隔作業の履歴を記憶する。図7は、遠隔作業履歴情報記憶部522が記憶する遠隔作業履歴情報テーブルの具体例を示す図である。遠隔作業履歴情報テーブルは、複数の遠隔作業履歴情報レコードを有する。遠隔作業履歴情報レコードは、対象ID、システムID、作業者ID、日時及び区間情報の各値を有する。対象IDは、作業者に対して割り当てられた個々の遠隔作業を一意に示す識別情報である。例えば、対象IDは遠隔作業履歴情報レコードを一意に示しても良い。システムIDは、遠隔作業が行われた対象システム200を示す。システムIDは、一つの対象システム200において複数定義されてもよい。その場合、例えば対象システム200において遠隔作業を実施する領域として複数の領域が定義され、各領域に対してシステムIDが割り当てられてもよい。作業者IDは、遠隔作業を行った作業者を一意に示す識別情報である。日時は、遠隔作業が行われた日時を示す。例えば、日時の値が“2023_0814_1401”である場合には、その作業が2023年8月14日14時1分に行われたことを示してもよい。区間情報は、遠隔作業が行われた動画像やセンサーの時間区間を示す。例えば、区間情報は動画像の再生時間を用いて表されてもよいし、遠隔作業の開始時刻及び終了時刻を用いて表されてもよい。例えば、区間情報の値が“00101-00143”である場合には、動画像の再生時間が1分1秒の時点から1分43秒の時点までの区間を示す。なお、動画像の再生時間とは、ある動画像データにおいて、その動画像の先頭からの再生経過時間を示す。例えば、ある動画像データを先頭から再生した場合に1分と表示された時点は、再生時間1分の時点である。また、例えば2倍速で再生した場合には、実際の再生に要した時間は30秒であったとしても、動画像データの映像において1分経過した時点は、再生時間が1分の時点であるとして表現する。
操作履歴情報記憶部523は、端末装置10において遠隔作業を実施している最中に行われた操作に関する情報(操作情報)を記憶する。図8は、操作履歴情報記憶部523が記憶する操作履歴情報テーブルの具体例を示す図である。操作履歴情報記憶部523は、例えば作業者ID毎に操作履歴情報テーブルを記憶してもよいし、作業者及びシステムIDの組み合わせ毎に操作履歴情報テーブルを記憶してもよいし、対象ID毎に操作履歴情報テーブルを記憶してもよい。操作履歴情報テーブルは、複数の操作履歴情報レコードを有する。操作履歴情報レコードは、操作ID、日時、タイミング情報、操作情報及び操作属性情報を含んでもよい。操作IDは、操作履歴情報レコードを一意に示す識別情報である。日時は、その操作が行われた日時を示す。
タイミング情報は、操作が行われたタイミングを示す。タイミング情報は動画像の再生時間を用いて表されてもよい。例えば、タイミング情報の値が“01113”である場合には、その操作が行われたタイミングが動画像の再生時間が11分13秒のタイミングであったことを示す。操作情報は、操作の内容を示す。操作の内容の具体例として、表示部13における表示を制御するための操作がある。より具体的な例として、例えば拡大表示するための操作、再生速度を変更するための操作、再生箇所を戻す(巻き戻し)操作などがある。
操作属性情報は、操作の属性に関する情報である。例えば、操作情報が“拡大表示”を示す場合には、拡大された領域の画像上の位置を示す情報が操作属性情報として定義されてもよい。この場合、例えば拡大された領域が矩形であることを前提として、領域の左上のxy座標と右下のxy座標とを含む情報として操作属性情報が定義されてもよい。例えば、“x21,y42_x73,y102”という操作属性情報は、左上の座標が(21,42)であり、右下の座標が(73,102)である矩形の領域が拡大されたことを示しても良い。また、操作属性情報として、拡大の倍率を示す情報が定義されてもよい。
例えば、操作情報が再生速度を変更するための操作を示す場合には、操作属性情報としてその再生速度での再生が解除された(再生速度が次に変更された)タイミングを示す情報が定義されてもよい。例えば、タイミング情報が“01121”、操作情報が“再生速度-2”、操作属性情報が“01151”である場合には、再生時間が11分21秒から11分51秒までの間の動画像が再生速度-2(通常よりも2段階遅い)の状態で再生されたことを示す。
例えば、操作情報が“巻き戻し”を示す場合には、巻き戻された時間区間を示す情報が操作属性情報として定義されてもよい。例えば、タイミング情報が“01421”、操作情報が“巻き戻し”、操作属性情報が“01221”である場合には、再生時間が14分21秒から12分21秒まで巻き戻す操作が行われたことを示す。また、巻き戻しの操作における逆再生速度の値が予め定義される。巻き戻しの操作が行われた場合には、予め定義された逆再生速度で巻き戻し(逆再生)が行われる。逆再生速度が異なる複数の巻き戻しの中から一つの巻き戻し操作を行うことが可能に構成されてもよい。また、巻き戻し操作時に、逆再生速度を作業者が任意に設定可能に構成されてもよい。
操作解析情報記憶部524は、操作履歴情報記憶部523に記録された履歴の情報に基づいて、どのような操作が行われたかを解析した結果を示す情報(以下「操作解析情報」という。)を記憶する。図9は、操作解析情報記憶部524が記憶する操作解析情報テーブルの具体例を示す図である。操作解析情報記憶部524は、例えば作業者ID毎に操作解析情報テーブルを記憶してもよいし、作業者及びシステムIDの組み合わせ毎に操作解析情報テーブルを記憶してもよいし、対象ID毎に操作解析情報テーブルを記憶してもよい。操作解析情報テーブルは、複数の操作解析情報レコードを有する。操作解析情報レコードは、対象ID、対象区間及び1又は複数の評価項目を含んでもよい。図9の例では、評価項目の具体例として、平均再生速度、巻き戻し回数、拡大操作回数及び平均拡大倍率が用いられている。
対象IDは、解析対象となった対象IDを示す。対象区間は、そのレコードにおいて解析の対象となった動画像やセンサーの時間区間を示す。例えば、対象IDが“AN0001”で、対象区間が“00000~00010”である場合には、対象ID“AN0001”で示される遠隔作業において、動画像の再生時間の先頭から10秒までの時間区間に関する解析であることが示される。図9の例では、対象区間は10秒ごとで周期的に定義されているが、必ずしも各対象区間が同じ時間間隔として区切られなくてもよい。例えば、再生された画面に異常判定部533によって判定された異常の部位が表示されている区間が対象区間として定義されてもよい。また、複数の操作解析情報レコードにおいて、対象区間が重複して定義されてもよい。
評価項目は、各評価項目において評価の対象となる値を有する。例えば、平均再生速度は、対象ID及び対象区間で示される動画像の再生区間における再生速度の平均値を示す。本実施形態では、通常の再生速度を1.0で表しており、再生速度が遅ければ遅いほど小さい値となり、再生速度が速ければ速いほど大きい値となる。例えば、平均再生速度が“0.8”である場合には、その区間において全体として遅い再生速度で再生されたことがわかる。巻き戻し回数は、対象ID及び対象区間で示される動画像の再生区間において実施された巻き戻し操作の回数を示す。拡大操作回数は、対象ID及び対象区間で示される動画像の再生区間において実施された拡大表示の操作の回数を示す。図9の例では、対象区間において異常判定部533によって異常が生じていると判定された回数を分母の値として示し、異常が生じていると判定された位置で拡大表示操作が行われた回数を分子の値として示している。例えば、“3/4”と示されている場合には、その対象区間において4回異常が生じていると判定され、そのうち3つの異常箇所において拡大して表示する操作が行われたことを示す。平均拡大倍率は、その対象区間で行われた拡大表示操作における拡大倍率の平均値を示す。例えば、平均拡大倍率の値が“2.75”である場合には、その対象区間において1又は複数回行われた拡大表示の操作の拡大倍率の平均値が“2.75”であったことを示す。なお、上述した評価項目は具体例の一つにすぎない。他の項目が評価の項目として解析して値が得られてもよい。
制御部53は、CPU等のプロセッサーとメモリーとを用いて構成される。制御部53は、プロセッサーがプログラムを実行することによって、情報制御部531、操作履歴制御部532、異常判定部533、表示情報生成部534及び評価部535として機能する。なお、制御部53の各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM、半導体記憶装置(例えばSSD)等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。
情報制御部531は、ネットワーク40を介して1又は複数の撮像装置20から映像データを取得する。情報制御部531は、取得した映像データを取得情報記憶部521に記録する。情報制御部531は、ネットワーク40を介して1又は複数のセンサー30からデータを取得する。情報制御部531は、取得したデータを取得情報記憶部521に記録する。
操作履歴制御部532は、ネットワーク70を介して端末装置10から操作情報を取得する。操作履歴制御部532は、取得された操作情報を操作履歴情報記憶部523に記録する。
異常判定部533は、情報制御部531によって取得されたデータに基づいて、対象システム200において生じる異常を判定する。例えば、対象システム200が物を製造するシステムである場合には、異常判定部533は製造機器において生じた異常を判定してもよいし、製造された物に生じた異常を判定してもよい。製造される物が鋼材である場合には、異常判定部533は鋼材に生じた異常を判定してもよい。異常判定部533は、動画像において異常が生じている部位を判定してもよい。異常判定部533は、異常が生じていると判定されたタイミングを取得情報記憶部521に記録してもよい。このような記録が行われることによって取得情報記憶部521に記録されている映像データやセンサーの測定データにおいて、異常が生じていると判定されたタイミング(位置)が記録される。このようなタイミングは、例えば映像データの動画像における再生時間を用いて表されてもよい。
異常判定部533は、異常を判定する際には、予め定義されている異常を判定するための基準に基づいて異常を判定してもよい。例えば、センサー30によって測定される値について異常値が定義されてもよいし、画像から得られる値(例えば画像中における鋼材の幅を表す長さなど)について異常値が定義されてもよい。異常判定部533は、異常を判定する際には、予め学習処理を行うことによって得られた学習済モデルを用いて異常を判定してもよい。このような学習処理は、例えば異常が生じた際に得られた映像やセンサーの値を含む複数の教師データを用いて行われてもよい。このような学習処理の具体例として、例えば、サポートベクトルマシンやランダムフォレストやニューラルネットワーク等の分類のための教師あり学習が用いられてもよい。また、学習処理として教師なし学習が用いられてもよい。
表示情報生成部534は、情報制御部531によって得られた情報に基づいて、端末装置10に表示されるべき表示内容を示す表示情報を生成する。表示情報生成部534は、例えば端末装置10によって遠隔作業の対象となる領域の撮像装置20によって得られた映像データと、同領域のセンサー30によって得られたデータと、を表示するための表示情報を生成する。端末装置10に送信される映像データは、リアルタイムで撮影されている映像データであってもよいし、過去に撮像が行われて完結した動画像データとして記憶部52に既に記録されている映像データであってもよい。表示情報生成部534は、異常判定部533による判定結果に基づいて表示情報を生成してもよい。例えば、異常判定部533によって判定された異常が生じている部位を他の部位とは異なる態様で表示するための表示情報を生成してもよい。表示情報生成部534は、端末装置10に対して表示情報を送信した実績に基づいて遠隔作業履歴情報記憶部522の情報を更新する。
評価部535は、操作履歴情報記憶部523に記憶されている操作履歴の情報に基づいて、各作業者によって実施された遠隔作業の品質を評価する。評価部535は、操作履歴が予め定められた所定の評価基準を満たしているか否かに基づいて遠隔作業の品質を評価する。例えば、表示部13における表示を制御するための操作に関する情報が操作情報として用いられる場合、評価部535は、その表示によって行われた遠隔作業の品質を評価する。評価部535は、例えば映像データの再生に関する制御(例えば再生速度又は一時停止)が適切であるか否かに基づいて遠隔作業の品質を評価してもよい。以下、評価の基準の具体例について説明する。
遠隔作業の品質は、予め定められたルールに従った操作が行われているか否かに基づいて評価されてもよい。例えば、予め定められたルールに従った操作が行われていない場合には、より低い評価結果となるように評価が行われてもよい。このようなルールは、例えば上述した操作解析情報記憶部524に記憶される対象区間毎の評価項目の値について定められてもよい。例えば、対象区間毎に、評価項目の各値の閾値としてルールが定められてもよい。映像データにおいて所定のタイミングで適切な再生速度(例えば1倍速よりも遅い再生速度)で表示が行われていたかに基づいて品質が評価されてもよい。所定のタイミングとは、例えば映像データに特定の物が映るタイミングであってもよいし、所定の周期を示すタイミングであってもよい。例えば、異常判定部533によって判定された異常が生じていると判定されたタイミングの動画像が映っているタイミングとして所定のタイミングが定義されてもよい。特定の物(例えば異常が生じていると判定された部位)が映ったタイミングで所定の基準よりも遅い再生速度で再生された場合に、高い評価が与えられてもよい。特定の物とは、より丁寧に目視によって確認されるべき物であり、例えば特定の部品や、特定の状態の部位(例えば異常が生じている部位)であってもよい。異常が生じている部位は、異常判定部533によって異常が生じていると判定された部位であってもよい。このような評価が行われることによって、特定の物をより丁寧に目視したことについて高い評価を与えることが可能となる。
映像データにおいて所定のタイミングで映像データの一時停止が行われていたかに基づいて品質が評価されてもよい。所定のタイミングは、上述した再生速度に関するタイミングと同様である。特定の物が映ったタイミングで一時停止が行われた場合に、高い評価が与えられてもよい。特定の物とは、より丁寧に目視によって確認されるべき物であり、例えば特定の部品や、特定の状態の部位(例えば異常が生じている部位)であってもよい。異常が生じている部位は、異常判定部533によって異常が生じていると判定された部位であってもよい。このような評価が行われることによって、特定の物をより丁寧に目視したことについて高い評価を与えることが可能となる。
映像データにおいて所定の時間区間において映像データの一時停止が行われた回数に基づいて品質が評価されてもよい。所定の時間区間とは、例えば映像データに特定の物が映っている時間区間であってもよいし、所定の周期で定義された時間区間であってもよい。所定の区間で閾値以上の回数で一時停止が行われた場合に、高い評価が与えられてもよい。特定の物とは、より丁寧に目視によって確認されるべき物であり、例えば特定の部品や、特定の状態の部位(例えば異常が生じている部位)であってもよい。異常が生じている部位は、異常判定部533によって異常が生じていると判定された部位であってもよい。このような評価が行われることによって、特定の物をより丁寧に目視したことについて高い評価を与えることが可能となる。
このような評価基準は、遠隔作業の対象となる物(例えば製造される物)の種別に応じて定義されてもよい。このような種別の具体例として、物の用途(例えば製造される物が鋼鉄である場合には、その鋼鉄が用いられる製品)や、物に要求される品質がある。例えば、対象IDに応じて評価基準が定義されてもよい。また、生じている異常の種別や異常の程度に応じて評価基準が定義されてもよい。
評価部535は、例えば映像データの拡大表示に関する制御が適切であるか否かに基づいて遠隔作業の品質を評価してもよい。より具体的には、映像データにおいて所定の部位について拡大表示されたか否かに基づいて品質が評価されてもよい。所定の部位とは、例えば映像データにおいて特定の物が映っている部位であってもよい。所定の部位が拡大表示された場合に、高い評価が与えられてもよい。特定の部位とは、より丁寧に目視によって確認されるべき物であり、例えば特定の部品や、特定の状態の部位(例えば異常が生じている部位)であってもよい。異常が生じている部位は、異常判定部533によって異常が生じていると判定された部位であってもよい。このような評価が行われることによって、特定の部位をより丁寧に目視したことについて高い評価を与えることが可能となる。
評価部535は、例えば映像データの拡大表示に関する制御が適切であるか否かに基づいて遠隔作業の品質を評価してもよい。より具体的には、映像データにおいて所定の部位について拡大表示されたか否かに基づいて品質が評価されてもよい。所定の部位とは、例えば映像データにおいて特定の物が映っている部位であってもよい。所定の部位が拡大表示された場合に、高い評価が与えられてもよい。特定の部位とは、より丁寧に目視によって確認されるべき物であり、例えば特定の部品や、特定の状態の部位(例えば異常が生じている部位)であってもよい。異常が生じている部位は、異常判定部533によって異常が生じていると判定された部位であってもよい。このような評価が行われることによって、特定の部位をより丁寧に目視したことについて高い評価を与えることが可能となる。
図10~図14は、表示情報に基づいて端末装置10の表示部13に表示される画面の具体例を示す図である。図10では、特に異常が生じていない状態における画面の具体例が示される。表示部13に表示される画面には、動画像表示領域131、操作ボタン132及び検出情報表示領域133が表示されている。動画像表示領域131には、撮像装置20によって撮像された映像(動作像)が表示される。図10の例では、図2及び図3で示したような搬送機210及び鋼材220が表示されている。図2で示したものと同様に、搬送機210によって搬送される鋼材220は画面で右側から左側へ移動している。
操作ボタン132として、動画像表示領域131に表示される動画像の再生に関する操作を行うためのボタンが少なくとも1つ以上表示される。図10の例では、再生速度DOWN、一時停止、停止、再生速度UP、巻き戻しの5つの操作ボタン132が表示される。再生速度DOWNの操作ボタン132が操作されると、動画像表示領域131における動画像の再生速度が操作前の再生速度よりも遅くなる。その場合、ある部位について動画像表示領域131に表示されている時間が長くなる。一時停止の操作ボタン132が操作されると、動画像表示領域131における動画像の再生が一時停止される。一時停止の操作ボタン132が操作された後は、同じ場所に再生の操作ボタン132が表示されてもよい。その場合、再生の操作ボタン132が操作されると、一時停止が解除されて一時停止していた時点から動画像の再生が再開される。停止の操作ボタン132が操作されると、動画像表示領域131における動画像の再生が停止される。この場合は、動画像表示領域131における動画像の再生が終了してもよい。再生速度UPの操作ボタン132が操作されると、動画像表示領域131における動画像の再生速度が操作前の再生速度よりも速くなる。その場合、ある部位について動画像表示領域131に表示されている時間が短くなる。巻き戻しの操作ボタン132が操作されると、動画像表示領域131において表示されている再生箇所が、より前の再生時間の位置に戻る。
検出情報表示領域133には、センサー30によって検出された情報が表示される。その他にも、検出情報表示領域133には、日時や動画像表示領域131に表示されている物に関する情報が表示されてもよい。検出情報表示領域133には、異常判定部533によって判定された異常に関する情報が表示されてもよい。
図11は、異常判定部533によって判定された異常が含まれた映像が表示される具体例を示す図である。図11には、異常判定部533によって判定された異常の具体例として、鋼材220の表面に生じた疵221が示されている。この場合、異常判定部533によって判定された異常である疵221は、他の部位とは異なる態様で表示されている。具体的には、疵221はその位置を示す位置画像1311で囲まれて表示されている。検出情報表示領域133には、異常判定部533によって判定された情報として、疵の種別を示す名称(疵名称)、疵のグレード(等級)及び推定深さを示す値も表示されている。疵名称、疵グレード及び推定深さのそれぞれの値は、異常判定部533によって判定されてもよい。
図12及び図13は、異常判定部533によって判定された異常が含まれた映像が表示される具体例を示す図である。図12及び図13には、異常判定部533によって判定された異常の具体例として、鋼材220の表面に生じた疵221が示されている。この場合、異常判定部533によって判定された異常である疵221は、他の部位とは異なる態様で表示されている。具体的には、疵221はその周囲を含む所定の領域とともに拡大して表示されている。より具体的には、図12では、動画像表示領域131内に拡大表示領域1312が設けられ、拡大表示領域1312において疵221がその周囲を含む所定の領域とともに拡大して表示されている。また、図13では、疵221を含む所定の範囲の画像が、動画像表示領域131全体にわたって拡大して表示されている。
図14は、ガイダンスが表示される具体例を示す図である。所定の条件が満たされた場合に、画面において作業者が行うべき操作に関する指導(ガイダンス)を示す情報が表示されてもよい。図14の例では、検出情報表示領域133において、疵が検出された位置を拡大して表示することへの指示が表示されている。このようなガイダンスは、遠隔作業の品質の評価基準(予め定められたルール)に応じて設定されてもよい。例えば、評価基準を満たす操作を行うことを示す文字列や画像がガイダンスとして表示されてもよい。例えば、異常判定部533によって異常が生じていると判定された場合には、異常箇所として判定された領域(例えば疵221の位置)を拡大して表示することを示すガイダンスが表示されてもよい。
このように構成された遠隔作業制御システム100では、遠隔作業を行うための端末装置10に対する作業者の操作(特に表示に関する操作)に基づいて、遠隔作業が評価される。遠隔地での端末装置10を使用した作業では、作業者の近くに関係者が存在していないことが多いため、作業者の作業の品質について担保することが難しい場合があった。しかしながら、遠隔作業制御システム100の上述した処理により、たとえ作業者の近くに関係者が存在していない場合であっても、作業者が行った作業の品質について評価を行うことが可能となる。このように作業について評価が行われることによって、作業者にとっては端末装置10で行う作業の品質を高く維持することについて動機が生じる。そのため、作業の品質を高く維持することが可能となる。
また、遠隔作業制御システム100では、異常判定部533によって異常に関する判定が行われ、判定された異常が生じている領域について他の領域とは異なる態様で表示が行われる。そのため、端末装置10のように対象システム200の現場で設けられている監視用端末に比べて相対的に小さい画面の装置であっても、より正確に遠隔作業を行うことが可能となる。
図15は、遠隔作業制御システム100の第一の変形例を示す図である。第一の変形例では、端末装置10に対して通信可能に補助端末装置80が接続されている。端末装置10と補助端末装置80とは、例えばケーブルで接続されてもよいし、無線通信で通信可能に接続されてもよい。補助端末装置80は、少なくとも映像を表示可能な表示装置を有する。補助端末装置80は、例えばパーソナルコンピューターやタブレットやスマートフォンを用いて構成されてもよい。端末装置10は、所定の条件が満たされた場合に、映像の一部を補助端末装置80に表示させる。図16は、補助端末装置80の表示部に表示される画面の具体例を示す図である。端末装置10は、例えば補助端末装置80の表示部81に対し、異常判定部533によって判定された異常の部位(例えば疵221)を含む領域を拡大した画像を表示させてもよい。なお、図16に示す例は、補助端末装置80に表示させる画像の一つの具体例にすぎない。補助端末装置80には他の画像や文字列が表示されてもよい。例えば、上述したガイダンスが補助端末装置80に表示されてもよい。例えば、端末装置10において拡大表示の操作がされたことに応じて、拡大表示の画像が補助端末装置80に表示されてもよい。この場合、端末装置10の表示部13には、拡大されていない通常の倍率の画像が表示されてもよい。
図17は、遠隔作業制御システム100の第二の変形例を示す図である。第二の変形例では、ネットワーク70を介して情報提供装置50と通信可能に補助端末装置80が接続されている。ネットワーク70と補助端末装置80とは、例えば有線通信で接続されてもよいし無線通信で接続されてもよい。第二の変形例では、端末装置10と補助端末装置80とは予めペアとして情報提供装置50に登録されている。このとき、端末装置10に対するデータ送信の宛先を示す情報と、補助端末装置80に対するデータ送信の宛先を示す情報とがペアとして登録されてもよい。情報提供装置50は、所定の条件が満たされた場合に、映像の一部を示す表示情報を補助端末装置80に送信して表示させる。情報提供装置50は、例えば補助端末装置80の表示部81に対し、異常判定部533によって判定された異常の部位(例えば疵221)を含む領域を拡大した画像を表示させてもよい。この場合、情報提供装置50は、端末装置10には拡大しない表示(例えば図11に示すような表示)を行うための表示情報を送信してもよい。上述したように、補助端末装置80には他の画像や文字列が表示されてもよい。
図18は、本実施形態に適用される情報処理装置90のハードウェア構成例の概略を示す図である。情報処理装置90は、プロセッサー91、主記憶装置92、通信インターフェース93、補助記憶装置94、入出力インターフェース95及び内部バス96を備える。プロセッサー91、主記憶装置92、通信インターフェース93、補助記憶装置94及び入出力インターフェース95は、内部バス96を介して互いに通信可能に接続される。情報処理装置90は、例えば端末装置10及び遠隔作業制御装置50に適用されてもよい。この場合、例えば通信部11及び通信部51は通信インターフェース93を用いて構成されてもよい。例えば記憶部14及び記憶部52は補助記憶装置94を用いて構成されてもよい。また、制御部15及び制御部53は、プロセッサー91及び主記憶装置92を用いて構成されてもよい。
(変形例)
遠隔作業制御装置50は、複数の情報処理装置を用いて実装されてもよい。例えば、クラウド等の装置を用いて遠隔作業制御装置50が実装されてもよい。例えば、遠隔作業制御装置50において、記憶部52と制御部53とがそれぞれ異なる情報処理装置に実装されてもよい。例えば、遠隔作業制御装置50の記憶部52が複数の情報処理装置に分散して実装されてもよい。
遠隔作業制御装置50は、複数の情報処理装置を用いて実装されてもよい。例えば、クラウド等の装置を用いて遠隔作業制御装置50が実装されてもよい。例えば、遠隔作業制御装置50において、記憶部52と制御部53とがそれぞれ異なる情報処理装置に実装されてもよい。例えば、遠隔作業制御装置50の記憶部52が複数の情報処理装置に分散して実装されてもよい。
遠隔作業制御装置50に実装された機能の一部は端末装置10に備えられてもよい。例えば、異常判定部533は端末装置10に備えられてもよい。例えば、表示情報生成部534は端末装置10に備えられてもよい。例えば、操作履歴情報記憶部523及び評価部535は端末装置10に備えられてもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
100…遠隔作業制御システム, 10…端末装置, 11…通信部, 12…操作部, 13…表示部, 131…動画像表示領域, 1311…位置画像, 1312…拡大表示領域, 132…操作ボタン, 133…検出情報表示領域, 14…記憶部, 141…作業者情報記憶部, 15…制御部, 151…表示制御部, 20…撮像装置, 21…撮像範囲, 30…センサー, 40…ネットワーク, 50…遠隔作業制御装置, 51…通信部, 52…記憶部, 521…取得情報記憶部, 522…遠隔作業履歴情報記憶部, 523…操作履歴情報記憶部, 53…制御部, 531…情報制御部, 532…操作履歴制御部, 533…異常判定部, 534…表示情報生成部, 535…評価部, 200…対象システム, 210…搬送機, 220…鋼材
Claims (8)
- 遠隔作業を行う作業者によって操作される端末装置と、前記端末装置に対して少なくとも前記遠隔作業の実施対象となるシステムである対象システムにおいて撮像して得られた動画像データを送信する遠隔作業制御装置と、を備え、
前記端末装置は、
前記動画像データを受信する通信部と、
前記作業者による操作を受け付ける操作部と、
前記動画像データを再生することによって得られる映像を表示部に表示し、前記作業者による前記操作部への操作に応じて前記表示部における表示を制御する表示制御部と、
を備え、
前記端末装置又は前記遠隔作業制御装置は、
前記作業者による前記遠隔作業における操作の履歴を示す操作履歴情報に基づいて、前記遠隔作業の品質を評価する評価部を備える、遠隔作業制御システム。 - 前記操作履歴情報は、前記表示部における表示を制御するための操作に関する情報である、請求項1に記載の遠隔作業制御システム。
- 前記操作履歴情報は、前記動画像データの再生を制御するための操作に関する情報である、請求項2に記載の遠隔作業制御システム。
- 前記評価部は、前記動画像データの再生において再生速度又は一時停止に関する制御の操作に応じて評価する、請求項3に記載の遠隔作業制御システム。
- 前記遠隔作業は、前記対象システムにおいて異常が生じないか監視する作業である、請求項1に記載の遠隔作業制御システム。
- 前記動画像データは、予め前記対象システムにおいて過去に撮像が行われて記録された動画像データである、請求項1に記載の遠隔作業制御システム。
- 遠隔作業を行う作業者によって操作される端末装置と、前記端末装置に対して少なくとも前記遠隔作業の実施対象となるシステムである対象システムにおいて撮像して得られた動画像データを送信する遠隔作業制御装置と、を備える遠隔作業制御システムが行う遠隔作業制御方法であって、
前記動画像データを再生することによって得られる映像を前記端末装置の表示部に表示し、前記作業者による前記端末装置の操作部への操作に応じて前記表示部における表示を制御する表示制御ステップと、
前記作業者による前記遠隔作業における操作の履歴を示す操作履歴情報に基づいて、前記遠隔作業の品質を評価する評価ステップと、を有する遠隔作業制御方法。 - 遠隔作業を行う作業者によって操作される端末装置と、前記端末装置に対して少なくとも前記遠隔作業の実施対象となるシステムである対象システムにおいて撮像して得られた動画像データを送信する遠隔作業制御装置と、を備え、
前記端末装置は、
前記動画像データを受信する通信部と、
前記作業者による操作を受け付ける操作部と、
前記動画像データを再生することによって得られる映像を表示部に表示し、前記作業者による前記操作部への操作に応じて前記表示部における表示を制御する表示制御部と、
を備え、
前記端末装置又は前記遠隔作業制御装置は、
前記作業者による前記遠隔作業における操作の履歴を示す操作履歴情報に基づいて、前記遠隔作業の品質を評価する評価部を備える、遠隔作業制御システム、としてコンピューターを機能させるためのコンピュータープログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023150588A JP2024029775A (ja) | 2023-09-15 | 2023-09-15 | 遠隔作業制御システム、遠隔作業制御方法及びコンピュータープログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023150588A JP2024029775A (ja) | 2023-09-15 | 2023-09-15 | 遠隔作業制御システム、遠隔作業制御方法及びコンピュータープログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024029775A true JP2024029775A (ja) | 2024-03-06 |
Family
ID=90104952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023150588A Pending JP2024029775A (ja) | 2023-09-15 | 2023-09-15 | 遠隔作業制御システム、遠隔作業制御方法及びコンピュータープログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024029775A (ja) |
-
2023
- 2023-09-15 JP JP2023150588A patent/JP2024029775A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5866564B1 (ja) | モニタリング装置、モニタリングシステムおよびモニタリング方法 | |
JP2020004401A (ja) | 非破壊試験システムにおいてデータ解析ワークフローを実施するためのシステムおよび方法 | |
JP5907362B1 (ja) | 活動状況分析装置、活動状況分析システムおよび活動状況分析方法 | |
CN107924183A (zh) | 控制装置、监视系统、控制程序及记录媒体 | |
JP5834196B2 (ja) | モニタリング装置、モニタリングシステムおよびモニタリング方法 | |
DE102008055528A1 (de) | System und Verfahren zur "Augmented Reality" - Inspektion und Datenvisualisierung | |
JP2007310568A (ja) | 映像内の移動体検出方法、映像システムの異常発生原因分析支援方法及び支援システム | |
JP2007267294A (ja) | 複数カメラを用いた移動物体監視装置 | |
JP2015149557A (ja) | モニタリング装置、モニタリングシステムおよびモニタリング方法 | |
WO2010110000A1 (ja) | プログラマブル表示器 | |
JP2015149558A (ja) | モニタリング装置、モニタリングシステムおよびモニタリング方法 | |
CN110709857A (zh) | 人数管理设备、人数管理方法以及程序 | |
JP3554128B2 (ja) | 記録情報表示システム及び記録情報表示方法 | |
JP2024029775A (ja) | 遠隔作業制御システム、遠隔作業制御方法及びコンピュータープログラム | |
CN110135359A (zh) | 一种基于声源定位的监控视频评估行为分析处理方法 | |
JP6305252B2 (ja) | 目視検査技能向上支援システム及びこれを用いた目視検査技能向上支援方法並びに目視検査技能向上支援システム用プログラム | |
JP2024029776A (ja) | 遠隔作業制御システム、遠隔作業制御方法及びコンピュータープログラム | |
JP2005328236A (ja) | 映像監視方法、映像監視装置、および映像監視プログラム | |
US11363241B2 (en) | Surveillance apparatus, surveillance method, and storage medium | |
JP2003157113A (ja) | 記録情報表示システム及び記録情報表示方法 | |
US9191630B2 (en) | Dynamic layouts | |
US11790519B2 (en) | Systems and methods for menu directed inspection | |
JP6508482B2 (ja) | 活動状況分析システムおよび活動状況分析方法 | |
KR102601760B1 (ko) | 작업장의 안전 조업을 위한 유저 인터페이스를 제공하는 방법 및 이를 위한 장치 | |
JP2020129763A (ja) | 動画再生装置、動画再生方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240227 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20240227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240516 |