WO2023218651A1 - 映像関連情報決定装置、及びコンピュータが読み取り可能な記憶媒体 - Google Patents
映像関連情報決定装置、及びコンピュータが読み取り可能な記憶媒体 Download PDFInfo
- Publication number
- WO2023218651A1 WO2023218651A1 PCT/JP2022/020247 JP2022020247W WO2023218651A1 WO 2023218651 A1 WO2023218651 A1 WO 2023218651A1 JP 2022020247 W JP2022020247 W JP 2022020247W WO 2023218651 A1 WO2023218651 A1 WO 2023218651A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- video
- related information
- data
- event
- information determining
- Prior art date
Links
- 238000003860 storage Methods 0.000 title claims description 26
- 238000010586 diagram Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 239000000523 sample Substances 0.000 description 7
- 238000003754 machining Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
Definitions
- the present invention relates to a video-related information determining device and a computer-readable storage medium.
- a data collection device called a data logger.
- a large number of data loggers are installed in the factory to record the status of the machines in the factory.
- a PLC Programmable Logic Controller
- a numerical control device that controls a machine tool also include a recording section therein and store control information and status information.
- Patent Document 1 states, ⁇ A machine that processes a workpiece, a camera that takes a video of the processing process of the workpiece by the machine main body, and a memory, and that stores video data obtained by taking video with the camera. an information processing device that stores the information in the memory, and the information processing device protects the moving image data for a predetermined time including the time when the abnormality occurs when an abnormality occurs in the processing step; Mechanical System” is disclosed.
- Patent Document 1 when an abnormality (error) occurs, video data for a predetermined set time including the time when the abnormality occurs is protected. If you have logs and images from when the error occurred, the situation at the time of the error can be clarified and it will be useful in investigating the cause of the error. Similarly, if images with good visibility are created, they can be used to maintain industrial machinery and improve productivity.
- a video-related information determining device that is an aspect of the present disclosure includes a data acquisition unit that acquires data indicating a mechanical state of an industrial machine, a data history storage unit that stores data of the industrial machine, and a data history storage unit that searches data and triggers a trigger event. detects the occurrence of , searches past data stored in the data history storage unit, determines whether an event set that is a combination of events corresponding to the trigger event has occurred in the past, and determines whether or not an event set that is a combination of events corresponding to the trigger event has occurred in the past.
- a related information determining unit that determines information.
- a storage medium which is an aspect of the present disclosure, can be executed by one or more processors to: Obtain data indicating the state of industrial machinery, store data history of industrial machinery, search data, detect occurrence of trigger event, search past data stored as data history, and respond to trigger event.
- Processor-readable instructions are stored for determining whether an event set, which is a combination of events, has occurred in the past and for determining associated information corresponding to the event set.
- FIG. 3 is a diagram showing the scope of application of the video-related information determining device.
- FIG. 1 is a block diagram of a first disclosed video-related information determining device. This is a conceptual model of the related information determining unit.
- FIG. 2 is a block diagram of a second disclosed video-related information determining device. It is a diagram showing an example of a machining center.
- FIG. 3 is a diagram illustrating an example of a trigger event and an event set.
- FIG. 3 is a diagram illustrating a process for determining a work unit.
- FIG. 3 is a diagram illustrating an example of a video generated by the video-related information determining device.
- FIG. 3 is a diagram illustrating an example of a video generated by the video-related information determining device.
- FIG. 3 is a diagram illustrating an example of a video generated by the video-related information determining device.
- FIG. 3 is a diagram showing an example of a seek bar. It is a figure explaining workpiece measurement.
- FIG. 3 is a diagram illustrating an example of a video generated by the video-related information determining device.
- FIG. 2 is a diagram showing a hardware configuration of a video-related information determining device.
- the video-related information determining device 100 acquires a video showing the operation of an industrial machine installed in a factory and data showing the state of the industrial machine.
- the video-related information determining device 100 uses already accumulated video and data to present information deemed necessary by the user of the industrial machine.
- Target industrial machinery includes machine tools, numerical control devices, and robots.
- the video generated by the video-related information determination device 100 is used as a recorded video of industrial machinery.
- FIG. 1 shows the scope of application of the video-related information determination device 100.
- the video-related information determining device 100 is applied to a PC used by a factory manager, a server on a cloud, a PC of a machine manufacturer or a control machine manufacturer, a mobile terminal used by a factory manager, and the like. Further, the video-related information determining device 100 can be applied to information processing devices such as a numerical control device and a PLC (Programmable Logic Controller).
- the related information determined by the video related information determining device 100 is utilized for management of industrial machinery (maintenance, production management, etc.).
- FIG. 2 is a block diagram of the video-related information determining device 100 of the first disclosure.
- the video related information determining device 100 includes a data acquisition section 1, a related information determining section 3, a data history storage section 4, and an event set storage section 5.
- the data acquisition unit 1 acquires data regarding numerical control devices and machine tools from data loggers, internal and external servers, PLCs, numerical control devices, and the like.
- the data acquired by the data acquisition unit includes status information of the numerical control device, operation input information, control information of the machine tool, and the like.
- the status information of the numerical control device is set in the internal variables of the numerical control device, and includes the mode of the numerical control device, tool offset amount, alarm, time, number of parts to be machined, modal information, position information (coordinate system), etc. be.
- the operation input information includes touch panel input, physical button, dial, and steering wheel input.
- Control information for machine tools includes power consumption, addition to servo motors, sensor values (temperature and pressure), etc.
- the data history storage unit 4 stores the history of data acquired by the data acquisition unit 1.
- the related information determining unit 3 determines related information for supplementing the video based on the data acquired by the data acquiring unit 1.
- FIG. 3 is a conceptual model of the related information determining section 3.
- the related information determination unit 3 searches the data acquired by the data acquisition unit 1 and detects a trigger event.
- the event set storage unit 5 stores event sets corresponding to trigger events.
- the related information determining unit 3 reads out the event set corresponding to the detected trigger event, searches past data stored in the data history storage unit 4, and determines whether the event set corresponding to the detected trigger event occurred in the past. Search for whether or not. If an event set corresponding to the detected trigger event has occurred in the past, related information corresponding to the event set is determined as related information to be displayed to supplement the video.
- the video-related information determining device 100 of the second disclosure generates a video in which related information and video are linked.
- FIG. 4 is a block diagram of the video-related information determining device 100 of the second disclosure.
- the video related information determining device 100 includes a data acquisition section 1 , a video acquisition section 2 , a related information determination section 3 , a data history storage section 4 , an event set storage section 5 , a related information storage section 6 , and a linking section 7 .
- the image acquisition unit 2 acquires images of machines and equipment in the factory from data loggers, internal and external servers, PLCs, numerical control devices, and the like.
- an image of a machining center in which a machine tool and a numerical control device are integrated is acquired.
- FIG. 5 shows the appearance of the machining center.
- the machining center of the present disclosure is provided with two cameras. One camera photographs the workpiece attached to the table, and the other camera photographs the operation panel. The display screen of the control panel may be captured.
- Time information is added to the video acquired by the video acquisition unit 2, and can be merged with information useful to the operator.
- video includes both moving images and still images.
- Video also includes images in which multiple still images are displayed consecutively. Further, in the present disclosure, the image inside the machining center and the operation panel are displayed side by side, but only one of them may be displayed.
- the related information storage unit 6 stores related information corresponding to the event set.
- the linking unit 7 reads the related information from the related information storage unit 6 determined by the related information determining unit 3.
- the linking unit 7 determines the time of related information based on the time of occurrence of the event, and links the video obtained by the video obtaining unit 2 and the related information based on the time.
- the video-related information determining device 100 of the second disclosure detects a trigger event from data related to industrial machinery.
- the video-related information determining device 100 reads an event set corresponding to the trigger event. If an event included in the event set exists in the data history, the video related information determination device 100 associates the video with the related information corresponding to the event set.
- the video related information determination device 100 associates the video with the related information corresponding to the event set.
- FIG. 6 shows an example of a trigger event and an event set.
- the work “workpiece coordinate measurement” includes the trigger event “workpiece coordinate data setting”, event set “replacement with touch probe”, “display of workpiece measurement screen”, “jog or handle operation”, and “touch probe contacts workpiece”. ” and “Workpiece coordinate data setting” are linked to an event set consisting of five events. Further, the work “workpiece coordinate measurement” is associated with related information "workpiece coordinate list”.
- the operation “Start processing” is triggered by the trigger event “Pressing the cycle start button", the event set “Pressing the button to change the NC mode to MEM”, “Displaying the automatic operation screen”, and “Pressing the cycle start button”. It is linked to an event set consisting of three events. Further, the operation “Start machining” is associated with related information “Work drawing” and “Information on machining process (machining type, tools used, etc.)”.
- the related information determination unit 3 searches the data acquired by the data acquisition unit 1 and detects the trigger event “data setting of workpiece coordinates”.
- the related information determining unit 3 reads out an event set corresponding to the detected trigger event.
- the trigger event and event set are not one-to-one, and a plurality of event sets may correspond to one trigger event. In such a case, searching for events starting from the trigger event and going back in time will eventually converge on one event set (work unit).
- FIGS. 8 and 9 examples of videos generated by the video-related information determining device 100 are shown.
- the image in Figure 8 is divided into three areas: the upper left of the screen is the display screen of the numerical control device during execution of the work "data setting of workpiece coordinates", and the upper right of the screen is the display of the work "data setting of workpiece coordinates”. Images of the inside of the aircraft at the time of execution are arranged.
- a "work coordinate list” is displayed. If you add the image of the "work coordinate list” to the video of the work "data setting of work coordinates", you can check the work and the work coordinates set by the work.
- the "work coordinate list” is information (related information) useful for confirming the work contents. User visibility improves by linking videos and related information.
- the image in Figure 9 is divided into three areas: the upper left of the screen is the display screen of the numerical control device when the operation ⁇ Start machining'' is executed, and the upper right of the screen is the image inside the machine when the operation ⁇ Start machining'' is executed. , "Work drawing” is displayed at the bottom of the screen. If you add an image of the "work drawing” to the video of the "processing start” operation, you can confirm that the workpiece is being processed according to the design. Although this image is not displayed on the display screen during the execution of the work "Start Processing", it is useful information (related information) for confirming the work contents. User visibility improves by linking videos and related information.
- the linking unit 7 links the video and related information to the start time and end time of a work unit.
- the linking unit 7 may link the video and related information in accordance with the time of the event included in the work unit.
- the linking unit 7 may generate a seek bar indicating the start time and end time of the work unit.
- FIG. 10 is an example of a seek bar. From the start time to the end time of the work "workpiece coordinate data setting”, the "workpiece coordinate list" is displayed as related information. From the start time to the end time of the work "processing start”, the "work drawing” is displayed as related information.
- an event set and a work unit are associated with each other, and information useful for confirming the work content (related information) is associated with the video to generate a video. This improves visibility.
- the trigger event in specific example 2 is an alarm.
- a trigger event (alarm) is associated with an alarm cause (event set).
- the related information determining unit 3 searches the data acquired by the data acquiring unit 1, and upon detecting a trigger event (alarm), reads out the alarm cause (event set) associated with the alarm.
- the related information determining unit 3 searches the past data stored in the data history storage unit 4, and when an event set corresponding to the detected alarm has occurred in the past, the related information determining unit 3 searches the past data stored in the data history storage unit 4, and if the event set corresponding to the detected alarm has occurred in the past, the related information determining unit 3 searches the video for the related information corresponding to the event set. Determine relevant information to be displayed to assist.
- Related information includes parameter settings, sensor positions, tool offsets, video image detection results, sensor values such as laser, acceleration, vibration, and tilt, motor current, torque, mechanical drawings, and manuals. For example, when an interference error is detected, a mechanical drawing of the interference part is displayed.
- an alarm will be explained.
- the dimensions of the processed workpiece are measured using a touch probe or the like.
- we will measure the diameter of the drilled hole.
- the numerical control device compares the actual hole diameter and the designed hole diameter and generates an alarm if the actual hole diameter exceeds the allowable value of the designed hole diameter.
- Alarm information is stored in the data history storage unit 4 as an alarm number (for example, "MC3770").
- the related information determining unit 3 detects an alarm number as a trigger event, it reads out an event set associated with the alarm.
- the related information determining unit 3 determines from the event set that the event is an "alarm due to workpiece measurement after machining".
- the related information determining unit 3 reads the work drawing as related information corresponding to the event set.
- the video-related information determining device 100 adds a work drawing to the video when the alarm occurs.
- the operator compares the actual diameter of the hole formed in the workpiece with the designed diameter of the hole and adjusts the machine. For example, if there is insufficient cutting, the tool offset value is adjusted to adjust the amount of cutting. In the case of over-cutting, once a workpiece has been cut too much, it cannot be corrected, so check the dimensions of the workpiece drawing and adjust the tool offset value. The next workpiece is machined using the new tool offset value.
- an alarm is detected as a trigger event, and related information corresponding to an alarm cause (event set) associated with the trigger event is linked to a video.
- FIG. 13 is a hardware configuration diagram of the video-related information determining device 100.
- the video-related information determining device 100 includes a CPU 111 that controls the video-related information determining device 100 as a whole, a ROM 112 that records programs and data, and a RAM 113 that temporarily expands the data.
- the CPU 111 reads out a system program recorded in the ROM 112 via the bus, and controls the entire video-related information determining apparatus 100 according to the system program.
- the nonvolatile memory 114 is backed up by, for example, a battery (not shown), so that its storage state is maintained even when the video-related information determining device 100 is powered off.
- the nonvolatile memory 114 stores various data such as programs read from the external device 120 via the interfaces 115, 118, and 119 and user operations input via the input unit 30.
- the interface 115 is an interface 115 for connecting the video-related information determining device 100 to an external device 120 such as an adapter. Programs, various parameters, etc. are read from the external device 120 side.
- Video related information determining device 1 Data acquisition unit 2 Video acquisition unit 3 Related information determination unit 4 Data history storage unit 5 Event set storage unit 6 Related information storage unit 7 Linking unit 111 CPU 112 ROM 113 RAM 114 Non-volatile memory
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- General Factory Administration (AREA)
Abstract
産業機械の記録映像を生成する映像関連情報決定装置であって、産業機械の機械状態を示すデータを取得し、産業機械の動作を示す映像を取得し、データを検索し、トリガイベントの発現を検出し、過去のデータを検索し、トリガイベントに対応するイベントの組み合わせであるイベントセットが過去に発現したか否かを判定し、イベントセットに対応する映像の関連情報を決定し、イベントの発現時刻を基に、映像と関連情報とを紐づける。
Description
本発明は、映像関連情報決定装置、及びコンピュータが読み取り可能な記憶媒体に関する。
現在、産業機械の状態を監視し、制御の効率化や機械の保全に活用する技術が存在する。このような技術では、産業機械に関連するデータを収集し、収集したデータを分析することにより、産業機械の状態を把握し、産業機械の故障を防止したり、製品の品質を確認したり、生産管理の改善に活用したりしている。
産業機械、及びその周囲に設けられたセンサが検出した機械は、データロガーと呼ばれるデータ収集装置に記録される。工場内には、多数のデータロガーが設けられており、工場内の機械の状態を記録している。
また、機械の動作順序を制御するPLC(Programmable Logic Controller)や工作機械を制御する数値制御装置(Numerical Control)も内部に記録部を備えており、制御情報や状態情報を記憶している。
また、機械の動作順序を制御するPLC(Programmable Logic Controller)や工作機械を制御する数値制御装置(Numerical Control)も内部に記録部を備えており、制御情報や状態情報を記憶している。
収集したデータは、オペレータが視認しやすい形式に変換される。特許文献1には、「ワークを加工する機械本体と、前記機械本体による前記ワークの加工工程を動画撮影するカメラと、メモリを有し、かつ前記カメラによる動画撮影によって得られた動画像データを前記メモリに記憶させる情報処理装置とを備え、前記情報処理装置は、前記加工工程において異常が発生すると、前記異常が発生した時刻を含む予め定められた設定時間の前記動画像データを保護する、機械システム」が開示されている。
特許文献1では、異常(エラー)が発生すると、異常が発生した時刻を含む予め定められた設定時間の動画像データを保護する。エラー発生時のログと画像があれば、エラー発生時の状況が解明され、エラーの原因究明に役立つ。同様に、視認性のよい映像を作成すれば、産業機械の保全、生産性の向上に活用することも可能である。
産業機械のデータ管理の分野では、視認性の向上という課題がある。
本開示の一態様である映像関連情報決定装置は、産業機械の機械状態を示すデータを取得するデータ取得部と、産業機械のデータを記憶するデータ履歴記憶部と、データを検索し、トリガイベントの発現を検出し、データ履歴記憶部に記憶した過去のデータを検索し、トリガイベントに対応するイベントの組み合わせであるイベントセットが過去に発現したか否かを判定し、イベントセットに対応する関連情報を決定する関連情報決定部と、を備える。
本開示の一態様である記憶媒体は、1つ又は複数のプロセッサが実行することにより、
産業機械の状態を示すデータを取得し、産業機械のデータ履歴を記憶し、データを検索し、トリガイベントの発現を検出し、データ履歴として記憶した過去のデータを検索し、トリガイベントに対応するイベントの組み合わせであるイベントセットが過去に発現したか否かを判定し、イベントセットに対応する関連情報を決定する、プロセッサが読み取り可能な命令を記憶する。
本開示の一態様である記憶媒体は、1つ又は複数のプロセッサが実行することにより、
産業機械の状態を示すデータを取得し、産業機械のデータ履歴を記憶し、データを検索し、トリガイベントの発現を検出し、データ履歴として記憶した過去のデータを検索し、トリガイベントに対応するイベントの組み合わせであるイベントセットが過去に発現したか否かを判定し、イベントセットに対応する関連情報を決定する、プロセッサが読み取り可能な命令を記憶する。
本発明の一態様により、視認性を向上することができる。
以下、本開示を適用した映像関連情報決定装置100について説明する。映像関連情報決定装置100は、工場に配置される産業機械の動作を示す映像、及び産業機械の状態を示すデータを取得する。映像関連情報決定装置100は、既に蓄積された映像及びデータを用いて、産業機械のユーザが必要と思われる情報を提示する。対象となる産業機械としては、工作機械、数値制御装置、ロボットなどがある。
映像関連情報決定装置100が生成した映像は、産業機械の記録映像として用いられる。
図1は、映像関連情報決定装置100の適用範囲を示す。映像関連情報決定装置100は、工場の管理者が使用するPC、クラウド上のサーバ、機械メーカや制御機械メーカのPC、工場の管理者が使用する携帯端末などに適用される。
また、映像関連情報決定装置100は、数値制御装置、PLC(Programmable Logic Controller)などの情報処理装置に適用できる。
映像関連情報決定装置100が決定した関連情報は、産業機械の管理(保守、生産管理など)に活用される。
図1は、映像関連情報決定装置100の適用範囲を示す。映像関連情報決定装置100は、工場の管理者が使用するPC、クラウド上のサーバ、機械メーカや制御機械メーカのPC、工場の管理者が使用する携帯端末などに適用される。
また、映像関連情報決定装置100は、数値制御装置、PLC(Programmable Logic Controller)などの情報処理装置に適用できる。
映像関連情報決定装置100が決定した関連情報は、産業機械の管理(保守、生産管理など)に活用される。
[第1の開示]
図2は、第1の開示の映像関連情報決定装置100のブロック図である。映像関連情報決定装置100は、データ取得部1、関連情報決定部3、データ履歴記憶部4、イベントセット記憶部5を備える。
図2は、第1の開示の映像関連情報決定装置100のブロック図である。映像関連情報決定装置100は、データ取得部1、関連情報決定部3、データ履歴記憶部4、イベントセット記憶部5を備える。
データ取得部1は、データロガー、内部及び外部サーバ、PLC、数値制御装置などから、数値制御装置及び工作機械に関するデータを取得する。データ取得部が取得するデータには、数値制御装置の状態情報、操作入力情報、工作機械の制御情報などがある。数値制御装置の状態情報とは、数値制御装置の内部変数などに設定されており、数値制御装置のモード、工具オフセット量、アラーム、時刻、加工部品数、モーダル情報位置情報(座標系)などがある。操作入力情報には、タッチパネルの入力、物理的なボタン、ダイヤル、ハンドルによる入力などがある。工作機械の制御情報には、電力消費量、サーボモータへの付加、センサ値(温度や圧力)などがある。
データ履歴記憶部4は、データ取得部1が取得したデータの履歴を記憶する。
関連情報決定部3は、データ取得部1が取得したデータを基に、映像を補助するための関連情報を決定する。図3は、関連情報決定部3の概念モデルである。関連情報決定部3は、データ取得部1が取得したデータを検索し、トリガイベントを検出する。イベントセット記憶部5は、トリガイベントに対応するイベントセットを記憶する。関連情報決定部3は、検出したトリガイベントに対応するイベントセットを読み出し、データ履歴記憶部4に記憶された過去のデータを検索して、検出したトリガイベントに対応するイベントセットが過去に発現したか否かを検索する。検出したトリガイベントに対応するイベントセットが過去に発現した場合、イベントセットに対応する関連情報を、映像を補助するために表示する関連情報として決定する。
関連情報決定部3は、データ取得部1が取得したデータを基に、映像を補助するための関連情報を決定する。図3は、関連情報決定部3の概念モデルである。関連情報決定部3は、データ取得部1が取得したデータを検索し、トリガイベントを検出する。イベントセット記憶部5は、トリガイベントに対応するイベントセットを記憶する。関連情報決定部3は、検出したトリガイベントに対応するイベントセットを読み出し、データ履歴記憶部4に記憶された過去のデータを検索して、検出したトリガイベントに対応するイベントセットが過去に発現したか否かを検索する。検出したトリガイベントに対応するイベントセットが過去に発現した場合、イベントセットに対応する関連情報を、映像を補助するために表示する関連情報として決定する。
[第2の開示]
第2の開示の映像関連情報決定装置100は、関連情報と映像とを紐づけた映像を生成する。図4は、第2の開示の映像関連情報決定装置100のブロック図である。映像関連情報決定装置100は、データ取得部1、映像取得部2、関連情報決定部3、データ履歴記憶部4、イベントセット記憶部5、関連情報記憶部6、紐づけ部7を備える。
第2の開示の映像関連情報決定装置100は、関連情報と映像とを紐づけた映像を生成する。図4は、第2の開示の映像関連情報決定装置100のブロック図である。映像関連情報決定装置100は、データ取得部1、映像取得部2、関連情報決定部3、データ履歴記憶部4、イベントセット記憶部5、関連情報記憶部6、紐づけ部7を備える。
映像取得部2は、データロガー、内部及び外部サーバ、PLC、数値制御装置などから、工場内の機械や設備の映像を取得する。本開示では、工作機械と数値制御装置が一体化したマシニングセンタの映像を取得する。図5は、マシニングセンタの外観である。本開示のマシニングセンタには、2台のカメラが設けられている。一方のカメラはテーブルに取り付けられたワークを撮影し、他方のカメラは操作盤を撮影する。操作盤の表示画面はキャプチャしてもよい。
映像取得部2が取得する映像には時刻情報が付加されており、オペレータに有用な情報とマージすることができる。
なお、本開示において、映像とは、動画と静止画の両方を含む。複数の静止画を連続的に表示した画像も映像に含む。
また、本開示では、マシニングセンタの機内の映像と、操作盤を並べて表示するが、いずれか一方のみを表示してもよい。
なお、本開示において、映像とは、動画と静止画の両方を含む。複数の静止画を連続的に表示した画像も映像に含む。
また、本開示では、マシニングセンタの機内の映像と、操作盤を並べて表示するが、いずれか一方のみを表示してもよい。
関連情報記憶部6は、イベントセットに対応する関連情報を記憶する。
紐づけ部7は、関連情報決定部3が決定した関連情報記憶部6から関連情報を読み出す。紐づけ部7は、イベントの発現時刻を基に、関連情報の時刻を決定し、映像取得部2が取得した映像と関連情報とを時刻で紐づける。
紐づけ部7は、関連情報決定部3が決定した関連情報記憶部6から関連情報を読み出す。紐づけ部7は、イベントの発現時刻を基に、関連情報の時刻を決定し、映像取得部2が取得した映像と関連情報とを時刻で紐づける。
以上説明したように、第2の開示の映像関連情報決定装置100は、産業機械に関するデータからトリガイベントを検出する。映像関連情報決定装置100は、トリガイベントを検出すると、トリガイベントに対応するイベントセットを読み出す。映像関連情報決定装置100は、イベントセットに含まれるイベントがデータ履歴に存在する場合、イベントセットに対応する関連情報を映像と紐づける。
映像と、映像を補助するための関連情報とを紐付けることにより、産業機械のオペレータが必要な情報が提示できるため、視認性の高い映像を生成することができる。
映像と、映像を補助するための関連情報とを紐付けることにより、産業機械のオペレータが必要な情報が提示できるため、視認性の高い映像を生成することができる。
[映像関連情報決定装置の具体例1]
次いで、映像関連情報決定装置100の具体例を説明する。この例では、ユーザの操作履歴を基に、映像を撮影中に実行した作業を判定し、作業に有用な情報を関連情報として読み出す。
次いで、映像関連情報決定装置100の具体例を説明する。この例では、ユーザの操作履歴を基に、映像を撮影中に実行した作業を判定し、作業に有用な情報を関連情報として読み出す。
図6は、トリガイベントとイベントセットの一例を示す。作業「ワーク座標計測」は、トリガイベント「ワーク座標のデータ設定」、イベントセット「タッチプローブへの交換」、「ワーク計測画面の表示」、「ジョグ又はハンドル操作」、「タッチプローブがワークに接触」、「ワーク座標のデータ設定」という5つのイベントからなるイベントセットと紐づけられている。さらに、作業「ワーク座標計測」は、関連情報「ワーク座標一覧」が紐づけられている。
5つのイベントのうち、「タッチプローブへの交換」は開始イベントである。開始イベントから順に「ワーク計測画面の表示」、「ジョグ又はハンドル操作」、「タッチプローブがワークに接触」、「ワーク座標のデータ設定」というイベントが発現すると、イベント発現時の映像と作業「ワーク座標計測」が対応づけられる。
また、作業「加工開始」は、トリガイベント「サイクルスタートボタンの押下」、イベントセット「NCモードをMEMに変更するボタンの押下」、「自動運転画面の表示」、「サイクルスタートボタンの押下」という3つのイベントからなるイベントセットに紐づけられている。さらに、作業「加工開始」は、関連情報「ワーク図面」及び「加工工程の情報(加工種類、使用工具など)」が紐づけられている。
3つのイベントのうち、「NCモードをMEMに変更するボタンの押下」は開始イベントである。開始イベントから順に「自動運転画面の表示」、「サイクルスタートボタンの押下」というイベントが実行されれば、映像と作業「加工開始」が紐づけられる。
ここで、トリガイベントを起点として時間をさかのぼりながらイベントを検索し、作業単位を決定する例を示す。
図7を参照して、作業単位の決定処理について説明する。関連情報決定部3は、データ取得部1が取得したデータを検索し、トリガイベント「ワーク座標のデータ設定」を検出する。関連情報決定部3は、検出したトリガイベントに対応するイベントセットを読み出す。
ここで、トリガイベントとイベントセットは1対1ではなく、1つのトリガイベントに対し複数のイベントセットが対応することがある。このような場合、トリガイベントを起点として、時間をさかのぼりながらイベントを検索すると、最終的に1つのイベントセット(作業単位)に収束する。
図7を参照して、作業単位の決定処理について説明する。関連情報決定部3は、データ取得部1が取得したデータを検索し、トリガイベント「ワーク座標のデータ設定」を検出する。関連情報決定部3は、検出したトリガイベントに対応するイベントセットを読み出す。
ここで、トリガイベントとイベントセットは1対1ではなく、1つのトリガイベントに対し複数のイベントセットが対応することがある。このような場合、トリガイベントを起点として、時間をさかのぼりながらイベントを検索すると、最終的に1つのイベントセット(作業単位)に収束する。
図7の例では、「ワーク座標のデータ設定」というトリガイベントが検出されると、その1つ前のイベント「タッチプローブがワークに接触」を検索する。そして、イベント「タッチプローブとワークの接触」が存在すれば、その1つ前のイベント「ジョグ又はハンドル操作」を検索する。時間をさかのぼりながらイベントを検索し、開始イベントに到達すると、イベントセットに対応する作業単位を決定する。
映像の作業単位が決まれば、作業に有用な関連情報が決定する。
図8及び図9を参照して、映像関連情報決定装置100が生成した映像の例を示す。
図8の映像は、3つの領域に分かれており、画面左上には作業「ワーク座標のデータ設定」の実行時における数値制御装置の表示画面、画面右上には作業「ワーク座標のデータ設定」の実行時における機内の映像が配置されている。画面下部には、「ワーク座標一覧」が表示されている。
作業「ワーク座標のデータ設定」の映像に「ワーク座標一覧」の画像を追加すると、作業と、作業により設定されたワーク座標とを確認できる。「ワーク座標一覧」は、作業内容を確認するために有用な情報(関連情報)である。映像と関連情報を紐づけることで、ユーザの視認性が向上する。
図8及び図9を参照して、映像関連情報決定装置100が生成した映像の例を示す。
図8の映像は、3つの領域に分かれており、画面左上には作業「ワーク座標のデータ設定」の実行時における数値制御装置の表示画面、画面右上には作業「ワーク座標のデータ設定」の実行時における機内の映像が配置されている。画面下部には、「ワーク座標一覧」が表示されている。
作業「ワーク座標のデータ設定」の映像に「ワーク座標一覧」の画像を追加すると、作業と、作業により設定されたワーク座標とを確認できる。「ワーク座標一覧」は、作業内容を確認するために有用な情報(関連情報)である。映像と関連情報を紐づけることで、ユーザの視認性が向上する。
図9の映像は、3つの領域に分かれており、画面左上には作業「加工開始」の実行時における数値制御装置の表示画面、画面右上には作業「加工開始」の実行時における機内の映像、画面下部には「ワーク図面」が表示されている。
作業「加工開始」の映像に「ワーク図面」の画像を追加すると、設計通りにワークが加工されているが確認できる。作業「加工開始」の実行中に、表示画面に表示されていない画像であるが、作業内容を確認するために有用な情報(関連情報)である。映像と関連情報を紐づけることで、ユーザの視認性が向上する。
作業「加工開始」の映像に「ワーク図面」の画像を追加すると、設計通りにワークが加工されているが確認できる。作業「加工開始」の実行中に、表示画面に表示されていない画像であるが、作業内容を確認するために有用な情報(関連情報)である。映像と関連情報を紐づけることで、ユーザの視認性が向上する。
紐づけ部7は、作業単位の開始時刻及び終了時刻に映像と関連情報とを紐づける。紐づけ部7は、作業単位に含まれるイベントの時刻に合わせて映像と関連情報とを紐づけてもよい。紐づけ部7は、作業単位の開始時刻及び終了時刻を示すシークバーを生成してもよい。図10は、シークバーの一例である。作業「ワーク座標のデータ設定」の開始時刻から終了時刻までは「ワーク座標一覧」を関連情報として表示する。作業「加工開始」の開始時刻から終了時刻までは、「ワーク図面」を関連情報として表示する。
以上説明したように、映像関連情報決定装置の具体例1では、イベントセットと作業単位を対応付け、作業内容の確認に有用な情報(関連情報)を、映像と紐づけた映像を生成することにより、視認性を向上させる。
[映像関連情報決定装置の具体例2]
具体例2におけるトリガイベントはアラームである。トリガイベント(アラーム)は、アラーム原因(イベントセット)と対応付けられている。関連情報決定部3は、データ取得部1が取得したデータを検索し、トリガイベント(アラーム)を検出すると、アラームに対応付けられたアラーム原因(イベントセット)を読み出す。
関連情報決定部3は、データ履歴記憶部4に記憶された過去のデータを検索して、検出したアラームに対応するイベントセットが過去に発現した場合、イベントセットに対応する関連情報を、映像を補助するために表示する関連情報として決定する。
関連情報には、パラメータ設定、センサ位置、工具オフセット、映像の画像検知結果、レーザ、加速度、振動、傾きなどのセンサ値、モータ電流、トルク、機械図面、マニュアルなどがある。例えば、干渉エラーを検知した場合には、干渉部位の機械図面を表示する。
具体例2におけるトリガイベントはアラームである。トリガイベント(アラーム)は、アラーム原因(イベントセット)と対応付けられている。関連情報決定部3は、データ取得部1が取得したデータを検索し、トリガイベント(アラーム)を検出すると、アラームに対応付けられたアラーム原因(イベントセット)を読み出す。
関連情報決定部3は、データ履歴記憶部4に記憶された過去のデータを検索して、検出したアラームに対応するイベントセットが過去に発現した場合、イベントセットに対応する関連情報を、映像を補助するために表示する関連情報として決定する。
関連情報には、パラメータ設定、センサ位置、工具オフセット、映像の画像検知結果、レーザ、加速度、振動、傾きなどのセンサ値、モータ電流、トルク、機械図面、マニュアルなどがある。例えば、干渉エラーを検知した場合には、干渉部位の機械図面を表示する。
アラームの一例を説明する。ワーク計測では、図11に示すように、タッチプローブなどを用いて加工後のワークの寸法を計測する。この例では、加工した穴の直径を計測する。数値制御装置は、実際の穴の直径と設計上の穴の直径を比較し、実際の穴の直径が設計上の穴の直径の許容値を超えている場合には、アラームを発生させる。アラームの情報はアラーム番号として(例えば「MC3770」)、データ履歴記憶部4に記憶されている。
関連情報決定部3は、トリガイベントとしてアラーム番号を検出すると、アラームに対応付けられたイベントセットを読み出す。関連情報決定部3は、イベントセットから「加工後のワーク計測によるアラーム」であると判定する。関連情報決定部3は、イベントセットに対応する関連情報としてワーク図面を読み出す。
関連情報決定部3は、トリガイベントとしてアラーム番号を検出すると、アラームに対応付けられたイベントセットを読み出す。関連情報決定部3は、イベントセットから「加工後のワーク計測によるアラーム」であると判定する。関連情報決定部3は、イベントセットに対応する関連情報としてワーク図面を読み出す。
映像関連情報決定装置100は、図12に示すように、アラーム発生時の映像にワーク図面を追加する。オペレータは、ワークに形成された実際の穴の直径と、設計上の穴の直径とを比較し、機械の調整を行う。例えば、削り不足の場合、工具オフセット値を調整し、削り量を調整する。削りすぎの場合、一度削りすぎたワークは修正できないので、ワーク図面の寸法を確認し、工具オフセット値を調整する。次のワークの加工では、新しい工具オフセット値で加工を行う。
以上説明したように、具体例2では、アラームをトリガイベントとして検出し、トリガイベントに対応付けられたアラーム原因(イベントセット)に対応する関連情報を、映像に紐づける。
以下、本開示を適用した映像関連情報決定装置100のハードウェア構成について説明する。図13は、映像関連情報決定装置100のハードウェア構成図である。映像関連情報決定装置100は、図13に示すように、映像関連情報決定装置100を全体的に制御するCPU111、プログラムやデータを記録するROM112、一時的にデータを展開するためのRAM113を備え、CPU111はバスを介してROM112に記録されたシステムプログラムを読み出し、システムプログラムに従って映像関連情報決定装置100の全体を制御する。
不揮発性メモリ114は、例えば、図示しないバッテリでバックアップされるなどして、映像関連情報決定装置100の電源がオフされても記憶状態が保持される。不揮発性メモリ114には、インタフェース115、118、119を介して外部装置120から読み込まれたプログラムや入力部30を介して入力されたユーザ操作などの各種データが記憶される。
インタフェース115は、映像関連情報決定装置100とアダプタ等の外部装置120と接続するためのインタフェース115である。外部装置120側からはプログラムや各種パラメータ等が読み込まれる。
100 映像関連情報決定装置
1 データ取得部
2 映像取得部
3 関連情報決定部
4 データ履歴記憶部
5 イベントセット記憶部
6 関連情報記憶部
7 紐づけ部
111 CPU
112 ROM
113 RAM
114 不揮発性メモリ
1 データ取得部
2 映像取得部
3 関連情報決定部
4 データ履歴記憶部
5 イベントセット記憶部
6 関連情報記憶部
7 紐づけ部
111 CPU
112 ROM
113 RAM
114 不揮発性メモリ
Claims (7)
- 産業機械の機械状態を示すデータを取得するデータ取得部と、
前記産業機械のデータを記憶するデータ履歴記憶部と、
前記データを検索し、トリガイベントの発現を検出し、前記データ履歴記憶部に記憶した過去のデータを検索し、前記トリガイベントに対応するイベントの組み合わせであるイベントセットが過去に発現したか否かを判定し、前記イベントセットに対応する関連情報を決定する関連情報決定部と、
を備える映像関連情報決定装置。 - 前記産業機械の動作を示す映像を取得する映像取得部と、
前記イベントの発現時刻を基に、前記映像取得部が取得した映像と、前記関連情報とを紐づける紐づけ部と、
を備える請求項1記載の映像関連情報決定装置。 - 前記関連情報決定部は、前記トリガイベントを起点として、時間をさかのぼりながらイベントセットに含まれるイベントの発現を示すデータの検索を行う、請求項1記載の映像関連情報決定装置。
- 前記紐づけ部は、前記イベントの発現時間を示すシークバーを生成する、請求項1記載の映像関連情報決定装置。
- 前記トリガイベントはユーザの操作データであり、前記イベントセットはユーザの操作データの組み合わせであり、
前記関連情報決定部は、前記イベントセットを基に、前記映像を撮影した時点に実行された作業を決定し、前記作業の関連情報を決定する、請求項1記載の映像関連情報決定装置。 - 前記トリガイベントは前記産業機械のアラームであり、前記イベントセットは前記アラームの原因である、請求項1記載の映像関連情報決定装置。
- 1つ又は複数のプロセッサが実行することにより、
産業機械の状態を示すデータを取得し、
前記産業機械のデータ履歴を記憶し、
前記データを検索し、トリガイベントの発現を検出し、前記データ履歴として記憶した過去のデータを検索し、前記トリガイベントに対応するイベントの組み合わせであるイベントセットが過去に発現したか否かを判定し、前記イベントセットに対応する関連情報を決定する、
前記プロセッサが読み取り可能な命令を記憶する記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/020247 WO2023218651A1 (ja) | 2022-05-13 | 2022-05-13 | 映像関連情報決定装置、及びコンピュータが読み取り可能な記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/020247 WO2023218651A1 (ja) | 2022-05-13 | 2022-05-13 | 映像関連情報決定装置、及びコンピュータが読み取り可能な記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023218651A1 true WO2023218651A1 (ja) | 2023-11-16 |
Family
ID=88730187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/020247 WO2023218651A1 (ja) | 2022-05-13 | 2022-05-13 | 映像関連情報決定装置、及びコンピュータが読み取り可能な記憶媒体 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023218651A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007140997A (ja) * | 2005-11-18 | 2007-06-07 | Mitsubishi Electric System & Service Co Ltd | 故障診断装置 |
JP2012088855A (ja) * | 2010-10-18 | 2012-05-10 | Nec Computertechno Ltd | イベント発生通知装置、イベント発生通知方法、イベント発生通知プログラム |
JP2016099930A (ja) * | 2014-11-26 | 2016-05-30 | 横河電機株式会社 | イベント解析装置、イベント解析方法およびコンピュータプログラム |
JP2017169181A (ja) * | 2016-03-10 | 2017-09-21 | 株式会社smart−FOA | 再生装置 |
JP2017167880A (ja) * | 2016-03-17 | 2017-09-21 | ファナック株式会社 | 工作機械の稼働管理方法およびプログラム |
-
2022
- 2022-05-13 WO PCT/JP2022/020247 patent/WO2023218651A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007140997A (ja) * | 2005-11-18 | 2007-06-07 | Mitsubishi Electric System & Service Co Ltd | 故障診断装置 |
JP2012088855A (ja) * | 2010-10-18 | 2012-05-10 | Nec Computertechno Ltd | イベント発生通知装置、イベント発生通知方法、イベント発生通知プログラム |
JP2016099930A (ja) * | 2014-11-26 | 2016-05-30 | 横河電機株式会社 | イベント解析装置、イベント解析方法およびコンピュータプログラム |
JP2017169181A (ja) * | 2016-03-10 | 2017-09-21 | 株式会社smart−FOA | 再生装置 |
JP2017167880A (ja) * | 2016-03-17 | 2017-09-21 | ファナック株式会社 | 工作機械の稼働管理方法およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106181581A (zh) | 机床的振动信息显示装置 | |
JP5536611B2 (ja) | 工作機械のモニタ方法及びモニタ装置、工作機械 | |
US5414632A (en) | System and method for predicting failure in machine tool | |
US10054931B2 (en) | Numerical controller having machine abnormality history analysis support function | |
US7571022B2 (en) | System and method for monitoring machine health | |
JP5819812B2 (ja) | 工作機械の負荷表示装置 | |
JP5608036B2 (ja) | 稼動履歴管理方法、及び稼動履歴管理装置 | |
JP6392819B2 (ja) | 製造時間情報により異常検出条件を変更する製造管理システム | |
US11947332B2 (en) | CAD data-based automatic operation device of machining center | |
JP2017033346A (ja) | 工作機械の情報取得装置 | |
JP2012254499A (ja) | 工作機械の加工異常検知装置及び加工異常検知方法 | |
JP6933630B2 (ja) | 処理時間監視装置 | |
JP7524230B2 (ja) | 数値制御工作機械で使用するための制御装置、および制御装置を含む工作機械 | |
JP7510583B2 (ja) | 加工状態表示装置 | |
CN110196573B (zh) | 异常因素确定装置 | |
WO2020026344A1 (ja) | 異常判定装置及び異常判定方法 | |
JP2006154998A (ja) | 制御装置 | |
JP6989564B2 (ja) | 工作機械の数値制御システム | |
WO2023218651A1 (ja) | 映像関連情報決定装置、及びコンピュータが読み取り可能な記憶媒体 | |
EP3692946B1 (en) | Cutting system and cutting method | |
JP7167607B2 (ja) | 工作機械 | |
US11913992B2 (en) | Current measuring system for machine tool and current measuring method thereof | |
WO2023218643A1 (ja) | 映像生成装置、及びコンピュータが読み取り可能な記憶媒体 | |
WO2023218653A1 (ja) | 映像管理装置、及びコンピュータが読み取り可能な記憶媒体 | |
WO2023218640A1 (ja) | 映像生成装置、及びコンピュータが読み取り可能な記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22941727 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2024520223 Country of ref document: JP Kind code of ref document: A |