WO2023218655A1 - 映像管理装置、及びコンピュータが読み取り可能な記憶媒体 - Google Patents

映像管理装置、及びコンピュータが読み取り可能な記憶媒体 Download PDF

Info

Publication number
WO2023218655A1
WO2023218655A1 PCT/JP2022/020252 JP2022020252W WO2023218655A1 WO 2023218655 A1 WO2023218655 A1 WO 2023218655A1 JP 2022020252 W JP2022020252 W JP 2022020252W WO 2023218655 A1 WO2023218655 A1 WO 2023218655A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
index
event
industrial machine
management device
Prior art date
Application number
PCT/JP2022/020252
Other languages
English (en)
French (fr)
Inventor
真一 尾関
誠彰 相澤
祐樹 杉田
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to PCT/JP2022/020252 priority Critical patent/WO2023218655A1/ja
Publication of WO2023218655A1 publication Critical patent/WO2023218655A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring

Definitions

  • the present invention relates to a video management device and a computer-readable storage medium.
  • a data collection device called a data logger.
  • a large number of data loggers are installed in the factory to record the status of the machines in the factory.
  • a PLC Programmable Logic Controller
  • a numerical control device that controls a machine tool also include a recording section therein and store control information and status information.
  • Patent Document 1 states, "An imaging device (inspection device) captures images of each printed circuit board after receiving, after solder printing, after component mounting, and after reflow. The captured images of the same component on the same board are correlated with each other. The verification screen displays captured images after reflow, defective items, candidate events, processes related to candidate events, and captured images of those processes. This technology allows the person (in charge of mounting) to check the condition of the actual product at each step of the surface mounting flow using this verification screen.
  • Patent Document 1 an image associated with a process is stored as a "matching image" and the name of the process is attached to the matching image and displayed. By attaching process names to images, the visibility of the images is improved.
  • a video management device that is an aspect of the present disclosure includes a data acquisition unit that acquires data indicating the mechanical state of an industrial machine, a video acquisition unit that acquires a video that shows the operation of the industrial machine, and a video management device that records events related to the operation of the industrial machine.
  • the decision condition storage unit stores the decision conditions for determining the index to be attached to the video, and the data acquired by the data acquisition unit searches for events related to the operation, and based on the decision conditions, searches for multiple temporally consecutive events. and an index determination unit that determines an index to be attached to a video based on events classified into the same type.
  • a storage medium that is an aspect of the present disclosure stores decision conditions for determining an index to be attached to a video based on an event related to the operation of an industrial machine, and stores one or more decision conditions that are executed by one or more processors.
  • the processor acquires data indicating the state of the industrial machine, acquires images indicating the operation of the industrial machine, searches for events related to operations from the acquired data, and creates continuous data in time based on decision conditions.
  • a processor-readable instruction for determining an index to be attached to a video based on a plurality of events classified into the same type is stored.
  • FIG. 3 is a diagram showing the scope of application of the video management device.
  • FIG. 2 is a block diagram of a video management device. It is a diagram showing an example of a machining center.
  • FIG. 7 is a diagram showing the relationship between video time and operation events.
  • FIG. 3 is a diagram showing an example of a seek bar.
  • FIG. 3 is a diagram illustrating an example of abnormality detection using video analysis.
  • FIG. 3 is a diagram showing an example of a seek bar.
  • FIG. 3 is a diagram showing an example of an event set.
  • FIG. 3 is a diagram showing an example of a seek bar.
  • FIG. 7 is a diagram illustrating an example in which images are indexed based on mode switching. It is a figure which shows an example of an index.
  • FIG. 2 is a diagram showing the hardware configuration of a video management device.
  • the video management device 100 of the present disclosure will be described below.
  • the video management device 100 acquires video showing the operation of industrial machines installed in a factory and data showing the status of the industrial machines.
  • the video management device 100 uses already accumulated video and data to present information deemed necessary by the user of the industrial machine.
  • Target industrial machinery includes machine tools, numerical control devices, and robots.
  • the video acquired by the video management device 100 is used as a recorded video of industrial machinery.
  • the video management device 100 is applied to an information processing device such as a PC (personal computer), a server, or a mobile terminal.
  • the video management device 100 includes a PC used by a factory manager, a server on the cloud, a PC used by an operator of a machine manufacturer or a control machine manufacturer, and a PC used by a factory manager. This applies to, but is not limited to, the mobile terminal used.
  • Information presented by the video management device 100 is utilized for management of industrial machinery (maintenance, production management, etc.).
  • FIG. 1 shows the scope of application of the video management device 100.
  • the video management device 100 can be applied to various information processing devices such as a PC (personal computer) used by a factory manager, a server on an external network and an internal network, a PC on an external network, and a mobile terminal in a factory.
  • the recorded video of the industrial machine acquired by the video management device 100 can be used to understand the state of the industrial machine, prevent breakdowns of the industrial machine, improve production management, and the like.
  • the video management device 100 may be applied to an information processing device such as a numerical control device or a PLC (Programmable Logic Controller).
  • FIG. 2 is a block diagram of the video management device 100.
  • the video management device 100 includes a data acquisition section 1, a video acquisition section 2, an index determination section 3, a determination condition storage section 4, and a seek bar creation section 5.
  • the data acquisition unit 1 acquires data regarding numerical control devices and machine tools from data loggers, internal and external servers, PLCs, numerical control devices, and the like.
  • the data acquired by the data acquisition unit 1 includes status information of the numerical control device, operation input information, control information of the machine tool, and the like.
  • the status information of the numerical control device is set in the internal variables of the numerical control device, and includes the mode of the numerical control device, tool offset amount, alarm, time, number of parts to be machined, modal information, position information (coordinate system), etc. be.
  • the operation input information includes touch panel input, physical button, dial, and steering wheel input.
  • Control information for machine tools includes power consumption, addition to servo motors, sensor values (temperature and pressure), etc.
  • the image acquisition unit 2 acquires images of machines and equipment in the factory from data loggers, internal and external servers, PLCs, numerical control devices, and the like.
  • an image of a machining center in which a machine tool and a numerical control device are integrated is acquired.
  • FIG. 3 shows the appearance of the machining center.
  • the machining center of the present disclosure is provided with two cameras. One camera photographs the workpiece attached to the table, and the other camera photographs the operation panel. The display screen of the control panel may be captured.
  • Time information is added to the video acquired by the video acquisition unit 2, and can be merged with information useful to the operator.
  • video includes both moving images and still images.
  • Video also includes images in which multiple still images are displayed consecutively. Further, in the present disclosure, the image inside the machining center and the operation panel are displayed side by side, but only one of them may be displayed.
  • the index determination unit 3 determines the index of the video based on the conditions in the determination condition storage unit 4.
  • the determination condition storage unit 4 stores index determination conditions.
  • the decision condition associates events related to machine operation with video indexes. A plurality of events are consecutive in time and can be classified into the same type.
  • the decision condition storage unit 4 also associates suddenly occurring events with video indexes. Events that occur suddenly include the occurrence of an abnormality. Five index determination conditions are illustrated below. (1) Collect repeated events. A repeated event is an event that is input repeatedly, such as jogging or steering wheel operation.
  • the decision condition storage unit 4 stores a combination of events corresponding to a work unit.
  • events such as "OFFSET pressed” and "[coordinate] key pressed” occur.
  • the "OFFSET button” is pressed, tool offset setting work begins.
  • a tool measuring device measures the tool, and the tool length is set by pressing the "[coordinate] key.”
  • the combination of events hereinafter referred to as an event set) ⁇ OFFSET press'' and ⁇ Coordinate'' key press'' corresponds to the task ⁇ tool offset setting,'' so events can be grouped in units of tasks.
  • FIG. 5 is an example of indexing based on the events in FIG. 4.
  • indexes such as "axis movement (HND),” "coordinate screen display,” and “G55 setting” are attached.
  • the times “02:30”, “02:55”, and “02:59” are assigned to each index. This time is the start time of the first event in the event set.
  • the seek bar creation unit 5 creates a seek bar that associates the time of the video with the index, as shown in FIG. When you select an index, the video corresponding to the selected index is displayed.
  • a specific event is not a plurality of events that are consecutive in time and can be classified into the same type.
  • One of the specific events is the occurrence of an abnormality in industrial machinery. Events that require confirmation, such as the occurrence of an abnormality, are indexed even if they are single events.
  • Methods of abnormality detection include statistical methods, registration of abnormal sounds and vibrations, video analysis, and alarm detection. In the statistical method, normal data of the data (for example, vibration, temperature, etc.) acquired by the data acquisition unit 1 is determined, and a deviation from the normal data is regarded as an abnormality. When registering abnormal sounds and vibrations, abnormal values such as specific frequencies and amplitudes are registered.
  • normal values such as vibration amplitude and vibration frequency may be registered, and deviations from the normal values may be treated as abnormal.
  • a specific or loud sound may indicate some kind of abnormality, and it is possible to identify the video in which such an abnormality has occurred.
  • Video analysis involves recognizing, classifying, and positioning the parts of industrial machinery to analyze abnormalities in industrial machinery. In the case of the machining center of the present disclosure, slight interference between the main shaft and other members, vibration of members, etc. are detected.
  • FIG. 6 shows an example of abnormality detection using video analysis.
  • FIG. 6 shows the rotation of the spindle to which the shank and tool are attached.
  • the shank is a special holder for holding the tool.
  • the tool is attached to the spindle via the shank. If there is an installation problem during tool replacement, the tool and shank will rotate while vibrating relative to the main shaft.
  • the index determining unit 3 recognizes the tool, the shank, and the spindle using a known video analysis technique, and outputs the positional relationship of the tool and the shank with respect to the spindle.
  • the index determining unit 3 detects the occurrence of abnormal vibrations from the types and positional relationships of members included in the image, and assigns an index to the image.
  • the occurrence of abnormalities can also be detected from alarms.
  • the system program of the numerical control device outputs an alarm when it detects the occurrence of an abnormality in the machining center.
  • an index may be added when audio at a specific frequency, specific video, or the like is detected, regardless of the occurrence of an abnormality.
  • FIG. 7 is an example of an index created using method (3).
  • An index "specific video detected” is attached to the time “02:30”
  • an index “specific sound detected” is attached to the time “02:55”
  • an index “alarm generation” is attached to the time “02:59”.
  • “Specific video”, “specific sound”, and “alarm” in Figure 7 are specifically described, for example, “tool interference video,” “volume exceeding threshold,” and “alarm (overload).” You may.
  • the decision condition storage unit 4 associates event sets and tasks.
  • the event set consists of a start event, a normal event, and a trigger event.
  • the index determination unit 3 searches the data acquired by the data acquisition unit 1 and detects a trigger event.
  • the index determination unit 3 reads out the event set corresponding to the detected trigger event, searches past data, and searches whether the event set corresponding to the detected trigger event has occurred in the past. If an event set corresponding to the detected trigger event has occurred in the past, a task corresponding to the event set is determined.
  • FIG. 8 shows an example of an event set.
  • the task “tool offset measurement” consists of a start event “tool change”, three events “switch to tool screen”, “jog or handle operation (including repeated operations)", “contact tool measuring device”, It is associated with an event set consisting of five events of the trigger event "Tool offset data setting”.
  • the work “workpiece coordinate measurement” consists of a start event “tool change”, three events “switch to workpiece coordinate screen", “jog or handle operation (including repeated operations)", "contact between workpiece and sensor”, and trigger event " It is associated with an event set consisting of five events of ⁇ Workpiece coordinate data setting''.
  • FIG. 9 is an example in which the work “attachment and removal of tools” is indexed as a work unit.
  • the task “Installing and removing tools” corresponds to the event set “Tool magazine opening”, “Tool pod unlocking”, “Tool attachment detection”, “Tool pod locking”, “Tool magazine closing” Can be attached.
  • the start event of this event set is “opening of tool magazine” and the trigger event is “closing of tool magazine”.
  • the index determination unit 3 searches the data acquired by the data acquisition unit 1, and when detecting the trigger event “closed door of tool magazine”, reads out the event set corresponding to the trigger event “closed door of tool magazine”. Past data is searched, and if a trigger included in the event set has occurred in the past, it is determined that the task "installation and removal of tools” has been executed. Once the work is determined, the work “attachment/removal of tools” is indexed as shown in FIG.
  • Mode switching is not a plurality of events that are continuous in time and can be classified into the same type. Events that require confirmation, such as modes where mistakes are likely to occur, are indexed even if they are single events. For example, in the jog or handle mode of a numerical controller, the axes are manually manipulated. At this time, a human operational error may occur. On the other hand, since memory mode is automatic operation of a program, there is a possibility that some kind of trouble may occur, but human error is caused by some operation set before automatic operation. In memory mode, no index is attached because it does not include human errors.
  • FIG. 10 is an example in which images are indexed based on mode switching (jog mode). When the event ⁇ change to jog mode'' occurs while ⁇ displaying the operation screen'', the occurrence of the event is added as an index.
  • FIG. 11 is an example of indexing videos using methods (1) to (5).
  • the videos are labeled with indexes such as ⁇ operation,'' ⁇ workpiece coordinate setting,'' ⁇ abnormal movement of machine axes,'' and ⁇ machining troubles.'' When an index is selected, the video corresponding to the selected index is played. The index assists the operator in search operations.
  • FIG. 12 is a hardware configuration diagram of the video management device 100.
  • the video management device 100 includes a CPU 111 that controls the video management device 100 as a whole, a ROM 112 that records programs and data, and a RAM 113 that temporarily expands data.
  • the system program recorded in the ROM 112 is read out through the ROM 112, and the entire video management device 100 is controlled in accordance with the system program.
  • the nonvolatile memory 114 is backed up by, for example, a battery (not shown), so that its storage state is maintained even when the power of the video management device 100 is turned off.
  • the nonvolatile memory 114 stores various data such as programs read from the external device 120 via the interfaces 115, 118, and 119 and user operations input via the input unit 30.
  • the interface 115 mediates the connection between the video management device 100 and an external device 120 such as an adapter. Programs, various parameters, etc. are read from the external device 121 side.
  • Video management device 1 Data acquisition unit 2 Video acquisition unit 3 Index determination unit 4 Determination condition storage unit 5 Seek bar creation unit 111 CPU 112 ROM 113 RAM 114 Non-volatile memory

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Numerical Control (AREA)

Abstract

産業機械の記録映像を管理する映像管理装置であって、産業機械の機械状態を示すデータを取得し、産業機械の動作を示す映像を取得し、産業機械の操作に関するイベントと、イベントを基に、映像に付すインデックスを決定する決定条件を記憶し、取得したデータから、操作に関するイベントを検索し、決定条件に基づき、時間的に連続する複数のイベントであって、同一種別に分類されるイベントを基に、映像に付すインデックスを決定する。

Description

映像管理装置、及びコンピュータが読み取り可能な記憶媒体
　本発明は、映像管理装置、及びコンピュータが読み取り可能な記憶媒体に関する。
　現在、産業機械の状態を監視し、制御の効率化や機械の保全に活用する技術が存在する。このような技術では、産業機械に関連するデータを収集し、収集したデータを分析することにより、産業機械の状態を把握し、産業機械の故障を防止したり、製品の品質を確認したり、生産管理の改善に活用したりしている。
　産業機械、及びその周囲に設けられたセンサが検出した機械は、データロガーと呼ばれるデータ収集装置に記録される。工場内には、多数のデータロガーが設けられており、工場内の機械の状態を記録している。
　また、機械の動作順序を制御するＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｃｏｎｔｒｏｌｌｅｒ）や工作機械を制御する数値制御装置（Ｎｕｍｅｒｉｃａｌ　Ｃｏｎｔｒｏｌ）も内部に記録部を備えており、制御情報や状態情報を記憶している。
　収集したデータは、オペレータが視認しやすい形式に変換される。特許文献１には、「撮像装置（検査装置）によって、受入後、ハンダ印刷後、部品実装後、リフロー後のそれぞれのプリント基板が撮像される。同一基板上の同一部品の撮像画像は互いに関連付けられ「照合画像」と記憶され」、「照合画面には、リフロー後の撮像画像、不良項目、候補事象、候補事象に関連する工程とその工程の撮像画像などが表示される。ユーザ（現場作業者）はこの照合画面により、表面実装フローの各工程における現物の状態を確認することができる」技術が開示されている。
特開２０１９－１６０５５号公報
　特許文献１では、工程と関連付けた画像を「照合画像」として記憶し、照合画像に工程の名称を付して表示する。画像に工程の名称を付すことで、画像の視認性を向上させている。
　産業機械の映像管理の分野では、視認性の向上という課題がある。
　本開示の一態様である映像管理装置は、産業機械の機械状態を示すデータを取得するデータ取得部と、産業機械の動作を示す映像を取得する映像取得部と、産業機械の操作に関するイベントを基に、映像に付すインデックスを決定する決定条件を記憶する決定条件記憶部と、データ取得部が取得したデータから、操作に関するイベントを検索し、決定条件に基づき、時間的に連続する複数のイベントであって、同一種別に分類されるイベントを基に、映像に付すインデックスを決定するインデックス決定部と、を備える。
　本開示の一態様である記憶媒体は、１つ又は複数のプロセッサが実行することにより、産業機械の操作に関するイベントを基に、映像に付すインデックスを決定する決定条件を記憶し、１つ又は複数のプロセッサが実行することにより、産業機械の状態を示すデータを取得し、産業機械の動作を示す映像を取得し、取得したデータから操作に関するイベントを検索し、決定条件に基づき、時間的に連続する複数のイベントであって、同一種別に分類されるイベントを基に、映像に付すインデックスを決定する、プロセッサが読み取り可能な命令を記憶する。
　本発明の一態様により、視認性を向上することができる。
映像管理装置の適用範囲を示す図である。 映像管理装置のブロック図である。 マシニングセンタの一例を示す図である。 映像の時刻と、操作イベントとの関連を示す図である。 シークバーの一例を示す図である。 映像分析を用いた異常検知の一例を示す図である。 シークバーの一例を示す図である。 イベントセットの一例を示す図である。 シークバーの一例を示す図である。 モードの切り替えに基づき映像にインデックスを付した例を示す図である。 インデックスの一例を示す図である。 映像管理装置のハードウェア構成を示す図である。
　以下、本開示の映像管理装置１００について説明する。映像管理装置１００は、工場に配置される産業機械の動作を示す映像、及び産業機械の状態を示すデータを取得する。映像管理装置１００は、既に蓄積された映像及びデータを用いて、産業機械のユーザが必要と思われる情報を提示する。対象となる産業機械としては、工作機械、数値制御装置、ロボットなどがある。
　映像管理装置１００が取得した映像は、産業機械の記録映像として用いられる。
　映像管理装置１００は、ＰＣ（パーソナルコンピュータ）、サーバ、携帯端末などの情報処理装置に適用される。具体的には、映像管理装置１００は、図１に示すように、工場の管理者が使用するＰＣ、クラウド上のサーバ、機械メーカや制御機械メーカのオペレータが使用するＰＣ、工場の管理者が使用する携帯端末などに適用されるが、これに限定されない。映像管理装置１００が提示する情報は、産業機械の管理（保守、生産管理など）に活用される。
　図１は、映像管理装置１００の適用範囲を示す。映像管理装置１００は、工場の管理者が使用するＰＣ（パーソナルコンピュータ）、外部ネットワーク及び内部ネットワーク上のサーバ、外部ネットワーク上のＰＣ、工場内の携帯端末などの様々な情報処理装置に適用できる。映像管理装置１００が取得した産業機械の記録映像は、産業機械の状態の把握、産業機械の故障の防止、生産管理の改善などに活用できる。
　また、映像管理装置１００は、数値制御装置、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｃｏｎｔｒｏｌｌｅｒ）などの情報処理装置に適用してもよい。
　図２は、映像管理装置１００のブロック図である。映像管理装置１００は、データ取得部１、映像取得部２、インデックス決定部３、決定条件記憶部４、シークバー作成部５を備える。
　データ取得部１は、データロガー、内部及び外部サーバ、ＰＬＣ、数値制御装置などから、数値制御装置及び工作機械に関するデータを取得する。データ取得部１が取得するデータには、数値制御装置の状態情報、操作入力情報、工作機械の制御情報などがある。数値制御装置の状態情報とは、数値制御装置の内部変数などに設定されており、数値制御装置のモード、工具オフセット量、アラーム、時刻、加工部品数、モーダル情報位置情報（座標系）などがある。操作入力情報には、タッチパネルの入力、物理的なボタン、ダイヤル、ハンドルによる入力などがある。工作機械の制御情報には、電力消費量、サーボモータへの付加、センサ値（温度や圧力）などがある。
　映像取得部２は、データロガー、内部及び外部サーバ、ＰＬＣ、数値制御装置などから、工場内の機械や設備の映像を取得する。本開示では、工作機械と数値制御装置が一体化したマシニングセンタの映像を取得する。図３は、マシニングセンタの外観である。本開示のマシニングセンタには、２台のカメラが設けられている。一方のカメラはテーブルに取り付けられたワークを撮影し、他方のカメラは操作盤を撮影する。操作盤の表示画面はキャプチャしてもよい。
　映像取得部２が取得する映像には時刻情報が付加されており、オペレータに有用な情報とマージすることができる。
　なお、本開示において、映像とは、動画と静止画の両方を含む。複数の静止画を連続的に表示した画像も映像に含む。
　また、本開示では、マシニングセンタの機内の映像と、操作盤を並べて表示するが、いずれか一方のみを表示してもよい。
　インデックス決定部３は、決定条件記憶部４の条件をもとに、映像のインデックスを決定する。
　決定条件記憶部４は、インデックスの決定条件を記憶する。決定条件は、機械の操作に関わるイベントと、映像のインデックスを対応付ける。複数のイベントは、時間的に連続し、同一種別に分類することができる。また、決定条件記憶部４は、突発的に生じるイベントと映像のインデックスも対応付ける。突発的に生じるイベントには、異常の発生などがある。
　インデックスの決定条件を５つ例示する。
　（１）繰り返しイベントをまとめる。繰り返しイベントとは、ジョグやハンドル操作など繰り返し入力するイベントである。図４では、「＋Ｘ軸移動（ＨＮＤ）」、「＋Ｚ軸移動（ＨＮＤ）」、「－Ｙ軸移動（ＨＮＤ）」、「＋Ｙ軸移動（ＨＮＤ）」というハンドル操作と、「カーソル操作＜下向き矢印＞押下」、「カーソル操作＜右向き矢印＞押下」というカーソル操作を１つの繰り返しイベントにまとめることができる。
　（２）作業単位でイベントをまとめる。決定条件記憶部４は、作業単位に対応するイベントの組み合わせを記憶する。図４では、「ＯＦＦＳＥＴ押下」、「［座標］キー押下」というイベントが発現している。「ＯＦＦＳＥＴボタン」が押下されると、工具オフセットの設定作業が開始する。マシニングセンタの場合、工具測定器が工具を計測し、「［座標］キー」の押下で工具長が設定される。イベントの組み合わせ（以下、イベントセットという）「ＯＦＦＳＥＴ押下」「「座標」キー押下」は、「工具オフセット設定」という作業に対応しているため、イベントを作業単位でまとめることができる。
　図４の「カーソル＜下向き矢印＞押下」、「カーソル＜右向き矢印＞押下」、「Ｇ５５設定」は、（１）と（２）を組み合わせたものである。「カーソル＜下向き矢印＞押下」、「カーソル＜右向き矢印＞押下」は、繰り返しイベント「カーソル操作」としてまとめることができる。イベント「カーソル操作」と「Ｇ５５設定」は、「Ｇ５５設定（ワーク座標系の設定）」という作業単位でまとめることができる。
　図５は、図４のイベントを基にインデックスを付けた例である。図５の例では、「軸移動（ＨＮＤ）」、「座標画面表示」、「Ｇ５５設定」をというインデックスが付けられる。各インデックスには、時刻「０２：３０」、「０２：５５」、「０２：５９」が付される。この時刻は、イベントセットの先頭となるイベントの開始時刻である。
　シークバー作成部５は、図５のような、映像の時刻とインデックスを対応づけたシークバーを作成する。インデックスを選択すると、選択したインデックスに対応する映像が表示される。
　（３）特定のイベントが発現したときにインデックスをつける。特定のイベントは、時間的に連続し、同一種別に分類できる複数のイベントではない。特定のイベントの１つとして産業機械の異常発生がある。異常発生のような確認の必要なイベントは、単体のイベントであってもインデックスを付す。
　異常検知の方法として、統計的手法、異常音、異常振動などの登録、映像分析、アラーム検知などがある。
　統計的手法では、データ取得部１の取得したデータ（例えば、振動、温度など）の正常データを求め、正常データからのずれを異常とする。異常音、異常振動の登録では特定の周波数、振幅などの異常値を登録する。逆に、振動の振幅、振動周波数などの正常値を登録し、正常値からのずれを異常としてもよい。特定の音や大きな音は、なんらかの異常を示すことがあり、そのような異常が発生した映像を特定することができる。
　映像分析では、産業機械の部材の認識、分類、位置検出など行い、産業機械の異常を解析する。本開示のマシニングセンタの場合、主軸と他の部材との軽微な干渉、部材の振動などを検出する。
　図６に映像分析を用いた異常検知の例を示す。図６は、シャンクと工具が取り付けられた主軸を回転する様子を示す。シャンクは、工具を保持する専用の保持具である。工具は、シャンクを介して主軸に取り付けられる。工具交換にて取付不具合があった場合、工具とシャンクが主軸に対して振動しながら回転する。インデックス決定部３は、公知の映像解析技術を用いて、工具、シャンク、主軸を認識し、主軸に対する工具とシャンクの位置関係を出力する。
　インデックス決定部３は、映像に含まれる部材の種類、及び位置関係から、異常な振動の発生を検出し、映像にインデックスをつける。
　アラームからも異常の発生を検知できる。数値制御装置のシステムプログラムは、マシニングセンタの異常の発生を検知するとアラームを出力する。
　また、異常の発生とは関連なく特定の周波数の音声、特定の映像などが検知されたときに、インデックスをつけてもよい。
　図７は、（３）の方法を用いて作成されたインデックスの一例である。時刻「０２：３０」にインデックス「特定の映像を検知」、時刻「０２：５５」にインデックス「特定の音を検知」、時刻「０２：５９」にインデックス「アラーム発生」を付す。図７の「特定の映像」、「特定の音」、「アラーム」は、例えば、「工具の干渉映像」、「閾値を超える音量」、「アラーム（過負荷）」のように具体的に記述してもよい。
　（４）イベントセットを基に作業単位でインデックスをつける。決定条件記憶部４は、イベントセットと作業を対応付ける。イベントセットは、開始イベント、通常のイベント、トリガイベントから構成される。インデックス決定部３は、データ取得部１が取得したデータを検索し、トリガイベントを検出する。インデックス決定部３は、検出したトリガイベントに対応するイベントセットを読み出し、過去のデータを検索し、検出したトリガイベントに対応するイベントセットが過去に発現したか否かを検索する。検出したトリガイベントに対応するイベントセットが過去に発現した場合、イベントセットに対応する作業を決定する。
　図８にイベントセットの一例を示す。図８において、作業「工具オフセット計測」は、開始イベント「工具交換」、３つのイベント「工具画面に切り替え」、「ジョグ又はハンドル操作（繰り返し操作を含む）」、「工具計測器に接触」、トリガイベント「工具オフセットのデータ設定」の５つのイベントからなるイベントセットに対応付けられている。
　作業「ワーク座標計測」は、開始イベント「工具交換」、３つのイベント「ワーク座標画面に切り替え」、「ジョグ又はハンドル操作（繰り返し操作を含む）」、「ワークとセンサの接触」、トリガイベント「ワーク座標のデータ設定」の５つのイベントからなるイベントセットに対応付けられている。
　図９は、作業「工具の取り付け、取り外し」を作業単位としてインデックスを付した例である。作業「工具の取り付け、取り外し」は、イベントセット「工具マガジンの開扉」、「工具ポッドのアンロック」、「工具取付の検知」、「工具ポッドのロック」、「工具マガジンの閉扉」に対応付けられる。このイベントセットの開始イベントは「工具マガジンの開扉」、トリガイベントは「工具マガジンの閉扉」である。
　インデックス決定部３は、データ取得部１が取得したデータを検索し、トリガイベント「工具マガジンの閉扉」を検出すると、トリガイベント「工具マガジンの閉扉」に対応するイベントセットを読み出す。過去のデータを検索し、イベントセットに含まれるトリガが過去に発現した場合には、作業「工具の取り付け、取り外し」が実行されたと決定する。
　作業が決定すると、図９に示すように、作業「工具の取り付け、取り外し」のインデックスがつけられる。
　（５）特定のモードに切り替えられたときにインデックスをつける。モードの切り替えは、時間的に連続し、同一種別に分類できる複数のイベントではない。ミスが発生しやすいモードのように確認の必要なイベントは、単体のイベントであってもインデックスを付す。例えば、数値制御装置のジョグ又はハンドルモードでは、手動で軸を操作する。この際に人為的な操作ミスが発生する可能性がある。一方、メモリモードは、プログラムの自動運転であるので、何らかのトラブルが発生する可能性はあるが、人為的なミスは、自動運転前に設定したなんらかの操作が原因である。メモリモードでは、人為的なミスが含まれないモードなのでインデックスを付さない。
　図１０は、モードの切り替え（ジョグモード）に基づき映像にインデックスを付した例である。「運転画面を表示」しているときに、イベント「ジョグモードに変更」が発生すると、イベントの発生をインデックスとして付す。
　図１１は、（１）から（５）の方法を用いて映像にインデックスをつけた例である。映像には、「操作」、「ワーク座標設定」、「機械軸の異常動作」、「加工のトラブル」などのインデックスがつけられている。インデックスを選択すると、選択したインデックスに対応する映像が再生される。インデックスは、オペレータの検索作業を補助する。
　以下、本開示を適用した映像管理装置１００のハードウェア構成について説明する。図１２は、映像管理装置１００のハードウェア構成図である。映像管理装置１００は、図１２に示すように、映像管理装置１００を全体的に制御するＣＰＵ１１１、プログラムやデータを記録するＲＯＭ１１２、一時的にデータを展開するためのＲＡＭ１１３を備え、ＣＰＵ１１１はバスを介してＲＯＭ１１２に記録されたシステムプログラムを読み出し、システムプログラムに従って映像管理装置１００の全体を制御する。
　不揮発性メモリ１１４は、例えば、図示しないバッテリでバックアップされるなどして、映像管理装置１００の電源がオフされても記憶状態が保持される。不揮発性メモリ１１４には、インタフェース１１５、１１８、１１９を介して外部装置１２０から読み込まれたプログラムや入力部３０を介して入力されたユーザ操作などの各種データが記憶される。
　インタフェース１１５は、映像管理装置１００とアダプタ等の外部装置１２０と接続を仲介する。外部装置１２１側からはプログラムや各種パラメータ等が読み込まれる。
　　１００　映像管理装置
　　１　　　データ取得部
　　２　　　映像取得部
　　３　　　インデックス決定部
　　４　　　決定条件記憶部
　　５　　　シークバー作成部
　　１１１　ＣＰＵ
　　１１２　ＲＯＭ
　　１１３　ＲＡＭ
　　１１４　不揮発性メモリ

Claims (9)

  1. 　産業機械の機械状態を示すデータを取得するデータ取得部と、
    　前記産業機械の動作を示す映像を取得する映像取得部と、
    　前記産業機械の操作に関するイベントを基に、前記映像に付すインデックスを決定する決定条件を記憶する決定条件記憶部と、
    　前記データ取得部が取得したデータから、操作に関するイベントを検索し、前記決定条件に基づき、時間的に連続する複数のイベントであって、同一種別に分類されるイベントを基に、前記映像に付すインデックスを決定するインデックス決定部と、
    　を備える映像管理装置。
  2. 　前記インデックス決定部は、特定のイベントを繰り返す映像と１つのインデックスと対応付ける、請求項１記載の映像管理装置。
  3. 　前記決定条件記憶部は、前記産業機械における作業と前記産業機械の操作に関するイベントの組み合わせ、及び前記産業機械における作業とインデックスの対応を記憶し、
    　前記インデックス決定部は、前記産業機械の操作に関するイベントの組み合わせが、前記データ取得部が取得したデータに含まれる場合、前記産業機械における作業に対応付けられたインデックスを基に、前記映像に付すインデックスを決定する、請求項１記載の映像管理装置。
  4. 　前記決定条件記憶部は、特定のイベントを記憶し、
    　前記インデックス決定部は、前記特定のイベントが前記データ取得部の取得したデータに含まれる場合、前記特定のイベントを基に、映像に付すインデックスを決定する、請求項１記載の映像管理装置。
  5. 　前記特定のイベントは、前記産業機械の異常を示すイベントである、請求項４記載の映像管理装置。
  6. 　前記決定条件記憶部は、前記産業機械における作業を示すトリガイベントと、前記トリガイベントに対応するイベントの組み合わせであるイベントセットとを記憶し、
    　前記インデックス決定部は、前記データ取得部の取得したデータを検索し、前記トリガイベントに対応するデータが前記データ取得部の取得したデータに含まれ、且つ、前記トリガイベントに対応するイベントセットに対応するデータが前記データ取得部の取得したデータに含まれるとき、前記イベントセットに対応する作業に基づき、前記映像に付すインデックスを決定する、請求項１記載の映像管理装置。
  7. 　前記決定条件記憶部は、前記産業機械の特定のモードを記憶し、
    　前記インデックス決定部は、前記データ取得部の取得したデータを検索し、前記産業機械のモードが前記特定のモードに切り替えられるイベントを検出すると、前記モードの切り替えに基づき、前記映像に付すインデックスを決定する、請求項１記載の映像管理装置。
  8. 　前記インデックスは、前記映像の時刻と紐づけられ、前記インデックスを選択することにより、前記インデックスに紐づけられた映像を表示する、請求項１記載の映像管理装置。
  9. 　産業機械の操作に関するイベントを基に、前記産業機械の動作を示す映像に付すインデックスを決定する決定条件を記憶し、
    　１つ又は複数のプロセッサが実行することにより、
    　産業機械の状態を示すデータを取得し、
    　前記産業機械の動作を示す映像を取得し、
    　取得した前記データから操作に関するイベントを検索し、前記決定条件に基づき、時間的連続する複数のイベントであって、同一種別に分類されるイベントを基に、前記映像に付すインデックスを決定する、
    　前記プロセッサが読み取り可能な命令を記憶する記憶媒体。
PCT/JP2022/020252 2022-05-13 2022-05-13 映像管理装置、及びコンピュータが読み取り可能な記憶媒体 WO2023218655A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/020252 WO2023218655A1 (ja) 2022-05-13 2022-05-13 映像管理装置、及びコンピュータが読み取り可能な記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/020252 WO2023218655A1 (ja) 2022-05-13 2022-05-13 映像管理装置、及びコンピュータが読み取り可能な記憶媒体

Publications (1)

Publication Number Publication Date
WO2023218655A1 true WO2023218655A1 (ja) 2023-11-16

Family

ID=88730193

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/020252 WO2023218655A1 (ja) 2022-05-13 2022-05-13 映像管理装置、及びコンピュータが読み取り可能な記憶媒体

Country Status (1)

Country Link
WO (1) WO2023218655A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150230A (ja) * 2001-11-14 2003-05-23 Sharp Corp 作業画像管理システムおよび作業画像管理方法
JP2010282246A (ja) * 2009-06-02 2010-12-16 Hitachi Ltd プラント運転監視装置
JP2016099930A (ja) * 2014-11-26 2016-05-30 横河電機株式会社 イベント解析装置、イベント解析方法およびコンピュータプログラム
JP2017169181A (ja) * 2016-03-10 2017-09-21 株式会社ｓｍａｒｔ−ＦＯＡ 再生装置
JP2017167880A (ja) * 2016-03-17 2017-09-21 ファナック株式会社 工作機械の稼働管理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150230A (ja) * 2001-11-14 2003-05-23 Sharp Corp 作業画像管理システムおよび作業画像管理方法
JP2010282246A (ja) * 2009-06-02 2010-12-16 Hitachi Ltd プラント運転監視装置
JP2016099930A (ja) * 2014-11-26 2016-05-30 横河電機株式会社 イベント解析装置、イベント解析方法およびコンピュータプログラム
JP2017169181A (ja) * 2016-03-10 2017-09-21 株式会社ｓｍａｒｔ−ＦＯＡ 再生装置
JP2017167880A (ja) * 2016-03-17 2017-09-21 ファナック株式会社 工作機械の稼働管理方法およびプログラム

Similar Documents

Publication Publication Date Title
US20200370996A1 (en) System And Method For Operational-Data-Based Detection Of Anomaly Of A Machine Tool
WO2018105175A1 (ja) 情報処理方法、情報処理システム、および情報処理装置
JP6638370B2 (ja) 制御装置、監視システム、制御プログラムおよび記録媒体
CN102441817B (zh) 工作历史管理方法以及工作历史管理装置
US7590468B2 (en) Robot system
US7571022B2 (en) System and method for monitoring machine health
CN107390649B (zh) 一种项目型产品加工物联网支持系统
JP7151108B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN101546191A (zh) 流水线作业数据采集及管控方法和系统
CN111124796A (zh) 数据生成装置、调试装置、数据生成方法及数据生成程序
CN111922784A (zh) 状态监控装置和方法以及存储介质和计算机装置
JP2018088177A (ja) 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
JP6922239B2 (ja) 工程監視装置、工程監視装置の制御方法およびプログラム
JP6956347B2 (ja) トレースデータ取得システム、トレースデータ取得方法、及びプログラム
WO2023218655A1 (ja) 映像管理装置、及びコンピュータが読み取り可能な記憶媒体
JP6845204B2 (ja) ノウハウ作成装置、ノウハウ作成方法及びノウハウ作成プログラム
JP7167607B2 (ja) 工作機械
CN101901009A (zh) 流水线作业数据采集及管控系统
JP7456111B2 (ja) 生産可視化システム
JP2001205545A (ja) 工具交換時期判定システム
WO2023218653A1 (ja) 映像管理装置、及びコンピュータが読み取り可能な記憶媒体
WO2023218651A1 (ja) 映像関連情報決定装置、及びコンピュータが読み取り可能な記憶媒体
WO2023218643A1 (ja) 映像生成装置、及びコンピュータが読み取り可能な記憶媒体
JP2020055043A (ja) 工作機械
JP5297308B2 (ja) 数値制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22941731

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024520226

Country of ref document: JP

Kind code of ref document: A