WO2023218653A1 - 映像管理装置、及びコンピュータが読み取り可能な記憶媒体 - Google Patents

映像管理装置、及びコンピュータが読み取り可能な記憶媒体 Download PDF

Info

Publication number
WO2023218653A1
WO2023218653A1 PCT/JP2022/020250 JP2022020250W WO2023218653A1 WO 2023218653 A1 WO2023218653 A1 WO 2023218653A1 JP 2022020250 W JP2022020250 W JP 2022020250W WO 2023218653 A1 WO2023218653 A1 WO 2023218653A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
cause
event
time
management device
Prior art date
Application number
PCT/JP2022/020250
Other languages
English (en)
French (fr)
Inventor
真一 尾関
誠彰 相澤
祐樹 杉田
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to PCT/JP2022/020250 priority Critical patent/WO2023218653A1/ja
Publication of WO2023218653A1 publication Critical patent/WO2023218653A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring

Definitions

  • the present invention relates to a video management device and a computer-readable storage medium.
  • a data logger Industrial machines and machines detected by sensors installed around them are recorded in a data collection device called a data logger.
  • a large number of data loggers are installed in the factory to record the status of the machines in the factory.
  • a PLC Programmable Logic Controller
  • a numerical controller that controls a machine tool also include a recording section therein, and store control information and status information.
  • the collected data is converted into a format that is easy for operators to view.
  • the quality control system of Patent Document 1 includes "an image storage means for storing photographed images in each process in association with each other, an inspection means for inspecting solder mounting quality from the photographed images of the final process, and a system for detecting a defect when a defect is detected by the inspection. and candidate event selection means for selecting one or more events that may cause the defect from among events that may occur in the design stage or intermediate process of manufacturing, and by referring to captured images of the intermediate process.
  • an event analysis means for determining the degree of occurrence of each candidate event
  • a cause analysis means for estimating the cause of the defect based on a combination of the degree of occurrence of each candidate event.
  • the candidate event selection means selects one or more events that may be the cause of the defect from among events that may occur in the design stage or intermediate process of manufacturing as candidate events, and
  • the analysis means determines the degree of occurrence of each candidate event by referring to the captured image of the intermediate process, and the cause analysis means estimates the cause of the defect based on a combination of the degree of occurrence of each candidate event, A captured image of a substrate in which an event exceeding the allowable occurrence rate has been detected is displayed as an actual image.
  • Patent Document 1 the cause of the defect in the printed circuit board manufacturing process is estimated, and an image of the printed circuit board taken in the process that is thought to be the cause of the defect is displayed.
  • the operator may manually determine the cause of the defect.
  • the operator investigates the operation history, alarm information, and footage taken of the machine to identify the cause.
  • it is troublesome to search for the relevant part of the video while assuming the cause of the trouble.
  • a video generation device that is an aspect of the present disclosure includes a data acquisition unit that acquires data indicating the mechanical state of an industrial machine, a video acquisition unit that acquires a video that shows the operation of the industrial machine, and a video analysis unit that analyzes the video.
  • a cause candidate determination unit that detects occurrence of an event from at least one of the data, the video, and the analysis result of the video, and determines a cause candidate for a trouble in the industrial machine based on a combination of events;
  • the present invention includes a time recording unit that records the time at which an event associated with a candidate occurs, and a time presentation unit that associates and presents the time at which the event occurred and a video at that time.
  • a storage medium that is an aspect of the present disclosure is executed by one or more processors to obtain data indicating the state of an industrial machine, obtain an image indicating the operation of the industrial machine, analyze the image, The occurrence of an event is detected from at least one of data, video, and video analysis results, and based on the combination of events, a candidate cause of trouble in industrial machinery is determined, and an event associated with the candidate cause is detected.
  • video search can be made more efficient.
  • FIG. 3 is a diagram showing the scope of application of the video management device.
  • 1 is a block diagram of a video management device according to a first disclosure
  • FIG. It is a diagram showing an example of a machining center. An example of cause determination conditions is shown below.
  • FIG. 3 is a diagram showing an example of a timeline. It is a flowchart explaining the operation of the video management device.
  • FIG. 2 is a block diagram of a video management device according to a second disclosure.
  • FIG. 2 is a diagram showing an example of a neural network.
  • FIG. 3 is a diagram showing an example of a timeline.
  • FIG. 2 is a hardware configuration diagram of a video management device.
  • the video management device 100 acquires a video of an industrial machine and data indicating the state of the industrial machine, and when a trouble occurs with the industrial machine, it analyzes the data and video, determines possible causes of the trouble, and troubleshoots the problem. Record the time when an event determined to be a cause candidate occurred.
  • Target industrial machinery includes, but is not limited to, machine tools, numerical control devices, and robots.
  • the video management device 100 is applied to an information processing device such as a PC (personal computer), a server, or a mobile terminal.
  • the video management device 100 includes a PC used by a factory manager, a server on the cloud, a PC used by an operator of a machine manufacturer or a control machine manufacturer, and a PC used by a factory manager. This applies to, but is not limited to, mobile terminals.
  • the video management device 100 creates management information for video of industrial machinery. Further, the video management device 100 may be applied to an information processing device such as a numerical control device or a PLC (Programmable Logic Controller).
  • FIG. 2 is a block diagram of the video management device 100 of the first disclosure.
  • the video management device 100 includes a data acquisition section 1, a video acquisition section 2, a video analysis section 3, a cause condition storage section 4, a cause candidate determination section 5, a time recording section 6, and a timeline creation section 7.
  • the data acquisition unit 1 acquires data regarding industrial machinery.
  • the data acquired by the data acquisition unit 1 includes industrial machine status information, operation input information, industrial machine control information, and the like.
  • Industrial machine status information includes numerical control device mode, tool offset amount, alarm, time, number of processed parts, modal information, position information (coordinate system) machine tool power consumption, servo motor load, and sensor measurement. data (temperature, pressure), etc.
  • the operation input information is an operation input from an operator to a touch panel, a button, a dial, a handle, etc.
  • the image acquisition unit 2 acquires images of machines and equipment in the factory from data loggers, internal and external servers, PLCs, numerical control devices, and the like.
  • FIG. 3 shows the appearance of the machining center.
  • At least two cameras are provided in the machining center of the present disclosure. One camera images the workpiece attached to the table, and the other camera images the operation panel. When photographing the operation panel, you may photograph only the buttons and dials and capture the operation screen.
  • the video acquired by the video acquisition unit 2 is, for example, a recorded video of an industrial machine, such as a video of a drive recorder of a car. This video is used to identify the cause of any trouble that occurs with industrial machinery. Since the video acquired by the video acquisition unit 2 is recorded for a long time, it is difficult to identify the location that causes the trouble.
  • the video management device 100 of the present disclosure assists in identifying such causes and makes video searches more efficient. Note that in the present disclosure, video includes both moving images and still images. The video also includes multiple consecutive still images.
  • the video analysis unit 3 analyzes the video acquired by the video acquisition unit 2 using a known video analysis technique.
  • the video analysis unit 3 determines interference of the spindle, vibration of the object, discharge area of cutting fluid, operation of the operation panel, etc. based on the positional relationship, type, attribute, etc. of the object.
  • the cause candidate determination unit 5 determines the cause condition storage unit 4 based on the machine tool status information, machine tool operation information, numerical control device operation information, and the analysis results of the video analysis unit acquired by the data acquisition unit 1. It is determined whether the determination conditions (combination of events) stored in are occurring, and if the event is occurring, a cause candidate corresponding to the event is determined.
  • the cause condition storage unit 4 will be explained with reference to FIG.
  • the cause condition storage unit 4 stores determination conditions for cause candidates.
  • three troubles are exemplified: "The operation does not follow the desired machining trajectory,”"insufficient machining accuracy,” and "alarm: subprogram call error.”
  • the trouble "The operation does not follow the desired machining trajectory" is associated with one cause candidate, "setting error in the main program file.”
  • the cause candidate "main program file setting error” is associated with two determination conditions (events): the operation "main program setting” and the operation screen image "main program selection on the program list screen.”
  • the cause candidate determining unit 5 determines whether or not these two events have occurred, and if these two events have occurred, the cause candidate determination unit 5 determines whether or not these two events have occurred. It is judged as a possible cause of the problem.
  • the cause candidate ⁇ minor spindle collision'' is the condition of the machine tool ⁇ load on the feed axis'', the operation ⁇ manual axis operation'', the condition of the numerical control device ⁇ switching to jog or handle mode'', and the image of the machine tool. It is associated with the four judgment conditions of "main axis interference.”
  • the cause candidate determining unit 5 determines whether or not these four events have occurred, and if the four events have occurred, it determines "minor spindle collision" as a candidate cause of the trouble "insufficient machining accuracy". do.
  • the cause candidate "thermal displacement" for the trouble "insufficient machining accuracy” is associated with one determination condition: the operation "enable thermal displacement correction.”
  • the cause candidate determination unit 5 determines whether or not this event has occurred, and if this event has occurred, determines "thermal displacement” as a cause candidate for the trouble "insufficient machining accuracy.”
  • the cause candidate "ambient temperature” for the trouble "insufficient machining accuracy” is associated with one determination condition: "rapid temperature change" in the state of the machine tool.
  • the cause candidate determination unit 5 determines whether or not this event has occurred, and if this event has occurred, it determines "ambient temperature” as a cause candidate for the trouble "insufficient machining accuracy.”
  • the cause candidate for the problem "insufficient machining accuracy", ⁇ rotary axis table abnormality'', is associated with one judgment condition, ⁇ repeated forward and reverse rotation of the rotary axis table'', which is an image of the machine tool.
  • the cause candidate determination unit 5 determines whether or not this event has occurred, and if this event has occurred, it determines that "rotary axis table abnormality" is a cause candidate for the trouble "insufficient machining accuracy.”
  • the cause candidate "tool wear” for the trouble "insufficient machining accuracy” is associated with two judgment conditions: machine tool status "tool used or not” and operation "execution of machining, measurement of tool after machining”.
  • the cause candidate determination unit 5 determines whether or not these two events have occurred, and if the two events have occurred, it determines "tool wear” to be a cause candidate for the trouble "insufficient machining accuracy.”
  • the candidate cause of the trouble "insufficient machining accuracy", ⁇ temperature of cutting fluid'', is associated with one determination condition: the state of the machine tool, ⁇ low temperature''.
  • the cause candidate determining unit 5 determines whether or not this event has occurred, and if this event has occurred, it determines "temperature of cutting fluid" as a candidate cause of the trouble "insufficient machining accuracy”.
  • the candidate cause of the problem "insufficient machining accuracy", ⁇ cutting fluid discharge abnormality'', is associated with one judgment condition, ⁇ discharge deviation'', which is an image of the machine tool.
  • the cause candidate determination unit 5 determines whether or not this event has occurred, and if this event has occurred, it determines that "cutting fluid discharge abnormality" is a cause candidate for the trouble "insufficient machining accuracy.”
  • the trouble "subprogram call error” is associated with two possible causes: “subprogram not stored” and "subprogram name change.”
  • the cause candidate "subprogram not stored” for the trouble “subprogram call error” is associated with one determination condition of the operation "storage to the corresponding folder (none)”.
  • the cause candidate determining unit 5 determines whether or not this event has occurred, and if "storing subprogram” has not been executed, it determines that the event "storing to the corresponding folder" has not occurred.
  • Subprogram name change is associated with three judgment conditions: operation "Name change", numerical control device status "Name change", and operation screen image "Name change” It is being The cause candidate determination unit 5 determines whether or not these three events have occurred, and determines that "subprogram name change" is a cause candidate for the trouble "subprogram call error.”
  • the time recording unit 6 records the time when an event that is a candidate for the cause of trouble occurs, in association with the time of the video.
  • the timeline creation unit (time presentation unit) 7 creates a timeline showing the time when an event associated with a trouble cause candidate occurred.
  • FIG. 5 shows an example of a timeline.
  • a triangular symbol indicates the occurrence of a trouble
  • a round symbol indicates the time when the event occurred.
  • the names of cause candidates associated with the event are displayed around the symbol.
  • the timeline may display not only "causal candidates" but also "events.”
  • the round symbols are associated with the video at the time indicated by the timeline.
  • a video of an event that is a candidate cause will be played. For example, when a trouble "insufficient machining accuracy" occurs and “slight spindle collision" is determined as a possible cause, the judgment conditions are "load on the feed axis,""manual axis operation,"”jog or handle Symbols corresponding to the events "Switch to mode” and "Spindle interference" are displayed.
  • you select each symbol you can see an image when the load on the feed axis increases, an image when the spindle is manually operated, an image when switching to jog or handle mode, and an image when the spindle changes.
  • a video will be displayed when there was some kind of interference.
  • the manager of the industrial machine can judge whether or not a condition determined to be a cause candidate is an actual cause while watching the video.
  • FIG. 6 is a flowchart illustrating the operation of the video management device 100 of the present disclosure.
  • the video management device 100 acquires a video (step S1) and data (step S2).
  • the video management device 100 analyzes the video and determines interference of the spindle, vibration of the object, discharge area of cutting fluid, etc. based on the positional relationship, type, attribute, etc. of the photographed object (step S3).
  • the video management device 100 reads cause candidates corresponding to the trouble occurring in the industrial machine (step S4).
  • the video management device 100 reads out the determination conditions for cause candidates from the cause condition storage unit 4, and identifies events that satisfy the determination conditions for the cause candidates based on the data acquired by the data acquisition unit 1 and the analysis results of the video analysis unit 3. Search for expression (step S5).
  • the video management device 100 determines cause candidates that satisfy the determination conditions (step S6).
  • the video management device 100 records the time when an event that is a candidate for the cause of the trouble occurs, in association with the time of the video (step S7).
  • the video management device 100 creates a timeline that displays the time when an event that is a candidate for the cause of the trouble occurs using symbols (step S8). Names of cause candidates, event names, etc. are attached to symbols on the timeline. When an industrial machine manager selects a symbol, a video related to the event is displayed.
  • FIG. 7 is a block diagram of a video management device 100 equipped with a learning function according to the second disclosure.
  • the video management device 100 includes a data acquisition section 1, a video acquisition section 2, a video analysis section 3, a learning model storage section 8, an inference section 9, a time recording section 6, and a timeline creation section 7.
  • the video management device 100 of the second disclosure includes a learning model storage section 8 and an inference section 9.
  • the learning model storage unit 8 stores a learning model whose input is data and the result of video analysis (or video), and whose output is the time of the causative event.
  • FIG. 8 shows an example of learning.
  • the state information of the industrial machine, the operation input information, the control information of the industrial machine, the results of video analysis (or video) of the industrial machine, etc. are input, the combination of conditions for each time is learned, and the correct answer data is input.
  • the weight of the combination included in the history is increased.
  • the model used for learning it is desirable to use a model that can learn history, such as a recurrent neural network. This creates a learning model that estimates causes from combinations of events.
  • the learning model storage unit stores a learning model that receives data and video analysis results (or video) as input, and outputs a combination of trouble cause candidates and events linked to the cause candidates.
  • the inference unit 9 inputs data and video analysis results (or video) to the learning model, and outputs cause candidates and combinations of events linked to the cause candidates.
  • the time recording unit 6 records the time of the event linked to the cause candidate.
  • the timeline creation unit 7 creates a timeline showing the time when an event that is a candidate cause of a trouble occurs.
  • the timeline may display the probability that the cause candidate corresponding to the event is actually the cause. Numbers ranked in descending order of probability may be displayed.
  • FIG. 9 is an example of a timeline.
  • the event display area displays the probability that the cause candidate associated with the event is actually the cause of the trouble.
  • the video management device 100 of the second disclosure the data acquired by the data acquisition unit 1, the analysis results (or video) of the video acquired by the video acquisition unit 2, and troubles in industrial machinery are input, A learning model is stored in which the cause of trouble is correct data. Using this learning model, the video management device 100 outputs a combination of a cause candidate for the input and an event linked to the cause candidate, and records the time of the event.
  • FIG. 10 is a hardware configuration diagram of the video management device 100.
  • the video management device 100 includes a CPU 111 that controls the video management device 100 as a whole, a ROM 112 that records programs and data, and a RAM 113 that temporarily expands data.
  • the system program recorded in the ROM 112 is read out through the ROM 112, and the entire video management device 100 is controlled in accordance with the system program.
  • the nonvolatile memory 114 is backed up by, for example, a battery (not shown), so that its storage state is maintained even when the power of the video management device 100 is turned off.
  • the nonvolatile memory 114 stores various data such as programs read from the external device 120 via the interfaces 115, 118, and 119 and user operations input via the input unit 71.
  • the interface 115 is an interface 115 for connecting the video management device 100 to an external device such as an adapter. Programs and various parameters are read from the external device.
  • Video management device 1 Data acquisition unit 2 Video acquisition unit 3 Video analysis unit 4 Cause condition storage unit 5 Cause candidate determination unit 6 Time recording unit 7 Timeline creation unit 8 Learning model storage unit 9 Inference unit 111 CPU 112 ROM 113 RAM 114 Non-volatile memory

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

産業機械の記録映像を管理する映像管理装置であって、産業機械の状態を示すデータを取得し、産業機械の動作を示す映像を取得し、前記映像を解析し、前記データと、前記映像と、前記映像の解析結果の少なくとも何れか１つからイベントの発現を検知し、前記イベント組み合わせを基に、産業機械のトラブルの原因候補を判定し、原因候補に対応付けられたイベントの発現した時刻を記録し、イベントの発現した時刻と、時刻における映像とを対応付けて提示する。

Description

映像管理装置、及びコンピュータが読み取り可能な記憶媒体
　本発明は、映像管理装置、及びコンピュータが読み取り可能な記憶媒体に関する。
　現在、産業機械の状態を監視し、制御の効率化や機械の保全に活用する技術が存在する。このような技術では、産業機械に関連するデータを収集し、収集したデータを分析することにより、産業機械の状態を把握し、産業機械の故障を防止したり、製品の品質を確認したり、生産管理の改善に活用したりしている。
　産業機械、及びその周囲に設けられたセンサが検出した機械は、データロガーと呼ばれるデータ収集装置に記録される。工場内には、多数のデータロガーが設けられており、工場内の機械の状態を記録している。
　また、機械の動作順序を制御するＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｃｏｎｔｒｏｌｌｅｒ）や工作機械を制御する数値制御装置（Ｎｕｍｅｒｉｃａｌ　Ｃｏｎｔｒｏｌｌｅｒ）も内部に記録部を備えており、制御情報や状態情報を記憶している。
　収集したデータは、オペレータが視認しやすい形式に変換される。特許文献１の品質管理システムには、「各工程における撮影画像を関連付けて記憶する画像記憶手段と、最終工程の撮影画像から半田実装品質を検査する検査手段と、検査により不良が検出された場合に、設計段階もしくは製造の中間工程にて生じる可能性のある事象のうち当該不良の原因となり得る１以上の事象を候補事象として選び出す候補事象選択手段と、中間工程の撮影画像を参照することによって、各候補事象の発生度合を判定する事象解析手段と、各候補事象の発生度合の組み合わせに基づいて、当該不良の原因を推定する原因分析手段と、を備える」と記載されている。特許文献１によれば、プリント基板に部品を半田付けする一連の工程の中で、各工程においてプリント基板を撮像し、最終工程の撮像手段から半田実装品質を検査する。検査により不良が検出された場合に、候補事象選択手段が、設計段階もしくは製造の中間工程にて生じる可能性のある事象のうち当該不良の原因となり得る１以上の事象を候補事象として選び出し、事象解析手段が、中間工程の撮像画像を参照することによって、各候補事象の発生度合を判定し、原因分析手段が、各候補事象の発生度合の組み合わせに基づいて、当該不良の原因を推定し、許容発生度合を超える事象が検出された基盤の撮像映像を現物画像として表示する。
特開２００６－２１６５８９号公報
　特許文献１では、プリント基板の作成工程における不良の原因を推定し、不良原因と思われる工程で撮影されたプリント基板の画像を表示する。
　一方、オペレータが手動で不良の原因を判定することもある。なんらかのトラブルが発生すると、オペレータは、操作履歴、アラーム情報、機械を撮影した映像などを調査し、原因を特定する。しかしながら、トラブルの原因を想定しながら、映像の該当箇所を探すのは煩雑である。
　産業機械のデータ管理の分野では、映像検索の効率化という課題がある。
　本開示の一態様である映像生成装置は、産業機械の機械状態を示すデータを取得するデータ取得部と、産業機械の動作を示す映像を取得する映像取得部と、映像を解析する映像解析部と、データと、映像と、映像の解析結果の少なくとも何れか１つからイベントの発現を検知し、イベントの組み合わせを基に、産業機械のトラブルの原因候補を判定する原因候補判定部と、原因候補に対応付けられたイベントの発現した時刻を記録する時刻記録部と、イベントの発現した時刻と時刻における映像とを対応付けて提示する時刻提示部と、を備える。
　本開示の一態様である記憶媒体は、１つ又は複数のプロセッサが実行することにより、産業機械の状態を示すデータを取得し、産業機械の動作を示す映像を取得し、映像を解析し、データと、映像と、映像の解析結果の少なくとも何れか１つからイベントの発現を検知し、イベントの組み合わせを基に、産業機械のトラブルの原因候補を判定し、原因候補に対応付けられたイベントの発現した時刻を記録し、イベントの発現した時刻と時刻における映像とを対応付けて提示する、プロセッサが読み取り可能な命令を記憶する。
　本発明の一態様により、映像検索を効率化できる。
映像管理装置の適用範囲を示す図である。 第１の開示の映像管理装置のブロック図である。 マシニングセンタの一例を示す図である。 原因判定条件の一例を示す。 タイムラインの一例を示す図である。 映像管理装置の動作を説明するフローチャートである。 第２の開示の映像管理装置のブロック図である。 ニューラルネットワークの一例を示す図である。 タイムラインの一例を示す図である。 映像管理装置のハードウェア構成図である。
　以下、本開示を適用した映像管理装置１００について説明する。映像管理装置１００は、産業機械を撮影した映像と、産業機械の状態を示すデータを取得し、産業機械でトラブルが生じた場合、データと映像を解析し、トラブルの原因候補を判定し、トラブルの原因候補と判定されたイベントが発現した時刻を記録する。対象となる産業機械としては、工作機械、数値制御装置、ロボットなどがあるが、これに限定されない。
　映像管理装置１００は、ＰＣ（パーソナルコンピュータ）、サーバ、携帯端末などの情報処理装置に適用される。具体的には、映像管理装置１００は、図１に示すように、工場の管理者が使用するＰＣ、クラウド上のサーバ、機械メーカや制御機械メーカのオペレータが使用するＰＣ、工場の管理者使用する携帯端末などに適用されるが、これに限定されない。映像管理装置１００は、産業機械を撮影した映像の管理情報を作成する。
　また、映像管理装置１００は、数値制御装置、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｃｏｎｔｒｏｌｌｅｒ）などの情報処理装置に適用してもよい。
［第１の開示］
　図２は、第１の開示の映像管理装置１００のブロック図である。映像管理装置１００は、データ取得部１、映像取得部２、映像解析部３、原因条件記憶部４、原因候補判定部５、時刻記録部６、タイムライン作成部７を備える。
　データ取得部１は、産業機械に関するデータを取得する。データ取得部１が取得するデータには、産業機械の状態情報、操作入力情報、産業機械の制御情報などがある。
　本開示では、数値制御装置と工作機械が一体化したマシニングセンタを産業機械の例とする。産業機械の状態情報としては、数値制御装置のモード、工具オフセット量、アラーム、時刻、加工部品数、モーダル情報、位置情報（座標系）工作機械の電力消費量、サーボモータの負荷、センサで計測したデータ（温度や圧力）などがある。操作入力情報とは、タッチパネル、ボタン、ダイヤル、ハンドルなどへのオペレータからの操作入力である。
　映像取得部２は、データロガー、内部及び外部サーバ、ＰＬＣ、数値制御装置などから、工場内の機械や設備の映像を取得する。本開示では、工作機械と数値制御装置が一体化したマシニングセンタの映像を取得する例を説明する。図３は、マシニングセンタの外観である。本開示のマシニングセンタに少なくとも２台のカメラが設けられている。一方のカメラはテーブルに取り付けられたワークを撮像し、他方のカメラは操作盤を撮影する。操作盤の撮影では、ボタンやダイヤルのみを撮影し、操作画面はキャプチャしてもよい。
　映像取得部２が取得する映像は、例えば、自動車のドライブレコーダの映像のような、産業機械の記録映像である。この映像は、産業機械に何らかのトラブルが発生したときに、トラブルの原因を特定するために用いられる。映像取得部２が取得する映像は、長時間記録しているため、トラブルの原因となる箇所の特定が難しい。本開示の映像管理装置１００は、このような原因の特定を補助し、映像検索を効率化する。
　なお、本開示において、映像とは、動画と静止画の両方を含む。連続する複数の静止画も映像に含む。
　映像解析部３は、公知の映像解析技術を用いて、映像取得部２が取得した映像を解析する。映像解析部３は、物体の位置関係、種類、属性などを基に、主軸の干渉、物体の振動、切削液の吐出領域、操作盤の操作などを判定する。
　原因候補判定部５は、データ取得部１が取得した、工作機械の状態情報、工作機械の操作情報、数値制御装置の操作情報、及び映像解析部の解析結果を基に、原因条件記憶部４に記憶された判定条件（イベントの組み合わせ）が発現しているか否かを判定し、イベントが発現している場合には、イベントに対応する原因候補を判定する。
　図４を参照して原因条件記憶部４について説明する。原因条件記憶部４は、原因候補の判定条件を記憶する。
　図４の原因条件記憶部４には、３つのトラブル「所望の加工軌跡の動作にならない」、「加工精度不足」、「アラーム：サブプログラム呼出しエラー」が例示されている。
　トラブル「所望の加工軌跡の動作にならない」は、１つの原因候補「メインプログラムファイルの設定ミス」と対応づけられている。
　原因候補「メインプログラムファイルの設定ミス」は、操作「メインプログラムの設定」、操作画面の映像「プログラム一覧画面でのメインプログラム選択」という２つの判定条件（イベント）と対応づけられている。
　原因候補判定部５は、これら２つのイベントが発現した否かを判定し、これら２つのイベントが発現した場合には、「メインプログラムファイルの設定ミス」を、トラブル「所望の加工軌跡の動作にならない」の原因候補として判定する。
　トラブル「加工精度不足」は、７つの原因候補「軽微な主軸衝突」、「熱変位」、「周囲温度」、「回転軸テーブル異常」、「工具摩耗」、「切削液温度」、「切削液吐出異常」と対応づけられている。
　原因候補「軽微な主軸衝突」は、工作機械の状態「送り軸への負荷」、操作「手動での軸操作」、数値制御装置の状態「ジョグ又はハンドルモードへの切換」、工作機械の映像「主軸の干渉」という４つの判定条件と対応づけられている。
　原因候補判定部５は、これら４つのイベントが発現したか否かを判定し、４つのイベントが発現した場合には、「軽微な主軸衝突」を、トラブル「加工精度不足」の原因候補と判定する。
　トラブル「加工精度不足」の原因候補「熱変位」は、操作「熱変位補正の有効化」という１つの判定条件と対応づけられている。
　原因候補判定部５は、このイベントが発現したか否かを判定し、このイベントが発現した場合には、「熱変位」をトラブル「加工精度不足」の原因候補と判定する。
　トラブル「加工精度不足」の原因候補「周囲温度」は、工作機械の状態「急激な温度の変化」という１つの判定条件と対応づけられている。
　原因候補判定部５は、このイベントが発現したか否かを判定し、このイベントが発現した場合には、「周囲温度」をトラブル「加工精度不足」の原因候補と判定する。
　トラブル「加工精度不足」の原因候補「回転軸テーブル異常」は、工作機械の映像「回転軸テーブルの正転、逆回転の繰り返し」という１つの判定条件と対応づけられている。
　原因候補判定部５は、このイベントが発現したか否かを判定し、このイベントが発現した場合には、「回転軸テーブル異常」をトラブル「加工精度不足」の原因候補と判定する。
　トラブル「加工精度不足」の原因候補「工具摩耗」は、工作機械の状態「工具使用の有無」、操作「加工実行、加工後の工具計測」という２つの判定条件と対応づけられている。
　原因候補判定部５は、これら２つのイベントが発現したか否かを判定し、２つのイベントが発現した場合には、「工具摩耗」をトラブル「加工精度不足」の原因候補と判定する。
　トラブル「加工精度不足」の原因候補「切削液の温度」は、工作機械の状態「低温」という１つの判定条件と対応づけられている。
　原因候補判定部５は、このイベントが発現したか否かを判定し、このイベントが発現した場合には、「切削液の温度」をトラブル「加工精度不足」の原因候補と判定する。
　トラブル「加工精度不足」の原因候補「切削液吐出異常」は、工作機械の映像「吐出のずれ」という１つの判定条件と対応づけられている。
　原因候補判定部５は、このイベントが発現したか否かを判定し、このイベントが発現した場合には、「切削液吐出異常」をトラブル「加工精度不足」の原因候補と判定する。
　トラブル「サブプログラム呼出しエラー」は、２つの原因候補「サブプログラムの未格納」、「サブプログラムの名称変更」と対応づけられている。
　トラブル「サブプログラム呼出しエラー」の原因候補「サブプログラムの未格納」は、操作「該当フォルダへの格納（なし）」という１つの判定条件と対応づけられている。
　原因候補判定部５は、このイベントが発現したか否かを判定し、「サブプログラムの格納」が実行されていない場合には、「該当フォルダへの格納」というイベントが発現していないと判定し、「サブプログラムの未格納」をトラブル「サブプログラム呼出しエラー」の原因候補と判定する。
　なお、イベントが発現していない場合には、「サブプログラムの格納」に関連する作業、例えば、「メインプログラムの格納」や「他のサブプログラムの格納」を実行している時刻を、映像検索の時刻として用いる。
　トラブル「サブプログラム呼出しエラー」の原因候補「サブプログラムの名称変更は、操作「名称変更」、数値制御装置の状態「名称変更」、操作画面の映像「名称変更」の３つの判定条件と対応づけられている。
　原因候補判定部５は、これら３つのイベントが発現したか否かを判定し、「サブプログラムの名称変更」をトラブル「サブプログラム呼出しエラー」の原因候補と判定する。
　時刻記録部６は、トラブルの原因候補となるイベントが発現した時刻を、映像の時刻と対応づけて記録する。
　タイムライン作成部（時刻提示部）７は、トラブルの原因候補と対応付けられたイベントが発現した時刻を示すタイムラインを作成する。図５にタイムラインの一例を示す。図５の例では、三角のシンボルがトラブルの発生を示し、丸いシンボルはイベントが発現した時刻を示す。シンボルの周辺には、イベントと対応付けられた原因候補の名称が表示されている。タイムラインには、「原因候補」だけでなく「イベント」について表示してもよい。
　丸いシンボルは、タイムラインが示す時刻の映像に対応付けられている。丸いシンボルを選択すると、原因候補となるイベントの映像が再生される。例えば、トラブル「加工精度不足」が発生したとき、原因候補として「軽微な主軸衝突」が判定されたとき、判定条件「送り軸への負荷」、「手動での軸操作」、「ジョグ又はハンドルモードへの切換」、「主軸の干渉」というイベントに対応するシンボルが表示される。各シンボルを選択すると、それぞれ「送り軸の負荷が増大」したときの映像、「主軸を手動操作」したときの映像、「ジョグ又はハンドルモードへの切換」を実行したときの映像、「主軸がなんらかに干渉」したときの映像が表示される。
　産業機械の管理者は、映像を見ながら、原因候補と判定された条件が実際の原因であるか否かを判断することができる。
　図６は、本開示の映像管理装置１００の動作を説明するフローチャートである。まず、映像管理装置１００は、映像を取得し（ステップＳ１）、データを取得する（ステップＳ２）。映像管理装置１００は、映像を解析し、撮影された物体の位置関係、種類、属性などを基に、主軸の干渉、物体の振動、切削液の吐出領域などを判定する（ステップＳ３）。
　映像管理装置１００は、産業機械に発生したトラブルに対応する原因候補を読み出す（ステップＳ４）。映像管理装置１００は、原因条件記憶部４から原因候補の判定条件を読み出し、データ取得部１が取得したデータと、映像解析部３の解析結果を基に、原因候補の判定条件を満たすイベントの発現を検索する（ステップＳ５）。
　映像管理装置１００は、判定条件を満たす原因候補を判定する（ステップＳ６）。映像管理装置１００は、トラブルの原因候補となるイベントが発現した時刻を、映像の時刻と対応づけて記録する（ステップＳ７）。
　映像管理装置１００は、トラブルの原因候補となるイベントが発現した時刻をシンボルで表示するタイムラインを作成する（ステップＳ８）。タイムライン上のシンボルには原因候補の名称、イベントの名称などを付す。産業機械の管理者がシンボルを選択すると、イベントに関連する映像が表示される。
［第２の開示］
　図７は、第２の開示の学習機能を備えた映像管理装置１００のブロック図である。映像管理装置１００は、データ取得部１、映像取得部２、映像解析部３、学習モデル記憶部８、推論部９、時刻記録部６、タイムライン作成部７、を備える。
　第２の開示の映像管理装置１００は、学習モデル記憶部８及び推論部９を備える。
　学習モデル記憶部８は、データ及び映像解析の結果（又は映像）を入力とし、原因となるイベントの時刻を出力とする学習モデルを記憶する。図８に学習の一例を示す。
　図８の学習では、産業機械の状態情報、操作入力情報、産業機械の制御情報、産業機械の映像解析の結果（又は映像）などを入力し、時刻ごとの条件の組み合わせを学習し、正解データであるトラブルの原因が入力されたとき、履歴に含まれる組合せの重みを上げる。学習に用いるモデルは、リカレントニューラルネットワークのような履歴を学習できるモデルを用いることが望ましい。
　これにより、イベントの組み合わせから原因を推定する学習モデルが作成される。学習モデル記憶部は、データ及び映像解析の結果（又は映像）を入力とし、トラブルの原因候補及び原因候補に紐づけられるイベントの組み合わせを出力とする学習モデルを記憶する。
　推論部９は、学習モデルにデータ及び映像解析の結果（又は映像）を入力し、原因候補及び原因候補に紐づけられるイベントの組み合わせを出力する。
　時刻記録部６は、原因候補に紐づけられたイベントの時刻を記録する。
　タイムライン作成部７は、トラブルの原因候補となるイベントが発現した時刻を示すタイムラインを作成する。タイムラインには、イベントに対応する原因候補が実際に原因である確率を表示してもよい。確率が高い順にランク付けした番号を表示してもよい。
　図９は、タイムラインの一例である。イベントの表示領域には、イベントに紐づけられた原因候補が実際にトラブルの原因である確率が表示されている。
　以上説明したように、第２の開示の映像管理装置１００では、データ取得部１が取得したデータ及び映像取得部２が取得した映像の解析結果（又は映像）、産業機械のトラブルを入力とし、トラブルの原因を正解データとする学習モデルを記憶する。映像管理装置１００は、この学習モデルを用いて、入力に対する原因候補と原因候補に紐づけられたイベントの組み合わせを出力し、イベントの時刻を記録する。
　以下、本開示を適用した映像管理装置１００のハードウェア構成について説明する。図１０は、映像管理装置１００のハードウェア構成図である。映像管理装置１００は、図１０に示すように、映像管理装置１００を全体的に制御するＣＰＵ１１１、プログラムやデータを記録するＲＯＭ１１２、一時的にデータを展開するためのＲＡＭ１１３を備え、ＣＰＵ１１１はバスを介してＲＯＭ１１２に記録されたシステムプログラムを読み出し、システムプログラムに従って映像管理装置１００の全体を制御する。
　不揮発性メモリ１１４は、例えば、図示しないバッテリでバックアップされるなどして、映像管理装置１００の電源がオフされても記憶状態が保持される。不揮発性メモリ１１４には、インタフェース１１５、１１８、１１９を介して外部装置１２０から読み込まれたプログラムや入力部７１を介して入力されたユーザ操作などの各種データが記憶される。
　インタフェース１１５は、映像管理装置１００とアダプタ等の外部装置と接続するためのインタフェース１１５である。外部装置側からはプログラムや各種パラメータ等が読み込まれる。
　　１００　映像管理装置
　　１　　　データ取得部
　　２　　　映像取得部
　　３　　　映像解析部
　　４　　　原因条件記憶部
　　５　　　原因候補判定部
　　６　　　時刻記録部
　　７　　　タイムライン作成部
　　８　　　学習モデル記憶部
　　９　　　推論部
　　１１１　ＣＰＵ
　　１１２　ＲＯＭ
　　１１３　ＲＡＭ
　　１１４　不揮発性メモリ

Claims (6)

  1. 　産業機械の機械状態を示すデータを取得するデータ取得部と、
    　前記産業機械の動作を示す映像を取得する映像取得部と、
    　前記映像を解析する映像解析部と、
    　前記データと、前記映像と、前記映像の解析結果の少なくとも何れか１つからイベントの発現を検知し、前記イベントの組み合わせを基に、前記産業機械のトラブルの原因候補を判定する原因候補判定部と、
    　前記原因候補に対応付けられたイベントの発現した時刻を記録する時刻記録部と、
    　前記イベントの発現した時刻と前記時刻における映像とを対応付けて提示する時刻提示部と、
    　を備える映像管理装置。　
  2. 　前記時刻提示部は、前記原因候補に対応付けられたイベントが発現した時刻を示すタイムラインを作成するタイムライン作成部であり、前記タイムラインは、前記イベントの選択の受け付け、前記選択されたイベントが発現した時刻の映像を再生させる、請求項１記載の映像管理装置。
  3. 　前記産業機械のトラブルと、前記トラブルの原因候補と、前記原因候補の判定条件であるイベントの組み合わせとを、対応付けて記憶する原因条件記憶部を備え、
    　前記原因候補判定部は、前記データと前記映像の解析結果の少なくとも何れか１つを、前記判定条件であるイベントの組み合わせが発現した場合、前記原因候補を判定する、請求項１記載の映像管理装置。
  4. 　前記データ、前記映像、前記映像の解析結果、の少なくともいずれか１つを入力し、前記トラブルの原因を正解データとして、前記イベントから前記トラブルの原因を推定する学習モデルを記憶する学習モデル記憶部を備え、
    　前記原因候補判定部は、前記データ、前記映像、前記映像の解析結果の少なくとも何れか１つを入力し、前記トラブルの原因候補と、前記原因候補に対応付けられたイベントとを推定する推定部である、請求項１記載の映像管理装置。
  5. 　前記データは、前記産業機械の状態情報、前記産業機械の操作入力情報、前記産業機械の制御情報の少なくともいずれか１つである、請求項１記載の映像管理装置。
  6. 　１つ又は複数のプロセッサが実行することにより、
    　産業機械の状態を示すデータを取得し、
    　前記産業機械の動作を示す映像を取得し、
    　前記映像を解析し、
    　前記データと、前記映像と、前記映像の解析結果の少なくとも何れか１つからイベントの発現を検知し、前記イベントの組み合わせを基に、前記産業機械のトラブルの原因候補を判定し、
    　前記原因候補に対応付けられたイベントの発現した時刻を記録し、
    　前記イベントの発現した時刻と前記時刻における映像とを対応付けて提示する、
    　前記プロセッサが読み取り可能な命令を記憶する記憶媒体。
PCT/JP2022/020250 2022-05-13 2022-05-13 映像管理装置、及びコンピュータが読み取り可能な記憶媒体 WO2023218653A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/020250 WO2023218653A1 (ja) 2022-05-13 2022-05-13 映像管理装置、及びコンピュータが読み取り可能な記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/020250 WO2023218653A1 (ja) 2022-05-13 2022-05-13 映像管理装置、及びコンピュータが読み取り可能な記憶媒体

Publications (1)

Publication Number Publication Date
WO2023218653A1 true WO2023218653A1 (ja) 2023-11-16

Family

ID=88730184

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/020250 WO2023218653A1 (ja) 2022-05-13 2022-05-13 映像管理装置、及びコンピュータが読み取り可能な記憶媒体

Country Status (1)

Country Link
WO (1) WO2023218653A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969008A (ja) * 1995-08-31 1997-03-11 Toshiba Corp 操作状況監視装置
JP2000047707A (ja) * 1998-07-27 2000-02-18 Omron Corp 情報管理装置およびその制御方法
WO2012157603A1 (ja) * 2011-05-16 2012-11-22 住友重機械工業株式会社 ショベル、その監視装置及びショベルの出力装置
JP2017169181A (ja) * 2016-03-10 2017-09-21 株式会社ｓｍａｒｔ−ＦＯＡ 再生装置
WO2020166468A1 (ja) * 2019-02-15 2020-08-20 パナソニックＩｐマネジメント株式会社 再生システム、記録システム、再生方法、再生用プログラム、記録方法及び記録用プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969008A (ja) * 1995-08-31 1997-03-11 Toshiba Corp 操作状況監視装置
JP2000047707A (ja) * 1998-07-27 2000-02-18 Omron Corp 情報管理装置およびその制御方法
WO2012157603A1 (ja) * 2011-05-16 2012-11-22 住友重機械工業株式会社 ショベル、その監視装置及びショベルの出力装置
JP2017169181A (ja) * 2016-03-10 2017-09-21 株式会社ｓｍａｒｔ−ＦＯＡ 再生装置
WO2020166468A1 (ja) * 2019-02-15 2020-08-20 パナソニックＩｐマネジメント株式会社 再生システム、記録システム、再生方法、再生用プログラム、記録方法及び記録用プログラム

Similar Documents

Publication Publication Date Title
KR102407484B1 (ko) 정보 처리 방법, 정보 처리 시스템, 및 정보 처리 장치
EP1518648B1 (en) Robot system capable of reproducing a situation of alarm
US10860004B2 (en) Management system and non-transitory computer-readable recording medium
JP4670455B2 (ja) 工程異常検知システム
JP2004174662A (ja) ロボットの動作状態解析装置
WO2017094471A1 (ja) 管理システムおよび管理プログラム
JP4736689B2 (ja) 生産管理装置、生産管理方法、生産管理プログラム、生産管理プログラムを記録した記録媒体、および生産システム
EP3327528A1 (en) Information processing apparatus, information processing system, information processing method, and information processing program
JP4004222B2 (ja) 作業用ロボットシステムの保全支援方法及び保全支援装置
JP2010146537A (ja) 人工知能化した加工支援監視方法と人工知能化した加工支援監視システム
CN111922784A (zh) 状态监控装置和方法以及存储介质和计算机装置
WO2023218653A1 (ja) 映像管理装置、及びコンピュータが読み取り可能な記憶媒体
JP7456111B2 (ja) 生産可視化システム
JP6922239B2 (ja) 工程監視装置、工程監視装置の制御方法およびプログラム
JP6845204B2 (ja) ノウハウ作成装置、ノウハウ作成方法及びノウハウ作成プログラム
JP7167607B2 (ja) 工作機械
WO2023218655A1 (ja) 映像管理装置、及びコンピュータが読み取り可能な記憶媒体
WO2020031225A1 (ja) 異常診断装置及び異常診断方法
US11321656B2 (en) Difference extracting device
WO2023218651A1 (ja) 映像関連情報決定装置、及びコンピュータが読み取り可能な記憶媒体
JP2023009980A (ja) 工具摩耗モニタリング装置、工具摩耗モニタリングシステム、およびプログラム
JP2022015795A (ja) 原因分析システムおよび方法
US20210149875A1 (en) Fault indicator diagnostic system and fault indicator diagnostic method
JP2020055043A (ja) 工作機械
JP5297308B2 (ja) 数値制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22941729

Country of ref document: EP

Kind code of ref document: A1