WO2022244306A9 - 映像判別装置、映像判別システム、及び記憶媒体 - Google Patents

映像判別装置、映像判別システム、及び記憶媒体 Download PDF

Info

Publication number
WO2022244306A9
WO2022244306A9 PCT/JP2022/002289 JP2022002289W WO2022244306A9 WO 2022244306 A9 WO2022244306 A9 WO 2022244306A9 JP 2022002289 W JP2022002289 W JP 2022002289W WO 2022244306 A9 WO2022244306 A9 WO 2022244306A9
Authority
WO
WIPO (PCT)
Prior art keywords
machine
data
state
video
image
Prior art date
Application number
PCT/JP2022/002289
Other languages
English (en)
French (fr)
Other versions
WO2022244306A1 (ja
Inventor
祐樹 杉田
誠彰 相澤
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to CN202280034464.7A priority Critical patent/CN117321516A/zh
Priority to DE112022001432.6T priority patent/DE112022001432T5/de
Priority to JP2023522207A priority patent/JPWO2022244306A1/ja
Publication of WO2022244306A1 publication Critical patent/WO2022244306A1/ja
Publication of WO2022244306A9 publication Critical patent/WO2022244306A9/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • the present invention relates to a video discrimination device, a video discrimination system, and a computer-readable storage medium.
  • NC processing data is downloaded to the NC device, and an index table 26 is created with the program name as the ID.
  • the barcode reading switch 13 is set with a plurality of code switches for each key operation, such as a "setup code” operated during mold setup and a "bending code” pressed during bending. For example, when a "setup code” is operated, the system enters the time code in the "setup process” column of the index table 26.
  • the system manages the NC machining data (program) and the index table 26 as a pair, and can be searched by the reproducing unit 24.
  • Patent Document 1 it is necessary to prepare a switch to start video recording and a switch to select the content to be recorded (setting up, bending, etc.), and the operator monitors the machine and manually starts recording and selects the content to be recorded. It is necessary to input the following information.
  • a numerical control device that is an aspect of the present disclosure includes a machine state dictionary unit that links identification information of data related to the state of the machine, which is either the numerical control device or the machine tool, or at least one, and the content of the data. , an image acquisition section that acquires an image of the machine; a machine state acquisition section that acquires data used to detect a change in the state of the machine; and a machine state acquisition section that detects a change in the state of the machine based on the data and detects a change in the state of the machine.
  • An image discrimination system that is an aspect of the present disclosure includes a machine state dictionary unit that links identification information of data related to the state of a machine, which is a numerical control device or a machine tool, or at least one of them, and the content of the data.
  • an image acquisition section that acquires an image of the machine; a machine state acquisition section that acquires data used to detect a change in the state of the machine; and a machine state acquisition section that detects a change in the state of the machine based on the data and detects a change in the state of the machine.
  • a data linking unit that refers to a state dictionary unit, converts the change in the data into operation details of the machine, and links an image when the state of the machine changes with the content of the data; Be prepared.
  • a storage medium that is an aspect of the present disclosure stores identification information of data related to the state of a machine, which is a numerical control device or a machine tool, or at least one, by being executed by one or more processors, and the data.
  • a computer-readable instruction is stored for determining whether or not the machine has changed, and for associating an image when the state of the machine changes with the content of the data.
  • images can be automatically discriminated.
  • FIG. 1 is a block diagram of a numerical control device as a video discrimination device according to a first disclosure.
  • FIG. 3 is a diagram showing each variable set on the memory of the numerical control device.
  • FIG. 2 is a conceptual diagram showing the relationship between a numerical control device and external equipment.
  • FIG. 3 is a diagram showing an example of an input section.
  • FIG. 2 is a block diagram of a numerical control device according to a second disclosure.
  • FIG. 3 is a diagram showing an example of an operation signal dictionary section.
  • FIG. 3 is a diagram illustrating key frame selection.
  • FIG. 3 is a diagram showing an example of an operation signal dictionary section.
  • FIG. 3 is a diagram showing an example of a video created by an operation video creation section.
  • FIG. 2 is a diagram illustrating creation of a summary video.
  • FIG. 1 is a block diagram of a numerical control device as a video discrimination device according to a first disclosure.
  • FIG. 3 is a diagram showing each variable set on the memory
  • FIG. 2 is a diagram showing an example of a video with subtitles. It is a diagram showing an example of an operating procedure manual.
  • FIG. 3 is a diagram illustrating selection of a representative video. It is a flowchart explaining the operation of the numerical control device. It is a block diagram of the numerical control device of the 3rd disclosure.
  • FIG. 2 is a diagram showing the hardware configuration of a numerical control device.
  • FIG. 1 is a block diagram of a numerical control device 100 as a video discrimination device according to the first disclosure.
  • the numerical control device 100 includes a video acquisition section 1, a machine state acquisition section 2, a machine state dictionary section 3, a machine state conversion section 4, and a data linking section 5.
  • the video acquisition unit 1 acquires a video from the camera 6 that images the machine tool 7 or a video captured from the display screen of the numerical control device 100 or the machine tool 7.
  • the machine state acquisition unit 2 acquires data used to detect changes in the state of the machine tool 7 and the numerical control device 100 that controls the machine tool 7 (hereinafter referred to as data used to detect changes in the machine state).
  • Data used to detect changes in machine status includes operation signals from the machine operation panel or touch panel, variable changes by machining programs, variable changes from built-in programs, variable changes from PC applications, and connections to machine tools. These include input signals from external equipment connected to the machine tool, output signals to external equipment connected to the machine tool, machining program commands, sequence program commands, etc.
  • the machine state dictionary section 3 contains "identification information of data used to detect changes in the state of the machine (for example, signal identification information/variable identification information/identification information of commands)" and "identification information of data used to detect changes in the state of the machine”. data contents (for example, signal contents/variable contents/command contents).
  • the machine state converter 4 monitors the "data used to detect a change in the machine state" acquired by the machine state acquirer 2, determines whether or not the machine state has changed, and when a change in the machine state occurs, Convert "data identification information" to "data content” with reference to the machine state dictionary section.
  • the data linking unit 5 links changes in the machine state and images of the machine. Specifically, both or at least one of "the value of the data indicating a change in the state of the machine” and "the content of the data that changes the state of the machine” is linked to the image acquired by the image acquisition unit 1.
  • the images acquired by the image acquisition unit 1 include images of the camera 6 that images the machine tool 7, images captured from the display screen of the machine tool 7, and the like.
  • Operation signals from a control panel, touch panel, etc. can be "data used to detect changes in the state of a machine.”
  • the machine state conversion section 4 monitors the operation signal, and when the operation signal changes, refers to the machine state dictionary section 3 and reads out the "data content" of the changed operation signal.
  • the data linking unit links both or at least one of the "data value” and the "data content” with the video. For example, when an operator manually operates the speed dial on the operation panel and the speed signal changes from 10 to 20, the data linking unit 5 displays an image of ⁇ the moving speed of the machine tool axis changing'' and the data content. “Speed” and the data value “10->20” are linked. For example, when the processing start signal changes from OFF to ON by pressing the "processing start button” on the touch panel, the data linking unit 5 displays the image “workpiece processing starts” and the data content "processing start”. , are linked.
  • the machine state conversion unit 4 detects the block (row) in which the machining program has been changed. For example, when the 100th line of the machining program changes, the data linking unit 5 displays the video of "operator operating the touch panel", the data content "change in machining program", and the data value "100th line”. , are linked.
  • the data linking unit 5 links the video of "an operator operating a touch panel or operation panel", the data content "feeding speed parameter”, and the data value "100->200".
  • the data linking unit 5 links the video of "an operator operating a touch panel or operation panel", the data content "tool offset”, and the data value "100mm->110mm".
  • the data linking unit 5 When a machining program that measures tool length is executed, "the tool offset variable changes automatically."
  • the data linking unit 5 generates a video of "a machining program that measures the tool length is executed and the measurement result is reflected in the offset", the data content "tool offset”, and the data value, for example "100 mm -> 110 mm”. ”.
  • the image in which “the measurement result is reflected in the offset” may be a captured image of the display unit 70 of the numerical control device 100.
  • macro variables change automatically.
  • macro variables for the shape of the workpiece are automatically changed.
  • the data linking unit 5 stores a video of "execution of workpiece measurement”, a video of "measurement results are reflected in macro variables", data content "workpiece shape”, and data value, for example, "X120.0- >X124.0”.
  • the image in which “the measurement result is reflected in the macro variable” may be, for example, a captured image of the display unit 70 of the numerical control device 100.
  • the data linking unit 5 can display the image of ⁇ the number of the machining program being changed'' and the data content ⁇ the machining program to be executed''. ” and the data value “machining program number”.
  • the image “the number of the processing program is changed” may be a captured image of the display unit 70 of the numerical control device 100.
  • An application of an external information device may change variables of the numerical control device 100.
  • the external information device is a PC (personal computer), a server, or the like.
  • the data linking unit will display the video "the number of the machining program is changed” and the data content "the number of the machining program to be executed”. , and the data value "machining program number”.
  • the content of the data linked to the video "the name of the application that executed the change of the variable”, "the name of the external information device that executed the change of the variable”, etc. can also be used.
  • the image “the number of the processing program is changed” may be a captured image of the display unit 70 of the numerical control device 100.
  • An input signal from an external device connected to the machine tool 7 can be "data used to detect a change in the state of the machine.”
  • a contact signal of a touch probe is “data used to detect a change in the state of a machine.”
  • the “probe contact signal” changes to "ON”.
  • the data linking unit 5 links the image “LED (Light Emitting Diode) of the touch probe lights up and stops” with the data content "touch probe contact”.
  • the input signal from the sensor can be "data used to detect a change in the state of the machine.”
  • the "spindle temperature” detected by the temperature sensor is “data used to detect changes in the state of the machine.”
  • the data linking unit 5 links the data content "spindle temperature", the data value "spindle temperature value”, and the image of the "spindle”.
  • the "main shaft” may also emit smoke.
  • the output signal to the external device connected to the machine tool 7 can be "data used to detect a change in the state of the machine.”
  • a door opening/closing signal of a machine tool can be “data used to detect a change in the state of a machine.”
  • the PLC PLC built into the numerical control device 100 or PLC external to the numerical control device 100
  • the data linking unit 5 links an image of an external device and a change in data. For example, when the "door opening/closing signal” is turned ON, the data linking unit 5 generates the "door opening” image, the data content "door opening/closing signal", and the data value "OFF->ON". Link.
  • the "coolant signal” can be "data used to detect a change in the state of the machine.”
  • the PLC the PLC built into the numerical control device 100 or the PLC external to the numerical control device 100
  • the data linking unit 5 links an image of an external device with a change in data. For example, when the "coolant signal” turns ON, the data linking unit 5 combines the image “coolant starts spouting", the data content "coolant signal”, and the data value "OFF->ON”. Tie it together.
  • the instructions of the machining program can be "data used to detect changes in the state of the machine.”
  • the numerical control device 100 analyzes the machining program and outputs commands to modules such as servo amplifiers. When outputting a command, "a signal indicating the state of a specific function of the numerical control device 100" changes.
  • the machine state conversion unit 4 changes the state of the machine based on a change in the value (for example, switching between ON and OFF) of a "signal indicating the state of a specific function (for example, fast forwarding, etc.) of the numerical control device 100.” judge that it has changed.
  • the data linking unit 5 links the video "in which a specific function of the numerical control device 100 is used” and the data content "for example, a fast-forward command, etc.”.
  • the commands of the sequence program can be "data used to detect changes in the state of the machine.”
  • the PLC inside the numerical control device 100 analyzes the sequence program and instructs an external device connected to the numerical control device 100 to perform a specific sequence function. When outputting a command, the "signal indicating the status of the sequence function" changes.
  • the machine state converter 4 determines that the state of the machine has changed based on a change in the value of the "signal indicating the state of the sequence function" (for example, switching between ON and OFF).
  • the data linking unit 5 links a video in which "commands of a sequence program are executed” and data contents "for example, a tool exchange command, etc.”.
  • variables such as local variables, macro variables, common variables, and system variables are set on the memory of the numerical control device 100, as shown in FIG. Moreover, the parameter number is also determined. Variable numbers and parameter numbers can be used as data identification information.
  • Local variables are variables used when executing a machining program such as a main program or a macro program, and are independent between the main program and the macro program.
  • Common variables are variables that are commonly used in the main program and macro program.
  • System variables store changes in tool radius correction, reading of coordinate values, valid commands (G code), valid M codes (sequence commands), and the like.
  • System variables include interface input signals, interface output signals, setting data, modal information, and the like. Changes in the machine state can be detected from the values of these variables.
  • the numerical control device 100 of the first disclosure detects changes in the machine state by monitoring memory, external signals, operation signals, etc., and refers to the machine state dictionary section 3 to determine the identification information of the machine state. data content" and link the "data content” with the video. This allows the content of the video to be determined.
  • An application example using a video linked with "data content” is shown in the second disclosure.
  • FIG. 3 is a conceptual diagram showing a numerical control device 100 as a video discrimination device of the present disclosure and a device that transmits a signal to the numerical control device 100.
  • numerical control device 100 is included in a machining center.
  • a machining center is a device in which a numerical control device 100 and a machine tool are integrated. Machining centers also include equipment such as servo motors, fans, fog collectors, coolants, chip removal devices, automatic tool changers (ATC), and stacking indicator lights (Patlite®).
  • the numerical control device 100 includes an internal PLC (Programmable Logic Controller) 42 and controls these devices.
  • PLC Programmable Logic Controller
  • the PLCs 42 and 50 include an internal PLC 42 built into the numerical control device 100 and an external PLC 50.
  • the external PLC 50 inputs signals from equipment, devices, sensors, and actuators present at the manufacturing site, and transmits information detected by the sensors, control status data, etc. to the numerical control device 100. Output to.
  • the devices controlled by the PLCs 42 and 50 are referred to as external devices of the numerical control device 100.
  • the numerical control device 100 includes an input section 71.
  • the input section 71 includes a physical input section 71 and an electronic input section 71.
  • FIG. 4 shows an example of the input section 71 of the numerical control device 100.
  • the physical input unit 71 is a dial or button on a machine operation panel.
  • the electronic input unit 71 is, for example, a button displayed on a touch panel.
  • This operation signal is not a special signal, but an existing operation signal obtained as a result of the operator inputting it into the existing input section 71 of the numerical control device 100.
  • existing operation signals are used for image discrimination. There is no need to input the contents of the operator's operation, and there is no need for a special switch for the operator to input the contents of the operation.
  • FIG. 5 is a block diagram of the numerical control device 100.
  • the numerical control device 100 includes a video acquisition section 11, an operation signal acquisition section 12, an operation signal dictionary section 13, an operation signal conversion section 14, a data linking section 15, a subtitle creation section 16, a video creation section 17, and a summary video creation section 18. , a procedure manual creation section 19, and a video selection section 20.
  • the image acquisition unit 11 according to the present disclosure is provided to the image acquisition unit 1 described in the first disclosure
  • the operation signal acquisition unit 12 according to the present disclosure is provided to the machine state acquisition unit 2 described in the first disclosure for the operation signal acquisition unit 1 according to the present disclosure
  • the signal dictionary unit 13 connects the machine state dictionary unit 3 described in the first disclosure
  • the operation signal conversion unit 14 according to the present disclosure connects the data to the machine state conversion unit 4 described in the first disclosure.
  • the units 15 correspond to the data linking unit 5 described in the first disclosure.
  • the video acquisition unit 11 acquires video from a camera (not shown) that images the machine tool.
  • the operation signal acquisition unit 12 acquires an operation signal input to an input unit 71 of a machine operation panel or a touch panel.
  • the operation signal dictionary section 13 associates "signal”, “signal value”, and "operation content”.
  • the operation signal converter 14 can convert changes in signals input to the numerical control device 100 into operator operation details.
  • FIG. 6 is an example of the operation signal dictionary section 13.
  • “signal 1" and “signal 2” are registered as “signals”.
  • the “signal” includes an input address of an external device, a voltage value of a predetermined resistance, and the like.
  • the value “1" of "signal 1" is associated with the operation content "move in +Y direction with JOG”.
  • the value "10" of "Signal 2" is associated with the operation content "Fast forward override is 25%”.
  • the operation signal conversion unit 14 monitors the operation signal input to the input unit 71 and detects a change in the operation signal. Changes in the operation signal include changes in the value of the operation signal, input of a new operation signal, and stopping input of the operation signal. In the example in the first line of FIG. 6, a change in the operation signal is detected when the value of "signal 1" changes from "0" to "1".
  • the operation signal conversion section 14 refers to the operation signal dictionary section 13 and converts the change in the operation signal into operation content "move in JOG+Y direction".
  • the data linking unit 15 links the operation content and the video.
  • the data linking unit 15 selects the video at the time when the operation signal changes as a key frame.
  • a key frame is a frame that serves as a break in the data that makes up a video.
  • a key frame is an uncompressed frame that completely retains video information. As shown in FIG. 7, the data linking unit 15 selects a key frame at the time when the operation data changes from among a plurality of frames, and links the key frame with the operation content.
  • the subtitle creation unit 16 creates subtitles that indicate the content of the operation at the time there was a change in the signal.
  • One way to create subtitles is to create a subtitle file.
  • a subtitle file is a text file that associates the display time of subtitles with the text of the subtitles.
  • the subtitle creation unit 16 adds a subtitle file to the video.
  • video, audio, and subtitles may be multiplexed during video compression, such as in an MPEG transport stream.
  • the method of creating subtitles is not particularly limited.
  • the video creation unit 17 converts the operation content into a video.
  • FIG. 8 shows an example of the operation signal dictionary section 13 when converting operation details into video.
  • the value “1" of “signal 1” is associated with the operation content "+Y” button.
  • the value “10” of “signal 2” is associated with the image of the dial operated counterclockwise.
  • FIG. 9 is an example of a video created by the video creation section 17.
  • FIG. 9 shows the pressing of the button "Y” and the dial operation as the operation contents. Specifically, the button "Y” is highlighted, an arrow indicating that the dial at the upper right of the machine operation panel has been rotated is displayed, and the operation amount (value) of the dial is indicated.
  • the video creation unit 17 converts the contents of the operator's operation into a video.
  • the summary video creation unit 18 extracts and connects the key frame selected by the data linking unit 15 and the subsequent several seconds of video, thereby extracting only the portion where the operation data has changed.
  • Create a summarized video Subtitles may be added to the summarized video.
  • FIG. 9 shows an example in which subtitles are added to the summarized video.
  • the subtitle "Move in JOG+Y direction" is attached. By adding subtitles, it is possible to visualize the relationship between operator operations and machine tool movements.
  • the procedure manual creation unit 19 creates an operating procedure manual in which the video and the operation contents correspond one-to-one by pasting key frames and text representing the operation contents at that time into the document file in order.
  • keyframes [1], [2], [3], and [4] are lined up.
  • Key frame [1] is the video when the operation to "move in the JOG + Y direction" is performed
  • key frame [2] is the video when the operation to "change to automatic driving mode” is performed
  • key frame [3] is the video when the operation is performed to "move in the JOG + Y direction”.
  • Key frame [4] is an image when the operation "Press the reset button” is performed
  • key frame [4] is an image when the operation "Press the start button” is performed.
  • Procedure manuals can be automatically created by arranging operator operations in chronological order.
  • the operating procedure manual may include time information. You may add subtitles to the video.
  • the video selection unit 20 accepts selection of a representative video to be used for creating a summary video or a procedure manual.
  • the video selection unit 20 displays a list of key frames at the time when the signal changes, and accepts the user's selection.
  • the summary video creation unit 18 creates a summary video from the keyframes selected by the user.
  • the procedure manual creation unit 19 creates a procedure manual from the key frames selected by the user.
  • the video selection section 20 can also select a representative video.
  • the representative video is used as a summary video or a cover video of a procedure manual. In the example of FIG. 13, when key frame [4] is selected as the representative video from the list of key frames [1] to [6], a summary video with key frame [4] as the cover is created. It shows the situation.
  • the numerical control device 100 simultaneously records video and discriminates the video.
  • the numerical control device 100 acquires an image of the machine tool from the connected camera (step S1) and at the same time acquires an operation signal (step S2).
  • the numerical control device 100 monitors the operation signal (step S3), and when detecting a change in the operation signal (step S4; YES), refers to the operation signal dictionary section 13 and selects the operation content corresponding to the operation signal. In step S4, if a change in the operation signal is not detected (step S4; NO), the process moves to step S3, and the operation signal is monitored.
  • the numerical control device 100 selects the frame of the video at the time when the operation signal changes as a key frame, and associates it with the operation content (step S5).
  • the key frame and operation details are stored (step S6). At this time, a timestamp may be added.
  • the numerical control device 100 of the present disclosure includes an operation signal dictionary unit 13 that associates operation signals with operation contents, and stores key frames in association with operation contents that occur when an operator operates the numerical control device 100. .
  • the numerical control device 100 converts the operation contents into a human-understandable format such as text or video.
  • the numerical control device 100 displays text indicating the content of the operation as subtitles, or displays the content of the operation as a video.
  • the numerical control device 100 uses operation details and key frames to create a summary video or a procedure manual. The user can also select keyframes that will be used as the cover of the summary video or procedure manual. Note that the operation details may be converted into audio.
  • the video discrimination device 200 of the third disclosure includes a video storage unit 21 that stores recorded video, and a data storage unit 22 that stores operation signals during processing.
  • the video acquisition section 11 reads out the video stored in the video storage section 21, and the operation signal acquisition section 12 reads out the operation signal stored in the data storage section 22.
  • the operation signal dictionary section 13, the operation signal conversion section 14, the data linking section 15, the subtitle creation section 16, the video creation section 17, the summary video creation section 18, the procedure manual creation section 19, and the video selection section 20 are configured according to the second disclosure. Since the same processing is performed, the explanation will be omitted.
  • the video discrimination device 200 of the third disclosure can be applied to information processing devices such as numerical control devices, PCs, servers, and mobile terminals.
  • the present disclosure also includes a video discrimination system in which the components of the video discrimination device 200 of the third disclosure are distributed and arranged such as PCs, servers, numerical control devices, etc. on a network.
  • the present invention is not limited to the above-mentioned embodiments, and can be implemented in various ways by making appropriate changes. can do.
  • the functions of the subtitle creation unit 16, summary video creation unit 18, procedure manual creation unit 19, video selection unit 20 shown in the second disclosure, video storage unit 21, data storage unit 22, etc. shown in the third disclosure can be used in appropriate combination with the video discrimination device according to the first disclosure.
  • each function creates subtitles, summaries, procedure manuals, representative images, and stores data based on data indicating not only operation details but also various states of the machine.
  • the numerical control device 100 is used as an application example of the video discrimination device, but the video acquisition unit 1 (video acquisition unit 11), machine state acquisition unit 2 (operation signal acquisition unit 12), machine state acquisition unit 2 (operation signal acquisition unit 12), If the state dictionary section 3 (operation signal dictionary section 13), machine state conversion section 4 (operation signal conversion section 14), and data association section 5 (data association section 15) are present, information processing other than the numerical control device 100 can be performed. It may also be applied to devices.
  • the present disclosure also includes a video discrimination system in which the components of the numerical control device 100 are distributed and arranged using PCs (personal computers), servers, numerical control devices, etc. on a network.
  • the CPU 111 included in the numerical control device 100 is a processor that controls the numerical control device 100 as a whole.
  • the CPU 111 reads a system program stored in the ROM 112 via the bus, and controls the entire numerical control device 100 in accordance with the system program.
  • the RAM 113 temporarily stores temporary calculation data, display data, various data input by the user via the input unit 71, and the like.
  • the display unit 70 is a monitor attached to the numerical control device 100 or the like.
  • the display unit 70 displays an operation screen, a setting screen, etc. of the numerical control device 100.
  • the input unit 71 is a keyboard, touch panel, etc. that is integrated with the display unit 70 or separate from the display unit 70. The user operates the input unit 71 to perform input on the screen displayed on the display unit 70 and the like. Note that the display section 70 and the input section 71 may be mobile terminals.
  • the nonvolatile memory 114 is, for example, a memory that is backed up by a battery (not shown) and maintains its storage state even when the power of the numerical control device 100 is turned off.
  • the nonvolatile memory 114 stores programs read from external equipment via an interface (not shown), programs input via the input unit 71, and various data acquired from each part of the numerical control device 100, machine tools, etc. , setting parameters acquired from the machine tool, etc.) are stored.
  • the programs and various data stored in the non-volatile memory 114 may be expanded to the RAM 113 at the time of execution/use. Furthermore, various system programs are written in the ROM 112 in advance.
  • the controller 40 that controls the tool of the machine tool converts an axis movement command from the CPU 111 into a pulse signal and outputs it to the driver 41.
  • the driver 41 converts the pulse signal into a current to drive the servo motor of the machine tool.
  • the servo motor moves the tool and the table under the control of the numerical control device 100.
  • Video selection section 111 CPU 112 ROM 113 RAM 114 Non-volatile memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Numerical Control (AREA)

Abstract

映像判別装置は、数値制御装置又は工作機械の両方、又は少なくとも一方である機械の状態に係るデータの識別情報と、該データの内容とを紐づける機械状態辞書部を記憶し、前記機械の映像を取得し、前記機械の状態変化の検出に用いるデータを取得し、前記データを基に、前記機械の状態が変化したか否かを判断し、前記機械の状態が変化したときの映像と、前記データの内容と、を紐づける。

Description

映像判別装置、映像判別システム、及び記憶媒体
　本発明は、映像判別装置、映像判別システム、及びコンピュータが読み取り可能な記憶媒体に関する。
　従来、『製品毎に機械の操作や段取り、あるいは製品の取り扱い方や検査の仕方等を、映像で再現して製造活動（リピート注文）を支援するマルチメディア化されたＮＣ制御装置（特許文献１）』が存在する。
　特許文献１では、『ＮＣ加工データ上位コンピュータからＲＳ－２３２Ｃ経由で表示制御部２０に送られてくると、表示制御部２０は、ＮＣ加工データをＮＣ装置へダウンロードするとともに、そのプログラム名称をＩＤとするインデックステーブル２６を作成する。バーコードリーダから“録画”と“段取り”などのバーコード読取りスイッチ１３が操作されると、表示制御部２０は、制御ソフトウェア部２１を起動して、録画部２２へ録画を指示する。録画部２２は、この録画開始のタイムコードを、今度は制御ソフトウェア部２１へ戻してくるので、システムはインデックステーブル２６の“段取り工程”欄にそのタイムコードを記入する』と記載されている。
　特許文献１では、ＮＣ加工データをＮＣ装置へダウンロードするとともに、そのプログラム名称をＩＤとするインデックステーブル２６を作成する。バーコード読取りスイッチ１３には、金型段取り時に操作される“段取りコード”や曲げ加工時に押される“曲げコード”等、ポイントとなる作業別のコードスイッチが複数設定されている。例えば、“段取りコード”が操作されると、システムは、インデックステーブル２６の“段取り工程”欄にそのタイムコードを記入する。システムは、ＮＣ加工データ（プログラム）と、インデックステーブル２６とを一対で管理し、再生部２４で検索することができる。
特開平８－１２９４１１号公報
　特許文献１では、映像の録画を開始するスイッチや録画する内容（段取り、曲げなど）を選択するスイッチを用意する必要があり、オペレータが機械を監視し、オペレータが手動で録画の開始や録画内容の入力を行う必要がある。
　工作機械の分野では、自動で映像を判別する技術が望まれている。
[規則91に基づく訂正 29.06.2023]
　本開示の一態様である数値制御装置は、数値制御装置又は工作機械の両方、又は少なくとも一方である機械の状態に係るデータの識別情報と、該データの内容とを紐づける機械状態辞書部と、前記機械の映像を取得する映像取得部と、前記機械の状態変化の検出に用いるデータを取得する機械状態取得部と、前記データを基に、前記機械の状態の変化を検出し、前記機械状態辞書部を参照して、前記データの変化を前記機械の操作内容に変換する機械状態変換部と、前記機械の状態が変化したときの映像と、前記データの内容と、を紐づけるデータ紐づけ部と、を備える。
　本開示の一態様である映像判別システムは、数値制御装置又は工作機械の両方、又は少なくとも一方である機械の状態に係るデータの識別情報と、該データの内容とを紐づける機械状態辞書部と、前記機械の映像を取得する映像取得部と、前記機械の状態変化の検出に用いるデータを取得する機械状態取得部と、前記データを基に、前記機械の状態の変化を検出し、前記機械状態辞書部を参照して、前記データの変化を前記機械の操作内容に変換し、前記機械の状態が変化したときの映像と、前記データの内容と、を紐づけるデータ紐づけ部と、を備える。
　本開示の一態様である記憶媒体は、１つ又は複数のプロセッサが実行することにより、数値制御装置又は工作機械の両方、又は少なくとも一方である機械の状態に係るデータの識別情報と、該データの内容とを紐づける機械状態辞書部を記憶し、前記機械の映像を取得し、前記機械の状態変化の検出に用いるデータを取得し、前記データを基に、前記機械の状態が変化したか否かを判断し、前記機械の状態が変化したときの映像と、前記データの内容と、を紐づける、コンピュータが読み取り可能な命令を記憶する。
　本発明の一態様により、自動で映像を判別することができる。
第１の開示の映像判別装置としての数値制御装置のブロック図である。 数値制御装置のメモリ上に設定される各変数を示す図である。 数値制御装置と外部機器との関係を示す概念図である。 入力部の一例を示す図である。 第２の開示の数値制御装置のブロック図である。 操作信号辞書部の一例を示す図である。 キーフレームの選択を説明する図である。 操作信号辞書部の一例を示す図である。 操作映像作成部が作成した映像の一例を示す図である。 要約映像の作成を説明する図である。 字幕付きの映像の一例を示す図である。 操作手順書の一例を示す図である。 代表映像の選択を説明する図である。 数値制御装置の動作を説明するフローチャートである。 第３の開示の数値制御装置のブロック図である。 数値制御装置のハードウェア構成を示す図である。
［第１の開示］
　図１は、第１の開示の映像判別装置としての数値制御装置１００のブロック図である。
　数値制御装置１００は、映像取得部１、機械状態取得部２、機械状態辞書部３、機械状態変換部４、データ紐づけ部５を備える。
　映像取得部１は、工作機械７を撮像するカメラ６からの映像、ないしは、数値制御装置１００又は工作機械７の表示画面をキャプチャした映像を取得する。
　機械状態取得部２は、工作機械７、及び工作機械７を制御する数値制御装置１００の状態変化の検出に用いるデータ（以下、機械の状態変化の検出に用いるデータ）を取得する。「機械の状態変化の検出に用いるデータ」には、機械操作盤又はタッチパネルの操作信号、加工プログラムによる変数の変更、組み込みプログラムからの変数の変更、ＰＣアプリケーションからの変数の変更、工作機械に接続された外部機器からの入力信号、工作機械に接続された外部機器への出力信号、加工プログラム指令、シーケンスプログラム指令などがある。
　機械状態辞書部３は、「機械の状態変化の検出に用いるデータの識別情報（例えば、信号の識別情報／変数の識別情報／指令の識別情報）」と、「機械の状態変化の検出に用いるデータの内容（例えば、信号の内容／変数の内容／指令の内容）」とを紐づける。
　機械状態変換部４は、機械状態取得部２が取得した「機械の状態変化の検出に用いるデータ」を監視し、機械状態が変化したか否かを判断し、機械状態の変化が発生すると、機械状態辞書部を参照して、「データの識別情報」を「データの内容」に変換する。
　データ紐づけ部５は、機械状態の変化と、機械の映像とを紐づける。具体的には、「機械の状態変化を示すデータの値」及び「機械を状態変化させるデータの内容」の両方、又は少なくとも一方を、映像取得部１の取得した映像と紐づける。映像取得部１の取得した映像には、工作機械７を撮像するカメラ６の映像、工作機械７の表示画面をキャプチャした映像などがある。
　機械の状態変化を示すデータと紐づける映像について具体的に説明する。
　操作盤やタッチパネルなどの操作信号は、「機械の状態変化の検出に用いるデータ」となりうる。機械状態変換部４は、操作信号を監視し、操作信号が変化した場合には、機械状態辞書部３を参照し、変化した操作信号の「データの内容」を読み出す。データ紐づけ部は、「データの値」及び「データの内容」の両方、又は少なくとも一方と、映像と紐づける。
　例えば、オペレータが操作盤の速度ダイヤルを手動操作し、速度信号が「１０から２０」に変化すると、データ紐づけ部５は、「工作機械軸の移動速度が変化する」映像と、データの内容「速度」と、データの値「１０－＞２０」と、を紐づける。
　例えば、タッチパネルの「加工開始ボタン」の押下により、加工開始信号がＯＦＦからＯＮに変化すると、データ紐づけ部５は、「ワークの加工が開始する」映像と、データの内容「加工開始」と、を紐づける。
　タッチパネルの手動操作により、「加工プログラムの編集」が実行されると、機械状態変換部４は、加工プログラムが変化したブロック（行）を検出する。例えば、加工プログラムの１００行目が変化すると、データ紐づけ部５は、「オペレータがタッチパネルを操作する」映像と、データの内容「加工プログラムの変化」と、データの値「１００行目」と、を紐づける。
　タッチパネル又は操作盤の手動操作により、「パラメータの編集」が実行されると、送り速度パラメータが変化する。データ紐づけ部５は、「オペレータがタッチパネル又は操作盤を操作する」映像と、データの内容「送り速度パラメータ」と、データの値「１００－＞２００」と、を紐づける。
　タッチパネル又は操作盤の手動操作により、「オフセットの編集」が実行されると、工具オフセットの変数が変化する。データ紐づけ部５は、「オペレータがタッチパネル又は操作盤を操作する」映像と、データの内容「工具オフセット」と、データの値「１００ｍｍ－＞１１０ｍｍ」と、を紐づける。
　工具長を計測する加工プログラムが実行されると、「工具オフセットの変数が自動で変化」する。データ紐づけ部５は、「工具長を計測する加工プログラムが実行され、計測結果がオフセットに反映される」映像と、データの内容「工具オフセット」と、データの値、例えば「１００ｍｍ－＞１１０ｍｍ」と、を紐づける。「計測結果がオフセットに反映される」映像は、数値制御装置１００の表示部７０のキャプチャ映像でもよい。
　マクロ変数を自動変更する加工プログラムが実行されると、「マクロ変数が自動的に変化」する。例えば、ワークの形状を計測する加工プログラムが実行された場合には、ワークの形状のマクロ変数が自動的に変更される。データ紐づけ部５は、「ワーク計測の実行」映像と、「計測結果がマクロ変数に反映される」映像と、データの内容「ワーク形状」と、データの値、例えば、「Ｘ１２０．０－＞Ｘ１２４．０」と、を紐づける。「計測結果がマクロ変数に反映される」映像は、例えば、数値制御装置１００の表示部７０のキャプチャ映像でもよい。
　変数を変更する組み込みプログラムが実行されると、「ある変数が自動的に変化」する。例えば、変数の１つである「実行する加工プログラムの番号」が変更された場合、データ紐づけ部５は、「加工プログラムの番号が変更される」映像と、データの内容「実行する加工プログラムの番号」と、データの値「加工プログラムの番号」と、を紐づける。「加工プログラムの番号が変更される」映像は、数値制御装置１００の表示部７０のキャプチャ映像でもよい。
　外部の情報機器のアプリケーションが数値制御装置１００の変数を変更する場合もある。ここで、外部の情報機器とは、ＰＣ（パーソナルコンピュータ）やサーバなどである。
　例えば、変数として、「実行する加工プログラムの番号」が変更された場合、データ紐づけ部は、「加工プログラムの番号が変更される」映像と、データの内容「実行する加工プログラムの番号」と、データの値「加工プログラムの番号」と、を紐づける。
　ここで、映像に紐づけるデータの内容は、「変数の変更を実行したアプリケーションの名称」「変数の変更を実行した外部の情報機器の名称」なども用いることができる。「加工プログラムの番号が変更される」映像は、数値制御装置１００の表示部７０のキャプチャ映像でもよい。
　工作機械７に接続された外部機器からの入力信号は、「機械の状態変化の検出に用いるデータ」となりうる。例えば、「タッチプローブの接触信号」は、「機械の状態変化の検出に用いるデータ」である。外部機器であるタッチプローブがワーク等に接触すると、「プローブ接触信号」が「ＯＮ」に変化する。「プローブ接触信号」が変化すると、データ紐づけ部５は、「タッチプローブのＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）が光って停止する」映像と、データの内容「タッチプローブ接触」と、を紐づける。
　センサからの入力信号は、「機械の状態変化の検出に用いるデータ」となりうる。例えば、温度センサが検出する「主軸温度」は、「機械の状態変化の検出に用いるデータ」である。「主軸温度」が所定の値を超えると、データ紐づけ部５は、データの内容「主軸温度」と、データの値「主軸温度の値」と、「主軸」の映像と、を紐づける。温度が上昇すると、「主軸」は、発煙することもある。
　工作機械７に接続された外部機器への出力信号は、「機械の状態変化の検出に用いるデータ」となりうる。
　例えば、「工作機械のドア開閉信号」は、「機械の状態変化の検出に用いるデータ」となりうる。「ドアの開閉信号」が変化すると、ＰＬＣ（数値制御装置１００に内蔵のＰＬＣ、又は、数値制御装置１００の外部のＰＬＣ）は、信号の値に従いドアの開閉を行う。データ紐づけ部５は、外部機器の映像と、データの変化とを紐づける。例えば、「ドアの開閉信号」がＯＮになると、データ紐づけ部５は、「ドアが開く」映像と、データの内容「ドアの開閉信号」と、データの値「ＯＦＦ－＞ＯＮ」と、を紐づける。
　「クーラント信号」は、「機械の状態変化の検出に用いるデータ」となりうる。「クーラント信号」が変化すると、ＰＬＣ（数値制御装置１００に内蔵のＰＬＣ、又は、数値制御装置１００の外部のＰＬＣ）は、信号の値に従いクーラントの噴出を行う。データ紐づけ部５は、外部機器の映像と、データの変化を紐づける。例えば、「クーラント信号」がＯＮになると、データ紐づけ部５は、「クーラントの噴出が開始する」映像と、データの内容「クーラント信号」と、データの値「ＯＦＦ－＞ＯＮ」と、を紐づける。
　加工プログラムの指令は、「機械の状態変化の検出に用いるデータ」となりうる。数値制御装置１００は、加工プログラムを解析して、サーボアンプなどのモジュールに指令を出力する。指令を出力する際、「数値制御装置１００の特定の機能の状態を示す信号」が変化する。機械状態変換部４は、「数値制御装置１００の特定の機能（例えば、早送りなど）の状態を示す信号」の値の変化（例えば、ＯＮとＯＦＦの切り換えなど）を基に、機械の状態が変化したと判断する。データ紐づけ部５は、「数値制御装置１００の特定の機能が使用される」映像と、データの内容「例えば、早送り指令など」と、を紐づける。
　シーケンスプログラムの指令は、「機械の状態変化の検出に用いるデータ」となりうる。数値制御装置１００の内部のＰＬＣは、シーケンスプログラムを解析して、数値制御装置１００に接続された外部機器に特定のシーケンス機能を指令する。指令を出力する際、「シーケンス機能の状態を示す信号」が変化する。機械状態変換部４は、「シーケンス機能の状態を示す信号」の値の変化（例えば、ＯＮとＯＦＦの切り換えなど）を基に、機械の状態が変化したと判断する。データ紐づけ部５は、「シーケンスプログラムの指令が実行される」映像と、データの内容「例えば、工具交換指令など」と、を紐づける。
　上述した「機械の状態変化の検出に用いるデータ」の変化の検出方法について説明する。
　数値制御装置１００では、図２に示すように、ローカル変数、マクロ変数、コモン変数、システム変数などの変数が数値制御装置１００のメモリ上に設定されている。また、パラメータ番号も決まっている。変数の番号やパラメータの番号をデータの識別情報として用いることができる。
　ローカル変数は、メインプログラムやマクロプログラムなどの加工プログラムの実行時に用いる変数であり、メインプログラムとマクロプログラムでそれぞれ独立している。コモン変数は、メインプログラムとマクロプログラムで共通に使用する変数である。
　システム変数は、工具径補正の変更や、座標値の読込み、有効な指令（Ｇコード）、有効なＭコード（シーケンス指令）などを記憶する。システム変数には、インタフェース入力信号、インタフェース出力信号、セッティングデータ、モーダル情報などがある。
　これらの変数の値から機械状態の変化を検出することができる。
　第１の開示の数値制御装置１００は、メモリや外部信号、操作信号などを監視することで機械状態の変化を検出し、機械状態辞書部３を参照して、機械状態の識別情報を、「データの内容」に変換して、「データの内容」と映像とを紐づける。これにより映像の内容を判別することができる。「データの内容」が紐づけられた映像を用いた応用例を第２の開示に示す。
［第２の開示］
　本開示では、機械状態の内で、特にオペレータによる数値制御装置の操作に着目して映像との紐づけを行う実施形態について説明する。
　図３は、本開示の映像判別装置としての数値制御装置１００と、数値制御装置１００に信号を送信する装置とを示す概念図である。図３において数値制御装置１００は、マシニングセンタに含まれる。マシニングセンタは、数値制御装置１００と工作機械が一体になった装置である。マシニングセンタは、サーボモータ、ファン、集霧機、クーラント、切粉除去装置、自動工具交換装置（ＡＴＣ）、積層表示灯（パトライト（登録商標））などの装置も含む。数値制御装置１００は、内部ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｃｏｎｔｒｏｌｌｅｒ）４２を備え、これらの機器を制御する。
　ＰＬＣ４２、５０には、数値制御装置１００に内蔵される内部ＰＬＣ４２と、外部のＰＬＣ５０がある。外部のＰＬＣ５０は、数値制御装置１００からの要求の他に、製造現場に存在する設備、装置、センサ、アクチュエータからの信号を入力し、センサが検知した情報や制御状態データなどを数値制御装置１００に出力する。本開示では、ＰＬＣ４２、５０が制御する装置を数値制御装置１００の外部機器と呼ぶ。
　数値制御装置１００は、入力部７１を備える。入力部７１には、物理的な入力部７１と電子的な入力部７１がある。図４は、数値制御装置１００の入力部７１の一例を示す。物理的な入力部７１は、機械操作盤のダイヤルやボタンなどである。電子的な入力部７１は、例えば、タッチパネルに表示されたボタンなどである。オペレータが入力部７１を操作すると、ＰＬＣ４２を介して操作信号が出力される。この操作信号は、特別な信号ではなく、オペレータが数値制御装置１００の既存の入力部７１に入力した結果得られる、既存の操作信号である。本開示では、既存の操作信号を映像判別に用いる。オペレータの操作内容を入力する必要はなく、オペレータが操作内容を入力するための特別なスイッチなども不要である。
　図５は、数値制御装置１００のブロック図である。数値制御装置１００は、映像取得部１１、操作信号取得部１２、操作信号辞書部１３、操作信号変換部１４、データ紐づけ部１５、字幕作成部１６、映像作成部１７、要約映像作成部１８、手順書作成部１９、映像選択部２０を備える。
　本開示による映像取得部１１は、第１の開示で説明した映像取得部１に、本開示による操作信号取得部１２は、第１の開示で説明した機械状態取得部２に、本開示による操作信号辞書部１３は、第１の開示で説明した機械状態辞書部３に、本開示による操作信号変換部１４は、第１の開示で説明した機械状態変換部４に、本開示によるデータ紐づけ部１５は、第１の開示で説明したデータ紐づけ部５に、それぞれ対応する。
　映像取得部１１は、工作機械を撮像するカメラ（図示省略）から映像を取得する。操作信号取得部１２は、機械操作盤やタッチパネルの入力部７１に入力された操作信号を取得する。
　操作信号辞書部１３は、「信号」と「信号の値」と「操作内容」とを紐づける。操作信号変換部１４により、数値制御装置１００に入力された信号の変化をオペレータの操作内容に変換することができる。図６は、操作信号辞書部１３の一例である。図６には「信号」として「信号１」、「信号２」が登録されている。「信号」とは、外部機器の入力アドレス、所定の抵抗の電圧値などがある。図６において、「信号１」の値「１」は、操作内容「ＪＯＧで＋Ｙ方向に動かす」に関連づけられる。「信号２」の値「１０」は、操作内容「早送りオーバライドが２５％です」に関連づけられる。
　操作信号変換部１４は、入力部７１に入力された操作信号を監視し、操作信号の変化を検出する。操作信号の変化には、操作信号の値の変化、新たな操作信号の入力、操作信号の入力停止などがある。図６の１行目の例では、「信号１」の値が「０」から「１」に変化したとき、操作信号の変化を検出する。操作信号変換部１４は、操作信号辞書部１３を参照し、操作信号の変化を、操作内容「ＪＯＧ＋Ｙ方向に移動」に変換する。
　データ紐づけ部１５は、操作内容と映像とを紐づける。データ紐づけ部１５は、操作信号の変化があった時点の映像をキーフレームとして選択する。キーフレームとは、動画を構成するデータにおいて区切りとなるフレームである。キーフレームは映像情報を完全に保持した非圧縮フレームである。データ紐づけ部１５は、図７に示すように、複数のフレームの中から操作データが変化した時点のキーフレームを選択し操作内容と紐づける。
　字幕作成部１６は、信号に変化があった時点の操作内容を示す字幕を作成する。字幕の作成方法は、字幕ファイルを作成する方法がある。字幕ファイルとは、字幕の表示時間と字幕のテキストとを対応付けたテキストファイルである。字幕作成部１６は、映像に字幕ファイルを追加する。また、ＭＰＥＧのトランスポートストリームのように映像圧縮の際に映像と音声と字幕とを多重化してもよい。字幕の作成方法は特に限定しない。
　映像作成部１７は、操作内容を映像に変換する。図８は、操作内容を映像に変換するときの操作信号辞書部１３の一例である。図８では、「信号１」の値「１」は、操作内容「＋Ｙ」ボタンと関連づけられる。「信号２」の値「１０」は、反時計回りに操作されたダイヤルの映像と関連づけられる。図９は、映像作成部１７が作成した映像の一例である。図９は、操作内容として、ボタン「Ｙ」の押下と、ダイヤル操作が示されている。具体的には、ボタン「Ｙ」が強調表示され、機械操作盤右上のダイヤルが回転されたことを示す矢印が表示され、ダイヤルの操作量（値）が示されている。映像作成部１７は、オペレータの操作内容を映像に変換する。
　要約映像作成部１８は、図１０に示すように、データ紐づけ部１５が選択したキーフレームとその後の数秒分の映像を抽出して繋ぎ合わせることで、操作データに変化があった部分のみを集約した要約映像を作成する。要約映像には、字幕を追加してもよい。図９は、要約映像に字幕を付加した例を示す。図１１の例では、「ＪＯＧ＋Ｙ方向に移動」という字幕が付けられている。字幕を付けることにより、オペレータの操作と工作機械の動きとの関連を視覚化することができる。
　手順書作成部１９は、キーフレームと、そのときの操作内容を表すテキストとを順番に文書ファイルに貼り付けていくことで、映像と操作内容が一対一に対応する操作手順書を作成する。図１２の例では、キーフレーム［１］、［２］、［３］、［４］の４枚のキーフレームが並んでいる。キーフレーム［１］は「ＪＯＧ＋Ｙ方向に移動」する操作がなされたときの映像、キーフレーム［２］は「自動運転モードに変更」する操作がなされたときの映像、キーフレーム［３］は「リセットボタンを押す」操作がなされたときの映像、キーフレーム［４］は「スタートボタンを押す」操作がなされたときの映像である。
　オペレータの操作を時系列に並べることで手順書が自動的に作成できる。操作手順書には、時間情報を含めてもよい。映像に字幕を付けてもよい。
　映像選択部２０は、要約映像の作成や手順書の作成に使用する代表映像の選択を受け付ける。映像選択部２０は、信号に変化があった時点のキーフレームの一覧を表示し、ユーザの選択を受け付ける。要約映像作成部１８は、ユーザが選択したキーフレームから要約映像を作成する。手順書作成部１９は、ユーザが選択したキーフレームから手順書を作成する。
　映像選択部２０では、代表映像を選択することもできる。代表映像は、要約映像や手順書の表紙映像として用いられる。図１３の例では、［１］乃至［６］のキーフレームの一覧から、［４］のキーフレームが代表映像として選択されると、キーフレーム［４］を表紙とする要約映像が作成される様子を示している。
　図１４のフローチャートを参照して、数値制御装置１００の動作について説明する。本開示では、数値制御装置１００は、映像の録画と映像の判別とを同時に行う。数値制御装置１００は、接続されたカメラから工作機械の映像を取得する（ステップＳ１）と同時に、操作信号を取得する（ステップＳ２）。
　数値制御装置１００は、操作信号を監視し（ステップＳ３）、操作信号の変化を検出すると（ステップＳ４；ＹＥＳ）、操作信号辞書部１３を参照し、操作信号に対応する操作内容を選択する。ステップＳ４において、操作信号の変化を検出しない場合（ステップＳ４；ＮＯ）、ステップＳ３に処理を移行し、操作信号を監視する。
　数値制御装置１００は、操作信号が変化した時点の映像のフレームをキーフレームと選択し、操作内容と紐づける（ステップＳ５）。キーフレームと操作内容を記憶する（ステップＳ６）。このとき、タイムスタンプを付加してもよい。
　本開示の数値制御装置１００は、操作信号と操作内容とを紐づける操作信号辞書部１３を備え、オペレータが数値制御装置１００を操作した際に生じる操作内容とキーフレームとを紐づけて記憶する。数値制御装置１００は、操作内容は、テキストや映像などの人間が理解できる形式に変換される。数値制御装置１００は、操作内容を示すテキストを字幕として表示したり、操作内容を映像で表示したりする。数値制御装置１００は、操作内容とキーフレームを用いて、要約映像を作成したり、手順書を作成したりする。ユーザは、要約映像や手順書の表紙となるキーフレームを選択することもできる。なお、操作内容は、音声に変換してもよい。
［第３の開示］
　第２の開示では、映像の録画とデータの紐づけとを同時に行ったが、第３の開示では、加工中に録画した映像と加工中の操作信号を用いてデータの紐づけを行う。第３の開示の映像判別装置２００は、図１５に示すように、録画した映像を記憶する映像記憶部２１と、加工中の操作信号を記憶するデータ記憶部２２とを備える。映像取得部１１は映像記憶部２１に記憶する映像を読み出し、操作信号取得部１２はデータ記憶部２２に記憶する操作信号を読み出す。
　操作信号辞書部１３、操作信号変換部１４、データ紐づけ部１５、字幕作成部１６、映像作成部１７、要約映像作成部１８、手順書作成部１９、映像選択部２０は、第２の開示と同じ処理を行うので説明を省略する。
　第３の開示の映像判別装置２００は、数値制御装置、ＰＣ、サーバ、携帯端末などの情報処理装置に適用することができる。また、第３の開示の映像判別装置２００の構成要素をネットワーク上のＰＣ、サーバ、数値制御装置など分散して配置した映像判別システムも本開示に含む。
　以上、本発明の第１～第３の開示の実施形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
　例えば、第２の開示で示した字幕作成部１６、要約映像作成部１８、手順書作成部１９、映像選択部２０、第３の開示で示した映像記憶部２１、データ記憶部２２などの機能は、第１の開示に係る映像判別装置と適宜組み合わせて利用することができる。この場合、それぞれの機能は操作内容だけでなく機械の様々な状態を示すデータに基づいて字幕、要約、手順書、代表映像の作成、データの記憶をする。
　また、第１～第３の開示では数値制御装置１００を映像判別装置の適用例としたが、映像取得部１（映像取得部１１）、機械状態取得部２（操作信号取得部１２）、機械状態辞書部３（操作信号辞書部１３）、機械状態変換部４（操作信号変換部１４）、データ紐づけ部５（データ紐づけ部１５）が存在すれば、数値制御装置１００以外の情報処理装置に適用してもよい。また、数値制御装置１００の構成要素をネットワーク上のＰＣ（パーソナルコンピュータ）、サーバ、数値制御装置などで分散して配置した映像判別システムも本開示に含む。
［ハードウェア構成］
　図１６を参照して、第１の開示の数値制御装置１００のハードウェア構成を説明する。なお、第２，第３の開示の映像判別装置２００も略同じハードウェア構成を有する。数値制御装置１００が備えるＣＰＵ１１１は、数値制御装置１００を全体的に制御するプロセッサである。ＣＰＵ１１１は、バスを介してＲＯＭ１１２に加工されたシステム・プログラムを読み出し、該システム・プログラムに従って数値制御装置１００の全体を制御する。ＲＡＭ１１３には、一時的な計算データや表示データ、入力部７１を介してユーザが入力した各種データ等が一時的に格納される。
　表示部７０は、数値制御装置１００に付属のモニタなどである。表示部７０は、数値制御装置１００の操作画面や設定画面などを表示する。
　入力部７１は、表示部７０と一体、又は、表示部７０とは別のキーボード、タッチパネルなどである。ユーザは入力部７１を操作して、表示部７０に表示された画面への入力などを行う。なお、表示部７０及び入力部７１は、携帯端末でもよい。
　不揮発性メモリ１１４は、例えば、図示しないバッテリでバックアップされるなどして、数値制御装置１００の電源がオフされても記憶状態が保持されるメモリである。不揮発性メモリ１１４には、図示しないインタフェースを介して外部機器から読み込まれたプログラムや入力部７１を介して入力されたプログラム、数値制御装置１００の各部や工作機械等から取得された各種データ（例えば、工作機械から取得した設定パラメータ等）が記憶される。不揮発性メモリ１１４に記憶されたプログラムや各種データは、実行時／利用時にはＲＡＭ１１３に展開されてもよい。また、ＲＯＭ１１２には、各種のシステム・プログラムがあらかじめ書き込まれている。
　工作機械の工具を制御するコントローラ４０は、ＣＰＵ１１１からの軸の移動指令をパルス信号に変換しドライバ４１に出力する。ドライバ４１はパルス信号を電流に変換して工作機械のサーボモータを駆動する。サーボモータは、数値制御装置１００の制御に従い工具やテーブルを移動する。
　　１００　数値制御装置
　　２００　映像判別装置
　　１　　　映像取得部
　　２　　　機械状態取得部
　　３　　　機械状態辞書部
　　４　　　機械状態変換部
　　５　　　データ紐づけ部
　　１１　　映像取得部
　　１２　　操作信号取得部
　　１３　　操作信号辞書部
　　１４　　操作信号変換部
　　１５　　データ紐づけ部
　　１６　　字幕作成部
　　１７　　映像作成部
　　１８　　要約映像作成部
　　１９　　手順書作成部
　　２０　　映像選択部
　　１１１　ＣＰＵ
　　１１２　ＲＯＭ
　　１１３　ＲＡＭ
　　１１４　不揮発性メモリ

Claims (14)

  1. 　数値制御装置又は工作機械の両方、又は少なくとも一方である機械の状態に係るデータの識別情報と、該データの内容とを紐づける機械状態辞書部と、
    　前記機械の映像を取得する映像取得部と、
    　前記機械の状態変化の検出に用いるデータを取得する機械状態取得部と、
    　前記データを基に、前記機械の状態の変化を検出し、前記機械状態辞書部を参照して、前記データの内容に変換する機械状態変換部と、
    　前記機械の状態が変化したときの映像と、前記データの内容と、を紐づけるデータ紐づけ部と、
    　を備える映像判別装置。
  2. 　前記データ紐づけ部は、前記機械が状態変化したときの映像と、前記データの値と、を紐づける、
    　請求項１記載の映像判別装置。
  3. 　前記機械が状態変化したときの映像は、カメラで撮像した前記機械の映像又は前記数値制御装置の操作画面のキャプチャ映像の両方、又は少なくとも一方である、請求項1記載の映像判別装置。
  4. 　前記機械の状態変化の検出に用いるデータは、オペレータの操作信号、加工プログラムによる変数の変更、組み込みプログラムからの変数の変更、情報処理装置からの変数の変更、工作機械に接続された外部機器からの入力信号、工作機械に接続された外部機器への出力信号、加工プログラム指令、シーケンスプログラム指令の少なくとも１つを含む、
    　請求項１記載の映像判別装置。
  5. 　前記データの内容は、テキスト形式、映像形式、音声形式の少なくとも何れか１つである、
    請求項１記載の映像判別装置。
  6. 　前記テキスト形式のデータの内容から前記機械の状態が変化した時点の字幕を作成する、
    請求項１記載の映像判別装置。
  7. 　映像形式のデータの内容は、前記機械の状態が変化した時点における、前記数値制御装置の入力部への操作を示す映像である、
    請求項１記載の映像判別装置。
  8. 　前記機械の状態が変化した時点の映像は、キーフレームである、
    請求項１記載の映像判別装置。
  9. 　前記機械の状態が変化した時点の映像を抽出し、前記抽出した映像を繋ぎ合わせて要約映像を作成する要約映像作成部を備える、
    請求項１記載の映像判別装置。
  10. 　前記機械の状態が変化した時点における映像と前記映像の内容とを用いて加工の手順書を作成する手順書作成部を備える、
    請求項１記載の映像判別装置。
  11. 　前記データが変化した時点における映像のうち、少なくとも１つの映像の選択を受け付け、前記選択された映像を代表映像とする映像選択部を備える、
    請求項１記載の映像判別装置。
  12. 　前記機械状態辞書部は、前記機械の状態変化の検出に用いるデータとしての前記数値制御装置に入力される操作信号と、前記データの内容としての前記数値制御装置の操作内容とを関連付けしており、
    　前記映像取得部は、前記数値制御装置の操作時の映像を取得し、
    　前記機械状態取得部は、前記操作時において前記数値制御装置に入力される操作信号を取得し、
    　前記機械状態変換部は、前記操作信号の変化を検出し、前記機械状態辞書部を参照して、前記操作信号の変化を前記数値制御装置の操作内容に変換し、
    　前記データ紐づけ部は、前記操作信号が変化した時点の映像を選択し、前記映像と前記操作内容とを紐づける、
    　請求項１記載の映像判別装置。
  13. 　数値制御装置又は工作機械の両方、又は少なくとも一方である機械の状態に係るデータの識別情報と、該データの内容とを紐づける機械状態辞書部と、
    　前記機械の映像を取得する映像取得部と、
    　前記機械の状態変化の検出に用いるデータを取得する機械状態取得部と、
    　前記データを基に、前記機械の状態の変化を検出し、前記機械状態辞書部を参照して、前記データの変化を前記機械の操作内容に変換し、
    　前記機械の状態が変化したときの映像と、前記データの内容と、を紐づけるデータ紐づけ部と、
    　を備える映像判別システム。
  14. 　１つ又は複数のプロセッサが実行することにより、
    　数値制御装置又は工作機械の両方、又は少なくとも一方である機械の状態に係るデータの識別情報と、該データの内容とを紐づける機械状態辞書部を記憶し、
    　前記機械の映像を取得し、
    　前記機械の状態変化の検出に用いるデータを取得し、
    　前記データを基に、前記機械の状態が変化したか否かを判断し、
    　前記機械の状態が変化したときの映像と、前記データの内容と、を紐づける、
    　コンピュータが読み取り可能な命令を記憶する記憶媒体。
PCT/JP2022/002289 2021-05-17 2022-01-21 映像判別装置、映像判別システム、及び記憶媒体 WO2022244306A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280034464.7A CN117321516A (zh) 2021-05-17 2022-01-21 影像判别装置、影像判别系统以及存储介质
DE112022001432.6T DE112022001432T5 (de) 2021-05-17 2022-01-21 Videodiskriminierungsvorrichtung, videodiskriminierungssystem und speichermedium
JP2023522207A JPWO2022244306A1 (ja) 2021-05-17 2022-01-21

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPPCT/JP2021/018653 2021-05-17
PCT/JP2021/018653 WO2022244076A1 (ja) 2021-05-17 2021-05-17 映像判別装置、映像判別システム、及び記憶媒体

Publications (2)

Publication Number Publication Date
WO2022244306A1 WO2022244306A1 (ja) 2022-11-24
WO2022244306A9 true WO2022244306A9 (ja) 2023-09-14

Family

ID=84140415

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2021/018653 WO2022244076A1 (ja) 2021-05-17 2021-05-17 映像判別装置、映像判別システム、及び記憶媒体
PCT/JP2022/002289 WO2022244306A1 (ja) 2021-05-17 2022-01-21 映像判別装置、映像判別システム、及び記憶媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018653 WO2022244076A1 (ja) 2021-05-17 2021-05-17 映像判別装置、映像判別システム、及び記憶媒体

Country Status (4)

Country Link
JP (1) JPWO2022244306A1 (ja)
CN (1) CN117321516A (ja)
DE (1) DE112022001432T5 (ja)
WO (2) WO2022244076A1 (ja)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6365511A (ja) * 1986-09-05 1988-03-24 Mitsubishi Electric Corp 監視制御コンピユ−タシステム
JPH0293898A (ja) * 1988-09-30 1990-04-04 Toshiba Corp 監視装置
JP2828151B2 (ja) * 1992-01-10 1998-11-25 龍治 江守 板金加工機
JPH08129411A (ja) 1994-03-29 1996-05-21 Meteoola Syst Kk マルチメディアｎｃ制御装置
JP2005033303A (ja) * 2003-07-08 2005-02-03 Mitsubishi Electric Corp 映像監視システム
JP2005209024A (ja) * 2004-01-23 2005-08-04 Toshiba Corp 操作支援装置および操作支援方法
JP2007011532A (ja) * 2005-06-29 2007-01-18 Fujitsu Ltd 操作手順書の自動生成装置
JP6636422B2 (ja) * 2014-06-13 2020-01-29 株式会社チカク 画像管理システム、管理装置、プログラム及び画像出力装置
JP6359376B2 (ja) * 2014-08-07 2018-07-18 株式会社ユピテル 装置、システムおよびプログラム
JP6806737B2 (ja) * 2018-06-15 2021-01-06 ファナック株式会社 同期装置、同期方法及び同期プログラム
JP7247593B2 (ja) * 2019-01-17 2023-03-29 日本電気株式会社 生成装置、ソフトウェアロボットシステム、生成方法及び生成プログラム
WO2020157927A1 (ja) * 2019-01-31 2020-08-06 株式会社日立製作所 診断システムおよび診断方法
JP2020202449A (ja) * 2019-06-07 2020-12-17 キヤノン株式会社 制御装置
JP7358808B2 (ja) * 2019-07-08 2023-10-11 株式会社リコー ロボットおよび機械学習方法
JP6788235B1 (ja) * 2019-07-30 2020-11-25 オムロン株式会社 情報管理システム、情報管理方法

Also Published As

Publication number Publication date
WO2022244076A1 (ja) 2022-11-24
WO2022244306A1 (ja) 2022-11-24
JPWO2022244306A1 (ja) 2022-11-24
CN117321516A (zh) 2023-12-29
DE112022001432T5 (de) 2024-01-18

Similar Documents

Publication Publication Date Title
CN106814714B (zh) 生产管理装置及生产系统
JP6638370B2 (ja) 制御装置、監視システム、制御プログラムおよび記録媒体
US9310795B2 (en) Safety controller and method for controlling an automated installation
EP0362386B1 (en) Expert system for a machine tool equipped with an nc apparatus
JP4096743B2 (ja) サイクルタイム表示方法、サイクルタイム表示装置及びサイクルタイム表示プログラム
US20160062336A1 (en) Numerical controller for facilitating adjustment of machining motion
US6892111B2 (en) Control system of machine tool
WO2022244306A9 (ja) 映像判別装置、映像判別システム、及び記憶媒体
JP2009297877A (ja) ロボット教示プログラム作成装置及び作成方法
US20160110611A1 (en) Numerical control device
JP2022158228A (ja) 監視装置およびプログラマブルロジックコントローラシステム
CN110231802B (zh) 机器人控制装置、记录的生成方法以及存储介质
US20220317650A1 (en) Analysis apparatus, control method thereof, and analysis system
JPH11224114A (ja) 数値制御装置及び数値制御装置の異常処理方法
JP2019151481A (ja) エレベータの動作再現システム
JP2003223207A (ja) Ｎｃ工作機操作方法及びそのシステム
JP4531704B2 (ja) プラント監視・操作システム
JP6599067B1 (ja) 装置状態再現装置、装置状態再現方法および装置状態再現プログラム
WO2022244070A9 (ja) 稼働状況表示装置、およびコンピュータ読み取り可能な記憶媒体
JP5972027B2 (ja) ロボット制御装置
WO2023218653A1 (ja) 映像管理装置、及びコンピュータが読み取り可能な記憶媒体
JP7509873B2 (ja) データ管理装置、及びデータ管理方法
JP2022158229A (ja) プログラマブルロジックコントローラシステム
WO2023139772A9 (ja) 情報生成装置、およびコンピュータ読み取り可能な記憶媒体
WO2023139771A1 (ja) 情報生成装置、およびコンピュータ読み取り可能な記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22804229

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023522207

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 112022001432

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 202280034464.7

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 22804229

Country of ref document: EP

Kind code of ref document: A1