WO2022244076A1 - 映像判別装置、映像判別システム、及び記憶媒体 - Google Patents

映像判別装置、映像判別システム、及び記憶媒体 Download PDF

Info

Publication number
WO2022244076A1
WO2022244076A1 PCT/JP2021/018653 JP2021018653W WO2022244076A1 WO 2022244076 A1 WO2022244076 A1 WO 2022244076A1 JP 2021018653 W JP2021018653 W JP 2021018653W WO 2022244076 A1 WO2022244076 A1 WO 2022244076A1
Authority
WO
WIPO (PCT)
Prior art keywords
operation signal
image
control device
unit
numerical control
Prior art date
Application number
PCT/JP2021/018653
Other languages
English (en)
French (fr)
Inventor
祐樹 杉田
誠彰 相澤
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to PCT/JP2021/018653 priority Critical patent/WO2022244076A1/ja
Priority to PCT/JP2022/002289 priority patent/WO2022244306A1/ja
Priority to CN202280034464.7A priority patent/CN117321516A/zh
Priority to DE112022001432.6T priority patent/DE112022001432T5/de
Priority to JP2023522207A priority patent/JPWO2022244306A1/ja
Publication of WO2022244076A1 publication Critical patent/WO2022244076A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • the present invention relates to a video discrimination device, a video discrimination system, and a computer-readable storage medium.
  • Multimedia NC control device that supports manufacturing activities (repeat orders) by reproducing machine operation and setup for each product, or product handling and inspection methods with images (Patent Document 1 )” exists.
  • NC machining data is downloaded to the NC device, and an index table 26 is created with the program name as an ID.
  • the barcode reading switch 13 is provided with a plurality of code switches for each operation, such as a "setup code” operated during mold setup and a "bending code” pressed during bending. For example, when a "setup code” is operated, the system enters that time code in the "setup process” column of the index table 26.
  • FIG. The system manages the NC processing data (program) and the index table 26 as a pair, and can be searched by the reproducing section 24 .
  • Patent Document 1 it is necessary to prepare a switch for starting video recording and a switch for selecting the content to be recorded (arrangement, bending, etc.). must be entered.
  • a numerical control device which is one aspect of the present disclosure, includes an operation signal dictionary unit that associates an operation signal input to the numerical control device with an operation content of the numerical control device; an operation signal acquisition unit that acquires an operation signal input to the numerical control device at the time of operation; a change in the operation signal that detects a change in the operation signal; An operation signal conversion unit that converts into operation content, and a data linking unit that selects an image at the time when the operation signal changes and associates the image with the operation content.
  • An image discrimination system which is one aspect of the present disclosure, includes an operation signal dictionary unit that associates an operation signal input to a numerical control device with an operation content of the numerical control device; an operation signal acquisition unit that acquires an operation signal input to the numerical control device at the time of operation; a change in the operation signal that detects a change in the operation signal; An operation signal conversion unit that converts the operation content into an operation content, and a data linking unit that selects an image at the time when the operation signal changes and associates the image with the operation content.
  • a storage medium which is one aspect of the present disclosure, stores an operation signal conversion dictionary that associates an operation signal input to a numerical controller with an operation content of the numerical controller, by being executed by one or more processors, Acquires images during operation of the numerical controller, acquires operation signals input to the numerical controller during operation, detects changes in the operation signals, and converts changes in the operation signals into the operation details of the numerical controller. , selects an image at the time when the operation signal changes, and stores a computer-readable command that associates the image with the operation content.
  • images can be automatically discriminated.
  • FIG. 10 is a diagram for explaining selection of a keyframe; It is a figure which shows an example of an operation signal dictionary part.
  • FIG. 4 is a diagram showing an example of an image created by an operation image creation unit;
  • FIG. 10 is a diagram for explaining creation of a summary video; It is a figure which shows an example of an image with a caption. It is a figure which shows an example of an operating procedure manual.
  • FIG. 10 is a diagram for explaining selection of a representative image
  • 4 is a flowchart for explaining the operation of the numerical control device
  • FIG. 11 is a block diagram of a numerical controller of the second disclosure
  • It is a figure which shows the hardware constitutions of a numerical controller.
  • FIG. 1 is a conceptual diagram showing a numerical control device 100 as a video discriminating device of the present disclosure and a device that transmits a signal to the numerical control device 100.
  • a numerical controller 100 in FIG. 1 is included in a machining center.
  • a machining center is an apparatus in which the numerical control device 100 and a machine tool are integrated. Machining centers also include devices such as servomotors, fans, fog collectors, coolant, chip removers, automatic tool changers (ATC), and stack indicator lights (Patlite®).
  • the numerical controller 100 has an internal PLC (Programmable Logic Controller) 42 to control these devices.
  • PLC Programmable Logic Controller
  • the PLCs 42 and 50 include an internal PLC 42 built into the numerical controller 100 and an external PLC 50 .
  • the external PLC 50 receives signals from equipment, devices, sensors, and actuators existing at the manufacturing site, and outputs information detected by the sensors and control state data to the numerical controller 100. output to In this disclosure, devices controlled by the PLCs 42 and 50 are called external devices of the numerical controller 100 .
  • the numerical controller 100 has an input unit 71 .
  • the input section 71 includes a physical input section 71 and an electronic input section 71 .
  • FIG. 2 shows an example of the input unit 71 of the numerical controller 100.
  • a physical input unit 71 is a dial, button, or the like of a machine operation panel.
  • the electronic input unit 71 is, for example, buttons displayed on a touch panel.
  • This operation signal is not a special signal, but an existing operation signal obtained as a result of the operator's input to the existing input unit 71 of the numerical controller 100 .
  • existing operation signals are used for video discrimination. There is no need for the operator to input the operation content, and no special switch or the like for the operator to input the operation content is required.
  • FIG. 3 is a block diagram of the numerical controller 100.
  • the numerical control device 100 includes a video acquisition unit 11, an operation signal acquisition unit 12, an operation signal dictionary unit 13, an operation signal conversion unit 14, a data linking unit 15, a subtitle creation unit 16, an operation image creation unit 17, and a summary video creation unit. 18, a procedure manual creation unit 19, and an image selection unit 20.
  • the image acquisition unit 11 acquires images from a camera (not shown) that captures images of the machine tool.
  • the operation signal acquisition unit 12 acquires an operation signal input to the input unit 71 of the machine operation panel or touch panel.
  • the operation signal dictionary unit 13 associates "signals”, “signal values", and "operation details”.
  • the operation signal conversion unit 14 can convert the change in the signal input to the numerical control device 100 into the details of the operator's operation.
  • FIG. 4 shows an example of the operation signal dictionary unit 13. As shown in FIG. In FIG. 4, "signal 1" and “signal 2" are registered as “signal”.
  • the “signal” includes an input address of an external device, a voltage value of a predetermined resistance, and the like.
  • the value “1" of "signal 1" is associated with the operation content "move in +Y direction with JOG”.
  • the value "10" of "signal 2" is associated with the operation content "fast forward override is 25%”.
  • the operation signal conversion unit 14 monitors the operation signal input to the input unit 71 and detects changes in the operation signal. Changes in the operation signal include changes in the value of the operation signal, input of a new operation signal, stoppage of input of the operation signal, and the like. In the example of the first line in FIG. 4, when the value of "signal 1" changes from “0" to "1", a change in the operation signal is detected.
  • the operation signal conversion unit 14 refers to the operation signal dictionary unit 13 and converts the change in the operation signal into the operation content “move in JOG+Y direction”.
  • the data linking unit 15 links the operation content and the video.
  • the data linking unit 15 selects an image at the time when the operation signal changes as a key frame.
  • a key frame is a frame that serves as a delimiter in data that constitutes a moving image.
  • a keyframe is an uncompressed frame that completely retains the image information. As shown in FIG. 5, the data linking unit 15 selects a key frame at the time when the operation data changes from among the plurality of frames, and links it with the operation content.
  • the caption creation unit 16 creates captions indicating the details of the operation at the time when there was a change in the signal.
  • One way to create subtitles is to create a subtitle file.
  • a subtitle file is a text file in which subtitle display time and subtitle text are associated with each other.
  • the subtitle creation unit 16 adds a subtitle file to the video.
  • video, audio, and subtitles may be multiplexed during image compression like an MPEG transport stream. There are no particular restrictions on how to create subtitles.
  • the operation image creation unit 17 converts the operation content into an image.
  • FIG. 6 shows an example of the operation signal dictionary unit 13 when converting operation contents into an image.
  • the value “1" of "signal 1” is associated with the operation content "+Y” button.
  • a “signal 2" value of "10” is associated with the image of the dial being operated counterclockwise.
  • FIG. 7 is an example of an image created by the operation image creation unit 17. As shown in FIG. FIG. 7 shows the pressing of the button “Y” and the dialing operation as the operation contents. Specifically, the button "Y” is highlighted, an arrow indicating that the dial on the upper right of the machine control panel has been rotated is displayed, and the operation amount (value) of the dial is indicated.
  • the operation image creation unit 17 converts the operation content of the operator into an image.
  • the summary video creation unit 18 extracts and connects the key frame selected by the data linking unit 15 and the video for several seconds after that, so that only the portion where the operation data has changed is extracted. Create an aggregate summary video. Subtitles may be added to the summary video.
  • FIG. 9 shows an example in which subtitles are added to a summary video. In the example of FIG. 9, the subtitle is "JOG + move in Y direction". By adding subtitles, it is possible to visualize the relationship between the operator's operation and the movement of the machine tool.
  • the procedure manual creation unit 19 creates an operation procedure manual in which the image and the operation contents correspond one-to-one by pasting the key frames and the texts representing the operation contents at that time to the document file in order.
  • key frame [1] is the image when the operation of "moving in the JOG + Y direction" is performed
  • key frame [2] is the image when the operation of "change to automatic driving mode” is performed
  • key frame [3] is the image when " The image when the reset button is pressed is performed
  • the key frame [4] is the image when the start button is pressed.
  • a procedure manual can be automatically created by arranging operator operations in chronological order.
  • the operating procedure manual may include time information. Images may be captioned.
  • the image selection unit 20 accepts selection of a representative image used for creating a summary video or creating a procedure manual.
  • the image selection unit 20 displays a list of key frames at the time when the signal changes, and accepts a user's selection.
  • a summary video creation unit 18 creates a summary video from the keyframes selected by the user.
  • the procedure manual creation unit 19 creates a procedure manual from the keyframes selected by the user.
  • the image selection unit 20 can also select a representative image.
  • the representative image is used as a summary video or a cover image of a procedure manual. In the example of FIG. 11, when the key frame [4] is selected as the representative image from the list of key frames [1] to [6], a summary video is created with the key frame [4] as the cover. showing the situation.
  • the operation of the numerical controller 100 will be described with reference to the flowchart of FIG. In the present disclosure, the numerical control device 100 performs video recording and video discrimination at the same time.
  • the numerical controller 100 acquires an image of the machine tool from the connected camera (step S1), and simultaneously acquires an operation signal (step S2).
  • the numerical controller 100 monitors the operation signal (step S3), and when detecting a change in the operation signal (step S4; YES), refers to the operation signal dictionary unit 13 and selects the operation content corresponding to the operation signal. If no change in the operation signal is detected in step S4 (step S4; NO), the process proceeds to step S3 to monitor the operation signal.
  • the numerical control device 100 selects the video frame at the time when the operation signal changes as a key frame, and associates it with the operation content (step S5).
  • the keyframes and operation contents are stored (step S6). At this time, a time stamp may be added.
  • the numerical control device 100 of the present disclosure includes an operation signal dictionary unit 13 that associates operation signals with operation details, and associates and stores operation details and key frames that occur when the operator operates the numerical control device 100 .
  • the numerical controller 100 converts the operation content into a human-readable format such as text or image.
  • the numerical control device 100 displays text indicating operation details as subtitles, or displays operation details as an image.
  • Numerical controller 100 uses the operation content and key frames to create a summary video or a procedure manual. The user can also select a keyframe that will be the cover of the summary video or procedure manual. Note that the operation content may be converted into voice.
  • the numerical control device 100 is used as an application example of the image discrimination device, but there are an image acquisition unit 11, an operation signal acquisition unit 12, an operation signal dictionary unit 13, an operation signal conversion unit 14, and a data linking unit 15. If so, it may be applied to an information processing device other than the numerical control device 100 .
  • the present disclosure also includes an image discrimination system in which the components of the numerical control device 100 are distributed in PCs (personal computers), servers, numerical control devices, etc. on a network.
  • the image discrimination device 200 of the second disclosure includes, as shown in FIG. 13, an image storage unit 21 that stores recorded images, and an operation signal storage unit 22 that stores operation signals being processed.
  • the image acquisition unit 11 reads images stored in the image storage unit 21
  • the operation signal acquisition unit 12 reads operation signals stored in the operation signal storage unit 22 .
  • the operation signal dictionary unit 13, the operation signal conversion unit 14, the data linking unit 15, the subtitle creation unit 16, the operation image creation unit 17, the summary video creation unit 18, the procedure manual creation unit 19, and the image selection unit 20 Since the same processing as disclosed is performed, the description is omitted.
  • the image discrimination device 200 of the second disclosure can be applied to information processing devices such as numerical control devices, PCs, servers, and mobile terminals.
  • the present disclosure also includes a video discrimination system in which the components of the video discrimination device 200 of the second disclosure are distributed and arranged such as a PC, a server, a numerical control device, etc. on a network.
  • a CPU 111 included in the numerical controller 100 is a processor that controls the numerical controller 100 as a whole.
  • the CPU 111 reads the system program processed in the ROM 112 via the bus and controls the entire numerical controller 100 according to the system program.
  • the RAM 113 temporarily stores calculation data, display data, various data input by the user via the input unit 71, and the like.
  • the display unit 70 is a monitor attached to the numerical controller 100 or the like.
  • the display unit 70 displays an operation screen, a setting screen, and the like of the numerical controller 100 .
  • the input unit 71 is integrated with the display unit 70 or is a keyboard, touch panel, or the like that is separate from the display unit 70 .
  • the user operates the input unit 71 to perform input to the screen displayed on the display unit 70 .
  • the display unit 70 and the input unit 71 may be mobile terminals.
  • the non-volatile memory 114 is, for example, a memory that is backed up by a battery (not shown) so that the memory state is retained even when the power of the numerical controller 100 is turned off.
  • the nonvolatile memory 114 stores programs read from an external device via an interface (not shown), programs input via the input unit 71, and various data (for example, , setting parameters obtained from the machine tool, etc.) are stored. Programs and various data stored in the non-volatile memory 114 may be developed in the RAM 113 at the time of execution/use. Various system programs are pre-written in the ROM 112 .
  • the controller 40 that controls the tool of the machine tool converts the axis movement command from the CPU 111 into a pulse signal and outputs it to the driver 41 .
  • a driver 41 converts the pulse signal into a current to drive a servomotor of the machine tool.
  • a servo motor moves a tool and a table according to control of the numerical controller 100.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Numerical Control (AREA)

Abstract

映像判別装置は、数値制御装置に入力される操作信号と数値制御装置の操作内容とを関連付けて操作信号変換辞書を記憶し、数値制御装置の操作時の映像を取得し、操作時において数値制御装置に入力される操作信号を取得し、操作信号の変化を検出し、操作信号変換辞書を参照して、操作信号の変化を数値制御装置の操作内容に変換し、操作信号が変化した時点の画像を選択し、画像と操作内容を紐づける。

Description

映像判別装置、映像判別システム、及び記憶媒体
　本発明は、映像判別装置、映像判別システム、及びコンピュータが読み取り可能な記憶媒体に関する。
　従来、『製品毎に機械の操作や段取り、あるいは製品の取り扱い方や検査の仕方等を、映像で再現して製造活動（リピート注文）を支援するマルチメディア化されたＮＣ制御装置（特許文献１）』が存在する。
　特許文献１では、『ＮＣ加工データ上位コンピュータからＲＳ－２３２Ｃ経由で表示制御部２０に送られてくると、表示制御部２０は、ＮＣ加工データをＮＣ装置へダウンロードするとともに、そのプログラム名称をＩＤとするインデックステーブル２６を作成する。バーコードリーダから“録画”と“段取り”などのバーコード読取りスイッチ１３が操作されると、表示制御部２０は、制御ソフトウェア部２１を起動して、録画部２２へ録画を指示する。録画部２２は、この録画開始のタイムコードを、今度は制御ソフトウェア部２１へ戻してくるので、システムはインデックステーブル２６の“段取り工程”欄にそのタイムコードを記入する』と記載されている。
　特許文献１では、ＮＣ加工データをＮＣ装置へダウンロードするとともに、そのプログラム名称をＩＤとするインデックステーブル２６を作成する。バーコード読取りスイッチ１３には、金型段取り時に操作される“段取りコード”や曲げ加工時に押される“曲げコード”等、ポイントなとなる作業別のコードスイッチが複数設定されている。例えば、“段取りコード”が操作されると、システムは、インデックステーブル２６の“段取り工程”欄にそのタイムコードを記入する。システムは、ＮＣ加工データ（プログラム）と、インデックステーブル２６とを一対で管理し、再生部２４で検索することができる。
特開平８－１２９４１１号
　特許文献１では、映像の録画を開始するスイッチや録画する内容（段取り、曲げなど）を選択するスイッチを用意する必要があり、オペレータが機械を監視し、オペレータが手動で録画の開始や録画内容の入力を行う必要がある。
　工作機械の分野では、自動で映像を判別する技術が望まれている。
　本開示の一態様である数値制御装置は、数値制御装置に入力される操作信号と数値制御装置の操作内容とを関連付ける操作信号辞書部と、数値制御装置の操作時の映像を取得する映像取得部と、操作時において数値制御装置に入力される操作信号を取得する操作信号取得部と、操作信号の変化を検出し、操作信号辞書部を参照して、操作信号の変化を数値制御装置の操作内容に変換する操作信号変換部と、操作信号が変化した時点の画像を選択し、画像と前記操作内容とを紐づけるデータ紐づけ部と、を備える。
　本開示の一態様である映像判別システムは、数値制御装置に入力される操作信号と数値制御装置の操作内容とを関連づける操作信号辞書部と、数値制御装置の操作時の映像を取得する映像取得部と、操作時において数値制御装置に入力される操作信号を取得する操作信号取得部と、操作信号の変化を検出し、操作信号辞書部を参照して、操作信号の変化を数値制御装置の操作内容に変換する操作信号変換部と、操作信号が変化した時点の画像を選択し、画像と操作内容とを紐づけるデータ紐づけ部と、を備える。
　本開示の一態様である記憶媒体は、１つ又は複数のプロセッサが実行することにより、数値制御装置に入力される操作信号と数値制御装置の操作内容とを関連づける操作信号変換辞書を記憶し、数値制御装置の操作時の映像を取得し、操作時において数値制御装置に入力される操作信号を取得し、操作信号の変化を検出し、操作信号の変化を数値制御装置の操作内容に変換し、操作信号が変化した時点の画像を選択し、画像と操作内容とを紐づける、コンピュータが読み取り可能な命令を記憶する。
　本発明の一態様により、自動で映像を判別することができる。
数値制御装置と外部機器との関係を示す概念図である。 入力部の一例を示す図である。 第１の開示の数値制御装置のブロック図である。 操作信号辞書部の一例を示す図である。 キーフレームの選択を説明する図である。 操作信号辞書部の一例を示す図である。 操作画像作成部が作成した画像の一例を示す図である。 要約映像の作成を説明する図である。 字幕付きの画像の一例を示す図である。 操作手順書の一例を示す図である。 代表画像の選択を説明する図である。 数値制御装置の動作を説明するフローチャートである。 第２の開示の数値制御装置のブロック図である。 数値制御装置のハードウェア構成を示す図である。
［第１の開示］
　図１は、本開示の映像判別装置としての数値制御装置１００と、数値制御装置１００に信号を送信する装置とを示す概念図である。図１において数値制御装置１００は、マシニングセンタに含まれる。マシニングセンタは、数値制御装置１００と工作機械が一体になった装置である。マシニングセンタは、サーボモータ、ファン、集霧機、クーラント、切粉除去装置、自動工具交換装置（ＡＴＣ）、積層表示灯（パトライト（登録商標））などの装置も含む。数値制御装置１００は、内部ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｃｏｎｔｒｏｌｌｅｒ）４２を備え、これらの機器を制御する。
　ＰＬＣ４２、５０には、数値制御装置１００に内蔵される内部ＰＬＣ４２と、外部のＰＬＣ５０がある。外部のＰＬＣ５０は、数値制御装置１００からの要求の他に、製造現場に存在する設備、装置、センサ、アクチュエータからの信号を入力し、センサが検知した情報や制御状態データなどを数値制御装置１００に出力する。本開示では、ＰＬＣ４２、５０が制御する装置を数値制御装置１００の外部機器と呼ぶ。
　数値制御装置１００は、入力部７１を備える。入力部７１には、物理的な入力部７１と電子的な入力部７１がある。図２は、数値制御装置１００の入力部７１の一例を示す。物理的な入力部７１は、機械操作盤のダイヤルやボタンなどである。電子的な入力部７１は、例えば、タッチパネルに表示されたボタンなどである。オペレータが入力部７１を操作すると、ＰＬＣ４２を介して操作信号が出力される。この操作信号は、特別な信号ではなく、オペレータが数値制御装置１００の既存の入力部７１に入力した結果得られる、既存の操作信号である。本開示では、既存の操作信号を映像判別に用いる。オペレータの操作内容を入力する必要はなく、オペレータが操作内容を入力するための特別なスイッチなども不要である。
　図３は、数値制御装置１００のブロック図である。数値制御装置１００は、映像取得部１１、操作信号取得部１２、操作信号辞書部１３、操作信号変換部１４、データ紐づけ部１５、字幕作成部１６、操作画像作成部１７、要約映像作成部１８、手順書作成部１９、画像選択部２０を備える。
　映像取得部１１は、工作機械を撮像するカメラ（図示省略）から映像を取得する。操作信号取得部１２は、機械操作盤やタッチパネルの入力部７１に入力された操作信号を取得する。
　操作信号辞書部１３は、「信号」と「信号の値」と「操作内容」とを関連付ける。操作信号変換部１４により、数値制御装置１００に入力された信号の変化をオペレータの操作内容に変換することができる。図４は、操作信号辞書部１３の一例である。図４には「信号」として「信号１」、「信号２」が登録されている。「信号」とは、外部機器の入力アドレス、所定の抵抗の電圧値などがある。図４において、「信号１」の値「１」は、操作内容「ＪＯＧで＋Ｙ方向に動かす」に関連づけられる。「信号２」の値「１０」は、操作内容「早送りオーバライドが２５％です」に関連づけられる。
　操作信号変換部１４は、入力部７１に入力された操作信号を監視し、操作信号の変化を検出する。操作信号の変化には、操作信号の値の変化、新たな操作信号の入力、操作信号の入力停止などがある。図４の１行目の例では、「信号１」の値が「０」から「１」に変化したとき、操作信号の変化を検出する。操作信号変換部１４は、操作信号辞書部１３を参照し、操作信号の変化を、操作内容「ＪＯＧ＋Ｙ方向に移動」に変換する。
　データ紐づけ部１５は、操作内容と映像とを紐づける。データ紐づけ部１５は、操作信号の変化があった時点の画像をキーフレームとして選択する。キーフレームとは、動画を構成するデータにおいて区切りとなるフレームである。キーフレームは画像情報を完全に保持した非圧縮フレームである。データ紐づけ部１５は、図５に示すように、複数のフレームの中から操作データが変化した時点のキーフレームを選択し操作内容と紐づける。
　字幕作成部１６は、信号に変化があった時点の操作内容を示す字幕を作成する。字幕の作成方法は、字幕ファイルを作成する方法がある。字幕ファイルとは、字幕の表示時間と字幕のテキストとを対応付けたテキストファイルである。字幕作成部１６は、映像に字幕ファイルを追加する。また、ＭＰＥＧのトランスポートストリームのように画像圧縮の際に映像と音声と字幕とを多重化してもよい。字幕の作成方法は特に限定しない。
　操作画像作成部１７は、操作内容を画像に変換する。図６は、操作内容を画像に変換するときの操作信号辞書部１３の一例である。図６では、「信号１」の値「１」は、操作内容「＋Ｙ」ボタンと関連づけられる。「信号２」の値「１０」は、反時計回りに操作されたダイヤルの画像と関連づけられる。図７は、操作画像作成部１７が作成した画像の一例である。図７は、操作内容として、ボタン「Ｙ」の押下と、ダイヤル操作が示されている。具体的には、ボタン「Ｙ」が強調表示され、機械操作盤右上のダイヤルが回転されたことを示す矢印が表示され、ダイヤルの操作量（値）が示されている。操作画像作成部１７は、オペレータの操作内容を画像に変換する。
　要約映像作成部１８は、図８に示すように、データ紐づけ部１５が選択したキーフレームとその後の数秒分の映像を抽出して繋ぎ合わせることで、操作データに変化があった部分のみを集約した要約映像を作成する。要約映像には、字幕を追加してもよい。図９は、要約映像に字幕を付加した例を示す。図９の例では、「ＪＯＧ＋Ｙ方向に移動」という字幕が付けられている。字幕を付けることにより、オペレータの操作と工作機械の動きとの関連を視覚化することができる。
　手順書作成部１９は、キーフレームと、そのときの操作内容を表すテキストとを順番に文書ファイルに貼り付けていくことで、画像と操作内容が一対一に対応する操作手順書を作成する。図１０の例では、キーフレーム［１］、［２］、［３］、［４］の４枚のキーフレームが並んでいる。キーフレーム［１］は「ＪＯＧ＋Ｙ方向に移動」する操作がなされたときの画像、キーフレーム［２］は「自動運転モードに変更」する操作がなされたときの画像、キーフレーム［３］は「リセットボタンを押す」操作がなされたときの画像、キーフレーム［４］は「スタートボタンを押す」操作がなされたときの画像である。
　オペレータの操作を時系列に並べることで手順書が自動的に作成できる。操作手順書には、時間情報を含めてもよい。画像に字幕を付けてもよい。
　画像選択部２０は、要約映像の作成や手順書の作成に使用する代表画像の選択を受け付ける。画像選択部２０は、信号に変化があった時点のキーフレームの一覧を表示し、ユーザの選択を受け付ける。要約映像作成部１８は、ユーザが選択したキーフレームから要約映像を作成する。手順書作成部１９は、ユーザが選択したキーフレームから手順書を作成する。
　画像選択部２０では、代表画像を選択することもできる。代表画像は、要約映像や手順書の表紙画像として用いられる。図１１の例では、［１］乃至［６］のキーフレームの一覧から、［４］のキーフレームが代表画像として選択されると、キーフレーム［４］を表紙とする要約映像が作成される様子を示している。
　図１２のフローチャートを参照して、数値制御装置１００の動作について説明する。本開示では、数値制御装置１００は、映像の録画と映像の判別とを同時に行う。数値制御装置１００は、接続されたカメラから工作機械の映像を取得する（ステップＳ１）と同時に、操作信号を取得する（ステップＳ２）。
　数値制御装置１００は、操作信号を監視し（ステップＳ３）、操作信号の変化を検出すると（ステップＳ４；ＹＥＳ）、操作信号辞書部１３を参照し、操作信号に対応する操作内容を選択する。ステップＳ４において、操作信号の変化を検出しない場合（ステップＳ４；ＮＯ）、ステップＳ３に処理を移行し、操作信号を監視する。
　数値制御装置１００は、操作信号が変化した時点の映像のフレームをキーフレームと選択し、操作内容と紐づける（ステップＳ５）。キーフレームと操作内容を記憶する（ステップＳ６）。このとき、タイムスタンプを付加してもよい。
　本開示の数値制御装置１００は、操作信号と操作内容とを関連づける操作信号辞書部１３を備え、オペレータが数値制御装置１００を操作した際に生じる操作内容とキーフレームとを紐づけて記憶する。数値制御装置１００は、操作内容は、テキストや画像などの人間が理解できる形式に変換される。数値制御装置１００は、操作内容を示すテキストを字幕として表示したり、操作内容を画像で表示したりする。数値制御装置１００は、操作内容とキーフレームを用いて、要約映像を作成したり、手順書を作成したりする。ユーザは、要約映像や手順書の表紙となるキーフレームを選択することもできる。なお、操作内容は、音声に変換してもよい。
　第１の開示では数値制御装置１００を映像判別装置の適用例としたが、映像取得部１１、操作信号取得部１２、操作信号辞書部１３、操作信号変換部１４、データ紐づけ部１５が存在すれば、数値制御装置１００以外の情報処理装置に適用してもよい。また、数値制御装置１００の構成要素をネットワーク上のＰＣ（パーソナルコンピュータ）、サーバ、数値制御装置などで分散して配置した映像判別システムも本開示に含む。
［第２の開示］
　第１の開示では、映像の録画とデータの紐づけとを同時に行ったが、第２の開示では、加工中に録画した映像と加工中の操作信号を用いてデータの紐づけを行う。第２の開示の映像判別装置２００は、図１３に示すように、録画した映像を記憶する映像記憶部２１と、加工中の操作信号を記憶する操作信号記憶部２２とを備える。映像取得部１１は映像記憶部２１に記憶する映像を読み出し、操作信号取得部１２は操作信号記憶部２２に記憶する操作信号を読み出す。
　操作信号辞書部１３、操作信号変換部１４、データ紐づけ部１５、字幕作成部１６、操作画像作成部１７、要約映像作成部１８、手順書作成部１９、画像選択部２０は、第１の開示と同じ処理を行うので説明を省略する。
　第２の開示の映像判別装置２００は、数値制御装置、ＰＣ、サーバ、携帯端末などの情報処理装置に適用することができる。また、第２の開示の映像判別装置２００の構成要素をネットワーク上のＰＣ、サーバ、数値制御装置など分散して配置した映像判別システムも本開示に含む。
［ハードウェア構成］
　図１４を参照して、第１の開示の数値制御装置１００のハードウェア構成を説明する。なお、第２の開示の映像判別装置２００も略同じハードウェア構成を有する。数値制御装置１００が備えるＣＰＵ１１１は、数値制御装置１００を全体的に制御するプロセッサである。ＣＰＵ１１１は、バスを介してＲＯＭ１１２に加工されたシステム・プログラムを読み出し、該システム・プログラムに従って数値制御装置１００の全体を制御する。ＲＡＭ１１３には、一時的な計算データや表示データ、入力部７１を介してユーザが入力した各種データ等が一時的に格納される。
　表示部７０は、数値制御装置１００に付属のモニタなどである。表示部７０は、数値制御装置１００の操作画面や設定画面などを表示する。
　入力部７１は、表示部７０と一体、又は、表示部７０とは別のキーボード、タッチパネルなどである。ユーザは入力部７１を操作して、表示部７０に表示された画面への入力などを行う。なお、表示部７０及び入力部７１は、携帯端末でもよい。
　不揮発性メモリ１１４は、例えば、図示しないバッテリでバックアップされるなどして、数値制御装置１００の電源がオフされても記憶状態が保持されるメモリである。不揮発性メモリ１１４には、図示しないインタフェースを介して外部機器から読み込まれたプログラムや入力部７１を介して入力されたプログラム、数値制御装置１００の各部や工作機械等から取得された各種データ（例えば、工作機械から取得した設定パラメータ等）が記憶される。不揮発性メモリ１１４に記憶されたプログラムや各種データは、実行時／利用時にはＲＡＭ１１３に展開されてもよい。また、ＲＯＭ１１２には、各種のシステム・プログラムがあらかじめ書き込まれている。
　工作機械の工具を制御するコントローラ４０は、ＣＰＵ１１１からの軸の移動指令をパルス信号に変換しドライバ４１に出力する。ドライバ４１はパルス信号を電流に変換して工作機械のサーボモータを駆動する。サーボモータは、数値制御装置１００の制御に従い工具やテーブルを移動する。
　　１００　数値制御装置
　　２００　映像判別装置
　　１１　　映像取得部
　　１２　　操作信号取得部
　　１３　　操作信号辞書部
　　１４　　操作信号変換部
　　１５　　データ紐づけ部
　　１６　　字幕作成部
　　１７　　操作画像作成部
　　１８　　要約映像作成部
　　１９　　手順書作成部
　　２０　　画像選択部
　　１１１　ＣＰＵ
　　１１２　ＲＯＭ
　　１１３　ＲＡＭ
　　１１４　不揮発性メモリ

Claims (10)

  1. 　数値制御装置に入力される操作信号と前記数値制御装置の操作内容とを関連付ける操作信号辞書部と、
    　前記数値制御装置の操作時の映像を取得する映像取得部と、
    　前記操作時において前記数値制御装置に入力される操作信号を取得する操作信号取得部と、
    　前記操作信号の変化を検出し、前記操作信号辞書部を参照して、前記操作信号の変化を前記数値制御装置の操作内容に変換する操作信号変換部と、
    　前記操作信号が変化した時点の画像を選択し、前記画像と前記操作内容とを紐づけるデータ紐づけ部と、
    　を備える映像判別装置。
  2. 　前記操作内容は、テキスト、画像、音声の少なくとも何れか１つの形式である、請求項１記載の映像判別装置。
  3. 　テキスト形式の操作内容から前記操作信号が変化した時点の字幕を作成する、請求項２記載の映像判別装置。
  4. 　画像形式の操作内容は、前記操作信号の変化があった時点における、前記数値制御装置の入力部への操作を示す画像である、請求項２記載の映像判別装置。
  5. 　前記操作信号が変化した時点の画像は、非圧縮フレームであるキーフレームである、請求項１記載の映像判別装置。
  6. 　前記操作信号が変化した時点における映像を抽出し、前記抽出した映像を繋ぎ合わせて要約映像を作成する要約映像作成部を備える、請求項１記載の映像判別装置。
  7. 　前記操作信号が変化した時点における画像と前記画像の操作内容とを用いて加工の手順書を作成する手順書作成部を備える、請求項１記載の映像判別装置。
  8. 　前記操作信号が変化した時点における画像のうち、少なくとも１つの画像の選択を受け付け、前記選択された画像を代表画像とする画像選択部を備える、請求項１記載の映像判別装置。
  9. 　数値制御装置に入力される操作信号と前記数値制御装置の操作内容とを関連づける操作信号辞書部と、
    　前記数値制御装置の操作時の映像を取得する映像取得部と、
    　前記操作時において前記数値制御装置に入力される操作信号を取得する操作信号取得部と、
    　前記操作信号の変化を検出し、前記操作信号辞書部を参照して、前記操作信号の変化を前記数値制御装置の操作内容に変換する操作信号変換部と、
    　前記操作信号が変化した時点の画像を選択し、前記画像と前記操作内容とを紐づけるデータ紐づけ部と、
    　を備える映像判別システム。
  10. 　１つ又は複数のプロセッサが実行することにより、
    　数値制御装置に入力される操作信号と前記数値制御装置の操作内容とを関連づける操作信号変換辞書を記憶し、
    　前記数値制御装置の操作時の映像を取得し、
    　前記操作時において前記数値制御装置に入力される操作信号を取得し、
    　前記操作信号の変化を検出し、前記操作信号の変化を前記数値制御装置の操作内容に変換し、
    　前記操作信号が変化した時点の画像を選択し、前記画像と前記操作内容とを紐づける、
    　コンピュータが読み取り可能な命令を記憶する記憶媒体。
PCT/JP2021/018653 2021-05-17 2021-05-17 映像判別装置、映像判別システム、及び記憶媒体 WO2022244076A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2021/018653 WO2022244076A1 (ja) 2021-05-17 2021-05-17 映像判別装置、映像判別システム、及び記憶媒体
PCT/JP2022/002289 WO2022244306A1 (ja) 2021-05-17 2022-01-21 映像判別装置、映像判別システム、及び記憶媒体
CN202280034464.7A CN117321516A (zh) 2021-05-17 2022-01-21 影像判别装置、影像判别系统以及存储介质
DE112022001432.6T DE112022001432T5 (de) 2021-05-17 2022-01-21 Videodiskriminierungsvorrichtung, videodiskriminierungssystem und speichermedium
JP2023522207A JPWO2022244306A1 (ja) 2021-05-17 2022-01-21

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/018653 WO2022244076A1 (ja) 2021-05-17 2021-05-17 映像判別装置、映像判別システム、及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2022244076A1 true WO2022244076A1 (ja) 2022-11-24

Family

ID=84140415

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2021/018653 WO2022244076A1 (ja) 2021-05-17 2021-05-17 映像判別装置、映像判別システム、及び記憶媒体
PCT/JP2022/002289 WO2022244306A1 (ja) 2021-05-17 2022-01-21 映像判別装置、映像判別システム、及び記憶媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002289 WO2022244306A1 (ja) 2021-05-17 2022-01-21 映像判別装置、映像判別システム、及び記憶媒体

Country Status (4)

Country Link
JP (1) JPWO2022244306A1 (ja)
CN (1) CN117321516A (ja)
DE (1) DE112022001432T5 (ja)
WO (2) WO2022244076A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05216525A (ja) * 1992-01-10 1993-08-27 Ryuji Emori マルチメディアｎｃ制御装置
JP2007011532A (ja) * 2005-06-29 2007-01-18 Fujitsu Ltd 操作手順書の自動生成装置
WO2015190567A1 (ja) * 2014-06-13 2015-12-17 株式会社チカク 画像管理システム、管理装置、プログラム及び画像出力装置
JP2019219725A (ja) * 2018-06-15 2019-12-26 ファナック株式会社 同期装置、同期方法及び同期プログラム
JP2020049558A (ja) * 2018-09-25 2020-04-02 ファナック株式会社 物品取り出しシステム
JP2020115246A (ja) * 2019-01-17 2020-07-30 日本電気株式会社 生成装置、ソフトウェアロボットシステム、生成方法及び生成プログラム
JP2020202449A (ja) * 2019-06-07 2020-12-17 キヤノン株式会社 制御装置
JP2021010984A (ja) * 2019-07-08 2021-02-04 株式会社リコー ロボットおよび機械学習方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6365511A (ja) * 1986-09-05 1988-03-24 Mitsubishi Electric Corp 監視制御コンピユ−タシステム
JPH0293898A (ja) * 1988-09-30 1990-04-04 Toshiba Corp 監視装置
JPH08129411A (ja) 1994-03-29 1996-05-21 Meteoola Syst Kk マルチメディアｎｃ制御装置
JP2005033303A (ja) * 2003-07-08 2005-02-03 Mitsubishi Electric Corp 映像監視システム
JP2005209024A (ja) * 2004-01-23 2005-08-04 Toshiba Corp 操作支援装置および操作支援方法
JP6359376B2 (ja) * 2014-08-07 2018-07-18 株式会社ユピテル 装置、システムおよびプログラム
WO2020157927A1 (ja) * 2019-01-31 2020-08-06 株式会社日立製作所 診断システムおよび診断方法
JP6788235B1 (ja) * 2019-07-30 2020-11-25 オムロン株式会社 情報管理システム、情報管理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05216525A (ja) * 1992-01-10 1993-08-27 Ryuji Emori マルチメディアｎｃ制御装置
JP2007011532A (ja) * 2005-06-29 2007-01-18 Fujitsu Ltd 操作手順書の自動生成装置
WO2015190567A1 (ja) * 2014-06-13 2015-12-17 株式会社チカク 画像管理システム、管理装置、プログラム及び画像出力装置
JP2019219725A (ja) * 2018-06-15 2019-12-26 ファナック株式会社 同期装置、同期方法及び同期プログラム
JP2020049558A (ja) * 2018-09-25 2020-04-02 ファナック株式会社 物品取り出しシステム
JP2020115246A (ja) * 2019-01-17 2020-07-30 日本電気株式会社 生成装置、ソフトウェアロボットシステム、生成方法及び生成プログラム
JP2020202449A (ja) * 2019-06-07 2020-12-17 キヤノン株式会社 制御装置
JP2021010984A (ja) * 2019-07-08 2021-02-04 株式会社リコー ロボットおよび機械学習方法

Also Published As

Publication number Publication date
WO2022244306A1 (ja) 2022-11-24
JPWO2022244306A1 (ja) 2022-11-24
CN117321516A (zh) 2023-12-29
WO2022244306A9 (ja) 2023-09-14
DE112022001432T5 (de) 2024-01-18

Similar Documents

Publication Publication Date Title
CN100407081C (zh) 数控装置
CA2253124C (en) Video searching method and apparatus, video information producing method, and storage medium for storing processing program thereof
JP2004527163A5 (ja)
CN101094397A (zh) 图像监视系统以及图像监视程序
CN100546356C (zh) 用于处理信息的设备、方法
WO1994006066A1 (en) Method for displaying operation history of numerical controller
WO2007105652A1 (ja) 画像抽出分析装置、画像抽出分析システム及び画像抽出分析方法
JP2006279267A (ja) 動画分割表示装置及び該表示装置の操作方法
US20210271886A1 (en) System and method for capturing, indexing and extracting digital workflow from videos using artificial intelligence
CN103430115B (zh) 伺服选定系统
WO2022244076A1 (ja) 映像判別装置、映像判別システム、及び記憶媒体
US20160110611A1 (en) Numerical control device
EP2140453A1 (en) Editing apparatus and editing method
JP2001255916A (ja) 形彫放電加工装置のｎｃプログラムの管理装置および管理方法
JP2005165514A (ja) アプリケーション表示装置
JP2002126975A (ja) 固定サイクル指令作成支援方法およびｎｃ装置
JP2007232776A (ja) プログラマブル表示器、ドキュメント表示方法とその方法を実行するプログラムおよびそれを記録した記録媒体、並びにドキュメント作成方法とその方法を実行するプログラムおよびそれを記録した記録媒体
CN1672212A (zh) 修改由用户所选的项目列表的方法,特别是音频和/或视频设备的播放列表和允许播放列表的音频和/或视频设备
WO2004047436A1 (ja) 映像閲覧システムおよび方法
JP2002132312A (ja) 表示データ設定可能な数値制御装置
JP4193505B2 (ja) ユーザプログラム開発支援装置及び表示切替方法並びにプログラム
WO2023139771A1 (ja) 情報生成装置、およびコンピュータ読み取り可能な記憶媒体
JPH09265547A (ja) 映像情報編集装置
WO2024095340A1 (ja) 動画マニュアル作成装置、及び動画マニュアル作成方法
JPH0863218A (ja) 数値制御装置のプログラム構成表示方式

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21940696

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21940696

Country of ref document: EP

Kind code of ref document: A1