WO2020049733A1 - 工作機械の制御装置 - Google Patents

工作機械の制御装置 Download PDF

Info

Publication number
WO2020049733A1
WO2020049733A1 PCT/JP2018/033288 JP2018033288W WO2020049733A1 WO 2020049733 A1 WO2020049733 A1 WO 2020049733A1 JP 2018033288 W JP2018033288 W JP 2018033288W WO 2020049733 A1 WO2020049733 A1 WO 2020049733A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
machine tool
microprocessor
data
control device
Prior art date
Application number
PCT/JP2018/033288
Other languages
English (en)
French (fr)
Inventor
佐藤　仁
泰徳 増宮
智雄 吉田
Original Assignee
株式会社牧野フライス製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社牧野フライス製作所 filed Critical 株式会社牧野フライス製作所
Priority to JP2020540982A priority Critical patent/JP7198824B2/ja
Priority to PCT/JP2018/033288 priority patent/WO2020049733A1/ja
Priority to US17/274,106 priority patent/US20210333776A1/en
Priority to CN201880097111.5A priority patent/CN112639638A/zh
Priority to EP18932927.9A priority patent/EP3848765A4/en
Publication of WO2020049733A1 publication Critical patent/WO2020049733A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24162—Biometric sensor, fingerprint as user access password
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35453—Voice announcement, oral, speech input
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques

Definitions

  • the present invention relates to a machine tool control device that allows an operator to give various instructions to a machine tool by voice input.
  • Patent Document 1 discloses that in a numerically controlled machine tool having a plurality of control axes, an input voice is identified, a drive signal generation command signal corresponding to the voice is output, and a drive signal is output based on the drive signal generation command signal. Further, a numerically controlled machine tool that controls each control axis based on a drive signal is described.
  • the present invention has a technical problem to solve the problems of the related art, and a machine tool capable of reliably identifying an operator who inputs a voice and performing optimal operation support according to the preference and characteristics of each operator.
  • the purpose of the present invention is to provide a control device.
  • a personal database that stores face data and voice data of a plurality of persons in association with IDs of the persons, and a command that can be input to the machine tool, Processing the stored input command database, an imaging device for imaging a human face, a microphone for inputting voice, data of a human face imaged by the imaging device, and audio data input from the microphone
  • a control device for a machine tool including a microprocessor
  • the microprocessor performs face authentication based on the face data and processes voice data input from the microphone, based on the personal database for each person specified by face authentication
  • a machine tool control device that assists human operation, analyzes the voice data, searches the input command database based on the analysis result, and inputs a command corresponding to the voice data to the machine tool.
  • the present invention when an operator inputs a command by voice to a machine tool, it is determined whether or not the input voice data is input by a previously face-authenticated operator. Even when a plurality of operators are working around the machine, the operator (individual) who instructs the machine tool can be reliably specified, and malfunction of the machine tool can be reliably prevented.
  • the microprocessor displays on the display an operation screen adapted to at least one item of each person's habit, preference, processing know-how, processing step sequence, physical characteristics, skill level and past history stored in the personal database. Since it is generated, each user can operate the machine tool by executing an optimal processing method according to the skill level with ease of use. Further, when the voice data is analyzed, if sufficient information for searching the input command database is not obtained, a question is asked to the input person of the voice data about the missing information. The malfunction of the control device can be prevented without interrupting the operation of the control device. In this way, even a low-skilled operator can operate the machine tool without malfunction, and a skilled operator can efficiently perform advanced machining by utilizing his experience.
  • FIG. 1 It is a block diagram showing a control device of a machine tool by a preferred embodiment of the present invention. 2 is a flowchart illustrating control by the control device of FIG. 1.
  • a voice input control device 100 controls a machine tool 10 in cooperation with a machine control unit 14.
  • the machine tool 10 has, at its tip, a rotary spindle that detachably holds a rotary tool, a table that fixes a work, and a feed shaft device that linearly feeds the rotary spindle and the table relatively in at least three orthogonal directions.
  • a processing machine (not shown), a tool magazine (not shown) containing a plurality of tools, and a tool changing device (not shown) for exchanging a rotary tool between a rotary spindle of the processing machine and the tool magazine.
  • a machining center provided with a coolant supply device (not shown) for supplying coolant to a processing machine or a tool magazine.
  • the processing machine that constitutes the machine tool 10 may be a lathe that mounts a workpiece on a rotating spindle and presses a stationary tool (bite) against the rotating workpiece to perform cutting.
  • the machine control unit 14 controls a spindle motor (not shown) that drives a rotating spindle of the processing machine and X-axis, Y-axis, and Z-axis feed axis motors (not shown) of a three-axis orthogonal linear feed axis device. It can include at least an NC device 16 for controlling, and a PLC 18 for controlling a tool magazine, a tool changing device, a coolant supply device, and the like of the machine tool 10.
  • a cover (not shown) surrounding the machine tool 10 includes a keyboard and switches 24 for inputting various commands to the machine control unit 14, a display unit 24 for displaying an operation state of the machine tool 10, and an on state of the machine tool 10.
  • a control panel 20 with an off switch 26 is mounted.
  • the voice input control device 100 includes a face recognition unit 106, a voice recognition unit 110, a natural language processing unit 116, a prediction unit 118, a command generation unit 122, a response generation unit 126, an utterance generation unit 128, a personal database 108, and an input command database 120.
  • a machine state database 136 as a main component, a CPU (central processing element), a memory device such as a RAM (random access memory) and a ROM (read only memory), an HDD (hard disk drive) and an SSD ( A storage device such as a solid-state drive), input / output ports, and a computer device including a bidirectional bus interconnecting them, and associated software.
  • the voice input control device 100 can be composed of one computer device or a plurality of computer devices. Alternatively, it may be configured as software as a part of the machine control unit 14 for the machine tool 10. Further, one or more of the personal database 108, the input command database 120, the tool database 124, and the machine status database 136 may be constituted by a storage device such as a network drive connected to the computer device.
  • the personal database 108 includes a normal face image of each operator, voice data including dialects and unique site terms and phrases, operation screen preferences, operation panel switch operation order habits, and past operation habits.
  • voice data including dialects and unique site terms and phrases
  • operation screen preferences including dialects and unique site terms and phrases
  • operation panel switch operation order habits including past operation habits.
  • the history of the alarm issuance, the characteristics of the operator such as physical characteristics, and the relationship between the past physical condition and expression of each operator and the face image and the voice data are accumulated and updated every moment.
  • the input command database 120 stores commands that can be input to the machine tool 10 in, for example, a list format.
  • the tool database 124 stores data such as IDs, types, names, sizes, materials, and abrasion states of tools existing in the factory, including the tools imaged by the tool magazine imaging unit 12, and is constantly updated.
  • the machine status database 136 stores the current outputs of sensors provided at various parts of the machine, which indicate the status of the machine such as opening and closing of an operator door, clamping and unclamping of a spindle tool, and whether or not a feed shaft has returned to an origin. And it is updated every moment.
  • the camera 102 captures an image of the operator's face (step S12).
  • the face recognition unit 106 analyzes the image data of the operator's face captured by the camera 102, searches the personal database 108 based on the image data, and identifies and specifies the individual captured by the camera 102.
  • the search when the captured image data matches one image data in the personal database 108, this operator is authenticated as an authorized operator to operate the machine tool 10 (step S14) and stored in the personal database 108.
  • the personal data of the operator is selected.
  • the personal database 108 can also be connected to the machine tool manufacturer's voice database 112 via the Internet 114.
  • the machine tool maker's voice database 112 is a large-scale database collected nationwide or worldwide.
  • the personal database 108 stores, for example, face image data and voice data of an operator in a factory in association with the ID of the operator.
  • the personal database 108 also stores names, affiliations, authorities and the like in association with operator IDs.
  • the facial image data may include, in addition to the standard facial image data of the operator, image data related to the specific facial expression of the operator, for example, the facial expression when the operator is unwell.
  • the voice data can include voice data when the operator is ill, in addition to the standard voice data.
  • the authority can include the machine number of the machine that can be operated by the operator and the type of operation.
  • the type of operation is, for example, a certain operator can process a certain machine tool using only three orthogonal axes, but processing using five axes is not permitted. Can be checked, but consumables cannot be replaced.
  • the personal database 108 can store the characteristics of the operator in association with the ID of the operator.
  • Operator attributes may include items such as the operator's height, native language, eyesight, hearing, color vision, proficiency, and past operational history. Change the vertical position of the operation panel 20 according to the height of the operator, select a language to be displayed on the display unit 22 of the operation panel 20 according to the operator's native language, and display on the display unit 22 according to eyesight Changing the magnification of the screen to be displayed, changing the volume of the speaker 130 in accordance with the hearing, changing the hue, lightness, and saturation of the screen displayed on the display unit 22 in accordance with the color perception. The screen displayed on the display unit 22 can be changed depending on the degree.
  • the change of the screen according to the skill level is such that, in the case of an operator with a low skill level, an interactive initial screen is displayed at startup, and in the case of an operator with a high skill level, according to the operator's preference, for example, The work coordinate system setting screen can be displayed at startup.
  • the voice recognition unit 110 analyzes the voice data of the person (operator) input through the microphone 104, searches the personal database 108 based on the voice data, and The individual who issued the input voice is identified and specified, and it is determined whether or not the input voice is the voice of the authenticated operator (step S18).
  • authentication is performed again based on the input voice data, and it is determined whether or not the operator performing voice input is a previously face-authenticated operator.
  • the operator (individual) who instructs the machine tool 10 can be specified with certainty, and malfunction can be reliably prevented.
  • the voice data is output from the voice recognition unit 110 to the natural language processing unit 116.
  • the natural language processing unit 116 receives the voice data from the voice recognition unit 110, and performs lexical analysis on the voice data to generate a series of tokens (token sequence) (step S20).
  • the prediction unit 118 receives the token sequence from the natural language processing unit 116, searches the input command database 120 based on the token sequence, and predicts a command or operator's intention that the operator intends to input (step S22).
  • the input command database 120 stores a list of commands that can be input to the machine tool 10.
  • the prediction unit 118 associates the name of the command with voice data and generates a command.
  • the name of this command is output to the unit 122. Note that the input command database 120 may be searched while referring to the past operation history of the operator.
  • the command generation unit 122 can refer to the machine status database 136 to determine whether or not the command corresponding to the command name received from the prediction unit 118 is in a state in which the machine tool 10 can execute (step). S32). If the machine tool 10 is in a state in which the command can be executed (Yes in step S32), the command generation unit 122 generates the command (step S34) and outputs the command to the machine control unit 14. The machine control unit 14 controls the machine tool 10 by executing the command received from the command generation unit 122 (step S36), and displays the fact on the display unit 22 of the operation panel 20.
  • the prediction unit 118 outputs a command for issuing a response to that effect to the operator to the response creation unit 126 (step S26). For example, when the information necessary for prediction is insufficient and the command that the operator is trying to enter cannot be specified, the prediction unit 118 replies to create a response to ask the operator for the missing information. An instruction is given to the creating unit 126. Alternatively, when the corresponding command is not found in the input command database 120, the prediction unit 118 instructs the response creation unit 126 to notify the operator that the command is not found.
  • the response creating unit 126 creates a response to the operator's voice input based on the instruction from the prediction unit 118 (step S28). This response can be created with, for example, text data.
  • the response creation unit 126 outputs the created response to the utterance generation unit 128.
  • the utterance generation unit 128 reads out the response, for example, the text data received from the response creation unit 126, and outputs it as voice from the speaker 138 (step S30).
  • the response creation unit 126 may display the created text data of the response on a display 134 of a terminal device, for example, a handheld computer device 132 such as a tablet or a smartphone.
  • the display 134 is also a voice input auxiliary operation screen.
  • the command generator 122 refers to the machine state database 136, if the machine tool 10 is not in a state where the command can be executed (No in step S32), the command generator 122 notifies the operator to that effect. An instruction to do so is output to the reply creating unit 126 (step S26).
  • the response creation unit 126 creates text data indicating that the machine tool 10 is not in a state where the command can be executed, based on the command from the command generation unit 122 (step S28).
  • the reply creation unit 126 outputs the created text data to the utterance generation unit 128, and the utterance generation unit 128 reads out the text data and outputs it as an audio signal from the speaker 138 (step S30).
  • the response creating unit 126 may display the created text data on the display 134 of the terminal device 132. For example, a text display such as "The operator door is open and the command cannot be executed n. Please close the operator door.”, Or this can be read out and output as voice.
  • the prediction unit 118 may refer to the tool database 124 to determine whether or not a tool suitable for the command associated with the voice data has been prepared. When the tool is not prepared, the prediction unit 118 outputs to the response creation unit 126 a command to return a response to that effect to the operator.
  • the prediction unit 118 when the operator instructs "tool change of the spindle", the prediction unit 118 returns a question "which tool should be replaced?" When the operator further instructs “change to a ball end mill with a tool diameter of 10 mm”, the prediction unit 118 stores the tool data of all tools stored in the tool magazine captured by the tool magazine imaging unit 12. By referring to the tool database 124, it is possible to return a tool status description such as "There is no 10 mm ball end mill. There is a 20 mm ball end mill. Are you sure to replace it?" .
  • the prediction unit 118 searches the personal database 108 based on at least one of the image data and the audio data of the operator, predicts the physical and psychological state, and calls attention to the operator. it can. For example, when it is determined that the physical condition of the operator is bad, the prediction unit 118 may instruct the response generation unit 126 to generate a response that prompts the operator to change work with another operator. it can.
  • the face recognition unit 106 analyzes the image data of the operator's face imaged by the camera 102 to identify the individual. Instead of analyzing the image data of the face, Other data of the face, such as data on the characteristics of each part of the face and data on the positional relationship between the parts, can also be used for the analysis.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Numerical Control (AREA)

Abstract

工作機械の制御装置（１００）が、複数の人の各顔の画像データと音声データとを各人のＩＤと関連付けて格納した個人データベース（１０８）と、工作機械へ入力可能な指令を格納した入力コマンドデータベース（１２０）と、人の顔を撮像する撮像装置（１０２）と、音声を入力するマイクロフォン（１０４）と、撮像装置で撮像された人の顔の画像データと、マイクロフォンから入力された音声データとを処理するマイクロプロセッサとを備え、マイクロプロセッサが、顔の画像データに基づいて顔認証を行い、マイクロフォンから入力された音声データに基づいて音声認証を行って、該音声が顔認証された人の発する音声である場合に、音声データを分析し、分析結果に基づいて入力コマンドデータベースを検索して、音声データに対応した指令を工作機械に入力するようにした。

Description

工作機械の制御装置
　本発明は、オペレータが音声入力により工作機械に対して各種指示を行えるようにした工作機械の制御装置に関する。
　特許文献１には、複数の制御軸を有する数値制御工作機械において、入力した音声を識別して該音声に対応する駆動信号発生指令信号を出力し、駆動信号発生指令信号に基づき駆動信号を出力して、駆動信号に基づき各制御軸を制御するようにした数値制御工作機械が記載されている。
特開平１－１２５６０５号公報
　工作機械の設置される工場等では、複数のオペレータが複数の工作機械を操作していることが多い。そうした場合、特許文献１の発明では、音声による指令が誰がどの工作機械へ向けて発した指令であるのかが不明確であるので、オペレータが音声で発した指令が意図した工作機械に正確に入力できないことがある。
　本発明は、こうした従来技術の問題を解決することを技術課題としており、音声入力するオペレータを確実に特定し、オペレータ毎の好みや特徴に応じて、最適な操作支援をできるようにした工作機械の制御装置を提供することを目的としている。
　上述の目的を達成するために、本発明によれば、複数の人の各顔のデータと音声データとを各人のＩＤと関連付けて格納した個人データベースと、前記工作機械へ入力可能な指令を格納した入力コマンドデータベースと、人の顔を撮像する撮像装置と、音声を入力するマイクロフォンと、前記撮像装置で撮像された人の顔のデータと、前記マイクロフォンから入力された音声データとを処理するマイクロプロセッサとを備えた工作機械の制御装置において、
　前記マイクロプロセッサが、前記顔のデータに基づいて顔認証を行い、前記マイクロフォンから入力された音声データを処理する際、顔認証で特定した人毎に前記個人データベースに基づいて、その処理に伴う各人の操作支援を行い、前記音声データを分析し、分析結果に基づいて前記入力コマンドデータベースを検索して、音声データに対応した指令を前記工作機械に入力するようにした工作機械の制御装置が提供される。
　本発明によれば、オペレータが工作機械に対して音声で指令を入力する際、入力された音声データが、従前に顔認証されたオペレータによって入力されているのか否かを判定することによって、工作機械の周囲に複数のオペレータが作業をしている場合でも、工作機械に対して指令するオペレータ（個人）を確実に特定することができ、工作機械の誤作動を確実に防止可能となる。
　マイクロプロセッサは、個人データベースに格納されている各人のくせ、好み、加工ノウハウ、加工工程順序、身体上の特質、熟練度および過去の履歴の少なくとも１つの項目に適合した操作画面をディスプレイ上に生成するので、各人が使い勝手良く、熟練度に応じた最適な加工方法を実行して工作機械を操作できる。更に、音声データを分析したとき、入力コマンドデータベースを検索するために十分な情報が得られなかった場合、音声データの入力者に対して不足している情報に関して質問するようにしたので、工作機械の制御装置の動作が中断することなく、誤動作を防止することもできる。こうして、熟練度の低いオペレータでも誤動作することなく、工作機械の操作が行え、また熟練オペレータは、経験を生かして高度な加工を能率よく行えるようになる。
本発明の好ましい実施形態による工作機械の制御装置を示すブロック図である。 図１の制御装置による制御を示すフローチャートである。
　以下、添付図面を参照して、本発明の好ましい実施形態を説明する。
　図１において、本発明の好ましい実施形態による音声入力制御装置１００は、機械制御部１４と協働して工作機械１０を制御する。工作機械１０は、先端に回転工具を着脱可能に保持する回転主軸、ワークを固定するテーブル、および、回転主軸とテーブルとを相対的に少なくとも直交３軸方向に直線送りする送り軸装置を有した加工機（図示せず）と、複数の工具を収納した工具マガジン（図示せず）と、加工機の回転主軸と工具マガジンとの間で回転工具を交換する工具交換装置（図示せず）と、加工機や工具マガジンへクーラントを供給するクーラント供給装置（図示せず）等を備えたマシニングセンタとすることができる。工作機械１０を構成する加工機は、回転主軸にワークを取り付け、回転するワークに対して静止した工具（バイト）を押し付けて切削加工する旋盤であってもよい。
　機械制御部１４は、加工機の回転主軸を駆動する主軸モータ（図示せず）および直交３軸の直線送り軸装置のＸ軸、Ｙ軸、Ｚ軸の各送り軸モータ（図示せず）を少なくとも制御するＮＣ装置１６、および、工作機械１０の工具マガジン、工具交換装置、クーラント供給装置等を制御するＰＬＣ１８を含むことができる。工作機械１０を包囲するカバー（図示せず）には、機械制御部１４へ種々の指令を入力するキーボードやスイッチ類２４、工作機械１０の作動状態を表示する表示部２４、工作機械１０のオン－オフスイッチ２６を備えた操作盤２０が取り付けられている。
　音声入力制御装置１００は、顔認識部１０６、音声認識部１１０、自然言語処理部１１６、予測部１１８、指令生成部１２２、返答作成部１２６、発話生成部１２８、個人データベース１０８、入力コマンドデータベース１２０、機械状態データベース１３６を主要な構成要素として具備しており、CPU（中央演算素子）、RAM（ランダムアクセスメモリ）やROM（リードオンリーメモリ）のようなメモリ装置、HDD（ハードディスクドライブ）やSSD（ソリッドステートドライブ）のような記憶デバイス、出入力ポート、および、これらを相互接続する双方向バスを含むコンピュータ装置および関連するソフトウェアから構成することができる。
　音声入力制御装置１００は、１つのコンピュータ装置または複数のコンピュータ装置から構成することができる。或いは、工作機械１０のための機械制御部１４の一部としてソフトウェア的に構成してもよい。更に、個人データベース１０８、入力コマンドデータベース１２０、工具データベース１２４および機械状態データベース１３６の１または複数のデータベースを上記コンピュータ装置に接続されたネットワークドライブのような記憶デバイスから構成してもよい。
　個人データベース１０８は、各オペレータの平常時の顔画像、方言や独特の現場用語や言い回しで話をすることも含めた音声データ、操作画面の好み、操作盤スイッチの操作順序の習慣や、過去のアラーム発報の履歴、身体的特徴等のオペレータの特質、各オペレータの過去の体調や表情と顔画像や音声データとの関係などを蓄積し、刻々と更新している。
　入力コマンドデータベース１２０は、工作機械１０に入力可能な指令が、例えば一覧形式で格納されている。工具データベース１２４は、工具マガジン撮像部１２で撮像した工具をはじめ、工場内に存在する工具のＩＤ、種類、名称、サイズ、材質、摩耗状態等のデータを蓄積し、刻々と更新している。機械状態データベース１３６は、オペレータドアの開閉、主軸工具のクランプ、アンクランプ、送り軸が原点復帰しているか否か等の機械の状態を示す、機械各部に設けられたセンサの現時点における出力を格納し、刻々と更新している。
　以下、図２のフローチャートを参照して、音声入力制御装置１００の作用を説明する。
　オペレータが作業を開始する（ステップＳ１０）とき、先ずカメラ１０２によってオペレータの顔を撮像する（ステップＳ１２）。顔認識部１０６は、カメラ１０２によって撮像されたオペレータの顔の画像データを分析し、該画像データに基づいて個人データベース１０８を検索して、カメラ１０２によって撮像された個人を識別、特定する。検索の結果、撮像した画像データが個人データベース１０８の１つの画像データにマッチするとき、このオペレータが工作機械１０を操作する権限あるオペレータとして認証され（ステップＳ１４）、個人データベース１０８に格納されている該オペレータの個人データが選択される。個人データベース１０８はインターネット１１４を介して工作機械メーカの音声データベース１１２に接続することもできる。工作機械メーカの音声データベース１１２は、全国的あるいは全世界的に収集した大規模データベースである。
　個人データベース１０８は、例えば工場内のオペレータの顔画像データおよび音声データが該オペレータのＩＤと関連付けて格納している。個人データベース１０８には、また、名前、所属、権限等がオペレータのＩＤと関連付けて格納されている。顔画像データは、オペレータの標準的な顔の画像データに加えて、オペレータの特定の表情、例えばオペレータが体調不良の時の顔の表情に関連した画像データを含むことができる。音声データも同様に、標準的な音声データに加えて、オペレータが体調不良の時の音声データを含むことができる。
　権限は、当該オペレータが操作できる機械の機械番号や、操作の種類を含むことができる。操作の種類は、例えば、あるオペレータは、ある工作機械について、直交３軸のみを使った加工はできるが、５軸を用いた加工は許可されていないというような加工プロセスの制限や、工作機械の点検はできるが、消耗品の交換はできないというようなメンテナンス作業上の制限を含むことができる。
　更に、個人データベース１０８には、オペレータの特質をオペレータのＩＤと関連付けて格納することができる。オペレータの特質は、オペレータの身長、母国語、視力、聴力、色覚、熟練度、過去の操作履歴のような項目を含むことができる。オペレータの身長に合わせて操作盤２０の上下位置を変更したり、オペレータの母国語に合わせて、操作盤２０の表示部２２に表示する言語を選択したり、視力に合わせて表示部２２に表示する画面の拡大率を変更したり、聴力に合わせてスピーカ１３０の音量を変更したり、色覚に合わせて、表示部２２に表示する画面の色相、明度、彩度を変更したり、オペレータの熟練度によって表示部２２に表示する画面を変更したりできる。熟練度による画面の変更は、熟練度の低いオペレータの場合には、起動時に対話型の初期画面を表示するようにし、熟練度の高いオペレータの場合には、該オペレータの好みに合わせて、例えばワーク座標系設定画面を起動時に表示するようにしたりできる。
　このオペレータがマイクロフォン１０４を通じて音声入力すると、音声認識部１１０は、マイクロフォン１０４を通して入力された人（オペレータ）の音声データを分析し、該音声データに基づいて個人データベース１０８を検索して、マイクロフォン１０４から入力された音声を発した個人を識別、特定し、入力された音声が認証されたオペレータの音声であるか否かが判定される（ステップＳ１８）。
　このように、音声入力に際して、入力された音声データに基づいて再び認証を行い、音声入力しているオペレータが従前に顔認証されたオペレータであるか否かを判定することによって、工作機械１０の周囲に複数のオペレータが作業をしている場合に、工作機械１０に対して指令するオペレータ（個人）を確実に特定することができ、誤作動を確実に防止可能となる。
　次いで、音声データは、音声認識部１１０から自然言語処理部１１６へ出力される。自然言語処理部１１６は、音声認識部１１０から音声データを受け取り、該音声データを字句解析して一連のトークン（トークン列）を生成する（ステップＳ２０）。予測部１１８は、自然言語処理部１１６からトークン列を受け取り、該トークン列に基づいて入力コマンドデータベース１２０を検索し、オペレータが入力しようとしている指令またはオペレータの意図を予測する（ステップＳ２２）。入力コマンドデータベース１２０には、工作機械１０に入力可能な指令の一覧が格納されている。
　トークン列に基づいて、オペレータが入力しようとしている指令が入力コマンドデータベース１２０中に見つかった場合（ステップＳ２４でＮｏの場合）、予測部１１８は、該コマンドの名称を音声データに関連付けると共に、指令生成部１２２へこのコマンドの名称を出力する。なお、オペレータの過去の操作履歴を参照しつつ入力コマンドデータベース１２０を検索するようにしてもよい。
　指令生成部１２２は、機械状態データベース１３６を参照して、予測部１１８から受け取ったコマンドの名称に対応した指令を工作機械１０が実行可能な状態であるか否かを判定するようにできる（ステップＳ３２）。工作機械１０が該指令を実行可能な状態である場合（ステップＳ３２でＹｅｓの場合）、指令生成部１２２は該指令を生成して（ステップＳ３４）、機械制御部１４へ出力する。機械制御部１４は指令生成部１２２から受け取った指令を実行して（ステップＳ３６）工作機械１０を制御すると共に、操作盤２０の表示部２２にその旨の表示をする。
　自然言語処理部１１６から受け取ったトークン列では情報が不足し、入力コマンドデータベース１２０を参照しても、オペレータが入力しようとしているコマンドを特定することができなかった場合（ステップＳ２４でＹｅｓの場合）、予測部１１８は、その旨の返答をオペレータへ発するための指令を返答作成部１２６へ出力する（ステップＳ２６）。例えば、予測するために必要な情報が不足して、オペレータが入力しようとしているコマンドを特定できない場合には、予測部１１８は、不足している情報をオペレータに質問すべく返答を作成するよう返答作成部１２６に指示する。或いは、入力コマンドデータベース１２０中に該当するコマンドが見つからなかった場合も、予測部１１８は、コマンドが見つからないことをオペレータに告知するよう返答作成部１２６へ指示する。
　返答作成部１２６は、予測部１１８からの指令に基づいて、オペレータの音声入力に対する返答を作成する（ステップＳ２８）。この返答は、例えばテキストデータで作成することができる。返答作成部１２６は、作成した返答を発話生成部１２８へ出力する。発話生成部１２８は、返答作成部１２６から受け取った返答、例えばテキストデータを読み上げ、スピーカ１３８から音声として出力する（ステップＳ３０）。返答作成部１２６は、また、作成した返答のテキストデータを端末装置、例えばタブレットやスマートフォンのようなハンドヘルドコンピュータ装置１３２のディスプレイ１３４に表示するようにしてもよい。このディスプレイ１３４は、また音声入力補助操作画面となっている。
　指令生成部１２２が機械状態データベース１３６を参照したとき、工作機械１０が、該指令を実行可能な状態にない場合（ステップＳ３２でＮｏの場合）、指令生成部１２２は、その旨オペレータへ告知すべきとの指令を返答作成部１２６へ出力する（ステップＳ２６）。返答作成部１２６は、指令生成部１２２からの指令に基づいて、工作機械１０が指令を実行可能な状態ではないことのテキストデータを作成する（ステップＳ２８）。返答作成部１２６は、作成したテキストデータを発話生成部１２８へ出力し、発話生成部１２８は、該テキストデータを読み上げ、スピーカ１３８から音声信号として出力する（ステップＳ３０）。返答作成部１２６は、また、作成したテキストデータを端末装置１３２のディスプレイ１３４に表示するようにしてもよい。例えば、「オペレータドアが開いていて、指令を実行できませｎ。オペレータドアを閉めて下さい。」とのテキスト表示や、これを読み上げて音声として出力することができる。
　予測部１１８は、また、工具データベース１２４を参照して、音声データに関連付けたコマンドに適合した工具が準備されているか否かを判定するようにしてもよい。工具が準備されていない場合、予測部１１８は、その旨の返答をオペレータへ返すべきとの指令を返答作成部１２６へ出力する。
　一例として、オペレータが「主軸の工具交換」と命じた場合、予測部１１８は「どの工具と交換しますか？」と質問を返す。オペレータが「工具経１０ｍｍのボールエンドミルに交換」と更に命じると、予測部１１８は、工具マガジン撮像部１２が撮像して工具マガジン内に収納されている全ての工具の工具データを格納している工具データベース１２４を参照し、例えば「１０ｍｍのボールエンドミルはありません。２０ｍｍのボールエンドミルはあります。代わりに交換してよろしいですか？」というように工具の状況説明を返すと共に、質問を返すようにできる。
　また、予測部１１８は、オペレータの画像データと音声データの少なくとも一方のデータに基づいて、個人データベース１０８を検索し、身体的、心理的状態を予測し、オペレータへ必要な注意を喚起するようにできる。例えば、オペレータの体調が悪いと判断されるような場合には、予測部１１８は、他のオペレータと作業を交代することを促すような返答を作成するよう、返答作成部１２６へ指示することができる。
　既述の実施形態では、顔認識部１０６は、カメラ１０２によって撮像したオペレータの顔の画像データを分析して個人の識別を行うようになっているが、顔の画像データの分析に代えて、顔の各パーツの特徴のデータや、各パーツ間の位置関係のデータ等、顔の他のデータを分析に用いることもできる。
　１０　　工作機械
　１４　　機械制御部
　２０　　操作盤
　１０２　　カメラ
　１０４　　マイクロフォン
　１０８　　個人データベース
　１１８　　予測部
　１２０　　入力コマンドデータベース
　１２４　　工具データベース

Claims (6)

  1. 　工作機械の制御装置において、
    　複数の人の各顔のデータと音声データとを各人のＩＤと関連付けて格納した個人データベースと、
    　前記工作機械へ入力可能な指令を格納した入力コマンドデータベースと、
    　人の顔を撮像する撮像装置と、
    　音声を入力するマイクロフォンと、
    　前記撮像装置で撮像された人の顔のデータと、前記マイクロフォンから入力された音声データとを処理するマイクロプロセッサとを備え、
    　前記マイクロプロセッサが、
    　前記顔のデータに基づいて顔認証を行い、
    　前記マイクロフォンから入力された音声データを処理する際、顔認証で特定した人毎に前記個人データベースに基づいて、その処理に伴う各人の操作支援を行い、
    　前記音声データを分析し、分析結果に基づいて前記入力コマンドデータベースを検索して、音声データに対応した指令を前記工作機械に入力することを特徴とした工作機械の制御装置。
  2. 　前記マイクロプロセッサは、前記音声データを分析したときに、前記入力コマンドデータベースを検索するために十分な情報が得られなかった場合、音声データの入力者に対して不足している情報に関して質問するようにした請求項１に記載の工作機械の制御装置。
  3. 　前記マイクロプロセッサは音声を生成して前記質問を行う請求項２に記載の工作機械の制御装置。
  4. 　前記マイクロプロセッサは、ティスプレイに文字を表示して前記質問を行う請求項２に記載の工作機械の制御装置。
  5. 　前記個人データベースは、格納されている人の各々のくせ、好み、加工ノウハウ、加工工程順序、身長、母国語、視力、聴力、色覚、熟練度および過去の操作履歴から選択される少なくとも１つの項目を含んでおり、
    　前記マイクロプロセッサは、音声入力した人のくせ、好み、加工ノウハウ、加工工程順序、身長、母国語、視力、聴力、色覚、熟練度および過去の操作履歴から選択される少なくとも１つの項目に適合した操作画面をディスプレイ上に生成する請求項１に記載の工作機械の制御装置。
  6. 　前記マイクロプロセッサは、顔のデータ、音声データおよび前記個人データベースに基づいて、音声入力する人の身体的、心理的状態を予測し、音声入力する人へ必要な注意喚起する請求項１に記載の工作機械の制御装置。
PCT/JP2018/033288 2018-09-07 2018-09-07 工作機械の制御装置 WO2020049733A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020540982A JP7198824B2 (ja) 2018-09-07 2018-09-07 工作機械の制御装置
PCT/JP2018/033288 WO2020049733A1 (ja) 2018-09-07 2018-09-07 工作機械の制御装置
US17/274,106 US20210333776A1 (en) 2018-09-07 2018-09-07 Control device for machine tool
CN201880097111.5A CN112639638A (zh) 2018-09-07 2018-09-07 机床的控制装置
EP18932927.9A EP3848765A4 (en) 2018-09-07 2018-09-07 CONTROL DEVICE FOR MACHINE TOOL

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/033288 WO2020049733A1 (ja) 2018-09-07 2018-09-07 工作機械の制御装置

Publications (1)

Publication Number Publication Date
WO2020049733A1 true WO2020049733A1 (ja) 2020-03-12

Family

ID=69721692

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/033288 WO2020049733A1 (ja) 2018-09-07 2018-09-07 工作機械の制御装置

Country Status (5)

Country Link
US (1) US20210333776A1 (ja)
EP (1) EP3848765A4 (ja)
JP (1) JP7198824B2 (ja)
CN (1) CN112639638A (ja)
WO (1) WO2020049733A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024116259A1 (ja) * 2022-11-29 2024-06-06 ファナック株式会社 画面作成装置、及び画面作成方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866783B2 (en) * 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
IT202100024263A1 (it) * 2021-09-21 2023-03-21 Argesystems Srl Migliorata pressa piegatrice
CN114879649A (zh) * 2022-07-13 2022-08-09 中企科信技术股份有限公司 一种工业控制系统的网络监测装置、监测方法及控制系统
CN115256059B (zh) * 2022-08-01 2024-01-23 长鑫存储技术有限公司 一种磨片装置控制方法、系统及研磨抛光机
CN115409133B (zh) * 2022-10-31 2023-02-03 中科航迈数控软件(深圳)有限公司 基于跨模态数据融合的数控机床操作意图识别方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62197804A (ja) * 1986-02-26 1987-09-01 Inoue Japax Res Inc 音声入力方法
JPS62200406A (ja) * 1986-02-28 1987-09-04 Inoue Japax Res Inc 音声入力方法
JPS63147203A (ja) * 1986-12-11 1988-06-20 Inoue Japax Res Inc 工作機械の加工条件設定装置
JPH01125605A (ja) 1987-11-10 1989-05-18 Yamazaki Mazak Corp 数値制御工作機械
JP2006190285A (ja) * 2004-12-30 2006-07-20 Doosan Infracore Co Ltd 音声出力及び音声認識の可能な工作機械用制御システム及びその方法
JP2008068664A (ja) * 2006-09-12 2008-03-27 Fujitsu Ten Ltd 車両制御装置および車両制御方法
US20110077750A1 (en) * 2008-04-16 2011-03-31 Keba Ag Method for operating an electrically controllable technical device as well as a corresponding control device
WO2012153401A1 (ja) * 2011-05-11 2012-11-15 三菱電機株式会社 数値制御装置
JP2015153048A (ja) * 2014-02-12 2015-08-24 株式会社デンソー 運転支援装置
JP2015230621A (ja) * 2014-06-05 2015-12-21 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4462080A (en) * 1981-11-27 1984-07-24 Kearney & Trecker Corporation Voice actuated machine control
JP2004101901A (ja) * 2002-09-10 2004-04-02 Matsushita Electric Works Ltd 音声対話装置及び音声対話プログラム
DE102011075467A1 (de) * 2011-05-06 2012-11-08 Deckel Maho Pfronten Gmbh Vorrichtung zum bedienen einer automatisierten maschine zur handhabung, montage oder bearbeitung von werkstücken
US9001984B2 (en) * 2011-11-14 2015-04-07 Gold Post Technologies, Inc. Remote virtual supervision system
KR101971697B1 (ko) * 2012-02-24 2019-04-23 삼성전자주식회사 사용자 디바이스에서 복합 생체인식 정보를 이용한 사용자 인증 방법 및 장치
US9613020B1 (en) * 2014-09-15 2017-04-04 Benko, LLC Natural language user interface for computer-aided design systems
WO2016049898A1 (zh) * 2014-09-30 2016-04-07 华为技术有限公司 身份认证的方法、装置及用户设备
CN106572049B (zh) * 2015-10-09 2019-08-27 腾讯科技（深圳）有限公司 一种身份验证方法及装置
JP6713688B2 (ja) * 2017-03-06 2020-06-24 キタムラ機械株式会社 マシニングセンタｎｃ操作盤
KR102399809B1 (ko) * 2017-10-31 2022-05-19 엘지전자 주식회사 전자 장치 및 그 제어 방법
JP6584488B2 (ja) * 2017-12-22 2019-10-02 株式会社牧野フライス製作所 工作機械の制御方法および工作機械の制御装置
JP6966501B2 (ja) * 2019-03-25 2021-11-17 ファナック株式会社 工作機械および管理システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62197804A (ja) * 1986-02-26 1987-09-01 Inoue Japax Res Inc 音声入力方法
JPS62200406A (ja) * 1986-02-28 1987-09-04 Inoue Japax Res Inc 音声入力方法
JPS63147203A (ja) * 1986-12-11 1988-06-20 Inoue Japax Res Inc 工作機械の加工条件設定装置
JPH01125605A (ja) 1987-11-10 1989-05-18 Yamazaki Mazak Corp 数値制御工作機械
JP2006190285A (ja) * 2004-12-30 2006-07-20 Doosan Infracore Co Ltd 音声出力及び音声認識の可能な工作機械用制御システム及びその方法
JP2008068664A (ja) * 2006-09-12 2008-03-27 Fujitsu Ten Ltd 車両制御装置および車両制御方法
US20110077750A1 (en) * 2008-04-16 2011-03-31 Keba Ag Method for operating an electrically controllable technical device as well as a corresponding control device
WO2012153401A1 (ja) * 2011-05-11 2012-11-15 三菱電機株式会社 数値制御装置
JP2015153048A (ja) * 2014-02-12 2015-08-24 株式会社デンソー 運転支援装置
JP2015230621A (ja) * 2014-06-05 2015-12-21 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3848765A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024116259A1 (ja) * 2022-11-29 2024-06-06 ファナック株式会社 画面作成装置、及び画面作成方法

Also Published As

Publication number Publication date
EP3848765A1 (en) 2021-07-14
EP3848765A4 (en) 2022-03-30
JP7198824B2 (ja) 2023-01-04
US20210333776A1 (en) 2021-10-28
CN112639638A (zh) 2021-04-09
JPWO2020049733A1 (ja) 2021-08-12

Similar Documents

Publication Publication Date Title
WO2020049733A1 (ja) 工作機械の制御装置
US6112133A (en) Visual system and method for generating a CNC program for machining parts with planar and curvilinear surfaces
JP5925976B1 (ja) 加工プログラム編集支援装置
WO2020050415A1 (ja) 工作機械の制御装置
JP6114828B2 (ja) 工具管理システム
EP2520993A2 (de) Vorrichtung zum Bedienen einer automatisierten Maschine zur Handhabung, Montage oder Bearbeitung von Werkstücken
JPWO2014155723A1 (ja) 数値制御装置
US10139805B2 (en) Ladder diagram monitoring device capable of additionally displaying operation situation of CNC in comment
JPWO2014097371A1 (ja) 数値制御装置
JPWO2014168152A1 (ja) オフセット番号設定装置
US6834209B2 (en) Apparatus and method for generating a human machine interface
JP6638979B2 (ja) 加工工程管理機能付き数値制御装置および加工工程管理プログラム
JP2002529843A (ja) 機械部分を生成するための画像ｃｎｃプログラム
JP2002529843A5 (ja)
US7155298B2 (en) Device and method for generating and/or editing NC programs or NC tables
JPH0475850A (ja) 対話型数値制御装置における工具選定方法
US20230166353A1 (en) Method for operating and controlling a laser device for engraving, marking, lettering and/or cutting a preferably flat workpiece
US20040209230A1 (en) System and method for representing information
JPS59196145A (ja) 工具自動決定機能を有する数値制御装置
WO2023139771A9 (ja) 情報生成装置、およびコンピュータ読み取り可能な記憶媒体
KR20090059693A (ko) 사용자 인식기능을 갖는 수치 제어 장치용 ｈｍｉ 장치 및방법
EP4293449A1 (en) Machine tool, machine tool control method, and machine tool control program
WO2022107893A1 (ja) マニュアル表示システム、工作機械の制御装置およびマニュアルデータベース
JP2670148B2 (ja) 数値制御装置
JPS6373401A (ja) 数値制御装置における補助機能復帰方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18932927

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020540982

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018932927

Country of ref document: EP

Effective date: 20210407