JP7198824B2 - 工作機械の制御装置 - Google Patents

Description

本発明は、オペレータが音声入力により工作機械に対して各種指示を行えるようにした工作機械の制御装置に関する。

特許文献１には、複数の制御軸を有する数値制御工作機械において、入力した音声を識別して該音声に対応する駆動信号発生指令信号を出力し、駆動信号発生指令信号に基づき駆動信号を出力して、駆動信号に基づき各制御軸を制御するようにした数値制御工作機械が記載されている。

特開平１－１２５６０５号公報

工作機械の設置される工場等では、複数のオペレータが複数の工作機械を操作していることが多い。そうした場合、特許文献１の発明では、音声による指令が誰がどの工作機械へ向けて発した指令であるのかが不明確であるので、オペレータが音声で発した指令が意図した工作機械に正確に入力できないことがある。

本発明は、こうした従来技術の問題を解決することを技術課題としており、音声入力するオペレータを確実に特定し、オペレータ毎の好みや特徴に応じて、最適な操作支援をできるようにした工作機械の制御装置を提供することを目的としている。

上述の目的を達成するために、本発明によれば、複数の人の各顔のデータと音声データとを各人のＩＤと関連付けて格納した個人データベースと、前記工作機械へ入力可能な指令を格納した入力コマンドデータベースと、人の顔を撮像する撮像装置と、音声を入力するマイクロフォンと、前記撮像装置で撮像された人の顔のデータと、前記マイクロフォンから入力された音声データとを処理するマイクロプロセッサとを備えた工作機械の制御装置において、
前記マイクロプロセッサが、前記撮像装置で撮像された人の顔のデータが前記個人データベースの前記複数の人の各顔のデータの１つの画像データにマッチするとき、前記撮像装置で撮像された人が工作機械を操作する権限があるオペレータであるものとする顔認証を行い、前記マイクロフォンから入力された音声データを処理する際、顔認証で特定した人毎に前記個人データベースに基づいて、その処理に伴う各人の操作支援を行い、前記マイクロフォンから入力された音声データを分析し、前記マイクロフォンから入力された音声データが前記顔認証されたオペレータの音声であると判定したとき、分析結果に基づいて前記入力コマンドデータベースを検索して、音声データに対応した指令を前記工作機械に入力するようにした工作機械の制御装置が提供される。

本発明によれば、オペレータが工作機械に対して音声で指令を入力する際、入力された音声データが、従前に顔認証されたオペレータによって入力されているのか否かを判定することによって、工作機械の周囲に複数のオペレータが作業をしている場合でも、工作機械に対して指令するオペレータ（個人）を確実に特定することができ、工作機械の誤作動を確実に防止可能となる。

マイクロプロセッサは、個人データベースに格納されている各人のくせ、好み、加工ノウハウ、加工工程順序、身体上の特質、熟練度および過去の履歴の少なくとも１つの項目に適合した操作画面をディスプレイ上に生成するので、各人が使い勝手良く、熟練度に応じた最適な加工方法を実行して工作機械を操作できる。更に、音声データを分析したとき、入力コマンドデータベースを検索するために十分な情報が得られなかった場合、音声データの入力者に対して不足している情報に関して質問するようにしたので、工作機械の制御装置の動作が中断することなく、誤動作を防止することもできる。こうして、熟練度の低いオペレータでも誤動作することなく、工作機械の操作が行え、また熟練オペレータは、経験を生かして高度な加工を能率よく行えるようになる。

本発明の好ましい実施形態による工作機械の制御装置を示すブロック図である。 図１の制御装置による制御を示すフローチャートである。

以下、添付図面を参照して、本発明の好ましい実施形態を説明する。
図１において、本発明の好ましい実施形態による音声入力制御装置１００は、機械制御部１４と協働して工作機械１０を制御する。工作機械１０は、先端に回転工具を着脱可能に保持する回転主軸、ワークを固定するテーブル、および、回転主軸とテーブルとを相対的に少なくとも直交３軸方向に直線送りする送り軸装置を有した加工機（図示せず）と、複数の工具を収納した工具マガジン（図示せず）と、加工機の回転主軸と工具マガジンとの間で回転工具を交換する工具交換装置（図示せず）と、加工機や工具マガジンへクーラントを供給するクーラント供給装置（図示せず）等を備えたマシニングセンタとすることができる。工作機械１０を構成する加工機は、回転主軸にワークを取り付け、回転するワークに対して静止した工具（バイト）を押し付けて切削加工する旋盤であってもよい。

機械制御部１４は、加工機の回転主軸を駆動する主軸モータ（図示せず）および直交３軸の直線送り軸装置のＸ軸、Ｙ軸、Ｚ軸の各送り軸モータ（図示せず）を少なくとも制御するＮＣ装置１６、および、工作機械１０の工具マガジン、工具交換装置、クーラント供給装置等を制御するＰＬＣ１８を含むことができる。工作機械１０を包囲するカバー（図示せず）には、機械制御部１４へ種々の指令を入力するキーボードやスイッチ類２４、工作機械１０の作動状態を表示する表示部２４、工作機械１０のオン－オフスイッチ２６を備えた操作盤２０が取り付けられている。

音声入力制御装置１００は、顔認識部１０６、音声認識部１１０、自然言語処理部１１６、予測部１１８、指令生成部１２２、返答作成部１２６、発話生成部１２８、個人データベース１０８、入力コマンドデータベース１２０、機械状態データベース１３６を主要な構成要素として具備しており、CPU（中央演算素子）、RAM（ランダムアクセスメモリ）やROM（リードオンリーメモリ）のようなメモリ装置、HDD（ハードディスクドライブ）やSSD（ソリッドステートドライブ）のような記憶デバイス、出入力ポート、および、これらを相互接続する双方向バスを含むコンピュータ装置および関連するソフトウェアから構成することができる。

音声入力制御装置１００は、１つのコンピュータ装置または複数のコンピュータ装置から構成することができる。或いは、工作機械１０のための機械制御部１４の一部としてソフトウェア的に構成してもよい。更に、個人データベース１０８、入力コマンドデータベース１２０、工具データベース１２４および機械状態データベース１３６の１または複数のデータベースを上記コンピュータ装置に接続されたネットワークドライブのような記憶デバイスから構成してもよい。

個人データベース１０８は、各オペレータの平常時の顔画像、方言や独特の現場用語や言い回しで話をすることも含めた音声データ、操作画面の好み、操作盤スイッチの操作順序の習慣や、過去のアラーム発報の履歴、身体的特徴等のオペレータの特質、各オペレータの過去の体調や表情と顔画像や音声データとの関係などを蓄積し、刻々と更新している。

入力コマンドデータベース１２０は、工作機械１０に入力可能な指令が、例えば一覧形式で格納されている。工具データベース１２４は、工具マガジン撮像部１２で撮像した工具をはじめ、工場内に存在する工具のＩＤ、種類、名称、サイズ、材質、摩耗状態等のデータを蓄積し、刻々と更新している。機械状態データベース１３６は、オペレータドアの開閉、主軸工具のクランプ、アンクランプ、送り軸が原点復帰しているか否か等の機械の状態を示す、機械各部に設けられたセンサの現時点における出力を格納し、刻々と更新している。

以下、図２のフローチャートを参照して、音声入力制御装置１００の作用を説明する。
オペレータが作業を開始する（ステップＳ１０）とき、先ずカメラ１０２によってオペレータの顔を撮像する（ステップＳ１２）。顔認識部１０６は、カメラ１０２によって撮像されたオペレータの顔の画像データを分析し、該画像データに基づいて個人データベース１０８を検索して、カメラ１０２によって撮像された個人を識別、特定する。検索の結果、撮像した画像データが個人データベース１０８の１つの画像データにマッチするとき、このオペレータが工作機械１０を操作する権限あるオペレータとして認証され（ステップＳ１４）、個人データベース１０８に格納されている該オペレータの個人データが選択される。個人データベース１０８はインターネット１１４を介して工作機械メーカの音声データベース１１２に接続することもできる。工作機械メーカの音声データベース１１２は、全国的あるいは全世界的に収集した大規模データベースである。

個人データベース１０８は、例えば工場内のオペレータの顔画像データおよび音声データが該オペレータのＩＤと関連付けて格納している。個人データベース１０８には、また、名前、所属、権限等がオペレータのＩＤと関連付けて格納されている。顔画像データは、オペレータの標準的な顔の画像データに加えて、オペレータの特定の表情、例えばオペレータが体調不良の時の顔の表情に関連した画像データを含むことができる。音声データも同様に、標準的な音声データに加えて、オペレータが体調不良の時の音声データを含むことができる。

権限は、当該オペレータが操作できる機械の機械番号や、操作の種類を含むことができる。操作の種類は、例えば、あるオペレータは、ある工作機械について、直交３軸のみを使った加工はできるが、５軸を用いた加工は許可されていないというような加工プロセスの制限や、工作機械の点検はできるが、消耗品の交換はできないというようなメンテナンス作業上の制限を含むことができる。

更に、個人データベース１０８には、オペレータの特質をオペレータのＩＤと関連付けて格納することができる。オペレータの特質は、オペレータの身長、母国語、視力、聴力、色覚、熟練度、過去の操作履歴のような項目を含むことができる。オペレータの身長に合わせて操作盤２０の上下位置を変更したり、オペレータの母国語に合わせて、操作盤２０の表示部２２に表示する言語を選択したり、視力に合わせて表示部２２に表示する画面の拡大率を変更したり、聴力に合わせてスピーカ１３０の音量を変更したり、色覚に合わせて、表示部２２に表示する画面の色相、明度、彩度を変更したり、オペレータの熟練度によって表示部２２に表示する画面を変更したりできる。熟練度による画面の変更は、熟練度の低いオペレータの場合には、起動時に対話型の初期画面を表示するようにし、熟練度の高いオペレータの場合には、該オペレータの好みに合わせて、例えばワーク座標系設定画面を起動時に表示するようにしたりできる。

このオペレータがマイクロフォン１０４を通じて音声入力すると、音声認識部１１０は、マイクロフォン１０４を通して入力された人（オペレータ）の音声データを分析し、該音声データに基づいて個人データベース１０８を検索して、マイクロフォン１０４から入力された音声を発した個人を識別、特定し、入力された音声が認証されたオペレータの音声であるか否かが判定される（ステップＳ１８）。

このように、音声入力に際して、入力された音声データに基づいて再び認証を行い、音声入力しているオペレータが従前に顔認証されたオペレータであるか否かを判定することによって、工作機械１０の周囲に複数のオペレータが作業をしている場合に、工作機械１０に対して指令するオペレータ（個人）を確実に特定することができ、誤作動を確実に防止可能となる。

次いで、音声データは、音声認識部１１０から自然言語処理部１１６へ出力される。自然言語処理部１１６は、音声認識部１１０から音声データを受け取り、該音声データを字句解析して一連のトークン（トークン列）を生成する（ステップＳ２０）。予測部１１８は、自然言語処理部１１６からトークン列を受け取り、該トークン列に基づいて入力コマンドデータベース１２０を検索し、オペレータが入力しようとしている指令またはオペレータの意図を予測する（ステップＳ２２）。入力コマンドデータベース１２０には、工作機械１０に入力可能な指令の一覧が格納されている。

トークン列に基づいて、オペレータが入力しようとしている指令が入力コマンドデータベース１２０中に見つかった場合（ステップＳ２４でＮｏの場合）、予測部１１８は、該コマンドの名称を音声データに関連付けると共に、指令生成部１２２へこのコマンドの名称を出力する。なお、オペレータの過去の操作履歴を参照しつつ入力コマンドデータベース１２０を検索するようにしてもよい。

指令生成部１２２は、機械状態データベース１３６を参照して、予測部１１８から受け取ったコマンドの名称に対応した指令を工作機械１０が実行可能な状態であるか否かを判定するようにできる（ステップＳ３２）。工作機械１０が該指令を実行可能な状態である場合（ステップＳ３２でＹｅｓの場合）、指令生成部１２２は該指令を生成して（ステップＳ３４）、機械制御部１４へ出力する。機械制御部１４は指令生成部１２２から受け取った指令を実行して（ステップＳ３６）工作機械１０を制御すると共に、操作盤２０の表示部２２にその旨の表示をする。

自然言語処理部１１６から受け取ったトークン列では情報が不足し、入力コマンドデータベース１２０を参照しても、オペレータが入力しようとしているコマンドを特定することができなかった場合（ステップＳ２４でＹｅｓの場合）、予測部１１８は、その旨の返答をオペレータへ発するための指令を返答作成部１２６へ出力する（ステップＳ２６）。例えば、予測するために必要な情報が不足して、オペレータが入力しようとしているコマンドを特定できない場合には、予測部１１８は、不足している情報をオペレータに質問すべく返答を作成するよう返答作成部１２６に指示する。或いは、入力コマンドデータベース１２０中に該当するコマンドが見つからなかった場合も、予測部１１８は、コマンドが見つからないことをオペレータに告知するよう返答作成部１２６へ指示する。

返答作成部１２６は、予測部１１８からの指令に基づいて、オペレータの音声入力に対する返答を作成する（ステップＳ２８）。この返答は、例えばテキストデータで作成することができる。返答作成部１２６は、作成した返答を発話生成部１２８へ出力する。発話生成部１２８は、返答作成部１２６から受け取った返答、例えばテキストデータを読み上げ、スピーカ１３８から音声として出力する（ステップＳ３０）。返答作成部１２６は、また、作成した返答のテキストデータを端末装置、例えばタブレットやスマートフォンのようなハンドヘルドコンピュータ装置１３２のディスプレイ１３４に表示するようにしてもよい。このディスプレイ１３４は、また音声入力補助操作画面となっている。

指令生成部１２２が機械状態データベース１３６を参照したとき、工作機械１０が、該指令を実行可能な状態にない場合（ステップＳ３２でＮｏの場合）、指令生成部１２２は、その旨オペレータへ告知すべきとの指令を返答作成部１２６へ出力する（ステップＳ２６）。返答作成部１２６は、指令生成部１２２からの指令に基づいて、工作機械１０が指令を実行可能な状態ではないことのテキストデータを作成する（ステップＳ２８）。返答作成部１２６は、作成したテキストデータを発話生成部１２８へ出力し、発話生成部１２８は、該テキストデータを読み上げ、スピーカ１３８から音声信号として出力する（ステップＳ３０）。返答作成部１２６は、また、作成したテキストデータを端末装置１３２のディスプレイ１３４に表示するようにしてもよい。例えば、「オペレータドアが開いていて、指令を実行できません。オペレータドアを閉めて下さい。」とのテキスト表示や、これを読み上げて音声として出力することができる。

予測部１１８は、また、工具データベース１２４を参照して、音声データに関連付けたコマンドに適合した工具が準備されているか否かを判定するようにしてもよい。工具が準備されていない場合、予測部１１８は、その旨の返答をオペレータへ返すべきとの指令を返答作成部１２６へ出力する。

一例として、オペレータが「主軸の工具交換」と命じた場合、予測部１１８は「どの工具と交換しますか？」と質問を返す。オペレータが「工具経１０ｍｍのボールエンドミルに交換」と更に命じると、予測部１１８は、工具マガジン撮像部１２が撮像して工具マガジン内に収納されている全ての工具の工具データを格納している工具データベース１２４を参照し、例えば「１０ｍｍのボールエンドミルはありません。２０ｍｍのボールエンドミルはあります。代わりに交換してよろしいですか？」というように工具の状況説明を返すと共に、質問を返すようにできる。

また、予測部１１８は、オペレータの画像データと音声データの少なくとも一方のデータに基づいて、個人データベース１０８を検索し、身体的、心理的状態を予測し、オペレータへ必要な注意を喚起するようにできる。例えば、オペレータの体調が悪いと判断されるような場合には、予測部１１８は、他のオペレータと作業を交代することを促すような返答を作成するよう、返答作成部１２６へ指示することができる。

既述の実施形態では、顔認識部１０６は、カメラ１０２によって撮像したオペレータの顔の画像データを分析して個人の識別を行うようになっているが、顔の画像データの分析に代えて、顔の各パーツの特徴のデータや、各パーツ間の位置関係のデータ等、顔の他のデータを分析に用いることもできる。

１０ 工作機械
１４ 機械制御部
２０ 操作盤
１０２ カメラ
１０４ マイクロフォン
１０８ 個人データベース
１１８ 予測部
１２０ 入力コマンドデータベース
１２４ 工具データベース

Claims (6)

1. 工作機械の制御装置において、
   複数の人の各顔のデータと音声データとを各人のＩＤと関連付けて格納した個人データベースと、
   前記工作機械へ入力可能な指令を格納した入力コマンドデータベースと、
   人の顔を撮像する撮像装置と、
   音声を入力するマイクロフォンと、
   前記撮像装置で撮像された人の顔のデータと、前記マイクロフォンから入力された音声データとを処理するマイクロプロセッサとを備え、
   前記マイクロプロセッサが、
   前記撮像装置で撮像された人の顔のデータが前記個人データベースの前記複数の人の各顔のデータの１つの画像データにマッチするとき、前記撮像装置で撮像された人が工作機械を操作する権限があるオペレータであるものとする顔認証を行い、
   前記マイクロフォンから入力された音声データを処理する際、顔認証で特定した人毎に前記個人データベースに基づいて、その処理に伴う各人の操作支援を行い、
   前記マイクロフォンから入力された音声データを分析し、前記マイクロフォンから入力された音声データが前記顔認証されたオペレータの音声であると判定したとき、分析結果に基づいて前記入力コマンドデータベースを検索して、音声データに対応した指令を前記工作機械に入力することを特徴とした工作機械の制御装置。
2. 前記マイクロプロセッサは、前記マイクロフォンから入力された音声データを分析したときに、前記入力コマンドデータベースを検索するために十分な情報が得られなかった場合、前記マイクロフォンから入力された音声データを入力した人に対して不足している情報に関して質問するようにした請求項１に記載の工作機械の制御装置。
3. 前記マイクロプロセッサは音声を生成して前記質問を行う請求項２に記載の工作機械の制御装置。
4. 前記マイクロプロセッサは、ディスプレイに文字を表示して前記質問を行う請求項２に記載の工作機械の制御装置。
5. 前記個人データベースは、格納されている人の各々のくせ、好み、加工ノウハウ、加工工程順序、身長、母国語、視力、聴力、色覚、熟練度および過去の操作履歴から選択される少なくとも１つの項目を含んでおり、
   前記マイクロプロセッサは、前記マイクロフォンから入力された音声データを入力した人のくせ、好み、加工ノウハウ、加工工程順序、身長、母国語、視力、聴力、色覚、熟練度および過去の操作履歴から選択される少なくとも１つの項目に適合した操作画面をディスプレイ上に生成する請求項１に記載の工作機械の制御装置。
6. 前記マイクロプロセッサは、前記撮像装置で撮像された人の顔のデータ、前記マイクロフォンから入力された音声データおよび前記個人データベースに基づいて、前記マイクロフォンから入力された音声データを入力した人の身体的、心理的状態を予測し、前記マイクロフォンから入力された音声データを入力した人へ必要な注意喚起する請求項１に記載の工作機械の制御装置。

Images