JP6671648B2 - コントローラ、鍛圧機械、および制御方法 - Google Patents

コントローラ、鍛圧機械、および制御方法 Download PDF

Info

Publication number
JP6671648B2
JP6671648B2 JP2016111097A JP2016111097A JP6671648B2 JP 6671648 B2 JP6671648 B2 JP 6671648B2 JP 2016111097 A JP2016111097 A JP 2016111097A JP 2016111097 A JP2016111097 A JP 2016111097A JP 6671648 B2 JP6671648 B2 JP 6671648B2
Authority
JP
Japan
Prior art keywords
image data
area
workpiece
forging machine
worker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016111097A
Other languages
English (en)
Other versions
JP2017213593A (ja
Inventor
哲陽 渡邊
哲陽 渡邊
健史 小林
健史 小林
山下 修平
修平 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kanazawa University NUC
Komatsu Ltd
Komatsu Industries Corp
Original Assignee
Kanazawa University NUC
Komatsu Ltd
Komatsu Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kanazawa University NUC, Komatsu Ltd, Komatsu Industries Corp filed Critical Kanazawa University NUC
Priority to JP2016111097A priority Critical patent/JP6671648B2/ja
Priority to US15/351,840 priority patent/US10380732B2/en
Publication of JP2017213593A publication Critical patent/JP2017213593A/ja
Application granted granted Critical
Publication of JP6671648B2 publication Critical patent/JP6671648B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Description

本発明は、鍛圧機械の動作を制御するコントローラ、コントローラを備えた鍛圧機械、および鍛圧機械の制御方法に関する。
従来、プレス機械およびプレスブレーキ等の鍛圧機械が知られている。
特開昭60−107115号公報(特許文献1)には、プレスブレーキに対してワーク(被加工材)を自動供給する供給装置の制御方法が開示されている。特許文献1では、撮像装置を、ワークのプレスブレーキへの供給状態を撮像可能に配置している。また、特許文献1の制御方法は、ワークを含まない背景を撮像したときの二値化信号と当該背景と同一背景内にワークを含まて撮像したときの二値化信号との撮像装置の同一画素に対応した差を演算して、ワークのみの二値化信号を抽出する。さらに、当該制御方法は、ワークのみの二値化信号に基づいてワークの位置を演算し、演算した位置に基づいて供給装置を制御する。
特開2006−061958号公報(特許文献2)には、CCDカメラと、画像処理装置と、異常検出部とを備えるプレスブレーキが開示されている。詳しくは、CCDカメラは、ワーク表面の曲げ加工部位近傍の所定視野範囲を撮像する。画像処理装置は、CCDカメラにより撮像された画像から所定視野範囲内に作業者の手の画像が存在しているか否かを判定する。異常検出部は、画像処理装置からの信号に基づき、所定視野範囲内に作業者の手の画像が存在しているときにラムの動作を停止させるように制御する。
特開昭60−107115号公報 特開2006−061958号公報
しかしながら、特許文献1では、ワークの位置を演算できるが、作業者の位置を演算できない。
また、特許文献2では、上述したように、作業者の手の画像を判断する際に、CCDカメラにより撮像された画像を用いる。しかしながら、CCDカメラによって得られる画像は、周辺環境の影響を受けやすい。特に、照明等によって作業場の明るさが変化するに従い、CCDカメラから出力される画像データは変化する。
それゆえ、CCDカメラを用いた構成よりも高い精度で作業者の位置を検出できれば、作業者にとってプレスブレーキ等の鍛圧機械の利便性を高めることができる。
本発明は、上記の問題点に鑑みなされたものであって、その目的は、鍛圧機械の動作速度の制御に作業者の実際の位置をより正確に反映させることが可能なコントローラ、当該コントローラを備えた鍛圧機械、鍛圧機械の動作を制御するための制御方法を提供することにある。
本発明のある局面に従うと、コントローラは、被加工材を鍛圧する鍛圧機械の動作を制御する。コントローラは、鍛圧機械の加工領域を含む予め定められた領域をセンシングすることによって高さ方向の距離を判別するための画像データを出力するセンサから、画像データとして、被加工材と鍛圧機械の作業者との画像を含まない第1の画像データと、鍛圧機械が動作しているときの前記予め定められた領域の現況を表した第2の画像データとを取得する取得部と、第1の画像データと第2の画像データとの差分データを算出し、かつ差分データに基づいて作業者の領域を判定する判定部と、判定部による判定結果に基づいて、鍛圧機械の動作速度を制御する速度制御部とを備える、コントローラ。
上記の発明によれば、高さ方向の距離を判別するための画像データを出力するセンサから得た画像データを用いて、作業者の領域を判別することができる。当該画像データは、CCDカメラ等によって得られた画像データに比べて、周辺環境により影響を受けにくい。それゆえ、作業者の領域を高い精度で判定することが可能となる。したがって、鍛圧機械の動作速度の制御に作業者の実際の位置をより正確に反映させることが可能となる。
好ましくは、判定部は、差分データに基づいて被加工材の領域をさらに判定する。
上記の発明によれば、コントローラが、被加工材と作業者とを区別することが可能となる。したがって、被加工材の位置も考慮した動作速度の制御が可能となる。
好ましくは、被加工材は、平らな被加工面を有する。判定部は、被加工材の領域の判定として、被加工材の平らな領域を判定する。
平らな被加工面を有する被加工材は、通常の鍛圧作業の際には高さ方向が一定(水平)となるため、平らでない被加工面に比べて判別がしやすい。したがって、被加工材の領域をより精度よく判別することができる。
好ましくは、判定部は、差分データに基づく差分画像を複数のセルに分割し、かつ、差分データにおける輝度勾配方向ヒストグラム特徴量をセル毎に算出する特徴量算出部と、輝度勾配方向ヒストグラム特徴量と被加工材の形状の特徴量との類似度を、セル毎に算出する類似度算出部とを含む。判定部は、算出された類似度に基づき、作業者の領域と被加工材の領域とを判定する。
上記の発明によれば、被加工材の形状の特徴量を用いることによって、被加工材の領域と作業者の領域とを判定することができる。
好ましくは、判定部は、差分データに基づく差分画像を複数のセルに分割し、かつ、差分データにおけるエッジ部分の法線ベクトルをセル毎に算出する特徴量算出部と、法線ベクトルと被加工材の形状の特徴を表したベクトルとの類似度を、セル毎に算出する類似度算出部とを含む。判定部は、算出された類似度に基づき、作業者の領域と被加工材の領域とを判定する。
上記の発明によれば、被加工材の形状の特徴を表したベクトルを用いることによって、被加工材の領域と作業者の領域とを判定することができる。
好ましくは、判定部は、類似度が基準値未満のセルを所定の割合以上含む領域を、作業者の領域と判定する。
上記の発明によれば、類似度算出部によって算出された類似度に基づき、作業者の領域を判定することができる。
好ましくは、判定部は、類似度が基準値以上のセルを所定の割合以上含む領域を、被加工材の領域と判定する。
上記の発明によれば、類似度算出部によって算出された類似度に基づき、被加工材の領域を判定することができる。
好ましくは、判定部は、差分データに基づいて、一定の角度で傾斜している傾斜領域をさらに判定する。速度制御部は、傾斜領域が予め定められた広さ以上である場合には、動作速度を制限する。
平らな被加工面を有する被加工材を鍛圧する際には、被加工面が水平状態になければ、加工精度が低下する。上記の発明によれば、傾斜領域が予め定められた広さ以上ある場合には、被加工面が水平状態にないと判断できるため、動作速度を制限することにより加工精度が低下してしまうことを防止できる。
好ましくは、速度制御部は、傾斜領域が予め定められた広さ以上である場合には、鍛圧処理を停止させる。
上記の発明によれば、被加工面が水平状態にある状態で鍛圧処理がなされることを防止することができる。
本発明の他の局面に従うと、鍛圧機械は、被加工材を鍛圧する。鍛圧機械は、被加工材を加工する加工領域を有する本体と、鍛圧機械の動作を制御するコントローラと、鍛圧機械の加工領域を含む予め定められた領域をセンシングすることによって高さ方向の距離を判別するための画像データを出力するセンサとを備える。コントローラは、センサから、画像データとして、被加工材と鍛圧機械の作業者との画像を含まない第1の画像データと、鍛圧機械が動作しているときの前記予め定められた領域の現況を表した第2の画像データとを取得する。コントローラは、第1の画像データと第2の画像データとの差分データに基づいて、作業者の領域を判定する。コントローラは、判定結果に基づいて、鍛圧機械の動作を制御する。
上記の発明によれば、高さ方向の距離を判別するための画像データを出力するセンサから得た画像データを用いて、作業者の領域を判別することができる。当該画像データは、CCDカメラ等によって得られた画像データに比べて、周辺環境により影響を受けにくい。それゆえ、作業者の領域を高い精度で判定することが可能となる。したがって、鍛圧機械は、動作速度の制御に作業者の実際の位置をより正確に反映させることが可能となる。
好ましくは、センサは、加工領域の上方において本体に取り付けられている。
上記の発明によれば、加工領域を含む予め定められた領域をセンシングすることが可能となる。
好ましくは、鍛圧機械は、プレス機械である。
上記の発明によれば、プレス機械において、作業者の実際の位置をより正確に反映させた動作速度(プレス速度)の制御が可能となる。
本発明のさらに他の局面に従うと、制御方法は、被加工材を鍛圧する鍛圧機械の動作を制御するためのものである。制御方法は、鍛圧機械の加工領域を含む予め定められた領域をセンシングすることによって高さ方向の距離を判別するための画像データを出力するセンサから、画像データとして、被加工材と鍛圧機械の作業者との画像を含まない第1の画像データを取得するステップと、第1の画像データの取得後に、センサから、画像データとして、鍛圧機械が動作しているときの前記予め定められた領域の現況を表した第2の画像データを取得するステップと、第1の画像データと第2の画像データとの差分データを算出するステップと、差分データに基づいて、作業者の領域を判定するステップと、判定結果に基づいて、鍛圧機械の動作を制御するステップとを備える。
上記の発明によれば、高さ方向の距離を判別するための画像データを出力するセンサから得た画像データを用いて、作業者の領域を判別することができる。当該画像データは、CCDカメラ等によって得られた画像データに比べて、周辺環境により影響を受けにくい。それゆえ、作業者の領域を高い精度で判定することが可能となる。したがって、鍛圧機械の動作速度の制御に作業者の実際の位置をより正確に反映させることが可能となる。
上記の発明によれば、鍛圧機械の動作速度の制御に作業者の実際の位置をより正確に反映させることが可能となる。
プレスシステムの構成を説明するための図である。 作業者が作業領域内でプレス作業をしているときの状態を表した図である。 背景画像を表した模式図である。 現況画像の一例を表した模式図である。 差分データに基づく差分画像を表した模式図である。 判定された作業者の領域と短尺材の領域とを表した図である。 情報処理装置とプレスコントローラとの機能的構成を説明するための機能ブロック図である。 センサから取得した背景画像データに基づく背景画像を表した図である。 センサから取得した現況画像データに基づく現況画像を表した図である。 差分データに基づいた差分画像を表した図である。 ノイズを除去した後の差分データに基づく差分画像を表した図である。 HOG特徴量の算出方法を説明するための図である。 セルCi,jのヒストグラム(HOG特徴量)の例を表した図である。 ブロックおよび正規化処理を説明するための図である。 正規化後のHOG特徴量を可視化した図である。 2つの参照ベクトルを表した図である。 算出された類似度に基づいて作成された画像を表した図である。 プレスシステムにおける処理の流れを説明するためのシーケンスチャートである。 情報処理装置における処理の流れを説明するためのフローチャートである。 情報処理装置の典型的なハードウェア構成を表した図である。 作業者が作業領域内でプレス作業を開始する直前の状態を表した図である。 システムコントローラの機能的構成を説明する図である。 複数の判定領域の設定について説明する図である。 他の情報処理装置における処理の流れを説明するフロー図である。 検出信号出力処理のサブルーチンについて説明するフロー図である。 速度制御部が有する動作速度制限テーブルについて説明する図である。
以下の説明では、同一部品には、同一の符号を付している。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
本実施の形態では、鍛圧機械の一例として、プレス機械を例に挙げて説明する。また、プレス機械でプレス加工する被加工材として、平らな被加工面を有する部材を例に挙げて説明する。特に、被加工部材として、短尺材を例に挙げて説明する。
なお、鍛圧機械は、プレス機械に限定されず、プレスブレーキ等の他の機械であってもよい。また、被加工材は、平らな被加工面を有している必要はない。少なくとも、加工対象となる各々の被加工材が一定の形状を有していればよい。
<A.全体構成>
図1は、プレスシステム1の構成を説明するための図である。
図1に示されるように、プレスシステム1は、プレス機械10と、センサ20と、情報処理装置30と、入出力ターミナル40とを備える。情報処理装置30は、センサ20と入出力ターミナル40とに通信可能に接続されている。入出力ターミナル40は、さらに、プレス機械10に通信可能に接続されている。
プレス機械10は、本体フレーム11と、ベッド12と、ボルスタ13と、スライド14と、コントロールパネル15と、プレスコントローラ16とを備える。
本体フレーム11の略中央部には、スライド14が上下動自在に支持されている。スライド14に対する下方には、ベッド12上に取り付けられたボルスタ13が配置されている。本体フレーム11の前方には、コントロールパネル15が設けられている。本体フレーム11の側方には、コントロールパネル15が接続されたプレスコントローラ16が設けられている。
スライド14の下面には、図示しない上金型が装着される。ボルスタ13の上面には、図示しない下金型が装着される。上金型と下金型とから構成される金型に対応する所定の被加工部材を下金型に位置させ、上金型をスライド14と共に降下させることにより、プレス加工が行われる。
コントロールパネル15は、プレス機械10を制御するために必要な各種データを入力するものであり、データを入力するためのスイッチやテンキー、および設定画面やプレス機械10から出力されるデータを表示する表示器を有している。
コントロールパネル15は、予め設定されたデータを記憶したICカード等の外部記憶媒体からのデータ入力装置、または無線や通信回線を介してデータを送受信する通信装置を備えていてもよい。
なお、プレス機械10の上記の構成は、一例であり、特に当該構成に限られるものではない。
プレス機械10のプレスコントローラ16は、プレス機械10全体を制御する装置である。プレスコントローラ16は、コントロールパネル15および入出力ターミナル40に接続される。プレスコントローラ16は、CPU、高速数値演算プロセッサ、およびメモリ等を主体に構成され、決められた手順に従って入力データの算術・論理演算を行うコンピュータ装置と、指令電流を入出力する入出力インターフェイスとを備えて構成されている。
プレスコントローラ16のメモリは、ROM、RAM等の適宜な記憶媒体を含んで構成されている。このメモリは、プレスコントローラ16が各種の機能を実現するためのプログラムが格納されている。なお、当該メモリは、各種演算処理を実行するためのワーク領域としても用いられる。
センサ20は、デプスセンサである。センサ20は、プレス機械10の加工領域の上方において本体フレーム11に取り付けられている。
センサ20は、加工領域を含む予め定められた領域(以下、「作業領域」とも称する)をセンシングすることによって、高さ方向の距離を判別するための画像データを、通信ケーブルを介して、情報処理装置30に送信する。なお、センサ20から出力される画像データについては後述する。
情報処理装置30は、センサ20から、画像データを取得する。情報処理装置30は、センサから取得した画像データに基づき各種の演算処理を実行する。たとえば、情報処理装置30は、輝度勾配方向ヒストグラム(HOG:Histograms of Oriented Gradients)特徴量の算出等を行なう。また、情報処理装置30は、処理結果に応じた信号を、プレス機械10のプレスコントローラ16に送信する。
なお、情報処理装置30における具体的処理内容、および情報処理装置30のハードウェア構成については、後述する。
図2は、作業者が作業領域内でプレス作業をしているときの状態を表した図である。
図2に示されるように、作業者90は、ワークとしての短尺材80を把持しつつ、短尺材80をプレス機械10の加工領域に移動させる。さらに、作業者90は、短尺材80の平らな被加工面を上金型18に対向させた状態で、下金型17の上に短尺材80を載置する。この状態で、スライド14が下降することにより、短尺材80が金型によってプレスされる。
また、図2の状態では、作業者90と短尺材80とが作業領域に存在するので、作業者90および短尺材80もセンサ20によってセンシングされる。
なお、上記においては、プレスシステム1が、プレスコントローラ16とは別に情報処理装置30を有する構成を例に挙げて説明したが、これに限定されるものではない。プレスコントローラ16が情報処理装置30における各種の演算処理を実行するように、プレスコントローラ16を構成してもよい。このような構成の場合には、プレスシステム1は、情報処理装置30および入出力ターミナルを備える必要がなくなる。
<B.処理の概要>
プレスシステム1における処理の概要について説明する。詳しくは、情報処理装置30における演算処理の概要と、当該演算結果に基づくプレス機械10の動作の概要とについて説明する。
(b1.情報処理装置30における演算処理)
情報処理装置30は、センサ20から作業領域の背景画像を表した画像データ(以下、「背景画像データ」とも称する)を予め取得しておく。詳しくは、情報処理装置30は、プレス加工が開始される前に、センサ20から、短尺材80とプレス機械10の作業者90との画像を含まない画像データを取得しておく。
図3は、背景画像を表した模式図である。図3(A)に示すように、背景画像は、プレス機械10の画像と、加工領域の画像と、プレス機械10が設置された作業場の床面の画像とを含む。
情報処理装置30は、背景画像データを取得した後、少なくともプレス機械10が動作(典型的には、スライド14が上下に移動)している期間において、所定のタイミング(典型的には所定の周期)で当該タイミングにおける作業領域の画像データ(以下、「現況画像データ」とも称する)を、センサ20から取得する。たとえば、情報処理装置30は、ある局面において、短尺材80と作業者90との画像を含む現況画像データを所定の周期でセンサ20から取得する。なお、以下では、現況画像データに基づく画像を、「現況画像」とも称する。
なお、センサ20からの画像データの取得は、情報処理装置30からの取得要求に基づくものであってもよい。あるいは、センサ20が、情報処理装置30からの取得要求なしに画像データを情報処理装置30に送信する構成であってもよい。
図4は、現況画像の一例を表した模式図である。図4に示すように、ある局面において、現況画像は、プレス機械10の画像と、加工領域の画像と、作業場の床面の画像と、作業者90の画像と、短尺材80の画像とを含んでいる。
情報処理装置30は、現況画像データと背景画像データとの差分データを算出する。典型的には、情報処理装置30は、現況画像データをセンサ20から取得する度に、差分データを算出する。詳しくは、情報処理装置30は、センサ20の画素毎に現況画像データ(画素値)から背景画像データ(画素値)を差し引くことにより、差分データを算出する。
なお、情報処理装置30は、現況画像データをセンサ20から取得する度に、差分データを算出する必要は必ずしもない。現況画像データの取得の周期と、差分データの算出の周期とは同じである必要は必ずしもない。たとえば、画像データを複数回取得した後に、当該複数の取得のうちの最後に取得した現況画像データと、背景画像データとの差分データを算出してもよい。
図5は、差分データに基づく差分画像を表した模式図である。差分データにおいては、作業者90および短尺材80の領域以外の領域(作業領域に侵入した物体の周囲の領域)の画素値は相殺される。したがって、情報処理装置30は、図5に示すように、差分データにおいて、作業者90および短尺材の領域と、当該領域以外の領域とを判別することができる。
なお、スライド14は上下に移動するため、背景画像データを取得したときのスライド14の位置と、現況画像データを取得したときのスライド14の位置とが、異なる場合もある。つまり、差分データに、スライド14の一部のデータが残る場合もある。しかしながら、差分データにおけるスライド14の存在可能領域(範囲)は予め特定できるため、情報処理装置30は、作業者90および短尺材80の領域と、当該領域以外の領域とを判別することができる。
情報処理装置30は、さらに、差分データに基づいて、作業者90の領域と短尺材80の領域とを判定する。詳しくは、情報処理装置30は、HOG特徴量を用いた類似度の算出処理によって、作業者90の領域と、短尺材80の領域とを区別する。
図6は、判定された作業者90の領域と短尺材80の領域とを表した図である。図6に示されるように、情報処理装置30による演算処理によって、作業者90の位置と、短尺材80の位置とを特定することができる。
情報処理装置30は、判定結果に応じた信号を、入出力ターミナル40を介して、プレス機械10のプレスコントローラ16に送信する。判定結果に応じた信号は、作業者の位置データと短尺材の位置データそのものであってもよいし、作業者と加工領域との離間距離であってもよい。あるいは、判定結果に応じた信号は、作業者と加工領域との離間距離を長さに応じて複数の区分(領域)に分けた場合に、どの区分に属するのかを表した信号(領域判断信号)ものであってもよい。
なお、「センサ20」、「背景画像データ」、「現況画像データ」、「作業領域」は、それぞれ本発明の「センサ」、「第1の画像データ」、「第2の画像データ」、「予め定められた領域」の一例である。
(b2.演算結果に基づくプレス機械10の動作)
プレス機械10は、情報処理装置30から受信した判定結果に応じた信号に基づいて、動作速度を制御する。たとえば、プレス機械10は、作業者90が加工領域に近づいた場合にはプレス速度(具体的には、スライド14の移動速度)を遅くし、作業者90が加工領域から離れた場合にはプレス速度を早くする。これにより、従来よりも安全性の高いプレス作業が実現し得る。なお、動作速度の制御の詳細については、後述する。
<C.機能的構成>
図7は、情報処理装置30とプレスコントローラ16との機能的構成を説明するための機能ブロック図である。なお、情報処理装置30とプレスコントローラ16とを含んだ構成の「システムコントローラ50」が、本発明の「コントローラ」の一例である。
情報処理装置30は、取得部31と、判定部32とを備える。判定部32は、HOG処理部321と、類似度算出部322とを含む。プレスコントローラ16は、速度制御部161を備える。
取得部31は、センサ20から、背景画像データと、現況画像データとを取得する。なお、取得部31は、現況画像データを周期的に取得する。取得部31は、取得した背景画像データと現況画像データとを、判定部32に送る。
判定部32は、背景画像データと現況画像データとの差分データを算出し、かつ差分データに基づいて作業者90の領域と短尺材80の領域とを判定する。具体的には、判定部32は、当該領域判定処理を、HOG処理部321と、類似度算出部322とを用いて実行する。
HOG処理部321は、差分画像を複数のセルに分割する。典型的には、HOG処理部321は、差分画像を複数の単位領域に分割する。さらに、HOG処理部321は、差分データにおける輝度勾配方向ヒストグラム特徴量(以下、「HOG特徴量」)をセル毎に算出する。HOG処理部321は、算出されたHOG特徴量を類似度算出部322に送る。
類似度算出部322は、セル毎に、算出されたHOG特徴量と、予め記憶されている短尺材80形状の特徴量との類似度を算出する。
判定部32は、算出された類似度に基づき、作業者90の領域と短尺材80の領域とを判定する。判定部32は、判定結果に応じた信号を、入出力ターミナル40を介して、プレスコントローラ16に送る。
プレスコントローラ16は、判定結果に応じた信号を情報処理装置30から受信する。プレスコントローラ16の速度制御部161は、判定結果に応じた信号に基づいて、プレス機械10の動作速度を制御する。詳しくは、プレスコントローラ16は、スライド14の移動速度を制御するための制御信号を生成することにより、スライド14の移動速度を制御する。
なお、「取得部31」、「判定部32」、「HOG処理部321」、「類似度算出部322」は、それぞれ本発明の「取得部」、「判定部」、「特徴量算出部」、「類似度算出部」の一例である。
<D.処理の具体例>
以下では、実際に得られた画像データに基づき、システムコントローラ50(図7)で実行される処理の具体例を説明する。
(d1.差分画像の取得)
図8は、センサ20から取得した背景画像データに基づく背景画像を表した図である。具体的には、図8は、情報処理装置30のディスプレイに表示される背景画像を表した図である。図8に示すように、背景画像は、典型的には、グレースケールの画像として表示される。背景画像は、センサ20からの高さ方向の距離に応じた濃淡を有する。背景画像は、センサ20からの距離が近い程、色が濃くなり、センサ20からの距離が遠い程、色が薄くなる。
図9は、センサ20から取得した現況画像データに基づく現況画像を表した図である。具体的には、図9は、情報処理装置30のディスプレイに表示される現況画像を表した図である。なお、現況画像も背景画像と同様、典型的には、グレースケールの画像として表示される。
図9に示すように、現況画像は、作業者90の画像と短尺材80の画像とを含む点において、図8に示した背景画像とは異なる。
図10は、差分データに基づいた差分画像を表した図である。具体的には、図10は、情報処理装置30のディスプレイに、図8に示した背景画像と図9に示した現況画像との差分画像を表示させたときの図である。
図10に示すように、差分画像においては、作業者90の領域と短尺材80の領域とにおいては、全体的に白色となっていることが分かる。また、差分データは、差分画像からわかるように、ノイズを含んでいる。そこで、情報処理装置30は、差分データからノイズを除去する処理を実行する。当該ノイズの除去処理は、たとえば、判定部32において行われる。
図11は、ノイズを除去した後の差分データに基づく差分画像を表した図である。図11に示すように、ノイズ除去後の差分画像においては、作業者90および短尺材80の領域と、当該領域外の領域との違いが明確になる。
(d2.HOG処理)
以下では、情報処理装置30のHOG処理部321(図7)で実行される処理を説明する。なお、HOG処理は、ノイズを除去した後の差分データに対して実行される。
図12は、HOG特徴量の算出方法を説明するための図である。図12に示すように、HOG処理部321は、差分画像を複数のセルCi,jに分割する(iおよびjは、1以上の自然数)。各セルCi,jは、典型的には正方形であって、たとえば縦横の各々が6ピクセルの36ピクセルから構成される。
HOG処理部321は、各ピクセルにおいて、勾配ベクトルを算出する。具体的には、HOG処理部321は、輝度の変化している方向(勾配方向:0°〜180°)と、輝度の差(勾配強度)とを算出する。図12においては、セルC1,1における各ピクセルの勾配ベクトルを可視化した状態で模式的に表している。なお、勾配方向のみを算出し、勾配強度を算出しない構成であってもよい。
HOG処理部321は、さらに、0°から180°までを、0°から20°刻みで9方向に分割する。HOG処理部321は、各セルCi,jにおいて、横軸が9つの角度(0°,20°,40°,…,140°,160°)、縦軸が当該角度の勾配強度の和(頻度)のヒストグラムを作成する。
図13は、ある1つのセルCi,jのヒストグラム(HOG特徴量)の例を表した図である。図13に示すように、9つの角度の各々について、頻度が求められる。なお、以下では、各セルCi,jにおけるHOG特徴量Fi,jは、たとえば以下の式(1)のように9次元のベクトルとして表わされる。
i,j = {f,f,f,f,f,f,f,f,f} … (1)
なお、f,f,f,…,fは、それぞれ、0°,20°,40°,…,160°に対する。
HOG処理部321は、複数のセルで構成されるブロック毎に正規化処理を実行する。各ブロックは、たとえば、縦横の各々が3セルの9セルで構成される。
図14は、ブロックおよび正規化処理を説明するための図である。図14に示されるように、ブロックBi,jは、セルCi,jと、セルCi,j+1と、セルCi,j+2と、セルCi+1,jと、セルCi+1,j+1と、セルCi+1,j+2と、セルCi+2,jと、セルCi+2,j+1と、セルCi+2,j+2とで構成される。
図14においては、ブロックB1,1と、ブロックB1,8と、ブロックB6,1とを図示している。特に、ブロックB1,1,B1,8については、各々を構成するセルと、各セルにおけるHOG特徴量Fi,jとを図示している。
HOG処理部321は、各ブロックBi,jの中心のセルCi+1,j+1を、当該セルCi+1,j+1の周囲の8個のセル(当該ブロック内の他のセル)のHOG特徴量を用いて正規化する。たとえば、ブロックB1,1に着目すると、中心のセルC2,2は、セルC2,2の周囲の8個のセル(具体的には、セルC1,1,C1,2,C1,3,C2,1,C2,3,C3,1,C3,2,C3,3)のHOG特徴量を用いて正規化される。
具体的には、HOG処理部321は、以下の式(2)を用いてブロック毎に正規化処理を実行し、各セルCi,jの正規化後のHOG特徴量vを算出する。
なお、式(2)において、Vは、ブロックBi,jに含まれる9つのセルのHOG特徴量(Fi,j,Fi,j+1,Fi,j+2,Fi+1,j,Fi+1,j+1,Fi+1,j+2,Fi+2,j,Fi+2,j+1,Fi+2,j+2)で定義されるベクトルである。ノルムの添え字kが1のときはL1ノルムを、kが2のときはL2ノルムを、kが∞のときはL∞ノルムを示す。また、本実施の形態では、εの値は1である。
図15は、正規化後のHOG特徴量を可視化した図である。図15においては、短尺材80の被加工面における領域P内の1つのセルのHOG特徴量と、短尺材80の端部(縁部)における領域Q内の1つのセルのHOG特徴量とを、拡大して表示している。
ところで、短尺材80の領域は、直線的な輪郭と、平坦な表面とで構成される。その一方で、作業者90の領域は、曲線的な輪郭と、丸みのある表面とで構成される。それゆえ、短尺材80の領域と、作業者90の領域とでは、傾向が異なるHOG特徴量が得られることになる。たとえば、作業者90の領域において得られるHOG特徴量は、図15において拡大した表示した2つのHOG特徴量とは異なる傾向を示す。
判定部32は、このようなHOG特徴量の傾向の相違を利用して、作業者90の領域と、短尺材80との領域を判別する。具体的には、判定部32は、類似度算出部322によって算出される類似度によって、作業者90の領域と、短尺材80との領域を判別する。
なお、作業者90および短尺材80の領域外の周囲の領域は物体が何も存在しない領域であるので、当該周囲の領域に固有のHOG特徴量が得られる。それゆえ、判定部32は、作業者90の領域と短尺材80の領域とを判別する際に、周囲の領域を除外することができる。
(d3.類似度の算出)
以下では、類似度算出部322による類似度算出処理について説明する。
類似度算出部322は、HOG特徴量(具体的には、正規化後のHOG特徴量)と短尺材80の形状の特徴量との類似度を、セルCi,j毎に算出する。短尺材80の形状の特徴量は、以下のような処理を行うことにより、予め求めておく。
情報処理装置30は、短尺材80の平らな被加工面(水平状態にある被加工面)における10個の位置における特徴ベクトルの平均値を算出する。類似度算出部322は、算出された平均値(特徴ベクトル)を1つ目の参照ベクトルIref1として利用する。また、情報処理装置30は、さらに、短尺材80のエッジ部分における複数個(たとえば10個)の位置における特徴ベクトルの平均値を算出する。類似度算出部322は、エッジ部分における平均値(特徴ベクトル)を2つ目の参照ベクトルIref2として利用する。なお、以下では、2つの参照ベクトルを区別しない場合には、「Iref」と表記する。
図16は、2つの参照ベクトルIrefを表した図である。図16(A)は、1つ目の参照ベクトルIref1の例を表した図である。図16(B)は、2つ目の参照ベクトルIref2の例を表した図である。図16を参照して、横軸は、9つの傾斜角度(0°,20°,40°,…,140°,160°)を示し、縦軸は、上記頻度に対応する強度(傾斜の強さ)を表している。
類似度算出部322は、短尺材80の形状の特徴量として、図16に示すような2つの参照ベクトルIrefを利用し、HOG特徴量との類似度を算出する。典型的には、類似度算出部322は、コサイン類似度を用いて類似度を算出する。具体的には、類似度算出部322は、以下の式(3)を用いて類似度を算出する。
図17は、算出された類似度に基づいて作成された画像を表した図である。図17に示すとおり、差分画像において類似度が基準値以上であると判定された領域と、差分画像において類似度が基準値未満であると判定された領域とが区別できる。
判定部32は、算出された類似度に基づき、作業者90の領域と短尺材80の領域とを判定する。具体的には、判定部32は、算出された類似度が基準値未満のセルを所定の割合以上含む領域を、作業者90の領域と判定する。また、判定部32は、算出された類似度が上記基準値以上のセルを所定の割合以上含む領域を、短尺材80の領域と判定する。なお、基準値および所定の割合は、予め規定されている。
判定部32は、上述したように、判定結果に応じた信号を、入出力ターミナル40を介して、プレスコントローラ16に送る。なお、プレスコントローラ16は、上述したように、当該判定結果に応じた信号に基づいて、プレス機械10の動作速度を制御する。
<E.制御構造>
図18は、プレスシステム1における処理の流れを説明するためのシーケンスチャートである。図18に示されるように、シーケンスSQ11において、センサ20は、背景画像データを情報処理装置30に送信する。情報処理装置30は、当該背景画像データをメモリに記憶しておく。シーケンスSQ12において、センサ20は、現況画像データを送信する。現況画像データの送信は、典型的には、上述したように所定の周期で繰り返し行われる。
シーケンスSQ21において、情報処理装置30は、背景画像データと現況画像データの差分データを算出する。情報処理装置30は、現況画像データをセンサ20から取得する度に、差分データを算出する。シーケンスSQ22において、情報処理装置30は、差分データに基づいて、作業者90の領域と短尺材80の領域とを判定する。シーケンスSQ23において、情報処理装置30は、判定結果に応じた信号を、プレス機械10のプレスコントローラ16に送信する。
シーケンスSQ31において、プレスコントローラ16は、判定結果に応じた信号に基づいて、スライド14の移動速度を制御するための制御信号を生成する。シーケンスSQ32において、プレスコントローラ16は、スライド14を動作させる駆動回路に生成された制御信号を送信する。
その後、シーケンスSQ12,SQ21,SQ22,SQ23,SQ31,SQ32で示される一連の処理と同様の処理が繰り返される。情報処理装置30は、シーケンスSQ13においてセンサ20から次の現況画像データを受信した場合、シーケンスSQ24において、シーケンスSQ21と同様に、差分データを算出する。さらに、シーケンスSQ25において、情報処理装置30は、シーケンスSQ22と同様に、シーケンスSQ24で算出された差分データに基づいて、作業者90の領域と短尺材80の領域とを判定する。シーケンスSQ26において、情報処理装置30は、シーケンスSQ23と同様に、判定結果に応じた信号をプレスコントローラ16に送信する。
図19は、情報処理装置30における処理の流れを説明するためのフローチャートである。図19に示されるように、ステップS1において、情報処理装置30は、センサ20から作業領域の背景画像を表した背景画像データを取得する。ステップS2において、情報処理装置30は、センサ20から作業領域の現在の状況を撮像することにより得られた現況画像データを取得する。
ステップS3において、情報処理装置30は、現況画像データから背景画像データを差し引くことにより、背景画像データと現況画像データとの差分データを算出する。ステップS4において、情報処理装置30は、算出された差分データに対して、HOG処理を実行する。ステップS5において、情報処理装置30は、セルCi,j毎に、HOG特徴量と、短尺材80の特徴を表した上記2つの参照ベクトルIrefとの類似度を算出する。
ステップS6において、情報処理装置30は、算出された類似度に基づいて、作業者90の領域と短尺材80の領域とを判定する。ステップS7において、情報処理装置30は、判定結果に応じた信号をプレスコントローラ16に送信する。
<F.ハードウェア構成>
図20は、情報処理装置30の典型的なハードウェア構成を表した図である。図20を参照して、情報処理装置30は、CPU等のプロセッサ101と、メモリ102と、ディスプレイ103と、操作キー104と、通信インターフェイス105,106と、電源回路107とを備える。
プロセッサ101は、情報処理装置30の全体の動作を制御する。
メモリ102は、オペレーシングシステム、上述した判定処理等を実現するためのプログラム、および各種のデータを記憶している。
ディスプレイ103は、プロセッサ101に指示に基づき、各種の情報を表示する。たとえば、ディスプレイ103は、背景画像、現況画像、差分画像等の各種の画像を表示する。
通信インターフェイス105は、センサ20と通信するための通信処理部である。通信インターフェイス105は、センサ20から出力された画像データを受信する。なお、通信インターフェイス105は、受信された画像データをプロセッサ101に送る。
通信インターフェイス106は、入出力ターミナル40と通信するための通信処理部である。プロセッサ101は、通信インターフェイス106を介して、入出力ターミナル40に、判定結果に応じた信号を送信する。
電源回路107は、作業場に引き込まれた電源から、情報処理装置30内の各ブロックおよび図示しない回路に電力を供給するための回路である。
なお、図7に示した取得部31は、通信インターフェイス105に対応する。図7に示した判定部32は、プロセッサ101がメモリ102に格納されたプログラムを実行することにより実現される。
<G.小括>
(1)以上のように、プレスシステム1では、高さ方向の距離を判別するための画像データを出力するセンサ20から得た画像データを用いて、作業者90の領域を判別することができる。ところで、当該画像データは、CCDカメラ等によって得られた画像データに比べて、周辺環境により影響を受けにくい。それゆえ、プレスシステム1では、作業者90の領域を高い精度で判定することが可能となる。したがって、プレスシステム1では、プレス機械10の動作速度の制御に作業者90の実際の位置をより正確に反映させることが可能となる。
(2)また、プレスシステム1では、差分データに基づいて短尺材80の領域をさらに判定する。それゆえ、プレスシステム1は、被加工材と作業者とを区別することが可能となる。したがって、プレスシステム1では、短尺材80の位置も考慮した動作速度の制御が可能となる。
(3)短尺材80のような平らな被加工面を有する被加工材は、通常のプレス作業の際には高さ方向が一定(水平)となるため、平らでない被加工面に比べて判別がしやすい。したがって、プレスシステム1では、短尺材80の領域をより精度よく判別することができる。
(4)また、プレスシステム1では、短尺材80の形状の特徴量(特徴を表した参照ベクトルIref)を用いることによって、短尺材80の領域と作業者90の領域とを判定することができる。詳しくは、プレスシステム1では、類似度算出部322によって算出された類似度に基づき、短尺材80の領域と作業者90の領域とを判定することができる。
(5)センサ20が、加工領域の上方において本体フレーム11に取り付けられているため、センサ20は、加工領域を含む作業領域をセンシングすることが可能となる。
<H.変形例>
(h1.傾斜判定)
上記の実施の形態においては、短尺材80の被加工面が水平の状態にある場合には、上記の2つの参照ベクトルIrefの利用により短尺材80の領域を判定することができる。以下では、作業者90が短尺材80の被加工面を水平面から傾けた状態で短尺材80を加工領域に近づけた場合の処理について説明する。
図21は、作業者が作業領域内でプレス作業を開始する直前の状態を表した図である。図21に示されるように、作業者90が短尺材80の被加工面80aを水平状態から傾けた状態で短尺材80を加工領域に入れた場合、精度の高いプレス処理が行えない可能性がある。
また、情報処理装置30は、短尺材80が図21に示すように傾いた場合、上述した2つの参照ベクトルIrefでは、短尺材80の領域を判定できない可能性が高い。そこで、情報処理装置30の判定部32は、差分データに基づいて、作業者90の領域とともに、一定の角度で傾斜している傾斜領域を判定する。判定部32は、判定結果に基づく信号をプレスコントローラ16の速度制御部161に送る。
速度制御部161は、一定の角度で傾斜している傾斜領域が予め定められた広さ以上である場合には、プレス機械10のプレス速度を制限する。たとえば、速度制御部161は、プレス処理(スライド14の動作)を停止させる。
このようなに動作速度を制限することによって、加工精度が低下してしまうことを防止できるため、精度の高いプレス処理を維持することが可能となる。また、従来よりも安全性の高いプレス作業が実現し得る。特に、上記のように、傾斜領域が予め定められた広さ以上である場合にプレス処理を停止させる構成とした場合には、被加工面が水平状態にない状態で鍛圧処理がなされることを防止することができる。
(h2.法線ベクトルの利用)
上記の実施の形態においては、HOG処理部321によりセルのHOG特徴量を算出する構成を例に挙げて説明したが、これに限定されるものでない。セルの特徴量を算出できる構成であれば、特に限定されない。たとえば、以下のような構成とすることができる。
まず、HOG特徴量を算出する代わりに、差分データにおけるエッジ部分の法線ベクトルをセルCi,j毎に算出する。さらに、類似度算出部322によって、算出された法線ベクトルと短尺材80の特徴を表した参照ベクトルIrefとの類似度を、Ci,j毎に算出する。そして、判定部32が、算出された類似度に基づき、作業者90の領域と短尺材80の領域とを判定する。
このような構成であっても、上述した実施の形態の場合と同様の効果を得られる。
<I.プレス機械10の動作速度の制限方式>
次に、画像データに基づいて判定領域を設定し、それに基づくプレス機械10の動作速度を適切に制限する方式について説明する。
図22は、実施形態に基づくシステムコントローラ50#の機能的構成を説明する図である。
図22を参照して、システムコントローラ50#は、図7のシステムコントローラ50と比較して、情報処理装置30を情報処理装置30#に、プレスコントローラ16をプレスコントローラ16#に置換した点が異なる。
情報処理装置30#は、情報処理装置30と比較して判定部32を判定部32#に置換した点が異なる。
判定部32#は、判定部32と比較して、設定部323と、検出部324とをさらに含む点で異なる。
プレスコントローラ16#は、プレスコントローラ16と比較して通知部162をさらに含む点で異なる。その他の構成については、図7で説明したのと同様であるのでその詳細な説明については繰り返さない。
判定部32#は、HOG処理部321と類似度算出部322とを含み、上記したように取得部31で取得した背景画像データと現況画像データとの差分データを算出する。
そして、上記したように、HOG処理部321と類似度算出部322とにより作業者90の領域と、短尺材80の領域とがそれぞれ判別される。したがって、被加工材である短尺材80およびプレス機械10以外の物体である作業者90の領域が判別される。
設定部323は、取得部31で取得された画像データに基づいて複数の判定領域を設定する。具体的には、設定部323は、取得した背景画像データに含まれるプレス機械10のボルスタ13の形状を抽出する。設定部323は、抽出したボルスタ形状に基づいて複数の判定領域を設定する。
複数の判定領域は、それぞれの判定領域において上記HOG処理部321と類似度算出部322とにより判別された物体(一例として作業者90の領域)が進入したか否かを判定するために用いられる。
検出部324は、設定部323で設定された複数の判定領域のそれぞれについて物体(作業者90の領域)の進入を検出する。検出部324は、検出に応じた信号をプレスコントローラ16#に出力する。
プレスコントローラ16#は、情報処理装置30#から出力された検出に応じた信号に基づいて所定の動作を実行する。具体的には、速度制御部161は、検出に応じた信号に基づいてプレス速度を制限するための制御信号をプレス機械10に対して出力する。プレス機械10は、当該制御信号に従ってプレス速度を制限する。
また、通知部162は、検出に応じた信号に基づいて情報を通知する。具体的には、通知部162は、検出に応じた信号に基づいてアラーム音を報知したり、図示しないディスプレイに情報を表示する。
図23は、実施形態に基づく複数の判定領域の設定について説明する図である。
図23を参照して、本例においては複数の判定領域A1〜A8が示されている。
判定領域A1は、ボルスタ13の形状と同等の領域である。本例においては、ボルスタ13の形状が矩形状である場合が示されている。なお、矩形状の形状としてボルスタ13の角部が直角であることは必ずしも必要ではなく、角部が丸みを有している場合も含まれるものとする。なお、判定領域A1は、ボルスタ13の形状と完全に対応している必要は無く略同一の形状であればよい。
本例におけるボルスタ13は、本体フレーム11の上方に取り付けられたセンサ20から加工領域に対してセンシングした画像データから抽出することが可能である。具体的には、パターンマッチングによりボルスタの形状を抽出することが可能である。なお、本例においては、画像データに含まれるボルスタ13の一部の形状を抽出する場合について説明するが、ボルスタ13の全部の形状を抽出するようにしても良い。
設定部323は、画像データに基づいてボルスタ形状を抽出して判定領域A1を設定し、さらに複数の判定領域を設定する。具体的には、設定部323は、ボルスタ形状の大きさ(判定領域A1)の倍率を変更することにより判定領域A2〜A8を設定する。
判定領域A1の面積が最も狭く、以降判定領域の面積が昇順的に広くなる。
複数の判定領域の各々の判定領域について、4辺のうちの下側の一辺を同一方向に揃えながら倍率を変更した場合が示されている。なお、当該判定領域の設定の方式は一例であり、判定領域A1の重心を基準位置として倍率を変更して複数の判定領域を設定しても良く、特に判定領域の設定の方式については限定されない。
画像データのうちの加工領域に含まれるボルスタ形状に従って判定領域が設定されるためプレス機械10毎に手入力等に基づいて判定領域を設定する必要がなく簡易に設定することが可能である。
なお、本例においては、8個の判定領域を設定する場合について説明しているが、特に8個に限られずさらに複数の判定領域を設定しても良く、2個以上であれば任意の個数に設定することが可能である。
図24は、実施形態に基づく情報処理装置30#における処理の流れを説明するフロー図である。
図24を参照して、情報処理装置30#は、画像データを取得する(ステップS12)。具体的には、取得部31は、センサ20から背景画像データを取得する。
次に、情報処理装置30#は、ボルスタ形状を抽出する(ステップS14)。具体的には、設定部323は、取得部31で取得いた背景画像データに基づいてボルスタ形状を抽出する。
次に、情報処理装置30#は、判定領域を設定する(ステップS16)。具体的には、設定部323は、抽出したボルスタ形状に基づいて図23で説明したように複数の判定領域を設定する。
次に、情報処理装置30#は、検出信号出力処理を実行する(ステップS18)。検出信号出力処理の詳細については後述する。
そして、次に、情報処理装置30#は、処理が終了したか否かを判断する(ステップS20)。具体的には、プレス機械10の処理が終了した場合に処理が終了したと判断することが可能である。
ステップS20において、情報処理装置30#は、処理が終了したと判断した場合(ステップS20においてYES)には終了する(エンド)。
一方、ステップS20において、情報処理装置30#は、処理が終了していないと判断した場合(ステップS20においてNO)には、ステップS18に戻り、検出信号出力処理を実行する。
図25は、検出信号出力処理のサブルーチンについて説明するフロー図である。
図25を参照して、情報処理装置30#は、物体が有るか否かを判断する(ステップS22)。上記したようにHOG処理部321および類似度算出部322により物体が有るか否かを判断する。具体的には、取得部31で取得した背景画像データと現況画像データとの差分データを算出し、図19で説明した方式に従って作業者90の領域と、短尺材80の領域とを判別する。これにより、被加工材である短尺材80およびプレス機械10以外の物体(作業者90の領域)が有るか否かが判断される。
ステップS22において、情報処理装置30#は、物体が有ると判断した場合(ステップS22においてYES)には、物体の進入を検出する(ステップS24)。
検出部324は、判別された物体が複数の判定領域のそれぞれについての進入を検出する。検出部324は、物体が複数の判定領域にあると判断した場合には、最小の番号の判定領域(面積が狭い判定領域)を優先して検出する。たとえば、物体が判定領域A6〜A8で検出された場合には、判定領域A6で検出した(判定領域A6に物体が進入した)と判断する。
次に、情報処理装置30#は、判定領域に基づく検出信号を出力する(ステップS26)。検出部324は、検出結果に基づく判定領域に基づく検出信号を出力する。たとえば、検出部324は、判定領域A6で検出したと判断した場合には判定領域A6で検出された旨を示す信号を出力しても良い。あるいは領域番号に関する情報を出力するようにしても良い。
そして、情報処理装置30#は、検出信号出力処理を終了する(リターン)。
ステップS22において、物体が無いと判断した場合(ステップS22においてNO)には、検出信号出力処理を終了する(リターン)。
図26は、速度制御部161が有する動作速度制限テーブルについて説明する図である。
図26を参照して、動作速度制限テーブルは、検出領域と速度とが関連付けられたテーブルである。
速度制御部161は、情報処理装置30#からの判定領域に基づく検出信号に従って速度制限に関する制御信号をプレス機械10に出力する。
具体的には、判定領域A1で物体が検出された場合には停止を指示する制御信号を出力する。判定領域A2で物体が検出された場合には速度を10%に設定指示する制御信号を出力する。当該制御信号に従い、プレス機械10で設定されている目標速度(スライド14の速度等)が所定の割合の速度に制限される。判定領域A3で物体が検出された場合には速度を20%に設定指示する制御信号を出力する。判定領域A4で物体が検出された場合には速度を30%に設定指示する制御信号を出力する。判定領域A5で物体が検出された場合には速度を40%に設定指示する制御信号を出力する。判定領域A6で物体が検出された場合には速度を60%に設定指示する制御信号を出力する。判定領域A7で物体が検出された場合には速度を80%に設定指示する制御信号を出力する。判定領域A8で物体が検出された場合には速度は100%である。したがって、動作速度は制限されない。この場合には速度を100%に設定指示する制御信号を出力してもよいし、速度を制限する制御信号を出力しなくても良い。
例えば、速度制御部161は、情報処理装置30#から物体が判定領域A6で検出された旨を示す信号を受けた場合には、速度を60%に設定指示する制御信号を出力する。これに伴いプレス機械10の速度が適正に制限されて、たとえば作業者90の安全を確保することが可能である。
本例においては、加工領域に含まれるボルスタ形状に従って複数の判定領域が設定され、物体の進入が検出された判定領域に基づいてプレス機械10の速度が制限される。
したがって、加工領域に対する種々の方向からの物体の進入を検出することが可能であり、プレス機械10の速度を適切に制御することが可能である。
また、プレスコントローラ16#は、通知部162を含む。通知部162は、検出結果に基づく判定領域に基づく検出信号を受けて所定の通知処理を実行する。
具体的には、判定領域に応じて報知信号の音量を変更することも可能である。たとえば、判定領域A1に近づくほど警告音の音量を増大させることが可能である。また、音声に限られずメッセージ表示により警告を通知するようにしても良い。たとえば、判定領域A1に近づくほどメッセージ表示の文字の大きさを変更したり、点滅等の表示処理を実行するようにしても良い。
また、上記においては、短尺材80の領域と作業者90の領域とを判別して作業者90の領域を物体とする場合について説明したが、上記の短尺材80の被加工面の傾斜判定でも説明したように、一定の角度で傾斜している傾斜領域が予め定められた広さ以上である場合には、当該領域部分を物体と判定するようにしても良い。
そして、当該判定結果に基づいて動作速度を制限することによって、加工精度が低下してしまうことを防止できるため、精度の高いプレス処理を維持することが可能となる。また、従来よりも安全性の高いプレス作業が実現し得る。上記のように、傾斜領域が予め定められた広さ以上である場合にプレス処理を停止させる構成とした場合には、被加工面が水平状態に無い状態での鍛圧処理がなされることを防止することができる。
今回開示された実施の形態は例示であって、上記内容のみに制限されるものではない。本発明の範囲は請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 プレスシステム、10 プレス機械、11 本体フレーム、12 ベッド、13 ボルスタ、14 スライド、15 コントロールパネル、16,16# プレスコントローラ、17 下金型、18 上金型、20 センサ、30,30# 情報処理装置、31 取得部、32,32# 判定部、40 入出力ターミナル、50,50# システムコントローラ、80 短尺材、80a 被加工面、90 作業者、107 電源回路、161 速度制御部、162 通知部、321 HOG処理部、322 類似度算出部、323 設定部、324 検出部、A1,A2,A3,A4,A5,A6,A7,A8 判定領域。

Claims (11)

  1. 被加工材を鍛圧する鍛圧機械の動作を制御するコントローラであって、
    前記鍛圧機械の加工領域を含む予め定められた領域をセンシングすることによって高さ方向の距離を判別するための画像データを出力するセンサから、前記画像データとして、前記被加工材と前記鍛圧機械の作業者との画像を含まない第1の画像データと、前記鍛圧機械が動作しているときの前記予め定められた領域の現況を表した第2の画像データとを取得する取得部と、
    前記第1の画像データと前記第2の画像データとの差分データを算出し、かつ前記差分データに基づいて前記作業者の領域を判定する判定部と、
    前記判定部による判定結果に基づいて、前記鍛圧機械の動作速度を制御する速度制御部とを備える、コントローラ。
  2. 前記判定部は、前記差分データに基づいて前記被加工材の領域をさらに判定する、請求項1に記載のコントローラ。
  3. 前記被加工材は、平らな被加工面を有し、
    前記判定部は、前記被加工材の領域の判定として、前記被加工材の平らな領域を判定する、請求項2に記載のコントローラ。
  4. 前記判定部は、
    前記差分データに基づく差分画像を複数のセルに分割し、かつ、前記差分データにおける輝度勾配方向ヒストグラム特徴量を前記セル毎に算出する特徴量算出部と、
    前記輝度勾配方向ヒストグラム特徴量と、前記被加工材の形状の特徴量との類似度を、前記セル毎に算出する類似度算出部とを含み、
    算出された前記類似度に基づき、前記作業者の領域と前記被加工材の領域とを判定する、請求項2または3に記載のコントローラ。
  5. 前記判定部は、
    前記差分データに基づく差分画像を複数のセルに分割し、かつ、前記差分データにおけるエッジ部分の法線ベクトルを前記セル毎に算出する特徴量算出部と、
    前記法線ベクトルと、前記被加工材の形状の特徴を表したベクトルとの類似度を、前記セル毎に算出する類似度算出部とを含み、
    算出された前記類似度に基づき、前記作業者の領域と前記被加工材の領域とを判定する、請求項2または3に記載のコントローラ。
  6. 前記判定部は、前記類似度が基準値未満の前記セルを所定の割合以上含む領域を、前記作業者の領域と判定する、請求項4または5に記載のコントローラ。
  7. 前記判定部は、前記類似度が基準値以上の前記セルを所定の割合以上含む領域を、前記被加工材の領域と判定する、請求項4または5に記載のコントローラ。
  8. 前記判定部は、前記差分データに基づいて、一定の角度で傾斜している傾斜領域をさらに判定し、
    前記速度制御部は、前記傾斜領域が予め定められた広さ以上である場合には、前記動作速度を制限する、請求項3に記載のコントローラ。
  9. 被加工材を鍛圧する鍛圧機械であって、
    前記被加工材を加工する加工領域を有する本体と、
    前記鍛圧機械の動作を制御するコントローラと、
    前記鍛圧機械の加工領域を含む予め定められた領域をセンシングすることによって高さ方向の距離を判別するための画像データを出力するセンサとを備え、
    前記コントローラは、
    前記センサから、前記画像データとして、前記被加工材と前記鍛圧機械の作業者との画像を含まない第1の画像データと、前記鍛圧機械が動作しているときの前記予め定められた領域の現況を表した第2の画像データとを取得し、
    前記第1の画像データと前記第2の画像データとの差分データに基づいて、前記作業者の領域を判定し、
    前記判定結果に基づいて、前記鍛圧機械の動作を制御する、鍛圧機械。
  10. 前記センサは、前記加工領域の上方において前記本体に取り付けられている、請求項9に記載の鍛圧機械。
  11. 被加工材を鍛圧する鍛圧機械の動作を制御する制御方法であって、
    前記鍛圧機械の加工領域を含む予め定められた領域をセンシングすることによって高さ方向の距離を判別するための画像データを出力するセンサから、前記画像データとして、前記被加工材と前記鍛圧機械の作業者との画像を含まない第1の画像データを取得するステップと、
    前記第1の画像データの取得後に、前記センサから、前記画像データとして、前記鍛圧機械が動作しているときの前記予め定められた領域の現況を表した第2の画像データとを取得するステップと、
    前記第1の画像データと前記第2の画像データとの差分データを算出するステップと、
    前記差分データに基づいて、前記作業者の領域を判定するステップと、
    前記判定結果に基づいて、前記鍛圧機械の動作を制御するステップとを備える、制御方法。
JP2016111097A 2016-06-02 2016-06-02 コントローラ、鍛圧機械、および制御方法 Active JP6671648B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016111097A JP6671648B2 (ja) 2016-06-02 2016-06-02 コントローラ、鍛圧機械、および制御方法
US15/351,840 US10380732B2 (en) 2016-06-02 2016-11-15 Controller, forming machine, and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016111097A JP6671648B2 (ja) 2016-06-02 2016-06-02 コントローラ、鍛圧機械、および制御方法

Publications (2)

Publication Number Publication Date
JP2017213593A JP2017213593A (ja) 2017-12-07
JP6671648B2 true JP6671648B2 (ja) 2020-03-25

Family

ID=60483439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016111097A Active JP6671648B2 (ja) 2016-06-02 2016-06-02 コントローラ、鍛圧機械、および制御方法

Country Status (2)

Country Link
US (1) US10380732B2 (ja)
JP (1) JP6671648B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6703691B2 (ja) * 2016-06-02 2020-06-03 コマツ産機株式会社 コントローラ、鍛圧機械、および制御方法
JP6671648B2 (ja) * 2016-06-02 2020-03-25 コマツ産機株式会社 コントローラ、鍛圧機械、および制御方法
JP6918603B2 (ja) * 2017-06-28 2021-08-11 コマツ産機株式会社 三次元レーザ加工機および三次元レーザ加工機の制御方法
CN110051377B (zh) * 2019-04-29 2024-04-23 上海联影医疗科技股份有限公司 一种成像方法、装置和医学成像设备
JP2022051155A (ja) * 2020-09-18 2022-03-31 株式会社アマダ プレスブレーキ、画像出力装置及び画像出力方法
JP2024030883A (ja) * 2022-08-25 2024-03-07 アイダエンジニアリング株式会社 プレス機械及びプレス機械の画像監視方法
CN117407573B (zh) * 2023-11-13 2024-04-12 广州智业节能科技有限公司 可视化安防数据处理方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60107115A (ja) 1983-11-16 1985-06-12 Amada Co Ltd プレスブレーキに対するワーク供給ロボットの制御装置
JP4889679B2 (ja) * 2001-10-23 2012-03-07 株式会社アマダ 曲げ機械
JP2006061958A (ja) 2004-08-27 2006-03-09 Komatsu Sanki Kk プレスブレーキ
US8692877B2 (en) * 2005-06-20 2014-04-08 Lazer Safe Pty Ltd Imaging and safety system and method for an industrial machine
JP4997178B2 (ja) * 2008-06-10 2012-08-08 学校法人中部大学 物体検出装置
JP2010067079A (ja) * 2008-09-11 2010-03-25 Dainippon Printing Co Ltd 行動解析システムおよび行動解析方法
JP4626692B2 (ja) * 2008-09-12 2011-02-09 ソニー株式会社 物体検出装置、撮像装置、物体検出方法およびプログラム
EP2395452A1 (en) * 2010-06-11 2011-12-14 Toyota Motor Europe NV/SA Detection of objects in an image using self similarities
JP2014164579A (ja) * 2013-02-26 2014-09-08 Oki Electric Ind Co Ltd 情報処理装置、プログラム及び情報処理方法
US10043084B2 (en) * 2016-05-27 2018-08-07 Toyota Jidosha Kabushiki Kaisha Hierarchical context-aware extremity detection
JP6671648B2 (ja) * 2016-06-02 2020-03-25 コマツ産機株式会社 コントローラ、鍛圧機械、および制御方法

Also Published As

Publication number Publication date
US10380732B2 (en) 2019-08-13
US20170352148A1 (en) 2017-12-07
JP2017213593A (ja) 2017-12-07

Similar Documents

Publication Publication Date Title
JP6671648B2 (ja) コントローラ、鍛圧機械、および制御方法
JP6282498B2 (ja) 画像処理装置、その方法、及び、そのプログラム
US7957566B2 (en) Eyelid detection apparatus, eyelid detection method and program therefor
CN107273849B (zh) 显示控制装置及显示控制方法
US7907752B2 (en) Face center position detecting device, face center position detecting method, and computer-readable medium
JP6562437B1 (ja) 監視装置、及び、監視方法
JP2006171929A (ja) 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
US20170277943A1 (en) Hand-raising detection device, non-transitory computer readable medium, and hand-raising detection method
KR20120107483A (ko) 천 제품 식별 장치 및 천 제품 파지 시스템
JP6494418B2 (ja) 画像解析装置、画像解析方法、およびプログラム
KR20160037023A (ko) 컴퓨터 보조 진단 지원 장치 및 방법
JP2020182020A5 (ja)
EP3043539A1 (en) Incoming call processing method and mobile terminal
US11019251B2 (en) Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program
JP2011089784A (ja) 物体方向推定装置
JP2016027444A5 (ja)
JP6819658B2 (ja) 情報処理装置、画像処理方法とプログラム、ならびに、pos端末装置
JP2007280088A (ja) 特定物体検出装置、特定物体検出方法、及び特定物体検出プログラム
EP4075391A1 (en) Apparatus and method for generating virtual model
JP5014593B2 (ja) 眼科測定装置
JP6703691B2 (ja) コントローラ、鍛圧機械、および制御方法
JP6863822B2 (ja) 熱画像表示装置、赤外線撮像装置及び熱画像データ表示方法
JP2008009938A (ja) 動画像データ処理装置、動画像データ処理方法、動画像データ処理プログラム、およびこれを記録した記録媒体
JP6452738B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6737262B2 (ja) 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160627

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20160627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200218

R150 Certificate of patent or registration of utility model

Ref document number: 6671648

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250