JP6926353B1 - Tool accommodating equipment, machine tools and image processing equipment - Google Patents
Tool accommodating equipment, machine tools and image processing equipment Download PDFInfo
- Publication number
- JP6926353B1 JP6926353B1 JP2021021384A JP2021021384A JP6926353B1 JP 6926353 B1 JP6926353 B1 JP 6926353B1 JP 2021021384 A JP2021021384 A JP 2021021384A JP 2021021384 A JP2021021384 A JP 2021021384A JP 6926353 B1 JP6926353 B1 JP 6926353B1
- Authority
- JP
- Japan
- Prior art keywords
- tool
- unit
- image
- imaging
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Automatic Tool Replacement In Machine Tools (AREA)
- Machine Tool Sensing Apparatuses (AREA)
Abstract
【課題】工具の形状検出のために撮像される画像の品質低下を抑制する。【解決手段】工具収容装置4は、工具Txを待機状態で支持する工具支持部(ポット)22と、工具Txを照らす照明部52と、工具Txを撮像する撮像部50と、を備える。撮像部50および照明部52が、工具支持部22に支持される工具Txの上方に配置される。【選択図】図3PROBLEM TO BE SOLVED: To suppress deterioration of quality of an image captured for detecting the shape of a tool. A tool accommodating device (4) includes a tool support (pot) 22 that supports a tool Tx in a standby state, an illumination unit (52) that illuminates the tool Tx, and an imaging unit (50) that images the tool Tx. The image pickup unit 50 and the illumination unit 52 are arranged above the tool Tx supported by the tool support unit 22. [Selection diagram] Fig. 3
Description
本発明は、工作機械における工具の検査技術に関する。 The present invention relates to a tool inspection technique in a machine tool.
工作機械には、回転するワークに対して工具を移動させるターニングセンタ、回転する工具をワークに対して移動させるマシニングセンタ、およびこれらの機能を複合的に備える複合加工機などがある。工作機械には、ATC(Automatic Tool Changer)と呼ばれる工具交換装置が備えられ、機械加工の過程で複数種の工具を交換しながらワークが所望の形状に加工される。ATCは、工具収容部(マガジン等)と工具保持部(主軸等)との間で工具交換を実行する。 Machine tools include a turning center that moves a tool with respect to a rotating work, a machining center that moves a rotating tool with respect to a work, and a multi-tasking machine having these functions in combination. The machine tool is equipped with a tool changing device called an ATC (Automatic Tool Changer), and the work is machined into a desired shape while exchanging a plurality of types of tools in the machining process. The ATC executes tool exchange between the tool accommodating portion (magazine or the like) and the tool holding portion (spindle or the like).
このような工作機械では、使用後の工具に欠損や折損あるいは切屑の巻き付きなどの異常があった場合、その工具(以下「不良工具」ともいう)をそのまま次回の加工に使用することはできない。このため、工具の使用前後に刃形状をカメラにより撮像し、その使用前後の撮像画像に基づいて不良工具であるか否かを判定する技術が提案されている(特許文献1)。 In such a machine tool, if the tool after use has an abnormality such as a chip, breakage, or wrapping of chips, the tool (hereinafter, also referred to as "defective tool") cannot be used as it is for the next machining. Therefore, a technique has been proposed in which the blade shape is imaged by a camera before and after the use of the tool, and whether or not the tool is defective is determined based on the captured images before and after the use of the tool (Patent Document 1).
ところで、このような工具検査は一般に、照明装置により工具を照らしながら撮像した画像に基づいて行われる。カメラと照明装置とが工具に対してちょうど反対側に配置されることで、カメラは、工具の輪郭位置を把握しやすい、コントラストの高い撮像画像を取得できる。すなわち、工具とその背景とのコントラストの差から工具の輪郭を抽出し、工具形状データを生成する。このとき取得された工具形状に基づいて不良工具であるか否かを判定できる。 By the way, such a tool inspection is generally performed based on an image taken while illuminating the tool with a lighting device. By arranging the camera and the lighting device on the opposite side of the tool, the camera can acquire a high-contrast captured image in which the contour position of the tool can be easily grasped. That is, the contour of the tool is extracted from the difference in contrast between the tool and its background, and tool shape data is generated. Based on the tool shape acquired at this time, it can be determined whether or not the tool is defective.
しかし、機械加工に用いられた後に交換された工具は、通常、クーラントが付着しており、工具交換時等にそのクーラントが飛散あるいは滴ることで検査環境を汚染する可能性がある。カメラのレンズや背景がクーラントにより汚染されると、工具形状の正確な検出に支障をきたす可能性がある。照明装置が汚染された場合も同様である。 However, tools that have been replaced after being used for machining usually have coolant attached to them, and the coolant may scatter or drip during tool replacement, which may contaminate the inspection environment. If the camera lens or background is contaminated with coolant, it can interfere with accurate detection of tool geometry. The same applies when the lighting device is contaminated.
本発明のある態様は、複数の工具を収容する工具収容装置である。工具収容装置は、工具を待機状態で支持する工具支持部と、工具を照らす照明部と、工具を撮像する撮像部と、を備える。撮像部および照明部が、工具支持部に支持される工具の上方に配置される。 One aspect of the present invention is a tool accommodating device for accommodating a plurality of tools. The tool accommodating device includes a tool support unit that supports the tool in a standby state, an illumination unit that illuminates the tool, and an image pickup unit that captures an image of the tool. The image pickup unit and the illumination unit are arranged above the tool supported by the tool support unit.
本発明の別の態様は工作機械である。工作機械は、上記工具収容装置と、その工具収容装置に収容された工具を用いてワークを加工する加工装置と、工具収容装置と加工装置との隔壁に設けられた開口を開閉する開閉機構と、開口が開放された状態で工具収容装置と加工装置との間で工具交換を実行する工具交換部と、を備る。工具の撮像が工具収容装置にて行われる。 Another aspect of the present invention is a machine tool. The machine tool includes the above-mentioned tool accommodating device, a processing device for processing a work using the tools accommodated in the tool accommodating device, and an opening / closing mechanism for opening and closing an opening provided in a partition wall between the tool accommodating device and the processing device. It is provided with a tool changing unit for performing tool changing between the tool accommodating device and the machining device with the opening open. The image of the tool is performed by the tool accommodating device.
本発明によれば、工具の形状検出のために撮像される画像の品質低下を抑制できる。 According to the present invention, it is possible to suppress deterioration in quality of an image captured for detecting the shape of a tool.
以下、図面を参照しつつ、本発明の一実施形態について説明する。本実施形態の工作機械は、工具を適宜交換しながらワークを所望の形状に加工するマシニングセンタとして構成されている。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. The machine tool of the present embodiment is configured as a machining center for machining a work into a desired shape while changing tools as appropriate.
図1は、実施形態に係る工作機械の外観を表す斜視図である。工作機械1を正面からみて前後方向,左右方向,上下方向を、それぞれZ軸方向,X軸方向,Y軸方向とする。
工作機械1は、加工装置2および工具収容装置4を備える。これらの装置を覆うようにカバー6(装置筐体)が設けられる。カバー6の内方には、正面から向かって右側に加工室8が設けられ、左側に収容室10が設けられる。加工室8において加工装置2による機械加工が行われる。収容室10においては、工具収容装置4により複数の工具が収容され、また、図示しないATCによる工具交換が行われる(詳細後述)。
FIG. 1 is a perspective view showing the appearance of the machine tool according to the embodiment. When the machine tool 1 is viewed from the front, the front-rear direction, the left-right direction, and the up-down direction are the Z-axis direction, the X-axis direction, and the Y-axis direction, respectively.
The machine tool 1 includes a
カバー6の右側面には操作盤12が設けられている。加工室8には画像処理装置14が接続される。ユーザは、画像処理装置14により工作機械1の作業状況を遠隔監視できる。画像処理装置14は、一般的なラップトップPC(Personal Computer)あるいはタブレット・コンピュータであってもよい。変形例においては、画像処理装置を加工室8の内部装置として構成してもよい。
An
図2は、工具収容装置4の内部構成を表す側面図である。本図は工作機械1の左側面図に対応するが、説明の便宜上、カバー6の左側面を取り除いた状態を示す。また、マガジン(後述)の一部が部分的に切り欠かれて表示されている。
FIG. 2 is a side view showing the internal configuration of the
工具収容装置4は、円盤式のマガジン20を有する。マガジン20の外周面に沿って複数のポット22が配設され、それぞれ工具Tを収納可能に構成されている。各ポット22が工具Tを同軸状に支持し、複数の工具がマガジン20の回転軸24を中心に放射状に支持されている。変形例においては、チェーン式その他のマガジンを採用してもよい。
The tool accommodating
マガジン20は、回転軸24を中心に回転し、交換対象となる工具Tをその前端位置(図2における右端位置)において水平に支持する。すなわち、マガジン20のポット22は、収容室10において交換対象となる工具T(「対象工具Tx」ともいう)を待機状態で支持する「工具支持部」として機能する。
The
収容室10と加工室8とを仕切る隔壁26には開口28が設けられ、開口28を開閉するためのシャッタ30が配設されている。また、シャッタ30を対象工具Txの長手方向に移動させて開口28を開閉する開閉機構32が設けられている。開閉機構32は、図示略のねじ送り機構およびこれを駆動するサーボモータを含む。収容室10にはATC34が設けられる。ATC34は、収容室10にて待機状態で保持される工具T(「使用前工具Tp」ともいう)と、加工室8にて工具主軸(図示せず)に保持される工具T(「使用済工具Tu」ともいう)とを交換する。工具交換は、シャッタ30が開放された状態で行われる。
An
対象工具Txは、収容室10において交換対象として水平に支持される。対象工具Txには、工具交換直前の使用前工具Tpと、工具交換直後の使用済工具Tuが含まれる。本実施形態では、同一の工具について使用前工具Tpの画像と使用済工具Tuの画像を撮像する。それら使用前工具Tpの画像と使用済工具Tuの画像との対比に基づいて、使用済工具Tuの状態(不良工具であるか否か等)を判定する。その詳細については後述する。
The target tool Tx is horizontally supported as a replacement target in the
図3は、収容室10内の構成を模式的に表す斜視図である。図4は、収容室10と加工室8との境界部周辺を模式的に表す正面図である。図5は、収容室10において対象工具Txを撮像するための構成を模式的に表す側面図である。
FIG. 3 is a perspective view schematically showing the configuration inside the
図3に示すように、対象工具Txは、収容室10において水平に支持される。シャッタ30は、開閉機構32(図2参照)により対象工具Txの長手方向に駆動され、開口28を開閉する。なお、対象工具Txの「長手方向」は、収容室10にて対象工具Txを支持するポット22の軸線に沿った方向であり「Z軸方向」に対応する。対象工具Txの「短手方向」は、長手方向と直角をなす方向であり「X軸方向」や「Y軸方向」を含む。
As shown in FIG. 3, the target tool Tx is horizontally supported in the
図4にも示すように、対象工具Txとシャッタ30との間の空間にATC34が配設されている。ATC34は、モータを内蔵する本体36と、モータの回転軸に取り付けられたアーム38を備える。アーム38は、回転軸に対して対称な形状を有し、その両端にそれぞれ把持部40を有する。把持部40は、固定爪42と可動爪44を含む。可動爪44を駆動することにより把持部40による把持動作を実現できる。
As shown in FIG. 4, the
ATC34には、アーム38を軸線方向へ移動させる並進機構と、アーム38を軸線周りに回転させる回転機構が設けられる。モータには、並進機構を駆動する第1モータと、回転機構を駆動する第2モータとが含まれる。このような機構そのものは公知であるため、その詳細な説明については省略する。
The
ATC34の非作動時には、図4に示すように、アーム38の長手方向を上下に向けた状態となる。それにより、シャッタ30が閉じた状態でATC34が収容室10に収まるようにしている。ATC34の作動時には、アーム38の軸線を挟んで一方の側(収容室10側)で使用前工具Tpが待機し、他方の側(加工室8側)で使用済工具Tuが待機する。このとき、シャッタ30が開放される。
When the
ATC34が作動すると、アーム38が回転することで一対の把持部40がそれぞれ使用前工具Tp、使用済工具Tuを把持する。このとき、アーム38は、一時的に開口28を跨ぐことになる。さらに並進機構および回転機構が駆動されることで、ポット22および工具主軸37に対して工具の離脱および装着がなされ、工具交換が実現される。このようなATCの作動そのものは公知であるため、その詳細な説明については省略する。
When the
工具主軸37の回転軸Lt、ATC34の回転軸Lx、シャッタ30の移動方向、および工具交換の待機位置における対象工具Txの長手方向は、互いに平行(いずれもZ軸に対して平行)に設計されている。
The rotation axis Lt of the
図5にも示すように、対象工具Txの上方にカメラ50および照明装置52が配設されている。それにより、対象工具Txにおけるカメラ50側を明るくし、対象工具Txの背景を暗くする。カメラ50と照明装置52のこのような配置により、対象工具Txから飛散するクーラントが両者に付着し難くなる。それにより、両者のメンテナンス頻度を低減できるようにしている。
As shown in FIG. 5, the
カメラ50は、CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge-Coupled Device)などのイメージセンサ(撮像素子)を備える。本実施形態におけるカメラ50は約100万画素(1224×1024)の解像度を有する。また、カメラ50は1秒間に最大80枚の撮像画像を取得可能である。
The
照明装置52は「照明部」として機能し、本実施形態では3つの照明装置52a〜52cを含む(これらを特に区別しない場合には、単に「照明装置52」と称す)。照明装置52aが最も高位置に配置され、対象工具Txをその基端側斜め上方から照らす。照明装置52bは、対象工具Txをその先端側斜め上方から照らす。照明装置52cは、照明装置52bよりもやや低位置に配置され、対象工具Txをその基端側やや上方から照らす。なお、変形例においては、比較的大きな単一の照明装置52を設け、対象工具Txを上方から照らしてもよい。2つあるいは4つ以上の照明装置52を対象工具Txの上方に配設してもよい。
The illuminating
カメラ50は「撮像部」として機能し、上方(Y軸方向)から対象工具Txを撮像する。カメラ50は、照明装置52aよりも上方に配置され、対象工具Txの長手方向中央寄りに位置する。すなわち、カメラ50は、対象工具Txの長手方向(X方向)に対し、照明装置52aと照明装置52bとの中間に位置する。
The
カメラ50が対象工具Txの撮像対象部を一画面に収めることができるよう、カメラ50と対象工具Txとの距離(ワーキングディスタンス:以下「WD」とも表記する)が設定されている。なお、「撮像対象部」は、対象工具Txが不良工具となっているか否かを判定するために検査が必要な部分(「検査対象部」ともいう)を意味し、予め設定される。本実施形態では、対象工具Txにおいてポット22に支持される基端から刃先までを検査対象部Taとしている。変形例においては、刃元から刃先までを撮像対象部としてもよい。
The distance between the
図5において、一点鎖線はカメラ50の画角に入る領域(「撮像領域S」ともいう)を示す。二点鎖線は照明により撮像画像のコントラストが良好となる領域を示す。上述のように、対象工具Txにおいてポット22に支持される基端から刃先までを撮像対象部Taとしている。照明装置52を複数配置したことで、撮像対象部Taの全体にわたりコントラストが良好な画像を得ることができる。
In FIG. 5, the alternate long and short dash line indicates a region (also referred to as “imaging region S”) that falls within the angle of view of the
なお、図2〜図5においては図示を省略するが、ATC34の本体36、開閉機構32、カメラ50、照明装置52等の各構造体が、収容室10内の壁面や梁など構造体に安定に固定されていることは言うまでもない。
Although not shown in FIGS. 2 to 5, each structure such as the
図6は、工作機械1および画像処理装置14のハードウェア構成図である。
工作機械1は、上述の加工装置2、工具収容装置4、ATC34のほか、加工制御装置60および操作制御装置62を含む。加工制御装置60は、数値制御装置として機能し、加工プログラムにしたがって加工装置2に制御信号を出力する。加工装置2は、加工制御装置60からの指示にしたがって工具主軸(図示せず)を駆動してワークを加工する。
FIG. 6 is a hardware configuration diagram of the machine tool 1 and the
The machine tool 1 includes a
操作制御装置62は、操作盤12を含み、加工制御装置60を制御する。ATC34は、加工制御装置60からの交換指示にしたがって工具収容装置4から工具を取り出し、工具主軸に保持される使用済工具Tuと、工具収容装置4から取り出した使用前工具Tpとを交換する。
The
画像処理装置14は、主として、工具形状認識等の画像処理を行う。上述のように、画像処理装置14は操作制御装置62の一部として構成されてもよい。あるいは、画像処理装置14を含めた全体を「工作機械1」と称してもよい。
The
図7は、画像処理装置14の機能ブロック図である。
画像処理装置14の各構成要素は、CPU(Central Processing Unit)および各種補助プロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
FIG. 7 is a functional block diagram of the
Each component of the
なお、操作制御装置62および加工制御装置60も、プロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され演算器に処理命令を供給するソフトウェアやプログラムを画像処理装置14とは別個のオペレーティングシステム上で実現される形態でもよい。
The
画像処理装置14は、ユーザインタフェース処理部70、データ処理部72、データ格納部74および通信部76を含む。
ユーザインタフェース処理部70は、ユーザからの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。通信部76は、操作制御装置62との通信を担当する。データ処理部72は、ユーザインタフェース処理部70により取得されたデータおよびデータ格納部74に格納されているデータに基づいて各種処理を実行する。データ処理部72は、ユーザインタフェース処理部70、データ格納部74および通信部76のインタフェースとしても機能する。データ格納部74は、各種プログラムと設定データを格納する。
The
The user
ユーザインタフェース処理部70は、入力部80および出力部82を含む。
入力部80は、タッチパネルあるいはハンドル等のハードデバイスを介してユーザからの入力を受け付ける。出力部82は、画像表示あるいは音声出力を介して、ユーザに各種情報を提供する。出力部82は、報知部84を含む。報知部84は、交換対象となる工具の異常(不良工具が検出されたこと)など、所定の異常条件が成立したときにユーザに各種事象の発生を報知する(詳細後述)。
The user
The
通信部76は、操作制御装置62からデータを受信する受信部110と、操作制御装置62にデータおよびコマンドを送信する送信部112を含む。
The
データ処理部72は、移動制御部90、撮像処理部92、形状再現部94、工具管理部96および判定処理部98を含む。
移動制御部90は、開閉機構32を駆動制御してシャッタ30の開閉(移動)を制御する。撮像処理部92は、カメラ50を制御して対象工具Txを撮像させる。形状再現部94は、撮像画像に基づいて対象工具Txの形状を示すデータである「工具形状データ」を生成する。工具管理部96は、対象工具Txごとに工具IDと工具形状データとを対応づけてデータ格納部74に登録する。
The
The
判定処理部98は、対象工具Txの撮像画像に基づき、あるいは、工具形状データに基づいて、対象工具Txに欠損や折損あるいは切屑の巻き付きなどの異常が生じていないか(不良工具であるか否か)を判定する。判定処理部98が対象工具Txの異常が判定されたとき、報知部84がユーザにその旨を報知する。判定処理部98は、操作制御装置62にその旨を操作盤12に表示させるよう指示してもよい。使用済工具Tuが不良工具であると判定された場合、工具管理部96は、その不良工具であるとの情報を工具IDに対応づけ、工具情報としてデータ格納部74に登録する。
The
データ格納部74は、工具情報格納部100および形状データ格納部102を含む。工具情報格納部100は、マガジン20に収納される各工具Tの情報(工具情報)を工具IDに対応づけて格納する。工具情報には、例えば工具の種類や形状、大きさ、長さなどの情報が含まれる。さらに、累計使用時間や累計使用回数などの情報を含めてもよい。データ格納部74はまた、撮像画像を一時記憶する。
The
工具情報格納部100は、工具交換がなされるごとに工具情報を更新する。上述のように対象工具Txが不良工具であると判定された場合には、工具情報としてその旨を追加する。工具管理部96は、その判定以降、不良工具にかかる工具Tの使用、つまりATC34により使用前工具Tpとして工具交換することを禁止する。
The tool
形状データ格納部102は、形状再現部94が生成した工具形状データを工具IDに対応づけて格納する。本実施形態では、工具交換前後に工具形状データが作成される。このため、各対象工具Txについて、使用前工具Tpの工具形状データ(以下「使用前工具形状データ」ともいう)と、使用済工具Tuの工具形状データ(以下「使用済工具形状データ」ともいう)とが、工具IDに対応づけて記憶される。判定処理部98は、同一の工具について使用前工具形状データと使用済工具形状データとを比較することで、使用済工具Tuが不良工具であるか否かを判定できる。
The shape
次に、工具の検査方法について説明する。
図8および図9は、カメラ50による工具の撮像画像の例を示す。図8は、対象工具Txの背景(つまり収容室10における対象工具Txの下方)が清浄な場合に得られる画像を示す。図9は、対象工具Txの背景が清浄でない場合に得られる画像を示す。各図において(A)は撮像画像を示し、(B)は撮像画像に基づいて特定される工具形状を示す。
Next, a tool inspection method will be described.
8 and 9 show an example of a captured image of the tool by the
撮像処理部92は、撮像画像に基づいて対象工具Tx(撮像対象部Ta)の輪郭を特定する。図8(A)に示すように、対象工具Txの背景が清浄な場合、撮像対象部Taとその背景とのコントラストが大きい。撮像処理部92は、X軸方向に走査線を設定し、撮像画像における暗領域と明領域との境界に位置する点をエッジ点として検出する。撮像処理部92は、走査線を一定のピッチにてずらしながら複数のエッジ点を検出し、これらのエッジ点をつなぐことで対象工具Txの輪郭を特定する。図8(B)に示すように、背景が清浄であれば工具形状が鮮明に表れる。形状再現部94は、特定された輪郭に基づいて工具形状データを生成する。
The
判定処理部98は、同一の工具について使用前工具形状データと使用済工具形状データとを比較する。判定処理部98は、使用前工具形状と使用済工具形状の類似度、特に、輪郭の類似度が所定値以下となっているとき、対象工具Txに欠損等が発生している、つまり対象工具Txが不良工具になっていると判定する。このとき、報知部84は、ユーザに不良工具が検出されたことを示すアラート画面を表示させる。あるいは、ブザー音などの音声を発生させてもよい。
The
一方、図9(A)に示すように、対象工具Txの背景が清浄でない場合、撮像対象部Taとその背景とのコントラストが小さくなる。例えば、対象工具Txの下方(収容室10の下面)がクーラントで汚れていたり、切屑が散在していたような場合、照明がこれらにおいて反射して外乱となり、コントラストが不良となることがある。その場合、図9(B)に示すように、対象工具Txの輪郭がぼやけ、工具形状が不鮮明となる。このような場合、工具が不良であるか否かを正確に判定することはできない。 On the other hand, as shown in FIG. 9A, when the background of the target tool Tx is not clean, the contrast between the imaging target portion Ta and the background becomes small. For example, if the lower part of the target tool Tx (the lower surface of the accommodation chamber 10) is contaminated with coolant or chips are scattered, the illumination may be reflected by these and cause disturbance, resulting in poor contrast. In that case, as shown in FIG. 9B, the outline of the target tool Tx becomes blurry and the tool shape becomes unclear. In such a case, it is not possible to accurately determine whether or not the tool is defective.
そこで、判定処理部98は、対象工具Txの検査に先立ってその背景が清浄であるか否かを判定し、正常でなければ、その旨を示しつつメンテナンスを促すアラート画面を表示させる。このアラート画面が表示されると、ユーザは、収容室10内を清掃する等のしかるべき措置をとる。
Therefore, the
図10は、実施形態における工具形状の検出方法を表す図である。
上述のように、カメラ50により撮像するTxの背景に切屑やクーラント汚れがある場合、それらの乱反射によりTxと背景とのコントラストを良好に取得できない場合が想定される。本実施形態では、このコントラストの良否が、工具画像より割り出される工具中心線の形状から判断できることに着目する。なお、この工具中心線は、工具の撮像画像においてX軸方向に検出される2つのエッジ点から算出される工具中心点をZ軸方向の直線に近似した回帰直線として得ることができる。
FIG. 10 is a diagram showing a method for detecting a tool shape in the embodiment.
As described above, when there are chips or coolant stains on the background of the Tx imaged by the
図10(A)に示すように、対象工具Txの背景が清浄であると、画像のコントラストが良好に得られ、上述した撮像画像の暗領域と明領域との境界に位置するエッジ点が直線状につながる。その結果、良好な工具形状データが得られる。このとき、演算される工具中心線Ctは直線状に得られる。 As shown in FIG. 10A, when the background of the target tool Tx is clean, the contrast of the image is good, and the edge points located at the boundary between the dark region and the bright region of the above-mentioned captured image are straight lines. It leads to the shape. As a result, good tool shape data can be obtained. At this time, the calculated tool center line Ct is obtained in a straight line.
一方、図10(B)に示すように、対象工具Txの背景が汚染されていると、工具の輪郭に沿ってあるべきエッジ点が正確に取得できず、その結果、良好な工具形状データを得ることができない。このとき、演算される工具中心線Ctは直線から大きく外れることとなる。すなわち、演算される工具中心線Ctが、本来の工具中心線Crから大きくずれている場合、撮像環境が悪いとも言えるため、そのような状態になったときにユーザに対し、収容室10内の清掃を促すことは有効である。 On the other hand, as shown in FIG. 10B, if the background of the target tool Tx is contaminated, the edge points that should be along the contour of the tool cannot be accurately obtained, and as a result, good tool shape data can be obtained. I can't get it. At this time, the calculated tool center line Ct deviates greatly from the straight line. That is, if the calculated tool center line Ct deviates significantly from the original tool center line Cr, it can be said that the imaging environment is poor. Encouraging cleaning is effective.
そこで、図10(C)に示すように、キャリブレーション用の工具(「キャリブレーション工具」という)を用意し、予め基準となる工具中心線Crを取得しておく。判定処理部98は、対象工具Txの撮像画像に基づいて工具中心線Ctを演算し、基準の工具中心線Crと比較する。判定処理部98は、両工具中心線のずれが所定値以上となった場合、報知部84のその旨を表すアラート画面を表示させる。ユーザは、このアラート画面の表示に促され、収容室10内の清掃や照明装置52のメンテナンスなど、しかるべき措置をとることができる。
Therefore, as shown in FIG. 10C, a calibration tool (referred to as a “calibration tool”) is prepared, and a reference tool center line Cr is acquired in advance. The
図11は、使用前工具形状データ取得処理の処理過程を表すフローチャートである。
本処理は、工具交換に先立ち、使用前工具Tpが収容室10において待機状態で水平に保持されたことを契機に実行される。
FIG. 11 is a flowchart showing the processing process of the pre-use tool shape data acquisition process.
This process is executed when the pre-use tool Tp is held horizontally in the
撮像処理部92は、カメラ50により使用前工具Tpを撮像する(S10)。続いて、撮像画像に基づいて上述した工具中心線Ctを演算し(S12)、キャリブレーション工具の工具中心線Crと比較する(S14)。このとき、両工具中心線のずれが所定値未満であれば(S16のN)、形状再現部94は、撮像画像に基づいて使用前工具形状データを生成する(S18)。撮像環境が良好であると判断できるため、その撮像画像を用いて工具形状を特定するものである。工具管理部96は、この使用前工具形状データを工具IDに対応づけて形状データ格納部102に格納させる(S20)。この使用前工具形状データは、後述する工具検査のために使用される。
The image
一方、両工具中心線のずれが所定値以上であれば(S16のY)、上述したアラート画面を表示させる(S22)。それによりユーザが清掃などのメンテナンスを行った後、再度、本処理(使用前工具形状データ取得処理)が実行されることになる。 On the other hand, if the deviation of the center lines of both tools is equal to or greater than a predetermined value (Y in S16), the above-mentioned alert screen is displayed (S22). As a result, after the user performs maintenance such as cleaning, this process (pre-use tool shape data acquisition process) is executed again.
図12は、工具検査処理の処理過程を表すフローチャートである。
本処理は、工具交換後の工具収納に先立ち、収容室10において使用済工具Tuが待機状態で水平に保持されたことを契機に実行される。
FIG. 12 is a flowchart showing the processing process of the tool inspection process.
This process is executed when the used tool Tu is held horizontally in the
撮像処理部92は、カメラ50により使用済工具Tuを撮像する(S30)。続いて、撮像画像に基づいて上述した工具中心線Ctを演算し(S32)、キャリブレーション工具の工具中心線Crと比較する(S34)。このとき、両工具中心線のずれが所定値未満であれば(S36のN)、形状再現部94は、撮像画像に基づいて使用済工具形状データを生成する(S38)。撮像環境が良好であると判断できるため、その撮像画像を用いて工具形状を特定するものである。
The image
工具管理部96は、この使用済工具形状データを形状データ格納部102に一時記憶する(S40)。判定処理部98は、この使用済工具形状データと工具IDが同じ使用前工具形状データを読み出し、それらの工具形状データを比較する(S44)。すなわち、同一の工具について使用前工具形状と使用済工具形状とを比較する(S46)。このとき、使用済工具形状と使用前工具形状との類似度が所定値以下の不良工具であれば(S46のY)、報知部84にその旨を報知させる(S48)。すなわち、報知部84がアラート画面を表示させる。不良工具でなければ(S46のN)、S48の処理をスキップする。
The
本実施形態では、工具交換後に不良工具と判定された使用済工具Tuについてもマガジン20に収納するが、所定のメンテナンスが行われるまでその工具を使用禁止とする。その工具が使用禁止であるとの情報は工具IDに対応づけて記憶される。
In the present embodiment, the used tool Tu, which is determined to be a defective tool after the tool is replaced, is also stored in the
工具には一般に、その品質を確保するために使用回数や使用時間(「品質保証パラメータ」ともいう)の上限値が決められている。その品質保証パラメータが上限値を超えた工具は使用禁止とされ、別途用意されマガジン20に収納された同種の工具(サブ工具)が使用される。それにより、加工装置2による量産プロセスを阻害しないようにする。本実施形態では、品質保証パラメータが上限値を超えなくとも、不良工具が検出された場合には、該当する工具を使用禁止として管理しつつサブ工具を使用する。
In general, a tool has an upper limit of the number of times of use and the time of use (also referred to as "quality assurance parameter") in order to ensure its quality. Tools whose quality assurance parameters exceed the upper limit are prohibited from use, and tools of the same type (sub-tools) prepared separately and stored in the
一方、両工具中心線のずれが所定値以上であれば(S36のY)、上述したアラート画面を表示させる(S50)。それによりユーザが清掃などのメンテナンスを行った後、再度、本処理(工具検査処理)が実行されることになる。 On the other hand, if the deviation of the center lines of both tools is equal to or greater than a predetermined value (Y in S36), the above-mentioned alert screen is displayed (S50). As a result, after the user performs maintenance such as cleaning, this process (tool inspection process) is executed again.
以上、実施形態に基づいて工作機械1について説明した。
本実施形態では、カメラ50および照明装置52が、対象工具Txの上方に配置される。このため、これらが対象工具Txに付着したクーラントなどにより汚染される可能性を低減できる。工具の形状検出のために撮像される画像の品質低下が抑制され、工具検査を十分な精度をもって行うことができる。
The machine tool 1 has been described above based on the embodiment.
In this embodiment, the
また、工具検査に先立って撮像環境が良好であるか否かが判定され、良好でなければユーザにメンテナンス等を促す報知がなされる。撮像環境が良好である場合にのみ、工具検査処理への移行がなされる。このため、工具検査を十分な精度をもって行うことができる。本実施形態によれば、工具の形状検出の精度を維持するために撮像環境を整えるといった課題にも対応できる。 Further, prior to the tool inspection, it is determined whether or not the imaging environment is good, and if it is not good, the user is notified to urge maintenance or the like. The transition to the tool inspection process is made only when the imaging environment is good. Therefore, the tool inspection can be performed with sufficient accuracy. According to this embodiment, it is possible to deal with a problem such as preparing an imaging environment in order to maintain the accuracy of tool shape detection.
[変形例]
図13は、変形例に係る収容室10内の構成を模式的に表す斜視図である。
上記実施形態では、撮像部(カメラ50)を収容室10の所定位置に固定する構成を例示した。本変形例では、カメラ50をシャッタ30とともに対象工具Txと平行に移動させる。すなわち、収容室10の対象工具Txの上方には、カメラ50を対象工具Txの長手方向に移動させるための移動機構54が設けられている。移動機構54は、ガイドレール56およびエアシリンダ58を含む。ガイドレール56は、対象工具Txの軸線と平行に延在し、カメラ50が摺動可能に取り付けられている。エアシリンダ58のロッドの先端にカメラ50が固定されている。エアシリンダ58は、カメラ50をガイドレール56に沿って往復駆動する。なお、図示を省略するが、移動機構54が、収容室10内の壁面や梁など構造体に安定に固定されていることは言うまでもない。
[Modification example]
FIG. 13 is a perspective view schematically showing the configuration inside the
In the above embodiment, a configuration in which the imaging unit (camera 50) is fixed at a predetermined position in the
移動制御部90は、移動機構54を駆動制御し、シャッタ30の開閉動作と連動するようにカメラ50を対象工具Txと平行に移動させる。カメラ50は、対象工具Txの基端近傍から先端側に向けて移動してもよい。移動機構54によりカメラ50を移動させ、対象工具Txを複数回に分けて撮像し、複数の撮像画像に基づいて撮像対象部Ta全体の形状を特定してもよい。このような構成により、工具長が大きくなっても工具の形状検出を十分な精度で行うことができる。カメラ50をシャッタ30と連動させることで、開口28が開いたときに加工室8に対してカメラ50をシャッタ30の裏側に位置させてもよい。それによりカメラ50の汚染を防止又は抑制できる。なお、エアシリンダ58に代えてねじ送り機構やリニア駆動装置を採用してもよい。
The
また、工具の近傍に照明装置52があり、近傍から照明を当てているため、シャッタ30が動いて開口28が開き、加工室8内の明かりが入ってきても、加工室8からの明かりが撮像に及ぼす影響が少ない。
Further, since the
なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。 The present invention is not limited to the above-described embodiment or modification, and the components can be modified and embodied within a range that does not deviate from the gist. Various inventions may be formed by appropriately combining a plurality of components disclosed in the above embodiments and modifications. In addition, some components may be deleted from all the components shown in the above embodiments and modifications.
上記実施形態では、判定処理部98が対象工具Txが不良工具であるか否かを判定する構成を例示した。変形例においては、使用前工具Tpおよび使用済工具Tuについて形状再現部94が生成した工具形状データを、出力部82により対比可能に描画表示させてもよい。ユーザがそれら使用前後の工具形状を目視により比較することで対象工具Txが不良工具であるか否かを判定してもよい。
In the above embodiment, the configuration in which the
上記実施形態では、各対象工具Txについて工具交換前後(つまり機械加工の前後)において撮像を行い、工具形状データを生成した。そして、それぞれの工具について使用前工具形状データと使用済工具形状データとを比較することで、欠損等の異常がないかどうかを判定した。変形例においては、工具形状データ(工具輪郭データ)を生成することなく、工具画像そのものを使用して不良工具の判定処理を行ってもよい。すなわち、各対象工具Txについて使用前工具画像と使用済工具画像とを比較することで、使用済工具Tuが不良工具であるか否かを判定してもよい。 In the above embodiment, each target tool Tx is imaged before and after tool replacement (that is, before and after machining) to generate tool shape data. Then, by comparing the pre-use tool shape data and the used tool shape data for each tool, it was determined whether or not there was an abnormality such as a defect. In the modified example, the defective tool may be determined by using the tool image itself without generating the tool shape data (tool contour data). That is, it may be determined whether or not the used tool Tu is a defective tool by comparing the pre-use tool image and the used tool image for each target tool Tx.
上記実施形態では、各対象工具Txを機械加工の直前および直後で撮像し、それらの画像に基づいて使用済工具Tuの状態(不良工具であるか否か)を判定した。つまり、使用直前の撮像画像を「参照画像」として判定の基準に用いる例を示した。変形例においては、工具の初回使用開始前の工具登録時に基本データとして参照画像を格納してもよい。ただし、照明の状態などの撮像環境を同等にしてより正確な形状検出(形状比較)を行うためには、機械加工の直前の画像と直後の画像とを比較するのが好ましい。 In the above embodiment, each target tool Tx is imaged immediately before and after machining, and the state of the used tool Tu (whether or not it is a defective tool) is determined based on those images. That is, an example is shown in which the captured image immediately before use is used as a "reference image" as a criterion for judgment. In the modified example, the reference image may be stored as basic data at the time of tool registration before the start of the first use of the tool. However, in order to perform more accurate shape detection (shape comparison) by making the imaging environment such as the lighting state the same, it is preferable to compare the image immediately before machining and the image immediately after machining.
上記実施形態では、対象工具について検出された工具中心線と、基準となる工具中心線とを対比し、両工具中心線のずれが所定値以上となった場合に報知処理を行う例を示した。他の変形例においては、基準となる工具中心線を設定することなく、対象工具について検出される工具中心点のばらつき(その回帰直線からのずれの分散値など)が予め定める判定基準値を超えた場合に報知処理を行うようにしてもよい。 In the above embodiment, an example is shown in which the tool center line detected for the target tool is compared with the reference tool center line, and notification processing is performed when the deviation between the two tool center lines becomes a predetermined value or more. .. In other modified examples, the variation of the tool center point detected for the target tool (such as the dispersion value of the deviation from the regression line) exceeds the predetermined judgment reference value without setting the reference tool center line. In that case, the notification process may be performed.
上記実施形態では、「工具搬送部」としてATC34を例示したが、工具交換機能を有することなく、加工室と収容室との間で工具を搬送する工具搬送機構を設けてもよい。 In the above embodiment, the ATC34 is exemplified as the "tool transporting unit", but a tool transporting mechanism for transporting tools between the processing chamber and the accommodating chamber may be provided without having the tool changing function.
上記実施形態では、工作機械1としてマシニングセンタを例示したが、上記工具の検査技術をターニングセンタや複合加工機にも適用できることは言うまでもない。 In the above embodiment, the machining center is illustrated as the machine tool 1, but it goes without saying that the tool inspection technique can be applied to the turning center and the multi-tasking machine.
1 工作機械、2 加工装置、4 工具収容装置、6 カバー、8 加工室、10 収容室、12 操作盤、14 画像処理装置、20 マガジン、22 ポット、26 隔壁、30 シャッタ、32 開閉機構、34 ATC、38 アーム、50 カメラ、52 照明装置、54 移動機構、56 ガイドレール、58 エアシリンダ、60 加工制御装置、62 操作制御装置、90 移動制御部、92 撮像処理部、94 形状再現部、96 工具管理部、98 判定処理部、100 工具情報格納部、102 形状データ格納部、P1 部分画像、P2 部分画像、S 撮像領域、T 工具、Ta 撮像対象部、Tp 使用前工具、Tu 使用済工具、Tx 対象工具。 1 Machinery, 2 Machining equipment, 4 Tool accommodating equipment, 6 Covers, 8 Machining chambers, 10 Accommodating chambers, 12 Operation panel, 14 Image processing equipment, 20 Magazines, 22 pots, 26 partition walls, 30 shutters, 32 opening and closing mechanism, 34 ATC, 38 arm, 50 camera, 52 lighting device, 54 movement mechanism, 56 guide rail, 58 air cylinder, 60 processing control device, 62 operation control device, 90 movement control unit, 92 imaging processing unit, 94 shape reproduction unit, 96 Tool management unit, 98 judgment processing unit, 100 tool information storage unit, 102 shape data storage unit, P1 partial image, P2 partial image, S imaging area, T tool, Ta imaging target unit, Tp pre-use tool, Tu used tool , Tx Target tool.
Claims (6)
工具を待機状態で支持する工具支持部と、
作動領域内において前記工具支持部で待機している工具を取り外して工具を搬送する工具搬送部と、
前記工具を照らす照明部と、
画像から工具の複数のエッジを検出し、前記画像における工具の長手方向と直交する方向の2つのエッジから中間点を算出し、前記中間点を結んだ線を前記工具の工具線とし、算出された工具線と、前記工具と同一の工具について予め記憶している工具線と、に基づいて、撮像環境に関する判定処理を実行するための画像を撮像し、かつ、前記工具を撮像する撮像部と、
を備え、
前記撮像部および前記照明部が、前記工具支持部に支持される工具の上方に配置され、かつ、前記工具搬送部の作動領域の上方に配置され、
前記判定処理に基づいて、前記撮像部が工具検査処理のための撮像を実行する、工具収容装置。 A tool accommodating device that accommodates multiple tools
A tool support that supports the tool in a standby state,
A tool transport unit that removes the tool waiting on the tool support portion and transports the tool in the operating region, and a tool transport unit that transports the tool.
The lighting unit that illuminates the tool and
A plurality of edges of the tool are detected from the image, an intermediate point is calculated from two edges in the direction orthogonal to the longitudinal direction of the tool in the image, and the line connecting the intermediate points is used as the tool line of the tool. Based on the tool line and the tool line stored in advance for the same tool as the tool, an image pickup unit that captures an image for executing a determination process related to the imaging environment and images the tool. ,
With
The image pickup unit and the illumination unit are arranged above the tool supported by the tool support unit and above the operating region of the tool transport unit.
A tool accommodating device in which the imaging unit executes imaging for a tool inspection process based on the determination process.
前記工具収容装置に収容された工具を用いてワークを加工する加工装置と、
前記工具収容装置と前記加工装置との隔壁に設けられた開口を開閉する開閉機構と、
前記工具搬送部として、前記開口が開放された状態で前記工具収容装置と前記加工装置との間で工具交換を実行する工具交換部と、
を備え、
前記工具の撮像が前記工具収容装置にて行われる、工作機械。 The tool accommodating device according to claim 1 and
A processing device that processes a workpiece using the tools housed in the tool storage device, and
An opening / closing mechanism for opening / closing an opening provided in a partition wall between the tool accommodating device and the processing device.
As the tool transfer unit, a tool exchange unit that executes tool exchange between the tool accommodating device and the processing device with the opening opened, and a tool exchange unit.
With
A machine tool in which imaging of the tool is performed by the tool accommodating device.
前記工具の状態が所定の判定基準を満たさない場合にその旨を報知する報知部と、
をさらに備える、請求項2に記載の工作機械。 A determination processing unit that determines the state of the tool based on the captured image, and
A notification unit that notifies when the state of the tool does not meet the predetermined determination criteria, and
2. The machine tool according to claim 2.
撮像された画像に基づいて前記工具の状態を判定する判定処理部と、 A determination processing unit that determines the state of the tool based on the captured image, and
を備え、 With
前記判定処理部は、前記撮像部により撮像された画像から複数のエッジを検出し、前記画像における工具の長手方向と直交する方向の2つのエッジから中間点を算出し、前記中間点を結んだ線を前記工具の工具線とし、算出された工具線と、前記工具と同一の工具について予め記憶している工具線とに基づいて、撮像環境に関する判定処理を実行する、画像処理装置。 The determination processing unit detects a plurality of edges from the image captured by the imaging unit, calculates an intermediate point from two edges in the direction orthogonal to the longitudinal direction of the tool in the image, and connects the intermediate points. An image processing device that uses a line as a tool line of the tool and executes a determination process related to an imaging environment based on the calculated tool line and a tool line stored in advance for the same tool as the tool.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021021384A JP6926353B1 (en) | 2021-02-15 | 2021-02-15 | Tool accommodating equipment, machine tools and image processing equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021021384A JP6926353B1 (en) | 2021-02-15 | 2021-02-15 | Tool accommodating equipment, machine tools and image processing equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6926353B1 true JP6926353B1 (en) | 2021-08-25 |
JP2022123920A JP2022123920A (en) | 2022-08-25 |
Family
ID=77364611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021021384A Active JP6926353B1 (en) | 2021-02-15 | 2021-02-15 | Tool accommodating equipment, machine tools and image processing equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6926353B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6998486B1 (en) | 2021-06-07 | 2022-01-18 | Dmg森精機株式会社 | Machine Tools |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005337797A (en) * | 2004-05-25 | 2005-12-08 | Seiko Epson Corp | Pixel position acquiring method of display element, and inspection method of display panel |
WO2018220776A1 (en) * | 2017-05-31 | 2018-12-06 | 株式会社牧野フライス製作所 | Machine tool and tool defect determination method |
JP2020189374A (en) * | 2019-05-22 | 2020-11-26 | 株式会社ニイガタマシンテクノ | Tool measuring device |
-
2021
- 2021-02-15 JP JP2021021384A patent/JP6926353B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005337797A (en) * | 2004-05-25 | 2005-12-08 | Seiko Epson Corp | Pixel position acquiring method of display element, and inspection method of display panel |
WO2018220776A1 (en) * | 2017-05-31 | 2018-12-06 | 株式会社牧野フライス製作所 | Machine tool and tool defect determination method |
JP2020189374A (en) * | 2019-05-22 | 2020-11-26 | 株式会社ニイガタマシンテクノ | Tool measuring device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6998486B1 (en) | 2021-06-07 | 2022-01-18 | Dmg森精機株式会社 | Machine Tools |
JP2022187447A (en) * | 2021-06-07 | 2022-12-19 | Dmg森精機株式会社 | Machine tool |
Also Published As
Publication number | Publication date |
---|---|
JP2022123920A (en) | 2022-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6884933B1 (en) | Machine Tools | |
JP6644077B2 (en) | Machine Tools | |
JP6926353B1 (en) | Tool accommodating equipment, machine tools and image processing equipment | |
JP6456452B1 (en) | Machine tool controller | |
JP6991375B1 (en) | Machine Tools | |
JP2021043167A (en) | Tool inspection system | |
WO2020012569A1 (en) | Machine tool system, and tool determining method | |
US20230405751A1 (en) | Machine tool | |
JP6991376B1 (en) | Machine Tools | |
JP6884932B1 (en) | Machine Tools | |
JP7134372B1 (en) | Imaging devices and machine tools | |
WO2023243317A1 (en) | Imaging device, tool storage device, and machine tool | |
JP6980147B1 (en) | Imaging unit and machine tool | |
JP7061701B1 (en) | Image processing equipment and machine tools | |
JP6991382B1 (en) | Machine Tools | |
JP6980141B1 (en) | Tool imager and machine tool | |
JP6998487B1 (en) | Machine Tools | |
JP6946583B1 (en) | Image processing device | |
JP6980142B1 (en) | Image processing equipment and machine tools | |
WO2022163426A1 (en) | Image processing device | |
JP2002254275A (en) | Method of inspecting workpiece machined by numerically controlled machine tool, and inspection tool | |
JP2022187447A (en) | Machine tool |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210215 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210215 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210401 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210609 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210804 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6926353 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |