JP7749690B2 - 軸受保持器のポケット検査方法及び装置 - Google Patents

軸受保持器のポケット検査方法及び装置

Info

Publication number
JP7749690B2
JP7749690B2 JP2023561694A JP2023561694A JP7749690B2 JP 7749690 B2 JP7749690 B2 JP 7749690B2 JP 2023561694 A JP2023561694 A JP 2023561694A JP 2023561694 A JP2023561694 A JP 2023561694A JP 7749690 B2 JP7749690 B2 JP 7749690B2
Authority
JP
Japan
Prior art keywords
pocket
abnormal
image
pixel
grayscale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023561694A
Other languages
English (en)
Other versions
JP2025514887A (ja
Inventor
広会 鄭
培振 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Golden Empire Precision Machinery Technology Co Ltd
Original Assignee
Shandong Golden Empire Precision Machinery Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202310382002.0A external-priority patent/CN116109633B/zh
Application filed by Shandong Golden Empire Precision Machinery Technology Co Ltd filed Critical Shandong Golden Empire Precision Machinery Technology Co Ltd
Publication of JP2025514887A publication Critical patent/JP2025514887A/ja
Application granted granted Critical
Publication of JP7749690B2 publication Critical patent/JP7749690B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Description

本願は、関連する軸受保持器の画像検査分野に関し、特に、軸受保持器のポケット検査方法及び装置に関する。
リテーナ(即ち、ベアリングリテーナであり、軸受保持器とも呼ばれる)とは、全ての又は一部の転動体を部分的に囲って、それに伴って運動する軸受部品を指し、転動体を隔離させるために用いられ、一般的には転動体をガイドしそれを軸受内に保持させる。
現在、軸受保持器の品質検査方法の殆どが人力検査であり、作業員は段階的に各軸受保持器を入念に検査し、特に、特殊なポケット加工が必要な一部の軸受保持器の場合は、人力でポケットのサイズ、ポケットの大きさ、柱の傾き及び穴が開けたかどうかについて入念な人力検査を行う必要があるため、多くの人力が費やされるだけでなく、品質検査の効率は低下する。作業員の経験及びまじめさに頼る人力検査であるため、ある程度の人的な誤差をもたらして、軸受保持器製品の品質に影響を与えやすく、軸受保持器の直行率を確保しにくい。
本願の実施例は、従来の軸受保持器のポケットは、人力検査のほうが殆どであるため、労務費の高さ、検査効率の低下が生じやすく、また、ポケットに対して全面的で入念な検査は行いにくいため、軸受保持器の直行率に影響を与えるという技術的課題を解決するために、軸受保持器のポケット検査方法及び装置を提供する。
本願の実施例は、次の技術的手段を用いる。
本願の一態様において、本願の実施例は、カメラで、回転テーブル上の軸受保持器に対して連続的なポケット画像を撮影して、初期ポケット画像セットを得ることと、前記初期ポケット画像セット中の各ポケット画像を互いに比較してマッチングし、比較マッチング結果に基づいて、前記比較マッチング結果中のマッチングが異常ないくつかのポケット画像をスクリーニングして、いくつかの異常なポケット画像を得ることと、前記異常なポケット画像中の異常な領域画像を認識しマークして、前記異常なポケット画像中の異常なマーク領域を得ることと、前記異常なマーク領域に対してポケット異常の分類を行って、軸受保持器のポケット異常のタイプを得ることであって、前記ポケット異常のタイプは、少なくとも、ポケットのサイズ異常、柱の傾き異常、穴の貫通異常及び凹溝の深さ異常のうちのいずれか1つ又は複数を含むことと、前記回転テーブルと前記カメラで、前記ポケット異常のタイプに対応する異常なポケットに対して2回目にポケット画像を撮影して、真実なポケット異常の画像を得て、レーザービームで、前記真実なポケット異常の画像に対応するポケット位置に対して関連する二次元座標系のビーム位置決めを行って、異常なポケットの位置情報を得ることと、前記異常なポケットの位置情報から、前記ポケット異常のタイプ及び真実なポケット異常の画像に基づいて、前記軸受保持器のポケット検査結果を決定し、前記ポケット検査結果を作業員の端末に送信することとを含む、軸受保持器のポケット検査方法を提供する。
本願の実施例は、回転テーブルとカメラで、軸受保持器に対してポケットを検査し、認識された全てのポケットを互いに照合し、次に異常なポケットをスクリーニングしてポケット異常のタイプを判断し、そして、異常なポケットの位置及び異常のタイプを正確に認識することができ、真実なポケット異常の画像と共に、バックエンドの作業員に送信することで、作業員がポケット検査の作業量を多く減らすよう手助けすることができ、また、正確率は高く、レーザーによる位置決めと組み合わせて、作業員は異常な状況のあるポケットを速やかに見つけるよう手助けし、対応する異常の故障タイプを決定することができ、労務費は大きく低減され、検査効率は向上しており、また、ポケットに対して全面的で入念な検査を行うことができ、人的誤差は低減され、軸受保持器の直行率は向上している。
可能な一実施形態では、カメラで、回転テーブル上の軸受保持器に対して連続的なポケット画像を撮影して、初期ポケット画像セットを得ることは、具体的には、製造しようとする軸受保持器の図面情報を取得することであって、前記図面情報は、少なくとも、ポケット数、ポケットのサイズ、軸受保持器の半径及び柱の加工パラメータを含むことと、前記図面情報中の前記ポケット数及び前記軸受保持器の半径を回転テーブル制御システムの制御ユニットに入力することであって、前記回転テーブル制御システムは、前記制御ユニットと、サーボモーターユニットと、レーザー発射ユニットとを含むことと、前記ポケット数に基づいて、前記カメラの間隔から、前記回転テーブルの角速度を決定して、前記軸受保持器の各ポケットを撮影することと、前記回転テーブルの角速度に基づいて、前記回転テーブルの動作を制御し、前記カメラで、前記軸受保持器に対して連続的にポケットを撮影して、部分ポケット画像セットを得ることであって、前記部分ポケット画像セットは、カメラが最初の複数回の時間間隔で撮影した画像セットであることと、予め設定されたキャニー(Canny)オペレーターに基づいて、前記部分ポケット画像セットのグレースケール画像セットに対して柱画素の面積を検出して、実際の柱画素面積を得て、柱の基準画素面積に基づいて、前記実際の柱画素面積について面積の数値を照合し、照合に成功する実際の柱画素面積を完全な柱画素値として決定することと、前記完全な柱画素値に対応するポケット画像を第1ポケット画像として決定し、前記第1ポケット画像及び対応するカメラの撮影時間間隔に基づいて、前記回転テーブル制御システムの制御ユニットに再フィードバックすることによって、前記軸受保持器の各ポケットをいずれも完全に撮影して、前記初期ポケット画像セットを得ることとを含む。
本願の実施例は、回転テーブルのサーボモーター及びカメラの撮影時間間隔を制御することによって、両者が互いにマッチングできるようにし、キャニー(Canny)オペレーターの画像エッジ検出により、異なるタイプの各軸受保持器の各ポケットが完全に取得できることが保証され、即ち、サーボモーターの回転とカメラの撮影が互いに適合できることが保証され、そして当該軸受保持器の全てのポケットの初期ポケット画像セットを得る。
可能な一実施形態では、前記初期ポケット画像セット中の各ポケット画像を互いに比較してマッチングすることは、具体的には、各ポケット画像に対してグレースケール前処理を行って、いくつかのグレースケールのポケット画像を得ることと、前記グレースケールのポケット画像の実際の画素サイズに基づいて、予め設定された分割線によって、前記グレースケールのポケット画像を領域分割して、グレースケール画素領域を得ることであって、各前記グレースケールのポケット画像は9つのグレースケール画素領域に分かれることと、各前記グレースケール画素領域中の画素特徴を走査することであって、前記画素特徴は、各画素点の明暗勾配特徴及び対応する画素座標位置特徴を含むことと、各前記グレースケール画素領域中の画素特徴に基づいて、前記いくつかのグレースケールのポケット画像中の各グレースケール画素領域と一対一で対応するいくつかの画素特徴に対して各グレースケールのポケット画像間の類似度の比較マッチングを行って、前記比較マッチング結果を得ることであって、前記比較マッチング結果は、マッチング正常及びマッチング異常を含み、前記類似度の比較マッチングは、いずれか2つのグループのグレースケールのポケット画像間の対応する画素特徴の類似度をマッチングすることであることとを含む。
本願の実施例は、初期ポケット画像セット中のいずれか2つのグレースケールのポケット画像を互いに照合してマッチングした後に、異常な状況のあるポケット画像を速やかに見つけ出すことができ、これにより当該比較グループを取得して、画像処理の難しさを低減させ、軸受保持器全体の検査時間は短縮される。
可能な一実施形態では、比較マッチング結果に基づいて、前記比較マッチング結果中のマッチングが異常ないくつかのポケット画像をスクリーニングして、いくつかの異常なポケット画像を得ることは、具体的には、前記比較マッチング結果がマッチング異常である場合、マッチング異常のあるいくつかのグループのグレースケールのポケット画像を取得することと、前記いくつかのグループのグレースケールのポケット画像中の区別画素特徴及び対応する区別グレースケール画素領域を抽出し、前記比較マッチング結果がマッチング正常ないくつかの正常なポケット画像に基づいて、正常なグレースケール画素領域を取得することと、畳み込みニューラルネットワーク及びシグモイド(Sigmoid)関数に基づいて、前記区別グレースケール画素領域及び前記正常なグレースケール画素領域に対して関連する交差画素特徴の類似度の学習とトレーニングを行って、交差分類ネットワークモデルを得ることであって、前記交差分類ネットワークモデルはシャムネットワークを基本構造とすることと、前記交差分類ネットワークモデルにより、前記区別グレースケール画素領域と前記正常なグレースケール画素領域の違いから重みを割り当て、前記いくつかのグループのグレースケールのポケット画像に対して交差分類を行って、前記区別画素特徴中の正常な画素特徴を取り除いて、前記区別画素特徴中の異常な画素特徴を得ることであって、前記異常な画素特徴は、各グループのグレースケールのポケット画像中の異常なポケット画像に対応する画素特徴であることと、前記異常な画素特徴に対応するいくつかのグレースケール画素領域をスクリーニングして、それに対応する前記いくつかの異常なポケット画像を得ることとを含む。
本願の実施例は、交差分類ネットワークモデルによりいくつかのグループのグレースケールのポケット画像を交差分類することによって、比較マッチンググループで真に異常な画素特徴のあるポケット画像、即ち、異常なポケット画像をスクリーニングする。
可能な一実施形態では、前記方法は、前記異常なポケット画像中の異常な領域画像を認識しマークして、前記異常なポケット画像中の異常なマーク領域を得ることの前に、前記初期ポケット画像セット中の全てのポケット画像に対して画像シーケンスの符号化処理を行って、符号化データセットを得ることと、いくつかの前記異常なポケット画像の前記初期ポケット画像セットに対応する位置に基づいて、前記符号化データセット中の前記異常なポケット画像に対応する符号化番号に対して異常をマークして、異常の符号化番号を得ることとをさらに含む。
本願の実施例は、まず、初期ポケット画像セット中の全てのポケット画像を符号化し、次に認識された異常なポケット画像を個別にマークして、異常の符号化番号を得て、これは、異常のある各ポケットを正確に位置決めすることに役立ち、また、後に作業員はマークされた異常なポケット画像に基づいて、対応する異常なポケットを見つけることにも役立つ。
可能な一実施形態では、前記異常なポケット画像中の異常な領域画像を認識しマークして、前記異常なポケット画像中の異常なマーク領域を得ることは、具体的には、異常な画素特徴に対応するグレースケール画素領域に基づいて、前記異常の符号化番号に対応する異常なポケット画像に対して画像を領域分割して、元の異常な領域画像を得て、前記元の異常な領域画像に対してグレースケール処理を行うことと、二階微分により、グレースケール処理後の元の異常な領域画像に対して初歩的エッジ画像特徴制約を行って、候補の異常領域を得ることと、前記候補の異常領域の重心及びエッジ画像特徴領域に対して最小画素距離を計算して、距離制約条件を得ることであって、前記エッジ画像特徴領域は、前記候補の異常領域のエッジ画素領域であることと、前記候補の異常領域中の画像コーナー及び前記重心に基づいて、前記候補の異常領域からエッジ傾斜面座標系を構築することと、前記エッジ傾斜面座標系に基づいて、前記候補の異常領域中の画像傾斜面画素に対して傾斜角の方向を位置決めして、方向制約条件を得ることと、前記距離制約条件及び前記方向制約条件に基づいて、前記候補の異常領域に対して2回目にエッジ画像特徴制約を行って、前記異常なマーク領域を得ることとを含む。
本願の実施例は、いくつかの異常なポケット画像中の元の異常な領域画像に基づいて、二階微分によるグレースケール画像に対するエッジ制約処理より、候補の異常領域を位置決めし、次に距離制約条件及び方向制約条件に基づいて、候補の異常領域中のグレースケール画素に対して2回目に画像エッジ特徴の制約を行い、一層正確な制約で異常なグレースケール画素を位置決めしてマークし、これにより異常なグレースケール画素に対応する異常なマーク領域を得る。
可能な一実施形態では、前記異常なマーク領域に対してポケット異常の分類を行って、軸受保持器のポケット異常のタイプを得ることは、具体的には、過去ポケット異常データベース中のポケット異常テンプレートで、前記異常なマーク領域に対してポケット異常の分類マッチングを行い、マッチングが成功した場合、前記ポケット異常テンプレートに対応するポケット異常のタイプを前記異常なマーク領域のポケット異常のタイプとして決定し、マッチングが成功しなかった場合、前記異常なマーク領域に対してポケット異常のタイプを判断することと、ハフ(Hough)変換による直線検出アルゴリズムで、前記異常なマーク領域中のポケットの横柱画素及び縦柱画素に対して画素点セットの直線検出を行って、ポケットのサイズ情報を得ることと、ハフ変換により、前記異常なマーク領域中の同じ輝度勾配の画素セットに対して直線の傾きを計算して、柱の傾き情報を得ることと、ハフ(Hough)変換による円検出アルゴリズムで、前記異常なマーク領域中の互いに交わらない曲線を認識して、円形の輪郭領域を得て、前記異常なマーク領域中の隣接する連結領域に基づいて、前記円形の輪郭領域中の同じ画素に対して面積を計算して、穴面積情報を得ることと、前記異常なマーク領域中の凹凸領域に対して画素の長さを計算して、凹溝の深さ情報を得ることと、図面情報と前記ポケットのサイズ情報、前記柱の傾き情報、前記穴面積情報及び凹溝の深さ情報について情報の照合を行って、前記異常なマーク領域のポケット異常のタイプを決定することとを含む。
本願の実施例は、いくつかの異常なマーク領域を認識し、それをまず過去ポケット異常データベースと照合することにより、いくつかのよく見られる異常のタイプについて速やかなマッチング認識を実現でき、次に、異常が認識されなかったマーク領域に対して様々なタイプの判断を行い、ハフ(Hough)検出アルゴリズムで、異常なマーク領域中の画素曲線、画素面積、連続的な同じ画素の長さや画素の隣接する連結領域などについて認識及び判断を行って、対応するポケットのサイズ情報、柱の傾き情報、穴面積情報及び凹溝の深さ情報を得て、次にこれらの情報をアップロードされた図面情報の中の対応する各サイズの基準範囲と範囲情報の判断及び照合を行うことによって、異常なマーク領域中の対応するポケット異常のタイプについてスクリーニング及び認識する。
可能な一実施形態では、前記回転テーブルと前記カメラで、前記ポケット異常のタイプに対応する異常なポケットに対して2回目にポケット画像を撮影して、真実なポケット異常の画像を得ることは、具体的には、前記ポケット異常のタイプに対応する異常なポケットの異常の符号化番号を取得することと、前記異常の符号化番号の符号化データセットにおけるシーケンス位置に基づいて、前記回転テーブルのサーボモーターに対して回転のフィードバック制御を行って、前記異常の符号化番号に対応する異常なポケットを前記カメラに向き合わせることであって、前記回転のフィードバック制御では、前記異常の符号化番号と対象符号化番号との間の撮影時間間隔に基づいてサーボモーターの回転動作を制御することと、前記カメラで、前記異常の符号化番号に対応するいくつかの異常なポケットに対して2回目にポケット画像を撮影して、いくつかの前記真実なポケット異常の画像を得ることとを含む。
本願の実施例は、異常なポケットの異常の符号化番号に基づいて、回転テーブル中のモーターの回転を制御し、異常なポケットに対して2回目に撮影して、真実なポケット異常の画像を得ることにより、当該異常なポケットに対する2回目の検査を実現し、また、作業員に当該ポケットが異常なのかどうかの判断基準を提供してもよく、システムによって検出された異常なポケットのタイプと組み合わせると、作業員はよりよく審査できる。
可能な一実施形態では、レーザービームで、前記真実なポケット異常の画像に対応するポケット位置に対して関連する二次元座標系のビーム位置決めを行って、異常なポケットの位置情報を得ることは、具体的には、全ての前記真実なポケット異常の画像及び対応するいくつかの異常の符号化番号を取得した後、前記レーザービームで、前記真実なポケット異常の画像に対応するいくつかの異常なポケットに対してシングルラインレーザーを照射して、いくつかのレーザービームを得ることと、回転テーブル上に予め設定された二次元座標系により、前記いくつかのレーザービームに対してビームの傾斜角を位置決めして、いくつかのビーム傾斜角を得て、前記いくつかのビーム傾斜角及び前記いくつかの異常の符号化番号に基づいて、いくつかの異常なポケットの異常なポケットの位置情報を決定することとを含む。
本願の実施例は、全ての真実なポケット異常の画像及び対応するいくつかの異常の符号化番号を取得した後、回転テーブルの中央のレーザー発射装置から発射されたレーザービームを異常なポケットに照射することにより、いくつかのレーザービームを形成させ、さら回転テーブル上に予め設定された二次元座標系により、各異常なポケットの傾斜角を決定し、次に対応する異常の符号化番号に基づいて、最終的に異常なポケットの位置情報を決定し、これは作業員は傾斜角及び異常の符号化番号から得た異常なポケットの位置情報に基づいて、対応する異常なポケットをタイムリーに見つけることに役立ち、作業員の探す時間が節約され、これにより軸受保持器のポケット検査効率はさらに向上する。
別の態様において、本願の実施例は、また、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサに通信可能に接続されたメモリとを含み、前記メモリには前記少なくとも1つのプロセッサが実行できる命令が記憶されており、これにより前記少なくとも1つのプロセッサは上記のいずれかの実施例に記載の軸受保持器のポケット検査方法を実行することができることを特徴とする軸受保持器のポケット検査装置を提供する。
本願では、回転テーブルとカメラで、軸受保持器に対してポケットを検査し、認識された全てのポケットを互いに照合し、次に異常なポケットをスクリーニングしてポケット異常のタイプを判断し、そして、異常なポケットの位置及び異常のタイプを正確に認識することができ、真実なポケット異常の画像と共に、バックエンドの作業員に送信することで、作業員がポケット検査の作業量を多く減らすよう手助けすることができ、また、正確率は高く、レーザーによる位置決めと組み合わせて、作業員は異常な状況のあるポケットを速やかに見つけるよう手助けし、対応する異常の故障タイプを決定することができ、労務費は大きく低減され、検査効率は向上しており、また、ポケットに対して全面的で入念な検査を行うことができ、人的誤差は低減され、軸受保持器の直行率は向上している。
本願の実施例又は従来技術に係る技術的手段をより明瞭に説明するために、以下に、実施例又は従来技術の記述で使用すべき図面を簡単に紹介し、言うまでもないが、以下の記述における図面は、本願に記載されるいくつかの実施例に過ぎず、当業者にとって、新規性のある作業をすることなく、これらの図面に基づいて他の図面を得ることもできる。図面では、
図1は、本願の実施例によって提供される軸受保持器のポケット検査方法のフローチャートである。 図2は、本願の実施例によって提供される軸受保持器のポケット検査の全体構造図である。 図3は、本願の実施例によって提供される回転テーブルの二次元座標系の平面目盛図である。 図4は、本願の実施例によって提供される軸受保持器のポケット構造の模式図である。 図5は、本願の実施例によって提供される軸受保持器のポケット、柱構造の模式図である。 図6は、本願の実施例によって提供される軸受保持器のポケット検査装置の構造模式図である。
当業者が本願の技術的手段をよりよく理解できるように、以下に本願の実施例の図面を参照して、本願の実施例の技術的手段を明瞭かつ完全に記述し、言うまでもないが、記述される実施例は本願の実施例の一部に過ぎず、全ての実施例ではない。当業者が本明細書の実施例から、新規性のある作業をすることなく得ている他の全ての実施例は、本願の保護範囲に属するものとする。
本願の実施例は、軸受保持器のポケット検査方法を提供し、図1に示されるとおり、軸受保持器のポケット検査方法は、具体的には、ステップS101~S106を含む。
S101であって、カメラで、回転テーブル上の軸受保持器に対して連続的なポケット画像を撮影して、初期ポケット画像セットを得る。
具体的には、製造しようとする軸受保持器の図面情報を取得し、図面情報は、少なくとも、ポケット数、ポケットのサイズ、軸受保持器の半径及び柱の加工パラメータを含む。図面情報中のポケット数及び軸受保持器の半径を回転テーブル制御システムの制御ユニットに入力する。回転テーブル制御システムは、制御ユニットと、サーボモーターユニットと、レーザー発射ユニットとを含む。
さらに、ポケット数に基づいて、カメラの間隔から、回転テーブルの角速度を決定して、軸受保持器の各ポケットを撮影する。
一実施例では、図2は、本願の実施例によって提供される軸受保持器のポケット検査の全体構造図であり、図2に示されるとおり、まず、製造しようとする軸受保持器の図面情報を軸受保持器のポケット検査システムにアップロードする。図4は、本願の実施例によって提供される軸受保持器のポケット構造の模式図であり、図5は、本願の実施例によって提供される軸受保持器のポケット、柱構造の模式図であり、図4及び図5に示されるとおり、軸受保持器のポケットや柱などは、様々な軸受の動作特徴に適合する様々な複雑なタイプの構造を備えるため、軸受保持器のポケットに対する合格検査は軸受の安定的な動作の条件である。例えば、製造しようとするポケットの数は36個であり、ポケットの長さと幅は4×6cmであり、厚さは1cmであり、半径は35cmであり、柱は4つの斜面を備え、各斜面の角度は45°であり、各柱の正面は半径が2mmである3つの穴を備え、各ポケットの底端は幅が1cmである2つの凹溝を備え、いずれも潤滑液がスムーズに流れるために設けられる。次に、ポケット検査システムによって図面情報中のポケット数情報及び軸受保持器の半径情報を回転テーブル制御システムに入力し、且つカメラの撮影間隔から、サーボモーターの回転角速度を計算し、これによりカメラと回転テーブルを互いに連動させて、軸受保持器の各ポケットの撮影を実現できる。
さらに、回転テーブルの角速度に基づいて、回転テーブルの動作を制御し、カメラで、軸受保持器に対して連続的にポケット画像を撮影して、部分ポケット画像セットを得る。部分ポケット画像セットは、カメラが最初の複数回の時間間隔で撮影した画像セットであり、例えば、カメラは最初の5回の時間間隔で画像セットを撮影する。
さらに、予め設定されたキャニー(Canny)オペレーターに基づいて、部分ポケット画像セットのグレースケール画像セットに対して柱画素の面積を検出して、実際の柱画素面積を得る。柱の基準画素面積に基づいて、実際の柱画素面積について面積の数値を照合する。照合に成功する実際の柱画素面積を完全な柱画素値として決定する。完全な柱画素値に対応するポケット画像を第1ポケット画像として決定する。第1ポケット画像及び対応するカメラの撮影時間間隔に基づいて、回転テーブル制御システムの制御ユニットに再フィードバックすることによって、軸受保持器の各ポケットをいずれも完全に撮影して、初期ポケット画像セットを得る。
一実施例では、図2に示されるとおり、カメラが回転テーブルに充分にマッチングすることができ、即ち、カメラによって取得された各画像がいずれも1つの完全な軸受保持ポケットを含むように、まずは部分撮影の前処理を行って、回転テーブル中のサーボモーターの起動時間を決定し、キャニー(Canny)オペレーターによって粗抽出し、部分ポケット画像セットのグレースケール画像セットに対して柱画素の面積を検出して、実際の柱画素面積を得て、即ち、各画像中の柱の画素面積について1つずつ計算し、次に図面情報中の柱の基準面積に基づいて、柱の基準画素面積に変換し、さらに実際の柱画素面積と面積の数値を照合することにより、照合に成功する実際の柱画素面積を完全な柱画素値として決定し、認識された完全な柱画素値に対応するポケット画像を第1ポケット画像として定義し、次に、第1ポケット画像及び対応するカメラ時間間隔を制御ユニットに再フィードバックすることによって、サーボモーターの回転動作を制御し、サーボモーターの角速度とカメラの撮影時間を互いにマッチングさせ、軸受保持器の各ポケットはいずれも完全に撮影されることを保証する。
S102であって、初期ポケット画像セット中の各ポケット画像を互いに比較してマッチングする。比較マッチング結果に基づいて、比較マッチング結果中のマッチングが異常ないくつかのポケット画像をスクリーニングして、いくつかの異常なポケット画像を得る。
具体的には、各ポケット画像に対してグレースケール前処理を行って、いくつかのグレースケールのポケット画像を得る。グレースケールのポケット画像の実際の画素サイズに基づいて、予め設定された分割線によって、グレースケールのポケット画像を領域分割して、グレースケール画素領域を得る。各グレースケールのポケット画像は9つのグレースケール画素領域に分かれる。
さらに、各グレースケール画素領域中の画素特徴を走査する。画素特徴は、各画素点の明暗勾配特徴及び対応する画素座標位置特徴を含む。各グレースケール画素領域中の画素特徴に基づいて、いくつかのグレースケールのポケット画像中の各グレースケール画素領域と一対一で対応するいくつかの画素特徴に対して各グレースケールのポケット画像間の類似度の比較マッチングを行って、比較マッチング結果を得る。比較マッチング結果は、マッチング正常及びマッチング異常を含む。類似度の比較マッチングは、いずれか2つのグループのグレースケールのポケット画像間の対応する画素特徴の類似度をマッチングすることである。
一実施例では、まず、取得された初期ポケット画像セットの中の各ポケット画像に対してグレースケール前処理を行い、次にグレースケールのポケット画像の実際の画素サイズに基づいて、2つの水平の及び2つの垂直の分割線によって、各グレースケールのポケット画像を分割して、9つのグレースケール画素領域を得て、次に、走査された各画素点の明暗勾配特徴及び対応する画素座標位置特徴に基づいて、いくつかのグレースケールのポケット画像中の各グレースケール画素領域と一対一で対応するいくつかの画素特徴に対して各グレースケールのポケット画像間の類似度の比較マッチング、即ち、初期ポケット画像セット中のいずれか2つのグレースケール画像中の同じグレースケール画素領域に対して関連する画素点の明暗勾配特徴と対応する画素座標位置特徴の1つずつの照合を行い、最終的にいくつかのグループの比較マッチング結果を得る。
さらに、比較マッチング結果がマッチング異常である場合、マッチング異常のあるいくつかのグループのグレースケールのポケット画像を取得する。いくつかのグループのグレースケールのポケット画像中の区別画素特徴及び対応する区別グレースケール画素領域を抽出する。比較マッチング結果がマッチング正常ないくつかの正常なポケット画像に基づいて、正常なグレースケール画素領域を取得する。
さらに、畳み込みニューラルネットワーク及びシグモイド(Sigmoid)関数に基づいて、区別グレースケール画素領域及び正常なグレースケール画素領域に対して関連する交差画素特徴の類似度の学習とトレーニングを行って、交差分類ネットワークモデルを得る。交差分類ネットワークモデルはシャムネットワークを基本構造とし、交差分類ネットワークモデルにより、区別グレースケール画素領域と正常なグレースケール画素領域の違いから重みを割り当て、いくつかのグループのグレースケールのポケット画像を交差分類して、区別画素特徴中の正常な画素特徴を取り除いて、区別画素特徴中の異常な画素特徴を得る。異常な画素特徴は、各グループのグレースケールのポケット画像中の異常なポケット画像に対応する画素特徴である。正常な画素特徴は、各グループのグレースケールのポケット画像中の正常なポケット画像に対応する画素特徴である。次に引き続き異常な画素特徴に対応するいくつかのグレースケール画素領域をスクリーニングして、それに対応するいくつかの異常なポケット画像を得る。
一実施例では、比較マッチング結果中のマッチングが異常ないくつかのグループのグレースケールのポケット画像に対して区別画素特徴及び対応する区別グレースケール画素領域を抽出し、また、マッチングが正常ないくつかの正常なポケット画像中の正常なグレースケール画素領域を取得し、次に畳み込みニューラルネットワーク及びシグモイド(Sigmoid)関数の備える画像類似度の比較効果を利用して、学習とトレーニングによりグレースケール画素領域画像に対して区別交差分類効果を備える交差分類ネットワークモデルを得て、正常なグレースケール画素領域の画像テンプレートから、マッチングが異常ないくつかのグループのグレースケールのポケット画像を交差分類して、各グループのグレースケールのポケット画像中の正常なグレースケールのポケット画像を認識し、次に各グループの区別画素特徴中の正常な画素特徴を取り除き、即ち対応する正常なグレースケールのポケット画像を取り除いて、異常な画素特徴に対応する異常なポケット画像だけを残し、これによりマッチング異常のあるいくつかのグループのグレースケールのポケット画像の分類を完了し、最終的に分類後の各異常なポケット画像を得る。
S103であって、異常なポケット画像中の異常な領域画像を認識しマークして、異常なポケット画像中の異常なマーク領域を得る。
具体的には、初期ポケット画像セット中の全てのポケット画像に対して画像シーケンスの符号化処理を行って、符号化データセットを得る。いくつかの異常なポケット画像の初期ポケット画像セットに対応する位置に基づいて、符号化データセット中の異常なポケット画像に対応する符号化番号に対して異常をマークして、異常の符号化番号を得る。
一実施例では、初期ポケット画像セットを取得した後、初期ポケット画像セット中の各ポケット画像に対して画像シーケンスの符号化を行って、符号化データセットを構築する。次に異常なポケット画像を認識した後、当該異常なポケット画像に対応する符号化番号に対して異常をマークし、例えば、カラーマーク又は特殊な符号でマークし、最終的にマーク後の異常の符号化番号を得る。
さらに、異常な画素特徴に対応するグレースケール画素領域に基づいて、異常の符号化番号に対応する異常なポケット画像に対して画像を領域分割して、元の異常な領域画像を得る。元の異常な領域画像に対してグレースケール処理を行う。
さらに、二階微分により、グレースケール処理後の元の異常な領域画像に対して初歩的エッジ画像特徴制約を行って、候補の異常領域を得る。候補の異常領域の重心及びエッジ画像特徴領域に対して最小画素距離を計算して、距離制約条件を得る。エッジ画像特徴領域は、候補の異常領域のエッジ画素領域である。候補の異常領域中の画像コーナー及び重心に基づいて、候補の異常領域からエッジ傾斜面座標系を構築する。エッジ傾斜面座標系に基づいて、候補の異常領域中の画像傾斜面画素に対して傾斜角の方向を位置決めして、方向制約条件を得る。距離制約条件及び方向制約条件に基づいて、候補の異常領域に対して2回目にエッジ画像特徴制約を行って、異常なマーク領域を得る。
一実施例では、まず、交差分類ネットワークモデルで入力端の異常な画素特徴に対応するグレースケール画素領域を取得し、即ち、異常の符号化番号に対応する異常なポケット画像を決定し、次に分割線によって、当該異常なポケット画像に対して画像の領域分割を実現して、元の異常な領域画像として定義する。次に、二階微分を用いて元の異常な領域画像に対してエッジ画像特徴制約を行って、大まかな候補の異常領域を得て、次に異常領域中の画像コーナー及び重心を利用して、候補の異常領域中の画像傾斜面画素に対して傾斜角の方向を位置決めし、そして候補の異常領域の重心及びエッジ画像特徴領域に対して最小画素距離を計算し、それぞれ当該候補の異常領域に対して画像エッジ特徴の2回目の特徴制約を行い、即ち、方向制約条件及び距離制約条件を利用して、候補領域に対してさらに画像エッジ特徴制約を行って、当該異常なポケット画像の正確な異常領域を得て、次に当該正確な異常領域に対してボックス選択マークを行って、異常なマーク領域をボックス選択する。
可能な一実施形態として、距離制約条件中の最小画素距離の計算は、D={√((x-x平均-(y-y平均),(x,y)∈T}であり、式中、Tは、候補の異常領域中のポケット異常のテクスチャ画像の上面境界領域であり、(x平均,y平均)は、ポケット異常のテクスチャ画像の異常な候補エッジの重心であり、x及びyは、候補の異常領域中の各画素点の座標であり、Dは、最小画素距離である。方向制約条件において画像傾斜面画素に対して傾斜角の方向を位置決めすることは、θ=0.5argtan((2M11)/(M20-M02))に基づいて、画像傾斜面画素の相対角度θを得ることを含み、M11、M20、M02は、それぞれ、候補の異常領域中の異なる画像コーナーを表し、ここで、Mij=Σ(r,c)∈R(r-r)(c-c)は、画像コーナーであり、Rは、候補の異常領域であり、(r,c)は、候補領域の重心であり、(r,c)は、候補の異常領域中のポケット異常のテクスチャ画像とそのエッジの交点座標である。
S104であって、過去ポケット異常データベースに基づいて、異常なマーク領域に対してポケット異常の分類を行って、軸受保持器のポケット異常のタイプを得る。ポケット異常のタイプは、少なくとも、ポケットのサイズ異常、柱の傾き異常、穴の貫通異常及び凹溝の深さ異常のうちのいずれか1つ又は複数を含む。
具体的には、過去ポケット異常データベース中のポケット異常テンプレートで、異常なマーク領域に対してポケット異常の分類マッチングを行う。マッチングが成功した場合、ポケット異常テンプレートに対応するポケット異常のタイプを異常なマーク領域のポケット異常のタイプとして決定する。
一実施例では、ボックス選択された異常なマーク領域と過去ポケット異常データベース中のポケット異常テンプレートに対して画像テンプレートのマッチングを行い、例えば、ポケット異常テンプレート中のポケットのサイズ情報、柱の傾き情報、穴面積情報及び凹溝の深さ情報などのパラメータ情報と異常なマーク領域中の対応する情報について情報の照合とマッチングを行い、照合とマッチングが成功した場合、当該ポケット異常テンプレートに対応するポケット異常のタイプを、当該異常なマーク領域に対応するポケット異常のタイプとして決定し、即ち、当該異常なポケットに対応するポケット異常のタイプである。
さらに、マッチングが成功しなかった場合、異常なマーク領域に対してポケット異常のタイプを判断する。ハフ(Hough)変換による直線検出アルゴリズムで、異常なマーク領域中のポケットの横柱画素及び縦柱画素に対して画素点セットの直線検出を行って、ポケットのサイズ情報を得る。ハフ変換により、異常なマーク領域中の同じ輝度勾配の画素セットに対して直線の傾きを計算して、柱の傾き情報を得る。ハフ(Hough)変換による円検出アルゴリズムで、異常なマーク領域中の互いに交わらない曲線を認識して、円形の輪郭領域を得る。異常なマーク領域中の隣接する連結領域に基づいて、円形の輪郭領域中の同じ画素に対して面積を計算して、穴面積情報を得る。異常なマーク領域中の凹凸領域に対して画素の長さを計算して、凹溝の深さ情報を得る。
さらに、図面情報とポケットのサイズ情報、柱の傾き情報、穴面積情報及び凹溝の深さ情報について情報の照合を行って、異常なマーク領域のポケット異常のタイプを決定する。
一実施例では、図5及び図6に示されるとおり、ポケット異常テンプレートに適合しない異常なマーク領域画像に対して関連するポケット異常のタイプを判断し、ボックス選択された異常なマーク領域中の画素配置特徴を利用して、ハフ(Hough)変換による直線検出アルゴリズム及びハフ(Hough)変換による円検出アルゴリズムにより、ポケットの様々な画素点セットの輝度特徴、同じ画素配置、隣接する連結領域の分布及び同じ画素面積の大きさに対して情報の認識と取得を行い、それぞれポケットのサイズ情報、柱の傾き情報、穴面積情報及び凹溝の深さ情報などを取得し、次にポケット検査システムにアップロードされた図面情報と誤差範囲を照合し、例えば、穴面積情報中の変換後の単一の穴の実際の面積と図面情報中の基準穴面積の誤差が1%以内に抑えられている場合、当該穴面積情報を合格の情報と見なし、そうでなければ穴の貫通異常情報とする。最後に全ての不合格のポケットのサイズ情報、柱の傾き情報、及び凹溝の深さ情報を、それぞれポケットのサイズ異常情報、柱の傾き異常情報、凹溝の深さ異常情報などとして決定して、各異常なポケットに対応するポケット異常のタイプを得る。
S105であって、回転テーブルとカメラで、ポケット異常のタイプに対応する異常なポケットに対して2回目にポケット画像を撮影して、真実なポケット異常の画像を得る。レーザービームで、真実なポケット異常の画像に対応するポケット位置に対して関連する二次元座標系のビーム位置決めを行って、異常なポケットの位置情報を得る。
具体的には、ポケット異常のタイプに対応する異常なポケットの異常の符号化番号を取得する。異常の符号化番号の符号化データセットにおけるシーケンス位置に基づいて、回転テーブルのサーボモーターに対して回転のフィードバック制御を行って、異常の符号化番号に対応する異常なポケットをカメラに向き合わせる。回転のフィードバック制御では、異常の符号化番号と対象符号化番号との間の撮影時間間隔に基づいてサーボモーターの回転動作を制御する。次に、カメラで、異常の符号化番号に対応するいくつかの異常なポケットに対して2回目にポケット画像を撮影して、いくつかの真実なポケット異常の画像を得る。
一実施例では、ポケット異常のタイプを全て認識した後、回転テーブル中のサーボモーターをオフに制御し、次に、ポケット異常のタイプに対応する異常の符号化番号の符号化データセット全体における位置及びカメラの位置に基づいて、各異常の符号化番号に対応する異常なポケットを再回転させてカメラの正面に移動して、異常の符号化番号に対応する異常なポケットをカメラに向き合わせる。サーボモーターの回転時間は、異常の符号化番号、カメラ前の対象符号化番号及びカメラの撮影時間間隔によって決定され、さらに回転テーブルの一定の角速度と組み合わせることによって、回転テーブル上の軸受保持器の各異常なポケットはいずれもカメラによって2回目に撮影され、これは作業員はバックエンドシステムで、真実な軸受保持器のポケットの状況を見ることに役立つ。
さらに、全ての真実なポケット異常の画像及び対応するいくつかの異常の符号化番号を取得した後、レーザービームで、真実なポケット異常の画像に対応するいくつかの異常なポケットに対してシングルラインレーザーを照射して、いくつかのレーザービームを得る。
さらに、回転テーブル上に予め設定された二次元座標系により、いくつかのレーザービームに対してビームの傾斜角を位置決めして、いくつかのビーム傾斜角を得る。いくつかのビーム傾斜角及びいくつかの異常の符号化番号に基づいて、いくつかの異常なポケットの異常なポケットの位置情報を決定する。
一実施例では、図3は、本願の実施例によって提供される回転テーブルの二次元座標系の平面目盛図であり、図3及び図2に示されるとおり、回転テーブル上の二次元座標系を利用して、レーザー発射器から発射されたレーザービームで、異常なポケットを正確に位置決めし、この時にレーザービームによって形成されたビーム傾斜角を取得し、次に対応する異常の符号化番号に基づいて、関連するビーム傾斜角-異常の符号化番号の異常なポケットの位置情報を得る。
S106であって、異常なポケットの位置情報から、ポケット異常のタイプ及び真実なポケット異常の画像に基づいて、軸受保持器のポケット検査結果を決定し、ポケット検査結果を作業員の端末に送信する。
具体的には、いくつかの関連するビーム傾斜角-異常の符号化番号の異常なポケットの位置情報及びいくつかのポケット異常のタイプに基づいて、回転テーブルに対するフィードバック制御後に2回目の撮影で得た真実なポケット異常の画像と共に、ポケット検査システムの端末に送り、なお、ポケット検査結果の内容は、表形式のデータ内容であり、ヘッダーは、異常なポケットの位置情報、ポケット異常のタイプ及び真実なポケット異常の画像を含み、次に異常の符号化番号に従って、データを1つずつ表示し、最終的に当該軸受保持器のポケット検査結果を形成させる。次に表形式のポケット検査結果データを作業員に表示し、彼らは軸受保持器のポケット自動検査結果に基づいて、人力レビューを行い、さらに軸受保持器の直行率を保証するよう手助けし、人的誤差は低減され、軸受保持器のポケット検査効率は向上している。
また、本願の実施例は、また、軸受保持器のポケット検査装置を提供し、図6に示されるとおり、軸受保持器のポケット検査装置600は、具体的には、
少なくとも1つのプロセッサ601と、少なくとも1つのプロセッサ601に通信可能に接続されたメモリ602とを含み、メモリ602には少なくとも1つのプロセッサ601が実行できる命令が記憶されており、これにより少なくとも1つのプロセッサ601は、
カメラで、回転テーブル上の軸受保持器に対して連続的なポケット画像を撮影して、初期ポケット画像セットを得ることと、
初期ポケット画像セット中の各ポケット画像を互いに比較してマッチングし、比較マッチング結果に基づいて、比較マッチング結果中のマッチングが異常ないくつかのポケット画像をスクリーニングして、いくつかの異常なポケット画像を得ることと、
異常なポケット画像中の異常な領域画像を認識しマークして、異常なポケット画像中の異常なマーク領域を得ることと、
異常なマーク領域に対してポケット異常の分類を行って、軸受保持器のポケット異常のタイプを得ることであって、ポケット異常のタイプは、少なくとも、ポケットのサイズ異常、柱の傾き異常、穴の貫通異常及び凹溝の深さ異常のうちのいずれか1つ又は複数を含むことと、
回転テーブルとカメラで、ポケット異常のタイプに対応する異常なポケットに対して2回目にポケット画像を撮影して、真実なポケット異常の画像を得て、レーザービームで、真実なポケット異常の画像に対応するポケット位置に対して関連する二次元座標系のビーム位置決めを行って、異常なポケットの位置情報を得ることと、
異常なポケットの位置情報から、ポケット異常のタイプ及び真実なポケット異常の画像に基づいて、軸受保持器のポケット検査結果を決定し、ポケット検査結果を作業員の端末に送信することとを実行することができる。
本願では、回転テーブルとカメラで、軸受保持器に対してポケットを検査し、認識された全てのポケットを互いに照合し、次に異常なポケットをスクリーニングしてポケット異常のタイプを判断し、そして、異常なポケットの位置及び異常のタイプを正確に認識することができ、真実なポケット異常の画像と共に、バックエンドの作業員に送信することで、作業員がポケット検査の作業量を多く減らすよう手助けすることができ、また、正確率は高く、レーザーによる位置決めと組み合わせて、作業員は異常な状況のあるポケットを速やかに見つけるよう手助けし、対応する異常の故障タイプを決定することができ、労務費は大きく低減され、検査効率は向上しており、また、ポケットに対して全面的で入念な検査を行うことができ、人的誤差は低減され、軸受保持器の直行率は向上している。
本願で各実施例はいずれも芋づる式で記述され、各実施例間の同じ又は類似する部分を互いに参照することができ、各実施例の説明では、他の実施例と異なる箇所に重点が置かれる。特に、装置、不揮発性コンピュータ記憶媒体の実施例の場合、方法の実施例に似ているため、簡単に記述されており、関連する箇所は方法の実施例の部分の説明を参照すればよい。
上記で本願の特定の実施例が記述されている。他の実施例は添付する特許請求の範囲に含まれる。場合によっては、特許請求の範囲に記載される動作又はステップは、実施例と異なる順番で実行しても依然として所望の結果を実現できる。また、図面で記されるプロセスは必ずしも示されている特定の順番又は連続的な順番でしか所望の結果を実現できないとは限らない。いくつかの実施形態では、マルチタスク処理又は並列処理でもよく又は有益になるかもしれない。
上述したのは本願の実施例に過ぎず、本願を限定するためのものではない。当業者にとって、本願の実施例には様々な変更及び変化があってもよい。本願の実施例の趣旨及び原理において行われる補正、同等な置換、改良などであれば、いずれも本願の特許請求の範囲に含まれるものとする。

Claims (8)

  1. 軸受保持器のポケット検査装置に適用される軸受保持器のポケット検査方法であって、
    前記軸受保持器のポケット検査装置は、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサに通信可能に接続されたメモリとを含み、
    前記メモリには前記少なくとも1つのプロセッサが実行できる命令が記憶されており、これにより前記少なくとも1つのプロセッサは前記軸受保持器のポケット検査方法を実行することができ、前記軸受保持器のポケット検査方法は、
    カメラで、回転テーブル上の軸受保持器に対して連続的なポケット画像を撮影して、初期ポケット画像セットを得ることと、
    前記初期ポケット画像セット中の各ポケット画像を互いに比較してマッチングし、比較マッチング結果に基づいて、前記比較マッチング結果中のマッチングが異常ないくつかのポケット画像をスクリーニングして、いくつかの異常なポケット画像を得ることであって、具体的には、前記比較マッチング結果がマッチング異常である場合、マッチング異常のあるいくつかのグループのグレースケールのポケット画像を取得することを含むことと、
    前記異常なポケット画像中の異常な領域画像を認識しマークして、前記異常なポケット画像中の異常なマーク領域を得ることであって、具体的には、
    前記初期ポケット画像セット中の全てのポケット画像に対して画像シーケンスの符号化処理を行って、符号化データセットを得ることと、
    いくつかの前記異常なポケット画像の前記初期ポケット画像セットに対応する位置に基づいて、前記符号化データセット中の前記異常なポケット画像に対応する符号化番号に対して異常をマークして、異常の符号化番号を得ることと、
    異常な画素特徴に対応するグレースケール画素領域に基づいて、前記異常の符号化番号に対応する異常なポケット画像に対して画像を領域分割して、元の異常な領域画像を得て、前記元の異常な領域画像に対してグレースケール処理を行うことであって、前記異常な画素特徴は、各グループのグレースケールのポケット画像中の異常なポケット画像に対応する画素特徴であり、各グレースケールのポケット画像は9つのグレースケール画素領域に分かれることと、
    二階微分により、グレースケール処理後の元の異常な領域画像に対して初歩的エッジ画像特徴制約を行って、候補の異常領域を得ることと、
    前記候補の異常領域の重心及びエッジ画像特徴領域に対して最小画素距離を計算して、距離制約条件を得ることであって、前記エッジ画像特徴領域は、前記候補の異常領域のエッジ画素領域であることと、
    前記候補の異常領域中の画像コーナー及び前記重心に基づいて、前記候補の異常領域からエッジ傾斜面座標系を構築することと、
    前記エッジ傾斜面座標系に基づいて、前記候補の異常領域中の画像傾斜面画素に対して傾斜角の方向を位置決めして、方向制約条件を得ることと、
    前記距離制約条件及び前記方向制約条件に基づいて、前記候補の異常領域に対して2回目にエッジ画像特徴制約を行って、前記異常なマーク領域を得ることとを含むことと、
    前記異常なマーク領域に対してポケット異常の分類を行って、軸受保持器のポケット異常のタイプを得ることであって、前記ポケット異常のタイプは、少なくとも、ポケットのサイズ異常、柱の傾き異常、穴の貫通異常及び凹溝の深さ異常のうちのいずれか1つ又は複数を含むことと、
    前記回転テーブルと前記カメラで、前記ポケット異常のタイプに対応する異常なポケットに対して2回目にポケット画像を撮影して、真実なポケット異常の画像を得て、レーザービームで、前記真実なポケット異常の画像に対応するポケット位置に対して関連する二次元座標系のビーム位置決めを行って、異常なポケットの位置情報を得ることと、
    前記異常なポケットの位置情報から、前記ポケット異常のタイプ及び真実なポケット異常の画像に基づいて、前記軸受保持器のポケット検査結果を決定し、前記ポケット検査結果を作業員の端末に送信することとを含むことを特徴とする軸受保持器のポケット検査方法。
  2. カメラで、回転テーブル上の軸受保持器に対して連続的なポケット画像を撮影して、初期ポケット画像セットを得ることは、具体的には、
    製造しようとする軸受保持器の図面情報を取得することであって、前記図面情報は、少なくとも、ポケット数、ポケットのサイズ、軸受保持器の半径及び柱の加工パラメータを含むことと、
    前記図面情報中の前記ポケット数及び前記軸受保持器の半径を回転テーブル制御システムの制御ユニットに入力することであって、前記回転テーブル制御システムは、前記制御ユニットと、サーボモーターユニットと、レーザー発射ユニットとを含むことと、
    前記ポケット数に基づいて、前記カメラの撮影間隔から、前記回転テーブルの角速度を決定して、前記軸受保持器の各ポケットを撮影することと、
    前記回転テーブルの角速度に基づいて、前記回転テーブルの動作を制御し、前記カメラで、前記軸受保持器に対して連続的にポケットを撮影して、部分ポケット画像セットを得ることであって、前記部分ポケット画像セットは、カメラが最初の複数回の時間間隔で撮影した画像セットであることと、
    予め設定されたキャニー(Canny)オペレーターに基づいて、前記部分ポケット画像セットのグレースケール画像セットに対して柱画素の面積を検出して、実際の柱画素面積を得て、柱の基準画素面積に基づいて、前記実際の柱画素面積について面積の数値を照合し、照合に成功する実際の柱画素面積を完全な柱画素値として決定することと、
    前記完全な柱画素値に対応するポケット画像を第1ポケット画像として決定し、前記第1ポケット画像及び対応するカメラの撮影時間間隔に基づいて、前記回転テーブル制御システムの制御ユニットに再フィードバックすることによって、前記軸受保持器の各ポケットをいずれも完全に撮影して、前記初期ポケット画像セットを得ることとを含むことを特徴とする請求項1に記載の軸受保持器のポケット検査方法。
  3. 前記初期ポケット画像セット中の各ポケット画像を互いに比較してマッチングすることは、具体的には、
    各ポケット画像に対してグレースケール前処理を行って、いくつかのグレースケールのポケット画像を得ることと、
    前記グレースケールのポケット画像の実際の画素サイズに基づいて、予め設定された分割線によって、前記グレースケールのポケット画像を領域分割して、グレースケール画素領域を得ることであって、各前記グレースケールのポケット画像は9つのグレースケール画素領域に分かれることと、
    各前記グレースケール画素領域中の画素特徴を走査することであって、前記画素特徴は、各画素点の明暗勾配特徴及び対応する画素座標位置特徴を含むことと、
    各前記グレースケール画素領域中の画素特徴に基づいて、前記いくつかのグレースケールのポケット画像中の各グレースケール画素領域と一対一で対応するいくつかの画素特徴に対して各グレースケールのポケット画像間の類似度の比較マッチングを行って、前記比較マッチング結果を得ることであって、前記比較マッチング結果は、マッチング正常及びマッチング異常を含み、前記類似度の比較マッチングは、いずれか2つのグループのグレースケールのポケット画像間の対応する画素特徴の類似度をマッチングすることであることとを含むことを特徴とする請求項1に記載の軸受保持器のポケット検査方法。
  4. 比較マッチング結果に基づいて、前記比較マッチング結果中のマッチングが異常ないくつかのポケット画像をスクリーニングして、いくつかの異常なポケット画像を得ることは、具体的には、
    前記いくつかのグループのグレースケールのポケット画像中の区別画素特徴及び対応する区別グレースケール画素領域を抽出し、前記比較マッチング結果がマッチング正常ないくつかの正常なポケット画像に基づいて、正常なグレースケール画素領域を取得することと、
    畳み込みニューラルネットワーク及びシグモイド(Sigmoid)関数に基づいて、前記区別グレースケール画素領域及び前記正常なグレースケール画素領域に対して関連する交差画素特徴の類似度の学習とトレーニングを行って、交差分類ネットワークモデルを得ることであって、前記交差分類ネットワークモデルはシャムネットワークを基本構造とすることと、
    前記交差分類ネットワークモデルにより、前記区別グレースケール画素領域と前記正常なグレースケール画素領域の違いから重みを割り当て、前記いくつかのグループのグレースケールのポケット画像に対して交差分類を行って、前記区別画素特徴中の正常な画素特徴を取り除いて、前記区別画素特徴中の異常な画素特徴を得ることであって、前記異常な画素特徴は、各グループのグレースケールのポケット画像中の異常なポケット画像に対応する画素特徴であることと、
    前記異常な画素特徴に対応するいくつかのグレースケール画素領域をスクリーニングして、それに対応する前記いくつかの異常なポケット画像を得ることとを含むことを特徴とする請求項1に記載の軸受保持器のポケット検査方法。
  5. 前記異常なマーク領域に対してポケット異常の分類を行って、軸受保持器のポケット異常のタイプを得ることは、具体的には、
    過去ポケット異常データベース中のポケット異常テンプレートで、前記異常なマーク領域に対してポケット異常の分類マッチングを行い、マッチングが成功した場合、前記ポケット異常テンプレートに対応するポケット異常のタイプを前記異常なマーク領域のポケット異常のタイプとして決定することと、
    マッチングが成功しなかった場合、前記異常なマーク領域に対してポケット異常のタイプを判断することと、
    ハフ(Hough)変換による直線検出アルゴリズムで、前記異常なマーク領域中のポケットの横柱画素及び縦柱画素に対して画素点セットの直線検出を行って、ポケットのサイズ情報を得ることと、
    ハフ変換により、前記異常なマーク領域中の同じ輝度勾配の画素セットに対して直線の傾きを計算して、柱の傾き情報を得ることと、
    ハフ(Hough)変換による円検出アルゴリズムで、前記異常なマーク領域中の互いに交わらない曲線を認識して、円形の輪郭領域を得て、前記異常なマーク領域中の隣接する連結領域に基づいて、前記円形の輪郭領域中の同じ画素に対して面積を計算して、穴面積情報を得ることと、
    前記異常なマーク領域中の凹凸領域に対して画素の長さを計算して、凹溝の深さ情報を得ることと、
    図面情報と前記ポケットのサイズ情報、前記柱の傾き情報、前記穴面積情報及び凹溝の深さ情報について情報の照合を行って、前記異常なマーク領域のポケット異常のタイプを決定することとを含むことを特徴とする請求項1に記載の軸受保持器のポケット検査方法。
  6. 前記回転テーブルと前記カメラで、前記ポケット異常のタイプに対応する異常なポケットに対して2回目にポケット画像を撮影して、真実なポケット異常の画像を得ることは、具体的には、
    前記ポケット異常のタイプに対応する異常なポケットの異常の符号化番号を取得することと、
    前記異常の符号化番号の符号化データセットにおけるシーケンス位置に基づいて、前記回転テーブルのサーボモーターに対して回転のフィードバック制御を行って、前記異常の符号化番号に対応する異常なポケットを前記カメラに向き合わせることであって、前記回転のフィードバック制御では、前記異常の符号化番号と対象符号化番号との間の撮影時間間隔に基づいてサーボモーターの回転動作を制御することと、
    前記カメラで、前記異常の符号化番号に対応するいくつかの異常なポケットに対して2回目にポケット画像を撮影して、いくつかの前記真実なポケット異常の画像を得ることとを含むことを特徴とする請求項1に記載の軸受保持器のポケット検査方法。
  7. レーザービームで、前記真実なポケット異常の画像に対応するポケット位置に対して関連する二次元座標系のビーム位置決めを行って、異常なポケットの位置情報を得ることは、具体的には、
    全ての前記真実なポケット異常の画像及び対応するいくつかの異常の符号化番号を取得した後、前記レーザービームで、前記真実なポケット異常の画像に対応するいくつかの異常なポケットに対してシングルラインレーザーを照射して、いくつかのレーザービームを得ることと、
    回転テーブル上に予め設定された二次元座標系により、前記いくつかのレーザービームに対してビームの傾斜角を位置決めして、いくつかのビーム傾斜角を得て、前記いくつかのビーム傾斜角及び前記いくつかの異常の符号化番号に基づいて、いくつかの異常なポケットの異常なポケットの位置情報を決定することとを含むことを特徴とする請求項1に記載の軸受保持器のポケット検査方法。
  8. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに通信可能に接続されたメモリとを含み、
    前記メモリには前記少なくとも1つのプロセッサが実行できる命令が記憶されており、これにより前記少なくとも1つのプロセッサは請求項1~7のいずれか一項に記載の軸受保持器のポケット検査方法を実行することができることを特徴とする軸受保持器のポケット検査装置。
JP2023561694A 2023-04-12 2023-07-06 軸受保持器のポケット検査方法及び装置 Active JP7749690B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202310382002.0A CN116109633B (zh) 2023-04-12 2023-04-12 一种轴承保持器的窗口检测方法及设备
CN202310382002.0 2023-04-12
PCT/CN2023/106117 WO2024212377A1 (zh) 2023-04-12 2023-07-06 一种轴承保持器的窗口检测方法及设备

Publications (2)

Publication Number Publication Date
JP2025514887A JP2025514887A (ja) 2025-05-13
JP7749690B2 true JP7749690B2 (ja) 2025-10-06

Family

ID=93016914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023561694A Active JP7749690B2 (ja) 2023-04-12 2023-07-06 軸受保持器のポケット検査方法及び装置

Country Status (3)

Country Link
US (1) US20240346636A1 (ja)
EP (1) EP4468239B1 (ja)
JP (1) JP7749690B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011085510A (ja) 2009-10-16 2011-04-28 Ntn Corp スラスト軸受の検査方法および検査装置
CN207675431U (zh) 2017-11-21 2018-07-31 安徽千禧精密轴承制造有限公司 一种用于轴承架的校验工装
CN109886912A (zh) 2018-10-09 2019-06-14 中国计量大学 一种推力轴承保持架表面缺陷检测方法
CN111693537A (zh) 2020-07-23 2020-09-22 中国计量大学 平面推力轴承保持架表面划痕视觉检测装置及方法
JP2021025825A (ja) 2019-08-01 2021-02-22 株式会社ジェイテクト 内部空孔検査装置及び成形システム
CN218191088U (zh) 2022-03-31 2023-01-03 山东金帝精密机械科技股份有限公司 一种轴承保持架自动检测设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3954757B2 (ja) * 1998-06-17 2007-08-08 株式会社ジェイテクト 軸受用保持器
US20040042001A1 (en) * 2002-04-18 2004-03-04 Kla-Tencor Technologies Corporation Simultaneous multi-spot inspection and imaging
US11049236B2 (en) * 2017-11-17 2021-06-29 Kodak Alaris Inc. Automated in-line object inspection
US11797886B2 (en) * 2018-03-29 2023-10-24 Nec Corporation Image processing device, image processing method, and image processing program
WO2021178645A1 (en) * 2020-03-05 2021-09-10 Crc-Evans Pipeline International, Inc. System and method for detection of anomalies in welded structures
CN115112025B (zh) * 2022-06-30 2025-08-26 中国铁建重工集团股份有限公司 一种轴承分段保持架的测量装置及测量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011085510A (ja) 2009-10-16 2011-04-28 Ntn Corp スラスト軸受の検査方法および検査装置
CN207675431U (zh) 2017-11-21 2018-07-31 安徽千禧精密轴承制造有限公司 一种用于轴承架的校验工装
CN109886912A (zh) 2018-10-09 2019-06-14 中国计量大学 一种推力轴承保持架表面缺陷检测方法
JP2021025825A (ja) 2019-08-01 2021-02-22 株式会社ジェイテクト 内部空孔検査装置及び成形システム
CN111693537A (zh) 2020-07-23 2020-09-22 中国计量大学 平面推力轴承保持架表面划痕视觉检测装置及方法
CN218191088U (zh) 2022-03-31 2023-01-03 山东金帝精密机械科技股份有限公司 一种轴承保持架自动检测设备

Also Published As

Publication number Publication date
EP4468239A1 (en) 2024-11-27
JP2025514887A (ja) 2025-05-13
EP4468239A4 (en) 2024-11-27
US20240346636A1 (en) 2024-10-17
EP4468239B1 (en) 2026-02-11

Similar Documents

Publication Publication Date Title
CN116109633B (zh) 一种轴承保持器的窗口检测方法及设备
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN108917593B (zh) 一种基于待测工件基元组态的智能测量系统及方法
CN115131268A (zh) 一种基于图像特征提取与三维模型匹配的自动化焊接系统
CN109840900A (zh) 一种应用于智能制造车间的故障在线检测系统及检测方法
CN110852315A (zh) 环形文字快速识别方法及装置
CN119368985A (zh) 一种用于标识牌的焊接控制方法及装置
CN119470446A (zh) 用于工程塑料模具的注塑表面缺陷检测方法
CN118190959B (zh) 一种基于视觉检测的发动机零件错漏装检测方法
CN117474839A (zh) 工件缺陷检测方法、装置、电子设备及存储介质
CN110288040B (zh) 一种基于拓扑验证的图像相似评判方法及设备
Kuriachen et al. Defect detection in fused deposition modelling using lightweight convolutional neural networks
Lei et al. Boundary recognition of ship planar components from point clouds based on trimmed delaunay triangulation
CN117817223A (zh) 一种机器人焊接用焊缝识别方法
JP7749690B2 (ja) 軸受保持器のポケット検査方法及び装置
JP5403367B2 (ja) 物体形状評価装置
CN120027731A (zh) 一种基于多线激光三维扫描的光平面标定方法
CN114943684A (zh) 一种利用对抗生成自编码神经网络的曲面异常检测方法
CN114121704A (zh) 一种半导体晶圆die分布的获取方法
Kim et al. Buildability analysis in 3D concrete printing using computer vision and automated annotation
CN112053335B (zh) 一种热轧棒材重叠检测方法、系统及介质
CN118608747B (zh) 基于深度学习的智能协作机器人的目标识别定位方法
CN117409332B (zh) 基于大数据处理的长材刨花外观数据检测系统及方法
CN116433761B (zh) 垛式工件坐标定位方法、装置及介质
CN119290891B (zh) 一种基于SOD-YOLOv5模型的靶丸定位圆测量缺陷检测方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250924

R150 Certificate of patent or registration of utility model

Ref document number: 7749690

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150