JP6933608B2 - 視覚センサのレンズまたはレンズカバーの異常検出システム - Google Patents

視覚センサのレンズまたはレンズカバーの異常検出システム Download PDF

Info

Publication number
JP6933608B2
JP6933608B2 JP2018106252A JP2018106252A JP6933608B2 JP 6933608 B2 JP6933608 B2 JP 6933608B2 JP 2018106252 A JP2018106252 A JP 2018106252A JP 2018106252 A JP2018106252 A JP 2018106252A JP 6933608 B2 JP6933608 B2 JP 6933608B2
Authority
JP
Japan
Prior art keywords
lens
degree
visual sensor
lens cover
detection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018106252A
Other languages
English (en)
Other versions
JP2019211571A (ja
Inventor
美穂 新倉
美穂 新倉
泰彦 黒済
泰彦 黒済
賀彦 樽井
賀彦 樽井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2018106252A priority Critical patent/JP6933608B2/ja
Priority to US16/420,298 priority patent/US10775319B2/en
Priority to CN201910458324.2A priority patent/CN110632077B/zh
Priority to DE102019207904.0A priority patent/DE102019207904A1/de
Publication of JP2019211571A publication Critical patent/JP2019211571A/ja
Application granted granted Critical
Publication of JP6933608B2 publication Critical patent/JP6933608B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B13/00—Accessories or details of general applicability for machines or apparatus for cleaning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N21/13—Moving of cuvettes or solid samples to or from the investigating station
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G03B11/04—Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
    • G03B11/041—Lens caps as separate accessory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0283—Predictive maintenance, e.g. involving the monitoring of a system and, based on the monitoring results, taking decisions on the maintenance schedule of the monitored system; Estimating remaining useful life [RUL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0162—Arrangements or apparatus for facilitating the optical investigation using microprocessors for control of a sequence of operations, e.g. test, powering, switching, processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G01N2021/945—Liquid or solid deposits of macroscopic size on surfaces, e.g. drops, films, or clustered contaminants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G01N2021/9583—Lenses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37208—Vision, visual inspection of workpiece
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Manipulator (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Description

本発明は、視覚センサのレンズまたはレンズカバーの異常検出システムに関する。より詳しくは、産業機械を備える生産システムに設けられた視覚センサのレンズまたはレンズカバーの汚れ度合いを監視する視覚センサのレンズまたはレンズカバーの異常検出システムに関する。
対象物の搬送や加工を行うロボットや工作機械、対象物の良否を判定する検査装置等、各種の産業機械には、対象物の視覚に関する情報を得るための視覚センサが設けられている。例えば対象物を所定の位置から次の所定の位置まで搬送する搬送ロボットは、視覚センサによって得られた視覚情報に基づいて対象物の位置や姿勢を把握し、対象物を適切な位置で把持し、所定の位置まで搬送する。このような視覚センサおよび産業機械を備える生産システムにおいては、視覚センサのレンズに汚れが付着し、視覚センサによって望ましい画像が得られなくなった場合、この視覚センサによって得られた視覚情報を用いて制御される産業機械の機能が、適切に発揮できなくなるおそれがある。
例えば特許文献１には、生産システムにおいて、カメラのレンズ汚れを判定する手段を備え、レンズ汚れがあると判定された場合には、警報アラームを出力し、汚れと判定された領域の検出を禁止する技術が提案されている。
また、例えば特許文献２には、生産システムにおいて、ワークに設けられたマークの検出が不可能になった場合には、その原因として、ランプの劣化やビデオカメラのレンズの汚れ等が考えられるため、警告灯を点灯し、ランプの交換やビデオカメラの清掃等のメンテナンス時期であることを検出する技術が提案されている。
特開平６−１４８０８３号公報 特開平５−３４６３０７号公報
特許文献１に示される技術によれば、レンズ汚れがあると判定された場合には、警報アラームを出力するため、その警報アラームが出力されたタイミングが、レンズの清掃などのメンテナンスが必要なタイミングであると把握することができる。
また、特許文献２に示される技術によっても、ワークに設けられたマークの検出が不可能になった場合には警告灯が点灯するため、警告灯が点灯したタイミングが、ランプの交換やレンズの清掃等のメンテナンスが必要なタイミングであると把握することができる。
ところで生産システムにおいては、生産ラインの稼働率を低下しないようにメンテナンスを実施することが重要である。
しかしながら、特許文献１、２に示される技術においては、将来実施されるべき、視覚センサのレンズの清掃タイミングを予測することはできないため、アラームが出力される都度、レンズの清掃などのメンテナンスを実施する必要がある。このような対応は、生産ラインの稼働率の低下につながる。
本発明は、上記課題に鑑みてなされたものであり、その目的は、将来実施されるべき、視覚センサのレンズまたはレンズカバーの清掃タイミングを予測することが可能な、視覚センサのレンズまたはレンズカバーの異常検出システムを提供することにある。これにより、適切なタイミングでメンテナンスを実行することが可能となり、生産ラインの稼働率の低下を防ぐことができる。
（１）本発明に係る視覚センサのレンズまたはレンズカバーの異常検出システム（例えば、レンズ異常検出システム１）は、産業機械（例えば、ロボット５）またはその周辺に設置され、複数の画像を取得する視覚センサ（例えば、カメラ６）と、前記視覚センサによって取得された前記画像に基づいて、前記視覚センサのレンズまたはレンズカバーの汚れ度合い（例えば、汚れ指数）を算出する算出部（例えば、汚れ度合い算出部４１を備える情報処理装置２０）と、前記算出部によって算出された前記レンズまたはレンズカバーの汚れ度合いに基づき、前記レンズまたはレンズカバーの将来実施されるべき予測清掃タイミングに関する情報を算出する予測部（例えば、清掃タイミング予測部４３）と、を有する。
（２）（１）に記載のレンズまたはレンズカバーの異常検出システムにおいて、前記レンズまたはレンズカバーの汚れ度合いが所定の閾値以下であるか否かを判定する判定部（例えば、汚れ度合い判定部４２）と、前記予測清掃タイミングに関する情報を告知する告知部（例えば、表示装置２３）と、前記産業機械の動作を停止させるための停止信号を出力する停止信号出力部（例えば、汚れ度合い判定部４２を備える情報処理装置２０）と、を更に備え、前記判定部による判定結果が前記閾値以下の場合には、前記告知部は、前記予測清掃タイミングに関する情報を告知し、前記判定部による判定結果が前記閾値を超えた場合には、前記停止信号出力部は、前記停止信号を出力してもよい。
（３）（１）または（２）に記載のレンズまたはレンズカバーの異常検出システムにおいて、前記算出部は、初期画像に基づく情報と、動作後画像に基づく情報との比較に基づき、レンズまたはレンズカバーの汚れ度合いを算出してもよい。
（４）（３）に記載のレンズまたはレンズカバーの異常検出システムにおいて、前記算出部は、初期画像の画素値に基づく二値化画像と、動作後画像の画素値に基づく二値化画像との差分に基づき、画像における汚れの領域を判定し、前記画像における汚れの領域の大きさに基づき、前記レンズまたはレンズカバーの汚れ度合いを算出してもよい。
（５）（１）〜（４）のいずれかに記載のレンズまたはレンズカバーの異常検出システムにおいて、前記レンズまたはレンズカバーの汚れ度合いを算出する際に、前記視覚センサによって撮影される対象となる標準撮影対象部を更に備え、前記視覚センサおよび／または前記標準撮影対象部は、可動部（例えば、ロボット５）に固定されており、前記可動部は、前記標準撮影対象部が、前記視覚センサの撮影範囲に入るように動作可能であってもよい。
（６）（１）〜（４）のいずれかに記載のレンズまたはレンズカバーの異常検出システムにおいて、前記レンズまたはレンズカバーの汚れ度合いを算出する際に、前記視覚センサによって撮影される対象となる標準撮影対象部を更に備え、前記標準撮影対象部は、前記視覚センサの前記レンズまたはレンズカバーを覆うレンズキャップ（例えば、レンズキャップ１２）であってもよい。
（７）（１）〜（６）のいずれかに記載のレンズまたはレンズカバーの異常検出システムにおいて、前記レンズまたはレンズカバーの予測清掃タイミングは、前記複数の画像の撮影タイミングおよび前記複数の画像の汚れ度合いに基づいて導出された関数と、前記レンズまたはレンズカバーの汚れ度合いの許容限界閾値とに基づいて算出されてもよい。
（８）（１）〜（７）のいずれかに記載のレンズまたはレンズカバーの異常検出システムにおいて、第１動作後画像における前記レンズまたはレンズカバーの第１の汚れ度合いと、前記第１動作後画像の後のタイミングに撮影された第２動作後画像における前記レンズまたはレンズカバーの第２の汚れ度合いとを比較し、この比較結果に基づき、レンズまたはレンズカバーの異常検出システムのリスタート処理を実行するリスタート処理実行部（例えば、リスタート処理実行部４４）を更に備え、前記リスタート処理実行部は、前記第２の汚れ度合いが、前記第１の汚れ度合いに対して所定値以上低下した場合に、前記リスタート処理を実行してもよい。
（９）（１）に記載のレンズまたはレンズカバーの異常検出システムにおいて、前記レンズまたはレンズカバーの汚れ度合いが所定の閾値を超えたか否かを判定する判定部（例えば、汚れ度合い判定部４２）と、前記視覚センサにより撮影された画像中における、前記レンズまたはレンズカバーの汚れが軽微である使用可能領域を特定する使用可能領域特定部（例えば、使用可能領域特定部４５）と、前記産業機械の動作の制御を行うための情報を出力する情報出力部（例えば、情報処理装置２０）と、を更に備え、前記判定部による判定結果が前記閾値を超えた場合に、前記使用可能領域特定部は、前記使用可能領域を特定し、前記使用可能領域特定部により特定された使用可能領域が所定の大きさ以上である場合に、前記情報出力部は、前記産業機械の動作を継続させるための情報を出力し、前記使用可能領域が前記所定の大きさよりも小さい場合に、前記情報出力部は、前記産業機械の動作を停止させるための情報を出力してもよい。
（１０）（８）に記載のレンズまたはレンズカバーの異常検出システムにおいて前記視覚センサは、撮影位置を変化させるための可動部を備えており、前記使用可能領域が所定の大きさ以上である場合に、撮影対象物の少なくとも一部が前記使用可能領域内において撮影されるように、前記視覚センサの撮影位置を変化させるように前記可動部を動作させてもよい。
（１１）（１）に記載のレンズまたはレンズカバーの異常検出システムにおいて、前記産業機械および前記視覚センサの動作の制御を行うための情報を出力する情報出力部（例えば、情報処理装置２０）を更に備え、前記視覚センサは、複数設けられており、前記算出部は、複数の前記視覚センサ（例えば、カメラ６ａ、６ｂ、６ｃ、６ｄ）の前記レンズまたはレンズカバーの汚れ度合いをそれぞれ算出し、前記レンズまたはレンズカバーの汚れ度合いが所定の閾値を超えた視覚センサを検出した場合には、前記情報出力部は、当該視覚センサに代えて、前記レンズまたはレンズカバーの汚れ度合いが所定の閾値以下である他の視覚センサを用いて撮影を継続させて、前記産業機械の動作を継続させるための情報を出力してもよい。
（１２）本発明に係る視覚センサのレンズまたはレンズカバーの異常検出用プログラムは、産業機械（例えば、ロボット５）またはその周辺領域に設置され、複数の画像データを取得する視覚センサ（例えば、カメラ６）を備える、視覚センサのレンズまたはレンズカバーの異常検出システム（例えば、レンズ異常検出システム１）における情報処理装置（例えば、情報処理装置２０）を構成するコンピュータに、前記視覚センサによって撮影された前記画像データに基づいて、前記視覚センサのレンズまたはレンズカバーの汚れ度合い（例えば、汚れ指数）を算出する算出機能（例えば、汚れ度合い算出部４１を備える情報処理装置２０の機能）と、前記算出機能によって計測された前記レンズまたはレンズカバーの汚れ度合いに基づき、前記レンズまたはレンズカバーの将来実施されるべき予測清掃タイミングに関する情報を算出する予測機能（例えば、清掃タイミング予測部４３の機能）と、を実現させる。
本発明によれば、将来実施されるべき、視覚センサのレンズまたはレンズカバーの清掃タイミングを予測することが可能な、視覚センサのレンズまたはレンズカバーの異常検出システムを提供することができる。これにより、適切なタイミングでメンテナンスを実行することが可能となり、生産ラインの稼働率の低下を防ぐことができる。
本発明の第１実施形態に係るカメラのレンズ異常検出システムが組み込まれた生産システムの全体構成を示す図である。 上記実施形態に係るレンズ異常検出システムにおける、演算装置の機能モジュールの構成を示す機能ブロック図である。 上記実施形態に係るレンズ異常検出システムにおける、カメラをキャップ状部材に近づけたときの拡大図である。 上記実施形態に係るレンズ異常検出システムにおける、カメラのレンズの汚れ度合いを算出する処理を説明するための図である。 上記実施形態に係るレンズ異常検出システムにおける、カメラのレンズの汚れ度合いを算出する処理を説明するための図である。 上記実施形態に係るレンズ異常検出システムにおける、カメラのレンズの汚れ度合いを算出する処理を説明するための図である。 上記実施形態に係るレンズ異常検出システムにおける、初期画像以降の画像が１枚の場合において、予測清掃タイミングを算出する方法を説明するためのグラフである。 上記実施形態に係るレンズ異常検出システムにおける、動作後画像が複数ある場合における、予測清掃タイミングを算出する方法を説明するためのグラフである。 上記実施形態に係るレンズ異常検出システムにおける、レンズ異常検出システムをリスタートする場合の処理を説明するためのグラフである。 上記実施形態に係るレンズ異常検出システムにおける、予測清掃タイミングの算出および告知を行う処理を示すフローチャートである。 本発明の第２実施形態に係るレンズ異常検出システムにおける、演算装置の機能モジュールの構成を示す機能ブロック図である。 上記実施形態に係るレンズ異常検出システムにおける、撮影位置をずらす処理を説明するための図である。 上記実施形態に係るレンズ異常検出システムにおける、撮影位置をずらす処理を説明するための図である。 上記実施形態に係るレンズ異常検出システムにおける、撮影位置をずらす処理を説明するための図である。 本発明の第３実施形態に係るレンズ異常検出システムにおける、カメラおよび標準撮影対象部を備えるレンズキャップを示す概略図である。 本発明の第３実施形態に係るレンズ異常検出システムにおける、カメラおよび標準撮影対象部を備えるレンズキャップを示す概略図である。 上記実施形態に係るレンズ異常検出システムにおける、カメラにレンズキャップを装着した状態で撮影したときに得られる画像を示す図である。 本発明の第４実施形態に係るレンズ異常検出システムにおける、制御装置とカメラを示す図である。
＜第１実施形態＞
以下、本発明の第１実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る視覚センサのレンズ異常検出システムが組み込まれた生産システムＳの全体構成を示す図である。
生産システムＳは、産業機械としてのロボット５と、このロボット５に設置された視覚センサとしてのカメラ６と、カメラ６の出力を処理して、レンズの汚れ具合を監視する処理などを実行する情報処理装置２０と、情報処理装置２０によって処理されたカメラ６の出力等の各種情報に基づいてロボット５およびカメラ６等を制御する制御装置３０とを備える。
ここで、本実施形態においては、カメラ６および情報処理装置２０が、本願発明のレンズ異常検出システム１を構成する。
ロボット５は、制御装置３０から送信される制御信号に応じて、生産品の一部品である対象物としてのワークＷを所定の位置で把持し、把持したワークＷを次の所定の位置まで搬送する、一連の搬送動作を実行する搬送ロボットである。
カメラ６はロボット５に設置されており、制御装置３０からの要求に応じてワークＷ等を撮影し、その画像信号を所定の周期で情報処理装置２０へ送信する。
カメラ６は、レンズが保持されているレンズ保持部７を備えている。また、カメラ６には、ワークＷに照明光を照射するための照明部８が設けられている。
情報処理装置２０は、カメラ６の出力を処理する画像処理装置２１と、画像処理装置２１により処理された情報に基づいてカメラ６のレンズの汚れ度合いを監視するための演算を実行する演算装置２２と、この演算装置２２による演算結果をオペレータによって視認可能な態様で表示する告知部としての表示装置２３と、後述する各種の機能を実現するためのプログラムおよび各種情報等を記憶する記憶装置２４と、を備えたコンピュータによって構成されている。
画像処理装置２１は、カメラ６から送信される画像信号に各種の処理を施す。画像処理装置２１は、処理された情報を、所定の周期で制御装置３０および演算装置２２へ送信する。ここで、画像処理装置２１から送信される情報には、例えば、後述する標準撮影対象部を撮影した画像情報、ワークＷを含む画像情報、画像から検出されるワークＷの検出位置およびその誤差に関する情報等が含まれる。
演算装置２２は、画像処理装置２１から送信される情報に基づいて、レンズの汚れ具合を監視する処理などを実行する。図２は、演算装置２２の機能モジュールの構成を示す機能ブロック図である。
演算装置２２は、汚れ度合い算出部４１と、汚れ度合い判定部４２と、清掃タイミング予測部４３を備え、これらの機能モジュールを備えることにより、カメラ６のレンズの汚れ度合いを算出し、将来実施されるべき、カメラ６のレンズの清掃タイミングを予測する。また、演算装置２２は、後述するリスタート処理実行部４４も備えている。以下、演算装置２２における演算によって実現可能に構成された各機能モジュール４１〜４３の機能について順に説明する。
汚れ度合い算出部４１は、画像処理装置２１から送信された情報に基づいて、カメラ６のレンズの汚れ度合いを算出する。この汚れ度合いの算出方法の詳細については、図３〜４を用いて後述する。そして、算出された汚れ度合いについての情報は、汚れ度合い判定部４２に送信される。
汚れ度合い判定部４２は、汚れ度合い算出部４１によって算出された汚れ度合いが、所定の閾値を超えているか否かを判定する。汚れ度合いが閾値を超えている場合は、ロボット５等の産業機械による加工動作等の動作を停止させるための停止信号を制御装置３０に送信する。ここで、情報処理装置２０の汚れ度合い判定部４２は、ロボット５等の動作を停止させるための停止信号を出力する停止信号出力部としての機能も果たす。
一方、汚れ度合いが閾値以下の場合には、予測清掃タイミングを算出するために、汚れ度合いに関する情報を清掃タイミング予測部４３に送信する。
清掃タイミング予測部４３は、汚れ度合い算出部４１によって算出された汚れ度合いに基づいて、将来実施されるべき清掃タイミング、すなわち予測清掃タイミングを算出する。この予測清掃タイミングの算出方法の詳細については、図５〜７を用いて後述する。算出された予測清掃タイミングの情報は、表示装置２３に送信される。
表示装置２３は、清掃タイミング予測部４３から送信された予測清掃タイミングの情報に基づき、カメラ６のレンズの予測清掃タイミングに関する情報を表示し、オペレータに告知する。
記憶装置２４は、カメラ６から送信される画像信号、画像処理装置２１により処理された情報、演算装置２２により演算された情報等、種々の情報を保存する。
なお、カメラ６から送信される画像信号を一旦記憶装置２４に保存し、この保存された画像信号を必要に応じて読み出して、上述の画像処理装置２１や演算装置２２による処理を実行する構成としてもよい。
制御装置３０は、ロボット５およびカメラ６等を制御する。制御装置３０は、情報処理装置２０において処理された情報に基づいて、ロボット５に搬送動作を実行させるための制御信号を生成し、この制御信号をロボット５へ送信する。例えば、情報処理装置２０において、画像から検出されるワークＷの検出位置等の情報に基づいて位置補正情報が生成され、制御装置３０は、この位置補正情報に応じた制御信号をロボット５へ送信する。これにより、ワークＷとロボット５の位置関係が補正された状態でロボット５を制御することができる。
また、制御装置３０は、カメラ６がワークＷ等を撮影するための制御信号を生成し、この制御信号をカメラ６へ送信する。
次に、図３〜４を用いて、カメラ６のレンズの汚れ度合いを算出する処理について説明する。
図３は、図１に示されるロボット５のアームを動かして、カメラ６のレンズ保持部７を、標準撮影対象部を備えるキャップ状部材１１に近づけたときの拡大図である。
キャップ状部材１１は、ロボット５を固定している台座１０に取り付けられている。カメラ６のレンズの汚れ度合いを算出する際には、可動部としてのロボット５のアームを動かして、カメラ６によってキャップ状部材１１の底部１１ａを撮影する。
ここで、ロボット５の基準位置とキャップ状部材１１との位置関係は常に一定であるから、汚れ度合いを算出するための画像を取得する場合における、ロボット５のアームを動かす制御は、常に同じ場所に動かす制御とすればよい。よって、このときの制御は簡便である。
キャップ状部材１１の底部１１ａは、標準撮影対象部を構成しており、この部分を撮影すれば、通常、常に同じ画像が得られることになる。
このキャップ状部材１１の底部１１ａには、所定のマークが描かれている。所定のマークとしては、後の処理の基準となるようなマークであればどのようなものでもよく、例えば、ワークＷを模したマークであってもよい。また、図４に示されるようなマークに限らず、例えば格子状のマークとしてもよい。また、標準撮影対象部は、汚れの度合いを算出するための画像を取得することを第一の目的としている部分であるため、マークが描かれていないもの、例えば白色等の特定色による一様な表面であってもよい。
また、キャップ状部材１１の上面から底部１１ａまでの距離は、カメラ６の焦点距離の範囲内にしておくことが望ましい。
ここで、キャップ状部材１１は、撮影時における、外部照明光などの外部要因による影響を排除するため、底部の周囲を囲む筒状部１１ｂを備えている。この構成により、照明部８から照明光を所定の照明条件で照射してキャップ状部材１１の底部１１ａを撮影したときに、カメラ６のレンズに汚れが付着している場合を除き、常に一定の明るさおよび色の画像を取得することができる。よって、以下に示す、カメラ６のレンズの汚れ度合いを算出する処理を、より正確に実行することができる。
図４は、カメラ６のレンズの汚れ度合いを算出する処理を説明するための図である。
まず、カメラ６のレンズに汚れが無い状態で、レンズ異常検出システム１を起動し、ロボット５に固定されているカメラ６のレンズ保持部７を、キャップ状部材１１の近くまで誘導する。このように、カメラ６が固定されている可動部としてのロボット５は、標準撮影対象部がカメラ６の撮影範囲に入るように、カメラを動かすことができる。この状態を初期状態とし、初期状態において撮影された標準撮影対象部の画像を、初期画像として保存する。
次に、オペレータによってあらかじめ定められた任意の時間ごとに自動で、もしくはオペレータの手動操作に基づくタイミングで、初期画像の撮影と同様の動作を実行し、標準撮影対象部の画像を再度取得する。そして、この画像を動作後画像として保存する。このように撮影された初期画像と動作後画像を、図４Ａに示す。
画像処理装置２１は、図４Ｂに示されるように、初期画像の画素値と、動作後画像の画素値とを、所定の閾値によりそれぞれ二値化し、それぞれ二値化画像を生成する。さらに画像処理装置２１は、図４Ｃに示されるように、初期画像の二値化画像と、動作後画像の二値化画像との差分に基づき、差分画像を生成する。
演算装置２２の汚れ度合い算出部４１は、画像処理装置２１によって生成された差分画像の情報に基づき、レンズの汚れ度合いを算出する。
ここで、カメラ６のレンズに汚れが付着していない場合は、初期化画像の二値化画像と、動作後画像の二値化画像とは同じ画像となるため、両者の差分画像は、その全領域において、値がゼロとなる。一方、カメラ６のレンズに汚れが付着している場合は、汚れが付着している部分について、差分値がゼロとはならない。よって、汚れ度合い算出部４１は、この差分値がゼロとならない部分を、撮像画像中の汚れの領域として判定することができる。このような二値化処理により、正確かつ簡便に汚れの領域を判定することができる。
汚れ度合い算出部４１は、この汚れと判定された領域の大きさを、撮影画像全体の領域の大きさで割ることにより、汚れ度合いとしての汚れ指数を算出する。この汚れ指数は、０〜１の値をとる指数であり、初期状態においてはゼロとなる。
なお、上述の二値化処理以降の処理は、画像処理装置２１で実行しても、演算装置２２の汚れ度合い算出部４１で実行しても構わない。
なお、汚れの領域を判定する方法は、前述の二値化による方法によらず、例えば、画像の画素値をそのまま用いて差分画像を取得する方法等、各種の方法を採用することも可能である。
また、汚れの領域を判定することなく、レンズの汚れ度合いを算出してもよい。
すなわち、初期画像に基づく情報と、動作後画像に基づく情報との比較に基づき、レンズの汚れ度合いを算出する、各種の方法を採用することが可能である。
例えば、画像の画素値の情報は、汚れの濃淡を示していると考えられる。よって、初期画像の画素値と、動作後画像の画素値とを比較して、汚れの濃淡の変化度合を示す情報を取得し、その情報に基づいて、レンズの汚れ度合いを求めてもよい。
以上で示したように、レンズの汚れ度合いは、標準撮影対象部を撮影した画像に基づいて算出されるため、正確に算出することができる。
また、レンズの汚れ度合いは、標準撮影対象部を所定の照明条件で撮影したときの画像に基づいて算出されるため、より正確に算出することができる。
さらに、所定の対象を撮影する際に、外部要因光による影響を排除する排除手段としての筒状部１１ｂを備えているため、外部要因光の影響を受けることもなく、より正確にレンズの汚れ度合いを算出することができる。
次に、図５〜７のグラフを用いて、汚れ度合い算出部４１によって算出された汚れ度合いに基づいて、将来実施されるべき、カメラ６のレンズの清掃タイミング、すなわち予測清掃タイミングを算出する処理について説明する。
図５には、横軸を時刻、縦軸を汚れ指数としたグラフが示されている。
図５の縦軸に示されるように、汚れ指数には、予測レンズの清掃タイミングを算出する上で参照される、許容限界閾値が設定されている。この許容限界閾値は、レンズの極端な汚れにより、カメラ６の出力に基づくロボット５の制御が正常にできなくなると考えられる値、例えば、画像情報に基づくワークＷの位置補正処理などが正常にできなくなると考えれる値としてあらかじめ設定されている。
図５は、初期画像以降の画像が１枚の場合において、予測清掃タイミングを算出する方法を示している。
この場合、初期画像の撮影タイミングｔ０と、動作後画像の撮影タイミングｔと、動作後画像の汚れ指数に基づき、関数を導出する。そして、この関数に基づき、汚れ指数が許容限界閾値に到達するまでの時間を算出し、この時間と初期画像の撮影タイミングｔ０の時刻とから、許容限界閾値に到達すると予測される時刻を清掃タイミングＴとして導出する。この時刻に関する情報が、将来実施されるべき清掃タイミングの情報、すなわち予測清掃タイミングを示す情報である。なお、表示装置２３においてオペレータに告知する予測清掃タイミングに関する情報は、時刻自体に限らず、予測清掃タイミングに関する情報であればよい。
ここで、関数を導出する際に、汚れ度合い算出部は、初期画像の汚れ指数をゼロとして算出し、清掃タイミング予測部４３に送信している。また、関数としては、少ない演算量で導出できる一次関数を導出している。
このように、レンズの予測清掃タイミングは、初期画像を含む複数の画像の撮影タイミングと、複数の画像の汚れ度合いとに基づいて算出することが可能である。
一般に、記憶容量が不足している場合は、多数の画像を保存しておくことが困難となる。しかしながら、この構成によれば、記憶容量が不足している場合においても、初期画像および現在時刻ｔの動作後画像のみを用いて、予測清掃タイミングＴを算出することができる。
図６は、初期画像以降の画像が複数の場合、すなわち動作後画像が複数ある場合における、予測清掃タイミングＴを算出する方法を示す図である。
この場合は、初期画像の撮影タイミングｔ０と、複数の動作後画像の撮影タイミングと、複数の動作後画像の汚れ指数に基づき、関数を導出する。例えば、図６に示されるように、最小二乗法などを用いて関数として近似直線を導出する。これにより、途中の撮影タイミングにおいて汚れ指数に異常値が存在している場合などにおいても、より正確に予測清掃タイミングＴを算出することができる。
なお、予測清掃タイミングＴを算出する関数は一次関数に限らない。より正確に予測するために、過去の実績データに基づいて、曲線を描く関数を導出してもよい。
また、実際に清掃が必要になったタイミングにおいて撮影された過去の画像の撮影タイミングおよび汚れ度合いの情報と、そこに至るまでの複数の画像の撮影タイミングおよび汚れ度合い情報を多数取得し、この情報を用いて機械学習を行うことにより、予測清掃タイミングＴを算出するアルゴリズムを構築してもよい。
このように、レンズの予測清掃タイミングは、複数の画像の撮影タイミングと、複数の画像の汚れ度合いとに基づいて算出することが可能である。
図７は、レンズ異常検出システムをリスタートする場合の処理を示すための図である。
カメラ６のレンズを清掃した場合、レンズ異常検出システム１をリスタートするために、初期状態の時刻をリセットする必要がある。このようなリスタート処理を実行する方法としては、オペレータが、レンズを清掃したタイミングで手動によりリスタート処理を実行する方法が考えられる。また、図７に示されるように、連続する複数の動作後画像の汚れ指数を比較し、汚れ指数が大幅に低下した場合、例えば所定値以上低下した場合に、リスタート処理を自動的に実行する方法を採用することもできる。これにより、自動的にリスタート処理が行われるため、より確実にリスタート処理を行うことができる。
なお、リスタート処理は、汚れ指数が大幅に低下した直後の動作後画像を、初期画像として再設定する処理であってもよい。このリスタート処理は、例えば演算装置２２における、リスタート処理実行部４４が実行する。
なお、汚れ指数が大幅に低下した場合に、清掃を行ったか否かをオペレータに確認する確認画面を表示する構成を採用してもよい。例えば、汚れ指数が所定値以上低下した場合に、表示装置２３に、『レンズの清掃を行った場合、[リスタート]を押してください。レンズ異常検出システムをリスタートします。』と表示する構成を採用してもよい。この構成によっても、より確実にリスタート処理を行うことができる。
以下、図８のフローチャートを用いて、カメラ６のレンズの汚れ度合いに基づき、予測清掃タイミングの告知を行うレンズ異常検出システムの処理について説明する。
ステップＳ１１では、汚れ度合い算出部４１が、カメラ６のレンズの汚れ度合いを算出する。次にステップＳ１２において、汚れ度合い判定部４２が、汚れ度合いが所定の閾値を超えているか否かを判定する。この所定の閾値は、図５等で説明した許容限界閾値と同じ値でもよい。
汚れ度合い判定部４２は、汚れ度合いが閾値以下の場合（ステップＳ１２ ＮＯ）、将来実施されるべき清掃タイミングを算出するために、汚れ度合いに関する情報を清掃タイミング予測部４３に送信する。ステップＳ１４において、清掃タイミング予測部４３は、将来実施されるべき清掃タイミング、すなわち予測清掃タイミングを算出し、表示装置２３は、その内容を告知する。その後、ステップＳ１１に戻る。この処理は、オペレータによってあらかじめ定められた任意の時間ごとに自動で、もしくはオペレータの手動操作に基づくタイミングで繰り返される。
一方、汚れ度合いが所定の閾値を超えている場合（ステップＳ１２ ＹＥＳ）は、ステップＳ１３において、ロボット５等の産業機械の動作を停止させるための停止信号を制御装置３０に送信する。なお、このときにアラームを報知してもよい。
このようなレンズ異常検出処理により、オペレータは、将来実施されるべき、カメラ６のレンズの清掃タイミングを把握することができるため、適切なタイミングでメンテナンスを実行することが可能となり、生産ラインの稼働率の低下を防ぐことができる。
なお、本願における汚れには、切削液、水垢、埃、本来カメラのレンズに付着するべきではない、産業機械から噴霧される塗料など、様々なものが含まれる。
なお、汚れの付着を検出する対象は、カメラ６のレンズまたはレンズカバーである。すなわち、カメラ６のレンズ保持部７の先端外表面に、光線を屈折させる機能を有するレンズ自体が露出していれば、汚れの付着を検出する対象はレンズとなるが、レンズの前面にレンズカバー、例えば平板状のカバーガラス等が配置されている場合は、汚れの付着を検出する対象はこのレンズカバーとなる。
なお、本実施形態においては、標準撮影対象部を備えるキャップ状部材１１をロボット５の台座１０に設けているが、キャップ状部材１１を設ける部分は、この部分に限られない。例えば、ワークＷの載置台９に、キャップ状部材１１を設けてもよい。この場合、汚れ度合いを算出するための撮影動作の際に、ロボット５を動かす量を少なくすることができる。
なお、本実施形態においては、カメラ６がロボット５のハンド付近に固定されているが、カメラ６は、ロボット５の周辺の他の部分に設けられていてもよい。例えば、カメラ６を、ロボット５とは別の可動アームに設けて、この可動アームを動かす構成としてもよい。
また、カメラ６を、ロボット５の台座１０やワークＷの載置台９などの非可動部に固定的に設けてもよい。この場合は、標準撮影対象部を可動部に固定し、汚れ度合いを算出するための撮影動作の際に、標準撮影対象部が、カメラ６の撮影範囲に入るように移動するように、可動部を動作させる構成としてもよい。
また、カメラ６のレンズ保持部７付近に、カメラ６と一体的に、可動自在な標準撮影対象部を設ける構成を採用してもよい。
また、カメラ６および標準撮影対象部を共に可動部に固定し、両者が動く構成としてもよい。
なお、本実施形態においては、汚れ度合いを算出するために用いる画像として、標準撮影対象部を撮影した画像を用いているが、ワークＷを撮影した画像等、その他の画像を用いることも可能である。この場合、汚れ度合いの検出感度は落ちるものの、ロボット５にレンズ異常検出のための余分な動作をさせることなく、汚れ度合いを算出することができる。
本実施形態のレンズ異常検出システムによれば、以下の効果を奏する。
（１）本実施形態に係るレンズ異常検出システム１は、カメラ６によって取得された画像に基づいて、カメラ６のレンズの汚れ度合いを算出する汚れ度合い算出部４１と、このレンズの汚れ度合いに基づき、レンズの将来実施されるべき予測清掃タイミングに関する情報を算出する清掃タイミング予測部４３とを有する。
これにより、将来実施されるべき、カメラ６のレンズの清掃タイミングを予測することが可能な、カメラ６のレンズ異常検出システムを提供することができるため、適切なタイミングでメンテナンスを実行することが可能となり、生産ラインの稼働率の低下を防ぐことができる。
（２）本実施形態に係るレンズ異常検出システム１は、汚れ度合い判定部４２による判定結果が閾値以下の場合には、レンズの汚れ度合いに基づき、レンズの予測清掃タイミングに関する情報を告知し、判定結果が閾値を超えた場合には、ロボット５等の動作を停止させる停止信号を出力する。
よって、レンズの汚れ度合いによって、より適切な制御を行うことができる。
（３）本実施形態に係るレンズ異常検出システム１は、初期画像に基づく情報と、動作後画像に基づく情報との比較に基づき、レンズの汚れ度合いを算出する。
よって、適切にレンズの汚れ度合いを算出することができる。
（４）本実施形態に係るレンズ異常検出システム１は、初期画像の画素値に基づく二値化画像と、動作後画像の画素値に基づく二値化画像との差分に基づき、画像における汚れの領域を判定し、画像における汚れの領域の大きさに基づき、レンズの汚れ度合いを算出する。
よって、二値化処理を行うことにより、正確かつ簡便に汚れの領域を判定することができる。
（５）本実施形態に係るレンズ異常検出システム１は、レンズの汚れ度合いを算出する際に、カメラ６によって撮影される対象となる標準撮影対象部を更に備え、標準撮影対象部が、カメラ６の撮影範囲に入るように、カメラ６および／または標準撮影対象部が固定されている可動部が動作可能である。
よって、標準撮影対象部を用いることにより、より正確に汚れ度合いを算出することができる。
（６）本実施形態に係るレンズ異常検出システム１は、レンズの予測清掃タイミングが、複数の画像の撮影タイミングと、複数の画像の汚れ度合いとに基づいて導出された関数と、レンズの汚れ度合いの許容限界閾値とに基づいて算出される。
よって、正確に予測清掃タイミングを算出することができる。
（７）本実施形態に係るレンズ異常検出システム１は、第２動作後画像におけるレンズの第２の汚れ度合いが、第１の動作後画像におけるレンズの第１の汚れ度合いに対して所定値以上低下した場合に、リスタート処理を実行する。
よって、自動的にリスタート処理が行われるため、確実にリスタート処理を行うことができる。
＜第２実施形態＞
次に、第２実施形態に係るレンズ異常検出システムについて、図９〜１０を参照しながら説明する。なお、以下の説明において、第１実施形態と同じ構成については、同じ符号を付し、また詳細な説明を省略する。
図９は、本実施形態における演算装置２２の機能モジュールの構成を示す機能ブロック図である。
本実施形態における演算装置２２は、図２に示される機能モジュールに加えて、使用可能領域特定部４５を備えている。
第１実施形態においては、カメラ６のレンズの汚れ指数が所定の閾値を超えている場合は、ステップＳ１３において、ロボット５等の動作を停止している。しかしながら、汚れ指数が所定の閾値以上と判定された場合であっても、撮影位置をずらすことにより、カメラ６の出力に基づくロボット５等の加工動作を継続できる場合がある。
図１０Ａは、標準撮影対象部のマークを撮影したときの画像である。画像には、所定の閾値を超える汚れが付着している。
本実施形態においては、情報処理装置２０の演算装置２２における使用可能領域特定部４５は、図１０Ｂに示されるような、カメラ６により撮影された画像中における、レンズの汚れが軽微である使用可能領域を特定する。
そして、カメラ６のレンズの汚れ指数が所定の閾値を超えている場合であっても、前述の使用可能領域があらかじめ定められた所定の大きさ以上である場合には、ロボット５等の動作を継続させる処理を行う。
なお、加工動作を継続している間は、レンズの汚れが軽微である使用可能領域を用いて、カメラ６の出力に基づくロボット５等の動作を制御する。
なお、カメラ６が、撮影位置を変化させるための手段としての可動部、例えばカメラを保持する図示しない可動アームや、撮影方向を変化させる図示しない機構等を備えている場合は、前述の使用可能領域が所定の大きさ以上である場合において、撮影対象としてのワークＷまたは標準撮影対象部のマークが使用可能領域内に入るように、カメラ６による撮影位置を変化させるように可動部を動作させる制御を行ってもよい。この撮影位置を変更する制御は、使用可能領域の大きさが許容値を下回るまで繰り返される。
そして、使用可能領域があらかじめ定められた所定の大きさより小さくなった場合には、ロボット５等の動作を停止させるための処理を行う。
このように、本実施形態の情報処理装置２０は、ロボット５等の動作の制御およびカメラ６による撮影の制御を行うための情報を出力する情報出力部としての機能を有し、使用可能領域が所定の大きさ以上である場合に、ロボット５の動作を継続させるための情報を出力し、使用可能領域が所定の大きさよりも小さい場合に、ロボット５の動作を停止させるための情報を出力する。
このような構成により、さらに生産ラインの稼働率を向上させることができる。
なお、レンズの汚れが軽微である使用可能領域であるか否かの判定は、前述の二値化による方法によらず、例えば、画像の画素値をそのまま用いて差分画像を取得する方法等、各種の方法を採用することができる。
本実施形態に係るレンズ異常検出システムによれば、上記（１）〜（７）に加えて以下の効果を奏する。
（８）本実施形態においては、レンズの汚れが軽微である使用可能領域が所定の大きさ以上である場合に、前記産業機械の動作を継続させる。
よって、さらに生産ラインの稼働率を向上させることができる。
（９）本実施形態においては、レンズの汚れが軽微である使用可能領域が所定の大きさ以上である場合に、撮影対象物の少なくとも一部が使用可能領域内において撮影されるように、カメラ６の撮影位置を変化させるように可動部を動作させる。
よって、さらに生産ラインの稼働率を向上させることができる。
＜第３実施形態＞
次に、第３実施形態に係るレンズ異常検出システムについて、図１１〜１２を参照しながら説明する。なお、以下の説明において、第１実施形態と同じ構成については、同じ符号を付し、また詳細な説明を省略する。
図１１Ａは、本実施形態におけるカメラ６と標準撮影対象部を備えるレンズキャップ１２を示す概略図である。
本実施形態においては、標準撮影対象部が、レンズキャップ１２の内面側の底部に設けられている。
この構成の場合、レンズキャップ１２をカメラ６のレンズ保持部７に対して手動で被せるのみにより、汚れ度合いを算出するための画像を取得することができる。よって、このときにカメラ６を移動させる必要がない。
なお、レンズキャップ１２の内面側の底部は、図１１Ｂに示されるように、グリッド状のマークを設けてもよい。図１２は、このようなマークを備えるレンズキャップ１２を装着して撮影したときに得られる画像である。
このグリッド状のマークにより、レンズに汚れが付着した場合に、ワークＷ等の対象物の少なくとも一部が使用可能領域内に入るように、カメラ６による撮影位置を変更する制御を行う場合などにおいて、マークを基準として処理した情報に基づき、適切に撮影位置の変更制御を行うことなどが可能となる。またマークは、カメラ６のピント調整時の基準にもなる。
本実施形態に係るレンズ異常検出システムによれば、上記（１）〜（９）に加えて以下の効果を奏する。
（１０）本実施形態においては、標準撮影対象部は、カメラ６のレンズをカバーするレンズキャップ１２である。
よって、レンズキャップ１２をカメラ６に対して手動で被せることにより、汚れ度合いを算出するための画像を簡単に取得することができる。また、このときにカメラ６を移動させる必要がない。
＜第４実施形態＞
次に、第４実施形態に係るレンズ異常検出システムについて、図１３を参照しながら説明する。なお、以下の説明において、第１実施形態と同じ構成については、同じ符号を付し、また詳細な説明を省略する。
図１３は、本実施形態における制御装置３０とカメラ６を示す図である。
本実施形態においては、ロボット制御装置３１とカメラ制御装置３２とが分離されている。そしてカメラ制御装置には、複数のカメラ６ａ〜６ｄが接続されている。
この構成により、情報処理装置２０の演算装置２２における汚れ度合い判定部４２により、複数のカメラ６ａ〜６ｄのうち、いずれかひとつのカメラ、例えば第１のカメラ６ａのレンズの汚れ度合いが所定の閾値を超えたと判定された場合には、他のカメラ６ｂ〜６ｄの中に、レンズの汚れ度合いが所定の閾値以下であるカメラが存在するかを判定する。そして、他のカメラの中に、レンズの汚れ度合いが所定の閾値以下であるカメラが存在する場合、第１のカメラ６ａに代えて、レンズの汚れ度合いが所定の閾値以下である他のカメラのうち、ひとつのカメラを選択して撮影を継続する。このとき、レンズの汚れ度合いが所定の閾値以下であるカメラが複数存在する場合は、汚れ度合いが最も小さいカメラを優先的に選択して使用してもよい。
このように、本実施形態の汚れ度合い判定部４２を備える情報処理装置２０は、ロボット５等の動作の制御およびカメラ６による撮影の制御を行うための情報を出力する情報出力部としての機能を有し、レンズの汚れ度合いが所定の閾値を超えたカメラを検出した場合には、当該カメラに代えて、レンズの汚れ度合いが所定の閾値以下である他のカメラを用いてワークＷの撮影を継続させて、ロボット５等の動作を継続させるための情報を、制御装置３０に出力する。
なお、複数のカメラは、その全てをロボット５に設置してもよいし、ロボット５およびロボット５以外の部分に設置してもよい。またロボット５とは別の図示しない可動部に取り付けて、複数のロボットと、複数のカメラ６ａ〜６ｄとを、状況に応じて適宜組み合わせて用いる構成としてもよい。
なお、この構成によれば、レンズの汚れがひどくなったときに限らず、いずれかのカメラが故障した場合において、他のカメラを使用するように制御することで、稼働率を向上させることも可能である。
このような構成により、さらに、生産ラインの稼働率を向上させることができる。
本実施形態に係るレンズ異常検出システムによれば、上記（１）〜（１０）に加えて以下の効果を奏する。
（１１）本実施形態においては、複数のカメラ６ａ〜６ｄのレンズの汚れ度合いをそれぞれ算出し、レンズの汚れ度合いが所定の閾値を超えたカメラを検出した場合には、当該カメラに代えて、レンズの汚れ度合いが所定の閾値以下である他のカメラを用いて撮影を継続させて、ロボット５等の動作を継続させる。
よって、さらに生産ラインの稼働率を向上させることができる。
なお、各実施形態においては、汚れの付着を検出する対象をレンズとして説明してきたが、レンズの前面にレンズカバーが配置されている場合は、汚れの付着を検出する対象はレンズカバーとなる。すなわち、本発明の異常検知システムは、視覚センサのレンズまたはレンズカバーの異常検出システムとして構成することができる。
なお、本発明は上記実施形態に限定されず、本発明の目的を達成できる範囲で変形、改良などを行っても、本発明の範囲に含まれる。
１…レンズ異常検出システム
５…ロボット（産業機械）
６…カメラ（視覚センサ）
８…照明部
１０…台座
１１…キャップ状部材
１２…レンズキャップ
２０…情報処理装置
２１…画像処理装置
２２…演算装置
２３…表示装置
３０…制御装置
３１…ロボット制御装置
３２…カメラ制御装置
４１…汚れ度合い算出部
４２…汚れ度合い判定部
４３…清掃タイミング予測部
４４…リスタート処理実行部
４５…使用可能領域特定部

Claims (12)

  1. 産業機械またはその周辺領域に設置され、複数の画像データを取得する視覚センサを備える、視覚センサのレンズまたはレンズカバーの異常検出システムであって、
    前記視覚センサによって撮影された前記画像データに基づいて、前記視覚センサのレンズまたはレンズカバーの汚れ度合いを算出する算出部と、
    前記算出部によって計測された前記レンズまたはレンズカバーの汚れ度合いに基づき、前記レンズまたはレンズカバーの将来実施されるべき予測清掃タイミングに関する情報を算出する予測部と、を有する視覚センサのレンズまたはレンズカバーの異常検出システム。
  2. 前記レンズまたはレンズカバーの汚れ度合いが所定の閾値以下であるか否かを判定する判定部と、
    前記予測清掃タイミングに関する情報を告知する告知部と、
    前記産業機械の動作を停止させるための停止信号を出力する停止信号出力部と、を更に備え、
    前記判定部による判定結果が前記閾値以下の場合には、前記告知部は、前記予測清掃タイミングに関する情報を告知し、
    前記判定部による判定結果が前記閾値を超えた場合には、前記停止信号出力部は、前記停止信号を出力する、請求項１に記載の視覚センサのレンズまたはレンズカバーの異常検出システム。
  3. 前記算出部は、初期画像に基づく情報と、動作後画像に基づく情報との比較に基づき、前記レンズまたはレンズカバーの汚れ度合いを算出する、請求項１または２に記載の視覚センサのレンズまたはレンズカバーの異常検出システム。
  4. 前記算出部は、初期画像の画素値に基づく二値化画像と、動作後画像の画素値に基づく二値化画像との差分に基づき、画像における汚れの領域を判定し、前記画像における汚れの領域の大きさに基づき、前記レンズまたはレンズカバーの汚れ度合いを算出する、請求項３に記載の視覚センサのレンズまたはレンズカバーの異常検出システム。
  5. 前記レンズまたはレンズカバーの汚れ度合いを算出する際に、前記視覚センサによって撮影される対象となる標準撮影対象部を更に備え、
    前記視覚センサおよび／または前記標準撮影対象部は、可動部に固定されており、前記可動部は、前記標準撮影対象部が、前記視覚センサの撮影範囲に入るように動作可能である、請求項１から４のいずれかに記載の視覚センサのレンズまたはレンズカバーの異常検出システム。
  6. 前記レンズまたはレンズカバーの汚れ度合いを算出する際に、前記視覚センサによって撮影される対象となる標準撮影対象部を更に備え、
    前記標準撮影対象部は、前記視覚センサの前記レンズまたはレンズカバーを覆うレンズキャップである、請求項１から４のいずれかに記載の視覚センサのレンズまたはレンズカバーの異常検出システム。
  7. 前記予測清掃タイミングは、前記複数の画像の撮影タイミングおよび前記複数の画像の汚れ度合いに基づいて導出された関数と、前記レンズまたはレンズカバーの汚れ度合いの許容限界閾値とに基づいて算出される、請求項１から６のいずれかに記載の視覚センサのレンズまたはレンズカバーの異常検出システム。
  8. 第１動作後画像における前記レンズまたはレンズカバーの第１の汚れ度合いと、前記第１動作後画像の後のタイミングに撮影された第２動作後画像における前記レンズまたはレンズカバーの第２の汚れ度合いとを比較し、この比較結果に基づき、異常検出システムのリスタート処理を実行するリスタート処理実行部を更に備え、
    前記リスタート処理実行部は、前記第２の汚れ度合いが、前記第１の汚れ度合いに対して所定値以上低下した場合に、前記リスタート処理を実行する、請求項１から７のいずれかに記載の視覚センサのレンズまたはレンズカバーの異常検出システム。
  9. 前記レンズまたはレンズカバーの汚れ度合いが所定の閾値を超えたか否かを判定する判定部と、
    前記視覚センサにより撮影された画像中における、前記レンズまたはレンズカバーの汚れが軽微である使用可能領域を特定する使用可能領域特定部と、
    前記産業機械の動作の制御を行うための情報を出力する情報出力部と、を更に備え、
    前記判定部による判定結果が前記閾値を超えた場合に、前記使用可能領域特定部は、前記使用可能領域を特定し、
    前記使用可能領域特定部により特定された使用可能領域が所定の大きさ以上である場合に、前記情報出力部は、前記産業機械の動作を継続させるための情報を出力し、前記使用可能領域が前記所定の大きさよりも小さい場合に、前記情報出力部は、前記産業機械の動作を停止させるための情報を出力する、請求項１に記載の視覚センサのレンズまたはレンズカバーの異常検出システム。
  10. 前記視覚センサは、撮影位置を変化させるための可動部を備えており、
    前記使用可能領域が所定の大きさ以上である場合に、撮影対象物の少なくとも一部が前記使用可能領域内において撮影されるように、前記視覚センサの撮影位置を変化させるように前記可動部を動作させる、請求項９に記載のレンズまたはレンズカバーの異常検出システム。
  11. 前記産業機械および前記視覚センサの動作の制御を行うための情報を出力する情報出力部を更に備え、
    前記視覚センサは、複数設けられており、
    前記算出部は、複数の前記視覚センサの前記レンズまたはレンズカバーの汚れ度合いをそれぞれ算出し、
    前記レンズまたはレンズカバーの汚れ度合いが所定の閾値を超えた視覚センサを検出した場合には、前記情報出力部は、当該視覚センサに代えて、前記レンズまたはレンズカバーの汚れ度合いが所定の閾値以下である他の視覚センサを用いて撮影を継続させて、前記産業機械の動作を継続させるための情報を出力する、請求項１に記載の視覚センサのレンズまたはレンズカバーの異常検出システム。
  12. 産業機械またはその周辺領域に設置され、複数の画像データを取得する視覚センサを備える、視覚センサのレンズまたはレンズカバーの異常検出システムにおける情報処理装置を構成するコンピュータに、
    前記視覚センサによって撮影された前記画像データに基づいて、前記視覚センサのレンズまたはレンズカバーの汚れ度合いを算出する算出機能と、
    前記算出機能によって計測された前記レンズまたはレンズカバーの汚れ度合いに基づき、前記レンズまたはレンズカバーの将来実施されるべき予測清掃タイミングに関する情報を算出する予測機能と、を実現させるための、視覚センサのレンズまたはレンズカバーの異常検出用プログラム。
JP2018106252A 2018-06-01 2018-06-01 視覚センサのレンズまたはレンズカバーの異常検出システム Active JP6933608B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018106252A JP6933608B2 (ja) 2018-06-01 2018-06-01 視覚センサのレンズまたはレンズカバーの異常検出システム
US16/420,298 US10775319B2 (en) 2018-06-01 2019-05-23 Visual sensor lens or lens cover abnormality detection system
CN201910458324.2A CN110632077B (zh) 2018-06-01 2019-05-29 视觉传感器的镜头或镜头盖的异常检测系统
DE102019207904.0A DE102019207904A1 (de) 2018-06-01 2019-05-29 Visuelles sensorobjektiv- oder objektivabdeckungsabnormalitätsdetektionssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018106252A JP6933608B2 (ja) 2018-06-01 2018-06-01 視覚センサのレンズまたはレンズカバーの異常検出システム

Publications (2)

Publication Number Publication Date
JP2019211571A JP2019211571A (ja) 2019-12-12
JP6933608B2 true JP6933608B2 (ja) 2021-09-08

Family

ID=68576542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018106252A Active JP6933608B2 (ja) 2018-06-01 2018-06-01 視覚センサのレンズまたはレンズカバーの異常検出システム

Country Status (4)

Country Link
US (1) US10775319B2 (ja)
JP (1) JP6933608B2 (ja)
CN (1) CN110632077B (ja)
DE (1) DE102019207904A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020175589A1 (ja) * 2019-02-27 2020-09-03 ダイキン工業株式会社 情報提供システム
KR102370017B1 (ko) * 2019-12-26 2022-03-04 주식회사 메디트 구강스캐너에 내장된 광학요소 검사 방법 및 이를 이용한 시스템
JP7467961B2 (ja) * 2020-02-07 2024-04-16 東芝ライテック株式会社 判定装置
JP6756941B1 (ja) * 2020-04-22 2020-09-16 Dmg森精機株式会社 無人搬送車、及び該無人搬送車を備えた産業機械システム
CN111524125B (zh) * 2020-04-28 2023-09-01 京东科技信息技术有限公司 一种设备清洁方法、装置、系统、电子设备及存储介质
CN111882540A (zh) * 2020-07-28 2020-11-03 歌尔科技有限公司 摄像头保护罩的污迹检测方法、装置以及设备
CN112040223B (zh) * 2020-08-25 2022-08-12 RealMe重庆移动通信有限公司 一种图像处理方法、终端设备及存储介质
US11368672B2 (en) 2020-09-14 2022-06-21 Argo AI, LLC Validation of a camera cleaning system
CN112348784A (zh) * 2020-10-28 2021-02-09 北京市商汤科技开发有限公司 相机镜头的状态检测方法、装置、设备及存储介质
US11457204B1 (en) * 2020-11-06 2022-09-27 Waymo Llc Localized window contaminant detection
CN112672017B (zh) * 2020-12-24 2022-08-05 上海炬佑智能科技有限公司 测试结构件、ToF装置以及镜头脏污检测方法
US11982034B2 (en) * 2021-02-03 2024-05-14 Haier Us Appliance Solutions, Inc. Image quality detection for a camera assembly in a laundry appliance
DE102021105260B3 (de) 2021-03-04 2022-08-25 Syntegon Technology Gmbh System zur Erfassung von manuellen Eingriffen in eine automatisierte Produktionsumgebung
CN113523272B (zh) * 2021-05-14 2023-09-29 福建省长汀金龙稀土有限公司 一种基于机器视觉的料盒抓取系统
CN113600525B (zh) * 2021-07-29 2022-09-16 河北白沙烟草有限责任公司保定卷烟厂 一种基于智能识别技术的铜排链在线清洁装置
CN113702401B (zh) * 2021-08-17 2023-12-08 芜湖东旭光电科技有限公司 玻璃边部缺陷的检测方法
CN113781499A (zh) * 2021-08-27 2021-12-10 上海微创医疗机器人（集团）股份有限公司 医疗用镜状态检测方法、图像处理方法机器人控制方法及系统
WO2023029633A1 (zh) * 2021-09-01 2023-03-09 寒武纪行歌(南京)科技有限公司 摄像头清洗控制方法、装置、设备及系统
US11451709B1 (en) * 2021-11-29 2022-09-20 Unity Technologies Sf Increasing dynamic range of a virtual production display
CN114778558B (zh) * 2022-06-07 2022-09-09 成都纵横通达信息工程有限公司 基于视频图像的桥梁监测装置、系统及方法
CN115278105B (zh) * 2022-07-27 2023-09-15 福建省气象科学研究所 一种智慧农业实景监测装置
CN116206266B (zh) * 2023-05-06 2023-08-15 济宁盛世照明电器有限公司 一种基于封口机的视觉对位系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3137739B2 (ja) 1992-06-15 2001-02-26 マツダ株式会社 ワーク位置検出方法
JP3181729B2 (ja) 1992-11-09 2001-07-03 マツダ株式会社 塗膜欠陥検出におけるレンズ汚れ検出方法及びその装置
JP3493970B2 (ja) * 1997-09-22 2004-02-03 株式会社日立製作所 ブッシング監視装置及びその監視方法
JPH11352852A (ja) * 1998-06-09 1999-12-24 Canon Inc 画像形成装置
JP2003149166A (ja) * 2001-11-15 2003-05-21 Fuji Heavy Ind Ltd 汚れ自動検知方法、および自動清掃方法、並びに自動清掃装置
TWI518742B (zh) * 2003-05-23 2016-01-21 尼康股份有限公司 A method of manufacturing an exposure apparatus and an element
JP4245452B2 (ja) * 2003-10-06 2009-03-25 富士通株式会社 レンズの汚れ判定方法及び装置
JP4525501B2 (ja) * 2005-07-14 2010-08-18 トヨタ自動車株式会社 レーザートーチの検査システムおよび検査方法
JP2008160635A (ja) * 2006-12-26 2008-07-10 Matsushita Electric Ind Co Ltd カメラ状態検出方法
JP2008241650A (ja) * 2007-03-29 2008-10-09 Hitachi Industrial Equipment Systems Co Ltd 欠陥検査装置
JP2012173405A (ja) * 2011-02-18 2012-09-10 Fuji Xerox Co Ltd 画像形成装置
JP5635963B2 (ja) * 2011-11-02 2014-12-03 株式会社日立パワーソリューションズ 飲料液異物検査装置および飲料液異物検査方法
JP6117634B2 (ja) * 2012-07-03 2017-04-19 クラリオン株式会社 レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
CN104507765B (zh) * 2012-07-27 2017-02-22 日产自动车株式会社 摄像机装置、三维物体检测装置以及镜头清洗方法

Also Published As

Publication number Publication date
DE102019207904A1 (de) 2019-12-05
CN110632077B (zh) 2024-05-24
US10775319B2 (en) 2020-09-15
JP2019211571A (ja) 2019-12-12
US20190369031A1 (en) 2019-12-05
CN110632077A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
JP6933608B2 (ja) 視覚センサのレンズまたはレンズカバーの異常検出システム
JP6888617B2 (ja) 検査装置、検査方法
JP6844871B2 (ja) 焦点調節方法およびその装置
US11336831B2 (en) Image processing device, control method, and program storage medium
RU2011109470A (ru) Устройство захвата изображения и способ управления им
JP2017015396A5 (ja)
JP6241052B2 (ja) 画像処理システムおよび画像処理プログラム
JP2009020000A (ja) 検査装置および方法
JP2021037736A5 (ja) 検品装置とその制御方法、並びにプログラム
CN111225142A (zh) 图像处理装置及其控制方法和记录介质
JP2011049980A (ja) 画像処理プログラムおよび画像処理装置
JP5207057B2 (ja) 撮影装置の汚れを検知する汚れ検知装置及び同検知方法
CN113639630A (zh) 基于多模板匹配和自动对焦功能的尺寸测量仪系统
WO2018173352A1 (ja) 画像処理方法および画像処理装置
US10038837B2 (en) Imaging device and water droplet adhesion determining method
KR20220044741A (ko) 웨이퍼 외관 검사 장치 및 방법
JP2018160217A (ja) 画像処理方法および画像処理装置
JP2019215225A (ja) 画像検査システム及びその制御方法
JP2022176190A5 (ja)
JP2019219357A (ja) 撮影装置、撮影方法および撮影プログラム
CN113467664A (zh) 一种基于模板匹配的尺寸测量仪使用方法
CN113645398A (zh) 一种基于自动对焦功能的尺寸测量仪系统
JP2019028004A (ja) 三次元計測装置、及び三次元計測装置における異常検知方法
JP2009237086A (ja) カラーフィルタ欠陥修正方法およびカラーフィルタ欠陥修正装置
JP6002414B2 (ja) オフライン調整装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191112

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200218

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200414

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200915

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201203

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210511

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210615

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210720

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210819

R150 Certificate of patent or registration of utility model

Ref document number: 6933608

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150