JP5818651B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP5818651B2
JP5818651B2 JP2011254879A JP2011254879A JP5818651B2 JP 5818651 B2 JP5818651 B2 JP 5818651B2 JP 2011254879 A JP2011254879 A JP 2011254879A JP 2011254879 A JP2011254879 A JP 2011254879A JP 5818651 B2 JP5818651 B2 JP 5818651B2
Authority
JP
Japan
Prior art keywords
inspection
image processing
condition data
inspection condition
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011254879A
Other languages
English (en)
Other versions
JP2013108875A (ja
Inventor
敬祐 名越
敬祐 名越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47500887&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5818651(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2011254879A priority Critical patent/JP5818651B2/ja
Priority to US13/654,732 priority patent/US9182356B2/en
Priority to EP12192748.7A priority patent/EP2597459B2/en
Priority to CN201210479240.5A priority patent/CN103139468B/zh
Publication of JP2013108875A publication Critical patent/JP2013108875A/ja
Application granted granted Critical
Publication of JP5818651B2 publication Critical patent/JP5818651B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Optics & Photonics (AREA)
  • Immunology (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、検査対象物の種類に応じてプログラムを切り換えることができ、切り換え時にフォーカス調整を比較的短時間で行うことができる画像処理装置に関する。
検査対象物に欠陥が存在するか否かを検査する場合、検査対象物の外観を撮像装置で撮像し、撮像した画像に基づいて欠陥の存否を判定する。欠陥の存否を正しく判定するためには撮像した画像が鮮明である必要があり、通常は手動でフォーカス調整を行ってから検査対象物を撮像している。
フォーカス調整を手動で行う場合、製造ラインを流れる検査対象物の種類が変わった場合、その都度フォーカス調整をやり直す必要が生じる。斯かる煩雑な作業を回避するべく、例えば特許文献1では、被検査体(検査対象物)の厚さや高さに応じて焦点調整(フォーカス調整を行うことが可能な外観検査装置が開示されている。これにより、検査対象物の種類が変わることにより厚さや高さが変わり、被検査体の撮像方向における寸法(撮像装置との距離)が変動した場合であっても、フォーカス調整を手動で行う必要がない。
特開2006−184019号公報
しかし、多種多様な検査対象物が流れてくる製造ラインに設けてある画像処理センサに、特許文献1に開示してある外観検査装置を採用した場合、被検査体(検査対象物)の厚さや高さが変わる都度焦点調整(フォーカス調整)が行われ、フォーカス調整機構の寿命が短くなるおそれがあるという問題点があった。もちろん、検査対象物の種類を一定期間ごとに変えることで対応することも可能である。しかし、フォーカス調整作業は、手動であろうと自動であろうと一定の時間を要し、検査タクトタイムを短縮することは困難である。
本発明は、斯かる事情に鑑みてなされたものであり、検査対象物の種類に応じてプログラムを切り換えるのみで、フォーカス調整を容易に行うことができる画像処理装置を提供することを目的とする。
上記目的を達成するために第1発明に係る画像処理装置は、検査対象物を含む撮像領域を撮像して第1の画像データを取得する撮像部と、検査対象物に対する前記撮像部のフォーカス位置を調整するフォーカス調整機構と、前記撮像部によって取得された第1の画像データを用いた画像処理を実行する画像処理部と、該画像処理部によって実行される画像処理に用いられるパラメータと、前記検査対象物の種類に応じたフォーカス位置を示すフォーカス位置データを含む複数の設定項目から構成され、前記検査対象物を検査する条件に関する検査条件データを、複数設定する検査条件データ設定手段と、該検査条件データ設定手段により設定された複数の検査条件データを記憶する記憶部と、該記憶部に記憶された複数の検査条件データから選択された一の検査条件データに含まれるフォーカス位置データに基づいてフォーカス調整機構の動作を制御し、該一の検査条件データに含まれる前記パラメータを用いた画像処理に基づいて、前記検査対象物の検査結果を出力する制御部と、前記一の検査条件データから他の検査条件データへ切り替えるための切換指示を受け付ける検査条件切換指示受付手段とを備え、該検査条件切換指示受付手段によって前記切換指示を受け付けた場合、前記制御部は、前記記憶部から読み出された前記他の検査条件データに含まれるフォーカス位置データに基づいて前記フォーカス調整機構の動作を制御し、前記画像処理部は、前記他の検査条件データに含まれるフォーカス位置データが示すフォーカス位置に調整された前記撮像部によって取得された第2の画像データを受信し、前記他の検査条件データに含まれるパラメータに基づいて、前記第2の画像データを用いた画像処理を実行することを特徴とする。
第1発明では、画像処理部によって実行される画像処理に用いられるパラメータと、検査対象物の種類に応じたフォーカス位置を示すフォーカス位置データを含む複数の設定項目から構成され、検査対象物を検査する条件に関する検査条件データを、複数設定する。設定された複数の検査条件データを記憶しておき、記憶された複数の検査条件データから選択された一の検査条件データに含まれるフォーカス位置データに基づいてフォーカス調整機構の動作を制御し、該一の検査条件データに含まれるパラメータを用いた画像処理に基づいて、検査対象物の検査結果を出力する。一の検査条件データから他の検査条件データへ切り替えるための切換指示を受け付け、検査条件データの切換指示を受け付けた場合、読み出された他の検査条件データに含まれるフォーカス位置データに基づいてフォーカス調整機構の動作を制御し、該他の検査条件データに含まれるフォーカス位置データが示すフォーカス位置に調整された撮像部によって取得された第2の画像データを受信し、該他の検査条件データに含まれるパラメータに基づいて、該第2の画像データを用いた画像処理を実行する。検査条件データの切換指示によりフォーカス位置データを含む複数の設定項目から構成される検査条件データを切り替えるだけでフォーカス調整をすることができるので、製造ラインを流れてくる検査対象物の種類を一定期間ごとに変えながらフォーカス調整を行う必要がなく、しかもフォーカス調整を比較的短い時間で行うことが可能となる。
また、第2発明に係る画像処理装置は、第1発明において、前記検査条件データを設定する処理を実行するか、前記検査対象物の良否を判定する処理を実行するかを切り替える切替手段を備えることを特徴とする。
第2発明では、検査条件データを設定する処理を実行するか、前記検査対象物の良否を判定する処理を実行するかを切り替えることができるので、事前にフォーカス位置データを記憶させておくことにより、検査を行う都度フォーカス調整を行う必要がなくなる。また、フォーカス位置データを他の画像処理センサにも容易に転用することが可能となる。
また、第3発明に係る画像処理装置は、第2発明において、前記検査条件データ設定手段は、前記検査条件データを設定する処理を実行するよう切り替えた場合、ユーザからの入力を受け付けてフォーカス位置データを設定し、前記制御部は、前記検査対象物の良否を判定する処理を実行するよう切り替えた場合、前記フォーカス位置が切換後の前記他の検査条件データに含まれるフォーカス位置データに対応する位置になるように、前記フォーカス調整機構の動作を制御することを特徴とする。
第3発明では、検査条件データを設定する処理を実行するよう切り替えた場合、ユーザからの入力を受け付けてフォーカス位置データを設定する。検査対象物の良否を判定する処理を実行するよう切り替えた場合、フォーカス位置が切換後の他の検査条件データに含まれるフォーカス位置データに対応する位置になるように、フォーカス調整機構の動作を制御する。これにより、フォーカス位置データを含む複数の設定項目から構成される検査条件データを設定するだけで、フォーカス位置が切換後の他の検査条件データに含まれるフォーカス位置データに対応する位置になるように調整することができるので、検査を行う都度フォーカス調整を行う必要がなく、フォーカス位置データを他の画像処理装置にも容易に転用することが可能となる。
また、第4発明に係る画像処理装置は、第1乃至第3発明のいずれか1つにおいて、前記検査条件切換指示受付手段で、前記検査条件データの切換指示を受け付けた場合、前記制御部は、前記フォーカス位置を変更しないよう制御することを特徴とする。
第4発明では、検査条件データの切換指示を受け付けた場合であっても、フォーカス位置を変更しないよう制御することで、焦点がずれていて少し画像がぼやけていても検査に支障がない検査対象物であるときには、余計なフォーカス調整を行う必要がなく、フォーカス調整機構の寿命を延伸させることが可能となる。
また、第5発明に係る画像処理装置は、第1乃至第4発明のいずれか1つにおいて、前記フォーカス調整機構は、モータ及び該モータの回転と連動するネジ機構とで構成してあることを特徴とする。
第5発明では、フォーカス調整機構は、モータ及び該モータの回転と連動するネジ機構とで構成してあるので、モータの回転を制御することにより、容易にフォーカス調整を行うことが可能となる。
また、第6発明に係る画像処理装置は、第5発明において、前記検査条件切換指示受付手段で、前記検査条件データの切換指示を受け付けた場合、前記制御部は、前記フォーカス位置を原点に戻し、受け付けた切換指示に応じて前記モータの回転を制御することを特徴とする。
第6発明では、検査条件データの切換指示を受け付けた場合、フォーカス位置を原点に戻し、受け付けた切換指示に応じてモータの回転を制御することにより、検査条件データを切り換える場合に、フォーカス位置特定のための画像処理を行う必要がなく、フォーカス調整機構を動作させるだけでフォーカス位置データに基づいてフォーカス位置を調整することができる。また、必ずフォーカス位置を原点に戻しているので、連続してフォーカス調整を行うことによる脱調を未然に回避することも可能となる。
また、第7発明に係る画像処理装置は、第6発明において、前記検査条件データは、原点を補正するための情報を含むことを特徴とする。
第7発明では、検査条件データは、原点を補正するための情報を含むので、より高い精度でフォーカス位置データに基づいてフォーカス位置を調整することができる。
また、第8発明に係る画像処理装置は、第1乃至第7発明のいずれか1つにおいて、検査対象物と比較する基準となる検査対象物の代表的画像をマスタ画像として記憶しておき、前記検査条件データは前記マスタ画像を表示しつつ設定することを特徴とする。
第8発明では、検査対象物と比較する基準となる検査対象物の代表的画像をマスタ画像として記憶しておき、検査条件データはマスタ画像を表示しつつ設定するので、ユーザが設定を視認しながら検査条件データを設定することが可能となる。
本発明では、検査条件データの切換指示によりフォーカス位置データを含む複数の設定項目から構成される検査条件データを切り換えるだけでフォーカス調整をすることができるので、製造ラインを流れてくる検査対象物の種類を一定期間ごとに変えながらフォーカス調整を行う必要がなく、しかもフォーカス調整を比較的短い時間で行うことが可能となる。
本発明の実施の形態に係る画像処理センサの構成を示す模式図である。 本発明の実施の形態に係る画像処理センサの撮像装置の構成を示す外形図である。 本発明の実施の形態に係る画像処理センサの撮像装置のハードウェア構成を示すブロック図である。 本発明の実施の形態に係る画像処理センサの撮像装置のカメラモジュールのフォーカス調整機構の構成を示す斜視図である。 本発明の実施の形態に係る画像処理センサの表示装置の構成を示す正面図である。 本発明の実施の形態に係る画像処理センサの表示装置のモード切り換え画面の例示図である。 本発明の実施の形態に係る画像処理センサの表示装置の設定画面の例示図である。 本発明の実施の形態に係る画像処理センサの表示装置のフォーカス調整画面の例示図である。 本発明の実施の形態に係る画像処理センサの表示装置のネジ有無の判定画面の例示図である。 位置補正ツール及び輪郭判別ツールの検査条件データの一覧を示す図表である。 本発明の実施の形態に係る画像処理センサの表示装置のドライバ種別の判定画面の例示図である。 色面積ツールの検査条件データの一覧を示す図表である。 本発明の実施の形態に係る画像処理センサの表示装置のネジ有無の検査画面の例示図である。 本発明の実施の形態に係る画像処理センサの表示装置のドライバ種別の判定画面の例示図である。
以下、本発明の実施の形態に係る画像処理装置について、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。以下、画像処理装置として画像処理センサを例に挙げて説明する。
図1は、本発明の実施の形態に係る画像処理センサの構成を示す模式図である。図1に示すように、本実施の形態に係る画像処理センサは、撮像装置1と、撮像装置1とデータ通信することが可能に接続ケーブル3で接続されている表示装置2とで構成されている。もちろん、表示装置2の代わりに、ディスプレイを有する外部コンピュータであっても良い。なお、撮像装置1と表示装置2とが一体として構成されていても良い。
撮像装置1は、内部に画像処理を実行するFPGA、DSP等を備えており、検査対象物を撮像する撮像素子を有するカメラモジュール(撮像部)と、検査対象物に対して光を照射する照明部とを備えている。撮像装置1をコンパクトにするべく、例えば図1に示すように、撮像装置1の正面の中央近傍にレンズ12を配置し、レンズ12の周囲を囲むように、照明部として複数のLED11を配置してある。なお、撮像装置1とは別に外部照明(リング照明等)を設けても良い。
図2は、本発明の実施の形態に係る画像処理センサの撮像装置1の構成を示す外形図である。図2(a)は、本発明の実施の形態に係る画像処理センサの撮像装置1の構成を示す正面図を、図2(b)は、本発明の実施の形態に係る画像処理センサの撮像装置1の構成を示す平面図を、図2(c)は、本発明の実施の形態に係る画像処理センサの撮像装置1の構成を示す背面図を、それぞれ示している。
図2(a)に示すように、撮像装置1はレンズ12を正面の中央近傍に配置しており、レンズ12の周囲を囲むように複数のLED11を配置してある。撮像時には、複数のLED11を点灯させることにより、検査対象物に光を照射し、検査対象物を明瞭に撮像することができる。
図2(b)及び図2(c)に示すように、撮像装置1の背面には、外部の電源から電力の供給を受ける電源ケーブルを接続する電源コネクタ102と、表示装置2とデータ通信する接続ケーブル3を接続することが可能な接続コネクタ103とを備えている。また、手動でフォーカスを調整することができるフォーカス調整ネジ101も背面に備えている。
図3は、本発明の実施の形態に係る画像処理センサの撮像装置1のハードウェア構成を示すブロック図である。図3において、コネクタ基板16は、電源インタフェース161に設けてある電源コネクタ102(図2(b)及び図2(c)参照)を介して、外部の電源から電力の供給を受ける。電源基板18は、供給された電力を各基板に供給する。本実施の形態では、カメラモジュール14にはメイン基板13を介して電力を供給している。電源基板18のモータドライバ181は、カメラモジュール14のモータ141に駆動電力を供給し、オートフォーカスを実現している。
通信基板17は、メイン基板13から出力された欠陥を検出したか否かで検査対象物の良否を示すOK/NG信号(判定信号)を表示装置2へ送信する。判定信号を受信した表示装置2は、判定結果を表示する。
照明基板(照明部)15は、検査対象物を撮像する撮像領域に光を照射する、照明基板15には複数のLED11が設けてあり、図示しないリフレクタはLED11の前方に設けてある。また、レンズ12は、短距離用又は長距離用のレンズユニットとして交換可能となっている。
カメラモジュール(撮像部)14は、モータ141が回転することにより、オートフォーカス動作の制御を行うフォーカス調整機構を備えており、メイン基板13からの撮像指示信号に応じて検査対象物を撮像する。本実施の形態では、撮像素子としてCMOS基板142を備えており、撮像されたカラー画像は、CMOS基板142にてダイナミックレンジを広げる変換特性に基づいてHDR画像へ変換され、メイン基板13のFPGA131へ出力される。
図4は、本発明の実施の形態に係る画像処理センサの撮像装置1のカメラモジュール14のフォーカス調整機構の構成を示す斜視図である。図4に示すように、カメラモジュール14のCMOS基板142にベースマウント143を取り付けてある。ベースマウント143には、レンズホルダ144のレンズ12を支持するレンズ支持体121の上下方向(矢印方向)の動きを検知する上下検知用センサと、レンズ支持体121を移動させる機構の一部であるモータ141の回転を検知する回転検知用センサとを備えている(図示せず)。
ベースマウント143には、レンズ支持体121とレンズ支持体121を移動させる機構とで構成されたレンズホルダ144を取り付けてある。図4に示すように、モータ141の回転軸(ネジ機構)141aに雄ネジが形成してあり、ナット(ネジ機構)141bに形成してある雌ネジと螺合することにより、モータ141の回転に応じてナット141bが矢印方向に直線移動する。ナット141bはレンズ支持体121を下方から押し上げるようになっており、レンズ支持体121は図示しない付勢部材により下方へ押し下げられている。したがって、ナット141bの矢印方向への往復運動をモータ141の回転により制御することで、ナット141bにより付勢部材の付勢力に抗してレンズ支持体121を上昇させたり、下降させたりすることができ、レンズ支持体121に設けてあるレンズ12と検査対象物との距離を調整することができる。
図3に戻って、メイン基板13は、接続してある各基板の動作を制御する。例えば照明基板15に対しては、複数のLED11の点灯/消灯を制御する制御信号を、LEDドライバ151へ送信する。LEDドライバ151は、FPGA131からの制御信号に応じて、例えばLED11の点灯/消灯、光量等を調整する。また、カメラモジュール14のモータ141に対しては、電源基板18のモータドライバ181を介してオートフォーカス動作を制御する制御信号を、CMOS基板142に対しては、撮像指示信号等を、それぞれ送信する。
メイン基板13のFPGA131は、照明制御、撮像制御をするとともに、取得した画像データに対する画像処理を実行する(画像処理部)。また、メイン基板13のDSP132は、画像データについて、エッジ検出処理、パターン検索処理等を実行する。パターン検索処理の結果として、欠陥を検出したか否かで検査対象物の良否を示すOK/NG信号(判定信号)を通信基板17へ出力する。演算処理結果等はメモリ133に記憶される。なお、本実施の形態では、FPGA131が照明制御、撮像制御等を行っているが、これらをDSP132が行うようにしても良い。また、FPGA131とDSP132とが一体となった回路、すなわち主制御回路(主制御部)を設けても良い。要するに、主制御部は、複数のLED11の点灯/消灯を制御する制御信号をLEDドライバ151へ送信したり、オートフォーカス動作を制御する制御信号を電源基板18のモータドライバ181を介してカメラモジュール14のモータ141へ送信したり、撮像指示信号等をCMOS基板142へ送信したり、FPGA131及びDSP132の双方の機能を有する。
図5は、本発明の実施の形態に係る画像処理センサの表示装置2の構成を示す正面図である。図5に示すように、表示装置2の前面の中央部分にはタッチパネル21が設けてあり、撮像された検査対象物のカラー画像を画面に表示するとともに、ユーザによる選択入力を受け付ける。
また、表示装置2は、外部の電源から電力が供給される電源ケーブルを接続する電源コネクタ24と、撮像装置1とデータ通信する接続ケーブル3を接続することが可能な接続コネクタ25とを備えている。さらにUSBメモリ等と接続することが可能なUSBポート22を前面に設けてある。
ユーザは、表示装置2のタッチパネル21の画面に表示されているボタンを選択することにより、画像処理センサの動作を制御する。そして、検査対象物の検査を実行する「検査モード」と、撮像装置1の条件設定を行う「設定モード」との切り換えを行うこともできる。言い換えると、本実施の形態に係る画像処理センサは、検査対象物の良否を判定する検査モード(Runモード)と、検査に用いる各種パラメータ(撮像パラメータ、照明パラメータ、画像処理パラメータ等)の設定を行う設定モード(非Runモード)とを切り替えるためのモード切替部を有している。図6は、本発明の実施の形態に係る画像処理センサの表示装置2のモード切り換え画面の例示図である。
図6(a)は、「検査モード」の画面表示の例示図である。図6(a)に示すように検査対象物表示領域61に、撮像装置1が撮像した検査対象物の画像を表示する。左下の「センサ設定」ボタン62が切換手段として機能し、「センサ設定」ボタン62が選択された場合、「設定モード」へと切り換わり、図6(b)に示す画面へと画面遷移する。
図6(b)は、「設定モード」の画面表示の例示図である。図6(b)に示すように、プログラム選択領域63にて、検査対象物の種類又は検査環境を選択する。ここで、「プログラム」とは、検査対象物の種類又は検査環境に応じて設定された一連のデータ群(パラメータ値の組み合わせ)を意味しており、検査対象物の種類又は検査環境ごとに異なるデータ群をプログラムとして記憶することができる。検査対象物を検査する条件に関する検査条件データには、フォーカス調整をする場合にフォーカスが合う位置を示すフォーカス位置データを含んでいる。
また、検査対象物と比較する基準となる検査対象物の代表的画像であるマスタ画像が記憶されている場合、マスタ画像表示領域64にマスタ画像が表示される。「設定ナビ」ボタン65が選択された場合、詳細な設定を行う設定画面に画面遷移する。図6(b)の「運転開始」ボタン66は切換手段として機能し、「運転開始」ボタン66が選択された場合、「検査モード」へと切り換わり、図6(a)に示す画面へと画面遷移する。
図7は、本発明の実施の形態に係る画像処理センサの表示装置2の設定画面の例示図である。図7に示す設定画面を通じて、ユーザは、撮像条件の設定(図7(a))、パターンサーチする基準となるマスタ画像の登録(図7(b))、マスタ画像に対して輪郭サーチ等のツール設定(図7(c)〜図7(e))、出力割当(図7(f))、という流れで順次設定を行う。以下、詳細に説明する。図6(b)に示す「設定ナビ」ボタン65が選択された場合、まず図7(a)に示す撮像条件設定画面が表示される。撮像条件設定画面では、マスタ画像が記憶されていない場合には現在撮像している検査対象物の画像が、マスタ画像が記憶されている場合にはマスタ画像が主表示領域71に表示され、画面下部に撮像条件を設定する設定ボタン群が表示されている。例えば「トリガ条件」ボタンが選択された場合には、撮像装置1が検査対象物を撮像するタイミングを特定するトリガ条件を設定することができる。詳細な設定画面は省略するが、それぞれのボタンが選択された場合、それぞれの設定条件に応じて図5に示すタッチパネル21上に表示される。「フォーカス自動調整」ボタン73が選択された場合については後述する。
また、より詳細な設定をするには、図7(a)の「拡張機能」ボタン72を選択すれば良い。「拡張機能」ボタン72が選択された場合、詳細な設定を行うためのボタンが別途表示される。このように撮像条件設定画面では、明るさの調整、フォーカスの調整、撮像範囲、照明のオン/オフ、ズームのオン/オフ等を設定することができる。フォーカスの調整については後述する。
図7(a)の「進む」と表示された「画面遷移」ボタン74が選択された場合、図7(b)に示すマスタ画像登録画面が表示される。登録されたマスタ画像上に、以後、検査用の様々なツールを設定する。1つのマスタ画像に対して複数のプログラムを記憶することができる。つまり、同じマスタ画像に対して異なるツールを設定し、異なるプログラムとして記憶しておくことができる。
マスタ画像は、現在撮像している検査対象物の画像を登録しても良いし、以前に撮像しておいた画像から選択して登録しても良い。現在撮像している画像を登録する場合、ユーザは「Live画像登録」ボタン75を選択すればよい。「Live画像登録」ボタン75が選択された時点で撮像されている画像がマスタ画像として登録される。
図7(b)の「進む」と表示された「画面遷移」ボタン76が選択された場合、図7(c)に示すマスタ画像ごとのツール設定画面が表示される。マスタ画像上に、以後、検査用の様々なツールを設定する。
ツール設定画面では、表示されているマスタ画像に、検査を実行するためのツールを追加設定する。図7(c)に示す「追加」ボタン77が選択された場合、図7(d)に示すツール選択画面が表示される。ツール選択画面で選択されたツールを追加設定する。例えば「輪郭サーチ」ボタン78が選択された場合、図7(e)に示す輪郭サーチ設定画面が表示される。輪郭サーチ設定画面で、マスタ画像のどの輪郭を撮像された検査対象物の画像と照合するのか設定しておくことにより、欠陥を検出したか否かで検査対象物の良否を判定することができる。以下、色面積、位置補正等の設定をすることができる。
図7(c)の「進む」と表示された「画面遷移」ボタン79が選択された場合、図7(f)に示す出力割当画面が表示される。出力割当画面では、検査の結果として画面に表示される出力線が何を意味するのか、設定ボタン群80を選択することで設定することができる。「完了」ボタン81が選択された場合、図6(b)に示す「設定モード」の画面表示に戻る。このように、ユーザは、図5に示す表示装置2のタッチパネル21上で、「進む」と表示された「画面遷移」ボタン74、76、79を順に選択することで、簡単かつ短時間に、検査に用いる各種パラメータを設定することができる。また、画像処理センサに慣れていないユーザであっても、表示装置2のタッチパネル21上で次の操作へ誘導されるので、各種パラメータを容易に設定することができる。
本実施の形態では、図6(b)に示す「設定モード」画面から、フォーカス調整を行う場合の検査条件データを設定して記憶する。図6(b)に示す「設定モード」画面から、「設定ナビ」ボタン65を選択し、図7(a)に示す撮像条件設定画面が表示される。そして、図7(a)の「フォーカス自動調整」ボタン73を選択することで、フォーカス調整を行う。
図8は、本発明の実施の形態に係る画像処理センサの表示装置2のフォーカス調整画面の例示図である。図8(a)では、主表示領域71に現在撮像している検査対象物の画像が表示されている。この状態で「フォーカス自動調整」ボタン73を選択することで、フォーカス調整を行う。
具体的には、「フォーカス自動調整」ボタン73を選択した時点で、FPGA131はカメラモジュール14のモータ141に制御信号を送信し、モータ141を回転させる。そして、検査対象物との距離が最も近い位置から最も遠い位置までレンズ12を移動させ、検査対象物を複数枚撮像することにより、図8(b)に示すようにフォーカスが合う位置をフォーカス位置として特定することができる。フォーカス位置として特定した位置を、例えば位置‘60’と設定する。そして、特定したフォーカス位置、フォーカス位置の明るさ、出力の設定等を含む検査条件データとして、FPGA131はプログラム単位でメモリ133に記憶する。
図9は、本発明の実施の形態に係る画像処理センサの表示装置2のネジ有無の判定画面の例示図である。図9の主表示領域71に現在撮像している検査対象物の画像が表示されている。図9の例では、位置補正ツールの検査領域91及び輪郭判別ツールの検査領域92が設定されている。
図10は、位置補正ツール及び輪郭判別ツールの検査条件データの一覧を示す図表である。図10に示すように、様々な設定項目について、設定例が対応付けて記憶されている。これら設定項目と設定例との組み合わせであるデータ群を一括して「プログラム01」として図3に示すメモリ133に記憶する。
なお、図10に示す複数の各種設定項目(設定パラメータ)のうち、トリガ関連の項目では、少なくとも内部トリガ又は外部トリガのいずれかを選択するためのパラメータ「トリガ方式」を必須設定項目とすることが好ましい。撮像関連の項目では、少なくとも画面の明るさを調整するためのパラメータ「明るさ」及びオートフォーカス位置を調整するためのパラメータ「AF調整位置」を必須設定項目とすることが好ましい。
また、ツール関連の項目では、少なくともどのような種別のツールで画像処理を行うかを決定するためのパラメータ「ツール種別」及び検査精度の基準となるパラメータ「閾値」(一致度)を必須設定項目とすることが好ましい。特に、検査対象物の良否を判定する処理を実行する場合には、「ツール種別」を必須設定項目とすることが好ましい。
このように、一の検査条件データの中には複数の設定項目が含まれており、これら複数の設定項目は、例えば外部出力に関する設定項目、少なくとも「トリガ方式」が含まれるトリガ条件に関する設定項目、少なくとも「明るさ」及び「AF調整位置」が含まれる撮像条件に関する設定項目、照明補正を行うか否かを決定するための照明補正に関する設定項目、マスタ画像の有無・特定に関する設定項目、及び少なくとも「ツール種別」が含まれる画像処理ツールに関する設定項目等で構成される。
図11は、本発明の実施の形態に係る画像処理センサの表示装置2のドライバ種別の判定画面の例示図である。図11の主表示領域71に現在撮像している検査対象物の画像として、ドライバの画像が表示されている。図11の例では、色面積ツールの検査領域93のみが設定されている。
図12は、色面積ツールの検査条件データの一覧を示す図表である。図12に示すように、図10とは異なる様々な設定項目について、設定例が対応付けて記憶されている。これら設定項目と設定例との組み合わせであるデータ群を一括して「プログラム02」として図3に示すメモリ133に記憶する。
検査条件データを切り換えるとは、プログラムごとに記憶してあるデータ群を切り換えることである。図13は、本発明の実施の形態に係る画像処理センサの表示装置2のネジ有無の検査画面の例示図である。図13に示すように、検査条件データとして「プログラム01」が選択された場合、図10に示す検査条件データが読み出され、主表示領域71に現在撮像している検査対象物の画像が表示されるとともに、検査条件データに基づく位置補正ツールの検査領域91及び輪郭判別ツールの検査領域92が表示されている。図13では、検査領域92にてネジが存在すると判定された結果を示す。ネジ部分の色を変えたり、ビープ音を鳴動させる等の方法でユーザに伝える工夫がなされている。
ここでプログラムを、「プログラム01」から「プログラム02」に切り換えた場合、プログラムごとに記憶してあるデータ群を、図12に示す「プログラム02」の検査条件データに切り換える。図14は、本発明の実施の形態に係る画像処理センサの表示装置2のドライバ種別の判定画面の例示図である。図14の例では、主表示領域71にドライバの画像が表示され、色面積ツールの検査領域93にて先端が黒いドライバであると判定されている。このように、プログラムを切り換えるだけで、検査条件データが入れ替わり、プログラムに含まれるツールに対応した検査領域が即座に設定される。
このように、検査条件データとして「プログラム01」又は「プログラム02」が選択されることで、フォーカス調整を自動で行うことができ、わざわざ手動で行う必要がなく、ユーザの手間は大きく軽減される。つまり、画像処理センサ(又は表示装置2)は、「プログラム01」、「プログラム02」のように、複数の異なる検査条件データが設定されてメモリ133に記憶されており、これら複数の異なる検査条件データの中から一の検査条件データをメモリ133から読み出すことによって、ユーザは一の検査条件データを選択する。
なお、プログラムを切り換えた場合であっても、フォーカス位置を変更しないようにすることができることが好ましい。焦点がずれていて少し画像がぼやけていても検査に支障がない検査対象物であるときには、余計なフォーカス調整を行う必要がなく、フォーカス調整機構の寿命を延伸させることができるからである。
また、プログラムを切り換える場合、フォーカス位置への移動は、プログラムを切り換える前のフォーカス位置とプログラムを切り換えた後のフォーカス位置との差分だけ移動すれば足りる。ただ、フォーカス調整を繰り返し行うことによる脱調を未然に回避するべく、プログラムの切り換え時に、フォーカス位置の原点を実際の検査対象物に合わせて補正した後、フォーカス位置を原点に戻し、プログラムで指定されているフォーカス位置へ移動させることが好ましい。
すなわち、プログラムの切換指示を受信したFPGA131は、まずフォーカス位置の原点の補正を行う。該補正には、実際の検査対象物の形状、寸法等の検査条件データに含まれる情報を用いる。補正が完了した時点で、フォーカス位置を原点へ移動するようモータドライバ181へ指示する。
そして、FPGA131は、プログラムを切り換えた後のプログラムに対応しているフォーカス位置へと移動するようモータドライバ181へ指示する。これにより、フォーカス位置特定のための画像処理を行う必要がなく、フォーカス調整機構を動作させるだけでフォーカス位置データに基づいてフォーカス位置を調整することができる。また、必ずフォーカス位置を原点に戻しているので、連続してフォーカス調整を行うことによる脱調を未然に回避することも可能となる。
以上のように本実施の形態によれば、検査条件データの切換指示によりフォーカス位置データを含む複数の設定項目から構成される検査条件データを切り換えるだけでフォーカス調整をすることができるので、製造ラインを流れてくる検査対象物の種類を一定期間ごとに変えながらフォーカス調整を行う必要がなく、しかもフォーカス調整を比較的短い時間で行うことが可能となる。
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば撮像装置1と表示装置2とは、接続ケーブル3で直結されている形態に限定されるものではなく、LAN、WAN等のネットワーク網を介して接続されていても良いことは言うまでもない。また、本実施例では撮像装置1と表示装置2とは別体となっているが、両者が一体になった画像処理装置であっても良い。
1 撮像装置
2 表示装置
3 接続ケーブル
13 メイン基板
14 カメラモジュール(撮像部)
21 タッチパネル
131 FPGA(制御部)
141 モータ
142 CMOS基板(撮像素子)

Claims (8)

  1. 検査対象物を含む撮像領域を撮像して第1の画像データを取得する撮像部と、
    検査対象物に対する前記撮像部のフォーカス位置を調整するフォーカス調整機構と、
    前記撮像部によって取得された第1の画像データを用いた画像処理を実行する画像処理部と、
    該画像処理部によって実行される画像処理に用いられるパラメータと、前記検査対象物の種類に応じたフォーカス位置を示すフォーカス位置データを含む複数の設定項目から構成され、前記検査対象物を検査する条件に関する検査条件データを、複数設定する検査条件データ設定手段と、
    該検査条件データ設定手段により設定された複数の検査条件データを記憶する記憶部と、
    該記憶部に記憶された複数の検査条件データから選択された一の検査条件データに含まれるフォーカス位置データに基づいてフォーカス調整機構の動作を制御し、該一の検査条件データに含まれる前記パラメータを用いた画像処理に基づいて、前記検査対象物の検査結果を出力する制御部と、
    前記一の検査条件データから他の検査条件データへ切り替えるための切換指示を受け付ける検査条件切換指示受付手段と
    を備え、
    該検査条件切換指示受付手段によって前記切換指示を受け付けた場合、前記制御部は、前記記憶部から読み出された前記他の検査条件データに含まれるフォーカス位置データに基づいて前記フォーカス調整機構の動作を制御し、前記画像処理部は、前記他の検査条件データに含まれるフォーカス位置データが示すフォーカス位置に調整された前記撮像部によって取得された第2の画像データを受信し、前記他の検査条件データに含まれるパラメータに基づいて、前記第2の画像データを用いた画像処理を実行することを特徴とする画像処理装置。
  2. 前記検査条件データを設定する処理を実行するか、前記検査対象物の良否を判定する処理を実行するかを切り替える切替手段を備えることを特徴とする請求項1に記載の画像処理装置。
  3. 前記検査条件データ設定手段は、前記検査条件データを設定する処理を実行するよう切り替えた場合、ユーザからの入力を受け付けてフォーカス位置データを設定し、
    前記制御部は、前記検査対象物の良否を判定する処理を実行するよう切り替えた場合、前記フォーカス位置が切換後の前記他の検査条件データに含まれるフォーカス位置データに対応する位置になるように、前記フォーカス調整機構の動作を制御することを特徴とする請求項2記載の画像処理装置。
  4. 前記検査条件切換指示受付手段で、前記検査条件データの切換指示を受け付けた場合、前記制御部は、前記フォーカス位置を変更しないよう制御することを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。
  5. 前記フォーカス調整機構は、モータ及び該モータの回転と連動するネジ機構とで構成してあることを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。
  6. 前記検査条件切換指示受付手段で、前記検査条件データの切換指示を受け付けた場合、前記制御部は、前記フォーカス位置を原点に戻し、受け付けた切換指示に応じて前記モータの回転を制御することを特徴とする請求項5に記載の画像処理装置。
  7. 前記検査条件データは、原点を補正するための情報を含むことを特徴とする請求項6に記載の画像処理装置。
  8. 検査対象物と比較する基準となる検査対象物の代表的画像をマスタ画像として記憶しておき、前記検査条件データは前記マスタ画像を表示しつつ設定することを特徴とする請求項1乃至7のいずれか一項に記載の画像処理装置。
JP2011254879A 2011-11-22 2011-11-22 画像処理装置 Active JP5818651B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011254879A JP5818651B2 (ja) 2011-11-22 2011-11-22 画像処理装置
US13/654,732 US9182356B2 (en) 2011-11-22 2012-10-18 Image processing apparatus
EP12192748.7A EP2597459B2 (en) 2011-11-22 2012-11-15 Image processing apparatus
CN201210479240.5A CN103139468B (zh) 2011-11-22 2012-11-22 图像处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011254879A JP5818651B2 (ja) 2011-11-22 2011-11-22 画像処理装置

Publications (2)

Publication Number Publication Date
JP2013108875A JP2013108875A (ja) 2013-06-06
JP5818651B2 true JP5818651B2 (ja) 2015-11-18

Family

ID=47500887

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011254879A Active JP5818651B2 (ja) 2011-11-22 2011-11-22 画像処理装置

Country Status (4)

Country Link
US (1) US9182356B2 (ja)
EP (1) EP2597459B2 (ja)
JP (1) JP5818651B2 (ja)
CN (1) CN103139468B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2509300A1 (en) * 2011-04-05 2012-10-10 American DJ Supply, Inc. Controllable LED video camera system
CN103716538B (zh) * 2013-12-16 2017-01-25 天津大学 一种基于dmd的成像前处理装置和方法
EP3255603B1 (en) 2015-02-05 2022-09-07 Ricoh Company, Limited Image processing device, image processing system, and image processing method
ITUA20162022A1 (it) 2016-03-25 2017-09-25 Datalogic IP Tech Srl Dispositivo di acquisizione di informazioni ottiche
JP2019158500A (ja) * 2018-03-12 2019-09-19 オムロン株式会社 外観検査システム、画像処理装置、撮像装置および検査方法
CN110596132A (zh) * 2018-05-25 2019-12-20 上海翌视信息技术有限公司 一种适用于工业图像检测的系统
JP2021140524A (ja) * 2020-03-06 2021-09-16 株式会社東芝 検査端末装置、検査装置、検査システム、及び、検査プログラム
US11281868B2 (en) * 2020-03-10 2022-03-22 Cognex Corporation Modular vision system and methods
US11665410B2 (en) 2020-03-10 2023-05-30 Cognex Corporation Modular vision systems and methods

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4556907A (en) 1983-04-15 1985-12-03 Asahi Kogaku Kogyo Kabushiki Kaisha Video camera operating device
US4618938A (en) * 1984-02-22 1986-10-21 Kla Instruments Corporation Method and apparatus for automatic wafer inspection
US5003400A (en) * 1987-08-19 1991-03-26 Hitachi, Ltd. Focusing apparatus of video camera or the like
JP4487330B2 (ja) * 1999-04-16 2010-06-23 フジノン株式会社 レンズ制御装置
JP3926947B2 (ja) * 1999-06-22 2007-06-06 富士フイルム株式会社 画像データ形成装置および画像データ処理方法
IL131282A (en) * 1999-08-05 2009-02-11 Orbotech Ltd Apparatus and methods for inspection of objects
JP3479006B2 (ja) * 1999-09-22 2003-12-15 富士重工業株式会社 車載カメラの検査方法ならびに装置
US6542180B1 (en) 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
JP4121849B2 (ja) 2002-12-26 2008-07-23 オリンパス株式会社 欠陥検査装置及び欠陥検査方法
DE10361150A1 (de) 2003-12-22 2005-07-21 Leica Microsystems Imaging Solutions Ltd. Mikroskopsystem und Verfahren zum Betreiben eines Mikroskopsystems
AT501370B1 (de) 2004-06-03 2007-03-15 X Pin Com Gmbh Vorrichtung zur biometrischen steuerung von anlagen
JP2006184019A (ja) 2004-12-24 2006-07-13 Saki Corp:Kk 外観検査装置
JP4735255B2 (ja) * 2005-12-29 2011-07-27 オムロン株式会社 画像処理装置および画像処理装置の動作条件設定方法
JP2008039743A (ja) * 2006-08-10 2008-02-21 Tokyo Seimitsu Co Ltd 外観検査装置及び外観検査方法
JP2008298569A (ja) * 2007-05-31 2008-12-11 Toray Ind Inc 中空糸口金検査装置および検査・判定方法
JP2009053485A (ja) 2007-08-28 2009-03-12 Omron Corp オートフォーカス装置、オートフォーカス方法および計測装置
JP4558047B2 (ja) 2008-01-23 2010-10-06 オリンパス株式会社 顕微鏡システム、画像生成方法、及びプログラム
JP5193112B2 (ja) * 2009-03-31 2013-05-08 東レエンジニアリング株式会社 半導体ウエーハ外観検査装置の検査条件データ生成方法及び検査システム
CN101776437B (zh) * 2009-09-30 2011-05-11 江南大学 带有光路调整的嵌入式机器视觉亚像素标定方法
JP5877693B2 (ja) 2011-11-18 2016-03-08 株式会社キーエンス 画像処理センサ、画像処理方法及びコンピュータプログラム

Also Published As

Publication number Publication date
US20130128028A1 (en) 2013-05-23
US9182356B2 (en) 2015-11-10
CN103139468A (zh) 2013-06-05
CN103139468B (zh) 2017-09-26
EP2597459B1 (en) 2020-01-01
EP2597459A1 (en) 2013-05-29
EP2597459B2 (en) 2023-08-09
JP2013108875A (ja) 2013-06-06

Similar Documents

Publication Publication Date Title
JP5818651B2 (ja) 画像処理装置
US8878977B2 (en) Image processing apparatus having a candidate focus position extracting portion and corresponding focus adjusting method
US9690089B2 (en) Magnifying observation apparatus, magnified image observing method and computer-readable recording medium
CN103105671B (zh) 放大观察装置
CN102628669B (zh) 尺寸测量设备、尺寸测量方法及用于尺寸测量设备的程序
JP5875812B2 (ja) 顕微鏡システムおよび照明強度調整方法
US9690088B2 (en) Magnifying observation apparatus, magnified image observing method and computer-readable recording medium
US9772480B2 (en) Image measurement device
US10746539B2 (en) Shape measuring device and shape measuring method
JP7010057B2 (ja) 画像処理システムおよび設定方法
US9122048B2 (en) Image processing apparatus and image processing program
JP6184345B2 (ja) 画像測定器
JP2013108798A (ja) 画像処理装置及び該画像処理装置で用いる判定閾値設定方法
US12013525B2 (en) Magnified observation apparatus
JP2019070751A (ja) 観察装置および焦点調節方法
JP6442627B2 (ja) 画像測定器
JP5826612B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP6928803B2 (ja) 撮像装置
JP6958444B2 (ja) コントローラおよび画像処理システム
JP2020086298A (ja) 拡大観察装置
US20220269061A1 (en) Magnified observation apparatus, magnified observation method, and non-transitory computer-readable storage medium or storage device
JP7222765B2 (ja) 画像測定装置
JP6236804B2 (ja) 撮像装置、及び輝度調整方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150929

R150 Certificate of patent or registration of utility model

Ref document number: 5818651

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250