JP6626057B2 - 検査装置及び検査システム - Google Patents

検査装置及び検査システム Download PDF

Info

Publication number
JP6626057B2
JP6626057B2 JP2017186914A JP2017186914A JP6626057B2 JP 6626057 B2 JP6626057 B2 JP 6626057B2 JP 2017186914 A JP2017186914 A JP 2017186914A JP 2017186914 A JP2017186914 A JP 2017186914A JP 6626057 B2 JP6626057 B2 JP 6626057B2
Authority
JP
Japan
Prior art keywords
inspection
imaging device
acquisition unit
information
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017186914A
Other languages
English (en)
Other versions
JP2019060780A (ja
Inventor
勇太 並木
勇太 並木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2017186914A priority Critical patent/JP6626057B2/ja
Priority to US16/103,131 priority patent/US10614565B2/en
Priority to DE102018214339.0A priority patent/DE102018214339A1/de
Priority to CN201811109374.1A priority patent/CN109557099B/zh
Publication of JP2019060780A publication Critical patent/JP2019060780A/ja
Application granted granted Critical
Publication of JP6626057B2 publication Critical patent/JP6626057B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1077—Beam delivery systems
    • A61N5/1081—Rotating beam systems with a specific mechanical construction, e.g. gantries
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

本発明は、撮像装置で撮像された検査対象物の画像に基づいて検査対象物の検査を行う検査装置及び検査システムに関する。
検査支援ロボットを用いて検査対象物と撮像装置との相対位置を自動で制御し、撮像装置で撮像された検査対象物の画像に基づいて検査対象物の検査（例えば、欠陥の有無）を自動で行う検査システムがある。このような検査システムを構築する際、検査対象物と撮像装置との位置関係及び使用する撮像装置の種類、検査対象物と照明装置との位置関係及び使用する照明装置の種類、検査支援ロボットの動作プログラム、及び検査プログラム等の設計値を設計する必要がある。特許文献１及び２には、このような検査システムにおいて検査システムを構築する手法が開示されている。
特許文献１及び２に記載の検査システムでは、検査対象物のＣＡＤデータに基づいて表示装置の画面上に仮想の検査対象物を表示し、検査者が、仮想の検査対象物の表示画像を撮像装置で撮像した検査画像と仮想して検査箇所を指定する。この検査箇所の指定に基づいて、撮像装置の位置が求められる。
特開２００５−５２９２６号公報 特開２００６−２６０２７１号公報
検査システムを構築する際、上述した設計値を検査対象物の種類ごとに設計するのは手間がかかるし、知識のない検査者にとっては難しい。
本発明は、検査システムを簡易かつ自動で構築する検査装置及び検査システムを提供することを目的とする。
（１） 本発明に係る検査装置（例えば、後述の検査装置１０，１０Ａ，１０Ｂ）は、検査用撮像装置（例えば、後述の検査用視覚センサ４）で撮像された検査対象物の画像に基づいて前記検査対象物の検査を行う検査装置であって、検査者が前記検査対象物の目視検査を行う際の、前記検査者の視線の起点、視線方向、及び注視範囲を含む視線情報を取得する視線情報取得部（例えば、後述の視線情報取得部１１）と、前記目視検査の際の、前記検査対象物の位置、姿勢、及び形状を含む対象物情報を取得する対象物情報取得部（例えば、後述の対象物情報取得部１６）と、前記視線情報と前記対象物情報との組のデータに基づいて、前記目視検査の際に前記検査者が注視した前記検査対象物の注視箇所を検査箇所として特定し、特定した前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像し、撮像した前記検査対象物の検査箇所の画像に基づいて前記検査対象物の検査を行うための検査実施プログラムを生成するプログラム生成部（例えば、後述のプログラム生成部２８）と、を備える。
（２） （１）に記載の検査装置において、前記プログラム生成部は、同一タイミングで取得された前記視線情報と前記対象物情報との複数の組のデータに基づいて、前記検査対象物の検査箇所を特定してもよい。
（３） （１）又は（２）に記載の検査装置において、前記検査実施プログラムは、前記検査対象物又は前記検査用撮像装置をアームに保持する検査支援ロボット（例えば、後述の検査支援ロボット５０）を用いるものであって、前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像するように、前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを含んでもよい。
（４） （１）から（３）のいずれかに記載の検査装置において、前記検査実施プログラムは、前記用撮像装置を用いて撮像した前記検査対象物の検査箇所の画像に基づいて前記検査対象物の検査を行うための検査プログラムを含んでもよい。
（５） （３）に記載の検査装置は、前記検査用撮像装置の種類、配置位置及び姿勢、並びに前記検査用撮像装置のレンズの種類のうちの少なくとも１つを環境情報として取得する環境情報取得部（例えば、後述の環境情報取得部２２）を更に備え、前記プログラム生成部は、前記環境情報に基づいて前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを生成してもよい。
（６） （３）又は（５）に記載の検査装置は、前記検査対象物を照らす照明装置の種類、配置位置及び姿勢のうちの少なくとも１つを環境情報として取得する環境情報取得部（例えば、後述の環境情報取得部２２）を更に備え、前記プログラム生成部は、前記環境情報に基づいて前記検査対象物、前記検査用撮像装置及び前記照明装置の相対位置を制御する前記検査支援ロボットの動作プログラムを生成してもよい。
（７） （３）に記載の検査装置は、前記検査用撮像装置で撮像された前記検査対象物の検査箇所の画像を取得する画像取得部（例えば、後述の画像取得部１７）と、前記画像取得部で取得された画像に付与するラベルであって、前記目視検査の際の前記検査対象物の検査箇所の検査結果を示すラベルを取得する検査用ラベル取得部（例えば、後述の検査用ラベル取得部３２）と、前記画像取得部で取得された画像を入力データとし、前記検査用ラベル取得部で取得されたラベルを教師データとして、学習モデルを学習する検査用機械学習部（例えば、後述の検査用機械学習部３４）と、を更に備え、前記検査用機械学習部は、学習した学習モデルに従って、前記画像取得部で取得された画像に基づいて前記検査対象物の検査を行ってもよい。
（８） （１）から（３）のいずれかに記載の検査装置は、前記目視検査の際の環境に関する環境情報を取得する環境情報取得部（例えば、後述の環境情報取得部２２）と、前記目視検査を前記検査用撮像装置を用いて自動化するための検査システムの設計値をラベルとして取得する構築用ラベル取得部（例えば、後述の構築用ラベル取得部）と、前記視線情報取得部で取得された視線情報と、前記対象物情報取得部で取得された対象物情報と、前記環境情報取得部で取得された環境情報とを入力データとし、前記構築用ラベル取得部で取得されたラベルを教師データとして、学習モデルを学習する構築用機械学習部（例えば、後述の構築用機械学習部２６）と、を更に備え、前記構築用機械学習部は、学習した学習モデルに従って、前記目視検査の際の、前記視線情報取得部で取得された視線情報、前記対象物情報取得部で取得された対象物情報、及び前記環境情報取得部で取得された環境情報に基づいて検査システムの設計値を出力してもよい。
（９） （８）に記載の検査装置において、前記検査実施プログラムは、前記検査対象物又は前記検査用撮像装置をアームに保持する検査支援ロボットを用いるものであって、前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像するように、前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを含み、前記プログラム生成部は、前記構築用機械学習部を含み、前記視線情報と前記対象物情報との組のデータに基づいて、前記目視検査の際に前記検査者が注視した前記検査対象物の注視箇所を検査箇所として特定し、前記構築用機械学習部で学習した学習モデルに基づいて、特定した前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像するように、前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを生成してもよい。
（１０） （９）に記載の検査装置において、前記環境情報は、前記検査対象物を照らす照明装置の種類、配置位置及び姿勢のうちの少なくとも１つを含み、前記プログラム生成部は、前記検査対象物、前記検査用撮像装置及び前記照明装置の相対位置を制御する前記検査支援ロボットの動作プログラムを生成してもよい。
（１１） （９）又は（１０）に記載の検査装置において、前記検査システムの設計値は、前記検査用撮像装置の種類、配置位置及び姿勢、前記検査用撮像装置の光学レンズの種類、前記検査対象物を照らす照明装置の種類、配置位置及び姿勢、前記検査支援ロボットの動作プログラム、及び検査プログラムのうちの少なくとも１つを含み、前記プログラム生成部は、前記検査対象物、前記検査用撮像装置及び前記照明装置の相対位置を制御する前記検査支援ロボットの動作プログラムを生成してもよい。
（１２） （１１）に記載の検査装置において、前記検査システムの設計値に含まれる動作プログラムは、前記プログラム生成部で生成された動作プログラムが修正された修正動作プログラムであってもよい。
（１３） （９）から（１２）のいずれかに記載の検査装置は、前記構築用機械学習部から出力された検査システムの設計値における環境に関する環境情報を出力する環境情報出力部（例えば、後述の環境情報出力部３０）を更に備え、前記環境情報は、前記検査用撮像装置の種類、配置位置及び姿勢、並びに前記検査用撮像装置のレンズの種類のうちの少なくとも１つを含んでもよい。
（１４） （９）から（１３）のいずれかに記載の検査装置は、前記構築用機械学習部から出力された検査システムの設計値における環境に関する環境情報を出力する環境情報出力部（例えば、後述の環境情報出力部３０）を更に備え、前記環境情報は、前記検査対象物を照らす照明装置の種類、配置位置及び姿勢のうちの少なくとも１つを含んでもよい。
（１５） 本発明に係る検査システム（例えば、後述の検査システム１Ａ，１Ｂ）は、（１）から（１４）のいずれかに記載の検査装置と、検査対象物を撮像する検査用撮像装置（例えば、後述の検査用視覚センサ４）と、検査者が前記検査対象物の目視検査を行う際に、前記検査者の視線情報のために前記検査者を撮像する視線用撮像装置（例えば、後述の視線用視覚センサ５）と、前記目視検査の際に、前記検査対象物の対象物情報のために前記検査対象物を撮像する対象物用撮像装置（例えば、後述の対象物用撮像装置４Ａ）と、前記検査対象物又は前記検査用撮像装置を保持し、前記検査対象物と前記検査用撮像装置との相対位置を制御する検査支援ロボット（例えば、後述の検査支援ロボット５０）と、前記検査装置で生成される検査実施プログラムにおける前記検査支援ロボットの動作プログラムに従って前記検査支援ロボットを制御するロボット制御装置（例えば、後述のロボット制御装置）と、前記検査対象物を照らす照明装置（例えば、後述の照明装置６）と、を備える。
本発明によれば、検査システムを簡易かつ自動で構築する検査装置及び検査システムを提供することができる。
本実施形態に係る検査システムの構成を示す図である。 本実施形態に係る他の検査システムの構成を示す図である。 第１実施形態に係る検査装置の構成を示す図である。 目視検査を説明するための模式図である。 検査対象物の注視範囲を示す模式図である。 第１実施形態に係る検査装置による検査システム構築のための機械学習動作を示すフローチャートである。 第１実施形態に係る検査装置による検査システムの構築動作を示すフローチャートである。 第１実施形態に係る検査装置による検査のための機械学習動作を示すフローチャートである。 第１実施形態に係る検査装置による検査動作を示すフローチャートである。 目視検査の際の検査者と、検査対象物と、照明装置との位置関係の一例を示す図である。 目視検査の際の検査者と、検査対象物と、照明装置との位置関係の他の例を示す図である。 第２実施形態に係る検査装置の構成を示す図である。 第２実施形態に係る検査装置による検査システムの構築動作を示すフローチャートである。 目視検査を説明するための模式図である。
以下、添付の図面を参照して本発明の実施形態の一例について説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。
図１Ａは、本実施形態に係る検査システムの構成を示す図であり、図１Ｂは、本実施形態に係る他の検査システムの構成を示す図である。これらの検査システム１Ａ，１Ｂは、例えば、検査用視覚センサ４で撮像された検査対象物２の画像に基づいて、検査対象物２の欠陥（例えば、表面の傷又は異物付着）の有無を検査するシステムである。
図１Ａに示す検査システム１Ａは、検査用視覚センサ４と、照明装置６と、検査装置１０と、検査支援ロボット５０と、ロボット制御装置６０とを備える。
検査用視覚センサ４は、検査対象物２を撮像し、撮像した検査対象物２の画像を検査装置１０に提供する。検査用視覚センサ４は、内蔵する光学レンズの種類を交換可能になっている。照明装置６は、検査対象物２を照らす。
検査支援ロボット５０は、アーム５２におけるハンドで検査対象物２を把持する。ロボット制御装置６０は、検査支援ロボットの動作プログラムを実行し、検査支援ロボット５０を制御して、検査対象物２の位置、姿勢を制御する。
このように、検査システム１Ａでは、検査用視覚センサ４の位置、姿勢、及び照明装置６の位置を固定とし、検査対象物２の位置、姿勢を制御することにより、検査対象物２、検査用視覚センサ４、及び照明装置６の相対位置を制御する。
検査装置１０は、検査プログラムを実行し、検査用視覚センサ４で撮像された検査対象物２の画像に基づいて、検査対象物２の欠陥の有無を検査し、その検査結果を外部に出力する。
本実施形態では、検査支援ロボットの動作プログラムと検査装置の検査プログラムによって、検査実施プログラムを構成する。
一方、図１Ｂに示す検査システム１Ｂは、図１Ａに示す検査システム１Ａにおいて、検査支援ロボット５０が検査対象物２に代えて検査用視覚センサ４及び照明装置６を保持する点で検査システム１Ａと異なる。
検査支援ロボット５０は、アーム５２の先端に検査用視覚センサ４及び照明装置６を保持する。ロボット制御装置６０は、検査支援ロボットの動作プログラムを実行し、検査支援ロボット５０を制御して、検査用視覚センサ４の位置、姿勢、及び照明装置６の位置を制御する。
このように、検査システム１Ｂでは、検査対象物２の位置、姿勢を固定とし、検査用視覚センサ４の位置、姿勢、及び照明装置６の位置を制御することにより、検査対象物２、検査用視覚センサ４、及び照明装置６の相対位置を制御する。
以下、検査装置１０について詳細に説明する。
図２は、第１実施形態の検査装置の構成を示す図である。図２に示す検査装置１０Ａは、図１Ａの検査システム１Ａ及び図１Ｂの検査システム１Ｂにおける検査装置１０に対応する。
検査装置１０Ａは、検査者３が検査対象物２の欠陥の検査を目視で行う目視検査を、視線用視覚センサ５を用いて自動化するための検査システムの構築を自動で行う。具体的には、検査装置１０Ａは、図３に示すように、検査者３が検査対象物２の欠陥の目視検査を行う際に、視線用視覚センサ５で撮像された検査者３の目付近の画像、及び、対象物用視覚センサ４Ａで撮像された検査対象物２の画像を用いて、検査システムの構築を自動で行う。
対象物用視覚センサ４Ａは、検査対象物２を撮像し、撮像した検査対象物２の画像を検査装置１０Ａに提供する。
なお、本実施形態では、検査用視覚センサ４が対象物用視覚センサ４Ａを兼用する形態を例示するが、対象物用視覚センサ４Ａは検査用視覚センサ４と別の視覚センサであってもよい。
視線用視覚センサ５は、検査者３の目付近を撮像し、撮像した検査者３の目付近の画像を検査装置１０Ａに提供する。
なお、本実施形態では、検査者３の目付近と検査対象物２とを２つの視覚センサでそれぞれ撮像したが、検査者３の目付近と検査対象物２とを１つの視覚センサで撮像してもよい。
また、検査装置１０Ａは、検査システムの構築後、検査用視覚センサ４で撮像された検査対象物２の画像に基づいて、検査対象物２の欠陥の検査を自動で行う。
検査装置１０Ａは、視線情報取得部１１と、対象物情報取得部１６と、環境情報取得部２２と、構築用ラベル取得部２４と、構築用機械学習部２６を含むプログラム生成部２８と、環境情報出力部３０と、検査用ラベル取得部３２と、検査用機械学習部３４と、記憶部４０とを備える。
視線情報取得部１１は、画像取得部１２と画像処理部１３とを有する。画像取得部１２は、例えば通信インタフェースであり、視線用視覚センサ５で撮像された画像を受信する。画像処理部１３は、受信した画像を画像処理して、図３に示すように、検査者３の眼球の位置を視線の起点として求めると共に、検査者３の視線方向を求める。
また、視線情報取得部１１における画像取得部（通信インタフェース）１２は、図４に示すように、目視検査の際の検査対象物２の注視範囲であって、検査者により予め入力される注視範囲（固定値）を受信する。なお、視線情報取得部１１は、視線の起点と検査対象物２との距離に応じて注視範囲の大きさを変更してもよい。
これにより、視線情報取得部１１は、検査者３が検査対象物２の欠陥の目視検査を行う際の、検査者３の視線の起点、視線方向、及び注視範囲（固定値）を含む視線情報を取得する。
対象物情報取得部１６は、画像取得部１７と画像処理部１８とを有する。画像取得部１７は、例えば通信インタフェースであり、対象物用視覚センサ４Ａで撮像された画像を受信する。画像処理部１８は、受信した画像を画像処理して、検査対象物２の位置、姿勢、及び形状を求める。なお、対象物情報取得部１６は、ＣＡＤ情報を受信し、ＣＡＤ情報に基づいて検査対象物２の形状を求めてもよい。また、検査対象物２の位置が固定であれば、対象物情報取得部１６における画像取得部（通信インタフェース）１７は、検査者により予め入力される検査対象物２の位置、姿勢（固定値）を受信してもよい。
これにより、対象物情報取得部１６は、検査者が検査対象物２の目視検査を行う際の、検査対象物２の位置、姿勢、及び形状を含む対象物情報を取得する。
視線情報取得部１１及び対象物情報取得部１６は、視線用視覚センサ５及び対象物用視覚センサ４Ａで同一のタイミングに撮像された画像から視線情報及び対象物情報を取得する。本実施例では、視線情報及び対象物情報を取得するタイミングは、検査者３が与えるものとする。例えば、検査者３が所定の操作ボタンを押したタイミングでもよいし、検査者３が目を数秒つむるなどの予め定められたジェスチャーをしたときでもよい。
視線情報取得部１１、対象物情報取得部１６、及び後述する環境情報取得部２２で取得される位置姿勢は同じ座標系上で表現されるものとする。そのためには、視線用視覚センサ１１、対象物視覚センサ１６の相対位置関係は既知である必要がある。
環境情報取得部２２は、目視検査の際の環境に関する環境情報として、照明装置６の種類、配置位置及び姿勢を取得する。環境情報は、例えば検査者により入力されてもよいし、検査システムの設計時の情報（例えば、後述する検査システムの設計値）から取得してもよい。
構築用ラベル取得部２４は、目視検査を、検査用視覚センサ４を用いて自動化するための検査システムの設計値をラベルとして取得する。検査システムの設計値は、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、照明装置６の種類、配置位置及び姿勢、検査支援ロボットの動作プログラム、及び検査装置の検査プログラムを含む。
同一タイミングで取得された視線情報と、対象物情報と、環境情報と、ラベルとの複数の組のデータは、学習データとして記憶部４０に一旦記憶される。
構築用機械学習部２６は、機械学習時、記憶部４０に一旦記憶されている視線情報と、対象物情報と、環境情報と、ラベルとの複数の組の学習データに基づいて、学習モデル（状態モデル）を学習する。換言すれば、構築用機械学習部２６は、視線情報および対象物情報（または注視箇所）と、環境情報とを入力データとし、ラベルを教師データとして、学習モデルを学習する。視線情報と対象物情報の代わりに注視箇所を入力データとしてもよい。注視箇所は次のように求められる。同一タイミングで取得された視線情報と対象物情報に基づいて、目視検査の際に検査者が注視した検査対象物２の注視箇所を検査箇所として特定する。注視点は検査者３の視線と検査対象物２の表面が交差する点として求めることができる。更に注視点の周りに注視範囲を設ければ、それが注視箇所となる。
また、構築用機械学習部２６は、検査システム構築時、学習した学習モデルに従って、目視検査の際の、視線情報取得部１１で取得された視線情報、対象物情報取得部１６で取得された対象物情報、及び環境情報取得部２２で取得された環境情報に基づいて、検査システムの設計値を出力する。
構築用機械学習部２６は、例えば多層ニューラルネットワークを含むニューラルネットワークにより構築された学習モデルに従って機械学習が行われる。入力層、出力層、そして中間層を含むニューラルネットワークにより構築された学習モデルは適宜の方式を用いることができる。例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｗｒａｌ Ｎｅｔｗｏｒｋ）を適用することもできる。
更に、構築用機械学習部２６は、機械学習時、検査支援ロボットの動作プログラムをラベルとして加え学習することができる。そのようにした場合、プログラム生成部２８は、構築用機械学習部２６で新たに取得した視線情報および対象物情報（または注視箇所）と、環境情報とを入力データとして学習した学習モデルで推論を行い、検査支援ロボットの動作プログラムを出力できる。出力された検査支援ロボットの動作プログラムは、出力された検査システムの設計値に基づき構築される検査システムで使用することできる。
また、構築用機械学習部２６は、機械学習時、検査装置の検査プログラムをラベルとして加え学習することができる。そのようにした場合、プログラム生成部２８は、構築用機械学習部２６で新たに取得した視線情報および対象物情報（または注視箇所）と、環境情報とを入力データとして学習した学習モデルで推論を行い、検査装置の検査プログラムを出力できる。出力された検査装置の検査プログラムは、出力された検査システムの設計値に基づき構築される検査システムで使用することできる。
環境情報出力部３０は、構築用機械学習部２６から出力された検査システムの設計値における環境情報として、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、及び照明装置６の種類、配置位置及び姿勢に関する情報を出力する。これにより、検査システムを構築する人は、検査用視覚センサ４、検査用視覚センサ４内の適切な光学レンズ、及び照明装置６を準備することができる。
検査用ラベル取得部３２は、画像取得部１７で取得された検査対象物２の検査箇所の画像に付与するラベルであって、検査者による目視検査の際に検査対象物２の検査箇所の欠陥の有無の検査結果（例えば、ＯＫ（欠陥無）又はＮＧ（欠陥有））を示すラベルを取得する。検査結果は、視線情報の取得と同じタイミングで付与してもよいし、全て視線情報を取得したあとで、検査箇所の画像を見ながら付与してもよい。
同一タイミングで取得された検査対象物２の検査箇所の画像と、ラベルとの複数の組のデータは、学習データとして記憶部４０に一旦記憶される。
検査用機械学習部３４は、機械学習時、記憶部４０に一旦記憶されている検査対象物２の検査箇所の画像とラベルとの複数の組の学習データに基づいて、学習モデル（状態モデル）を学習する。換言すれば、検査用機械学習部３４は、画像取得部１７で取得された検査対象物２の検査箇所の画像を入力データとし、検査用ラベル取得部３２で取得されたラベルを教師データとして、学習モデルを学習する。学習モデルは、例えば検査プログラムに含まれる。
また、検査用機械学習部３４は、検査時、学習した学習モデルに従って、画像取得部１７で取得された画像に基づいて、検査対象物２の検査箇所の欠陥の有無の検査結果を出力する。
記憶部４０は、構築用機械学習部２６の学習のための学習データ、及び検査用機械学習部３４の学習のための学習データを記憶する。記憶部４０は、例えばＥＥＰＲＯＭ等の書き換え可能なメモリである。
上述した検査装置１０Ａ（及び、後述する検査装置１０Ｂ）における視線情報取得部１１の画像処理部１３、対象物情報取得部１６の画像処理部１８、環境情報取得部２２、構築用ラベル取得部２４、構築用機械学習部２６、プログラム生成部２８、環境情報出力部３０、検査用ラベル取得部３２、及び検査用機械学習部３４は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の演算プロセッサで構成される。検査装置１０Ａ（及び、後述する検査装置１０Ｂ）の各種機能は、例えば記憶部に格納された所定のソフトウェア（プログラム、アプリケーション）を実行することで実現される。検査装置１０Ａ（及び、後述する検査装置１０Ｂ）の各種機能は、ハードウェアとソフトウェアとの協働で実現されてもよいし、ハードウェア（電子回路）のみで実現されてもよい。
次に、図３〜図５を参照して、本実施形態の検査装置１０Ａによる検査システム構築のための機械学習動作について説明する。図５は、本実施形態の検査装置１０Ａによる検査システム構築のための機械学習動作を示すフローチャートである。
まず、図３に示すように、検査者３が検査対象物２の目視検査を行う際に、視線用視覚センサ５で検査者３の目付近を撮像すると共に、対象物用視覚センサ４Ａで検査対象物２を撮像する。検査対象物２は、固定されていてもよいし、検査者３により把持されていてもよい。
このとき、検査者は、目視検査の際の環境情報として、照明装置６の種類、配置位置及び姿勢を、検査装置１０Ａに入力する。
また、検査者は、目視検査を検査用視覚センサ４を用いて自動化するための検査システムの設計値として、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、照明装置６の種類、配置位置及び姿勢、検査支援ロボットの動作プログラム、及び検査装置の検査プログラムを、検査装置１０Ａに入力する。
なお、検査者は、図４に示すように、目視検査の際の検査対象物２の注視範囲（固定値）を予め入力する。
視線情報取得部１１は、視線用視覚センサ５で撮像された検査者の目付近の画像を受信し、受信した画像を画像処理して、検査者３の視線の起点、視線方向を求める。また、視線情報取得部１１は、検査者により予め入力される注視範囲（固定値）を受信する。これにより、視線情報取得部１１は、目視検査の際の、検査者３の視線の起点、視線方向、及び注視範囲（固定値）を含む視線情報を取得する（Ｓ１）。
このとき、対象物情報取得部１６は、対象物用視覚センサ４Ａで撮像された検査対象物２の画像を受信し、受信した画像を画像処理して、検査対象物２の位置、姿勢、及び形状を含む対象物情報を求める。これにより、対象物情報取得部１６は、目視検査の際の、検査対象物２の位置、姿勢、及び形状を含む対象物情報を取得する（Ｓ２）。
視線情報取得部１１及び対象物情報取得部１６は、視線用視覚センサ５及び対象物用視覚センサ４Ａで同一のタイミングに撮像された画像から視線情報及び対象物情報を取得する。
また、環境情報取得部２２は、検査者により入力された照明装置６の種類、配置位置及び姿勢（環境情報）を取得する（Ｓ３）。
また、構築用ラベル取得部２４は、検査者により入力された検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、照明装置６の種類、配置位置及び姿勢、検査支援ロボットの動作プログラム、及び検査装置の検査プログラム（検査システムの設計値）をラベルとして取得する（Ｓ４）。
同一タイミングで取得された視線情報と、対象物情報と、環境情報と、ラベルとの複数の組のデータは、学習データとして記憶部４０に一旦記憶される。
次に、構築用機械学習部２６は、記憶部４０に一旦記憶されている視線情報と、対象物情報と、環境情報と、ラベルとの複数の組の学習データに基づいて、学習モデル（状態モデル）を学習する。換言すれば、構築用機械学習部２６は、視線情報と、対象物情報と、環境情報とを入力データとし、ラベルを教師データとして、学習モデルを学習する（Ｓ５）。
目視検査の際の検査対象物２の検査箇所が複数ある場合、検査箇所ごとに上述した動作が行われる。
なお、構築用ラベル取得部２４がラベルとして取得する検査システムの設計値における検査支援ロボットの動作プログラムは、後述する検査システム構築時にプログラム生成部２８で生成された検査支援ロボットの動作プログラムが検査者により修正された修正動作プログラムであってもよい。すなわち、図５の検査システム構築のための機械学習動作と、後述する図６の検査システムの構築動作とを行って生成された検査支援ロボットの動作プログラムを修正し、再度、図５の検査システム構築のための機械学習動作と図６の検査システムの構築動作とを行って、より適切な検査支援ロボットの動作プログラムを生成してもよい。
次に、図３、図４及び図６を参照して、本実施形態の検査装置１０Ａによる検査システムの構築動作について説明する。図６は、本実施形態の検査装置１０Ａによる検査システムの構築動作を示すフローチャートである。
上述した検査システム構築のための機械学習終了後、図３に示すように、新たに検査者３が検査対象物２の目視検査を行う際に、視線用視覚センサ５で検査者３の目付近を撮像すると共に、対象物用視覚センサ４Ａで検査対象物２を撮像する。
このとき、検査者は、目視検査の際の環境情報として、照明装置６の種類、配置位置及び姿勢を、検査装置１０Ａに入力する。
なお、検査者は、図４に示すように、目視検査の際の検査対象物２の注視範囲（固定値）を予め入力する。
視線情報取得部１１は、視線用視覚センサ５で撮像された検査者の目付近の画像を受信し、受信した画像を画像処理して、検査者３の視線の起点、視線方向を求める。また、視線情報取得部１１は、検査者により予め入力される注視範囲（固定値）を受信する。これにより、視線情報取得部１１は、目視検査の際の、検査者３の視線の起点、視線方向、及び注視範囲（固定値）を含む視線情報を取得する（Ｓ１１）。
このとき、対象物情報取得部１６は、対象物用視覚センサ４Ａで撮像された検査対象物２の画像を受信し、受信した画像を画像処理して、検査対象物２の位置、姿勢、及び形状を含む対象物情報を求める。これにより、対象物情報取得部１６は、目視検査の際の、検査対象物２の位置、姿勢、及び形状を含む対象物情報を取得する（Ｓ１２）。
また、環境情報取得部２２は、検査者により入力された照明装置の種類、配置位置及び姿勢（環境情報）を取得する（Ｓ１３）。
次に、構築用機械学習部２６は、学習した学習モデルに従って、視線情報取得部１１で取得された視線情報、対象物情報取得部１６で取得された対象物情報、及び環境情報取得部２２で取得された環境情報に基づいて、検査システムの設計値を出力する。換言すれば、構築用機械学習部２６は、検査システムの設計値として、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、照明装置６の種類、配置位置及び姿勢、検査支援ロボットの動作プログラム、及び検査装置の検査プログラムを出力する（Ｓ１４）。
次に、構築用機械学習部２６（プログラム生成部２８）は、同一タイミングで取得された視線情報と対象物情報に基づいて、目視検査の際に検査者が注視した検査対象物２の注視箇所を検査箇所として特定する。（Ｓ１５）。
次に、プログラム生成部２８は、構築用機械学習部２６で学習した学習モデルで推論を行い、検査支援ロボットの動作プログラムを生成する。具体的には、プログラム生成部２８は、特定した検査対象物２の検査箇所を検査用視覚センサ４を用いて適切な視野及び距離で撮像するように、検査対象物２、検査用視覚センサ４、及び照明装置６の相対位置を制御する検査支援ロボットの動作プログラムを生成する（Ｓ１６）。検査対象物２と検査用視覚センサ４との相対位置は、検査対象物２が適切な大きさで撮像されるように制御されてもよいし、検査対象物２が一定の大きさで撮像されるように制御されてもよい。
また、プログラム生成部２８は、構築用機械学習部２６で学習した学習モデルで推論を行い、検査装置の検査プログラムを生成する。具体的には、プログラム生成部２８は、撮像した検査対象物２の検査箇所の画像に基づいて検査対象物２の検査を行うための検査プログラムを生成する（Ｓ１７）。
検査対象物２の検査箇所が複数ある場合、プログラム生成部２８は、全ての検査箇所を順に検査するように、検査支援ロボットの動作プログラム、及び検査プログラムを生成する。検査の順序は、検査者が目視検査した順序であってもよいし、或いは何らかの指標が良くなる（例えば、検査支援ロボットの移動距離が最小になる）順序であってもよい。
このとき、環境情報出力部３０は、構築用機械学習部２６で出力された検査システムの設定値における環境情報として、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、及び照明装置６の種類、配置位置及び姿勢に関する情報を出力する（Ｓ１８）。これにより、検査者は、検査用視覚センサ４、検査用視覚センサ４内の光学レンズ、及び照明装置６を準備することができる。
次に、図７を参照して、本実施形態の検査装置１０Ａによる検査のための機械学習動作について説明する。図７は、本実施形態の検査装置１０Ａによる検査のための機械学習動作を示すフローチャートである。
検査システムの構築後、環境情報出力部３０で出力された検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、及び照明装置６の種類、配置位置及び姿勢に基づいて、検査者が検査用視覚センサ４、検査用視覚センサ４内の光学レンズ、及び照明装置６を準備及び設置する。
ロボット制御装置６０は、プログラム生成部２８で生成された検査支援ロボットの動作プログラムを実行することにより検査支援ロボット５０を駆動制御し、検査対象物２、検査用視覚センサ４、及び照明装置６の相対位置を制御する。
検査用視覚センサ４は、検査対象物２の検査箇所を撮像する。
また、検査者は、目視検査の際に検査対象物２の検査箇所の欠陥の有無の検査結果（例えば、ＯＫ（欠陥無）又はＮＧ（欠陥有））を検査装置１０Ａに入力する。
画像取得部１７は、検査用視覚センサ４で撮像された検査対象物２の検査箇所の画像を取得する（Ｓ２１）。
また、検査用ラベル取得部３２は、画像取得部１７で取得された検査対象物２の検査箇所の画像に付与するラベルであって、検査者により入力された目視検査の際の検査対象物の検査箇所の欠陥の有無の検査結果（ＯＫ、ＮＧ）を示すラベルを取得する（Ｓ２２）。
検査用ラベル取得部３２が検査対象物２の検査箇所のラベルを取得するタイミングで、画像取得部１７が検査対象物２のその検査箇所の画像を取得してもよい。或いは、検査用ラベル取得部３２が検査対象物２の全ての検査箇所のラベルを取得し終えた後に、構築された検査システムにて自動で、検査対象物２の全ての検査箇所の画像を取得してもよい。
取得された検査対象物２の検査箇所の画像と、ラベルとの組の集合であるデータは、学習データとして記憶部４０に一旦記憶される。
検査用機械学習部３４は、記憶部４０に一旦記憶されている検査対象物２の検査箇所の画像とラベルとの組の集合である学習データに基づいて、学習モデル（状態モデル）を学習する。換言すれば、検査用機械学習部３４は、画像取得部１７で取得された検査対象物２の検査箇所の画像を入力データとし、検査用ラベル取得部３２で取得されたラベルを教師データとして、学習モデルを学習する（Ｓ２３）。
次に、図８を参照して、本実施形態の検査装置１０Ａによる検査動作について説明する。図８は、本実施形態の検査装置１０Ａによる検査動作を示すフローチャートである。
検査のための機械学習終了後、ロボット制御装置６０は、新たに検査支援ロボットの動作プログラムを実行することにより検査支援ロボット５０を駆動制御し、検査対象物２、検査用視覚センサ４、及び照明装置６の相対位置を制御する。
検査用視覚センサ４は、検査対象物２の検査箇所を撮像する。
画像取得部１７は、検査用視覚センサ４で撮像された検査対象物２の検査箇所の画像を取得する（Ｓ３１）。
次に、検査用機械学習部３４は、学習した学習モデルに従って、画像取得部１７で取得された検査対象物２の検査箇所の画像に基づいて、検査対象物２の検査箇所の欠陥の有無の検査結果を出力する（Ｓ３２）。
以上説明したように、第１実施形態の検査装置１０Ａ及び検査システム１Ａ，１Ｂによれば、検査者３が検査対象物２の目視検査を行う際に、視線情報取得部１１は、検査者の視線の起点、視線方向、及び注視範囲を含む視線情報を取得し（図３及び図４）、対象物情報取得部１６は、検査対象物の位置、姿勢、及び形状を含む対象物情報を取得し、環境情報取得部２２は、照明装置６の種類、配置位置及び姿勢を含む環境情報を取得する。また、構築用ラベル取得部２４は、目視検査を検査用視覚センサ４を用いて自動化するための検査システムの設計値（検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、照明装置６の種類、配置位置及び姿勢、検査支援ロボットの動作プログラム、及び検査プログラム）を、ラベルとして取得する。構築用機械学習部２６は、機械学習時、取得された視線情報、対象物情報及び環境情報を入力データとし、ラベルを教師データとして学習モデルを学習し、機械学習終了後（検査システム構築時）、目視検査の際に取得された視線情報、対象物情報及び環境情報に基づいて検査システムの設計値を出力する。構築用機械学習部２６（プログラム生成部２８）は、同一タイミングで取得された視線情報と対象物情報に基づいて、目視検査の際に検査者が注視した検査対象物２の注視箇所を検査箇所として特定する。そして、プログラム生成部２８は、特定した検査対象物２の検査箇所を検査用視覚センサ４を用いて撮像するように、検査対象物２、検査用視覚センサ４及び照明装置６の相対位置を制御する検査支援ロボットの動作プログラムを生成する。また、プログラム生成部２８は、検査用視覚センサ４を用いて撮像した検査対象物２の検査箇所の画像に基づいて検査対象物２の検査を行うための検査プログラムを生成する。これにより、検査システムを簡易かつ自動で構築することができる。
また、第１実施形態の検査装置１０Ａ及び検査システム１Ａ，１Ｂによれば、検査システム構築時、環境情報出力部３０は、構築用機械学習部２６から出力された検査システムの設計値における環境情報として、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、照明装置６の種類、配置位置及び姿勢に関する情報を出力する。
これにより、検査者は、検査用視覚センサ４、検査用視覚センサ４内の光学レンズ、及び、照明装置６を準備することができる。
（第２実施形態）
第１実施形態では、検査システムを構築するために機械学習を行った。第２実施形態では、機械学習を行わずに検査システムを構築する。
図１０は、第２実施形態に係る検査装置の構成を示す図である。図１０に示す検査装置１０Ｂは、図１Ａに示す検査システム１Ａ及び図１Ｂに示す検査システム１Ｂにおける検査装置１０に対応する。検査装置１０Ｂは、図２に示す検査装置１０Ａにおいて、構築用ラベル取得部２４、構築用機械学習部２６、及び環境情報出力部３０を備えない点で第１実施形態と異なる。
環境情報取得部２２は、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、及び照明装置６の種類、配置位置及び姿勢を、環境情報として取得する。これらの環境情報は、検査者により入力される。
プログラム生成部２８は、目視検査の際に同一タイミングで取得された視線情報と対象物情報との組のデータに基づいて、目視検査の際に検査者が注視した検査対象物２の注視箇所を検査箇所として特定する。注視点は検査者３の視線と検査対象物２の表面が交差する点として求めることができる。更に注視点の周りに注視範囲を設ければ、それが注視箇所となる。
プログラム生成部２８は、特定した検査対象物２の検査箇所を検査用視覚センサ４を用いて撮像するように、検査対象物２、検査用視覚センサ４及び照明装置６の相対位置を制御する検査支援ロボットの動作プログラムを生成する。検査用視覚センサ４の種類や光学レンズの種類が予め取得できていれば、検査用視覚センサ４と検査対象物２の距離をどの程度にすれば、検査範囲全体が撮像画像に映るか、または、ピントが合うかどうかということを判定することできる。
また、プログラム生成部２８は、撮像した検査対象物２の検査箇所の画像に基づいて検査対象物２の検査を行うための検査プログラムを生成する。検査プログラムは予め定められたルールに従って生成してもよし、教師あり学習または教師無し学習により判別を行う検査プログラムを生成してもよい。例えば、検査箇所に丸穴が存在すれば、穴の径をはかる検査プログラムを生成するようにすることができる。
次に、図３、図４及び図１１を参照して、本実施形態の検査装置１０Ｂによる検査システムの構築動作について説明する。図１１は、本実施形態の検査装置１０Ｂによる検査システムの構築動作を示すフローチャートである。
まず、図３に示すように、検査者３が検査対象物２の目視検査を行う際に、視線用視覚センサ５で検査者３の目付近を撮像すると共に、対象物用視覚センサ４Ａで検査対象物２を撮像する。
このとき、検査者は、目視検査の際の環境情報として、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、及び照明装置６の種類、配置位置及び姿勢を、検査装置１０Ｂに入力する。
なお、検査者は、図４に示すように、目視検査の際の検査対象物２の注視範囲（固定値）を予め入力する。
上述した図６のステップＳ１１及びＳ１２と同一の動作が行われ、視線情報取得部１１は、目視検査の際の、検査者３の視線の起点、視線方向、及び注視範囲（固定値）を含む視線情報を取得し（Ｓ１１）、対象物情報取得部１６は、目視検査の際の、検査対象物２の位置、姿勢、及び形状を含む対象物情報を取得する（Ｓ１２）。
また、環境情報取得部２２は、検査者により入力された検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、及び照明装置６の種類、配置位置及び姿勢（環境情報）を取得する（Ｓ４３）。
次に、プログラム生成部２８は、目視検査の際に取得された視線情報と対象物情報との組のデータに基づいて、目視検査の際に検査者が注視した検査対象物２の注視箇所を検査箇所として特定する（Ｓ４５）。
次に、プログラム生成部２８は、特定した検査対象物２の検査箇所を検査用視覚センサ４を用いて適切な視野及び距離で撮像するように、検査対象物２、検査用視覚センサ４、及び照明装置６の相対位置を制御する検査支援ロボットの動作プログラムを生成する（Ｓ４６）。
また、プログラム生成部２８は、撮像した検査対象物２の検査箇所の画像に基づいて検査対象物２の検査を行うための検査プログラムを生成する（Ｓ４７）。
検査対象物２の検査箇所が複数ある場合、プログラム生成部２８は、全ての検査箇所を順に検査するように、検査支援ロボットの動作プログラム、及び検査プログラムを生成する。
本実施形態の検査装置１０Ｂによる検査のための機械学習動作は、上述した図７のステップＳ２１〜Ｓ２３と同一であり、本実施形態の検査装置１０Ｂによる検査動作は、上述した図８のステップＳ３１〜Ｓ３２と同一である。
以上説明したように、第２実施形態の検査装置１０Ｂ及び検査システム１Ａ，１Ｂによれば、検査者３が検査対象物２の目視検査を行う際に、視線情報取得部１１は、検査者の視線の起点、視線方向、及び注視範囲を含む視線情報を取得し（図３及び図４）、対象物情報取得部１６は、検査対象物の位置、姿勢、及び形状を含む対象物情報を取得し、環境情報取得部２２は、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、及び照明装置６の種類、配置位置及び姿勢を含む環境情報を取得する。プログラム生成部２８は、目視検査の際に取得された視線情報と対象物情報との組のデータに基づいて、目視検査の際に検査者が注視した検査対象物２の注視箇所を検査箇所として特定する。そして、プログラム生成部２８は、特定した検査対象物２の検査箇所を検査用視覚センサ４を用いて撮像するように、検査対象物２、検査用視覚センサ４及び照明装置６の相対位置を制御する検査支援ロボットの動作プログラムを生成する。また、プログラム生成部２８は、検査用視覚センサ４を用いて撮像した検査対象物２の検査箇所の画像に基づいて検査対象物２の検査を行うための検査プログラムを生成する。これにより、検査システムを簡易かつ自動で構築することができる。
なお、第２実施形態の検査装置１０Ｂ及び検査システム１Ａ，１Ｂでは、検査用視覚センサ４の種類、配置位置及び姿勢、検査用視覚センサ４内の光学レンズの種類、照明装置６の種類、配置位置及び姿勢等の環境情報を予め決定し、決定した環境情報を検査装置１０Ｂの環境情報取得部２２に入力することとなる。したがって、検査者は、この環境情報に基づいて、検査用視覚センサ４、検査用視覚センサ４内の光学レンズ、及び、照明装置６を準備すればよい。
ここで、目視検査の際、検査者は、検査対象物２の検査箇所の表面に存在する欠陥（キズ又はムラなど）が認識しやすくなるように、検査対象物２を、照明装置６からの入射光に対して適切な角度傾けることがある。このような環境情報に基づいて、プログラム生成部２８は、検査用視覚センサ４と、検査対象物２と、照明装置６との位置関係を、目視検査の際のそれらの位置関係と同じになるようにプログラムを生成する。この点について、以下に詳説する。
図９Ａに示すように、目視検査の際、検査者３は、検査対象物２を、照明装置６からの入射光に対して適切な角度傾けて、検査対象物２の検査箇所から適切な反射光を得られるようにする。これにより、検査対象物２の検査箇所の表面に存在する欠陥（キズ又はムラなど）が認識しやすくなる。
検査用視覚センサ４で検査対象物２を撮像する際にも、検査用視覚センサ４と、検査対象物２と、照明装置６との位置関係を、目視検査の際の検査者３と、検査対象物２と、照明装置６との位置関係と同じようにすることによって、上述同様の効果が得られると考えられる。すなわち、検査しやすい画像を撮像することができると考えられる。
更に、目視検査の際の検査者３と、検査対象物２と、照明装置６との位置関係を容易に実現するために、検査装置１０Ｂは図２において上述したように環境情報出力部３０を備え、照明装置６の種類を環境情報出力部３０が出力することもできる。例えば、図９Ｂに示す目視検査の際の検査者３と、検査対象物２と、照明装置６との位置関係を、図１Ａ又は図１Ｂに示す検査システム１Ａ，１Ｂで実現する場合、照明装置６として、目視検査の際に使用した照明装置とは異なるローアングル照明装置を環境情報出力部３０が出力する。環境情報出力部３０で出力された照明装置を検査者が準備することにより、検査用視覚センサ４で検査対象物２を撮像する際にも、目視検査の際の検査者３と、検査対象物２と、照明装置６との位置関係を容易に実現することができ、更には検査の効率を向上させることができる。
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
例えば、上述した実施形態では、検査対象物２の欠陥の有無（例えば、表面の傷又は異物付着）を検査する検査装置及び検査システムを例示したが、本発明の特徴は、視覚センサ等の撮像装置で撮像された検査対象物の画像に基づいて検査対象物の種々の検査を行う種々の検査システムに適用可能である。
また、本発明の特徴は、検査対象物２の欠陥の有無の検査（ＯＫ（欠陥無）又はＮＧ（欠陥有））を行う検査装置に限定されず、検査対象物２に欠陥が存在する確率を求める検査装置、検査対象物２の欠陥位置を出力する検査装置等の種々の検査装置に適用可能である（機械学習部の教師データを変更することにより、出力する検査結果を変更することができる）。
また、上述した実施形態では、目視検査の際の検査者の視線情報、及び検査対象物の対象物情報を取得するために視覚センサを備える検査システムを例示したが、検査システムは、視覚センサに代えて、３次元センサ等の種々の撮像装置を備えてもよい。
また、上述した実施形態では、検査システムは、図３に示す視線用視覚センサ５に代えて、図１１に示す透過型のヘッドマウントディスプレイ５を備えてもよい。
ヘッドマウントディスプレイ５は、検査者３の眼球の位置、及び視線方向を特定する機能を有する。また、ヘッドマウントディスプレイ５は、ディスプレイ上に注視範囲を表示する機能を有し、この注視範囲の大きさや形状を検査者３の操作により変更する機能を有する。ヘッドマウントディスプレイ５は、特定した検査者３の眼球の位置及び視線方向、並びに検査者が設定したディスプレイ上の注視範囲を出力する。
これにより、視線情報取得部１１は、検査者３が検査対象物２の欠陥の目視検査を行う際の、検査者３の視線の起点、視線方向、及び注視範囲を含む視線情報を取得する。
視線情報を取得するタイミングは、検査者が何らかの操作を行ったタイミングであってもよいし、検査者が所定時間以上注視したタイミングであってもよい。
ヘッドマウントディスプレイ５を用いる場合、検出された検査対象物２の欠陥の位置又は種類をヘッドマウントディスプレイ５上にサジェストしてもよい。
更にヘッドマウントディスプレイ５には対象物用視覚センサ４Ａが搭載されていてもよい。検査対象物の検査箇所は、検査者の顔が向いた方向にあるはずである。そのため、ヘッドマウントディスプレイ５上の対象物視覚センサ４Ａは検査箇所の撮像を行いやすいというメリットがある。
また、上述した実施形態では、視線情報取得部１１及び対象物情報取得部１６が画像取得部１２，１７と画像処理部１３，１８とを備える形態を例示したが、視線情報取得部及び対象物情報取得部は画像処理部を備えない形態であってもよい。
この場合、視線情報取得部の画像取得部は、視線用視覚センサ５における画像処理部で求められた視線情報を取得すればよく、対象物情報取得部の画像取得部は、対象物用視覚センサ４における画像処理部で求められた対象物情報を取得すればよい。
また、上述した実施形態では、検査対象物２に複数の検査箇所がある場合、検査箇所ごとに異なる機械学習部を構築してもよい。
１Ａ，１Ｂ 検査システム
２ 検査対象物
３ 検査者
４ 検査用視覚センサ
４Ａ 対象物用視覚センサ（対象物用撮像装置）
５ 視線用視覚センサ（視線用撮像装置）
６ 照明装置
１０，１０Ａ，１０Ｂ 検査装置
１１ 視線情報取得部
１２ 画像取得部
１３ 画像処理部
１６ 対象物情報取得部
１７ 画像取得部
１８ 画像処理部
２２ 環境情報取得部
２４ 構築用ラベル取得部
２６ 構築用機械学習部
２８ プログラム生成部
３０ 環境情報出力部
３２ 検査用ラベル取得部
３４ 検査用機械学習部
４０ 記憶部
５０ 検査支援ロボット
５２ アーム
６０ ロボット制御装置

Claims (10)

  1. 検査用撮像装置で撮像された検査対象物の画像に基づいて前記検査対象物の検査を行う検査装置であって、
    検査者が前記検査対象物の目視検査を行う際の、前記検査者の視線の起点、視線方向、及び注視範囲を含む視線情報を取得する視線情報取得部と、
    前記目視検査の際の、前記検査対象物の位置、姿勢、及び形状を含む対象物情報を取得する対象物情報取得部と、
    前記視線情報と前記対象物情報との組のデータに基づいて、前記目視検査の際に前記検査者が注視した前記検査対象物の注視箇所を検査箇所として特定し、特定した前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像し、撮像した前記検査対象物の検査箇所の画像に基づいて前記検査対象物の検査を行うための検査実施プログラムを生成するプログラム生成部と、を備え、
    前記検査実施プログラムは、前記検査対象物又は前記検査用撮像装置をアームに保持する検査支援ロボットを用いるものであって、前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像するように、前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを含み、
    前記検査装置は、前記検査用撮像装置の種類、配置位置及び姿勢、並びに前記検査用撮像装置のレンズの種類を環境情報として取得する環境情報取得部を更に備え、
    前記プログラム生成部は、前記環境情報に基づいて前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを生成する、
    検査装置。
  2. 検査用撮像装置で撮像された検査対象物の画像に基づいて前記検査対象物の検査を行う検査装置であって、
    検査者が前記検査対象物の目視検査を行う際の、前記検査者の視線の起点、視線方向、及び注視範囲を含む視線情報を取得する視線情報取得部と、
    前記目視検査の際の、前記検査対象物の位置、姿勢、及び形状を含む対象物情報を取得する対象物情報取得部と、
    前記視線情報と前記対象物情報との組のデータに基づいて、前記目視検査の際に前記検査者が注視した前記検査対象物の注視箇所を検査箇所として特定し、特定した前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像し、撮像した前記検査対象物の検査箇所の画像に基づいて前記検査対象物の検査を行うための検査実施プログラムを生成するプログラム生成部と、を備え、
    前記検査実施プログラムは、前記検査対象物又は前記検査用撮像装置をアームに保持する検査支援ロボットを用いるものであって、前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像するように、前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを含み、
    前記検査装置は、前記検査対象物を照らす照明装置の種類、配置位置及び姿勢を環境情報として取得する環境情報取得部を更に備え、
    前記プログラム生成部は、前記環境情報に基づいて前記検査対象物、前記検査用撮像装置及び前記照明装置の相対位置を制御する前記検査支援ロボットの動作プログラムを生成する、
    検査装置。
  3. 検査用撮像装置で撮像された検査対象物の画像に基づいて前記検査対象物の検査を行う検査装置であって、
    検査者が前記検査対象物の目視検査を行う際の、前記検査者の視線の起点、視線方向、及び注視範囲を含む視線情報を取得する視線情報取得部と、
    前記目視検査の際の、前記検査対象物の位置、姿勢、及び形状を含む対象物情報を取得する対象物情報取得部と、
    前記視線情報と前記対象物情報との組のデータに基づいて、前記目視検査の際に前記検査者が注視した前記検査対象物の注視箇所を検査箇所として特定し、特定した前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像し、撮像した前記検査対象物の検査箇所の画像に基づいて前記検査対象物の検査を行うための検査実施プログラムを生成するプログラム生成部と、
    前記目視検査の際の環境に関する環境情報を取得する環境情報取得部と、
    前記目視検査を前記検査用撮像装置を用いて自動化するための検査システムの設計値をラベルとして取得する構築用ラベル取得部と、
    前記視線情報取得部で取得された視線情報と、前記対象物情報取得部で取得された対象物情報と、前記環境情報取得部で取得された環境情報とを入力データとし、前記構築用ラベル取得部で取得されたラベルを教師データとして、学習モデルを学習する構築用機械学習部と、を備え、
    前記構築用機械学習部は、学習した学習モデルに従って、前記目視検査の際の、前記視線情報取得部で取得された視線情報、前記対象物情報取得部で取得された対象物情報、及び前記環境情報取得部で取得された環境情報に基づいて検査システムの設計値を出力する、検査装置。
  4. 前記検査実施プログラムは、前記検査対象物又は前記検査用撮像装置をアームに保持する検査支援ロボットを用いるものであって、前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像するように、前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを含み、
    前記プログラム生成部は、
    前記構築用機械学習部を含み、前記視線情報と前記対象物情報との組のデータに基づいて、前記目視検査の際に前記検査者が注視した前記検査対象物の注視箇所を検査箇所として特定すると共に、
    前記構築用機械学習部で学習した学習モデルに基づいて、特定した前記検査対象物の検査箇所を前記検査用撮像装置を用いて撮像するように、前記検査対象物と前記検査用撮像装置との相対位置を制御する前記検査支援ロボットの動作プログラムを生成する、請求項３に記載の検査装置。
  5. 前記環境情報は、前記検査対象物を照らす照明装置の種類、配置位置及び姿勢のうちの少なくとも１つを含み、
    前記プログラム生成部は、前記検査対象物、前記検査用撮像装置及び前記照明装置の相対位置を制御する前記検査支援ロボットの動作プログラムを生成する、請求項４に記載の検査装置。
  6. 前記検査システムの設計値は、前記検査用撮像装置の種類、配置位置及び姿勢、前記検査用撮像装置の光学レンズの種類、前記検査対象物を照らす照明装置の種類、配置位置及び姿勢、前記検査支援ロボットの動作プログラム、及び検査プログラムのうちの少なくとも１つを含み、
    前記プログラム生成部は、前記検査対象物、前記検査用撮像装置及び前記照明装置の相対位置を制御する前記検査支援ロボットの動作プログラムを生成する、請求項４又は５に記載の検査装置。
  7. 前記検査システムの設計値に含まれる動作プログラムは、前記プログラム生成部で生成された動作プログラムが修正された修正動作プログラムである、請求項６に記載の検査装置。
  8. 前記構築用機械学習部から出力された検査システムの設計値における環境に関する環境情報を出力する環境情報出力部を更に備え、
    前記環境情報は、前記検査用撮像装置の種類、配置位置及び姿勢、並びに前記検査用撮像装置のレンズの種類のうちの少なくとも１つを含む、請求項４〜７の何れか１項に記載の検査装置。
  9. 前記構築用機械学習部から出力された検査システムの設計値における環境に関する環境情報を出力する環境情報出力部を更に備え、
    前記環境情報は、前記検査対象物を照らす照明装置の種類、配置位置及び姿勢のうちの少なくとも１つを含む、請求項４〜８の何れか１項に記載の検査装置。
  10. 請求項１〜９の何れか１項に記載の検査装置と、
    検査対象物を撮像する検査用撮像装置と、
    検査者が前記検査対象物の目視検査を行う際に、前記検査者の視線情報のために前記検査者を撮像する視線用撮像装置と、
    前記目視検査の際に、前記検査対象物の対象物情報のために前記検査対象物を撮像する対象物用撮像装置と、
    前記検査対象物又は前記検査用撮像装置を保持し、前記検査対象物と前記検査用撮像装置との相対位置を制御する検査支援ロボットと、
    前記検査装置で生成される検査実施プログラムにおける前記検査支援ロボットの動作プログラムに従って前記検査支援ロボットを制御するロボット制御装置と、
    前記検査対象物を照らす照明装置と、を備える検査システム。
JP2017186914A 2017-09-27 2017-09-27 検査装置及び検査システム Active JP6626057B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017186914A JP6626057B2 (ja) 2017-09-27 2017-09-27 検査装置及び検査システム
US16/103,131 US10614565B2 (en) 2017-09-27 2018-08-14 Inspection device and inspection system
DE102018214339.0A DE102018214339A1 (de) 2017-09-27 2018-08-24 Inspektionsvorrichtung und inspektionssystem
CN201811109374.1A CN109557099B (zh) 2017-09-27 2018-09-21 检查装置以及检查系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017186914A JP6626057B2 (ja) 2017-09-27 2017-09-27 検査装置及び検査システム

Publications (2)

Publication Number Publication Date
JP2019060780A JP2019060780A (ja) 2019-04-18
JP6626057B2 true JP6626057B2 (ja) 2019-12-25

Family

ID=65638752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017186914A Active JP6626057B2 (ja) 2017-09-27 2017-09-27 検査装置及び検査システム

Country Status (4)

Country Link
US (1) US10614565B2 (ja)
JP (1) JP6626057B2 (ja)
CN (1) CN109557099B (ja)
DE (1) DE102018214339A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP6549644B2 (ja) * 2017-06-27 2019-07-24 ファナック株式会社 機械学習装置、ロボット制御システム及び機械学習方法
CN112585672A (zh) * 2018-01-15 2021-03-30 基托夫系统有限公司 自动检查和零件登记
JP6863946B2 (ja) * 2018-10-31 2021-04-21 ファナック株式会社 画像処理装置
JP2020106936A (ja) * 2018-12-26 2020-07-09 オムロン株式会社 画像検査システム設計装置、画像検査システム設計方法及び画像検査システム設計プログラム
JP7233521B2 (ja) * 2019-03-29 2023-03-06 Ｍｕｓａｓｈｉ ＡＩ株式会社 検査システム及び検査方法
CA3136674C (en) 2019-04-09 2024-02-13 Purdue Research Foundation Methods and systems for crack detection using a fully convolutional network
DE102019206444A1 (de) * 2019-05-06 2020-11-12 Kuka Deutschland Gmbh Maschinelles Lernen einer Objekterkennung mithilfe einer robotergeführten Kamera
CN110338748B (zh) * 2019-06-13 2022-03-08 宁波明星科技发展有限公司 快速定位视力值的方法、存储介质、终端及视力检测仪
JP7274208B2 (ja) * 2019-07-18 2023-05-16 レボックス株式会社 光学系設計情報管理システム
EP4017688A1 (en) * 2019-09-30 2022-06-29 Siemens Aktiengesellschaft Machine learning enabled visual servoing with dedicated hardware acceleration
DE102019126808A1 (de) * 2019-10-07 2021-04-08 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung von Defektinformation in Bezug auf einen Lackierdefekt
JP7310554B2 (ja) * 2019-11-11 2023-07-19 コニカミノルタ株式会社 部品検査支援装置、部品検査支援方法及びプログラム
DE102019135444A1 (de) * 2019-12-20 2021-06-24 Liebherr-Werk Ehingen Gmbh Verfahren und System zur Rüstzustandserkennung eines Krans
JP7457281B2 (ja) * 2020-02-27 2024-03-28 オムロン株式会社 情報処理装置、情報処理方法及びプログラム
US20230311308A1 (en) * 2020-03-05 2023-10-05 Fanuc Corporation Machine-learning device
WO2021199264A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 検出装置、ラベル付与方法、及び非一時的なコンピュータ可読媒体
JP7424201B2 (ja) * 2020-05-18 2024-01-30 富士フイルムビジネスイノベーション株式会社 目視点検確認装置及びプログラム
JP7364534B2 (ja) * 2020-06-19 2023-10-18 株式会社東芝 ハンドリングシステムおよび制御方法
CN112434595B (zh) 2020-11-20 2024-07-19 小米科技(武汉)有限公司 行为识别方法及装置、电子设备、存储介质
CN112541400B (zh) * 2020-11-20 2024-06-21 小米科技(武汉)有限公司 基于视线估计的行为识别方法及装置、电子设备、存储介质
WO2022254747A1 (ja) * 2021-06-03 2022-12-08 三菱電機株式会社 外観検査装置、外観検査方法、学習装置および推論装置
WO2023132131A1 (ja) * 2022-01-05 2023-07-13 ソニーグループ株式会社 検査装置、検査方法およびプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4922338A (en) * 1989-03-02 1990-05-01 Arpino Ronald G Line-of-sight inspection system
JP2001515236A (ja) * 1997-09-04 2001-09-18 ダイナログ インコーポレイテッド ロボット検査システムを較正するための方法
US7277599B2 (en) * 2002-09-23 2007-10-02 Regents Of The University Of Minnesota System and method for three-dimensional video imaging using a single camera
JP4227863B2 (ja) 2003-08-04 2009-02-18 株式会社デンソー 視覚検査装置の教示装置及び教示方法
JP3946716B2 (ja) * 2004-07-28 2007-07-18 ファナック株式会社 ロボットシステムにおける３次元視覚センサの再校正方法及び装置
JP4266946B2 (ja) 2005-03-17 2009-05-27 ファナック株式会社 オフライン教示装置
JP4839827B2 (ja) * 2005-12-26 2011-12-21 コニカミノルタセンシング株式会社 ３次元測定装置
CN101460832B (zh) * 2006-06-08 2012-03-21 奥林巴斯株式会社 外观检查装置
JP2010139329A (ja) * 2008-12-10 2010-06-24 Fanuc Ltd キャリブレーション用の校正治具および校正治具を備えた画像計測システム
JP2010223932A (ja) * 2009-02-27 2010-10-07 Toyota Motor Corp 欠陥検出方法
KR101809973B1 (ko) * 2011-01-24 2017-12-19 삼성전자주식회사 로봇 제어 시스템 및 로봇 제어 방법
US8898091B2 (en) * 2011-05-11 2014-11-25 Ari M. Frank Computing situation-dependent affective response baseline levels utilizing a database storing affective responses
JP2014178229A (ja) * 2013-03-15 2014-09-25 Dainippon Screen Mfg Co Ltd 教師データ作成方法、画像分類方法および画像分類装置
CN105980578B (zh) * 2013-12-16 2020-02-14 深圳华大智造科技有限公司 用于使用机器学习进行dna测序的碱基判定器
JP2016004486A (ja) * 2014-06-18 2016-01-12 株式会社リコー 情報処理装置、情報処理プログラム、および情報処理システム
DE102016015936B8 (de) * 2015-07-31 2024-10-24 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
JP6624963B2 (ja) * 2016-02-12 2019-12-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
EP3366433B1 (en) * 2017-02-09 2022-03-09 Canon Kabushiki Kaisha Method of controlling robot, method of teaching robot, and robot system

Also Published As

Publication number Publication date
JP2019060780A (ja) 2019-04-18
US10614565B2 (en) 2020-04-07
US20190096055A1 (en) 2019-03-28
DE102018214339A1 (de) 2019-03-28
CN109557099B (zh) 2020-09-18
CN109557099A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
JP6626057B2 (ja) 検査装置及び検査システム
JP6963820B2 (ja) 視線検出装置
JP6549644B2 (ja) 機械学習装置、ロボット制御システム及び機械学習方法
JP4896621B2 (ja) 視野計
CN108701428B (zh) 同步焊接数据以供呈现的焊接培训系统
JP6392922B1 (ja) 検査システムの検査対象外となる領域を算出する装置、および検査対象外となる領域を算出する方法
JP6288249B2 (ja) 目視検査支援装置、目視検査支援方法及び目視検査支援プログラム
US11937928B2 (en) Evaluation apparatus, evaluation method, and evaluation program
US20170316240A1 (en) Controlling the output of contextual information using a computing device
US20230098675A1 (en) Eye-gaze detecting device, eye-gaze detecting method, and computer-readable storage medium
JP2023548454A (ja) 適応型ボアスコープ検査
WO2021024301A1 (ja) コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
JP5307407B2 (ja) 内視鏡装置およびプログラム
WO2018074982A1 (en) Method of interactive quantification of digitized 3d objects using an eye tracking camera
US20220087583A1 (en) Evaluation device, evaluation method, and evaluation program
US10823964B2 (en) Work assistance apparatus, work assistance method, and computer-readable, non-transitory recording medium recording work assistance program executed by computer
EP4021335A1 (en) Image based motion control correction
Redžepagić et al. A sense of quality for augmented reality assisted process guidance
JP2019215225A (ja) 画像検査システム及びその制御方法
JP2023545980A (ja) 自動検査計画に基づく検出
JP7344728B2 (ja) 製品検査システム、製品検査方法
JP2020030695A (ja) 教師データ生成装置及び機械学習システム
Redzepagic et al. A sense of quality for augmented reality assisted process guidance
JP2021069813A (ja) バイタルデータ出力方法、バイタルデータ出力装置およびバイタルセンシングシステム
US20210298689A1 (en) Evaluation device, evaluation method, and non-transitory storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181221

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190315

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191128

R150 Certificate of patent or registration of utility model

Ref document number: 6626057

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150