WO2021177245A1 - 画像処理装置、作業指示作成システム、作業指示作成方法 - Google Patents

画像処理装置、作業指示作成システム、作業指示作成方法 Download PDF

Info

Publication number
WO2021177245A1
WO2021177245A1 PCT/JP2021/007765 JP2021007765W WO2021177245A1 WO 2021177245 A1 WO2021177245 A1 WO 2021177245A1 JP 2021007765 W JP2021007765 W JP 2021007765W WO 2021177245 A1 WO2021177245 A1 WO 2021177245A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
image
detected
work object
detection unit
Prior art date
Application number
PCT/JP2021/007765
Other languages
English (en)
French (fr)
Inventor
有史 鴻巣
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to CN202180019177.4A priority Critical patent/CN115244576A/zh
Priority to JP2022504359A priority patent/JP7436627B2/ja
Priority to DE112021001443.9T priority patent/DE112021001443T5/de
Priority to US17/908,097 priority patent/US20230360193A1/en
Publication of WO2021177245A1 publication Critical patent/WO2021177245A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to an image processing device, a work instruction creation system, and a work instruction creation method.
  • Patent Document 1 includes "a casing, components detachably provided on the main body of the casing, and an imaging device for acquiring image data of a predetermined imaging target inside the casing.
  • a first image captured at a first angle of view so as to include a work object is analyzed by first machine learning, and the work object in the first image is analyzed.
  • a second image is taken with a second angle of view narrower than the first angle of view so as to include the work object.
  • a work status detection unit that analyzes the image of 2 by the second machine learning and detects the work state of the work object, and a work instruction indicating the content of the work instruction for the work object based on the detected work state. It is an image processing device including a work instruction creating unit for generating information.
  • Another aspect of the present disclosure includes the image processing device, an image pickup device having pan, tilt and zoom functions, and an output device, and the work object detection unit attaches the work object to the image pickup device.
  • the first image is acquired by taking an image at the first angle of view, and the work status detection unit uses the image pickup device based on the position of the work object detected by the work object detection unit.
  • the image pickup device is made to image the work object at the second angle of view to acquire the second image, and the work instruction creation unit performs the work.
  • This is a work instruction creation system that outputs instruction information to the output device.
  • the work object is imaged at a first angle of view into which the work object enters, a first image is acquired, and the first image is analyzed by first machine learning.
  • the position of the work object is detected in the first image, and based on the detected position of the work object, the second image is narrower than the first angle of view so as to include the work object.
  • the work object is imaged at an angle of view to acquire a second image, the second image is analyzed by second machine learning, the work state of the work object is detected, and the detected work is performed.
  • This is a work instruction creation method that generates work instruction information representing the contents of work instructions for the work object based on the state and outputs the work instruction information to an output device.
  • FIG. 3 is a diagram showing an example in which a working state of the work is detected from an image of the work of FIG. 3A taken with a telephoto lens. It is a figure which shows the example which detected the work from the image which took the work at a wide angle. It is a figure which shows the example which created and displayed the work instruction for a work from the image which image
  • FIG. 5 is a diagram showing an example in which a work instruction for the work is created and displayed from an image of the work of FIG. 5A taken with a telephoto lens. It is a figure which shows the structural example of a convolutional neural network. It is a flowchart which shows the work instruction creation process. It is a figure which shows the structure of the work instruction creation system configured to give the work instruction to the work in a plurality of work places.
  • FIG. 1 is a system configuration diagram of a work instruction creation system 1 including an image processing device 10 according to the present embodiment.
  • the work instruction creation system 1 includes an image processing device 10, an output device 20, and an image pickup device 30 having pan, tilt, and zoom functions.
  • the work instruction creation system 1 analyzes the image of the work object W acquired by the imaging device 30 and confirms the work state with respect to the work W without requiring strict positioning of the work object (hereinafter referred to as a work) W. Then, it is configured to give a work instruction to the worker via the output device 20.
  • the image processing device 10 may have a configuration as a general computer having a CPU, ROM, RAM, a storage device, an operation unit, an input / output interface, a network interface, and the like.
  • the output device 20 various devices such as a display device, an audio output device, and a printing device can be used as a machine for outputting work instructions to the operator.
  • a display monitor is used as the output device 20.
  • the output device 20 is arranged on the work table 26 and displays a work instruction to be performed on the work object W.
  • the image pickup device 30 may be arranged at a position where the work W can be imaged in the work space where the work table 26 is installed.
  • FIG. 2 shows a functional block diagram of the image processing device 10.
  • the image processing device 10 includes an image acquisition unit 11, a work object detection unit 12, a work status detection unit 13, and a work instruction creation unit 14.
  • the image acquisition unit 11 acquires an image captured by the image pickup device 30.
  • the work object detection unit 12 analyzes the first image captured at the first angle of view (wide angle) so as to include the work W by the first machine learning, and analyzes the work W in the first image. Detect the position.
  • the work status detection unit 13 Based on the position of the work W detected by the work object detection unit 12, the work status detection unit 13 includes the work W (for example, the work W is near the center of the image) from the first angle of view.
  • the second image captured at the second angle of view (on the telephoto side), which is also narrow (on the telephoto side), is analyzed by the second machine learning to detect the working state of the work W.
  • the work instruction creation unit 14 generates work instruction information indicating the content of the work instruction for the work W based on the detected work state, and causes the output device 20 to output the work instruction information.
  • the image processing device 10 of the present embodiment first identifies the position of the work in the image by analyzing the image obtained by capturing the work space at a wide angle, and then determines the position of the work W at the specified position of the work W. Based on this, for example, the work is photographed with a telephoto so that it appears in the center of the image. Then, the image processing device 10 confirms the work status for the work by analyzing the image of the work taken large with a telephoto lens, and generates work instruction information. With such a configuration, it is not necessary to precisely position the work in order to check the work status with the camera.
  • FIG. 3A is an image 101 in which the imaging device 30 captures a work space including the work W1 at a wide angle.
  • the work object detection unit 12 uses the arrangement information of the work W1 in the work space and the arrangement information of the image pickup device 30 in the work space to capture the image pickup device 30.
  • the pan, tilt, and zoom functions may be controlled.
  • the work object detection unit 12 acquires the image 101 via the image acquisition unit 11.
  • the work object detection unit 12 has a function of performing machine learning, analyzes the image 101 by machine learning (first machine learning), and detects the position of the work W1.
  • a frame line (bounding box) 201 indicating the region of the work W1 and a label 301 indicating the object detection result are displayed as the object detection result by machine learning.
  • the label 301 indicating the detection result includes the parts (“parts”) that are the result of the categorization and the probability “1.00”.
  • the work object detection unit 12 may display the image on which the object detection result is superimposed on the image 101 on the output device 20 in this way.
  • the work status detection unit 13 controls the pan, tilt, and zoom functions of the image pickup apparatus 30 based on the position of the work W1 detected by the work object detection unit 12, so that, for example, the work W1 can move.
  • the image pickup apparatus 30 is made to take a picture of the work W1 with a telephoto so as to be captured in the center of the image.
  • FIG. 3B is an image 102 of the work W1 taken by the imaging device 30 from a telephoto position so that the work W1 is captured in the center of the image.
  • the work status detection unit 13 detects the positions of the bolts and the bolt fastening holes on the work W1 by analyzing the image 102 by machine learning (second machine learning).
  • the bounding box 211 showing the bolt area
  • the label 311 showing the result of the category classification
  • the bounding box 212 showing the hole area
  • the result of the category classification are shown.
  • a label 312 is indicated (only partially coded).
  • the work status detection unit 13 may display the image on which the object detection result is superimposed on the image 102 on the output device 20 in this way.
  • deep learning is used to detect an object in an image
  • an object detection algorithm using a convolutional neural network CNN
  • CNN convolutional neural network
  • object detection algorithms include (1) extraction of a region containing an object (called a bounding box), (2) calculation of CNN characteristics of the region, and (3) categorization of the region and regression of accurate position.
  • FIG. 6 shows the basic configuration of the CNN used in such an object detection algorithm.
  • the CNN is composed of a combination of convolutional layers 261 and 262 that apply a filter (kernel) to the input image 251 and perform a convolutional operation, and pooling layers 271 and 272 that perform downsampling.
  • the feature maps 281, 282, 283, and 284 are gradually generated by stacking two convolution layers and two pooling layers.
  • the convolution calculation in the convolution layers 261 and 261 corresponds to the process of performing forward propagation represented by the following formula for each number of channels of the filter (kernel).
  • z is the output of the convolutional layer unit
  • w i is the weight parameter of the filter
  • x i is the input (local region)
  • h is the activation function
  • b is the bias.
  • the activation function h for example, a logistic sigmoid function, a ReLU (Rectified Linear Unit), or the like can be used.
  • the maximum value pooling that outputs the maximum value in the input data or the average value pooling that outputs the average value of the input data can be used.
  • RCNN Region with CNN features
  • YOLO You Only Look Once
  • SSD Single Shot Multibox Detector
  • RCNN belongs to the approach of first extracting region candidates using a selective search method and applying CNN to the extracted regions
  • YOLO and SSD estimate the object-likeness and the position of the bounding box by CNN. Belongs to the approach of executing all at once.
  • the image of the work W1 as illustrated in FIG. 3A and the area (bounding box) of the work W1 and the category of the object as the correct answer are given and the learning is executed.
  • the object category is given for learning.
  • FIG. 4A A first example of creating a work order will be described.
  • the position of the work W1 is detected by the work object detection unit 12 analyzing the image 401 including the work W1 taken by the image pickup apparatus 30 at a wide angle.
  • FIG. 4A also shows a bounding box 441 as a result of detection of the work W1 by the work object detection unit 12.
  • the work status detection unit 13 analyzes the image 402 (FIG. 4B) taken at a telephoto so as to include the work W1 and detects the bolts and holes on the work W1. In this case, since the bolts have not yet been fastened to the work W1, the work status detection unit 13 detects nine holes h (only a part of which has a reference numeral h) and their positions on the work W1. do.
  • the work instruction creation unit 14 compares the detection result (bolt fastening state) by the work status detection unit 13 with the work content information held in advance. It is assumed that the work content information is "to fasten bolts to all holes clockwise in order from the lower left hole" when the work W1 is viewed as shown in FIG. 4B.
  • the work instruction creation unit 14 fastens bolts to the lower left hole by comparing the information acquired from the work status detection unit 13 (a state in which bolts have not yet been fastened to the nine holes) with the above work content information. Create instructions to do.
  • FIG. 4B shows an example of such an instruction. As shown in FIG.
  • the work instruction creation unit 14 changes the display color of the square frame line 461 surrounding the lower left hole h to be bolted to the display color of the square frame line 462 surrounding the other holes h. By changing the display color, it is possible to visually grasp that the fastening instruction is given to the lower left hole h surrounded by the frame line 461.
  • the work instruction creation unit 14 causes the output device 20 to display the image 402 on which the frame lines 461 and 462 indicating the work instructions are superimposed in this way.
  • the work instruction creation unit 14 uses the following method to create each hole h with respect to the work W1.
  • the position of can be specified.
  • the work W1 is estimated by estimating the geometric center of the work W1 based on the arrangement of the holes h (in this case, the inverted U-shaped arrangement) in the image 402 detected by the work status detection unit 13.
  • the position of each hole h is specified with reference to.
  • (2) In order to acquire the position of the work W1 in the image 401 detected by the work object detection unit 12, the position of the hole h in the image 402 detected by the work status detection unit 13, and the image 402.
  • the position of each hole h with respect to the work W1 is specified based on the information indicating how the pan, tilt, and zoom functions are controlled.
  • FIG. 5A it is assumed that the position of the work W1 is detected by the work object detection unit 12 analyzing the image 501 including the work W1 taken by the image pickup apparatus 30 at a wide angle.
  • FIG. 5A also shows a bounding box 541 as a result of detection of the work W1 by the work object detection unit 12.
  • the work status detection unit 13 analyzes the image 502 (FIG. 5B) taken at a telephoto so as to include the work W1 and detects the bolts and holes on the work W1.
  • the work status detection unit 13 is in the lower left two of the positions of the nine holes of the work W1.
  • Bolts b are detected at the positions of the locations, and holes h are detected at the other seven locations.
  • the work instruction creation unit 14 compares the detection result by the work status detection unit 13 with the work content information held in advance.
  • the work content information is the same as in the case of FIG. 4B described above.
  • the work instruction creation unit 14 compares the information acquired from the work status detection unit 13 (bolts are fastened to the lower left two places out of the nine holes) with the above work content information, so that the work instruction creation unit 14 is 3 from the lower left. Create an instruction to fasten the bolt to the second hole.
  • FIG. 5B shows an example of such an instruction.
  • the work instruction creation unit 14 sets the display color of the square frame line 561 surrounding the third hole h from the lower left to which the bolt is to be fastened, and the square frame surrounding the other holes h.
  • the work instruction creating unit 14 may indicate that the frame line 560 surrounding the position where the bolt b has been fastened has been fastened by using a display color different from that of the frame lines 561 and 562.
  • the work instruction creation unit 14 causes the output device 20 to display the image 502 on which the frame lines 560-562 indicating the work instructions are superimposed.
  • FIG. 7 shows a work instruction creation process (work instruction creation method) by the image processing device 10 as a flowchart.
  • the image processing device 10 acquires a first image taken by the image pickup device 30 at a wide angle (first angle of view) (step S1).
  • the work object detection unit 12 analyzes the first image by machine learning (first machine learning) and detects the position of the work object (step S2).
  • the work status detection unit 13 telephotos the work object (second angle of view) based on the position of the work object detected by the work object detection unit 12, for example, so that the work object is centered. ) Is acquired (step S3).
  • the work status detection unit 13 analyzes the second image by machine learning (second machine learning) and confirms the work status of the work object (step S4).
  • the work instruction creation unit 14 creates a work instruction for the work object based on the work state detected by the work status detection unit 13, and outputs the work instruction to the output device 20 (step S5).
  • a plurality of output devices 20 are connected to the image processing device 10.
  • a plurality of output devices 20 are arranged at positions of workers 81-83, respectively.
  • the image processing device 10 confirms the work status of each worker 81-83 and gives a work instruction, for example, in the form of patrols on a regular basis or in response to an event on the worker side (for example, a signal indicating work completion). Is issued.
  • the work object detection unit 12 is provided with the arrangement position information of the work W21-W23 in the work space (or the arrangement position information of the work place of each of the workers 81, 82, 83) and the imaging device 30.
  • the location information in the work space of is stored. It is assumed that the work status of the workers 81-83 is circulated and confirmed.
  • the work object detection unit 12 pans and tilts the image pickup device 30 based on the placement position information of the work W21 and the placement position information of the image pickup device 30, and wide-angles the work W21 which is the work target of the worker 81.
  • the position of the work W21 in the image is detected.
  • the work status detection unit 13 confirms the work status of the work W21 by the worker 81.
  • the work instruction creation unit 14 creates a work instruction for the worker 81 by comparing the work status of the work W21 with the work content information of the work W21 stored in advance, and outputs the position of the worker 81. Output to device 20.
  • work instructions are created and output in order in the same operation.
  • the working state is obtained even in a situation where the work object cannot be precisely positioned, there are individual differences in the work object, or the appearance of the work object is not fixed. And work instructions based on it can be surely created.
  • the content of the work confirmation includes confirmation of the mounting state of the components of the printed circuit board and the assembly status of the industrial robot. It may include various operations that can confirm the work state by image analysis, such as confirmation, confirmation of the deburring state in the deburring work, and confirmation of the work state in the polishing work.
  • the functional block of the image processing device 10 shown in FIG. 2 may be realized by the CPU of the image processing device 10 executing various software stored in the storage device, or an ASIC (Application Specific Integrated IC). It may be realized by a configuration mainly composed of hardware such as.
  • the program that executes various processes such as the work instruction creation process in the above-described embodiment includes various computer-readable recording media (for example, semiconductor memory such as ROM, EEPROM, flash memory, magnetic recording medium, CD-ROM, etc.). It can be recorded on an optical disk such as a DVD-ROM.
  • semiconductor memory such as ROM, EEPROM, flash memory, magnetic recording medium, CD-ROM, etc.
  • optical disk such as a DVD-ROM.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Manufacturing & Machinery (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

作業対象物の厳密な位置決めを要することなく作業対象物を撮影した画像から作業指示を作成可能とする。　作業対象物を含むように第１の画角で撮像された第１の画像を第１の機械学習により解析し、第１の画像内での前記作業対象物の位置を検出する作業対象物検出部１２と、検出された作業対象物の位置に基づき、作業対象物を含むように第１の画角よりも狭い第２の画角で撮像された第２の画像を第２の機械学習で解析し、作業対象物の作業状態を検出する作業状況検出部１３と、検出された作業状態に基づいて作業対象物に対する作業指示内容を表す作業指示情報を生成する作業指示作成部１４と、を備える画像処理装置１０である。

Description

画像処理装置、作業指示作成システム、作業指示作成方法
　本発明は、画像処理装置、作業指示作成システム及び作業指示作成方法に関する。
　従来、撮像対象物を固定カメラで観察して撮像対象物の状態を確認することが行われている。例えば、特許文献１は、「ケーシングと、前記ケーシングの本体に着脱可能に設けられる構成部品と、前記ケーシングの内部の所定の撮像対象の画像データを取得する撮像装置とを備え、前記撮像装置は、前記撮像対象を撮像可能な位置となるように前記構成部品に支持されることを特徴とする空気処理装置」を記載する（請求項１）。
特開２０１９－３９６５６号公報
　ところで、人手作業の工程でカメラの画像を解析して作業状況を確認したり、作業状況から作業指示を作成するためには、作業対象物の厳密な位置決めが必要となる。しかしながら、作業対象物の厳密な位置決めは、作業者の作業の妨げとなったり、作業対象物の位置決めのための専用の固定器具が必要になるなど、カメラを用いた作業状況の解析のためのシステムを導入する障壁となっていた。また、作業対象物の厳密な位置決めをしても、作業対象物の個体差（例えば、プリント基板上の部品の実装位置の個体差）により画像解析が困難な場合もあった。また作業対象物によってはその外観の固定ができないものもあった（例えば、作業対象物としての産業用ロボットの各軸の位置姿勢）。
　本開示の一態様は、作業対象物を含むように第１の画角で撮像された第１の画像を第１の機械学習により解析し、前記第１の画像内での前記作業対象物の位置を検出する作業対象物検出部と、検出された前記作業対象物の位置に基づき、前記作業対象物を含むように前記第１の画角よりも狭い第２の画角で撮像された第２の画像を第２の機械学習で解析し、前記作業対象物の作業状態を検出する作業状況検出部と、検出された前記作業状態に基づいて前記作業対象物に対する作業指示内容を表す作業指示情報を生成する作業指示作成部と、を備える画像処理装置である。
　本開示の別の態様は、上記画像処理装置と、パン、チルト及びズーム機能を有する撮像装置と、出力機器と、を備え、前記作業対象物検出部は、前記撮像装置に前記作業対象物を前記第１の画角で撮像させることで前記第１の画像を取得し、前記作業状況検出部は、前記作業対象物検出部により検出された前記作業対象物の位置に基づいて、前記撮像装置のパン、チルト及びズーム機能を制御することで前記撮像装置に前記作業対象物を前記第２の画角で撮像させることで前記第２の画像を取得し、前記作業指示作成部は、前記作業指示情報を前記出力機器に出力する、作業指示作成システムである。
　本開示の更に別の態様は、作業対象物が入る第１の画角で該作業対象物を撮像して第１の画像を取得し、前記第１の画像を第１の機械学習により解析し、前記第１の画像内で前記作業対象物の位置を検出し、検出された前記作業対象物の位置に基づき、前記作業対象物を含むように前記第１の画角よりも狭い第２の画角で前記作業対象物を撮像して第２の画像を取得し、前記第２の画像を第２の機械学習により解析し、前記作業対象物の作業状態を検出し、検出された前記作業状態に基づいて前記作業対象物に対する作業指示内容を表す作業指示情報を生成して出力機器に出力する、作業指示作成方法である。
　上記構成によれば、作業対象物を厳密に位置決めできなかったり、作業対象物に個体差が有ったり、作業対象物の外観が固定されないような状況においても作業状態の確認及びそれに基づく作業指示の作成を確実に行うことができる。
　添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。
本実施形態に係る画像処理装置を含む作業指示作成システムのシステム構成図である。 画像処理装置の機能ブロック図である。 ワークを広角で撮影した画像からワークを検出した例を示す図である。 図３Ａのワークを望遠で撮影した画像からワークの作業状態を検出した例を示す図である。 ワークを広角で撮影した画像からワークを検出した例を示す図である。 図４Ａのワークを望遠で撮影した画像からワークに対する作業指示を作成して表示した例を示す図である。 ワークを広角で撮影した画像からワークを検出した例を示す図である。 図５Ａのワークを望遠で撮影した画像からワークに対する作業指示を作成して表示した例を示す図である。 畳み込みニューラルネットワークの構成例を表す図である。 作業指示作成処理を表すフローチャートである。 複数の作業場所にあるワークに対して作業指示を出すように構成された作業指示作成システムの構成を表す図である。
　次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。
　図１は本実施形態に係る画像処理装置１０を含む作業指示作成システム１のシステム構成図である。図１に示されるように、作業指示作成システム１は、画像処理装置１０と、出力機器２０と、パン、チルト、及びズーム機能を有する撮像装置３０とを備える。作業指示作成システム１は、作業対象物（以下、ワークと記す）Ｗの厳密な位置決めを要することなく、撮像装置３０により取得した作業対象物Ｗの画像を解析してワークＷに対する作業状態を確認し、作業者に対して出力機器２０を介して作業指示を出すように構成される。
　画像処理装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、操作部、入出力インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしての構成を有していても良い。出力機器２０は、作業者に対する作業指示を出力する機として、表示装置、音声出力装置、印刷装置等の様々な機器を用いることが可能である。本実施形態では出力機器２０として表示モニタを用いるものとする。出力機器２０は、作業台２６上に配置され、作業対象物Ｗに対し行うべき作業指示を表示する。撮像装置３０は、作業台２６が設置されている作業空間内において、ワークＷを撮像可能な位置に配置されていれば良い。
　図２は、画像処理装置１０の機能ブロック図を示す。図２に示されるように、画像処理装置１０は、画像取得部１１、作業対象物検出部１２、作業状況検出部１３、及び作業指示作成部１４を備える。画像取得部１１は、撮像装置３０が撮像した画像を取得する。作業対象物検出部１２は、ワークＷを含むように第１の画角（広角）で撮像された第１の画像を第１の機械学習により解析し、第１の画像内でのワークＷの位置を検出する。
　作業状況検出部１３は、作業対象物検出部１２により検出されたワークＷの位置に基づき、ワークＷを含むように（例えばワークＷが画像の中心付近に来るように）第１の画角よりも狭い（望遠側の）第２の画角で撮像された第２の画像を第２の機械学習で解析し、ワークＷの作業状態を検出する。作業指示作成部１４は、検出された作業状態に基づいてワークＷに対す作業指示内容を表す作業指示情報を生成し出力機器２０に出力させる。
　このように、本実施形態の画像処理装置１０は、まず作業空間を広角で撮影した画像を解析することにより画像内でのワークの位置を特定し、次に、特定されたワークＷの位置に基づいて、例えばワークが画像の中央に映るように望遠で撮影する。そして、画像処理装置１０は、望遠で大きく撮影されたワークの画像を解析することでワークに対する作業状況を確認し、作業指示情報を生成する。このような構成により、作業状況をカメラで確認するためにワークを厳密に位置決めする必要がなくなる。
　以下では、作業内容としてワークに対するネジ締め作業の場合を例として画像処理装置１０の動作の詳細について説明する。図３Ａは、撮像装置３０が、ワークＷ１を含む作業空間を広角で撮影した画像１０１である。ワークＷ１の広角画像を撮影するために、作業対象物検出部１２は、作業空間内でのワークＷ１の配置情報と撮像装置３０の作業空間内での配置情報とを用いて、撮像装置３０のパン、チルト、及びズーム機能を制御するようにしてもよい。作業対象物検出部１２は、画像取得部１１を介して画像１０１を取得する。
　作業対象物検出部１２は、機械学習を行う機能を有し、画像１０１を機械学習（第１の機械学習）により解析してワークＷ１の位置を検出する。図３Ａ中には、機械学習による物体検出結果として、ワークＷ１の領域を示す枠線（バウンディングボックス）２０１、物体検出結果を示すラベル３０１が表示されている。検出結果を示すラベル３０１は、カテゴリ分類の結果である部品（“ｐａｒｔｓ”）と、その確率“１．００”とを含む。作業対象物検出部１２は、このように画像１０１内に物体検出結果が重畳された画像を出力機器２０に表示するようにしても良い。
　次に、作業状況検出部１３は、作業対象物検出部１２により検出されたワークＷ１の位置に基づいて、撮像装置３０のパン、チルト、及びズーム機能を制御することで、例えば、ワークＷ１が画像の中心に写るように撮像装置３０に望遠でワークＷ１を撮影させる。図３Ｂは、撮像装置３０によりワークＷ１が画像の中心に写るように望遠で撮影されたワークＷ１の画像１０２である。そして、作業状況検出部１３は、画像１０２を機械学習（第２の機械学習）で解析することによりワークＷ１上のボルト及びボルト締結用の孔の位置を検出する。
　画像１０２内には、機械学習による物体検出結果として、ボルトの領域を示すバウンディングボックス２１１と、そのカテゴリ分類の結果のラベル３１１、及び孔の領域を示すバウンディングボックス２１２と、そのカテゴリ分類の結果であるラベル３１２とが示されている（一部にのみ符号を付す）。作業状況検出部１３は、このように画像１０２内に物体検出結果が重畳された画像を出力機器２０に表示するようにしても良い。
　本実施形態では、画像中の物体の検出に深層学習、具体的には、畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）を用いた物体検出アルゴリズムを使用する。一般に、このような物体検出アルゴリズムは、
（１）物体を含む領域（バウンディングボックスと呼ばれる）の抽出
（２）領域のＣＮＮ特徴の演算
（３）領域のカテゴリ分類及び正確な位置の回帰
のタスクを含む。
　このような物体検出アルゴリズムで用いられるＣＮＮの基本的な構成を図６に示す。図６に示すように、ＣＮＮは、入力画像２５１にフィルタ（カーネル）を適用して畳み込み演算を行う畳み込み層２６１、２６２と、ダウンサンプリングを行うプーリング層２７１、２７２の組み合わせから構成される。図６に示した例では、畳み込み層とプーリング層を２つずつ積み重ねることで、特徴マップ２８１、２８２、２８３、２８４が段階的に生成される様子を図示した。このようにＣＮＮにより得られた特徴マップに出力層として全結合層２９１を適用してカテゴリ分類、或いはバウンディングボックスの位置の回帰を行う。
　畳み込み層２６１、２６１における畳み込みの演算は、以下の数式で表される順伝播をフィルタ（カーネル）のチャンネル数毎に行う処理に対応する。
Figure JPOXMLDOC01-appb-M000001
 　　　　ここで、ｚは畳み込み層ユニットの出力、ｗiはフィルタの重みパラメータ、ｘiは入力（局所領域）、ｈは活性化関数、ｂはバイアスである。活性化関数ｈとしては、例えば、ロジスティックシグモイド関数、ＲｅＬＵ（Rectified Linear Unit）等を用いることができる。
　プーリング層２７１、２７２における演算として、例えば、入力データ中の最大値を出力する最大値プーリング、或いは入力データの平均値を出力する平均値プーリングを用いることができる。
　これらのＣＮＮを用いた物体検出の機械学習の学習段階では、入力画像とそれに対する正解のバウンディングボックス及び物体カテゴリを与える。そして、入力画像から得られる出力と正解との間の、損失関数により定義される損失を最小化するパラメータを誤差逆伝搬法により学習する。
　上述のようなＣＮＮを用いた物体検出アルゴリズムとして、RCNN（Region with CNNfeatures）、YOLO（You Only Look Once）、SSD（Single Shot Multibox Detector）等が当分野において知られている。これらの中で、RCNNは、はじめに選択的探索法を用いて領域候補を抽出し、抽出した領域にＣＮＮを適用するアプローチに属し、YOLO,SSDは、ＣＮＮにより物体らしさとバウンディングボックスの位置の推定を一度に実行するアプローチに属する。
　なお、本実施形態では、上述した例に限らず、機械学習による各種物体検出手法を用いることができる。
　作業状況検出部１３における学習の段階では、図３Ａで例示したようなワークＷ１の画像と、正解としてワークＷ１の領域（バウンディングボックス）及び物体のカテゴリを与えて学習を実行しておく。作業状況検出部１３における学習の段階では、図３Ｂに例示したようなワークＷ１の画像と、正解としてのボルトの領域（バウンディングボックス）及び物体カテゴリ、及び、正解としての孔の領域（バウンディングボックス）及び物体カテゴリを与えて学習を行っておく。
　次に、作業指示作成部１４による作業指示作成の詳細について説明する。作業指示作成の第１の例について説明する。図４Ａに示すように撮像装置３０が広角で撮影したワークＷ１を含む画像４０１を作業対象物検出部１２が解析することによりワークＷ１の位置が検出されたとする。図４Ａには、作業対象物検出部１２によるワークＷ１の検出結果としてのバウンディングボックス４４１も示されている。次に、作業状況検出部１３は、ワークＷ１を含むように望遠で撮影された画像４０２（図４Ｂ）を解析してワークＷ１上のボルト及び孔の検出を行う。この場合、ワークＷ１にはまだボルトが締結されていない状態であるため、作業状況検出部１３は、ワークＷ１上で９個の孔ｈ（一部にのみ符号ｈを付す）及びその位置を検出する。
　次に、作業指示作成部１４は、作業状況検出部１３による検出結果（ボルトの締結状態）と、予め保持していた作業内容情報とを対比する。作業内容情報が、図４ＢのようにワークＷ１を見た場合に「左下の孔から順に時計回りに全ての孔にボルトを締結すること」であるとする。作業指示作成部１４は、作業状況検出部１３から取得した情報（９個の孔に未だボルトが締結されていない状態）と上記作業内容情報とを対比することで、左下の孔にボルトを締結する指示を作成する。図４Ｂには、このような指示の一例が表されている。図４Ｂに示されるように、作業指示作成部１４は、次にボルト締結をすべき左下の孔ｈを囲む四角の枠線４６１の表示色を、他の孔ｈを囲む四角の枠線４６２の表示色と変えることによって枠線４６１で囲まれた左下の孔ｈに対して締結指示が出ていることを視覚的に把握できるようにする。作業指示作成部１４は、このように作業指示を示す枠線４６１及び４６２が重畳された画像４０２を出力機器２０に表示させる。
　作業指示を作成するために、ワークＷ１を基準とした各孔ｈの位置を知る必要がある場合には、作業指示作成部１４は、次のような手法でワークＷ１を基準とした各孔ｈの位置を特定することができる。
（１）作業状況検出部１３が検出した画像４０２内での孔ｈの配列（この場合は逆Ｕの字状の配列）に基づいてワークＷ１の幾何学的中心を推定することにより、ワークＷ１を基準とした各孔ｈの位置を特定する。
（２）作業対象物検出部１２により検出された画像４０１内でのワークＷ１の位置と、作業状況検出部１３が検出した画像４０２内での孔ｈの位置と、画像４０２を取得するためにパン、チルト及びズーム機能がどのように制御されたかを表す情報とに基づいてワークＷ１を基準とした各孔ｈの位置を特定する。
　作業指示作成の第２の例について説明する。図５Ａに示すように撮像装置３０が広角で撮影したワークＷ１を含む画像５０１を作業対象物検出部１２が解析することによりワークＷ１の位置が検出されたとする。図５Ａには、作業対象物検出部１２によるワークＷ１の検出結果としてのバウンディングボックス５４１も示されている。次に、作業状況検出部１３は、ワークＷ１を含むように望遠で撮影された画像５０２（図５Ｂ）を解析してワークＷ１上のボルト及び孔の検出を行う。この場合、ワークＷ１の９つの孔のうち、左下の２つの孔にはボルトが締結されている状態であるため、作業状況検出部１３は、ワークＷ１の９つの孔の位置のうち左下の２箇所の位置にボルトｂを検出し、それ以外の７か所の位置に孔ｈを検出する。
　次に、作業指示作成部１４は、作業状況検出部１３による検出結果と、予め保持していて作業内容情報とを対比する。作業内容情報は、上述の図４Ｂの場合と同じであるものとする。作業指示作成部１４は、作業状況検出部１３から取得した情報（９個の孔のうち左下の２箇所にボルトが締結されている）と上記作業内容情報とを対比することで、左下から３番目の孔にボルトを締結する指示を作成する。図５Ｂには、このような指示の一例が表されている。図５Ｂに示されるように、作業指示作成部１４は、次にボルト締結をすべき左下から三番目の孔ｈを囲む四角の枠線５６１の表示色を、他の孔ｈを囲む四角の枠線５６２の表示色と変えることによって枠線５６１で囲まれた孔ｈに対して締結指示が出ていることを視覚的に把握できるようにする。さらに、作業指示作成部１４は、ボルトｂが締結済みの位置を囲む枠線５６０については枠線５６１及び５６２と異なる表示色を用いて締結済みであることを示すようにしても良い。作業指示作成部１４は、このように作業指示を示す枠線５６０－５６２が重畳された画像５０２を出力機器２０に表示させる。
　図７は、画像処理装置１０による作業指示作成処理（作業指示作成方法）をフローチャートとして表したものである。はじめに、画像処理装置１０（作業対象物検出部１２）は、撮像装置３０が広角（第１の画角）で撮影した第１の画像を取得する（ステップＳ１）。次に、作業対象物検出部１２は、第１の画像を機械学習（第１の機械学習）により解析し、作業対象物の位置を検出する（ステップＳ２）。次に、作業状況検出部１３は、作業対象物検出部１２により検出された作業対象物の位置に基づいて、例えば作業対象物が中心に写るように作業対象物を望遠（第２の画角）で撮影した第２の画像を取得する（ステップＳ３）。
　次に、作業状況検出部１３は、第２の画像を機械学習（第２の機械学習）により解析し、作業対象物の作業状態を確認する（ステップＳ４）。次に、作業指示作成部１４は、作業状況検出部１３により検出された作業状態に基づき、作業対象物に対する作業指示を作成し、出力機器２０に出力する（ステップＳ５）。
　実際の作業現場では、複数の作業者により作業工程が並行して行われる状況が想定される。図８に示すように、三人の作業者８１、８２、８３がそれぞれ作業を行う状況を想定する。この場合、図１に示した構成の作業指示作成システム１において画像処理装置１０に複数の出力機器２０を接続する構成とする。複数の出力機器２０を作業者８１－８３の位置にそれぞれ配置する。画像処理装置１０は、例えば、定期的に巡回する形で、或いは作業者側のイベント（例えば作業完了を示す信号）に応じて、それぞれの作業者８１－８３の作業状況を確認して作業指示を出す。
　具体的には、この場合、作業対象物検出部１２にワークＷ２１－Ｗ２３の作業空間内での配置位置情報（或いは作業者８１、８２、８３それぞれの作業場の配置位置情報）と、撮像装置３０の作業空間内での配置位置情報とを記憶させておく。作業者８１－８３の作業状況を循環して確認する動作を想定する。はじめに、作業対象物検出部１２は、ワークＷ２１の配置位置情報と、撮像装置３０の配置位置情報とに基づいて撮像装置３０をパン及びチルトさせて作業者８１の作業対象であるワークＷ２１を広角で撮影し、ワークＷ２１の画像内での位置を検出する。そして、作業状況検出部１３は作業者８１によるワークＷ２１に対する作業状況を確認する。そして、作業指示作成部１４は、ワークＷ２１の作業状況を、予め記憶しておいたワークＷ２１の作業内容情報と対比することで、作業者８１に対する作業指示を作成し作業者８１の位置の出力機器２０に出力する。作業者８２、８３に関しても同様の動作で順に作業指示の作成及び出力が行われる。
　ここでは、作業者８１－８３を定期的に循環する形式で作業状況を確認する動作例を説明したが、例えば、各作業者が自動締結機を用いている場合に自動締結機からネジ締め動作完了を示す信号を画像処理装置１０に送信する構成とすることで、作業者８１－８３側からのネジ締め完了を示す信号の到来に応じて作業状況を確認して次の作業指示を出す構成とすることができる。以上の構成によれば、従来構成であれば作業者三人に対して固定カメラが３台必要であったような状況に対しても、撮像装置３０一台で三人の作業者に対する作業指示を出すことができる。
　以上説明したように、本実施形態によれば、作業対象物を厳密に位置決めできなかったり、作業対象物に個体差が有ったり、作業対象物の外観が固定されないような状況においても作業状態の確認及びそれに基づく作業指示の作成を確実に行うことができる。
　以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。
　上述の実施形態では作業確認の内容としてワークのボルトの締結状態を確認する例を記載したが、作業確認の内容としては、プリント基板の部品の実装状態の確認、産業用ロボットについての組立状況の確認、バリ取り作業におけるバリ取り状態の確認、研磨作業における作業状態の確認など、画像解析により作業状態を確認し得る様々な作業が含まれ得る。
　図２に示した画像処理装置１０の機能ブロックは、画像処理装置１０のＣＰＵが、記憶装置に格納された各種ソフトウェアを実行することで実現されても良く、或いは、ＡＳＩＣ（Application Specific Integrated IC）等のハードウェアを主体とした構成により実現されても良い。
　上述した実施形態における作業指示作成処理等の各種の処理を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。
　１　　作業指示作成システム
　１０　　画像処理装置
　１１　　画像取得部
　１２　　作業対象物検出部
　１３　　作業状況検出部
　１４　　作業指示作成部
　２０　　出力機器
　２６　　作業台
　３０　　撮像装置

Claims (7)

  1. 　作業対象物を含むように第１の画角で撮像された第１の画像を第１の機械学習により解析し、前記第１の画像内での前記作業対象物の位置を検出する作業対象物検出部と、
    　検出された前記作業対象物の位置に基づき、前記作業対象物を含むように前記第１の画角よりも狭い第２の画角で撮像された第２の画像を第２の機械学習で解析し、前記作業対象物の作業状態を検出する作業状況検出部と、
    　検出された前記作業状態に基づいて前記作業対象物に対する作業指示内容を表す作業指示情報を生成する作業指示作成部と、を備える画像処理装置。
  2. 　前記作業状況検出部は、前記第２の機械学習により前記第２の画像内における前記作業対象物上のボルト及びボルト締結用の孔の位置を検出することで、前記作業対象物に対する前記ボルトの締結状態を前記作業状態として検出する、請求項１に記載の画像処理装置。
  3. 　前記作業指示作成部は、前記孔にボルト締結を行うことを指示する情報を前記作業指示情報として生成する、請求項２に記載の画像処理装置。
  4. 　請求項１から３のいずれか一項に記載の画像処理装置と、
    　パン、チルト及びズーム機能を有する撮像装置と、
    　出力機器と、を備え、
    　前記作業対象物検出部は、前記撮像装置に前記作業対象物を前記第１の画角で撮像させることで前記第１の画像を取得し、
    　前記作業状況検出部は、前記作業対象物検出部により検出された前記作業対象物の位置に基づいて、前記撮像装置のパン、チルト及びズーム機能を制御することで前記撮像装置に前記作業対象物を前記第２の画角で撮像させることで前記第２の画像を取得し、
    　前記作業指示作成部は、前記作業指示情報を前記出力機器に出力する、作業指示作成システム。
  5. 　作業空間内の複数の作業場にそれぞれ配置された複数の前記出力機器を備え、
    　複数の前記作業対象物が複数の前記作業場にそれぞれ配置され、
    　前記作業対象物検出部は、複数の前記作業対象物の各々の前記作業空間内での配置位置情報及び前記撮像装置の前記作業空間内での配置位置情報に基づいて、前記撮像装置のパン、チルト及びズーム機能を制御することで、複数の前記作業対象物の各々について前記撮像装置に前記第１の画像を撮像させて複数の前記作業対象物の各々について前記第１の画像内での位置を検出し、
    　前記作業状況検出部は、複数の前記作業対象物の各々について検出された前記第１の画像内での位置に基づいて、前記撮像装置のパン、チルト及びズーム機能を制御することで、複数の前記作業対象物の各々について前記撮像装置に前記第２の画像を撮像させて複数の前記作業対象物の各々について前記作業状態を検出し、
    　前記作業指示作成部は、検出された各々の前記作業対象物の作業状態に基づいて、各々の前記作業対象物に対する前記作業指示情報を生成して、前記出力機器の各々に出力する、請求項４に記載の作業指示作成システム。
  6. 　前記作業対象物検出部は、定期的に循環する形式で複数の前記作業対象物の各々について前記撮像装置に前記第１の画像を撮像させて複数の前記作業対象物の各々について前記第１の画像内での位置を検出する、請求項５に記載の作業指示作成システム。
  7. 　作業対象物が入る第１の画角で該作業対象物を撮像して第１の画像を取得し、
    　前記第１の画像を第１の機械学習により解析し、前記第１の画像内で前記作業対象物の位置を検出し、
    　検出された前記作業対象物の位置に基づき、前記作業対象物を含むように前記第１の画角よりも狭い第２の画角で前記作業対象物を撮像して第２の画像を取得し、
    　前記第２の画像を第２の機械学習により解析し、前記作業対象物の作業状態を検出し、
    　検出された前記作業状態に基づいて前記作業対象物に対する作業指示内容を表す作業指示情報を生成して出力機器に出力する、作業指示作成方法。
PCT/JP2021/007765 2020-03-05 2021-03-01 画像処理装置、作業指示作成システム、作業指示作成方法 WO2021177245A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180019177.4A CN115244576A (zh) 2020-03-05 2021-03-01 图像处理装置、作业指示生成系统、作业指示生成方法
JP2022504359A JP7436627B2 (ja) 2020-03-05 2021-03-01 画像処理装置、作業指示作成システム、作業指示作成方法
DE112021001443.9T DE112021001443T5 (de) 2020-03-05 2021-03-01 Bildverarbeitungsvorrichtung, arbeitsanweisungserstellungssystem und arbeitsanweisungserstellungsverfahren
US17/908,097 US20230360193A1 (en) 2020-03-05 2021-03-01 Image processing device, work instruction creating system, and work instruction creating method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020038065 2020-03-05
JP2020-038065 2020-03-05

Publications (1)

Publication Number Publication Date
WO2021177245A1 true WO2021177245A1 (ja) 2021-09-10

Family

ID=77614311

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007765 WO2021177245A1 (ja) 2020-03-05 2021-03-01 画像処理装置、作業指示作成システム、作業指示作成方法

Country Status (5)

Country Link
US (1) US20230360193A1 (ja)
JP (1) JP7436627B2 (ja)
CN (1) CN115244576A (ja)
DE (1) DE112021001443T5 (ja)
WO (1) WO2021177245A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230061004A1 (en) * 2021-08-25 2023-03-02 UnitX, Inc. Dimensional measurement method based on deep learning

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07108426A (ja) * 1993-10-07 1995-04-25 Nippon Steel Corp ボルト自動着脱装置
JP2009037392A (ja) * 2007-08-01 2009-02-19 Olympus Corp 作業支援システム
JP2018149677A (ja) * 2018-07-03 2018-09-27 パナソニックＩｐマネジメント株式会社 制御装置及びそれを用いた作業管理システム
JP2018207360A (ja) * 2017-06-07 2018-12-27 キヤノン株式会社 画像処理装置、作業支援システム、制御方法およびプログラム
JP2019101516A (ja) * 2017-11-29 2019-06-24 ファナック株式会社 作業者管理装置
JP2019161606A (ja) * 2018-03-16 2019-09-19 オリンパス株式会社 移動撮像システム、学習方法、移動撮像装置、情報取得制御装置、情報取得制御方法及び情報取得制御プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5507595B2 (ja) * 2012-02-17 2014-05-28 ファナック株式会社 ロボットを用いた物品組付け装置
US11543967B2 (en) 2017-02-23 2023-01-03 Samsung Electronics Co., Ltd. Method for controlling BW SLA in NVME-of ethernet SSD storage systems
AU2018324134B2 (en) 2017-08-28 2021-05-27 Daikin Industries, Ltd. Air processing device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07108426A (ja) * 1993-10-07 1995-04-25 Nippon Steel Corp ボルト自動着脱装置
JP2009037392A (ja) * 2007-08-01 2009-02-19 Olympus Corp 作業支援システム
JP2018207360A (ja) * 2017-06-07 2018-12-27 キヤノン株式会社 画像処理装置、作業支援システム、制御方法およびプログラム
JP2019101516A (ja) * 2017-11-29 2019-06-24 ファナック株式会社 作業者管理装置
JP2019161606A (ja) * 2018-03-16 2019-09-19 オリンパス株式会社 移動撮像システム、学習方法、移動撮像装置、情報取得制御装置、情報取得制御方法及び情報取得制御プログラム
JP2018149677A (ja) * 2018-07-03 2018-09-27 パナソニックＩｐマネジメント株式会社 制御装置及びそれを用いた作業管理システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230061004A1 (en) * 2021-08-25 2023-03-02 UnitX, Inc. Dimensional measurement method based on deep learning
US11854182B2 (en) * 2021-08-25 2023-12-26 UnitX, Inc. Dimensional measurement method based on deep learning

Also Published As

Publication number Publication date
JPWO2021177245A1 (ja) 2021-09-10
JP7436627B2 (ja) 2024-02-21
US20230360193A1 (en) 2023-11-09
DE112021001443T5 (de) 2023-01-12
CN115244576A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
EP1981278B1 (en) Automatic tracking device and automatic tracking method
JP4193895B2 (ja) 欠陥検査装置
JP7337495B2 (ja) 画像処理装置およびその制御方法、プログラム
JP6265131B2 (ja) 視界表示システム、視界表示方法および視界表示プログラム
JP2003167613A (ja) 作業管理システム、作業管理方法、及びその方法を実現するためのプログラムを記憶した記録媒体
US20220114725A1 (en) Microscopy System and Method for Checking Input Data
CN113218952A (zh) Ic封装载板多尺度外观缺陷检测方法、装置、设备和介质
US10207409B2 (en) Image processing method, image processing device, and robot system
WO2021177245A1 (ja) 画像処理装置、作業指示作成システム、作業指示作成方法
JP7222231B2 (ja) 行動認識装置、行動認識方法及びプログラム
JP2021163078A (ja) 異物検出装置、異物除去装置および異物検出方法
KR100647750B1 (ko) 화상 처리 장치
US20100091125A1 (en) Template matching device, camera with template matching device, and program for allowing computer to carry out template matching
JP6708695B2 (ja) 検査装置
JP6897100B2 (ja) 判定装置、判定方法、および判定プログラム
JP6337530B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JPH08313217A (ja) 非接触画像計測システム
US11691237B2 (en) Machine control device
WO2020241648A1 (ja) 画像取得装置および画像取得方法
Korta et al. OpenCV based vision system for industrial robot-based assembly station: calibration and testing
JP4812099B2 (ja) カメラ位置検出方法
JP5123127B2 (ja) ワークの位置を求める画像処理装置
WO2024024090A1 (ja) 部品計数装置およびロボットシステム
WO2022157882A1 (ja) コンテナダメージ検出システム
US20230068692A1 (en) Image processing device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21765500

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022504359

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21765500

Country of ref document: EP

Kind code of ref document: A1