WO2022201422A1 - 画像処理装置、プログラム及び画像処理方法 - Google Patents

画像処理装置、プログラム及び画像処理方法 Download PDF

Info

Publication number
WO2022201422A1
WO2022201422A1 PCT/JP2021/012515 JP2021012515W WO2022201422A1 WO 2022201422 A1 WO2022201422 A1 WO 2022201422A1 JP 2021012515 W JP2021012515 W JP 2021012515W WO 2022201422 A1 WO2022201422 A1 WO 2022201422A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image
expected
background
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/012515
Other languages
English (en)
French (fr)
Inventor
慎吾 峯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to PCT/JP2021/012515 priority Critical patent/WO2022201422A1/ja
Priority to CN202180092834.8A priority patent/CN116982076A/zh
Priority to JP2023508309A priority patent/JP7317260B2/ja
Priority to DE112021006891.1T priority patent/DE112021006891T5/de
Priority to TW110133196A priority patent/TW202238067A/zh
Publication of WO2022201422A1 publication Critical patent/WO2022201422A1/ja
Priority to US18/237,937 priority patent/US12620117B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present disclosure relates to an image processing device, a program, and an image processing method.
  • a typical laser processing machine is equipped with a laser oscillator that oscillates a laser, an optical path through which the laser passes, a processing head that condenses and emits the laser, and a table on which the plate material is placed.
  • a laser oscillator that oscillates a laser
  • an optical path through which the laser passes a processing head that condenses and emits the laser
  • a table on which the plate material is placed a plate to be processed is placed on the table of the laser processing machine, the processing head is moved according to the coordinate system of the laser processing machine, and laser light is emitted to perform processing.
  • the plate material is placed at the expected position and inclination with respect to the coordinate system of the laser processing machine, it is possible to pick up the part as per the nesting, but in reality, the position or inclination of the plate material is shifted. May be placed on a table.
  • a plate material is placed on a detachable table in advance and automatically carried into the laser processing machine together with the table. In this case, the position or tilt is likely to shift due to vibrations during transportation.
  • an image processing apparatus for laser processing which is described in Patent Document 1, performs an operation using a captured image of a measurement object, position measurement data, and three-dimensional reference data. , to calculate accurate position information of the object to be measured.
  • the imaging unit is arranged at a position facing the illumination unit with the object to be measured interposed therebetween, so that the illumination light from the illumination unit passes through the hole or the outer surface of the object to be measured. .
  • This image processing apparatus acquires an image in which the transmitted light is captured by the imaging unit and the outline of the hole or the outer surface of the object to be measured is emphasized. As a result, it is possible to accurately determine the position and inclination of the object to be measured, such as a plate, without being affected by lighting conditions such as illumination light or outside light, or shooting conditions such as the state of cutting oil applied to the plate. .
  • the detection rate of the measurement object can be improved, but the scale of the device increases and the cost also increases.
  • an object of one or more aspects of the present disclosure is to make it possible to determine whether or not an object has been accurately detected with a simple configuration.
  • An image processing apparatus processes captured image data representing a captured image that is an image including an object to be detected and a background of the object, thereby obtaining a processed image that is an image in which the object is detected. and a virtual image in which the object is placed at the position on the background based on the object data indicating the position of the object and the background data indicating the background
  • a detection result for determining whether or not the object is correctly detected in the processed image data by comparing the processed image data and the expected data with an expected data generation unit that generates expected data representing the expected image and a determination unit.
  • a program causes a computer to process captured image data representing a captured image that is an image including an object to be detected and a background of the object, thereby processing an image in which the object is detected.
  • an object detection unit for generating processed image data representing an image; placing the object represented by the attribute at the position on the background based on object data representing the position of the object and background data representing the background; and an expected data generation unit for generating expected data indicating an expected image, which is a virtual image that has been processed, and by comparing the processed image data and the expected data, whether or not the object has been correctly detected in the processed image data. It is characterized by functioning as a detection result determination unit that determines whether or not.
  • An image processing method is a processed image that is an image in which the object is detected by processing captured image data representing a captured image that is an image that includes an object to be detected and a background of the object. and based on the object data indicating the position of the object and the background data indicating the background, an expected image that is a virtual image in which the object is arranged at the position on the background is generated, and the processed image data and the expected data are compared to determine whether or not the object is correctly detected in the processed image data.
  • FIG. 1 is a block diagram schematically showing the configuration of a laser processing machine according to Embodiments 1 and 2; FIG. It is a schematic perspective view for demonstrating a laser oscillator and a processing head.
  • 1 is a block diagram schematically showing the configuration of an image processing apparatus according to Embodiment 1;
  • FIG. (A) to (C) are schematic diagrams for explaining the operation of generating expected data.
  • (A) to (C) are schematic diagrams for explaining complementary processing in a detection result determination unit.
  • (A) to (C) are schematic diagrams for explaining correction processing in a detection result determination unit.
  • FIG. 1 is a block diagram schematically showing the configuration of a laser processing machine 100 according to Embodiment 1.
  • the laser processing machine 100 includes a laser oscillator 101 , a processing head 102 , an imaging device 103 , an input device 104 , a display device 105 and a control device 106 .
  • a laser oscillator 101 is a device that oscillates a laser.
  • the processing head 102 is a device that condenses and emits laser light.
  • FIG. 2 is a schematic perspective view for explaining the laser oscillator 101 and the processing head 102.
  • the laser oscillator 101 and the processing head 102 are connected by an optical path 107 through which the laser passes.
  • a plate material 109 to be processed is placed on the table 108, the processing head 102 is moved according to the coordinate system of the laser processing machine 100, and the laser oscillated by the laser oscillator 101 is emitted from the processing head 102 to perform processing. is done.
  • the imaging device 103 is a device for capturing an image of an object and its background.
  • the imaging device 103 is a camera such as a CCD (Charge Coupled Device).
  • the input device 104 is a device that receives input of various instructions from the user.
  • the display device 105 is a device that displays various screen images.
  • the display device 105 may be a programmable display or the like that displays operation results or device status.
  • the input device 104 and the display device 105 may be configured as one device using a touch panel, for example.
  • the control device 106 is a computer that controls processing in the laser processing machine 100 .
  • the control device 106 controls operations of the laser oscillator 101 , processing head 102 , imaging device 103 , input device 104 and display device 105 .
  • the control device 106 includes a ROM (Read Only Memory) 106a, a HDD (Hard Disk Drive) 106b, a RAM (Random Access Memory) 106c, and a CPU (Central Processing Unit) 106d.
  • ROM Read Only Memory
  • HDD Hard Disk Drive
  • RAM Random Access Memory
  • CPU Central Processing Unit
  • the ROM 106a is a non-volatile memory that stores data and programs.
  • the HDD 106b is a storage device that stores data and programs.
  • the HDD 106b is composed of a magnetic memory or the like, and stores, for example, software, which is a group of programs required for various processes by the CPU 106d. It should be noted that the programs constituting various processing software by the CPU 106d may be incorporated in the computer in advance as dedicated hardware, or may be incorporated in the ROM 106a or the HDD 106b in advance.
  • the RAM 106c is a volatile memory that provides a work area for the CPU 106d.
  • the RAM 106c temporarily stores intermediate results of calculations performed by the CPU 106d.
  • the CPU 106d can write to or read from the RAM 106c at high speed.
  • the CPU 106d reads a program stored in the ROM 106a or the HDD 106b into the RAM 106c and executes the program to control processing in the laser processing machine 100.
  • the CPU 106d processes instructions of various programs.
  • the CPU 106d also temporarily stores data necessary for each process in the RAM 106c or the HDD 106b.
  • control device 106 shown in FIG. 1 is realized by a so-called computer, but the present embodiment is not limited to such an example.
  • the control device 106 may be implemented by a processing circuit such as a system LSI.
  • controller 106 may be configured with processing circuitry.
  • the image processing apparatus according to the first embodiment is realized by the control device 106 as described above.
  • the control device 106 is included in the laser processing machine 100, but the control device 106 may be a separate device from the laser processing machine 100.
  • FIG. 3 is a block diagram schematically showing the configuration of the image processing device 120 according to Embodiment 1.
  • the image processing device 120 includes a storage unit 130 , an object detection unit 121 , an expected data generation unit 122 , a detection result determination unit 123 , a display operation unit 124 and a position/tilt calculation unit 125 .
  • the image processing device 120 is connected to the imaging unit 110 , the display unit 111 and the input unit 112 .
  • the imaging unit 110 is a functional block realized by the imaging device 103 shown in FIG. 1, acquires an image of an object and background, and generates captured image data representing the image.
  • the captured image data indicates a captured image that is an image including an object to be detected and the background of the object.
  • a display unit 111 is a functional block realized by the display device 105 shown in FIG. 1, and displays various screen images.
  • the input unit 112 is a functional block realized by the input device 104 shown in FIG. 1, and receives input of various instructions.
  • the storage unit 130 stores data necessary for processing in the image processing device 120 .
  • the storage unit 130 stores captured image data 131 , object data 132 , background data 133 and calculation data 134 .
  • the captured image data 131 is image data representing an image captured by the imaging unit 110 .
  • the object data 132 is data indicating attributes and positions of objects to be detected.
  • the attribute is, for example, the name of the physical property, which is the name of the object, the dimensions of the object, or the color of the object.
  • the position is, for example, placement coordinates, which are the coordinates of the position where the object is placed.
  • the object to be detected is a plate and has a rectangular shape. In other words, it is assumed that the type of object shape is predetermined.
  • the attribute of the object data 132 may include the shape type of the object.
  • the actual shape of the object here, rectangular shape
  • the dimension included in the attribute is information that can specify the shape of the object, and this information may include the attribute of the shape of the object.
  • the object data 132 may be data representing numerical values or text representing the dimensions or color of the object, or may be data obtained in advance from digital design data (for example, CAD data, etc.) of the object to be detected. .
  • the object data 132 may be registered in advance by the user in a DB (Data Base) or the like and downloaded from the DB, or may be imported from software or the like for creating a nesting program.
  • DB Data Base
  • the background data 133 is data indicating a background on which the object indicated by the object data is virtually arranged.
  • the background data 133 may be image data obtained by photographing the table 108 of the laser processing machine 100 without arranging the object to be detected by the imaging unit 110 .
  • the background data 133 may be image data digitally created by simulating the table 108 from information such as the size or color of the table 108 of the laser processing machine 100, or may simply be an area so that the positional relationship of objects can be understood. It may be image data indicated by a rectangle.
  • the background data 133 may be text data indicating the size and position of the background area.
  • text data for example, color, X coordinate, Y coordinate, width and height information are stored as numeric text information, and when generating the expected data, image data in SVG (Scalable Vector Graphics) format.
  • SVG Scalable Vector Graphics
  • Background data can be generated by specifying it. ⁇ ?
  • the calculation data 134 is data indicating the result calculated by the position/tilt calculation unit 125 .
  • the calculation data 134 may be data indicating the position where the object to be detected is arranged and the deviation of the inclination.
  • the object detection unit 121 detects an object placed on the table 108 from the captured image, which is the image represented by the captured image data 131 .
  • the object detection unit 121 may detect an object by known image processing, and the image processing is not particularly limited. In other words, the object detection unit 121 processes captured image data representing a captured image that is an image that includes an object to be detected and a background of the object, thereby performing processing that represents a processed image that is an image in which the object is detected. Generate image data. The processed image data is given to the detection result determination unit 123 .
  • Expected data generator 122 generates expected data based on object data 132 and background data 133 .
  • the expected data generation unit 122 generates expected data representing a virtual image when an object having the attribute indicated by the object data 132 is arranged at the position indicated by the object data 132 in the background indicated by the background data 133. Generate.
  • An image represented by expected data is also called an expected image.
  • FIGS. 4A to 4C are schematic diagrams for explaining the operation of generating expected data.
  • object data indicating the size, color, and location coordinates of the object
  • background data indicating a background of a single color.
  • expected data representing an expected image, which is an image in which an object is arranged on a background of a single color, is generated. Note that in FIG. 4A, arrangement coordinates are specified as the position of the object.
  • the image represented by the expected data is almost the same image data as the actual captured image, it can be used as data to complement the shape of the object to be detected when the object cannot be detected correctly from the captured image. .
  • the detection result determination unit 123 compares the processed image data from the object detection unit 121 and the expected data from the expected data generation unit 122 to determine whether the object has been correctly detected in the processed image data. For example, when the number of objects indicated by the expected data matches the number of objects that can be specified from the processed image data from the object detection unit 121, the detection result determination unit 123 It is determined that the detection unit 121 can correctly detect the object.
  • the detection result determination unit 123 refers to the expected data to determine the following in the processed image data: Complement the object from a part of the object.
  • FIG. 5A to 5C are schematic diagrams for explaining the complementing process in the detection result determination unit 123.
  • FIG. 5A When the object detection unit 121 detects a part of the object as shown in FIG. 5A, the detection result determination unit 123 determines the expected data as shown in FIG. An image of the object located at the corresponding position can be used to interpolate the object, as shown in FIG. 5(C).
  • the detection result determination unit 123 uses the detected part as a template image and performs template matching on the expected image indicated by the expected data, so that the detected part is the part of any object. can determine whether Note that when the part matches a plurality of objects, the detection result determination unit 123 determines which object the part is a part of based on the positional relationship with other detected objects. Just do it.
  • the detection result determination unit 123 corrects the shape of the object detected by the object detection unit 121 using the expected data. For example, when the shape of the object detected in the processed image data is different from the shape of the article indicated by the expected data, the detection result determination unit 123 refers to the expected data to determine the shape of the object detected in the processed image data. modify the shape of the object.
  • FIG. 6A to 6C are schematic diagrams for explaining correction processing in the detection result determination unit 123.
  • FIG. 6A for example, when detecting a black rectangular plate, the object may be detected as being assimilated with the black background.
  • an area RA surrounded by a dashed line is a portion where the shape of the object is not correctly detected because it is assimilated with the background. Even in such a case, using the image of the object arranged at the corresponding position in the expected data as shown in FIG. You can modify the shape of the object.
  • the display operation unit 124 receives an operation input from the user to specify the position in the processed image of the object indicated by the expected data, Add an image of the object represented by the expected data. For example, when the object detection unit 121 cannot correctly detect the object and the part of the object is not detected, the display operation unit 124 displays the captured image indicated by the captured image data 131 on the display unit 111. , and an expected image indicated by the expected data are displayed, and the input unit 112 displays the correspondence between one or more objects included in the expected image and the positions of the one or more objects in the captured image. Accept input.
  • the display operation unit 124 instructs the user to align one or more object images included in the expected image with one or more corresponding positions in the captured image by an operation such as drag-and-drop. get Then, the display operation unit 124 gives the alignment result to the detection result determination unit 123 . Thereby, the detection result determination unit 123 can add the image of the object included in the expected image to the image of the detection result by the object detection unit 121 .
  • the detection result determination unit 123 indicates the target image, which is an image processed by complementing, correcting, or adding the image indicated by the processed image data from the object detection unit 121.
  • Target image data is generated, and the target image data is provided to the position/tilt calculator 125 .
  • the detection result determination unit 123 uses the processed image data provided from the object detection unit 121 as target image data. It is given to the calculator 125 .
  • the position/tilt calculation unit 125 compares the object specified via the processed image data with the object indicated by the expected data, thereby comparing the object specified via the processed image data with respect to the object indicated by the expected data. , and the deviation of the position and inclination of . Specifically, the position/tilt calculation unit 125 compares the target image data from the detection result determination unit 123 with the expected data, and determines whether the object included in the target image data is included in the expected data. Compute position and tilt deviations for the object. Then, the position/tilt calculator 125 generates calculation data 134 indicating the calculated shift, and causes the storage unit 130 to store the calculation data 134 .
  • FIG. 7 is a flow chart showing the operation of the image processing device 120 according to the first embodiment.
  • the expected data generating unit 122 reads the object data 132 and the background data 133 stored in the storage unit 130, and generates expected data from the object data 132 and the background data 133 (S10).
  • the generated expected data is given to the detection result determination unit 123 and the position/tilt calculation unit 125 .
  • the generated expected data may be stored in the storage unit 130, referred to by the detection result determination unit 123 and the position/tilt calculation unit 125, and used for the processing of each unit.
  • the detection result determination unit 123 reads captured image data 131 generated by capturing images of the object to be detected and the background by the imaging unit 110 from the storage unit 130 (S11).
  • the object detection unit 121 performs object detection by performing image processing on the captured image indicated by the captured image data 131 (S12).
  • Processed image data representing a processed image which is an image obtained by subjecting the captured image to image processing, is supplied to the detection result determination unit 123 .
  • the detection result determination unit 123 compares the expected data and the processed image data, and determines whether or not the object has been correctly detected (S13).
  • the detection result determination unit 123 determines that the objects have been correctly detected. If the object is correctly detected (Yes in S13), the process proceeds to step S17, and if the object is not correctly detected (No in S13), the process proceeds to step S14.
  • step S14 the detection result determination unit 123 determines whether a part of the article indicated by the expected data is detected in the processed image data (S14). For example, the detection result determination unit 123 determines whether or not the corresponding article is detected in the processed image data within a predetermined range from the position where each article indicated by the expected data is arranged. do. Then, the detection result determination unit 123 identifies one article for which the corresponding article is not detected in the processed image data among the articles indicated by the expected data. Furthermore, the detection result determination unit 123 determines whether or not a part of the specified item is detected at a predetermined position from the position where the specified item is arranged.
  • the detection result determination unit 123 detects, in the processed image data, a contour that overlaps the contour of the specified one item at a predetermined position from the position where the specified one item is arranged. determine whether or not When such a contour is detected, the detection result determination unit 123 determines that part of the article indicated by the expected data has been detected in the processed image data. Then, if a part of the article indicated by the expected data is detected in the processed image data (Yes in S14), the process proceeds to step S15, in which the expected data is detected in the processed image data. If a part of the article that is present has not been detected (No in S14), the process proceeds to step S16.
  • step S15 the detection result determination unit 123 complements the part of the article detected in the processed image data using the article indicated by the expected data. For example, the detection result determination unit 123 overlaps the image of the article so that the corresponding portion of the article indicated by the expected data overlaps the part detected in the processed image data. Then, returning to the processing step S13, the detection result determination unit 123 determines whether or not the parts complemented in the step S15 are included in the parts detected from the processed image data, and the parts are correctly detected.
  • step S16 the detection result determination unit 123 instructs the display operation unit 124 to accept an input from the user regarding the correspondence between the part indicated by the expected data and the part indicated by the processed image data.
  • the detection result determination unit 123 compares the shape of the part indicated by the processed image data with the shape of the corresponding part indicated by the expected data, so that the shape of the part indicated by the processed image data is, for example, , the shape of the corresponding part indicated by the expected data is used for correction (S17).
  • the position/tilt calculation unit 125 uses the processed image data, or the processed image data complemented, corrected, or added by the detection result determination unit 123 or the display operation unit 124 as target image data. , and the deviation of the position and inclination from the corresponding article indicated by the expected data is calculated (S18).
  • the position/tilt calculation unit 125 generates calculation data 134 indicating the calculated deviation, and stores the calculation data 134 in the storage unit 130 (S19).
  • the calculated data 134 stored in this manner is referred to by a program that controls the machining path by moving the machining head, and machining is performed by correcting the machining path according to the calculated data.
  • Embodiment 2 describes an example in which expected data is referred to in image processing used in object detection.
  • a laser processing machine 200 according to the second embodiment includes a laser oscillator 101, a processing head 102, an imaging device 103, an input It comprises a device 104 , a display device 105 and a control device 106 .
  • the image processing apparatus realized by the control device 106 is different from the image processing apparatus according to the first embodiment.
  • FIG. 8 is a block diagram schematically showing the configuration of an image processing device 220 according to Embodiment 2.
  • the image processing device 220 includes a storage unit 130 , an object detection unit 221 , an expected data generation unit 122 , a detection result determination unit 123 , a display operation unit 124 and a position/tilt calculation unit 125 .
  • the storage unit 130, the expected data generation unit 122, the detection result determination unit 123, the display operation unit 124, and the position inclination calculation unit 125 of the image processing device 220 according to the second embodiment are the same as those of the image processing device 120 according to the first embodiment. It is the same as the storage unit 130 , the expected data generation unit 122 , the detection result determination unit 123 , the display operation unit 124 and the position/tilt calculation unit 125 .
  • the expected data generator 122 also provides the generated expected data to the object detector 221 .
  • the generated expected data may be stored in the storage unit 130, referenced by the object detection unit 221, and used for processing.
  • the object detection unit 221 detects an object placed on the table 108 from the captured image, which is the image represented by the captured image data 131 .
  • the object detection unit 221 in Embodiment 2 refers to the expected data, performs preprocessing on the captured image data using the adaptive binarization filter, and then detects an object from the background.
  • the threshold is not fixed, and the average value of the pixel values of the pixel of interest and the pixels surrounding the pixel of interest is used as the threshold, so a different threshold can be set for each pixel. . Therefore, by using the adaptive binarization filter, it is possible to process as expected even in a region where the color changes depending on the lighting environment.
  • a local region of arbitrary size is set in the entire image, a threshold value is calculated in the region, and each pixel is binarized. By scanning the local area over the entire image area, binarization of the entire image pixels is performed "with a threshold value that matches each area.”
  • a general adaptive binarization filter the user determines the size of the local region, and binarization is performed by the following processes 1 to 3.
  • 1 Perform the following 2 and 3 processes for all pixels.
  • the average value, median value, or (maximum value+minimum value)/2 of the pixel values of the pixels in the local region is usually used as the threshold value.
  • Binarization is performed depending on whether the pixel value of the target pixel is larger or smaller than the threshold obtained in 2 above.
  • the size of the local area is made relatively large so that the background and the foreground can be distinguished.
  • the object detection unit 121 refers to the expected data to reduce the size of the local region as the degree of similarity between the background color and the object color is lower. can be done.
  • the degree of color similarity may be specified by a known method. For example, it may be determined that the smaller the color difference, the higher the degree of similarity.
  • the object detection unit 121 can automatically determine an area near the edge of the object indicated by the expected data as a local area.
  • the object detection unit 121 can define a local area such that pixels in a predetermined area including pixels that are edges of the object indicated by the expected data are pixels of interest.
  • the object detection unit 121 can perform processing using the adaptive binarization filter only on a predetermined region that is part of the captured image and includes the edge of the object indicated by the expected data. can.
  • the unused pixels can be treated as background or object interior.
  • the object detection unit 121 detects only pixels in a predetermined region including pixels where a board as an object indicated by the expected data is arranged, instead of all pixels of the captured image indicated by the captured image data. can also be used for binarization. In other words, the object detection unit 121 can perform processing using the adaptive binarization filter only on a predetermined region that is part of the captured image and contains the object indicated by the expected data. In this case, the unused pixels can be treated as background.
  • the adaptive binarization filter cannot obtain a clear processing result if the area where the color does not change is large. Can be excluded from processing.
  • an example of a binarization filter is shown as image processing, but the image processing method to which the present invention is applied is not specified.
  • Embodiment 1 or 2 it is possible to determine whether the object has been correctly detected by comparing the result of object detection from the captured image with the expected data created in advance. Thereby, when detection is not correctly performed, the expected data can be used to complement or add to the detection result. Also, the expected data can be used to modify the shape of the object even if it is detected correctly.
  • the expected position or edge of the object to be detected with respect to the background data can be grasped in advance. Therefore, by detecting an object by image processing with reference to expected data as in Embodiment 2, image processing is performed only on a limited area such as the vicinity of the object to be detected. can be speeded up, and the accuracy of object detection can be improved. As a result, it is possible to provide a system capable of increasing the detection accuracy of an object without having a three-dimensional measurement unit or an illumination unit, and calculating the position and inclination of the object with a low-cost configuration.
  • the image processing apparatuses 120 and 220 measure the position of an object by image processing, and therefore have the advantage of being able to detect the position and inclination of an object in a shorter period of time than conventional apparatuses.
  • the prior art document described in Background Art includes an illumination unit and a position measurement unit in order to accurately detect a measurement object, but the scale of the apparatus is large and the cost is also high.
  • the image processing apparatuses 120 and 220 according to Embodiments 1 and 2 do not require an illumination unit and a position measurement unit. , the misrecognition rate of object position information can be reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置（１２０）は、検出対象となる物体及びその物体の背景を含む画像である撮像画像を示す撮像画像データ（１３１）を処理することで、その物体を検出した画像である処理画像を示す処理画像データを生成する物体検出部（１２１）と、その物体の位置を示す物体データ（１３２）及び背景を示す背景データ（１３３）に基づいて、背景の上に、その属性で示される物体をその位置に配置した仮想的な画像である期待画像を示す期待データを生成する期待データ生成部（１２２）と、処理画像データ及び期待データを比較することで、処理画像データにおいて物体が正しく検出されたか否かを判定する検出結果判定部（１２３）とを備える。

Description

画像処理装置、プログラム及び画像処理方法
　本開示は、画像処理装置、プログラム及び画像処理方法に関する。
　一般的なレーザー加工機は、レーザーを発振するレーザー発振器、レーザーが通る光路、レーザーを集光して射出する加工ヘッド及び板材を配置するテーブルを備える。レーザー加工時には、レーザー加工機のテーブル上に加工対象の板材を配置し、レーザー加工機が持つ座標系に従って加工ヘッドを移動させ、レーザー光を射出して加工を行う。
　そして、事前にＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ　Ｄｅｓｉｇｎ）等を用いて板材の上に加工予定の部品を無駄にならないように並べるネスティングにより、一枚の材料からより多くの部品を取ることができ、材料費の削減に効果がある。
　レーザー加工機が持つ座標系に対して板材が期待する位置及び傾きで配置されている場合は、ネスティングどおりに部品を取ることができるが、実際には、板材の位置又は傾きがずれた状態でテーブルに配置される場合がある。例えば、人手でレーザー加工機のテーブル上に板材を配置する場合には、板材を配置する位置及び傾きを示すガイド等がないため、位置又は傾きのずれが発生しやすい。また、自動化されたレーザー加工システムにおいては、事前に、取り外し可能なテーブル上に板材を配置し、テーブルごとレーザー加工機に自動搬入する場合もある。この場合には、搬入時の振動により、位置又は傾きのずれが発生しやすい。
　テーブル上において板材の位置又は傾きがずれると、板材に対する加工位置がずれ、予定した部品が取れず、材料が無駄になる。これに対して、例えば、特許文献１に記載されている、レーザー加工用の画像処理装置は、計測対象物の撮像画像と、位置計測データと、３次元基準データとを使用して演算を行い、正確な計測対象物の位置情報を算出する。この画像処理装置では、撮像部が計測対象物をはさんで照明部と相対する位置に配置されることで、照明部からの照明光が計測対象物に設けられた孔又は外表面を透過する。そして、この画像処理装置は、透過した透過光を撮像部で取り込み、計測対象物の孔又は外表面の輪郭を強調した画像を取得する。これにより、照明光若しくは外光による照明条件、又は、板材の切削油の塗布状態等の撮影条件に左右されずに、正確に板材等の計測対象物の位置及び傾きを求めることが可能となる。
特許第６６２１３５１号公報
　しかしながら、照明部及び位置計測部を備えることで、計測対象物の検出率を向上させることができるが、装置規模が大きくなり、コストも高くなる。
　そこで、本開示の一又は複数の態様は、簡易な構成で、物体が正確に検出されたか否かを判定できるようにすることを目的とする。
　本開示の一態様に係る画像処理装置は、検出対象となる物体及び前記物体の背景を含む画像である撮像画像を示す撮像画像データを処理することで、前記物体を検出した画像である処理画像を示す処理画像データを生成する物体検出部と、前記物体の位置を示す物体データ及び前記背景を示す背景データに基づいて、前記背景の上に、前記物体を前記位置に配置した仮想的な画像である期待画像を示す期待データを生成する期待データ生成部と、前記処理画像データ及び前記期待データを比較することで、前記処理画像データにおいて前記物体が正しく検出されたか否かを判定する検出結果判定部と、を備えることを特徴とする。
　本開示の一態様に係るプログラムは、コンピュータを、検出対象となる物体及び前記物体の背景を含む画像である撮像画像を示す撮像画像データを処理することで、前記物体を検出した画像である処理画像を示す処理画像データを生成する物体検出部、前記物体の位置を示す物体データ及び前記背景を示す背景データに基づいて、前記背景の上に、前記属性で示される前記物体を前記位置に配置した仮想的な画像である期待画像を示す期待データを生成する期待データ生成部、及び、前記処理画像データ及び前記期待データを比較することで、前記処理画像データにおいて前記物体が正しく検出されたか否かを判定する検出結果判定部、として機能させることを特徴とする。
　本開示の一態様に係る画像処理方法は、検出対象となる物体及び前記物体の背景を含む画像である撮像画像を示す撮像画像データを処理することで、前記物体を検出した画像である処理画像を示す処理画像データを生成し、前記物体の位置を示す物体データ及び前記背景を示す背景データに基づいて、前記背景の上に、前記物体を前記位置に配置した仮想的な画像である期待画像を示す期待データを生成し、前記処理画像データ及び前記期待データを比較することで、前記処理画像データにおいて前記物体が正しく検出されたか否かを判定することを特徴とする。
　本開示の一又は複数の態様によれば、簡易な構成で、物体が正確に検出されたか否かを判定することができる。
実施の形態１及び２におけるレーザー加工機の構成を概略的に示すブロック図である。 レーザー発振器及び加工ヘッドを説明するための概略斜視図である。 実施の形態１に係る画像処理装置の構成を概略的に示すブロック図である。 （Ａ）～（Ｃ）は、期待データを生成する動作を説明するための概略図である。 （Ａ）～（Ｃ）は、検出結果判定部での補完処理を説明するための概略図である。 （Ａ）～（Ｃ）は、検出結果判定部での修正処理を説明するための概略図である。 実施の形態１に係る画像処理装置での動作を示すフローチャートである。 実施の形態２に係る画像処理装置の構成を概略的に示すブロック図である。
実施の形態１．
　図１は、実施の形態１におけるレーザー加工機１００の構成を概略的に示すブロック図である。
　レーザー加工機１００は、レーザー発振器１０１と、加工ヘッド１０２と、撮像装置１０３と、入力装置１０４と、表示装置１０５と、制御装置１０６とを備える。
　レーザー発振器１０１は、レーザーを発振する装置である。
　加工ヘッド１０２は、レーザーを集光して射出する装置である。
　図２は、レーザー発振器１０１及び加工ヘッド１０２を説明するための概略斜視図である。
　図２に示されているように、レーザー発振器１０１と、加工ヘッド１０２とは、レーザーが通る光路１０７で接続されている。レーザー加工時には、テーブル１０８上に加工対象の板材１０９が配置され、レーザー加工機１００が持つ座標系に従って加工ヘッド１０２が移動され、レーザー発振器１０１で発振されたレーザーを加工ヘッド１０２から射出して加工が行われる。
　図１に戻り、撮像装置１０３は、物体及びその背景の画像を撮影するための装置である。例えば、撮像装置１０３は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）等のカメラである。
　入力装置１０４は、ユーザからの各種指示の入力を受け付ける装置である。
　表示装置１０５は、各種画面画像を表示する装置である。例えば、表示装置１０５は、操作結果又は装置の状態を表示するプログラマブル表示器等であってもよい。
　なお、入力装置１０４及び表示装置１０５は、例えば、タッチパネルにより一つの装置で構成されていてもよい。
　制御装置１０６は、レーザー加工機１００での処理を制御するコンピュータである。例えば、制御装置１０６は、レーザー発振器１０１、加工ヘッド１０２、撮像装置１０３、入力装置１０４及び表示装置１０５の動作を制御する。
　制御装置１０６は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０６ａと、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１０６ｂと、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０６ｃと、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０６ｄとを備える。
　ＲＯＭ１０６ａは、データ及びプログラムを格納する不揮発性のメモリである。
　ＨＤＤ１０６ｂは、データ及びプログラムを格納する記憶装置である。なお、ＨＤＤ１０６ｂは、磁気メモリ等で構成され、例えば、ＣＰＵ１０６ｄによる各種の処理に必要なプログラム群であるソフトウェアを格納する。なお、ＣＰＵ１０６ｄによる各種の処理ソフトウェアを構成するプログラムは、予めコンピュータに専用のハードウェアで組み込まれてもよく、ＲＯＭ１０６ａ又はＨＤＤ１０６ｂに予め組み込まれていてもよい。
　ＲＡＭ１０６ｃは、ＣＰＵ１０６ｄの作業領域を提供する揮発性のメモリである。ＲＡＭ１０６ｃは、ＣＰＵ１０６ｄが行う演算の途中結果等を一時的に記憶する。ＣＰＵ１０６ｄは、ＲＡＭ１０６ｃに対して、高速に書き込み又は読み出しが可能である。
　ＣＰＵ１０６ｄは、ＲＯＭ１０６ａ又はＨＤＤ１０６ｂに記憶されているプログラムをＲＡＭ１０６ｃに読み出して、そのプログラムを実行することで、レーザー加工機１００での処理を制御する。例えば、ＣＰＵ１０６ｄは、各種プログラムの命令を処理する。また、ＣＰＵ１０６ｄは、各処理に必要なデータをＲＡＭ１０６ｃ又はＨＤＤ１０６ｂに一時記憶する。
　なお、図１に示されている制御装置１０６は、いわゆるコンピュータにより実現されているが、本実施の形態は、このような例に限定されない。例えば、制御装置１０６は、システムＬＳＩ等の処理回路により実現されてもよい。
　言い換えると、制御装置１０６は、処理回路網により構成することができる。
　ここでは、以上のような制御装置１０６により、実施の形態１に係る画像処理装置が実現される。
　なお、図１に示されている例では、制御装置１０６がレーザー加工機１００に含まれているが、制御装置１０６は、レーザー加工機１００とは別の装置であってもよい。
　図３は、実施の形態１に係る画像処理装置１２０の構成を概略的に示すブロック図である。
　画像処理装置１２０は、記憶部１３０と、物体検出部１２１と、期待データ生成部１２２と、検出結果判定部１２３と、表示操作部１２４と、位置傾き算出部１２５とを備える。
　なお、画像処理装置１２０は、撮像部１１０と、表示部１１１と、入力部１１２とに接続されている。
　撮像部１１０は、図１に示されている撮像装置１０３により実現される機能ブロックであり、物体及び背景の画像を取得して、その画像を示す撮像画像データを生成する。撮像画像データは、検出対象となる物体及びその物体の背景を含む画像である撮像画像を示す。
　表示部１１１は、図１に示されている表示装置１０５により実現される機能ブロックであり、各種画面画像を表示する。
　入力部１１２は、図１に示されている入力装置１０４により実現される機能ブロックであり、各種指示の入力を受け付ける。
　記憶部１３０は、画像処理装置１２０での処理に必要なデータを記憶する。
　例えば、記憶部１３０は、撮像画像データ１３１と、物体データ１３２と、背景データ１３３と、算出データ１３４とを記憶する。
　撮像画像データ１３１は、撮像部１１０で撮像された画像を示す画像データである。
　物体データ１３２は、検出対象の物体の属性及び位置を示すデータである。ここで、属性は、例えば、その物体の名称である物性名称、その物体の寸法、又は、その物体の色等である。位置は、例えば、その物体を配置する位置としての座標である配置座標である。ここでは、検出対象となる物体は、板材であり、矩形の形状を有するものとする。言い換えると、物体の形状の種別が予め定められているものとする。なお、物体データ１３２の属性に物体の形状の種別が含まれていてもよい。なお、属性に含まれている寸法により、物体の実際の形状（ここでは、矩形の形状）が特定される。言い換えると、属性に含まれている寸法は、物体の形状を特定することのできる情報であり、この情報には、物体の形状の属性が含まれていてもよい。
　なお、物体データ１３２は、物体の寸法若しくは色等を表す数値又はテキストを示すデータでもよく、予め検出対象の物体のデジタル設計データ（例えば、ＣＡＤデータ等）から取得されたデータであってもよい。
　また、物体データ１３２については、ユーザが予めＤＢ（Ｄａｔａ　Ｂａｓｅ）等に登録して、そのＤＢからダウンロードされてもよく、ネスティングプログラムを作成するソフトウェア等からインポートされてもよい。
　背景データ１３３は、物体データで示される物体を仮想的に配置する背景を示すデータである。背景データ１３３は、撮像部１１０で、検出対象の物体を配置せずにレーザー加工機１００のテーブル１０８を撮影した画像データであってもよい。
　なお、背景データ１３３は、レーザー加工機１００のテーブル１０８の寸法又は色の情報等からテーブル１０８を模してデジタル的に作成された画像データ、又は、物体の位置関係が分かるように単に領域を矩形で示した画像データであってもよい。
　または、背景データ１３３は、背景領域のサイズと、位置とを示すテキストデータであってもよい。
　テキストデータとしては、例えば、色、Ｘ座標、Ｙ座標、幅及び高さの情報を、数値のテキスト情報として記憶しておき、期待データの生成時に、ＳＶＧ（Ｓｃａｌａｂｌｅ　Ｖｅｃｔｏｒ　Ｇｒａｐｈｉｃｓ）の形式で画像データとして扱えるようにしてもよい。
　具体的には、下記のように、ｓｈａｐｅ＝ｒｅｓｔ、ｃｏｌｏｒ＝＃３３ｃｃ３３、ｘ＝２０、ｙ＝２０、ｗｉｄｔｈ＝３０、ｈｅｉｇｈｔ＝３０のテキスト情報を記憶している場合、ＳＶＧで、指定された始点、縦及び横の大きさで矩形を描画するｒｅｃｔ要素に対して、ｆｉｌｌ＝＃３３ｃｃ３３、ｘ＝“２０”、ｙ＝“２０”、ｗｉｄｔｈ＝“３０”、ｈｅｉｇｈｔ＝“３０”の情報を指定することで、背景データを生成することができる。
＜？ｘｍｌ　ｖｅｒｓｉｏｎ＝“１．０”　ｓｔａｎｄａｌｏｎｅ＝“ｎｏ”　？＞
＜！ＤＯＣＴＹＰＥ　ｓｖｇ　ＰＵＢＬＩＣ　“－／／Ｗ３Ｃ／／ＤＴＤ　ＳＶＧ　２００１０９０４／／ＥＮ”
　　　“ｈｔｔｐ：／／ｗｗｗ．ｗ３．ｏｒｇ／ＴＲ／２００１／ＲＥＣ－ＳＶＧ－２００１０９０４／ＤＴＤ／ｓｖｇ１０．ｄｔｄ”＞
＜ｓｖｇ　ｗｉｄｔｈ＝“１００”　ｈｅｉｇｈｔ＝“１００”　ｘｍｌｎｓ＝“ｈｔｔｐ：／／ｗｗｗ．ｗ３．ｏｒｇ／２０００／ｓｖｇ”＞
＜ｒｅｃｔ　ｓｔｙｌｅ＝“ｆｉｌｌ：＃３３ｃｃ３３；”　ｘ＝“２０”　ｙ＝“２０”　ｗｉｄｔｈ＝“３０”　ｈｅｉｇｈｔ＝“３０”／＞
＜／ｓｖｇ＞
　算出データ１３４は、位置傾き算出部１２５で算出された結果を示すデータである。
　例えば、算出データ１３４は、検出対象の物体が配置された位置及び傾きのずれを示すデータであってもよい。
　物体検出部１２１は、撮像画像データ１３１で示される画像である撮像画像から、テーブル１０８に載せられた物体を検出する。
　物体検出部１２１は、公知の画像処理により物体を検出すればよく、画像処理については、特に限定しない。
　言い換えると、物体検出部１２１は、検出対象となる物体及びその物体の背景を含む画像である撮像画像を示す撮像画像データを処理することで、その物体を検出した画像である処理画像を示す処理画像データを生成する。処理画像データは、検出結果判定部１２３に与えられる。
　期待データ生成部１２２は、物体データ１３２と、背景データ１３３とに基づいて、期待データを生成する。
　例えば、期待データ生成部１２２は、背景データ１３３で示される背景に、物体データ１３２で示される属性の物体を、物体データ１３２で示される位置に配置した場合の仮想的な画像を示す期待データを生成する。期待データで示される画像を期待画像ともいう。
　図４（Ａ）～（Ｃ）は、期待データを生成する動作を説明するための概略図である。
　例えば、図４（Ａ）に示されているように、物体の寸法、色及び配置座標を示す物体データと、図４（Ｂ）に示されているように、単一色の背景を示す背景データとから、図４（Ｃ）に示されているように、単一色の背景に、物体を配置した画像である期待画像を示す期待データが生成される。なお、図４（Ａ）では、物体の位置として配置座標が特定されている。
　期待データで示される画像は、実際の撮像画像とほぼ同一の画像データとなるため、撮像画像から正しく物体を検出できない場合に、検出すべき物体の形状等を補完するデータとして活用することができる。
　検出結果判定部１２３は、物体検出部１２１からの処理画像データと、期待データ生成部１２２からの期待データとを比較することで、処理画像データにおいて物体が正しく検出されたか否かを判定する。例えば、検出結果判定部１２３は、期待データで示されている物体の数と、物体検出部１２１からの処理画像データから特定することのできる物体の数とが一致している場合には、物体検出部１２１が物体を正しく検出できていると判定する。
　そして、検出結果判定部１２３は、物体検出部１２１が物体を正しく検出できておらず、かつ、物体の一部が検出されているときは、期待データを参照することで、処理画像データにおいて、その物体の一部からその物体を補完する。
　図５（Ａ）～（Ｃ）は、検出結果判定部１２３での補完処理を説明するための概略図である。
　物体検出部１２１が、図５（Ａ）に示されているような物体の一部を検出した場合、検出結果判定部１２３は、図５（Ｂ）に示されているような、期待データにおいて対応する位置に配置されている物体の画像を用いて、図５（Ｃ）に示されているように、物体を補完することができる。
　例えば、検出結果判定部１２３は、検出されている一部をテンプレート画像として、期待データで示される期待画像に対してテンプレートマッチングを行うことにより、その検出された一部が、どの物体の一部なのかを判断することができる。なお、その一部が複数の物体と一致する場合には、検出結果判定部１２３は、検出されている他の物体との位置関係から、その一部がどの物体の一部なのかを判断すればよい。
　また、検出結果判定部１２３は、物体検出部１２１で検出された物体の形状を、期待データを用いて修正する。
　例えば、検出結果判定部１２３は、処理画像データにおいて検出された物体の形状と、期待データで示される物品の形状とが異なる場合には、期待データを参照することで、処理画像データにおいて検出された物体の形状を修正する。
　図６（Ａ）～（Ｃ）は、検出結果判定部１２３での修正処理を説明するための概略図である。
　図６（Ａ）に示されているように、例えば、黒い矩形の板材を検出する場合に、背景の黒色と同化して、物体が検出される場合がある。図６（Ａ）では、破線で囲まれた領域ＲＡが、背景と同化して、物体の形状が正しく検出されていない部分である。このような場合でも、図６（Ｂ）に示されているような、期待データにおいて対応する位置に配置されている物体の画像を用いて、図６（Ｃ）に示されているように、物体の形状を修正することができる。
　表示操作部１２４は、処理画像データにおいて物体が検出されていない場合に、ユーザからの操作の入力を受け付けることで、期待データで示される物体の処理画像における位置を特定し、処理画像データに、期待データで示される物体の画像を追加する。
　例えば、表示操作部１２４は、物体検出部１２１が物体を正しく検出できておらず、かつ、物体の一部も検出されていない場合に、表示部１１１に、撮像画像データ１３１で示される撮像画像と、期待データで示される期待画像とを表示させて、入力部１１２に、期待画像に含まれている一又は複数の物体と、その一又は複数の物体の撮像画像における位置との対応付けの入力を受け付ける。
　例えば、表示操作部１２４は、ユーザに、期待画像に含まれている一又は複数の物体の画像を、撮像画像の対応する一又は複数の位置に、ドラッグ＆ドロップ等の操作で位置合わせをしてもらう。そして、表示操作部１２４は、位置合わせの結果を検出結果判定部１２３に与える。
　これにより、検出結果判定部１２３は、物体検出部１２１による検出結果の画像に、期待画像に含まれている物体の画像を追加することができる。
　以上のようにして、検出結果判定部１２３は、物体検出部１２１からの処理画像データで示される画像に対して、補完、修正又は追加を行うことで処理を行った画像である対象画像を示す対象画像データを生成し、その対象画像データを位置傾き算出部１２５に与える。
　なお、物体検出部１２１の処理結果に対して補完、修正又は追加を行う必要がない場合には、検出結果判定部１２３は、物体検出部１２１から与えられる処理画像データを対象画像データとして位置傾き算出部１２５に与える。
　位置傾き算出部１２５は、処理画像データを介して特定される物体と、期待データで示される物体とを比較することで、期待データで示される物体に対する、処理画像データを介して特定される物体の位置及び傾きのずれを算出する。
　具体的には、位置傾き算出部１２５は、検出結果判定部１２３からの対象画像データと、期待データとを比較して、対象画像データに含まれている物体の、期待データに含まれている物体に対する、位置及び傾きのずれを算出する。そして、位置傾き算出部１２５は、算出されたずれを示す算出データ１３４を生成し、記憶部１３０にその算出データ１３４を記憶させる。
　図７は、実施の形態１に係る画像処理装置１２０での動作を示すフローチャートである。
　まず、期待データ生成部１２２は、記憶部１３０に記憶されている物体データ１３２及び背景データ１３３を読み出して、その物体データ１３２及び背景データ１３３から期待データを生成する（Ｓ１０）。生成された期待データは、検出結果判定部１２３及び位置傾き算出部１２５に与えられる。
　または、生成された期待データは、記憶部１３０に保存され、検出結果判定部１２３及び位置傾き算出部１２５が参照して、各部の処理に利用してもよい。
　次に、検出結果判定部１２３は、撮像部１１０が検出対象の物体及び背景を撮像することで生成された撮像画像データ１３１を記憶部１３０から読み出す（Ｓ１１）。
　次に、物体検出部１２１は、撮像画像データ１３１で示される撮像画像に対して画像処理を行うことで、物体検出を行う（Ｓ１２）。ここで撮像画像に対して画像処理が行われた画像である処理画像を示す処理画像データは、検出結果判定部１２３に与えられる。
　次に、検出結果判定部１２３は、期待データと、処理画像データとを比較し、正しく物体を検出できたか否かを判定する（Ｓ１３）。ここでは、検出結果判定部１２３は、期待データに含まれている物体の数と、処理画像データにおいて検出された物体の数とが一致している場合に、正しく物体を検出できたと判定する。正しく物体が検出された場合（Ｓ１３でＹｅｓ）には、処理はステップＳ１７に進み、正しく物体が検出されなかった場合（Ｓ１３でＮｏ）には、処理はステップＳ１４に進む。
　ステップＳ１４では、検出結果判定部１２３は、処理画像データにおいて、期待データで示されている物品の一部が検出されているか否かを判断する（Ｓ１４）。
　例えば、検出結果判定部１２３は、期待データで示されている各々の物品が配置されている位置から予め定められた範囲内に、処理画像データにおいて対応する物品が検出されているか否かを判断する。そして、検出結果判定部１２３は、期待データで示されている各々の物品の内、処理画像データにおいて対応する物品が検出されていない一つの物品を特定する。さらに、検出結果判定部１２３は、特定された一つの物品が配置されている位置から予め定められた位置に、特定された一つの物品の一部が検出されているか否かを判断する。具体的には、検出結果判定部１２３は、特定された一つの物品が配置されている位置から予め定められた位置に、特定された一つの物品の輪郭と重なる輪郭が処理画像データにおいて検出されているか否かを判断する。このような輪郭が検出されている場合には、検出結果判定部１２３は、処理画像データにおいて、期待データで示されている物品の一部が検出されていると判断する。
　そして、処理画像データにおいて、期待データで示されている物品の一部が検出されている場合（Ｓ１４でＹｅｓ）には、処理はステップＳ１５に進み、処理画像データにおいて、期待データで示されている物品の一部が検出されていない場合（Ｓ１４でＮｏ）には、処理はステップＳ１６に進む。
　ステップＳ１５では、検出結果判定部１２３は、処理画像データにおいて検出されている、物品の一部に対して、期待データで示されている物品を用いて補完を行う。例えば、検出結果判定部１２３は、処理画像データにおいて検出されている一部に、期待データで示されている物品の対応する部分が重なるように、その物品の画像を重ねる。そして、処理ステップＳ１３に戻り、検出結果判定部１２３は、ステップＳ１５で補完された部品も処理画像データから検出された部品に含めて、正しく部品を検出したか否かを判断する。
　ステップＳ１６では、検出結果判定部１２３は、表示操作部１２４に指示することで、ユーザから、期待データで示される部品と、処理画像データで示される部品との対応付けの入力を受け付けさせる。
　次に、検出結果判定部１２３は、処理画像データで示される部品の形状と、期待データで示される対応する部品の形状とを比較することで、処理画像データで示される部品の形状が、例えば、背景等との関係で正しく検出できていない場合には、期待データで示される対応する部品の形状を用いて修正する（Ｓ１７）。
　次に、位置傾き算出部１２５は、処理画像データ、又は、検出結果判定部１２３若しくは表示操作部１２４において補完、修正若しくは追加された処理画像データを対象画像データとして、対象画像データで示される物品と、期待データで示される対応する物品との位置及び傾きのずれを算出する（Ｓ１８）。
　そして、位置傾き算出部１２５は、算出されたずれを示す算出データ１３４を生成して、その算出データ１３４を記憶部１３０に記憶させる（Ｓ１９）。
　このようにして記憶された算出データ１３４は、加工ヘッドを動かして加工経路を制御するプログラムから参照され、算出データに応じて加工経路を補正して、加工が行われる。
実施の形態２．
　実施の形態２では、物体検出で使用される画像処理において、期待データを参照する例を説明する。
　図１に示されているように、実施の形態２におけるレーザー加工機２００は、実施の形態１におけるレーザー加工機１００と同様に、レーザー発振器１０１と、加工ヘッド１０２と、撮像装置１０３と、入力装置１０４と、表示装置１０５と、制御装置１０６とを備える。
　実施の形態２では、制御装置１０６により実現される画像処理装置が、実施の形態１に係る画像処理装置と異なっている。
　図８は、実施の形態２に係る画像処理装置２２０の構成を概略的に示すブロック図である。
　画像処理装置２２０は、記憶部１３０と、物体検出部２２１と、期待データ生成部１２２と、検出結果判定部１２３と、表示操作部１２４と、位置傾き算出部１２５とを備える。
　実施の形態２に係る画像処理装置２２０の記憶部１３０、期待データ生成部１２２、検出結果判定部１２３、表示操作部１２４及び位置傾き算出部１２５は、実施の形態１に係る画像処理装置１２０の記憶部１３０、期待データ生成部１２２、検出結果判定部１２３、表示操作部１２４及び位置傾き算出部１２５と同様である。
　但し、実施の形態２においては、期待データ生成部１２２は、生成された期待データを物体検出部２２１にも与える。
　または、生成された期待データは、記憶部１３０に保存され、物体検出部２２１が参照し、処理に利用してもよい。
　物体検出部２２１は、撮像画像データ１３１で示される画像である撮像画像から、テーブル１０８に載せられた物体を検出する。
　実施の形態２における物体検出部２２１は、期待データを参照し、適応的二値化フィルタを用いて撮像画像データに対する前処理を行った後、背景から物体を検出する。
　単純な二値化フィルタでは、画像全体に対して固定された閾値が設定されているため、照明環境等により色が変化する領域を期待通りに処理することができない。一方、適応的二値化フィルタでは、閾値が固定されておらず、注目画素と、その注目画素の周囲にある画素の画素値の平均値を閾値とするため、画素毎に異なる閾値を設定できる。このため、適応的二値化フィルタを用いることで、照明環境により色が変化する領域でも期待通りに処理することができる。このとき、適応的二値化フィルタでは、画像全体の中で任意の大きさの局所領域を設定し、その領域の中で閾値の計算を行い、一つ一つの画素を二値化して行き、局所領域を画像全領域で走査することで、画像の画素全体の二値化を「各領域に合わせた閾値で」行っている。
　ここで、一般的な適応的二値化フィルタでは、ユーザが局所領域のサイズを定めて、以下の１～３の処理により、二値化が行われる。
　１：全ての画素について以下の２～３の処理を行う。
　２：注目画素の周りの画素である局所領域の画素（例えば、縦×横＝７×７の画素）を使って閾値が計算される。ここで、閾値として、通常、局所領域の画素の画素値の平均値、中間値、又は、(最大値＋最小値)÷２が使用される。
　３：注目画素の画素値が、上記２で求められた閾値より大きいか小さいかで、二値化が行われる。
　一般的な適応的二値化フィルタでは、背景と、前景とが判断できるように、局所領域は、ある程度大きなサイズとされる。
　これに対して、実施の形態２では、物体検出部１２１は、期待データを参照することで、背景の色と、物体の色との類似度が低いほど、局所領域の大きさを小さくすることができる。
　ここで、色の類似度は、公知の方法で特定されればよく、例えば、色差が小さいほど、類似度が高いと判断すればよい。
　また、物体検出部１２１は、期待データで示される物体のエッジ付近の領域を、局所領域として、自動的に定めることができる。
　例えば、物体検出部１２１は、期待データで示される物体のエッジとなる画素を含む予め定められた領域内の画素が注目画素となるように局所領域を定めることができる。言い換えると、物体検出部１２１は、撮像画像の一部であって、期待データで示される前記物体のエッジを含む予め定められた領域にのみ適応的二値化フィルタを用いた処理を行うことができる。この場合、使用されていない画素は、背景又は物体の内部として扱うことができる。
　また、物体検出部１２１は、撮像画像データで示される撮像画像の全ての画素ではなく、期待データで示される物体としての板材が配置されている画素を含む予め定められた領域内の画素のみを用いて、二値化を行うこともできる。言い換えると、物体検出部１２１は、撮像画像の一部であって、期待データで示される物体を含む予め定められた領域にのみ適応的二値化フィルタを用いた処理を行うことができる。この場合、使用されていない画素は、背景として扱うことができる。
　さらに、適応的二値化フィルタは、色が変わらない面積が広いときれいな処理結果が得られないが、実施の形態２では、期待データを参照することで、物体の内部及び背景となる領域を処理対象から除外することができる。
　ここでは、画像処理として二値化フィルタの例を示したが、本発明を適用する画像処理手法は特定しない。
　以上のように、実施の形態１又は２によれば、撮像画像から物体検出した結果と、予め作成した期待データとを比較することで、物体を正しく検出できているかを判定することができる。これにより、正しく検出できていない場合に、期待データを用いて、検出結果に対して、補完又は追加を行うことができる。また、正しく検出されている場合でも、期待データを用いて、物体の形状を修正することができる。
　また、背景データに対する検出対象の物体の期待される位置又はエッジを事前に把握することができる。このため、実施の形態２のように、期待データを参照した画像処理により物体を検出することで、検出対象の物体付近等の限定された領域に対してのみ画像処理を行うことで、画像処理を高速化することができ、また、物体検出の精度を高めることができる。これにより、三次元計測部又は照明部を持たずに物体の検出精度を高めることができ、コストを抑えた構成で物体の位置及び傾きを算出することのできるシステムを提供することができる。
　また、加工ヘッドに取り付けた接触センサを移動させて物体の位置を計測する従来の装置は、物体の複数箇所に物理的に接触させて計測するため、時間がかかるという課題があった。一方、実施の形態１又は２に係る画像処理装置１２０、２２０は、画像処理により物体の位置を計測するため、従来の装置よりも短時間で物体の位置及び傾きを検出できるという効果がある。
　また、従来の画像処理を用いて物体検出を行う装置は、照明光の映り込み、外光の映り込み、レーザー加工のために物体上に塗布された切削油等の様々な要因により、正確な検出が困難となる場合があり、物体の位置情報の誤認識率を上昇させる原因となっていることがあった。これに対して背景技術に記載された先行文献は、正確に計測対象物を検出するために、照明部及び位置計測部を備えているが、装置規模が大きくなり、コストも高くなる。一方、実施の形態１又は２に係る画像処理装置１２０、２２０は、照明部及び位置計測部は不要であるため、従来の画像処理を用いて物体検出を行う装置よりも、コストを抑えた装置で、物体の位置情報の誤認識率を低減することができる。
　１００，２００　レーザー加工機、　１０１　レーザー発振器、　１０２　加工ヘッド、　１０３　撮像装置、　１０４　入力装置、　１０５　表示装置、　１０６　制御装置、　１０７　光路、　１０８　テーブル、　１０９　板材、　１１０　撮像部、　１１１　表示部、　１１２　入力部、　１２０，２２０　画像処理装置、　１２１，２２１　物体検出部、　１２２　期待データ生成部、　１２３　検出結果判定部、　１２４　表示操作部、　１２５　位置傾き算出部、　１３０　記憶部、　１３１　撮像画像データ、　１３２　物体データ、　１３３　背景データ、　１３４　算出データ。

Claims (14)

  1. 　検出対象となる物体及び前記物体の背景を含む画像である撮像画像を示す撮像画像データを処理することで、前記物体を検出した画像である処理画像を示す処理画像データを生成する物体検出部と、
    　前記物体の位置を示す物体データ及び前記背景を示す背景データに基づいて、前記背景の上に、前記物体を前記位置に配置した仮想的な画像である期待画像を示す期待データを生成する期待データ生成部と、
    　前記処理画像データ及び前記期待データを比較することで、前記処理画像データにおいて前記物体が正しく検出されたか否かを判定する検出結果判定部と、を備えること
    　を特徴とする画像処理装置。
  2. 　前記検出結果判定部は、前記処理画像データにおいて前記物体の一部が検出されている場合には、前記期待データを参照することで、前記処理画像データにおいて前記一部から前記物体を補完すること
    　を特徴とする請求項１に記載の画像処理装置。
  3. 　前記処理画像データにおいて前記物体が検出されていない場合に、ユーザからの操作の入力を受け付けることで、前記期待データで示される前記物体の前記処理画像における位置を特定し、前記処理画像データに、前記期待データで示される前記物体の画像を追加する表示操作部をさらに備えること
    　を特徴とする請求項１又は２に記載の画像処理装置。
  4. 　前記物体データは、前記物体の属性をさらに示し、
    　前記属性には、前記物体の形状を特定することのできる情報が含まれており、
    　前記検出結果判定部は、前記処理画像データにおいて検出された前記物体の形状と、前記期待データで示される前記物体の形状とが異なる場合には、前記期待データを参照することで、前記処理画像データにおいて検出された前記物体の形状を修正すること
    　を特徴とする請求項１又は２に記載の画像処理装置。
  5. 　前記物体検出部は、前記期待データを参照し、画像処理を用いて前記撮像画像データを処理することで、前記背景から前記物体を検出すること
    　を特徴とする請求項１から３の何れか一項に記載の画像処理装置。
  6. 　前記画像処理は、適応的二値化フィルタを用いた処理であること
    　を特徴とする請求項５に記載の画像処理装置。
  7. 　前記物体検出部は、前記期待データを参照し、画像処理を用いて前記撮像画像データを処理することで、前記背景から前記物体を検出すること
    　を特徴とする請求項４に記載の画像処理装置。
  8. 　前記画像処理は、適応的二値化フィルタを用いた処理であること
    　を特徴とする請求項７に記載の画像処理装置。
  9. 　前記属性には、前記物体の色が含まれており、
    　前記物体検出部は、前記期待データで示される前記物体の色と、前記期待データで示される前記背景の色との類似度が低いほど、前記適応的二値化フィルタにおける局所領域の大きさを小さくすること
    　を特徴とする請求項８に記載の画像処理装置。
  10. 　前記物体検出部は、前記撮像画像の一部であって、前記期待データで示される前記物体を含む予め定められた領域にのみ前記適応的二値化フィルタを用いた処理を行うこと
    　を特徴とする請求項６、８及び９の何れか一項に記載の画像処理装置。
  11. 　前記物体検出部は、前記撮像画像の一部であって、前記期待データで示される前記物体のエッジを含む予め定められた領域にのみ前記適応的二値化フィルタを用いた処理を行うこと
    　を特徴とする請求項６、８及び９の何れか一項に記載の画像処理装置。
  12. 　前記処理画像データを介して特定される前記物体と、前記期待データで示される前記物体とを比較することで、前記期待データで示される前記物体に対する、前記処理画像データを介して特定される前記物体の位置及び傾きのずれを算出する位置傾き算出部をさらに備えること
    　を特徴とする請求項１から１１の何れか一項に記載の画像処理装置。
  13. 　コンピュータを、
    　検出対象となる物体及び前記物体の背景を含む画像である撮像画像を示す撮像画像データを処理することで、前記物体を検出した画像である処理画像を示す処理画像データを生成する物体検出部、
    　前記物体の位置を示す物体データ及び前記背景を示す背景データに基づいて、前記背景の上に、前記物体を前記位置に配置した仮想的な画像である期待画像を示す期待データを生成する期待データ生成部、及び、
    　前記処理画像データ及び前記期待データを比較することで、前記処理画像データにおいて前記物体が正しく検出されたか否かを判定する検出結果判定部、として機能させること
    　を特徴とするプログラム。
  14. 　検出対象となる物体及び前記物体の背景を含む画像である撮像画像を示す撮像画像データを処理することで、前記物体を検出した画像である処理画像を示す処理画像データを生成し、
    　前記物体の位置を示す物体データ及び前記背景を示す背景データに基づいて、前記背景の上に、前記物体を前記位置に配置した仮想的な画像である期待画像を示す期待データを生成し、
    　前記処理画像データ及び前記期待データを比較することで、前記処理画像データにおいて前記物体が正しく検出されたか否かを判定すること
    　を特徴とする画像処理方法。
PCT/JP2021/012515 2021-03-25 2021-03-25 画像処理装置、プログラム及び画像処理方法 Ceased WO2022201422A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2021/012515 WO2022201422A1 (ja) 2021-03-25 2021-03-25 画像処理装置、プログラム及び画像処理方法
CN202180092834.8A CN116982076A (zh) 2021-03-25 2021-03-25 图像处理装置、程序及图像处理方法
JP2023508309A JP7317260B2 (ja) 2021-03-25 2021-03-25 画像処理装置、プログラム及び画像処理方法
DE112021006891.1T DE112021006891T5 (de) 2021-03-25 2021-03-25 Bildbearbeitungseinrichtung, programm und bildbearbeitungsverfahren
TW110133196A TW202238067A (zh) 2021-03-25 2021-09-07 影像處理裝置、記錄媒體、程式產品以及影像處理方法
US18/237,937 US12620117B2 (en) 2023-08-25 Image processing device, non-transitory computer-readable storage medium, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/012515 WO2022201422A1 (ja) 2021-03-25 2021-03-25 画像処理装置、プログラム及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/237,937 Continuation US12620117B2 (en) 2023-08-25 Image processing device, non-transitory computer-readable storage medium, and image processing method

Publications (1)

Publication Number Publication Date
WO2022201422A1 true WO2022201422A1 (ja) 2022-09-29

Family

ID=83395478

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/012515 Ceased WO2022201422A1 (ja) 2021-03-25 2021-03-25 画像処理装置、プログラム及び画像処理方法

Country Status (5)

Country Link
JP (1) JP7317260B2 (ja)
CN (1) CN116982076A (ja)
DE (1) DE112021006891T5 (ja)
TW (1) TW202238067A (ja)
WO (1) WO2022201422A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013198872A (ja) * 2012-03-26 2013-10-03 Gunze Ltd 加工システム、加工方法、加工プログラム、及び加工プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP6621351B2 (ja) * 2016-03-24 2019-12-18 株式会社別川製作所 レーザー加工用の画像処理装置及び画像処理方法
WO2020152927A1 (ja) * 2019-01-22 2020-07-30 日本金銭機械株式会社 学習用データ生成方法、学習用データ生成装置、および、推論処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5465957B2 (ja) * 2008-09-05 2014-04-09 Ｄｍｇ森精機株式会社 加工状態確認方法及び加工状態確認装置
CN101464998B (zh) * 2009-01-15 2011-12-14 浙江大学 面向纺织行业的非高斯纹理噪声平滑滤波方法
JP5960433B2 (ja) * 2011-12-28 2016-08-02 株式会社キーエンス 画像処理装置及び画像処理方法
US9058693B2 (en) * 2012-12-21 2015-06-16 Dassault Systemes Americas Corp. Location correction of virtual objects
CN103985128B (zh) * 2014-05-23 2017-03-15 南京理工大学 一种基于颜色内相关和自适应支撑权重的立体匹配方法
JP6519505B2 (ja) * 2016-03-15 2019-05-29 オムロン株式会社 物体検出装置、物体検出方法、及びプログラム
CN107301664A (zh) * 2017-05-25 2017-10-27 天津大学 基于相似性测度函数的改进局部立体匹配方法
US11023109B2 (en) * 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
JP7488033B2 (ja) * 2019-08-22 2024-05-21 ファナック株式会社 物体検出装置及び物体検出用コンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013198872A (ja) * 2012-03-26 2013-10-03 Gunze Ltd 加工システム、加工方法、加工プログラム、及び加工プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP6621351B2 (ja) * 2016-03-24 2019-12-18 株式会社別川製作所 レーザー加工用の画像処理装置及び画像処理方法
WO2020152927A1 (ja) * 2019-01-22 2020-07-30 日本金銭機械株式会社 学習用データ生成方法、学習用データ生成装置、および、推論処理方法

Also Published As

Publication number Publication date
JP7317260B2 (ja) 2023-07-28
CN116982076A (zh) 2023-10-31
TW202238067A (zh) 2022-10-01
DE112021006891T5 (de) 2023-11-23
JPWO2022201422A1 (ja) 2022-09-29
US20230401738A1 (en) 2023-12-14

Similar Documents

Publication Publication Date Title
JP6394081B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US9390324B1 (en) Image processing device and method of image processing
JP5921271B2 (ja) 物体測定装置、及び物体測定方法
US20030210407A1 (en) Image processing method, image processing system and image processing apparatus
CN107071376B (zh) 一种投影拼接显示校正方法及装置
JP7534444B2 (ja) キャプチャ画像の処理システム及び方法
KR20060132454A (ko) 화상 처리 장치
TW201520975A (zh) 產生場景深度圖之方法及裝置
US7620235B2 (en) Device for scanning three-dimensional objects
JP2019012016A (ja) 位置制御システム、位置検出装置、および制御プログラム
JP6425406B2 (ja) 情報処理装置、情報処理方法、プログラム
JP4114959B2 (ja) 画像処理方法及び装置
WO2022254854A1 (ja) ３次元計測装置
CN117934942A (zh) 焊缝识别模型及训练方法和焊缝跟踪方法
JP7317260B2 (ja) 画像処理装置、プログラム及び画像処理方法
EP4113057B1 (en) Method of setting scan region
JP2004536300A (ja) 画像装置の位置の迅速な判断を可能にする基準のしるしの選択
KR101653861B1 (ko) 묘화 데이터 생성 방법, 묘화 방법, 묘화 데이터 생성 장치, 및 묘화 장치
KR20230002037A (ko) 스캔 영역 설정 방법
US12620117B2 (en) Image processing device, non-transitory computer-readable storage medium, and image processing method
CN118131191A (zh) 用于提供现实世界和图像传感器对应点的方法和设备
KR20240043743A (ko) 오브젝트에 심볼을 할당하기 위한 시스템들 및 방법들
KR20220123467A (ko) 패턴 매칭 장치, 패턴 측정 시스템 및 비일시적 컴퓨터 가독 매체
KR101217858B1 (ko) 일반 도화 제작을 위한 수치 도화기 안정대
JP7831215B2 (ja) 位置計測システム及び照明条件好適化システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21933032

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023508309

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180092834.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112021006891

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21933032

Country of ref document: EP

Kind code of ref document: A1