WO2025239149A1 - 計測方法、計測装置、および計測プログラム - Google Patents

計測方法、計測装置、および計測プログラム

Info

Publication number
WO2025239149A1
WO2025239149A1 PCT/JP2025/015540 JP2025015540W WO2025239149A1 WO 2025239149 A1 WO2025239149 A1 WO 2025239149A1 JP 2025015540 W JP2025015540 W JP 2025015540W WO 2025239149 A1 WO2025239149 A1 WO 2025239149A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
captured image
actuator
dimensional position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/015540
Other languages
English (en)
French (fr)
Inventor
竜司 渕上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of WO2025239149A1 publication Critical patent/WO2025239149A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Definitions

  • This disclosure relates to a measurement method, a measurement device, and a measurement program.
  • Patent Document 1 discloses an image processing device that uses an image captured by projecting patterned light onto an object to generate a map, which is data in which information related to depth distance is associated with each pixel, and then uses an image captured without projecting patterned light onto the object to detect the edges of the object, and modifies the map based on the detected edges so that positions where the depth distance becomes discontinuous coincide with the positions of the object's edges.
  • the present disclosure was devised in light of the above-mentioned conventional circumstances, and aims to provide a measurement method, measurement device, and measurement program that realizes image recognition and three-dimensional measurement of moving objects.
  • the present disclosure provides a measurement method performed by at least one computer communicatively connected between a camera that captures an image of an object, a projection device that projects an image having a predetermined pattern onto the object, and an actuator that moves the position of the camera, the measurement method comprising: acquiring a first captured image of the object on which the predetermined pattern is not projected; executing image recognition processing of the object appearing in the first captured image to measure the two-dimensional position of the object; and outputting the measured two-dimensional position to the actuator; and, while the image recognition processing is being performed, executing a second captured image of the object on which the predetermined pattern is projected; measuring the three-dimensional position of the object appearing in the second captured image; and outputting the measured three-dimensional position to the actuator, the measurement method comprising the following two processes multiple times.
  • the present disclosure also provides a measurement device communicably connected between a camera that captures an image of an object, a projection device that projects an image having a predetermined pattern onto the object, and an actuator that moves the position of the camera, the measurement device comprising: an acquisition unit that acquires a first captured image of the object without the predetermined pattern projected thereon, or a second captured image of the object with the predetermined pattern projected thereon; a first processing unit that performs image recognition processing of the object captured in the first captured image to measure the two-dimensional position of the object and output the measured two-dimensional position to the actuator; and a second processing unit that, while the first processing unit is performing the image recognition processing, executes processing multiple times to measure the three-dimensional position of the object captured in the second captured image and output the measured three-dimensional position to the actuator.
  • the present disclosure also provides a measurement program executed by at least one processor communicatively connected between a camera that captures an image of an object, a projection device that projects an image having a predetermined pattern onto the object, and an actuator that moves the position of the camera, the measurement program implementing the following steps: causing the processor to execute a first process of acquiring a first image of the object on which the predetermined pattern is not projected, performing image recognition processing of the object appearing in the first image to measure the two-dimensional position of the object, and outputting the measured two-dimensional position to the actuator; and, while the image recognition processing is being executed, causing the processor to execute a second process multiple times of acquiring a second image of the object on which the predetermined pattern is projected, measuring the three-dimensional position of the object appearing in the second image, and outputting the measured three-dimensional position to the actuator.
  • This disclosure makes it possible to realize image recognition and three-dimensional measurement of moving objects.
  • FIG. 1 is a diagram illustrating an example of the overall configuration of a picking system according to an embodiment.
  • FIG. 1 is a block diagram illustrating an example of the internal configuration of a picking system according to an embodiment.
  • 1 is a flowchart showing an example of an overall operation procedure of a picking system according to an embodiment.
  • 1 is a flowchart showing an example of an operation procedure of a computing device according to an embodiment.
  • Figure 1 is a diagram showing an example of the internal configuration of a picking system 100 according to an embodiment.
  • the picking system 100 uses a projection device PJ to project a predetermined pattern (e.g., a grid pattern or a striped pattern) onto a picking target (hereinafter referred to as "target") being transported on a belt conveyor BC.
  • the picking system 100 uses a single camera CM (monocular camera) to capture images of the target with the predetermined pattern projected and the target without the predetermined pattern projected.
  • the picking system 100 performs 3D measurement of the target Tg on the belt conveyor BC from the captured image with the predetermined pattern projected, and performs image recognition (2D recognition) of the target Tg using the captured image without the predetermined pattern projected.
  • the picking system 100 tracks and picks the target Tg based on the three-dimensional position of the target Tg determined based on the 3D measurement and the two-dimensional position of the target Tg determined based on the image recognition (2D recognition).
  • the picking system 100 includes a projection device PJ, a camera CM, an actuator AC, and a computing device P1.
  • the projection device PJ is realized by a so-called projector or the like.
  • the projection device PJ receives projection ON/OFF control from the calculation device P1 and projects a projection image (i.e., visible light or infrared light) having a predetermined pattern onto the target Tg.
  • a projection image i.e., visible light or infrared light
  • the picking system 100 shown in Figure 1 shows an example in which there is one projection device PJ, there may be multiple projection devices PJ.
  • Actuator AC controls the robot hand HND and the camera CM attached integrally to the robot hand HND so that they can move three-dimensionally using multiple axes. Actuator AC controls so that the positional relationship between the object Tg moving on the belt conveyor BC, the robot hand HND that picks the object Tg, and the camera CM fixed to the robot hand HND can be changed.
  • the robot hand HND is provided, for example, at the tip of a robot arm deployed in correspondence with the picking system 100.
  • the robot hand HND approaches the target object Tg and picks up the target object Tg under the control of the actuator AC.
  • the camera CM is placed near the robot hand HND and moves integrally with the robot hand HND under the control of the actuator AC to capture images of the object Tg.
  • the camera CM captures images of the object Tg at a predetermined frame rate (for example, 960 frames per second (hereinafter referred to as "fps") or 1000 fps), and transmits each captured image of the object Tg to the computing device P1.
  • a predetermined frame rate for example, 960 frames per second (hereinafter referred to as "fps" or 1000 fps
  • the computing device P1 detects the object Tg based on the captured images sent from the camera CM.
  • the computing device P1 performs 2D and 3D measurements of the detected object Tg based on multiple captured images, and performs image recognition of the object Tg and controls the robot hand HND to approach and pick up the object Tg.
  • Figure 2 is a block diagram showing an example of the internal configuration of the picking system 100 according to the embodiment.
  • the camera CM is configured with at least a lens (not shown) and an image sensor IM.
  • the image sensor IM is, for example, a solid-state imaging element such as a Charged-Coupled Device (CCD) or Complementary Metal Oxide Semiconductor (CMOS), and converts the optical image formed on the imaging surface into an electrical signal and outputs it to the computing device P1.
  • CCD Charged-Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the camera CM captures an image of the object Tg at a high frame rate of, for example, 960 fps or more, and transmits the captured image to the computing device P1.
  • the camera CM performs synchronous control with the projection device PJ and the actuator AC. Specifically, the camera CM performs imaging processing so that the timing at which the actuator AC reads the encoder value is synchronized with the shutter timing (the center time Tm0 of the exposure time, see Figure 3). Furthermore, when imaging an object Tg onto which a predetermined pattern is projected, the camera CM performs imaging processing so that the time (timing) at which the projection device PJ projects (emits) the predetermined pattern is synchronized with the exposure time (timing) of the image sensor IM.
  • the actuator AC moves the robot hand HND based on information about the position of the object Tg (hereinafter referred to as the "target position") output from the calculation device P1.
  • the actuator AC also has an encoder that can detect the amount of rotation of the joint angle of each joint.
  • the actuator AC performs synchronization control with the camera CM, and synchronizes the shutter timing (the central time Tm0 of the exposure time, see Figure 3) with the timing of reading out the encoder value (sampling timing).
  • the actuator AC transmits information about the encoder value read out at the time the captured image was captured, i.e., the position information of the robot hand HND at the central time Tm0 of the exposure time, to the calculation device P1.
  • the computing device P1 includes a communication unit 10, a processor 11, and a memory 12.
  • the communication unit 10 is connected to the camera CM and the actuator AC so that data can be sent and received between them.
  • the communication unit 10 is configured using a communication interface circuit for sending and receiving data, and is connected so that wired communication can be performed using a CameraLink (registered trademark) cable, an Ethernet cable, EtherCAT (registered trademark), etc.
  • the communication unit 10 outputs various data acquired from the camera CM and the actuator AC to the processor 11.
  • the communication unit 10 also transmits various data output from the processor 11 to the actuator AC.
  • Processor 11 is configured using, for example, General-Purpose Computing on Graphics Processing Units (GPGPU), Graphics Processing Units (GPU), or Field Programmable Gate Arrays (FPGA), and works in conjunction with memory 12 to perform various processes and controls. Specifically, processor 11 references the programs and data stored in memory 12 and executes those programs to realize the functions of each unit, such as position attribute assignment unit 111, pattern switching unit 112, pattern generation unit 113, 2D recognition unit 114, 3D measurement unit 115, and target position calculation unit 116.
  • GPGPU General-Purpose Computing on Graphics Processing Units
  • GPU Graphics Processing Units
  • FPGA Field Programmable Gate Arrays
  • the position attribute assignment unit 111 acquires the captured image captured by the camera CM and the current position information of the robot hand HND output from the actuator AC.
  • the position attribute assignment unit 111 calculates and acquires position information of the current position of the camera CM from the acquired current position information of the robot hand HND based on the pre-set positional relationship between the robot hand HND and the camera CM.
  • the position attribute assigning unit 111 assigns to the captured image the position information of the camera CM at the time the captured image was captured.
  • the position attribute assigning unit 111 outputs the captured image with the assigned position information to the 2D recognition unit 114 or the 3D measurement unit 115 via the switching unit 112A.
  • the pattern switching unit 112 turns ON/OFF the projection of a predetermined pattern by the projection device PJ and switches the output destination of the captured image by the position attribute assigning unit 111.
  • the pattern switching unit 112 When performing 2D recognition processing (low-speed processing) using the captured image, the pattern switching unit 112 generates a control command to turn OFF the predetermined pattern and outputs it to the pattern generation unit 113, and switches the switching unit 112A so that the output destination of the captured image by the position attribute assigning unit 111 is the 2D recognition unit 114.
  • the pattern switching unit 112 When performing 3D measurement processing (high-speed processing) using the captured image, the pattern switching unit 112 generates a control command to turn ON the predetermined pattern and outputs it to the pattern generation unit 113, and switches the switching unit 112A so that the output destination of the captured image by the position attribute assigning unit 111 is the 3D measurement unit 115.
  • the switching unit 112A is realized by a demultiplexer, and switches the output destination of the captured image by the position attribute assigning unit 111 between the 2D recognition unit 114 and the 3D measurement unit 115 based on control by the pattern switching unit 112. Note that the switching unit 112A is not essential and may be omitted. In such a case, the pattern switching unit 112 generates a control command instructing the output destination of the captured image and sends it to the position attribute assigning unit 111. Based on the control command, the position attribute assigning unit 111 determines the output destination of the captured image and outputs the captured image.
  • the pattern generation unit 113 generates a projection image to be projected by the projection device PJ based on the projection control by the pattern switching unit 112, and outputs it to the projection device PJ.
  • the pattern generation unit 113 generates a projection image having a predetermined pattern based on a control command to turn the predetermined pattern ON, and transmits it to the projection device PJ. Furthermore, the pattern generation unit 113 omits the generation and transmission of a projection image having a predetermined pattern based on a control command to turn the predetermined pattern OFF.
  • this disclosure describes an example in which control is performed to turn off the projection (light emission) process by the projection device PJ while the projection of a predetermined pattern is turned off, but the process of turning off the projection of a predetermined pattern is not limited to the above example.
  • the process of turning off the projection of a predetermined pattern may also involve the projection of light that does not have a predetermined pattern (for example, infrared light or visible light, etc.).
  • the projection device PJ in this disclosure has been described as starting to project (i.e., emit light) a projection image having a predetermined pattern when the exposure of the image sensor IM starts, and ending to project (i.e., emit light) the projection image having the predetermined pattern when the exposure of the image sensor IM ends, this is not limiting.
  • the projection device PJ may continue to project a projection image having a predetermined pattern while the camera CM captures N (N: an integer greater than or equal to 2) images used in the 3D measurement processing of the object Tg, that is, from the start of exposure for capturing the first image used in the 3D measurement processing of the object Tg to the end of exposure for capturing the Nth image, and may interrupt the projection of the projection image having the predetermined pattern while the camera CM captures one image used for image recognition of the object Tg.
  • N an integer greater than or equal to 2
  • the 2D recognition unit 114 detects the object Tg from the captured image output from the position attribute assignment unit 111 and performs image recognition using AI.
  • the 2D recognition unit 114 measures the position information (2D position) of the object Tg relative to the position information (3D position information) of the camera CM based on the position information of the camera CM assigned to the captured image and the position and orientation of the object Tg recognized from the captured image.
  • the 2D recognition unit 114 outputs information on the measured two-dimensional position (2D position) of the object Tg to the target position calculation unit 116.
  • the 3D measurement unit 115 acquires the captured images output from the position attribute assignment unit 111 and records them in chronological order. Based on two consecutively captured images (the recorded captured image and the most recent captured image), the 3D measurement unit 115 measures the three-dimensional position and movement amount of the object Tg relative to the position information (three-dimensional position information) of the camera CM. The 3D measurement unit 115 outputs the measured three-dimensional position information of the object Tg to the target position calculation unit 116. The 3D measurement unit 115 can measure the target position in real time to track the object Tg (target position) by removing disturbances (such as shaking) from the robot hand HND or camera CM.
  • disturbances such as shaking
  • the target position calculation unit 116 calculates the amount of movement of the object Tg based on the position information of the object Tg output from the 2D recognition unit 114 and the 3D measurement unit 115, and determines the target position of the robot hand HND.
  • the target position calculation unit 116 generates a control command including information on the determined target position, and sends it to the actuator AC to track the object Tg.
  • the image recognition processing performed by the 2D recognition unit 114 takes considerably longer than the three-dimensional position measurement processing performed by the 3D measurement unit 115. Therefore, when position information of the object Tg is output from the 2D recognition unit 114, the target position calculation unit 116 determines the target position for three-dimensional tracking of the object Tg based on the image capture time and position information of the captured image used in the image recognition processing by the 2D recognition unit 114, and the three-dimensional position measurement results (i.e., the amount of movement of the object Tg) obtained by the 3D measurement unit 115 until the image recognition processing by the 2D recognition unit 114 is completed.
  • the target position calculation unit 116 determines the target position for three-dimensional tracking of the object Tg based on the image capture time and position information of the captured image used in the image recognition processing by the 2D recognition unit 114, and the three-dimensional position measurement results (i.e., the amount of movement of the object Tg) obtained by the 3D measurement unit 115 until the image recognition processing by the 2D recognition unit 114
  • Memory 12 includes, for example, Random Access Memory (RAM) as work memory used when executing each process of processor 11, and Read Only Memory (ROM) that stores programs and data that define the operation of processor 11. Data or information generated or acquired by processor 11 is temporarily stored in RAM. Programs that define the operation of processor 11 are written in ROM.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • Figure 3 is a flowchart showing an example of the overall operation procedure of the picking system 100 according to the embodiment.
  • the picking system 100 operates in synchronization so that the center time Tm0 of the exposure time of the image sensor IM of the camera CM coincides with the timing at which the encoder value readout of the encoder EN of the actuator AC begins, and inputs the captured image (image capture) and the read encoder value to the 2D recognition unit 114 of the calculation device P1 at the synchronized time (for example, time Tm1 shown in Figure 3).
  • the picking system 100 also operates in synchronization so that the pattern projection time by the projection device PJ matches the exposure time of the image sensor IM of the camera CM, and so that the center time Tm0 of the exposure time of the image sensor IM of the camera CM matches the timing at which the encoder value readout of the encoder EN of the actuator AC begins.
  • the picking system 100 inputs the captured image (image capture) and the read encoder value to the 3D measurement unit 115 of the calculation device P1 at a synchronized time (for example, time Tm2 shown in Figure 3).
  • the picking system 100 repeatedly executes a process of capturing an image of the object Tg without projecting a pattern, and a process of capturing an image of the object Tg onto which the pattern has been projected.
  • time periods T11 and T21 shown in FIG. 3 the projection device PJ and camera CM capture an image of the object Tg once without projecting a pattern.
  • time periods T12 and T22 the projection device PJ and camera CM capture an image of the object Tg onto which the pattern has been projected N times (three times in FIG. 3).
  • the picking system 100 repeatedly executes two-dimensional image recognition processing and multiple three-dimensional measurement processing, with time periods T11, T21 and time periods T12, T22 forming one cycle.
  • the picking system 100 While the 2D recognition unit 114 is performing image recognition processing on the images captured in time periods T11 and T21, the picking system 100 measures the three-dimensional position of the object Tg based on the N images captured in time periods T12 and T22 using the 3D measurement unit 115, and adjusts (moves) the position of the actuator AC based on the measured three-dimensional position. After the 2D recognition unit 114 has completed image recognition processing on the images captured in time periods T11 and T21, the picking system 100 tracks the object Tg based on the image recognition results (two-dimensional measurement results).
  • Figure 4 is a flowchart showing an example of the operating procedure of the calculation device P1 in this embodiment.
  • the calculation device P1 generates a control command to omit projection of a specified pattern (i.e., control to turn off projection) and sends it to the projection device PJ (St11).
  • the computing device P1 synchronously acquires a captured image of the object Tg on which no predetermined pattern is projected, and current position information of the camera CM based on the position of the robot hand HND at the time the captured image was captured (St12).
  • the acquired current position information of the camera CM indicates the position information of the camera CM at half the timing of the exposure period (center time Tm0) during the exposure period from the timing when the exposure of the camera CM starts to the timing when the exposure ends.
  • the computing device P1 starts 2D recognition processing (image recognition processing) of the object Tg based on the captured image and position information of the camera CM (St13). While the computing device P1 is performing 2D recognition processing (image recognition processing) of the object Tg, it performs 3D measurement processing of the object Tg N times based on the captured image (St14).
  • the calculation device P1 generates a control command to project a predetermined pattern (i.e., control the projection to ON) and sends it to the projection device PJ (St141).
  • the computing device P1 synchronously acquires the captured image of the object Tg onto which the predetermined pattern is projected, and the current position information of the camera CM based on the position of the robot hand HND at the time the captured image was captured (St142).
  • the calculation device P1 performs 3D measurement processing (three-dimensional position measurement processing) of the object Tg based on the captured image and position information of the camera CM (St143).
  • the calculation device P1 determines a target position for moving the three-dimensional position of the robot hand HND (camera CM) closer to (tracking) the three-dimensional position of the object Tg.
  • the calculation device P1 sets the target position as the next destination of the robot hand HND (camera CM) and transmits this target position information (three-dimensional position information) to the actuator AC (St144).
  • step St14 After executing the processing of step St14 (i.e., steps St141 to St144) N times, the calculation device P1 obtains the results of the 2D recognition processing (image recognition processing) performed by the 2D recognition unit 114 (St15).
  • the calculation device P1 determines a target position for moving the robot hand HND (camera CM) toward (tracking) the two-dimensional position of the object Tg based on the measured two-dimensional position of the object Tg, the position information of the camera CM at the time the image used in the 2D recognition process (image recognition process) was captured, and the three-dimensional position of the object Tg based on the 3D measurement process of the object Tg.
  • the calculation device P1 sets the target position as the next destination of the robot hand HND (camera CM) and transmits information about this target position (two-dimensional position information) to the actuator AC (St16).
  • the picking system 100 in this embodiment can measure the two-dimensional position, three-dimensional shape, or three-dimensional position of the target object Tg with higher accuracy by synchronously controlling the projection device PJ, camera CM, and actuator AC.
  • the picking system 100 controls the position of the robot hand HND (camera CM) based on the target position obtained by 2D recognition processing (image recognition processing), which is a low-speed process, and controls the position of the robot hand HND (camera CM) based on the target position obtained by 3D measurement processing, which is a high-speed process.
  • This allows the picking system 100 to perform segmented tracking of the object Tg using 3D measurement processing until a more accurate position (true value) of the object Tg is obtained using 2D recognition processing (image recognition processing).
  • the picking system 100 can track the object Tg in real time by tracking the object Tg using 3D measurement processing, thereby reducing the amount of movement of the object Tg using 2D recognition processing.
  • the picking system 100 can speed up the process of measuring the amount of movement of the object Tg captured between two frames during 3D measurement processing, and can determine a target position for moving the position of the robot hand HND (camera CM) relative to the object Tg to match the position of the object Tg due to shaking of the camera CM, etc., and can move to this target position in real time.
  • the robot hand HND camera CM
  • the picking system 100 does not need to temporarily stop the operation of the actuator AC or the movement of the object Tg, or reduce the operating or movement speed, until the object Tg is recognized by image recognition processing. Therefore, the picking system 100 can measure the shape and position of the moving object Tg with high accuracy, improving the work efficiency of the work performed on the measured object Tg.
  • a measurement method performed by at least one computer (arithmetic device P1) communicably connected among a camera CM that captures an image of an object Tg, a projection device PJ that projects an image having a predetermined pattern onto the object Tg, and an actuator AC that moves the position of the camera CM, a first process of acquiring a first captured image of the object Tg on which the predetermined pattern is not projected, performing an image recognition process of the object Tg appearing in the first captured image to measure a two-dimensional position of the object Tg, and outputting the measured two-dimensional position to the actuator AC; While the image recognition process is being performed, a second captured image of the object Tg onto which the predetermined pattern is projected is acquired, a three-dimensional position of the object Tg appearing in the second captured image is measured, and the measured three-dimensional position is output to the actuator AC.
  • arithmetic device P1 communicably connected among a camera CM that captures an image of an object Tg, a projection device PJ that projects an image having a pre
  • This second process is performed multiple times. Measurement method.
  • the computing device P1 can perform a 3D measurement process of the object Tg based on a predetermined pattern appearing in the second captured image multiple times while performing a 2D recognition process (image recognition process) based on the first captured image, thereby enabling tracking of the moving object Tg each time the 3D measurement process is completed.
  • the computing device P1 can recognize (identify) the moving object Tg and accurately track the object Tg based on the highly accurate 2D position at the time the first captured image was captured and the amount of movement of the object Tg based on the multiple 3D measurement results.
  • the computing device P1 can perform imaging of the object Tg, the 2D recognition process (image recognition process), and the 3D measurement process without stopping or slowing down the movement of the camera CM and the object Tg, thereby improving the efficiency of tasks performed on the object Tg.
  • the camera CM and the actuator AC are configured such that the center time of the exposure time of the camera CM is synchronized with the read time of the encoder value of the actuator AC, In the first process and the second process, the first captured image or the second captured image and the encoder value read out at the median time when the first captured image or the second captured image is captured are acquired, and the two-dimensional position of the object Tg or the three-dimensional position of the object Tg is measured based on the position of the camera CM at the median time based on the encoder value.
  • the calculation device P1 can synchronously control the camera CM and the actuator AC, thereby measuring with higher accuracy the two-dimensional or three-dimensional position of the object Tg at the imaging time when the object Tg is imaged.
  • the camera CM and the projection device PJ synchronize a first projection time for projecting an image not having the predetermined pattern onto the object Tg or a second projection time for projecting an image having the predetermined pattern onto the object Tg with an exposure time of the camera CM.
  • the calculation device P1 can synchronously control the projection device PJ, camera CM, and actuator AC, thereby measuring the two-dimensional or three-dimensional position of the object Tg at the time the object Tg is imaged with higher accuracy.
  • the frame rate of the camera CM is 960 fps or more.
  • a measurement device (arithmetic device P1) is connected so as to be able to communicate with a camera CM that captures an image of an object Tg, a projection device PJ that projects an image having a predetermined pattern onto the object Tg, and an actuator AC that moves the position of the camera CM, an acquisition unit (communication unit 10) that acquires a first captured image of the object Tg on which the predetermined pattern is not projected or a second captured image of the object Tg on which the predetermined pattern is projected; a first processing unit (processor 11) that executes image recognition processing of the object Tg appearing in the first captured image to measure a two-dimensional position of the object Tg and outputs the measured two-dimensional position to the actuator AC; a second processing unit (processor 11) that executes a process of measuring a three-dimensional position of the object Tg appearing in the second captured image and outputting the measured three-dimensional position to the actuator AC multiple times while the first processing unit is executing the image recognition process; Measurement device (calculation device P
  • the computing device P1 can perform a 3D measurement process of the object Tg based on a predetermined pattern appearing in the second captured image multiple times while performing a 2D recognition process (image recognition process) based on the first captured image, thereby enabling tracking of the moving object Tg each time the 3D measurement process is completed. Furthermore, upon acquiring the image recognition results of the object Tg, the computing device P1 can recognize (identify) the moving object Tg and accurately track the object Tg based on the highly accurate 2D position at the time the first captured image was captured and the amount of movement of the object Tg based on the multiple 3D measurement results.
  • the computing device P1 can perform imaging of the object Tg, the 2D recognition process (image recognition process), and the 3D measurement process without stopping or slowing down the movement of the camera CM and the object Tg, thereby improving the efficiency of tasks performed on the object Tg.
  • the processor 11 can perform a three-dimensional measurement process of the object Tg multiple times based on a predetermined pattern appearing in the second captured image, thereby enabling the processor 11 to perform a tracking process of the moving object Tg each time the three-dimensional measurement process is completed. Furthermore, upon acquiring the image recognition results of the object Tg, the processor P1 can recognize (identify) the moving object Tg and accurately track the object Tg based on the highly accurate two-dimensional position at the time the first captured image was captured and the amount of movement of the object Tg based on the multiple three-dimensional measurement results.
  • the processor P1 can perform the imaging, two-dimensional recognition process (image recognition process), and three-dimensional measurement process of the object Tg without stopping or slowing down the movement of the camera CM and the object Tg, thereby improving the efficiency of tasks performed on the object Tg.
  • This disclosure is useful as a presentation of a measurement method, measurement device, and measurement program that realizes image recognition and three-dimensional measurement of moving objects.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

計測方法は、所定のパターンが投影されていない対象物の第１の撮像画像を取得して、第１の撮像画像に写る対象物の画像認識処理を実行して対象物の２次元位置を計測し、計測された２次元位置をアクチュエータに出力する第１の処理を実行し、画像認識処理を実行している間に、所定のパターンが投影された対象物の第２の撮像画像を取得して、第２の撮像画像に写る対象物の３次元位置を計測し、計測された３次元位置をアクチュエータに出力する第２の処理を複数回実行する。

Description

計測方法、計測装置、および計測プログラム
　本開示は、計測方法、計測装置、および計測プログラムに関する。
　特許文献１には、対象物にパターン光を投影して撮影された画像を用いて、各画素に奥行距離に関する情報が関連付けられたデータであるマップを生成し、対象物にパターン光を投影せずに撮影された画像を用いて、対象物のエッジを検出し、奥行距離が不連続となる位置が対象物のエッジの位置に合致するように、検出されたエッジに基づいて前記マップを修正する画像処理装置が開示されている。
国際公開第２０２１／０４８９１７号公報
　本開示は、上述した従来の事情に鑑みて案出され、移動している対象物の画像認識および３次元計測を実現する計測方法、計測装置、および計測プログラムを提供することを目的とする。
　本開示は、対象物を撮像するカメラと、前記対象物に所定のパターンを有する画像を投影する投影装置と、前記カメラの位置を移動させるアクチュエータとの間で通信可能に接続された少なくとも１つのコンピュータが行う計測方法であって、前記所定のパターンが投影されていない前記対象物の第１の撮像画像を取得して、前記第１の撮像画像に写る前記対象物の画像認識処理を実行して前記対象物の２次元位置を計測し、計測された前記２次元位置を前記アクチュエータに出力する第１の処理を実行し、前記画像認識処理を実行している間に、前記所定のパターンが投影された前記対象物の第２の撮像画像を取得して、前記第２の撮像画像に写る前記対象物の３次元位置を計測し、計測された前記３次元位置を前記アクチュエータに出力する第２の処理を複数回実行する、計測方法を提供する。
　また、本開示は、対象物を撮像するカメラと、前記対象物に所定のパターンを有する画像を投影する投影装置と、前記カメラの位置を移動させるアクチュエータとの間で通信可能に接続された計測装置であって、前記所定のパターンが投影されていない前記対象物の第１の撮像画像、または前記所定のパターンが投影された前記対象物の第２の撮像画像を取得する取得部と、前記第１の撮像画像に写る前記対象物の画像認識処理を実行して前記対象物の２次元位置を計測して、計測された前記２次元位置を前記アクチュエータに出力する第１の処理部と、前記第１の処理部が前記画像認識処理を実行している間に、前記第２の撮像画像に写る前記対象物の３次元位置を計測して、計測された前記３次元位置を前記アクチュエータに出力する処理を複数回実行する第２の処理部と、を備える、計測装置を提供する。
　また、本開示は、対象物を撮像するカメラと、前記対象物に所定のパターンを有する画像を投影する投影装置と、前記カメラの位置を移動させるアクチュエータとの間で通信可能に接続された少なくとも１つのプロセッサにより実行される計測プログラムであって、前記プロセッサに、前記所定のパターンが投影されていない前記対象物の第１の撮像画像を取得して、前記第１の撮像画像に写る前記対象物の画像認識処理を実行して前記対象物の２次元位置を計測し、計測された前記２次元位置を前記アクチュエータに出力する第１の処理を実行させるステップと、前記画像認識処理を実行している間に、前記所定のパターンが投影された前記対象物の第２の撮像画像を取得して、前記第２の撮像画像に写る前記対象物の３次元位置を計測し、計測された前記３次元位置を前記アクチュエータに出力する第２の処理を複数回実行させるステップと、を実現させる、計測プログラムを提供する。
　本開示によれば、移動している対象物の画像認識および３次元計測を実現できる。
実施の形態に係るピッキングシステムの全体構成例を示す図 実施の形態に係るピッキングシステムの内部構成例を示すブロック図 実施の形態に係るピッキングシステムの全体動作手順例を示すフローチャート 実施の形態における演算装置の動作手順例を示すフローチャート
（本開示に至る経緯）
　従来、特許文献１の画像処理装置のように、対象物に所定のパターンを有するパターン光を照射して撮像した撮像画像を取得し、この撮像画像を画像処理することで、産業用ロボットによって行われる所定の作業を実行するための対象物の画像認識あるいは３次元情報を取得する技術がある。近年では、移動している対象物の画像認識結果および３次元情報をリアルタイムに取得し、産業用ロボットによって対象物に所定の作業を実行可能にする技術が要望されている。しかし、ＡＩを用いた画像認識（物体認識）は、時間を要する処理であるため、特許文献１の技術を用いて移動している対象物の画像認識した場合には、画像認識している間に対象物が移動していまい、対象物の追跡あるいは３次元情報を同時に実行することが困難だった。
　よって、以下に示す各実施の形態においては、移動している対象物の画像認識および３次元計測を実現する計測方法、計測装置、および計測プログラムの例を説明する。
　以下、適宜図面を参照しながら、本開示に係る計測方法、計測装置、および計測プログラムの構成および作用を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
　図１を参照して、実施の形態に係るピッキングシステム１００の全体構成例について説明する。図１は、実施の形態に係るピッキングシステム１００の内部構成例を示す図である。
　ピッキングシステム１００は、投影装置ＰＪによってベルトコンベアＢＣにより搬送されているピッキング対象（以降、「対象物」と表記）に所定のパターン（例えば、格子パターン、あるいは縞模様等）を投影する。ピッキングシステム１００は、所定のパターンが投影されている状態の対象物と、所定のパターンが投影されていない状態の対象物とを１台のカメラＣＭ（単眼カメラ）により撮像する。ピッキングシステム１００は、所定のパターンが投影されている撮像画像からベルトコンベアＢＣ上の対象物Ｔｇの３Ｄ計測と、所定のパターンが投影されていない撮像画像を用いて対象物Ｔｇの画像認識（２Ｄ認識）とを実行する。ピッキングシステム１００は、３Ｄ計測に基づく対象物Ｔｇの３次元位置と、画像認識（２Ｄ認識）に基づく対象物Ｔｇの２次元位置とに基づいて、対象物Ｔｇを追跡し、ピッキングする。ピッキングシステム１００は、投影装置ＰＪと、カメラＣＭと、アクチュエータＡＣと、演算装置Ｐ１とを含む。
　投影装置ＰＪは、所謂プロジェクタ等により実現される。投影装置ＰＪは、演算装置Ｐ１による投影のＯＮ／ＯＦＦ制御を受け付けて、所定のパターンを有する投影画像（つまり、可視光あるいは赤外光）を対象物Ｔｇに投影する。なお、図１に示すピッキングシステム１００は、投影装置ＰＪが１台である例を示すが、複数であってもよい。
　アクチュエータＡＣは、複数軸によりロボットハンドＨＮＤと、ロボットハンドＨＮＤに一体的に取り付けられたカメラＣＭとを３次元的に移動可能に制御する。アクチュエータＡＣは、ベルトコンベアＢＣ上を移動している対象物Ｔｇと、対象物Ｔｇのピッキングを行うロボットハンドＨＮＤおよびロボットハンドＨＮＤに固定設置されたカメラＣＭとの間の位置関係を変更可能に制御する。
　ロボットハンドＨＮＤは、例えばピッキングシステム１００に対応して配備されたロボットアームの先端部に設けられている。ロボットハンドＨＮＤは、アクチュエータＡＣによる制御によって、対象物Ｔｇに接近し、対象物Ｔｇをピッキングする。
　カメラＣＭは、ロボットハンドＨＮＤの近傍に配置され、アクチュエータＡＣの制御によってロボットハンドＨＮＤと一体的に移動して、対象物Ｔｇを撮像する。カメラＣＭは、対象物Ｔｇを所定のフレームレート（例えば、９６０ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ（以降、「ｆｐｓ」と表記）、あるいは１０００ｆｐｓ）で撮像し、撮像により得られた対象物Ｔｇの撮像画像を都度、演算装置Ｐ１に送信する。
　演算装置Ｐ１は、カメラＣＭから送信された撮像画像に基づいて、対象物Ｔｇを検出する。演算装置Ｐ１は、複数の撮像画像に基づいて、検出された対象物Ｔｇの２Ｄ計測および３Ｄ計測をそれぞれ実行し、対象物Ｔｇの画像認識と、ロボットハンドＨＮＤを対象物Ｔｇに接近させて、ピッキングさせる制御とを実行する。
　次に、図２を参照して、実施の形態に係るピッキングシステム１００の内部構成例について説明する。図２は、実施の形態に係るピッキングシステム１００の内部構成例を示すブロック図である。
　カメラＣＭは、少なくともレンズ（不図示）とイメージセンサＩＭとを有して構成される。イメージセンサＩＭは、例えばＣｈａｒｇｅｄ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ（ＣＣＤ）またはＣｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ）の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換して、演算装置Ｐ１に出力する。カメラＣＭは、例えば、９６０ｆｐｓ以上の高フレームレートで対象物Ｔｇを撮像し、撮像された撮像画像を演算装置Ｐ１に送信する。
　カメラＣＭは、投影装置ＰＪおよびアクチュエータＡＣと同期制御を実行する。具体的に、カメラＣＭは、アクチュエータＡＣがエンコーダ値を読み出すタイミングと、シャッタータイミング（露光時間の中央時刻Ｔｍ０、図３参照）とが同期するように撮像処理を実行する。また、カメラＣＭは、所定のパターンが投影された対象物Ｔｇを撮像する場合、投影装置ＰＪによる所定のパターンの投影（発光）している時間（タイミング）と、イメージセンサＩＭが露光時間（タイミング）とが同期するように撮像処理を実行する。
　アクチュエータＡＣは、演算装置Ｐ１から出力された対象物Ｔｇの位置（以降、「目標位置」と表記）の情報に基づいて、ロボットハンドＨＮＤを移動させる。また、アクチュエータＡＣは、各関節の関節角の回転量を検出可能なエンコーダを備える。アクチュエータＡＣは、カメラＣＭと同期制御を実行し、シャッタータイミング（露光時間の中央時刻Ｔｍ０、図３参照）とエンコーダ値の読み出しタイミング（サンプリングタイミング）とを同期させる。アクチュエータＡＣは、撮像画像が撮像された撮像時刻に読み出されたエンコーダ値の情報、つまり、露光時間の中央時刻Ｔｍ０におけるロボットハンドＨＮＤの位置情報を演算装置Ｐ１に送信する。
　演算装置Ｐ１は、通信部１０と、プロセッサ１１と、メモリ１２とを含む。
　通信部１０は、カメラＣＭと、アクチュエータＡＣとの間でデータ送受信可能に接続される。通信部１０は、データの送受信を行うための通信インターフェース回路を用いて構成され、ＣａｍｅｒａＬｉｎｋ（登録商標）ケーブル、イーサネットケーブル、ＥｔｈｅｒＣＡＴ（登録商標）等を用いて有線通信可能に接続する。通信部１０は、カメラＣＭおよびアクチュエータＡＣから取得した各種データをプロセッサ１１に出力する。また、通信部１０は、プロセッサ１１から出力された各種データをアクチュエータＡＣに送信する。
　プロセッサ１１は、例えばＧｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ　ｃｏｍｐｕｔｉｎｇ　ｏｎ　Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔｓ（ＧＰＧＰＵ）、Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔｓ（ＧＰＵ）、あるいはＦｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）等を用いて構成されて、メモリ１２と協働して、各種の処理および制御を行う。具体的には、プロセッサ１１は、メモリ１２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、位置属性付与部１１１、パターン切替部１１２、パターン生成部１１３、２Ｄ認識部１１４、３Ｄ計測部１１５、および目標位置算出部１１６等の各部の機能を実現する。
　位置属性付与部１１１は、カメラＣＭにより撮像された撮像画像と、アクチュエータＡＣから出力されたロボットハンドＨＮＤの現在の位置情報とを取得する。位置属性付与部１１１は、事前に設定されたロボットハンドＨＮＤとカメラＣＭとの間の位置関係に基づいて、取得されたロボットハンドＨＮＤの現在の位置情報からカメラＣＭの現在位置の位置情報を算出して取得する。
　位置属性付与部１１１は、撮像画像に、撮像画像が撮像されたタイミングのカメラＣＭの位置情報を付与する。位置属性付与部１１１は、位置情報が付与された撮像画像を、切替部１１２Ａを介して、２Ｄ認識部１１４または３Ｄ計測部１１５に出力する。
　パターン切替部１１２は、投影装置ＰＪによる所定のパターンの投影のＯＮ／ＯＦＦと、位置属性付与部１１１による撮像画像の出力先の切り替えとを実行する。パターン切替部１１２は、撮像画像を用いた２Ｄ認識処理（低速処理）を実行する場合、所定のパターンをＯＦＦさせる制御指令を生成して、パターン生成部１１３に出力し、位置属性付与部１１１による撮像画像の出力先が２Ｄ認識部１１４になるように切替部１１２Ａを切り替える。また、パターン切替部１１２は、撮像画像を用いた３Ｄ計測処理（高速処理）を実行する場合、所定のパターンをＯＮさせる制御指令を生成して、パターン生成部１１３に出力し、位置属性付与部１１１による撮像画像の出力先が３Ｄ計測部１１５になるように切替部１１２Ａを切り替える。
　切替部１１２Ａは、デマルチプレクサにより実現されて、パターン切替部１１２による制御に基づいて、位置属性付与部１１１による撮像画像の出力先を２Ｄ認識部１１４と３Ｄ計測部１１５との間で切り替える。なお、切替部１１２Ａは、必須でなく省略されてもよい。このような場合、パターン切替部１１２は、撮像画像の出力先を指示する制御指令を生成して、位置属性付与部１１１に送信する。位置属性付与部１１１は、制御指令に基づいて、撮像画像の出力先を決定し、撮像画像を出力する。
　パターン生成部１１３は、パターン切替部１１２による投影制御に基づいて、投影装置ＰＪにより投影される投影画像を生成して、投影装置ＰＪに出力する。パターン生成部１１３は、所定のパターンをＯＮさせる制御指令に基づいて、所定のパターンを有する投影画像を生成して投影装置ＰＪに送信する。また、パターン生成部１１３は、所定のパターンをＯＦＦさせる制御指令に基づいて、所定のパターンを有する投影画像の生成および送信を省略する。
　なお、本開示では、所定のパターンの投影をＯＦＦする間、投影装置ＰＪによる投影（発光）処理をＯＦＦする制御を実行する例について説明するが、所定のパターンの投影をＯＦＦする処理は、上述した例に限定されない。所定のパターンの投影をＯＦＦする処理は、所定のパターンを有さない光（例えば、赤外光あるいは可視光等）の投影を実行してもよい。
　また、本開示における投影装置ＰＪは、イメージセンサＩＭの露光開始のタイミングで所定のパターンを有する投影画像の投影（つまり、発光）を開始し、イメージセンサＩＭの露光終了のタイミングで所定のパターンを有する投影画像の投影（つまり、発光）を終了する例について説明しているが、これに限定されない。投影装置ＰＪは、カメラＣＭが対象物Ｔｇの３次元計測処理に用いられるＮ（Ｎ：２以上の整数）枚の撮像画像を撮像する間、つまり、対象物Ｔｇの３次元計測処理に用いられる１枚目の撮像画像を撮像するための露光開始のタイミングからＮ枚目の撮像画像を撮像するための露光終了のタイミングまでの間、所定のパターンを有する投影画像の投影を継続し、カメラＣＭが対象物Ｔｇの画像認識に用いられる１枚の撮像画像を撮像する間、所定のパターンを有する投影画像の投影を中断してもよい。
　２Ｄ認識部１１４は、位置属性付与部１１１から出力された撮像画像から対象物Ｔｇを検出し、ＡＩを用いて画像認識する。２Ｄ認識部１１４は、撮像画像に付与されたカメラＣＭの位置情報と、撮像画像から画像認識された対象物Ｔｇの位置および姿勢とに基づいて、カメラＣＭの位置情報（３次元の位置情報）に対する対象物Ｔｇの位置情報（２Ｄ位置）を計測する。２Ｄ認識部１１４は、計測された対象物Ｔｇの２次元位置（２Ｄ位置）の情報を目標位置算出部１１６に出力する。
　３Ｄ計測部１１５は、位置属性付与部１１１から出力された撮像画像を取得して、時系列に記録する。３Ｄ計測部１１５は、連続して撮像された２枚の撮像画像（記録された撮像画像および最新の撮像画像）に基づいて、カメラＣＭの位置情報（３次元の位置情報）に対する対象物Ｔｇの３次元位置および移動量を計測する。３Ｄ計測部１１５は、計測された対象物Ｔｇの３次元位置の情報を目標位置算出部１１６に出力する。３Ｄ計測部１１５は、ロボットハンドＨＮＤあるいはカメラＣＭの外乱（揺れ等）を除去して、対象物Ｔｇ（目標位置）を追跡するための目標位置の計測をリアルタイムに実行できる。
　目標位置算出部１１６は、２Ｄ認識部１１４および３Ｄ計測部１１５のそれぞれから出力された対象物Ｔｇの位置情報に基づいて、対象物Ｔｇの移動量を算出し、ロボットハンドＨＮＤの目標位置を決定する。目標位置算出部１１６は、決定された目標位置の情報を含む制御指令を生成し、アクチュエータＡＣに送信して、対象物Ｔｇを追跡させる。
　ここで、２Ｄ認識部１１４が実行する画像認識処理は、３Ｄ計測部１１５が実行する３次元位置の計測処理と比較してかなり多くの時間を要する。よって、目標位置算出部１１６は、２Ｄ認識部１１４から対象物Ｔｇの位置情報が出力された場合、２Ｄ認識部１１４の画像認識処理に用いられた撮像画像の撮像時刻および位置情報と、２Ｄ認識部１１４の画像認識処理が完了するまでの間に得られた３Ｄ計測部１１５の３次元位置の計測結果（つまり、対象物Ｔｇの移動量）とに基づいて、対象物Ｔｇを３次元追跡するための目標位置を決定する。
　メモリ１２は、例えばプロセッサ１１の各処理を実行する際に用いられるワークメモリとしてのＲａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ（ＲＡＭ）と、プロセッサ１１の動作を規定したプログラムおよびデータを格納するＲｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ（ＲＯＭ）とを有する。ＲＡＭには、プロセッサ１１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ１１の動作を規定するプログラムが書き込まれている。
　次に、図３を参照して、ピッキングシステム１００の全体動作手順例について説明する。図３は、実施の形態に係るピッキングシステム１００の全体動作手順例を示すフローチャートである。
　ピッキングシステム１００は、カメラＣＭのイメージセンサＩＭの露光時間の中央時刻Ｔｍ０と、アクチュエータＡＣのエンコーダＥＮのエンコーダ値の読み出し開始タイミングとが一致するように同期して動作し、撮像された撮像画像（画像キャプチャ）と読み出されたエンコーダ値とを同期時刻（例えば、図３に示す時刻Ｔｍ１）で演算装置Ｐ１の２Ｄ認識部１１４に入力する。
　また、ピッキングシステム１００は、投影装置ＰＪによるパターンの投影時間と、カメラＣＭのイメージセンサＩＭの露光時間とが一致するように、かつ、カメラＣＭのイメージセンサＩＭの露光時間の中央時刻Ｔｍ０と、アクチュエータＡＣのエンコーダＥＮのエンコーダ値の読み出し開始タイミングとが一致するように同期して動作する。ピッキングシステム１００は、撮像された撮像画像（画像キャプチャ）と読み出されたエンコーダ値とを同期時刻（例えば、図３に示す時刻Ｔｍ２）で演算装置Ｐ１の３Ｄ計測部１１５に入力する。
　ピッキングシステム１００は、パターンの投影を省略して対象物Ｔｇを撮像する処理と、パターンを投影した対象物Ｔｇを撮像する処理とを繰り返し実行する。図３に示す時間帯Ｔ１１，Ｔ２１において、投影装置ＰＪおよびカメラＣＭは、パターンの投影を省略して対象物Ｔｇを１回撮像する。時間帯Ｔ１２，Ｔ２２において、投影装置ＰＪおよびカメラＣＭは、パターンを投影した対象物ＴｇをＮ回（図３では、３回）撮像する。ピッキングシステム１００は、時間帯Ｔ１１，Ｔ２１と時間帯Ｔ１２，Ｔ２２とを１周期として、２次元の画像認識処理と、複数の３次元計測処理とを繰り返し実行する。
　ピッキングシステム１００は、時間帯Ｔ１１，Ｔ２１で撮像された撮像画像を２Ｄ認識部１１４で画像認識処理を実行している間に、時間帯Ｔ１２，Ｔ２２で撮像されたＮ枚の撮像画像の３Ｄ計測部１１５に基づく対象物Ｔｇの３次元位置の計測と、計測された３次元位置に基づくアクチュエータＡＣの位置調整（移動）とを実行する。ピッキングシステム１００は、時間帯Ｔ１１，Ｔ２１で撮像された撮像画像を２Ｄ認識部１１４で画像認識処理が完了した後、画像認識結果（２次元計測結果）に基づいて、対象物Ｔｇの追跡を実行する。
　次に、図４を参照して、演算装置Ｐ１の動作手順例について説明する。図４は、実施の形態における演算装置Ｐ１の動作手順例を示すフローチャートである。
　まず、演算装置Ｐ１は、所定のパターンの投影を省略させる（つまり、投影のＯＦＦ制御）を指示する制御指令を生成して、投影装置ＰＪに送信する（Ｓｔ１１）。
　演算装置Ｐ１は、所定のパターンが投影されていない対象物Ｔｇが撮像された撮像画像と、この撮像画像が撮像された時のロボットハンドＨＮＤの位置に基づくカメラＣＭの現在の位置情報とを同期取得する（Ｓｔ１２）。なお、取得されたカメラＣＭの現在の位置情報は、カメラＣＭの露光開始のタイミングから露光終了のタイミングまでの露光期間において、露光期間の半分のタイミング（中央時刻Ｔｍ０）におけるカメラＣＭの位置情報を示す。
　演算装置Ｐ１は、撮像画像とカメラＣＭの位置情報に基づいて、対象物Ｔｇの２Ｄ認識処理（画像認識処理）を開始する（Ｓｔ１３）。演算装置Ｐ１は、対象物Ｔｇの２Ｄ認識処理（画像認識処理）を実行している間に、撮像画像に基づくＮ回の対象物Ｔｇの３Ｄ計測処理を実行する（Ｓｔ１４）。
　演算装置Ｐ１は、所定のパターンを投影させる（つまり、投影のＯＮ制御）を指示する制御指令を生成して、投影装置ＰＪに送信する（Ｓｔ１４１）。
　演算装置Ｐ１は、所定のパターンが投影された対象物Ｔｇが撮像された撮像画像と、この撮像画像が撮像された時のロボットハンドＨＮＤの位置に基づくカメラＣＭの現在の位置情報とを同期取得する（Ｓｔ１４２）。
　演算装置Ｐ１は、撮像画像とカメラＣＭの位置情報とに基づいて、対象物Ｔｇの３Ｄ計測処理（３次元位置計測処理）を実行する（Ｓｔ１４３）。
　演算装置Ｐ１は、計測された対象物Ｔｇの３次元位置の情報と、カメラＣＭの３次元の位置情報とに基づいて、ロボットハンドＨＮＤ（カメラＣＭ）の３次元位置を対象物Ｔｇの３次元位置に接近（追跡）させるための目標位置を決定する。演算装置Ｐ１は、目標位置をロボットハンドＨＮＤ（カメラＣＭ）の次の移動先として設定し、この目標位置の情報（３次元位置の情報）をアクチュエータＡＣに送信する（Ｓｔ１４４）。
　演算装置Ｐ１は、ステップＳｔ１４（つまり、ステップＳｔ１４１～ステップＳｔ１４４）の処理をＮ回実行した後、２Ｄ認識部１１４による２Ｄ認識処理（画像認識処理）結果を取得する（Ｓｔ１５）。
　演算装置Ｐ１は、計測された対象物Ｔｇの２次元位置と、２Ｄ認識処理（画像認識処理）に用いられた撮像画像が撮像された撮像時刻におけるカメラＣＭの位置情報と、対象物Ｔｇの３Ｄ計測処理に基づく対象物Ｔｇの３次元位置とに基づいて、ロボットハンドＨＮＤ（カメラＣＭ）を対象物Ｔｇの２次元位置に接近（追跡）させるための目標位置を決定する。演算装置Ｐ１は、目標位置をロボットハンドＨＮＤ（カメラＣＭ）の次の移動先として設定し、この目標位置の情報（２次元位置の情報）をアクチュエータＡＣに送信する（Ｓｔ１６）。
　以上により、実施の形態におけるピッキングシステム１００は、投影装置ＰＪ、カメラＣＭおよびアクチュエータＡＣを同期制御させることで、対象物Ｔｇの２次元位置、３次元形状あるいは３次元位置をより高精度に計測することができる。
　また、ピッキングシステム１００は、低速処理である２次元認識処理（画像認識処理）により得られた目標位置に基づくロボットハンドＨＮＤ（カメラＣＭ）の位置制御と、高速処理である３次元計測処理により得られた目標位置に基づくロボットハンドＨＮＤ（カメラＣＭ）の位置制御とを実行することで、２次元認識処理（画像認識処理）による対象物Ｔｇのより高精度な位置（真値）を取得するまでの間、３次元計測処理による対象物Ｔｇの分割追跡を実行することができる。したがって、ピッキングシステム１００は、２次元認識処理（画像認識処理）により得られた対象物Ｔｇの位置が遠く、対象物Ｔｇを追跡するための移動量が大きい場合であっても、３次元計測処理による対象物Ｔｇの追跡によって、２Ｄ認識処理による対象物Ｔｇの移動量を減少させることで、対象物Ｔｇの追跡をリアルタイムに実現できる。
　また、以上によりピッキングシステム１００は、３次元計測処理において、２枚のフレーム間に写る対象物Ｔｇの動き量の計測処理を高速化することができ、カメラＣＭの揺れ等に起因する対象物Ｔｇに対するロボットハンドＨＮＤ（カメラＣＭ）の位置を対象物Ｔｇの位置に合わせて移動させるための目標位置と、この目標位置への移動とをリアルタイムに実現できる。
　また、以上によりピッキングシステム１００は、画像認識処理による対象物Ｔｇを認識するまでの間、アクチュエータＡＣの動作または対象物Ｔｇの移動を一時的に停止したり、動作速度または移動速度を低下させたりする必要がない。よって、ピッキングシステム１００は、移動している対象物Ｔｇの形状および位置を高精度に計測し、計測された対象物Ｔｇに対して実行される作業の作業効率を向上できる。
（付記）
　以上の各実施の形態の記載により、以下の技術が開示される。
（技術１）
　対象物Ｔｇを撮像するカメラＣＭと、前記対象物Ｔｇに所定のパターンを有する画像を投影する投影装置ＰＪと、前記カメラＣＭの位置を移動させるアクチュエータＡＣとの間で通信可能に接続された少なくとも１つのコンピュータ（演算装置Ｐ１）が行う計測方法であって、
　前記所定のパターンが投影されていない前記対象物Ｔｇの第１の撮像画像を取得して、前記第１の撮像画像に写る前記対象物Ｔｇの画像認識処理を実行して前記対象物Ｔｇの２次元位置を計測し、計測された前記２次元位置を前記アクチュエータＡＣに出力する第１の処理を実行し、
　前記画像認識処理を実行している間に、前記所定のパターンが投影された前記対象物Ｔｇの第２の撮像画像を取得して、前記第２の撮像画像に写る前記対象物Ｔｇの３次元位置を計測し、計測された前記３次元位置を前記アクチュエータＡＣに出力する第２の処理を複数回実行する、
　計測方法。
　これにより、演算装置Ｐ１は、第１の撮像画像に基づく２次元認識処理（画像認識処理）をしている間に、第２の撮像画像に写る所定のパターンに基づく対象物Ｔｇの３次元計測処理を複数回実行できるため、３次元計測処理が完了するタイミングごとに移動している対象物Ｔｇの追跡処理を実行できる。また、演算装置Ｐ１は、対象物Ｔｇの画像認識結果を取得すると、移動している対象物Ｔｇを認識（特定）し、第１の撮像画像が撮像された時の高精度の２次元位置と、複数の３次元計測結果に基づく対象物Ｔｇの移動量とに基づいて、対象物Ｔｇの追跡を高精度に実行できる。よって、演算装置Ｐ１は、カメラＣＭおよび対象物Ｔｇの移動を停止あるいは減速させずに対象物Ｔｇの撮像、２次元認識処理（画像認識処理）、および３次元計測処理を実行できるため、対象物Ｔｇに対して実行される作業の作業効率を向上できる。
（技術２）
　前記カメラＣＭおよび前記アクチュエータＡＣは、前記カメラＣＭの露光時間の中央時刻と、前記アクチュエータＡＣのエンコーダ値の読み出し時刻とが同期し、
　前記第１の処理および前記第２の処理において、前記第１の撮像画像または前記第２の撮像画像と、前記第１の撮像画像または前記第２の撮像画像が撮像された前記中央時刻に読み出された前記エンコーダ値とを取得し、前記エンコーダ値に基づく前記中央時刻における前記カメラＣＭの位置に基づいて、前記対象物Ｔｇの前記２次元位置または前記対象物Ｔｇの前記３次元位置を計測する、
　（技術１）に記載の計測方法。
　これにより、演算装置Ｐ１は、カメラＣＭおよびアクチュエータＡＣを同期制御させることで、対象物Ｔｇが撮像された撮像時刻における対象物Ｔｇの２次元位置または３次元位置をより高精度に計測することができる。
（技術３）
　前記カメラＣＭと前記投影装置ＰＪとは、前記所定のパターンを有していない画像を前記対象物Ｔｇに投影する第１の投影時間、または前記所定のパターンを有する画像を前記対象物Ｔｇに投影する第２の投影時間と、前記カメラＣＭの露光時間とが同期する、
　（技術１）または（技術２）に記載の計測方法。
　これにより、演算装置Ｐ１は、投影装置ＰＪ、カメラＣＭおよびアクチュエータＡＣを同期制御させることで、対象物Ｔｇが撮像された撮像時刻における対象物Ｔｇの２次元位置または３次元位置をより高精度に計測することができる。
（技術４）
　前記カメラＣＭのフレームレートは、９６０ｆｐｓ以上である、
　（技術１）～（技術３）のいずれか１つに記載の計測方法。
　これにより、演算装置Ｐ１は、２Ｄ認識処理により取得された２次元位置と、３次元計測処理により取得された３次元位置とのそれぞれで、各処理に用いられた２枚の撮像画像に写る対象物Ｔｇの動き量の計測処理を高速化することができ、カメラＣＭの揺れ等に起因する対象物Ｔｇに対するロボットハンドＨＮＤ（カメラＣＭ）の位置を対象物Ｔｇの位置に合わせて移動させるための目標位置と、この目標位置への移動とをリアルタイムに実現できる。
（技術５）
　対象物Ｔｇを撮像するカメラＣＭと、前記対象物Ｔｇに所定のパターンを有する画像を投影する投影装置ＰＪと、前記カメラＣＭの位置を移動させるアクチュエータＡＣとの間で通信可能に接続された計測装置（演算装置Ｐ１）であって、
　前記所定のパターンが投影されていない前記対象物Ｔｇの第１の撮像画像、または前記所定のパターンが投影された前記対象物Ｔｇの第２の撮像画像を取得する取得部（通信部１０）と、
　前記第１の撮像画像に写る前記対象物Ｔｇの画像認識処理を実行して前記対象物Ｔｇの２次元位置を計測して、計測された前記２次元位置を前記アクチュエータＡＣに出力する第１の処理部（プロセッサ１１）と、
　前記第１の処理部が前記画像認識処理を実行している間に、前記第２の撮像画像に写る前記対象物Ｔｇの３次元位置を計測して、計測された前記３次元位置を前記アクチュエータＡＣに出力する処理を複数回実行する第２の処理部（プロセッサ１１）と、を備える、
　計測装置（演算装置Ｐ１）。
　これにより、演算装置Ｐ１は、第１の撮像画像に基づく２次元認識処理（画像認識処理）をしている間に、第２の撮像画像に写る所定のパターンに基づく対象物Ｔｇの３次元計測処理を複数回実行できるため、３次元計測処理が完了するタイミングごとに移動している対象物Ｔｇの追跡処理を実行できる。また、演算装置Ｐ１は、対象物Ｔｇの画像認識結果を取得すると、移動している対象物Ｔｇを認識（特定）し、第１の撮像画像が撮像された時の高精度の２次元位置と、複数の３次元計測結果に基づく対象物Ｔｇの移動量とに基づいて、対象物Ｔｇの追跡を高精度に実行できる。よって、演算装置Ｐ１は、カメラＣＭおよび対象物Ｔｇの移動を停止あるいは減速させずに対象物Ｔｇの撮像、２次元認識処理（画像認識処理）、および３次元計測処理を実行できるため、対象物Ｔｇに対して実行される作業の作業効率を向上できる。
（技術６）
　対象物Ｔｇを撮像するカメラＣＭと、前記対象物Ｔｇに所定のパターンを有する画像を投影する投影装置ＰＪと、前記カメラＣＭの位置を移動させるアクチュエータＡＣとの間で通信可能に接続された少なくとも１つのプロセッサ１１により実行される計測プログラムであって、前記プロセッサ１１に、
　前記所定のパターンが投影されていない前記対象物Ｔｇの第１の撮像画像を取得して、前記第１の撮像画像に写る前記対象物Ｔｇの画像認識処理を実行して前記対象物Ｔｇの２次元位置を計測し、計測された前記２次元位置を前記アクチュエータＡＣに出力する第１の処理を実行させるステップと、
　前記画像認識処理を実行している間に、前記所定のパターンが投影された前記対象物Ｔｇの第２の撮像画像を取得して、前記第２の撮像画像に写る前記対象物Ｔｇの３次元位置を計測し、計測された前記３次元位置を前記アクチュエータＡＣに出力する第２の処理を複数回実行させるステップと、を実現させる、
　計測プログラム。
　これにより、プロセッサ１１は、第１の撮像画像に基づく２次元認識処理（画像認識処理）をしている間に、第２の撮像画像に写る所定のパターンに基づく対象物Ｔｇの３次元計測処理を複数回実行できるため、３次元計測処理が完了するタイミングごとに移動している対象物Ｔｇの追跡処理を実行できる。また、演算装置Ｐ１は、対象物Ｔｇの画像認識結果を取得すると、移動している対象物Ｔｇを認識（特定）し、第１の撮像画像が撮像された時の高精度の２次元位置と、複数の３次元計測結果に基づく対象物Ｔｇの移動量とに基づいて、対象物Ｔｇの追跡を高精度に実行できる。よって、演算装置Ｐ１は、カメラＣＭおよび対象物Ｔｇの移動を停止あるいは減速させずに対象物Ｔｇの撮像、２次元認識処理（画像認識処理）、および３次元計測処理を実行できるため、対象物Ｔｇに対して実行される作業の作業効率を向上できる。
　以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０２４年５月１５日出願の日本特許出願（特願２０２４－０７９４８２）に基づくものであり、その内容は本出願の中に参照として援用される。
　本開示は、移動している対象物の画像認識および３次元計測を実現する計測方法、計測装置、および計測プログラムの提示として有用である。
１０　通信部
１１　プロセッサ
１２　メモリ
１００　ピッキングシステム
１１１　位置属性付与部
１１２　パターン切替部
１１２Ａ　切替部
１１３　パターン生成部
１１４　２Ｄ認識部
１１５　３Ｄ計測部
１１６　目標位置算出部
ＡＣ　アクチュエータ
ＣＭ　カメラ
ＨＮＤ　ロボットハンド
ＩＭ　イメージセンサ
Ｐ１　演算装置
ＰＪ　投影装置
Ｔｇ　対象物

Claims (6)

  1. 　対象物を撮像するカメラと、前記対象物に所定のパターンを有する画像を投影する投影装置と、前記カメラの位置を移動させるアクチュエータとの間で通信可能に接続された少なくとも１つのコンピュータが行う計測方法であって、
    　前記所定のパターンが投影されていない前記対象物の第１の撮像画像を取得して、前記第１の撮像画像に写る前記対象物の画像認識処理を実行して前記対象物の２次元位置を計測し、計測された前記２次元位置を前記アクチュエータに出力する第１の処理を実行し、
    　前記画像認識処理を実行している間に、前記所定のパターンが投影された前記対象物の第２の撮像画像を取得して、前記第２の撮像画像に写る前記対象物の３次元位置を計測し、計測された前記３次元位置を前記アクチュエータに出力する第２の処理を複数回実行する、
    　計測方法。
  2. 　前記カメラおよび前記アクチュエータは、前記カメラの露光時間の中央時刻と、前記アクチュエータのエンコーダ値の読み出し時刻とが同期し、
    　前記第１の処理および前記第２の処理において、前記第１の撮像画像または前記第２の撮像画像と、前記第１の撮像画像または前記第２の撮像画像が撮像された前記中央時刻に読み出された前記エンコーダ値とを取得し、前記エンコーダ値に基づく前記中央時刻における前記カメラの位置に基づいて、前記対象物の前記２次元位置または前記対象物の前記３次元位置を計測する、
    　請求項１に記載の計測方法。
  3. 　前記カメラと前記投影装置とは、前記所定のパターンを有していない画像を前記対象物に投影する第１の投影時間、または前記所定のパターンを有する画像を前記対象物に投影する第２の投影時間と、前記カメラの露光時間とが同期する、
    　請求項１に記載の計測方法。
  4. 　前記カメラのフレームレートは、９６０ｆｐｓ以上である、
    　請求項１に記載の計測方法。
  5. 　対象物を撮像するカメラと、前記対象物に所定のパターンを有する画像を投影する投影装置と、前記カメラの位置を移動させるアクチュエータとの間で通信可能に接続された計測装置であって、
    　前記所定のパターンが投影されていない前記対象物の第１の撮像画像、または前記所定のパターンが投影された前記対象物の第２の撮像画像を取得する取得部と、
    　前記第１の撮像画像に写る前記対象物の画像認識処理を実行して前記対象物の２次元位置を計測して、計測された前記２次元位置を前記アクチュエータに出力する第１の処理部と、
    　前記第１の処理部が前記画像認識処理を実行している間に、前記第２の撮像画像に写る前記対象物の３次元位置を計測して、計測された前記３次元位置を前記アクチュエータに出力する処理を複数回実行する第２の処理部と、を備える、
    　計測装置。
  6. 　対象物を撮像するカメラと、前記対象物に所定のパターンを有する画像を投影する投影装置と、前記カメラの位置を移動させるアクチュエータとの間で通信可能に接続された少なくとも１つのプロセッサにより実行される計測プログラムであって、前記プロセッサに、
    　前記所定のパターンが投影されていない前記対象物の第１の撮像画像を取得して、前記第１の撮像画像に写る前記対象物の画像認識処理を実行して前記対象物の２次元位置を計測し、計測された前記２次元位置を前記アクチュエータに出力する第１の処理を実行させるステップと、
    　前記画像認識処理を実行している間に、前記所定のパターンが投影された前記対象物の第２の撮像画像を取得して、前記第２の撮像画像に写る前記対象物の３次元位置を計測し、計測された前記３次元位置を前記アクチュエータに出力する第２の処理を複数回実行させるステップと、を実現させる、
    　計測プログラム。
PCT/JP2025/015540 2024-05-15 2025-04-22 計測方法、計測装置、および計測プログラム Pending WO2025239149A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024-079482 2024-05-15
JP2024079482 2024-05-15

Publications (1)

Publication Number Publication Date
WO2025239149A1 true WO2025239149A1 (ja) 2025-11-20

Family

ID=97720128

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/015540 Pending WO2025239149A1 (ja) 2024-05-15 2025-04-22 計測方法、計測装置、および計測プログラム

Country Status (1)

Country Link
WO (1) WO2025239149A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110053288A (ko) * 2009-11-09 2011-05-20 한국과학기술원 삼차원 물체 인식 시스템 및 방법
JP2020024124A (ja) * 2018-08-07 2020-02-13 マトヤ技研工業株式会社 食品の異物検査装置及び異物検査方法
JP2020191003A (ja) * 2019-05-23 2020-11-26 株式会社岩根研究所 認識位置決め装置及び情報変換装置
WO2021166809A1 (ja) * 2020-02-17 2021-08-26 ファナック株式会社 ３次元点の位置情報を生成する三次元測定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110053288A (ko) * 2009-11-09 2011-05-20 한국과학기술원 삼차원 물체 인식 시스템 및 방법
JP2020024124A (ja) * 2018-08-07 2020-02-13 マトヤ技研工業株式会社 食品の異物検査装置及び異物検査方法
JP2020191003A (ja) * 2019-05-23 2020-11-26 株式会社岩根研究所 認識位置決め装置及び情報変換装置
WO2021166809A1 (ja) * 2020-02-17 2021-08-26 ファナック株式会社 ３次元点の位置情報を生成する三次元測定装置

Similar Documents

Publication Publication Date Title
US20230024006A1 (en) Embedded system, fast structured light based 3d camera system and method for obtaining 3d images using the same
WO2016171263A1 (ja) 形状測定装置及び形状測定方法
US11209790B2 (en) Actuator control system, actuator control method, information processing program, and storage medium
JP2019119027A (ja) ロボットシステムの制御方法、およびロボットシステム
CN108648225A (zh) 目标图像获取系统与方法
EP3809095B1 (en) 3d information detection device
JP6887356B2 (ja) ステレオ画像処理装置
US20020006282A1 (en) Image pickup apparatus and method, and recording medium
TWI493153B (zh) 非接觸式物件空間資訊量測裝置與方法及取像路徑的計算方法
US12222196B2 (en) Measurement system, measurement device, measurement method, and measurement program
JP2011095131A (ja) 画像処理方法
JP5984409B2 (ja) 三次元計測システム及び方法
WO2025239149A1 (ja) 計測方法、計測装置、および計測プログラム
CN109581964B (zh) 控制装置、控制装置的控制方法以及记录媒体
JP6838672B2 (ja) アクチュエータ制御システム、センサ装置、制御装置、アクチュエータ制御方法、情報処理プログラム、および記録媒体
JPH1023465A (ja) 撮像方法及び装置
CN110440686B (zh) 三维形状测量系统以及测量时间设定方法
JP6790861B2 (ja) 検査システム、コントローラ、検査方法、および検査プログラム
JP2020146773A (ja) ハンドリング装置およびロボット装置
JPH05173644A (ja) ３次元物体認識装置
CN204944451U (zh) 微型三维扫描装置
JP7448884B2 (ja) 計測システム、計測装置、計測方法、及び計測プログラム
WO2025239148A1 (ja) ３次元計測方法、３次元計測装置、および３次元計測プログラム
CN111083310B (zh) 2d线阵相机和3d线阵相机数据同步的处理方法及系统
JPS63251192A (ja) 手先視覚付ロボットの制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25803399

Country of ref document: EP

Kind code of ref document: A1