WO2023238736A1 - 計測装置、ロボットシステム、計測方法、物品の製造方法、及び記憶媒体 - Google Patents

計測装置、ロボットシステム、計測方法、物品の製造方法、及び記憶媒体 Download PDF

Info

Publication number
WO2023238736A1
WO2023238736A1 PCT/JP2023/020075 JP2023020075W WO2023238736A1 WO 2023238736 A1 WO2023238736 A1 WO 2023238736A1 JP 2023020075 W JP2023020075 W JP 2023020075W WO 2023238736 A1 WO2023238736 A1 WO 2023238736A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
illumination
exposure
period
lights
Prior art date
Application number
PCT/JP2023/020075
Other languages
English (en)
French (fr)
Inventor
智也 桐山
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2023238736A1 publication Critical patent/WO2023238736A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication

Definitions

  • the present invention relates to a measuring device, a robot system, a measuring method, an article manufacturing method, a storage medium, and the like.
  • a camera and an illumination device for projecting patterned light are used to generate a distance map.
  • an image having a distance map can be generated by projecting pattern light onto the target object.
  • Patent Document 1 by turning on the illumination only during the period in which each exposure line of the rolling shutter is commonly exposed, all the exposure lines are exposed to pattern light for the same period. Furthermore, since it becomes a redundant period in which the lights cannot be turned on outside of that period, the redundant period is effectively utilized by changing the shooting conditions, including the lighting conditions, during the redundant period. .
  • Patent Document 2 in each photographing, all the exposure lines are exposed to pattern light for the same period by keeping the illumination turned on so as to cover the period from the start of exposure to the end of exposure of all the exposure lines. Wait until all exposure lines have been exposed before starting photography with the next pattern of light.
  • one of the objects of the present invention is to provide a measuring device that can shorten the imaging period when performing exposure and reading of imaging signals in line sequence.
  • a measuring device that is one aspect of the present invention includes: an imaging means consisting of photoelectric conversion elements arranged in a plurality of lines, and in which exposure and reading of imaging signals are performed line-sequentially; illumination means for projecting a plurality of patterned lights onto a measurement target; While the imaging means sequentially performs the exposure and readout of the imaging signal for each line of one image, the object to be measured is sequentially illuminated with a plurality of pattern lights or environmental lights, and the imaging device It is characterized by comprising a control means for measuring the object to be measured based on a plurality of images successively obtained from the means.
  • the present invention it is possible to provide a measuring device that can shorten the imaging period when performing exposure and reading of imaging signals line sequentially.
  • FIG. 1 is a diagram showing a three-dimensional measurement system according to a first embodiment.
  • FIG. 3 is a diagram showing the timing of turning on pattern illumination and photographing with a camera in Embodiment 1.
  • FIG. FIG. 7 is a diagram illustrating that in Example 1 of Embodiment 1, a photographed image can be expressed as an image photographed under illumination conditions in which each light is turned on independently.
  • FIG. 3 is a diagram showing an example of pattern light of pattern illumination according to the first embodiment.
  • FIG. 3 is a diagram showing simultaneous equations that hold true in the central exposure line in Example 1 of Embodiment 1.
  • FIG. FIG. 7 is a diagram showing the timing of turning on pattern illumination and photographing with a camera in Example 2 of Embodiment 1; FIG.
  • FIG. 7 is a diagram showing the timing of turning on pattern illumination and photographing with a camera in Example 3 of Embodiment 1; 7 is a diagram for explaining a case where the method in Example 3 of Embodiment 1 does not hold; FIG. FIG. 7 is a diagram illustrating an example of the timing of turning on pattern illumination and photographing with a camera in Embodiment 2; FIG. 7 is a diagram showing an example of the timing of turning on pattern illumination and photographing with a camera in Embodiment 3; FIG. 7 is a diagram showing the timing of turning on pattern illumination and photographing with a camera in Embodiment 4; FIG.
  • FIG. 7 is a diagram showing the timing of turning on pattern illumination and photographing with a camera in Embodiment 5; 13 is a diagram for explaining that information equivalent to an image photographed under illumination conditions in which each light is turned on individually can be obtained based on the combination numbers shown in FIG. 12.
  • FIG. FIG. 12 is a diagram showing an example of the timing of turning on pattern illumination and photographing with a camera related to the sixth embodiment.
  • FIG. 12 is a diagram showing an example of the timing of turning on pattern illumination and photographing with a camera in Embodiment 6; 16 is a diagram showing an example of a robot system 1600 according to a seventh embodiment.
  • FIG. 1 is a diagram showing a three-dimensional measurement system according to the first embodiment. Note that some of the functional blocks shown in FIG. 1 are realized by causing a computer (not shown) included in the control unit 130 to execute a computer program stored in a memory (not shown) as a storage medium.
  • ASIC application specific integrated circuit
  • DSP digital signal processor
  • the respective functional blocks shown in FIG. 1 do not need to be built into the same housing, and may be configured as separate devices connected to each other via signal paths.
  • the three-dimensional measurement system 100 of the first embodiment is a device for acquiring distance data of a measurement target 101, and includes a projection section 110, two imaging sections 120a and 120b, and a control section 130.
  • the projection unit 110 and the imaging units 120a and 120b are arranged facing the measurement target 101.
  • the projection unit 110 includes pattern illumination units 111, 112, and 113, each of which can project a different pattern of light.
  • the projection unit 110 functions as an illumination means and executes an illumination step of projecting a plurality of pattern lights onto the measurement target.
  • the imaging unit 120a includes an imaging lens 121a and, for example, a CMOS type rolling shutter image sensor 122a. Further, the imaging unit 120b is provided with an imaging lens 121b and, for example, a CMOS type rolling shutter image sensor 122b.
  • the image sensors 122a and 122b each include a plurality of photoelectric conversion elements arranged in two dimensions (horizontal direction and vertical direction), and the line-shaped photoelectric conversion element groups arranged in the horizontal direction (row direction) will be referred to below. It is called the exposure line. That is, each image sensor includes multiple exposure lines.
  • each of the image sensors 122a and 122b functions as an imaging means, and is configured to be able to perform an imaging step of performing exposure and reading of imaging signals in line sequence.
  • the exposure period of each exposure line of each image sensor is controlled to the same time, but the exposure timing is sequentially shifted for each exposure line, and the readout timing is also sequentially shifted for each exposure line.
  • the imaging units 120a and 120b are arranged symmetrically with the projection unit 110 in between, and the two imaging units 120a can be regarded as right-eye cameras, and the imaging unit 120b can be regarded as a left-eye camera.
  • Distance data to the measurement target 101 can then be calculated using the passive stereo method using the parallax between the right-eye camera and the left-eye camera.
  • control unit 130 includes an image generation unit 131, a distance data calculation unit 132, and a distance data output unit 133.
  • image generation section 131, distance data calculation section 132, and distance data output section 133 function as calculation means.
  • control unit 130 has a built-in CPU as a computer, and functions as a control means for controlling the operation of each part of the entire three-dimensional measurement system 100 based on a computer program stored in a memory as a storage medium. .
  • FIG. 2 is a diagram showing the timing of turning on pattern illumination and photographing with a camera in the first embodiment.
  • the photographing is performed three times almost continuously without any interval, and the lighting of the pattern illumination units 111, 112, and 113 is sequentially switched during the continuous photographing.
  • first illumination, second illumination, and third illumination the order in which the lights are turned on
  • consecutive photography will also be referred to as first photography, second photography, and third photography in the order of photography.
  • the two image sensors 122a and 112b operate synchronously, and start and end photographing and reading at the same timing.
  • the lighting periods of the first, second, and third lights are the same, and the lighting start timing of the first light is set at the same time as the exposure start timing of the first photographing, and the lighting period of the first light is set at the same time as the turn off of the first light.
  • the second lighting is turned on, and at the same time the second lighting is turned off, the third lighting is turned on.
  • switching of the pattern illumination can be performed even when any of the exposure lines in the two image sensors 122a and 112b is being exposed. Further, when the third illumination is turned on and then turned off, the first illumination is turned on until the exposure is completed during the period during which the third photographing is being performed.
  • the lighting period and the exposure period can be set with a degree of freedom, so three examples will be used below to explain.
  • the lighting period and the exposure period are set to the same period, and the scanning period (readout period) of the rolling shutter is also set to the same period.
  • the pattern light is switched during the exposure of the exposure line, so a plurality of pattern lights are mixed and exposed. Moreover, the period during which each pattern light is projected during exposure is different for each exposure line.
  • FIG. 3 is a diagram illustrating that in Example 1 of Embodiment 1, a photographed image can be expressed as an image photographed under illumination conditions in which each light is turned on independently.
  • the patterns projected by the first illumination and the second illumination are simplified to simplify the explanation.
  • the patterns actually projected by the pattern illumination units 111, 112, and 113 are as shown in FIG. 4, for example.
  • FIG. 4 is a diagram showing an example of pattern light of pattern illumination according to the first embodiment. As shown in FIG. 113a is used.
  • the image obtained by the first shooting is called the first shooting image
  • the image obtained by the second shooting is called the second shooting image
  • the image obtained by the third shooting is called the third shooting image.
  • only the first pattern light is turned on during the period when the top row (top exposure line) of the first photographed image is being exposed, so the first and second pattern lights are both exposed.
  • the ratio can be expressed as 1.0:0.0.
  • the ratio of the first illumination gradually decreases from the top row to the bottom row, while the ratio of the second illumination increases. line), the ratio is 0.0:1.0.
  • each row of images can be an equation expressed as a weighted sum of images taken under lighting conditions with each light turned on individually.
  • each image can be made with a single pattern of light.
  • a restored image can be generated when illuminated.
  • the second captured image can be created into an equation using the respective ratios of the second illumination and the third illumination
  • the third captured image can be created into an equation using the respective ratios of the third illumination and the first illumination.
  • the unknowns are images taken under lighting conditions in which each light is turned on independently, and the number of unknowns matches the number of pattern lights. In this way, by performing the same number of images as the number of pattern illuminations, simultaneous equations having the same number of equations as unknowns are established, and the unknowns can be determined.
  • FIG. 5 is a diagram showing simultaneous equations that hold true at the central exposure line in Example 1 of Embodiment 1.
  • the unknowns are three images, Idot1 (x, y), Idot2 (x, y), and Idot3 (x, y), which are images taken under the lighting conditions where each light is turned on independently. Since two equations hold, the simultaneous equations can be solved. As a result, Idot1 (x, y), Idot2 (x, y), and Idot3 (x, y) are obtained.
  • the distance data calculation unit 132 calculates distance data using the calculation results of the image generation unit 131 using a distance estimation algorithm. Conventionally, distance estimating algorithms have been calculated using images taken under illumination conditions in which each light is turned on individually, so it is naturally possible to estimate distances in this embodiment as well.
  • the calculation result of the distance data calculation section 132 is outputted by the distance data output section 133.
  • the environment light may be superimposed, or there may be a period in which the environment light is used instead of the pattern light. That is, when sequentially projecting a plurality of pattern lights by the illumination means, ambient light may also be used.
  • the measurement object is sequentially illuminated by a plurality of pattern lights or environmental lights, and the imaging means A control step is executed to measure the measurement target based on a plurality of images sequentially obtained from the image data. Therefore, distance data can be calculated while shortening the photographing period using the rolling shutter.
  • imaging step, illumination step, and control step may be realized by a CPU serving as a computer in the control unit 130 executing a computer program stored in a memory serving as a storage medium (not shown). Alternatively, part of it may be realized by hardware.
  • FIG. 6 is a diagram showing the timing of turning on the pattern illumination and photographing with the camera in Example 2 of Embodiment 1.
  • FIG. 6 shows a case where the illumination lighting period and the exposure period are set to the same period, and both periods are set to be longer than the scanning period (reading period) of the rolling shutter.
  • the second embodiment is effective.
  • This embodiment is different from the first embodiment in terms of the illumination period and the exposure period with respect to the scanning period (reading period). Therefore, the ratio of the period during which each illumination is exposed in each image row (exposure line) is also different from that in the first embodiment. However, since everything else is the same as in the first embodiment, distance data can be obtained using the same method as in the first embodiment by replacing it with the exposure ratio of each illumination in the second embodiment.
  • FIG. 7 is a diagram showing the timing of turning on the pattern illumination and photographing with the camera in Example 3 of Embodiment 1.
  • the exposure period is set shorter than the scanning period (readout period) of the rolling shutter.
  • Embodiment 3 is effective when the illumination brightness of each illumination is high and blown-out highlights occur in the captured image in Embodiment 1.
  • Example 3 the exposure period is shortened compared to Example 1, but the illumination period remains the same and is maintained longer than the scanning period of the rolling shutter.
  • the lighting period is not as short as the exposure period.
  • the simultaneous equations described in the first embodiment can be solved when certain conditions are met.
  • the condition is that, in any exposure line, all the lights should be turned on at least once during the exposure after all the multiple shootings are completed. If the illumination period is also shortened in the same way as the exposure period, the illumination period will be less than the scanning period of the rolling shutter, and there is a possibility that the conditions will not be satisfied.
  • FIG. 8 is a diagram for explaining a case in which the method in Example 3 of Embodiment 1 does not hold, and when the illumination lighting period and the exposure period are made the same and both are made shorter than the scanning period of the rolling shutter, An example is shown in which the conditions for solving simultaneous equations cannot be met.
  • the central exposure line In order to expose the central exposure line with the pattern light of the third illumination, the central exposure line must be exposed in at least a part of the shaded area in FIG. 8 .
  • the central exposure line is not exposed in that area, so even if all the multiple shots are completed, the third illumination cannot be exposed at the central exposure line. Therefore, the conditions for solving the simultaneous equations cannot be satisfied.
  • Example 3 only the exposure period is shortened, and the illumination period is set to be longer than the scanning period of the rolling shutter. As a result, it is possible to obtain information equivalent to images taken under lighting conditions where each light is turned on independently, without creating a situation where the conditions for solving the simultaneous equations cannot be satisfied as described above. .
  • the method of this embodiment can be applied no matter how many lighting devices there are as long as the same number of images are taken as the number of lighting devices.
  • the method of this embodiment can be applied by regarding this as a period in which the light is on.
  • FIG. 9 is a diagram showing an example of the timing of turning on pattern illumination and photographing with a camera in the second embodiment.
  • the difference from FIG. 6 referred to in Example 2 of Embodiment 1 is that instead of turning on the first illumination at the end, the lighting period of the third pattern illumination is extended.
  • the pattern illumination to be turned on is not limited to the first illumination, but any of the pattern illuminations projected so far may be turned on. That is, the second illumination may be turned on instead of the first illumination, or the lighting period of the third pattern illumination may be extended until the exposure of the camera is completed, as shown in FIG.
  • each illumination in this embodiment is replaced with the exposure ratio, similar to Example 2 of Embodiment 1, by solving simultaneous equations, it is equivalent to an image taken under the lighting condition where each illumination is turned on independently. information.
  • the three-dimensional measurement system 100 is equipped with two cameras, but in the third embodiment, the shooting timings of the two cameras are not synchronized, and even if you try to shoot with the two cameras at the same time, one of the cameras will be short. This is effective in situations where shooting starts after a time delay.
  • the short time here is a period shorter than the scanning period of the rolling shutter.
  • FIG. 10 is a diagram showing an example of the timing of turning on pattern illumination and photographing with a camera in the third embodiment. Assume that, of the two cameras, for example, the right eye camera is delayed in photographing.
  • the first light is turned on at the same time as the left eye camera, which can start exposure without delay, starts exposure. After that, the pattern illumination is switched in the same way as in the first embodiment. However, the first illumination, which is turned on after the third illumination is turned off, is kept on until the third photographing exposure of the right-eye camera, which is the delayed camera, is completed.
  • each pattern illumination By determining the exposure rate of each pattern illumination for each camera, it is possible to obtain information equivalent to an image taken under illumination conditions where each illumination is turned on individually.
  • the right-eye camera which is a camera with a delay, by measuring the delay period in advance, it is possible to determine the rate at which each pattern illumination is exposed.
  • Distance data can be calculated by obtaining information for each camera that is equivalent to an image taken under lighting conditions in which each light is turned on individually, and passing it to the distance data calculation unit 132.
  • this embodiment has been described using an apparatus equipped with two cameras, the method of this embodiment can be applied to any number of cameras. In that case, the illumination is kept on until the exposure of the last photograph by the camera with the longest delay is completed.
  • FIG. 11 is a diagram showing the timing of turning on pattern illumination and photographing with a camera in the fourth embodiment.
  • the rise and fall of illumination affect the exposure line that is being exposed during these transition periods. Its influence is determined by the ratio of the rising and falling periods to the exposure period.
  • the degree of influence of these phenomena can be determined. can be made so small that it can be ignored.
  • Embodiment 5 In Embodiment 5, one of the prerequisites of Embodiment 1, that is, "the illumination period must be equal to or longer than the rolling shutter scanning period", is relaxed. This embodiment is effective when it is desired to shorten the continuous lighting period of the lighting as much as possible due to a desire to suppress heat generation of the lighting device.
  • FIG. 12 is a diagram showing the timing of turning on the pattern illumination and photographing by the camera in the fifth embodiment, and shows an example in which the period of illumination and the order of turning on the illumination in FIG. 2 referred to in Example 1 of the first embodiment are changed. It shows.
  • the illumination lighting period is half the scanning period of the rolling shutter, and each pattern illumination is turned on two or three times.
  • combinations of photographed images and exposed pattern illumination are numbered (1) to (12).
  • FIG. 13 is a diagram for explaining that based on the combination numbers shown in FIG. 12, information equivalent to an image taken under illumination conditions in which each light is turned on individually can be obtained.
  • photographing is performed as shown in FIG. 12, it can be seen that all the illumination information is exposed without loss in all the exposure lines. Therefore, it is possible to obtain information equivalent to an image photographed under lighting conditions in which each light is turned on individually.
  • ⁇ Embodiment 6> The calculation of the distance estimation algorithm can be started even if all the images planned to be taken are not available, as long as some images are available, and the distance estimation accuracy will improve as additional images are input. Gradually improve. If the calculation of the distance estimation algorithm is started in parallel with the shooting, the time the computer has to wait for the shooting to finish can be reduced, and the overall processing from the start of shooting to obtaining the results of the distance data output unit 133 can be reduced. Time can be shortened.
  • the captured image is input to the distance estimation algorithm when a portion of the shooting is completed, and each illumination up to that point is independently calculated. Obtain information equivalent to images taken under lighting conditions.
  • FIG. 14 is a diagram showing an example of the timing of turning on pattern illumination and photographing with a camera related to the sixth embodiment.
  • the number of pattern illuminations is, for example, six, and this is the same as Example 1 of Embodiment 1 except that the number of shots is increased to six.
  • the 1st to 6th lights are turned on, and the 1st to 6th shots are taken in synchronization with that, and each light is turned on independently until the 6th shot is completed. It is not possible to obtain information equivalent to the image.
  • FIG. 15 is a diagram showing an example of the timing of turning on pattern illumination and photographing with a camera in the sixth embodiment.
  • the first to sixth shots are not taken continuously at once, but the first to third shots are set as period A, and the fourth to sixth shots are set as period B. Shoot separately.
  • the lights in the A period and the B period By appropriately turning on the lights in the A period and the B period, it is possible to obtain information equivalent to images captured under lighting conditions in which each light is turned on independently in the A period and the B period, respectively.
  • the number of pattern lights is six, during a series of shooting, when three pattern lights, which are smaller in number, are sequentially projected onto the measurement object 101, it is necessary to perform image restoration or distance estimation. Since the calculation has started, the waiting time for the calculation can be reduced.
  • FIG. 16 is a diagram showing an example of a robot system 1600 according to the seventh embodiment.
  • a robot system 1600 according to the seventh embodiment has a robot arm 1601 as a robot, and a three-dimensional measurement system 100 configured as in the first to sixth embodiments is arranged near the tip of the robot arm 1601.
  • a robot hand 1602 is provided at the tip of the robot arm 1601, and is configured to be able to grip and move the measurement target object 101.
  • 1603 is a belt conveyor or the like on which the measurement object 101 is conveyed.
  • 1604 is a controller for controlling the entire robot system 1600, and 1605 is a display unit having a UI.
  • the three-dimensional measurement system 100 functions as a measurement device, and captures an image by projecting pattern light onto the measurement target 101. Then, a measurement step of generating a distance map of the measurement target object 101 and measuring the position and orientation of the measurement target object 101 based on the distance map is executed.
  • the measurement object 101 and the measurement device are kept relatively stationary. Alternatively, it is kept in a substantially stationary state for the measurement period. This is because if the measurement object 101 moves relatively during measurement, the image will be distorted and an error will occur in the distance measurement based on the plurality of patterned lights.
  • the results of the measurement step by the three-dimensional measurement system 100 are sent to the controller 1604.
  • a controller 1604 drives a robot arm 1601 and a robot hand 1602 based on the position and orientation of the measurement object 101 to grip the measurement object 101 and perform processing such as translation, rotation, and movement. That is, the robot can grasp and move the measurement target object 101 based on the measurement result by the measurement device.
  • the robot arm 1601 holds the measurement object 101 with a robot hand 1602 (grip portion) at the tip and performs an assembly process of assembling the measurement object 101 to other parts. Thereby, it is possible to manufacture articles composed of a plurality of parts, such as electronic circuit boards and machines.
  • the controller 1604 includes an arithmetic unit such as a CPU serving as a computer, and a storage device such as a memory that stores a computer program for controlling the controller 1604.
  • measurement data measured by the three-dimensional measurement system 100 and images obtained can be displayed on a display unit 1605 such as a display.
  • the user can monitor the manufacturing process of the article based on the image displayed on the display unit 1605.
  • the measurement device is used for three-dimensional measurement such as creating a distance map of the measurement target 101, but the measurement device is not limited to three-dimensional measurement.
  • two image sensors are used, it is also possible to use one or three or more image sensors.
  • the present invention may be realized by supplying a system or device with a storage medium in which a software program code (control program) that implements the functions of the embodiments and examples described above is recorded.
  • a software program code control program
  • This can also be achieved by the computer (or CPU or MPU) of the system or device reading and executing a computer-readable program code stored in a storage medium.
  • the program code read from the storage medium itself realizes the functions of the embodiment (example) described above, and the storage medium that stores the program code constitutes the present invention.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

ライン順次で露光と撮像信号の読出しを行う場合に撮影期間を短縮可能な計測装置であって、 複数のライン状に配列された光電変換素子からなり、ライン順次で露光と撮像信号の読出しが行われる撮像手段と、複数のパターン光を計測対象物に投影する照明手段と、前記撮像手段により各１枚分の画像について前記ライン順次に前記露光と前記撮像信号の読出しを行っている間に複数の前記パターン光又は環境光により前記計測対象物が順次照明されと共に、前記撮像手段から連続的に得られた複数枚の画像に基づき前記計測対象物の計測を行う制御手段と、を有する。

Description

計測装置、ロボットシステム、計測方法、物品の製造方法、及び記憶媒体
　本発明は、計測装置、ロボットシステム、計測方法、物品の製造方法、及び記憶媒体等に関する。
　工場の生産ラインでは、ロボットアームで対象部品を把持するために、対象物体までの距離マップを高精度に生成する必要がある。一般に、距離マップを生成するにはカメラと、パターン光を投影するための照明装置を用いる。カメラで対象物体を撮影する際に、対象物体へパターン光を投影することで、距離マップを有する画像を生成できる。
　特許文献１では、ローリングシャッターの各露光ラインが共通して露光している期間内だけで照明を点灯することで、全露光ラインで同じ期間分パターン光を露光している。更に、その期間以外は照明を点灯することができない冗長な期間になってしまうため、照明条件を含む撮影条件の変更処理を冗長な期間中に行うことで、冗長な期間を有効活用している。
　特許文献２では、夫々の撮影において、すべての露光ラインの露光開始から露光終了までを覆うように照明を点灯させ続けることで、全露光ラインで同じ期間分パターン光を露光している。すべての露光ラインで露光が終了するのを待ってから、次のパターン光での撮影を開始する。
特開２０１９－１９１３２３号公報 特開２０１７－０１５８７２号公報
　パターン照明を用いた場合、特許文献１、２のいずれの方法によっても、露光期間か照明点灯期間のいずれかがもう一方を覆うほどに十分長くしなければならず、露光期間と照明期間の差の分だけ冗長な期間が発生してしまう。又、特許文献１においては、撮影条件変更は短時間で終了してしまうため冗長な期間を十分に有効活用しきれていない。
　そこで本発明は、ライン順次で露光と撮像信号の読出しを行う場合に撮影期間を短縮可能な計測装置を提供することを目的の１つとする。
　本発明の１つの側面である計測装置は、
　複数のライン状に配列された光電変換素子からなり、ライン順次で露光と撮像信号の読出しが行われる撮像手段と、
　複数のパターン光を計測対象物に投影する照明手段と、
　前記撮像手段により各１枚分の画像について前記ライン順次に前記露光と前記撮像信号の読出しを行っている間に複数の前記パターン光又は環境光により前記計測対象物を順次照明すると共に、前記撮像手段から連続的に得られた複数枚の画像に基づき前記計測対象物の計測を行う制御手段と、を有することを特徴とする。
　本発明によれば、ライン順次で露光と撮像信号の読出しを行う場合に撮影期間を短縮可能な計測装置を提供できる。
実施形態１の３次元計測システムを示した図である。 実施形態１におけるパターン照明の点灯とカメラによる撮影のタイミングを示した図である。 実施形態１の実施例１において、撮影した画像が各照明を単独で点灯した照明条件下で撮影した画像で表現できることを説明する図である。 実施形態１のパターン照明のパターン光の例を示した図である。 実施形態１の実施例１の中央の露光ラインにおいて成り立つ連立方程式を示した図である。 実施形態１の実施例２のパターン照明の点灯とカメラによる撮影のタイミングを示した図である。 実施形態１の実施例３のパターン照明の点灯とカメラによる撮影のタイミングを示した図である。 実施形態１の実施例３における手法が成り立たない場合を説明するための図である。 実施形態２におけるパターン照明の点灯とカメラによる撮影のタイミングの例を示した図である。 実施形態３におけるパターン照明の点灯とカメラによる撮影のタイミングの例を示した図である。 実施形態４におけるパターン照明の点灯とカメラによる撮影のタイミングを示した図である。 実施形態５におけるパターン照明の点灯とカメラによる撮影のタイミングを示した図である。 図１２に記載した組み合わせ番号をもとに、各照明を単独で点灯した照明条件下で撮影した画像と等価の情報が得られることを説明するための図である。 実施形態６に関連したパターン照明の点灯とカメラによる撮影のタイミングの例を示した図である。 実施形態６におけるパターン照明の点灯とカメラによる撮影のタイミングの例を示した図である。 実施形態７のロボットシステム１６００の例を示した図である。
　以下、図面を参照して本発明の実施の形態を、実施例を用いて説明する。ただし、本発明は以下の実施例に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。
　＜実施形態１＞
　図１に基づいて説明する。図１は、実施形態１の３次元計測システムを示した図である。尚、図１に示される機能ブロックの一部は、制御部１３０に含まれる不図示のコンピュータに、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。
　しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。
　又、図１に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。
　実施形態１の３次元計測システム１００は、計測対象物１０１の距離データを取得するための装置であり、投影部１１０、２つの撮像部１２０ａ、１２０ｂ、制御部１３０を有する。投影部１１０と撮像部１２０ａ、１２０ｂは計測対象物１０１を向いて配置されている。
　各部の具体的な構成物として、投影部１１０は、パターン照明部１１１、１１２、１１３が配置されており、夫々が異なるパターン光を投影できる。ここで投影部１１０は照明手段として機能しており、複数のパターン光を計測対象に投影する照明ステップを実行する。
　撮像部１２０ａには、結像レンズ１２１ａと例えばＣＭＯＳタイプのローリングシャッター方式のイメージセンサ１２２ａが配置されている。又、撮像部１２０ｂには、結像レンズ１２１ｂと例えばＣＭＯＳタイプのローリングシャッター方式のイメージセンサ１２２ｂが配置されている。
　尚、イメージセンサ１２２ａと１２２ｂは夫々２次元（水平方向と垂直方向）に配置された複数の光電変換素子を含み、水平方向（行方向）に配列されたライン状の光電変換素子群を以降、露光ラインと呼ぶ。即ち、各イメージセンサは複数の露光ラインを含む。
　又、各イメージセンサ１２２ａと１２２ｂは撮像手段として機能しており、ライン順次で露光と撮像信号の読出しを行う撮像ステップを実行可能に構成されている。ここで、各イメージセンサの夫々の露光ラインの露光期間は同じ時間に制御されるが、露光タイミングが露光ライン毎に順次ずれており、読出しタイミングも露光ライン毎に順次ずれている。
　撮像部１２０ａ、１２０ｂは投影部１１０を挟んで対称的に配置されており、２つの撮像部１２０ａを右目カメラ、撮像部１２０ｂを左目カメラとみなすことができる。そして、右目カメラと左目カメラの視差を用いたパッシブステレオ法により計測対象物１０１との距離データを計算できる。
　更に制御部１３０は、画像生成部１３１、距離データ計算部１３２、距離データ出力部１３３を有する。ここで画像生成部１３１、距離データ計算部１３２、距離データ出力部１３３は演算手段として機能している。又、制御部１３０にはコンピュータとしてのＣＰＵが内蔵されており、記憶媒体としてのメモリに記憶されたコンピュータプログラムに基づき３次元計測システム１００全体の各部の動作を制御する制御手段として機能している。
　図２は実施形態１におけるパターン照明の点灯とカメラによる撮影のタイミングを示した図である。撮影は間を開けずにほぼ連続して３回撮影し、連続した撮影中にパターン照明部１１１、１１２、１１３の点灯を順に切り替える。以降、照明を点灯する順に第１照明、第２照明、第３照明と呼び、連続した撮影も撮影順に第１撮影、第２撮影、第３撮影と呼ぶ。尚、２つのイメージセンサ１２２ａ、１１２ｂは同期して動作し、同じタイミングで撮影や読出しを開始し終了する。
　本実施形態においては、第１照明、第２照明、第３照明の点灯期間は同一とし、第１照明の点灯開始タイミングは第１撮影の露光開始タイミングと同時にし、第１照明の消灯と同時に第２照明を点灯し、第２照明の消灯と同時に第３照明の点灯をする。
　又、パターン照明の点灯の切り替えは、２つのイメージセンサ１２２ａ、１１２ｂにおける、いずれかの露光ラインが露光中であっても行うことが可能である。更に、第３照明が点灯した後で消灯したとき、第３撮影が露光中である期間は、露光が終了するまで第１照明を点灯する。
　尚、本実施形態においては、照明点灯期間と、露光期間は自由度をもって設定できるため、以下に３つの実施例を用いて説明する。
　図２に示すように、照明点灯期間と露光期間とを同じ期間に設定すると共に、ローリングシャッターの走査期間（読出し期間）も同じ期間に設定した場合について説明する。
　図２に示す方法で撮影した画像は、露光ラインの露光中にパターン光が切り替わっているため、複数のパターン光が入り混じって露光されている。そのうえ、露光ラインごとに、露光中に各パターン光が投影される期間が異なっている。
　図３は、実施形態１の実施例１において、撮影した画像が各照明を単独で点灯した照明条件下で撮影した画像で表現できることを説明する図である。図３においては、説明を簡単化するために、第１照明と第２照明で投影するパターンを単純化している。しかし、実際にパターン照明部１１１、１１２，１１３で投影するパターンは例えば図４に示すようパターンを用いる。
　図４は実施形態１のパターン照明のパターン光の例を示した図であり、図４に示すように、パターン照明部１１１、１１２，１１３で投影するパターンは例えば夫々ランダムなパターン１１１ａ、１１２ａ，１１３ａを用いる。
　本実施例においては、第１撮影により取得した画像を第１撮影画像、第２撮影により取得した画像を第２撮影画像、第３撮影により取得した画像を第３撮影画像と呼ぶ。図３に示すように、第１撮影画像の最上行（最上露光ライン）を露光している期間は第１パターン光しか点灯されていないため、第１照明と第２照明夫々の露光している割合は１．０：０．０と表現できる。
　最上行から最下行にかけて徐々に第１照明の割合が減る一方で、第２照明の割合が増えていき、中央行（中央露光ライン）では０．５：０．５、最下行（最下露光ライン）では０．０：１．０の割合になる。
　このとき、各露光ラインにおいて夫々の照明を露光している割合は、夫々の撮影に対する、各パターン照明の点灯開始タイミング、点灯期間、ローリングシャッターの走査期間の情報から計算できる。これらの割合を用いることで、画像の各行は各照明を単独で点灯した照明条件下で撮影した画像の重み付き和で表現した方程式にできる。
　尚、各露光ラインの露光期間に対する複数のパターン光の点灯期間の割合に基づいて撮像手段から連続的に得られた複数枚の画像を演算することで、各画像が単一の前記パターン光で照明された場合の復元画像を生成することができる。更に、上記の割合に基づいて復元画像を生成せずに、直接距離データの計算をすることも可能である。
　第１撮影画像と同様に、第２撮影画像は第２照明と第３照明夫々の割合を使って方程式にでき、第３撮影画像は第３照明と第１照明夫々の割合を使って方程式にできる。１つの露光ラインに着目すると、３つの方程式からなる連立方程式が立てられる。
　この連立方程式において、未知数は各照明を単独で点灯した照明条件下で撮影した画像であり、未知数の数はパターン照明の数と一致する。このように、パターン照明の数と同数の撮影を行うことで、未知数と同数の式を持つ連立方程式が成り立ち、未知数を求めることができる。
　図５は、実施形態１の実施例１の中央の露光ラインにおいて成り立つ連立方程式を示した図である。未知数は各照明を単独で点灯した照明条件下で撮影した画像であるＩｄｏｔ１（ｘ、ｙ）、Ｉｄｏｔ２（ｘ、ｙ）、Ｉｄｏｔ３（ｘ、ｙ）の３つであり、３回の撮影により３つの方程式が成り立つため、連立方程式が解ける。これによりＩｄｏｔ１（ｘ、ｙ）、Ｉｄｏｔ２（ｘ、ｙ）、Ｉｄｏｔ３（ｘ、ｙ）が求められる。
　つまり、カメラが露光中（撮影中）に、照明を切り替えながら撮影したとしても、各照明を単独で点灯した照明条件下で撮影した画像と等価の情報を得ることができる。連立方程式の計算は画像生成部１３１にて行う。
　距離データ計算部１３２では、距離推定アルゴリズムにより画像生成部１３１の計算結果を用いて距離データを計算する。従来、距離推定アルゴリズムは、各照明を単独で点灯した照明条件下で撮影した画像を用いて計算していたため、本実施例においても当然距離を推定できる。距離データ計算部１３２の計算結果を距離データ出力部１３３にて出力する。
　尚、上記のように複数のパターン光を順次投影する際に、環境光が重畳されていても良いし、パターン光で照明する代わりに環境光で照明する期間があっても良い。即ち、照明手段によって複数のパターン光を順次投影する際に、環境光も用いても良い。
　即ち、本実施形態においては、各１枚分の画像についてライン順次に露光と撮像信号の読出しを行っている間に複数のパターン光又は環境光により計測対象物が順次照明されると共に、撮像手段から連続的に得られた複数枚の画像に基づき計測対象の計測を行う制御ステップを実行している。従って、ローリングシャッターによる撮影期間を短縮しつつ距離データを計算できる。
　尚、上記の撮像ステップ、照明ステップ、制御ステップは制御部１３０内のコンピュータとしてのＣＰＵが不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行することによって実現しても良い。或いは一部をハードウェアにより実現しても良い。
　尚、必ずしも距離推定アルゴリズムを計算する前に各照明を単独で点灯した照明条件下で撮影した画像と等価な情報を求めておく必要はない。同様の考え方を距離推定アルゴリズムに反映することで、撮影した画像を直接参照して距離推定アルゴリズムを実行することもできる。
　次に、図６は実施形態１の実施例２のパターン照明の点灯とカメラによる撮影のタイミングを示した図である。図６では、照明点灯期間と露光期間を同じ期間に設定すると共に、いずれの期間もローリングシャッターの走査期間（読出し期間）よりも長い期間にした場合を示している。実施例１よりもより長くパターン光を露光したい場合は、実施例２が有効である。
　本実施例は、照明点灯期間と露光期間が走査期間（読出し期間）に対して実施例１と異なっている。そのため、各画像行（露光ライン）において各照明を露光している期間の割合も実施例１と異なる。しかし、それ以外は実施例１と同様であるため、実施例２における各照明を露光している割合に、置き換えれば、実施例１と同様の手法で距離データを求めることができる。
　図７は、実施形態１の実施例３のパターン照明の点灯とカメラによる撮影のタイミングを示した図である。図７では、露光期間をローリングシャッターの走査期間（読出し期間）よりも短く設定している。各照明の照明輝度が高く、実施例１では撮影した画像に白飛びが発生してしまう場合に、実施例３が有効である。
　上述したように、照明点灯期間と露光期間を同じ期間にすると冗長な期間が発生しないため、なるべく同じ期間に設定することが望ましい。しかし、実施例３では、実施例１と比較して、露光期間は短くしているが、照明点灯期間はそのままとし、ローリングシャッターの走査期間以上に維持している。
　ここで、照明点灯期間も露光期間と同じように短くしないことには理由がある。実施例１で説明した連立方程式を解くことができるのはある条件を満たしたときである。その条件とは、いずれの露光ラインにおいても、複数回の撮影をすべて終えれば、露光中にすべての照明が１度は点灯していることである。照明点灯期間も露光期間と同じように短くしてしまうと、照明点灯期間がローリングシャッターの走査期間未満になってしまうことで、条件が満たせない可能性が生じる。
　図８は、実施形態１の実施例３における手法が成り立たない場合を説明するための図であり、照明点灯期間と露光期間を同一にしつつ、いずれもローリングシャッターの走査期間未満にした場合に、連立方程式を解く条件が満たせない例を示す。中央露光ラインにおいて第３照明のパターン光を露光するには、図８の斜線塗りつぶしの領域の少なくとも一部で中央露光ラインが露光していなければならない。
　しかし図８で示すように、その領域内で中央露光ラインが露光していないため、複数回の撮影すべてを終えたとしても、中央露光ラインにおいて第３照明の点灯を露光できない。よって、連立方程式を解く条件が満たせないことになる。
　そこで、実施例３では、露光期間のみ短くして、照明点灯期間はローリングシャッターの走査期間以上にしている。それにより、上記のように連立方程式を解く条件を満たせない状況を発生させずに、各照明を単独で点灯した照明条件下で撮影した画像と情報的に等価な情報が取得できるようにしている。
　尚、本実施形態は照明装置であるパターン照明が３つであったが、照明装置がいくつあったとしても、照明装置の数と同回数の撮影を行えば本実施形態の手法を適用できる。又、パターン照明を点灯させず環境光のみでの撮影も含む場合、環境光のみというのも１つの照明装置であるとみなし、環境光のみの照明条件下でカメラを露光している期間を環境光が点灯している期間ととらえることで、本実施形態の手法を適用できる。
　＜実施形態２＞
　次に、図９に基づいて実施形態２の３次元計測システムについて説明する。図９は実施形態２におけるパターン照明の点灯とカメラによる撮影のタイミングの例を示した図である。実施形態１の実施例２で参照した図６との違いは、最後に第１照明を点灯する代わりに、第３パターン照明の点灯期間を延長している点である。
　このように、第３撮影の露光が終了するまでの間、点灯するパターン照明は第１照明に限らず、これまで投影したパターン照明のいずれかを点灯すれば良い。即ち、第１照明の代わりに第２照明を点灯しても良いし、図９に示すように、第３パターン照明の点灯期間をカメラの露光が終了するまで延長しても良い。
　本実施形態における各照明を露光している割合に置き換えれば、実施形態１の実施例２と同様に、連立方程式を解くことで、各照明を単独で点灯した照明条件下で撮影した画像と等価な情報を得ることができる。
　＜実施形態３＞
　実施形態３では、実施形態１の前提条件の１つである「第１照明の点灯開始タイミングを第１撮影の露光開始タイミングと同時にする」という制約を緩和したものである。
　３次元計測システム１００ではカメラを２台搭載しているが、実施形態３は２台のカメラの撮影タイミングが同期しておらず、２台のカメラで同時に撮影しようとしても、片方のカメラが短時間遅延して撮影を開始してしまう状況などにおいて有効である。ここでの短時間とは、ローリングシャッターの走査期間未満の期間である。
　図１０は実施形態３におけるパターン照明の点灯とカメラによる撮影のタイミングの例を示した図である。カメラ２台のうち例えば右目カメラでの撮影が遅延しているものとする。
　２台のカメラのうち遅延なく露光を開始できる左目カメラの露光開始と同時に、第１照明を点灯させる。以降は、実施形態１と同様にパターン照明を切り替える。但し、第３照明を消灯した後に点灯する第１照明においては、遅延しているカメラである右目カメラの第３撮影の露光が終了するまでの間点灯し続けるようにする。
　各カメラで、夫々各パターン照明が露光されている割合を求めておくことで、各照明を単独で点灯した照明条件下で撮影した画像と等価な情報が得られる。遅延しているカメラである右目カメラにおいては、遅延期間を事前に測定しておくことにより、各パターン照明が露光されている割合を求めることができる。
　各照明を単独で点灯した照明条件下で撮影した画像と等価な情報をカメラごとに求め、距離データ計算部１３２に渡すことで距離データを計算できる。尚、本実施形態においては、カメラを２台搭載する装置で説明したが、カメラが何台あったとしても本実施形態の手法を適用可能である。その場合、最も遅延しているカメラにおける最後の撮影の露光が終了するまで照明を点灯し続けるようにする。
＜実施形態４＞
　パターン照明は点灯させても瞬間的に所定の光量に達するのではなく、実際は短時間の間に徐々に光量が増加し所定の光量に達する。又、パターン照明を消灯させても、実際は短時間の間に徐々に光量が減少し、光を発さない状態になる。このような、照明の立ち上がり特性と立ち下がり特性が影響を与える場合がある。
　実施形態４においては、照明の立ち上がり特性と立ち下がり特性に対応できるようにする。図１１は実施形態４におけるパターン照明の点灯とカメラによる撮影のタイミングを示した図である。
　照明の立ち上がりと立ち下がりは、それらの過渡期間に露光を行っている露光ラインに影響を及ぼす。その影響は、露光期間に対する立ち上がり期間と立下り期間の割合により決まる。
　従って、３次元計測システム１００に用いるパターン照明部の立ち上がり期間と立ち下がり期間を予め測定しておき、その期間よりも十分にカメラの露光期間を長く設定することによって、これらの現象の影響の度合いを無視できるほど小さくすることができる。
＜実施形態５＞
　実施形態５では、実施形態１の前提条件の１つである「照明の点灯期間をローリングシャッターの走査期間以上にする」という制約を緩和する。照明装置の発熱を抑えたいなどの要望により、照明の連続点灯期間をなるべく短くしたい場合に本実施形態が有効である。
　実施形態１の実施例３で説明したのと同様の手法を、実施形態５に適用するには、いずれの露光ラインにおいても、複数回の撮影をすべて終えたときに、露光中にすべての照明が１度は点灯している、という条件を満たす必要がある。
　この条件を満たすには、１度の照明点灯でローリングシャッターの走査期間以上にする方法以外にも、複数回の点灯により合計の点灯期間がローリングシャッターの走査期間以上となるようにすれば良い。その場合、パターン照明の点灯順番を調整する。
　図１２は実施形態５におけるパターン照明の点灯とカメラによる撮影のタイミングを示した図であり、実施形態１の実施例１で参照した図２の照明点灯期間及び照明点灯の順番を変更した例を示している。照明点灯期間はローリングシャッターの走査期間の半分とし、各パターン照明は２回ないし３回点灯する。図１２において、撮影画像と露光したパターン照明の組み合わせに（１）～（１２）の番号をつけている。
　図１３は、図１２に記載した組み合わせ番号をもとに、各照明を単独で点灯した照明条件下で撮影した画像と等価の情報が得られることを説明するための図である。図１２のように撮影を行うと、すべての露光ラインにおいて、すべての照明の点灯情報が欠損することなく露光されていることが見て取れる。よって、各照明を単独で点灯した照明条件下で撮影した画像と等価の情報を得ることができる。
　尚、照明点灯の順番は入れ替えても良いが、図１３のように情報の欠損がないような点灯順番にすべきである。さもなければ、情報の欠損が生まれ、欠損部分の補完を行わねばならず、各照明を単独で点灯した照明条件下で撮影した画像と等価の情報ではなくなってしまうからである。
＜実施形態６＞
　距離推定アルゴリズムの計算は撮影する予定のすべての画像がそろっていなくても、一部の画像があれば計算を開始することができ、撮影した画像を追加入力していくにつれて、距離推定精度も徐々に向上する。撮影に並行して距離推定アルゴリズムの計算を開始すれば、撮影が終わるのをコンピュータが待機している時間を減らすことにつながり、撮影を始めてから距離データ出力部１３３の結果を得るまでの総合処理時間を短縮化できる。
　本実施形態では、撮影に並行して距離推定アルゴリズムの計算を開始するために、一部の撮影が終わった時点で、撮影した画像を距離推定アルゴリズムに入力し、その時点までの各照明を単独で点灯した照明条件下で撮影した画像と等価の情報を得る。
　図１４は実施形態６に関連したパターン照明の点灯とカメラによる撮影のタイミングの例を示した図である。パターン照明の数は例えば６つあり、撮影回数が６回に増えたこと以外は実施形態１の実施例１と同様である。図１４のように第１照明～第６照明を点灯し、それに同期して第１撮影～第６撮影を行い、第６撮影が終了するまで、各照明を単独で点灯した照明条件下で撮影した画像と等価の情報を得ることができない。
　図１５は実施形態６におけるパターン照明の点灯とカメラによる撮影のタイミングの例を示した図である。図１５に示すように、第１撮影～第６撮影までを一度に連続的に撮影せずに、第１撮影～第３撮影までをＡ期間、第４撮影～第６撮影までをＢ期間として分割して撮影する。Ａ期間及びＢ期間において適切に照明の点灯を行うことによって、Ａ期間及びＢ期間において、夫々各照明を単独で点灯した照明条件下で撮影した画像と等価な情報を得ることができる。
　即ち、Ａ期間の撮影が終了した時点で第１照明～第３照明までの照明を単独で点灯した照明条件下で撮影した画像と等価な情報を求め、距離推定アルゴリズムの算出を開始することができる。距離推定アルゴリズムの計算開始と並行して、Ｂ期間の撮影を行う。Ｂ期間の撮影が終了した時点で第４照明～第６照明までの照明を単独で点灯した照明条件下で撮影した画像と等価な情報を求め、距離推定アルゴリズムによる算出を開始する。
　即ち、パターン光の数は６であるが、一連の撮影の途中で、それより少ない数である３つのパターン光を計測対象物１０１に順次投影しているときに、画像復元又は距離推定のための演算を開始しているので、演算の待ち時間を減らすことができる。
　尚、第３撮影と第４撮影の間に１枚分撮影する余裕があるため、更に撮影を行っても良いが、本実施形態で説明したように、第１撮影から第６撮影の情報だけも各照明を単独で点灯した照明条件下で撮影した画像と等価な情報を得ることができる。
＜実施形態７＞
　図１６は実施形態７のロボットシステム１６００の例を示した図である。実施形態７のロボットシステム１６００は、ロボットとしてのロボットアーム１６０１を有し、ロボットアーム１６０１の先端近傍には実施形態１～６のような構成の３次元計測システム１００が配置されている。ロボットアーム１６０１の先端にはロボットハンド１６０２が設けられており、計測対象物１０１を把持し、移動させることができるように構成されている。
　１６０３は計測対象物１０１が搬送されるベルトコンベア等である。１６０４はロボットシステム１６００全体を制御するためのコントローラーであり、１６０５はＵＩを有する表示部である。
　３次元計測システム１００は計測装置として機能しており、計測対象物１０１にパターン光を投射して撮像し、画像を取得する。そして計測対象物１０１の距離マップを生成し、距離マップに基づき計測対象物１０１の位置姿勢を計測する計測ステップを実行する。
　尚、３次元計測システム１００による計測中は、計測対象物１０１と計測装置とが相対的に静止状態になるようにする。或いは計測期間に対して実質的に静止状態にする。計測中に計測対象物１０１が相対的に動いていると、画像が歪むと共に、複数のパターン光に基づく距離計測に誤差が生じるからである。
　３次元計測システム１００による計測ステップの結果はコントローラー１６０４に送られる。コントローラー１６０４は計測対象物１０１の位置姿勢に基づきロボットアーム１６０１とロボットハンド１６０２を駆動して計測対象物１０１を把持し、並進や回転や移動などの処理をさせる。即ち、ロボットは、計測装置による計測結果に基づいて計測対象物１０１を把持して移動させることができる。
　更に、ロボットアーム１６０１は先端のロボットハンド１６０２（把持部）で計測対象物１０１を保持して、計測対象物１０１を他の部品に組み付ける組み付け処理等をする。それにより、複数の部品で構成された物品、例えば電子回路基板や機械などを製造することができる。
　又、移動された計測対象物１０１を加工処理することにより、物品を製造することができる。コントローラー１６０４は、コンピュータとしてのＣＰＵなどの演算装置やコントローラー１６０４を制御するためのコンピュータプログラムを記憶したメモリなどの記憶装置を有する。
　また、３次元計測システム１００により計測された計測データや得られた画像をディスプレイなどの表示部１６０５に表示することができる。ユーザーは表示部１６０５に表示された画像に基づき物品の製造プロセスを監視することができる。
　以上、本発明をその好適な実施形態及び実施例に基づいて詳述してきたが、本発明は上記実施形態や実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
　例えば上記の実施形態の説明では、計測装置を計測対象物１０１の距離マップ作成等の３次元計測のために用いたが、３次元計測に限定されない。又、２つのイメージセンサを用いたが１つ或いは３以上であっても適用可能である。
　尚、本発明は、前述した実施形態や実施例の機能を実現するソフトウェアのプログラムコード（制御プログラム）を記録した記憶媒体を、システムあるいは装置に供給することによって実現してもよい。そして、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたコンピュータ読取可能なプログラムコードを読み出し実行することによっても達成される。その場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態（実施例）の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
（関連出願の相互参照）
　本出願は、先に出願された、２０２２年６月６日に出願された日本特許出願第２０２２－０９１３８８号の利益を主張するものである。また、上記日本特許出願の内容は本明細書において参照によりその全体が本明細書に組み込まれる。

 

Claims (9)

  1. 　複数のライン状に配列された光電変換素子からなり、ライン順次で露光と撮像信号の読出しが行われる撮像手段と、
    　複数のパターン光を計測対象物に投影する照明手段と、
    　前記撮像手段により各１枚分の画像について前記ライン順次に前記露光と前記撮像信号の読出しを行っている間に複数の前記パターン光又は環境光により前記計測対象物が順次照明されると共に、前記撮像手段から連続的に得られた複数枚の画像に基づき前記計測対象物の計測を行う制御手段と、を有することを特徴とする計測装置。
  2. 　前記撮像手段の露光期間に対する複数の前記パターン光の点灯期間の割合に基づいて前記撮像手段から連続的に得られた複数枚の前記画像を演算する演算手段を有することを特徴とする請求項１に記載の計測装置。
  3. 　前記演算手段は、前記撮像手段から連続的に得られた複数枚の前記画像を演算することによって、各画像が単一の前記パターン光で照明された場合の復元画像を生成することを特徴とする請求項２に記載の計測装置。
  4. 　一連の撮影の途中で、前記複数の前記パターン光の数より少ない数の前記パターン光を前記計測対象物に順次投影しているときに、前記演算を開始することを特徴とする請求項３に記載の計測装置。
  5. 　前記照明手段によって複数の前記パターン光を順次投影する際に、環境光も用いることを特徴とする請求項１に記載の計測装置。
  6. 　請求項１～５のいずれか１項に記載の計測装置と、
    　前記計測装置による計測結果に基づいて前記計測対象物を把持して移動させるロボットと、を有することを特徴とするロボットシステム。
  7. 　複数のライン状に配列された光電変換素子を用いて、ライン順次で露光と撮像信号の読出しを行う撮像ステップと、
    　複数のパターン光を計測対象物に投影する照明ステップと、
    　前記撮像ステップにより各１枚分の画像について前記ライン順次に前記露光と前記撮像信号の読出しを行っている間に複数の前記パターン光又は環境光により前記計測対象物が順次照明されると共に、前記光電変換素子から連続的に得られた複数枚の画像に基づき前記計測対象物の計測を行う制御ステップと、を有することを特徴とする計測方法。
  8. 　請求項１～５のいずれか１項に記載の計測装置を用いて前記計測対象物を計測する計測ステップと、
    　前記計測ステップの結果に基づいて前記計測対象物を処理することにより物品を製造するステップと、を有することを特徴とする物品の製造方法。
  9. 　以下の計測方法の各工程を実行させるためのコンピュータプログラムを記憶した記憶媒体であって、計測方法は、
    　コンピュータにより、複数のライン状に配列された光電変換素子を用いて、ライン順次で露光と撮像信号の読出しを行う撮像ステップと、
    　複数のパターン光を計測対象物に投影する照明ステップと、
    　前記撮像ステップにより各１枚分の画像について前記ライン順次に前記露光と前記撮像信号の読出しを行っている間に複数の前記パターン光又は環境光により前記計測対象物が順次照明されると共に、前記光電変換素子から連続的に得られた複数枚の画像に基づき前記計測対象物の計測を行う制御ステップと、を有する。
PCT/JP2023/020075 2022-06-06 2023-05-30 計測装置、ロボットシステム、計測方法、物品の製造方法、及び記憶媒体 WO2023238736A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-091388 2022-06-06
JP2022091388A JP2023178605A (ja) 2022-06-06 2022-06-06 計測装置、ロボットシステム、計測方法、物品の製造方法、及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2023238736A1 true WO2023238736A1 (ja) 2023-12-14

Family

ID=89118258

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/020075 WO2023238736A1 (ja) 2022-06-06 2023-05-30 計測装置、ロボットシステム、計測方法、物品の製造方法、及び記憶媒体

Country Status (2)

Country Link
JP (1) JP2023178605A (ja)
WO (1) WO2023238736A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116032A (ja) * 2017-01-20 2018-07-26 キヤノン株式会社 被計測物の形状を計測する計測装置
WO2019159817A1 (ja) * 2018-02-14 2019-08-22 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2019191321A (ja) * 2018-04-23 2019-10-31 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116032A (ja) * 2017-01-20 2018-07-26 キヤノン株式会社 被計測物の形状を計測する計測装置
WO2019159817A1 (ja) * 2018-02-14 2019-08-22 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2019191321A (ja) * 2018-04-23 2019-10-31 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体

Also Published As

Publication number Publication date
JP2023178605A (ja) 2023-12-18

Similar Documents

Publication Publication Date Title
JP5680196B2 (ja) 測定対象物表面上の三次元座標を求めるための光学式測定方法および測定システム
KR102130756B1 (ko) 자동 초점 조절 방법 및 자동 초점 조절 장치
CN101292359B (zh) 用于测量图像的设备和方法
CN112954288A (zh) 图像投影系统和图像投影方法
WO2021085419A1 (ja) 三次元計測装置
JP2004132829A (ja) ３次元撮影装置と３次元撮影方法及びステレオアダプタ
JP2019519839A (ja) 二重相補パターン照明を用いる３ｄシーン再構成のシステムおよび方法
CN109714536A (zh) 图像校正方法、装置、电子设备及计算机可读存储介质
JP6556013B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP2006251683A (ja) 立体画像撮影システム
JP2006279546A (ja) 電子カメラ、画像処理プログラム、および画像処理方法
JP2002228425A (ja) Ｄｍｄを用いたｃｃｄカメラによる実時間形状計測方法と装置
US20160227182A1 (en) Image processing apparatus, image processing method and program
JP2011047883A (ja) ３次元形状センサ
JP2003207324A (ja) ３次元情報取得装置及び３次元情報取得方法
JP2003050112A (ja) 三次元形状入力装置及び投影装置
WO2023238736A1 (ja) 計測装置、ロボットシステム、計測方法、物品の製造方法、及び記憶媒体
JP7187192B2 (ja) 制御装置、アクセサリ、撮像装置および撮像システム
JP2015102532A (ja) 三次元形状測定装置
JP2016111689A (ja) 画像読取装置
US20170089691A1 (en) Measuring device, measuring method, system and manufacturing method
WO2020049965A1 (ja) ３次元計測システム、３次元計測カメラ、３次元計測方法及びプログラム
JP2022045787A (ja) 画像処理装置、撮像装置、及び画像処理装置の制御方法並びにプログラム
CN113418472B (zh) 三维测量方法和系统
JP2019128412A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23819716

Country of ref document: EP

Kind code of ref document: A1