WO2019230285A1 - シミュレーション装置、シミュレーション方法およびプログラム - Google Patents

シミュレーション装置、シミュレーション方法およびプログラム Download PDF

Info

Publication number
WO2019230285A1
WO2019230285A1 PCT/JP2019/017723 JP2019017723W WO2019230285A1 WO 2019230285 A1 WO2019230285 A1 WO 2019230285A1 JP 2019017723 W JP2019017723 W JP 2019017723W WO 2019230285 A1 WO2019230285 A1 WO 2019230285A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
measurement range
sensors
virtual space
range
Prior art date
Application number
PCT/JP2019/017723
Other languages
English (en)
French (fr)
Inventor
豊男 飯田
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2019230285A1 publication Critical patent/WO2019230285A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Definitions

  • the present invention relates to a simulation apparatus, a simulation method, and a program, and more particularly, to an apparatus, a method, and a program for simulating a measurement range of a sensor.
  • An apparatus that includes a projector and a camera and acquires three-dimensional information about a target object using the principle of triangulation is known.
  • Such a three-dimensional measuring apparatus is attached to an arm of a robot that picks up a part for assembling a product, for example.
  • Patent Document 1 a three-dimensional sensor attached to a robot arm photographs a target object at a plurality of measurement positions by moving the measurement position of the target object by moving the robot.
  • Patent Document 2 discloses photographing a target object with a plurality of three-dimensional sensors.
  • the user in order to ensure the accuracy of 3D measurement, the user must determine the position of each camera based on the range in which the measurement object is included or the height range that the measurement object can take. The relationship needs to be adjusted.
  • Patent Laying-Open No. 2006-349586 Patent Document 2 discloses an image processing method in which a user can confirm that each camera is set in a state corresponding to a measurement purpose.
  • the information processing apparatus disclosed in Japanese Unexamined Patent Application Publication No. 2016-99257 calculates a hidden area where the target object is shielded from the image of the camera, and moves the three-dimensional sensor based on the hidden area. It may take time to measure the position or orientation of the target object in order to search for a region with less occlusion. Furthermore, it is impossible to grasp the change in the effective visual field of the three-dimensional sensor when the three-dimensional sensor is moved.
  • the three-dimensional measuring apparatus disclosed in Japanese Patent Application Laid-Open No. 2006-349586 has a range in which a point included in the field of view of both cameras appears among the points in a specified height range for each image from each camera. Extract. Further, the three-dimensional measuring apparatus displays the extracted range in a colored manner on the image as a measurable range. Therefore, the user can grasp which region in the field of view of another camera corresponds to the measurement region of the reference camera.
  • this method basically, only information on the viewing direction of the camera (that is, information when the target object is viewed from the bottom to the bottom) can be obtained. Therefore, it is difficult to obtain three-dimensional information.
  • An object of the present invention is to provide a simulation apparatus, a simulation method, and a program that can easily grasp the measurement range of a sensor.
  • the simulation device includes a reception unit that receives designation of a position and orientation of a sensor for arranging the sensor in the virtual space corresponding to the measurement target field, and the sensor is arranged in the virtual space.
  • a measurement range calculation unit that calculates an effective measurement range of the sensor in the virtual space based on effective measurement range information that the sensor has, and an information output unit that outputs information on the position and orientation of the sensor in the virtual space.
  • the measurement range calculation unit calculates each effective measurement range of the plurality of sensors.
  • the information output unit displays the effective measurement range of any of the plurality of sensors in a manner different from the effective measurement ranges of the other sensors.
  • the effective measurement range of each sensor can be grasped. Therefore, the effective measurement ranges of a plurality of sensors can be easily grasped.
  • the measurement range calculation unit calculates a combined measurement range formed by the effective measurement ranges of the plurality of sensors.
  • the information output unit displays the combined measurement range.
  • the “synthetic measurement range” may be a common part of the effective measurement ranges of the plurality of sensors, or may be a range obtained by adding up the effective measurement ranges of the plurality of sensors.
  • the measurement range calculation unit calculates the overlapping range of the effective measurement ranges of the plurality of sensors as the combined measurement range.
  • the user can grasp the combined measurement range formed by the common portion of the effective measurement ranges of the plurality of sensors.
  • the measurement range calculation unit calculates a combined measurement range by adding at least two effective measurement ranges among the plurality of sensors.
  • the user can grasp the combined measurement range formed by adding the effective measurement ranges of a plurality of sensors. Note that it is not necessary to add up all the effective measurement ranges of a plurality of sensors, and the combined measurement range may be calculated by adding up the effective measurement ranges of specific sensors selected from the plurality of sensors.
  • the accepting unit accepts CAD data representing an object to be measured by the sensor in the measurement target field.
  • the measurement range calculation unit calculates a measurable range of the object by the sensor when the sensor measures the object.
  • the information output unit displays the measurable range of the sensor.
  • the accepting unit further accepts data representing a structure existing with the object in the measurement target field.
  • the measurement range calculation unit calculates the measurable range of the sensor and the measurable range of the object based on the positional relationship between the structure and the object.
  • the simulation method includes a step in which a computer receives designation of a position and orientation of a sensor for arranging the sensor in the virtual space corresponding to the measurement target field, and the computer is arranged in the virtual space.
  • the step of calculating the effective measurement range includes the step of calculating the effective measurement range of each of the plurality of sensors when the plurality of sensors are arranged in the virtual space.
  • the step of outputting includes the step of displaying the effective measurement range of any of the plurality of sensors in a manner different from the effective measurement range of the other sensors.
  • the measurement range of the sensor can be easily grasped.
  • the program includes a step of receiving designation of a position and orientation of a sensor for arranging the sensor in the virtual space corresponding to the measurement target field, and the sensor arranged in the virtual space. Based on the effective measurement range information, a step of calculating an effective measurement range of the sensor in the virtual space and a step of outputting information on the position and orientation of the sensor in the virtual space are executed.
  • the step of calculating the effective measurement range includes the step of calculating the effective measurement range of each of the plurality of sensors when the plurality of sensors are arranged in the virtual space.
  • the step of outputting includes the step of displaying the effective measurement range of any of the plurality of sensors in a manner different from the effective measurement range of the other sensors.
  • the measurement range of the sensor can be easily grasped.
  • FIG. 1 It is the schematic diagram explaining adjustment of the three-dimensional sensor which concerns on this Embodiment. It is a functional block diagram of the three-dimensional measuring apparatus which concerns on this Embodiment. It is the fragmentary figure which showed a part of the shading pattern which concerns on an example. It is the elements on larger scale which expanded a part of light / dark pattern shown in FIG. It is the flowchart which showed the flow of the process which calculates the inclination of a three-dimensional sensor with respect to a reference plane. It is a schematic diagram for demonstrating the 1st calculation method of the normal vector of a reference plane. It is a schematic diagram for demonstrating the 2nd calculation method of the normal vector of a reference plane. FIG.
  • FIG. 5 is a schematic diagram for explaining a first calculation method of a rotation angle around the Z axis of the three-dimensional sensor 1.
  • FIG. 10 is a schematic diagram for explaining a second calculation method of the rotation angle around the Z axis of the three-dimensional sensor 1. It is the figure which showed one structural example of the indicator which concerns on this Embodiment. It is the figure which showed another structural example of the indicator which concerns on this Embodiment. It is the figure which showed another example of a structure of the indicator which concerns on this Embodiment. It is the figure which showed another example of a structure of the indicator which concerns on this Embodiment.
  • FIG. 1 is a diagram schematically illustrating a configuration example of a three-dimensional measurement apparatus including a plurality of three-dimensional sensors. As shown in FIG. 1, the three-dimensional measuring apparatus 100 shoots a work W while illuminating it on an industrial product production line or the like, and measures the three-dimensional shape of the work W using the obtained photographic image.
  • the three-dimensional measuring apparatus 100 includes three-dimensional sensors 1A, 1B, 1C and a shape measuring unit 10.
  • the three-dimensional sensors 1A, 1B, and 1C image the workpiece W from different directions. Thereby, the image of the workpiece
  • the shape measuring unit 10 acquires image data from each of the three-dimensional sensors 1A, 1B, and 1C, and acquires three-dimensional data (point group) by superimposing the image data.
  • the shape measuring unit 10 performs three-dimensional measurement or three-dimensional shape recognition based on the three-dimensional data.
  • the three-dimensional measuring apparatus 100 includes a plurality of three-dimensional sensors, thereby obtaining images of the workpiece W from a plurality of different viewpoints.
  • the three-dimensional measurement apparatus 100 may include a single three-dimensional sensor and acquire a plurality of image data by changing the position and orientation of the three-dimensional sensor.
  • a simulation apparatus capable of calculating the measurement range of a three-dimensional sensor.
  • the simulation apparatus can change the position of the three-dimensional sensor in the virtual space and calculates the measurement range of the three-dimensional sensor.
  • FIG. 2 is a diagram for explaining a hardware configuration of the simulation apparatus 200 according to the present embodiment.
  • the simulation device 200 is a computer, and includes a CPU (Central Processing Unit) 201, a communication device 202, a memory 203, an input device 204, a display device 205, an internal bus 206, and the like. including.
  • CPU Central Processing Unit
  • the memory 203 stores various programs for executing simulation processing in the simulation apparatus 200.
  • the CPU 201 controls the entire simulation apparatus 200.
  • the CPU 201 further implements various functions by executing programs stored in the memory 203.
  • This program includes a program for calculating the measurement range of the three-dimensional sensor when the position and orientation of the three-dimensional sensor are changed in the virtual space.
  • the input device 204 is a device that accepts user input and includes, for example, a keyboard and a mouse.
  • the communication device 202 is a device for communicating with the outside via a cable or a network (not shown).
  • the display device 205 is a device that displays various types of information including the result of the simulation executed by the simulation device 200.
  • the display device 205 is a liquid crystal display.
  • FIG. 3 is a block diagram illustrating functions of the simulation apparatus 200 according to the present embodiment.
  • the simulation apparatus 200 realizes various functional blocks when the CPU 201 executes a program stored in the memory 203.
  • the simulation apparatus 200 includes a sensor position / angle setting unit 211, a measurement range calculation unit 212, and a measurement range display unit 213.
  • the sensor position / angle setting unit 211 is a designation receiving unit that receives the position and angle of the three-dimensional sensor designated by the user. Specifically, the sensor position / angle setting unit 211 receives designation of the position of the three-dimensional sensor for virtually arranging the three-dimensional sensor in the virtual space corresponding to the measurement target field.
  • the measurement target field is a space in which the three-dimensional sensors 1A, 1B, and 1C are arranged (see FIG. 1).
  • the measurement range calculation unit 212 calculates the effective measurement range of the 3D sensor in the virtual space based on the effective measurement range information of the 3D sensor.
  • the measurement range display unit 213 is an information output unit that outputs information on the position and orientation of the three-dimensional sensor in the virtual space.
  • the measurement range calculation unit 212 calculates the effective measurement range of each of the plurality of 3D sensors. Further, the measurement range calculation unit 212 calculates a combined measurement range formed by each effective measurement range of the plurality of three-dimensional sensors.
  • the measurement range display unit 213 displays the effective measurement range of any of the plurality of three-dimensional sensors in a manner different from the effective measurement ranges of the other three-dimensional sensors. For example, the measurement range display unit 213 displays a plurality of effective measurement ranges in different colors. Further, the measurement range display unit 213 displays the combined measurement range. That is, the measurement range display unit 213 provides a user interface for displaying the measurement range of the three-dimensional sensor and the measurement range to the user.
  • three-dimensional sensor 1 the three-dimensional sensors 1A, 1B, and 1C are collectively referred to as “three-dimensional sensor 1”.
  • FIG. 4 is a schematic diagram for explaining the effective measurement range of the three-dimensional sensor.
  • the effective measurement range 6 of the three-dimensional sensor 1 is a three-dimensional range and can be expressed by six parameters (Hmin, Hmax, Wmin, Wmax, Dmin, Dmax).
  • the six parameters described below correspond to effective measurement range information that the three-dimensional sensor 1 has.
  • Hmin and Hmax are parameters in the height direction based on the three-dimensional sensor 1.
  • Hmin is a parameter representing the minimum height of the effective measurement range 6
  • Hmax is a parameter representing the maximum height of the effective measurement range 6.
  • Wmin and Wmax are parameters in the width direction of the effective measurement range 6
  • Dmin and Dmax are parameters in the depth direction of the effective measurement range 6.
  • the size in the width direction of the effective measurement range 6 is Wmin
  • the size in the depth direction of the effective measurement range 6 is Dmin
  • the height from the three-dimensional sensor 1 is Hmax
  • the length in the width direction of the effective measurement range 6 is Wmax
  • the size in the depth direction of the effective measurement range 6 is Dmax.
  • the position of the three-dimensional sensor 1 in the virtual space and the inclination of the three-dimensional sensor 1 are set, so that the values of these parameters can be determined.
  • FIG. 5 is a schematic diagram for explaining the effective measurement range of three three-dimensional sensors.
  • the three-dimensional sensors 1A, 1B, and 1C have effective measurement ranges 6A, 6B, and 6C, respectively.
  • the size of the effective measurement range may be different for each three-dimensional sensor, and the size of the effective measurement range may be the same among the three-dimensional sensors 1A, 1B, and 1C.
  • each effective measurement range is determined according to the effective measurement range information of each three-dimensional sensor.
  • FIG. 6 is a diagram for explaining a first example of the arrangement of three three-dimensional sensors.
  • the measurement directions of the three-dimensional sensors 1A, 1B, 1C are set so that the effective measurement ranges 6A, 6B, 6C overlap each other.
  • a portion where three effective measurement ranges overlap each other is selected as a combined measurement range. The larger the portion where the three effective measurement ranges overlap each other, the higher the density of the three-dimensional data (point group) in that portion. Therefore, it is possible to reduce the possibility that the measurement accuracy is insufficient or the possibility that the target object recognition fails.
  • FIG. 7 is a diagram for explaining a second example of the arrangement of three three-dimensional sensors.
  • the inclinations of the three-dimensional sensors 1A, 1B, and 1C are set so that parts of the effective measurement ranges 6A and 6B overlap and parts of the effective measurement ranges 6A and 6C overlap.
  • a range obtained by adding the effective measurement ranges 6A, 6B, and 6C is selected as the combined measurement range.
  • FIG. 8 is a diagram for explaining setting of the position of the sensor by the simulation apparatus 200 according to the present embodiment.
  • the sensor position / angle setting unit 211 accepts input from the user (for example, input by mouse operation).
  • the sensor position / angle setting unit 211 arranges the three-dimensional sensor 1 in the virtual space 300 according to the input from the user, and sets the position of the three-dimensional sensor 1 in the virtual space 300 and the angle of the three-dimensional sensor 1.
  • the measurement range calculation unit 212 calculates the effective measurement range 6 of the three-dimensional sensor 1.
  • the measurement range display unit 213 displays the three-dimensional sensor 1 arranged on the virtual space 300 according to the position and angle of the three-dimensional sensor 1 set by the sensor position / angle setting unit 211 and also displays the three-dimensional sensor 1.
  • the effective measurement range 6 is displayed.
  • the sensor position / angle setting unit 211 changes the coordinate value indicating the position of the three-dimensional sensor 1 in the virtual space 300 and the angle indicating the inclination of the three-dimensional sensor 1 by the user's mouse operation.
  • the measurement range calculation unit 212 updates the effective measurement range 6 of the three-dimensional sensor 1.
  • the measurement range display unit 213 displays the 3D sensor 1 so that the position or inclination of the 3D sensor 1 changes in the XZ plane or the YZ plane of the virtual space 300.
  • the X direction corresponds to the width direction of the effective measurement range 6 of the three-dimensional sensor 1
  • the Y direction corresponds to the depth direction of the effective measurement range 6
  • the Z direction corresponds to the height direction of the effective measurement range 6.
  • FIG. 9 is a diagram for explaining the simulation of the measurement region of the three-dimensional sensor 1 by the simulation apparatus 200 according to the present embodiment.
  • three three-dimensional sensors 1 ⁇ / b> A, 1 ⁇ / b> B, and 1 ⁇ / b> C are arranged in the virtual space 300.
  • the measurement range calculation unit 212 calculates the effective measurement ranges 6A, 6B, and 6C of the three-dimensional sensors 1A, 1B, and 1C, respectively.
  • the measurement range display unit 213 displays the position and orientation of each of the three-dimensional sensors 1A, 1B, and 1C.
  • the measurement range display unit 213 further displays the effective measurement ranges 6A, 6B, and 6C.
  • the effective measurement ranges 6A, 6B, and 6C are displayed in different colors.
  • the measurement range display unit 213 further displays a combined measurement range in the virtual space 300 formed by the effective measurement ranges 6A, 6B, and 6C.
  • the measurement range display unit 213 displays an effective measurement range and a combined measurement range projected on each of the XZ plane, the YZ plane, and the XY plane.
  • FIG. 10 is a diagram for explaining a first example of simulation of a measurement range by the simulation apparatus 200 according to the present embodiment.
  • measurement range calculation unit 212 calculates composite measurement range 7 based on information (parameters Hmin, Hmax, Wmin, Wmax, Dmin, Dmax) of effective measurement ranges 6A, 6B, and 6C. To do.
  • the synthetic measurement range 7 is calculated by calculating a logical product (AND) of the effective measurement ranges 6A, 6B, and 6C. That is, the composite measurement range 7 is a portion where the effective measurement ranges 6A, 6B, and 6C all overlap.
  • the point group density in the combined measurement range 7 is three times the point group density in the effective measurement range of each of the three-dimensional sensors 1A, 1B, and 1C.
  • the measurement range display unit 213 displays the effective measurement ranges 6A, 6B, and 6C of the three-dimensional sensors 1A, 1B, and 1C, and displays the combined measurement range 7 so as to overlap the effective measurement ranges 6A, 6B, and 6C.
  • the composite measurement range 7 may be displayed in a color different from any of the effective measurement ranges 6A, 6B, and 6C.
  • the measurement range display unit 213 can further display the relative positions of the three-dimensional sensors 1B and 1C with respect to the three-dimensional sensor 1A (indicated as “sensor A” in FIG. 10).
  • the relative position is calculated by the measurement range calculation unit 212.
  • the measurement range display unit 213 displays the X coordinate, Y coordinate, Z coordinate, yaw angle, and pitch angle of the three-dimensional sensors 1B and 1C (represented as “sensor B” and “sensor C” in FIG. 10, respectively).
  • the roll angle may also be displayed.
  • the X coordinate, Y coordinate, Z coordinate, yaw angle, pitch angle, and roll angle of the three-dimensional sensor 1B are expressed as (XB, YB, ZB, YawB, PichB, RollB).
  • the X coordinate, Y coordinate, Z coordinate, yaw angle, pitch angle, and roll angle of the three-dimensional sensor 1C are expressed as (XC, YC, ZC, YawC, PichC, RollC).
  • FIG. 11 is a diagram for explaining a second example of the simulation of the measurement range by the simulation apparatus 200 according to the present embodiment.
  • the combined measurement range 7 is formed by calculating a logical sum (OR) of the effective measurement ranges 6A, 6B, and 6C.
  • the combined measurement range 7 is calculated from all logical sums (OR) of the effective measurement ranges 6A, 6B, and 6C.
  • the combined measurement range 7 may be calculated by a logical sum of two effective measurement ranges selected from the effective measurement ranges 6A, 6B, and 6C.
  • the logical sum of the effective measurement ranges of all three-dimensional sensors is not limited.
  • the measurement range display unit 213 displays the effective measurement ranges 6A, 6B, and 6C of the three-dimensional sensors 1A, 1B, and 1C, and displays the combined measurement range 7 so as to overlap the effective measurement ranges 6A, 6B, and 6C. Furthermore, the measurement range display unit 213 can further display the relative positions of the three-dimensional sensors 1B and 1C with respect to the three-dimensional sensor 1A.
  • FIG. 12 is a diagram showing a first application example of the simulation apparatus 200 according to the present embodiment.
  • the simulation apparatus 200 can capture CAD data of the measurement target 8 and place the measurement target 8 together with the three-dimensional sensor 1 in the virtual space 300.
  • the simulation apparatus 200 calculates the measurable range 8A of the sensor 1 in the measurement target 8 based on the effective measurement range 6 of the three-dimensional sensor 1, and displays the measurable range 8A on the measurement target 8 in an overlapping manner.
  • the sensor position / angle setting unit 211 shown in FIG. 2 may accept the CAD data of the measurement target 8.
  • the measurement range calculation unit 212 calculates the measurable range 8A of the three-dimensional sensor 1 when the three-dimensional sensor 1 measures the measurement object 8.
  • the measurement range display unit 213 displays the 3D sensor 1 and the effective measurement range 6 of the 3D sensor 1 as well as the measurement object 8 and the measurable range 8A. Prior to actually measuring the measurement object 8 with the three-dimensional sensor 1, information on the measurable range 8A of the sensor 1 can be obtained by simulation.
  • FIG. 13 is a diagram showing a second application example of the simulation apparatus 200 according to the present embodiment.
  • a plurality of three-dimensional sensors may be arranged in the virtual space 300.
  • the simulation apparatus 200 calculates the measurable ranges 8A, 8B, and 8C based on the effective measurement ranges 6A, 6B, and 6C of the three-dimensional sensors 1A, 1B, and 1C, respectively.
  • the measurable range 8A is a range measurable by the 3D sensor 1A
  • the measurable range 8B is a measurable range by the 3D sensor 1B
  • the measurable range 8C is measurable by the 3D sensor 1C. It is a range.
  • the range of the measurement object 8 that can be measured by the three-dimensional sensors 1A, 1B, and 1C is a range obtained by adding the measurable ranges 8A, 8B, and 8C.
  • a plurality of measurement objects may be arranged in the virtual space 300.
  • the simulation apparatus 200 may capture the CAD data of each of the plurality of measurement objects and generate a union of the CAD data.
  • the simulation apparatus 200 can calculate the measurable range of one or a plurality of three-dimensional sensors.
  • FIG. 14 is a diagram showing a third application example of the simulation apparatus 200 according to the present embodiment.
  • FIG. 15 is a diagram showing a fourth application example of the simulation apparatus 200 according to the present embodiment.
  • the simulation apparatus 200 simulates the measurement range of the measurement object 8 stored in the container 9. Similar to the first and second application examples, the simulation apparatus 200 takes in the CAD data of the measurement target 8 and the container 9 and arranges the measurement target 8 and the container 9 in the virtual space 300.
  • the measurable ranges 8A, 8B, and 8C are calculated from the effective measurement ranges 6A, 6B, and 6C of the three-dimensional sensors 1A, 1B, and 1C, respectively.
  • the measurement range of the measurement object 8 depends on the depth of the container 9.
  • the simulation apparatus 200 (more specifically, the measurement range calculation unit 212) can calculate the measurable range using the depth of the container 9 as a parameter.
  • FIG. 14 shows an example of the measurement range of the measurement object 8 when the container 9 is deep.
  • FIG. 15 shows an example of the measurement range of the measurement object 8 when the container 9 is shallow.
  • the simulation apparatus 200 can calculate the measurable range of one or a plurality of three-dimensional sensors based on the positional relationship between the structure and the measurement target.
  • the simulation apparatus 200 can determine the position and inclination of the three-dimensional sensor so as to be suitable for workpiece measurement.
  • the user can adjust the positional relationship of the three-dimensional sensor according to the determined position and inclination.
  • the adjustment described below is applied to each of the plurality of three-dimensional sensors. Therefore, the adjustment of one three-dimensional sensor will be representatively described below.
  • FIG. 16 is a schematic diagram illustrating adjustment of the three-dimensional sensor 1 according to the present embodiment.
  • the three-dimensional sensor 1 includes a sensor housing 2 that houses a camera and a projector, and an indicator 5.
  • the indicator 5 is installed in the sensor housing 2 so as to be exposed on the surface of the sensor housing 2.
  • the three-dimensional sensor 1 captures the reference plane 50 and acquires an image.
  • the image acquired by the three-dimensional sensor 1 is transferred to the shape measuring unit 10.
  • the shape measuring unit 10 can be realized by, for example, a controller such as a CPU (Central Processing Unit) or an MPU (Micro-Processing Unit) and a controller including a RAM (Random Access Memory).
  • the display 60 is connected to the shape measuring unit 10 and provides a user interface by displaying various information. When the three-dimensional measurement apparatus 100 is installed, an image 70 that is an image of the reference plane 50 is displayed on the screen of the display 60.
  • the installer specifies at least three points on the reference plane 50 on the screen of the display 60.
  • the shape measuring unit 10 sets an area including each designated point on the screen of the display 60. For example, areas 71, 72, and 73 are set in the image 70. The areas 71, 72, and 73 are areas corresponding to the areas 51, 52, and 53 on the reference surface 50, respectively.
  • the shape measuring unit 10 measures the distance and position from the sensor housing 2 to each of the regions 51, 52, and 53, and calculates the angle of the optical axis of the camera 3 (not shown in FIG. 2) with respect to the reference plane 50. To do.
  • the X axis and the Y axis are axes that are orthogonal to each other on the reference plane 50.
  • the angle ⁇ X is an angle formed by the optical axis of the camera 3 (not shown in FIG. 2) with respect to the Y axis when the reference surface 50 is rotated around the X axis on the reference surface 50.
  • the angle ⁇ Y is an angle formed by the optical axis of the camera 3 (not shown in FIG. 2) with respect to the X axis when the reference surface 50 on the reference surface 50 is rotated around the Y axis.
  • the shape measuring unit 10 displays the calculated angle and the set angle on the screen of the display 60. Furthermore, the shape measuring unit 10 controls the indicator 5 so that the difference between the calculated angle and the set angle is indicated by the indicator 5.
  • the indicator 5 includes a plurality of LEDs. In the example shown in FIG. 16, the indicator includes 10 LEDs. The five LEDs associated with the symbol “X” indicate the difference between the calculated value and the set value for the angle ⁇ X. The five LEDs associated with the symbol “Y” indicate the difference between the calculated value and the set value for the angle ⁇ Y.
  • the five LEDs associated with the symbol “X” are the green LED 21, the yellow LEDs 22 and 23, and the red LEDs 24 and 25.
  • the shape measuring unit 10 turns on the green LED 21.
  • the shape measuring unit 10 turns on the yellow LED 22 or the yellow LED 23.
  • the shape measuring unit 10 turns on the red LED 24 or the red LED 25.
  • the sign of (calculated value) ⁇ (set value) is positive, the yellow LED 22 or the red LED 24 is lit.
  • the sign of (calculated value) ⁇ (set value) is negative, the yellow LED 23 or the red LED 25 is lit.
  • the five LEDs associated with the symbol “Y” are the green LED 26, the yellow LEDs 27 and 28, and the red LEDs 29 and 30.
  • the shape measuring unit 10 controls the LED.
  • the distance (WD) between the reference plane 50 and the three-dimensional sensor 1 is 800
  • the set value of the angle ⁇ X and the set value of the angle ⁇ Y are both 90 °.
  • the measured value of the angle ⁇ X is 89 °
  • the measured value of the angle ⁇ Y is 75 °.
  • the yellow LED 23 and the red LED 30 are lit.
  • FIG. 17 is a functional block diagram of the three-dimensional measuring apparatus according to the present embodiment.
  • the three-dimensional sensor 1 includes a camera 3, a projector 4, and an indicator 5.
  • the shape measurement unit 10 includes a pattern generation unit 11, a pattern detection unit 12, a three-dimensional shape acquisition unit 13, a tilt calculation unit 14, an angle range specification unit 15, and a reference region setting unit 16.
  • the display 60 is connected to the shape measuring unit 10 and displays various types of information.
  • the pattern generation unit 11 generates a specific shading pattern. For example, this shading pattern may follow an M series or a deBruijn series.
  • the projector 4 projects the shading pattern generated by the pattern generation unit 11.
  • the camera 3 acquires an image within the imaging field.
  • the pattern detection unit 12 reads the density pattern from the image acquired by the camera 3.
  • the three-dimensional shape acquisition unit 13 instructs the pattern generation unit 11 to generate a shade pattern. Furthermore, the three-dimensional shape acquisition unit 13 acquires information related to the three-dimensional shape of the workpiece based on the shading pattern read by the pattern detection unit 12.
  • the three-dimensional shape acquisition unit 13 acquires information on the distance between the plurality of regions designated on the reference plane 50 and the three-dimensional sensor 1 and information on the positions of the plurality of regions.
  • the inclination calculation unit 14 calculates the angle of inclination of the three-dimensional sensor 1 with respect to the reference plane 50 based on the information acquired by the three-dimensional shape acquisition unit 13. Further, the tilt calculation unit 14 controls the indicator 5 based on the calculated tilt angle of the three-dimensional sensor 1.
  • the angle range designation unit 15 receives a set angle range from the user and designates the set angle range to the tilt calculation unit 14.
  • the reference area setting unit 16 receives input related to a plurality of areas on the reference surface 50 by the user.
  • the reference area setting unit 16 sets a plurality of areas designated by the user on the image of the reference plane 50.
  • the plurality of areas are areas for acquiring the height. Note that the number of designated areas may be three or more.
  • the display 60 displays a reference plane image, that is, a grayscale image (see an image 70 shown in FIG. 16).
  • FIG. 18 is a partial view showing a part of a shading pattern according to an example.
  • FIG. 19 is a partially enlarged view in which a part of the shading pattern shown in FIG. 18 is enlarged.
  • the three-dimensional measuring apparatus 100 projects the shading pattern shown in FIG.
  • the pattern projected on the surface of the workpiece is distorted according to the height of the workpiece.
  • the three-dimensional measuring apparatus 100 captures an image of a work on which a pattern is projected. If calibration is completed between the camera 3 and the projector 4, the code is uniquely determined on the epipolar line. Thereby, the three-dimensional measuring apparatus 100 measures the three-dimensional shape of the workpiece. According to this method, there are few erroneous correspondences, and three-dimensional reconstruction (corresponding position specification and triangulation) is possible at high speed.
  • FIG. 20 is a flowchart showing a flow of processing for calculating the inclination of the three-dimensional sensor 1 with respect to the reference plane. This process is executed by the three-dimensional measuring apparatus 100. Referring to FIGS. 17 and 20, in step S10, pattern generation unit 11 generates a projection pattern. The projector 4 projects the pattern onto the reference plane 50.
  • step S11 the camera 3 performs pattern imaging.
  • step S ⁇ b> 12 the three-dimensional shape acquisition unit 13 restores the three-dimensional shape from the image acquired by the camera 3 by searching for a corresponding code and triangulation. Thereby, distance information is acquired.
  • the positional relationship between the object surface and the reference point in the three-dimensional measuring apparatus 100 is determined by the processing in steps S13 to S17.
  • the inclination calculation unit 14 removes outliers in the height direction of three or more regions of the reference surface.
  • the inclination calculation unit 14 calculates an average value in the height direction of the reference region excluding outliers. Thereby, the inclination calculating part 14 calculates
  • the barycentric coordinates are XY coordinates.
  • step S16 the tilt calculation unit 14 obtains a normal vector of the reference plane. Further, the inclination calculation unit 14 projects the normal vector onto each of the XZ plane and the YZ plane. As a result, the inclination calculation unit 14 calculates the inclination of the normal vector in the XZ plane and the inclination of the normal vector in the YZ plane.
  • the inclination of the normal vector in the XZ plane is expressed as an angle ⁇ X.
  • the inclination of the normal vector in the YZ plane is expressed as an angle ⁇ Y.
  • step S17 the tilt calculation unit 14 calculates the difference between the specified values of the angles ⁇ X and ⁇ Y and the value calculated in step S16.
  • step S ⁇ b> 18 the tilt calculation unit 14 displays the designated values and calculated values of the angles ⁇ X and ⁇ Y on the display 60.
  • step S19 the inclination calculating unit 14 instructs the indicator 5 to light the LED corresponding to the difference.
  • the indicator 5 turns on the corresponding LED according to this instruction (see FIG. 16).
  • step S20 the inclination calculating unit 14 determines whether or not there is an end instruction. When there is an end instruction, the entire process ends. If there is no end instruction, the process returns to step S10.
  • the normal vector (perpendicular line) of the reference surface 50 is obtained in the present embodiment.
  • two methods capable of calculating the normal vector of the reference plane 50 will be exemplified.
  • the user designates an area in the image of the reference plane 50 (image 70 shown in FIG. 16).
  • an image of the reference plane 50 is simply referred to as “reference plane 50” below.
  • FIG. 21 is a schematic diagram for explaining the first calculation method of the normal vector of the reference plane.
  • first, three regions (P, Q, R) on the reference surface 50 are designated as reference regions.
  • the user designates at least three points on the reference plane 50 to the three-dimensional measurement apparatus 100 while looking at the screen of the display 60.
  • the reference area setting unit 16 of the three-dimensional measuring apparatus 100 sets each of the areas P, Q, and R by receiving user input.
  • the inclination calculating unit 14 calculates the average height Z of the regions P, Q, and R to calculate the average height Z. Further, the inclination calculation unit 14 calculates the barycentric coordinates of the regions P, Q, and R.
  • the inclination calculation unit 14 determines the vector PQ and the vector PR based on the average height Z and the barycentric coordinates.
  • the vector PQ is a vector from the region P toward the region Q.
  • the vector PR is a vector going from the region P to the region R.
  • the inclination calculation unit 14 calculates the outer product of the vector PQ and the vector PR.
  • the outer product of the vector PQ and the vector PR is a vector orthogonal to both the vector PQ and the vector PR.
  • the normal vector of the reference plane 50 is obtained by the outer product of the vector PQ and the vector PR.
  • three or more areas may be designated as the reference area.
  • normal vectors generated by a combination of any three of these regions are averaged.
  • the average vector can be set as a normal vector.
  • FIG. 22 is a schematic diagram for explaining a second calculation method of the normal vector of the reference plane.
  • n regions 51, 52, 53, 54,..., 5n on the reference surface 50 are set as reference regions.
  • n is an integer greater than or equal to 3, it is not specifically limited. These areas may be arbitrarily set by the user.
  • the reference area setting unit 16 of the three-dimensional measurement apparatus 100 may randomly select an area in the reference surface 50, and the reference area setting unit 16 may set the selected area as the reference area.
  • the inclination calculation unit 14 calculates the average height (Z coordinate) and barycentric coordinate (XY coordinate) of each of the n regions.
  • the coordinates (X, Y, Z) of each of the n points are obtained.
  • the inclination calculation unit 14 substitutes the coordinates (X, Y, Z) of the n point in the plane expression represented as ax + by + cz + d.
  • the slope calculation unit 14 calculates the coefficients a, b, c, and d by the least square method (multiple regression analysis). Coefficients (a, b, c) obtained by calculation represent normal vectors of the reference plane.
  • FIG. 23 is a schematic diagram for explaining a first calculation method of the rotation angle ⁇ Z around the Z-axis of the three-dimensional sensor 1.
  • a reference object 80 is provided on the reference surface 50 and in the field of view of the camera 3 of the three-dimensional sensor 1.
  • the reference object 80 is used for adjusting the angle ⁇ Z. If the camera of the three-dimensional sensor 1 can be acquired as a two-dimensional image, the reference object 80 is not particularly limited.
  • the reference object 80 is, for example, a work, a structure, or a texture (pattern).
  • the angle ⁇ Z is acquired by image processing of the shape measuring unit 10.
  • the shape measuring unit 10 extracts the edges 81 and 82 of the two opposing end faces of the reference object 80 from the image of the reference object 80 acquired by the three-dimensional sensor 1.
  • the shape measuring unit 10 applies a straight line to the extracted edges 81 and 82.
  • the shape measuring unit 10 obtains the linear coefficient (a, b, c).
  • FIG. 24 is a schematic diagram for explaining a second calculation method of the rotation angle ⁇ Z around the Z-axis of the three-dimensional sensor 1.
  • a reference object 80 for adjusting the angle ⁇ Z is provided on the reference plane 50 and in the field of view of the camera 3 of the three-dimensional sensor 1.
  • a recognition model 85 of the reference object 80 is used.
  • the shape measuring unit 10 obtains the position (coordinates (X, Y)) and inclination (angle ⁇ ) of the reference object 80 by image recognition. Specifically, the shape measuring unit 10 fits the recognition model 85 to the image of the reference object 80 acquired by the three-dimensional sensor 1.
  • the shape measuring unit 10 obtains the rotation angle ⁇ Z from the difference between the reference angle of the recognition model 85 and the angle of the recognition model 85 obtained by image recognition.
  • the indicator 5 can have various configurations.
  • FIG. 25 is a diagram illustrating a configuration example of the indicator 5 according to the present embodiment.
  • the plurality of LEDs (light emitting elements) of the indicator 5 are divided into four light emitting element groups. Each light emitting element group functions as an indicator.
  • an indicator 5A is disposed on the surface 2A (first surface) of the sensor housing 2 that intersects the X axis.
  • Indicators 5B and 5D are arranged on the surface 2B (second surface) of the sensor housing 2 that intersects the Y axis.
  • An indicator 5C is disposed on the surface 2C (third surface) of the sensor housing 2 that intersects the Z axis.
  • the indicator 5D may be disposed on the surface 2A (first surface) of the sensor housing 2.
  • the indicator 5A is an indicator for displaying the angle ⁇ X.
  • the indicator 5B is an indicator for displaying the angle ⁇ Y.
  • the indicator 5C is an indicator for displaying the angle ⁇ Z.
  • the indicator 5D is an indicator for displaying the height (distance in the Z-axis direction) of the three-dimensional sensor 1 with respect to the reference plane.
  • indicators are arranged on the surface of the sensor housing 2 corresponding to each of the X axis, the Y axis, and the Z axis.
  • the direction of the line of sight from the user to each light emitting element group can correspond to the direction of the axis. Therefore, the user can intuitively determine which of the angles ⁇ X, ⁇ Y, ⁇ Z and the height Z is deviated from the reference.
  • each of the indicators 5A, 5B, 5C, and 5D can include, for example, five LEDs.
  • the five LEDs can include one green LED, two yellow LEDs disposed on either side of the green LED, and two red LEDs disposed on the outside of each of the two yellow LEDs.
  • the green LED is lit when the difference between the measured value and the specified value is within the first range.
  • the yellow LED is lit when the difference between the measured value and the specified value is within a second range that is greater than the first range.
  • the red LED is lit when the difference between the measured value and the specified value exceeds the second range.
  • the indicators 5A, 5B, 5C, and 5D display to the user the degree of deviation from the reference of the angles ⁇ X, ⁇ Y, ⁇ Z, and the height Z, and the range of deviation. .
  • FIG. 26 is a diagram showing another configuration example of the indicator 5 according to the present embodiment.
  • the indicator 5 is arranged only on one surface of the sensor housing 2.
  • the user can list the degree of deviation of each of the angles ⁇ X, ⁇ Y, ⁇ Z and height Z from the reference. Therefore, the workability of the user when adjusting the arrangement of the three-dimensional sensor 1 can be improved.
  • the indicators 5A, 5B, 5C, 5D shown in FIG. 25 or the indicator 5 shown in FIG. 26 display the level of deviation by a plurality of LEDs (light emitting elements).
  • level meters may be used for these indicators.
  • FIG. 27 is a diagram showing still another configuration example of the indicator 5 according to the present embodiment.
  • the indicator 5 displays an arrow and a symbol “ ⁇ ”.
  • the arrow indicates the direction of displacement.
  • the symbol “ ⁇ ” indicates that the degree of deviation from the reference is within an allowable range (within an error range).
  • the user can grasp the degree of deviation from the reference in each direction of X, Y, and Z by simple display.
  • FIG. 28 is a diagram showing still another configuration example of the indicator 5 according to the present embodiment.
  • the indicator 5 is, for example, a liquid crystal display.
  • the indicator 5 displays the deviation of each of the angles ⁇ X, ⁇ Y, ⁇ Z and the height Z from the reference by numerical values.
  • the configuration of the indicator is not limited to the configuration exemplified above.
  • the indicator may indicate to the user the degree of deviation from the reference in each direction of X, Y, and Z by sound (pitch of sound, repetition interval, etc.).
  • the three-dimensional measuring apparatus 100 acquires the three-dimensional information (height and shape) of the object by the camera and the projector that projects a specific pattern.
  • the user can adjust the optical axis of the three-dimensional sensor 1 in real time so that the optical axis of the three-dimensional sensor 1 becomes a desired angle by referring to the display of the indicator.
  • the three-dimensional sensor 1 can be installed so that the optical axis of the three-dimensional sensor 1 is perpendicular to the reference plane. Therefore, the height and inclination of the workpiece to be measured can be accurately measured.
  • the conveyor or moving stage on which the workpiece is placed may have a specific inclined surface.
  • the three-dimensional sensor 1 can be arranged so that the three-dimensional sensor 1 faces the inclined surface (the optical axis of the three-dimensional sensor 1 is perpendicular to the inclined surface). Therefore, even when the workpiece is placed on an inclined surface, the height of the workpiece can be accurately measured.
  • the three-dimensional sensor 1 according to the present embodiment can be mounted on, for example, a robot hand. According to the present embodiment, the three-dimensional sensor 1 can be installed so as to face the reference plane or the workpiece while the three-dimensional sensor 1 is mounted on the robot hand.
  • a part of the workpiece may be out of the range of the field of view of the camera of the sensor.
  • a plurality of sensors may be arranged. According to the present embodiment, in such a case, the relative angle of the optical axis can be confirmed among a plurality of sensors.
  • the present embodiment includes the following disclosure.
  • a receiving unit (211) that receives designation of the position and orientation of the sensor (1, 1A, 1B, 1C) for arranging the sensor (1, 1A, 1B, 1C) in the virtual space (300) corresponding to the measurement target field )When, When the sensor (1, 1A, 1B, 1C) is arranged in the virtual space (300), based on the effective measurement range information of the sensor (1, 1A, 1B, 1C), the virtual space (300 ) A measurement range calculation unit (212) for calculating an effective measurement range (6, 6A, 6B, 6C) of the sensor (1, 1A, 1B, 1C) An information output unit (213) that outputs information on the position and orientation of the sensor (1, 1A, 1B, 1C) in the virtual space (300); When a plurality of the sensors (1A, 1B, 1C) are arranged in the virtual space (300), the measurement range calculation unit (212) is configured so that each of the plurality of sensors (1A, 1B, 1C) is effective.
  • the measurement range calculation unit (212) calculates a combined measurement range (7) formed by the effective measurement ranges (6, 6A, 6B, 6C) of the plurality of sensors (1A, 1B, 1C).
  • the said information output part (213) is a simulation apparatus (200) of the structure 1 which displays the said synthetic
  • the measurement range calculation unit (212) sets the overlapping range of the effective measurement ranges (6A, 6B, 6C) of the plurality of sensors (1A, 1B, 1C) as the combined measurement range (7).
  • the simulation device (200) according to Configuration 2, wherein the simulation device is calculated.
  • the measurement range calculation unit (212) calculates the composite measurement range (7) by adding at least two effective measurement ranges of the plurality of sensors (1A, 1B, 1C). Simulation apparatus (200).
  • the reception unit (211) receives CAD data representing an object (8) to be measured by the sensor in the measurement target field
  • the measurement range calculation unit (212) is configured to detect the object (8) by the sensor (1, 1A, 1B, 1C) when the sensor (1, 1A, 1B, 1C) measures the object (8).
  • the said information output part (213) is a simulation apparatus (200) of any one of the structures 1 to 4 which displays the said measurable range of the said sensor (1, 1A, 1B, 1C).
  • the reception unit (211) further receives data representing the structure (9) existing in the measurement target field together with the object (8)
  • the measurement range calculation unit (212) is configured to measure the range (6, 6A) of the sensor (1, 1A, 1B, 1C) based on the positional relationship between the structure (9) and the object (8). , 6B, 6C) and the simulation device (200) according to Configuration 5, wherein the measurable range (8, 8A, 8B, 8C) of the object is calculated.
  • the computer (200) designates the position and orientation of the sensor (1, 1A, 1B, 1C) for placing the sensor (1, 1A, 1B, 1C) in the virtual space (300) corresponding to the measurement target field. Accepting steps, Based on the effective measurement range information of the sensors (1, 1A, 1B, 1C) arranged in the virtual space (300), the computer (200) is configured to have the sensors (1, 1, 1A, 1B, 1C) to calculate an effective measurement range (6, 6A, 6B, 6C); The computer (200) comprising outputting the position and orientation information of the sensors (1, 1A, 1B, 1C) in the virtual space (300); The step of calculating the effective measurement range (6, 6A, 6B, 6C) When a plurality of the sensors (1A, 1B, 1C) are arranged in the virtual space (300), the effective measurement ranges (6, 6A, 6B, each of the plurality of sensors (1A, 1B, 1C)) 6C), The outputting step includes:
  • Quasi-straight line, 85 recognition model 100 3D measurement device, 200 simulation device, 201 CPU, 202 communication device, 203 memory, 204 input device, 205 display device, 206 internal bus, 211 angle setting unit, 212 measurement range calculation unit 213, measurement range display section, 300 virtual space, PQ, PR vector, S10 to S20 steps, W work.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

シミュレーション装置(200)は、計測対象フィールドに対応した仮想空間にセンサを配置するためのセンサの位置および姿勢の指定を受け付けるセンサ位置/角度設定部(211)と、センサが仮想空間に配置されると、センサが有する有効計測範囲情報に基づいて、仮想空間内におけるセンサの有効計測範囲を算出する計測範囲算出部(212)と、仮想空間におけるセンサの位置および姿勢の情報を出力する計測範囲表示部(213)とを備える。

Description

シミュレーション装置、シミュレーション方法およびプログラム
 本発明はシミュレーション装置、シミュレーション方法およびプログラムに関し、特に、センサの計測範囲をシミュレーションするための装置、方法およびプログラムに関する。
 プロジェクタとカメラとを備え、三角測量の原理を用いて対象物体に関する三次元情報を取得する装置が知られている。そのような三次元計測装置は、たとえば製品の組立のために部品をピックアップするロボットのアームに取り付けられる。
 ロボットピッキング用あるいは計測用の三次元計測装置の数が1台のみである場合、以下に示す課題がある。第1に、3Dデータ(点群)の密度不足により、計測精度が不足する可能性、あるいは対象物体の認識に失敗する可能性がある。第2に、カメラあるいはプロジェクタの影に起因して計測不能な領域が発生することにより、三次元データに欠損が生じる可能性がある。第3に、計測視野の範囲が不足する可能性がある。
 このような課題を解決するための技術が提案されている。たとえば特開2016-99257号公報(特許文献1)は、ロボットを動かして対象物体の計測位置を移動させることにより、ロボットのアームに取り付けられた三次元センサが複数の計測位置において対象物体を撮影することを開示する。たとえば特開2006-349586号公報(特許文献2)は、複数台の三次元センサにより対象物体を撮影することを開示する。複数台の三次元センサを用いる場合、三次元計測の精度を確保するために、ユーザは、計測対象物が含まれる範囲あるいは計測対象物が取り得る高さの範囲に基づいて、各カメラの位置関係を調整する必要がある。特開2006-349586号公報(特許文献2)は、各カメラが計測目的に応じた状態に設定されたことをユーザが確認することが可能な画像処理方法を開示する。
特開2016-99257号公報 特開2006-349586号公報
 特開2016-99257号公報に開示された情報処理装置は、カメラの画像から対象物体が遮蔽される隠れ領域を算出して、その隠れ領域に基づいて三次元センサを移動させる。遮蔽の少ない領域を探索するために、対象物体の位置あるいは姿勢の計測に時間を要する可能性がある。さらに、三次元センサを移動させたときの三次元センサの有効視野の変化を把握することができない。
 特開2006-349586号公報に開示された三次元計測装置は、各カメラからの画像ごとに、指定された高さ範囲にある点のうち、双方のカメラの視野に含まれる点が現れる範囲を抽出する。さらに、三次元計測装置は、抽出した範囲を計測可能範囲として、画像上に着色表示する。したがってユーザは、基準となるカメラの計測領域が、他のカメラの視野のうちのどの領域に対応しているかを把握することができる。しかし、この方法では、基本的に、カメラの視野方向の情報(すなわち対象物体の上方から下方を見た状態での情報)しか得ることができない。したがって、立体的な情報を得ることが難しい。
 本発明の目的は、センサの計測範囲を容易に把握できるシミュレーション装置、シミュレーション方法およびプログラムを提供することである。
 本開示の一例によれば、シミュレーション装置は、計測対象フィールドに対応した仮想空間にセンサを配置するためのセンサの位置および姿勢の指定を受け付ける受付部と、センサが仮想空間に配置されると、センサが有する有効計測範囲情報に基づいて、仮想空間内におけるセンサの有効計測範囲を算出する計測範囲算出部と、仮想空間におけるセンサの位置および前記姿勢の情報を出力する情報出力部とを備える。仮想空間に複数のセンサが配置される場合、計測範囲算出部は、複数のセンサの各々の有効計測範囲を算出する。情報出力部は、複数のセンサのいずれかの有効計測範囲を、他のセンサの有効計測範囲とは異なる態様で表示する。
 この開示によれば、たとえば個々のセンサの有効計測範囲を把握することができる。したがって、複数のセンサの有効計測範囲を容易に把握できる。
 上述の開示において、計測範囲算出部は、複数のセンサの各々の有効計測範囲によって形成される合成計測範囲を算出する。情報出力部は、合成計測範囲を表示する。
 この開示によれば、複数のセンサの有効計測範囲を合成することによって形成された合成計測範囲を容易に把握できる。なお「合成計測範囲」は、複数のセンサの有効計測範囲のうち共通する部分であってもよく、複数のセンサの有効計測範囲を足し合わせた範囲であってもよい。
 上述の開示において、計測範囲算出部は、複数のセンサのそれぞれの有効計測範囲のうちの互いに重なり合う範囲を合成計測範囲として算出する。
 この開示によれば、ユーザーは、複数のセンサの有効計測範囲のうち共通する部分によって形成された合成計測範囲を把握することができる。
 上述の開示において、計測範囲算出部は、複数のセンサのうち少なくとも2つの有効計測範囲を足し合わせて、合成計測範囲を算出する。
 この開示によれば、ユーザーは、複数のセンサの有効計測範囲を足し合わせることによって形成された合成計測範囲を把握することができる。なお、複数のセンサのすべての有効計測範囲を足し合わせる必要はなく、複数のセンサの中から選択された特定のセンサの有効計測範囲を足し合わせることにより合成計測範囲を算出してもよい。
 上述の開示において、受付部は、計測対象フィールドにおいてセンサが測定すべき物体を表現するCADデータを受け付ける。計測範囲算出部は、センサが物体を計測する際におけるセンサによる物体の計測可能範囲を算出する。情報出力部は、センサの計測可能範囲を表示する。
 この開示によれば、計測対象フィールドに物体(計測対象物)が配置された場合のセンサの計測可能な範囲を予め把握することができる。
 上述の開示において、受付部は、さらに、計測対象フィールドに物体とともに存在する構造物を表現するデータを受け付ける。計測範囲算出部は、構造物と物体との位置の関係に基づいて、センサの計測可能範囲を算出するとともに、物体の計測可能範囲を算出する。
 この開示によれば、計測対象フィールドに物体とともに構造物(たとえば物体を収容する容器)が配置された場合のセンサの計測可能な範囲を予め把握することができる。
 本開示の一例によれば、シミュレーション方法は、計測対象フィールドに対応した仮想空間にセンサを配置するためのセンサの位置および姿勢の指定をコンピュータが受け付けるステップと、コンピュータが、仮想空間に配置されたセンサが有する有効計測範囲情報に基づいて、仮想空間内におけるセンサの有効計測範囲を算出するステップと、コンピュータが、仮想空間におけるセンサの位置および姿勢の情報を出力するステップとを備える。有効計測範囲を算出するステップは、仮想空間に複数のセンサが配置される場合に、複数のセンサの各々の有効計測範囲を算出するステップを含む。出力するステップは、複数のセンサのいずれかの有効計測範囲を、他のセンサの前記有効計測範囲とは異なる態様で表示するステップを含む。
 この開示によれば、センサの計測範囲を容易に把握できる。
 本開示の一例によれば、プログラムは、コンピュータに、計測対象フィールドに対応した仮想空間にセンサを配置するためのセンサの位置および姿勢の指定を受け付けるステップと、仮想空間に配置されたセンサが有する有効計測範囲情報に基づいて、仮想空間内におけるセンサの有効計測範囲を算出するステップと、仮想空間におけるセンサの位置および姿勢の情報を出力するステップとを実行させる。有効計測範囲を算出するステップは、仮想空間に複数のセンサが配置される場合に、複数のセンサの各々の有効計測範囲を算出するステップを含む。出力するステップは、複数のセンサのいずれかの有効計測範囲を、他のセンサの前記有効計測範囲とは異なる態様で表示するステップを含む。
 本発明によれば、センサの計測範囲を容易に把握できる。
複数の三次元センサを備えた三次元計測装置の構成例を模式的に示す図である。 本実施の形態に係るシミュレーション装置のハードウェアの構成を説明する図である。 本実施の形態に係るシミュレーション装置の機能を説明するブロック図である。 三次元センサの有効計測範囲を説明する模式図である。 3つの三次元センサの有効計測範囲を説明する模式図である。 3つの三次元センサの配置の第1の例を説明する図である。 3つの三次元センサの配置の第2の例を説明する図である。 本実施の形態に係るシミュレーション装置による、センサの位置の設定を説明するための図である。 本実施の形態に係るシミュレーション装置による、三次元センサ1の計測領域のシミュレーションを説明するための図である。 本実施の形態に係るシミュレーション装置による計測範囲のシミュレーションの第1の例を説明する図である。 本実施の形態に係るシミュレーション装置による計測範囲のシミュレーションの第2の例を説明する図である。 本実施の形態に係るシミュレーション装置の第1の応用例を示した図である。 本実施の形態に係るシミュレーション装置の第2の応用例を示した図である。 本実施の形態に係るシミュレーション装置の第3の応用例を示した図である。 本実施の形態に係るシミュレーション装置の第4の応用例を示した図である。 本実施の形態に係る三次元センサの調整を説明した模式図である。 本実施の形態に係る三次元計測装置の機能ブロック図である。 一例に係る濃淡パタンの一部分を示した部分図である。 図18に示す濃淡パタンの一部分を拡大した部分拡大図である。 基準面に対する三次元センサの傾きを算出する処理のフローを示したフローチャートである。 基準面の法線ベクトルの第1の算出方法を説明するための模式図である。 基準面の法線ベクトルの第2の算出方法を説明するための模式図である。 三次元センサ1のZ軸周りの回転角度の第1の算出方法を説明するための模式図である。 三次元センサ1のZ軸周りの回転角度の第2の算出方法を説明するための模式図である。 本実施の形態に係るインジケータの1つの構成例を示した図である。 本実施の形態に係るインジケータの別の構成例を示した図である。 本実施の形態に係るインジケータのさらに別の構成例を示した図である。 本実施の形態に係るインジケータのさらに別の構成例を示した図である。
 本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
 <適用例>
 図1は、複数の三次元センサを備えた三次元計測装置の構成例を模式的に示す図である。図1に示すように、三次元計測装置100は、工業製品の生産ラインなどにおいて、ワークWを照明しながら撮影し、得られた撮影画像を用いてワークWの三次元形状を測定する。
 三次元計測装置100は、三次元センサ1A,1B,1Cと、形状測定部10とを備える。三次元センサ1A,1B,1Cは、互いに異なる方向からワークWを撮像する。これにより、複数の異なる視点からワークWを見たときのワークWの画像が得られる。形状測定部10は、三次元センサ1A,1B,1Cの各々から画像データを取得し、それらの画像データを重ね合わせることにより、三次元データ(点群)を取得する。形状測定部10は、その三次元データに基づいて、三次元計測あるいは三次元形状の認識を行う。
 図1に示した構成では、三次元計測装置100は、複数の三次元センサを備えることによって、複数の異なる視点からワークWの画像を得る。しかしながら、三次元計測装置100は、1台の三次元センサを備え、その三次元センサの位置および姿勢を変化させて、複数の画像データを取得してもよい。
 ワークWを撮像するに先立って、複数台の三次元センサの位置が調整される。本実施の形態によれば、三次元センサの計測範囲を算出することが可能なシミュレーション装置が提供される。シミュレーション装置は、仮想空間上で三次元センサの位置を変化させることができるとともに、その三次元センサの計測範囲を算出する。
 図2は、本実施の形態に係るシミュレーション装置200のハードウェアの構成を説明する図である。図2に示されるように、シミュレーション装置200は、コンピュータであって、CPU(Central Processing Unit)201と、通信装置202と、メモリ203と、入力装置204と、表示装置205と、内部バス206とを含む。
 メモリ203は、シミュレーション装置200におけるシミュレーション処理を実行するための各種プログラムを格納している。CPU201は、シミュレーション装置200の全体を制御する。CPU201は、さらに、メモリ203に格納されているプログラムを実行することにより各種の機能を実現する。このプログラムは、仮想空間内において三次元センサの位置および姿勢を変化させたときの三次元センサの計測範囲を算出するためのプログラムを含む。
 入力装置204は、ユーザの入力を受け付ける装置であり、たとえばキーボード、マウス等を含む。通信装置202は、図示しないケーブルあるいはネットワーク等を介して、外部と通信するための装置である。
 表示装置205は、シミュレーション装置200により実行されたシミュレーションの結果を含む各種の情報を表示する装置である。たとえば表示装置205は、液晶ディスプレイである。
 内部バス206は、各部と接続され、各部のデータの授受を実行する。
 図3は、本実施の形態に係るシミュレーション装置200の機能を説明するブロック図である。シミュレーション装置200は、CPU201がメモリ203に格納されているプログラムを実行することにより各種の機能ブロックを実現する。
 図3に示されるように、シミュレーション装置200は、センサ位置/角度設定部211と、計測範囲算出部212と、計測範囲表示部213とを含む。
 センサ位置/角度設定部211は、ユーザによって指定される三次元センサの位置および角度を受け付ける指定受付部である。詳細には、センサ位置/角度設定部211は、計測対象フィールドに対応した仮想空間に、三次元センサを仮想的に配置するための三次元センサの位置の指定を受け付ける。計測対象フィールドとは、三次元センサ1A,1B,1Cが配置される空間である(図1を参照)。
 計測範囲算出部212は、三次元センサが仮想空間に配置されると、三次元センサが有する有効計測範囲情報に基づいて、仮想空間内における三次元センサの有効計測範囲を算出する。
 計測範囲表示部213は、仮想空間における三次元センサの位置および姿勢の情報を出力する情報出力部である。
 仮想空間に複数の三次元センサが配置される場合、計測範囲算出部212は、複数の三次元センサの各々の有効計測範囲を算出する。さらに計測範囲算出部212は、複数の三次元センサの各々の有効計測範囲によって形成される合成計測範囲を算出する。
 計測範囲表示部213は、複数の三次元センサのいずれかの有効計測範囲を、他の三次元センサの有効計測範囲とは異なる態様で表示する。たとえば計測範囲表示部213は、複数の有効計測範囲を互いに異なる色によって表示する。さらに計測範囲表示部213は、合成計測範囲を表示する。すなわち、計測範囲表示部213は、三次元センサの計測範囲および計測範囲をユーザに表示するためのユーザインタフェースを提供する。
 以下に、本実施の形態に係るシミュレーション装置200による三次元センサの計測範囲の算出および表示を説明する。なお、三次元センサ1A,1B,1Cのうちのすべてについて同じ説明が成り立つ場合、三次元センサ1A,1B,1Cを「三次元センサ1」と総称する。
 <三次元センサの有効計測範囲>
 図4は、三次元センサの有効計測範囲を説明する模式図である。図4に示すように、三次元センサ1の有効計測範囲6は、立体的な範囲であり、6つのパラメータ(Hmin,Hmax,Wmin,Wmax,Dmin,Dmax)によって表現可能である。下記に説明する6つのパラメータは、三次元センサ1が有する有効計測範囲情報に相当する。
 Hmin,Hmaxは、三次元センサ1を基準とした、高さ方向のパラメータである。Hminは、有効計測範囲6の最小高さを表すパラメータであり、Hmaxは、有効計測範囲6の最大高さを表すパラメータである。
 Wmin,Wmaxは有効計測範囲6の幅方向のパラメータであり、Dmin,Dmaxは有効計測範囲6の奥行方向のパラメータである。なお、三次元センサ1からの高さがHminであるときに、有効計測範囲6の幅方向の大きさがWminであり、有効計測範囲6の奥行方向の大きさがDminである。三次元センサ1からの高さがHmaxであるときに、有効計測範囲6の幅方向の長さがWmaxであり、有効計測範囲6の奥行方向の大きさがDmaxである。
 シミュレーション装置200において、三次元センサ1の仮想空間内の位置および三次元センサ1の傾きが設定されることにより、これらのパラメータの値を決定することができる。
 図5は、3つの三次元センサの有効計測範囲を説明する模式図である。図5に示すように、三次元センサ1A,1B,1Cは、それぞれ有効計測範囲6A,6B,6Cを有する。三次元センサごとに有効計測範囲の大きさが異なっていてもよく、三次元センサ1A,1B,1Cの間で有効計測範囲の大きさが同じであってもよい。上記のように、各々の有効計測範囲は、各三次元センサの有効計測範囲情報に従って定められる。
 図6は、3つの三次元センサの配置の第1の例を説明する図である。図6に示すように、有効計測範囲6A,6B,6Cが互いに重なり合うように三次元センサ1A,1B,1Cの計測方向が設定される。3つの有効計測範囲が互いに重なり合う部分が合成計測範囲として選ばれる。3つの有効計測範囲が互いに重なり合う部分が大きいほど、その部分において三次元データ(点群)の密度を高くすることができる。したがって計測精度が不足する可能性、あるいは対象物体の認識が失敗する可能性を下げることができる。
 図7は、3つの三次元センサの配置の第2の例を説明する図である。図7に示すように、有効計測範囲6A,6Bの一部どうしが重なり合うとともに、有効計測範囲6A,6Cの一部どうしが重なり合うように、三次元センサ1A,1B,1Cの傾きが設定される。有効計測範囲6A,6B,6Cを足し合わせた範囲が合成計測範囲として選ばれる。計測可能な範囲が広がることにより、カメラあるいはプロジェクタの影に起因して計測不能な領域が発生するという可能性、あるいは計測視野の範囲が不足する可能性を低減することができる。
 <シミュレーション装置の動作>
 図8は、本実施の形態に係るシミュレーション装置200による、センサの位置の設定を説明するための図である。図8に示すように、センサ位置/角度設定部211は、ユーザからの入力(たとえばマウス操作による入力)を受け付ける。センサ位置/角度設定部211は、ユーザからの入力に従って、仮想空間300に三次元センサ1を配置するとともに、三次元センサ1の仮想空間300内での位置、および三次元センサ1の角度を設定する。計測範囲算出部212は、三次元センサ1の有効計測範囲6を算出する。
 計測範囲表示部213は、センサ位置/角度設定部211により設定された三次元センサ1の位置および角度に従って、仮想空間300上に配置された三次元センサ1を表示するとともに、三次元センサ1の有効計測範囲6を表示する。
 ユーザのマウス操作により、センサ位置/角度設定部211は、仮想空間300での三次元センサ1の位置を示す座標値、および三次元センサ1の傾きを示す角度を変更する。計測範囲算出部212は、三次元センサ1の有効計測範囲6を更新する。計測範囲表示部213は、仮想空間300のXZ面あるいはYZ面内で三次元センサ1の位置あるいは傾きが変化するように三次元センサ1を表示する。なお、X方向は、三次元センサ1の有効計測範囲6の幅方向に対応し、Y方向は有効計測範囲6の奥行方向に対応し、Z方向は、有効計測範囲6の高さ方向に対応する。
 図9は、本実施の形態に係るシミュレーション装置200による、三次元センサ1の計測領域のシミュレーションを説明するための図である。図9に示すように、3つの三次元センサ1A,1B,1Cが仮想空間300に配置される。計測範囲算出部212は、三次元センサ1A,1B,1Cのそれぞれの有効計測範囲6A,6B,6Cを算出する。
 計測範囲表示部213は、三次元センサ1A,1B,1Cの各々の位置および姿勢を表示する。計測範囲表示部213は、さらに、有効計測範囲6A,6B,6Cを表示する。たとえば有効計測範囲6A,6B,6Cは、互いに異なる色により表示される。
 計測範囲表示部213は、さらに、有効計測範囲6A,6B,6Cによって形成される、仮想空間300内の合成計測範囲を表示する。一実施形態では、計測範囲表示部213は、XZ面、YZ面およびXY面の各々に射影された有効計測範囲および合成計測範囲を表示する。
 図10は、本実施の形態に係るシミュレーション装置200による計測範囲のシミュレーションの第1の例を説明する図である。図10を参照して、計測範囲算出部212は、有効計測範囲6A,6B,6Cの各々の情報(パラメータHmin,Hmax,Wmin,Wmax,Dmin,Dmax)に基づいて、合成計測範囲7を算出する。合成計測範囲7は、有効計測範囲6A,6B,6Cの論理積(AND)を演算することによって算出される。すなわち合成計測範囲7は、有効計測範囲6A,6B,6Cがすべて重なり合う部分である。この例では、合成計測範囲7における点群密度は、三次元センサ1A,1B,1Cの各々の有効計測範囲における点群密度の3倍となる。
 計測範囲表示部213は、三次元センサ1A,1B,1Cのそれぞれの有効計測範囲6A,6B,6Cを表示するとともに合成計測範囲7を有効計測範囲6A,6B,6Cに重ねて表示する。合成計測範囲7は、有効計測範囲6A,6B,6Cのいずれの色とも異なる色で表示されてもよい。
 計測範囲表示部213は、さらに三次元センサ1A(図10では「センサA」と表記)に対する三次元センサ1B,1Cの相対位置を表示することができる。相対位置は、計測範囲算出部212によって算出される。具体的には、計測範囲表示部213は、三次元センサ1B,1C(図10では「センサB」、「センサC」とそれぞれ表記)のX座標、Y座標、Z座標、ヨー角、ピッチ角およびロール角を表示してもよい。たとえば三次元センサ1BのX座標、Y座標、Z座標、ヨー角、ピッチ角およびロール角は、(XB,YB,ZB,YawB,PichB,RollB)と表される。三次元センサ1CのX座標、Y座標、Z座標、ヨー角、ピッチ角およびロール角は、(XC,YC,ZC,YawC,PichC,RollC)と表される。
 図11は、本実施の形態に係るシミュレーション装置200による計測範囲のシミュレーションの第2の例を説明する図である。図11を参照して、合成計測範囲7は、有効計測範囲6A,6B,6Cの論理和(OR)を演算することによって形成される。この例では、有効計測範囲6A,6B,6Cのすべての論理和(OR)によって合成計測範囲7が算出される。しかし、有効計測範囲6A,6B,6Cのうち選択された2つの有効計測範囲の論理和によって合成計測範囲7が算出されてもよい。すべての三次元センサの有効計測範囲の論理和を生成すると限定されない。
 計測範囲表示部213は、三次元センサ1A,1B,1Cのそれぞれの有効計測範囲6A,6B,6Cを表示するとともに合成計測範囲7を有効計測範囲6A,6B,6Cに重ねて表示する。さらに、計測範囲表示部213は、さらに、三次元センサ1Aに対する三次元センサ1B,1Cの相対位置を表示することができる。
 <シミュレーション装置の応用例>
 図12は、本実施の形態に係るシミュレーション装置200の第1の応用例を示した図である。図12に示すように、シミュレーション装置200は、計測対象8のCADデータを取り込み、仮想空間300に三次元センサ1とともに計測対象8を配置することができる。シミュレーション装置200は、三次元センサ1の有効計測範囲6に基づいて、計測対象8における、センサ1の計測可能範囲8Aを算出するとともに、その計測可能範囲8Aを計測対象8に重ねて表示する。
 この場合、図2に示すセンサ位置/角度設定部211が計測対象8のCADデータを受け付けてもよい。計測範囲算出部212が、三次元センサ1が計測対象8を計測する際における三次元センサ1の計測可能範囲8Aを算出する。計測範囲表示部213は、三次元センサ1および三次元センサ1の有効計測範囲6を表示するとともに、計測対象8および計測可能範囲8Aを表示する。実際に計測対象8を三次元センサ1によって計測するに先立ち、シミュレーションによって、センサ1の計測可能範囲8Aに関する情報を得ることができる。
 図13は、本実施の形態に係るシミュレーション装置200の第2の応用例を示した図である。図13に示すように、仮想空間300に複数の三次元センサが配置されてもよい。シミュレーション装置200は三次元センサ1A,1B,1Cのそれぞれの有効計測範囲6A,6B,6Cに基づいて、計測可能範囲8A,8B,8Cを算出する。計測可能範囲8Aは、三次元センサ1Aにより計測可能な範囲であり、計測可能範囲8Bは、三次元センサ1Bにより計測可能な範囲であり、計測可能範囲8Cは、三次元センサ1Cにより計測可能な範囲である。三次元センサ1A,1B,1Cによって計測可能な計測対象8の範囲は、計測可能範囲8A,8B,8Cを足し合わせた範囲である。
 図13には示されていないが、複数個の計測対象が仮想空間300に配置されてもよい。この場合、シミュレーション装置200は、複数個の計測対象の各々のCADデータを取り込むとともに、そのCADデータの和集合を生成してもよい。CADデータの和集合に対して、図12あるいは図13に示した方法と同じ方法を用いることにより、シミュレーション装置200は、1または複数の三次元センサの計測可能範囲を算出することができる。
 図14は、本実施の形態に係るシミュレーション装置200の第3の応用例を示した図である。図15は、本実施の形態に係るシミュレーション装置200の第4の応用例を示した図である。図14および図15に示すように、第3および第4の応用例では、シミュレーション装置200は、コンテナ9に収められた計測対象8の計測範囲をシミュレーションする。第1および第2の応用例と同様に、シミュレーション装置200は、計測対象8およびコンテナ9の各々のCADデータを取り込み、仮想空間300において計測対象8およびコンテナ9を配置する。三次元センサ1A,1B,1Cのそれぞれの有効計測範囲6A,6B,6Cから、計測可能範囲8A,8B,8Cが算出される。
 計測対象8の計測範囲は、コンテナ9の深さに依存する。シミュレーション装置200(より特定的には、計測範囲算出部212)はコンテナ9の深さをパラメータとして計測可能範囲を算出することができる。
 図14には、コンテナ9が深い場合の計測対象8の計測範囲の例を示す。図15には、コンテナ9が浅い場合の計測対象8の計測範囲の例を示す。このように、本実施の形態に係るシミュレーション装置200は、構造物と計測対象との位置の関係に基づいて、1または複数の三次元センサの計測可能範囲を算出することができる。
 <三次元センサの調整の一例>
 本実施の形態に係るシミュレーション装置200によって、三次元センサの位置および傾きを、ワークの計測に適するように決定することができる。ユーザは、決定された位置および傾きに従って三次元センサの位置関係を調整することができる。
 本実施の形態では、複数の三次元センサの各々について、以下に説明する調整が適用される。したがって、以下では、1つの三次元センサの調整を代表的に説明する。
 図16は、本実施の形態に係る三次元センサ1の調整を説明した模式図である。図16に示すように、三次元センサ1は、カメラおよびプロジェクタを収容するセンサ筐体2と、インジケータ5とを備える。インジケータ5は、センサ筐体2の表面に露出するようにセンサ筐体2に設置される。
 三次元センサ1は、基準面50を撮影して画像を取得する。三次元センサ1により取得された画像は、形状測定部10に転送される。形状測定部10は、たとえば、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などのプロセッサと、RAM(Random Access Memory)等を含むコントローラによって実現可能である。ディスプレイ60は形状測定部10に接続されて、各種の情報を表示することによりユーザインタフェースを提供する。三次元計測装置100の設置時には、ディスプレイ60の画面に、基準面50の画像である画像70が表示される。
 たとえば設置者は、ディスプレイ60の画面上で、基準面50上の少なくとも3つの点を指定する。形状測定部10は、指定された各点を含む領域をディスプレイ60の画面上に設定する。たとえば、画像70内に、領域71,72,73が設定される。領域71,72,73は、基準面50上の領域51,52,53にそれぞれ対応した領域である。形状測定部10は、センサ筐体2から領域51,52,53の各々までの距離および、位置を測定して、基準面50に対するカメラ3(図2に示さず)の光軸の角度を算出する。
 図16において、X軸およびY軸は、基準面50上で互いに直交する軸である。角度θXは、基準面50上のX軸を中心とした基準面50を回転させるときにカメラ3(図2に示さず)の光軸がY軸に対してなす角度である。角度θYは、基準面50上のY軸を中心とした基準面50を回転させるときにカメラ3(図2に示さず)の光軸がX軸に対してなす角度である。
 形状測定部10は、算出された角度および設定角度をディスプレイ60の画面に表示する。さらに形状測定部10は、算出された角度と設定角度との差がインジケータ5によって示されるように、インジケータ5を制御する。
 一実施形態では、インジケータ5は、複数のLEDを含む。図16に示した例では、インジケータは10個のLEDを含む。シンボル「X」に対応づけられた5個のLEDは、角度θXについて、算出値と設定値との差分を示す。シンボル「Y」に対応づけられた5個のLEDは、角度θYについて、算出値と設定値との差分を示す。
 シンボル「X」に対応づけられた5個のLEDは、緑色LED21と、黄色LED22,23および赤色LED24,25である。たとえば角度θXについて、算出値と設定値との差分が±0.5°以下の場合、形状測定部10は、緑色LED21を点灯させる。角度θXについて、算出値と設定値との差分の絶対値が1°以内の場合、形状測定部10は、黄色LED22または黄色LED23を点灯させる。算出値と設定値との差分の絶対値が3°以上の場合、形状測定部10は、赤色LED24または赤色LED25を点灯させる。たとえば、(算出値)-(設定値)の符号が正である場合に黄色LED22または赤色LED24が点灯する。一方、(算出値)-(設定値)の符号が負である場合に黄色LED23または赤色LED25が点灯する。
 シンボル「Y」に対応づけられた5個のLEDは、緑色LED26と、黄色LED27,28および赤色LED29,30である。角度θYについての算出値と設定値との差分に基づいて、形状測定部10は、上記のLEDを制御する。ディスプレイ60に表示された例によれば、基準面50と三次元センサ1との間の距離(WD)は800であり、角度θXの設定値および角度θYの設定値がともに90°である。一方、角度θXの計測値は89°であり、角度θYの計測値は75°である。この場合には、たとえば黄色LED23および赤色LED30が点灯する。
 <三次元計測装置の構成例>
 図17は、本実施の形態に係る三次元計測装置の機能ブロック図である。図17に示すように、三次元センサ1は、カメラ3と、プロジェクタ4と、インジケータ5とを含む。形状測定部10は、パタン生成部11と、パタン検出部12と、三次元形状取得部13と、傾斜演算部14と、角度範囲指定部15と、基準領域設定部16とを含む。ディスプレイ60は、形状測定部10に接続され、各種の情報を表示する。
 パタン生成部11は、特定の濃淡パタンを生成する。たとえばこの濃淡パタンは、M系列、あるいはdeBruijn系列に従うものであってもよい。プロジェクタ4は、パタン生成部11により生成された濃淡パタンを投射する。カメラ3は、撮像視野内の画像を取得する。パタン検出部12は、カメラ3により取得された、その画像から、濃淡パタンを読み取る。
 三次元形状取得部13は、パタン生成部11に濃淡パタンを生成するよう指示する。さらに、三次元形状取得部13は、さらにパタン検出部12によって読み取られた濃淡パタンに基づいて、ワークの三次元形状に関する情報を取得する。
 カメラ3によるワークの撮影に先立って、カメラ3とプロジェクタ4とのキャリブレーションが実行される。さらに基準面50に対する三次元センサ1の傾きが計測される。三次元形状取得部13は、基準面50上に指定された複数の領域と三次元センサ1との間の距離の情報、および、その複数の領域の位置に関する情報を取得する。傾斜演算部14は、三次元形状取得部13によって取得された情報に基づいて、基準面50に対する三次元センサ1の傾きの角度を演算する。さらに、傾斜演算部14は、算出された三次元センサ1の傾斜角度に基づいてインジケータ5を制御する。
 角度範囲指定部15は、設定角度の範囲をユーザから受け付けて、その設定角度の範囲を傾斜演算部14に指定する。基準領域設定部16は、ユーザによる、基準面50上の複数の領域に関する入力を受け付ける。基準領域設定部16は、ユーザが指定した複数の領域を、基準面50の画像上に設定する。複数の領域は、高さを取得するための領域である。なお、指定される領域の数は3以上であってもよい。ディスプレイ60は、基準面の画像、すなわち濃淡画像を表示する(図16に示す画像70を参照)。
 図18は、一例に係る濃淡パタンの一部分を示した部分図である。図19は、図18に示す濃淡パタンの一部分を拡大した部分拡大図である。三次元計測装置100は、図18に示した濃淡パタンをワークに投影する。ワークの表面に投影されたパタンには、ワークの高さに応じた歪みが生じる。三次元計測装置100は、パタンが投影されたワークの画像を撮像する。カメラ3とプロジェクタ4との間でキャリブレーションが完了していれば、エピポーラ線上でコードが一意に決まる。これにより、三次元計測装置100は、ワークの三次元形状を計測する。この方法によれば、誤対応が少なく、かつ、高速に三次元再構成(対応位置特定と三角測量)が可能である。
 図20は、基準面に対する三次元センサ1の傾きを算出する処理のフローを示したフローチャートである。この処理は、三次元計測装置100によって実行される。図17および図20を参照して、ステップS10において、パタン生成部11が投影パタンを生成する。プロジェクタ4は、そのパタンを基準面50に投影する。
 ステップS11において、カメラ3は、パタン撮像を行う。ステップS12において、三次元形状取得部13は、カメラ3が取得した画像から、対応コードの探索および三角測量により、三次元形状を復元する。これにより距離情報が取得される。
 ステップS13~S17の処理により、被写体表面と三次元計測装置100における基準点との間の位置関係が決定される。ステップS13において、傾斜演算部14は、基準面の3か所以上の領域の高さ方向の外れ値を除去する。ステップS14において、傾斜演算部14は、外れ値を除いた基準領域の高さ方向の平均値を算出する。これにより傾斜演算部14は、基準領域の平均高さZを求める。さらに、ステップS14において、傾斜演算部14は、各基準領域の重心の座標を計算する。なお、重心座標はXY座標である。
 ステップS15において、傾斜演算部14は、ステップS14において算出された平均高さZおよび重心座標XYに基づいて、指定した領域に当てはまる平面を求める。後に詳細に説明するように、この平面は、たとえばax+by+cz+d=0の関係を満たすように定められる。
 ステップS16において、傾斜演算部14は、基準面の法線ベクトルを求める。さらに、傾斜演算部14は、その法線ベクトルをX-Z平面およびY-Z平面の各々に射影する。これにより、傾斜演算部14は、法線ベクトルのX-Z平面内の傾き、および法線ベクトルのY-Z平面内の傾きを算出する。なお、法線ベクトルのX-Z平面内の傾きは角度θXと表される。法線ベクトルのY-Z平面内の傾きは角度θYと表される。
 ステップS17において、傾斜演算部14は、角度θX,θYの各々の指定値と、ステップS16において算出された値との差分を計算する。ステップS18において、傾斜演算部14は、ディスプレイ60に、角度θX,θYの各々の指定値および算出値を表示する。
 ステップS19において、傾斜演算部14は、差分に対応するLEDを点灯するようインジケータ5に指示する。インジケータ5は、この指示に従い、対応のLEDを点灯させる(図16を参照)。
 ステップS20において、傾斜演算部14は、終了指示の有無を判定する。終了指示があった場合、全体の処理は終了する。終了指示が無い場合には、処理はステップS10に戻される。
 上述の通り、角度θX,θYを求めるために、本実施の形態では基準面50の法線ベクトル(垂線)が求められる。以下に、基準面50の法線ベクトルを算出することが可能な2つの方法を例示する。なお、法線ベクトルを算出する際、ユーザは基準面50の画像(図16に示す画像70)内の領域を指定する。説明を分かりやすくするために、以下では、基準面50の画像(図16に示す画像70)を、単に「基準面50」と表記する。
 図21は、基準面の法線ベクトルの第1の算出方法を説明するための模式図である。図21を参照して、まず、基準面50上の3つの領域(P,Q,R)が基準領域として指定される。ユーザがディスプレイ60の画面を見ながら、基準面50上の少なくとも3つの点を三次元計測装置100に対して指定する。三次元計測装置100の基準領域設定部16は、ユーザの入力を受け付けることにより、領域P,Q,Rの各々を設定する。
 次に、傾斜演算部14は、領域P,Q,Rの高さの平均値を計算して平均高さZを算出する。さらに、傾斜演算部14は、領域P,Q,Rの重心座標を計算する。
 続いて、傾斜演算部14は、平均高さZおよび重心座標に基づいて、ベクトルPQとベクトルPRを決定する。ベクトルPQは領域Pから領域Qへと向かうベクトルである。ベクトルPRは領域Pから領域Rへと向かうベクトルである。
 傾斜演算部14は、ベクトルPQとベクトルPRとの外積を計算する。ベクトルPQとベクトルPRとの外積は、ベクトルPQおよびベクトルPRの両方に直交するベクトルである。ベクトルPQとベクトルPRとの外積により、基準面50の法線ベクトルが求められる。
 上記の第1の方法において、3つ以上の領域を基準領域として指定してもよい。その場合には、それらの領域のうちの任意の3つの領域の組み合わせにより生成された法線ベクトルが平均される。その平均ベクトルを法線ベクトルに設定することができる。
 図22は、基準面の法線ベクトルの第2の算出方法を説明するための模式図である。図22を参照して、まず、基準面50上のn個の領域51,52,53,54,・・・,5nが基準領域として設定される。nは3以上の整数であるが、特に限定されない。これらの領域はユーザが任意に設定してもよい。あるいは、三次元計測装置100の基準領域設定部16が、基準面50内の領域をランダムに選択して、基準領域設定部16は、その選択した領域を基準領域に設定してもよい。
 次に、傾斜演算部14は、n個の領域の各々の平均高さ(Z座標)および重心座標(XY座標)を計算する。これによりn個の点の各々の座標(X,Y,Z)が求められる。傾斜演算部14は、ax+by+cz+dと表される平面の式に、上記n点の座標(X,Y,Z)を代入する。傾斜演算部14は、最小二乗法(重回帰分析)により、係数a,b,c,dを計算する。計算により求められた係数(a,b,c)が、基準面の法線ベクトルを表す。
 続いて三次元センサ1のZ軸周りの回転角度θZを求めることが可能な2通りの方法を例示する。
 図23は、三次元センサ1のZ軸周りの回転角度θZの第1の算出方法を説明するための模式図である。図23を参照して、基準面50上かつ、三次元センサ1のカメラ3の視野内に、基準対象物80を設ける。基準対象物80は、角度θZの調整に用いられる。三次元センサ1のカメラが2次元画像として取得可能であれば、基準対象物80は特に限定されない。基準対象物80は、たとえばワーク、構造物、あるいはテクスチャ(模様)である。
 次に、基準対象物80の回転傾きに基づいて、形状測定部10の画像処理により角度θZを取得する。第1の算出方法では、形状測定部10は、三次元センサ1が取得した基準対象物80の画像から、基準対象物80の対向する2つの端面のそれぞれのエッジ81,82を抽出する。形状測定部10は、その抽出されたエッジ81,82に直線のあてはめを行う。
 直線83は、エッジ81,82から求められた直線であり、ax+by+c=0と表すことができる。形状測定部10は、上記の直線の係数(a,b,c)を求める。形状測定部10は、基準面50上の基準直線84に対する直線83の傾き(=a/b)から角度θZを求める。
 図24は、三次元センサ1のZ軸周りの回転角度θZの第2の算出方法を説明するための模式図である。図10に示すように、基準面50上かつ、三次元センサ1のカメラ3の視野内に、角度θZの調整のための基準対象物80を設ける。第2の方法では、基準対象物80の認識用モデル85を用いる。形状測定部10は、基準対象物80の位置(座標(X,Y))と傾き(角度θ)とを画像認識によって求める。具体的には、形状測定部10は、三次元センサ1が取得した基準対象物80の画像に、認識用モデル85をフィットさせる。形状測定部10は、認識用モデル85の基準角度と、画像認識によって求められた認識用モデル85の角度との差から回転角θZを求める。
 本実施の形態において、インジケータ5は、種々の構成を有することができる。図25は、本実施の形態に係るインジケータ5の1つの構成例を示した図である。図25に示すように、インジケータ5の複数のLED(発光素子)は、4つの発光素子グループに分けられる。各発光素子グループがインジケータとして機能する。具体的には、X軸と交わるセンサ筐体2の表面2A(第1の面)にはインジケータ5Aが配置される。Y軸と交わるセンサ筐体2の表面2B(第2の面)にはインジケータ5B,5Dが配置される。Z軸と交わるセンサ筐体2の表面2C(第3の面)にはインジケータ5Cが配置される。なお、インジケータ5Dは、センサ筐体2の表面2A(第1の面)に配置されてもよい。
 インジケータ5Aは、角度θXを表示するためのインジケータである。インジケータ5Bは、角度θYを表示するためのインジケータである。インジケータ5Cは、角度θZを表示するためのインジケータである。インジケータ5Dは、基準面に対する三次元センサ1の高さ(Z軸方向の距離)を表示するためのインジケータである。
 図25に示した構成では、X軸、Y軸、Z軸の各々に対応するセンサ筐体2の表面にインジケータが配置される。ユーザから各発光素子グループへの視線の方向を、軸の方向に対応させることができる。したがってユーザは角度θX,θY,θZおよび高さZのいずれが基準からずれているかを直観的に判断することができる。
 図25に示した例と同様に、インジケータ5A,5B,5C,5Dの各々は、たとえば5つのLEDを含むことができる。5つのLEDは1つの緑色LEDと、緑色LEDの両側に配置された2つの黄色LEDと、2つの黄色LEDの各々の外側に配置された2つの赤色LEDとを含むことができる。緑色LEDは、計測値と指定値との差が第1の範囲内である場合に点灯する。黄色LEDは、計測値と指定値との差が第1の範囲より大きい第2の範囲内である場合に点灯する。赤色LEDは、計測値と指定値との差が第2の範囲を超える場合に点灯する。5つのLEDのいずれが点灯するかにより、インジケータ5A,5B,5C,5Dは、ユーザに、角度θX,θY,θZおよび高さZの基準からのずれの程度、および、ずれの範囲を表示する。
 図26は、本実施の形態に係るインジケータ5の別の構成例を示した図である。図25に示した構成と比較すると、図26に示した構成では、インジケータ5は、センサ筐体2の1つの面にのみ配置される。これにより、角度θX,θY,θZおよび高さZの各々の基準からのずれの程度をユーザが一覧できる。したがって、三次元センサ1の配置を調整する際のユーザの作業性を高めることができる。
 なお、図25に示したインジケータ5A,5B,5C,5Dあるいは図26に示したインジケータ5は、複数のLED(発光素子)により、ずれのレベルを表示する。しかし、これらのインジケータにレベルメータを用いてもよい。
 図27は、本実施の形態に係るインジケータ5のさらに別の構成例を示した図である。図27に示すように、インジケータ5は、矢印および記号「±」を表示する。矢印は、ずれの方向を示す。記号「±」は、基準に対するずれの程度が、許容される範囲内(誤差の範囲内)であることを示す。図27に示したインジケータ5によれば、簡単な表示により、X,Y,Zの各方向の基準からのずれの程度をユーザが把握することができる。
 図28は、本実施の形態に係るインジケータ5のさらに別の構成例を示した図である。図28に示すように、インジケータ5は、たとえば液晶表示器である。インジケータ5は、角度θX,θY,θZおよび高さZの各々の基準からのずれを数値により表示する。
 さらにインジケータの構成は、上記の例示された構成に限定されない。たとえばインジケータは、音響(音の高さ、繰り返しの間隔等)により、X,Y,Zの各方向の基準からのずれの程度をユーザに示してもよい。
 以上のように、三次元計測装置100は、カメラと特定のパタンを投射するプロジェクタによって、対象物の3次元情報(高さ、形状)を取得する。ユーザは、インジケータの表示を参照することにより、三次元センサ1の光軸が所望の角度となるように、三次元センサ1の光軸をリアルタイムで調整することができる。これにより、三次元センサ1の光軸が基準面に対して鉛直となるように三次元センサ1を設置できる。したがって、計測対象のワークの高さおよび傾きを正確に計測することができる。
 ワークが置かれるコンベアあるいは移動ステージは、特定の傾斜面を有する場合がある。本実施の形態によれば、三次元センサ1が、その傾斜面に正対する(三次元センサ1の光軸が傾斜面に垂直となる)ように三次元センサ1を配置することができる。したがって、ワークが傾斜面に置かれる場合であっても、そのワークの高さを正確に計測することができる。
 また、本実施の形態に係る三次元センサ1は、たとえばロボットハンドに搭載することができる。本実施の形態によれば、三次元センサ1をロボットハンドに搭載した状態で基準面あるいはワークに正対するように、三次元センサ1を設置することができる。
 また、1つのセンサによりワークの形状を計測する場合、ワークの一部がセンサのカメラの視野の範囲から外れる可能性がある。このような問題を避けるために、複数のセンサを配置する場合がある。本実施の形態によれば、このような場合に、複数のセンサの間で、光軸の相対角度を確認することができる。
 <付記>
 以上説明されるように、本実施の形態は、以下の開示を含む。
 (構成1)
 計測対象フィールドに対応した仮想空間(300)にセンサ(1,1A,1B,1C)を配置するための前記センサ(1,1A,1B,1C)の位置および姿勢の指定を受け付ける受付部(211)と、
 前記センサ(1,1A,1B,1C)が前記仮想空間(300)に配置されると、前記センサ(1,1A,1B,1C)が有する有効計測範囲情報に基づいて、前記仮想空間(300)内における前記センサ(1,1A,1B,1C)の有効計測範囲(6,6A,6B,6C)を算出する計測範囲算出部(212)と、
 前記仮想空間(300)における前記センサ(1,1A,1B,1C)の前記位置および前記姿勢の情報を出力する情報出力部(213)とを備え、
 前記仮想空間(300)に複数の前記センサ(1A,1B,1C)が配置される場合、前記計測範囲算出部(212)は、前記複数のセンサ(1A,1B,1C)の各々の前記有効計測範囲(6A,6B,6C)を算出し、
 前記情報出力部(213)は、前記複数のセンサ(1A,1B,1C)のいずれかの前記有効計測範囲を、他の前記センサの前記有効計測範囲とは異なる態様で表示する、シミュレーション装置(200)。
 (構成2)
 前記計測範囲算出部(212)は、前記複数のセンサ(1A,1B,1C)の各々の前記有効計測範囲(6,6A,6B,6C)によって形成される合成計測範囲(7)を算出し、
 前記情報出力部(213)は、前記合成計測範囲(7)を表示する、構成1に記載のシミュレーション装置(200)。
 (構成3)
 前記計測範囲算出部(212)は、前記複数のセンサ(1A,1B,1C)のそれぞれの前記有効計測範囲(6A,6B,6C)のうちの互いに重なり合う範囲を前記合成計測範囲(7)として算出する、構成2に記載のシミュレーション装置(200)。
 (構成4)
 前記計測範囲算出部(212)は、前記複数のセンサ(1A,1B,1C)のうち少なくとも2つの前記有効計測範囲を足し合わせて、前記合成計測範囲(7)を算出する、構成2に記載のシミュレーション装置(200)。
 (構成5)
 前記受付部(211)は、前記計測対象フィールドにおいて前記センサが測定すべき物体(8)を表現するCADデータを受け付け、
 前記計測範囲算出部(212)は、前記センサ(1,1A,1B,1C)が前記物体(8)を計測する際における前記センサ(1,1A,1B,1C)による前記物体(8)の計測可能範囲(8,8A,8B,8C)を算出し、
 前記情報出力部(213)は、前記センサ(1,1A,1B,1C)の前記計測可能範囲を表示する、構成1から構成4のいずれか1項に記載のシミュレーション装置(200)。
 (構成6)
 前記受付部(211)は、さらに、前記計測対象フィールドに前記物体(8)とともに存在する構造物(9)を表現するデータを受け付けて、
 前記計測範囲算出部(212)は、前記構造物(9)と前記物体(8)との位置の関係に基づいて、前記センサ(1,1A,1B,1C)の計測可能範囲(6,6A,6B,6C)を算出するとともに、前記物体の計測可能範囲(8,8A,8B,8C)を算出する、構成5に記載のシミュレーション装置(200)。
 (構成7)
 計測対象フィールドに対応した仮想空間(300)にセンサ(1,1A,1B,1C)を配置するための前記センサ(1,1A,1B,1C)の位置および姿勢の指定をコンピュータ(200)が受け付けるステップと、
 前記コンピュータ(200)が、前記仮想空間(300)に配置されたセンサ(1,1A,1B,1C)が有する有効計測範囲情報に基づいて、前記仮想空間(300)内における前記センサ(1,1A,1B,1C)の有効計測範囲(6,6A,6B,6C)を算出するステップと、
 前記コンピュータ(200)が、前記仮想空間(300)における前記センサ(1,1A,1B,1C)の前記位置および前記姿勢の情報を出力するステップとを備え、
 前記有効計測範囲(6,6A,6B,6C)を算出するステップは、
  前記仮想空間(300)に複数の前記センサ(1A,1B,1C)が配置される場合に、前記複数のセンサ(1A,1B,1C)の各々の前記有効計測範囲(6,6A,6B,6C)を算出するステップを含み、
 前記出力するステップは、
  前記複数のセンサ(1A,1B,1C)のいずれかの前記有効計測範囲(6,6A,6B,6C)を、他の前記センサの前記有効計測範囲(6,6A,6B,6C)とは異なる態様で表示するステップを含む、シミュレーション方法。
 (構成8)
 コンピュータ(200)に、
 計測対象フィールドに対応した仮想空間(300)にセンサ(1,1A,1B,1C)を配置するための前記センサ(1,1A,1B,1C)の位置および姿勢の指定を受け付けるステップと、
 前記仮想空間(300)に配置されたセンサ(1,1A,1B,1C)が有する有効計測範囲情報に基づいて、前記仮想空間(300)内における前記センサ(1,1A,1B,1C)の有効計測範囲(6,6A,6B,6C)を算出するステップと、
 前記仮想空間(300)における前記センサ(1,1A,1B,1C)の前記位置および前記姿勢の情報を出力するステップとを実行させ、
 前記有効計測範囲(6,6A,6B,6C)を算出するステップは、
  前記仮想空間(300)に複数の前記センサ(1A,1B,1C)が配置される場合に、前記複数のセンサ(1A,1B,1C)の各々の前記有効計測範囲(6,6A,6B,6C)を算出するステップを含み、
 前記出力するステップは、
  前記複数のセンサ(1A,1B,1C)のいずれかの前記有効計測範囲(6,6A,6B,6C)を、他の前記センサの前記有効計測範囲(6,6A,6B,6C)とは異なる態様で表示するステップを含む、プログラム。
 今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組み合わせても、実施することが意図される。
 1,1A,1B,1C 三次元センサ、2 センサ筐体、2A,2B,2C 表面、3 カメラ、4 プロジェクタ、5,5A,5B,5C,5D インジケータ、6,6A,6B,6C 有効計測範囲、7 合成計測範囲、8 計測対象、8A,8B,8C 計測可能範囲、9 コンテナ、10 形状測定部、11 パタン生成部、12 パタン検出部、13 三次元形状取得部、14 傾斜演算部、15 角度範囲指定部、16 基準領域設定部、21,26 緑色LED、22,23,27,28 黄色LED,24,25,29,30 赤色LED、50 基準面、51,52,53,54,71,72,73,P,Q,R 領域、60 ディスプレイ、70 画像、80 基準対象物、81,82 エッジ、83 直線、84 基準直線、85 認識用モデル、100 三次元計測装置、200 シミュレーション装置、201 CPU、202 通信装置、203 メモリ、204 入力装置、205 表示装置、206 内部バス、211 角度設定部、212 計測範囲算出部、213 計測範囲表示部、300 仮想空間、PQ,PR ベクトル、S10~S20 ステップ、W ワーク。

Claims (8)

  1.  計測対象フィールドに対応した仮想空間にセンサを配置するための前記センサの位置および姿勢の指定を受け付ける受付部と、
     前記センサが前記仮想空間に配置されると、前記センサが有する有効計測範囲情報に基づいて、前記仮想空間内における前記センサの有効計測範囲を算出する計測範囲算出部と、
     前記仮想空間における前記センサの前記位置および前記姿勢の情報を出力する情報出力部とを備え、
     前記仮想空間に複数の前記センサが配置される場合、前記計測範囲算出部は、前記複数のセンサの各々の前記有効計測範囲を算出し、
     前記情報出力部は、前記複数のセンサのいずれかの前記有効計測範囲を、他の前記センサの前記有効計測範囲とは異なる態様で表示する、シミュレーション装置。
  2.  前記計測範囲算出部は、前記複数のセンサの各々の前記有効計測範囲によって形成される合成計測範囲を算出し、
     前記情報出力部は、前記合成計測範囲を表示する、請求項1に記載のシミュレーション装置。
  3.  前記計測範囲算出部は、前記複数のセンサのそれぞれの前記有効計測範囲のうちの互いに重なり合う範囲を前記合成計測範囲として算出する、請求項2に記載のシミュレーション装置。
  4.  前記計測範囲算出部は、前記複数のセンサのうち少なくとも2つの前記有効計測範囲を足し合わせて、前記合成計測範囲を算出する、請求項2に記載のシミュレーション装置。
  5.  前記受付部は、前記計測対象フィールドにおいて前記センサが測定すべき物体を表現するCADデータを受け付け、
     前記計測範囲算出部は、前記センサが前記物体を計測する際における前記センサによる前記物体の計測可能範囲を算出し、
     前記情報出力部は、前記センサの前記計測可能範囲を表示する、請求項1から請求項4のいずれか1項に記載のシミュレーション装置。
  6.  前記受付部は、さらに、前記計測対象フィールドに前記物体とともに存在する構造物を表現するデータを受け付けて、
     前記計測範囲算出部は、前記構造物と前記物体との位置の関係に基づいて、前記センサの計測可能範囲を算出するとともに、前記物体の計測可能範囲を算出する、請求項5に記載のシミュレーション装置。
  7.  計測対象フィールドに対応した仮想空間にセンサを配置するための前記センサの位置および姿勢の指定をコンピュータが受け付けるステップと、
     前記コンピュータが、前記仮想空間に配置されたセンサが有する有効計測範囲情報に基づいて、前記仮想空間内における前記センサの有効計測範囲を算出するステップと、
     前記コンピュータが、前記仮想空間における前記センサの前記位置および前記姿勢の情報を出力するステップとを備え、
     前記有効計測範囲を算出するステップは、
      前記仮想空間に複数の前記センサが配置される場合に、前記複数のセンサの各々の前記有効計測範囲を算出するステップを含み、
     前記出力するステップは、
      前記複数のセンサのいずれかの前記有効計測範囲を、他の前記センサの前記有効計測範囲とは異なる態様で表示するステップを含む、シミュレーション方法。
  8.  コンピュータに、
     計測対象フィールドに対応した仮想空間にセンサを配置するための前記センサの位置および姿勢の指定を受け付けるステップと、
     前記仮想空間に配置されたセンサが有する有効計測範囲情報に基づいて、前記仮想空間内における前記センサの有効計測範囲を算出するステップと、
     前記仮想空間における前記センサの前記位置および前記姿勢の情報を出力するステップとを実行させ、
     前記有効計測範囲を算出するステップは、
      前記仮想空間に複数の前記センサが配置される場合に、前記複数のセンサの各々の前記有効計測範囲を算出するステップを含み、
     前記出力するステップは、
      前記複数のセンサのいずれかの前記有効計測範囲を、他の前記センサの前記有効計測範囲とは異なる態様で表示するステップを含む、プログラム。
PCT/JP2019/017723 2018-05-29 2019-04-25 シミュレーション装置、シミュレーション方法およびプログラム WO2019230285A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018102411A JP7099052B2 (ja) 2018-05-29 2018-05-29 シミュレーション装置、シミュレーション方法およびプログラム
JP2018-102411 2018-05-29

Publications (1)

Publication Number Publication Date
WO2019230285A1 true WO2019230285A1 (ja) 2019-12-05

Family

ID=68697292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/017723 WO2019230285A1 (ja) 2018-05-29 2019-04-25 シミュレーション装置、シミュレーション方法およびプログラム

Country Status (2)

Country Link
JP (1) JP7099052B2 (ja)
WO (1) WO2019230285A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022166647A (ja) * 2021-04-21 2022-11-02 パナソニックIpマネジメント株式会社 光学測定装置、実装基板の組立装置、および、実装基板の組立方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233971A (ja) * 2006-03-03 2007-09-13 Canon Inc 画像合成方法及び装置
JP2008309671A (ja) * 2007-06-15 2008-12-25 Ihi Corp 物体認識方法および装置
JP2013217873A (ja) * 2012-04-12 2013-10-24 Hitachi Information & Telecommunication Engineering Ltd シミュレータ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233971A (ja) * 2006-03-03 2007-09-13 Canon Inc 画像合成方法及び装置
JP2008309671A (ja) * 2007-06-15 2008-12-25 Ihi Corp 物体認識方法および装置
JP2013217873A (ja) * 2012-04-12 2013-10-24 Hitachi Information & Telecommunication Engineering Ltd シミュレータ

Also Published As

Publication number Publication date
JP7099052B2 (ja) 2022-07-12
JP2019207153A (ja) 2019-12-05

Similar Documents

Publication Publication Date Title
US9602811B2 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US20220366598A1 (en) Calibration system and method to align a 3d virtual scene and a 3d real world for a stereoscopic head-mounted display
US10088296B2 (en) Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
US6125197A (en) Method and apparatus for the processing of stereoscopic electronic images into three-dimensional computer models of real-life objects
US6377700B1 (en) Method and apparatus for capturing stereoscopic images using image sensors
KR101601331B1 (ko) 물체의 모양을 삼차원 측정하기 위한 시스템 및 방법
US9972120B2 (en) Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
CN109506589A (zh) 一种基于结构光场成像的三维轮廓测量方法
US6195455B1 (en) Imaging device orientation information through analysis of test images
CN104634276A (zh) 三维测量系统、拍摄设备和方法、深度计算方法和设备
US9182220B2 (en) Image photographing device and method for three-dimensional measurement
JP2013539147A5 (ja)
CN106595519A (zh) 一种基于激光mems投影的柔性三维轮廓测量方法及装置
US11446822B2 (en) Simulation device that simulates operation of robot
WO2016040271A1 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
Mahdy et al. Projector calibration using passive stereo and triangulation
CN106767526A (zh) 一种基于激光mems振镜投影的彩色多线激光三维测量方法
Hosseininaveh et al. A low-cost and portable system for 3D reconstruction of texture-less objects
CN112489109A (zh) 一种三维成像系统方法、装置及三维成像系统
JP4977436B2 (ja) 光源位置推定装置
WO2019230284A1 (ja) 三次元計測装置、三次元計測装置の位置表示方法およびプログラム
WO2019230285A1 (ja) シミュレーション装置、シミュレーション方法およびプログラム
Draréni et al. Geometric video projector auto-calibration
JP3696335B2 (ja) 複数枚の画像の各計測点の対応づけ方法
KR101438514B1 (ko) 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19811402

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19811402

Country of ref document: EP

Kind code of ref document: A1