WO2023243430A1 - 情報処理方法、情報処理装置、およびプログラム - Google Patents
情報処理方法、情報処理装置、およびプログラム Download PDFInfo
- Publication number
- WO2023243430A1 WO2023243430A1 PCT/JP2023/020592 JP2023020592W WO2023243430A1 WO 2023243430 A1 WO2023243430 A1 WO 2023243430A1 JP 2023020592 W JP2023020592 W JP 2023020592W WO 2023243430 A1 WO2023243430 A1 WO 2023243430A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- illumination
- target object
- imaging
- information processing
- light
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 37
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000005286 illumination Methods 0.000 claims abstract description 232
- 238000003384 imaging method Methods 0.000 claims abstract description 137
- 238000000034 method Methods 0.000 claims abstract description 114
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 95
- 230000007547 defect Effects 0.000 claims description 7
- 238000004040 coloring Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 11
- 230000003362 replicative effect Effects 0.000 abstract 3
- 230000010076 replication Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
Definitions
- the present disclosure relates to an information processing method, an information processing device, and a program, and particularly to an information processing method, an information processing device, and a program that can restore both the shape and color of a target object with high precision in photogrammetry. and regarding programs.
- photogrammetry has been used to analyze a group of images of a target object from various directions and create a three-dimensional computer graphic model (hereinafter referred to as a 3D model) of the target object.
- a 3D model three-dimensional computer graphic model
- photogrammetry can create a 3D model in which the shape and color of a target object are restored.
- Patent Document 1 proposes a three-dimensional shape measuring device that measures the three-dimensional shape of a predetermined part of a measurement target based on a plurality of images taken in different photographing directions of a photographing means or in different directions of illumination light. .
- the present disclosure has been made in view of this situation, and is intended to enable highly accurate restoration of both the shape and color of a target object in photogrammetry.
- An information processing method includes performing first imaging using the target object as a subject, which is irradiated with illumination light using a first illumination method suitable for restoring the shape of the target object; performing second imaging using the target object as a subject irradiated with illumination light using a second illumination method suitable for restoring the color of the image; and a first image obtained by a plurality of times of the first imaging. and performing 3D restoration processing for restoring the shape and color of the target object as a 3D model using the second image group obtained by the second image capturing a plurality of times.
- An information processing device includes a first illumination unit that irradiates illumination light using a first illumination method suitable for restoring the shape of a target object, and a second illumination unit that irradiates illumination light using a first illumination method suitable for restoring the color of the target object.
- a second illumination section that emits illumination light using an illumination method
- a second illumination unit that performs first imaging using the target object irradiated with illumination light using the first illumination method as a subject
- an imaging unit that performs second imaging using the target object irradiated with light as a subject
- a first image group obtained by a plurality of times of the first imaging
- a first image group obtained by the plurality of times of the second imaging
- a 3D restoration processing unit that performs 3D restoration processing to restore the shape and color of the target object as a 3D model using the obtained second image group.
- a program causes a computer of an information processing device to perform first imaging using the target object as a subject, which has been irradiated with illumination light using a first illumination method suitable for restoring the shape of the target object. and performing second imaging with the target object irradiated with illumination light using a second illumination method suitable for restoring the color of the target object as a subject; performing 3D restoration processing for restoring the shape and color of the target object using a 3D model using the first image group obtained by the first image capturing and the second image group obtained by the second image capturing a plurality of times; Execute information processing including
- first imaging is performed using as a subject a target object irradiated with illumination light using a first illumination method suitable for restoring the shape of the target object;
- Second imaging is performed using the target object irradiated with illumination light using the second illumination method, and the first image group obtained by the plurality of first imaging and the plurality of second imaging are captured.
- a 3D restoration process is performed to restore the shape and color of the target object using a 3D model using the second image group obtained by imaging.
- FIG. 1 is a block diagram showing a configuration example of an embodiment of a photogrammetry device to which the present technology is applied.
- FIG. It is a figure explaining the line pattern of the 1st illumination method. It is a figure showing an example of a dot pattern and a cross pattern.
- It is a flowchart explaining the 1st processing example of photogrammetry processing. It is a flowchart explaining 3D restoration processing. It is a flowchart explaining the 2nd processing example of photogrammetry processing.
- FIG. 3 is a block diagram showing a first modification of the photogrammetry device.
- FIG. 3 is a block diagram showing a second modification of the photogrammetry device. It is a block diagram which shows the 3rd modification of a photogrammetry apparatus.
- It is a block diagram showing a fourth modification of the photogrammetry device.
- 1 is a block diagram showing a configuration example of an embodiment of a computer to which the present technology is applied.
- FIG. 1 is a block diagram showing a configuration example of an embodiment of a photogrammetry apparatus to which the present technology is applied.
- the photogrammetry device 11 includes a first illumination section 21, a second illumination section 22, an imaging section 23, a first illumination drive section 24, a second illumination drive section 25, an imaging drive 26, a 3D restoration processing section 27, and a control section 28.
- the photogrammetry device 11 then performs photogrammetry processing on the target object for which a 3D model is to be created, and can restore the shape and color of the target object using computer graphics.
- the first illumination unit 21 irradiates the target object with illumination light using a first illumination method suitable for restoring the shape of the target object.
- illumination light in a pattern as described later with reference to FIGS. 2 and 3 is irradiated.
- by irradiating illumination light from a plurality of directions using the first illumination method it is possible to grasp the shape of the target object that cannot be covered by irradiation of illumination light from one direction.
- the first illumination method it is possible to irradiate the target object with illumination light in a plurality of different patterns or directions, and it is possible to irradiate the target object with illumination light in a plurality of different patterns or directions. After generating Sparse point clouds, you can merge them to generate Dense point clouds.
- the second illumination unit 22 irradiates the target object with illumination light using a second illumination method suitable for restoring the color of the target object.
- illumination light is irradiated onto the target object from the same direction as the imaging direction, or illumination light is irradiated onto the target object from a direction in which specularly reflected light from the target object does not enter the imaging unit 23.
- Ru For example, when the target object is irradiated with illumination light from the same direction as the imaging direction, it is possible to avoid creating a shadow on the surface of the target object within the range that the light source can reach. However, in this case, since the color is affected by the specularly reflected light, the specularly reflected light is The influence on color can be eliminated.
- illumination light is irradiated by light sources with different luminous intensities and wavelengths.
- the reflection characteristics on the surface of the target object can be estimated.
- the second illumination method it is possible to irradiate the target object with illumination light in multiple different directions, luminous intensities, or wavelengths, and by applying illumination light suitable for each area to be colored, a certain illumination Areas that cannot be covered by light can be supplemented with other illumination light.
- the imaging unit 23 performs multiple images of the target object irradiated with illumination light using the first illumination method and multiple times of the target object irradiated with the illumination light using the second illumination method. A group of images acquired by the imaging is supplied to the 3D restoration processing section 27.
- the first illumination drive unit 24 drives the first illumination unit 21 to emit illumination light under the control of the control unit 28.
- the second illumination drive unit 25 drives the second illumination unit 22 to emit illumination light under the control of the control unit 28 via the imaging drive unit 26.
- the imaging drive unit 26 drives the imaging unit 23 to image the target object. Further, the second illumination drive section 25 is controlled by the control section 28 via the imaging drive section 26 .
- the 3D restoration processing unit 27 receives a group of images supplied from the imaging unit 23, that is, a group of images of the target object irradiated with illumination light using the first illumination method, and a group of images of the target object irradiated with illumination light using the second illumination method. Using a group of images of the target object, 3D restoration processing is performed to create a colored 3D model of the target object. That is, the 3D restoration processing unit 27 creates a 3D model in which the shape of the target object is restored using a group of images of the target object irradiated with illumination light using the first illumination method, and performs processing on the 3D model. , coloring can be performed using a group of images of the target object irradiated with illumination light using the second illumination method.
- the 3D restoration processing unit 27 can provide feedback to complement the shape in the missing region.
- the 3D restoration processing unit 27 performs meshing after restoring the shape based on the point cloud, and the 3D restoration processing unit 27 performs meshing to restore the shape of the point group, and detects a point where the length of any one side of a face adjacent to a certain vertex is equal to or greater than a certain value, or a point that touches a certain vertex. It is possible to extract areas where it is impossible to create a closed surface and estimate that there is a missing area beyond that area.
- the 3D restoration processing unit 27 feeds back the imaging position and imaging direction that cover the surface formed by connecting the missing regions. At this time, if the estimated missing area overlaps with the imaged area, the 3D restoration processing unit 27 feeds back the first illumination method that is more suitable for the nature of the missing area.
- the 3D restoration processing unit 27 performs a process to complement the color in the shadow area. Can give feedback.
- the 3D restoration processing unit 27 can detect shadow areas using existing technology, and performs ray tracing using camera parameters and the position of light sources such as sunlight and lighting on the 3D model resulting from the restoration. The shadow area can be estimated by Then, the 3D restoration processing unit 27 determines whether the color of the detected shadow area can be restored using another image, and if the color cannot be restored, the 3D restoration processing unit 27 determines the imaging position for complementing the color of the shadow area. and estimates and feeds back the imaging direction.
- the control unit 28 controls the first illumination unit 21 , the second illumination unit 22 , the imaging unit 23 , and the 3D restoration processing unit 27 to execute photogrammetry processing in the photogrammetry device 11 . Further, when the photogrammetry device 11 is mounted on a mobile device that can move autonomously (for example, a so-called drone or a robot), the control unit 28 can control the movement mechanism of the mobile device. can.
- control unit 28 determines a list in which a plurality of imaging positions are selected for imaging the target object from various directions, and controls the movement mechanism of the movement device in which the photogrammetry device 11 is mounted. , moves the photogrammetry device 11 to the imaging position according to the list. Then, the control unit 28 sequentially controls the first illumination unit 21 to take an image of the target object irradiated with the illumination light in the first illumination method, and the second illumination unit 22 to take a second image at each imaging position. Control is performed such that imaging is performed while switching between imaging using the target object irradiated with illumination light using the illumination method as the subject. According to these controls, when a group of images acquired by the imaging unit 23 performing imaging at all imaging positions is supplied to the 3D restoration processing unit 27, the control unit 28 controls the 3D restoration processing to perform 3D restoration processing. Controls the restoration processing unit 27.
- the control unit 28 controls the movement mechanism of the mobile device in which the photogrammetry device 11 is mounted so that imaging is performed at the imaging position and imaging direction according to the feedback from the 3D restoration processing unit 27. Similar imaging can be performed repeatedly. Thereby, both the shape and color can be restored satisfactorily so that no defects occur in the 3D model of the target object.
- the photogrammetry device 11 configured as described above has the first illumination section 21, the second illumination section 22, and the imaging section 23 integrated, and the first illumination section 21 and the second illumination section 23 are integrated.
- the section 22 and the imaging section 23 can be driven independently.
- the first illumination section 21 emits illumination light from a direction different from the imaging direction of the imaging section 23, and the second illumination section 22 emits illumination light from the same direction as the imaging direction of the imaging section 23.
- Illumination light can be emitted from any direction.
- a 3D model in which the shape of the target object has been restored is created using a group of images of the target object illuminated with illumination light using the first illumination method, and the 3D model is then created using the second illumination method.
- the 3D model shape and color of the target object can be restored with high precision.
- the photogrammetry device 11 separates the image captured under the first illumination method and the image captured under the second illumination method, respectively. Since they correspond at the pixel level, colors can be directly superimposed on a 3D model in which the shape of the target object has been restored. Therefore, the photogrammetry device 11 can restore the shape and color all at once using one set of images, and can easily create a colored 3D model without expanding the photogrammetry process. can.
- the photogrammetry device 11 when the target object is moving, the photogrammetry device 11 generates an image captured under the second illumination method so as to correspond to each pixel of the image captured under the first illumination method.
- a first illumination method suitable for restoring the shape of a target object will be described with reference to FIG. 2.
- FIG. 2A shows an example of a line pattern of irradiation light that is irradiated onto a target object using the first illumination method.
- FIG. 2B shows an example of a state in which a rectangular parallelepiped target object is irradiated with a line pattern of irradiation light.
- line-shaped lights are arranged at equal intervals.
- the line pattern is deformed in accordance with the shape of the target object, so that the shape of the target object can be easily grasped.
- irradiation light other than the line pattern shown in A of FIG. 2 can be used.
- a dot-pattern irradiation light in which multiple dot-shaped lights are arranged at equal intervals as shown in A in FIG. Patterned irradiation light or the like may also be used.
- a pattern of random dots can be used as the first illumination method suitable for restoring the shape of the target object.
- each light point For example, the distance of each light point (depth ), only the shape of the target object can be restored.
- depth the distance of each light point (depth )
- each light spot of the random dot pattern light has a different pattern or wavelength, it is possible to identify each light spot, and it is possible to identify each light spot based on the light spot in an image taken from multiple directions. It becomes possible to perform position alignment.
- the feature amounts extracted by the first illumination method will be explained.
- a feature value tends to appear in a captured image at a location where the color change is large compared to neighboring pixels.
- the outer periphery of the shadow that appears on the surface of the target object due to the light source tends to appear as a new feature, and the shadow may appear in imaging using other lighting methods or without lighting. It is possible to illuminate the hidden parts and make the features appear.
- patterned light is irradiated, features tend to appear evenly on the surface of the target object within the range where the patterned light is irradiated, and gentle unevenness also tends to be reflected in the distribution of the features.
- FIG. 4 is a flowchart illustrating a first processing example of photogrammetry processing.
- step S11 the control unit 28 determines a list in which a plurality of imaging positions are selected for imaging the target object from various directions.
- step S12 the control unit 28 controls a moving mechanism (not shown) to move the photogrammetry device 11 to the imaging position according to the list determined in step S11.
- a moving mechanism not shown
- step S13 the control unit 28 controls the first lighting drive unit 24 to turn on the first lighting unit 21.
- the first illumination drive unit 24 drives the first illumination unit 21, and irradiation of the target object with illumination light using the first illumination method is started.
- step S14 the control unit 28 controls the imaging drive unit 26 so that the imaging unit 23 performs imaging.
- the imaging drive unit 26 drives the imaging unit 23, and the target object irradiated with illumination light is imaged using the first illumination method suitable for restoring the shape of the target object.
- step S15 the control unit 28 controls the first illumination drive unit 24 to turn off the first illumination unit 21, and irradiation of the target object with illumination light by the first illumination method is stopped.
- step S16 the control unit 28 controls the second lighting drive unit 25 to turn on the second lighting unit 22.
- the second illumination driving section 25 drives the second illumination section 22, and irradiation of the target object with illumination light by the second illumination method is started.
- step S17 the control unit 28 controls the imaging drive unit 26 so that the imaging unit 23 performs imaging.
- the imaging drive unit 26 drives the imaging unit 23, and the target object irradiated with illumination light is imaged using the second illumination method suitable for restoring the color of the target object.
- step S18 the control unit 28 controls the second illumination drive unit 25 to turn off the second illumination unit 22, and irradiation of the target object with illumination light by the second illumination method is stopped.
- step S19 the control unit 28 determines whether imaging has been performed at all imaging positions in the list determined in step S11.
- step S19 if the control unit 28 determines that imaging is not being performed at all imaging positions, the process proceeds to step S20.
- step S20 the control unit 28 controls a moving mechanism (not shown) to move the photogrammetry device 11 to an imaging position where imaging has not yet been performed, according to the list determined in step S11.
- a moving mechanism not shown
- step S19 determines in step S19 that imaging has been performed at all imaging positions.
- step S21 the image group obtained by the imaging in step S14 at all imaging positions and the image group obtained in the imaging in step S17 at all imaging positions are supplied to the 3D restoration processing unit 27 and subjected to 3D restoration processing. (Fig. 5) is performed. Then, the 3D restoration processing unit 27 outputs the 3D model of the target object created as a result of the 3D restoration processing.
- step S31 the 3D restoration processing unit 27 determines, based on the group of images taken with the target object as the subject under the first illumination method in step S14 of FIG. Extract features.
- step S32 the 3D restoration processing unit 27 performs matching between the respective images regarding the feature amount of the target object extracted in step S31.
- step S33 the 3D restoration processing unit 27 performs restoration of a sparse point group that creates the three-dimensional shape of the target object using a small number of points.
- step S34 the 3D restoration processing unit 27 corrects the distortion of the image based on the sparse point group of the target object restored in step S33.
- step S35 the 3D restoration processing unit 27 applies the image distortion in step S34 and performs dense point cloud restoration that creates the three-dimensional shape of the target object using a large number of point groups. Create a 3D model that represents the shape.
- step S36 the 3D restoration processing unit 27 uses the point group for the 3D model created in step S35 based on the image group captured with the target object as the subject under the second illumination method in step S17 of FIG. Color.
- the photogrammetry device 11 can restore both the shape and color of the 3D model of the target object with high precision.
- FIG. 6 is a flowchart illustrating a second processing example of photogrammetry processing.
- steps S41 to S51 the same processes as steps S11 to S21 in FIG. Determine.
- step S52 if the 3D restoration processing unit 27 determines that there is a defect in the 3D model, the process proceeds to step S53.
- step S53 the 3D restoration processing unit 27 determines the imaging position and imaging direction that cover the surface formed by connecting the missing regions, and the imaging position and imaging direction that complements the color of the shadow region, as described above. Feedback on direction etc. After that, the process returns to step S42, and the same process is repeated in accordance with the feedback from step S53.
- step S52 determines in step S52 that there is no defect in the 3D model
- FIG. 7 is a block diagram showing a first modification of the photogrammetry device 11.
- the photogrammetry device 11A includes a first illumination section 21, a second illumination section 22, an imaging section 23, a first illumination drive section 24, a second illumination drive section 25, an imaging drive It is configured to include a section 26A, a 3D restoration processing section 27, and a control section 28.
- the photogrammetry apparatus 11 in FIG. 1 is configured such that the control section 28 controls the second illumination drive section 25 via the imaging drive section 26.
- the control unit 28 directly controls the second illumination drive unit 25, and the imaging drive unit 26A is configured to only drive the imaging unit 23.
- the photogrammetry apparatus 11A has a configuration in which the first illumination drive section 24, the second illumination drive section 25, and the imaging drive section 26A are independent.
- the photogrammetry device 11A includes the first illumination section 21, the second illumination section 22, and the imaging section 23, which are integrated. Each of the sections 23 can be driven completely independently. For example, in the photogrammetry device 11, both the first illumination section 21 and the second illumination section 22 can emit illumination light from a direction different from the imaging direction of the imaging section 23, and the second illumination section 22 can emit illumination light from a direction in which specularly reflected light from the target object does not enter the imaging unit 23 .
- FIG. 8 is a block diagram showing a second modification of the photogrammetry device 11.
- the photogrammetry device 11B includes a first illumination section 21, a second illumination section 22, an imaging section 23, a first illumination drive section 24, a second illumination drive section 25, an imaging drive It is configured to include a section 26, a control section 28, and a communication section 29.
- the communication unit 29 can communicate via the network 12 and communicates with the 3D restoration processing unit 27 provided on the cloud of the network 12.
- the photogrammetry device 11B captures a group of images captured with the target object as the subject under the first illumination method, and a group of images captured with the target object as the subject under the second illumination method. It can be transmitted to the 3D restoration processing section 27 by the communication section 29 . Then, when the 3D restoration processing unit 27 creates a 3D model of the target object, the photogrammetry device 11B can receive the 3D model of the target object through the communication unit 29.
- the photogrammetry device 11B can realize photogrammetry processing in which a 3D model of the target object is created on the cloud using a system including the 3D restoration processing unit 27 connected to the network 12.
- FIG. 9 is a block diagram showing a third modification of the photogrammetry device 11.
- the photogrammetry device 11C includes a second illumination section 22, an imaging section 23, a second illumination drive section 25, an imaging drive section 26, a 3D restoration processing section 27, a control section 28, and a communication section 23. 29.
- the illumination device 13 connected via the communication section 29 of the photogrammetry device 11C includes a first illumination section 21, a first illumination drive section 24, a communication section 31, and a control section 32. Ru.
- the communication unit 31 communicates with the communication unit 29 of the photogrammetry device 11C, and the control unit 32 controls the first illumination drive unit 24 under the control unit 28 of the photogrammetry device 11C.
- the first lighting section 21 is driven.
- the photogrammetry device 11C can realize photogrammetry processing by arranging the illumination device 13 at a position independent of the photogrammetry device 11C by using a system including the illumination device 13 connected by communication. can.
- FIG. 10 is a block diagram showing a fourth modification of the photogrammetry device 11.
- the photogrammetry device 11D includes an imaging section 23, an imaging drive section 26, a 3D restoration processing section 27, a control section 28, and a communication section 29.
- the lighting device 13 is configured to include a first lighting section 21, a first lighting drive section 24, a communication section 31, and a control section 32, as in FIG.
- the illumination device 14 connected via the communication section 29 of the photogrammetry device 11D includes a second illumination section 22, a second illumination drive section 25, a communication section 41, and a control section 42. Ru.
- the communication unit 41 communicates with the communication unit 29 of the photogrammetry device 11D, and the control unit 42 controls the second illumination drive unit 25 under the control unit 28 of the photogrammetry device 11C.
- the second lighting section 22 is driven.
- the photogrammetry device 11D is equipped with a system including the lighting device 13 and the second lighting section 22 connected by communication, so that the lighting device 13 and the second lighting section 22 are located at a position independent of the photogrammetry device 11D. can be arranged to realize photogrammetry processing.
- the photogrammetry device 11 may have a configuration in which the first illumination section 21 and the second illumination section 22 are integrated, as long as one illumination section can irradiate illumination light using different illumination methods. .
- FIG. 11 is a block diagram showing a configuration example of an embodiment of a computer in which a program that executes the series of processes described above is installed.
- the program can be recorded in advance on the hard disk 105 or ROM 103 as a recording medium built into the computer.
- the program can be stored (recorded) in a removable recording medium 111 driven by the drive 109.
- a removable recording medium 111 can be provided as so-called package software.
- examples of the removable recording medium 111 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, and a semiconductor memory.
- the program can also be downloaded to the computer via a communication network or broadcasting network and installed on the built-in hard disk 105.
- a program can be transferred wirelessly from a download site to a computer via an artificial satellite for digital satellite broadcasting, or transferred to a computer by wire via a network such as a LAN (Local Area Network) or the Internet. be able to.
- the computer has a built-in CPU (Central Processing Unit) 102, and an input/output interface 110 is connected to the CPU 102 via a bus 101.
- CPU Central Processing Unit
- the CPU 102 executes a program stored in a ROM (Read Only Memory) 103 in accordance with the command. .
- the CPU 102 loads the program stored in the hard disk 105 into the RAM (Random Access Memory) 104 and executes the program.
- the CPU 102 performs processing according to the above-described flowchart or processing performed according to the configuration of the above-described block diagram. Then, the CPU 102 outputs the processing result from the output unit 106 or transmits it from the communication unit 108 via the input/output interface 110, or records it on the hard disk 105, as necessary.
- the input unit 107 includes a keyboard, a mouse, a microphone, and the like.
- the output unit 106 includes an LCD (Liquid Crystal Display), a speaker, and the like.
- the processing that a computer performs according to a program does not necessarily have to be performed chronologically in the order described as a flowchart. That is, the processing that a computer performs according to a program includes processing that is performed in parallel or individually (for example, parallel processing or processing using objects).
- program may be processed by one computer (processor) or may be processed in a distributed manner by multiple computers. Furthermore, the program may be transferred to a remote computer and executed.
- a system refers to a collection of multiple components (devices, modules (components), etc.), regardless of whether all the components are located in the same casing. Therefore, multiple devices housed in separate casings and connected via a network, and a single device with multiple modules housed in one casing are both systems. .
- the configuration described as one device (or processing section) may be divided and configured as a plurality of devices (or processing sections).
- the configurations described above as a plurality of devices (or processing units) may be configured as one device (or processing unit).
- part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) as long as the configuration and operation of the entire system are substantially the same. .
- the present technology can take a cloud computing configuration in which one function is shared and jointly processed by multiple devices via a network.
- the above-mentioned program can be executed on any device. In that case, it is only necessary that the device has the necessary functions (functional blocks, etc.) and can obtain the necessary information.
- each step described in the above flowchart can be executed by one device or can be shared and executed by multiple devices.
- the multiple processes included in that one step can be executed by one device or can be shared and executed by multiple devices.
- multiple processes included in one step can be executed as multiple steps.
- processes described as multiple steps can also be executed together as one step.
- the processing of the steps described in the program may be executed in chronological order according to the order described in this specification, in parallel, or in a manner in which calls are made. It may also be configured to be executed individually at necessary timings such as at certain times. In other words, the processing of each step may be executed in a different order from the order described above, unless a contradiction occurs. Furthermore, the processing of the step of writing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
- the present technology can also have the following configuration. (1) Performing first imaging using as a subject the target object irradiated with illumination light using a first illumination method suitable for restoring the shape of the target object; performing second imaging with the target object irradiated with illumination light using a second illumination method suitable for restoring the color of the target object as a subject; The shape and color of the target object are determined in 3D using a first image group obtained by the first image capturing a plurality of times and a second image group obtained by the second image capturing a plurality of times.
- An information processing method comprising: performing 3D restoration processing for restoration using a model.
- the first illumination method uses patterned light in which predetermined patterns are arranged at equal intervals.
- the pattern light and normal illumination light are used in combination.
- the first illumination method uses patterned light of random dots.
- the target object is irradiated with illumination light from the same direction as the imaging direction of the imaging unit that performs the second imaging. Information processing method.
- the target object is irradiated with illumination light from a direction in which specularly reflected light from the target object does not enter an imaging unit that performs the second imaging.
- the information processing method described in any of the above. (7) The information processing method according to any one of (1) to (6) above, wherein in the second illumination method, the target object is irradiated with illumination light by light sources with different luminous intensities and wavelengths. (8) In the 3D restoration process, coloring of the target object is performed using the second image group on the 3D model made of the shape of the target object created using the first image group. The information processing method according to any one of (1) to (7). (9) If it is determined that there is a defect in the 3D model created in the 3D restoration process, the imaging position and direction that cover the surface formed by connecting the missing areas or the color of the shadow area are complemented.
- the information processing method wherein the first imaging position and the imaging direction are fed back and the first imaging and the second imaging are repeatedly performed.
- a first illumination unit that irradiates illumination light using a first illumination method suitable for restoring the shape of the target object; a second illumination unit that emits illumination light using a second illumination method suitable for restoring the color of the target object; an imaging unit that performs second imaging using the target object irradiated with illumination light by the second illumination method as a subject;
- the shape and color of the target object are determined in 3D using a first image group obtained by the first image capturing a plurality of times and a second image group obtained by the second image capturing a plurality of times.
- An information processing device comprising: a 3D restoration processing unit that performs 3D restoration processing using a model.
- the shape and color of the target object are determined in 3D using a first image group obtained by the first image capturing a plurality of times and a second image group obtained by the second image capturing a plurality of times.
- a program for executing information processing including performing 3D restoration processing for restoration using a model.
- Photogrammetry device 12 Network, 13 and 14 Illumination device, 21 First illumination section, 22 Second illumination section, 23 Imaging section, 24 First illumination drive section, 25 Second illumination drive section, 26 Imaging drive unit, 27 3D restoration processing unit, 28 control unit, 29 communication unit, 31 communication unit, 32 control unit, 41 communication unit, 42 control unit
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本開示は、フォトグラメトリにおいて対象物体の形状および色の両方を高精度に復元することができるようにする情報処理方法、情報処理装置、およびプログラムに関する。 対象物体の形状の復元に適した第１の照明方法で照明光が照射された対象物体を被写体として第１の撮像を行い、対象物体の色の復元に適した第２の照明方法で照明光が照射された対象物体を被写体として第２の撮像を行う。そして、複数回の第１の撮像で得られた第１の画像群、および、複数回の第２の撮像で得られた第２の画像群を用いて、対象物体の形状および色を３Ｄモデルで復元する３Ｄ復元処理を行う。本技術は、例えば、フォトグラメトリ処理に適用できる。
Description
本開示は、情報処理方法、情報処理装置、およびプログラムに関し、特に、フォトグラメトリにおいて対象物体の形状および色の両方を高精度に復元することができるようにした情報処理方法、情報処理装置、およびプログラムに関する。
従来、様々な方向から対象物体を撮像した画像群を解析し、対象物体の立体的なコンピュータグラフィックモデル（以下、３Ｄモデルと称する）を作成するフォトグラメトリという手法が用いられている。例えば、フォトグラメトリでは、対象物体の形状および色が復元された３Ｄモデルを作成することができる。
例えば、特許文献１では、撮影手段の撮影方向または照明光の照射方向の異なる複数の画像に基づいて、計測対象の所定の部位の三次元形状を計測する三次元形状計測装置が提案されている。
しかしながら、従来、対象物体の表面に生じる影は、表面の模様とともに対象物体の形状を復元する際の特徴量となる一方で、対象物体の色を正確に復元するための妨げとなっていた。そのため、対象物体の表面に生じる影によって、対象物体の形状および色の両方を高精度に復元することが困難となっていた。
本開示は、このような状況に鑑みてなされたものであり、フォトグラメトリにおいて対象物体の形状および色の両方を高精度に復元することができるようにするものである。
本開示の一側面の情報処理方法は、対象物体の形状の復元に適した第１の照明方法で照明光が照射された前記対象物体を被写体として第１の撮像を行うことと、前記対象物体の色の復元に適した第２の照明方法で照明光が照射された前記対象物体を被写体として第２の撮像を行うことと、複数回の前記第１の撮像で得られた第１の画像群、および、複数回の前記第２の撮像で得られた第２の画像群を用いて、前記対象物体の形状および色を３Ｄモデルで復元する３Ｄ復元処理を行うこととを含む。
本開示の一側面の情報処理装置は、対象物体の形状の復元に適した第１の照明方法で照明光を照射する第１の照明部と、前記対象物体の色の復元に適した第２の照明方法で照明光を照射する第２の照明部と、前記第１の照明方法で照明光が照射された前記対象物体を被写体として第１の撮像を行い、前記第２の照明方法で照明光が照射された前記対象物体を被写体として第２の撮像を行う撮像部と、複数回の前記第１の撮像で得られた第１の画像群、および、複数回の前記第２の撮像で得られた第２の画像群を用いて、前記対象物体の形状および色を３Ｄモデルで復元する３Ｄ復元処理を行う３Ｄ復元処理部とを備える。
本開示の一側面のプログラムは、情報処理装置のコンピュータに、対象物体の形状の復元に適した第１の照明方法で照明光が照射された前記対象物体を被写体として第１の撮像を行うことと、前記対象物体の色の復元に適した第２の照明方法で照明光が照射された前記対象物体を被写体として第２の撮像を行うことと、複数回の前記第１の撮像で得られた第１の画像群、および、複数回の前記第２の撮像で得られた第２の画像群を用いて、前記対象物体の形状および色を３Ｄモデルで復元する３Ｄ復元処理を行うこととを含む情報処理を実行させる。
本開示の一側面においては、対象物体の形状の復元に適した第１の照明方法で照明光が照射された対象物体を被写体として第１の撮像が行われ、対象物体の色の復元に適した第２の照明方法で照明光が照射された対象物体を被写体として第２の撮像が行われ、複数回の第１の撮像で得られた第１の画像群、および、複数回の第２の撮像で得られた第２の画像群を用いて、対象物体の形状および色を３Ｄモデルで復元する３Ｄ復元処理が行われる。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜フォトグラメトリ装置の構成例＞
図１は、本技術を適用したフォトグラメトリ装置の一実施の形態の構成例を示すブロック図である。
図１は、本技術を適用したフォトグラメトリ装置の一実施の形態の構成例を示すブロック図である。
図１に示すように、フォトグラメトリ装置１１は、第１の照明部２１、第２の照明部２２、撮像部２３、第１の照明駆動部２４、第２の照明駆動部２５、撮像駆動部２６、３Ｄ復元処理部２７、および制御部２８を備えて構成される。そして、フォトグラメトリ装置１１は、３Ｄモデルを作成する対象となる対象物体に対するフォトグラメトリ処理を行って、対象物体の形状および色をコンピュータグラフィックで復元することができる。
第１の照明部２１は、対象物体の形状の復元に適した第１の照明方法で、対象物体に対して照明光を照射する。
例えば、第１の照明方法として、図２および図３を参照して後述するようなパターンの照明光が照射される。これにより、対象物体の形状の特徴量を満遍なく抽出することができるとともに、法線方向の小さな変化も抽出が可能となる。また、第１の照明方法で複数の方向から照明光を照射することで、１方向からの照明光の照射ではカバーできないような対象物体の形状を把握することができる。なお、第１の照明方法で、複数の異なるパターンまたは方向で対象物体に照明光を照射することが可能であり、それぞれの照明光の下で対象物体を被写体として撮像された画像群からスパース（Sparse）点群を生成した後にマージして、デンス（Dense）点群を生成することができる。
第２の照明部２２は、対象物体の色の復元に適した第２の照明方法で、対象物体に対して照明光を照射する。
例えば、第２の照明方法として、撮像方向と同一方向から対象物体に照明光が照射され、または、対象物体からの正反射光が撮像部２３に入射しない方向から対象物体に照明光が照射される。例えば、撮像方向と同一方向から対象物体に照明光を照射する場合には、光源が届く範囲内で対象物体の表面に影が生じることを回避することができる。しかしながら、この場合、正反射光による色への影響が発生してしまうため、対象物体からの正反射光が撮像部２３に入射しない方向から対象物体に照明光を照射することによって、正反射光による色への影響を排除することができる。また、第２の照明方法として、異なる光度および波長の光源により照明光が照射される。これにより、対象物体の表面における反射特性を推定することができる。なお、第２の照明方法で、複数の異なる方向、光度、または波長で対象物体に照明光を照射することが可能であり、色付けする領域ごとに適した照明光を適用することで、ある照明光ではカバーできない領域を、他の照明光で補完することができる。
撮像部２３は、第１の照明方法で照明光が照射された対象物体の複数回の撮像、および、第２の照明方法で照明光が照射された対象物体の複数回の撮像を行い、それぞれの撮像で取得された画像群を３Ｄ復元処理部２７に供給する。
第１の照明駆動部２４は、制御部２８による制御に従って、第１の照明部２１を駆動して照明光を照射させる。
第２の照明駆動部２５は、撮像駆動部２６を介した制御部２８による制御に従って、第２の照明部２２を駆動して照明光を照射させる。
撮像駆動部２６は、撮像部２３を駆動して、対象物体の撮像を行わせる。また、撮像駆動部２６を介して、制御部２８による第２の照明駆動部２５の制御が行われる。
３Ｄ復元処理部２７は、撮像部２３から供給された画像群、即ち、第１の照明方法で照明光が照射された対象物体の画像群、および、第２の照明方法で照明光が照射された対象物体の画像群を用いて、対象物体の色付きの３Ｄモデルを作成する３Ｄ復元処理を行う。即ち、３Ｄ復元処理部２７は、第１の照明方法で照明光が照射された対象物体の画像群を用いて、対象物体の形状が復元された３Ｄモデルを作成し、その３Ｄモデルに対して、第２の照明方法で照明光が照射された対象物体の画像群を用いて色付けを行うことができる。
また、３Ｄ復元処理部２７は、３Ｄ復元処理によって得られた３Ｄモデルについて、形状が欠損した欠損領域があると検出された場合、その欠損領域における形状を補完するためのフィードバックを行うことができる。例えば、３Ｄ復元処理部２７は、点群による形状を復元した後にメッシュ化を行い、ある頂点に隣接する面のいずれか１辺の長さが一定値以上となる個所、または、ある頂点に接する面で閉じられた面を作ることができないような個所を抽出し、その先に欠損領域があると推定することができる。そして、３Ｄ復元処理部２７は、欠損領域を繋ぎ合わせて形成した面を網羅するような撮像位置および撮像方向をフィードバックする。このとき、推定された欠損領域が撮像済みの領域と重複する場合、３Ｄ復元処理部２７は、欠損領域の性質に、より適した第１の照明方法をフィードバックする。
さらに、３Ｄ復元処理部２７は、３Ｄ復元処理によって得られた３Ｄモデルについて、第２の照明光が未照射となっている影領域が検出された場合、その影領域における色を補完するためのフィードバックを行うことができる。例えば、３Ｄ復元処理部２７は、既存の技術を活用して影領域を検出することができ、復元結果の３Ｄモデルに対してカメラパラメータや太陽光、照明などの光源の位置を用いたレイトレーシングによって影領域を推定することができる。そして、３Ｄ復元処理部２７は、検出された影領域が他の画像によって色の復元が可能であるかを判定し、色の復元が可能でない場合は影領域の色を補完するための撮像位置および撮像方向を推定してフィードバックする。
制御部２８は、第１の照明部２１、第２の照明部２２、撮像部２３、および３Ｄ復元処理部２７に対する制御を行って、フォトグラメトリ装置１１におけるフォトグラメトリ処理を実行する。また、制御部２８は、自律移動することが可能な移動装置（例えば、いわゆるドローンやロボットなど）にフォトグラメトリ装置１１が搭載されている場合、その移動装置の移動機構に対する制御を行うことができる。
例えば、制御部２８は、対象物体を様々な方向から撮像するための複数の撮像位置を選定したリストを決定し、フォトグラメトリ装置１１が搭載されている移動装置の移動機構に対する制御を行って、リストに従った撮像位置へフォトグラメトリ装置１１を移動させる。そして、制御部２８は、撮像位置ごとに順次、第１の照明部２１による第１の照明方法で照明光が照射された対象物体を被写体とした撮像と、第２の照明部２２による第２の照明方法で照明光が照射された対象物体を被写体とした撮像とが切り替えられながら行われるように制御する。これらの制御に従って、全ての撮像位置で撮像部２３が撮像を行うことで取得された画像群が３Ｄ復元処理部２７に供給されると、制御部２８は、３Ｄ復元処理を実行するように３Ｄ復元処理部２７に対する制御を行う。
また、３Ｄ復元処理部２７が、３Ｄ復元処理で作成された３Ｄモデルに欠損があると判定した場合、上述したようなフィードバックを行うことができる。従って、制御部２８は、３Ｄ復元処理部２７からのフィードバックに従った撮像位置および撮像方向で撮像が行われるように、フォトグラメトリ装置１１が搭載されている移動装置の移動機構に対する制御を行うことができ、同様の撮像が繰り返して行われる。これにより、対象物体の３Ｄモデルに欠損が生じないように形状および色の両方を良好に復元することができる。
以上のように構成されるフォトグラメトリ装置１１は、第１の照明部２１、第２の照明部２２、および撮像部２３が一体型であって、第１の照明部２１と第２の照明部２２および撮像部２３とを独立して駆動させることができる。例えば、フォトグラメトリ装置１１は、第１の照明部２１は、撮像部２３の撮像方向とは異なる方向から照明光を照射し、第２の照明部２２は、撮像部２３の撮像方向と同一方向から照明光を照射することができる。そして、対象物体の形状が復元された３Ｄモデルを、第１の照明方法で照明光が照射された対象物体の画像群を用いて作成し、その３Ｄモデルに対して、第２の照明方法で照明光が照射された対象物体の画像群を用いて色付けを行うことで、対象物体の３Ｄモデル形状および色を高精度に復元することができる。
また、フォトグラメトリ装置１１は、対象物体が静止している場合、第１の照明方法の下で撮像された画像と、第２の照明方法の下で撮像された画像とで、それぞれの画像が画素レベルで対応しているので、対象物体の形状が復元された３Ｄモデルに、直接的に、色を重ね合わせることができる。従って、フォトグラメトリ装置１１は、１セットの画像群を用いて形状および色をまとめて復元することができ、フォトグラメトリ処理を拡張することなく、色付きの３Ｄモデルを容易に作成することができる。
一方、フォトグラメトリ装置１１は、対象物体が動いている場合、第１の照明方法の下で撮像された画像の各画素に対応するように第２の照明方法の下で撮像された画像の画素を特定するようにフォトグラメトリ処理を拡張することで、動いている対象物体の色付きの３Ｄモデルの作成に対応することができる。
図２を参照して、対象物体の形状の復元に適した第１の照明方法について説明する。
図２のＡには、第１の照明方法で対象物体に照射されるラインパターンの照射光の一例が示されている。図２のＢには、直方体の対象物体にラインパターンの照射光が照射された状態の一例が示されている。
図２のＡに示すように、ラインパターンの照射光は、ライン形状の光が等間隔で配置される。そして、このようなラインパターンの照射光を対象物体に照射すると、対象物体の形状に合わせてラインパターンが変形することで、対象物体の形状を容易に把握することができる。
なお、対象物体の形状の復元に適した第１の照明方法では、図２のＡに示したようなラインパターン以外の照射光を用いることができる。例えば、図３のＡに示すような複数のドット形状の光が等間隔で配置されるドットパターンの照射光や、図３のＢに示すようなクロス形状の光が等間隔で配置されるクロスパターンの照射光などを用いてもよい。
さらに、対象物体の形状の復元に適した第１の照明方法として、ランダムなドットのパターン光を用いることができる。
例えば、ランダムなドットのパターン光を対象物体に照射して撮像された画像と、パターン光を対象物体に照射して撮像された画像とをマッチングすることで推定される各光点の距離（深度）に基づいて、対象物体の形状のみを復元することができる。即ち、ランダムなドットのパターン光の各光点が異なる模様や波長からなるものであれば、それぞれの光点を特定することができ、複数の方向から撮像された画像内において光点に基づいて位置合わせを行うことが可能となる。
ここで、第１の照明方法で抽出される特徴量について説明する。まず、照明が用いられない場合には、撮像された画像上で、近隣の画素と比較して色の変化が大きい個所に特徴量が現れ易くなる。また、通常の照明光を用いる場合には、光源によって対象物体の表面に表れた影の外周が新たな特徴量として現れやすく、他の照明方法が用いられた撮像や照明が用いらない撮像で影に埋もれていた部分を照らして特徴量を現れるようにすることができる。そして、パターン光を照射する場合には、パターン光が照射される範囲で対象物体の表面に満遍なく特徴量が現れ易くなり、なだらかな凹凸も特徴量の分布に反映され易くなる。さらに、複数の位置や方向から、通常の照明光またはパターン光の照射を組み合わせて用いる場合には、通常の照明光およびパターン光それぞれの欠点を補って、例えば、通常の照明光では影が出現し難い形状であっても、特定のパターン光との相性が悪い形状であっても、良好に特徴量を抽出することができる。
＜フォトグラメトリ処理の処理例＞
図４は、フォトグラメトリ処理の第１の処理例を説明するフローチャートである。
図４は、フォトグラメトリ処理の第１の処理例を説明するフローチャートである。
ステップＳ１１において、制御部２８は、対象物体を様々な方向から撮像するための複数の撮像位置を選定したリストを決定する。
ステップＳ１２において、制御部２８は、ステップＳ１１で決定したリストに従った撮像位置へフォトグラメトリ装置１１を移動するように、図示しない移動機構に対する制御を行う。そして、その撮像位置にフォトグラメトリ装置１１が移動すると、処理はステップＳ１３に進む。
ステップＳ１３において、制御部２８は、第１の照明部２１をオンするように第１の照明駆動部２４に対する制御を行う。これに応じて、第１の照明駆動部２４が第１の照明部２１を駆動し、対象物体に対する第１の照明方法による照明光の照射が開始される。
ステップＳ１４において、制御部２８は、撮像部２３による撮像を行うように撮像駆動部２６に対する制御を行う。これに応じて、撮像駆動部２６が撮像部２３を駆動し、対象物体の形状の復元に適した第１の照明方法で照明光が照射された対象物体が撮像される。
ステップＳ１５において、制御部２８は、第１の照明部２１をオフするように第１の照明駆動部２４に対する制御を行い、対象物体に対する第１の照明方法による照明光の照射が停止される。
ステップＳ１６において、制御部２８は、第２の照明部２２をオンするように第２の照明駆動部２５に対する制御を行う。これに応じて、第２の照明駆動部２５が第２の照明部２２を駆動し、対象物体に対する第２の照明方法による照明光の照射が開始される。
ステップＳ１７において、制御部２８は、撮像部２３による撮像を行うように撮像駆動部２６に対する制御を行う。これに応じて、撮像駆動部２６が撮像部２３を駆動し、対象物体の色の復元に適した第２の照明方法で照明光が照射された対象物体が撮像される。
ステップＳ１８において、制御部２８は、第２の照明部２２をオフするように第２の照明駆動部２５に対する制御を行い、対象物体に対する第２の照明方法による照明光の照射が停止される。
ステップＳ１９において、制御部２８は、ステップＳ１１で決定したリストにおける全ての撮像位置で撮像が行われたか否かを判定する。
ステップＳ１９において、制御部２８が、全ての撮像位置で撮像が行われていないと判定した場合、処理はステップＳ２０に進む。
ステップＳ２０において、制御部２８は、ステップＳ１１で決定したリストに従って、まだ撮像が行われていない撮像位置へフォトグラメトリ装置１１を移動するように、図示しない移動機構に対する制御を行う。そして、その撮像位置にフォトグラメトリ装置１１が移動すると、処理はステップＳ１３に戻り、以下、同様の処理が繰り返して行われる。
一方、ステップＳ１９において、制御部２８が、全ての撮像位置で撮像が行われたと判定した場合、処理はステップＳ２１に進む。
ステップＳ２１において、全ての撮像位置におけるステップＳ１４の撮像で得られた画像群、および、全ての撮像位置におけるステップＳ１７の撮像で得られた画像群が３Ｄ復元処理部２７に供給されて３Ｄ復元処理（図５）が行われる。そして、３Ｄ復元処理部２７は、３Ｄ復元処理の処理結果として作成した対象物体の３Ｄモデルを出力する。
図５に示すフローチャートを参照して、図４のステップＳ２１において行われる３Ｄ復元処理について説明する。
ステップＳ３１において、３Ｄ復元処理部２７は、図４のステップＳ１４において第１の照明方法の下で対象物体を被写体として撮像された画像群に基づいて、それらの画像に写されている対象物体の特徴量の抽出を行う。
ステップＳ３２において、３Ｄ復元処理部２７は、ステップＳ３１で抽出された対象物体の特徴量について、それぞれの画像どうしの間でマッチングを行う。
ステップＳ３３において、３Ｄ復元処理部２７は、少数の点群で対象物体の立体形状を作成するスパース（Sparse）点群の復元を行う。
ステップＳ３４において、３Ｄ復元処理部２７は、ステップＳ３３で復元された対象物体のスパース点群に基づいて画像の歪みを補正する。
ステップＳ３５において、３Ｄ復元処理部２７は、ステップＳ３４における画像の歪みを適用させ、多数の点群で対象物体の立体形状を作成するデンス（Dense）点群の復元を行うことにより、対象物体の形状を表す３Ｄモデルを作成する。
ステップＳ３６において、３Ｄ復元処理部２７は、図４のステップＳ１７において第２の照明方法の下で対象物体を被写体として撮像された画像群に基づいて、ステップＳ３５で作成された３Ｄモデルに対する点群の色付けを行う。
以上のようなフォトグラメトリ処理を行うことで、フォトグラメトリ装置１１は、対象物体の３Ｄモデルの形状および色の両方を高精度に復元することができる。
図６は、フォトグラメトリ処理の第２の処理例を説明するフローチャートである。
ステップＳ４１乃至Ｓ５１において、図４のステップＳ１１乃至２１と同様の処理が行われ、ステップＳ５２において、３Ｄ復元処理部２７は、ステップＳ５１の３Ｄ復元処理で復元した３Ｄモデルに欠損があるか否かを判定する。
ステップＳ５２において、３Ｄ復元処理部２７が３Ｄモデルに欠損があると判定した場合、処理はステップＳ５３に進む。
ステップＳ５３において、３Ｄ復元処理部２７は、上述したように、欠損領域を繋ぎ合わせて形成した面を網羅するような撮像位置および撮像方向や、影領域の色を補完するための撮像位置および撮像方向などをフィードバックする。その後、処理はステップＳ４２に戻り、ステップＳ５３のフィードバックに従って、以下、同様の処理が繰り返して行われる。
そして、ステップＳ４２乃至Ｓ５１の処理が繰り返して行われた結果、ステップＳ５２において、３Ｄ復元処理部２７が３Ｄモデルに欠損がないと判定した場合、処理は終了される。
以上のようなフォトグラメトリ処理によって、対象物体の３Ｄモデルに欠損が生じないように形状および色の両方を良好に復元することができる。
＜フォトグラメトリの変形例＞
図７乃至図１０を参照して、フォトグラメトリ装置１１の変形例について説明する。なお、以下では、図１のフォトグラメトリ装置１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。
図７乃至図１０を参照して、フォトグラメトリ装置１１の変形例について説明する。なお、以下では、図１のフォトグラメトリ装置１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。
図７は、フォトグラメトリ装置１１の第１の変形例を示すブロック図である。
図７に示すように、フォトグラメトリ装置１１Ａは、第１の照明部２１、第２の照明部２２、撮像部２３、第１の照明駆動部２４、第２の照明駆動部２５、撮像駆動部２６Ａ、３Ｄ復元処理部２７、および制御部２８を備えて構成される。
即ち、図１のフォトグラメトリ装置１１は、制御部２８が撮像駆動部２６を介して第２の照明駆動部２５に対する制御を行うように構成されていた。これに対し、フォトグラメトリ装置１１Ａは、制御部２８が直接的に第２の照明駆動部２５に対する制御を行い、撮像駆動部２６Ａは、撮像部２３の駆動のみを行うように構成されている。即ち、フォトグラメトリ装置１１Ａは、第１の照明駆動部２４、第２の照明駆動部２５、および撮像駆動部２６Ａが独立した構成となっている。
従って、フォトグラメトリ装置１１Ａは、第１の照明部２１、第２の照明部２２、および撮像部２３が一体型であって、第１の照明部２１、第２の照明部２２、および撮像部２３それぞれを完全に独立して駆動させることができる。例えば、フォトグラメトリ装置１１は、第１の照明部２１および第２の照明部２２どちらも、撮像部２３の撮像方向とは異なる方向から照明光を照射することができ、第２の照明部２２は、対象物体からの正反射光が撮像部２３に入射しない方向から照明光を照射することができる。
図８は、フォトグラメトリ装置１１の第２の変形例を示すブロック図である。
図８に示すように、フォトグラメトリ装置１１Ｂは、第１の照明部２１、第２の照明部２２、撮像部２３、第１の照明駆動部２４、第２の照明駆動部２５、撮像駆動部２６、制御部２８、および通信部２９を備えて構成される。
通信部２９は、ネットワーク１２を介した通信を行うことができ、ネットワーク１２のクラウド上に設けられている３Ｄ復元処理部２７と通信を行う。
従って、フォトグラメトリ装置１１Ｂは、第１の照明方法の下で対象物体を被写体として撮像された画像群、および、第２の照明方法の下で対象物体を被写体として撮像された画像群を、通信部２９によって３Ｄ復元処理部２７へ送信することができる。そして、３Ｄ復元処理部２７が対象物体の３Ｄモデルを作成すると、フォトグラメトリ装置１１Ｂは、通信部２９によって対象物体の３Ｄモデルを受信することができる。
このように、フォトグラメトリ装置１１Ｂは、ネットワーク１２に接続された３Ｄ復元処理部２７を含むシステムによって、対象物体の３Ｄモデルの作成をクラウド上で行うフォトグラメトリ処理を実現することができる。
図９は、フォトグラメトリ装置１１の第３の変形例を示すブロック図である。
図９に示すように、フォトグラメトリ装置１１Ｃは、第２の照明部２２、撮像部２３、第２の照明駆動部２５、撮像駆動部２６、３Ｄ復元処理部２７、制御部２８、および通信部２９を備えて構成される。
そして、フォトグラメトリ装置１１Ｃの通信部２９を介して接続される照明装置１３は、第１の照明部２１、第１の照明駆動部２４、通信部３１、および制御部３２を備えて構成される。通信部３１は、フォトグラメトリ装置１１Ｃの通信部２９と通信を行い、制御部３２は、フォトグラメトリ装置１１Ｃの制御部２８の下で、第１の照明駆動部２４に対する制御を行って、第１の照明部２１を駆動させる。
従って、フォトグラメトリ装置１１Ｃは、通信により接続される照明装置１３を含むシステムによって、フォトグラメトリ装置１１Ｃとは独立した位置に照明装置１３を配置して、フォトグラメトリ処理を実現することができる。
図１０は、フォトグラメトリ装置１１の第４の変形例を示すブロック図である。
図１０に示すように、フォトグラメトリ装置１１Ｄは、撮像部２３、撮像駆動部２６、３Ｄ復元処理部２７、制御部２８、および通信部２９を備えて構成される。また、照明装置１３は、図９と同様に、第１の照明部２１、第１の照明駆動部２４、通信部３１、および制御部３２を備えて構成される。
そして、フォトグラメトリ装置１１Ｄの通信部２９を介して接続される照明装置１４は、第２の照明部２２、第２の照明駆動部２５、通信部４１、および制御部４２を備えて構成される。通信部４１は、フォトグラメトリ装置１１Ｄの通信部２９と通信を行い、制御部４２は、フォトグラメトリ装置１１Ｃの制御部２８の下で、第２の照明駆動部２５に対する制御を行って、第２の照明部２２を駆動させる。
従って、フォトグラメトリ装置１１Ｄは、通信により接続される照明装置１３および第２の照明部２２を含むシステムによって、フォトグラメトリ装置１１Ｄとは独立した位置に照明装置１３および第２の照明部２２を配置して、フォトグラメトリ処理を実現することができる。
なお、フォトグラメトリ装置１１は、１つの照明部で、異なる照明方法で照明光を照射することができれば、第１の照明部２１および第２の照明部２２が一体となった構成としてもよい。
＜コンピュータの構成例＞
次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図１１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
対象物体の形状の復元に適した第１の照明方法で照明光が照射された前記対象物体を被写体として第１の撮像を行うことと、
前記対象物体の色の復元に適した第２の照明方法で照明光が照射された前記対象物体を被写体として第２の撮像を行うことと、
複数回の前記第１の撮像で得られた第１の画像群、および、複数回の前記第２の撮像で得られた第２の画像群を用いて、前記対象物体の形状および色を３Ｄモデルで復元する３Ｄ復元処理を行うことと
を含む情報処理方法。
（２）
前記第１の照明方法では、所定のパターンが等間隔で配置されたパターン光が用いられる
上記（１）に記載の情報処理方法。
（３）
前記第１の照明方法では、前記パターン光と通常の照明光とが組み合わされて用いられる
上記（２）に記載の情報処理方法。
（４）
前記第１の照明方法では、ランダムなドットのパターン光が用いられる
上記（１）に記載の情報処理方法。
（５）
前記第２の照明方法では、前記第２の撮像を行う撮像部の撮像方向と同一方向から前記対象物体に照明光の照射が行われる
上記（１）から（４）までのいずれかに記載の情報処理方法。
（６）
前記第２の照明方法では、前記対象物体からの正反射光が前記第２の撮像を行う撮像部に入射しない方向から前記対象物体に照明光の照射が行われる
上記（１）から（４）までのいずれかに記載の情報処理方法。
（７）
前記第２の照明方法では、異なる光度および波長の光源によって前記対象物体に照明光の照射が行われる
上記（１）から（６）までのいずれかに記載の情報処理方法。
（８）
前記３Ｄ復元処理において、前記第１の画像群を用いて作成された前記対象物体の形状からなる前記３Ｄモデルに対して、前記第２の画像群を用いて前記対象物体の色付けが行われる
上記（１）から（７）までのいずれかに記載の情報処理方法。
（９）
前記３Ｄ復元処理で作成された前記３Ｄモデルに欠損があると判定された場合、欠損領域を繋ぎ合わせて形成した面を網羅するような撮像位置および撮像方向、または、影領域の色を補完するための撮像位置および撮像方向がフィードバックされて、前記第１の撮像および前記第２の撮像が繰り返して行われる
上記（８）に記載の情報処理方法。
（１０）
対象物体の形状の復元に適した第１の照明方法で照明光を照射する第１の照明部と、
前記対象物体の色の復元に適した第２の照明方法で照明光を照射する第２の照明部と、 前記第１の照明方法で照明光が照射された前記対象物体を被写体として第１の撮像を行い、前記第２の照明方法で照明光が照射された前記対象物体を被写体として第２の撮像を行う撮像部と、
複数回の前記第１の撮像で得られた第１の画像群、および、複数回の前記第２の撮像で得られた第２の画像群を用いて、前記対象物体の形状および色を３Ｄモデルで復元する３Ｄ復元処理を行う３Ｄ復元処理部と
を備える情報処理装置。
（１１）
情報処理装置のコンピュータに、
対象物体の形状の復元に適した第１の照明方法で照明光が照射された前記対象物体を被写体として第１の撮像を行うことと、
前記対象物体の色の復元に適した第２の照明方法で照明光が照射された前記対象物体を被写体として第２の撮像を行うことと、
複数回の前記第１の撮像で得られた第１の画像群、および、複数回の前記第２の撮像で得られた第２の画像群を用いて、前記対象物体の形状および色を３Ｄモデルで復元する３Ｄ復元処理を行うことと
を含む情報処理を実行させるためのプログラム。
なお、本技術は以下のような構成も取ることができる。
（１）
対象物体の形状の復元に適した第１の照明方法で照明光が照射された前記対象物体を被写体として第１の撮像を行うことと、
前記対象物体の色の復元に適した第２の照明方法で照明光が照射された前記対象物体を被写体として第２の撮像を行うことと、
複数回の前記第１の撮像で得られた第１の画像群、および、複数回の前記第２の撮像で得られた第２の画像群を用いて、前記対象物体の形状および色を３Ｄモデルで復元する３Ｄ復元処理を行うことと
を含む情報処理方法。
（２）
前記第１の照明方法では、所定のパターンが等間隔で配置されたパターン光が用いられる
上記（１）に記載の情報処理方法。
（３）
前記第１の照明方法では、前記パターン光と通常の照明光とが組み合わされて用いられる
上記（２）に記載の情報処理方法。
（４）
前記第１の照明方法では、ランダムなドットのパターン光が用いられる
上記（１）に記載の情報処理方法。
（５）
前記第２の照明方法では、前記第２の撮像を行う撮像部の撮像方向と同一方向から前記対象物体に照明光の照射が行われる
上記（１）から（４）までのいずれかに記載の情報処理方法。
（６）
前記第２の照明方法では、前記対象物体からの正反射光が前記第２の撮像を行う撮像部に入射しない方向から前記対象物体に照明光の照射が行われる
上記（１）から（４）までのいずれかに記載の情報処理方法。
（７）
前記第２の照明方法では、異なる光度および波長の光源によって前記対象物体に照明光の照射が行われる
上記（１）から（６）までのいずれかに記載の情報処理方法。
（８）
前記３Ｄ復元処理において、前記第１の画像群を用いて作成された前記対象物体の形状からなる前記３Ｄモデルに対して、前記第２の画像群を用いて前記対象物体の色付けが行われる
上記（１）から（７）までのいずれかに記載の情報処理方法。
（９）
前記３Ｄ復元処理で作成された前記３Ｄモデルに欠損があると判定された場合、欠損領域を繋ぎ合わせて形成した面を網羅するような撮像位置および撮像方向、または、影領域の色を補完するための撮像位置および撮像方向がフィードバックされて、前記第１の撮像および前記第２の撮像が繰り返して行われる
上記（８）に記載の情報処理方法。
（１０）
対象物体の形状の復元に適した第１の照明方法で照明光を照射する第１の照明部と、
前記対象物体の色の復元に適した第２の照明方法で照明光を照射する第２の照明部と、 前記第１の照明方法で照明光が照射された前記対象物体を被写体として第１の撮像を行い、前記第２の照明方法で照明光が照射された前記対象物体を被写体として第２の撮像を行う撮像部と、
複数回の前記第１の撮像で得られた第１の画像群、および、複数回の前記第２の撮像で得られた第２の画像群を用いて、前記対象物体の形状および色を３Ｄモデルで復元する３Ｄ復元処理を行う３Ｄ復元処理部と
を備える情報処理装置。
（１１）
情報処理装置のコンピュータに、
対象物体の形状の復元に適した第１の照明方法で照明光が照射された前記対象物体を被写体として第１の撮像を行うことと、
前記対象物体の色の復元に適した第２の照明方法で照明光が照射された前記対象物体を被写体として第２の撮像を行うことと、
複数回の前記第１の撮像で得られた第１の画像群、および、複数回の前記第２の撮像で得られた第２の画像群を用いて、前記対象物体の形状および色を３Ｄモデルで復元する３Ｄ復元処理を行うことと
を含む情報処理を実行させるためのプログラム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１１ フォトグラメトリ装置， １２ ネットワーク， １３および１４ 照明装置， ２１ 第１の照明部， ２２ 第２の照明部， ２３ 撮像部， ２４ 第１の照明駆動部， ２５ 第２の照明駆動部， ２６ 撮像駆動部， ２７ ３Ｄ復元処理部， ２８ 制御部， ２９ 通信部， ３１ 通信部， ３２ 制御部， ４１ 通信部， ４２ 制御部
Claims (11)
- 対象物体の形状の復元に適した第１の照明方法で照明光が照射された前記対象物体を被写体として第１の撮像を行うことと、
前記対象物体の色の復元に適した第２の照明方法で照明光が照射された前記対象物体を被写体として第２の撮像を行うことと、
複数回の前記第１の撮像で得られた第１の画像群、および、複数回の前記第２の撮像で得られた第２の画像群を用いて、前記対象物体の形状および色を３Ｄモデルで復元する３Ｄ復元処理を行うことと
を含む情報処理方法。 - 前記第１の照明方法では、所定のパターンが等間隔で配置されたパターン光が用いられる
請求項１に記載の情報処理方法。 - 前記第１の照明方法では、前記パターン光と通常の照明光とが組み合わされて用いられる
請求項２に記載の情報処理方法。 - 前記第１の照明方法では、ランダムなドットのパターン光が用いられる
請求項１に記載の情報処理方法。 - 前記第２の照明方法では、前記第２の撮像を行う撮像部の撮像方向と同一方向から前記対象物体に照明光の照射が行われる
請求項１に記載の情報処理方法。 - 前記第２の照明方法では、前記対象物体からの正反射光が前記第２の撮像を行う撮像部に入射しない方向から前記対象物体に照明光の照射が行われる
請求項１に記載の情報処理方法。 - 前記第２の照明方法では、異なる光度および波長の光源によって前記対象物体に照明光の照射が行われる
請求項１に記載の情報処理方法。 - 前記３Ｄ復元処理において、前記第１の画像群を用いて作成された前記対象物体の形状からなる前記３Ｄモデルに対して、前記第２の画像群を用いて前記対象物体の色付けが行われる
請求項１に記載の情報処理方法。 - 前記３Ｄ復元処理で作成された前記３Ｄモデルに欠損があると判定された場合、欠損領域を繋ぎ合わせて形成した面を網羅するような撮像位置および撮像方向、または、影領域の色を補完するための撮像位置および撮像方向がフィードバックされて、前記第１の撮像および前記第２の撮像が繰り返して行われる
請求項８に記載の情報処理方法。 - 対象物体の形状の復元に適した第１の照明方法で照明光を照射する第１の照明部と、
前記対象物体の色の復元に適した第２の照明方法で照明光を照射する第２の照明部と、 前記第１の照明方法で照明光が照射された前記対象物体を被写体として第１の撮像を行い、前記第２の照明方法で照明光が照射された前記対象物体を被写体として第２の撮像を行う撮像部と、
複数回の前記第１の撮像で得られた第１の画像群、および、複数回の前記第２の撮像で得られた第２の画像群を用いて、前記対象物体の形状および色を３Ｄモデルで復元する３Ｄ復元処理を行う３Ｄ復元処理部と
を備える情報処理装置。 - 情報処理装置のコンピュータに、
対象物体の形状の復元に適した第１の照明方法で照明光が照射された前記対象物体を被写体として第１の撮像を行うことと、
前記対象物体の色の復元に適した第２の照明方法で照明光が照射された前記対象物体を被写体として第２の撮像を行うことと、
複数回の前記第１の撮像で得られた第１の画像群、および、複数回の前記第２の撮像で得られた第２の画像群を用いて、前記対象物体の形状および色を３Ｄモデルで復元する３Ｄ復元処理を行うことと
を含む情報処理を実行させるためのプログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022-095854 | 2022-06-14 | ||
| JP2022095854 | 2022-06-14 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023243430A1 true WO2023243430A1 (ja) | 2023-12-21 |
Family
ID=89190968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2023/020592 WO2023243430A1 (ja) | 2022-06-14 | 2023-06-02 | 情報処理方法、情報処理装置、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2023243430A1 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005351871A (ja) * | 2004-06-14 | 2005-12-22 | Canon Inc | 物体情報入力装置および物体生成装置 |
| JP2015059849A (ja) * | 2013-09-19 | 2015-03-30 | 凸版印刷株式会社 | 色と三次元形状の計測方法及び装置 |
| JP2017161370A (ja) * | 2016-03-09 | 2017-09-14 | 株式会社ニコン | 検出装置、検出システム、検出方法、及び検出プログラム |
| JP2018194544A (ja) * | 2017-05-16 | 2018-12-06 | キヤノン株式会社 | 情報処理装置、情報処理方法、コンピュータプログラム |
| JP2021157237A (ja) * | 2020-03-25 | 2021-10-07 | Kddi株式会社 | 自由視点映像生成方法、装置およびプログラム |
-
2023
- 2023-06-02 WO PCT/JP2023/020592 patent/WO2023243430A1/ja unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005351871A (ja) * | 2004-06-14 | 2005-12-22 | Canon Inc | 物体情報入力装置および物体生成装置 |
| JP2015059849A (ja) * | 2013-09-19 | 2015-03-30 | 凸版印刷株式会社 | 色と三次元形状の計測方法及び装置 |
| JP2017161370A (ja) * | 2016-03-09 | 2017-09-14 | 株式会社ニコン | 検出装置、検出システム、検出方法、及び検出プログラム |
| JP2018194544A (ja) * | 2017-05-16 | 2018-12-06 | キヤノン株式会社 | 情報処理装置、情報処理方法、コンピュータプログラム |
| JP2021157237A (ja) * | 2020-03-25 | 2021-10-07 | Kddi株式会社 | 自由視点映像生成方法、装置およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10780643B2 (en) | Stereolithography printer mapping a plurality of pixels of a cross-sectional image to corresponding mirrors of a plurality of mirrors of a digital micromirror unit | |
| KR102473547B1 (ko) | 부품의 실장 상태를 검사하기 위한 방법, 인쇄 회로 기판 검사 장치 및 컴퓨터 판독 가능한 기록매체 | |
| US20230081400A1 (en) | Enhanced three dimensional printing of vertical edges | |
| US20150116460A1 (en) | Method and apparatus for generating depth map of a scene | |
| US11580634B2 (en) | System and method for automated surface assessment | |
| EP3571667A1 (en) | Real-time generation of synthetic data from multi-shot structured light sensors for three-dimensional object pose estimation | |
| US20070176927A1 (en) | Image Processing method and image processor | |
| JP2015132509A (ja) | 画像データ取得システム及び画像データ取得方法 | |
| US20240160002A1 (en) | Method and System for Mapping Objects on Unknown Specimens | |
| CN102998908B (zh) | 描画装置以及描画方法 | |
| CN115937059A (zh) | 具有生成式训练模型的零件检查系统 | |
| JP5799473B2 (ja) | 撮影装置とその撮影方法 | |
| WO2023243430A1 (ja) | 情報処理方法、情報処理装置、およびプログラム | |
| JP2022537196A (ja) | 表面認識 | |
| US11276228B2 (en) | 3D scanning with automatic selection of scan strategy | |
| JP5441752B2 (ja) | 環境内の３ｄ物体の３ｄ姿勢を推定する方法及び装置 | |
| CN113168709B (zh) | 网点外观生成器 | |
| JP2013148380A (ja) | 外観検査装置 | |
| JP2005092549A (ja) | 三次元画像処理方法および装置 | |
| JP2017016169A (ja) | 検査方法、検査装置、画像処理装置、プログラム及び記録媒体 | |
| WO2023167162A1 (ja) | ドットパターン生成方法及び３次元計測装置 | |
| JP2006105822A (ja) | 三次元画像処理システム及び三次元データ処理装置 | |
| US20210051303A1 (en) | Information processing apparatus, information processing method, and program | |
| JP2022123733A (ja) | 検査装置、検査方法、およびプログラム | |
| JP2009260162A (ja) | 露光装置の露光精度評価方法、露光装置の露光精度評価プログラム、および露光装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23823723 Country of ref document: EP Kind code of ref document: A1 |