WO2026009348A1 - 情報処理装置、情報処理方法、及び記録媒体 - Google Patents

情報処理装置、情報処理方法、及び記録媒体

Info

Publication number
WO2026009348A1
WO2026009348A1 PCT/JP2024/024118 JP2024024118W WO2026009348A1 WO 2026009348 A1 WO2026009348 A1 WO 2026009348A1 JP 2024024118 W JP2024024118 W JP 2024024118W WO 2026009348 A1 WO2026009348 A1 WO 2026009348A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information processing
phase
information
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/024118
Other languages
English (en)
French (fr)
Inventor
司 松尾
徹 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2024/024118 priority Critical patent/WO2026009348A1/ja
Publication of WO2026009348A1 publication Critical patent/WO2026009348A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067Reshaping or unfolding three-dimensional [3D] tree structures onto two-dimensional [2D] planes

Definitions

  • This disclosure relates to the technical fields of information processing devices, information processing methods, and recording media.
  • Patent Document 1 discloses technology in which a person's head is captured by both a right and left camera unit, and the three-dimensional shape is calculated from the images captured by each camera unit and output to a display or the like.
  • the objective of this disclosure is to provide an information processing device, an information processing method, and a recording medium that aim to improve upon the technology disclosed in prior art documents.
  • One aspect of the information processing device disclosed herein comprises an acquisition means for acquiring a fringe image that represents the three-dimensional shape of the object to be measured as a change in a two-dimensional pattern; a generation means for generating connection priority information for determining a phase unwrapping path in phase unwrapping based on the shape characteristics of the object to be measured; and an unwrapping means for performing the phase unwrapping of a phase image obtained by analyzing the fringe image based on the connection priority information.
  • One aspect of the information processing method disclosed herein involves using at least one computer to acquire a fringe image that represents the three-dimensional shape of a measurement object as a change in a two-dimensional pattern, generate connection priority information for determining a phase unwrapping path in phase unwrapping based on the shape characteristics of the measurement object, and perform the phase unwrapping of a phase image obtained by analyzing the fringe image based on the connection priority information.
  • One aspect of the recording medium disclosed herein is a computer program recorded on at least one computer that causes the computer to execute an information processing method that acquires a fringe image that represents the three-dimensional shape of a measurement object as a change in a two-dimensional pattern, generates connection priority information for determining a phase unwrapping path in phase unwrapping based on the shape characteristics of the measurement object, and performs the phase unwrapping of a phase image obtained by analyzing the fringe image based on the connection priority information.
  • FIG. 2 is a block diagram showing a hardware configuration of a first information processing apparatus.
  • FIG. 2 is a perspective view showing a configuration of a first information processing apparatus.
  • FIG. 2 is a top view illustrating a configuration of a first information processing apparatus.
  • FIG. 10 is a graph showing changes in data due to phase wrapping. 10 is a graph showing problems that arise due to differences in unwrapping paths in phase wrapping. 10A and 10B are schematic diagrams showing defects that occur in three-dimensional shape data due to phase unwrapping;
  • FIG. 2 is a block diagram showing a functional configuration of a first information processing apparatus.
  • 10 is a flowchart showing the flow of operations of the first information processing apparatus.
  • 10 is a flowchart showing the flow of operations of the second information processing apparatus.
  • FIG. 10 is a chart illustrating a specific example of the operation of the second information processing device.
  • FIG. 10 is a schematic diagram showing the operation of a modified example of the second information processing apparatus.
  • FIG. 10 is a block diagram showing a functional configuration of a third information processing apparatus. 10 is a flowchart showing the flow of operations of the third information processing apparatus.
  • Fig. 1 is a block diagram showing the hardware configuration of the first information processing apparatus.
  • the first information processing device 1 includes a processor 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, a storage device 14, an input device 15, an output device 16, a first unit 21, and a second unit 22.
  • the processor 11, RAM 12, ROM 13, storage device 14, input device 15, output device 16, first unit 21, and second unit 22 are each connected via a data bus 17.
  • the data bus 17 may be an interface other than a data bus (for example, a LAN, USB, etc.).
  • Processor 11 loads a computer program.
  • processor 11 is configured to load a computer program stored in at least one of RAM 12, ROM 13, and storage device 14.
  • processor 11 may load a computer program stored in a computer-readable storage medium using a storage medium reading device (not shown).
  • Processor 11 may obtain (i.e., load) a computer program from a device (not shown) located outside of first information processing device 1 via a network interface.
  • Processor 11 performs various processes by executing the loaded computer program.
  • processor 11 executes the loaded computer program, functional blocks related to the processes performed by first information processing device 1 are realized within processor 11.
  • processor 11 may function as a controller that executes each control in first information processing device 1.
  • Processor 11 may be configured as, for example, a CPU (Central Processing Unit), GPU (Graphics Processing Unit), FPGA (Field-Programmable Gate Array), DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), or quantum processor. Processor 11 may be configured as one of these, or as multiple processors operating in parallel.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA Field-Programmable Gate Array
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • Quantifier 11 may be configured as one of these, or as multiple processors operating in parallel.
  • RAM 12 temporarily stores computer programs executed by processor 11.
  • RAM 12 temporarily stores data that processor 11 uses temporarily while it is executing a computer program.
  • RAM 12 may be, for example, D-RAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory). Also, other types of volatile memory may be used instead of RAM 12.
  • ROM 13 stores computer programs executed by processor 11. ROM 13 may also store fixed data. ROM 13 may be, for example, a P-ROM (Programmable Read Only Memory) or an EPROM (Erasable Read Only Memory). Also, other types of non-volatile memory may be used instead of ROM 13.
  • the storage device 14 stores data that the first information processing device 1 saves over the long term.
  • the storage device 14 may operate as a temporary storage device for the processor 11.
  • the storage device 14 may also store computer programs executed by the processor 11.
  • the storage device 14 may include, for example, at least one of a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), and a disk array device.
  • the input device 15 is a device that receives input instructions from a user of the first information processing device 1.
  • the input device 15 may include, for example, at least one of a keyboard, a mouse, and a touch panel.
  • the input device 15 may also be, for example, a device that allows voice input, including a microphone.
  • the output device 16 is a device that outputs information related to the first information processing device 1 to the outside.
  • the output device 16 may be a display device (e.g., a display or monitor) that can display information related to the first information processing device 1.
  • the output device 16 may also be a speaker or the like that can output information related to the information processing device 1 as audio.
  • the first unit 21 is configured to include a first camera 211 and a first irradiation unit 212.
  • the first camera 211 is positioned to photograph the object from a first direction.
  • the first irradiation unit 212 is positioned to irradiate the object with light from the first direction (i.e., the shooting direction of the first camera 211).
  • the second unit 22 is configured to include a second camera 221 and a second irradiation unit 222.
  • the second camera 221 is positioned to photograph the object from a second direction.
  • the second irradiation unit 222 is positioned to irradiate the object with light from the second direction (i.e., the shooting direction of the second camera 221).
  • the specific arrangement of the first unit 21 and the second unit 22 will be explained in detail later.
  • the first camera 211 and the second camera 221 may include a solid-state imaging element such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the first camera 211 and the second camera 221 may also include an optical system that forms an image of the subject on the imaging surface of the solid-state imaging element, a signal processing circuit that processes the output of the solid-state imaging element to obtain a brightness value for each pixel, etc.
  • the first irradiation unit 212 and the second irradiation unit 222 may be configured to project a periodic light pattern.
  • the first irradiation unit 212 and the second irradiation unit 222 may be configured to project sinusoidal wave patterns with different periods.
  • the first irradiation unit 212 and the second irradiation unit 222 may be, for example, a DLP (Digital Light Processing) projector, a liquid crystal projector, or the like.
  • the first information processing device may be configured to include some of the components described in FIG. 1.
  • the first information processing device 1 may be configured to include only the processor 11, RAM 12, and ROM 13 of the above-mentioned components.
  • the storage device 14, input device 15, output device 16, first unit 21, and second unit 11 may each be provided as a device external to the first information processing device 1.
  • some of the calculation functions in the first information processing device 1 may be realized by an external server, cloud, etc.
  • Figure 2 is a perspective view showing the configuration of the first information processing device.
  • Figure 3 is a top view showing the configuration of the first information processing device.
  • the first information processing device 1 is configured as a device that photographs the head of the subject 50 (specifically, the facial region including the face of the subject 50 and the neck region including the neck of the subject 50).
  • the subject 50 may be photographed, for example, with the subject sitting in front of the first information processing device 1.
  • the subject 50 may be photographed with the subject standing in front of the first information processing device 1.
  • the first unit 21 in the first information processing device 1 is disposed to the left and front when viewed from the target 50. Therefore, the first camera 211 photographs the head of the target 50 from the left and front side. Furthermore, the first illumination unit 212 illuminates the head of the target 50 from the left and front side.
  • the second unit 22 in the first information processing device 1 is disposed to the right and front when viewed from the target 50. Therefore, the second camera 221 photographs the head of the target 50 from the right and front side. Furthermore, the second illumination unit 222 illuminates the head of the target 50 from the right and front side.
  • the first information processing device 1 is equipped with a third camera 300 that captures an image of the target's head from the front of the target 50.
  • the third camera 300 may be a camera similar to the first camera 211 and second camera 221 described above. However, the third camera 300 is not an essential component of the first information processing device 1.
  • Fig. 4 is a graph showing changes in data due to phase wrapping.
  • the true shape data of the object to be measured is represented by a straight line in which z monotonically increases as x increases.
  • folding back of the measurement value i.e., phase wrapping
  • the measurement data measured by the first information processing device 1 is data in which the measurement value is folded over a predetermined phase period (here, 2 ⁇ ).
  • phase unwrapping When restoring the folded data described above, a process called phase unwrapping is performed. For example, adjacent measurement points are observed, and phase unwrapping is performed according to the phase difference between their values. Specifically, if the phase difference between adjacent points is less than half the phase period (i.e., ⁇ ), it is determined that no phase value wrapping has occurred, and phase unwrapping is not performed. On the other hand, if the phase difference between adjacent points is equal to or greater than half the phase period, it is determined that phase value wrapping has occurred, and phase unwrapping is performed.
  • phase unwrapping for example, a process of adding a value equivalent to the phase period to the phase value may be performed.
  • Fig. 5 is a graph showing problems that arise due to differences in unwrapping paths in phase wrapping.
  • Fig. 6 is a schematic diagram showing defects that arise in three-dimensional shape data due to phase unwrapping.
  • the above-mentioned problem can also occur when measuring the head of object 50.
  • the connection path is not set appropriately, phase unwrapping may not be performed properly.
  • problems will occur in the generated three-dimensional shape data. Specifically, as in the example shown in Figure 6, there is a risk that three-dimensional shape data will be generated in which the neck area protrudes.
  • the first information processing device 1 is configured as a device that can solve the above-mentioned problems (i.e., problems with phase unwrapping).
  • Fig. 7 is a block diagram showing the functional configuration of the first information processing device.
  • the first information processing device 1 is configured to include, as components for realizing its functions, the image acquisition unit 110, the connection priority information generation unit 120, and the phase unwrapping unit 130 in addition to the first camera 211 and second camera 221 described above.
  • each of the image acquisition unit 110, the connection priority information generation unit 120, and the phase unwrapping unit 130 may be a processing block realized by the processor 11 described above (see FIG. 1).
  • the image acquisition unit 110 is configured to acquire a fringe image of the object 50.
  • the fringe image here is an image that represents the three-dimensional shape of the object 50 as a change in a two-dimensional pattern.
  • the image acquisition unit 110 may be configured to use coherent light such as a laser as a light source, and acquire an interference fringe image by interfering the reflected or transmitted light of the light irradiated on the object 50 as object light and the light obtained without passing through the object 50 as reference light.
  • the first unit 21 and the second unit 22 in the first information processing device 1 may have the functionality for acquiring such a fringe image.
  • the image acquisition unit 110 may be configured to acquire an image captured by the first camera 221 (hereinafter referred to as the "first image”) and an image captured by the second camera 221 (hereinafter referred to as the "second image") as fringe images of the object 50.
  • the image acquisition unit 110 may be configured to perform image analysis processing on the acquired fringe images.
  • the image acquisition unit 110 may be configured to acquire a phase image by performing image analysis processing on the fringe image.
  • the image acquisition unit 110 may also be configured to acquire an amplitude image by performing image analysis processing on the fringe image.
  • Information about each image acquired by the image acquisition unit 110 is configured to be output to each of the connection priority information generation unit 120 and the phase unwrapping unit 130.
  • the connection priority information generation unit 120 is configured to be able to generate connection priority information based on the shape characteristics of the object 50.
  • the connection priority information generation unit 120 may generate connection priority information based on, for example, shape characteristics that cause a step (specifically, shape characteristics around the boundary between the face region and the neck region).
  • the connection priority information is information for determining a phase connection path when performing phase unwrapping on the phase image of the object 50.
  • the connection priority information may include information indicating which part of the phase image should be given priority for phase unwrapping.
  • the connection priority information generation unit 120 may generate connection priority information based on, for example, images acquired by the image acquisition unit 110. Alternatively, the connection priority information generation unit 120 may generate connection priority information in response to user input. Specific methods for generating connection priority information will be described in detail in other embodiments described below.
  • the connection priority information generated by the connection priority information generation unit 120 is configured to be output to the phase unwrapping unit 130.
  • the phase unwrapping unit 130 is configured to be able to perform phase unwrapping on the phase image of the object 50.
  • the phase unwrapping unit 130 performs phase unwrapping based on the connection priority information generated by the connection priority information generation unit 120. That is, the phase unwrapping unit 130 determines a phase unwrapping path based on the connection priority information and performs phase unwrapping of the phase image.
  • the phase unwrapping unit 130 may perform phase unwrapping in accordance with a quality-guided path unwrapping algorithm, which is a path-following algorithm. In this way, phase unwrapping can be performed using an appropriate path using the connection priority information.
  • Fig. 8 is a flowchart showing the flow of operations of the first information processing device.
  • the image acquisition unit 110 first acquires a fringe image (step S101). Then, the image acquisition unit 110 performs image analysis processing on the fringe image to acquire a phase image (step S102).
  • connection priority information generation unit 120 generates connection priority information based on the shape characteristics of the object 50 (step S103).
  • the phase unwrapping unit 130 performs phase unwrapping of the phase image based on the connection priority information generated by the connection priority information generation unit 120 (step S104).
  • the phase unwrapping unit 130 may have a function to output the results after performing phase unwrapping of the phase image.
  • the first information processing device 1 performs phase unwrapping based on connection priority information.
  • the phase unwrapping path in phase unwrapping can be made appropriate. Therefore, it is possible to perform appropriate phase unwrapping of a phase image.
  • the first information processing device 1 can suppress defects in phase unwrapping such as those described in Figure 6. More specifically, if a part of the measurement object contains a step of ⁇ (i.e., half of the phase period 2 ⁇ ) or more, aliasing of the measurement value will occur as described in Figure 4.
  • connection priority information to select an appropriate phase unwrapping path, it is possible to suppress the occurrence of defects in phase unwrapping.
  • the second information processing device 1 will be described with reference to Figures 9 to 11.
  • the second information processing device 1 differs in some configurations and operations from the first information processing device 1 described above, but other parts may be similar to the first information processing device 1. Therefore, the following will describe in detail the parts that differ from the first embodiment, and will omit explanations of other overlapping parts as appropriate.
  • Fig. 9 is a flowchart showing the flow of operations of the second information processing device. Note that in Fig. 9, the same processes as those described in Fig. 8 are denoted by the same reference numerals.
  • the image acquisition unit 110 first acquires a fringe image (step S101).
  • the image acquisition unit 110 then performs image analysis processing on the fringe image to acquire a phase image (step S102).
  • the image acquisition unit 110 also performs image analysis processing on the fringe image to acquire an amplitude image (step S201).
  • the connection priority information generation unit 120 generates priority location information (step S202).
  • the priority location information is information used to generate connection priority information.
  • the priority location information is information that indicates the location where phase connection in phase unwrapping is performed preferentially (hereinafter referred to as the "priority location" as appropriate).
  • the priority location may be a location with relatively few steps. For example, at the boundary between the face region and neck region of the human head, the step on the back side (the step between the area behind the ear and the neck) is smaller than the step on the front side (i.e., the step between the tip of the chin and the neck). In this case, the step on the back side can be set as the priority location.
  • connection priority information generation unit 120 generates connection priority information by superimposing the priority location information on the amplitude image (step S203). Then, the phase unwrapping unit 130 performs phase unwrapping of the phase image based on the connection priority information generated by the connection priority information generation unit 120.
  • Fig. 10 is a chart showing a specific example of the operation of the second information processing device.
  • the image acquisition unit 110 analyzes the fringe image to acquire a phase image and an amplitude image.
  • the connection priority information generation unit 120 generates a mask image from the amplitude image.
  • the mask image is an image that indicates the area in the amplitude image where the object 50 exists.
  • connection priority information generation unit 120 generates priority location information using the mask image.
  • the right edge portion of the target area in the mask image is extracted, and the lower half of this is extracted as the priority location.
  • the area from the back of the neck to the side of the jaw of the target 50 is set as the priority location information. Note that how the priority location is extracted can be set in advance according to the shape characteristics of the measurement target.
  • connection priority information generation unit 120 superimposes priority location information on the amplitude image. This generates connection priority information.
  • the phase unwrapping unit 130 then performs phase unwrapping of the phase image based on the connection priority information. In the example shown in Figure 10, the portion from the back of the neck to the side of the jaw is given priority in phase unwrapping.
  • Fig. 11 is a schematic diagram showing the operation of the modified example of the second information processing device.
  • the amplitude image generated by the image acquisition unit 110 is displayed to a user (for example, a person using the device to measure the target 50).
  • the image acquisition unit 110 can output and display the amplitude image on a display provided in the output device (see Figure 1).
  • a message prompting the user to specify a priority location may be displayed together with the amplitude image.
  • the message "Please specify a priority location" is displayed.
  • the user performs an action to designate a priority location on the amplitude image. For example, the user may perform an action such as tracing the location they wish to designate as a priority location with a touch pen or mouse. At this time, a line is drawn where the user traced. The connection priority information generation unit 120 then sets the part corresponding to this line as the priority location. Once the priority location has been set, a message may be displayed to the user informing them that the priority location has been set. In the example shown in Figure 11, the message "Priority location has been set" is displayed.
  • connection priority information generation unit 120 generates priority location information from priority locations set in accordance with user input. Then, it generates connection priority information by superimposing the priority location information on the amplitude image.
  • the operation of setting the priority location described above may be performed each time the target 50 changes. In other words, it may be performed individually for multiple targets 50. Alternatively, the operation of setting the priority location may be performed once for multiple targets 50 in order to set a priority location that is common to all targets 50. In other words, after setting a priority location for the first target 50, the initially set priority location may be used for subsequent targets 50.
  • connection priority information is generated using priority location information.
  • priority connection information can be generated more appropriately.
  • FIG 10 by generating a mask image from an amplitude image and generating priority location information from the mask image, it is possible to generate appropriate priority connection information based on the shape characteristics of the target.
  • FIG 11 by generating priority location information in accordance with user input, it is possible to generate priority connection information that prioritizes connecting locations specified by the user.
  • the third information processing device 1 will be described with reference to Figures 12 and 13.
  • the third information processing device 1 differs in some configurations and operations from the first and second information processing devices 1 described above, but other parts may be similar to the first and second information processing devices 1. Therefore, the following will describe in detail the parts that differ from the embodiments already described, and will omit explanations of other overlapping parts as appropriate.
  • Fig. 12 is a block diagram showing the functional configuration of the third information processing device. Note that in Fig. 12, the same elements as those shown in Fig. 7 are denoted by the same reference numerals.
  • the guide unit 140 is configured to be able to determine whether or not both a face region and a neck region are included in the stripe image acquired by the image acquisition unit 110. Alternatively, the guide unit 140 may be configured to be able to determine whether or not both a face region and a neck region are included in the phase image or amplitude image. If the image acquired by the image acquisition unit 110 does not include both a face region and a neck region, the guide unit 140 outputs guide information for capturing an image that includes both a face region and a neck region. Note that if the image acquired by the image acquisition unit 110 includes both a face region and a neck region, the guide unit 140 does not need to output guide information.
  • the guide information may be guidance information that prompts the user to move to an appropriate position (i.e., a position where both the face area and neck area are within the imaging range of the first camera 211 and the second camera 221).
  • the guide unit 140 may output guide information that outputs messages such as "Please move a little further away from the camera” or "Please move your face up a little more.”
  • Such messages may be displayed as text on a display or the like, or as illustrations. They may also be output as audio via a speaker or the like.
  • the guide information may also be control information that controls the first camera 211 and the second camera 221 to change the imaging range.
  • the guide unit 140 may output guide information that controls the zoom or pan of the first camera 211 and the second camera 221.
  • the guide unit 140 may output guide information that changes the angle or position of the first camera 211 and the second camera 221.
  • the data output unit 150 is configured to be able to output three-dimensional shape data of the object 50 (i.e., three-dimensional data indicating the shape of the head of the object 50) based on the results of phase unwrapping by the phase unwrapping unit 130.
  • the data output unit 150 may output the three-dimensional shape data to a display or the like, causing an image corresponding to the three-dimensional shape data to be displayed.
  • the data output unit 150 may output the three-dimensional shape data to a database or the like, causing the three-dimensional shape data to be stored.
  • Fig. 13 is a flowchart showing the flow of operations of the third information processing device. Note that in Fig. 13, the same processes as those shown in Fig. 8 are denoted by the same reference numerals.
  • the image acquisition unit 110 first acquires a stripe image (step S101).
  • the guide unit 140 determines whether the striped image contains both a face region and a neck region (step S301). If the striped image does not contain both a face region and a neck region (step S301: NO), the guide unit 140 outputs guide information (step S302).
  • step S101 may be executed again. That is, after the guide information has been used to place both the face area and the neck area within the imaging ranges of the first camera 211 and the second camera 221, a striped image of the subject 50 may be captured again.
  • step S301 YES
  • the image acquisition unit 110 performs image analysis processing on the stripe image to acquire a phase image (step S102).
  • the connection priority information generation unit 120 generates connection priority information based on the shape characteristics of the object 50 (step S103).
  • phase unwrapping unit 130 performs phase unwrapping of the phase image based on the connection priority information generated by the connection priority information generation unit 120 (step S104). Then, the data output unit 150 outputs three-dimensional shape data of the object 50 based on the phase unwrapping results obtained by the phase unwrapping unit 130 (step S303).
  • the third information processing device 1 guide information is output when the image acquired by the image acquisition unit 110 does not include both the face region and neck region of the object 50. In this way, even if the position of the object 50 is shifted, the position can be adjusted using the guide information, and an image including the face region and neck region can be appropriately acquired. Furthermore, as already explained, the third information processing device 1 can appropriately perform phase unwrapping of the phase image. Therefore, based on the results of phase unwrapping, three-dimensional shape data including the face region and neck region of the object 50 can be appropriately output.
  • each embodiment also includes a processing method in which a program that operates the configuration of each embodiment to realize the functions of the above-mentioned embodiments is recorded on a recording medium, the program recorded on the recording medium is read as code, and the program is executed on a computer.
  • computer-readable recording media are also included in the scope of each embodiment.
  • each embodiment includes not only the recording medium on which the above-mentioned program is recorded, but also the program itself.
  • the recording medium may be, for example, a floppy disk, hard disk, optical disk, magneto-optical disk, CD-ROM, magnetic tape, non-volatile memory card, or ROM.
  • the scope of each embodiment is not limited to programs recorded on the recording medium that execute processing by themselves, but also includes programs that execute processing by running on an OS in conjunction with other software or expansion board functions.
  • the program itself may be stored on a server, and part or all of the program may be downloadable from the server to a user terminal.
  • the program may also be provided to the user in, for example, a SaaS (Software as a Service) format.
  • the information processing device described in Supplementary Note 1 is an information processing device that includes an acquisition means for acquiring a fringe image that represents the three-dimensional shape of the object to be measured as a change in a two-dimensional pattern, a generation means for generating connection priority information for determining a phase unwrapping path in phase unwrapping based on the shape characteristics of the object to be measured, and an unwrapping means for performing the phase unwrapping of a phase image obtained by analyzing the fringe image based on the connection priority information.
  • Appendix 2 The information processing device described in Appendix 2 is the information processing device described in Appendix 1, wherein the generation means generates priority location information indicating locations where phase connection in the phase wrapping should be performed preferentially based on shape characteristics common to multiple measurement objects, and generates the connection priority information by superimposing the priority location information on an amplitude image obtained by analyzing the fringe image.
  • the information processing device described in Supplementary Note 3 is the information processing device described in Supplementary Note 2, in which the generation means generates a mask image indicating the area in which the measurement target exists from the amplitude image, and generates the priority location information using the mask image.
  • the information processing device described in Appendix 4 is the information processing device described in Appendix 1, wherein the generation means displays the amplitude image to a user, generates priority location information indicating locations where phase connection in the phase wrapping should be performed preferentially based on input information input by the user after the amplitude image is displayed, and generates the connection priority information by superimposing the priority location information on the amplitude image obtained by analyzing the fringe image.
  • the information processing device described in Supplementary Note 5 is the information processing device described in any one of Supplementary Notes 1 to 4, wherein the unwrapping means performs the phase unwrapping in accordance with a quality-guided path unwrapping algorithm among path-following algorithms.
  • the information processing device described in Supplementary Note 6 is the information processing device described in any one of Supplementary Notes 1 to 5, wherein the phase image includes a step of ⁇ or more in a part of a region where the measurement object exists.
  • Appendix 7 The information processing device described in Appendix 7 is the information processing device described in any one of Appendixes 1 to 6, further comprising an output means for outputting three-dimensional shape data including the face region and neck region of the measurement target based on the result of the phase unwrapping.
  • Appendix 8 The information processing device described in Appendix 8 is the information processing device described in Appendix 7, further comprising a guide means for outputting guide information for capturing an image including both the face area and the neck area when the striped image does not include both the face area and the neck area.
  • the information processing method described in Supplementary Note 9 is an information processing method that, using at least one computer, acquires a fringe image that represents the three-dimensional shape of a measurement object as a change in a two-dimensional pattern, generates connection priority information for determining a phase unwrapping path in phase unwrapping based on shape characteristics of the measurement object, and performs the phase unwrapping of a phase image obtained by analyzing the fringe image based on the connection priority information.
  • the recording medium described in Supplementary Note 10 is a recording medium having recorded thereon a computer program for causing at least one computer to execute an information processing method, which includes acquiring a fringe image that represents the three-dimensional shape of a measurement object as a change in a two-dimensional pattern, generating connection priority information for determining a phase unwrapping path in phase unwrapping based on shape characteristics of the measurement object, and performing the phase unwrapping of a phase image obtained by analyzing the fringe image based on the connection priority information.
  • the computer program described in Supplementary Note 11 is a computer program that causes at least one computer to execute an information processing method of acquiring a fringe image that represents the three-dimensional shape of a measurement object as a change in a two-dimensional pattern, generating connection priority information for determining a phase unwrapping path in phase unwrapping based on shape characteristics of the measurement object, and performing the phase unwrapping of a phase image obtained by analyzing the fringe image based on the connection priority information.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

情報処理装置は、計測対象の3次元形状を2次元パターンの変化として表す縞画像を取得する取得手段と、計測対象の形状特性に基づいて、位相アンラッピングにおける位相接続経路を決定するための接続優先度情報を生成する生成手段と、接続優先度情報に基づいて、縞画像を解析して得られる位相画像の位相アンラッピングを行うアンラッピング手段と、を備える。

Description

情報処理装置、情報処理方法、及び記録媒体
 この開示は、情報処理装置、情報処理方法、及び記録媒体の技術分野に関する。
 この種の装置として、カメラで撮影した画像から3次元形状を示すデータを生成するものが知られている。例えば特許文献1は、人物の頭部を右撮影ユニット及び左撮影ユニットの各々で撮影し、各撮影ユニットで撮影した画像から3次元形状を計算してディスプレイ等に出力する技術を開示している。
国際公開第2022/034694号
 この開示は、先行技術文献に開示された技術を改良することを目的とする情報処理装置、情報処理方法、及び記録媒体を提供することを課題とする。
 この開示の情報処理装置の一の態様は、計測対象の3次元形状を2次元パターンの変化として表す縞画像を取得する取得手段と、前記計測対象の形状特性に基づいて、位相アンラッピングにおける位相接続経路を決定するための接続優先度情報を生成する生成手段と、前記接続優先度情報に基づいて、前記縞画像を解析して得られる位相画像の前記位相アンラッピングを行うアンラッピング手段と、を備える。
 この開示の情報処理方法の一の態様は、少なくとも1つのコンピュータによって、計測対象の3次元形状を2次元パターンの変化として表す縞画像を取得し、前記計測対象の形状特性に基づいて、位相アンラッピングにおける位相接続経路を決定するための接続優先度情報を生成し、前記接続優先度情報に基づいて、前記縞画像を解析して得られる位相画像の前記位相アンラッピングを行う。
 この開示の記録媒体の一の態様は、少なくとも1つのコンピュータに、計測対象の3次元形状を2次元パターンの変化として表す縞画像を取得し、前記計測対象の形状特性に基づいて、位相アンラッピングにおける位相接続経路を決定するための接続優先度情報を生成し、前記接続優先度情報に基づいて、前記縞画像を解析して得られる位相画像の前記位相アンラッピングを行う、情報処理方法を実行させるコンピュータプログラムが記録されている。
第1の情報処理装置のハードウェア構成を示すブロック図である。 第1の情報処理装置の構成を示す斜視図である。 第1の情報処理装置の構成を示す上面図である。 位相ラッピングによるデータの変化を示すグラフ図である。 位相ラッピングにおけるアンラッピング経路の違いによって生じる問題点を示すグラフである。 位相アンラッピングによって3次元形状データに生じる不具合を示す模式図である。 第1の情報処理装置の機能的構成を示すブロック図である。 第1の情報処理装置の動作の流れを示すフローチャートである。 第2の情報処理装置の動作の流れを示すフローチャートである。 第2の情報処理装置の具体的な動作例を示すチャート図である。 第2の情報処理装置の変形例の動作を示す模式図である。 第3の情報処理装置の機能的構成を示すブロック図である。 第3の情報処理装置の動作の流れを示すフローチャートである。
 以下、図面を参照しながら、情報処理装置、情報処理方法、及び記録媒体の実施形態について説明する。
 <第1実施形態>
 第1の情報処理装置について、図1から図8を参照して説明する。
 (ハードウェア構成)
 まず、図1を参照しながら、第1の情報処理装置のハードウェア構成について説明する。図1は、第1の情報処理装置のハードウェア構成を示すブロック図である。
 図1に示すように、第1の情報処理装置1は、プロセッサ11と、RAM(Random Access Memory)12と、ROM(Read Only Memory)13と、記憶装置14と、入力装置15と、出力装置16と、第1ユニット21と、第2ユニット22と、を備えている。上述したプロセッサ11と、RAM12と、ROM13と、記憶装置14と、入力装置15と、出力装置16と、第1ユニット21と、第2ユニット22とは、それぞれデータバス17を介して接続されている。なお、データバス17は、データバス以外のインターフェース(例えば、LANやUSB等)であってもよい。
 プロセッサ11は、コンピュータプログラムを読み込む。例えば、プロセッサ11は、RAM12、ROM13及び記憶装置14のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ11は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ11は、ネットワークインタフェースを介して、第1の情報処理装置1の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、読み込んでもよい)。プロセッサ11は、読み込んだコンピュータプログラムを実行することで各種処理を実行する。プロセッサ11が読み込んだコンピュータプログラムを実行すると、プロセッサ11内に、第1の情報処理装置1が実行する処理に関する機能ブロックが実現される。即ち、プロセッサ11は、第1の情報処理装置1における各制御を実行するコントローラとして機能してよい。
 プロセッサ11は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、量子プロセッサとして構成されてよい。プロセッサ11は、これらのうち一つで構成されてもよいし、複数を並列で用いるように構成されてもよい。
 RAM12は、プロセッサ11が実行するコンピュータプログラムを一時的に記憶する。RAM12は、プロセッサ11がコンピュータプログラムを実行している際にプロセッサ11が一時的に使用するデータを一時的に記憶する。RAM12は、例えば、D-RAM(Dynamic Random Access Memory)や、SRAM(Static Random Access Memory)であってよい。また、RAM12に代えて、他の種類の揮発性メモリが用いられてもよい。
 ROM13は、プロセッサ11が実行するコンピュータプログラムを記憶する。ROM13は、その他に固定的なデータを記憶していてもよい。ROM13は、例えば、P-ROM(Programmable Read Only Memory)や、EPROM(Erasable Read Only Memory)であってよい。また、ROM13に代えて、他の種類の不揮発性メモリが用いられてもよい。
 記憶装置14は、第1の情報処理装置1が長期的に保存するデータを記憶する。記憶装置14は、プロセッサ11の一時記憶装置として動作してもよい。記憶装置14は、プロセッサ11が実行するコンピュータプログラムを記憶してもよい。記憶装置14は、例えば、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
 入力装置15は、第1の情報処理装置1のユーザからの入力指示を受け取る装置である。入力装置15は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。入力装置15は、例えばマイクを含む音声入力が可能な装置であってもよい。
 出力装置16は、第1の情報処理装置1に関する情報を外部に対して出力する装置である。例えば、出力装置16は、第1の情報処理装置1に関する情報を表示可能な表示装置(例えば、ディスプレイやモニタ等)であってもよい。また、出力装置16は、情報処理装置1に関する情報を音声出力可能なスピーカ等であってもよい。
 第1ユニット21は、第1カメラ211と、第1照射部212とを備えて構成されている。第1カメラ211は、第1の方向から対象を撮影するように配置されている。第1照射部212は、第1の方向(即ち、第1カメラ211の撮影方向)から対象に対して光を照射するように配置されている。同様に、第2ユニット22は、第2カメラ221と、第2照射部222とを備えて構成されている。第2カメラ221は、第2の方向から対象を撮影するように配置されている。第2照射部222は、第2の方向(即ち、第2カメラ221の撮影方向)から対象に対して光を照射するように配置されている。第1ユニット21及び第2ユニット22の具体的な配置については、後に詳しく説明する。
 第1カメラ211及び第2カメラ221は、例えばCCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の固体撮像素子を含んでいてもよい。また、第1カメラ211及び第2カメラ221は、被写体の像を固体撮像素子の撮像面に結像させる光学系、固体撮像素子の出力を信号処理して画素毎の輝度値を得る信号処理回路等を含んでいてもよい。
 第1照射部212及び第2照射部222は、周期的な光パターンを投射可能に構成されてよい。例えば、第1照射部212及び第2照射部222は、周期の異なる正弦波パターンを投射するように構成されてよい。第1照射部212及び第2照射部222は、例えば、DLP(Digital light Processing)プロジェクタや液晶プロジェクタ等であってもよい。
 なお、第1の情報処理装置は、図1で説明した各構成要素の一部を含むものとして構成されてよい。例えば、第1の情報処理装置1は、上述した構成要素のうち、プロセッサ11、RAM12、及びROM13のみを含んで構成されてよい。この場合、記憶装置14、入力装置15、出力装置16、第1ユニット21、及び第2ユニット11の各々は、第1の情報処理装置1の外部の装置として設けられてよい。また、第1の情報処理装置1における演算機能の一部は、外部サーバやクラウド等によって実現されてもよい。
 (具体的な装置構成)
 次に、図2及び図3を参照しながら、第1の情報処理装置1の具体的な構成(特に、第1ユニット21及び第2ユニット22の配置例)について説明する。図2は、第1の情報処理装置の構成を示す斜視図である。図3は、第1の情報処理装置の構成を示す上面図である。
 図2及び図3に示すように、第1の情報処理装置1は、対象50の頭部(具体的には、対象50の顔を含む顔領域及び対象50の首を含む首領域)を撮影する装置として構成されている。対象50の撮影は、例えば、第1の情報処理装置1の前に対象を座らせた状態で行われてよい。或いは、対象50の撮影は、第1の情報処理装置1の前に対象を立たせた状態で行われてよい。
 第1の情報処理装置1における第1ユニット21は、対象50から見て左前方に配置される。よって、第1カメラ211は、対象50の頭部を左前方側から撮影する。また、第1照射部212は、対象の50の頭部に向けて左前方側から光を照射する。第1の情報処理装置1における第2ユニット22は、対象50から見て右前方に配置される。よって、第2カメラ221は、対象50の頭部を右前方側から撮影する。また、第2照射部222は、対象の50の頭部に向けて右前方側から光を照射する。
 第1の情報処理装置1は、対象50の正面から対象の頭部を撮影する第3カメラ300を備えている。第3カメラ300は、上述した第1カメラ211及び第2カメラ221と同様のカメラであってよい。ただし、第3カメラ300は第1の情報処理装置1における必須の構成要素ではない。
 (位相アンラッピング)
 次に、図4を参照しながら、第1の情報処理装置1において行われる位相アンラッピングについて説明する。図4は、位相ラッピングによるデータの変化を示すグラフ図である。
 図4に示すように、計測対象である物体の真の形状データが、xの増加に応じてzが単調増加する直線で表されているとする。このような物体を第1の情報処理装置1で計測する場合、装置で規定されている高さ(具体的には、位相周期)を超える部分については、計測値の折り返し(即ち、位相ラッピング)が発生する。よって、第1の情報処理装置1が計測する計測データは、所定の位相周期(ここでは2π)で計測値が折り畳まれたデータとなる。
 上述した折り畳まれたデータを復元する際には、位相アンラッピングと呼ばれる処理を行う。例えば、隣接する計測点を観察し、それらの値の位相差に応じて位相アンラッピングを行う。具体的には、隣接点の位相差が位相周期の半分(即ち、π)未満である場合には、位相値の折り返しは起きていないと判断し、位相アンラッピングを行わない。一方で、隣接点の位相差が位相周期の半分以上である場合には、位相値の折り返しが起きていると判断し、位相アンラッピングを行う。位相アンラッピングを行う場合には、例えば、位相周期分の値を位相値に加算する処理を行えばよい。
 (位相アンラッピングの問題点)
 次に、図5及び図6を参照しながら、上述した位相アンラッピングにおいて生じ得る問題点について具体的に説明する。図5は、位相ラッピングにおけるアンラッピング経路の違いによって生じる問題点を示すグラフである。図6は、位相アンラッピングによって3次元形状データに生じる不具合を示す模式図である。
 図5において、2次元の位相アンラッピングを行う場合、1次元の場合とは異なり、位相アンラッピングをどのような経路で行うかを適切に決定することが要求される。例えば、図5に示す物体の計測する例を挙げると、時計回りの経路で位相アンラッピングを行う場合と、反時計周りの経路で位相アンラッピングを行う場合とで、復元後の形状に違いが生じてしまう。具体的には、反時計回りの経路で位相アンラッピングを行った場合には、真形状と同じ形状が復元される一方、時計回りの経路で位相アンラッピングを行った場合には、真の形状とは異なる形状(下側に窪んだ形状)が復元されてしまう。
 図6において、対象50の頭部を計測する場合にも、上述した問題は生じ得る。例えば、人間の頭部では、顎と首との間に比較的大きな段差が存在する。このような大きな段差があると、計測可能段差(言い換えれば、位相周期)を超えるため、段差の前後の部分が見かけ上同じ高さとして表現されてしまうおそれがある。よって、接続経路が適切に設定されていないと位相アンラッピングが適切に行われない可能性がある。例えば、位相画像に対して位相アンラッピングを行うことで3次元形状データを生成する場合、生成される3次元形状データに不具合が生じる。具体的には、図6に示す例のように、首領域が飛び出した3次元形状データが生成されてしまうおそれがある。
 第1の情報処理装置1は、上述した問題点(即ち、位相アンラッピングにおける問題点)を解決可能な装置として構成されている。
 (機能的構成)
 次に、図7を参照しながら、第1の情報処理装置1の機能的構成について説明する。図7は、第1の情報処理装置の機能的構成を示すブロック図である。
 図7において、第1の情報処理装置1は、その機能を実現するための構成要素として、上述した第1カメラ211及び第2カメラ221に加え、画像取得部110と、接続優先度情報生成部120と、位相アンラッピング部130と、を備えて構成されている。なお、画像取得部110、接続優先度情報生成部120、及び位相アンラッピング部130の各々は、上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。
 画像取得部110は、対象50の縞画像を取得可能に構成されている。ここでの縞画像は、対象50の3次元形状を2次元パターンの変化として表した画像である。画像取得部110は、光源にレーザなどの可干渉光を用い、対象50に照射した光の反射光又は透過光を物体光として、また対象50を経ずに得られた光を参照光として、これら物体光と参照光とを干渉させることで得られる干渉縞画像を取得するように構成されてよい。このような縞画像を取得するための機能は、第1の情報処理装置1における第1ユニット21及び第2ユニット22が有していればよい。例えば、画像取得部110は、第1カメラ221で撮影した画像(以下、適宜「第1画像」と称する)と、第2カメラ221で撮影した画像(以下、適宜「第2画像」と称する)とを、対象50の縞画像として取得するように構成されてよい。画像取得部110は、取得した縞画像に対して画像分析処理を実行可能に構成されてよい。例えば、画像取得部110は、縞画像に対する画像分析処理を行うことで位相画像を取得するように構成されてよい。また、画像取得部110は、縞画像に対する画像分析処理を行うことで振幅画像を取得するように構成されてよい。画像取得部110で取得された各画像に関する情報は、接続優先度情報生成部120及び位相アンラッピング部130の各々に出力可能に構成されている。
 接続優先度情報生成部120は、対象50の形状特性に基づいて、接続優先度情報を生成可能に構成されている。接続優先度情報生成部120は、例えば段差を生じさせる形状特性(具体的には、顔領域と首領域との境界周辺の形状特性など)に基づいて、接続優先度情報を生成してよい。接続優先度情報は、対象50の位相画像の位相アンラッピング行う際の位相接続経路を決定するための情報である。例えば、接続優先度情報は、位相画像のどの部分を優先的に位相接続するかを示す情報を含んでいてよい。接続優先度情報生成部120は、例えば、画像取得部110で取得された画像に基づいて接続優先度情報を生成してよい。或いは、接続優先度情報生成部120は、ユーザの入力に応じて接続優先度情報を生成してもよい。接続優先度情報の具体的な生成方法については、後述する他の実施形態において詳しく説明する。接続優先度情報生成部120で生成された接続優先度情報は、位相アンラッピング130に出力される構成となっている。
 位相アンラッピング部130は、対象50の位相画像に対して位相アンラッピングを行うことが可能に構成されている。位相アンラッピング130は、接続優先度情報生成部120で生成された接続優先度情報に基づいて、位相アンラッピングを行う。即ち、位相アンラッピング部130は、接続優先度情報に基づいて位相接続経路を決定して、位相画像の位相アンラッピングを行う。この際、位相アンラッピング部130は、経路追従型アルゴリズムのうち、品質ガイド付き経路アンラッピングアルゴリズムに沿って位相アンラッピングを行ってよい。このようにすれば、接続優先度情報を用いて、適切な経路で位相アンラッピングを行うことができる。
 (動作の流れ)
 次に、図8を参照しながら、第1の情報処理装置1の動作の流れについて説明する。図8は、第1の情報処理装置の動作の流れを示すフローチャートである。
 図8に示すように、第1の情報処理装置1の動作が開始されると、まず画像取得部110が縞画像を取得する(ステップS101)。そして、画像取得部110は、縞画像に対する画像分析処理を行って、位相画像を取得する(ステップS102)。
 続いて、接続優先度情報生成部120が、対象50の形状特性に基づいて、接続優先度情報を生成する(ステップS103)。そして、位相アンラッピング部130が、接続優先度情報生成部120で生成された接続優先度情報に基づいて、位相画像の位相アンラッピングを行う(ステップS104)。なお、位相アンラッピング部130は、位相画像の位相アンラッピングを行った後、その結果を出力する機能を有していてもよい。
 (技術的効果)
 次に、第1の情報処理装置1によって得られる技術的効果について説明する。
 図1から図8で説明したように、第1の情報処理装置1では、接続優先度情報に基づいて位相アンラッピングが行われる。このようにすれば、位相アンラッピングにおける位相接続経路を適切なものとすることができる。よって、位相画像の位相アンラッピングを適切に行うことが可能である。例えば、第1の情報処理装置1によれば、図6で説明したような位相アンラッピングにおける不具合を抑制することが可能である。より具体的には、計測対象の一部にπ(即ち、位相周期2πの半分)以上の段差が含まれている場合、図4で説明したような計測値の折り返しが起こる。しかしながら、接続優先度情報を用いて位相接続経路を適切なものとすることによって、位相アンラッピングにおける不具合の発生を抑制できる。
 <第2実施形態>
 第2の情報処理装置1について、図9から図11を参照して説明する。なお、第2の情報処理装置1は、上述した第1の情報処理装置1と比べて一部の構成及び動作が異なるものであり、その他の部分については第1の情報処理装置1と同様であってよい。このため、以下では、第1実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
 (動作の流れ)
 まず、図9を参照しながら、第2の情報処理装置1の動作の流れについて説明する。図9は、第2の情報処理装置の動作の流れを示すフローチャートである。なお、図9では、図8で説明した各処理と同様の処理に同一の符号を付している。
 図9に示すように、第2の情報処理装置1の動作が開始されると、まず画像取得部110が縞画像を取得する(ステップS101)。そして、画像取得部110は、縞画像に対する画像分析処理を行って、位相画像を取得する(ステップS102)。また、画像取得部110は、縞画像に対する画像分析処理を行って、振幅画像を取得する(ステップS201)。
 続いて、接続優先度情報生成部120が、優先箇所情報を生成する(ステップS202)。優先箇所情報は、接続優先度情報を生成するために用いる情報である。優先箇所情報は、位相アンラッピングにおける位相接続を優先的に行う箇所(以下、適宜「優先箇所」と称する)を示す情報である。優先箇所は、段差が比較的少ない箇所であってよい。例えば、人体頭部における顔領域と首領域との境界部分では、前側の段差(即ち、顎の先端と首との段差)よりも、後ろ側の段差(耳の後ろ付近と首との段差)の方が小さい。この場合、後ろ側の段差部分を優先箇所とすればよい。
 続いて、接続優先度情報生成部120は、優先箇所情報を振幅画像に重畳することで、接続優先度情報を生成する(ステップS203)。そして、位相アンラッピング部130が、接続優先度情報生成部120で生成された接続優先度情報に基づいて、位相画像の位相アンラッピングを行う。
 (動作例)
 次に、図10を参照しながら、第2の情報処理装置1の具体的な動作例について説明する。図10は、第2の情報処理装置の具体的な動作例を示すチャート図である。
 図10において、画像取得部110は、縞画像を分析して位相画像及び振幅画像を取得する。接続優先度情報生成部120は、振幅画像からマスク画像を生成する。マスク画像は、振幅画像における対象50が存在する領域を示す画像である。
 その後、接続優先度情報生成部120は、マスク画像を用いて優先箇所情報を生成する。図10に示す例では、マスク画像における対象領域の右側のエッジ部分を抽出し、その下半分を優先箇所として抽出している。このような動作により、対象50の首の後ろ側から顎の側面にかけての部分が、優先箇所情報として設定される。なお、どのようにして優先箇所を抽出するかについては、計測対象の形状特性に応じて予め設定しておけばよい。
 その後、接続優先度情報生成部120は、振幅画像に優先箇所情報を重畳する。これにより、接続優先度情報が生成される。そして、位相アンラッピング部130は、接続優先度情報に基づいて、位相画像の位相アンラッピングを行う。図10に示す例では、位相アンラッピングにおいて、首の後ろ側から顎の側面にかけての部分が優先的に位相接続されることになる。
 (変形例)
 次に、図11を参照しながら、第2の情報処理装置1の変形例に係る動作成について説明する。図11は、第2の情報処理装置の変形例の動作を示す模式図である。
 図11において、第2の情報処理装置1の変形例では、画像取得部110が生成した振幅画像が、ユーザ(例えば、装置を利用して対象50の計測を行っている人物など)に対して表示される。画像取得部110は、出力装置(図1参照)が備えるディスプレイに振幅画像を出力して表示させればよい。この際、振幅画像と共に、優先箇所を指定するよう促すメッセージが表示されてもよい。図11に示す例では、「優先箇所を指定してください」というメッセージが表示されている。
 振幅画像が表示されると、ユーザは、振幅画像における優先箇所を指定する動作を行う。例えば、ユーザは、優先箇所に指定したい箇所をタッチペンやマウスでなぞるような動作を行ってよい。この際、ユーザがなぞった箇所には線が描かれる。そして、接続優先情報生成部120は、この線に対応する部分を優先箇所として設定する。優先箇所が設定されると、ユーザに対して優先箇所が設定された旨を通知するメッセージが表示されてよい。図11に示す例では、「優先箇所を設定しました」というメッセージが表示されている。
 接続優先度情報生成部120は、上述したように、ユーザの入力に応じて設定された優先箇所から優先箇所情報を生成する。そして、優先箇所情報を振幅画像に重畳することで、接続優先度情報を生成する。
 なお、上述した優先箇所を設定する動作は、対象50が変わる度に行われてよい。即ち、複数の対象50に対して個別に行われてもよい。或いは、優先箇所を設定する動作は、複数の対象50に共通する優先箇所を設定するために、まとめて1回だけ行われてもよい。即ち、最初の対象50に対して優先箇所を設定した後は、以降の対象50について最初に設定した優先箇所を用いるようにしてもよい。
 (技術的効果)
 次に、第2の情報処理装置1によって得られる技術的効果について説明する。
 図9から図11で説明したように、第2の情報処理装置1では、優先箇所情報を用いて接続優先度情報が生成される。このようにすれば、より適切に優先度接続情報を生成することができる。例えば、図10に示したように、振幅画像からマスク画像を生成し、マスク画像から優先箇所情報を生成するようにすれば、対象の形状特性に基づく適切な優先度接続情報を生成することが可能となる。また、図11に示したように、ユーザの入力に応じて優先箇所情報を生成するようにすれば、ユーザの指定する箇所を優先的に接続する優先度接続情報を生成することが可能となる。
 <第3実施形態>
 第3の情報処理装置1について、図12及び図13を参照して説明する。なお、第3の情報処理装置1は、上述した第1及び第2の情報処理装置1と比べて一部の構成及び動作が異なるものであり、その他の部分については第1及び第2の情報処理装置1と同様であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
 (機能的構成)
 まず、図12を参照しながら、第3の情報処理装置1の機能的構成について説明する。図12は、第3の情報処理装置の機能的構成を示すブロック図である。なお、図12では、図7で示した構成要素と同様の要素に同一の符号を付している。
 図12において、第3の情報処理装置1は、その機能を実現するための構成要素として、第1カメラ211及び第2カメラ221と、画像取得部110と、接続優先度情報生成部120と、位相アンラッピング部130と、ガイド部140と、データ出力部150と、を備えて構成されている。即ち、第3の情報処理装置1は、第1実施形態の構成(図7参照)に加えて、ガイド部140と、データ出力部150と、を更に備えている。なお、ガイド部140及びデータ出力部150の各々は、上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。
 ガイド部140は、画像取得部110で取得される縞画像に、顔領域及び首領域の両方が含まれているか否かを判定可能に構成されている。或いは、ガイド部140は、位相画像又は振幅画像に、顔領域及び首領域の両方が含まれているか否かを判定可能に構成されてもよい。ガイド部140は、画像取得部110で取得された画像に顔領域及び首領域の両方が含まれていない場合、顔領域及び首領域の両方を含む画像を撮影するためのガイド情報を出力する。なお画像取得部110で取得された画像に顔領域及び首領域の両方が含まれている場合、ガイド部140は、ガイド情報を出力しなくてよい。
 ガイド情報は、ユーザに適切な位置(即ち、顔領域及び首領域の両方が第1カメラ211及び第2カメラ221の撮像範囲内に収まる位置)への移動を促す誘導情報であってよい。例えば、ガイド部140は、「もう少しカメラから離れてください」、或いは「もう少し顔を上に移動させてください」等のメッセージを出力するガイド情報を出力してよい。このようなメッセージは、例えばディスプレイ等によってテキスト表示されてもよいし、イラスト表示されてもよい。また、スピーカ等によって音声出力されてもよい。
 また、ガイド情報は、第1カメラ211及び第2カメラ221を制御して撮像範囲を変化させる制御情報であってもよい。例えば、ガイド部140は、第1カメラ211及び第2カメラ221のズームやパンを制御するガイド情報を出力してよい。或いは、ガイド部140は、第1カメラ211及び第2カメラ221の角度や位置を変化させるガイド情報を出力してもよい。
 データ出力部150は、位相アンラッピング部130による位相アンラッピングの結果に基づいて、対象50の3次元形状データ(即ち、対象50の頭部の形状を示す3次元データ)を出力可能に構成されている。例えば、データ出力部150は、ディスプレイ等に3次元形状データを出力し、3次元形状データに対応する画像を表示させてよい。或いは、データ出力部150は、データベース等に3次元形状データを出力し、3次元形状データを蓄積させてもよい。
 (動作の流れ)
 次に、図13を参照しながら、第3の情報処理装置1の動作の流れについて説明する。図13は、第3の情報処理装置の動作の流れを示すフローチャートである。なお、図13では、図8で示した処理と同様の処理に同一の符号を付している。
 図13に示すように、第3の情報処理装置1の動作が開始されると、まず画像取得部110が縞画像を取得する(ステップS101)。
 続いて、ガイド部140が、縞画像に顔領域及び首領域の両方が含まれているか否かを判定する(ステップS301)。縞画像に顔領域及び首領域の両方が含まれていない場合(ステップS301:NO)、ガイド部140はガイド情報を出力する(ステップS302)。
 なお、ガイド情報が出力された後は、再びステップS101の処理が実行されてよい。即ち、ガイド情報によって顔領域及び首領域の両方が第1カメラ211及び第2カメラ221の撮像範囲内に収まる状態とされてから、再び対象50の縞画像が撮影されてよい。
 他方、縞画像に顔領域及び首領域の両方が含まれている場合(ステップS301:YES)、画像取得部110は、縞画像に対する画像分析処理を行って、位相画像を取得する(ステップS102)。そして、接続優先度情報生成部120が、対象50の形状特性に基づいて、接続優先度情報を生成する(ステップS103)。
 続いて、位相アンラッピング部130が、接続優先度情報生成部120で生成された接続優先度情報に基づいて、位相画像の位相アンラッピングを行う(ステップS104)。そして、データ出力部150が、位相アンラッピング部130による位相アンラッピング結果に基づいて、対象50の3次元形状データを出力する(ステップS303)。
 (技術的効果)
 次に、第3の情報処理装置1によって得られる技術的効果について説明する。
 図12及び図13で説明したように、第3の情報処理装置1では、画像取得部110で取得された画像に対象50の顔領域及び首領域の両方が含まれていない場合に、ガイド情報が出力される。このようにすれば、対象50の位置がずれている場合であっても、ガイド情報により位置を調整して、顔領域及び首領域を含む画像を適切に取得することができる。また、第3の情報処理装置1では、すでに説明したように位相画像の位相アンラッピングを適切に行える。よって、位相アンラッピングの結果に基づいて、対象50の顔領域及び首領域を含む3次元形状データを適切に出力することができる。
 上述した各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
 記録媒体としては例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性メモリカード、ROMを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、OS上で動作して処理を実行するものも各実施形態の範疇に含まれる。更に、プログラム自体がサーバに記憶され、ユーザ端末にサーバからプログラムの一部または全てをダウンロード可能なようにしてもよい。プログラムは、例えばSaaS(Software as a Service)形式でユーザに提供されてもよい。
 <付記>
 以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
 (付記1)
 付記1に記載の情報処理装置は、計測対象の3次元形状を2次元パターンの変化として表す縞画像を取得する取得手段と、前記計測対象の形状特性に基づいて、位相アンラッピングにおける位相接続経路を決定するための接続優先度情報を生成する生成手段と、前記接続優先度情報に基づいて、前記縞画像を解析して得られる位相画像の前記位相アンラッピングを行うアンラッピング手段と、を備える情報処理装置である。
 (付記2)
 付記2に記載の情報処理装置は、前記生成手段は、複数の前記計測対象に共通する形状特性に基づいて、前記位相ラッピングにおける位相接続を優先的に行う箇所を示す優先箇所情報を生成し、前記優先箇所情報を、前記縞画像を解析して得られる振幅画像に重畳することで、前記接続優先度情報を生成する、付記1に記載の情報処理装置である。
 (付記3)
 付記3に記載の情報処理装置は、前記生成手段は、前記振幅画像から前記計測対象が存在する領域を示すマスク画像を生成し、前記マスク画像を用いて前記優先箇所情報を生成する、付記2に記載の情報処理装置である。
 (付記4)
 付記4に記載の情報処理装置は、前記生成手段は、前記振幅画像をユーザに対して表示し、前記振幅画像を表示した後に前記ユーザから入力された入力情報に基づいて、前記位相ラッピングにおける位相接続を優先的に行う箇所を示す優先箇所情報を生成し、前記優先箇所情報を、前記縞画像を解析して得られる振幅画像に重畳することで、前記接続優先度情報を生成する、付記1に記載の情報処理装置である。
 (付記5)
 付記5に記載の情報処理装置は、前記アンラッピング手段は、経路追従型アルゴリズムのうち、品質ガイド付き経路アンラッピングアルゴリズムに沿って前記位相アンラッピングを行う、付記1から4のいずれか一項に記載の情報処理装置である。
 (付記6)
 付記6に記載の情報処理装置は、前記位相画像は、前記計測対象が存在する領域の一部にπ以上の段差を含む、付記1から5のいずれか一項に記載の情報処理装置である。
 (付記7)
 付記7に記載の情報処理装置は、前記位相アンラッピングの結果に基づいて、前記計測対象の顔領域及び首領域を含む3次元形状データを出力する出力手段を更に備える、付記1から6のいずれか一項に記載の情報処理装置である。
 (付記8)
 付記8に記載の情報処理装置は、前記縞画像に前記顔領域及び前記首領域の両方が含まれていない場合に、前記顔領域及び前記首領域の両方を含む画像を撮影するためのガイド情報を出力するガイド手段を更に備える、付記7に記載の情報処理装置である。
 (付記9)
 付記9に記載の情報処理方法は、少なくとも1つのコンピュータによって、計測対象の3次元形状を2次元パターンの変化として表す縞画像を取得し、前記計測対象の形状特性に基づいて、位相アンラッピングにおける位相接続経路を決定するための接続優先度情報を生成し、前記接続優先度情報に基づいて、前記縞画像を解析して得られる位相画像の前記位相アンラッピングを行う、情報処理方法である。
 (付記10)
 付記10に記載の記録媒体は、少なくとも1つのコンピュータに、計測対象の3次元形状を2次元パターンの変化として表す縞画像を取得し、前記計測対象の形状特性に基づいて、位相アンラッピングにおける位相接続経路を決定するための接続優先度情報を生成し、前記接続優先度情報に基づいて、前記縞画像を解析して得られる位相画像の前記位相アンラッピングを行う、情報処理方法を実行させるコンピュータプログラムが記録された記録媒体である。
 (付記11)
 付記11に記載のコンピュータプログラムは、少なくとも1つのコンピュータに、計測対象の3次元形状を2次元パターンの変化として表す縞画像を取得し、前記計測対象の形状特性に基づいて、位相アンラッピングにおける位相接続経路を決定するための接続優先度情報を生成し、前記接続優先度情報に基づいて、前記縞画像を解析して得られる位相画像の前記位相アンラッピングを行う、情報処理方法を実行させるコンピュータプログラムである。
 この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報処理装置、情報処理方法、及び記録媒体もまたこの開示の技術思想に含まれる。
 10 情報処理装置
 11 プロセッサ
 12 RAM
 13 ROM
 14 記憶装置
 15 入力装置
 16 出力装置
 17 データバス
 21 第1ユニット
 211 第1カメラ
 212 第1照射部
 22 第2ユニット
 221 第2カメラ
 222 第2照射部
 300 第3カメラ
 50 対象
 110 画像取得部
 120 接続優先度情報生成部
 130 位相アンラッピング部
 140 ガイド部
 150 データ出力部

Claims (10)

  1.  計測対象の3次元形状を2次元パターンの変化として表す縞画像を取得する取得手段と、
     前記計測対象の形状特性に基づいて、位相アンラッピングにおける位相接続経路を決定するための接続優先度情報を生成する生成手段と、
     前記接続優先度情報に基づいて、前記縞画像を解析して得られる位相画像の前記位相アンラッピングを行うアンラッピング手段と、
     を備える情報処理装置。
  2.  前記生成手段は、
     複数の前記計測対象に共通する形状特性に基づいて、前記位相ラッピングにおける位相接続を優先的に行う箇所を示す優先箇所情報を生成し、
     前記優先箇所情報を、前記縞画像を解析して得られる振幅画像に重畳することで、前記接続優先度情報を生成する、
     請求項1に記載の情報処理装置。
  3.  前記生成手段は、
     前記振幅画像から前記計測対象が存在する領域を示すマスク画像を生成し、
     前記マスク画像を用いて前記優先箇所情報を生成する、
     請求項2に記載の情報処理装置。
  4.  前記生成手段は、
     前記振幅画像をユーザに対して表示し、
     前記振幅画像を表示した後に前記ユーザから入力された入力情報に基づいて、前記位相ラッピングにおける位相接続を優先的に行う箇所を示す優先箇所情報を生成し、
     前記優先箇所情報を、前記縞画像を解析して得られる振幅画像に重畳することで、前記接続優先度情報を生成する、
     請求項1に記載の情報処理装置。
  5.  前記アンラッピング手段は、経路追従型アルゴリズムのうち、品質ガイド付き経路アンラッピングアルゴリズムに沿って前記位相アンラッピングを行う、
     請求項1から4のいずれか一項に記載の情報処理装置。
  6.  前記位相画像は、前記計測対象が存在する領域の一部にπ以上の段差を含む、
     請求項1から4のいずれか一項に記載の情報処理装置。
  7.  前記位相アンラッピングの結果に基づいて、前記計測対象の顔領域及び首領域を含む3次元形状データを出力する出力手段を更に備える、
     請求項1から4のいずれか一項に記載の情報処理装置。
  8.  前記縞画像に前記顔領域及び前記首領域の両方が含まれていない場合に、前記顔領域及び前記首領域の両方を含む画像を撮影するためのガイド情報を出力するガイド手段を更に備える、
     請求項7に記載の情報処理装置。
  9.  少なくとも1つのコンピュータによって、
     計測対象の3次元形状を2次元パターンの変化として表す縞画像を取得し、
     前記計測対象の形状特性に基づいて、位相アンラッピングにおける位相接続経路を決定するための接続優先度情報を生成し、
     前記接続優先度情報に基づいて、前記縞画像を解析して得られる位相画像の前記位相アンラッピングを行う、
     情報処理方法。
  10.  少なくとも1つのコンピュータに、
     計測対象の3次元形状を2次元パターンの変化として表す縞画像を取得し、
     前記計測対象の形状特性に基づいて、位相アンラッピングにおける位相接続経路を決定するための接続優先度情報を生成し、
     前記接続優先度情報に基づいて、前記縞画像を解析して得られる位相画像の前記位相アンラッピングを行う、
     情報処理方法を実行させるコンピュータプログラムが記録された記録媒体。
PCT/JP2024/024118 2024-07-03 2024-07-03 情報処理装置、情報処理方法、及び記録媒体 Pending WO2026009348A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/024118 WO2026009348A1 (ja) 2024-07-03 2024-07-03 情報処理装置、情報処理方法、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/024118 WO2026009348A1 (ja) 2024-07-03 2024-07-03 情報処理装置、情報処理方法、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2026009348A1 true WO2026009348A1 (ja) 2026-01-08

Family

ID=98317837

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/024118 Pending WO2026009348A1 (ja) 2024-07-03 2024-07-03 情報処理装置、情報処理方法、及び記録媒体

Country Status (1)

Country Link
WO (1) WO2026009348A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007139543A (ja) * 2005-11-17 2007-06-07 Fujitsu Ltd 位相アンラッピング方法、プログラム及び干渉計測装置
JP2021018081A (ja) * 2019-07-17 2021-02-15 株式会社リコー 撮像装置、計測装置、及び、計測方法
WO2021145035A1 (ja) * 2020-01-17 2021-07-22 富士フイルム株式会社 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007139543A (ja) * 2005-11-17 2007-06-07 Fujitsu Ltd 位相アンラッピング方法、プログラム及び干渉計測装置
JP2021018081A (ja) * 2019-07-17 2021-02-15 株式会社リコー 撮像装置、計測装置、及び、計測方法
WO2021145035A1 (ja) * 2020-01-17 2021-07-22 富士フイルム株式会社 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIAN GAO: "Reliability-Map-Guided Phase Unwrapping Method", IEEE GEOSCIENCE AND REMOTE SENSING LETTERS, IEEE, USA, vol. 13, no. 5, 1 May 2016 (2016-05-01), USA, pages 716 - 720, XP093384332, ISSN: 1545-598X, DOI: 10.1109/lgrs.2016.2539298 *

Similar Documents

Publication Publication Date Title
US10572971B2 (en) Projection device, projection method and program storage medium
JP6394005B2 (ja) 投影画像補正装置、投影する原画像を補正する方法およびプログラム
JP2009036589A (ja) 校正用ターゲット、校正支援装置、校正支援方法、および校正支援プログラム
WO2018163530A1 (ja) 3次元形状計測装置、3次元形状計測方法、及びプログラム
US20210192243A1 (en) Method, system, and computer-readable medium for generating spoofed structured light illuminated face
JP2018146477A (ja) 3次元形状計測装置及び3次元形状計測方法
JP2016080393A (ja) 三次元計測装置、三次元計測方法及びプログラム
JPWO2019177066A1 (ja) 3次元形状計測装置、3次元形状計測方法及びプログラム
JP7741875B2 (ja) 3次元計測装置
US20170142384A1 (en) Image processing apparatus, image processing method, image projection system, and storage medium
US20200380776A1 (en) Mesh model generation method, mesh model generation device, and program
US10657665B2 (en) Apparatus and method for generating three-dimensional information
JP2014048276A (ja) 領域特定装置、方法、及びプログラム
JP3454088B2 (ja) 3次元形状計測方法及びその装置
JP5805013B2 (ja) 撮像画像表示装置、撮像画像表示方法、プログラム
JP6744550B2 (ja) 画像投影装置、画像投影方法および画像投影プログラム
WO2026009350A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2026018396A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2026018393A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US10373324B2 (en) Measurement apparatus that scans original, method of controlling the same, and storage medium
JP7533619B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
WO2021220412A1 (ja) 撮像システム、撮像方法、及びコンピュータプログラム
US11983814B2 (en) Image processing apparatus that generates model of object, image processing method, and storage medium storing program thereof
CN116147530B (zh) 一种表面成像方法、存储介质及设备
JP2014235063A (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24946336

Country of ref document: EP

Kind code of ref document: A1