WO2022113583A1 - 情報処理装置、情報処理方法、及び記録媒体 - Google Patents

情報処理装置、情報処理方法、及び記録媒体 Download PDF

Info

Publication number
WO2022113583A1
WO2022113583A1 PCT/JP2021/038810 JP2021038810W WO2022113583A1 WO 2022113583 A1 WO2022113583 A1 WO 2022113583A1 JP 2021038810 W JP2021038810 W JP 2021038810W WO 2022113583 A1 WO2022113583 A1 WO 2022113583A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
information processing
dimensional
processing apparatus
Prior art date
Application number
PCT/JP2021/038810
Other languages
English (en)
French (fr)
Inventor
静生 坂本
幸貴 宮本
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US18/038,286 priority Critical patent/US20230419604A1/en
Priority to JP2022565117A priority patent/JPWO2022113583A5/ja
Publication of WO2022113583A1 publication Critical patent/WO2022113583A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Definitions

  • This disclosure relates to the technical fields of information processing devices for generating three-dimensional images, information processing methods, and recording media.
  • Patent Document 1 discloses a technique for creating a three-dimensional face model corresponding to a face image by mapping the value of each pixel of the face image onto the aligned three-dimensional face shape data.
  • Patent Document 2 discloses that a three-dimensional shape of a subject's face is estimated and the estimation result is displayed on a display device.
  • Patent Document 3 discloses that distributed processing is performed for processing related to a three-dimensional object.
  • Patent Document 4 discloses that the image to be processed is thinned out to reduce the transfer load and the processing load.
  • This disclosure is intended to improve the related techniques mentioned above.
  • One aspect of the information processing apparatus of the present disclosure is an acquisition means for acquiring an image set including a plurality of images of a subject, a first storage means for storing a plurality of the image sets, and a plurality of the image sets. Therefore, it is provided with a first selection means for selecting a first predetermined number of images across a set, and a generation means for generating a three-dimensional image of the subject based on the first predetermined number of images.
  • One aspect of the information processing method of the present disclosure is a first aspect of acquiring an image set including a plurality of images of a subject, storing a plurality of the image sets, and straddling the sets from the plurality of the image sets. A predetermined number of images are selected, and a three-dimensional image of the subject is generated based on the first predetermined number of images.
  • One aspect of the recording medium of the present disclosure is to acquire an image set including a plurality of images of a subject, store a plurality of the image sets, and first determine from the plurality of the image sets across the sets.
  • a computer program is recorded that selects a number of images and operates the computer to generate a three-dimensional image of the subject based on the first predetermined number of images.
  • FIG. 1 is a block diagram showing a hardware configuration of the information processing apparatus according to the first embodiment.
  • the information processing device 10 includes a processor 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, and a storage device 14.
  • the information processing device 10 may further include an input device 15 and an output device 16.
  • the processor 11, the RAM 12, the ROM 13, the storage device 14, the input device 15, and the output device 16 are connected via the data bus 17.
  • Processor 11 reads a computer program.
  • the processor 11 is configured to read a computer program stored in at least one of the RAM 12, the ROM 13, and the storage device 14.
  • the processor 11 may read a computer program stored in a computer-readable recording medium by using a recording medium reading device (not shown).
  • the processor 11 may acquire (that is, read) a computer program from a device (not shown) arranged outside the information processing device 10 via a network interface.
  • the processor 11 controls the RAM 12, the storage device 14, the input device 15, and the output device 16 by executing the read computer program.
  • a functional block for generating a three-dimensional image is realized in the processor 11.
  • processor 11 a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), a DSP (Demand-Side Platform), and an ASIC (Application) are listed.
  • processor 11 one of the above-mentioned examples may be used, or a plurality of processors 11 may be used in parallel.
  • the RAM 12 temporarily stores the computer program executed by the processor 11.
  • the RAM 12 temporarily stores data temporarily used by the processor 11 while the processor 11 is executing a computer program.
  • the RAM 12 may be, for example, a D-RAM (Dynamic RAM).
  • the ROM 13 stores a computer program executed by the processor 11.
  • the ROM 13 may also store fixed data.
  • the ROM 13 may be, for example, a P-ROM (Programmable ROM).
  • the storage device 14 stores data stored in the information processing device 10 for a long period of time.
  • the storage device 14 may operate as a temporary storage device of the processor 11.
  • the storage device 14 may include, for example, at least one of a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), and a disk array device.
  • the input device 15 is a device that receives an input instruction from the user of the information processing device 10.
  • the input device 15 may include, for example, at least one of a keyboard, a mouse and a touch panel.
  • the input device 15 may be a dedicated controller (operation terminal). Further, the input device 15 may include a terminal owned by the user (for example, a smartphone, a tablet terminal, or the like).
  • the input device 15 may be a device capable of voice input including, for example, a microphone.
  • the output device 16 is a device that outputs information about the information processing device 10 to the outside.
  • the output device 16 may be a display device (for example, a display) capable of displaying information about the information processing device 10.
  • the display device here may be a television monitor, a personal computer monitor, a smartphone monitor, a tablet terminal monitor, or another mobile terminal monitor.
  • the display device may be a large monitor, a digital signage, or the like installed in various facilities such as a store.
  • the output device 16 may be a device that outputs information in a format other than an image.
  • the output device 16 may be a speaker that outputs information about the information processing device 10 by voice.
  • FIG. 2 is a block diagram showing a functional configuration of the information processing apparatus according to the first embodiment.
  • the information processing apparatus 10 includes an image acquisition unit 110, a first storage unit 120, and a first selection unit 130 as processing blocks for realizing the function. It is provided with a three-dimensional image generation unit 140.
  • Each of the image acquisition unit 110, the first selection unit 130, and the three-dimensional image generation unit 140 may be realized by the processor 11 (see FIG. 1) described above.
  • the first storage unit 120 may be realized by the RAM 12 (see FIG. 1) described above.
  • the image acquisition unit 110 is configured to be able to acquire an image set including a plurality of images of the subject.
  • the image acquisition unit 110 may directly acquire an image captured by, for example, a camera or the like, or may appropriately acquire an image stored in a storage means.
  • When acquiring an image from a camera there may be a plurality of cameras, and a plurality of images may be acquired from each of the plurality of cameras.
  • the number of images included in the image set is not particularly limited. Specific examples of the image set will be described in detail in other embodiments described later.
  • the image stored in the image acquisition unit 110 is output to the first storage unit 120.
  • the first storage unit 120 is configured to be able to store a plurality of image sets (that is, a plurality of images) acquired by the image acquisition unit 110.
  • the first storage unit 120 can store, for example, two image sets.
  • the first storage unit 120 may be capable of storing three or more image sets.
  • the first storage unit 120 may have a function of appropriately deleting an unnecessary image set.
  • the first selection unit 130 is configured to be able to select a first predetermined number of images from the image set stored in the first storage unit 120.
  • the "first predetermined number of images” here is set as the number of images to be output to the three-dimensional image generation unit 140, and even if it is the minimum number of images required to generate a three-dimensional image, for example. good.
  • the first predetermined number may be the same number as the number of images included in the image set, or may be a different number.
  • the first selection unit 130 selects a first predetermined number of images across the set from a plurality of image sets stored in the first storage unit 120.
  • the first selection unit 130 selects a first predetermined number of images from each of the first image set and the second image set. The method of selecting an image by the first selection unit 130 will be described in detail later with a specific example.
  • the first predetermined number of images selected by the first selection unit 130 is output to the three-dimensional image generation unit 140.
  • the three-dimensional image generation unit 140 is configured to be able to generate a three-dimensional image of a subject from a first predetermined number of images selected by the first selection unit 130. That is, the three-dimensional image generation unit 140 has a function of generating a three-dimensional image from a plurality of two-dimensional images.
  • the method of generating a three-dimensional image from a plurality of images is not particularly limited, and existing techniques can be adopted as appropriate, and therefore detailed description thereof will be omitted here.
  • FIG. 3 is a flowchart showing an operation flow of the information processing apparatus according to the first embodiment.
  • the image acquisition unit 110 first acquires an image set including a plurality of images (step S11). Then, the first storage unit 120 stores the image set acquired by the image acquisition unit 110 (step S12). In the process of step S11 and step S12 described above, a plurality of image sets may be collectively acquired and stored, or a plurality of image sets may be acquired and stored repeatedly by repeatedly executing the process of acquiring and storing one image set. The image set may be stored.
  • the first selection unit 130 selects a first predetermined number of images across the set from the plurality of image sets stored in the first storage unit 120 (step S13).
  • the three-dimensional image generation unit 140 generates a three-dimensional image of the subject by using the first predetermined number of images selected by the first selection unit 130 (step S14).
  • the series of processes described above may be repeatedly executed as appropriate. That is, a plurality of three-dimensional images may be generated by repeatedly executing the process of generating the three-dimensional image.
  • FIG. 4 is a conceptual diagram showing an example of image selection in the information processing apparatus according to the first embodiment.
  • the first image set and the second image set are stored in the first storage unit 120. It should be noted that one image set contains eight images. Specifically, the first image set contains eight images from No. 1 to No. 8. The second image set contains eight images from No. 9 to No. 16.
  • the first selection unit 130 has, for example, four images in the latter half of the first image set (that is, images Nos. 5 to 8) and four images in the first half of the second image set (that is, from No. 9). No. 12 image) and may be selected.
  • a three-dimensional image is generated from a total of eight images, the selected images Nos. 5 to 8 and the images Nos. 9 to 12.
  • the unselected images that is, the 1st to 4th images and the 13th to 16th images
  • the unused image may be discarded or may be used in the same process executed at different timings (for example, it may be a selection candidate of the next first selection unit 130).
  • images having consecutive numbers across sets are selected, but images with non-consecutive numbers may be selected.
  • the images Nos. 1, 3, 5, and 7 in the first image set and the images Nos. 9, 11, 13, and 15 in the second image set may be selected.
  • the same number of images (8 images) as the images included in the image set are selected, but the number of images different from the images included in the image set (for example, 7 or less images).
  • 9 or more images may be selected.
  • the selected image may be appropriately set according to various conditions.
  • the image to be selected may be determined based on, for example, the quality of the image (whether the image pickup target is facing the front, whether the image is blurred or blurred, etc.). Such an example will be described in detail in another embodiment described later.
  • a first predetermined number of images are selected from a plurality of image sets across the sets. By doing so, it is possible to generate a three-dimensional image using a first predetermined number of images included in different image sets. In this case, it is possible to more appropriately generate a three-dimensional image as compared with the case where a three-dimensional image is generated using only the images included in one image set. For example, an image suitable for generating a 3D image can be selected (in other words, excluding an image unsuitable for generating a 3D image) to generate a 3D image.
  • the information processing apparatus 10 since the information processing apparatus 10 according to the first embodiment includes a first storage unit 120 that stores a plurality of image sets, it is easy to select a first predetermined number of images across the sets. Further, since the first storage unit 120 is configured to be able to store a plurality of image sets, the process of acquiring an image and the process of selecting an image to generate a three-dimensional image are efficiently executed. It becomes possible to do. Specifically, the process of acquiring an image and the process of generating a three-dimensional image can be executed in parallel at the same time. Further, by including the first storage unit 120, it is possible to execute the process of acquiring a new image without waiting for the process of generating the three-dimensional image to be completed.
  • the image acquisition unit 110 acquires a new image until the three-dimensional image generation unit 140 completes generation of a three-dimensional image using one image set. Cannot (ie, it is required to wait for the process to generate a 3D image to complete). However, by including the first storage unit 120, the image acquisition unit 110 can acquire a new image without waiting for the completion of the process of generating the three-dimensional image by the three-dimensional image generation unit 140. Specifically, the image acquisition unit 110 sequentially stores the acquired images in the first storage unit 120, and the three-dimensional image generation unit 140 does not acquire the image directly from the image acquisition unit 110, but first. It is possible to acquire an image from the storage unit 120 and generate a three-dimensional image.
  • the information processing apparatus 10 according to the second embodiment will be described with reference to FIG.
  • the second embodiment differs from the first embodiment described above in only a part of the operation.
  • the hardware configuration (see FIG. 1) and the functional configuration (see FIG. 2) of the device are described.
  • FIG. 5 is a flowchart showing an operation flow of the information processing apparatus according to the second embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • the image acquisition unit 110 first acquires an image set including a plurality of images (step S11). Then, the first storage unit 120 stores the image set acquired by the image acquisition unit 110 (step S12).
  • the first selection unit 130 selects a first predetermined number of images across the set from the plurality of image sets stored in the first storage unit 120.
  • the first selection unit 130 selects a first predetermined number of images according to the processing capacity of the three-dimensional image generation unit 140 (step S21). That is, the first selection unit 130 selects an image according to the subsequent processing capacity.
  • the three-dimensional image generation unit 140 generates a three-dimensional image of the subject by using the first predetermined number of images selected by the first selection unit 130 (step S14).
  • the above-mentioned "processing capacity of the three-dimensional image generation unit 140" may be the processing capacity according to the specifications of the three-dimensional image generation unit 140, or at that time in consideration of the calculation load of the processing being executed. It may be the processing capacity of.
  • the first selection unit 130 changes the number of images to be selected (that is, the value of the first predetermined number of images) according to, for example, the processing capacity of the three-dimensional image generation unit 140. In this case, the number of images used by the three-dimensional image generation unit 140 to generate the three-dimensional image varies depending on the processing capacity.
  • the first selection unit 130 changes the frequency of selecting an image according to the processing capacity of the three-dimensional image generation unit 140. In this case, since the frequency with which the image is output to the three-dimensional image generation unit 140 varies, the number of images processed by the three-dimensional image generation unit 140 per unit time varies.
  • a first predetermined number of images are selected according to the processing capacity of the three-dimensional image generation unit 140.
  • the first selection unit 130 reduces the number of images to be selected.
  • the three-dimensional image generation unit 140 which has a reduced processing capacity, can also execute the processing for generating a three-dimensional image without any problem. ..
  • the first selection unit 130 reduces the frequency of selecting an image.
  • the 3D image generation unit 140 which has a reduced processing capacity, can also execute the processing to generate the 3D image without any problem. Can be done.
  • the information processing apparatus 10 according to the third embodiment will be described with reference to FIGS. 6 to 9.
  • the third embodiment shows a specific example of the image used in the first and second embodiments described above (that is, an image of a subject for generating a three-dimensional image), and shows a specific example of the device configuration and operation.
  • the flow and the like may be the same as in the first and second embodiments. Therefore, in the following, the parts different from each of the above-described embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • FIG. 6 is a schematic configuration diagram showing a configuration of an imaging system to which the information processing apparatus according to the third embodiment is applied.
  • the information processing apparatus 10 is connected to the imaging unit 210 and the projection unit 220.
  • the image pickup unit 210 and the projection unit 220 are arranged so as to face the subject 50, respectively.
  • the image pickup unit 210 is configured to be able to capture an image of the subject 50.
  • the image pickup unit 210 may include a solid-state image pickup element such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor. Further, the image pickup unit 210 may include an optical system for forming an image of a subject on the image pickup surface of the solid-state image pickup device, a signal processing circuit for signal processing the output of the solid-state image pickup device to obtain a brightness value for each pixel, and the like. Although one imaging unit 210 is shown here for convenience of explanation, two or more imaging units 210 may be provided. In this case, the two image pickup units 210 may be arranged so as to image the subject 50 at different angles.
  • the projection unit 220 is configured to be able to project a predetermined light pattern on the subject 50.
  • the projection unit 220 is not particularly limited, but may be, for example, a DLP (Digital Light Processing) projector, a liquid crystal projector, or the like.
  • a DLP projector or a liquid crystal projector can project an arbitrary light pattern at high speed, which is preferable in order to shorten the time required to measure the shape of the subject 50. Shortening the measurement time is particularly suitable for measuring the three-dimensional shape of a moving object (moving object), such as when performing face recognition of a person.
  • the details of the light pattern projected by the projection unit 220 on the subject 50 will be described later.
  • FIG. 7 is a plan view showing an example of a sine wave pattern projected on a subject.
  • the projection unit 220 projects a sinusoidal pattern (that is, a sinusoidal grid-like optical pattern) onto the subject 50 as a predetermined optical pattern.
  • a sinusoidal pattern that is, a sinusoidal grid-like optical pattern
  • the sinusoidal grid phase shift method is a method of projecting a sinusoidal pattern onto a subject while shifting the phase little by little to specify the three-dimensional shape of the subject.
  • the brightness value I (x, y, t) at time t at the (x, y) coordinates of the obtained image has the amplitude of the sine wave as A and the phase. It can be expressed by the following equation (1), where ⁇ is the value and B is the bias (center value of the sine wave).
  • the coordinates (x). , Y) can be defined as a three-dimensional position.
  • the phase value ⁇ can be calculated if there are at least three sinusoidal pattern projection images.
  • the phase value ⁇ can be calculated with higher accuracy by the least squares method or the like.
  • Equation (6) to (8) can be obtained by obtaining the amplitude A, the phase value ⁇ , and the bias B from the equations (2) to (5) by the least squares method.
  • FIG. 8 is a plan view showing an example of a luminance inclination pattern projected on the subject.
  • the projection unit 220 projects a luminance gradient pattern (that is, a light pattern in which the luminance value linearly changes at a constant rate) onto the subject 50 in addition to the above-mentioned sinusoidal wave pattern. ..
  • the luminance gradient pattern is projected as a periodic optical pattern in which the number of repetition periods is different from that of the sinusoidal pattern.
  • FIG. 8 shows a luminance gradient pattern in which the brightness increases at a constant rate from top to bottom.
  • a luminance gradient pattern in which the luminance increases at a constant rate from bottom to top is used. May be good.
  • the luminance value K (x, y, t) at time t at the (x, y) coordinates of the obtained image is the luminance value K (x, y, t) of the following equation (9).
  • a ′′ is an amplitude
  • B ′′ is a bias
  • ⁇ is a variable whose value changes linearly in the range of -1 ⁇ ⁇ ⁇ 1.
  • one projection unit 220 switches between a sinusoidal pattern and a brightness gradient pattern at high speed for projection. It is possible to do.
  • the sine wave pattern and the luminance gradient pattern generated based on the light emitted from the same light source are projected by one projection unit 220, the basic physical characteristics of the projection device 20 at the time of projecting these light patterns are It can be assumed that they are the same. That is, when the sine wave pattern and the luminance inclination pattern are projected onto the subject 50 using the same projection unit 220, it is considered that the following equation (10) is satisfied.
  • FIG. 9 is a diagram showing an example of an image set used in the information processing apparatus according to the third embodiment.
  • the information processing apparatus 10 projects an image captured by projecting the above-mentioned sine wave pattern (see FIG. 7) and a brightness gradient pattern (see FIG. 8).
  • a plurality of images including an image to be captured and a texture image showing the state of the surface of the subject 50 are acquired as one image set.
  • four images are captured by projecting a sine wave pattern
  • two images are captured by projecting a brightness gradient pattern
  • two texture images are captured in one image set, for a total of four images. Eight images are included.
  • the configuration of the image set described above is only an example, and the number of each of the image captured by projecting the sine wave pattern, the image captured by projecting the luminance gradient pattern, and the texture image may be appropriately changed. Further, the total number of images constituting one image set may be different from the number of eight images. However, it is preferable that a plurality of images captured by projecting a sine wave pattern, images captured by projecting a luminance gradient pattern, and texture images are included in one image set.
  • the information processing apparatus 10 according to the fourth embodiment will be described with reference to FIGS. 10 to 15. It should be noted that the fourth embodiment is different from the above-mentioned first to third embodiments only in a part of the configuration and operation, and the other parts are the same as those of the first to third embodiments. It may be there. Therefore, in the following, the parts different from each of the above-described embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • FIG. 10 is a block diagram showing a functional configuration of the information processing apparatus according to the fourth embodiment.
  • the same reference numerals are given to the same components as those shown in FIG. 2.
  • the information processing apparatus 10 includes an image acquisition unit 110, a first storage unit 120, and a first selection unit 130 as processing blocks for realizing the function. It includes a three-dimensional image generation unit 140, a second storage unit 150, a second selection unit 160, and a display unit 170. That is, in the information processing apparatus 10 according to the fourth embodiment, in addition to the configuration according to the first embodiment (see FIG. 2), the second storage unit 150, the second selection unit 160, and the display unit 170 are further added. It is configured in preparation.
  • the second storage unit 150 may be realized by the above-mentioned RAM 12 (see FIG. 1).
  • the second selection unit 160 and the display unit 170 may be realized by the processor 11 (see FIG. 1) described above.
  • the second storage unit 150 is configured to be capable of storing a plurality of sets (hereinafter, appropriately referred to as "three-dimensional image sets") including a plurality of three-dimensional images generated by the three-dimensional image generation unit 140.
  • the second storage unit 150 can store, for example, two three-dimensional image sets.
  • the second storage unit 150 may be capable of storing three or more three-dimensional image sets.
  • the second storage unit 150 may have a function of appropriately deleting an unnecessary three-dimensional image set.
  • the second selection unit 160 is configured to be able to select a second predetermined number of three-dimensional images from the three-dimensional image set stored in the second storage unit 150.
  • the "second predetermined number of sheets" is set as the number of three-dimensional images output by the display unit 170, and may be, for example, the number of three-dimensional images simultaneously displayed on a display or the like.
  • the second predetermined number may be the same number as the number of three-dimensional images included in the three-dimensional image set, or may be a different number.
  • the second selection unit 160 selects a second predetermined number of three-dimensional images from a plurality of three-dimensional image sets stored in the second storage unit 150 across the sets. For example, the second selection unit 160 selects a second predetermined number of images from each of the first three-dimensional image set and the second three-dimensional image set.
  • the second predetermined number of three-dimensional images selected by the second selection unit 160 is output to the display unit 170.
  • the display unit 170 outputs a second predetermined number of images selected by the second selection unit 160 as a three-dimensional image to be displayed to the user or the like. That is, the display unit 170 has a function of outputting a plurality of three-dimensional images.
  • the three-dimensional image output from the display unit 170 is output to, for example, a display device having a display. This display device may be realized, for example, by the output device 16 (see FIG. 1) described above.
  • the display mode of the three-dimensional image output from the display unit 170 will be described with reference to specific examples in other embodiments described later.
  • FIG. 11 is a flowchart showing a flow of operation of the information processing apparatus according to the fourth embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • the image acquisition unit 110 first acquires an image set including a plurality of images (step S11). Then, the first storage unit 120 stores the image set acquired by the image acquisition unit 110 (step S12).
  • the first selection unit 130 selects a first predetermined number of images across the set from the plurality of image sets stored in the first storage unit 120 (step S13). Then, the three-dimensional image generation unit 140 generates a three-dimensional image of the subject by using the first predetermined number of images selected by the first selection unit 130 (step S14).
  • the second storage unit 150 stores the three-dimensional image set generated by the three-dimensional image generation unit 140 (step S41).
  • the second selection unit 160 selects a second predetermined number of three-dimensional images from the plurality of three-dimensional image sets stored in the second storage unit 150 across the sets (step S42).
  • the display unit 170 outputs a second predetermined number of three-dimensional images selected by the second selection unit 160 as a three-dimensional image for display (step S43).
  • the second predetermined number of three-dimensional images selected by the second selection unit 160 is displayed (presented) to the user and the like.
  • FIG. 12 is a conceptual diagram showing the configuration of the image ring memory and the three-dimensional image ring memory.
  • FIG. 13 is a flowchart showing the flow of operation of the image pickup thread in the information processing apparatus according to the fourth embodiment.
  • FIG. 14 is a flowchart showing the flow of operation of the three-dimensional image generation thread in the information processing apparatus according to the fourth embodiment.
  • FIG. 15 is a flowchart showing the flow of operation of the three-dimensional image display thread in the information processing apparatus according to the fourth embodiment.
  • the first storage unit 120 includes an image ring memory capable of storing a plurality of images.
  • the image ring memory here has eight buffers, and each buffer is configured to be able to store an image.
  • Each buffer has a state indicating the state. The status is either "writable” or "writable”.
  • Pointer # 1 points to a buffer to be worked on in the image ring memory.
  • the second storage unit 150 is provided with a three-dimensional image ring memory capable of storing a plurality of three-dimensional images.
  • the three-dimensional image ring memory here has five buffers, and each buffer is configured to be able to store a three-dimensional image.
  • Each buffer has a state indicating the state. The status is either "writable” or "writable”.
  • Pointer # 2 points to a buffer to be worked on in the 3D image ring memory.
  • the imaging thread will be described with reference to the example shown in FIG.
  • the image pickup thread is a thread corresponding to a process in which an image acquisition unit 110 acquires an image captured by an image pickup unit 210 (see FIG. 6) and stores the image in the first storage unit 120.
  • step S101 the state of the buffer pointed to by the pointer # 1 is checked. If the state of the buffer pointed to by the pointer # 1 is "writable”, the subsequent processing is not started. In this case, for example, after a predetermined period, the process of step S101 may be executed again. On the other hand, when the state of the buffer pointed to by the pointer # 1 is "writable", the captured image is acquired and the acquired image is written to the image ring memory (step S102).
  • step S103 the state of the buffer pointed to by the pointer # 1 is set to "writable"
  • step S104 the pointer # 1 is advanced to the next buffer
  • the three-dimensional image generation thread will be described with reference to the example shown in FIG.
  • the first selection unit 130 selects a first predetermined number of images from a plurality of image sets stored in the first storage unit 120
  • the three-dimensional image generation unit 140 selects three-dimensional images. It is a thread corresponding to the process of generating and storing.
  • step S201 first check the status of the buffer pointed to by the pointer # 1 (step S201). If the state of the buffer pointed to by the pointer # 1 is "writable", the subsequent processing is not started. In this case, for example, after a predetermined period, the process of step S201 may be executed again.
  • step S202 the status of the buffer pointed to by the pointer # 1 is "writable” is checked. If the state of the buffer pointed to by the pointer # 2 is "writable”, the subsequent processing is not started. In this case, for example, after a predetermined period, the process of step S202 may be executed again.
  • step S203 a three-dimensional image is generated and written to the generated three-dimensional image ring memory.
  • step S204 the status of the input buffer of the image ring memory pointed to by the pointer # 1 is set to "writable” (step S204). Further, the status of the output buffer of the three-dimensional image ring memory pointed to by the pointer # 2 is set to "writable” (step S205). Then, the pointer # 1 and the pointer # 2 are advanced to the next buffers (step S206).
  • the three-dimensional image display thread will be described with reference to the example shown in FIG.
  • the second selection unit 160 selects a second predetermined number of three-dimensional images from a plurality of three-dimensional image sets stored in the second storage unit 150, and the display unit 170 displays them. It is a thread corresponding to the process of outputting as a three-dimensional image of.
  • step S301 first check the status of the buffer pointed to by the pointer # 2 (step S301). If the state of the buffer pointed to by the pointer # 2 is "writable”, the subsequent processing is not started. In this case, for example, after a predetermined period, the process of step S301 may be executed again. On the other hand, when the state of the buffer pointed to by the pointer # 1 is "writable", the selected 3D image is output as a 3D image for display (step S302).
  • step S303 the state of the buffer pointed to by the pointer # 2 is set to "writable"
  • step S304 the pointer # 2 is advanced to the next buffer
  • a second predetermined number of three-dimensional images are selected from a plurality of three-dimensional image sets across the sets. By doing so, it is possible to display a second predetermined number of images included in different three-dimensional image sets.
  • the three-dimensional image can be displayed more appropriately as compared with the case where only the images included in one three-dimensional image set are displayed.
  • a 3D image suitable for display can be selected (in other words, excluding a 3D image unsuitable for display) to display the 3D image.
  • FIG. 16 is a block diagram showing a functional configuration of a modified example of the information processing apparatus according to the fourth embodiment.
  • the same reference numerals are given to the same components as those shown in FIG. 10.
  • the image acquisition unit 110, the three-dimensional image generation unit 140, and the second storage are as processing blocks for realizing the function.
  • a unit 150, a second selection unit 160, and a display unit 170 are provided. That is, the modified example of the information processing apparatus 10 according to the fourth embodiment does not include the first storage unit 120 and the first selection unit 130 as compared with the configuration according to the second embodiment (see FIG. 10).
  • FIG. 17 is a flowchart showing an operation flow of a modified example of the information processing method according to the fourth embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • the image acquisition unit 110 first acquires an image set including a plurality of images (step S11). and, Then, the three-dimensional image generation unit 140 generates a three-dimensional image of the subject by using the image set acquired by the image acquisition unit 110 (step S40). That is, as in the fourth embodiment described above, the three-dimensional image is directly generated as it is without the storage by the first storage unit 120 and the selection by the first selection unit 130.
  • the second storage unit 150 stores the three-dimensional image set generated by the three-dimensional image generation unit 140 (step S41). Then, the second selection unit 160 selects a second predetermined number of three-dimensional images from the plurality of three-dimensional image sets stored in the second storage unit 150 across the sets (step S42). After that, the display unit 170 outputs a second predetermined number of three-dimensional images selected by the second selection unit 160 as a three-dimensional image for display (step S43).
  • the set is straddled from a plurality of three-dimensional image sets.
  • a second predetermined number of 3D images is selected. By doing so, it is possible to display a second predetermined number of images included in different three-dimensional image sets.
  • the information processing apparatus 10 according to the fifth embodiment will be described with reference to FIG. It should be noted that the fifth embodiment is different from the fourth embodiment described above only in a part of the operation, and other parts may be the same as the fourth embodiment. Therefore, in the following, the parts different from each of the above-described embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • FIG. 18 is a flowchart showing a flow of operation of the information processing apparatus according to the fifth embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • the image acquisition unit 110 first acquires an image set including a plurality of images (step S11). Then, the first storage unit 120 stores the image set acquired by the image acquisition unit 110 (step S12).
  • the first selection unit 130 selects a first predetermined number of images across the set from the plurality of image sets stored in the first storage unit 120 (step S13). Then, the three-dimensional image generation unit 140 generates a three-dimensional image of the subject by using the first predetermined number of images selected by the first selection unit 130 (step S14).
  • the second storage unit 150 stores the three-dimensional image set generated by the three-dimensional image generation unit 140 (step S41). Then, the second selection unit 160 selects a second predetermined number of three-dimensional images from the plurality of three-dimensional image sets stored in the second storage unit 150 across the sets. At this time, in particular, in the fifth embodiment, the second selection unit 160 selects a second predetermined number of images according to the processing capacity of the display unit 170 (step S51). That is, the second selection unit 160 selects an image according to the subsequent processing capacity. After that, the display unit 170 outputs a second predetermined number of three-dimensional images selected by the second selection unit 160 as a three-dimensional image for display (step S43).
  • the above-mentioned "processing capacity of the display unit 170" may be the processing capacity of the display unit 170 according to the specifications, or is the processing capacity at that time in consideration of the computational load of the processing being executed. You may.
  • the second selection unit 160 changes, for example, the number of three-dimensional images to be selected (that is, the value of the second predetermined number of images) according to the processing capacity of the display unit 170. In this case, the number of three-dimensional images output by the display unit 170 varies depending on the processing capacity.
  • the second selection unit 160 changes the frequency of selecting the three-dimensional image according to the processing capacity of the display unit 170. In this case, since the frequency with which the three-dimensional image is output to the display unit 170 varies, the number of three-dimensional images processed by the display unit 170 per unit time varies.
  • a second predetermined number of images are selected according to the processing capacity of the display unit 170.
  • the second selection unit 160 reduces the number of images to be selected.
  • the display unit 170 having a reduced processing capacity can execute the process of outputting the three-dimensional image without any problem.
  • the second selection unit 160 reduces the frequency of selecting the three-dimensional image.
  • the display unit 170 having a reduced processing capacity can execute the process of outputting the three-dimensional image without any problem.
  • the configuration considering the processing capacity of the display unit 170 of the fifth embodiment may be combined with the configuration considering the processing capacity of the three-dimensional image generation unit 140 described in the second embodiment (see FIG. 5). In this case, since the processing powers of the display unit 170 and the three-dimensional image generation unit 140 are taken into consideration, more efficient processing can be realized as compared with the case where the processing power of only one of them is taken into consideration. Become.
  • the information processing apparatus 10 according to the sixth embodiment will be described with reference to FIGS. 19 and 20.
  • the sixth embodiment describes a specific example of the display mode by the display unit 170 included in the fourth and fifth embodiments described above, and the fourth and fifth embodiments describe other operations and device configurations. It may be similar to the form. Therefore, in the following, the parts different from each of the above-described embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • FIG. 19 is a diagram showing an example of displaying a list of three-dimensional images by the information processing apparatus according to the sixth embodiment. In the following, the description will proceed assuming that the subject 50 is the face of a person.
  • the information processing apparatus 10 can output in a display mode in which a plurality of three-dimensional images are displayed in a list. Specifically, each of the second predetermined number of three-dimensional images selected by the second selection unit 160 is output in a format such that the display unit 170 is displayed in a list. As a result, three-dimensional images are displayed in a list on a display device having a display or the like.
  • each of the four three-dimensional images is displayed in four areas of upper right, lower right, upper left, and lower left, but they are listed in a different display mode. May be good.
  • the list may be displayed in such a way that a plurality of three-dimensional images are arranged in a horizontal row.
  • the list may be displayed in such a way that a plurality of three-dimensional images are arranged in a vertical row. It is preferable that the plurality of three-dimensional images displayed in the list are all displayed so as to fit on the screen, but some of them may be off the screen.
  • a three-dimensional image that is off the screen may be displayed on the screen by, for example, a scrolling operation or a swiping operation.
  • a plurality of three-dimensional images are displayed in the same size.
  • a plurality of three-dimensional images may be displayed in different sizes from each other.
  • one image may be displayed larger and the other image may be displayed smaller.
  • one image may be displayed small and the other image may be displayed large.
  • a plurality of three-dimensional images may be displayed in a unique size different from that of other three-dimensional images. For example, there may be a three-dimensional image displayed in the largest size, an image displayed in the second largest size, a three-dimensional image displayed in the third largest size, and a three-dimensional image displayed in the fourth largest size. ..
  • FIG. 20 is a diagram showing an example of a display mode in the information processing apparatus according to the sixth embodiment.
  • the information processing apparatus 10 may display a plurality of three-dimensional images so as to rotate.
  • the upper left three-dimensional image is displayed so as to rotate, but other three-dimensional images may also be displayed so as to rotate.
  • all of the displayed three-dimensional images may be displayed to rotate, or some plurality of three-dimensional images may be displayed to rotate. It should be noted that which three-dimensional image is rotated may be set in advance by the user or the like, or may be automatically determined according to various parameters of the three-dimensional image.
  • the rotation directions thereof may be the same direction or different directions. Further, the rotation speed may be the same or different.
  • the rotation direction and rotation speed of each of the three-dimensional images may change automatically on the way. That is, the three-dimensional image that has been rotated clockwise may be rotated counterclockwise from the middle. Further, the three-dimensional image that has rotated relatively slowly may be rotated relatively quickly from the middle.
  • the rotation direction and the rotation speed may be set in advance by the user or the like, or may be automatically determined according to various parameters of the three-dimensional image.
  • the information processing apparatus 10 may perform a display that emphasizes the difference between a plurality of three-dimensional images in addition to or instead of the rotation display described above. Specifically, a plurality of displayed three-dimensional images may be compared and the portion where the difference becomes large may be highlighted. Examples of highlighting include displaying in a different color, shading, and enclosing with a frame. More specifically, for example, one 3D image is an image of a blinking face (ie, with eyes closed) and another 3D image is not blinking. When it is an image of a face (that is, the eyes are open), at least one of the three-dimensional images may be highlighted around the eyes.
  • a plurality of three-dimensional images are displayed in a list. By doing so, it is possible to present more three-dimensional images to the user as compared with the case where only one three-dimensional image is displayed. Further, by comparing a plurality of three-dimensional images side by side, it is possible to easily discriminate between them.
  • the information processing apparatus 10 according to the seventh embodiment will be described with reference to FIGS. 21 to 23. It should be noted that the seventh embodiment is different from the above-mentioned fourth to sixth embodiments only in a part of the configuration and operation, and the other parts are the same as those of the fourth to sixth embodiments. It may be there. Therefore, in the following, the parts different from each of the above-described embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • FIG. 21 is a block diagram showing a functional configuration of the information processing apparatus according to the seventh embodiment.
  • the same reference numerals are given to the same components as those shown in FIG. 10.
  • the information processing apparatus 10 includes an image acquisition unit 110, a first storage unit 120, and a first selection unit 130 as processing blocks for realizing the function. It includes a three-dimensional image generation unit 140, a second storage unit 150, a second selection unit 160, a display unit 170, and a score calculation unit 180. That is, the information processing apparatus 10 according to the seventh embodiment is configured to further include a score calculation unit 180 in addition to the configuration according to the fourth embodiment (see FIG. 10). The score calculation unit 180 may be realized by the processor 11 (see FIG. 1) described above.
  • the score calculation unit 180 is configured to be able to calculate the score of each of the three-dimensional images generated by the three-dimensional image generation unit 140.
  • the "score" here is a score indicating the quality of the three-dimensional image, and is calculated as a larger value as the quality of the three-dimensional image is higher, for example. More specifically, the score is calculated according to various conditions such as whether the 3D image is not blurred and whether the target of the 3D image is in good condition (for example, whether the person has his eyes closed). ..
  • the above example is just an example, and the score may be calculated using other criteria.
  • the score when the score is calculated using a plurality of conditions, for example, the score may be calculated one by one from each condition, and then the average value of those scores may be calculated and used as the final score.
  • Information about the score calculated by the score calculation unit 180 is output to the display unit 170.
  • the display unit 170 switches the display mode of the three-dimensional image according to the score as described later.
  • FIG. 22 is a flowchart showing a flow of operation of the information processing apparatus according to the seventh embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • the image acquisition unit 110 first acquires an image set including a plurality of images (step S11). Then, the first storage unit 120 stores the image set acquired by the image acquisition unit 110 (step S12).
  • the first selection unit 130 selects a first predetermined number of images across the set from the plurality of image sets stored in the first storage unit 120 (step S13).
  • the three-dimensional image generation unit 140 generates a three-dimensional image of the subject by using the first predetermined number of images selected by the first selection unit 130 (step S14).
  • the second storage unit 150 stores the three-dimensional image set generated by the three-dimensional image generation unit 140 (step S41).
  • the score calculation unit 180 calculates the score of the three-dimensional image (step S71).
  • the score calculation unit 180 outputs the calculated score to the display unit 170.
  • the score may be calculated at the timing when the three-dimensional image is generated. Alternatively, the score calculation may be executed at the timing immediately before the three-dimensional image is output from the display unit 170.
  • the second selection unit 160 selects a second predetermined number of three-dimensional images from the plurality of three-dimensional image sets stored in the second storage unit 150 (step S42).
  • the display unit 170 outputs a second predetermined number of three-dimensional images selected by the second selection unit 160 as a three-dimensional image for display.
  • a three-dimensional image is output so as to be displayed in a display mode corresponding to the score calculated by the score calculation unit 180 (step S72).
  • the display mode according to the score will be described below with specific examples.
  • FIG. 23 is a diagram showing an example of a display mode in the information processing apparatus according to the seventh embodiment.
  • the information processing apparatus 10 may enlarge and display the three-dimensional image having the highest score. That is, the three-dimensional image having the highest score may be displayed in a large size, while the other three-dimensional images may be displayed in a small size.
  • the three-dimensional image having the highest score is enlarged and displayed, but a plurality of three-dimensional images having the highest score may be enlarged and displayed. For example, three three-dimensional images may be selected in descending order of score, and the three selected three-dimensional images may be enlarged and displayed. Further, the expansion ratio may be changed according to the score.
  • the 3D image with the highest score is displayed the largest
  • the 3D image with the second highest score is displayed the second largest
  • the 3D image with the third highest score is displayed the third largest
  • the score is displayed the 3D image with the 4th highest.
  • a three-dimensional image having a low score may be enlarged and displayed.
  • the score value of each 3D image may be superimposed and displayed on the 3D image.
  • the score value may be displayed for all three-dimensional images, or may be displayed only for the three-dimensional image having the highest score or a plurality of three-dimensional images having the highest score.
  • the score may be displayed as a numerical value or may be displayed as a graph or the like.
  • the information processing apparatus 10 may, for example, highlight only a three-dimensional image having a high score. For example, the color of the three-dimensional image having the highest score or the three-dimensional image having the highest score may be changed, shaded, or surrounded by a frame. When highlighting, only the three-dimensional image having the highest score may be highlighted, or a plurality of three-dimensional images having the highest scores may be highlighted.
  • the information processing apparatus 10 may display only those having a high score. For example, only the three-dimensional image whose score is equal to or higher than the predetermined threshold may be displayed, and the three-dimensional image whose score is lower than the predetermined threshold may not be displayed. In this case, the predetermined threshold value may be appropriately set by the user. Further, only a predetermined number of three-dimensional images having a high score may be displayed, and other three-dimensional images may not be displayed. In this case, the predetermined number may be appropriately set by the user.
  • the information processing apparatus 10 may rearrange and display three-dimensional images in order of score.
  • the three-dimensional images may be displayed by sorting them in descending order of score.
  • the three-dimensional image having a lower score may not be displayed. That is, only three-dimensional images having a high score to some extent may be displayed side by side in order of score.
  • the three-dimensional images may be displayed by sorting them in ascending order of score. In this case, the three-dimensional image having the higher score may not be displayed. That is, only three-dimensional images having a low score to some extent may be displayed side by side in order of score.
  • the information processing apparatus 10 may rotate and display only a three-dimensional image having a high score (for the rotation display, refer to the sixth embodiment).
  • the three-dimensional image having the highest score may be rotated, or a plurality of three-dimensional images having the highest scores may be rotated.
  • the rotation direction and the rotation speed of the three-dimensional image may be changed according to the score. For example, an image with a high score may rotate faster, while a three-dimensional image with a low score may rotate slowly.
  • the display mode of the three-dimensional image is changed according to the calculated score. In this way, it is possible to present the three-dimensional image to the user in a more appropriate manner according to the score (in other words, quality) of the three-dimensional image.
  • the information processing apparatus 10 according to the eighth embodiment will be described with reference to FIGS. 24 and 25. It should be noted that the eighth embodiment is different from the above-mentioned fourth to seventh embodiments only in a part of the configuration and operation, and the other parts are the same as those of the fourth to seventh embodiments. It may be there. Therefore, in the following, the parts different from each of the above-described embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • FIG. 24 is a block diagram showing a functional configuration of the information processing apparatus according to the eighth embodiment.
  • the same reference numerals are given to the same components as those shown in FIG. 10.
  • the information processing apparatus 10 includes an image acquisition unit 110, a first storage unit 120, and a first selection unit 130 as processing blocks for realizing the function. It includes a three-dimensional image generation unit 140, a second storage unit 150, a second selection unit 160, a display unit 170, and a selection operation detection unit 190. That is, the information processing apparatus 10 according to the eighth embodiment is further provided with the selection operation detection unit 190 in addition to the configuration according to the fourth embodiment (see FIG. 10).
  • the selection operation detection unit 190 may be realized by the processor 11 (see FIG. 1) described above.
  • the selection operation detection unit 190 is configured to be able to detect an operation of selecting a three-dimensional image by the user.
  • the selection operation detection unit 190 can detect the user's operation by, for example, the input device 15 (see FIG. 1).
  • the selection operation detection unit 190 may detect an operation of selecting one three-dimensional image from a plurality of displayed three-dimensional images.
  • the selection operation detection unit 190 may detect an operation of selecting two or more three-dimensional images from a plurality of displayed three-dimensional images.
  • the selection operation detection unit 190 outputs information for identifying the selected three-dimensional image to the display unit 170.
  • the display unit 170 switches the display mode of the three-dimensional image according to the selection operation as described later.
  • FIG. 25 is a flowchart showing an operation flow of the information processing apparatus according to the eighth embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • the image acquisition unit 110 first acquires an image set including a plurality of images (step S11). Then, the first storage unit 120 stores the image set acquired by the image acquisition unit 110 (step S12).
  • the first selection unit 130 selects a first predetermined number of images across the set from the plurality of image sets stored in the first storage unit 120 (step S13). Then, the three-dimensional image generation unit 140 generates a three-dimensional image of the subject by using the first predetermined number of images selected by the first selection unit 130 (step S14).
  • the second storage unit 150 stores the three-dimensional image set generated by the three-dimensional image generation unit 140 (step S41). Then, the second selection unit 160 selects a second predetermined number of three-dimensional images from the plurality of three-dimensional image sets stored in the second storage unit 150 across the sets (step S42). After that, the display unit 170 outputs a second predetermined number of three-dimensional images selected by the second selection unit 160 as a three-dimensional image for display (step S43).
  • the selection operation detection unit 190 detects the selection operation by the user (step S81). Then, the display mode of the three-dimensional image is switched according to the detected selection operation (step S82).
  • the display mode may be appropriately switched according to the three-dimensional image selected by the user's operation.
  • the display mode in this case may be the same as the display mode described in the seventh embodiment.
  • the information processing apparatus 10 may, for example, enlarge and display a three-dimensional image selected by the user.
  • the user-selected 3D image may be highlighted.
  • only the three-dimensional image selected by the user may be displayed.
  • the user-selected three-dimensional image may be displayed to rotate.
  • the information processing apparatus 10 may display a slide show with a three-dimensional image selected by the user.
  • the three-dimensional images may be displayed in the order selected by the user.
  • a plurality of two-dimensional images may be displayed for the three-dimensional image selected by the user. For example, if the 3D image is an image of a person's face, then based on the selected 3D image, the face is viewed from the right side, the face is viewed from the left side, and the face is viewed from above. A two-dimensional image or the like may be displayed.
  • a three-dimensional image may be displayed three-dimensionally by using AR (Augmented Reality), hologram technology, or the like.
  • the display mode of the three-dimensional image is changed according to the user's selection operation. In this way, it is possible to present the three-dimensional image in a more appropriate manner according to the user's operation (in other words, reflecting the user's intention).
  • the three-dimensional facial shape measuring device can measure the three-dimensional shape of the face of a person who is a subject by taking an image of the face of a person with two cameras on the left and right and synthesizing the images. More specifically, the camera on the right side captures the image on the right side of the face, and the camera on the left side captures the image on the left side of the face.
  • the three-dimensional facial shape measuring device may, for example, take an image in a state where the subject is irradiated with a sinusoidal pattern and perform measurement using a sinusoidal grid shift method.
  • Each implementation also implements a processing method in which a program for operating the configuration of the embodiment is recorded on a recording medium so as to realize the functions of the above-described embodiments, the program recorded on the recording medium is read out as a code, and the program is executed by a computer. Included in the category of morphology. That is, a computer-readable recording medium is also included in the scope of each embodiment. Further, not only the recording medium on which the above-mentioned program is recorded but also the program itself is included in each embodiment.
  • the recording medium for example, a floppy (registered trademark) disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a non-volatile memory card, or a ROM can be used.
  • a floppy (registered trademark) disk for example, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a non-volatile memory card, or a ROM
  • the program recorded on the recording medium that executes the process alone, but also the program that operates on the OS and executes the process in cooperation with other software and the function of the expansion board is also an embodiment. Is included in the category of.
  • This disclosure is not limited to the above embodiment.
  • This disclosure can be appropriately modified to the extent that it does not contradict the gist or idea of the invention that can be read from the claims and the entire specification, and the information processing apparatus, information processing method, computer program, and the information processing device, and the computer program, which are accompanied by such changes.
  • the recording medium is also included in the technical idea of this disclosure.
  • the information processing apparatus is composed of an acquisition means for acquiring an image set including a plurality of images of a subject, a first storage means for storing a plurality of the image sets, and a plurality of the image sets.
  • Information characterized by comprising a first selection means for selecting a first predetermined number of images across a set, and a generation means for generating a three-dimensional image of the subject based on the first predetermined number of images. It is a processing device.
  • Appendix 2 The information processing apparatus according to Appendix 2 is the information processing apparatus according to Appendix 1, wherein the first selection means selects the first predetermined number of images according to the processing capacity of the generation means. be.
  • the information processing apparatus has the plurality of images, the image captured by projecting a sinusoidal wave pattern in a sinusoidal pattern onto the subject, and the brightness gradient pattern in which the brightness value linearly changes.
  • the information processing apparatus according to Appendix 1 or 2, characterized in that it includes an image projected onto a subject and captured, and a texture image showing the state of the surface of the subject.
  • the information processing apparatus is a second storage means for storing a plurality of sets of three-dimensional images including a plurality of the three-dimensional images, and a second predetermined set across the sets from the plurality of the three-dimensional image sets.
  • the information processing apparatus is characterized in that the second selection means selects the second predetermined number of the three-dimensional images according to the processing capacity of the display means. It is a processing device.
  • the information processing apparatus according to the appendix 6 is the information processing apparatus according to any one of the appendices 4 or 5, wherein the display means displays a list of the second predetermined number of the three-dimensional images. be.
  • the information processing apparatus further includes a calculation means for calculating a score according to a predetermined evaluation standard for each of the second predetermined number of the three-dimensional images, and the display means corresponds to the score.
  • the information processing apparatus according to any one of Supplementary note 4 to 6, wherein the display mode of each of the second predetermined number of the three-dimensional images is changed.
  • the information processing apparatus further includes a detection means for detecting a selection operation for selecting a part of the three-dimensional images from the second predetermined number of the three-dimensional images, and the display means is the selection.
  • the information processing apparatus according to any one of Supplementary note 4 to 7, wherein the display mode of the three-dimensional image selected by the operation is changed.
  • Appendix 9 In the information processing method described in Appendix 9, an image set including a plurality of images of a subject is acquired, a plurality of the image sets are stored, and a first predetermined number of images is straddled from the plurality of the image sets. It is an information processing method characterized by selecting the image of the above and generating a three-dimensional image of the subject based on the first predetermined number of images.
  • the computer program according to the appendix 10 acquires an image set including a plurality of images of a subject, stores a plurality of the image sets, and from the plurality of the image sets, a first predetermined number of images straddling the set. It is a computer program characterized in that an image is selected and a computer is operated so as to generate a three-dimensional image of the subject based on the first predetermined number of images.
  • Appendix 11 The recording medium described in Appendix 11 is a recording medium characterized in that the computer program described in Appendix 10 is recorded.
  • Information processing device 11 Processor 50 Subject 110 Image acquisition unit 120 First storage unit 130 First selection unit 140 Three-dimensional image generation unit 150 Second storage unit 160 Second selection unit 170 Display unit 180 Score calculation unit 190 Selection operation detection unit 210 Imaging unit 220 Imaging unit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

情報処理装置（１０）は、被写体（５０）を撮像した複数枚の画像を含む画像セットを取得する取得手段（１１０）と、画像セットを複数セット記憶する第１記憶手段（１２０）と、複数の画像セットから、セットを跨いで第１所定枚数の画像を選択する第１選択手段（１３０）と、第１所定枚数の画像に基づいて、被写体の三次元画像を生成する生成手段（１４０）とを備える。この情報処理装置によれば、より適切に三次元画像を生成することができる。

Description

情報処理装置、情報処理方法、及び記録媒体
　この開示は、三次元画像を生成する情報処理装置、情報処理方法、及び記録媒体の技術分野に関する。
　この種の装置として、被写体の三次元画像を生成するものが知られている。例えば特許文献１では、顔画像の各画素の値を位置合わせされた三次元顔形状データ上にマッピングすることで、顔画像に対応する三次元顔モデルを作成する技術が開示されている。特許文献２では、対象者の顔の三次元形状を推定し、推定結果を表示装置に表示することが開示されている。
　その他の関連する技術として、例えば特許文献３では、三次元物体に関する処理について分散処理を行うことが開示されている。特許文献４では、処理対象である画像を間引いて、転送の負荷や処理の負荷を軽減することが開示されている。
特開２０１１－２０９９１６号公報 国際公開第２０１９／０７８３１０号 特開平０３－０８５６８８号公報 特開２００９－２０７７０９号公報
　この開示は、上述した関連する技術を改善することを目的とする。
　この開示の情報処理装置の一の態様は、被写体を撮像した複数枚の画像を含む画像セットを取得する取得手段と、前記画像セットを複数セット記憶する第１記憶手段と、複数の前記画像セットから、セットを跨いで第１所定枚数の画像を選択する第１選択手段と、前記第１所定枚数の画像に基づいて、前記被写体の三次元画像を生成する生成手段とを備える。
　この開示の情報処理方法の一の態様は、被写体を撮像した複数枚の画像を含む画像セットを取得し、前記画像セットを複数セット記憶し、複数の前記画像セットから、セットを跨いで第１所定枚数の画像を選択し、前記第１所定枚数の画像に基づいて、前記被写体の三次元画像を生成する。
　この開示の記録媒体の一の態様は、被写体を撮像した複数枚の画像を含む画像セットを取得し、前記画像セットを複数セット記憶し、複数の前記画像セットから、セットを跨いで第１所定枚数の画像を選択し、前記第１所定枚数の画像に基づいて、前記被写体の三次元画像を生成するようにコンピュータを動作させるコンピュータプログラムが記録されている。
第１実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 第１実施形態に係る情報処理装置の機能的構成を示すブロック図である。 第１実施形態に係る情報処理装置の動作の流れを示すフローチャートである。 第１実施形態に係る情報処理装置における画像の選択例を示す概念図である。 第２実施形態に係る情報処理装置の動作の流れを示すフローチャートである。 第３実施形態に係る情報処理装置が適用される撮像システムの構成を示す概略構成図である。 被写体に投影される正弦波パターンの一例を示す平面図である。 被写体に投影される輝度傾斜パターンの一例を示す平面図である。 第３実施形態に係る情報処理装置で用いられる画像セットの一例を示す図である。 第４実施形態に係る情報処理装置の機能的構成を示すブロック図である。 第４実施形態に係る情報処理装置の動作の流れを示すフローチャートである。 画像リングメモリ及び三次元画像リングメモリの構成を示す概念図である。 第４実施形態に係る情報処理装置における撮像スレッドの動作の流れを示すフローチャートである。 第４実施形態に係る情報処理装置における三次元画像生成スレッドの動作の流れを示すフローチャートである。 第４実施形態に係る情報処理装置における三次元画像表示スレッドの動作の流れを示すフローチャートである。 第４実施形態に係る情報処理装置の変形例の機能的構成を示すブロック図である。 第４実施形態に係る情報処理装置の変形例の動作の流れを示すフローチャートである。 第５実施形態に係る情報処理装置の動作の流れを示すフローチャートである。 第６実施形態に係る情報処理装置による三次元画像の一覧表示の例を示す図である。 第６実施形態に係る情報処理装置における表示態様の一例を示す図である。 第７実施形態に係る情報処理装置の機能的構成を示すブロック図である。 第７実施形態に係る情報処理装置の動作の流れを示すフローチャートである。 第７実施形態に係る情報処理装置における表示態様の一例を示す図である。 第８実施形態に係る情報処理装置の機能的構成を示すブロック図である。 第８実施形態に係る情報処理装置の動作の流れを示すフローチャートである。
　以下、図面を参照しながら、情報処理方法、情報処理装置、コンピュータプログラム、及び記録媒体の実施形態について説明する。
　＜第１実施形態＞
　第１実施形態に係る情報処理装置について、図１から図４を参照して説明する。
　（ハードウェア構成）
　まず、図１を参照しながら、第１実施形態に係る情報処理装置のハードウェア構成について説明する。図１は、第１実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
　図１に示すように、第１実施形態に係る情報処理装置１０は、プロセッサ１１と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。情報処理装置１０は更に、入力装置１５と、出力装置１６とを備えていてもよい。プロセッサ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６とは、データバス１７を介して接続されている。
　プロセッサ１１は、コンピュータプログラムを読み込む。例えば、プロセッサ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ１１は、ネットワークインタフェースを介して、情報処理装置１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。プロセッサ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、プロセッサ１１が読み込んだコンピュータプログラムを実行すると、プロセッサ１１内には、三次元画像を生成するための機能ブロックが実現される。なお、プロセッサ１１の一例として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ　ｇａｔｅ　ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ　Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）が挙げられる。プロセッサ１１は、上述した一例のうち一つを用いてもよいし、複数を並列で用いてもよい。
　ＲＡＭ１２は、プロセッサ１１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ１２は、プロセッサ１１がコンピュータプログラムを実行している際にプロセッサ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ　ＲＡＭ）であってもよい。
　ＲＯＭ１３は、プロセッサ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）であってもよい。
　記憶装置１４は、情報処理装置１０が長期的に保存するデータを記憶する。記憶装置１４は、プロセッサ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
　入力装置１５は、情報処理装置１０のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。入力装置１５は、専用のコントローラ（操作端末）であってもよい。また、入力装置１５は、ユーザが保有する端末（例えば、スマートフォンやタブレット端末等）を含んでいてもよい。入力装置１５は、例えばマイクを含む音声入力が可能な装置であってもよい。
　出力装置１６は、情報処理装置１０に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、情報処理装置１０に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。ここでの表示装置は、テレビモニタ、パソコンモニタ、スマートフォンのモニタ、タブレット端末のモニタ、その他の携帯端末のモニタであってよい。また、表示装置は、店舗等の各種施設に設置される大型モニタやデジタルサイネージ等であってよい。また、出力装置１６は、画像以外の形式で情報を出力する装置であってもよい。例えば、出力装置１６は、情報処理装置１０に関する情報を音声で出力するスピーカであってもよい。
　（機能的構成）
　次に、図２を参照しながら、第１実施形態に係る情報処理装置１０の機能的構成について説明する。図２は、第１実施形態に係る情報処理装置の機能的構成を示すブロック図である。
　図２に示すように、第１実施形態に係る情報処理装置１０は、その機能を実現するための処理ブロックとして、画像取得部１１０と、第１記憶部１２０と、第１選択部１３０と、三次元画像生成部１４０とを備えている。なお、画像取得部１１０、第１選択部１３０、及び三次元画像生成部１４０の各々は、上述したプロセッサ１１（図１参照）によって実現されてよい。第１記憶部１２０については、上述したＲＡＭ１２（図１参照）によって実現されてよい。
　画像取得部１１０は、被写体を撮像した複数枚の画像を含む画像セットを取得可能に構成されている。画像取得部１１０は、例えばカメラ等から撮像された画像を直接取得してもよいし、記憶手段に記憶された画像を適宜取得してもよい。なお、カメラから画像を取得する場合、カメラは複数あってもよく、複数のカメラの各々から複数の画像を取得するようにしてもよい。画像セットに含まれる画像の枚数については特に限定されるものではない。画像セットの具体例については、後述する他の実施形態において詳しく説明する。画像取得部１１０で記憶された画像は第１記憶部１２０に出力される構成となっている。
　第１記憶部１２０は、画像取得部１１０で取得した画像セット（即ち、複数枚の画像）を複数セット記憶可能に構成されている。第１記憶部１２０は、例えば２つの画像セットを記憶可能とされている。第１記憶部１２０は、３つ以上の画像セットを記憶可能とされてもよい。第１記憶部１２０は、不要となった画像セットを適宜削除する機能を有していてもよい。
　第１選択部１３０は、第１記憶部１２０に記憶された画像セットから第１所定枚数の画像を選択可能に構成されている。ここでの「第１所定枚数」は、三次元画像生成部１４０に出力する画像の枚数として設定されるものであり、例えば三次元画像を生成するのに最低限必要となる枚数であってもよい。第１所定枚数は、画像セットに含まれる画像の枚数と同じ数であってもよいし、異なる数であってもよい。第１選択部１３０は特に、第１記憶部１２０に記憶された複数の画像セットの中から、セットをまたいで第１所定枚数の画像を選択する。例えば、第１選択部１３０は、第１画像セット及び第２画像セットの各々から第１所定枚数の画像を選択する。第１選択部１３０による画像の選択方法については、後に具体例を挙げて詳しく説明する。第１選択部１３０で選択された第１所定枚数の画像は、三次元画像生成部１４０に出力される構成となっている。
　三次元画像生成部１４０は、第１選択部１３０で選択された第１所定枚数の画像から、被写体の三次元画像を生成可能に構成されている。即ち、三次元画像生成部１４０は、複数枚の二次元画像から三次元画像を生成する機能を有している。なお、複数枚の画像から三次元画像を生成する手法については特に限定されるものではなく、適宜既存の技術を採用することもできるため、ここでの詳細な説明は省略するものとする。
　（動作の流れ）
　次に、図３を参照しながら、第１実施形態に係る情報処理装置１０の動作の流れについて説明する。図３は、第１実施形態に係る情報処理装置の動作の流れを示すフローチャートである。
　図３に示すように、第１実施形態に係る情報処理装置１０が動作する際には、まず画像取得部１１０が複数枚の画像を含む画像セットを取得する（ステップＳ１１）。そして、第１記憶部１２０が、画像取得部１１０が取得した画像セットを記憶する（ステップＳ１２）。なお、上述したステップＳ１１及びステップＳ１２の処理では、複数の画像セットがまとめて取得及び記憶されてもよいし、１つの画像セットを取得及び記憶する処理が繰り返して実行されることで、複数の画像セットが記憶されてもよい。
　続いて、第１選択部１３０が、第１記憶部１２０に記憶された複数の画像セットの中から、セットをまたいで第１所定枚数の画像を選択する（ステップＳ１３）。そして、三次元画像生成部１４０が、第１選択部１３０で選択された第１所定枚数の画像を用いて、被写体の三次元画像を生成する（ステップＳ１４）。なお、上述した一連の処理は、適宜繰り返し実行されてよい。即ち、三次元画像を生成する処理が繰り返し実行されることで、複数枚の三次元画像が生成されてもよい。
　（画像の選択例）
　次に、図４を参照しながら、第１選択部１３０による画像の選択例について具体例を挙げて説明する。図４は、第１実施形態に係る情報処理装置における画像の選択例を示す概念図である。
　図４に示すように、第１記憶部１２０に第１画像セット及び第２画像セットが記憶されているとする。なお、１つの画像セットには８枚の画像が含まれている。具体的には、第１画像セットには、１番から８番までの８枚の画像が含まれている。第２画像セットには、９番から１６番までの８枚の画像が含まれている。
　この場合、第１選択部１３０は、例えば第１画像セットの後半部分の４枚（即ち、５番から８番の画像）と、第２画像セットの前半部分の４枚（即ち、９番から１２番の画像）とを選択してもよい。この場合、選択された５番から８番の画像と、９番から１２番の画像の計８枚の画像から三次元画像が生成されることになる。言い換えれば、選択されなかった画像（即ち、１番から４番の画像、及び１３番から１６番の画像）については、三次元画像の生成に利用されない。利用されなかった画像については破棄されてもよいし、異なるタイミングで実行される同様の処理において利用されてもよい（例えば、次回の第１選択部１３０の選択候補となってもよい）。
　なお、上述した選択例では、セットをまたいで番号が連続する画像（即ち、５番から１２番までの連続する画像）が選択されているが、連続しない番号の画像が選択されてもよい。例えば、第１画像セットにおける１番、３番、５番、７番の画像と、第２画像セットにおける９番、１１番、１３番、１５版の画像とが選択されてもよい。また、上述した例では、画像セットに含まれる画像と同じ枚数の画像（８枚）が選択されているが、画像セットに含まれる画像とは異なる枚数の画像（例えば、７枚以下の画像、或いは９枚以上の画像）が選択されてもよい。また、選択される画像は、各種条件に応じて適宜設定されるものであってもよい。選択される画像は、例えば画像の品質（撮像対象が正面を向いているか、画像にブレやボケはないか等）に基づいて決定されてもよい。このような例については、後述する他の実施形態に置いて詳しく説明する。
　（技術的効果）
　次に、第１実施形態に係る情報処理装置１０によって得られる技術的効果について説明する。
　図１から図４で説明したように、第１実施形態に係る情報処理装置１０では、複数の画像セットの中から、セットをまたいで第１所定枚数の画像が選択される。このようにすれば、異なる画像セットに含まれる第１所定枚数の画像を用いて三次元画像を生成することができる。この場合、１つの画像セットに含まれる画像のみを用いて三次元画像を生成する場合と比較して、より適切に三次元画像を生成することができる。例えば、三次元画像を生成するのに適した画像を選択して（言い換えれば、三次元画像を生成するのに適さない画像を除外して）、三次元画像を生成することができる。
　第１実施形態に係る情報処理装置１０では特に、複数の画像セットを記憶する第１記憶部１２０を備えているため、セットをまたいで第１所定枚数の画像を選択することが容易である。また、第１記憶部１２０が複数の画像セットを記憶可能に構成されていることで、画像を取得する処理と、画像を選択して三次元画像を生成する処理とを、それぞれ効率的に実行することが可能となる。具体的には、画像を取得する処理と、三次元画像を生成する処理とを、同時に並行して実行することが可能となる。また、第１記憶部１２０を備えていることにより、三次元画像を生成する処理が完了することを待たずに、新たな画像を取得する処理を実行することが可能である。仮に、第１記憶部１２０が備えられていない場合、三次元画像生成部１４０が１つの画像セットを用いて三次元画像を生成完了するまでは、画像取得部１１０は、新たな画像を取得することができない（即ち、三次元画像を生成する処理が完了するのを待ち合わせることが要求される）。しかしながら、第１記憶部１２０を備えることにより、画像取得部１１０は、三次元画像生成部１４０による三次元画像を生成する処理の完了を待たずに、新たな画像を取得することができる。具体的には、画像取得部１１０は、取得した画像を第１記憶部１２０に順次格納していき、三次元画像生成部１４０は、画像取得部１１０から直接画像を取得せずに、第１記憶部１２０から画像を取得して三次元画像を生成することが可能となる。
　＜第２実施形態＞
　第２実施形態に係る情報処理装置１０について、図５を参照して説明する。なお、第２実施形態は、上述した第１実施形態と比較して動作の一部が異なるのみであり、例えば装置のハードウェア構成（図１参照）や機能的構成（図２参照）については、第１実施形態と同様であってよい。このため、以下では、第１実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　（動作の流れ）
　まず、図５を参照しながら、第２実施形態に係る情報処理装置の動作の流れについて説明する。図５は、第２実施形態に係る情報処理装置の動作の流れを示すフローチャートである。なお、図５では、図３で示した処理と同様の処理に同一の符号を付している。
　図５に示すように、第２実施形態に係る情報処理装置１０情報処理装置１０が動作する際には、まず画像取得部１１０が複数枚の画像を含む画像セットを取得する（ステップＳ１１）。そして、第１記憶部１２０が、画像取得部１１０が取得した画像セットを記憶する（ステップＳ１２）。
　続いて、第１選択部１３０が、第１記憶部１２０に記憶された複数の画像セットの中から、セットをまたいで第１所定枚数の画像を選択する。この際、第２実施形態では特に、第１選択部１３０は、三次元画像生成部１４０の処理能力に応じて第１所定枚数の画像を選択する（ステップＳ２１）。即ち、第１選択部１３０は、後続の処理能力に応じて画像を選択する。その後、三次元画像生成部１４０は、第１選択部１３０で選択された第１所定枚数の画像を用いて、被写体の三次元画像を生成する（ステップＳ１４）。
　上述した「三次元画像生成部１４０の処理能力」とは、三次元画像生成部１４０が有する仕様上の処理能力であってもよいし、実行中の処理の演算負荷等を考慮した、その時点での処理能力であってもよい。第１選択部１３０は、例えば、三次元画像生成部１４０の処理能力に応じて、選択する画像の枚数（即ち、第１所定枚数の値）を変更する。この場合、三次元画像生成部１４０が三次元画像の生成に用いる画像の数が、その処理能力に応じて変動することになる。あるいは、第１選択部１３０は、三次元画像生成部１４０の処理能力に応じて、画像を選択する頻度を変更する。この場合、三次元画像生成部１４０に画像が出力される頻度が変動するため、三次元画像生成部１４０が単位時間あたりに処理する画像の枚数が変動することになる。
　（技術的効果）
　次に、第２実施形態に係る情報処理装置１０によって得られる技術的効果について説明する。
　図５で説明したように、第２実施形態に係る情報処理装置１０では、三次元画像生成部１４０の処理能力に応じて第１所定枚数の画像が選択される。このようにすれば、三次元画像生成部１４０の処理能力を考慮して、適切に三次元画像の生成を行うことが可能となる。例えば、三次元画像生成部１４０の処理能力が落ちている場合、第１選択部１３０は選択する画像の枚数を少なくする。この場合、三次元画像生成部１４０が一度に処理する画像の枚数が少なくなるため、処理能力が落ちている三次元画像生成部１４０でも問題なく三次元画像を生成する処理を実行することができる。あるいは、三次元画像生成部１４０の処理能力が落ちている場合、第１選択部１３０は画像を選択する頻度を少なくする。この場合、三次元画像生成部１４０が単位時間あたりに処理する画像の枚数が少なくなるため、処理能力が落ちている三次元画像生成部１４０でも問題なく三次元画像を生成する処理を実行することができる。
　＜第３実施形態＞
　第３実施形態に係る情報処理装置１０について、図６から図９を参照して説明する。なお、第３実施形態は、上述した第１及び第２実施形態において用いられる画像（即ち、三次元画像を生成するための被写体の画像）の具体例を示すものであり、装置構成や動作の流れ等については、第１及び第２実施形態と同様であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　（撮像システム）
　まず、図６を参照しながら、第３実施形態に係る情報処理装置を含む撮像システム全体の構成について説明する。図６は、第３実施形態に係る情報処理装置が適用される撮像システムの構成を示す概略構成図である。
　図６に示すように、第３実施形態に係る情報処理装置１０は、撮像部２１０と、投影部２２０と接続されている。撮像部２１０及び投影部２２０は、それぞれ被写体５０の方向を向くように配置されている。
　撮像部２１０は、被写体５０の画像を撮像可能に構成されている。撮像部２１０は、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子を含んでよい。また、撮像部２１０は、被写体の像を固体撮像素子の撮像面に結像させる光学系、固体撮像素子の出力を信号処理して画素毎の輝度値を得る信号処理回路等を含んでよい。なお、ここでは、説明の便宜上、１つの撮像部２１０を図示しているが、２つ以上の撮像部２１０が設けられていてもよい。この場合、２つの撮像部２１０は、被写体５０を異なる角度で撮像するように配置されてもよい。
　投影部２２０は、被写体５０に所定の光パターンを投射可能に構成されている。投影部２２０は、特に限定されるものではないが、例えば、ＤＬＰ（Ｄｉｇｉｔａｌ　ｌｉｇｈｔ　Ｐｒｏｃｅｓｓｉｎｇ）プロジェクタや液晶プロジェクタ等であってよい。ＤＬＰプロジェクタや液晶プロジェクタは、任意の光パターンを高速に投射することが可能であり、被写体５０の形状計測の短時間化を図るうえで好ましい。計測時間の短時間化は、特に、人物の顔認証を行う場合など、動きのある物体（動体）の立体形状を計測するうえで好適である。なお、投影部２２０が被写体５０に投射する光パターンの詳細については後述する。
　（正弦波パターン）
　図７を参照しながら、被写体に投影される正弦波パターン、及び正弦波パターンを利用した計測手法について詳しく説明する。図７は、被写体に投影される正弦波パターンの一例を示す平面図である。
　図７に示す例ように、投影部２２０は、所定の光パターンとして正弦波パターン（即ち、正弦波格子状の光パターン）を被写体５０に投影する。正弦波パターンを投影することで、正弦波格子位相シフト法を用いた三次元形状計測を行うことが可能となる。正弦波格子位相シフト法とは、正弦波パターンを、少しずつ位相をずらしながら被写体に投射し、被写体の立体形状を特定する方法である。
　以下では、正弦波格子位相シフト法を用いた計測手法の基本的な原理について説明する。正弦波パターンを投影した被写体を撮像部２１０で撮影したとき、得られる画像の（ｘ，ｙ）座標における時刻ｔの輝度値Ｉ（ｘ，ｙ，ｔ）は、正弦波の振幅をＡ、位相値をθ、バイアス（正弦波の中心値）をＢとして、以下の式（１）のように表すことができる。
Figure JPOXMLDOC01-appb-M000001
　投影部２２０より投射される正弦波パターンは、投影部２２０から見た角度毎に位相値θが異なっていることから、座標（ｘ，ｙ）における位相値θを求めることができれば、座標（ｘ，ｙ）に対応する三次元的な位置を定めることができる。
　上記式（１）における未知数は振幅Ａ、位相値θ及びバイアスＢの３つであることから、最少で３枚の正弦波パターン投影画像があれば位相値θを算出することができる。光パターン投影画像を４枚以上撮影した場合には、最小二乗法などにより、より高精度に位相値θを算出することができる。
　ここで、１／４波長ずつ位相をずらした４つの正弦波パターンを、それぞれ時刻ｔ＝０、時刻ｔ＝π／２、時刻ｔ＝π、時刻ｔ＝３π／２で投射して画像を取得したとすると、各時刻における座標（ｘ，ｙ）の輝度値Ｉ（ｘ，ｙ，ｔ）は、以下の式（２）～式（５）のように表すことができる。
Figure JPOXMLDOC01-appb-M000002
　式（２）～式（５）から最小二乗法により振幅Ａ、位相値θ及びバイアスＢを求めることにより、以下の式（６）～式（８）が得られる。
Figure JPOXMLDOC01-appb-M000003
　（輝度傾斜パターン）
　次に、図８を参照しながら、被写体に投影される輝度傾斜パターン、及び輝度傾斜パターンを用いた計測手法について詳しく説明する。図８は、被写体に投影される輝度傾斜パターンの一例を示す平面図である。
　図８に示す例のように、投影部２２０は、上述した正弦波パターンに加えて、輝度傾斜パターン（即ち、輝度値が一定の割合で線形的に変化する光パターン）を被写体５０に投影する。輝度傾斜パターンは、正弦波パターンとは繰り返し周期の数が互いに異なる周期的な光パターンとして投影される。なお、図８では、上から下に向かって輝度が一定の割合で明るくなる輝度傾斜パターンを示しているが、例えば下から上に向かって輝度が一定の割合で明るくなる輝度傾斜パターンを用いてもよい。
　以下では、輝度傾斜パターンを用いた計測手法について説明する。輝度傾斜パターンを投影した被写体５０を撮像部２１０で撮影したとき、得られる画像の（ｘ，ｙ）座標における時刻ｔの輝度値Ｋ（ｘ，ｙ，ｔ）は、以下の式（９）のように表すことができる。ここで、Ａ″は振幅、Ｂ″はバイアス、ωは－１≦ω≦１の範囲で線形的に値が変化する変数である。
Figure JPOXMLDOC01-appb-M000004
　ここで、投影部２２０として、液晶プロジェクタやＤＬＰプロジェクタなど、任意の光パターンの投影が可能なプロジェクタを用いた場合、１つの投影部２２０により正弦波パターンと輝度傾斜パターンとを高速に切り替えて投射することが可能である。そして、１つの投影部２２０により同じ光源から発せられた光をもとに生成した正弦波パターン及び輝度傾斜パターンを投射する場合、これら光パターンの投射時における投影装置２０の基本的な物理特性は同一であると仮定することができる。すなわち、正弦波パターン及び輝度傾斜パターンの被写体５０への投影を同じ投影部２２０を用いて行う場合、以下の式（１０）が成立するものと考えられる。
　　Ａ＝Ａ″，Ｂ＝Ｂ″　　…(１０)
　輝度傾斜パターンを投影した被写体５０の撮影を１回だけ行う場合、輝度値Ｋ（ｘ，ｙ，ｔ）及び変数ωは、式（１１）及び式（１２）のように表すことができる。
Figure JPOXMLDOC01-appb-M000005
　また、輝度傾斜パターンを投影した被写体５０の撮影を２回行い、最少二乗法により変数ωを求めることもできる。すなわち、時刻ｔ＝０、時刻ｔ＝１における画像をそれぞれ得たとすると、座標（ｘ，ｙ）における輝度値Ｋ（ｘ，ｙ，ｔ）は、以下の式（１３）及び式（１４）のように表される。そして、変数ωは、以下の式（１５）のように表される。
Figure JPOXMLDOC01-appb-M000006
　（画像セットの一例）
　次に、図９を参照しながら、第３実施形態に係る情報処理装置１０で取得される画像セットについて説明する。図９は、第３実施形態に係る情報処理装置で用いられる画像セットの一例を示す図である。
　図９に示すように、第３実施形態に係る情報処理装置１０は、上述した正弦波パターン（図７参照）を投影して撮像される画像、輝度傾斜パターン（図８参照）を投影して撮像される画像、そして被写体５０の表面の状態を示すテクスチャ画像を含む複数の画像を１つの画像セットとして取得する。図９に示す例では、１つの画像セットに、正弦波パターンを投影して撮像される画像が４枚、輝度傾斜パターンを投影して撮像される画像が２枚、テクスチャ画像が２枚、合計８枚の画像が含まれている。
　上述した画像セットの構成はあくまで一例であり、正弦波パターンを投影して撮像される画像、輝度傾斜パターンを投影して撮像される画像、及びテクスチャ画像の各々の枚数は適宜変更されてよい。また、１つの画像セットを構成する画像の合計枚数についても、８枚とは異なる数であってもよい。ただし、正弦波パターンを投影して撮像される画像、輝度傾斜パターンを投影して撮像される画像、及びテクスチャ画像の各々は、１つの画像セットにそれぞれ複数枚含まれていることが好ましい。
　（技術的効果）
　次に、第３実施形態に係る情報処理装置１０によって得られる技術的効果について説明する。
　図６から図９で説明したように、第３実施形態に係る情報処理装置１０では、画像セットとして、正弦波パターンを投影して撮像される画像、輝度傾斜パターンを投影して撮像される画像、及びテクスチャ画像を含む複数枚の画像が取得される。このようにすれば、画像セットに含まれる各画像から適切に三次元画像を生成することが可能である。
　＜第４実施形態＞
　第４実施形態に係る情報処理装置１０について、図１０から図１５を参照して説明する。なお、第４実施形態は、上述した第１から第３実施形態と比較して、一部の構成及び動作が異なるのみであり、その他の部分については、第１から第３実施形態と同様であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　（機能的構成）
　まず、図１０を参照しながら、第４実施形態に係る情報処理装置１０の機能的構成について説明する。図１０は、第４実施形態に係る情報処理装置の機能的構成を示すブロック図である。なお、図１０では、図２で示した構成要素と同様の要素に同一の符号を付している。
　図１０に示すように、第４実施形態に係る情報処理装置１０は、その機能を実現するための処理ブロックとして、画像取得部１１０と、第１記憶部１２０と、第１選択部１３０と、三次元画像生成部１４０と、第２記憶部１５０と、第２選択部１６０と、表示部１７０とを備えている。即ち、第４実施形態に係る情報処理装置１０は、第１実施形態に係る構成（図２参照）に加えて、第２記憶部１５０と、第２選択部１６０と、表示部１７０とを更に備えて構成されている。なお、第２記憶部１５０は、上述したＲＡＭ１２（図１参照）によって実現されてよい。第２選択部１６０及び表示部１７０は、上述したプロセッサ１１（図１参照）によって実現されてよい。
　第２記憶部１５０は、三次元画像生成部１４０で生成した三次元画像を複数枚含むセット（以下、適宜「三次元画像セット」と称する）を複数セット記憶可能に構成されている。第２記憶部１５０は、例えば２つの三次元画像セットを記憶可能とされている。第２記憶部１５０は、３つ以上の三次元画像セットを記憶可能とされてもよい。第２記憶部１５０は、不要となった三次元画像セットを適宜削除する機能を有していてもよい。
　第２選択部１６０は、第２記憶部１５０に記憶された三次元画像セットから第２所定枚数の三次元画像を選択可能に構成されている。ここでの「第２所定枚数」は、表示部１７０が出力する三次元画像の枚数として設定されるものであり、例えばディスプレイ等に同時に表示する三次元画像の枚数であってもよい。第２所定枚数は、三次元画像セットに含まれる三次元画像の枚数と同じ数であってもよいし、異なる数であってもよい。第２選択部１６０は特に、第２記憶部１５０に記憶された複数の三次元画像セットの中から、セットをまたいで第２所定枚数の三次元画像を選択する。例えば、第２選択部１６０は、第１三次元画像セット及び第２三次元画像セットの各々から第２所定枚数の画像を選択する。第２選択部１６０で選択された第２所定枚数の三次元画像は、表示部１７０に出力される構成となっている。
　表示部１７０は、第２選択部１６０で選択された第２所定枚数の画像を、ユーザ等に対して表示する三次元画像として出力する。即ち、表示部１７０は、複数枚の三次元画像を出力する機能を有している。表示部１７０から出力された三次元画像は、例えばディスプレイを有する表示装置に出力される。この表示装置は、例えば上述した出力装置１６（図１参照）によって実現されてよい。表示部１７０から出力される三次元画像の表示態様については、後述する他の実施形態において具体例を挙げて説明する。
　（動作の流れ）
　次に、図１１を参照しながら、第４実施形態に係る情報処理装置１０の動作の流れについて説明する。図１１は、第４実施形態に係る情報処理装置の動作の流れを示すフローチャートである。なお、図１１では、図３で示した処理と同様の処理に同一の符号を付している。
　図１１に示すように、第４実施形態に係る情報処理装置１０が動作する際には、まず画像取得部１１０が複数枚の画像を含む画像セットを取得する（ステップＳ１１）。そして、第１記憶部１２０が、画像取得部１１０が取得した画像セットを記憶する（ステップＳ１２）。
　続いて、第１選択部１３０が、第１記憶部１２０に記憶された複数の画像セットの中から、セットをまたいで第１所定枚数の画像を選択する（ステップＳ１３）。そして、三次元画像生成部１４０が、第１選択部１３０で選択された第１所定枚数の画像を用いて、被写体の三次元画像を生成する（ステップＳ１４）。
　続いて、第２記憶部１５０が、三次元画像生成部１４０が生成した三次元画像セットを記憶する（ステップＳ４１）。そして、第２選択部１６０が、第２記憶部１５０に記憶された複数の三次元画像セットの中から、セットをまたいで第２所定枚数の三次元画像を選択する（ステップＳ４２）。その後、表示部１７０が、第２選択部１６０で選択された第２所定枚数の三次元画像を、表示用の三次元画像として出力する（ステップＳ４３）。これにより、第２選択部１６０で選択された第２所定枚数の三次元画像が、ユーザ等に対して表示（提示）されることになる。
　（メモリの動作）
　次に、図１２から図１５を参照しながら、第４実施形態に係る情報処理装置１０のメモリ（即ち、第１記憶部１２０及び第２記憶部１５０）の動作について説明する。図１２は、画像リングメモリ及び三次元画像リングメモリの構成を示す概念図である。図１３は、第４実施形態に係る情報処理装置における撮像スレッドの動作の流れを示すフローチャートである。図１４は、第４実施形態に係る情報処理装置における三次元画像生成スレッドの動作の流れを示すフローチャートである。図１５は、第４実施形態に係る情報処理装置における三次元画像表示スレッドの動作の流れを示すフローチャートである。
　図１２に示すように、第１記憶部１２０は、複数枚の画像を記憶可能な画像リングメモリを備えている。ここでの画像リングメモリは、８つのバッファを有しており、それぞれのバッファが画像を記憶可能に構成されている。各バッファは状態を示すｓｔａｔｅを有している。ｓｔａｔｅは、「書込可」又は「書込不可」のいずれかとなる。ポインタ＃１は、画像リングメモリにおける作業対象のバッファを指すものである。
　一方、第２記憶部１５０は、複数枚の三次元画像を記憶可能な三次元画像リングメモリを備えている。ここでの三次元画像リングメモリは、５つのバッファを有しており、それぞれのバッファが三次元画像を記憶可能に構成されている。各バッファは状態を示すｓｔａｔｅを有している。ｓｔａｔｅは、「書込可」又は「書込不可」のいずれかとなる。ポインタ＃２は、三次元画像リングメモリにおける作業対象のバッファを指すものである。
　図１３に示す例を用いて、撮像スレッドについて説明する。撮像スレッドは、撮像部２１０（図６参照）等で撮像された画像を、画像取得部１１０が取得し、第１記憶部１２０に記憶する処理に対応するスレッドである。
　撮像スレッドでは、まずポインタ＃１が指すバッファのｓｔａｔｅをチェックする（ステップＳ１０１）。なお、ポインタ＃１が指すバッファのｓｔａｔｅが「書込不可」の場合には、以降の処理は開始されない。この場合、例えば所定期間後に、ステップＳ１０１の処理が再び実行されてよい。一方で、ポインタ＃１が指すバッファのｓｔａｔｅが「書込可」の場合には、撮像された画像を取得し、取得した画像を画像リングメモリに書き込む（ステップＳ１０２）。
　続いて、ポインタ＃１が指すバッファのｓｔａｔｅを「書込不可」に設定する（ステップＳ１０３）。そして、ポインタ＃１を次のバッファへと進める（ステップＳ１０４。）
　図１４に示す例を用いて、三次元画像生成スレッドについて説明する。三次元画像生成スレッドは、第１記憶部１２０に記憶された複数の画像セットの中から、第１選択部１３０が第１所定枚数の画像を選択し、三次元画像生成部１４０が三次元画像を生成して記憶する処理に対応するスレッドである。
　三次元画像生成スレッドでは、まずポインタ＃１が指すバッファのｓｔａｔｅをチェックする（ステップＳ２０１）。なお、ポインタ＃１が指すバッファのｓｔａｔｅが「書込可」の場合には、以降の処理は開始されない。この場合、例えば所定期間後に、ステップＳ２０１の処理が再び実行されてよい。
　一方で、ポインタ＃１が指すバッファのｓｔａｔｅが「書込不可」の場合には、ポインタ＃２が指すバッファのｓｔａｔｅをチェックする（ステップＳ２０２）。なお、ポインタ＃２が指すバッファのｓｔａｔｅが「書込不可」の場合には、以降の処理は開始されない。この場合、例えば所定期間後に、ステップＳ２０２の処理が再び実行されてよい。ポインタ＃２が指すバッファのｓｔａｔｅが「書込可」の場合には、三次元画像を生成し、生成した三次元画像リングメモリに書き込む（ステップＳ２０３）。
　続いて、ポインタ＃１が指す画像リングメモリの入力バッファのｓｔａｔｅを「書込可」に設定する（ステップＳ２０４）。また、ポインタ＃２が指す三次元画像リングメモリの出力バッファのｓｔａｔｅを「書込不可」に設定する（ステップＳ２０５）。そして、ポインタ＃１及びポインタ＃２を、それぞれ次のバッファへと進める（ステップＳ２０６。）
　図１５に示す例を用いて、三次元画像表示スレッドについて説明する。三次元画像表示スレッドは、第２記憶部１５０に記憶された複数の三次元画像セットの中から、第２選択部１６０が第２所定枚数の三次元画像を選択し、表示部１７０が表示用の三次元画像として出力する処理に対応するスレッドである。
　三次元画像生成スレッドでは、まずポインタ＃２が指すバッファのｓｔａｔｅをチェックする（ステップＳ３０１）。なお、ポインタ＃２が指すバッファのｓｔａｔｅが「書込可」の場合には、以降の処理は開始されない。この場合、例えば所定期間後に、ステップＳ３０１の処理が再び実行されてよい。一方で、ポインタ＃１が指すバッファのｓｔａｔｅが「書込不可」の場合には、選択した三次元画像を表示用の三次元画像として出力する（ステップＳ３０２）。
　続いて、ポインタ＃２が指すバッファのｓｔａｔｅを「書込可」に設定する（ステップＳ３０３）。そして、ポインタ＃２を次のバッファへと進める（ステップＳ３０４。）
　（技術的効果）
　次に、第４実施形態に係る情報処理装置１０によって得られる技術的効果について説明する。
　図１０から図１５で説明したように、第４実施形態に係る情報処理装置１０では、複数の三次元画像セットの中から、セットをまたいで第２所定枚数の三次元画像が選択される。このようにすれば、異なる三次元画像セットに含まれる第２所定枚数の画像を表示させることができる。この場合、１つの三次元画像セットに含まれる画像のみを表示させる場合と比較して、より適切に三次元画像を表示させることができる。例えば、表示させるのに適した三次元画像を選択して（言い換えれば、表示させるのに適さない三次元画像を除外して）、三次元画像を表示させることができる。
　＜第４実施形態の変形例＞
　次に、第４実施形態に係る情報処理装置１０の変形例について、図１６及び図１７を参照して説明する。なお、第４実施形態に係る変形例は、一部が第４実施形態と異なるのみであり、その他の部分は概ね第４実施形態と同様である。よって、以下では、第４実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　（機能的構成）
　まず、図１６を参照しながら、第４実施形態に係る情報処理装置１０の変形例の機能的構成について説明する。図１６は、第４実施形態に係る情報処理装置の変形例の機能的構成を示すブロック図である。なお、図１６では、図１０で示した構成要素と同様の要素に同一の符号を付している。
　図１６に示すように、第４実施形態に係る情報処理装置１０の変形例は、その機能を実現するための処理ブロックとして、画像取得部１１０と、三次元画像生成部１４０と、第２記憶部１５０と、第２選択部１６０と、表示部１７０とを備えている。即ち、第４実施形態に係る情報処理装置１０の変形例は、第２実施形態に係る構成（図１０参照）と比べると、第１記憶部１２０及び第１選択部１３０を備えていない。
　（動作の流れ）
　次に、図１７を参照しながら、第４実施形態に係る情報処理装置１０の変形例の動作の流れについて説明する。図１７は、第４実施形態に係る情報処理方法の変形例の動作の流れを示すフローチャートである。なお、図１７では、図１１で示した処理と同様の処理に同一の符号を付している。
　図１７に示すように、第４実施形態に係る情報処理装置１０の変形例では、まず画像取得部１１０が複数枚の画像を含む画像セットを取得する（ステップＳ１１）。そして、
そして、三次元画像生成部１４０が、画像取得部１１０で取得された画像セットを用いて、被写体の三次元画像を生成する（ステップＳ４０）。即ち、上述した第４実施形態のように、第１記憶部１２０による記憶、第１選択部１３０による選択を行わずに、そのまま直接三次元画像を生成する。
　続いて、第２記憶部１５０が、三次元画像生成部１４０が生成した三次元画像セットを記憶する（ステップＳ４１）。そして、第２選択部１６０が、第２記憶部１５０に記憶された複数の三次元画像セットの中から、セットをまたいで第２所定枚数の三次元画像を選択する（ステップＳ４２）。その後、表示部１７０が、第２選択部１６０で選択された第２所定枚数の三次元画像を、表示用の三次元画像として出力する（ステップＳ４３）。
　（技術的効果）
　次に、第４実施形態に係る情報処理装置１０の変形例によって得られる技術的効果について説明する。
　図１６及び図１７で説明したように、第４実施形態に係る情報処理装置１０の変形例では、上述した第４実施形態と同様に、複数の三次元画像セットの中から、セットをまたいで第２所定枚数の三次元画像が選択される。このようにすれば、異なる三次元画像セットに含まれる第２所定枚数の画像を表示させることができる。
　＜第５実施形態＞
　第５実施形態に係る情報処理装置１０について、図１８を参照して説明する。なお、第５実施形態は、上述した第４実施形態と比較して動作の一部が異なるのみであり、その他の部分については、第４実施形態と同様であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　（動作の流れ）
　まず、図１８を参照しながら、第５実施形態に係る情報処理装置１０の動作の流れについて説明する。図１８は、第５実施形態に係る情報処理装置の動作の流れを示すフローチャートである。なお、図１８では、図１１で示した処理と同様の処理に同一の符号を付している。
　図１８に示すように、第５実施形態に係る情報処理装置１０が動作する際には、まず画像取得部１１０が複数枚の画像を含む画像セットを取得する（ステップＳ１１）。そして、第１記憶部１２０が、画像取得部１１０が取得した画像セットを記憶する（ステップＳ１２）。
　続いて、第１選択部１３０が、第１記憶部１２０に記憶された複数の画像セットの中から、セットをまたいで第１所定枚数の画像を選択する（ステップＳ１３）。そして、三次元画像生成部１４０が、第１選択部１３０で選択された第１所定枚数の画像を用いて、被写体の三次元画像を生成する（ステップＳ１４）。
　続いて、第２記憶部１５０が、三次元画像生成部１４０が生成した三次元画像セットを記憶する（ステップＳ４１）。そして、第２選択部１６０が、第２記憶部１５０に記憶された複数の三次元画像セットの中から、セットをまたいで第２所定枚数の三次元画像を選択する。この際、第５実施形態では特に、第２選択部１６０は、表示部１７０の処理能力に応じて第２所定枚数の画像を選択する（ステップＳ５１）。即ち、第２選択部１６０は、後続の処理能力に応じて画像を選択する。その後、表示部１７０が、第２選択部１６０で選択された第２所定枚数の三次元画像を、表示用の三次元画像として出力する（ステップＳ４３）。
　上述した「表示部１７０の処理能力」とは、表示部１７０が有する仕様上の処理能力であってもよいし、実行中の処理の演算負荷等を考慮した、その時点での処理能力であってもよい。第２選択部１６０は、例えば、表示部１７０の処理能力に応じて、選択する三次元画像の枚数（即ち、第２所定枚数の値）を変更する。この場合、表示部１７０が出力する三次元画像の数が、その処理能力に応じて変動することになる。あるいは、第２選択部１６０は、表示部１７０の処理能力に応じて、三次元画像を選択する頻度を変更する。この場合、表示部１７０に三次元画像が出力される頻度が変動するため、表示部１７０が単位時間あたりに処理する三次元画像の枚数が変動することになる。
　（技術的効果）
　次に、第５実施形態に係る情報処理装置１０によって得られる技術的効果について説明する。
　図１８で説明したように、第５実施形態に係る情報処理装置１０では、表示部１７０の処理能力に応じて第２所定枚数の画像が選択される。このようにすれば、表示部１７０の処理能力を考慮して、適切に三次元画像の出力を行うことが可能となる。例えば、表示部１７０の処理能力が落ちている場合、第２選択部１６０は選択する画像の枚数を少なくする。この場合、表示部１７０が一度に処理する三次元画像の枚数が少なくなるため、処理能力が落ちている表示部１７０でも問題なく三次元画像を出力する処理を実行することができる。あるいは、表示部１７０の処理能力が落ちている場合、第２選択部１６０は三次元画像を選択する頻度を少なくする。この場合、表示部１７０が単位時間あたりに処理する三次元画像の枚数が少なくなるため、処理能力が落ちている表示部１７０でも問題なく三次元画像を出力する処理を実行することができる。なお、第５実施形態の表示部１７０の処理能力を考慮する構成に、第２実施形態で説明した三次元画像生成部１４０の処理能力を考慮する構成（図５参照）を組み合わせてもよい。この場合、表示部１７０及び三次元画像生成部１４０の処理能力がそれぞれ考慮されるため、いずれか一方のみの処理能力を考慮する場合と比べて、より効率的な処理を実現することが可能となる。
　＜第６実施形態＞
　第６実施形態に係る情報処理装置１０について、図１９及び図２０を参照して説明する。なお、第６実施形態は、上述した第４及び第５実施形態が備える表示部１７０による表示態様の具体例を説明するものであり、その他の動作や装置構成については、第４及び第５実施形態と同様であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　（三次元画像の一覧表示）
　まず、図１９を参照しながら、第６実施形態に係る情報処理装置１０で実現される表示態様について説明する。図１９は、第６実施形態に係る情報処理装置による三次元画像の一覧表示の例を示す図である。以下では、被写体５０が人物の顔であるものとして説明を進める。
　図１９に示すように、第６実施形態に係る情報処理装置１０は、複数の三次元画像を一覧表示する表示態様で出力可能とされている。具体的には、第２選択部１６０で選択された第２所定枚数の三次元画像の各々を、表示部１７０が一覧表示されるような形式で出力する。この結果、ディスプレイ等を有する表示装置において、三次元画像が一覧表示される。
　なお、図１９に示す例では、４枚の三次元画像の各々が、右上、右下、左上、及び左下の４つの領域に表示されているが、これとは異なる表示態様で一覧表示されてもよい。具体的には、複数の三次元画像が横一列に並ぶような表示態様で一覧表示されてもよい。あるいは、複数の三次元画像が縦一列に並ぶような表示態様で一覧表示されてもよい。一覧表示される複数の三次元画像は、画面上に全て収まるように表示されることが好ましいが、一部が画面外となってもよい。例えば、画面外になった三次元画像については、例えばスクロール動作やスワイプ動作によって、画面内に表示できるようにされればよい。
　図１９に示す例では、複数の三次元画像がそれぞれ同じ大きさで表示されている。ただし、複数の三次元画像は、互いに異なる大きさで表示されてもよい。例えば、１つの画像が大きく表示され、他の画像が小さく表示されてもよい。或いは、１つの画像が小さく表示され、他の画像が大きく表示されてもよい。また、複数の三次元画像が、それぞれ他の三次元画像とは違う固有の大きさで表示されてもよい。例えば、１番大きく表示される三次元画像と、２番目に大きく表示される画像と、３番目に大きく表示される三次元画像と、４番目に大きく表示される三次元画像があってもよい。
　（三次元画像の回転）
　次に、図２０を参照しながら、第６実施形態に係る情報処理装置１０で実現される他の表示態様について説明する。図２０は、第６実施形態に係る情報処理装置における表示態様の一例を示す図である。
　図２０に示すように、第６実施形態に係る情報処理装置１０は、複数の三次元画像を回転するように表示させてもよい。図２０に示す例では、左上の三次元のみが回転するように表示されているが、他の三次元画像についても回転するように表示されてよい。例えば、表示されている三次元画像の全てが回転するように表示されてもよいし、一部の複数の三次元画像が回転するように表示されてもよい。なお、どの三次元画像が回転するかについては、予めユーザ等が設定してもよいし、三次元画像が有する各種パラメータに応じて自動的に決定されてもよい。
　複数の三次元画像が回転するように表示する場合、それらの回転方向は同じ方向であってもよいし、違う方向であってもよい。また、回転速度についても、同じ速度であってもよいし、違う速度であってもよい。三次元画像の各々の回転方向や回転速度は、途中で自動的に変化してもよい。即ち、右回りに回転していた三次元画像が、途中から左回りに回転するようになってもよい。また、比較的遅く回転していた三次元画像が、途中から比較的早く回転するようになってもよい。回転方向や回転速度については、予めユーザ等が設定してもよいし、三次元画像が有する各種パラメータに応じて自動的に決定されてもよい。
　第６実施形態に係る情報処理装置１０は、上述した回転表示に加えて又は代えて、複数の三次元画像の差分を強調する表示を行ってもよい。具体的には、表示される複数の三次元画像を比較し、差分が大きくなる部分を強調表示するようにしてもよい。強調表示の一例としては、違う色で表示する、網掛け表示をする、枠で囲む等が挙げられる。より具体的な例で説明すると、例えば１つの三次元画像が瞬きをしている顔の画像であり（即ち、目を閉じた状態であり）、もう１つの三次元画像が瞬きをしていない顔の画像である（すなわち、目を開いた状態である）場合、少なくとも一方の三次元画像の目周辺部分が強調表示されてもよい。
　（技術的効果）
　次に、第６実施形態に係る情報処理装置１０によって得られる技術的効果について説明する。
　図１９及び図２０で説明したように、第６実施形態に係る情報処理装置１０では、複数の三次元画像が一覧表示される。このようにすれば、１つの三次元画像のみを表示する場合と比較して、より多くの三次元画像をユーザに提示することが可能である。また、複数の三次元画像を並べて比較することで、それらの違いを容易に判別することが可能となる。
　＜第７実施形態＞
　第７実施形態に係る情報処理装置１０について、図２１から図２３を参照して説明する。なお、第７実施形態は、上述した第４から第６実施形態と比較して、一部の構成及び動作が異なるのみであり、その他の部分については、第４から第６実施形態と同様であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　（機能的構成）
　まず、図２１を参照しながら、第７実施形態に係る情報処理装置１０の機能的構成について説明する。図２１は、第７実施形態に係る情報処理装置の機能的構成を示すブロック図である。なお、図２１では、図１０で示した構成要素と同様の要素に同一の符号を付している。
　図２１に示すように、第７実施形態に係る情報処理装置１０は、その機能を実現するための処理ブロックとして、画像取得部１１０と、第１記憶部１２０と、第１選択部１３０と、三次元画像生成部１４０と、第２記憶部１５０と、第２選択部１６０と、表示部１７０と、スコア算出部１８０とを備えている。即ち、第７実施形態に係る情報処理装置１０は、第４実施形態に係る構成（図１０参照）に加えて、スコア算出部１８０を更に備えて構成されている。なお、スコア算出部１８０は、上述したプロセッサ１１（図１参照）によって実現されてよい。
　スコア算出部１８０は、三次元画像生成部１４０で生成された三次元画像の各々のスコアを算出可能に構成されている。ここでの「スコア」は、三次元画像の品質を示すスコアであり、例えば三次元画像の品質が高いほど大きな値として算出される。より具体的には、スコアは、三次元画像にぶれがないか、三次元画像の対象の状態がよいか（例えば、人物が目を閉じていないか）等の各種条件に応じて算出される。なお、上述した例はあくまで一例であり、その他の基準を利用してスコアを算出するようにしてもよい。また、複数の条件を利用してスコアを算出する場合、例えば各条件から１つ１つスコア算出した後、それらのスコアの平均値を算出して最終的なスコアとしてもよい。スコア算出部１８０で算出されたスコアに関する情報は、表示部１７０に出力される構成となっている。表示部１７０は、後述するようにスコアに応じて三次元画像の表示態様を切り替える。
　（動作の流れ）
　次に、図２２を参照しながら、第７実施形態に係る情報処理装置１０の動作の流れについて説明する。図２２は、第７実施形態に係る情報処理装置の動作の流れを示すフローチャートである。なお、図２２では、図１１で示した処理と同様の処理に同一の符号を付している。
　図２２に示すように、第７実施形態に係る情報処理装置１０が動作する際には、まず画像取得部１１０が複数枚の画像を含む画像セットを取得する（ステップＳ１１）。そして、第１記憶部１２０が、画像取得部１１０が取得した画像セットを記憶する（ステップＳ１２）。
　続いて、第１選択部１３０が、第１記憶部１２０に記憶された複数の画像セットの中から、セットをまたいで第１所定枚数の画像を選択する（ステップＳ１３）。そして、三次元画像生成部１４０が、第１選択部１３０で選択された第１所定枚数の画像を用いて、被写体の三次元画像を生成する（ステップＳ１４）。その後、第２記憶部１５０が、三次元画像生成部１４０が生成した三次元画像セットを記憶する（ステップＳ４１）。
　ここで第７実施形態では特に、スコア算出部１８０が、三次元画像のスコアを算出する（ステップＳ７１）。スコア算出部１８０は、算出したスコアを表示部１７０に出力する。なお、スコアの算出は、三次元画像が生成されたタイミングで実行されてもよい。あるいは、スコアの算出は、三次元画像を表示部１７０から出力する直前のタイミングで実行されてもよい。
　続いて、第２選択部１６０が、第２記憶部１５０に記憶された複数の三次元画像セットの中から、セットをまたいで第２所定枚数の三次元画像を選択する（ステップＳ４２）。その後、表示部１７０が、第２選択部１６０で選択された第２所定枚数の三次元画像を、表示用の三次元画像として出力する。ここで第７実施形態では特に、スコア算出部１８０で算出されたスコアに応じた表示態様で表示されるように、三次元画像を出力する（ステップＳ７２）。スコアに応じた表示態様については、以下で具体例を挙げて説明する。
　（表示例）
　次に、図２３を参照しながら、第７実施形態に係る情報処理装置１０によって実現される表示態様について具体的に説明する。図２３は、第７実施形態に係る情報処理装置における表示態様の一例を示す図である。
　図２３に示すように、第７実施形態に係る情報処理装置１０は、スコアが最も高い三次元画像を拡大表示するようにしてもよい。即ち、スコアが最も高い三次元画像を大きく表示する一方で、それ以外の三次元画像を小さく表示するようにしてもよい。なお、図２３の例では、スコアの最も高い三次元画像だけを拡大表示しているが、スコアが上位である複数の三次元画像を拡大表示するようにしてもよい。例えば、スコアが高い順に３つの三次元画像を選択し、選択した３つの三次元画像を拡大表示するようにしてもよい。また、スコアに応じて拡大比率を変更するようにしてもよい。例えば、スコアが最も高い三次元画像が最も大きく表示され、スコアが２番目に高い三次元画像が２番目に大きく表示され、スコアが３番目に高い三次元画像が３番目に大きく表示され、スコアが４番目に高い三次元画像が４番目に大きく表示されるようにしてもよい。なお、上述した例とは逆に、スコアが低い三次元画像を拡大表示するようにしてもよい。
　スコアに応じて表示態様を変更する場合、各三次元画像のスコアの値を、三次元画像に重畳して表示するようにしてもよい。スコアの値は、すべての三次元画像に対して表示されてもよいし、スコアの最も高い三次元画像や、スコアが上位である複数の三次元画像にのみ表示されてもよい。スコアは、数値で表示されてもよいし、グラフ等で表示されてもよい。
　なお、上述した三次元画像を拡大して表示する態様はあくまで一例であり、算出された各画像のスコアを利用して様々な表示態様を実現してよい。
　第７実施形態に係る情報処理装置１０は、例えば、スコアが高い三次元画像だけを強調表示するようにしてもよい。例えば、スコアが最も高い三次元画像やスコアが上位の三次元画像の色を変えたり、網掛け表示をしたり、枠で囲んで表示したりしてもよい。強調表示する場合、スコアが最も高い三次元画像だけを強調表示してもよいし、スコアが上位である複数の三次元画像を強調表示してもよい。
　第７実施形態に係る情報処理装置１０は、スコアが高いものだけを表示するようにしてもよい。例えば、スコアが所定の閾値以上となる三次元画像だけを表示するようにし、スコアが所定の閾値未満となる三次元画像を表示しないようにしてもよい。この場合、所定の閾値は、ユーザによって適宜設定可能とされてよい。また、スコアが上位である所定個数の三次元画像だけを表示するようにし、それ以外の三次元画像を表示しないようにしてもよい。この場合、所定の個数は、ユーザによって適宜設定可能とされてよい
　第７実施形態に係る情報処理装置１０は、スコア順に三次元画像を並び替えて表示してもよい。例えば、スコアの高い順に並び替えて三次元画像を表示してもよい。この場合、スコアが下位の三次元画像については表示しないようにしてもよい。即ち、スコアがある程度高い三次元画像のみをスコア順に並べて表示してもよい。あるいは、スコアの低い順に並び替えて三次元画像を表示してもよい。この場合、スコアが上位の三次元画像については表示しないようにしてもよい。即ち、スコアがある程度低い三次元画像のみをスコア順に並べて表示してもよい。
　第７実施形態に係る情報処理装置１０は、スコアが高い三次元画像のみを回転表示するようにしてもよい（回転表示については、第６実施形態を参照）。例えば、スコアが最も高い三次元画像を回転するようにしてもよいし、スコアが上位である複数の三次元を回転するようにしてもよい。また、スコアに応じて、三次元画像の回転方向や回転速度を変えてもよい。例えば、スコアの高い画像が早く回転する一方で、スコアの低い三次元画像がゆっくり回転するようにしてもよい。
　（技術的効果）
　次に、第７実施形態に係る情報処理装置１０によって得られる技術的効果について説明する。
　図２１から図２３で説明したように、第７実施形態に係る情報処理装置１０では、算出されるスコアに応じて三次元画像の表示態様が変更される。このようにすれば、三次元画像のスコア（言い換えれば、品質）に応じて、より適切な態様でユーザに三次元画像を提示することが可能である。
　＜第８実施形態＞
　第８実施形態に係る情報処理装置１０について、図２４及び図２５を参照して説明する。なお、第８実施形態は、上述した第４から第７実施形態と比較して、一部の構成及び動作が異なるのみであり、その他の部分については、第４から第７実施形態と同様であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　（機能的構成）
　まず、図２４を参照しながら、第８実施形態に係る情報処理装置１０の機能的構成について説明する。図２４は、第８実施形態に係る情報処理装置の機能的構成を示すブロック図である。なお、図２４では、図１０で示した構成要素と同様の要素に同一の符号を付している。
　図２４に示すように、第８実施形態に係る情報処理装置１０は、その機能を実現するための処理ブロックとして、画像取得部１１０と、第１記憶部１２０と、第１選択部１３０と、三次元画像生成部１４０と、第２記憶部１５０と、第２選択部１６０と、表示部１７０と、選択操作検出部１９０とを備えている。即ち、第８実施形態に係る情報処理装置１０は、第４実施形態に係る構成（図１０参照）に加えて、選択操作検出部１９０を更に備えて構成されている。なお、選択操作検出部１９０は、上述したプロセッサ１１（図１参照）によって実現されてよい。
　選択操作検出部１９０は、ユーザによる三次元画像を選択する操作を検出可能に構成されている。選択操作検出部１９０は、例えば入力装置１５（図１参照）によるユーザの操作を検出可能とされる。選択操作検出部１９０は、表示されている複数枚の三次元画像から１つの三次元画像を選択する操作を検出してもよい。選択操作検出部１９０は、表示されている複数枚の三次元画像から２つ以上の三次元画像を選択する操作を検出してもよい。選択操作が検出された場合、選択操作検出部１９０は、選択された三次元画像を特定する情報を表示部１７０に出力する。表示部１７０は、後述するように選択操作に応じて三次元画像の表示態様を切り替える。
　（動作の流れ）
　次に、図２５を参照しながら、第８実施形態に係る情報処理装置１０の動作の流れについて説明する。図２５は、第８実施形態に係る情報処理装置の動作の流れを示すフローチャートである。なお、図２５では、図１１で示した処理と同様の処理に同一の符号を付している。
　図２５に示すように、第８実施形態に係る情報処理装置１０が動作する際には、まず画像取得部１１０が複数枚の画像を含む画像セットを取得する（ステップＳ１１）。そして、第１記憶部１２０が、画像取得部１１０が取得した画像セットを記憶する（ステップＳ１２）。
　続いて、第１選択部１３０が、第１記憶部１２０に記憶された複数の画像セットの中から、セットをまたいで第１所定枚数の画像を選択する（ステップＳ１３）。そして、三次元画像生成部１４０が、第１選択部１３０で選択された第１所定枚数の画像を用いて、被写体の三次元画像を生成する（ステップＳ１４）。
　続いて、第２記憶部１５０が、三次元画像生成部１４０が生成した三次元画像セットを記憶する（ステップＳ４１）。そして、第２選択部１６０が、第２記憶部１５０に記憶された複数の三次元画像セットの中から、セットをまたいで第２所定枚数の三次元画像を選択する（ステップＳ４２）。その後、表示部１７０が、第２選択部１６０で選択された第２所定枚数の三次元画像を、表示用の三次元画像として出力する（ステップＳ４３）。
　その後、第８実施形態では特に、選択操作検出部１９０がユーザによる選択操作を検出する（ステップＳ８１）。そして、検出した選択操作に応じて、三次元画像の表示態様を切り替える（ステップＳ８２）。
　（表示例）
　第８実施形態に係る情報処理装置１０では、ユーザの操作によって選択された三次元画像に応じて、適宜表示態様が切り替えられてよい。この場合の表示態様は、第７実施形態で上げた表示態様と同様のものであってよい。
　第８実施形態に係る情報処理装置１０は、例えば、ユーザが選択した三次元画像を拡大表示するようにしてもよい。あるいは、ユーザが選択した三次元画像を強調表示するようにしてもよい。あるいは、ユーザが選択した三次元画像のみを表示するようにしてもよい。あるいは、ユーザが選択した三次元画像を回転するように表示してもよい。
　その他、第８実施形態に係る情報処理装置１０は、ユーザが選択した三次元画像によるスライドショーを表示するようにしてもよい。この場合、三次元画像はユーザの選択順に表示されてもよい。あるいは、ユーザが選択した三次元画像について、複数の二次元画像を表示するようにしてもよい。例えば、三次元画像が人物の顔の画像である場合、選択された三次元画像に基づいて、顔を右側から見た二次元画像、顔を左側から見た二次元画像、顔を上から見た二次元画像等が表示されてもよい。
　なお、上述した表示例はあくまで一例であり、ユーザの選択操作に応じた様々な表示態様が採用されてよい。例えば、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）やホログラム技術等を用いて、三次元画像を立体的に表示してもよい。
　（技術的効果）
　次に、第８実施形態に係る情報処理装置１０によって得られる技術的効果について説明する。
　図２４及び図２５で説明したように、第８実施形態に係る情報処理装置１０では、ユーザの選択操作に応じて三次元画像の表示態様が変更される。このようにすれば、ユーザの操作に応じて（言い換えれば、ユーザの意思を反映して）、より適切な態様で三次元画像を提示することが可能である。
　＜具体的な適用例＞
　上述した第１から第第８実施形態の情報処理装置の具体的な適用例について説明する。
　（三次元顔貌形状計測装置）
　上述した各実施形態は、顔の三次元形状を計測する三次元顔貌形状計測装置に適用可能である。三次元顔貌形状計測装置は、左右２つのカメラによって人物の顔を撮像して、それらの画像を合成することで、被写体である人物の顔の三次元形状を計測することが可能である。より具体的には、右側のカメラが顔の右側の画像を撮像し、左側のカメラが顔の左側の画像を撮像する。そして、顔の右側の画像から作成された顔の右側の形状と、顔の左側の画像から作成された顔の左側の形状とを合成することで、人物の顔全体（例えば、耳まで）の三次元形状を作成する。三次元顔貌形状計測装置は、例えば正弦波パターンを被写体に照射した状態で画像を撮像し、正弦波格子シフト法を用いた計測を行うものであってもよい。
　上述した各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
　記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
　この開示は上記実施形態に限定されるものではない。この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報処理装置、情報処理方法、コンピュータプログラム、及び記録媒体もまたこの開示の技術思想に含まれる。
　＜付記＞
　以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　付記１に記載の情報処理装置は、被写体を撮像した複数枚の画像を含む画像セットを取得する取得手段と、前記画像セットを複数セット記憶する第１記憶手段と、複数の前記画像セットから、セットを跨いで第１所定枚数の画像を選択する第１選択手段と、前記第１所定枚数の画像に基づいて、前記被写体の三次元画像を生成する生成手段とを備えることを特徴とする情報処理装置である。
　（付記２）
　付記２に記載の情報処理装置は、前記第１選択手段は、前記生成手段の処理能力に応じて前記第１所定枚数の画像を選択することを特徴とする付記１に記載の情報処理装置である。
　（付記３）
　付記３に記載の情報処理装置は、前記複数枚の画像は、正弦波格子状の正弦波パターンを前記被写体に投影して撮像した画像と、輝度値が線形的に変化する輝度傾斜パターンを前記被写体に投影して撮像した画像と、前記被写体の表面の状態を示すテクスチャ画像とを含んでいることを特徴とする付記１又は２に記載の情報処理装置である。
　（付記４）
　付記４に記載の情報処理装置は、複数枚の前記三次元画像を含む三次元画像セットを複数セット記憶する第２記憶手段と、複数の前記三次元画像セットから、セットを跨いで第２所定枚数の前記三次元画像を選択する第２選択手段と、前記第２所定枚数の前記三次元画像を表示する表示手段とを更に備えることを特徴とする請求項１から３のいずれか一項に記載の情報処理装置である。
　（付記５）
　付記５に記載の情報処理装置は、前記第２選択手段は、前記表示手段の処理能力に応じて前記第２所定枚数の前記三次元画像を選択することを特徴とする付記４に記載の情報処理装置である。
　（付記６）
　付記６に記載の情報処理装置は、前記表示手段は、前記第２所定枚数の前記三次元画像を一覧表示することを特徴とする付記４又は５のいずれか一項に記載の情報処理装置である。
　（付記７）
　付記７に記載の情報処理装置は、前記第２所定枚数の前記三次元画像の各々について、所定の評価基準に応じたスコアを算出する算出手段を更に備え、前記表示手段は、前記スコアに応じて前記第２所定枚数の前記三次元画像の各々の表示態様を変更することを特徴とする付記４から６のいずれか一項に記載の情報処理装置である。
　（付記８）
　付記８に記載の情報処理装置は、前記第２所定枚数の前記三次元画像のうち一部の前記三次元画像を選択する選択操作を検出する検出手段を更に備え、前記表示手段は、前記選択操作で選択された前記三次元画像の表示態様を変更することを特徴とする付記４から７のいずれか一項に記載の情報処理装置である。
　（付記９）
　付記９に記載の情報処理方法は、被写体を撮像した複数枚の画像を含む画像セットを取得し、前記画像セットを複数セット記憶し、複数の前記画像セットから、セットを跨いで第１所定枚数の画像を選択し、前記第１所定枚数の画像に基づいて、前記被写体の三次元画像を生成することを特徴とする情報処理方法である。
　（付記１０）
　付記１０に記載のコンピュータプログラムは、被写体を撮像した複数枚の画像を含む画像セットを取得し、前記画像セットを複数セット記憶し、複数の前記画像セットから、セットを跨いで第１所定枚数の画像を選択し、前記第１所定枚数の画像に基づいて、前記被写体の三次元画像を生成するようにコンピュータを動作させることを特徴とするコンピュータプログラムである。
　（付記１１）
　付記１１に記載の記録媒体は、付記１０に記載のコンピュータプログラムが記録されていることを特徴とする記録媒体である。
　法令で許容される限りにおいて、この出願は、２０２０年１１月３０日に出願された日本出願特願２０２０－１９８２５９を基礎とする優先権を主張し、その開示の全てをここに取り込む。また、法令で許容される限りにおいて、本願明細書に記載された全ての公開公報及び論文をここに取り込む。
　１０　情報処理装置
　１１　プロセッサ
　５０　被写体
　１１０　画像取得部
　１２０　第１記憶部
　１３０　第１選択部
　１４０　三次元画像生成部
　１５０　第２記憶部
　１６０　第２選択部
　１７０　表示部
　１８０　スコア算出部
　１９０　選択操作検出部
　２１０　撮像部
　２２０　投影部

Claims (10)

  1. 　被写体を撮像した複数枚の画像を含む画像セットを取得する取得手段と、
    　前記画像セットを複数セット記憶する第１記憶手段と、
    　複数の前記画像セットから、セットを跨いで第１所定枚数の画像を選択する第１選択手段と、
    　前記第１所定枚数の画像に基づいて、前記被写体の三次元画像を生成する生成手段と
    　を備えることを特徴とする情報処理装置。
  2. 　前記第１選択手段は、前記生成手段の処理能力に応じて前記第１所定枚数の画像を選択することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記複数枚の画像は、正弦波格子状の正弦波パターンを前記被写体に投影して撮像した画像と、輝度値が線形的に変化する輝度傾斜パターンを前記被写体に投影して撮像した画像と、前記被写体の表面の状態を示すテクスチャ画像とを含んでいることを特徴とする請求項１又は２に記載の情報処理装置。
  4. 　複数枚の前記三次元画像を含む三次元画像セットを複数セット記憶する第２記憶手段と、
    　複数の前記三次元画像セットから、セットを跨いで第２所定枚数の前記三次元画像を選択する第２選択手段と、
    　前記第２所定枚数の前記三次元画像を表示する表示手段と
    　を更に備えることを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
  5. 　前記第２選択手段は、前記表示手段の処理能力に応じて前記第２所定枚数の前記三次元画像を選択することを特徴とする請求項４に記載の情報処理装置。
  6. 　前記表示手段は、前記第２所定枚数の前記三次元画像を一覧表示することを特徴とする請求項４又は５のいずれか一項に記載の情報処理装置。
  7. 　前記第２所定枚数の前記三次元画像の各々について、所定の評価基準に応じたスコアを算出する算出手段を更に備え、
    　前記表示手段は、前記スコアに応じて前記第２所定枚数の前記三次元画像の各々の表示態様を変更する
    　ことを特徴とする請求項４から６のいずれか一項に記載の情報処理装置。
  8. 　前記第２所定枚数の前記三次元画像のうち一部の前記三次元画像を選択する選択操作を検出する検出手段を更に備え、
    　前記表示手段は、前記選択操作で選択された前記三次元画像の表示態様を変更する
    　ことを特徴とする請求項４から７のいずれか一項に記載の情報処理装置。
  9. 　被写体を撮像した複数枚の画像を含む画像セットを取得し、
    　前記画像セットを複数セット記憶し、
    　複数の前記画像セットから、セットを跨いで第１所定枚数の画像を選択し、
    　前記第１所定枚数の画像に基づいて、前記被写体の三次元画像を生成する
    　ことを特徴とする情報処理方法。
  10. 　被写体を撮像した複数枚の画像を含む画像セットを取得し、
    　前記画像セットを複数セット記憶し、
    　複数の前記画像セットから、セットを跨いで第１所定枚数の画像を選択し、
    　前記第１所定枚数の画像に基づいて、前記被写体の三次元画像を生成する
    　ようにコンピュータを動作させることを特徴とするコンピュータプログラムが記録されている記録媒体。
PCT/JP2021/038810 2020-11-30 2021-10-20 情報処理装置、情報処理方法、及び記録媒体 WO2022113583A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/038,286 US20230419604A1 (en) 2020-11-30 2021-10-20 Information processing apparatus, information processing method, and recording medium
JP2022565117A JPWO2022113583A5 (ja) 2021-10-20 情報処理装置、情報処理方法、及びコンピュータプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020198259 2020-11-30
JP2020-198259 2020-11-30

Publications (1)

Publication Number Publication Date
WO2022113583A1 true WO2022113583A1 (ja) 2022-06-02

Family

ID=81754223

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/038810 WO2022113583A1 (ja) 2020-11-30 2021-10-20 情報処理装置、情報処理方法、及び記録媒体

Country Status (2)

Country Link
US (1) US20230419604A1 (ja)
WO (1) WO2022113583A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017037089A (ja) * 2016-10-14 2017-02-16 株式会社キーエンス 形状測定装置
WO2017154606A1 (ja) * 2016-03-10 2017-09-14 ソニー株式会社 情報処理装置および情報処理方法
WO2018135510A1 (ja) * 2017-01-19 2018-07-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元再構成方法及び三次元再構成装置
WO2019177066A1 (ja) * 2018-03-16 2019-09-19 日本電気株式会社 ３次元形状計測装置、３次元形状計測方法、プログラム及び記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154606A1 (ja) * 2016-03-10 2017-09-14 ソニー株式会社 情報処理装置および情報処理方法
JP2017037089A (ja) * 2016-10-14 2017-02-16 株式会社キーエンス 形状測定装置
WO2018135510A1 (ja) * 2017-01-19 2018-07-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元再構成方法及び三次元再構成装置
WO2019177066A1 (ja) * 2018-03-16 2019-09-19 日本電気株式会社 ３次元形状計測装置、３次元形状計測方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
JPWO2022113583A1 (ja) 2022-06-02
US20230419604A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
TWI523517B (zh) 影像擷取裝置、影像對齊方法及用於執行該方法之儲存媒體
CN111062981B (zh) 图像处理方法、装置及存储介质
JP2015510112A (ja) 仮想定規
JP2007129709A (ja) イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム
EP2866088B1 (en) Information processing apparatus and method
JP6417797B2 (ja) 情報端末装置、情報処理方法、システムおよびプログラム
US10970807B2 (en) Information processing apparatus and storage medium
JP2016136683A (ja) 撮像装置及びその制御方法
WO2013179560A1 (ja) 画像処理装置および画像処理方法
CN110610457A (zh) 全景图像拼接方法、装置以及系统
JP2016212784A (ja) 画像処理装置、画像処理方法
JP2019527355A (ja) デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法
JP6926486B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5805013B2 (ja) 撮像画像表示装置、撮像画像表示方法、プログラム
WO2022113583A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP6371547B2 (ja) 画像処理装置、方法、および、プログラム
JP2020166653A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2020166652A (ja) 画像処理装置、画像処理方法及びプログラム
JP2011227915A (ja) 画像分類装置および方法並びにプログラム
US11632601B1 (en) User interface for camera focus
JP6344903B2 (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
US20230334820A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US20240029379A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
WO2022113582A1 (ja) キャリブレーション方法、キャリブレーション装置、キャリブレーションシステム、及び記録媒体
JP2018041201A (ja) 表示制御プログラム、表示制御方法および情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21897561

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022565117

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18038286

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21897561

Country of ref document: EP

Kind code of ref document: A1