WO2022034694A1 - 撮影装置、撮影ユニット、画像分析装置および三次元形状計測システム - Google Patents

撮影装置、撮影ユニット、画像分析装置および三次元形状計測システム Download PDF

Info

Publication number
WO2022034694A1
WO2022034694A1 PCT/JP2020/030912 JP2020030912W WO2022034694A1 WO 2022034694 A1 WO2022034694 A1 WO 2022034694A1 JP 2020030912 W JP2020030912 W JP 2020030912W WO 2022034694 A1 WO2022034694 A1 WO 2022034694A1
Authority
WO
WIPO (PCT)
Prior art keywords
photographing
unit
camera
main body
photographing unit
Prior art date
Application number
PCT/JP2020/030912
Other languages
English (en)
French (fr)
Inventor
修身 藤森
孝明 松島
静生 坂本
Original Assignee
日本電気株式会社
Necプラットフォームズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, Necプラットフォームズ株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/030912 priority Critical patent/WO2022034694A1/ja
Priority to US18/019,865 priority patent/US20230298193A1/en
Priority to JP2022542570A priority patent/JPWO2022034694A5/ja
Priority to EP20949556.3A priority patent/EP4198628A4/en
Publication of WO2022034694A1 publication Critical patent/WO2022034694A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/0002Arrangements for supporting, fixing or guiding the measuring instrument or the object to be measured
    • G01B5/0004Supports
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/561Support related camera accessories
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Definitions

  • This disclosure relates to an imaging device, an imaging unit, an image analysis apparatus and a three-dimensional shape measuring system, and particularly to an imaging device that photographs the same object from a plurality of different directions.
  • Patent Document 1 In the police, medical field, beauty industry, etc., there is a need to generate an image of the three-dimensional shape of the human head. Therefore, we have developed a 3D shape measurement system that measures the 3D shape of an object with high accuracy by taking pictures of the object from multiple different directions using multiple cameras and analyzing the obtained multiple image data.
  • Patent Document 1 Related imaging devices capture objects from multiple different directions. The related image analyzer measures the three-dimensional shape of the object based on the plurality of image data obtained by the related imaging device.
  • the related image analyzer generates and outputs an image of the three-dimensional shape of the object based on the measurement result. Even when a moving object such as a human is the target of measurement, the shooting can be completed at high speed by having multiple cameras shoot the target at the same time or almost at the same time, and the target is three-dimensional. The shape can be measured with high accuracy.
  • the photographing apparatus includes a plurality of photographing units, each of which is provided with a camera, and a base to which the plurality of photographing units are attached. Alignment is adjustable.
  • the image analysis device is based on the acquisition means for acquiring a plurality of image data in which the plurality of photographing units photograph the same object from different directions from the photographing apparatus, and the plurality of image data. Further, it is provided with a calculation means for calculating at least a part of the three-dimensional shape of the object.
  • the three-dimensional shape measuring system includes the photographing device and the image analysis device.
  • FIG. 1 It is a bird's-eye view of the three-dimensional shape measurement system which concerns on Embodiment 1. It is a bird's-eye view of the 3D shape measurement system which concerns on Embodiment 1 as seen from the other side. It is a figure which looked at the 3D shape measurement system which concerns on Embodiment 1 from the side. It is a perspective view which shows the appearance of the photographing apparatus which concerns on Embodiment 1.
  • FIG. It is an enlarged view of the main part of the 3D shape measurement system shown in FIG. 1, and is the figure which shows the cross section of the center unit provided with the photographing apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows an example of the image which the photographing apparatus which concerns on Embodiment 1 displays on a display.
  • FIG. 5 is an enlarged view of a main part of the three-dimensional shape measurement system shown in FIG. 5, and is a diagram illustrating a method of removing a photographing unit provided in the photographing apparatus according to the first embodiment. It is a figure which shows one modification of the 3D shape measurement system which concerns on Embodiment 1.
  • FIG. It is a figure which shows the structure of the photographing apparatus which concerns on Embodiment 2.
  • FIG. It is a figure which shows the appearance of the photographing unit provided in the photographing apparatus which concerns on Embodiment 2.
  • FIG. It is sectional drawing of the photographing unit shown in FIG. It is a perspective view of the main body mounted in the housing of the photographing unit which concerns on Embodiment 3.
  • FIG. 1 is a first diagram showing a part of the back side of the bottom surface of the main body of the photographing unit according to the third embodiment. It is the 2nd figure which shows the part of the back side of the bottom surface of the main body of the photographing unit which concerns on Embodiment 3, and is the figure which shows an example of the fitting part. It is a figure which shows the part of the front side of the bottom surface of the main body of the photographing unit which concerns on Embodiment 3, and is the figure which shows the state which the fitting part is attached to the back side of the bottom surface of the main body of an imaging unit. It is a figure explaining the adjustment of the alignment in the left-right direction of the photographing unit which concerns on Embodiment 3.
  • FIG. 3 is a third diagram showing the top of the main body of the photographing unit according to the fourth embodiment, and is a diagram illustrating adjustment of alignment in the vertical direction. It is a block diagram which shows the structure of the image analysis apparatus which concerns on Embodiment 5. It is a figure which shows an example of the image of the target 3D model.
  • FIG. 1 is a bird's-eye view of the three-dimensional shape measurement system 1 according to the first embodiment as viewed from one side. As shown in FIG. 1, the three-dimensional shape measuring system 1 includes a right photographing unit 20a, a left photographing unit 20b, a base 30, and a center unit 300.
  • FIG. 2 is a bird's-eye view of the three-dimensional shape measurement system 1 according to the first embodiment as viewed from the other side.
  • the three-dimensional shape measuring system 1 further includes a chair 100, a connecting member 150, a stand 250, and a shield plate 10.
  • the shield plate 10, the right photographing unit 20a, the left photographing unit 20b, the base 30, and the center unit 300 constitute the photographing apparatus 200 according to the first embodiment. The configuration of the photographing apparatus 200 will be described later.
  • the three-dimensional shape measurement system 1 may further include the image analysis device 500 described in the fifth embodiment or the image analysis devices 600, 600'described in the sixth embodiment.
  • the image data acquired by the right photographing unit 20a and the left photographing unit 20b of the photographing apparatus 200 photographing the measurement target, respectively, is obtained by the image analyzer 500, 600, or the image analyzer 500, 600, or via a wired or wireless network. It is sent to 600'.
  • the chair 100 includes a headrest that supports the position of the person's head.
  • the headrest fixes the position of the head of the person to be measured.
  • the object of measurement is not a person but an object including an organism such as a dog or a snake, or an inanimate object having a shape
  • the three-dimensional shape measurement system 1 supports or fixes the organism or the object instead of the chair 100. It may be provided with a member to be used.
  • a person, other living things, and an inanimate object are collectively referred to simply as an "object”.
  • the shield plate 10 is provided with a plurality of openings.
  • the three openings LO1 to LO3 are provided in front of the right photographing unit 20a.
  • One opening LO4 is provided in front of the center unit 300 shown in FIG.
  • the shield plate 10 is also provided with three openings corresponding to the openings LO1 to LO3 in front of the left photographing unit 20b shown in FIG.
  • the connecting member 150 connects between the chair 100 and the stand 250.
  • the distance between the chair 100 and the stand 250 is kept constant by the connecting member 150.
  • the constant distance is appropriately determined, for example, according to how fine the image the user wants to obtain, and according to the focal length of the camera 22 (FIG. 11) provided in the photographing apparatus 200. Be done.
  • the photographing device 200 is placed on the stand 250.
  • the base 30 of the photographing apparatus 200 is connected on the stand 250.
  • the shape of the chin on a person's face is useful information for identifying or identifying the person.
  • the chin part may not be reflected in the image data.
  • the height of the stand 250 is set so that the cameras 22 of the right photographing unit 20a and the right photographing unit 20b each photograph the head of the person slightly upward. By doing so, it is possible to take a picture of the chin part of the person's face with the camera 22.
  • FIG. 3 is a side view of the three-dimensional shape measurement system 1 according to the first embodiment.
  • D1 is the distance from the backrest of the chair 100 to the legs of the stand 250
  • D1 is the distance from the head of the person to the upper end of the shield plate 10.
  • D1 is defined by the connecting member 150 described above.
  • the offset of the upper end with respect to the lower end of the shield plate 10 may be increased by increasing the inclination of the shield plate 10.
  • the space in front of the person can be expanded and the oppressive feeling of the person can be alleviated.
  • the distance D1 may be determined so that the upper end of the shield plate 10 cannot be reached.
  • the inclination of the shield plate 10 can be increased within a range in which the upper end of the shield plate 10 does not come into contact with the photographing unit 20a (20b) behind the shield plate 10.
  • FIG. 4 is a perspective view of the photographing apparatus 200 according to the first embodiment.
  • the photographing apparatus 200 includes a shield plate 10, a right photographing unit 20a, a left photographing unit 20b, a base 30, a stand 250, and a center unit 300.
  • the shield plate 10 prevents a person from coming into contact with the right photographing unit 20a, the left photographing unit 20b, or the center unit 300 of the photographing apparatus 200. This is because when an external force is applied to the right photographing unit 20a, the left photographing unit 20b, or the center unit 300, these positions may be displaced or the cameras 22, 310 and the like may be damaged.
  • the shield plate 10 is made of a material having low reflectance in order to prevent or suppress the light from the ceiling lighting reflected by the shield plate 10 and illuminate the face of a person.
  • the shield plate 10 is made of translucent acrylic.
  • the surface of the shield plate 10 may be processed.
  • the surface of the shield plate 10 may be painted in a matte color, or may be provided with an uneven structure so as to diffuse light.
  • FIG. 5 shows an enlarged portion of the frame of the broken line to which the reference numeral (A) is added to FIG.
  • FIG. 5 is a diagram showing a partial cross section of the center unit 300.
  • the center unit 300 includes a camera 310 and a light source 320.
  • a shield plate 10 is arranged on the front side of the camera 310 and the light source 320.
  • the opening LO4 of the shield plate 10 described above is provided at a position on the shield plate 10 corresponding to the camera lens of the camera 310.
  • the camera 310 can photograph the head of a person through the opening LO4.
  • the shield plate 10 is also provided with an opening for passing light from the light source 320 on the front side of the light source 320. However, in FIG. 2, the illustration of this opening is omitted.
  • the light source 320 is, for example, an LED (Light Emitting Diode).
  • the camera 310 is used by the user to confirm the position of the head of the person.
  • the light source 320 is a so-called pilot lamp indicating that the photographing device 200 is energized (power ON), and the person sitting on the chair 100 adjusts the direction of the head by looking toward the light source 320. It can also be used for various purposes.
  • the camera 310 photographs the head of a person, and the photographing apparatus 200 displays the image acquired by the camera 310 on a display (not shown) in real time.
  • the user confirms the position of the person's head by looking at the image displayed on the display. Then, the user adjusts so that the head of the person fits in the predetermined position.
  • FIG. 6 shows an example of an image displayed on a display (not shown) by the photographing apparatus 200.
  • three lines are shown.
  • Two horizontal lines indicate the target for the position of the person's crown and chin.
  • one vertical line indicates the target of the position of the center line passing through the nose and mouth of the person.
  • the photographing apparatus 200 may display the image illustrated in FIG. 6 on a display arranged at a position where the screen can be visually recognized while the person is facing forward, such as on or near the shield plate 10. As a result, the person can appropriately adjust the position and orientation of the face while checking his / her face displayed on the display.
  • the shield plate 10 and the center unit 300 are optional. That is, the photographing apparatus 200 may not include one or both of the shield plate 10 and the center unit 300. For example, if it is unlikely that a person will come into contact with the right imaging unit 20a and the left imaging unit 20b, the imaging device 200 may not include the shield plate 10. Further, when it is not necessary to position the head of a person, the photographing apparatus 200 may not include the center unit 300. The case where the photographing apparatus 200 does not include both the shield plate 10 and the center unit 300 will be described in the second embodiment.
  • FIG. 7 shows an enlarged portion of the frame of the broken line to which the reference numeral (B) is added to FIG.
  • FIG. 7 is a diagram illustrating the removal of the right photographing unit 20a from the base 30.
  • the left photographing unit 20b also has the same structure as the right photographing unit 20a described below.
  • the base 30 is provided with a plurality of pins.
  • the bottom surface of the right photographing unit 20a is provided with two recesses or holes in a positional relationship corresponding to the first pin and the second pin.
  • the right imaging unit 20a is attached to the base 30 by fitting the first pin and the second pin into a recess or a hole provided in the bottom surface of the right imaging unit 20a. Pins 1 and 2 are used to position the right imaging unit 20a on the base 30.
  • the housing of the right photographing unit 20a is provided with a handle 40 used for the user to carry the right photographing unit 20a.
  • the user can remove the right shooting unit 20a from the base 30 by lifting the right shooting unit 20a diagonally backward (arrow in FIG. 7).
  • the user brings the right photographing unit 20a closer to the base 30 so that the recess or the hole provided in the bottom surface of the right photographing unit 20a fits with the first pin and the second pin of the base 30.
  • the right photographing unit 20a can be attached to 30.
  • the relationship between the left shooting unit 20b and the base 30 is the same as the relationship between the right shooting unit 20a and the base 30, and the left shooting unit 20b is also removed from the base 30 in the same manner. , Can also be installed.
  • the right photographing unit 20a and the left photographing unit 20b can be independently removed from the base 30 and attached to the base 30. Therefore, when the camera 22 (FIG. 11) of the right shooting unit 20a (or the left shooting unit 20b) fails, the user can use only the right shooting unit 20a (or the left shooting unit 20b) including the failed camera 22 from the base 30. Can be removed.
  • This point is advantageous as compared with a configuration in which a plurality of cameras are combined into one shooting unit. This is because when a plurality of cameras are combined into one shooting unit, the size of the shooting unit has to be increased, which is inconvenient for the user in repairing or replacing the cameras. Further, in such a configuration, after repairing or replacing one camera, when the photographing unit is attached to the base, it is necessary to adjust the alignment of a plurality of cameras included in the photographing unit.
  • the photographing apparatus 200 when it is necessary to readjust the alignment of the camera 22 of the right photographing unit 20a (or the left photographing unit 20b), the right photographing unit 20a (or the left) is transferred from the base 30.
  • the alignment of the camera 22 can be adjusted by removing only the photographing unit 20b). That is, in the photographing apparatus 200 according to the first embodiment, the plurality of photographing units (20a, 20b) can adjust the alignment of the camera 22 independently of each other.
  • D1 represents the distance from the head of the person to the upper end of the shield plate 10.
  • D2 represents the distance from the backrest of the chair 100'to the legs of the stand 250.
  • the shield plate 10 is substantially parallel to the axial direction of the stand 250.
  • the three-dimensional shape measurement system 1 ′ according to the present modification is different from the three-dimensional shape measurement system 1 according to the first embodiment.
  • the three-dimensional shape measurement system 1 In the three-dimensional shape measurement system 1 according to the first embodiment, D1> D2. This means that for the person to be measured, the space in front of the person is wider at a position closer to the face than at his / her feet. Therefore, there is an advantage that a strong feeling of oppression is less likely to be given to a person.
  • the advantage of this modification is that the user can easily perform maintenance work.
  • the user since the shield plate 10 is not tilted backward, the user pulls up the right photographing unit 20a and the left photographing unit 20b directly upward without paying much attention to the contact with the shield plate 10. be able to.
  • FIG. 9 is a diagram showing the configuration of the photographing apparatus 200 according to the second embodiment.
  • the photographing apparatus 200 according to the second embodiment includes a right photographing unit 20a, a left photographing unit 20b, and a base 30.
  • the photographing apparatus 200 according to the second embodiment is different from the photographing apparatus 200 according to the first embodiment in that the center unit 300 is not provided.
  • the right photographing unit 20a is positioned on the base 30 by two pins provided on the base 30. That is, two recesses or holes indicated by reference numerals F1 and F2 are provided on the bottom surface of the right photographing unit 20a, and these recesses or holes F1 and F2 are fitted with the first pin and the second pin, respectively. As a result, the right photographing unit 20a does not move in the in-plane direction of the base 30.
  • the left photographing unit 20b is also positioned on the base 30 by the other two pins provided on the base 30.
  • the right shooting unit 20a is positioned by a set of pins with two instead of one.
  • a set of two pins determines the position and orientation of the right imaging unit 20a. That is, the positions of the two pins define the position of the right photographing unit 20a on the surface of the base 30, and the direction of the straight line passing through the two pins is the position of the right photographing unit 20a on the surface of the base 30. The orientation is specified.
  • the left imaging unit 20b is also oriented by a pair of other two pins provided on the base 30. The user aligns the two recesses or holes provided in the bottom surface of the right imaging unit 20a or the left imaging unit 20b with a pair of pins provided in the base 30 and fits them. All you have to do is let it. Therefore, the user does not have to take the trouble of aligning the directions of the right shooting unit 20a and the left shooting unit 20b.
  • the right shooting unit 20a and the left shooting unit 20b are not restricted by pins in the upward direction (direction away from the base 30). Therefore, it is easy to remove the right photographing unit 20a and the left photographing unit 20b from the base 30. The user only needs to lift the right photographing unit 20a and the left photographing unit 20b diagonally backward.
  • FIG. 20a (20b) The photographing unit 20a (20b) will be described with reference to FIGS. 10 to 11.
  • the “shooting unit 20a (20b)” means the right shooting unit 20a or the left shooting unit 20b.
  • the configuration common to the right shooting unit 20a or the left shooting unit 20b will be described as “shooting unit 20a (20b)”.
  • FIG. 10 is an external view of the photographing unit 20a (20b). As shown in FIG. 10, the housing of the photographing unit 20a (20b) is provided with three openings so1 to so3.
  • FIG. 11 is a cross-sectional view of the photographing unit 20a (20b) shown in FIG.
  • the main body 21 of the photographing unit 20a (20b) is housed in the housing of the photographing unit 20a (20b).
  • a camera 22, a light source 23, and a projector 24 are attached to the main body 21.
  • the positions of the openings so1 to so3 of the housing correspond to the positions of the camera 22, the light source 23, and the projector 24.
  • the positions of the three openings so1 to so3 of the photographing unit 20a (20b) also correspond to the positions of the openings LO1 to LO3 of the shield plate 10 described in the first embodiment. That is, when the photographing unit 20a (20b) according to the second embodiment is applied to the three-dimensional shape measuring system 1 according to the first embodiment, the openings so1 to so3 of the right photographing unit 20a and the shield shown in FIG. 1 The openings LO1 to LO3 of the plate 10 overlap each other.
  • the camera 22 of the photographing unit 20a (20b) can photograph the head of a person through the opening so1 of the housing and the opening LO1 of the shield plate.
  • the light source 23 of the photographing unit 20a (20b) illuminates the head of a person through the opening so2 of the housing and the opening LO2 of the shield plate.
  • the projector 24 of the photographing unit 20a (20b) projects a light pattern on the head of a person through the opening so3 of the housing and the opening LO2 of the shield plate.
  • the target By illuminating the target with the light source 23, the target can be photographed beautifully even in a dark environment.
  • the wavelength range of the irradiated light to the wavelength range of the spectrum to be captured, it is possible to acquire an image having a small noise (S / N ratio).
  • the pattern of light projected onto the target by the projector 24 changes to a shape along the surface of the target on the surface of the target. Therefore, it is possible to calculate the three-dimensional shape of the target based on this changed shape.
  • a technique related to the technique disclosed in Patent Document 1 can be applied.
  • the photographing unit 20a (20b) may not include one or both of the light source 23 and the projector 24.
  • the photographing unit 20a and the photographing unit 20b can adjust the alignment of the camera 22 independently of each other.
  • the photographing unit 20a (20b) includes a main body 21 connected to the base 30, the camera 22 is fixed to the main body 21, and the orientation of the camera 22 is adjusted with reference to the base 30.
  • the plurality of photographing units 20a and 20b are both attached to the base 30, it can be said that the plurality of photographing units 20a and 20b share the coordinate system.
  • the base 30 By using the base 30 as a reference, it is possible to save the trouble of determining a common coordinate system before adjusting the orientations of the cameras 22 of the plurality of photographing units 20a and 20b independently.
  • the imaging unit 20a (20b) of the imaging apparatus 200 may include one or both of the structures that realize the alignment adjustment described in the third and fourth embodiments, respectively.
  • the main body 21 of the photographing unit 20a (20b) is attached with a fitting means for fitting to the base 30, and the position of the main body 21 to which the fitting means can be attached has a width. Then, the orientation of the photographing unit 20a (20b) can be adjusted on the base 30 by changing the position of the fitting means attached to the main body 21.
  • the imaging unit 20a (20b) is positioned by mating the fitting means attached to the main body 21 with the base 30. Since there is a width at the position of the main body 21 to which the fitting means can be attached, the orientation of the photographing unit 20a (20b) can be adjusted by changing the position of the fitting means within this width. In particular, the position of the fitting means can be adjusted so as to change the direction of the camera 22 fixed to the main body 21 of the photographing unit 20a (20b). That is, the orientation of the camera 22 can be adjusted by adjusting the position of the fitting means.
  • FIG. 12 shows the appearance of the main body 21 of the photographing unit 20a (20b) shown in FIG. However, in FIG. 12, the direction of the y-axis is reversed with respect to FIG. FIG. 12 also shows a fitting portion 25 attached to the bottom surface of the main body 21.
  • the fitting portion 25 is an example of the above-mentioned fitting means.
  • FIG. 13 is a view of the portion inside the frame of the broken line indicated by the reference numeral (C) in FIG. 12 as viewed from the lower side (bottom side) of the main body 21.
  • the boxed line in FIG. 13 there is an elliptical recess D1 on the bottom surface of the main body 21.
  • Three holes G0 to G2 are arranged side by side in the recess D1.
  • the hole G0 in the middle is circular and large, and the two holes G1 and G2 on both sides thereof are thin and small.
  • the shape and arrangement of these three holes G0-G2 is not important.
  • the second pin of the two sets of pins of the base 30 shown in FIG. 9 is inserted into the hole G0 in the middle.
  • the diameter of the hole G0 in the middle is larger than the thickness of the second pin. Therefore, when the second pin is inserted into the hole G0 in the middle, the second pin can move in the hole G0.
  • the shapes and arrangements of the three holes G0 to G2 of the main body 21 shown in FIG. 13 are merely examples. These holes G0 to G2 may have any shape and arrangement. Further, the holes G1 and G2 are provided as screw holes for inserting screws into the fitting portion 25, as will be described later. On the other hand, when the fitting portion 25 is attached to the main body 21 by other than a screw, the holes G1 and G2 are unnecessary.
  • FIG. 14 is a view of the main body 21 as viewed from the bottom surface side, as in FIG. 13.
  • the fitting portion 25 is inserted into the recess D1 (FIG. 13) provided on the bottom surface of the main body 21.
  • the fitting portion 25 has a shape in which a half-moon-shaped defect D0 is formed on a rectangular plate having rounded corners.
  • the function corresponding to the recess or hole F2 (FIG. 9) of the second embodiment is realized. That is, the main body 21 is positioned by fitting the second pin of the base 30 with the hole formed by the defect D0 and the hole G0.
  • the position of the hole G0 in the center of the bottom surface of the main body 21 corresponds to the position of the missing D0 of the fitting portion 25.
  • the fitting portion 25 is one size smaller in the x-axis direction (left-right direction) than the recess D1 on the bottom surface of the main body 21 into which the fitting portion 25 is inserted. Therefore, the fitting portion 25 can move in the positive and negative directions of the x-axis in the recess D1.
  • the fitting portion 25 can be attached anywhere in the recess D1 by fixing it to the main body 21 by a method described later. In other words, there is a width at the position of the main body 21 to which the fitting portion 25 can be attached. In FIG. 14, the width of the position of the main body 21 to which the fitting portion 25 can be attached is indicated by two double-headed arrows.
  • FIG. 15 is a view of the portion inside the broken line frame shown by the reference numeral (C) in FIG. 12 as viewed from the upper side of the main body 21.
  • screws are passed through the two holes on both sides of the hole G0 on the bottom surface of the main body 21.
  • the screw is inserted into the fitting portion 25 attached to the bottom surface side of the main body 21.
  • the screws are temporarily fixed, and the fitting portion 25 can move freely in the recess D1 on the bottom surface of the main body 21.
  • a target (also referred to as an alignment mark) is arranged in front of the main body 21 (in the positive direction of the y-axis).
  • the base for adjusting the alignment is provided with a set of two pins A and B. These pins A and B simulate the first and second pins (FIG. 3) of the base 30. That is, the shape and size of the pin A is equal to the shape and size of the first pin of the base 30.
  • the shape and size of the pin B is equal to the shape and size of the second pin of the base 30.
  • the distance between these pins A and B is equal to the distance between the first pin and the second pin.
  • the user first fits the bottom surface of the main body 21 with the pin A and the pin B.
  • the pin A is fitted into a recess or hole F1 (FIG. 11) provided on the bottom surface of the main body 21, and the pin B is fitted with the fitting portion 25 shown in FIG.
  • the user sets the pin A as a fulcrum and the y-axis as the central axis so that the optical axis of the camera lens of the camera 22 coincides with the center of the target.
  • the main body 21 is rotated in the positive and negative directions of the x-axis.
  • the fitting portion 25 attached to the bottom surface of the main body 21 moves in the recess D1 on the bottom surface of the main body 21 in the direction opposite to the direction in which the user rotates the main body.
  • the user tightens the screw (FIG. 15) inserted into the fitting portion 25 through the main body 21 to perform the fitting portion 25. Fix the position of. In this way, the adjustment of the alignment in the left-right direction is completed.
  • the central axis of rotation of the main body 21 passes through the pin A and the camera 22. That is, it is preferable that the pin A, which is the fulcrum of rotation, is installed directly below the camera 22.
  • the pin A which is the fulcrum of rotation
  • the main body 21 of the photographing unit 20a (20b) is provided with a plurality of screw holes, and the screws (tips of bolts) are inserted into the camera 22 through the plurality of screw holes.
  • the camera 22 is fixed to the main body 21, and the diameter of at least one screw hole is larger than the thickness of the screw passed through the screw hole.
  • the orientation of the camera 22 can be adjusted by moving the screw within the diameter of the screw hole.
  • the “shooting unit 20a (20b)” means the right shooting unit 20a or the left shooting unit 20b.
  • the diameter of at least one of the plurality of screw holes provided in the main body 21 of the photographing unit 20a (20b) is larger than the thickness of the screw. This means that the screw can be moved freely within the screw hole.
  • the direction of the camera 22 in the z-axis direction that is, the vertical direction when the positive direction of the y-axis is the forward direction
  • the movement of the screw can be stopped by the friction between the head of the screw and the main body.
  • FIG. 17 is a view of the portion inside the frame of the broken line indicated by the symbol (D) in FIG. 12 as viewed from the right side (negative direction of the x-axis) of the main body 21.
  • the main body 21 is provided with three screw holes.
  • the diameter of the first screw hole h1 is equal to the thickness of the screw passed through it.
  • the diameters of the second screw hole H2 and the third screw hole H3 are larger than the thickness of the screw passed through them.
  • the second screw hole H2 and the third screw hole H3 are drawn larger than the first screw hole h1. This is because it is assumed as an example that a screw having the same thickness is passed through all of the first screw hole h1, the second screw hole H2, and the third screw hole H3.
  • the second screw hole H2 and the third screw hole H3 do not necessarily have to be larger than the first screw hole h1.
  • the thickness of the screw through which the second screw hole H2 and the third screw hole H3 are passed may be smaller than the thickness of the screw through which the first screw hole h1 is passed.
  • the size relationship between the first screw hole h1 and the second screw hole H2 and the third screw hole H3 is not limited.
  • the tips of the three screws protruding from the three screw holes are inserted into the camera 22 through the screws, respectively. Insert into the corresponding three screw holes in.
  • the thickness of the screw passed through the first screw hole h1 and the thickness of the screw passed through the second to third screw holes H2 and H3 are equal.
  • the head of the screw is large enough not to pass through the first screw hole h1 and the second to third screw holes H2 and H3.
  • FIG. 19 shows a state in which the camera 22 is temporarily fixed by three screws. Since the diameters of the second screw hole H2 and the third screw hole H3 are larger than the thickness of the screw, the camera 22 is oriented in the z-axis direction, that is, the y-axis with the first screw hole h1 as the axis. It can move up and down when the positive direction of is the forward direction.
  • the user performs the alignment adjustment according to the procedure illustrated in FIG. That is, after the user aligns the optical axis of the camera lens of the camera 22 with the vertical center of the target, the user tightens the three screws (FIG. 19) inserted in the camera 22 to obtain the camera. The position of 22 is fixed. In this way, the alignment adjustment is completed.
  • the fifth embodiment will be described with reference to FIGS. 20 to 21.
  • the image analysis device 500 that acquires and analyzes a plurality of image data from the right shooting unit 20a and the left shooting unit 20b of the shooting device 200 described in the first to fourth embodiments will be described.
  • the image analysis device 500 according to the fifth embodiment may be included in the three-dimensional shape measurement system 1 (FIG. 1) described in the first embodiment. That is, the image analyzer 500 may be a component of the three-dimensional shape measurement system 1.
  • FIG. 20 is a block diagram showing the configuration of the image analyzer 500 according to the fifth embodiment. As shown in FIG. 20, the image analyzer 500 includes an acquisition unit 510 and a calculation unit 520.
  • the acquisition unit 510 acquires a plurality of image data from the imaging device 200 (FIG. 1 or 9) in which a plurality of imaging units including the right imaging unit 20a and the left imaging unit 20b photograph the same object from different directions.
  • the acquisition unit 510 is an example of acquisition means.
  • the acquisition unit 510 uses a communication unit (installed on the back surface of the base 30) (not shown) to connect communication with the photographing device 200.
  • a plurality of image data acquired by the right photographing unit 20a and the left photographing unit 20b are transmitted from the photographing apparatus 200 via the network.
  • the acquisition unit 510 receives a plurality of image data transmitted from the photographing apparatus 200.
  • the acquisition unit 510 outputs a plurality of acquired image data to the calculation unit 520.
  • the calculation unit 520 calculates at least a part of the three-dimensional shape of the target (in one example, the head of a person) based on a plurality of image data.
  • the calculation unit 520 is an example of a calculation means.
  • the calculation unit 520 uses a reference position (eg,) based on the parallax between the measurement point on the image data acquired by the right imaging unit 20a and the same measurement point on the image data acquired by the left imaging unit 20b. The distance from the measurement point (the intermediate point between the right imaging unit 20a and the left imaging unit 20b) is calculated. The calculation unit 520 calculates at least a part of the three-dimensional shape of the target by mapping a plurality of measurement points on the target reflected in the image data and calculating the distance to each measurement point by the above-mentioned method.
  • a reference position eg, based on the parallax between the measurement point on the image data acquired by the right imaging unit 20a and the same measurement point on the image data acquired by the left imaging unit 20b.
  • the distance from the measurement point (the intermediate point between the right imaging unit 20a and the left imaging unit 20b) is calculated.
  • the calculation unit 520 calculates at least a part of the three-dimensional shape of the target by mapping a plurality
  • the calculation unit 520 may output the calculation result of the target three-dimensional shape to a display or the like.
  • the calculation result of the three-dimensional shape of the object includes 3D model data regarding the change in the appearance of the object when the object is viewed from various directions.
  • the calculation unit 520 may store the calculation result of the target three-dimensional shape in a storage device (not shown).
  • FIG. 21 shows an example of a display based on the calculation result of the calculation unit 520.
  • the object of measurement is the head of a person.
  • the head of a person that is, the object of measurement
  • the left side of the head of the person is mainly displayed.
  • the right side of the head of the person is mainly displayed.
  • An image of a 3D model of a person's head may be transitionable between the display shown as (a) in FIG. 21 and the display shown as (b) in FIG. 21 by a user input operation.
  • FIGS. 22 to 23 The sixth embodiment will be described with reference to FIGS. 22 to 23.
  • an image analysis device 600 that acquires and analyzes a plurality of image data from the right shooting unit 20a and the left shooting unit 20b of the shooting device 200 described in the first to fourth embodiments, and a modified example thereof.
  • An image analyzer 600' will be described.
  • the image analysis device 600 according to the sixth embodiment or the image analysis device 600 ′ according to a modification thereof may be included in the three-dimensional shape measurement system 1 (FIG. 1) described in the first embodiment. That is, the image analyzers 600 and 600'may be components of the three-dimensional shape measurement system 1.
  • FIG. 22 is a block diagram showing the configuration of the image analyzer 600 according to the sixth embodiment. As shown in FIG. 22, the image analyzer 600 further includes a synthesis unit 630 in addition to the acquisition unit 510 and the calculation unit 520. The image analysis device 600 according to the sixth embodiment is different from the image analysis device 500 according to the fifth embodiment in that it further includes a synthesis unit 630.
  • the synthesizing unit 630 generates image data showing at least a part of the target three-dimensional shape by synthesizing a plurality of image data.
  • the synthesis unit 630 is an example of synthesis means.
  • Multiple image data can be obtained by shooting the same object from different directions. By synthesizing these image data, image data showing at least a part of the target three-dimensional shape can be obtained. By using the synthesized image data, for example, the target can be accurately identified regardless of the orientation of the target.
  • the synthesizer 630 uses well-known video technology such as integral photography.
  • the synthesis unit 630 receives a plurality of image data obtained by photographing the same object from different directions from the acquisition unit 510, and also receives data of a 3D model (FIG. 21) included in the calculation result of the three-dimensional shape of the object. Is obtained from the calculation unit 520. Then, the synthesis unit 630 determines the pixel value corresponding to each point of the target 3D model based on the plurality of image data by the ray tracing method. If the pixel values at each point of the 3D model are determined in this way, the synthesis unit 630 can obtain image data (sometimes referred to as composite image data) showing at least a part of the target three-dimensional shape.
  • image data sometimes referred to as composite image data
  • the compositing unit 630 may output the compositing image data to a display or the like. Alternatively, the synthesis unit 630 may store the composite image data in a storage device (not shown).
  • the advantage of synthetic image data is that the user can see various aspects of the measurement target (for example, the head of a person). For example, by photographing the left side of a person's head with the right photographing unit 20a and photographing the right side of the person's head with the left photographing unit 20b, image data showing the shape of the person's left ear and the person's right ear Image data that shows the shape of the image can be obtained. By synthesizing these image data, it is possible to obtain composite image data capable of observing the shapes of both ears.
  • FIG. 23 is a block diagram showing a configuration of an image analysis device 600 ′, which is a modification of the image analysis device 600 according to the sixth embodiment.
  • the image analyzer 600' includes a correction unit 640 in addition to the acquisition unit 510, the calculation unit 520, and the composition unit 630.
  • the image analysis device 600'related to the present modification is different from the image analysis device 600 according to the sixth embodiment in that the correction unit 640 is further provided.
  • the correction unit 640 corrects inconsistencies between a plurality of image data due to misalignment of the orientation of the camera 22.
  • the correction unit 640 is an example of correction means.
  • the synthesizing unit 630 (an example of the synthesizing means) synthesizes a plurality of corrected image data.
  • the position and orientation of the camera 22 is determined by adjusting the alignment, but there may be deviations from the standard.
  • the correction unit 640 corrects the influence of the deviation by calibration, so that image data when the camera 22 is in the reference position and orientation can be obtained.
  • the synthesizing unit 630 can obtain image data having less inconsistency than when the image data before the correction is synthesized. That is, image data showing an accurate three-dimensional shape of the object can be obtained.
  • the correction unit 640 first assumes that the alignment adjustment (FIG. 16) is accurate, and the field of view of the camera 22 provided by the right shooting unit 20a and the field of view of the camera 22 provided by the left shooting unit 20b. Identify areas that appear to be common between. Then, the correction unit 640 compares the pixel values in the specified region among the plurality of image data obtained by photographing the same object from different directions, and determines the size of the region where the pixel values do not match. calculate. Next, in the correction unit 640, the orientation of the camera 22 provided in the right photographing unit 20a is set as the first parameter, and the orientation of the camera 22 provided in the left photographing unit 20b is set as the second parameter, and the pixel values do not match. Search for a combination of parameters that minimizes the size of the area.
  • the correction unit 640 has the correction unit 640 for each of the camera 22 included in the right photographing unit 20a and the camera 22 provided in the left photographing unit 20b based on the first parameter and the second parameter specified in the above procedure. , Calculate the actual orientation. Then, the correction unit 640 calibrates the image data acquired by the right photographing unit 20a based on the calculation result of the orientation of the camera 22 provided in the right photographing unit 20a. Further, the correction unit 640 calibrates the image data acquired by the right photographing unit 20b based on the calculation result of the orientation of the camera 22 provided in the right photographing unit 20b.
  • the correction unit 640 indicates how much the actual orientation of the camera 22 deviates from the reference for each of the camera 22 provided in the right shooting unit 20a and the camera 22 provided in the left shooting unit 20b. May be presented by any means, or the user may be requested to adjust the alignment of the camera 22.
  • the correction unit 640 outputs the plurality of image data corrected as described above to the composition unit 630.
  • the synthesis unit 630 synthesizes a plurality of image data corrected by the correction unit 640 instead of the plurality of image data acquired by the acquisition unit 510.
  • FIG. 24 is a block diagram showing an example of the hardware configuration of the information processing apparatus 900.
  • the information processing apparatus 900 includes the following configuration as an example.
  • -Communication interface 908 for connecting to the communication network 909 -I / O interface 910 for inputting / outputting data -Bus 911 connecting each component
  • the processor 901 described above may be a CPU (Central Processing Unit).
  • the processor 901 may be a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), a DSP (Demand-Side Platform), or an ASIC (Application Specific Engineering).
  • Each component of the image analyzers 500, 600, and 600'described in the above embodiments 5 to 6 is realized by the CPU 901 reading and executing the program 904 that realizes these functions.
  • the program 904 that realizes the functions of each component is stored in, for example, a storage device 905 or ROM 902 in advance, and the CPU 901 is loaded into the RAM 903 and executed as needed.
  • the program 904 may be supplied to the CPU 901 via the communication network 909, or may be stored in the recording medium 906 in advance, and the drive device 907 may read the program and supply the program to the CPU 901.
  • the photographing unit includes a main body connected to the base.
  • the camera is fixed to the main body and The photographing apparatus according to Appendix 1, wherein the orientation of the camera is adjusted with reference to the base.
  • the main body of the photographing unit is provided with a plurality of screw holes.
  • the camera is fixed to the main body by inserting screws into the camera through the plurality of screw holes.
  • the imaging device according to Appendix 2 wherein the diameter of at least one screw hole is larger than the thickness of the screw passed through the screw hole.
  • Appendix 4 The imaging device according to Appendix 3, wherein the orientation of the camera can be adjusted by moving the screw within the diameter of the screw hole.
  • a fitting means for fitting to the base is attached to the main body of the photographing unit.
  • the photographing apparatus according to any one of Supplementary note 2 to 4, wherein the position of the main body to which the fitting means can be attached has a width.
  • Appendix 6 The imaging device according to Appendix 5, wherein the orientation of the imaging unit can be adjusted on the base by changing the position of the fitting means attached to the main body.
  • Appendix 10 The photographing unit according to Appendix 9, further comprising a projector that projects a pattern by light onto an object to be photographed by the photographing unit.
  • Appendix 11 The photographing unit according to Appendix 9 or 10, further comprising a light source for illuminating the object to be photographed by the photographing unit.
  • An acquisition means for acquiring a plurality of image data obtained by photographing the same object from different directions by the plurality of photographing units from the photographing apparatus according to any one of Supplementary note 1 to 6.
  • An image analyzer comprising a calculation means for calculating at least a part of the three-dimensional shape of the object based on the plurality of image data.
  • Appendix 13 The image analyzer according to Appendix 12, further comprising a synthesizing means for generating image data indicating the three-dimensional shape of the object by synthesizing the plurality of image data.
  • Appendix 14 Further provided with a correction means for correcting inconsistencies between the plurality of image data based on the misalignment of the camera orientation.
  • This disclosure in one example, can be used for a photographing device equipped with a plurality of cameras and capable of photographing an object from different directions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Accessories Of Cameras (AREA)

Abstract

複数のカメラを用いて、物体を複数の異なる方向から撮影する装置において、アライメントの手間を削減する。それぞれがカメラを備えた複数の撮影ユニット(20a,20b)と、複数の撮影ユニット(20a,20b)が取り付けられるベース(30)とを備え、複数の撮影ユニット(20a,20b)は、互いに独立して、カメラのアライメントを調整可能である。

Description

撮影装置、撮影ユニット、画像分析装置および三次元形状計測システム
 この開示は、撮影装置、撮影ユニット、画像分析装置および三次元形状計測システムに関し、特に、複数の異なる方向から同一の物体を撮影する撮影装置に関する。
 警察、医療分野、および美容業界等において、人体の頭部の三次元形状のイメージを生成するニーズがある。そこで、複数のカメラを用いて、物体を複数の異なる方向から撮影し、得られた複数の画像データを分析することによって、物体の三次元形状を高精度に計測する三次元形状計測システムが開発されている(特許文献1)。関連する撮影装置は、複数の異なる方向から物体を撮影する。関連する画像分析装置は、関連する撮影装置により得られた複数の画像データに基づいて、物体の三次元形状を計測する。
 そして、関連する画像分析装置は、計測した結果に基づいて、物体の三次元形状のイメージを生成および出力する。人間などの動きがある物体が計測の対象である場合であっても、複数のカメラが同時又はほぼ同時に対象をそれそれぞれ撮影することにより、高速に撮影を完了させることができ、対象の三次元形状を高精度に計測できる。
特開2005-106491号公報
 この開示は、上述した先行技術文献に開示されている技術を改善することを目的とする。
 この開示の一態様に係わる撮影装置は、それぞれがカメラを備えた複数の撮影ユニットと、前記複数の撮影ユニットが取り付けられるベースとを備え、前記複数の撮影ユニットは、互いに独立して、前記カメラのアライメントを調整可能である。
 この開示の一態様に係わる画像分析装置は、前記撮影装置から、前記複数の撮影ユニットが、異なる方向から同じ対象を撮影した複数の画像データを取得する取得手段と、前記複数の画像データに基づいて、前記対象の三次元形状の少なくとも一部を計算する計算手段とを備えている。
 この開示の一態様に係わる三次元形状計測システムは、前記撮影装置と、前記画像分析装置とを備えている。
実施形態1に係わる三次元形状計測システムを一方から見た俯瞰図である。 実施形態1に係わる三次元形状計測システムを他の一方から見た俯瞰図である。 実施形態1に係わる三次元形状計測システムを側方から見た図である。 実施形態1に係わる撮影装置の外観を示す斜視図である。 図1に示す三次元形状計測システムの要部を拡大した図であり、実施形態1に係わる撮影装置が備えたセンターユニットの断面を示す図である。 実施形態1に係わる撮影装置がディスプレイに表示する画像の一例を示す図である。 図5に示す三次元形状計測システムの要部を拡大した図であり、実施形態1に係わる撮影装置が備えた撮影ユニットを取り外す方法を説明する図である。 実施形態1に係わる三次元形状計測システムの一変形例を示す図である。 実施形態2に係わる撮影装置の構成を示す図である。 実施形態2に係わる撮影装置が備えた撮影ユニットの外観を示す図である。 図10に示す撮影ユニットの断面図である。 実施形態3に係わる撮影ユニットの筐体内に搭載された本体の斜視図である。 実施形態3に係わる撮影ユニットの本体の底面の裏側の一部を示す第1の図である。 実施形態3に係わる撮影ユニットの本体の底面の裏側の一部を示す第2の図であり、嵌合部の一例を示す図である。 実施形態3に係わる撮影ユニットの本体の底面の表側の一部を示す図であり、撮影ユニットの本体の底面の裏側に嵌合部が取り付けられた状態を示す図である。 実施形態3に係わる撮影ユニットの左右方向のアライメントの調整を説明する図である。 実施形態4に係わる撮影ユニットの本体の頂部を示す第1の図であり、本体の頂部に設けられた複数の穴の一例を示す図である。 実施形態4に係わる撮影ユニットの本体の頂部を示す第2の図であり、ネジを使って、カメラを本体に取り付ける方法を示す図である。 実施形態4に係わる撮影ユニットの本体の頂部を示す第3の図であり、上下方向のアライメントの調整を説明する図である。 実施形態5に係わる画像分析装置の構成を示すブロック図である。 対象の3Dモデルのイメージの一例を示す図である。 実施形態6に係わる画像分析装置の構成を示すブロック図である。 実施形態6の一変形例に係わる画像分析装置の構成を示すブロック図である。 実施形態5,6またはその変形例に係わる画像分析装置のハードウェア構成の一例を示す図である。
 〔実施形態1〕
 図1から図7を参照して、実施形態1について説明する。
 (三次元形状計測システム1)
 図1は、本実施形態1に係わる三次元形状計測システム1を一方から見た俯瞰図である。図1に示すように、三次元形状計測システム1は、右撮影ユニット20a、左撮影ユニット20b、ベース30、およびセンターユニット300を備えている。
 図2は、本実施形態1に係わる三次元形状計測システム1を他の一方から見た俯瞰図である。図2に示すように、三次元形状計測システム1は、椅子100、連結部材150、スタンド250、およびシールドプレート10をさらに備えている。シールドプレート10、右撮影ユニット20a、左撮影ユニット20b、ベース30、およびセンターユニット300は、本実施形態1に係わる撮影装置200を構成する。撮影装置200の構成について、後述する。
 三次元形状計測システム1は、実施形態5で説明する画像分析装置500または実施形態6で説明する画像分析装置600,600´をさらに備えていてもよい。この場合、撮影装置200の右撮影ユニット20aおよび左撮影ユニット20bがそれぞれ計測の対象を撮影することによって取得された画像データは、有線又は無線のネットワークを介して、画像分析装置500,600,あるいは600´へ送信される。
 椅子100には、人物が着座する。椅子100は、人物の頭部の位置を支持するヘッドレストを備えている。ヘッドレストは、計測の対象である人物の頭部の位置を固定する。なお、計測の対象が人物ではなく、犬や蛇などの生物、あるいは形状を持つ無生物を含む物体である場合、三次元形状計測システム1は、椅子100の代わりに、生物または物体を支持又は固定する部材を備えていてよい。以下、人物、その他の生物、および無生物を、まとめて単に「物体」と呼ぶ。
 図2に示すように、シールドプレート10には、複数の開口が設けられている。3つの開口LO1~LO3は、右撮影ユニット20aの前に設けられている。1つの開口LO4は、図1に示すセンターユニット300の前に設けられている。図2では、人物によって隠されているが、図1に示す左撮影ユニット20bの前にも、開口LO1~LO3と対応する3つの開口が、シールドプレート10には設けられている。
 連結部材150は、椅子100とスタンド250との間を連結する。椅子100とスタンド250との間の距離は、連結部材150により、一定に維持される。一定の距離は、例えば、ユーザがどれぐらいの精細な画像を得ることを所望するかに応じて、また、撮影装置200が備えたカメラ22(図11)の焦点距離に応じて、適宜に決められる。
 スタンド250には、撮影装置200が載置される。スタンド250の上には、撮影装置200のベース30が接続される。人物の顔のあごがどのような形状をしているかは、人物を特定または識別するために有用な情報となる。しかし、関連する技術では、人物の頭部を正面から撮影していたため、あごの部分が画像データに映らない場合がある。一方、本実施形態1において、スタンド250の高さは、右撮影ユニット20aおよび右撮影ユニット20bのそれぞれのカメラ22が、やや上向きに人物の頭部を撮影するように設定される。このようにすることで、人物の顔のあごの部分までカメラ22で撮影することができる。
 図3は、本実施形態1に係わる三次元形状計測システム1を側方から見た図である。図3において、2つの距離D1、D2が示されている。D2は、椅子100の背もたれから、スタンド250の脚部までの距離であり、D1は、人物の頭部からシールドプレート10の上端までの距離を表す。上述した連結部材150によって、D1が規定されている。
 人物の頭部からシールドプレート10の上端までの距離D1をさらに延ばすためには、シールドプレート10の傾きを大きくすることによって、シールドプレート10の下端に対する上端のオフセットを大きくすればよい。こうすることで、人物の目の前の空間を広げることができ、人物の圧迫感を緩和することができる。また、人物が前方に腕を伸ばしたとしても、シールドプレート10の上端まで手が届かないように、距離D1を決定してもよい。これにより、人物がシールドプレート10の上端を掴み、撮影装置200による撮影を妨害することを防止できる。ただし、シールドプレート10の上端が、シールドプレート10の後方にある撮影ユニット20a(20b)と接触しない範囲内で、シールドプレート10の傾きを大きくすることができる。
 (撮影装置200)
 図4は、本実施形態1に係わる撮影装置200の斜視図である。図4に示すように、撮影装置200は、シールドプレート10、右撮影ユニット20a、左撮影ユニット20b、ベース30、スタンド250、およびセンターユニット300を備えている。
 シールドプレート10は、人物が撮影装置200の右撮影ユニット20a、左撮影ユニット20b、あるいはセンターユニット300と接触することを防止する。右撮影ユニット20a、左撮影ユニット20b、あるいはセンターユニット300に外力が印可されることで、これらの位置がずれたり、カメラ22,310等が破損したりする可能性があるからである。
 天井の照明からの光がシールドプレート10により反射して、人物の顔を照らすことを防止又は抑制するため、シールドプレート10は、反射率の低い素材で形成されていることが望ましい。一例では、シールドプレート10は、半透明のアクリル製である。また、天井からの光の入射角が大きいほど、シールドプレート10の反射率は高くなるため、垂直方向(図3では上下方向に相当する)に対するシールドプレート10の傾斜の角度R(図3)は、10度以下であることが好ましい。
 さらに、シールドプレート10による光の反射をより低減するために、シールドプレート10の表面を加工してもよい。例えば、シールドプレート10の表面は、マット色に塗装してもよいし、光を拡散するように、凹凸構造を設けてもよい。
 図5は、図1に符号(A)を付与した破線の枠の部分を拡大して示す。図5は、センターユニット300の一部の断面を示す図である。
 図5に示すように、センターユニット300は、カメラ310および光源320を備えている。カメラ310および光源320の前側には、図1に示すように、シールドプレート10が配置されている。
 カメラ310のカメラレンズと対応するシールドプレート10上の位置に、上述したシールドプレート10の開口LO4が設けられている。カメラ310は、開口LO4を通じて、人物の頭部を撮影することができる。また、シールドプレート10には、光源320の前側にも、光源320からの光を通すための開口が設けられている。ただし、図2では、この開口の図示を省略している。光源320は、一例ではLED(Light Emitting Diode)である。
 カメラ310は、ユーザが人物の頭部の位置を確認するために使用される。光源320は、撮影装置200が通電(電源ON)していることを示すいわゆるパイロットランプであり、また、椅子100に着座した人物が光源320のほうを見ることで、頭部の向きを調整する用途でも利用できる。カメラ310は、人物の頭部を撮影し、撮影装置200は、カメラ310によって取得した画像を図示しないディスプレイにリアルタイムで表示させる。ユーザは、ディスプレイに表示された画像を見て、人物の頭部の位置を確認する。そして、ユーザは、人物の頭部が所定の位置に収まるように調整する。
 図6は、撮影装置200がディスプレイ(図示せず)に表示する画像の一例を示す。図6に例示する画像では、3本のラインが示されている。横方向の2本のラインは、人物の頭頂とあごの位置の目標を示す。また、縦方向の1本のラインは、人物の鼻と口を通る中心線の位置の目標を示す。
 あるいは、撮影装置200は、シールドプレート10上あるいはその近傍など、人物が前方を向いたままで画面を視認できる位置に配置したディスプレイ上に、図6に例示する画像を表示してもよい。これにより、人物は、ディスプレイに表示される自分の顔を確認しながら、顔の位置及び当向きを適宜に調整することができる。
 なお、シールドプレート10およびセンターユニット300はオプションである。すなわち、撮影装置200は、シールドプレート10およびセンターユニット300の一方又は両方を備えていなくてもよい。例えば、人物が右撮影ユニット20aおよび左撮影ユニット20bに接触することが考えにくい場合、撮影装置200はシールドプレート10を備えていなくてもよい。また、人物の頭部の位置決めが不要である場合、撮影装置200はセンターユニット300を備えていなくてもよい。撮影装置200がシールドプレート10およびセンターユニット300の両方を備えていない場合について、実施形態2において説明する。
 図7は、図3に符号(B)を付与した破線の枠の部分を拡大して示す。図7は、ベース30からの右撮影ユニット20aの取り外しを説明する図である。なお、以下で説明する右撮影ユニット20aと同等の構造を、左撮影ユニット20bも備えている。
 図7に示すように、ベース30には、複数のピンが設けられている。右撮影ユニット20aの底面には、第1ピンおよび第2ピンと対応する位置関係で、2つの窪み又は穴が設けられている。第1ピンおよび第2ピンが、右撮影ユニット20aの底面に設けられた窪み又は穴と嵌合することにより、右撮影ユニット20aはベース30に取り付けられている。第1ピンおよび第2ピンは、ベース30上において、右撮影ユニット20aを位置決めするために利用される。右撮影ユニット20aを位置決めすると、右撮影ユニット20aが備えたカメラ22の位置も決まる。また、右撮影ユニット20aの筐体には、ユーザが右撮影ユニット20aを持ち運ぶために使われる取っ手40を備えている。
 図7中に矢印で示すように、ユーザは、右撮影ユニット20aを、斜め後方(図7中に矢印)に向かって持ち上げることによって、ベース30から右撮影ユニット20aを取り外すことができる。逆に、ユーザは、右撮影ユニット20aの底面に設けられた窪み又は穴が、ベース30の第1ピン及び第2ピンと嵌合するように、右撮影ユニット20aをベース30に近づけることで、ベース30に右撮影ユニット20aを取り付けることができる。なお、左撮影ユニット20bと、ベース30との間の関係は、右撮影ユニット20aと、ベース30との間の関係と同じであり、左撮影ユニット20bも、同様のやり方で、ベース30から取り外し、また取り付けることができる。
 このように、本実施形態1に係わる撮影装置200では、右撮影ユニット20aおよび左撮影ユニット20bは、互いに独立して、ベース30から取り外し、またベース30に取り付けることができる。そのため、右撮影ユニット20a(または左撮影ユニット20b)のカメラ22(図11)が故障した場合、ユーザは、故障したカメラ22を含む右撮影ユニット20a(または左撮影ユニット20b)だけをベース30から取り外すことができる。この点は、複数のカメラが1つの撮影ユニットにまとめられている構成などと比較して、有利である。なぜならば、複数のカメラが1つの撮影ユニットにまとめられている場合、撮影ユニットのサイズが大きくならざるを得ないから、カメラの修理あるいは交換に関して、ユーザの利便性が悪い。また、そのような構成では、1つのカメラの修理あるいは交換後に、撮影ユニットをベースに取り付ける際、撮影ユニットに含まれる複数のカメラのアライメントの調整を行わなければならない。
 さらに、本実施形態1に係わる撮影装置200では、右撮影ユニット20a(または左撮影ユニット20b)のカメラ22のアライメントの再調整が必要になった場合、ベース30から、右撮影ユニット20a(または左撮影ユニット20b)のみを取り外して、カメラ22のアライメントを調整可能である。すなわち、本実施形態1に係わる撮影装置200では、複数の撮影ユニット(20a,20b)は、互いに独立して、カメラ22のアライメントを調整可能である。
 (変形例)
 図8を参照して、実施形態1に係わる三次元形状計測システム1の一変形例である三次元形状計測システム1´を説明する。
 上述したように、D1は、人物の頭部からシールドプレート10の上端までの距離を表す。D2は、椅子100´の背もたれから、スタンド250の脚部までの距離を表す。
 図8に示すように、本変形例に係る三次元形状計測システム1´では、シールドプレート10が、スタンド250の軸方向とほぼ平行である。この点で、本変形例に係る三次元形状計測システム1´は、実施形態1に係わる三次元形状計測システム1とは異なる。
 実施形態1に係わる三次元形状計測システム1では、D1>D2である。これは、計測の対象である人物にとって、自分の足元よりも、顔に近い位置において、前方の空間が広いことを意味する。したがって、人物に対し、強い圧迫感を与えることが少ないという利点がある。一方、本変形例に係わる三次元形状計測システム1´は、D1<=D2の関係を満たす。すなわち、本変形例に係わる三次元形状計測システム1´は、図3に示す実施形態1に係わる三次元形状計測システム1と比較して、人物の頭部からシールドプレート10の上端までの距離D1が短い。
 本変形例の利点は、ユーザが保守作業をしやすいことである。本変形例の構成では、シールドプレート10が後方に傾いていないことから、ユーザは、シールドプレート10との接触をそれほどに注意することなく、右撮影ユニット20aおよび左撮影ユニット20bを真上に引き上げることができる。
 〔実施形態2〕
 図9から図11を参照して、実施形態2について説明する。本実施形態2では、前記実施形態1に係わる三次元形状計測システム1に適用される撮影装置200の一例を説明する。
 (撮影装置200)
 図9は、本実施形態2に係わる撮影装置200の構成を示す図である。図9に示すように、本実施形態2に係わる撮影装置200は、右撮影ユニット20a、左撮影ユニット20b、およびベース30を備えている。本実施形態2に係わる撮影装置200は、センターユニット300を備えていない点で、前記実施形態1に係わる撮影装置200とは異なる。
 図9に示すように、右撮影ユニット20aは、ベース30に設けられた2つのピンによって、ベース30上で位置決めされる。すなわち、右撮影ユニット20aの底面には、符号F1,F2で示す2つの窪み又は穴が設けられており、これらの窪み又は穴F1,F2と、第1ピン及び第2ピンとがそれぞれ嵌合することによって、右撮影ユニット20aは、ベース30の面内方向には動かなくなる。
 同様に、左撮影ユニット20bも、ベース30に設けられた他の2つのピンによって、ベース30上で位置決めされる。
 また、右撮影ユニット20aが、それぞれ、1つではなく、2つで1組のピンによって位置決めされることにも意味がある。2つで1組のピンは、右撮影ユニット20aの位置及び向きを決める。すなわち、2つのピンの位置が、ベース30の面上での右撮影ユニット20aの位置を規定しており、2つのピンを通る直線の方向が、ベース30の面上での右撮影ユニット20aの向きを規定している。同様に、左撮影ユニット20bも、ベース30に設けられた他の2つで1組のピンによって、向きを決められる。ユーザは、右撮影ユニット20aまたは左撮影ユニット20bの底面に設けられた2つの窪み又は穴と、ベース30に設けられた他の2つで1組のピンとを位置合わせして、それらを嵌合させるだけでよい。そのため、ユーザは、右撮影ユニット20aおよび左撮影ユニット20bの向きを合わせ込む手間がかからない。
 右撮影ユニット20aおよび左撮影ユニット20bは、上方向(ベース30から離れる方向)の動きをピンによって制限されない。したがって、ベース30から右撮影ユニット20aおよび左撮影ユニット20bを取り外すことは容易である。ユーザは、右撮影ユニット20aおよび左撮影ユニット20bを斜め後方に持ち上げるだけでよい。
 (撮影ユニット20a(20b))
 図10から図11を参照して、撮影ユニット20a(20b)について説明する。ここでは、「撮影ユニット20a(20b)」とは、右撮影ユニット20aまたは左撮影ユニット20bを意味する。右撮影ユニット20aまたは左撮影ユニット20bに共通する構成に関して、「撮影ユニット20a(20b)」として説明する。
 図10は、撮影ユニット20a(20b)の外観図である。図10に示すように、撮影ユニット20a(20b)の筐体には、3つの開口so1~so3が設けられている。
 図11は、図10に示す撮影ユニット20a(20b)の断面図である。図11に示すように、撮影ユニット20a(20b)の筐体内に、撮影ユニット20a(20b)の本体21が格納されている。本体21には、カメラ22、光源23、およびプロジェクタ24が取り付けられている。筐体の開口so1~so3の位置は、カメラ22、光源23、およびプロジェクタ24の位置と対応している。
 さらに、撮影ユニット20a(20b)の3つの開口so1~so3の位置は、前記実施形態1で説明したシールドプレート10の開口LO1~LO3の位置とも対応している。すなわち、本実施形態2に係わる撮影ユニット20a(20b)が、前記実施形態1に係る三次元形状計測システム1に適用された場合、右撮影ユニット20aの開口so1~so3と、図1に示すシールドプレート10の開口LO1~LO3とが重なる。
 したがって、撮影ユニット20a(20b)のカメラ22は、筐体の開口so1およびシールドプレートの開口LO1を通して、人物の頭部を撮影することができる。撮影ユニット20a(20b)の光源23は、筐体の開口so2およびシールドプレートの開口LO2を通して、人物の頭部を照射する。また、撮影ユニット20a(20b)のプロジェクタ24は、筐体の開口so3およびシールドプレートの開口LO2を通して、人物の頭部に光のパターンを投影する。
 光源23が対象を照射することで、暗い環境下においても、対象をきれいに撮影することができる。特に、照射する光の波長域を、キャプチャするスペクトルの波長域に適合させることで、ノイズ(S/N比)の小さい画像を取得することができる。
 プロジェクタ24によって対象に投影された光のパターンは、対象の表面上で、対象の表面に沿った形状に変化する。よって、この変化した形状に基づいて、対象の3次元の形状を算出することが可能である。なお、プロジェクタ24の投影する光パターンを用いる3次元の形状の分析手法として、一例では、特許文献1に開示された技術に関連する技術を適用できる。
 上述した撮影ユニット20a(20b)の構成要素のうち、光源23およびプロジェクタ24はどちらも必須ではない。すなわち、撮影ユニット20a(20b)は、光源23およびプロジェクタ24の一方又は両方を備えていなくてもよい。
 (アライメントの調整)
 ここでは、撮影ユニット20a(20)が備えたカメラ22の位置決め(アライメントの調整)について説明する。図11中に示すxyz座標系は、続いて説明する図12中に示すxyz座標系と同等である。
 特許文献1に記載の関連する技術では、複数のカメラについて、位置及び向きが予め調整されたうえ、支持部材に固定されている。衝撃などの外力により、いずれかのカメラの位置または向きがずれたり、いずれかのカメラに故障が生じたりする場合がある。このような場合、1つのカメラの修理または交換のため、複数のカメラを支持部材ごと動かす必要がある。このため、複数のカメラのアライメントの調整を再び行わなければならない。
 一方、撮影ユニット20aおよび撮影ユニット20bは、互いに独立して、カメラ22のアライメントを調整可能である。一例では、撮影ユニット20a(20b)は、ベース30と接続される本体21を備え、カメラ22は本体21に固定されており、ベース30を基準として、カメラ22の向きを調整される。
 複数の撮影ユニット20a,20bが共にベース30に取り付けられているから、複数の撮影ユニット20a,20bは座標系を共有しているともいえる。そのベース30を基準とすることで、複数の撮影ユニット20a,20bのカメラ22の向きを独立して調整する前に、共通の座標系を決定しておく手間を省ける。
 アライメントの調整の具体例を、続く実施形態3および実施形態4で説明する。一例では、撮影装置200の撮影ユニット20a(20b)は、実施形態3および実施形態4でそれぞれ説明するアライメントの調整を実現する構造の一方又は両方を備えていてよい。
 〔実施形態3〕
 図12から図16を参照して、実施形態3について説明する。本実施形態3では、前記実施形態2において説明したアライメントの調整の具体例を説明する。
 本実施形態3において、撮影ユニット20a(20b)の本体21には、ベース30と嵌合する嵌合手段が取り付けられており、嵌合手段を取り付け可能な本体21の位置に幅がある。そして、本体21に取り付ける嵌合手段の位置を変えることにより、ベース30上で撮影ユニット20a(20b)の向きを調整可能である。
 本体21に取り付けられた嵌合手段がベース30と嵌合することで、撮影ユニット20a(20b)は位置決めされる。嵌合手段を取り付け可能な本体21の位置に幅があるから、この幅内で、嵌合手段の位置を変えることで、撮影ユニット20a(20b)の向きを調整できる。特に、撮影ユニット20a(20b)の本体21に固定されたカメラ22の向きを変えるように、嵌合手段の位置を調整できる。つまり、嵌合手段の位置を調整することで、カメラ22の向きを調整することができる。
 以下で、本実施形態3の構成の一例を詳細に説明する。
 (左右方向のアライメント)
 図12は、図11に示す撮影ユニット20a(20b)の本体21の外観を示す。ただし、図12では、図11に対し、y軸の向きを反転させて示している。図12には、本体21の底面に取り付けられる嵌合部25も示している。嵌合部25は、上述した嵌合手段の一例である。
 第1に、x軸の正負の方向、すなわち、y軸の正方向を前方向としたときの左右方向に、カメラ22の向きを調整する手順を説明する。
 図13は、図12に符号(C)で示す破線の枠内の部分を、本体21の下側(底面側)から見た図である。図13に破線の囲みで示すように、本体21の底面には、楕円形の凹みD1がある。凹みD1の中に、3つの穴G0~G2が並んで配置されている。それらのうち、真ん中の穴G0は円形で大きく、その両側の2つの穴G1,G2は細くて小さい。しかしながら、これらの3つの穴G0~G2の形状および配置は重要ではない。真ん中の穴G0には、図9に示すベース30の2つで1組のピンのうち、第2ピンが挿入される。真ん中の穴G0の直径は、第2ピンの太さよりも大きい。したがって、真ん中の穴G0に第2ピンを挿入した場合、第2ピンが穴G0内で動くことが可能である。
 図13に示す本体21の3つの穴G0~G2の形状および配置は、単なる一例である。これらの穴G0~G2はどのような形状および配置であっても構わない。さらに、穴G1,G2は、後述するように、嵌合部25にネジを挿入するためのネジ穴として設けられている。一方、嵌合部25をネジ以外で本体21に取り付ける場合、穴G1,G2は不要である。
 図14は、図13と同様に、本体21を底面側から見た図である。図14では、本体21の底面に設けられた凹みD1(図13)内に、嵌合部25が挿入されている。嵌合部25は、角の丸い長方形の板に半月型の欠損D0が形成された形状を有している。半月型の欠損D0と、本体21の底面の穴G0とが部分的に重なることによって、前記実施形態2の窪み又は穴F2(図9)と対応する機能を実現している。すなわち、ベース30の第2ピンが、欠損D0および穴G0によって形成される穴と嵌合することで、本体21が位置決めされる。本体21の底面の真ん中の穴G0の位置は、嵌合部25の欠損D0の位置と対応している。嵌合部25が挿入される本体21の底面の凹みD1よりも、嵌合部25は、x軸の方向(左右方向)に一回り小さい。そのため、嵌合部25は、凹みD1内でx軸の正負の方向に動くことが可能である。嵌合部25は、後述する方法で本体21に固定することにより、凹みD1内のどこにでも取り付けることができる。言い換えれば、嵌合部25を取り付け可能な本体21の位置に幅がある。図14において、嵌合部25を取り付け可能な本体21の位置の幅を、2つの両矢印で示している。
 図15は、図12に符号(C)で示す破線の枠内の部分を、本体21の上側から見た図である。図15では、本体21の底面にある穴G0の両側の2つの穴に、それぞれネジが通されている。ネジは本体21の底面側に取り付けられている嵌合部25に挿入されている。ただし、後述するアライメントの調整の実施前では、ネジは仮止めにされており、嵌合部25は、本体21の底面の凹みD1内で自由に動くことが可能である。
 図16を参照して、アライメントの調整の方法の一例を説明する。図16に示すように、本体21の前方(y軸の正方向)には、ターゲット(アライメントマークとも呼ばれる)が配置されている。アライメントの調整のためのベースには、2つで1組のピンA,Bが設けられている。これらのピンAおよびピンBは、ベース30の第1ピンおよび第2ピン(図3)を模擬している。すなわち、ピンAの形状および大きさは、ベース30の第1ピンの形状および大きさに等しい。ピンBの形状および大きさは、ベース30の第2ピンの形状および大きさに等しい。そして、これらのピンAとピンBとの間の距離は、第1ピンと第2ピンとの間の距離に等しい。
 ユーザは、まず、本体21の底面をピンAおよびピンBと嵌合させる。ピンAは、本体21の底面に設けられた窪みまたは穴F1(図11)に嵌め込まれ、ピンBは、図14に示す嵌合部25と嵌合する。そして、ユーザは、カメラ22によって撮影したターゲットの画像を参照しながら、カメラ22のカメラレンズの光軸と、ターゲットの中心とが一致するように、ピンAを支点、y軸を中心軸として、本体21をx軸の正負の方向に回転させる。この時、本体21の底面に取り付けられた嵌合部25は、本体21の底面の凹みD1内で、ユーザが本体を回転させた方向とは逆向きに動く。カメラ22のカメラレンズの光軸と、ターゲットの左右方向の中心とが一致したのち、ユーザは、本体21を通して嵌合部25に挿入されたネジ(図15)を締めることによって、嵌合部25の位置を固定する。このようにして、左右方向のアライメントの調整は完了する。
 本体21の回転の中心軸は、ピンAおよびカメラ22を通ることが好ましい。すなわち、回転の支点であるピンAは、カメラ22の真下に設置されていることが好ましい。これにより、本体21を中心軸周りに回転させたとき、x軸の正負の方向(左右方向)におけるカメラ22の位置が変わらないため、左右方向のアライメントの調整が容易となる。
 〔実施形態4〕
 図17から図19を参照して、実施形態4について説明する。本実施形態4では、前記実施形態2において説明したアライメントの調整の具体例を説明する。
 本実施形態4において、撮影ユニット20a(20b)の本体21には、複数のネジ穴が設けられており、複数のネジ穴を通して、カメラ22にネジ(ボルトの先端)が挿入されることで、カメラ22は本体21に固定されており、少なくとも1つのネジ穴の直径は、当該ネジ穴に通されるネジの太さよりも大きい。カメラ22にネジを挿入し、カメラ22を本体21に仮止めしたのち、ネジ穴の直径の範囲内で、ネジを動かすことにより、カメラ22の向きを調整可能である。ここで、「撮影ユニット20a(20b)」とは、右撮影ユニット20aまたは左撮影ユニット20bを意味する。
 撮影ユニット20a(20b)の本体21に設けられた複数のネジ穴のうち少なくとも1つの直径は、ネジの太さよりも大きい。このことは、ネジ穴内で、自由にネジを動かせることを意味する。ネジの位置を決めると、カメラ22のz軸方向(すなわちy軸の正方向を前方向としたときの上下方向)の向きが決まる。つまり、ネジの位置を動かすことで、カメラ22のアライメントの調整を行うことが可能である。ネジの位置決めをした後、ネジをしっかりと締めれば、ネジの頭と本体との間の摩擦により、ネジの動きを止めることができる。
 以下で、本実施形態4の構成の一例を詳細に説明する。
 (上下方向のアライメント)
 第2に、z軸の正負の方向、すなわち、y軸の正方向を前方向としたときの上下方向に、カメラ22の向きを調整する手順を説明する。
 図17は、図12に符号(D)で示す破線の枠内の部分を、本体21の右側(x軸の負方向)から見た図である。図17に示すように、本体21には、3つのネジ穴が設けられている。第1のネジ穴h1の直径は、これに通すネジの太さと等しい。一方、第2のネジ穴H2および第3のネジ穴H3の直径は、これらに通すネジの太さよりも大きい。図17では、第1のネジ穴h1よりも、第2のネジ穴H2および第3のネジ穴H3を大きく描いている。これは、第1のネジ穴h1、第2のネジ穴H2、および第3のネジ穴H3のいずれにも、同じ太さのネジを通すことを、一例として想定しているためである。
 しかしながら、必ずしも、第1のネジ穴h1よりも、第2のネジ穴H2および第3のネジ穴H3が大きくなくてもよい。例えば、第1のネジ穴h1を通すネジの太さよりも、第2のネジ穴H2および第3のネジ穴H3を通すネジの太さが細くてもよい。この場合、第1のネジ穴h1と、第2のネジ穴H2および第3のネジ穴H3との間の大きさの大小関係は限定されない。
 図18に示すように、第1のネジ穴h1および第2から第3までのネジ穴H2,H3の一方から、それぞれネジを通して、3つのネジ穴から突き出た3つのネジの先端を、カメラ22の対応する3つのネジ穴に挿入する。上述したように、本実施形態4では、第1のネジ穴h1に通すネジの太さと、第2から第3までのネジ穴H2,H3に通すネジの太さは等しい。なお、ネジの頭は、第1のネジ穴h1および第2から第3までのネジ穴H2,H3を通ることがない程度に十分大きい。
 図19は、3本のネジにより、カメラ22が仮止めされた状態を示す。第2のネジ穴H2および第3のネジ穴H3のそれぞれの直径は、ネジの太さよりも大きいため、カメラ22は、第1のネジ穴h1を軸として、z軸の方向、すなわち、y軸の正方向を前方向としたときの上下方向に動くことができる。
 その後、ユーザは、図16に例示する手順で、アライメントの調整を実行する。すなわち、ユーザは、カメラ22のカメラレンズの光軸と、ターゲットの上下方向の中心とが一致したのち、ユーザは、カメラ22に挿入された3本のネジ(図19)を締めることによって、カメラ22の位置を固定する。このようにして、アライメントの調整は完了する。
 〔実施形態5〕
 図20から図21を参照して、実施形態5について説明する。本実施形態5では、前記実施形態1から4で説明した撮影装置200の右撮影ユニット20aおよび左撮影ユニット20bから、複数の画像データを取得および分析する画像分析装置500について説明する。本実施形態5に係わる画像分析装置500は、前記実施形態1で説明した三次元形状計測システム1(図1)に含まれていてもよい。すなわち、画像分析装置500は、三次元形状計測システム1の構成要素であってもよい。
 (画像分析装置500)
 図20は、本実施形態5に係わる画像分析装置500の構成を示すブロック図である。図20に示すように、画像分析装置500は、取得部510および計算部520を備えている。
 取得部510は、撮影装置200(図1または図9)から、右撮影ユニット20aおよび左撮影ユニット20bを含む複数の撮影ユニットが、異なる方向から同じ対象を撮影した複数の画像データを取得する。取得部510は、取得手段の一例である。
 一例では、取得部510は、図示しない通信部(ベース30の裏面に設置されている)を用いて、撮影装置200との通信を接続する。撮影装置200から、ネットワークを介して、右撮影ユニット20aおよび左撮影ユニット20bがそれぞれ取得した複数の画像データが送信される。取得部510は、撮影装置200から送信された複数の画像データを受信する。
 取得部510は、取得した複数の画像データを、計算部520へ出力する。
 計算部520は、複数の画像データに基づいて、対象(一例では、人物の頭部)の三次元形状の少なくとも一部を計算する。計算部520は計算手段の一例である。
 一例では、計算部520は、右撮影ユニット20aが取得した画像データ上の計測点と、左撮影ユニット20bが取得した画像データ上の同じ計測点との間の視差に基づいて、基準位置(例えば右撮影ユニット20aと左撮影ユニット20bとの間の中間点)から計測点までの距離を計算する。計算部520は、画像データに映る対象上に複数の計測点をマッピングし、各計測点までの距離を上述の手法でそれぞれ計算することによって、対象の三次元形状の少なくとも一部を計算する。
 図20に示すように、計算部520は、対象の三次元形状の計算結果を、ディスプレイ等に出力してもよい。一例では、対象の三次元形状の計算結果は、対象を様々な方向から見たときの対象の見え方の変化に関する3Dモデルのデータを含む。あるいは、計算部520は、対象の三次元形状の計算結果を、図示しない記憶装置に保存してもよい。
 なお、右撮影ユニット20aおよび左撮影ユニット20bが、実施形態2に置いて説明したプロジェクタ24(図11)を備えている場合、計算部520は、プロジェクタ24の投影する光パターンを用いる3次元の形状の分析手法によって、対象の三次元形状を計算することもできる。 (一例;3Dモデルのイメージ)
 図21は、計算部520の計算結果に基づく表示の一例を示す。ここでは、計測の対象は人物の頭部である。図21に示す表示の一例では、人物の頭部(つまり計測の対象)が、3Dモデルのイメージとして再現されている。図21の(a)として示す表示では、人物の頭部の左側が主に表示されている。図21の(b)として示す表示では、人物の頭部の右側が主に表示されている。ユーザの入力操作によって、図21の(a)として示す表示と、図21の(b)として示す表示との間で、人物の頭部の3Dモデルのイメージが遷移可能であってもよい。
 〔実施形態6〕
 図22から図23を参照して、実施形態6について説明する。本実施形態6では、前記実施形態1から4で説明した撮影装置200の右撮影ユニット20aおよび左撮影ユニット20bから、複数の画像データを取得および分析する画像分析装置600と、その一変形例である画像分析装置600´について説明する。本実施形態6に係わる画像分析装置600あるいはその一変形例に係わる画像分析装置600´は、前記実施形態1で説明した三次元形状計測システム1(図1)に含まれていてもよい。すなわち、画像分析装置600,600´は、三次元形状計測システム1の構成要素であってもよい。
 (画像分析装置600)
 図22は、本実施形態6に係わる画像分析装置600の構成を示すブロック図である。図22に示すように、画像分析装置600は、取得部510および計算部520に加え、合成部630をさらに備えている。本実施形態6に係わる画像分析装置600は、合成部630をさらに備えている点で、前記実施形態5に係わる画像分析装置500とは異なる。
 取得部510および計算部520に関して、前記実施形態5での説明を引用し、ここではその説明を省略する。
 合成部630は、複数の画像データを合成することにより、対象の三次元形状の少なくとも一部を示す画像データを生成する。合成部630は合成手段の一例である。
 異なる方向から同じ対象を撮影することで、複数の画像データを得られる。これらの画像データを合成することで、対象の三次元形状の少なくとも一部を示す画像データを得られる。合成した画像データを使うことで、例えば、対象の向きによらず、対象を正確に識別することができる。
 一例では、合成部630は、インテグラルフォトグラフィなど、周知の映像技術を用いる。合成部630は、異なる方向から同じ対象を撮影することによって得られた複数の画像データを取得部510から受信するとともに、対象の三次元形状の計算結果に含まれる3Dモデル(図21)のデータを、計算部520から取得する。そして、合成部630は、光線追跡法により、複数の画像データに基づいて、対象の3Dモデルの各点と対応する画素値を決定する。このようにして、3Dモデルの各点における画素値が決まれば、合成部630は、対象の三次元形状の少なくとも一部を示す画像データ(合成画像データと呼ぶ場合がある)を得られる。
 合成部630は、合成画像データを、ディスプレイ等に出力してもよい。あるいは、合成部630は合成画像データを、図示しない記憶装置に保存してもよい。
 合成画像データの利点は、計測の対象(例えば人物の頭部)の様々な側面をユーザが見ることができることである。例えば、右撮影ユニット20aにより人物の頭部の左側を撮影し、左撮影ユニット20bにより人物の頭部の右側を撮影することによって、人物の左耳の形状がわかる画像データと、人物の右耳の形状がわかる画像データとが得られる。これらの画像データを合成することで、両耳の形状を見ることが可能な合成画像データが得られる。
 (変形例)
 一変形例として、合成部630が複数の画像データを合成する前に、複数の画像データを補正する構成を説明する。
 図23は、実施形態6に係わる画像分析装置600の一変形例である画像分析装置600´の構成を示すブロック図である。図23に示すように、画像分析装置600´は、取得部510、計算部520、および合成部630に加えて、補正部640をさらに備えている。
 本変形例に係わる画像分析装置600´は、補正部640をさらに備えている点で、実施形態6に係わる画像分析装置600とは異なる。
 補正部640は、カメラ22の向きの調整のずれに基づく複数の画像データの間の不整合を補正する。補正部640は、補正手段の一例である。本実施形態6では、合成部630(合成手段の一例)は、補正した複数の画像データを合成する。
 カメラ22の位置および向きは、アライメントの調整により決定されるが、基準からのずれがある場合がある。本変形例では、補正部640がそのずれの影響をキャリブレーションにより補正することで、基準の位置および向きにカメラ22がある場合の画像データが得られる。合成部630は、補正された画像データを合成することで、補正前の画像データを合成した場合よりも、不整合が小さい画像データを得られる。つまり、対象の正確な三次元形状を示す画像データを得られる。
 一例では、補正部640は、まず、アライメントの調整(図16)が正確であると仮定し、右撮影ユニット20aが備えたカメラ22の視界と、左撮影ユニット20bが備えたカメラ22の視界との間で、共通して見える領域を特定する。そして、補正部640は、異なる方向から同じ対象を撮影することによって得られた複数の画像データの間で、特定した領域における画素値同士を比較し、画素値同士が一致しない領域の大きさを計算する。次に、補正部640は、右撮影ユニット20aが備えたカメラ22の向きを第1のパラメータとし、左撮影ユニット20bが備えたカメラ22の向きを第2のパラメータとして、画素値同士が一致しない領域の大きさが最も小さくなるパラメータの組み合わせを探索する。
 一例では、補正部640は、上述の手順で特定した第1のパラメータおよび第2のパラメータに基づいて、右撮影ユニット20aが備えたカメラ22、および左撮影ユニット20bが備えたカメラ22のそれぞれについて、実際の向きを計算する。そして、補正部640は、右撮影ユニット20aが備えたカメラ22の向きの計算結果に基づいて、右撮影ユニット20aが取得した画像データのキャリブレーションを行う。また、補正部640は、右撮影ユニット20bが備えたカメラ22の向きの計算結果に基づいて、右撮影ユニット20bが取得した画像データのキャリブレーションを行う。
 一変形例では、補正部640は、右撮影ユニット20aが備えたカメラ22、および左撮影ユニット20bが備えたカメラ22のそれぞれについて、カメラ22の実際の向きが、基準からどれだけずれているのかを任意の手段で提示してもよいし、カメラ22のアライメントの調整をユーザに要求してもよい。
 補正部640は、以上のようにして補正した複数の画像データを、合成部630に出力する。上述したように、本変形例では、合成部630は、取得部510が取得した複数の画像データの代わりに、補正部640が補正した複数の画像データを合成する。
 〔ハードウェア構成〕
 前記実施形態5~6および変形例で説明した画像分析装置500、600、600´の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば図24に示すような情報処理装置900により実現される。図24は、情報処理装置900のハードウェア構成の一例を示すブロック図である。
 図24に示すように、情報処理装置900は、一例として、以下のような構成を含む。
  ・プロセッサ901
  ・ROM(Read Only Memory)902
  ・RAM(Random Access Memory)903
  ・RAM903にロードされるプログラム904
  ・プログラム904を格納する記憶装置905
  ・記録媒体906の読み書きを行うドライブ装置907
  ・通信ネットワーク909と接続する通信インタフェース908
  ・データの入出力を行う入出力インタフェース910
  ・各構成要素を接続するバス911
 上述のプロセッサ901は、CPU(Central Processing Unit)であってもよい。あるいは、プロセッサ901は、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)、DSP(Demand-Side Platform)、ASIC(Application Specific Integrated Circuit)であってもよい。
 前記実施形態5~6で説明した画像分析装置500、600、600´の各構成要素は、これらの機能を実現するプログラム904をCPU901が読み込んで実行することで実現される。各構成要素の機能を実現するプログラム904は、例えば、予め記憶装置905やROM902に格納されており、必要に応じてCPU901がRAM903にロードして実行される。なお、プログラム904は、通信ネットワーク909を介してCPU901に供給されてもよいし、予め記録媒体906に格納されており、ドライブ装置907が当該プログラムを読み出してCPU901に供給してもよい。
 〔付記〕
 上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
 (付記1)
 それぞれがカメラを備えた複数の撮影ユニットと、
 前記複数の撮影ユニットが取り付けられるベースと
を備え、
 前記複数の撮影ユニットは、互いに独立して、前記カメラのアライメントを調整可能である
 撮影装置。
 (付記2)
 前記撮影ユニットは、前記ベースと接続される本体を備え、
 前記カメラは前記本体に固定されており、
 前記ベースを基準として、前記カメラの向きを調整される
 ことを特徴とする付記1に記載の撮影装置。
 (付記3)
 前記撮影ユニットの前記本体には、複数のネジ穴が設けられており、
 前記複数のネジ穴を通して、前記カメラにネジが挿入されることで、前記カメラは前記本体に固定されており、
 少なくとも1つの前記ネジ穴の直径は、当該ネジ穴に通される前記ネジの太さよりも大きい
 ことを特徴とする付記2に記載の撮影装置。
 (付記4)
 前記ネジ穴の直径の範囲内で、前記ネジを動かすことにより、前記カメラの向きを調整可能である
 ことを特徴とする付記3に記載の撮影装置。
 (付記5)
 前記撮影ユニットの前記本体には、前記ベースと嵌合する嵌合手段が取り付けられており、
 前記嵌合手段を取り付け可能な前記本体の位置に幅がある
 ことを特徴とする付記2から4のいずれか1項に記載の撮影装置。
 (付記6)
 前記本体に取り付ける前記嵌合手段の位置を変えることにより、前記ベース上で前記撮影ユニットの向きを調整可能である
 ことを特徴とする付記5に記載の撮影装置。
 (付記7)
 前記複数の撮影ユニットは、異なる方向から同じ対象を撮影する2つ1組の撮影ユニットを含む
 ことを特徴とする付記1から6のいずれか1項に記載の撮影装置。
 (付記8)
 前記複数の撮影ユニットが共に前記ベースに取り付けられる
 ことを特徴とする付記1から7のいずれか1項に記載の撮影装置。
 (付記9)
 付記1から8のいずれか1項に記載の撮影装置が備えた撮影ユニット。
 (付記10)
 前記撮影ユニットが撮影する対象に対し、光によるパターンを投影するプロジェクタをさらに備えた
 ことを特徴とする付記9に記載の撮影ユニット。
 (付記11)
 前記撮影ユニットが撮影する対象を照射する光源をさらに備えた
 ことを特徴とする付記9または10に記載の撮影ユニット。
 (付記12)
 付記1から6のいずれか1項に記載の撮影装置から、前記複数の撮影ユニットが異なる方向から同じ対象を撮影した複数の画像データを取得する取得手段と、
 前記複数の画像データに基づいて、前記対象の三次元形状の少なくとも一部を計算する計算手段とを備えた
 画像分析装置。
 (付記13)
 前記複数の画像データを合成することにより、前記対象の三次元形状を示す画像データを生成する合成手段をさらに備えた
 ことを特徴とする付記12に記載の画像分析装置。
 (付記14)
 前記カメラの向きの調整のずれに基づく前記複数の画像データの間の不整合を補正する補正手段をさらに備え、
 前記合成手段は、補正した前記複数の画像データを合成する
 ことを特徴とする付記13に記載の画像分析装置。
 (付記15)
 付記1から6のいずれか1項に記載の撮影装置と、
 付記12から13のいずれか1項に記載の画像分析装置とを備えた
 三次元形状計測システム。
 この開示は、一例では、複数のカメラを備え、異なる方向から物体を撮影可能な撮影装置に利用することができる。
   1  三次元形状計測システム
 20a  右撮影ユニット
 20b  左撮影ユニット
  21  本体
  22  カメラ
  25 嵌合部
  30  ベース
 200  撮影装置
 500  画像分析装置
 510 取得部
 520 計算部
 600  画像分析装置
 600´ 画像分析装置
 630  合成部
 640  補正部

Claims (15)

  1.  それぞれがカメラを備えた複数の撮影ユニットと、
     前記複数の撮影ユニットが取り付けられるベースと
    を備え、
     前記複数の撮影ユニットは、互いに独立して、前記カメラのアライメントを調整可能である
     撮影装置。
  2.  前記撮影ユニットは、前記ベースと接続される本体を備え、
     前記カメラは前記本体に固定されており、
     前記ベースを基準として、前記カメラの向きを調整される
     ことを特徴とする請求項1に記載の撮影装置。
  3.  前記撮影ユニットの前記本体には、複数のネジ穴が設けられており、
     前記複数のネジ穴を通して、前記カメラにネジが挿入されることで、前記カメラは前記本体に固定されており、
     少なくとも1つの前記ネジ穴の直径は、当該ネジ穴に通される前記ネジの太さよりも大きい
     ことを特徴とする請求項2に記載の撮影装置。
  4.  前記ネジ穴の直径の範囲内で、前記ネジを動かすことにより、前記カメラの向きを調整可能である
     ことを特徴とする請求項3に記載の撮影装置。
  5.  前記撮影ユニットの前記本体には、前記ベースと嵌合する嵌合手段が取り付けられており、
     前記嵌合手段を取り付け可能な前記本体の位置に幅がある
     ことを特徴とする請求項2から4のいずれか1項に記載の撮影装置。
  6.  前記本体に取り付ける前記嵌合手段の位置を変えることにより、前記ベース上で前記撮影ユニットの向きを調整可能である
     ことを特徴とする請求項5に記載の撮影装置。
  7.  前記複数の撮影ユニットは、異なる方向から同じ対象を撮影する2つ1組の撮影ユニットを含む
     ことを特徴とする請求項1から6のいずれか1項に記載の撮影装置。
  8.  前記複数の撮影ユニットが共に前記ベースに取り付けられる
     ことを特徴とする請求項1から7のいずれか1項に記載の撮影装置。
  9.  請求項1から8のいずれか1項に記載の撮影装置が備えた撮影ユニット。
  10.  前記撮影ユニットが撮影する対象に対し、光によるパターンを投影するプロジェクタをさらに備えた
     ことを特徴とする請求項9に記載の撮影ユニット。
  11.  前記撮影ユニットが撮影する対象を照射する光源をさらに備えた
     ことを特徴とする請求項9または10に記載の撮影ユニット。
  12.  請求項1から8のいずれか1項に記載の撮影装置から、前記複数の撮影ユニットが異なる方向から同じ対象を撮影した複数の画像データを取得する取得手段と、
     前記複数の画像データに基づいて、前記対象の三次元形状の少なくとも一部を計算する計算手段とを備えた
     画像分析装置。
  13.  前記複数の画像データを合成することにより、前記対象の三次元形状を示す画像データを生成する合成手段をさらに備えた
     ことを特徴とする請求項12に記載の画像分析装置。
  14.  前記カメラの向きの調整のずれに基づく前記複数の画像データの間の不整合を補正する補正手段をさらに備え、
     前記合成手段は、補正した前記複数の画像データを合成する
     ことを特徴とする請求項13に記載の画像分析装置。
  15.  請求項1から6のいずれか1項に記載の撮影装置と、
     請求項12から13のいずれか1項に記載の画像分析装置とを備えた
     三次元形状計測システム。
PCT/JP2020/030912 2020-08-14 2020-08-14 撮影装置、撮影ユニット、画像分析装置および三次元形状計測システム WO2022034694A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2020/030912 WO2022034694A1 (ja) 2020-08-14 2020-08-14 撮影装置、撮影ユニット、画像分析装置および三次元形状計測システム
US18/019,865 US20230298193A1 (en) 2020-08-14 2020-08-14 Photographing apparatus, photographing unit, image analysis apparatus, and three-dimensional shape measuring system
JP2022542570A JPWO2022034694A5 (ja) 2020-08-14 撮影装置、画像分析装置および三次元形状計測システム
EP20949556.3A EP4198628A4 (en) 2020-08-14 2020-08-14 PHOTOGRAPHY DEVICE, PHOTOGRAPHY UNIT, IMAGE ANALYSIS DEVICE AND THREE-DIMENSIONAL SHAPE MEASURING SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/030912 WO2022034694A1 (ja) 2020-08-14 2020-08-14 撮影装置、撮影ユニット、画像分析装置および三次元形状計測システム

Publications (1)

Publication Number Publication Date
WO2022034694A1 true WO2022034694A1 (ja) 2022-02-17

Family

ID=80247092

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/030912 WO2022034694A1 (ja) 2020-08-14 2020-08-14 撮影装置、撮影ユニット、画像分析装置および三次元形状計測システム

Country Status (3)

Country Link
US (1) US20230298193A1 (ja)
EP (1) EP4198628A4 (ja)
WO (1) WO2022034694A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5237035A (en) * 1975-09-15 1977-03-22 Knapp Paul A Stable camera bench
JPH0450839U (ja) * 1990-09-05 1992-04-28
JP2006254074A (ja) * 2005-03-10 2006-09-21 Minoru Inaba ディジタルステレオカメラ又はディジタルステレオビデオカメラ並びに3dディスプレイ又は3dプロジェクタ並びにプリンタ並びにステレオビューア
KR20080106707A (ko) * 2007-06-04 2008-12-09 (주)마스터이미지 입체 영상 생성 방법 및 장치
JP2009270915A (ja) * 2008-05-07 2009-11-19 Kagawa Univ 3次元形状の計測方法および装置
JP2010107778A (ja) * 2008-10-30 2010-05-13 Sanyo Electric Co Ltd 投写光学系及び投写型映像表示装置
CN202928538U (zh) * 2012-11-26 2013-05-08 北京杏林睿光科技有限公司 一种基于结构光投影的三维测量仪
JP2013174547A (ja) * 2012-02-27 2013-09-05 Sharp Corp ステレオ3次元計測装置
WO2017199556A1 (ja) * 2016-05-17 2017-11-23 富士フイルム株式会社 ステレオカメラ及びステレオカメラの制御方法
CN108696736A (zh) * 2017-03-07 2018-10-23 上海中科顶信医学影像科技有限公司 用于三维成像的拍摄设备
WO2020066415A1 (ja) * 2018-09-25 2020-04-02 株式会社Screenホールディングス 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5237035A (en) * 1975-09-15 1977-03-22 Knapp Paul A Stable camera bench
JPH0450839U (ja) * 1990-09-05 1992-04-28
JP2006254074A (ja) * 2005-03-10 2006-09-21 Minoru Inaba ディジタルステレオカメラ又はディジタルステレオビデオカメラ並びに3dディスプレイ又は3dプロジェクタ並びにプリンタ並びにステレオビューア
KR20080106707A (ko) * 2007-06-04 2008-12-09 (주)마스터이미지 입체 영상 생성 방법 및 장치
JP2009270915A (ja) * 2008-05-07 2009-11-19 Kagawa Univ 3次元形状の計測方法および装置
JP2010107778A (ja) * 2008-10-30 2010-05-13 Sanyo Electric Co Ltd 投写光学系及び投写型映像表示装置
JP2013174547A (ja) * 2012-02-27 2013-09-05 Sharp Corp ステレオ3次元計測装置
CN202928538U (zh) * 2012-11-26 2013-05-08 北京杏林睿光科技有限公司 一种基于结构光投影的三维测量仪
WO2017199556A1 (ja) * 2016-05-17 2017-11-23 富士フイルム株式会社 ステレオカメラ及びステレオカメラの制御方法
CN108696736A (zh) * 2017-03-07 2018-10-23 上海中科顶信医学影像科技有限公司 用于三维成像的拍摄设备
WO2020066415A1 (ja) * 2018-09-25 2020-04-02 株式会社Screenホールディングス 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4198628A4 *

Also Published As

Publication number Publication date
EP4198628A4 (en) 2024-05-08
EP4198628A1 (en) 2023-06-21
JPWO2022034694A1 (ja) 2022-02-17
US20230298193A1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
US10349042B1 (en) Focus scanning apparatus
US20170054965A1 (en) Three-dimensional imager
US7632015B2 (en) CT scanner including device to visually indicate area of CT scan
JP4553578B2 (ja) 眼科用装置と眼科用測定方法
JP2007206211A (ja) 眼鏡装着シミュレーション方法及び装置
JP2006337254A (ja) 撮像装置、撮像画像距離測定方法、撮像画像距離測定プログラム、及び記録媒体
JP4217100B2 (ja) 画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラム
JP2012532314A (ja) デジタルゲージ付きの光学コンパレータ
KR20130113453A (ko) 표면을 이미지화하기 위한 이미징 유닛을 구비한 치과용 x-선 장치, 그리고 환자의 x-선 사진을 생성하기 위한 방법
JP6945415B2 (ja) 画像測定装置の調整方法
JP2016126176A (ja) 干渉対物レンズ、および光干渉測定装置
WO2022034694A1 (ja) 撮影装置、撮影ユニット、画像分析装置および三次元形状計測システム
WO2021038888A1 (ja) レンズ形状測定装置、レンズ形状測定方法、レンズ光学特性測定装置、プログラム、及び、記録媒体
US20220138934A1 (en) Two-way mirror display for dental treatment system
JP2003305065A (ja) 顎運動計測方法、顎運動計測プログラム、および顎運動計測プログラムを記録した記録媒体
JP2005214807A (ja) 格子投影型モアレ装置
TW201320974A (zh) 多光源牙模掃描裝置及其方法
JP3042773B2 (ja) 三次元動作分析装置
JP7308095B2 (ja) ステレオカメラの補正方法及びステレオカメラの補正装置
JP2005024438A (ja) 曲面鏡の鏡面精度検査方法、曲面鏡の鏡面精度検査装置、曲面鏡の鏡面精度検査用パターンの作成方法および曲面鏡の鏡面精度検査用パターン
RU2436508C2 (ru) Устройство для антропометрических измерений
JP2009010634A (ja) 顔撮影装置および顔撮影方法
KR20220016643A (ko) 3차원 구강 스캐너
Hatcher et al. Three-D Surface Imaging of the Face
JPH10118028A (ja) 検眼装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20949556

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022542570

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020949556

Country of ref document: EP

Effective date: 20230314