WO2016158856A1 - 撮像システム、撮像装置、撮像方法、及び撮像プログラム - Google Patents

撮像システム、撮像装置、撮像方法、及び撮像プログラム Download PDF

Info

Publication number
WO2016158856A1
WO2016158856A1 PCT/JP2016/059907 JP2016059907W WO2016158856A1 WO 2016158856 A1 WO2016158856 A1 WO 2016158856A1 JP 2016059907 W JP2016059907 W JP 2016059907W WO 2016158856 A1 WO2016158856 A1 WO 2016158856A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
information
imaging
pattern
reference pattern
Prior art date
Application number
PCT/JP2016/059907
Other languages
English (en)
French (fr)
Inventor
武昭 杉村
源洋 中川
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2017509976A priority Critical patent/JP6531823B2/ja
Publication of WO2016158856A1 publication Critical patent/WO2016158856A1/ja
Priority to US15/717,421 priority patent/US20180017380A1/en
Priority to US15/717,423 priority patent/US10638113B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Definitions

  • the present invention relates to an imaging system, an imaging apparatus, an imaging method, and an imaging program.
  • Patent Document 1 A technique for acquiring the three-dimensional shape of an object has been proposed (see, for example, Patent Document 1 below).
  • an object is detected in a plurality of visual fields, a partial model obtained from the detection result in the first visual field, and a partial model obtained from the detection result in the second visual field To integrate.
  • the information obtained in the first visual field and the information obtained in the second visual field are associated with high accuracy. It becomes difficult.
  • a first information calculation unit that calculates first model information including at least one of shape information and texture information of an object based on the result, and at least a part of the first model information calculated by the first information calculation unit
  • a pattern setting unit for setting a reference pattern, a first projection unit for projecting the reference pattern toward an object, a second main body unit, and an object on which the reference pattern is projected on the second main body unit.
  • a second imaging unit that captures an image and second information that is provided in the second main body unit and calculates second model information including at least one of the shape information and texture information of the object based on the imaging result of the second imaging unit. From the imaging results of the calculation unit and the second imaging unit, the first A pattern extraction unit for extracting a reference pattern projected by the shadow, imaging system comprising provided.
  • the main body the imaging unit provided in the main body, which captures the target and the reference pattern projected onto the target, and the imaging result of the imaging unit, A pattern extraction unit that extracts a reference pattern projected on the main body, and at least one of shape information and texture information of an object using an imaging result of the imaging unit and a reference pattern extracted by the pattern extraction unit.
  • an information calculation unit that calculates model information including the image pickup apparatus.
  • the first imaging unit is configured to capture an image of an object by the first imaging unit provided in the first main body unit and the first information calculation unit provided in the first main body unit. Calculating first model information including at least one of the shape information and texture information of the object based on the imaging result of the reference pattern, and a reference pattern indicating at least part of the first model information calculated by the first information calculation unit Is projected onto the object, the object on which the reference pattern is projected is imaged by the second imaging unit provided on the second body part, and the second information calculation provided on the second body part is calculated.
  • the imaging method comprising is provided with.
  • the main body, the imaging unit provided in the main body and imaging the characteristic part provided on the surface of the object, and the characteristic part of the object from the imaging result of the imaging unit are obtained.
  • An image pickup comprising: a pattern extraction unit for extraction; and an information calculation unit that is provided in the main body unit and calculates model information including at least one of shape information and texture information of the object using an imaging result and a characteristic part of imaging An apparatus is provided.
  • a reference pattern that is provided in the first main body and the first main body and indicates at least part of the first model information including at least one of the shape information and texture information of the object.
  • a first projection unit that projects the image onto the target, a second main body, a second imaging unit that is provided on the second main body and images the target on which the reference pattern is projected, and a second imaging unit
  • An information calculation unit that calculates second model information including at least part of the shape information and texture information of the object based on the imaging result of the reference, and a reference projected by the first projection unit from the imaging result of the second imaging unit
  • An imaging system is provided that includes a pattern extraction unit that extracts a pattern.
  • the computer captures an image of the characteristic portion provided on the surface of the object with the imaging unit provided in the main body, and the characteristic portion of the object from the imaging result of the imaging unit. And calculating model information including at least one of the shape information and texture information of the object using the imaging result and the characteristic part of the imaging by the information calculation unit provided in the main body unit An imaging program is provided.
  • 1 is a diagram illustrating an imaging system according to a first embodiment.
  • 1 is a block diagram illustrating an imaging system according to a first embodiment. It is a figure which shows the example of the 1st imaging part and 1st projection part which concern on 1st Embodiment. It is a figure which shows the example of the reference pattern which concerns on 1st Embodiment. It is a flowchart which shows the imaging method which concerns on 1st Embodiment. It is a figure which shows the example of operation
  • FIG. 1 is a diagram illustrating an imaging system 1 according to the present embodiment.
  • the imaging system 1 includes, for example, a plurality of imaging devices 2, an information processing device 3, an input device 4, and a display device 5.
  • the plurality of imaging devices 2 include, for example, a first imaging device 2a and a second imaging device 2b.
  • the first imaging device 2a images, for example, an object OB that is illuminated by light from an illumination device, light from a room lamp, natural light, or the like, and an image of the object OB (eg, a visible light image, red light) (External light image) data is acquired.
  • the first imaging device 2a detects the distance from the first imaging device 2a to each point on the surface of the object OB, and acquires the depth information of the object OB.
  • the depth information includes, for example, information (eg, distance information) that associates the position of a point on the surface of the object OB and the distance (depth, depth) from this point to the first imaging device 2a.
  • the depth information is, for example, information indicating a depth distribution (for example, a depth map) in a region including the object OB.
  • the first imaging device 2a uses the depth information described above to perform information calculation processing on the object OB.
  • the first imaging device 2a models at least a part of the object OB (modeling process) by calculation processing, and calculates model information (model data) including shape information or texture information.
  • the model information includes, for example, at least one of shape information indicating a three-dimensional shape of the object OB and texture information indicating a pattern on the surface of the object OB.
  • the model information includes the three-dimensional coordinates of each of a plurality of points on the surface of the object OB, the related information between the plurality of points, the three-dimensional coordinates of the plurality of points, and a surface defined by the related information. Texture information, image spatial information such as illumination conditions and light source information of the entire image, and polygon data as shape information.
  • the object OB in FIG. 1 includes a prismatic member and a spherical ball (eg, soccer ball) having a spherical surface
  • the shape information includes information on the surface (eg, plane) of the prismatic member, Contains surface (eg, spherical) information.
  • the texture information includes, for example, characters, figures (eg, black pentagon, white hexagon), pattern, unevenness information, specific image, and color (eg, chromatic color, achromatic color) on the surface of the ball. ) At least one piece of information.
  • the first imaging device 2a calculates, for example, first model information of a portion (viewing field region) of the object OB that enters the field of view of the first imaging device 2a.
  • the first model information is, for example, information on a model (hereinafter referred to as a first partial model) representing a part of a model (hereinafter referred to as an all-around model) representing the entire circumference of the object OB.
  • the all-around model is a model whose surface is closed
  • the first partial model is a model whose surface is not closed.
  • the first imaging device 2a can supply at least a part of information (for example, first model information) calculated by the arithmetic processing to an external device.
  • the first imaging device 2 a supplies at least a part of the first model information to the information processing device 3.
  • the second imaging device 2b is arranged at a position different from the first imaging device 2a in the region where the object OB can be photographed. Accordingly, the second imaging device 2b detects the object OB from a different viewpoint from the first imaging device 2a. For example, the second imaging device 2b acquires information used for calculation of model information outside the field of view of the first imaging device 2a. For example, the second imaging device 2b acquires data of a captured image (eg, a visible light image, an infrared light image) of the object OB. For example, the second imaging device 2b detects the distance from the second imaging device 2b to each point on the surface of the object OB, and acquires the depth information of the object OB.
  • a captured image eg, a visible light image, an infrared light image
  • the first imaging device 2a projects a pattern including predetermined information
  • the second imaging device 2b acquires predetermined information by detecting the pattern projected by the first imaging device 2a.
  • the predetermined information includes, for example, information used for calculation of model information, information used for model integration, information used to identify one imaging device out of the plurality of imaging devices 2 and other imaging devices, and a plurality of information It includes at least one piece of information indicating the operation timing of at least two of the imaging devices 2.
  • the first imaging device 2a projects a reference pattern RP indicating at least part of the first model information toward the object OB.
  • the reference pattern RP includes, for example, a pattern (eg, an asterisk in FIG. 1) indicating a characteristic part (hereinafter referred to as a characteristic point) in the first partial model of the object detected by the first imaging device 2a.
  • the second imaging device 2b acquires information (eg, position) of feature points detected by the first imaging device 2a by detecting the reference pattern RP on the object OB.
  • the second imaging device 2b has, for example, a configuration similar to that of the first imaging device 2a, and calculates second model information of a portion of the object OB that falls within the field of view of the second imaging device 2b.
  • the second model information is information on a partial model (hereinafter referred to as a second partial model) that represents a part of the entire circumference model. For example, part of the second partial model overlaps with the first partial model, and the other part does not overlap with the first partial model.
  • the second imaging device 2b detects a reference pattern projected on an overlapping portion between the first partial model and the second partial model.
  • the detected reference pattern for example, information indicating the correspondence between the feature point of the object OB detected by the first imaging device 2a and the second partial model is obtained.
  • This information is, for example, information indicating the correspondence between the field of view (eg, viewpoint, line of sight, angle of view) of the first imaging device 2a and the field of view (eg, viewpoint, line of sight, angle of view) of the second imaging device 2b. May be used.
  • the second imaging device 2b calculates the second model information using, for example, the detected reference pattern.
  • the second imaging device 2b can supply at least a part of information (for example, second model information) calculated by the arithmetic processing to the external device.
  • the second imaging device 2b supplies at least a part of the second model information to the information processing device 3.
  • the information processing apparatus 3 includes, for example, a computer system.
  • the information processing device 3 is communicably connected to the first imaging device 2a by wire or wireless.
  • the information processing device 3 may be connected to the first imaging device 2a via a communication cable, or may be connected to the first imaging device 2a via an Internet line. Further, the information processing device 3 may be able to communicate with the first imaging device 2a by short-range communication means using radio waves or infrared rays.
  • the information processing apparatus 3 is communicably connected to the second imaging apparatus 2b.
  • the form of communication between the information processing apparatus 3 and the second imaging apparatus 2b may be the same as or different from the form of communication between the information processing apparatus 3 and the first imaging apparatus 2a.
  • the first imaging device 2a is connected to be communicable with the second imaging device 2b.
  • the form of communication between the first image pickup apparatus 2a and the second image pickup apparatus 2b may be the same as the form of communication between the information processing apparatus 3 and the first image pickup apparatus 2a, or the information processing apparatus 3 And the form of communication between the first imaging device 2a and the first imaging device 2a.
  • the information processing device 3 acquires information from the first imaging device 2a through communication with the first imaging device 2a.
  • the information processing device 3 acquires information from the second imaging device 2b through communication with the second imaging device 2b.
  • the information processing device 3 performs information processing using the information acquired from the first imaging device 2a and the information acquired from the second imaging device 2b. For example, in this information processing, the information processing device 3 performs a model integration process for integrating the first partial model by the first imaging device 2a and the second partial model by the second imaging device 2b.
  • the information processing apparatus 3 executes image processing (eg, rendering processing, recognition processing using model information, etc.) as information processing using, for example, integrated model information.
  • image processing eg, rendering processing, recognition processing using model information, etc.
  • the information processing device 3 calculates estimated image data obtained by viewing the object OB from this viewpoint based on the setting information of the viewpoint (imaging direction) input to the input device 4 by the user.
  • the input device 4 includes, for example, at least one of a keyboard, a mouse, a touch panel, a sensor such as an acceleration sensor, a voice input device, a touch pen, and the like, and is connected to the information processing device 3.
  • the input device 4 accepts input of information from a user, for example, and supplies the input information to the information processing device 3.
  • the display device 5 includes, for example, a liquid crystal display or a touch panel display, and is connected to the information processing device 3.
  • the display device 5 displays an image (eg, an estimated image obtained by rendering processing) using the image data supplied from the information processing device 3.
  • At least one of the plurality of imaging devices 2 may be a portable information terminal or a fixed point camera fixed at a predetermined position, for example. It may be a camera that can change the field of view manually or automatically.
  • the number of imaging devices included in the plurality of imaging devices 2 is arbitrarily set and may be three or more.
  • the imaging system 1 may include, for example, a moving device that moves at least one imaging device among the plurality of imaging devices 2. The moving device may change the field of view of the imaging device by moving the imaging device.
  • the control unit that controls the moving device may be provided in the imaging system 1, for example, may be provided in the imaging device, or may be provided in the information processing device 3. In addition, a control unit that controls the moving device may be provided in a device outside the imaging system 1.
  • At least one of the plurality of imaging devices 2 is a digital device that can input / output digital information such as a barcode or a two-dimensional code at least part of the model information. Output may be possible.
  • This digital apparatus may be capable of displaying digital information including at least a part of model information on a display or printing on a medium such as paper.
  • a reader device including a reader unit (for example, an optical reader) that can read the displayed or printed digital information can input the digital information to a storage area of the device itself through the reader unit.
  • the reader device may further include a rendering processing unit described later.
  • the imaging system 1 may include at least a part of the digital device and the reader device.
  • the first imaging device 2a may include at least a part of the digital device and the reader device.
  • FIG. 2 is a block diagram illustrating the imaging system 1 according to the present embodiment.
  • the first imaging device 2a includes a first information calculation unit 12, a first main body unit 14, a first imaging unit 15, a feature extraction unit 16, a pattern setting unit 17, a first projection unit 18, and a first projection unit 18. And a control unit 19.
  • the first main body 14 is, for example, a camera body, a case, a housing, or the like.
  • the first main body 14 may be supported by a support member such as a tripod, a ceiling suspension jig, or a stage. This support member may be a part of the first main body 14.
  • the first imaging unit 15 is provided in the first main body unit 14.
  • the first imaging unit 15 images a target object.
  • the first projection unit 18 is provided in the first main body unit 14.
  • the first projection unit 18 can project a pattern toward the object OB.
  • the first imaging unit 15 and the first projection unit 18 are, for example, projector cameras.
  • the first imaging device 2a detects the pattern projected from the first projection unit 18 onto the object OB by the first imaging unit 15, and the distance from the first imaging device 2a to each point on the surface of the object OB. Can be detected.
  • FIG. 3 is a diagram illustrating an example of the first imaging unit 15 and the first projection unit 18.
  • the first imaging device 2 a includes the first detection unit 11.
  • the first detection unit 11 includes a first imaging unit 15 and can detect a distance from the first imaging device 2a to an object (eg, an object OB).
  • the first detection unit 11 includes, for example, a first imaging unit 15 and a first projection unit 18.
  • the first detection unit 11 uses the first imaging unit 15 to irradiate the object OB with light having a predetermined intensity distribution (eg, pattern light, structured light, texture) from the first projection unit 18. OB is imaged.
  • a predetermined intensity distribution eg, pattern light, structured light, texture
  • the first imaging device 2a detects the distance between the object OB and the first imaging device 2a using the light intensity distribution on the object OB that is captured in the image captured by the first imaging unit 15.
  • the first detection unit 11 uses the same target to detect the distance from itself (the first detection unit 11) to the object OB for each pixel of the captured image captured by the first imaging unit 15.
  • Depth from Defocus (DFD) processing using the correlation between the amount of image blur and the distance from multiple captured images with different focus distances relative to the object OB It may be configured to detect and detect the distance.
  • DMD Depth from Defocus
  • the first imaging unit 15 can capture, for example, a visible light image and an infrared light image, respectively.
  • the first imaging unit 15 includes, for example, an image sensor 20a, an image sensor 20b, a dichroic mirror 21, and an imaging optical system 22 (imaging optical system).
  • the image sensor 20a and the image sensor 20b are image sensors such as a CMOS image sensor or a CCD image sensor, respectively.
  • the image sensor has, for example, a structure in which a plurality of pixels are two-dimensionally arranged and a photoelectric conversion element such as a photodiode is arranged in each pixel.
  • the image sensor 20a has sensitivity in a visible light wavelength band (eg, 380 nm or more and 750 nm or less), for example.
  • the imaging result of the image sensor 20a includes, for example, gradation value information (eg, RGB data) for each color of each pixel.
  • the image sensor 20a outputs an imaging result (detection result) in a data format of a full color image.
  • a full-color image is, for example, an image in which red (R), green (G), and blue (B) of each pixel are represented by gradation values (eg, 256 gradations).
  • the image sensor 20b has sensitivity in the wavelength band of infrared light, for example.
  • the image sensor 20a outputs an imaging result (detection result) in a data format of a gray image.
  • the gray image is an image in which the brightness of each pixel is represented by a gradation value (eg, 256 gradations).
  • the imaging optical system 22 includes, for example, a plurality of lenses, and forms an image of an object plane (eg, the object OB).
  • the imaging optical system 22 is held in, for example, a lens barrel and attached to the first main body 14 together with the lens barrel.
  • the imaging optical system 22 and the lens barrel are, for example, interchangeable lenses and can be detached from the first main body portion 14.
  • the lens barrel may be a part of the first main body 14 or may not be removable from the first main body 14.
  • the dichroic mirror 21 has a characteristic that light (for example, visible light) in a wavelength band in which the image sensor 20a has sensitivity transmits, and light in a wavelength band in which the image sensor 20b has sensitivity (for example, infrared light) reflects. .
  • visible light enters the image sensor 20 a through the dichroic mirror 21.
  • the image sensor 20a captures a visible light image by detecting the visible light.
  • infrared light is reflected by the dichroic mirror 21 and enters the image sensor 20 b.
  • the image sensor 20b captures an infrared light image by detecting the infrared light.
  • the imaging optical system 22 serves as both a first optical system that forms a visible light image and a second optical system that forms an infrared light image.
  • the system may be provided separately from the first optical system.
  • the first imaging unit 15 may acquire one of the visible light image and the infrared light image and may not acquire the other.
  • the first imaging unit 15 includes an image sensor 20a that acquires a visible light image, and may not include the image sensor 20b that acquires an infrared light image.
  • the first projection unit 18 can project, for example, a visible light image and an infrared light image, respectively.
  • the first projection unit 18 includes, for example, a first light source 22a, a first optical engine 23a, a second light source 22b, a second optical engine 23b, a dichroic mirror 21b, and a projection optical system 24.
  • the first light source 22a emits light in a wavelength band in which the image sensor 20a has sensitivity (eg, visible light).
  • the first optical engine 23a forms a visible light image (pattern) with the light from the first light source 22a.
  • the second light source 22b emits light (for example, infrared light) in a wavelength band in which the image sensor 20b has sensitivity.
  • the second optical engine 23b forms an infrared light image (pattern) with the light from the second light source 22b.
  • the projection optical system 24 can project an image formed by the first optical engine 23a and an image formed by the second optical engine 23b.
  • the dichroic mirror 21b is disposed in the optical path between the first optical engine 23a and the projection optical system 24.
  • the dichroic mirror 21b has a characteristic that light from the first light source 22a is transmitted and light from the second light source 22b is reflected.
  • the first optical engine 23a includes a digital micromirror device (eg, DMD) and a reflection mirror or lens, and can generate the pattern.
  • the second optical engine 23b includes a digital micromirror device (eg, DMD) and a reflection mirror or lens, and can generate the pattern.
  • Visible light emitted from the first optical engine 23 a passes through the dichroic mirror 21 and is irradiated toward the object OB via the projection optical system 24. Thereby, the 1st projection part 18 projects the pattern (visible light image) by visible light toward the target object OB.
  • light (eg, infrared light) emitted from the second optical engine 23 b is reflected by the dichroic mirror 21 b and is irradiated toward the object OB via the projection optical system 24.
  • the 1st projection part 18 projects the pattern (infrared light image) by infrared light toward the target object OB.
  • the first projection unit 18 can draw the pattern on the surface of the object OB by optical scanning.
  • the first imaging unit 15 captures an image of the object OB on which the visible light pattern is projected, using the image sensor 20a.
  • the first imaging unit 15 images the object OB on which the infrared light pattern is projected by the image sensor 20b.
  • the first imaging device 2a can detect the distance from the first imaging device 2a to each point on the surface of the object OB, for example, by detecting a pattern projected on the object OB.
  • the first projection unit 18 projects the first distance measurement pattern.
  • the first distance measurement pattern is set to a grid pattern including grid lines parallel to the first direction and grid lines parallel to a second direction different from the first direction.
  • this point is detected by detecting how many pixels the surrounding grid line interval corresponds to on the captured image by the first imaging unit 15.
  • the first imaging device 2a can be calculated.
  • the inclination and curvature of the surface of the object OB can be detected by detecting the inclination and curvature of the grid lines in the captured image.
  • the first distance measurement pattern is set to a dot pattern including a plurality of dots, for example.
  • a dot pattern including a plurality of dots for example.
  • the distance to the first imaging device 2a can be calculated.
  • the distortion of the dots the inclination and curvature of the surface of the object OB can be detected.
  • the first imaging unit 15 can capture an image in parallel with the pattern projection by the first projection unit 18. For example, the first imaging unit 15 acquires an infrared light image with the image sensor 20b while acquiring a visible light image with the image sensor 20a during a period in which a pattern with infrared light is projected from the first projection unit 18. May be.
  • the first imaging unit 15 may capture images in a period that does not overlap with the pattern projection by the first projection unit 18.
  • the first imaging unit 15 may acquire a visible light image by the image sensor 20a during a period in which an infrared light pattern is not projected from the first projection unit 18.
  • the first projecting unit 18 can project a visible light image and an infrared light image, respectively, but may project only one of the visible light image and the infrared light image.
  • the first projection unit 18 may project a visible light image and may not project an infrared light image.
  • the first projection unit 18 may not include the second light source 22b, the second optical engine 23b, and the dichroic mirror 21b.
  • the first imaging unit 15 may not capture an infrared image, and may not include the dichroic mirror 21 and the image sensor 20b.
  • the first projection unit 18 may include, for example, a scanning projector.
  • the first projection unit 18 may draw (display) a pattern on the object OB by deflecting light from a laser light source or the like with a scanning mirror and scanning the object OB with this light.
  • the first imaging device 2a may detect the distance from the first imaging device 2a to each point on the surface of the object OB by a method other than the projector camera.
  • the first detection unit 11 may include a ToF (Time of Flight) sensor and detect the distance by the ToF method.
  • the first detection unit 11 includes a stereo camera, for example, and detects the distance between the object OB and the first imaging device 2a using the detection results obtained by detecting the object OB in a plurality of fields as parallax images. Also good.
  • the first projection unit 18 may be provided separately from the first detection unit 11. .
  • the first projection unit 18 may be unitized and externally attached to the first main body unit 14, or may be disposed at a position away from the first main body unit 14.
  • the first information calculation unit 12 includes, for example, a digital signal processor (Digital DSP).
  • the first information calculation unit 12 calculates at least one of the shape information and texture information of the object OB using the detection result of the first detection unit 11.
  • the first information calculation unit 12 calculates, as shape information, coordinates of a plurality of points (eg, point group data) on the surface of the object OB and surface information including connection information between the plurality of points.
  • the surface information is, for example, polygon data, vector data, draw data, or the like.
  • connection information includes, for example, information that associates points at both ends of a line corresponding to a ridge line (eg, edge) of the object OB, and information that associates a plurality of lines corresponding to the contour of the surface of the object OB.
  • the first information calculation unit 12 calculates point cloud data using the detection result (eg, depth information) of the first detection unit 11 (point cloud data processing). For example, the first information calculation unit 12 calculates the point cloud data by perspective conversion from a distance image indicated by the depth information to a planar image.
  • the first information calculation unit 12 estimates a plane between a point selected from a plurality of points included in the point cloud data and its neighboring points, and uses the plane information between the points as the point cloud data. Convert to polygon data (surface processing, surface processing).
  • the first information calculation unit 12 converts the point cloud data into polygon data, for example, by an algorithm using the least square method. This algorithm may be, for example, an algorithm published in the point cloud processing library.
  • the first information calculation unit 12 calculates texture information using, for example, an inverse rendering technique.
  • the texture information includes, for example, pattern information indicating a pattern on the surface of the object OB, light source information of light that illuminates the object OB, and optical characteristics indicating optical characteristics (eg, reflectance, scattering rate) of the surface of the object OB.
  • Information of at least one item of information is included.
  • the light source information includes, for example, at least one item of information among the position of the light source, the direction in which light is emitted from the light source to the object, the wavelength of light emitted from the light source, and the type of light source.
  • the first information calculation unit 12 calculates the light source information using, for example, a model assuming Lambertian reflection, a model including Albedo estimation, and the like. For example, the first information calculation unit 12 uses a component derived from light diffused by the object OB and a component regularly reflected by the object OB among the pixel values of each pixel of the image captured by the first imaging unit 15. presume. In addition, the first information calculation unit 12 calculates the direction in which light is incident on the object OB from the light source using, for example, the estimation result of the component specularly reflected by the object OB and the shape information. For example, the first information calculation unit 12 estimates the reflection characteristic of the object OB using the calculated light source information and shape information, and calculates optical characteristic information including a reflection characteristic estimation result. The first information calculation unit 12 calculates pattern information by removing the influence of illumination light from visible light image data using, for example, the calculated light source information and optical characteristic information.
  • the feature extraction unit 16 extracts feature points (eg, feature points, singular points) that can be distinguished from other parts of the first model information calculated by the first information calculation unit 12.
  • the object OB may have a straight line at its edge or ridgeline.
  • the intersection between the straight line portion of the edge and the other straight line portion of the edge can be distinguished from the other portion, and can be determined to be a point corresponding to a corner of the surface surrounded by the edge, for example.
  • the position of a predetermined dividing point for example, the midpoint
  • the edge or the ridge line includes a curved portion, for example, a point where the inclination of the tangent changes to a predetermined threshold value or more can be distinguished from other parts by calculating the inclination at each point.
  • the feature extraction unit 16 extracts, for example, a plurality of feature points from the first model information according to various algorithms.
  • feature point data indicating feature quantities at feature points extracted from at least one of the shape information and texture information of the object may be included in the first model information.
  • the feature extraction unit 16 may be a part of the first information calculation unit 12. As part of the process in which the first information calculation unit 12 calculates the first model information, the feature extraction unit 16 You may calculate the 1st feature point data which show the feature-value in a point.
  • the pattern setting unit 17 sets a reference pattern indicating at least part of the first model information calculated by the first information calculation unit 12.
  • the reference pattern is projected on the whole or a part of the object OB by the first projection unit 18 and is used to convey information to the second imaging device 2b by being detected by the second imaging device 2b, for example.
  • the reference pattern is projected onto the object OB by the first projecting unit 18 so that a part of the first partial model defined in the first model information (hereinafter referred to as a reference part) is converted into the object OB. Used to display above.
  • FIG. 4 is a diagram illustrating an example of a reference pattern.
  • the pattern setting unit 17 sets, as a reference pattern, a pattern that displays a code RP1 (eg, “A”) in a portion of the object OB that is defined as surface SF1 (eg, plane) in the surface information. May be.
  • the code RP1 is detected by the second imaging device 2b in the object OB on which the reference pattern is projected, for example, the first imaging device 2a detects the surface RP1 in the detection result and the detection result of the second imaging device 2b.
  • Information indicating the correspondence (eg, positional relationship) with the surface RP1 is obtained.
  • the reference pattern is used, for example, to indicate which part is the reference part in the object OB in the real space. In this case, for example, by detecting the object OB on which the reference pattern is projected by the second imaging device 2b, it is determined which position the reference portion corresponds to in the second partial model defined in the second model information. It can be detected.
  • the pattern setting unit 17 displays a code RP2 (eg, “B”) on a portion of the object OB that is defined as a surface SF1 and another surface SF2 (eg, plane) in the surface information. May be set as a reference pattern.
  • a code RP2 eg, “B”
  • the surface SF2 exists within the field of view of the first imaging device 2a and outside the field of view of the second imaging device 2b. I understand that.
  • the pattern setting unit 17 sets a pattern for displaying the code RP3 (for example, a line) on the portion defined as the edge or ridge line of the surface defined in the surface information in the object OB as a reference pattern. Also good.
  • the pattern setting unit 17 refers to a pattern that displays a code RP4 (eg, a graphic such as a rectangle or an arrow) in a portion of the object OB that is defined as a surface corner (eg, vertex) in the surface information.
  • a pattern may be set.
  • the pattern setting unit 17 sets, for example, a pattern for displaying the code SF5 (eg, mesh, grid) in the portion of the object OB that is defined as the surface SF3 (eg, curved surface) in the surface information as a reference pattern. May be.
  • the region where the code RP5 is detected by the second imaging device 2b is, for example, within the field of view of the first imaging device 2a and on the second imaging device 2b in the surface SF3. It can be seen that the region exists in the field of view. This region corresponds to, for example, an overlapping portion between the first partial model and the second partial model.
  • the reference pattern can be used, for example, for comparison between the first partial model defined in the first model information and the object OB in the real space.
  • the accuracy of the first model information can be evaluated by detecting a deviation between the reference portion projected on the object OB and the object OB.
  • the reference pattern can be used as information (signal) indicating the operation timing of the first imaging device 2a, for example.
  • the pattern setting unit 17 can set a pattern obtained by encoding information (eg, time synchronization information) indicating the timing at which the first imaging device 2a executes a predetermined process as a part of the reference pattern.
  • the second imaging device 2b can acquire information indicating the above timing by detecting and decoding this pattern.
  • the pattern setting unit 17 sets, for example, as shown in FIG. 4, a pattern that indicates that the reference portion can be distinguished from other portions as the reference pattern. For example, when the first information calculation unit 12 calculates the shape information, the pattern setting unit 17 sets the reference pattern to a pattern indicating at least a part of the shape information. For example, when the first information calculation unit 12 calculates the texture information, the pattern setting unit 17 sets, for example, the reference pattern to a pattern indicating at least a part of the texture information. For example, when the first information calculation unit 12 calculates the shape information and the texture information, the pattern setting unit 17 changes the reference pattern into a pattern indicating at least one of the shape information and at least a part of the texture information. Set.
  • the pattern setting unit 17 sets, for example, the reference pattern as a pattern associated with the feature point information extracted by the feature extraction unit 16.
  • the reference portion includes, for example, feature points (for example, corners, edges, ridge lines, convex portions, concave portions) extracted by the feature extracting unit 16.
  • the pattern setting unit 17 sets the reference pattern to a pattern associated with the surface information calculated by the first information calculation unit 12.
  • the reference portion includes, for example, a portion corresponding to a point (eg, a corner), a line (eg, an edge, a ridge line), or a surface defined in the surface information.
  • the pattern setting unit 17 sets, for example, the reference pattern as a pattern in which the light intensity distribution changes spatially.
  • the pattern setting unit 17 sets the reference pattern to a pattern including a code indicating a reference portion.
  • This code can be one type of graphics (eg, lines, arrows, polygons, circles), letters (eg, numbers, alphabets, symbols), 2D or 3D barcodes, textures such as meshes and grids. It may contain and may contain 2 or more types.
  • the pattern setting unit 17 may set, for example, a pattern in which the light intensity distribution changes with time as the reference pattern.
  • the pattern setting unit 17 may indicate a pattern or a reference portion that blinks the reference portion with a color (for example, a plurality of colors) and distinguish the reference portion from other portions.
  • the pattern setting unit 17 identifies identification information (e.g., number, number) of one imaging device (e.g., first imaging device 2a) among the plurality of imaging devices 2 from other imaging devices (e.g., second imaging device 2b).
  • a pattern associated with a code or ID may be set as a reference pattern. For example, when the code for identifying the first imaging device 2a among the plurality of imaging devices 2 is “1”, the pattern setting unit 17 may set a pattern including “1” as the reference pattern. For example, when the second imaging device 2b detects this reference pattern, the second imaging device 2b can identify that the device that has set this reference pattern is the first imaging device 2a. Further, the second imaging device 2b can identify, for example, that the device that projects this reference pattern is the first imaging device 2a.
  • the pattern setting unit 17 generates, for example, image data indicating a reference pattern.
  • the type of code eg, graphic, character
  • the type of reference part eg, corner, edge, surface
  • the reference portion corresponding to this code is predetermined as a plane.
  • the pattern setting unit 17 reads the pattern type corresponding to the type of the reference part from the storage unit 27 and arranges the code of this type at a position on the image corresponding to the position of the reference part, thereby Is generated (hereinafter referred to as reference image data).
  • the pattern setting unit 17 stores the generated reference image data in the storage unit 27.
  • the pattern setting unit 17 generates, for example, collation data in which a code included in the reference pattern is associated with a reference portion indicated by the code. For example, when the pattern setting unit 17 assigns the first code to the first feature point in the first partial model, the position information of the first feature point in the first partial model and the type of the first code To generate collation data. For example, the pattern setting unit 17 stores the collation data in the storage unit 27.
  • the first imaging device 2a further includes a display unit 25, an input unit 26, a storage unit 27, and a communication unit 28.
  • the display unit 25 (see FIG. 1) is, for example, a liquid crystal display or a touch panel type display provided in the first main body unit 14.
  • the display unit 25 includes, for example, a detection result of the first detection unit 11 (eg, a visible light image by the first imaging unit 15), a calculation result of the first information calculation unit 12 (eg, a depth map), and various setting information. Display at least a portion.
  • the input unit 26 is, for example, an operation button provided on the first main body unit 14, a touch panel provided on the display unit 25, a voice input device for recognizing a voice of a user, a release button, or the like.
  • the input unit 26 detects an operation by the user and receives an input of information from the user.
  • the input unit 26 transmits the input information to the first control unit 19.
  • the storage unit 27 is a nonvolatile memory such as a USB memory or a memory card, and stores various types of information.
  • the storage unit 27 may include a storage device built in the first imaging device 2a, or may include a port to which a storage device that can be released from the first imaging device 2a can be connected.
  • the first information calculation unit 12 generates model information in which header information (eg, identification information such as a number or code) is added to information including at least one of shape information and texture information.
  • the communication unit 28 transmits the model information.
  • the storage unit 27 stores model information for each item, for example.
  • the storage unit 27 stores information on each item of shape information, texture information, light source information, optical characteristic information of the object OB, and pattern information in individual data tables.
  • the header information includes identification information, the position (position information) of the first imaging device 2a, the imaging timing by the first imaging unit 15, the imaging time by the first imaging unit 15, the optical characteristic information of the object OB, and It may include at least one of imaging environment information (eg, illumination conditions for light source information, object OB, etc.).
  • the first information calculation unit 12 can generate model information having header information based on a predetermined data format and cause the communication unit 28 to transmit the model information.
  • the communication unit 28 includes, for example, at least one of an I / O port such as a USB port and a communication device that performs radio wave or infrared wireless communication.
  • the communication unit 28 is controlled by the first control unit 19, reads information stored in the storage unit 27, and transmits the read information to an external device.
  • the communication unit 28 transmits at least a part of the calculation result (eg, model information) of the first information calculation unit 12 to the information processing device 3.
  • the communication unit 28 receives information including a command from an external device, for example.
  • the communication unit 28 can store the received information in the storage unit 27 and supply the received information to the first control unit 19.
  • the communication unit 28 may transmit at least part of the model information to the above digital device.
  • the digital apparatus may generate digital information based on the received model information and output the digital information to a medium such as paper.
  • the first control unit 19 is held by the first main body unit 14.
  • the first control unit 19 controls each unit of the first imaging device 2a according to a command (control signal) from a user or an external device (for example, the information processing device 3).
  • the first control unit 19 causes the first detection unit 11 to execute the detection process.
  • This detection processing includes, for example, imaging processing by the first imaging unit 15 and distance detection processing by the first detection unit 11.
  • the first control unit 19 controls the first projection unit 18 and causes the first projection unit 18 to project the first distance measurement pattern onto the object OB.
  • the first control unit 19 controls the first imaging unit 15 to cause the first imaging unit 15 to image the object OB on which the first distance measurement pattern is projected.
  • the first control unit 19 causes the storage unit 27 to store at least a part of an image captured by the first imaging unit 15.
  • the first control unit 19 controls the first information calculation unit 12, and based on the captured image obtained by capturing the object OB on which the first distance measurement pattern is projected by the first imaging unit 15. First model information is calculated.
  • the first control unit 19 causes the storage unit 27 to store at least a part of the first model information calculated by the first information calculation unit 12.
  • the first control unit 19 controls the feature extraction unit 16 to execute a feature extraction process for extracting feature points from the first model information.
  • the first control unit 19 controls the pattern setting unit 17 to execute the reference pattern setting process.
  • the first control unit 19 causes the pattern setting unit 17 to execute processing for generating reference image data.
  • the first control unit 19 stores the reference image data in the storage unit 27.
  • the 1st control part 19 supplies the information which shows the projection conditions of the 1st projection part 18 to the 2nd imaging device 2b.
  • the projection condition of the first projection unit 18 includes, for example, the timing of projection by the first projection unit 18.
  • the projection condition of the first projection unit 18 may include information on a pattern projected by the first projection unit 18 (eg, reference image data).
  • the first control unit 19 controls the first projection unit 18 to cause the first projection unit 18 to project a reference pattern based on the reference image data.
  • the first control unit 19 causes the display unit 25 to display an image indicating at least part of the information stored in the storage unit 27.
  • the first control unit 19 controls the communication unit 28 to cause information transmission and information reception through the communication unit 28.
  • the second imaging device 2 b includes a second main body unit 31, a second information calculation unit 33, a second imaging unit 34, a second projection unit 35, a pattern extraction unit 36, and a second control unit 37.
  • the second main body 31 is, for example, a camera body, a case, a housing, or the like.
  • the second main body 31 is disposed at a position away from the first main body 14.
  • the second imaging unit 34 is provided in the second main body 31.
  • the second imaging unit 34 images the object OB.
  • the 2nd projection part 35 is provided in the 2nd main-body part 31, for example.
  • the second projection unit 35 can project a pattern toward the object OB.
  • the second imaging unit 34 and the second projection unit 35 are, for example, projector cameras.
  • the second imaging device 2b detects the pattern (second ranging pattern) projected on the object OB from the second projection unit 35 by the second imaging unit 34, and detects the object OB from the second imaging device 2b. The distance to each point on the surface can be detected.
  • the second detection unit including the second imaging unit 34 and the second projection unit 35 may have the same configuration as the first detection unit 11 illustrated in FIG. 3, for example.
  • the second imaging unit 34 images the object OB on which the reference pattern is projected by the first projection unit 18.
  • the second imaging unit 34 includes an image sensor having sensitivity in the wavelength band of light emitted from the first projection unit 18.
  • the second imaging unit 34 includes an image sensor having sensitivity in the visible light wavelength band.
  • the second imaging unit 34 includes an image sensor having sensitivity in the wavelength band of infrared light.
  • the pattern extraction unit 36 extracts (detects) the reference pattern projected on the object OB by the first projection unit 18 from the imaging result including the reference pattern of the second imaging unit 34.
  • the second imaging unit 34 may detect the object OB in each of a non-projection state in which the reference pattern is not projected from the first projection unit 18 and a projection state in which the reference pattern is projected from the first projection unit 18.
  • the pattern extraction unit 36 is projected onto the object OB by, for example, calculating the difference between the image acquired by the second imaging unit 34 in the non-projection state and the image acquired by the second imaging unit 34 in the projection state. Extracted reference patterns. In this case, for example, the pattern extraction unit 36 can separate the reference pattern from the texture of the object OB.
  • the pattern extraction unit 36 reads the code included in the reference pattern by performing OCR processing, pattern recognition processing, or the like on the extracted reference pattern.
  • the pattern extraction unit 36 acquires code information used for the reference pattern from a storage unit that stores code information.
  • the pattern extraction unit 36 reads the code included in the reference pattern by collating the code information with the extracted reference pattern.
  • the code information may be stored in advance in the storage unit 39 (described later) of the second imaging device 2b. Further, the code information may be stored in a device external to the second imaging device 2b (for example, the storage unit 27 of the first imaging device 2a). In this case, the pattern extraction unit 36 is connected to the external device.
  • the code information may be obtained by communication or the like.
  • the pattern extraction unit 36 generates reference information indicating the extracted reference pattern, and stores the reference information in the storage unit 39.
  • the second information calculation unit 33 is provided in the second main body unit 31.
  • the second information calculation unit 33 uses the imaging result of the second imaging unit 34 to calculate second model information including at least one of the shape information and texture information of the object OB.
  • the second information calculation unit 33 captures a captured image obtained by capturing the second ranging pattern projected by the second projection unit 35 onto the object OB by the second imaging unit 34. Basically, the distance from the second imaging device 2b to each point on the surface of the object OB is detected.
  • the second distance measurement pattern for calculating the second model information may be the same pattern as the first distance measurement pattern, or may be a different pattern from the first distance measurement pattern.
  • the second information calculation unit 33 calculates the second model information using the reference pattern extracted by the pattern extraction unit 36, for example. For example, when the pattern extraction unit 36 detects a code indicating a feature point related to shape information, the second information calculation unit 33 calculates at least the position of the code and the surrounding shape information in the captured image of the second imaging unit 34. . For example, when the pattern extraction unit 36 detects a code indicating a feature point related to texture information, the second information calculation unit 33 calculates at least the position of the code and the surrounding texture information in the captured image of the second imaging unit 34. .
  • the second information calculation unit 33 When a code indicating a feature point is included in the reference pattern, the second information calculation unit 33, for example, reduces the processing load for extracting the feature point, and increases the feature point extraction accuracy (easy to recognize the feature point). Can do). Moreover, according to this embodiment, compared with the case where the information of the feature point is acquired from the 1st imaging device 2a by communication, the communication load can be reduced, for example.
  • the second information calculation unit 33 can be calculated on the assumption that an edge is present at or near the position of the code in the 34 captured images.
  • the shape information of the object OB may be calculated on the assumption that the portion surrounded by the code RP3 around the code RP1 is a plane. it can.
  • the second imaging device 2b may not include the second information calculation unit 33.
  • the second imaging device 2b supplies the detection result of the second imaging unit 34 to an external device, and the external device calculates the second model information using the detection result of the second imaging unit 34.
  • This external device may be, for example, the information processing device 3, the first imaging device 2a, or an external device (for example, a cloud computer) of the imaging system 1.
  • the second imaging device 2b further includes an input unit 38, a storage unit 39, a communication unit 40, and a display unit 41.
  • the communication unit 40, the display unit 41, the input unit 38, and the storage unit 39 may have the same configuration as, for example, the communication unit 28, the display unit 25, the input unit 26, and the storage unit 27 of the first imaging device 2a.
  • the second control unit 37 is held by the second main body unit 31.
  • the second control unit 37 controls each unit of the second imaging device 2b according to a command (control signal) from a user or an external device (eg, the information processing device 3).
  • the second control unit 37 causes the second detection unit including the second imaging unit 34 to execute detection processing for detecting the object OB.
  • the second control unit 37 controls the second projection unit 35 and causes the second projection unit 35 to project the second distance measurement pattern onto the object OB.
  • the second control unit 37 controls the second imaging unit 34 to cause the second imaging unit 34 to image the object OB on which the second distance measurement pattern is projected.
  • the second control unit 37 causes the storage unit 39 to store at least a part of the image captured by the second imaging unit 34.
  • the second control unit 37 controls the communication unit 40 to acquire information indicating the projection condition of the first projection unit 18 from the first imaging device 2a.
  • the projection conditions of the first projection unit 18 include, for example, the timing at which the first projection unit 18 projects the reference pattern (projection timing of the reference pattern).
  • the second control unit 37 controls the second imaging unit 34 based on the timing of projecting the reference pattern, for example, and images the object OB on which the reference pattern is projected.
  • the second control unit 37 controls the pattern extraction unit 36 to cause the pattern extraction unit 36 to perform an extraction process for extracting a reference pattern from an image captured by the second imaging unit 34.
  • the second control unit 37 causes the storage unit 39 to store the reference pattern information extracted by the pattern extraction unit 36.
  • the second control unit 37 controls, for example, the second information calculation unit 33, and a captured image obtained by capturing the object OB on which the second ranging pattern is projected by the second imaging unit 34, and pattern extraction. Based on the reference pattern information extracted by the unit 36, the second model information is calculated. For example, the second control unit 37 causes the storage unit 39 to store at least a part of the second model information calculated by the second information calculation unit 33.
  • the information processing apparatus 3 includes, for example, a communication unit 51, a storage unit 52, a model integration unit 53, a rendering processing unit 54, and a control unit 55.
  • the communication unit 51 includes, for example, at least one of a USB port, a network card, and a communication device that performs radio wave or infrared wireless communication.
  • the communication unit 51 can communicate with each of the communication unit 28 of the first imaging device 2a and the communication unit 40 of the second imaging device 2b.
  • the storage unit 52 includes, for example, a removable storage medium such as a USB memory, and a large-capacity storage device such as an external or built-in hard disk.
  • the storage unit 52 includes, for example, at least part of data received via the communication unit 51, an imaging control program that controls the plurality of imaging devices 2, a processing program that executes each process of the information processing device 3, and the like.
  • the model integration unit 53 calculates the first model information calculated based on the result of detecting the object OB from the first direction (first detection result) and the result of detecting the object OB from the second direction (second Integrated model information is generated by integrating the second model information calculated on the basis of the detection result.
  • the model integration unit 53 uses, for example, the first model information and collation data supplied from the first image pickup device 2a, and the second model information and reference pattern information supplied from the second image pickup device 2b. Perform model integration processing for OB.
  • the model integration unit 53 can obtain, for example, information on feature points common to the first partial model indicated by the first model information and the second partial model indicated by the second model information from the reference pattern information.
  • the model integration unit 53 can associate the first partial model and the second partial model using, for example, information on the feature points.
  • the model integration unit 53 can reduce the processing load for searching for feature points common to the first partial model and the second partial model, or can omit this processing.
  • the model integration unit 53 collates the collation data from the first imaging device 2a and the reference pattern information from the second imaging device 2b, and the feature points in the first model information and the second Match feature points in model information.
  • the collation data indicates that the first code of the reference pattern corresponds to the first feature point of the first partial model.
  • the model integration unit 53 can detect a portion corresponding to the first feature point in the second partial model by searching for the first code from the reference pattern detected by the second imaging device 2b.
  • the model integration unit 53 generates an integrated model including the first partial model and the second partial model by superimposing the first feature points on the first partial model and the second partial model.
  • the integrated model information shown is calculated.
  • the rendering processing unit 54 performs a rendering process based on one or both of at least part of the first model information and at least part of the second model information. For example, the rendering processing unit 54 performs rendering processing using the integrated model information calculated by the model integrating unit 53 based on the first model information and the second model information.
  • the rendering processing unit 54 includes, for example, a graphics processing unit (Graphics Processing Unit; GPU).
  • the rendering processing unit 54 may be configured such that the CPU and the memory execute each process according to the image processing program.
  • the rendering processing unit 54 performs at least one of drawing processing, texture mapping processing, and shading processing in rendering processing.
  • the rendering processing unit 54 can calculate an estimated image (for example, a reconstructed image) obtained by viewing the shape defined in the shape information of the model information from an arbitrary viewpoint.
  • the shape indicated by the shape information is referred to as a model shape.
  • the rendering processing unit 54 performs a drawing process using at least a part (eg, shape information) of the first model information.
  • the rendering processing unit 54 can also perform drawing processing using at least a part of the second model information (eg, shape information).
  • the rendering processing unit 54 may perform drawing processing using at least a part of the first model information and at least a part of the second model information, for example, drawing using at least a part of the integrated model information. Processing may be performed.
  • the rendering processing unit 54 can reconstruct a model shape (eg, estimated image) from model information (eg, shape information) by, for example, a drawing process.
  • the rendering processing unit 54 causes the storage unit 52 to store the calculated estimated image data. Since each of the plurality of imaging devices 2 can transmit at least part of the model information to the information processing device 3, for example, the information processing device 3 can reduce the load of rendering processing. Further, for example, the plurality of imaging devices 2 do not have to transmit all the captured images captured by the first imaging unit 15 to the information processing device 3, and at least the model information calculated by the first information calculation unit 12 is not necessary. A part (eg, shape information and texture information) can be transmitted to the information processing device 3. For this reason, each of the plurality of imaging devices 2 according to the present embodiment can reduce the communication load of information necessary for the rendering processing of the rendering processing unit 54.
  • model information eg, shape information
  • the rendering processing unit 54 can calculate an estimated image in which an image indicated by the texture information of the model information is pasted on the surface of the object on the estimated image, for example.
  • the rendering processing unit 54 can also calculate an estimated image in which a texture different from the object OB is pasted on the surface of the object on the estimated image.
  • the rendering processing unit 54 can calculate an estimated image in which a shadow formed by the light source indicated by the light source information of the model information is added to the object on the estimated image. In the shading process, the rendering processing unit 54 can calculate an estimated image in which a shadow formed by an arbitrary light source is added to an object on the estimated image, for example.
  • the control unit 55 controls, for example, each unit of the information processing device 3, the plurality of imaging devices 2, the input device 4, and the display device 5.
  • the control unit 55 controls the communication unit 51 to cause each of the plurality of imaging devices 2 to transmit a command (control signal) and setting information.
  • the control unit 55 causes the storage unit 52 to store information received from the plurality of imaging devices 2 by the communication unit 51.
  • the control unit 55 controls the rendering processing unit 54 to execute the rendering process.
  • the control unit 55 controls the plurality of imaging devices 2 by sending commands (signals) to the plurality of imaging devices 2 via the communication unit 51, for example.
  • the control unit 55 controls the communication unit 51 to transmit a command (request signal) for requesting transmission of predetermined information to the plurality of imaging devices 2.
  • the control unit 55 may transmit a command to cause the plurality of imaging devices 2 to execute each process to the plurality of imaging devices 2.
  • the control unit 55 may transmit a command for causing the first detection unit 11 of the first imaging device 2a to execute a detection process to the first imaging device 2a.
  • the control unit 55 may transmit a command for causing the first information calculation unit 12 of the first imaging device 2a to execute model information calculation processing to the first imaging device 2a.
  • control unit 55 of the information processing device 3 outputs a command for causing the first imaging unit 15 of the first imaging device 2a to perform imaging of the object OB and a command for setting imaging conditions of the object OB. You may transmit to the apparatus 2a.
  • the control unit 55 of the information processing device 3 may transmit a command to the first imaging device 2a to cause the first imaging device 2a to execute processing for detecting identification information of the second imaging device 2b.
  • the communication unit 28 selectively transmits, for example, the information calculated by the first information calculation unit 12 for each item.
  • the setting information stored in the storage unit 27 includes transmission item information that determines whether or not to transmit information on each item of model information, and transmission order information that determines the order in which the information on each item is transmitted. Including.
  • This setting information can be updated by, for example, an operation of the input unit 26 or a command from the information processing device 3.
  • the first control unit 19 controls the communication unit 28 to transmit information on items defined in the transmission item information in the order defined in the transmission order information.
  • the first control unit 19 controls, for example, the communication unit 28 to transmit item information (eg, shape information and texture information) determined in the transmission item information at a time based on a predetermined data format. May be.
  • the transmission item information may be set according to whether or not the information is used for rendering processing of the information processing device 3, for example.
  • a texture different from the object OB may be combined with the shape of the object OB.
  • the information processing apparatus 3 can execute the rendering process without using the shape information of the object OB and without using the texture information of the object OB.
  • the transmission item information is set to information that transmits shape information but does not transmit texture information. In this case, the first information calculation unit 12 may not calculate texture information.
  • an image in which the illumination condition for the object OB is changed may be calculated.
  • the information processing apparatus 3 can execute the rendering process without using the light source information while using the shape information, the pattern information, and the optical characteristic information of the object OB.
  • the transmission item information is set to information that transmits, for example, shape information, pattern information, and optical characteristic information, and does not transmit light source information.
  • the transmission item information is set to information that determines that at least one of the shape information, texture information, pattern information, light source information, and optical characteristic information is to be transmitted. For example, when transmitting a part of the model information, the plurality of imaging devices 2 can reduce the communication load.
  • the transmission order information may be set according to the priority order in the rendering process of the information processing device 3, for example.
  • the transmission order information may be set so that information on items used first in the rendering process is sent first.
  • an image that looks at an object OB without a texture is calculated while changing the viewpoint, and after the viewpoint is determined, an image that looks at the object OB with a texture may be calculated from this viewpoint.
  • the information processing apparatus 3 can calculate an image obtained by changing the viewpoint of the object OB having no texture without using the texture information and the shape information.
  • the transmission item information is set to, for example, information that determines that the shape information is transmitted first and the texture information is transmitted later than the shape information.
  • the plurality of imaging apparatuses 2 are parallel to a part of the rendering process of the information processing apparatus 3.
  • Information can be sent.
  • the first control unit 19 of the first imaging device 2a may execute at least a part of the calculation of the model information by the first information calculation unit 12 and the information transmission process by the communication unit 28 in parallel. it can.
  • the control unit 55 of the information processing apparatus 3 stores information input to the input device 4 in the storage unit 52, for example.
  • the information input to the input device 4 includes, for example, rendering process setting information.
  • This setting information includes, for example, drawing process target data (eg, shape information of model information), viewpoint information in the drawing process, object data to be pasted in the texture mapping process, and texture to be pasted in the texture mapping process.
  • Information eg, texture information of model information
  • at least one of light source information eg, light information of model information
  • the rendering processing unit 54 executes rendering processing according to the setting information.
  • the control unit 55 causes the display device 5 to display images indicating various information stored in the storage unit 52, for example.
  • the control unit 55 displays the setting information of the rendering process on the display device 5 and accepts the change of the setting information by the input device 4. Further, the control unit 55 causes the display device 5 to display an image indicated by the estimated image data stored in the storage unit 52.
  • the information processing device 3 does not have to display the estimated image obtained by the rendering process on the display device 5, and in this case, the imaging system 1 may not include the display device 5.
  • the information processing apparatus 3 transmits at least a part of the estimated image data calculated by the rendering process to another apparatus (playback device) via the communication unit 51, and the other apparatus displays the image.
  • the information processing device 3 may transmit the estimated image data to the communication unit 28 of the first imaging device 2a via the communication unit 51, and the first imaging device 2a receives the data via the communication unit 28.
  • the estimated image may be displayed on the display unit 25 based on the estimated image data.
  • the playback device acquires information (estimated image) calculated by the rendering process and displays the information on the display unit.
  • the information processing device 3 may receive various setting information from other devices via the communication unit 51.
  • the imaging system 1 may not include the input device 4.
  • the first imaging device 2a may transmit rendering processing setting information (eg, information on the viewpoint from which the estimated image is based) to the communication unit 51 of the information processing device 3 via the communication unit 28. Further, the information processing device 3 may execute the rendering process in accordance with the rendering process setting information received from the first imaging device 2a.
  • rendering processing setting information eg, information on the viewpoint from which the estimated image is based
  • the first imaging device 2a may transmit a command for requesting estimated image data calculated by the rendering process to the communication unit 51 of the information processing device 3 via the communication unit 28.
  • the information processing device 3 may transmit estimated image data to the communication unit 28 of the first imaging device 2a through the communication unit 51 as a response to the command from the first imaging device 2a.
  • the first imaging device 2a may transmit the request command as part of the rendering process setting information, or may transmit it as a command (eg, control signal) different from the rendering process setting information.
  • the first imaging device 2 a includes at least a part of the first control unit 19, the storage unit 27, the display unit 25, and the input unit 26 when the information processing device 3 performs the various processes described above. It does not have to be. The same applies to the second imaging device 2b.
  • the first imaging device 2a may perform the above-described various processes by a user operation and may not be controlled by the information processing device 3, for example.
  • the first imaging device 2a may execute the above-described various processes without receiving a command (control signal) from an external device, and the various processes described above according to a user operation or a predetermined processing schedule. May be executed.
  • the first imaging device 2a may transmit the calculation result (eg, model information) of the first information calculation unit 12 to another device of the information processing device 3 via the communication unit 28.
  • FIG. 5 is a flowchart illustrating the imaging method according to the present embodiment.
  • the imaging system 1 detects an object using the first imaging device 2a.
  • the first control unit 19 controls the first imaging unit 15 to cause the first imaging unit 15 to image the object OB.
  • the imaging system 1 calculates first model information.
  • the first control unit 19 controls the first information calculation unit 12 to calculate the first model information of the object OB based on the imaging result of the first imaging unit 15.
  • the imaging system 1 detects an object by the second imaging device 2b.
  • the second control unit 37 controls the second imaging unit 34 to cause the second imaging unit 34 to image the object OB.
  • the imaging system 1 causes the first imaging device 2a to project a reference pattern.
  • the first control unit 19 controls the feature extraction unit 16 to extract feature points from the first model information, and controls the pattern setting unit 17 to set a pattern associated with the extracted feature point information as a reference pattern. To set.
  • the first control unit 19 transmits a control signal indicating an instruction to project the reference pattern onto the object OB to the first projection unit 18 to control the first projection unit 18, and the reference set by the pattern setting unit 17.
  • the pattern is projected toward the object OB.
  • step S5 the imaging system 1 detects the reference pattern by the second imaging device 2b.
  • the second control unit 37 controls the second imaging unit 34 to image the object OB on which the reference pattern is projected. Further, the second control unit 37 controls the pattern extraction unit 36 to extract a reference pattern from the image captured by the second imaging unit 34.
  • the imaging system 1 calculates second model information in step S6.
  • the second control unit 37 controls the second information calculation unit 33, and based on the imaging result of the second imaging unit 34 in step S3 and the reference pattern detection result in step S5, 2 Model information is calculated.
  • step S7 the imaging system 1 integrates the first model information and the second model information.
  • the control unit 55 of the information processing device 3 acquires first model information from the first imaging device 2a and acquires second model information from the second imaging device 2b.
  • the control unit 55 controls the model integration unit 53 to integrate the first model information and the second model information.
  • the model integration unit 53 executes model integration processing using the detection result of the reference pattern detected by the second imaging device 2b, and calculates integrated model information.
  • FIG. 6 is a sequence diagram illustrating an example of the operation of the imaging system 1 according to the present embodiment.
  • the first projection unit 18 of the first imaging device 2a projects the first distance measurement pattern onto the object OB.
  • the first imaging unit 15 of the first imaging device 2a images the object OB on which the first ranging pattern is projected.
  • the communication unit 28 of the first imaging device 2a transmits a notification (for example, a signal) indicating that imaging has ended to the communication unit 40 of the second imaging device 2b.
  • the communication unit 40 receives the notification in step S13.
  • the second projection unit 35 of the second imaging device 2b projects the second distance measurement pattern onto the object OB in step S15.
  • the second imaging unit 34 of the second imaging device 2b images the object OB on which the second distance measurement pattern is projected.
  • the communication unit 40 of the second imaging device 2b transmits a notification indicating that imaging has ended to the communication unit 28 of the first imaging device 2a.
  • the communication unit 28 receives the notification in step S17.
  • the first information calculation unit 12 of the first imaging device 2a calculates the first model information after the notification in step S13 is transmitted.
  • the first information calculation unit 12 or the feature extraction unit 16 performs a process of extracting at least feature points.
  • the pattern setting unit 17 of the first imaging device 2a sets, for example, a pattern associated with feature point information as a reference pattern.
  • the communication unit 28 of the first imaging device 2a transmits the reference pattern projection condition to the communication unit 40 of the second imaging device 2b in step S21.
  • the communication unit 40 receives the projection condition of the reference pattern.
  • the first projection unit 18 of the first imaging device 2a projects the reference pattern toward the object OB according to the schedule defined in the projection conditions.
  • the second imaging unit 34 of the second imaging device 2b images the object OB on which the reference pattern is projected according to the schedule defined in the projection conditions.
  • the communication unit 28 of the first imaging device 2a transmits the first model information to the communication unit 51 of the information processing device 3 in step S25.
  • the communication unit 51 receives the first model information.
  • the pattern extraction unit 36 of the second imaging device 2b extracts a reference pattern from the captured image of the second imaging unit 34 in step S24.
  • the second information calculation unit 33 of the second imaging device 2b calculates second model information.
  • the communication unit 40 of the second imaging device 2b transmits the second model information to the communication unit 51 of the information processing device 3 in step S29.
  • the communication unit 51 receives the second model information.
  • the model integration unit 53 of the information processing device 3 integrates the first model information and the second model information.
  • FIG. 7 is a sequence diagram showing another example of the operation of the imaging system 1 according to the present embodiment. Note that the description of processes common to those in FIG. 6 is omitted or simplified.
  • the first imaging device 2a detects the object OB in step S41, and calculates first model information in step S42.
  • the first imaging device 2a transmits the first model information to the information processing device 3 in step S43, and the information processing device 3 receives the first model information in step S44.
  • the second imaging device 2b detects the object OB in step S45, and calculates second model information in step S46.
  • the second imaging device 2b transmits the second model information to the information processing device 3 in step S47, and the information processing device 3 receives the second model information in step S48.
  • step S49 the model integration unit 53 of the information processing apparatus 3 extracts feature points from the first model information, and generates feature point data (first feature point data) indicating feature amounts at the feature points.
  • step S50 the communication unit 51 of the information processing device 3 transmits the feature point data to the communication unit 28 of the first imaging device 2a.
  • step S51 the communication unit 28 receives the feature point data.
  • step S52 the pattern setting unit 17 of the first imaging device 2a sets a reference pattern based on the feature point data.
  • step S53 the communication unit 28 of the first imaging device 2a transmits the reference pattern projection condition to the communication unit 40 of the second imaging device 2b.
  • step S54 the communication unit 40 receives the reference pattern projection conditions.
  • the first projection unit 18 of the first imaging device 2a projects the reference pattern in step S55
  • the second imaging unit 34 of the second imaging device 2b projects the object OB on which the reference pattern is projected in step S56.
  • the pattern extraction unit 36 of the second imaging device 2b extracts a reference pattern, and generates reference information indicating the extracted reference pattern.
  • the communication unit 40 of the second imaging device 2b transmits reference information to the communication unit 51 of the information processing device 3.
  • the communication unit 51 receives the reference information.
  • the reference information includes, for example, feature point data (second feature point data) in the second model information.
  • the model integration unit 53 of the information processing device 3 performs model integration processing using the first model information, the first feature point data, the second model information, and the reference information (second feature point data). .
  • the first imaging device 2a may not extract feature points from the first model information, and the information processing device 3 may extract feature points.
  • the second imaging device 2b may calculate the second model information without using the result of detecting the reference pattern.
  • FIG. 8 is a sequence diagram showing another example of the operation of the imaging system 1 according to the present embodiment. Note that the description of the processes common to FIGS. 6 and 7 is simplified.
  • the first imaging device 2a detects the object OB in step S61, and calculates first model information (at least extracts feature points) in step S62.
  • step S65 the first imaging device 2a sets a reference pattern.
  • the first imaging device 2a transmits the reference pattern projection condition to the second imaging device 2b in step S66, and the second imaging device 2b receives the reference pattern projection condition in step S67.
  • the first imaging device 2a projects the reference pattern in step S68, and the second imaging device 2b images the object OB on which the reference pattern is projected in step S69.
  • the first imaging device 2a transmits the feature point data (first feature point data) to the information processing device 3 in step S70, and the information processing device 3 receives the feature point data in step S71.
  • the second imaging device 2b extracts a reference pattern from the captured image in step S69.
  • the second imaging device 2b transmits reference information to the information processing device 3 in step S73, and the information processing device 3 receives the reference information in step S74.
  • the reference information is information obtained from the reference pattern detected by the second imaging device 2b, and includes, for example, feature point data (second feature point data) in the second model information.
  • step S75 the model integration unit 53 of the information processing device 3 matches the feature points included in the first feature point data with the feature points indicated in the reference information (second feature point data).
  • step S76 the information processing device 3 assigns the first model area in charge of the first model information from the first imaging device 2a and the second model information from the second imaging device 2b in the integrated model information.
  • the second assigned area is determined and set. For example, the model integration unit 53 selects each assigned area so that the first assigned area and the second assigned area do not overlap.
  • step S77 the control unit 55 of the information processing device 3 controls the communication unit 51 to give a command (first request signal) for requesting transmission of the first model information in the first charge area to the first imaging device 2a. It transmits to the communication part 28.
  • first designation information is, for example, information related to a part of the shape indicated by the first model information.
  • the communication unit 28 of the first imaging device 2a receives the command in step S77.
  • the first information calculation unit 12 of the first imaging device 2a extracts first designation information from the first model information.
  • step S80 the communication unit 28 of the first imaging device 2a transmits the first designation information to the communication unit 51 of the information processing device 3, and the communication unit 51 receives the first designation information.
  • step S82 after the process of step S77, the control unit 55 of the information processing device 3 controls the communication unit 51 and issues a command (second request signal) for requesting transmission of the second model information in the second charge area. And transmitted to the communication unit 40 of the second imaging device 2b.
  • the second model information in the second charge area is referred to as second designation information.
  • the second designation information is, for example, information related to a part of the shape indicated by the second model information.
  • the communication unit 40 of the second imaging device 2b receives the command in step S82.
  • step S84 the second information calculation unit 33 of the second imaging device 2b extracts second designation information from the second model information.
  • step S85 the communication unit 40 of the second imaging device 2b transmits the second designation information to the communication unit 51 of the information processing device 3, and the communication unit 51 receives the second designation information in step S86.
  • step S87 the model integration unit 53 integrates the first designation information that is a part of the first model information and the second designation information that is a part of the second model information, and calculates integrated model information.
  • the imaging device 2 according to the present embodiment is provided in the main body (14, 31) and the main body (14, 31), and the object OB and the reference pattern projected onto the object OB.
  • Part (12, 33) the second imaging device 2b is provided in the second main body 31 and the second main body 31, and captures the object OB and the reference pattern projected on the object OB simultaneously or as one image.
  • a pattern extraction unit 36 that extracts a reference pattern projected onto the object OB from the imaging results of the second imaging unit 34, and an imaging of the second imaging unit 34.
  • a second information calculation unit 33 that calculates model information including at least one of the shape information and texture information of the object OB using the result and the reference pattern extracted by the pattern extraction unit 36.
  • the reference pattern is different from the second model information calculated by the information calculation unit (for example, the second information calculation unit 33), and is different from the information calculation unit (for example, the first information calculation unit 12). Is a pattern indicating at least part of the calculated first model information.
  • the model integration unit 53 can determine the assigned area in step S76 using the information of the overlapping portion.
  • mutual overlapping portions can be easily detected by performing model integration processing using the first designation information that is a part of the first model information and the second designation information that is a part of the second model information. Therefore, for example, the communication load can be reduced, and the model integration processing load can be reduced.
  • FIG. 10 is a block diagram illustrating the imaging system 1 according to the second embodiment.
  • the imaging system 1 may fail to detect a void such as a depressed portion or opening of the object OB.
  • the imaging system 1 may not be able to distinguish between the inner wall of the opening and a virtual surface that closes the opening.
  • the imaging system 1 is configured so that the wire frame becomes discontinuous between the inner wall of the opening and the outside of the opening. A part with insufficient accuracy can be detected with one model information.
  • the imaging system 1 includes a comparison unit 56 that calculates information used for evaluating model information.
  • the comparison unit 56 is provided in the information processing device 3, but may be provided in at least one of the plurality of imaging devices 2 (for example, the first imaging device 2 a), or provided in another device. May be.
  • the comparison unit 56 is obtained from model information obtained from a captured image obtained by imaging the object OB and a captured image obtained by imaging the object OB on which the second reference pattern set based on the model information is projected. Compare with information.
  • the rendering processing unit 54 of the information processing device 3 acquires the first model information from the first imaging device 2a and performs a rendering process.
  • the rendering processing unit 54 generates data of an image in which the surface of the object OB is represented by a wire frame (for example, an estimated image in which a wire frame texture is added to the surface of the object OB).
  • the pattern setting unit 17 sets a second reference pattern for displaying a wire frame on the surface of the object OB based on the processing result of the rendering processing unit 54.
  • the first imaging unit 15 images the object OB in each of a projection state in which the second reference pattern is projected and a non-projection state in which the second reference pattern is not projected.
  • the comparison unit 56 calculates, for example, the difference between the captured image captured in the first imaging unit 15 and the non-projected captured image, and the second image on the object OB in the field of view of the first imaging unit 15. Detect reference patterns. For example, the comparison unit 56 calculates the amount of deviation between the texture added in the rendering process and the second reference pattern detected in the field of view of the first imaging unit 15. For example, the comparison unit 56 may determine (evaluate) that the accuracy of the first model information is insufficient in a portion where the calculated deviation amount is larger than the threshold value.
  • the second imaging unit 34 images the object OB in each of a projection state in which the second reference pattern is projected and a non-projection state in which the second reference pattern is not projected, for example.
  • the comparison unit 56 calculates, for example, the difference between the captured image in the projection state and the captured image in the non-projection state acquired by the second imaging unit 34, and the second on the object OB in the field of view of the second imaging unit 34. Detect reference patterns.
  • the comparison unit 56 calculates the shift amount of the second reference pattern detected in the field of view of the second imaging unit 34, and the accuracy of the first model information is insufficient in a portion where the calculated shift amount is larger than the threshold value. You may judge (evaluate) that there exists. For example, when the second reference pattern projected by the first imaging device 2a is detected, the rendering asymmetric area in the first model information can be acquired from the detection result of the second imaging device 2b.
  • the imaging system 1 uses, for example, at least one of the shift amount of the second reference pattern detected in the visual field of the first imaging unit 15 and the shift amount of the second reference pattern detected in the visual field of the second imaging unit 34. Then, the model information (eg, first model information, second model information, integrated model information) may be corrected.
  • the first imaging device 2a captures an image of the object OB by the first imaging unit 15 while changing the texture added to the object OB by changing the second reference pattern by the pattern setting unit 17. .
  • the comparison unit 56 monitors a change in the shift amount of the second reference pattern detected in the field of view of the first imaging unit 15 due to the change in the second reference pattern.
  • the imaging system 1 may correct the model information based on the second reference pattern when the shift amount of the second reference pattern decreases. In this case, the accuracy of the model information can be improved by irradiation and imaging of the reference pattern.
  • FIG. 10 is a flowchart illustrating an imaging method according to the present embodiment.
  • the imaging system 1 detects (captures) the object OB by the first imaging device 2a.
  • the imaging system 1 calculates first model information based on the imaging result of step S91.
  • the imaging system 1 detects (images) the object OB using the second imaging device 2b.
  • the imaging system 1 calculates second model information based on the imaging result of step S93.
  • step S95 the imaging system 1 performs rendering processing by the rendering processing unit 54 based on model information (eg, first model information).
  • step S96 the imaging system 1 sets a reference pattern by the pattern setting unit 17 based on the result of the rendering process in step S95.
  • step S97 the imaging system 1 projects the reference pattern toward the object OB by the first imaging device 2a (eg, the first projection unit 18).
  • step S98 the imaging system 1 images the object OB with at least one of the first imaging device 2a and the second imaging device 2b, and detects a reference pattern on the object OB.
  • step S99 the imaging system 1 uses the comparison unit 56 to compare the reference pattern detection result with the model information.
  • step S100 the imaging system 1 corrects model information (eg, first model information) based on the comparison result in step S99.
  • step S101 the imaging system 1 performs model integration processing by the model integration unit 53 using the model information corrected in step S99.
  • the first projection unit 18 may project the reference pattern set based on the model information while changing the projection magnification.
  • the pattern setting unit may set a pattern indicating the outline of the object OB as a reference pattern, and the first projecting unit 18 may project the reference pattern by enlarging or reducing it.
  • the first projection unit 18 first sets the projection magnification at which the pattern indicating the outline of the object OB is displayed on the object OB.
  • the first projection unit 18 projects a pattern while increasing the projection magnification, and the first imaging unit 15 detects a change in the pattern indicating the contour of the object OB.
  • the scale (eg, actual size) of the object OB can be estimated based on the projection magnification.
  • the information on the part that is not displayed can be used for evaluating the validity of the modeling result.
  • the imaging device 2 can obtain information indicating a correspondence relationship (positional relationship) between a plurality of visual fields, and the information obtained in the first visual field and the second visual field. It is possible to correlate the information obtained in (1) with high accuracy.
  • the control unit in the above-described embodiment reads an imaging program stored in a storage device (eg, storage unit), and executes the various processes described above according to the imaging program.
  • the imaging program causes a computer to execute the various processes described above.
  • the imaging program may be provided by being recorded on a computer-readable storage medium.
  • one or more of the requirements described in the above embodiments or modifications may be omitted.
  • the requirements described in the above embodiments or modifications can be combined as appropriate.
  • the plurality of imaging devices 2 perform projection and imaging of the reference pattern in synchronization by communicating projection conditions, but communication of projection conditions may not be performed.
  • the plurality of imaging devices 2 may perform various processes such as a projection process and an imaging process according to a predetermined schedule.
  • the schedule information indicating this schedule may be stored in each storage of the plurality of imaging devices 2.
  • at least one imaging device (eg, first imaging device 2a) of the plurality of imaging devices 2 may project a pattern (eg, code) indicating schedule information.
  • another imaging device eg, the second imaging device 2b
  • At least one imaging device eg, the second imaging device 2b of the plurality of imaging devices 2 operates when the other imaging device (eg, the first imaging device 2a) enters the field of view.
  • illumination light emission, light emission during projection may be detected by imaging or the like, and the detection result may be used as a synchronization signal to synchronize with another imaging device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Projection Apparatus (AREA)

Abstract

【課題】複数の視野間の対応関係を示す情報が得られる撮像システムを提供する。 【解決手段】撮像システム（１）は、第１本体部（１４）に設けられ、対象物（ＯＢ）を撮像する第１撮像部（１５）と、第１本体部に設けられ、第１撮像部の撮像結果をもとに第１モデル情報を算出する第１情報算出部（１２）と、第１情報算出部が算出した第１モデル情報の少なくとも一部を示す参照パターンを設定するパターン設定部（１７）と、参照パターンを対象物に向けて投影する第１投影部（１８）と、第２本体部（３１）に設けられ、参照パターンが投影されている対象物を撮像する第２撮像部（３４）と、第２本体部に設けられ、第２撮像部の撮像結果をもとに第２モデル情報を算出する第２情報算出部（３３）と、第２撮像部の撮像結果から、第１投影部により投影された参照パターンを抽出するパターン抽出部（３６）と、を備える。

Description

撮像システム、撮像装置、撮像方法、及び撮像プログラム
　本発明は、撮像システム、撮像装置、撮像方法、及び撮像プログラムに関する。
　対象物の三次元形状を取得する技術が提案されている（例えば、下記の特許文献１参照）。三次元形状を取得するには、例えば、複数の視野で対象物を検出し、第１の視野での検出結果から得られる部分モデルと、第２の視野での検出結果から得られる部分モデルとを統合する。
特開２０１０－１３４５４６号公報
　ところで、例えば、第１の視野と第２の視野との対応関係を示す情報が不足していると、第１の視野で得られる情報と第２の視野で得られる情報とを高精度に関連付けることが難しくなる。
　本発明の第１の態様に従えば、第１本体部と、第１本体部に設けられ、対象物を撮像する第１撮像部と、第１本体部に設けられ、第１撮像部の撮像結果をもとに対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第１モデル情報を算出する第１情報算出部と、第１情報算出部が算出した第１モデル情報の少なくとも一部を示す参照パターンを設定するパターン設定部と、参照パターンを対象物に向けて投影する第１投影部と、第２本体部と、第２本体部に設けられ、参照パターンが投影されている対象物を撮像する第２撮像部と、第２本体部に設けられ、第２撮像部の撮像結果をもとに対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第２モデル情報を算出する第２情報算出部と、第２撮像部の撮像結果から、第１投影部により投影された参照パターンを抽出するパターン抽出部と、を備える撮像システムが提供される。
　本発明の第２の態様に従えば、本体部と、本体部に設けられ、対象物と該対象物に投影された参照パターンとを撮像する撮像部と、撮像部の撮像結果から、対象物に投影された参照パターンを抽出するパターン抽出部と、本体部に設けられ、撮像部の撮像結果とパターン抽出部が抽出した参照パターンとを用いて、対象物の形状情報及びテクスチャ情報の少なくとも一方を含むモデル情報を算出する情報算出部と、を備える撮像装置が提供される。
　本発明の第３の態様に従えば、第１本体部に設けられる第１撮像部によって、対象物を撮像することと、第１本体部に設けられる第１情報算出部によって、第１撮像部の撮像結果をもとに対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第１モデル情報を算出することと、第１情報算出部が算出した第１モデル情報の少なくとも一部を示す参照パターンを対象物に向けて投影することと、第２本体部に設けられる第２撮像部によって、参照パターンが投影されている対象物を撮像することと、第２本体部に設けられる第２情報算出部によって、第２撮像部の撮像結果をもとに対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第２モデル情報を算出することと、第２撮像部の撮像結果から、第１投影部により投影された参照パターンを抽出することと、を含む撮像方法が提供される。
　本発明の第４の態様に従えば、本体部と、本体部に設けられ、対象物の表面に設けられた特徴部分を撮像する撮像部と、撮像部の撮像結果から対象物の特徴部分を抽出するパターン抽出部と、本体部に設けられ、撮像の撮像結果と特徴部分とを用いて対象物の形状情報及びテクスチャ情報の少なくとも一方を含むモデル情報を算出する情報算出部と、を備える撮像装置が提供される。
　本発明の第５の態様に従えば、第１本体部と、第１本体部に設けられ、対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第１モデル情報の少なくとも一部を示す参照パターンを対象物に向けて投影する第１投影部と、第２本体部と、第２本体部に設けられ、参照パターンが投影されている対象物を撮像する第２撮像部と、第２撮像部の撮像結果をもとに対象物の形状情報及びテクスチャ情報の少なくとも一部を含む第２モデル情報を算出する情報算出部と、第２撮像部の撮像結果から第１投影部により投影された参照パターンを抽出するパターン抽出部と、を備える撮像システムが提供される。
　本発明の第６の態様に従えば、コンピュータに、本体部に設けられる撮像部によって、対象物の表面に設けられた特徴部分を撮像することと、撮像部の撮像結果から対象物の特徴部分を抽出することと、本体部に設けられる情報算出部によって、撮像の撮像結果と特徴部分とを用いて対象物の形状情報及びテクスチャ情報の少なくとも一方を含むモデル情報を算出することと、を実行させる撮像プログラムが提供される。
第１実施形態に係る撮像システムを示す図である。 第１実施形態に係る撮像システムを示すブロック図である。 第１実施形態に係る第１撮像部および第１投影部の例を示す図である。 第１実施形態に係る参照パターンの例を示す図である。 第１実施形態に係る撮像方法を示すフローチャートである。 第１実施形態に係る撮像システムの動作の例を示す図である。 第１実施形態に係る撮像システムの動作の他の例を示す図である。 第１実施形態に係る撮像システムの動作の他の例を示す図である。 第２実施形態に係る撮像システムを示すブロック図である。 第２実施形態に係る撮像方法を示すフローチャートである。
［第１実施形態］
　第１実施形態について説明する。図１は、本実施形態に係る撮像システム１を示す図である。撮像システム１は、例えば、複数の撮像装置２、情報処理装置３、入力装置４、及び表示装置５を備える。複数の撮像装置２は、例えば、第１撮像装置２ａおよび第２撮像装置２ｂを含む。
　第１撮像装置２ａは、例えば、照明装置からの光や室内灯からの光、あるいは自然光などで照らされている対象物ＯＢを撮像し、対象物ＯＢの撮像画像（例、可視光画像、赤外光画像）のデータを取得する。また、第１撮像装置２ａは、第１撮像装置２ａから対象物ＯＢの表面上の各点までの距離を検出し、対象物ＯＢのデプス情報を取得する。デプス情報は、例えば、対象物ＯＢの表面上の点の位置と、この点から第１撮像装置２ａまでの距離（デプス、深度）とを関連付けた情報（例、距離情報）を含む。デプス情報は、例えば、対象物ＯＢを含んだ領域のデプスの分布（例、デプスマップ）を示す情報である。
　第１撮像装置２ａは、上記のデプス情報を使って、対象物ＯＢに関する情報の演算処理を行う。第１撮像装置２ａは、演算処理によって、対象物ＯＢの少なくとも一部をモデル化し（モデル化処理）、形状情報又はテクスチャ情報を含むモデル情報（モデルデータ）を算出する。モデル情報は、例えば、対象物ＯＢの三次元形状を示す形状情報と、対象物ＯＢの表面の模様を示すテクスチャ情報の少なくとも一方を含む。また、例えば、モデル情報は、対象物ＯＢの表面上の複数の点のそれぞれの３次元座標、複数の点の間の関連情報、複数の点の三次元座標及びその関連情報で規定された面のテクスチャ情報、画像全体の照明条件や光源情報などの画像の空間情報、及び形状情報としてのポリゴンデータの少なくとも一つを含む。
　例えば、図１の対象物ＯＢは角柱状の部材と球面を有する球状のボール（例、サッカーボール）を含み、形状情報は、角柱状の部材の表面（例、平面）の情報、及びボールの表面（例、球面）の情報を含む。テクスチャ情報は、例えば、ボールの表面における、文字、図形（例、黒の５角形、白の６角形）、パターン、凹凸を規定する情報、特定の画像、及び色彩（例、有彩色、無彩色）の少なくとも１つの情報を含む。
　第１撮像装置２ａは、例えば、対象物ＯＢのうち第１撮像装置２ａの視野に入る部分（視野領域）の第１モデル情報を算出する。この第１モデル情報は、例えば、対象物ＯＢの全周を表すモデル（以下、全周モデルという）の一部を表すモデル（以下、第１部分モデルという）の情報である。例えば、全周モデルは、表面が閉じたモデルであり、第１部分モデルは表面が閉じていないモデルである。第１撮像装置２ａは、演算処理により算出された情報（例、第１モデル情報）の少なくとも一部を、外部装置に供給可能である。例えば、第１撮像装置２ａは、第１モデル情報の少なくとも一部を情報処理装置３に供給する。
　第２撮像装置２ｂは、対象物ＯＢを撮影できる領域において第１撮像装置２ａと異なる位置に配置される。従って、第２撮像装置２ｂは、第１撮像装置２ａと異なる視点から対象物ＯＢを検出する。例えば、第２撮像装置２ｂは、第１撮像装置２ａの視野外のモデル情報の算出に使われる情報を取得する。第２撮像装置２ｂは、例えば、対象物ＯＢの撮像画像（例、可視光画像、赤外光画像）のデータを取得する。また、第２撮像装置２ｂは、例えば、第２撮像装置２ｂから対象物ＯＢの表面上の各点までの距離を検出し、対象物ＯＢのデプス情報を取得する。
　本実施形態において、第１撮像装置２ａは、所定の情報を含んだパターンを投影し、第２撮像装置２ｂは、第１撮像装置２ａが投影したパターンを検出することにより、所定の情報を取得する。所定の情報は、例えば、モデル情報の算出に使われる情報、モデル統合に使われる情報、複数の撮像装置２のうち１つの撮像装置と他の撮像装置との識別に使われる情報、及び複数の撮像装置２のうち少なくとも２つの撮像装置の動作のタイミングを示す情報の少なくとも１つを含む。
　例えば、第１撮像装置２ａは、第１モデル情報の少なくとも一部を示す参照パターンＲＰを対象物ＯＢに向けて投影する。参照パターンＲＰは、例えば、第１撮像装置２ａが検出した対象物の第１部分モデルにおける特徴部分（以下、特徴点という）を示すパターン（例、図１中の星印）を含む。第２撮像装置２ｂは、対象物ＯＢ上の参照パターンＲＰを検出することで、第１撮像装置２ａが検出した特徴点の情報（例、位置）を取得する。
　第２撮像装置２ｂは、例えば第１撮像装置２ａと同様の構成であり、対象物ＯＢのうち第２撮像装置２ｂの視野に入る部分の第２モデル情報を算出する。第２モデル情報は、全周モデルの一部を表す部分モデル（以下、第２部分モデルという）の情報である。第２部分モデルは、例えば、その一部が第１部分モデルと重複し、他の部分が第１部分モデルと重複しない。
　第２撮像装置２ｂは、第１部分モデルと第２部分モデルとの重複部分に投影されている参照パターンを検出する。検出した参照パターンを用いると、例えば、第１撮像装置２ａが検出した対象物ＯＢの特徴点と、第２部分モデルとの対応関係を示す情報が得られる。この情報は、例えば、第１撮像装置２ａの視野（例、視点、視線、画角）と、第２撮像装置２ｂの視野（例、視点、視線、画角）との対応関係を示す情報として利用してもよい。
　第２撮像装置２ｂは、例えば、検出した参照パターンを用いて第２モデル情報を算出する。第２撮像装置２ｂは、演算処理により算出された情報（例、第２モデル情報）の少なくとも一部を、外部装置に供給可能である。例えば、第２撮像装置２ｂは、第２モデル情報の少なくとも一部を情報処理装置３に供給する。
　情報処理装置３は、例えば、コンピュータシステムを含む。情報処理装置３は、有線または無線によって、第１撮像装置２ａと通信可能に接続される。例えば、情報処理装置３は、通信ケーブルを介して第１撮像装置２ａと接続されていてもよいし、インターネット回線を介して第１撮像装置２ａと接続されていてもよい。また、情報処理装置３は、電波または赤外線などを用いた近距離通信手段により第１撮像装置２ａと通信可能であってもよい。情報処理装置３は、第２撮像装置２ｂと通信可能に接続される。情報処理装置３と第２撮像装置２ｂとの間の通信の形態は、情報処理装置３と第１撮像装置２ａとの間の通信の形態と同じであってもよいし異なっていてもよい。また、第１撮像装置２ａは、第２撮像装置２ｂと通信可能に接続される。第１撮像装置２ａと第２撮像装置２ｂとの間の通信の形態は、情報処理装置３と第１撮像装置２ａとの間の通信の形態と同じであってもよいし、情報処理装置３と第１撮像装置２ａとの間の通信の形態と異なっていてもよい。
　情報処理装置３は、第１撮像装置２ａとの間の通信により、第１撮像装置２ａから情報を取得する。情報処理装置３は、第２撮像装置２ｂとの間の通信により、第２撮像装置２ｂから情報を取得する。情報処理装置３は、第１撮像装置２ａから取得した情報、及び第２撮像装置２ｂから取得した情報を使って、情報処理を行う。例えば、情報処理装置３は、この情報処理において、第１撮像装置２ａによる第１部分モデルと第２撮像装置２ｂによる第２部分モデルとを統合するモデル統合処理を行う。
　また、情報処理装置３は、例えば統合したモデルの情報を使って、情報処理として画像処理（例、レンダリング処理、モデル情報を用いた認識処理など）を実行する。例えば、情報処理装置３は、ユーザにより入力装置４に入力された視点（撮像方向）の設定情報を元に、この視点から対象物ＯＢを見た推定画像のデータを算出する。
　入力装置４は、例えば、キーボード、マウス、タッチパネル、加速度センサなどのセンサ、音声入力機、タッチ型ペンなどの少なくとも一つを含み、情報処理装置３と接続されている。入力装置４は、例えばユーザから情報の入力を受け付け、入力された情報を情報処理装置３に供給する。表示装置５は、例えば、液晶ディスプレイ又はタッチパネル型ディスプレイを含み、情報処理装置３と接続されている。表示装置５は、例えば、情報処理装置３から供給される画像データにより、画像（例、レンダリング処理による推定画像）を表示する。
　なお、複数の撮像装置２のうち少なくとも１つの撮像装置（例、第１撮像装置２ａ）は、例えば、携帯可能な情報端末であってもよいし、所定位置に固定された定点カメラであってもよく、手動または自動で視野を変更可能なカメラであってもよい。複数の撮像装置２に含まれる撮像装置の数は、任意に設定され、３以上であってもよい。撮像システム１は、例えば、複数の撮像装置２のうち少なくとも１つの撮像装置を移動させる移動装置を備えていてもよい。この移動装置は、撮像装置を移動させることにより、この撮像装置の視野を変更してもよい。この移動装置を制御する制御部は、撮像システム１に設けられていてもよく、例えば、撮像装置に設けられていてもよいし、情報処理装置３に設けられていてもよい。また、この移動装置を制御する制御部は、撮像システム１の外部の装置に設けられていてもよい。
　なお、複数の撮像装置２のうち少なくとも１つの撮像装置（例、第１撮像装置２ａ）はモデル情報の少なくとも一部を、バーコードや２次元コードのようなデジタル情報を入出力できるデジタル装置に出力可能であってもよい。このデジタル装置は、モデル情報の少なくとも一部を含むデジタル情報を、ディスプレイに表示可能であってもよいし、紙などの媒体に印字可能であってもよい。表示された又は印字されたデジタル情報を読み取れるリーダー部（例、光学式リーダー）を備えるリーダー装置は、そのリーダー部を介して上記のデジタル情報を自装置の記憶領域などに入力することができる。また、リーダー装置は、後述のレンダリング処理部を更に備えていてもよい。なお、撮像システム１は、上記のデジタル装置およびリーダー装置の少なくとも一部を備えていてもよい。例えば、第１撮像装置２ａは、上記のデジタル装置およびリーダー装置の少なくとも一部を備えていてもよい。
　次に、複数の撮像装置２の各部および情報処理装置３の各部について説明する。図２は、本実施形態に係る撮像システム１を示すブロック図である。第１撮像装置２ａは、第１情報算出部１２と、第１本体部１４と、第１撮像部１５と、特徴抽出部１６と、パターン設定部１７と、第１投影部１８と、第１制御部１９とを備える。
　最初に、第１撮像装置２ａの各部の一例について説明する。第１本体部１４は、例えば、カメラボディ、ケース、筐体などである。第１本体部１４は、例えば、例えば三脚、天吊り治具、ステージなどの支持部材に支持されていてもよい。この支持部材は、第１本体部１４の一部であってもよい。
　第１撮像部１５は、第１本体部１４に設けられている。第１撮像部１５は、対象物を撮像する。第１投影部１８は、例えば、第１本体部１４に設けられる。第１投影部１８は、対象物ＯＢに向けてパターンを投影可能である。第１撮像部１５および第１投影部１８は、例えばプロジェクタカメラである。第１撮像装置２ａは、第１投影部１８から対象物ＯＢ上に投影されたパターンを第１撮像部１５によって検出し、第１撮像装置２ａから対象物ＯＢの表面上の各点までの距離を検出可能である。
　図３は、第１撮像部１５および第１投影部１８の例を示す図である。本実施形態において、第１撮像装置２ａは、第１検出部１１を備える。第１検出部１１は、第１撮像部１５を含み、第１撮像装置２ａから物体（例、対象物ＯＢ）までの距離を検出可能である。第１検出部１１は、例えば、第１撮像部１５および第１投影部１８を含む。第１検出部１１は、所定の強度分布を有する光（例、パターン光、構造化光、テクスチャ）を、第１投影部１８から対象物ＯＢに照射しながら、第１撮像部１５によって対象物ＯＢを撮像する。第１撮像装置２ａは、第１撮像部１５による撮像画像に写っている対象物ＯＢ上の光の強度分布を使って、対象物ＯＢと第１撮像装置２ａとの間の距離を検出する。なお、例えば、第１検出部１１は、第１撮像部１５によって撮像される撮像画像の画素ごとに自身（第１検出部１１）から対象物ＯＢまでの距離を検出するために、同一の対象物ＯＢに対してフォーカス距離が異なる複数の撮像画像から相対的なボケ量を求め、画像のボケ量と距離との相関関係を用いたデプス・フロム・デフォーカス（Depth from Defocus; DFD）処理を実施して該距離を検出するように構成しても良い。
　第１撮像部１５は、例えば、可視光画像および赤外光画像をそれぞれ撮像可能である。第１撮像部１５は、例えば、イメージセンサ２０ａ、イメージセンサ２０ｂ、ダイクロイックミラー２１、及び結像光学系２２（撮像光学系）を備える。イメージセンサ２０ａ、及びイメージセンサ２０ｂは、それぞれ、ＣＭＯＳイメージセンサあるいはＣＣＤイメージセンサなどのイメージセンサである。イメージセンサは、例えば、複数の画素が二次元的に配列され、各画素にフォトダイオードなどの光電変換素子が配置された構造である。
　イメージセンサ２０ａは、例えば、可視光の波長帯域（例、３８０ｎｍ以上７５０ｎｍ以下）に感度を有する。イメージセンサ２０ａの撮像結果は、例えば、各画素の色ごとの階調値の情報（例、ＲＧＢデータ）を含む。イメージセンサ２０ａは、例えば、撮像結果（検出結果）をフルカラー画像のデータ形式で出力する。フルカラー画像は、例えば、各画素の赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれが階調値（例、２５６階調）で表される画像である。イメージセンサ２０ｂは、例えば、赤外光の波長帯域に感度を有する。イメージセンサ２０ａは、例えば、撮像結果（検出結果）をグレー画像のデータ形式で出力する。グレー画像は、例えば、各画素の明るさが階調値（例、２５６階調）で表される画像である。
　結像光学系２２は、例えば、複数のレンズを含み、物体面（例、対象物ＯＢ）の像を形成する。結像光学系２２は、例えば鏡筒内に保持され、鏡筒とともに第１本体部１４に取り付けられる。結像光学系２２および鏡筒は、例えば交換レンズであり、第１本体部１４から取り外し可能である。鏡筒は、第１本体部１４の一部であってもよく、第１本体部１４から取り外し不能であってもよい。
　ダイクロイックミラー２１は、イメージセンサ２０ａが感度を有する波長帯域の光（例、可視光）が透過し、イメージセンサ２０ｂが感度を有する波長帯域の光（例、赤外光）が反射する特性を有する。結像光学系２２からの光のうち可視光は、ダイクロイックミラー２１を通ってイメージセンサ２０ａに入射する。イメージセンサ２０ａは、この可視光を検出することにより、可視光画像を撮像する。また、結像光学系２２からの光のうち赤外光は、ダイクロイックミラー２１で反射してイメージセンサ２０ｂに入射する。イメージセンサ２０ｂは、この赤外光を検出することにより、赤外光画像を撮像する。
　なお、第１撮像部１５において、結像光学系２２は、可視光画像を形成する第１光学系と、赤外光画像を形成する第２光学系とを兼ねているが、この第２光学系は、第１光学系と別に設けられていてもよい。また、第１撮像部１５は、可視光画像と赤外光画像の一方を取得し、他方を取得しなくてもよい。例えば、第１撮像部１５は、可視光画像を取得するイメージセンサ２０ａを備え、赤外光画像を取得するイメージセンサ２０ｂを備えていなくてもよい。
　第１投影部１８は、例えば、可視光画像および赤外光画像をそれぞれ投影可能である。第１投影部１８は、例えば、第１光源２２ａ、第１光学エンジン２３ａ、第２光源２２ｂ、第２光学エンジン２３ｂ、ダイクロイックミラー２１ｂ、及び投影光学系２４を含む。第１光源２２ａは、イメージセンサ２０ａが感度を有する波長帯の光（例、可視光）を発する。第１光学エンジン２３ａは、第１光源２２ａからの光により可視光画像（パターン）を形成する。第２光源２２ｂは、イメージセンサ２０ｂが感度を有する波長帯の光（例、赤外光）を発する。第２光学エンジン２３ｂは、第２光源２２ｂからの光により赤外光画像（パターン）を形成する。投影光学系２４は、第１光学エンジン２３ａが形成した画像、第２光学エンジン２３ｂが形成した画像をそれぞれ投影可能である。ダイクロイックミラー２１ｂは、第１光学エンジン２３ａと投影光学系２４との間の光路に配置されている。ダイクロイックミラー２１ｂは、第１光源２２ａからの光が透過し、第２光源２２ｂからの光が反射する特性を有する。例えば、第１光学エンジン２３ａは、デジタルマイクロミラーデバイス（例、ＤＭＤ）と、反射ミラーあるいはレンズとを有し、上記パターンを生成することが可能である。また、例えば、第２光学エンジン２３ｂは、デジタルマイクロミラーデバイス（例、ＤＭＤ）と、反射ミラーあるいはレンズとを有し、上記パターンを生成することが可能である。
　第１光学エンジン２３ａから射出される可視光は、ダイクロイックミラー２１を通って投影光学系２４を介して、対象物ＯＢに向けて照射される。これにより、第１投影部１８は、可視光によるパターン（可視光画像）を対象物ＯＢに向けて投影する。また、第２光学エンジン２３ｂから射出される光（例、赤外光）は、ダイクロイックミラー２１ｂで反射し、投影光学系２４を介して、対象物ＯＢに向けて照射される。これにより、第１投影部１８は、赤外光によるパターン（赤外光画像）を対象物ＯＢに向けて投影する。また、例えば、第１投影部１８は、光走査によって、該パターンを対象物ＯＢの表面に描画することも可能である。
　第１投影部１８が可視光のパターンを投影する場合、第１撮像部１５は、可視光のパターンが投影された対象物ＯＢを、イメージセンサ２０ａにより撮像する。第１投影部１８が赤外光のパターンを投影する場合、第１撮像部１５は、赤外光のパターンが投影された対象物ＯＢを、イメージセンサ２０ｂにより撮像する。第１撮像装置２ａは、例えば、対象物ＯＢに投影されたパターンを検出することにより、第１撮像装置２ａから対象物ＯＢの表面上の各点までの距離を検出することができる。
　例えば、第１撮像装置２ａが対象物ＯＢとの距離を検出する際に、第１投影部１８は、第１の測距用パターンを投影する。第１の測距用パターンは、例えば、第１方向に平行なグリッド線と、第１方向と異なる第２方向に平行なグリッド線とを含むグリッドパターンに設定される。この場合、例えば、対象物ＯＢの表面上の各点において、その周囲のグリッド線の間隔が第１撮像部１５による撮像画像上でいくつのピクセルに相当するかを検出すること等により、この点と第１撮像装置２ａとの距離を算出することができる。また、撮像画像におけるグリッド線の傾き、湾曲を検出することによって、対象物ＯＢの表面の傾き、湾曲を検出することができる。
　また、例えば、第１の測距用パターンは、例えば、複数のドットを含むドットパターンに設定される。この場合、例えば、対象物ＯＢの表面上の各点において、ドットが形成するスポットのサイズが第１撮像部１５の撮像画像においていくつのピクセルに相当するかを検出すること等により、この点と第１撮像装置２ａとの距離を算出することができる。また、ドットの歪を検出することによって、対象物ＯＢの表面の傾き、湾曲を検出することができる。
　なお、第１撮像部１５は、第１投影部１８によるパターンの投影と並行して撮像することができる。例えば、第１撮像部１５は、第１投影部１８から赤外光によるパターンが投影されている期間に、イメージセンサ２０ａによって可視光画像を取得しながら、イメージセンサ２０ｂによって赤外光画像を取得してもよい。第１撮像部１５は、第１投影部１８によるパターンの投影と重複しない期間に撮像してもよい。例えば、第１撮像部１５は、第１投影部１８から赤外光のパターンが投影されていない期間に、イメージセンサ２０ａによって可視光画像を取得してもよい。
　なお、第１投影部１８は、可視光画像および赤外光画像をそれぞれ投影可能であるが、可視光画像と赤外光画像の一方のみを投影してもよい。例えば、第１投影部１８は、可視光画像を投影し、赤外光画像を投影しなくてもよい。この場合、第１投影部１８は、第２光源２２ｂ、第２光学エンジン２３ｂ、及びダイクロイックミラー２１ｂを備えていなくてもよい。また、第１投影部１８が赤外光画像を投影しない場合、第１撮像部１５は、赤外画像を撮像しなくてもよく、ダイクロイックミラー２１およびイメージセンサ２０ｂを備えていなくてもよい。第１投影部１８は、例えば走査型のプロジェクタを含んでいてもよい。例えば、第１投影部１８は、レーザー光源などからの光を走査ミラーによって偏向し、この光で対象物ＯＢを走査することによって、対象物ＯＢ上にパターンを描画（表示）するものでもよい。
　なお、第１撮像装置２ａは、プロジェクタカメラ以外の手法によって、第１撮像装置２ａから対象物ＯＢの表面上の各点までの距離を検出してもよい。例えば、第１検出部１１は、ToF（Time of Flight）センサを含み、ToF法により距離を検出してもよい。また、第１検出部１１は、例えばステレオカメラを含み、対象物ＯＢを複数の視野で検出した検出結果を視差画像として、対象物ＯＢと第１撮像装置２ａとの間の距離を検出してもよい。
　なお、第１検出部１１は、対象物ＯＢにパターンを投影することなく対象物ＯＢとの距離を検出する場合、第１投影部１８は、第１検出部１１と別に設けられていてもよい。例えば、第１投影部１８は、ユニット化されて第１本体部１４に外付けされていてもよいし、第１本体部１４から離れた位置に配置されていてもよい。
　図２の説明に戻り、第１情報算出部１２は、例えば、デジタルシグナルプロセッサ（Digital Signal Processor; DSP）を含む。第１情報算出部１２は、第１検出部１１の検出結果を使って、対象物ＯＢの形状情報およびテクスチャ情報の少なくとも一方を算出する。第１情報算出部１２は、形状情報として、対象物ＯＢの表面上の複数の点の座標（例、点群データ）と、複数の点間の連結情報を含むサーフェス情報とを算出する。サーフェス情報は、例えばポリゴンデータ、ベクタデータ、ドローデータなどである。連結情報は、例えば、対象物ＯＢの稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報、及び対象物ＯＢの面の輪郭に相当する複数の線を互いに関連付ける情報を含む。
　まず、第１情報算出部１２は、第１検出部１１の検出結果（例、デプス情報）を使って、点群データを算出する（点群データ処理）。例えば、第１情報算出部１２は、デプス情報が示す距離画像から平面画像への透視変換などにより、点群データを算出する。
　そして、第１情報算出部１２は、例えば、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定し、点群データを点間の平面情報を持つポリゴンデータに変換する（サーフェス処理、サーフェース化処理）。第１情報算出部１２は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。
　次に、第１情報算出部１２は、例えばインバースレンダリングの手法により、テクスチャ情報を算出する。テクスチャ情報は、例えば、対象物ＯＢの表面の模様を示すパターン情報、対象物ＯＢを照らす光の光源情報、及び対象物ＯＢの表面の光学特性（例、反射率、散乱率）を示す光学特性情報の少なくとも１項目の情報を含む。光源情報は、例えば、光源の位置、光源から対象物へ光が照射される方向、光源から照射される光の波長、光源の種類のうち少なくとも１項目の情報を含む。
　第１情報算出部１２は、例えば、ランバート反射を仮定したモデル、アルベド（Albedo）推定を含むモデルなどを利用して、光源情報を算出する。例えば、第１情報算出部１２は、第１撮像部１５が撮像した画像の各画素の画素値のうち、対象物ＯＢで拡散した光に由来する成分と対象物ＯＢで正反射した成分とを推定する。また、第１情報算出部１２は、例えば、対象物ＯＢで正反射した成分の推定結果、及び形状情報を使って、光源から対象物ＯＢへ光が入射してくる方向を算出する。第１情報算出部１２は、例えば、算出した光源情報および形状情報を使って対象物ＯＢの反射特性を推定し、反射特性の推定結果を含む光学特性情報を算出する。また、第１情報算出部１２は、例えば、算出した光源情報および光学特性情報を使って、可視光画像のデータから照明光の影響を除去して、パターン情報を算出する。
　特徴抽出部１６は、第１情報算出部１２により算出された第１モデル情報のうち他の部分と識別可能な特徴点（例、特徴点、特異点）を抽出する。例えば、対象物ＯＢは、そのエッジまたは稜線が直線部を含む場合がある。この場合、エッジの直線部と、エッジの他の直線部との交点は、他の部分と識別可能であり、例えば、このエッジに囲まれる面の角に相当する点である判定することができる。また、エッジ上の複数の角が検出される場合、角と角の間の所定の分点（例、中点）の位置は、２つの角の座標から算出可能であり、他の部分と識別可能である。また、エッジまたは稜線が曲線部を含む場合、例えば、その接線の傾きが所定の閾値以上に変化する点は、各点における傾きを算出すること等により他の部分と識別可能である。特徴抽出部１６は、各種のアルゴリズムに従って、例えば、第１モデル情報から複数の特徴点を抽出する。
　なお、対象物の形状情報とテクスチャ情報の少なくとも一方から抽出される特徴点における特徴量を示す特徴点データは、第１モデル情報に含まれていてもよい。例えば、特徴抽出部１６は、第１情報算出部１２の一部であってもよく、第１情報算出部１２が第１モデル情報を算出する処理の一部として、特徴抽出部１６は、特徴点における特徴量を示す第１特徴点データを算出してもよい。
　パターン設定部１７は、第１情報算出部１２が算出した第１モデル情報の少なくとも一部を示す参照パターンを設定する。参照パターンは、第１投影部１８によって対象物ＯＢの全体又は一部に投影され、例えば、第２撮像装置２ｂに検出されることによって、第２撮像装置２ｂに情報を伝えることに利用される。例えば、参照パターンは、第１投影部１８によって対象物ＯＢ上に投影されることで、第１モデル情報に規定される第１部分モデルの一部（以下、参照部分という）を、対象物ＯＢ上に表示することに使われる。
　図４は、参照パターンの例を示す図である。パターン設定部１７は、例えば、対象物ＯＢのうちサーフェス情報に面ＳＦ１（例、平面）と定義されている部分にコードＲＰ１（例、「Ａ」）を表示するパターンを、参照パターンに設定してもよい。この参照パターンが投影されている対象物ＯＢのうちコードＲＰ１が第２撮像装置２ｂにより検出された場合、例えば、第１撮像装置２ａが検出結果における面ＲＰ１と、第２撮像装置２ｂの検出結果における面ＲＰ１との対応関係（例、位置関係）を示す情報が得られる。参照パターンは、例えば、実空間の対象物ＯＢにおいて参照部分がどの部分であるかを示すことに使われる。この場合、例えば、参照パターンが投影されている対象物ＯＢを第２撮像装置２ｂにより検出することにより、第２モデル情報に規定される第２部分モデルにおいて参照部分がどの位置に相当するかを検出できる。
　また、パターン設定部１７は、例えば、対象物ＯＢのうちサーフェス情報に面ＳＦ１と別の面ＳＦ２（例、平面）と定義されている部分にコードＲＰ２（例、「Ｂ」）を表示するパターンを、参照パターンに設定してもよい。この参照パターンが投影されている対象物ＯＢのうちコードＲＰ２が第２撮像装置２ｂにより検出されない場合、面ＳＦ２は、第１撮像装置２ａの視野内かつ第２撮像装置２ｂの視野外に存在することが分かる。
　また、パターン設定部１７は、対象物ＯＢのうちサーフェス情報に定義された面のエッジ、稜線と定義されている部分にコードＲＰ３（例、線）を表示するパターンを、参照パターンに設定してもよい。また、パターン設定部１７は、対象物ＯＢのうちサーフェス情報に面の角（例、頂点）と定義されている部分にコードＲＰ４（例、矩形、矢印などの図形）を表示するパターンを、参照パターンに設定してもよい。
　パターン設定部１７は、例えば、対象物ＯＢのうちサーフェス情報に面ＳＦ３（例、曲面）と定義されている部分にコードＳＦ５（例、メッシュ、グリッド）を表示するパターンを、参照パターンに設定してもよい。この参照パターンが投影されている対象物ＯＢのうち第２撮像装置２ｂによりコードＲＰ５が検出される領域は、例えば、面ＳＦ３のうち、第１撮像装置２ａの視野内かつ第２撮像装置２ｂに視野内に存在する領域であることがわかる。この領域は、例えば、第１部分モデルと第２部分モデルとの重複部分に相当する。
　なお、参照パターンは、例えば、第１モデル情報に規定される第１部分モデルと、実空間の対象物ＯＢとの比較などに使用可能である。この場合、例えば、対象物ＯＢ上に投影されている参照部分と、対象物ＯＢとのずれを検出することにより、第１モデル情報の精度を評価することなどができる。また、参照パターンは、例えば、第１撮像装置２ａの動作タイミングを示す情報（信号）として使用可能である。例えば、パターン設定部１７は、第１撮像装置２ａが所定の処理を実行するタイミングを示す情報（例、時間同期情報）をエンコードしたパターンを、参照パターンの一部に設定することができる。第２撮像装置２ｂは、このパターンを検出し、デコードすることによって、上記のタイミングを示す情報を取得することができる。
　パターン設定部１７は、例えば図４に示したように、参照部分を他の部分と識別可能に示すパターンを参照パターンに設定する。パターン設定部１７は、例えば、第１情報算出部１２が形状情報を算出した場合、参照パターンを、形状情報の少なくとも一部を示すパターンに設定する。パターン設定部１７は、例えば、第１情報算出部１２がテクスチャ情報を算出した場合、例えば参照パターンを、テクスチャ情報の少なくとも一部を示すパターンに設定する。例えば、パターン設定部１７は、第１情報算出部１２が形状情報およびテクスチャ情報を算出した場合、参照パターンを、形状情報の少なくとも一部とテクスチャ情報の少なくとも一部の一方または双方を示すパターンに設定する。
　パターン設定部１７は、例えば、参照パターンを、特徴抽出部１６が抽出した特徴点の情報と関連付けられるパターンに設定する。この場合、参照部分は、例えば、特徴抽出部１６が抽出した特徴点（例、角、エッジ、稜線、凸部、凹部）を含む。また、パターン設定部１７は、例えば、参照パターンを、第１情報算出部１２が算出したサーフェス情報と関連付けられるパターンに設定する。この場合、参照部分は、例えば、サーフェス情報に定義された点（例、角）、線（例、エッジ、稜線）、または面に相当する部分を含む。
　パターン設定部１７は、例えば、参照パターンを、光強度の分布が空間的に変化するパターンに設定する。例えば、パターン設定部１７は、参照パターンを、参照部分を示すコード（符号）を含むパターンに設定する。このコードは、図形（例、線、矢印、多角形、円形）、文字（例、数字、アルファベット、記号）、二次元や三次元のバーコード、メッシュやグリッドなどのテクスチャのうち、１種を含んでいてもよいし、２種以上を含んでいてもよい。また、パターン設定部１７は、例えば、光強度の分布が時間的に変化するパターンを、参照パターンに設定してもよい。例えば、パターン設定部１７は、参照部分を点滅するパターン又は参照部分を色（例、複数の色）で示し、参照部分を他の部分と区別可能としてもよい。
　パターン設定部１７は、複数の撮像装置２のうち１つの撮像装置（例、第１撮像装置２ａ）を他の撮像装置（例、第２撮像装置２ｂ）と区別する識別情報（例、番号、コード、ＩＤ）と関係付けられるパターンを、参照パターンに設定してもよい。例えば、複数の撮像装置２のうち第１撮像装置２ａを識別するコードが「１」である場合、パターン設定部１７は、「１」を含むパターンを参照パターンに設定してもよい。例えば、この参照パターンを第２撮像装置２ｂが検出した場合、第２撮像装置２ｂは、この参照パターンを設定した装置が第１撮像装置２ａであることを識別することができる。また、第２撮像装置２ｂは、例えば、この参照パターンを投影した装置が第１撮像装置２ａであることを識別することができる。
　パターン設定部１７は、例えば、参照パターンを示す画像のデータを生成する。例えば、参照パターンに含まれるコードの種別（例、図形、文字）は、参照部分の種別（例、角、エッジ、面）と関連付けられて、記憶部２７（後述する）に記憶されている。例えば、コードの種別がアルファベットである場合、このコードに対応する参照部分は面であるというに、予め定められている。パターン設定部１７は、例えば、参照部位の種別に対応するパターンの種別を記憶部２７から読み出し、この種別のコードを、参照部位の位置に応じた画像上の位置に配置することにより、参照パターンを示す画像のデータ（以下、参照画像データという）を生成する。パターン設定部１７は、例えば、生成した参照画像データを記憶部２７に記憶させる。
　パターン設定部１７は、例えば、参照パターンに含まれるコードと、このコードが示す参照部分とを関連付けた照合データを生成する。例えば、パターン設定部１７は、第１部分モデルのうち第１の特徴点に第１のコードを割り付けた場合、第１部分モデルにおける第１の特徴点の位置情報と第１のコードの種別とを関連付けて、照合データを生成する。パターン設定部１７は、例えば、照合データを記憶部２７に記憶させる。
　本実施形態に係る第１撮像装置２ａは、表示部２５、入力部２６、記憶部２７、及び通信部２８を更に備える。表示部２５（図１参照）は、例えば、第１本体部１４に設けられた液晶ディスプレイ又はタッチパネル型ディスプレイである。表示部２５は、例えば、第１検出部１１の検出結果（例、第１撮像部１５による可視光画像）、第１情報算出部１２の算出結果（例、デプスマップ）、及び各種設定情報の少なくとも一部を表示する。
　入力部２６は、例えば、第１本体部１４に設けられた操作ボタン、表示部２５に設けられたタッチパネル、ユーザなどの音声を認識する音声入力機、レリーズボタンなどである。入力部２６は、例えば、ユーザによる操作を検出し、ユーザからの情報の入力を受け付ける。入力部２６は、入力された情報を第１制御部１９に送信する。
　記憶部２７は、例えばＵＳＢメモリ、メモリカードなどの不揮発性メモリであり、各種情報を記憶する。記憶部２７は、第１撮像装置２ａに内蔵される記憶デバイスを含んでいてもよいし、第１撮像装置２ａからリリース可能な記憶デバイスを接続可能なポートを含んでいてもよい。第１情報算出部１２は、例えば、形状情報およびテクスチャ情報の少なくとも一方を含む情報にヘッダ情報（例、番号やコードなどの識別情報）を付けたモデル情報を生成する。そして、通信部２８はそのモデル情報を送信する。記憶部２７は、例えば、モデル情報を項目ごとに記憶する。例えば、記憶部２７は、形状情報、テクスチャ情報、光源情報、対象物ＯＢの光学特性情報、及びパターン情報の各項目の情報を個別のデータテーブルにそれぞれ記憶する。
　なお、上記のヘッダ情報は、識別情報、第１撮像装置２ａの位置（位置情報）、第１撮像部１５による撮像タイミング、第１撮像部１５による撮像時間、対象物ＯＢの光学特性情報、および撮像環境情報（例、光源情報、対象物ＯＢなどに対する照明条件）のうち少なくとも１つを含んでいてもよい。第１情報算出部１２は、例えば、ヘッダ情報を有するモデル情報を所定のデータフォーマットに基づいて生成し、そのモデル情報を通信部２８によって送信させることが可能である。
　通信部２８は、例えば、ＵＳＢポートなどのＩ／Ｏポート、電波または赤外線の無線通信を行う通信器のうち少なくとも１つを含む。通信部２８は、第１制御部１９に制御され、記憶部２７に記憶されている情報を読み出し、読み出した情報を外部の装置に送信する。例えば、通信部２８は、第１情報算出部１２の算出結果（例、モデル情報）の少なくとも一部を、情報処理装置３に送信する。また、通信部２８は、例えば、外部の装置からの指令を含む情報を受信する。通信部２８は、受信した情報を記憶部２７に記憶させること、受信した情報を第１制御部１９に供給することができる。なお、第１撮像装置２ａが上記のデジタル装置を備える場合には、通信部２８はモデル情報の少なくとも一部を上記のデジタル装置に送信してもよい。そして、上記のデジタル装置は、受信したモデル情報をもとにデジタル情報を生成し、このデジタル情報を紙などの媒体に出力してもよい。
　第１制御部１９は、第１本体部１４に保持されている。第１制御部１９は、例えば、ユーザまたは外部装置（例、情報処理装置３）からの指令（制御信号）により、第１撮像装置２ａの各部を制御する。例えば、第１制御部１９は、第１検出部１１に上記の検出処理を実行させる。この検出処理は、例えば、第１撮像部１５による撮像処理、及び第１検出部１１による距離検出処理を含む。例えば、距離検出処理において、第１制御部１９は、第１投影部１８を制御し、第１投影部１８により対象物ＯＢに第１の測距用パターンを投影させる。また、第１制御部１９は、第１撮像部１５を制御し、第１の測距用パターンが投影された対象物ＯＢを第１撮像部１５に撮像させる。第１制御部１９は、例えば、第１撮像部１５による撮像画像の少なくとも一部を記憶部２７に記憶させる。
　そして、第１制御部１９は、例えば、第１情報算出部１２を制御し、第１の測距用パターンが投影された対象物ＯＢを第１撮像部１５によって撮像した撮像画像をもとに、第１モデル情報を算出させる。第１制御部１９は、例えば、第１情報算出部１２が算出した第１モデル情報の少なくとも一部を記憶部２７に記憶させる。第１制御部１９は、例えば、特徴抽出部１６を制御し、第１モデル情報から特徴点を抽出する特徴抽出処理を実行させる。
　また、第１制御部１９は、例えば第１モデル情報が算出された後あるいは上記特徴抽出処理が実行された後、パターン設定部１７を制御し、参照パターンの設定処理を実行させる。例えば、第１制御部１９は、参照画像データを生成する処理を、パターン設定部１７に実行させる。第１制御部１９は、例えば、参照画像データを記憶部２７に記憶させる。第１制御部１９は、第１投影部１８の投影条件を示す情報を、第２撮像装置２ｂに供給する。第１投影部１８の投影条件は、例えば、第１投影部１８による投影のタイミングを含む。第１投影部１８の投影条件は、第１投影部１８により投影するパターンの情報（例、参照画像データ）を含んでいてもよい。第１制御部１９は、例えば、第１投影部１８を制御し、参照画像データをもとに第１投影部１８に参照パターンを投影させる。
　第１制御部１９は、例えば、記憶部２７に記憶されている情報の少なくとも一部を示す画像を、表示部２５に表示させる。第１制御部１９は、通信部２８を制御し、通信部２８を介して情報の送信、情報の受信を実行させる。
　続いて、対象物ＯＢを撮影できる領域において第１撮像装置２ａと異なる位置に配置される第２撮像装置２ｂの各部の一例について説明する。第２撮像装置２ｂは、第２本体部３１、第２情報算出部３３、第２撮像部３４、第２投影部３５、パターン抽出部３６、及び第２制御部３７を備える。第２本体部３１は、例えば、カメラボディ、ケース、筐体などである。第２本体部３１は、第１本体部１４から離れた位置に配置される。
　第２撮像部３４は、第２本体部３１に設けられている。第２撮像部３４は、対象物ＯＢを撮像する。第２投影部３５は、例えば、第２本体部３１に設けられる。第２投影部３５は、対象物ＯＢに向けてパターンを投影可能である。第２撮像部３４および第２投影部３５は、例えばプロジェクタカメラである。第２撮像装置２ｂは、第２投影部３５から対象物ＯＢ上に投影されたパターン（第２の測距用パターン）を第２撮像部３４によって検出し、第２撮像装置２ｂから対象物ＯＢの表面上の各点までの距離を検出可能である。第２撮像部３４および第２投影部３５を含む第２検出部は、例えば、図３に示した第１検出部１１と同様の構成でもよい。
　第２撮像部３４は、第１投影部１８によって参照パターンが投影されている対象物ＯＢを撮像する。第２撮像部３４は、第１投影部１８から射出される光の波長帯に感度を有するイメージセンサを含む。例えば、第１投影部１８が参照パターンとして可視光画像を投影する場合、第２撮像部３４は、可視光の波長帯域に感度を有するイメージセンサを含む。また、例えば、第１投影部１８が参照パターンとして赤外光画像を投影する場合、第２撮像部３４は、赤外光の波長帯域に感度を有するイメージセンサを含む。
　パターン抽出部３６は、第２撮像部３４の参照パターンを含む撮像結果から、第１投影部１８により対象物ＯＢに投影された参照パターンを抽出（検出）する。例えば、第２撮像部３４は、第１投影部１８から参照パターンが投影されていない非投影状態と、第１投影部１８から参照パターンが投影されている投影状態とのそれぞれにおいて、対象物ＯＢを撮像する。パターン抽出部３６は、例えば、非投影状態において第２撮像部３４が取得した画像と、投影状態において第２撮像部３４が取得した画像との差分を算出することにより、対象物ＯＢに投影された参照パターンを抽出する。この場合、例えば、パターン抽出部３６は、参照パターンを対象物ＯＢのテクスチャと分離することができる。
　パターン抽出部３６は、例えば、参照パターンに文字、図形などのコードが含まれる場合、抽出した参照パターンにＯＣＲ処理、パターン認識処理などを行うことにより、参照パターンに含まれるコードを読み取る。例えば、パターン抽出部３６は、参照パターンに用いられるコードの情報を、コードの情報を記憶する記憶部から取得する。パターン抽出部３６は、コードの情報と抽出した参照パターンとを照合することによって、参照パターンに含まれるコードを読み取る。コードの情報は、第２撮像装置２ｂの記憶部３９（後述する）に予め記憶されていてもよい。また、コードの情報は、第２撮像装置２ｂの外部の装置（例、第１撮像装置２ａの記憶部２７）に記憶されていてもよく、この場合、パターン抽出部３６は、外部の装置との通信などによりコードの情報を取得してもよい。パターン抽出部３６は、例えば、抽出した参照パターンを示す参照情報を生成し、参照情報を記憶部３９に記憶させる。
　第２情報算出部３３は、第２本体部３１に設けられている。第２情報算出部３３は、第２撮像部３４の撮像結果を使って、対象物ＯＢの形状情報及びテクスチャ情報の少なくとも一方を含む第２モデル情報を算出する。第２モデル情報を算出するために、第２情報算出部３３は、第２投影部３５により対象物ＯＢに投影された第２の測距用パターンを第２撮像部３４によって撮像した撮像画像をもとに、第２撮像装置２ｂから対象物ＯＢの表面上の各点までの距離を検出する。第２モデル情報を算出する第２の測距用パターンは、第１の測距用パターンと同様のパターンであってもよいし、第１の測距用パターンと異なるパターンであってもよい。
　第２情報算出部３３は、例えば、パターン抽出部３６が抽出した参照パターンを用いて、第２モデル情報を算出する。例えば、パターン抽出部３６が形状情報に関する特徴点を示すコードを検出した場合、第２情報算出部３３は、第２撮像部３４の撮像画像において少なくともコードの位置およびその周囲の形状情報を算出する。例えば、パターン抽出部３６がテクスチャ情報に関する特徴点を示すコードを検出した場合、第２情報算出部３３は、第２撮像部３４の撮像画像において少なくともコードの位置およびその周囲のテクスチャ情報を算出する。参照パターンに特徴点を示すコードが含まれる場合、第２情報算出部３３は、例えば、特徴点を抽出する処理の負荷を減らすこと、特徴点の抽出精度を高くする（特徴点を認識しやすくする）ことなどができる。また、本実施形態によれば、第１撮像装置２ａから特徴点の情報を通信で取得する場合と比べて、例えば、通信の負荷を減らすことができる。
　第２情報算出部３３は、例えば、図４に示したコードＲＰ３（例、対象物ＯＢの面のエッジ）をパターン抽出部３６が検出した場合、第２情報算出部３３は、第２撮像部３４の撮像画像におけるコードの位置またはその近傍にエッジが存在すると仮定して、対象物ＯＢの形状情報を算出することができる。また、パターン抽出部３６がコードＲＰ１（例、平面）を検出した場合、コードＲＰ１の周囲のコードＲＰ３に囲まれる部分が平面であると仮定して、対象物ＯＢの形状情報を算出することができる。
　なお、第２撮像装置２ｂは、第２情報算出部３３を備えていなくてもよい。この場合、第２撮像装置２ｂは、第２撮像部３４の検出結果を外部の装置に供給し、この外部の装置は、第２撮像部３４の検出結果を使って、第２モデル情報を算出してもよい。この外部の装置は、例えば、情報処理装置３であってもよいし、第１撮像装置２ａであってもよく、撮像システム１の外部の装置（例、クラウドコンピュータ）であってもよい。
　また、第２撮像装置２ｂは、入力部３８、記憶部３９、通信部４０、及び表示部４１を更に備える。通信部４０、表示部４１、入力部３８、及び記憶部３９は、それぞれ、例えば第１撮像装置２ａの通信部２８、表示部２５、入力部２６、及び記憶部２７と同様の構成でよい。
　第２制御部３７は、第２本体部３１に保持されている。第２制御部３７は、例えば、ユーザまたは外部装置（例、情報処理装置３）からの指令（制御信号）により、第２撮像装置２ｂの各部を制御する。例えば、第２制御部３７は、第２撮像部３４を含む第２検出部に、対象物ＯＢを検出する検出処理を実行させる。例えば、この検出処理において、第２制御部３７は、第２投影部３５を制御し、第２投影部３５により対象物ＯＢ上に第２の測距用パターンを投影させる。また、この検出処理において、第２制御部３７は、第２撮像部３４を制御し、第２の測距用パターンが投影された対象物ＯＢを第２撮像部３４に撮像させる。第２制御部３７は、例えば、第２撮像部３４による撮像画像の少なくとも一部を記憶部３９に記憶させる。
　第２制御部３７は、例えば、通信部４０を制御し、第１投影部１８の投影条件を示す情報を、第１撮像装置２ａから取得する。第１投影部１８の投影条件は、例えば、第１投影部１８が参照パターンを投影するタイミング（参照パターンの投影タイミング）を含む。第２制御部３７は、参照パターンを投影するタイミングに基づいて、例えば、第２撮像部３４を制御し、参照パターンが投影されている対象物ＯＢを撮像させる。第２制御部３７は、例えば、パターン抽出部３６を制御し、第２撮像部３４による撮像画像から参照パターンを抽出する抽出処理を、パターン抽出部３６に実行させる。第２制御部３７は、例えば、パターン抽出部３６が抽出した参照パターンの情報を記憶部３９に記憶させる。
　そして、第２制御部３７は、例えば、第２情報算出部３３を制御し、第２の測距用パターンが投影された対象物ＯＢを第２撮像部３４によって撮像した撮像画像、及びパターン抽出部３６が抽出した参照パターンの情報をもとに、第２モデル情報を算出させる。第２制御部３７は、例えば、第２情報算出部３３が算出した第２モデル情報の少なくとも一部を記憶部３９に記憶させる。
　次に、情報処理装置３の各部の一例について説明する。
　情報処理装置３は、例えば、通信部５１、記憶部５２、モデル統合部５３、レンダリング処理部５４、及び制御部５５を備える。通信部５１は、例えば、ＵＳＢポート、ネットワークカード、電波または赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部５１は、第１撮像装置２ａの通信部２８および第２撮像装置２ｂの通信部４０のそれぞれと通信可能である。
　記憶部５２は、例えば、ＵＳＢメモリなどの取り外し可能な記憶媒体、外付け型あるいは内蔵型のハードディスクなどの大容量記憶装置を含む。記憶部５２は、例えば、通信部５１を介して受信した情報の少なくとも一部のデータ、複数の撮像装置２を制御する撮像制御プログラム、情報処理装置３の各処理を実行させる処理プログラム、などを記憶する。
　モデル統合部５３は、対象物ＯＢを第１方向から検出した結果（第１の検出結果）を元に算出される第１モデル情報と、対象物ＯＢを第２方向から検出した結果（第２の検出結果）を元に算出される第２モデル情報とを統合して、統合モデル情報を生成する。モデル統合部５３は、例えば、第１撮像装置２ａから供給される第１モデル情報および照合データ、並びに第２撮像装置２ｂから供給される第２モデル情報および参照パターンの情報を使って、対象物ＯＢに関するモデル統合処理を行う。
　モデル統合部５３は、例えば、第１モデル情報が示す第１部分モデルと、第２モデル情報が示す第２部分モデルとで共通する特徴点の情報を参照パターンの情報から取得することができる。モデル統合部５３は、例えば、この特徴点の情報を使って、第１部分モデルと第２部分モデルとを関連付けることができる。例えば、モデル統合部５３は、第１部分モデルと第２部分モデルとで共通する特徴点を探索する処理の負荷を減らすこと、あるいはこの処理を省略することができる。
　モデル統合処理において、モデル統合部５３は、例えば、第１撮像装置２ａからの照合データと、第２撮像装置２ｂからの参照パターンの情報とを照合し、第１モデル情報における特徴点と第２モデル情報における特徴点とをマッチングする。例えば、照合データには、参照パターンの第１のコードが第１部分モデルの第１の特徴点に対応することが示されている。モデル統合部５３は、例えば、第２撮像装置２ｂが検出した参照パターンから第１のコードを検索することによって、第２部分モデルにおいて第１の特徴点に相当する部分を検出することができる。モデル統合部５３は、例えば、第１部分モデルと第２部分モデルとで第１の特徴点を重ねることにより、第１部分モデルと第２部分モデルとを含む統合モデルを生成し、統合モデルを示す統合モデル情報を算出する。
　レンダリング処理部５４は、第１モデル情報の少なくとも一部および第２モデル情報の少なくとも一部の一方または双方をもとに、レンダリング処理を行う。例えば、レンダリング処理部５４は、第１モデル情報および第２モデル情報をもとにモデル統合部５３が算出した統合モデル情報を使って、レンダリング処理を行う。
　レンダリング処理部５４は、例えば、グラフィックス　プロセッシング　ユニット（Graphics Processing Unit; GPU）を含む。なお、レンダリング処理部５４は、ＣＰＵおよびメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部５４は、例えば、レンダリング処理において、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。
　レンダリング処理部５４は、描画処理において、例えば、モデル情報の形状情報に定められた形状を任意の視点から見た推定画像（例、再構築画像）を算出できる。以下の説明において、形状情報が示す形状をモデル形状という。レンダリング処理部５４は、例えば、第１モデル情報の少なくとも一部（例、形状情報）を使って、描画処理を行う。レンダリング処理部５４は、第２モデル情報（例、形状情報）の少なくとも一部を使って、描画処理を行うこともできる。また、レンダリング処理部５４は、第１モデル情報の少なくとも一部および第２モデル情報の少なくとも一部を使って描画処理を行ってもよいし、例えば、統合モデル情報の少なくとも一部を使って描画処理を行ってもよい。
　レンダリング処理部５４は、例えば、描画処理によって、モデル情報（例、形状情報）からモデル形状（例、推定画像）を再構成できる。レンダリング処理部５４は、例えば、算出した推定画像のデータを記憶部５２に記憶させる。複数の撮像装置２は、それぞれ、モデル情報の少なくとも一部を情報処理装置３に送信可能であるので、例えば、情報処理装置３は、レンダリング処理の負荷を減らすことができる。また、例えば、複数の撮像装置２は、第１撮像部１５によって撮像された全ての撮像画像を情報処理装置３に送信しなくてもよく、第１情報算出部１２が算出したモデル情報の少なくとも一部（例、形状情報およびテクスチャ情報）を情報処理装置３に送信することができる。このため、本実施形態に係る複数の撮像装置２は、それぞれ、レンダリング処理部５４の描画処理に必要な情報の通信負荷を低減することができる。
　また、レンダリング処理部５４は、テクスチャマッピング処理において、例えば、推定画像上の物体の表面に、モデル情報のテクスチャ情報が示す画像を貼り付けた推定画像を算出できる。レンダリング処理部５４は、推定画像上の物体の表面に、対象物ＯＢと別のテクスチャを貼り付けた推定画像を算出することもできる。
　レンダリング処理部５４は、シェーディング処理において、例えば、モデル情報の光源情報が示す光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。また、レンダリング処理部５４は、シェーディング処理において、例えば、任意の光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。
　制御部５５は、例えば、情報処理装置３の各部、複数の撮像装置２、入力装置４、及び表示装置５を制御する。制御部５５は、例えば、通信部５１を制御し、複数の撮像装置２のそれぞれに、指令（制御信号）や設定情報を送信させる。制御部５５は、例えば、通信部５１が複数の撮像装置２から受信した情報を、記憶部５２に記憶させる。制御部５５は、例えば、レンダリング処理部５４を制御し、レンダリング処理を実行させる。
　制御部５５は、例えば、通信部５１を介して複数の撮像装置２に指令（信号）を送ることで、複数の撮像装置２を制御する。例えば、制御部５５は、通信部５１を制御し、所定の情報の送信を要求する指令（要求信号）を複数の撮像装置２に送信する。制御部５５は、複数の撮像装置２に各処理を実行させる指令を、複数の撮像装置２に送信してもよい。例えば、制御部５５は、第１撮像装置２ａの第１検出部１１に検出処理を実行させる指令を、第１撮像装置２ａに送信してもよい。例えば、制御部５５は、第１撮像装置２ａの第１情報算出部１２にモデル情報の算出処理を実行させる指令を、第１撮像装置２ａに送信してもよい。また、情報処理装置３の制御部５５は、第１撮像装置２ａの第１撮像部１５に対象物ＯＢの撮像を実行させる指令、及び対象物ＯＢの撮像条件を設定させる指令を、第１撮像装置２ａに送信してもよい。情報処理装置３の制御部５５は、第１撮像装置２ａに第２撮像装置２ｂの識別情報を検出する処理を実行させる指令を、第１撮像装置２ａに送信してもよい。
　通信部２８は、例えば、第１情報算出部１２が算出した情報を、項目ごとに選択的に送信する。例えば、記憶部２７に記憶されている設定情報は、モデル情報の各項目の情報を送信するか否かを定めた送信項目情報、及び各項目の情報を送信する順番を定めた送信順番情報を含む。この設定情報は、例えば、入力部２６の操作、情報処理装置３からの指令などにより更新可能である。第１制御部１９は、例えば、通信部２８を制御し、送信項目情報に定められた項目の情報を、送信順番情報に定められた順に送信させる。なお、第１制御部１９は、例えば、通信部２８を制御して、送信項目情報に定められた項目の情報（例、形状情報およびテクスチャ情報）を所定のデータフォーマットに基づいて一度に送信してもよい。
　送信項目情報は、例えば、情報処理装置３のレンダリング処理に使われるか否かに応じて設定されていてもよい。例えば、レンダリング処理において、対象物ＯＢの形状に、対象物ＯＢと異なるテクスチャを合成する場合がある。この場合、情報処理装置３は、例えば、対象物ＯＢの形状情報を使うとともに、対象物ＯＢのテクスチャ情報を使わないで、レンダリング処理を実行できる。送信項目情報は、例えば、形状情報を送信するが、テクスチャ情報を送信しないことを定めた情報に設定される。この場合、第１情報算出部１２は、テクスチャ情報を算出しなくてもよい。
　また、例えば、レンダリング処理において、対象物ＯＢに対する照明条件を変更した画像を算出する場合がある。情報処理装置３は、例えば、対象物ＯＢの形状情報、パターン情報、及び光学特性情報を使うとともに、光源情報を使わないで、レンダリング処理を実行できる。この場合、送信項目情報は、例えば、形状情報、パターン情報、及び光学特性情報を送信し、光源情報を送信しないことを定めた情報に設定される。また、例えば、送信項目情報は、形状情報、テクスチャ情報、パターン情報、光源情報および光学特性情報のうち少なくとも１つの情報を送信することを定めた情報に設定される。複数の撮像装置２は、例えばモデル情報のうち一部を送信する場合、通信の負荷を減らすことができる。
　送信順番情報は、例えば、情報処理装置３のレンダリング処理における優先順位に応じて設定されていてもよい。例えば、送信順番情報は、レンダリング処理において先に使われる項目の情報を先に送るように設定されていてもよい。例えば、レンダリング処理において、視点を変えながらテクスチャがない対象物ＯＢを見た画像を算出し、視点を定めた後、この視点から、テクスチャがある対象物ＯＢを見た画像を算出する場合がある。情報処理装置３は、例えば、形状情報を使うとともにテクスチャ情報を使わないで、テクスチャがない対象物ＯＢを、視点を変えて見た画像を算出できる。送信項目情報は、例えば、形状情報を先に送信し、テクスチャ情報を形状情報よりも後で送信することを定めた情報に設定される。複数の撮像装置２は、例えば、モデル情報の各項目の情報を情報処理装置３のレンダリング処理における優先順位に応じた順に送信する場合、情報処理装置３のレンダリング処理の一部と並行してそれらの情報を送信することができる。また、例えば、第１撮像装置２ａの第１制御部１９は、第１情報算出部１２によるモデル情報の算出の少なくとも一部と通信部２８による情報の送信処理とを並行して実行させることができる。
　情報処理装置３の制御部５５は、例えば、入力装置４に入力された情報を、記憶部５２に記憶させる。入力装置４に入力される情報は、例えば、レンダリング処理の設定情報を含む。この設定情報は、例えば、描画処理の対象のデータ（例、モデル情報の形状情報）、描画処理における視点の情報、テクスチャマッピング処理においてテクスチャを貼り付ける物体のデータ、テクスチャマッピング処理において貼り付けるテクスチャの情報（例、モデル情報のテクスチャ情報）、シェーディング処理における光源の情報（例、モデル情報の光源情報）の少なくとも一つを含む。レンダリング処理部５４は、例えば、設定情報に従って、レンダリング処理を実行する。
　制御部５５は、例えば、記憶部５２に記憶される各種情報を示す画像を、表示装置５に表示させる。例えば、制御部５５は、レンダリング処理の設定情報を表示装置５に表示させ、入力装置４により設定情報の変更を受け付ける。また、制御部５５は、記憶部５２に記憶させている推定画像のデータが示す画像を、表示装置５に表示させる。
　なお、情報処理装置３は、レンダリング処理によって得られた推定画像を表示装置５に表示させなくてもよく、この場合に、撮像システム１は、表示装置５を備えていなくてもよい。例えば、情報処理装置３は、レンダリング処理により算出される推定画像のデータの少なくとも一部を他の装置（再生デバイス）に通信部５１を介して送信し、他の装置がこの画像を表示してもよい。例えば、情報処理装置３は、推定画像のデータを、通信部５１を介して第１撮像装置２ａの通信部２８へ送信してもよく、第１撮像装置２ａは、通信部２８を介して受信した推定画像のデータを元に推定画像を表示部２５に表示させてもよい。例えば、再生デバイスは、レンダリング処理により算出された情報（推定画像）を取得して、その情報を表示部に表示する。
　なお、情報処理装置３は、各種の設定情報を他の装置から通信部５１を介して受信してもよく、この場合に、撮像システム１は、入力装置４を備えていなくてもよい。例えば、第１撮像装置２ａは、レンダリング処理の設定情報（例、推定画像の元になる視点の情報）を、通信部２８を介して情報処理装置３の通信部５１に送信してもよい。また、情報処理装置３は、第１撮像装置２ａから受信したレンダリング処理の設定情報に従ってレンダリング処理を実行してもよい。
　なお、第１撮像装置２ａは、レンダリング処理により算出される推定画像のデータを要求する指令を、通信部２８を介して情報処理装置３の通信部５１へ送信してもよい。情報処理装置３は、第１撮像装置２ａからの指令に対する応答として推定画像のデータを、通信部５１を介して第１撮像装置２ａの通信部２８へ送信してもよい。第１撮像装置２ａは、上記の要求指令をレンダリング処理の設定情報の一部として送信してもよいし、レンダリング処理の設定情報と別の指令（例、制御信号）として送信してもよい。
　なお、第１撮像装置２ａは、情報処理装置３に制御されて上記の各種処理を実行する場合、第１制御部１９、記憶部２７、表示部２５、及び入力部２６の少なくとも一部を備えていなくてもよい。第２撮像装置２ｂについても同様である。また、第１撮像装置２ａは、例えば、ユーザの操作によって上記の各種処理を実行し、情報処理装置３に制御されなくてもよい。例えば、第１撮像装置２ａは、外部の装置からの指令（制御信号）を受けることなく上記の各種処理を実行してもよく、ユーザの操作、あるいは予め定められた処理スケジュールに従って上記の各種処理を実行してもよい。第１撮像装置２ａは、第１情報算出部１２の算出結果（例、モデル情報など）を、情報処理装置３の他の装置に通信部２８を介して送信してもよい。
　次に、撮像システム１の動作に基づき、本実施形態に係る撮像方法について説明する。図５は、本実施形態に係る撮像方法を示すフローチャートである。撮像システム１は、ステップＳ１において、第１撮像装置２ａにより対象物を検出する。例えば、第１制御部１９は、第１撮像部１５を制御し、第１撮像部１５に対象物ＯＢを撮像させる。撮像システム１は、ステップＳ２において、第１モデル情報を算出する。例えば、第１制御部１９は、第１情報算出部１２を制御し、第１撮像部１５の撮像結果をもとに対象物ＯＢの第１モデル情報を算出させる。撮像システム１は、ステップＳ３において、第２撮像装置２ｂにより対象物を検出する。例えば、第２制御部３７は、第２撮像部３４を制御し、第２撮像部３４に対象物ＯＢを撮像させる。
　撮像システム１は、ステップＳ４において、第１撮像装置２ａにより参照パターンを投影させる。例えば、第１制御部１９は、特徴抽出部１６を制御し、第１モデル情報から特徴点を抽出させ、パターン設定部１７を制御して、抽出した特徴点の情報と関連付けられるパターンを参照パターンに設定させる。また、第１制御部１９は、参照パターンを対象物ＯＢに投影させる指示を示す制御信号を第１投影部１８に送信して第１投影部１８を制御し、パターン設定部１７が設定した参照パターンを対象物ＯＢに向けて投影させる。
　撮像システム１は、ステップＳ５において、第２撮像装置２ｂにより参照パターンを検出する。例えば、第２制御部３７は、第２撮像部３４を制御し、参照パターンが投影されている対象物ＯＢを撮像させる。また、第２制御部３７は、パターン抽出部３６を制御し、第２撮像部３４による撮像画像から参照パターンを抽出させる。
　撮像システム１は、ステップＳ６において、第２モデル情報を算出する。例えば、第２制御部３７は、第２情報算出部３３を制御し、ステップＳ３の第２撮像部３４の撮像結果、及びステップＳ５の参照パターンの検出結果をもとに、対象物ＯＢの第２モデル情報を算出させる。
　撮像システム１は、ステップＳ７において、第１モデル情報と第２モデル情報を統合する。例えば、情報処理装置３の制御部５５は、第１撮像装置２ａから第１モデル情報を取得し、第２撮像装置２ｂから第２モデル情報を取得する。制御部５５は、モデル統合部５３を制御し、第１モデル情報と第２モデル情報を統合させる。モデル統合部５３は、例えば、第２撮像装置２ｂが検出した参照パターンの検出結果を使ってモデル統合処理を実行し、統合モデル情報を算出する。
　次に、撮像システム１の動作の例について説明する。図６は、本実施形態に係る撮像システム１の動作の例を示すシーケンス図である。第１撮像装置２ａの第１投影部１８は、ステップＳ１１において、第１の測距用パターンを対象物ＯＢに投影する。第１撮像装置２ａの第１撮像部１５は、ステップＳ１２において、第１の測距用パターンが投影されている対象物ＯＢを撮像する。第１撮像装置２ａの通信部２８は、ステップＳ１３において、撮像が終了したことを示す通知（例、信号）を、第２撮像装置２ｂの通信部４０に送信する。通信部４０は、ステップＳ１４において、ステップＳ１３の通知を受信する。
　第２撮像装置２ｂの第２投影部３５は、ステップＳ１３の通知を受信した後に、ステップＳ１５において、第２の測距用パターンを対象物ＯＢに投影する。第２撮像装置２ｂの第２撮像部３４は、ステップＳ１６において、第２の測距用パターンが投影されている対象物ＯＢを撮像する。第２撮像装置２ｂの通信部４０は、ステップＳ１７において、撮像が終了したことを示す通知を第１撮像装置２ａの通信部２８に送信する。通信部２８は、ステップＳ１８において、ステップＳ１７の通知を受信する。
　第１撮像装置２ａの第１情報算出部１２は、ステップＳ１３の通知が送信された後に、第１モデル情報を算出する。第１情報算出部１２または特徴抽出部１６は、ステップＳ１３において、少なくとも特徴点を抽出する処理を行う。第１撮像装置２ａのパターン設定部１７は、ステップＳ１４において、例えば特徴点の情報と関連付けられるパターンを、参照パターンに設定する。
　第１撮像装置２ａの通信部２８は、ステップＳ１７の通知を受信した後に、ステップＳ２１において、参照パターンの投影条件を第２撮像装置２ｂの通信部４０に送信する。通信部４０は、ステップＳ２２において、参照パターンの投影条件を受信する。第１撮像装置２ａの第１投影部１８は、ステップＳ２３において、投影条件に定められたスケジュールに従って参照パターンを対象物ＯＢに向けて投影する。第２撮像装置２ｂの第２撮像部３４は、ステップＳ２４において、投影条件に定められたスケジュールに従って、参照パターンが投影されている対象物ＯＢを撮像する。
　第１撮像装置２ａの通信部２８は、ステップＳ２５において、第１モデル情報を情報処理装置３の通信部５１に送信する。通信部５１は、ステップＳ２６において、第１モデル情報を受信する。第２撮像装置２ｂのパターン抽出部３６は、ステップＳ２７において、ステップＳ２４の第２撮像部３４の撮像画像から参照パターンを抽出する。第２撮像装置２ｂの第２情報算出部３３は、ステップＳ２８において、第２モデル情報を算出する。第２撮像装置２ｂの通信部４０は、ステップＳ２９において、第２モデル情報を情報処理装置３の通信部５１に送信する。通信部５１は、ステップＳ３０において、第２モデル情報を受信する。情報処理装置３のモデル統合部５３は、ステップＳ３１において、第１モデル情報と第２モデル情報を統合する。
　図７は、本実施形態に係る撮像システム１の動作の他の例を示すシーケンス図である。なお、図６と共通する処理については、その説明を省略又は簡略化する。第１撮像装置２ａは、ステップＳ４１において対象物ＯＢを検出し、ステップＳ４２において第１モデル情報を算出する。第１撮像装置２ａは、ステップＳ４３において第１モデル情報を情報処理装置３に送信し、情報処理装置３は、ステップＳ４４において第１モデル情報を受信する。第２撮像装置２ｂは、ステップＳ４５において対象物ＯＢを検出し、ステップＳ４６において第２モデル情報を算出する。第２撮像装置２ｂは、ステップＳ４７において第２モデル情報を情報処理装置３に送信し、情報処理装置３は、ステップＳ４８において第２モデル情報を受信する。
　情報処理装置３のモデル統合部５３は、ステップＳ４９において、第１モデル情報から特徴点を抽出し、特徴点における特徴量を示す特徴点データ（第１特徴点データ）を生成する。情報処理装置３の通信部５１は、ステップＳ５０において、特徴点データを第１撮像装置２ａの通信部２８に送信する。通信部２８は、ステップＳ５１において、特徴点データを受信する。第１撮像装置２ａのパターン設定部１７は、ステップＳ５２において、特徴点データをもとに参照パターンを設定する。第１撮像装置２ａの通信部２８は、ステップＳ５３において、参照パターンの投影条件を第２撮像装置２ｂの通信部４０に送信する。通信部４０は、ステップＳ５４において、参照パターンの投影条件を受信する。第１撮像装置２ａの第１投影部１８は、ステップＳ５５において参照パターンを投影し、第２撮像装置２ｂの第２撮像部３４は、ステップＳ５６において、参照パターンが投影されている対象物ＯＢを撮像する。第２撮像装置２ｂのパターン抽出部３６は、ステップＳ５７において、参照パターンを抽出し、抽出した参照パターンを示す参照情報を生成する。第２撮像装置２ｂの通信部４０は、ステップＳ５８において、参照情報を情報処理装置３の通信部５１に送信する。通信部５１は、ステップＳ５９において、参照情報を受信する。参照情報には、例えば、第２モデル情報における特徴点のデータ（第２特徴点データ）が含まれる。情報処理装置３のモデル統合部５３は、ステップＳ６０において、第１モデル情報、第１特徴点データ、第２モデル情報、及び参照情報（第２特徴点データ）を使って、モデル統合処理を行う。
　このように、第１撮像装置２ａは、第１モデル情報から特徴点を抽出しなくてもよく、情報処理装置３が特徴点を抽出してもよい。また、第２撮像装置２ｂは、参照パターンを検出した結果を使うことなく第２モデル情報を算出してもよい。
　図８は、本実施形態に係る撮像システム１の動作の他の例を示すシーケンス図である。なお、図６、図７と共通する処理については、その説明を簡略化する。第１撮像装置２ａは、ステップＳ６１において対象物ＯＢを検出し、ステップＳ６２において第１モデル情報を算出（少なくとも特徴点を抽出）する。第１撮像装置２ａは、ステップＳ６５において、参照パターンを設定する。第１撮像装置２ａは、ステップＳ６６において参照パターンの投影条件を第２撮像装置２ｂに送信し、第２撮像装置２ｂは、ステップＳ６７において参照パターンの投影条件を受信する。第１撮像装置２ａは、ステップＳ６８において参照パターンを投影し、第２撮像装置２ｂは、ステップＳ６９において、参照パターンが投影されている対象物ＯＢを撮像する。
　第１撮像装置２ａは、ステップＳ７０において特徴点データ（第１特徴点データ）を情報処理装置３に送信し、情報処理装置３は、ステップＳ７１において特徴点データを受信する。第２撮像装置２ｂは、ステップＳ７２においてステップＳ６９の撮像画像から参照パターンを抽出する。第２撮像装置２ｂは、ステップＳ７３において参照情報を情報処理装置３に送信し、情報処理装置３は、ステップＳ７４において参照情報を受信する。参照情報は、第２撮像装置２ｂが検出した参照パターンから得られる情報であり、例えば、第２モデル情報における特徴点のデータ（第２特徴点データ）を含む。
　情報処理装置３のモデル統合部５３は、ステップＳ７５において、第１特徴点データに含まれる特徴点と、参照情報（第２特徴点データ）に示される特徴点とをマッチングする。情報処理装置３は、ステップＳ７６において、統合モデル情報のうち、第１撮像装置２ａからの第１モデル情報に担当させる第１担当領域と、第２撮像装置２ｂからの第２モデル情報に担当させる第２担当領域とを決定して設定する。例えば、モデル統合部５３は、第１担当領域と第２担当領域とが重複しないように、各担当領域を選択する。
　情報処理装置３の制御部５５は、ステップＳ７７において、通信部５１を制御し、第１担当領域における第１モデル情報の送信を要求する指令（第１要求信号）を、第１撮像装置２ａの通信部２８に送信する。以下、第１担当領域における第１モデル情報を、第１指定情報という。第１指定情報は、例えば、第１モデル情報が示す形状の一部の形状に関する情報である。第１撮像装置２ａの通信部２８は、ステップＳ７８において、ステップＳ７７の指令を受信する。第１撮像装置２ａの第１情報算出部１２は、ステップＳ７９において、第１モデル情報のうち第１指定情報を抽出する。第１撮像装置２ａの通信部２８は、ステップＳ８０において第１指定情報を情報処理装置３の通信部５１に送信し、通信部５１は、第１指定情報を受信する。
　情報処理装置３の制御部５５は、ステップＳ７７の処理の後のステップＳ８２において、通信部５１を制御し、第２担当領域における第２モデル情報の送信を要求する指令（第２要求信号）を、第２撮像装置２ｂの通信部４０に送信する。以下、第２担当領域における第２モデル情報を、第２指定情報という。第２指定情報は、例えば、第２モデル情報が示す形状の一部の形状に関する情報である。第２撮像装置２ｂの通信部４０は、ステップＳ８３において、ステップＳ８２の指令を受信する。第２撮像装置２ｂの第２情報算出部３３は、ステップＳ８４において、第２モデル情報のうち第２指定情報を抽出する。第２撮像装置２ｂの通信部４０は、ステップＳ８５において、第２指定情報を情報処理装置３の通信部５１に送信し、通信部５１は、ステップＳ８６において第２指定情報を受信する。モデル統合部５３は、ステップＳ８７において、第１モデル情報の一部である第１指定情報と、第２モデル情報の一部である第２指定情報とを統合し、統合モデル情報を算出する。また、上述したように、本実施形態における撮像装置２は、本体部（１４、３１）と、本体部（１４、３１）に設けられ、対象物ＯＢと該対象物ＯＢに投影された参照パターンとを撮像する撮像部（１５、３４）と、撮像部（１５、３４）の撮像結果から、対象物ＯＢに投影された参照パターンを抽出するパターン抽出部３６と、本体部（１４、３１）に設けられ、撮像部（１５、３４）の撮像結果とパターン抽出部３６が抽出した参照パターンとを用いて、対象物ＯＢの形状情報及びテクスチャ情報の少なくとも一方を含むモデル情報を算出する情報算出部（１２、３３）と、を備える。例えば、第２撮像装置２ｂは、第２本体部３１と、第２本体部３１に設けられ、対象物ＯＢと該対象物ＯＢに投影された参照パターンとを同時に又は１つの画像として撮像する第２撮像部３４と、第２撮像部３４の撮像結果から、対象物ＯＢに投影された参照パターンを抽出するパターン抽出部３６と、第２本体部３１に設けられ、第２撮像部３４の撮像結果とパターン抽出部３６が抽出した参照パターンとを用いて、対象物ＯＢの形状情報及びテクスチャ情報の少なくとも一方を含むモデル情報を算出する第２情報算出部３３と、を備える。また、上述したように、上記参照パターンは、情報算出部（例、第２情報算出部３３）が算出した第２モデル情報とは異なり別の情報算出部（例、第１情報算出部１２）が算出した第１モデル情報の少なくとも一部を示すパターンである。
　ところで、第２撮像装置２ｂにより検出した参照パターン（図４のコードＲＰ５参照）を用いると、第１モデル情報に規定される第１部分モデルと第２モデル情報に規定される第２部分モデルとの重複部分を検出することができる。例えば、モデル統合部５３は、重複部分の情報を使って、ステップＳ７６において担当領域を決定することができる。この場合、第１モデル情報の一部である第１指定情報と、第２モデル情報の一部である第２指定情報とを使ってモデル統合処理を行うことにより互いの重複部分を容易に検出できるため、例えば、通信の負荷を減らすこと、モデル統合処理の負荷を減らすことができる。
［第２実施形態］
　第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１０は、第２実施形態に係る撮像システム１を示すブロック図である。
　一例として、撮像システム１は、対象物ＯＢの窪んだ部分、開口などの空隙の検出を失敗することがあり得る。例えば、撮像システム１は、開口の内壁と、開口を塞ぐ仮想面とを区別できない場合がある。このような場合に、第１モデル情報をもとにワイヤフレームなどを対象物に投影すると、例えば開口の内壁と、開口の外側とでワイヤフレームが不連続になることで、撮像システム１は第１モデル情報で精度が不足する部分を検出できる。
　本実施形態に係る撮像システム１は、モデル情報の評価に使われる情報を算出する比較部５６を備える。比較部５６は、例えば、情報処理装置３に設けられるが、複数の撮像装置２の少なくとも一つ（例、第１撮像装置２ａ）に設けられていてもよいし、他の装置に設けられていてもよい。比較部５６は、対象物ＯＢを撮像した撮像画像から得られるモデル情報と、このモデル情報を元に設定される第２の参照パターンが投影されている対象物ＯＢを撮像した撮像画像から得られる情報とを比較する。
　例えば、情報処理装置３のレンダリング処理部５４は、第１撮像装置２ａから第１モデル情報を取得し、レンダリング処理を行う。レンダリング処理部５４は、例えば、対象物ＯＢの表面をワイヤフレームで表した画像（例、対象物ＯＢの表面にワイヤフレームのテクスチャを付加した推定画像）のデータを生成する。パターン設定部１７は、例えば、レンダリング処理部５４の処理結果をもとに、対象物ＯＢの表面にワイヤフレームを表示する第２の参照パターンを設定する。第１撮像部１５は、例えば、第２の参照パターンが投影されている投影状態と、第２の参照パターンが投影されていない非投影状態のそれぞれにおいて、対象物ＯＢを撮像する。
　比較部５６は、例えば、第１撮像部１５が取得した投影状態の撮像画像と非投影状態の撮像画像との差分を演算し、第１撮像部１５の視野における対象物ＯＢ上の第２の参照パターンを検出する。また、比較部５６は、例えば、レンダリング処理において付加されたテクスチャと、第１撮像部１５の視野で検出した第２の参照パターンとのずれ量を算出する。比較部５６は、例えば、算出したずれ量が閾値よりも大きい部分において第１モデル情報の精度が不十分であると判定（評価）してもよい。
　また、第２撮像部３４は、例えば、第２の参照パターンが投影されている投影状態と、第２の参照パターンが投影されていない非投影状態とのそれぞれにおいて、対象物ＯＢを撮像する。比較部５６は、例えば、第２撮像部３４が取得した投影状態の撮像画像と非投影状態の撮像画像との差分を演算し、第２撮像部３４の視野における対象物ＯＢ上の第２の参照パターンを検出する。比較部５６は、例えば、第２撮像部３４の視野で検出した第２の参照パターンのずれ量を算出し、算出したずれ量が閾値よりも大きい部分において第１モデル情報の精度が不十分であると判定（評価）してもよい。例えば、第１撮像装置２ａにより投影される第２の参照パターンを検出する場合、第１モデル情報におけるレンダリング非対称領域を、第２撮像装置２ｂの検出結果から取得することができる。
　撮像システム１は、例えば、第１撮像部１５の視野で検出した第２の参照パターンのずれ量と、第２撮像部３４の視野で検出した第２の参照パターンのずれ量の少なくとも一方を用いて、モデル情報（例、第１モデル情報、第２モデル情報、統合モデル情報）を補正してもよい。例えば、第１撮像装置２ａは、パターン設定部１７によって、第２の参照パターンを変化させることで対象物ＯＢに付加されるテクスチャを変化させながら、第１撮像部１５によって対象物ＯＢを撮像する。比較部５６は、例えば、第２の参照パターンに変化に伴う第１撮像部１５の視野で検出した第２の参照パターンのずれ量の変化を監視する。撮像システム１は、例えば、第２の参照パターンのずれ量が減少する際の第２の参照パターンをもとに、モデル情報を補正してもよい。この場合、参照パターンの照射と撮像により、モデル情報の精度を高めることができる。
　次に、撮像システム１の動作に基づき、本実施形態に係る撮像方法について説明する。図１０は、本実施形態に係る撮像方法を示すフローチャートである。撮像システム１は、ステップＳ９１において、第１撮像装置２ａにより対象物ＯＢを検出（撮像）する。撮像システム１は、ステップＳ９２において、ステップＳ９１の撮像結果をもとに第１モデル情報を算出する。撮像システム１は、ステップＳ９３において、第２撮像装置２ｂにより対象物ＯＢを検出（撮像）する。撮像システム１は、ステップＳ９４において、ステップＳ９３の撮像結果をもとに第２モデル情報を算出する。
　撮像システム１は、ステップＳ９５において、モデル情報（例、第１モデル情報）をもとに、レンダリング処理部５４によりレンダリング処理を行う。撮像システム１は、ステップＳ９６において、ステップＳ９５のレンダリング処理の結果をもとに、パターン設定部１７により参照パターンを設定する。撮像システム１は、ステップＳ９７において、第１撮像装置２ａ（例、第１投影部１８）により参照パターンを対象物ＯＢに向けて投影する。撮像システム１は、ステップＳ９８において、第１撮像装置２ａと第２撮像装置２ｂの少なくとも一方により対象物ＯＢを撮像し、対象物ＯＢ上の参照パターンを検出する。撮像システム１は、ステップＳ９９において、比較部５６により参照パターンの検出結果とモデル情報とを比較する。撮像システム１は、ステップＳ１００において、ステップＳ９９の比較結果をもとにモデル情報（例、第１モデル情報）を補正する。撮像システム１は、ステップＳ１０１において、ステップＳ９９で補正したモデル情報を使って、モデル統合部５３によりモデル統合処理を行う。
　なお、第１投影部１８は、モデル情報をもとに設定される参照パターンを、投影倍率を変更しながら投影してもよい。例えば、パターン設定部は、対象物ＯＢの輪郭を示すパターンを参照パターンに設定し、第１投影部１８は、参照パターンを拡大または縮小して投影してもよい。例えば、第１投影部１８は、まず、対象物ＯＢの輪郭を示すパターンが対象物ＯＢ上に表示される投影倍率に設定する。第１投影部１８は、投影倍率を上げながらパターンを投影し、第１撮像部１５は、対象物ＯＢの輪郭を示すパターンの変化を検出する。この場合、例えば、投影倍率により、対象物ＯＢのスケール（例、実寸）を推定することができる。また、例えば、輪郭を示すパターンの一部が対象物ＯＢ上に表示されない場合、表示されない部分の情報を、モデリング結果の妥当性を評価に利用することができる。
　また、上述の実施形態によれば、例えば、撮像装置２は、複数の視野間の対応関係（位置関係）を示す情報を得ることができ、第１の視野で得られる情報と第２の視野で得られる情報とを高精度に関連付けることが可能である。
　なお、本発明の技術範囲は、上記の実施形態あるいは変形例に限定されるものではない。上述の実施形態における制御部は、例えば、記憶装置（例、記憶部）に記憶されている撮像プログラムを読み出し、この撮像プログラムに従って上述した各種の処理を実行する。この撮像プログラムは、例えば、コンピュータに上述した各種の処理を実行させる。また、この撮像プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。例えば、上記の実施形態あるいは変形例で説明した要件の１つ以上は、省略されることがある。また、上記の実施形態あるいは変形例で説明した要件は、適宜組み合わせることができる。
　なお、上述の実施形態において、複数の撮像装置２は、投影条件を通信することにより、参照パターンの投影と撮像を同期して行うが、投影条件の通信を行わなくてもよい。例えば、複数の撮像装置２は、予め定められたスケジュールに従って、投影処理、撮像処理などの各種処理を行ってもよい。このスケジュールを示すスケジュール情報は、複数の撮像装置２のそれぞれの記憶に記憶されていてもよい。また、複数の撮像装置２の少なくとも１つの撮像装置（例、第１撮像装置２ａ）は、スケジュール情報を示すパターン（例、コード）を投影してもよい。この場合、他の撮像装置（例、第２撮像装置２ｂ）は、このパターンを撮像により検出し、パターンに含まれる情報をデコードにより取得することで、スケジュール情報を取得してもよい。また、複数の撮像装置２の少なくとも一つの撮像装置（例、第２撮像装置２ｂ）は、他の撮像装置（例、第１撮像装置２ａ）が視野に入る場合、第１撮像装置２ａの動作（例、照明の発光、投影時の発光）を撮像などにより検出し、その検出結果を同期信号に使って、他の撮像装置との同期をとってもよい。
１　撮像システム、２ａ　第１撮像装置、２ｂ　第２撮像装置、３　情報処理装置、４　入力装置、５　表示装置、１２　第１情報算出部、１４　第１本体部、１５　第１撮像部、１６　特徴抽出部、１７　パターン設定部、１８　第１投影部、１９　第１制御部、３１　第２本体部、３３　第２情報算出部、３４　第２撮像部、３５　第２投影部、３６　パターン抽出部、３７　第２制御部、５３　モデル統合部、５４　レンダリング処理部、５５　制御部、５６　比較部

Claims (23)

  1. 　第１本体部と、
    　前記第１本体部に設けられ、対象物を撮像する第１撮像部と、
    　前記第１本体部に設けられ、前記第１撮像部の撮像結果をもとに前記対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第１モデル情報を算出する第１情報算出部と、
    　前記第１情報算出部が算出した前記第１モデル情報の少なくとも一部を示す参照パターンを設定するパターン設定部と、
    　前記参照パターンを前記対象物に向けて投影する第１投影部と、
    　第２本体部と、
    　前記第２本体部に設けられ、前記参照パターンが投影されている前記対象物を撮像する第２撮像部と、
    　前記第２本体部に設けられ、前記第２撮像部の撮像結果をもとに前記対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第２モデル情報を算出する第２情報算出部と、
    　前記第２撮像部の撮像結果から、前記第１投影部により投影された前記参照パターンを抽出するパターン抽出部と、を備える撮像システム。
  2. 　前記第２情報算出部は、前記パターン抽出部が抽出した前記参照パターンを用いて、前記第２モデル情報を算出する、請求項１に記載の撮像システム。
  3. 　前記第１情報算出部により算出された前記第１モデル情報のうち他の部分と識別可能な特徴部分を抽出する特徴抽出部を備え、
    　前記パターン設定部は、前記特徴部分の情報と関連付けられるパターンを、前記参照パターンに設定する、請求項１又は請求項２に記載の撮像システム。
  4. 　前記第１情報算出部が算出した前記第１モデル情報と、前記第２情報算出部が算出した前記第２モデル情報とを統合するモデル統合部を備える、請求項１から請求項３のいずれか一項に記載の撮像システム。
  5. 　前記第１情報算出部は、前記形状情報として、前記対象物の表面上の複数の点の座標と前記複数の点間の連結情報とを含むサーフェス情報を算出し、
    　前記パターン設定部は、前記サーフェス情報と関連付けられるパターンを、前記参照パターンに設定する、請求項１から請求項４のいずれか一項に記載の撮像システム。
  6. 　前記第１モデル情報の少なくとも一部および前記２モデル情報の少なくとも一部の一方または双方をもとにレンダリング処理を行うレンダリング処理部を備え、
    　前記パターン設定部は、前記レンダリング処理部の処理結果をもとに前記対象物の形状情報とテクスチャ情報との少なくとも一方に対して関連付けられるパターンを、前記参照パターンに設定する、請求項１から請求項５のいずれか一項に記載の撮像システム。
  7. 　前記パターン設定部は、前記第１撮像部の識別情報と関係付けられるパターンを、前記参照パターンに設定する、請求項１から請求項６のいずれか一項に記載の撮像システム。
  8. 　前記パターン設定部は、光強度の分布が時間的に変化するパターンを、前記参照パターンに設定する、請求項１から請求項７のいずれか一項に記載の撮像システム。
  9. 　前記パターン設定部は、前記参照パターンの情報を、前記パターン抽出部に供給する、請求項１から請求項８のいずれか一項に記載の撮像システム。
  10. 　前記参照パターンが投影されている前記対象物を撮像した撮像画像から得られる前記対象物の情報と、前記参照パターンが投影されていない前記対象物を撮像した撮像画像から得られる前記対象物の情報とを比較する比較部を備える、請求項１から請求項９のいずれか一項に記載の撮像システム。
  11. 　前記第１情報算出部は、前記第１投影部により前記対象物に投影された第１の測距用パターンを前記第１撮像部によって撮像した撮像画像をもとに、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出する、請求項１から請求項８のいずれか一項に記載の撮像システム。
  12. 　前記第１本体部に保持され、前記第１投影部を制御する第１制御部と、
    　前記第２本体部に保持され、前記第２撮像部を制御する第２制御部と、を備え、
    　前記第１制御部は、前記第１投影部の投影条件を示す情報を、前記第２制御部に供給する、請求項１から請求項１１のいずれか一項に記載の撮像システム。
  13. 　前記第２本体部に保持され、前記対象物に向けて第２の測距用パターンを投影する第２投影部を備え、
    　前記第２情報算出部は、前記第２投影部により前記対象物に投影された前記第２の測距用パターンを前記第２撮像部によって撮像した撮像画像をもとに、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出する、請求項１２に記載の撮像システム。
  14. 　前記投影条件は、前記第１投影部の投影のタイミングを含み、
    　前記第２制御部は、前記第１投影部と異なるタイミングで、前記第２投影部に投影させる、請求項１３に記載の撮像システム。
  15. 　前記第１制御部は、前記第１投影部により前記対象物に第１の測距用パターンを投影させ、
    　前記第１情報算出部は、前記第１の測距用パターンが投影された前記対象物を前記第１撮像部によって撮像した撮像画像をもとに、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出し、
    　前記第２制御部は、前記第１の測距用パターンが投影されてから前記参照パターンが投影されるまでの間に、前記第２の測距用パターンを前記第２投影部によって投影させる、請求項１４に記載の撮像システム。
  16. 　本体部と、
    　前記本体部に設けられ、対象物と該対象物に投影された参照パターンとを撮像する撮像部と、
    　前記撮像部の撮像結果から、前記対象物に投影された前記参照パターンを抽出するパターン抽出部と、
    　前記本体部に設けられ、前記撮像部の撮像結果と前記パターン抽出部が抽出した前記参照パターンとを用いて、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を含むモデル情報を算出する情報算出部と、を備える撮像装置。
  17. 　前記参照パターンは、前記情報算出部が算出した前記モデル情報とは異なり別の情報算出部が算出したモデル情報の少なくとも一部を示すパターンである、請求項１６に記載の撮像装置。
  18. 　第１本体部に設けられる第１撮像部によって、対象物を撮像することと、
    　前記第１本体部に設けられる第１情報算出部によって、前記第１撮像部の撮像結果をもとに前記対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第１モデル情報を算出することと、
    　前記第１情報算出部が算出した前記第１モデル情報の少なくとも一部を示す参照パターンを前記対象物に向けて投影することと、
    　第２本体部に設けられる第２撮像部によって、前記参照パターンが投影されている前記対象物を撮像することと、
    　前記第２本体部に設けられる第２情報算出部によって、前記第２撮像部の撮像結果をもとに前記対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第２モデル情報を算出することと、
    　前記第２撮像部の撮像結果から、前記第１投影部により投影された前記参照パターンを抽出することと、を含む撮像方法。
  19. 　本体部と、
    　前記本体部に設けられ、対象物の表面に設けられた特徴部分を撮像する撮像部と、
    　前記撮像部の撮像結果から前記対象物の前記特徴部分を抽出するパターン抽出部と、
    　前記本体部に設けられ、前記撮像の撮像結果と前記特徴部分とを用いて前記対象物の形状情報及びテクスチャ情報の少なくとも一方を含むモデル情報を算出する情報算出部と、
    　を備える撮像装置。
  20. 　前記特徴部分は前記対象物の特徴点を含むパターンである、請求項１９に記載の撮像装置。
  21. 　前記特徴部分は前記対象物に投影されるパターンを含む、請求項１９又は請求項２０に記載の撮像装置。
  22. 　第１本体部と、
    　前記第１本体部に設けられ、対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第１モデル情報の少なくとも一部を示す参照パターンを前記対象物に向けて投影する第１投影部と、
    　第２本体部と、
    　前記第２本体部に設けられ、前記参照パターンが投影されている前記対象物を撮像する第２撮像部と、
    　前記第２撮像部の撮像結果をもとに前記対象物の形状情報及びテクスチャ情報の少なくとも一部を含む第２モデル情報を算出する情報算出部と、
    　前記第２撮像部の撮像結果から前記第１投影部により投影された前記参照パターンを抽出するパターン抽出部と、
    　を備える撮像システム。
  23. 　コンピュータに、
    　本体部に設けられる撮像部によって、対象物の表面に設けられた特徴部分を撮像することと、
    　前記撮像部の撮像結果から前記対象物の前記特徴部分を抽出することと、
    　前記本体部に設けられる情報算出部によって、前記撮像の撮像結果と前記特徴部分とを用いて前記対象物の形状情報及びテクスチャ情報の少なくとも一方を含むモデル情報を算出することと、を実行させる撮像プログラム。
PCT/JP2016/059907 2015-04-02 2016-03-28 撮像システム、撮像装置、撮像方法、及び撮像プログラム WO2016158856A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017509976A JP6531823B2 (ja) 2015-04-02 2016-03-28 撮像システム、撮像装置、撮像方法、及び撮像プログラム
US15/717,421 US20180017380A1 (en) 2015-04-02 2017-09-27 Imaging system, imaging device, method of imaging, and storage medium
US15/717,423 US10638113B2 (en) 2015-04-02 2017-09-27 Imaging system, imaging device, method of imaging, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015075564 2015-04-02
JP2015-075564 2015-04-02

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/717,421 Continuation US20180017380A1 (en) 2015-04-02 2017-09-27 Imaging system, imaging device, method of imaging, and storage medium
US15/717,423 Continuation US10638113B2 (en) 2015-04-02 2017-09-27 Imaging system, imaging device, method of imaging, and storage medium

Publications (1)

Publication Number Publication Date
WO2016158856A1 true WO2016158856A1 (ja) 2016-10-06

Family

ID=57005039

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/059907 WO2016158856A1 (ja) 2015-04-02 2016-03-28 撮像システム、撮像装置、撮像方法、及び撮像プログラム

Country Status (3)

Country Link
US (2) US10638113B2 (ja)
JP (1) JP6531823B2 (ja)
WO (1) WO2016158856A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017161370A (ja) * 2016-03-09 2017-09-14 株式会社ニコン 検出装置、検出システム、検出方法、及び検出プログラム
JP2019201363A (ja) * 2018-05-17 2019-11-21 パナソニックＩｐマネジメント株式会社 投影システム、投影装置及び投影方法
CN116067283A (zh) * 2023-04-03 2023-05-05 成都飞机工业（集团）有限责任公司 一种深腔测量方法、装置、设备及介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282902B1 (en) * 2016-06-24 2019-05-07 Amazon Technologies, Inc. Real-time textured 3D models
CN111315531B (zh) 2017-08-01 2022-09-30 西格马实验室公司 用于在增材制造操作期间测量辐射热能的系统和方法
KR102338576B1 (ko) * 2017-08-22 2021-12-14 삼성전자주식회사 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
US11517984B2 (en) 2017-11-07 2022-12-06 Sigma Labs, Inc. Methods and systems for quality inference and control for additive manufacturing processes
CN114749789B (zh) * 2018-02-21 2024-08-30 戴弗根特技术有限公司 用于增材制造的系统和方法
CN114643367A (zh) 2018-02-21 2022-06-21 西格马实验室公司 用于在增材制造操作期间测量辐射热能的系统和方法
EP3672223B1 (en) * 2018-04-28 2022-12-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Data processing method, electronic device, and computer-readable storage medium
US10867408B1 (en) * 2018-07-23 2020-12-15 Apple Inc. Estimation of spatial relationships between sensors of a multi-sensor device
CN111902692A (zh) * 2018-09-14 2020-11-06 松下电器（美国）知识产权公司 判定方法及判定装置
ES2831149T3 (es) * 2018-10-15 2021-06-07 Fraunhofer Ges Forschung Sistema y procedimiento para comprobar la forma de un objeto de prueba
JP7372076B2 (ja) * 2019-08-07 2023-10-31 ファナック株式会社 画像処理システム
KR20210030147A (ko) * 2019-09-09 2021-03-17 삼성전자주식회사 3d 렌더링 방법 및 장치
US11487968B2 (en) * 2019-12-16 2022-11-01 Nvidia Corporation Neural network based facial analysis using facial landmarks and associated confidence values
CN111143270B (zh) * 2019-12-23 2023-05-05 武汉轻工大学 距离投影的计算方法、装置、计算设备及存储介质
US11132804B2 (en) * 2020-01-07 2021-09-28 Himax Technologies Limited Hybrid depth estimation system
US20220103732A1 (en) * 2020-09-29 2022-03-31 Aac Optics Solutions Pte. Ltd. Imaging assembly and camera

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04150493A (ja) * 1990-10-12 1992-05-22 Fujitsu Ltd 両眼立体視装置の照明制御方法および装置
JP2005284403A (ja) * 2004-03-26 2005-10-13 Olympus Corp ３次元情報出力システム、サーバ並びにクライアント
JP2007101276A (ja) * 2005-09-30 2007-04-19 Topcon Corp 三次元計測用投影装置及びシステム
JP2009069146A (ja) * 2007-09-10 2009-04-02 Steinbichler Optotechnik Gmbh 対象物を３次元デジタル化する方法及び装置
JP2010267232A (ja) * 2009-05-18 2010-11-25 Canon Inc 位置姿勢推定方法および装置
JP2011141174A (ja) * 2010-01-06 2011-07-21 Canon Inc ３次元計測装置及びその制御方法
JP2013024608A (ja) * 2011-07-15 2013-02-04 Technodream 21 Co Ltd ３次元形状の取得装置、処理方法およびプログラム
WO2013187532A1 (en) * 2012-06-14 2013-12-19 Nikon Corporation Measurement assembly, method for measuring a feature on a surface, method for manufacturing a structure and pointer
JP2014225182A (ja) * 2013-05-17 2014-12-04 株式会社リコー 画像投影システム、画像処理装置およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2306515A1 (en) * 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
JP2003006618A (ja) * 2001-06-27 2003-01-10 Minolta Co Ltd ３次元モデルの生成方法および装置並びにコンピュータプログラム
JP2010134546A (ja) 2008-12-02 2010-06-17 Nippon Telegr & Teleph Corp <Ntt> 視体積交差法による３次元形状復元装置、３次元形状復元方法および３次元形状復元プログラム
JP2011175477A (ja) * 2010-02-24 2011-09-08 Canon Inc ３次元計測装置、処理方法及びプログラム
JP5834602B2 (ja) * 2010-08-10 2015-12-24 旭硝子株式会社 回折光学素子及び計測装置
KR101816170B1 (ko) * 2010-12-22 2018-01-09 한국전자통신연구원 3차원 깊이 정보 획득 장치 및 그 방법
US9686532B2 (en) * 2011-04-15 2017-06-20 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
JP2014115109A (ja) * 2012-12-06 2014-06-26 Canon Inc 距離計測装置及び方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04150493A (ja) * 1990-10-12 1992-05-22 Fujitsu Ltd 両眼立体視装置の照明制御方法および装置
JP2005284403A (ja) * 2004-03-26 2005-10-13 Olympus Corp ３次元情報出力システム、サーバ並びにクライアント
JP2007101276A (ja) * 2005-09-30 2007-04-19 Topcon Corp 三次元計測用投影装置及びシステム
JP2009069146A (ja) * 2007-09-10 2009-04-02 Steinbichler Optotechnik Gmbh 対象物を３次元デジタル化する方法及び装置
JP2010267232A (ja) * 2009-05-18 2010-11-25 Canon Inc 位置姿勢推定方法および装置
JP2011141174A (ja) * 2010-01-06 2011-07-21 Canon Inc ３次元計測装置及びその制御方法
JP2013024608A (ja) * 2011-07-15 2013-02-04 Technodream 21 Co Ltd ３次元形状の取得装置、処理方法およびプログラム
WO2013187532A1 (en) * 2012-06-14 2013-12-19 Nikon Corporation Measurement assembly, method for measuring a feature on a surface, method for manufacturing a structure and pointer
JP2014225182A (ja) * 2013-05-17 2014-12-04 株式会社リコー 画像投影システム、画像処理装置およびプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017161370A (ja) * 2016-03-09 2017-09-14 株式会社ニコン 検出装置、検出システム、検出方法、及び検出プログラム
JP2019201363A (ja) * 2018-05-17 2019-11-21 パナソニックＩｐマネジメント株式会社 投影システム、投影装置及び投影方法
JP7285470B2 (ja) 2018-05-17 2023-06-02 パナソニックＩｐマネジメント株式会社 投影システム、投影装置及び投影方法
CN116067283A (zh) * 2023-04-03 2023-05-05 成都飞机工业（集团）有限责任公司 一种深腔测量方法、装置、设备及介质
CN116067283B (zh) * 2023-04-03 2023-08-04 成都飞机工业（集团）有限责任公司 一种深腔测量方法、装置、设备及介质

Also Published As

Publication number Publication date
JP6531823B2 (ja) 2019-06-19
US10638113B2 (en) 2020-04-28
JPWO2016158856A1 (ja) 2018-02-01
US20180020207A1 (en) 2018-01-18
US20180017380A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
JP6531823B2 (ja) 撮像システム、撮像装置、撮像方法、及び撮像プログラム
US10706571B2 (en) Imaging device, image processing device, storage medium, and imaging system
US20170251143A1 (en) System and method for assisted 3d scanning
US7627196B2 (en) Image processing device and image capturing device
US10204404B2 (en) Image processing device and image processing method
US20210232858A1 (en) Methods and systems for training an object detection algorithm using synthetic images
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
US20150369593A1 (en) Orthographic image capture system
US11629950B2 (en) Detection device, detection system, detection method, and storage medium
WO2016158855A1 (ja) 撮像システム、撮像装置、撮像方法、及び撮像プログラム
WO2020130070A1 (ja) 検出装置、情報処理装置、検出方法、及び情報処理プログラム
US11109006B2 (en) Image processing apparatus and method
JP6552266B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2023157018A (ja) 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
JPWO2016035181A1 (ja) 撮像装置、情報処理装置、及び撮像システム
JP2023115289A (ja) 検出装置、情報処理装置、及びシステム
JP7228112B2 (ja) 投影制御装置、投影装置、投影方法及びプログラム
WO2019198446A1 (ja) 検出装置、検出方法、情報処理装置、及び情報処理プログラム
US11682134B2 (en) Object detection device, method, information processing device, and storage medium calculating reliability information of detected image data for object shape determination
JP2017161370A (ja) 検出装置、検出システム、検出方法、及び検出プログラム
JP7197211B2 (ja) 三次元グラフィックスデータ作成方法、プログラム及び三次元グラフィックスデータ作成システム
Jiang et al. Project report: Light source estimation using kinect
JP2008224328A (ja) 位置演算システム、位置演算装置および位置演算方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16772737

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017509976

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16772737

Country of ref document: EP

Kind code of ref document: A1