WO2017154707A1 - 検出装置、検出システム、検出方法、及び検出プログラム - Google Patents

検出装置、検出システム、検出方法、及び検出プログラム Download PDF

Info

Publication number
WO2017154707A1
WO2017154707A1 PCT/JP2017/008166 JP2017008166W WO2017154707A1 WO 2017154707 A1 WO2017154707 A1 WO 2017154707A1 JP 2017008166 W JP2017008166 W JP 2017008166W WO 2017154707 A1 WO2017154707 A1 WO 2017154707A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
unit
light source
viewpoint
detection
Prior art date
Application number
PCT/JP2017/008166
Other languages
English (en)
French (fr)
Inventor
源洋 中川
武昭 杉村
芳之 山陸
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2018504412A priority Critical patent/JP6662449B2/ja
Publication of WO2017154707A1 publication Critical patent/WO2017154707A1/ja
Priority to US16/126,312 priority patent/US11629950B2/en
Priority to US18/122,500 priority patent/US20230221110A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4804—Auxiliary means for detecting or identifying lidar signals or the like, e.g. laser illuminators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • the present invention relates to a detection device, a detection system, a detection method, and a detection program.
  • a technique has been proposed in which a target object is detected by a plurality of imaging devices, a plurality of obtained images are input to a computer, and a three-dimensional shape of the target object is acquired (see, for example, Patent Document 1).
  • the first model information including the shape information of the object at the first viewpoint is calculated using the detection unit that detects the object from the first viewpoint and the detection result of the detection unit.
  • a light source calculation unit that calculates light source information of a light source using a first captured image obtained by imaging a space including a light source that irradiates illumination light to the object and the object, and a first model As information used for integration of information and second model information including shape information obtained by detecting an object from a second viewpoint different from the first viewpoint, the light source information is used to identify the first viewpoint and the object.
  • a detection device is provided that includes a position calculation unit that calculates a positional relationship.
  • the first model including the shape information or texture information of the object at the first position using the detection unit that detects the object from the first position and the detection result of the detection unit.
  • a detection apparatus comprising: an information calculation unit that calculates information; and a position calculation unit that calculates a positional relationship between the first position and the object based on an irradiation direction in which light is emitted from the light source to the object.
  • the first detection device of the first aspect and the second model information including the shape information of the target object are detected from the second viewpoint, and the illumination light Second position information indicating the relationship between the irradiation direction, the position of the object and the position of the viewpoint, a second detection device that transmits the second model information, the first viewpoint and the object calculated by the position calculation unit
  • a detection system includes a model integration unit that integrates the first model information and the second model information using the first position information and the second position information indicating the positional relationship.
  • detecting the object from the first viewpoint and calculating the first model information including the shape information of the object at the first viewpoint using the detection result of the detection Calculating light source information of the light source using a first captured image obtained by capturing a space including the light source that irradiates the object with illumination light and the target, first model information, and a first viewpoint Calculating the positional relationship between the first viewpoint and the object using the light source information as information used for integration with the second model information including the shape information obtained by detecting the object from the second viewpoint different from And a detection method comprising:
  • the computer calculates first model information including shape information of the object at the first viewpoint using a detection result obtained by detecting the object from the first viewpoint;
  • the light source information of the light source is calculated using the first captured image obtained by capturing the space including the light source that irradiates the object with the illumination light and the object, and the first model information is different from the first viewpoint.
  • a detection system including the detection device according to the first aspect or the second aspect, and an information processing device that processes information output from the detection device.
  • FIG. 1 is a diagram illustrating a detection device and a detection system according to the embodiment.
  • the detection system 50 includes a plurality of detection devices (detection device 1a, detection device 1b) and an illumination device IL.
  • the illumination device IL irradiates the object OB with illumination light L1.
  • the object OB in the present embodiment is irradiated with, for example, ambient light L2 such as light from room lights and natural light.
  • the detection device 1a (first detection device) detects the object OB from the viewpoint Vp1 (first viewpoint), and calculates model information (first model information) of the object OB viewed from the viewpoint Vp1.
  • the detection device 1b detects the object OB from a viewpoint Vp2 different from the viewpoint Vp1, and calculates model information (second model information) of the object OB viewed from the viewpoint Vp2.
  • the detection system 50 integrates the first model information and the second model information.
  • At least one of the detection device 1a and the detection device 1b is, for example, an imaging device, and detects an object OB in a detection region (eg, visual field).
  • At least one of the detection device 1a and the detection device 1b may be, for example, a fixed point camera or a camera whose view can be changed manually or automatically, and a portable information terminal (eg, smartphone, tablet, mobile phone with camera). But you can.
  • Each of the detection device 1a and the detection device 1b performs calculation processing of information related to the object OB using the result of detecting the object OB.
  • Each of the detection device 1a and the detection device 1b models at least a part of the object OB by calculation processing of its own terminal, and calculates model information (model data).
  • each of the detection device 1a and the detection device 1b executes computer graphic processing (CG processing) and calculates model information (eg, CG model data).
  • CG processing computer graphic processing
  • model information eg, CG model data
  • the model information includes, for example, shape information indicating the three-dimensional shape of the object OB.
  • the model information may include texture information of the object OB.
  • the model information includes three-dimensional point coordinates, related information of the point coordinates, texture information of the surface defined by the point coordinates and the related information, image space such as illumination conditions and light source information of the entire image. It includes at least one of information and polygon data as shape information.
  • the texture information includes, for example, at least one information of characters, figures, patterns, unevenness information on the surface of the object OB, a specific image, and colors (eg, chromatic color, achromatic color).
  • the detection device 1a calculates model information indicating the object OB viewed from the viewpoint Vp1 (eg, a predetermined viewpoint, a first viewpoint, a single viewpoint, and one direction). For example, the detection apparatus 1a calculates model information indicating the object OB viewed from the first viewpoint at a predetermined angle with respect to the object OB.
  • Vp1 e.g, a predetermined viewpoint, a first viewpoint, a single viewpoint, and one direction
  • the detection device 1a includes, for example, an imaging unit 2A, a detection unit 2B, an information calculation unit 3, a light source calculation unit 4, a characteristic calculation unit 5, a position calculation unit 31, a model integration unit 32, and a storage unit 7.
  • the main body 10 is, for example, a camera body, a case, a housing, or the like.
  • the detection unit 2B, the information calculation unit 3, the light source calculation unit 4, the characteristic calculation unit 5, the position calculation unit 31, and the model integration unit 32 are provided in the main body unit 10, for example.
  • the imaging unit 2A (first imaging unit) images a space including a light source 19 (shown later in FIG. 3) that irradiates the object OB with illumination light and the object.
  • the imaging result (first captured image) of the imaging unit 2A includes, for example, an all-sky image.
  • the imaging unit 2A is an omnidirectional camera and captures a 360 ° panoramic image as an all-sky image.
  • the all-sky image is an image overlooking a range of 360 ° in each of two declination directions (latitude direction and longitude direction) in polar coordinates having the viewpoint as a pole from the viewpoint of the imaging unit 2A.
  • the imaging unit 2A stores, for example, captured all-sky image data (entire sky image data) in the storage unit 7.
  • the first captured image is an all-sky image, but the first captured image may be a part of the all-sky image, for example, half of a sphere centered on the viewpoint of the imaging unit 2A.
  • An image captured over a corresponding hemispherical range may be used, or an image captured in a range greater than the hemispherical range and smaller than 360 ° may be used.
  • the first captured image may not be a whole-sky image or a part of the whole-sky image.
  • the imaging unit 2A may be provided in the main body unit 10 or may be provided separately from the main body unit 10.
  • the detection device 1a may not include the imaging unit 2A, and may be, for example, an imaging device different from the detection device 1a in the detection system 50.
  • FIG. 2 is a conceptual diagram showing an all-sky image.
  • the all-sky image Ima is, for example, an image obtained by capturing the periphery of the object in the horizontal direction over a range of 360 °.
  • the omnidirectional image Ima is an image obtained by imaging a sphere (celestial sphere) as the viewpoint of the imaging unit 2A in all directions (range of 360 ° in each of the longitude direction and the latitude direction).
  • Symbols Im1 to Im5 in the figure are angular positions of 0 °, 90 °, 180 °, 270 °, and 360 ° around the object, respectively.
  • the all-sky image Imb is an image obtained by projecting the all-sky image Ima onto a cylindrical surface so that the 0 ° angular position Im1 and the 360 ° angular position Im5 in the whole-sky image Ima coincide with each other.
  • the whole sky image Imc is such that the upper ends in the vertical direction of the angular positions Im1 to Im4 of the whole sky image Imb coincide with each other and the lower ends in the vertical direction of the angular positions Im1 to Im4 of the whole sky image Imb coincide with each other. It is the image which projected all the sky image Imb on the spherical surface.
  • the detection unit 2B optically detects the object OB from the viewpoint Vp1, for example.
  • the detection unit 2B acquires at least one of an image obtained by viewing the object OB from the viewpoint Vp1 and a distance from the viewpoint Vp1 to each point on the object OB.
  • the detection unit 2B may detect the object OB at a predetermined viewing angle.
  • the detection unit 2B may detect the object OB with a predetermined line of sight (eg, a single line of sight).
  • FIG. 3A is a diagram illustrating an example of the detection unit 2B.
  • the detection unit 2B includes, for example, an imaging unit 11 (second imaging unit) and a distance measuring unit 12.
  • the imaging unit 11 images the object OB from the viewpoint Vp1, and outputs data of an image (second captured image) of the object OB as a detection result.
  • the imaging range (eg, field of view, angle of view) of the imaging unit 2A (first imaging unit) is, for example, wider than the imaging range (eg, field of view, angle of view) of the imaging unit 11 (first imaging unit).
  • the detection result of the detection unit 2B includes, for example, image data of the detected object OB.
  • the distance measuring unit 12 detects the distance from the viewpoint Vp1 (see FIG.
  • the detection unit 2B may not include the imaging unit 11 or the distance measurement unit 12.
  • the detection system 50 may use the imaging unit 2 ⁇ / b> A instead of the imaging unit 11.
  • the imaging unit 11 may image a space including the light source that irradiates the object OB with illumination light and the object OB.
  • the detection system 50 may use the imaging result of the imaging unit 11 as the first captured image, and may not include the imaging unit 2A, for example.
  • the imaging unit 11 includes an imaging optical system 13 and an imaging element 14.
  • the imaging optical system 13 forms an image of the object OB.
  • the imaging optical system 13 is held in, for example, a lens barrel and attached to the main body 10 (see FIG. 1) together with the lens barrel.
  • the imaging optical system 13 and the lens barrel are, for example, interchangeable lenses and can be detached from the main body unit 10.
  • the imaging optical system 13 and the lens barrel may be built-in lenses.
  • the lens barrel may be a part of the main body 10 or may not be removable from the main body 10.
  • the image sensor 14 is, for example, a CMOS image sensor or a CCD image sensor in which a plurality of pixels are two-dimensionally arranged.
  • the image sensor 14 is accommodated in the main body 10, for example.
  • the image sensor 14 captures an image formed by the imaging optical system 13.
  • the imaging result (detection result) of the imaging device 14 includes, for example, information on the gradation value for each color of each pixel (eg, RGB data).
  • the imaging element 14 outputs the imaging result in a data format of a full color image.
  • the imaging unit 11 may detect the direction and intensity of a light beam from the object OB, such as a light field camera.
  • the distance measuring unit 12 detects the distance from each point on the surface of the object OB.
  • the distance measuring unit 12 detects the distance by, for example, the TOF (time of flight) method.
  • the distance measuring unit 12 may detect the distance by other methods.
  • the distance measuring unit 12 may include a laser scanner and detect a distance by laser scanning.
  • the distance measuring unit 12 may project a predetermined pattern on the object OB and measure the distance based on the detection result of the pattern.
  • the distance measuring unit 12 may include a phase difference sensor and detect a distance by a phase difference method.
  • the distance measuring unit 12 may detect the distance by a DFD (depth from defocus) method.
  • the distance measuring unit 12 may use at least one of the imaging optical system 13 and the imaging element 14 of the imaging unit 11.
  • the distance measuring unit 12 includes, for example, an irradiation unit 15, an imaging optical system 16, an image sensor 17, and a controller 18.
  • the irradiation unit 15 can irradiate the object OB with infrared light.
  • the irradiation unit 15 is controlled by the controller 18.
  • the controller 18 changes the intensity of the infrared light irradiated from the irradiation unit 15 with time (for example, amplitude modulation).
  • the imaging optical system 16 forms an image of the object OB.
  • the imaging optical system 16 may be at least a part of an interchangeable lens, or may be at least a part of a built-in lens.
  • the image sensor 17 is, for example, a CMOS image sensor or a CCD image sensor.
  • the image sensor 17 has sensitivity at least in the wavelength band of light irradiated by the irradiation unit 15.
  • the image sensor 17 is controlled by the controller 18 and detects infrared light reflected and scattered by the object OB.
  • the image sensor 17 captures an image formed by the imaging optical system 16.
  • the controller 18 detects the distance (depth) from each point on the surface of the object OB to the image sensor 17 using the detection result by the image sensor 17. For example, the flight time of light incident on the image sensor 17 from a point on the surface of the object OB changes according to the depth of this point. The output of the image sensor 17 changes according to the flight time, and the controller 18 calculates the depth based on the output of the image sensor 17, for example. For example, the controller 18 calculates the depth for each partial region (eg, one pixel, a plurality of pixels) of the image captured by the image sensor 17, and calculates the depth information by associating the position of the region with the depth. (Generate).
  • partial region eg, one pixel, a plurality of pixels
  • the depth information includes, for example, information that associates the position of a point on the surface of the object OB and the distance (depth, depth) from this point to the detection device 1a (eg, the distance measuring unit 12).
  • the depth information includes, for example, information (eg, depth image) indicating a depth distribution (eg, depth map) in the object OB.
  • FIG. 3B and FIG. 3C are diagrams showing the illumination device IL.
  • the illumination device IL irradiates the space including the object OB with the illumination light L1.
  • the irradiation direction of the illumination light L1 on the object OB is variable.
  • the illuminating device IL includes a plurality of light sources 19 like an LED matrix, and changes the irradiation direction by switching a light source to be lit among the plurality of light sources 19.
  • the light source 19a among the plurality of light sources 19 is turned on, and the other light sources are turned off.
  • FIG. 3B in the illumination device IL, the light source 19a among the plurality of light sources 19 is turned on, and the other light sources are turned off.
  • the illumination device IL in the illumination device IL, the light source 19b among the plurality of light sources 19 is turned on, and the other light sources are turned off.
  • the illumination device IL can control lighting and extinguishing of the illumination light L1 to be irradiated, an irradiation direction, illuminance, and the like.
  • the illumination device IL is connected to the control unit 9 (see FIG. 1) of the detection device 1a so as to be communicable by wire or wireless, for example.
  • the control unit 9 supplies a control signal to the illumination device IL, and the illumination device IL switches on / off of each of the plurality of light sources 19 based on the control signal from the control unit 9, for example.
  • the control unit 9 causes the imaging unit 2A and the imaging unit 11 of the detection unit 2B to perform imaging in synchronization with the irradiation of the illumination light L1.
  • the control unit 9 stores the captured image data from each of the imaging unit 2A and the imaging unit 11 in the storage unit 7 in association with the irradiation condition of the illumination device IL.
  • the irradiation conditions of the illumination device IL include, for example, the irradiation direction of the illumination light L1 (for example, identification information of the light source that has been turned on).
  • the control unit 9 causes the imaging unit 2 ⁇ / b> A and the imaging unit 11 to perform imaging of the object OB without causing the illumination device IL to emit the illumination light L ⁇ b> 1, and causes the storage unit 7 to store the captured image data.
  • the control unit 9 causes the imaging unit 2A and the imaging unit 11 to perform imaging of the object OB in a state where the illumination device IL is irradiated with the illumination light L1, and irradiates the captured image data and the illumination light L1.
  • the identification information of the light source is associated and stored in the storage unit 7.
  • the illumination device IL may change the irradiation direction of the illumination light L1 by changing at least one of its position and posture.
  • the illumination light L1 irradiated to the object OB is, for example, reflected at least partially and emitted from the object OB.
  • the ratio between the amount of the reflected light L3 and the illumination light L1 varies depending on, for example, the optical characteristics (reflectance, scattering rate, absorption rate, transmittance, etc.) of the object surface.
  • the reflected light L3 includes, for example, a regular reflection component L3a and a scattering component L3b.
  • the scattering component L3b for example, the light intensity distribution is expressed by a Gaussian distribution or the like around the normal direction of the object surface at the incident position of the illumination light L1 in the object (eg, the object OB).
  • the regular reflection component L3a has a maximum light intensity in a direction in which the illumination light L1 is irradiated and regularly reflected with respect to the incident position on the object, and has a smaller angular dispersion than the scattering component L3b (eg, half-value width). Is a small distribution.
  • the intensity of the reflected light L3 directed in each direction (angular direction) around the incident position on the object varies depending on, for example, the ratio between the scattering component L3b and the regular reflection component L3a.
  • the ratio of the scattering component L3b to the reflected light L3 varies depending on, for example, the optical characteristics (eg, scattering rate, scattering coefficient) of the object surface.
  • the ratio of the scattering component L3b to the reflected light L3 is high when the object surface is rough (roughness is high), and is low when the object surface is close to a smooth surface (eg, mirror surface).
  • the brightness of the object surface in the captured image captured by the imaging unit 11 varies depending on, for example, the irradiation direction of the illumination light L1.
  • the regular reflection component L3a does not enter the imaging unit 11, and a part of the scattering component L3b enters the imaging unit 11.
  • part of the regular reflection component L3a and the scattering component L3b is incident.
  • the brightness of the portion corresponding to the incident position of the illumination light L1 in the object is brighter than that in FIG. 3B in the case of FIG.
  • the information calculation unit 3 includes, for example, a digital signal processor (DSP).
  • DSP digital signal processor
  • the information calculation unit 3 calculates at least one of the shape information and texture information of the object OB using the detection result (eg, depth information) of the detection unit 2B.
  • the distance measurement unit 12 generates depth information.
  • the information calculation unit 3 may generate depth information based on the depth detected by the distance measurement unit 12. Good.
  • the information calculation unit 3 calculates, for example, point group data including coordinates of a plurality of points on the object OB based on the detection result of the detection unit 2B as shape information.
  • the information calculation unit 3 calculates point cloud data using the detection result (eg, depth information) of the distance measurement unit 12 (point cloud data processing). For example, the information calculation unit 3 calculates the point cloud data by perspective conversion from a distance image (depth image) indicated by the depth information to a flat image.
  • the information calculation unit 3 stores the calculated point cloud data in the storage unit 7, for example. Note that when the field of view is different between the imaging unit 11 and the distance measurement unit 12, the information calculation unit 3 can detect the detection result of the distance measurement unit 12 from the field of view of the imaging unit 11 by perspective transformation (projection transformation) or the like.
  • the information calculation unit 3 may perform the perspective conversion using a parameter that depends on the positional relationship between the field of view of the imaging unit 11 and the field of view of the distance measuring unit 12 (eg, the position of the viewpoint, the direction of the line of sight). Good.
  • the information calculation unit 3 generates surface information including the coordinates of a plurality of points on the object OB and connection information between the plurality of points as shape information based on the detection result of the detection unit 2B.
  • the surface information is, for example, polygon data, vector data, draw data, or the like.
  • the connection information includes, for example, information that associates points at both ends of a line corresponding to a ridge line (eg, edge) of the object OB, and information that associates a plurality of lines corresponding to the contour of the surface of the object OB.
  • the information calculation unit 3 estimates a surface between a point selected from a plurality of points included in the point cloud data and a nearby point, and converts the point cloud data into polygon data having plane information between the points. Convert (surface processing).
  • the information calculation unit 3 converts the point cloud data into polygon data by an algorithm using a least square method, for example. This algorithm may be, for example, an algorithm published in the point cloud processing library.
  • the information calculation unit 3 stores the calculated surface information in the storage unit 7.
  • the light source calculation unit 4 irradiates illumination light using a first captured image (for example, a whole sky image) obtained by imaging a space including the light source 19 that irradiates the object OB with the illumination light L1 and the object OB.
  • the light source information of the light source 19 to be calculated is calculated and estimated.
  • the light source information includes, for example, the position of the light source that irradiates the illumination light L1 relative to the object, the direction in which light is emitted from the light source to the object (irradiation direction), the wavelength of the light emitted from the light source, Information on at least one item among the types of light sources is included.
  • the light source calculation unit 4 estimates, for example, the relative position of a light source (for example, the light source 19 in FIG.
  • the light source calculation unit 4 detects, for example, the light source 19 of the illumination device IL that appears in the whole sky image.
  • the light source calculation unit 4 detects the azimuth of the light source 19 with respect to the viewpoint of the imaging unit 2A using, for example, an all-sky image projected on a spherical surface centered on the viewpoint of the imaging unit 2A.
  • the light source calculation unit 4 calculates the position information of the light source 19 using, for example, the orientation of the light source 19 with respect to the viewpoint of the imaging unit 2A and the position information of the viewpoint of the imaging unit 2A.
  • the position information of the viewpoint of the imaging unit 2A is information that is determined by the arrangement of the imaging unit 2A and is known in advance.
  • the light source calculation unit 4 may calculate the light source information using, for example, a model assuming Lambertian reflection, a model including an albedo estimation, and the like. For example, the light source calculation unit 4 uses the pixel value of each pixel of the image captured by the imaging unit 11 to use the scattering component L3b (see FIG. 3) from the object OB and the regular reflection component L3a (from the object OB). (See FIG. 3). In addition, the light source calculation unit 4 may calculate the direction in which light is incident on the object OB from the light source using, for example, the estimation result of the specular reflection component and the shape information on the object OB.
  • the light source calculation unit 4 calculates the light source information of the illumination light L1 by separating the illumination light L1 from the ambient light L2, for example.
  • the light source calculation unit 4 calculates the light source information by comparing and calculating the all-sky image in the state irradiated with the illumination light L1 and the all-sky image in the state not irradiated with the illumination light L1. .
  • the light source calculation unit 4 obtains a difference between the whole sky image in a state where the irradiation of the illumination light L1 is stopped and the whole sky image in a state where the illumination light L1 is emitted, so that the illumination light L1 for the object OB is obtained. Extract the influence (exclude the influence of the ambient light L2).
  • the detection device 1a does not need to detect the object OB in a dark room or the like, and can easily acquire the light source information.
  • the light source calculation unit 4 causes the storage unit 7 to store the calculated light source information.
  • the light source calculation unit 4 may generate an image in which the influence of the illumination light L1 is reduced from a plurality of all-sky images.
  • the light source calculation unit 4 causes the storage unit 7 to store image data obtained by reducing the influence of the illumination light L1 from the whole sky image.
  • the communication unit 8 may transmit at least one of the whole sky image in a state where the illumination light L1 is not irradiated and the image obtained by reducing the influence of the illumination light L1 from the whole sky image to the outside.
  • Such an image is, for example, global illumination information (scene information) including information around the object OB, and can be used as a background when rendering the modeled object OB.
  • the characteristic calculation unit 5 calculates surface characteristic information of the object OB.
  • the surface characteristic information includes, for example, optical characteristics for each part of the object OB, and the optical characteristics include at least one of reflectance, transmittance, scattering rate, and absorption rate.
  • the surface characteristic information is, for example, a part of texture information, and the texture information is, for example, pattern information indicating a pattern on the surface of the object OB, light source information of the illumination light L1 that illuminates the object OB, and information on the object OB.
  • Information on at least one item of surface characteristic information indicating optical characteristics of the surface is included.
  • the characteristic calculation unit 5 calculates, for example, at least one of BRDF (Bi-directional Reflectance Distribution Function) and SVBRDF (Spatially Variable Variance Reflection Distribution Function) as the surface characteristic information.
  • the characteristic calculation unit 5 calculates the surface characteristic information using the captured image obtained by capturing the object OB by changing the light source information, the shape information, and the irradiation direction of the illumination light L1.
  • the characteristic calculation unit 5 has a shape indicated by the shape information (eg, a normal direction on the surface of each part of the object OB), an irradiation direction of the illumination light L1 indicated by the light source information, and the illumination light L1.
  • Surface characteristic information is calculated using a captured image corresponding to the irradiation direction.
  • the characteristic calculation unit 5 uses the calculation result of the light source calculation unit 4 (eg, the irradiation direction of the illumination light L1) as the light source information of the illumination light L1.
  • the characteristic calculation unit 5 uses the calculation result of the information calculation unit 3 as the shape information.
  • the characteristic calculation unit 5 uses the imaging result of the imaging unit 11 as a captured image obtained by capturing the object OB by changing the irradiation direction of the illumination light L1.
  • the imaging unit 11 detects the direction of the light beam (irradiation direction of the illumination light L1) and the intensity as in the light field camera, the irradiation direction of the illumination light L1 is changed to a plurality of directions, and imaging is performed for each irradiation direction.
  • the characteristic calculation unit 5 may use the imaging result (eg, all-sky image) of the imaging unit 2A as a captured image obtained by capturing the object OB while changing the irradiation direction of the illumination light L1. For example, the characteristic calculation unit 5 calculates surface characteristic information using a captured image corresponding to the irradiation direction of the illumination light L1.
  • the characteristic calculation unit 5 calculates surface characteristic information by, for example, an inverse rendering technique. For example, the characteristic calculation unit 5 calculates the surface characteristic information by solving the relational expression among the optical characteristic, the shape information, and the light source information, with the optical characteristic for each part of the object OB as an unknown. For example, the characteristic calculation unit 5 calculates the surface characteristic information by solving a relational expression formed using SVBRDF as an unknown quantity from the inverse rendering basic expression.
  • the BDRF vector of the known material is represented by ⁇ j with a tilde shown in the following formula (1). j is a subscript representing the type of material, and m is the number of material types.
  • the polar angle of the viewpoint Vp in the latitude direction of polar coordinates with the object as a pole, the declination angle of the light source in the latitude direction, and the declination angle between the viewpoint Vp and the light source in the longitude direction are each in 90 steps (eg, in increments of 1 ° )
  • the BRDF vector is a 90 ⁇ 90 ⁇ 90 ⁇ three-dimensional vector.
  • the basis vector Ki of the m BRDF vectors is obtained as a vector that minimizes the following equation (2) by principal component analysis (PCA), for example.
  • a calculation target part As a method of acquiring information on a target part (hereinafter referred to as a calculation target part) for calculating surface characteristic information in the object OB, for example, by changing the irradiation direction of a light source (eg, illumination light L1), for each irradiation direction
  • pixel data observation pixel data
  • pixel data is acquired from the same pixel corresponding to the calculation target portion using a plurality of captured images.
  • each of a calculation object part and a part whose optical characteristics (surface characteristics) can be regarded as the same as the calculation object part on the object OB.
  • the positional relationship eg, irradiation direction
  • the positional relationship with the light source is known from the light source information
  • the object OB The normal direction in each part is known from the shape information
  • the positional relationship between each part of the object OB and the viewpoint Vp1 is known from the shape information. Equation (3) below is observation pixel data having the same reflection characteristics.
  • Formula (3) is, for example, a cosine component with respect to the normal direction of the distance between each part of the object OB and the viewpoint Vp1, and each part of the object OB and the light source for each part of the object OB viewed from the viewpoint Vp1. It is obtained by correcting the cosine component with respect to the distance normal direction.
  • the following formula (4) is a formula used for calculation of surface characteristic information.
  • the left side of Expression (4) corresponds to the observation pixel data of Expression (3).
  • the matrix on the right side of Expression (4) is an array in the row direction with the basis vector Ki shown in Expression (2) as a column vector.
  • the vector of the coefficient Wn can be obtained.
  • the vector of the coefficient Wn may be calculated by a technique using optimization such as a least square method.
  • the BDRF for an arbitrary angle can be calculated using the basis vector Ki.
  • the characteristic calculation unit 5 sets the optical characteristic of each part of the object OB as an unknown and solves a relational expression (eg, Expression (4)) between the optical characteristic, the shape information, and the light source information. Calculate surface property information.
  • the characteristic calculation unit 5 stores the calculated surface characteristic information in the storage unit 7.
  • the characteristic calculation unit 5 calculates surface characteristic information by solving a relational expression for the first portion of the object OB.
  • the first part is, for example, a part where information (eg, observation pixel) necessary for solving the relational expression is satisfied.
  • the characteristic calculation unit 5 does not calculate the surface characteristic information based on the relational expression for the second part different from the first part in the object OB.
  • the second part is, for example, a part where information necessary for solving the relational expression (eg, the number of observation pixels) is insufficient.
  • the characteristic calculation unit 5 may calculate the optical characteristic of the second part by interpolation using the optical characteristic of the first part.
  • the characteristic calculation unit 5 emits the illumination light L1 from the surface characteristic information (eg, a plurality of surface characteristic information with different imaging viewpoints). The direction may be calculated.
  • the detection apparatus 1 does not need to calculate the surface characteristic information of the target object OB, and may not include the characteristic calculation unit 5.
  • the position calculation unit 31 calculates and estimates first position information indicating the positional relationship between the object OB and the viewpoint Vp1 using the light source information.
  • the first position information is used for integration of the first model information and second model information including shape information obtained by detecting the object OB from the viewpoint Vp2 (second viewpoint).
  • the position calculation unit 31 calculates the positional relationship between the first viewpoint (viewpoint Vp) and the object OB using the irradiation direction of the illumination light L1 on the object OB as light source information.
  • the positional relationship between the viewpoint of the imaging unit 2A eg, the first captured image
  • the viewpoint of the detection unit 2B is known in advance, and the azimuth of the light source is known from the viewpoint of the imaging unit 2A from the light source information.
  • the 31 can estimate the position of the light source 19 with respect to the viewpoint (viewpoint Vp) of the detection unit 2B.
  • the information calculation unit 3 calculates the positional relationship between the first viewpoint (viewpoint Vp) and the object OB
  • the position calculation unit 31 calculates the first viewpoint (viewpoint Vp) calculated by the information calculation unit 3.
  • the position calculation unit 31 may calculate the above-described positional relationship using a plurality of light source information obtained from a plurality of first captured images (eg, all-sky images) having different irradiation directions of the illumination light L1.
  • the first captured image used by the position calculation unit 31 may be a single captured image in which the irradiation direction of the illumination light L1 is one type.
  • the irradiation direction of the illumination light L1 may be one direction.
  • the imaging unit 2A acquires a captured image (eg, all-sky image) including the object OB and the detection device (eg, the detection device 1a), and the position calculation unit 31 obtains information obtained from the captured image. It may be used to calculate the above-described positional relationship.
  • the imaging unit 2A acquires a captured image (e.g., a whole sky image) including the light source 19 and the viewpoint Vp (e.g., the detection device 1a), and the position calculation unit 31 uses information obtained from the captured image.
  • a captured image e.g., a whole sky image
  • the viewpoint Vp e.g., the detection device 1a
  • the position calculation unit 31 uses information obtained from the captured image.
  • the detection device 1b has the same configuration as the detection device 1a, for example.
  • the detection device 1b calculates second position information indicating the positional relationship between the object OB and the viewpoint Vp2.
  • the communication unit A of the detection device 1a receives the second model information and the second position information from the detection device 1b.
  • the position calculation unit 31 may calculate the positional relationship between the illumination device IL (light source 19) and the viewpoint Vp1 using the light source information. Further, the detection device 1b may calculate the positional relationship between the illumination device IL (light source 19) and the viewpoint Vp2 using the light source information. In this case, for example, the model integration unit 32 may calculate the positional relationship between the viewpoint Vp1 and the viewpoint Vp2 from the positional relationship between the viewpoint Vp1 and the viewpoint Vp2 with respect to the illumination device IL (light source 19). The model integration unit 32 may integrate the first model information and the second model information using the calculated positional relationship between the viewpoint Vp1 and the viewpoint Vp2.
  • the model integration unit 32 integrates the first model information and the second model information using the first position information and the second position information.
  • the model integration unit 32 for example, the relationship between the object OB calculated by the position calculation unit 31 of the detection device 1a and the predetermined irradiation direction of the illumination light L1, and the object OB calculated by the position calculation unit 31 of the detection device 1b.
  • the second model information is converted into the same coordinate system as the first model information so that the relation between the illumination light L1 and the predetermined irradiation direction of the illumination light L1 matches.
  • the model integration unit 32 integrates the model information by adding the first model information and the coordinate-converted second model information.
  • the model integration unit 32 stores the integrated model information in the storage unit A.
  • the model integration unit 32 may also integrate the first model information and the second model information by matching the shape feature points indicated by the first model information with the shape feature points indicated by the second model information. Good. For example, by using the first position information and the second position information, the model integration unit 32 can narrow the range for searching for feature points in the second model information similar to the feature points in the first model information, The processing load can be reduced.
  • the storage unit 7 is a nonvolatile memory such as a USB memory or a memory card, and stores various types of information.
  • the storage unit 7 may include a storage device built in the detection apparatus 1a, or may include a port to which a storage device that can be released from the detection apparatus 1a can be connected.
  • the communication unit 8 includes, for example, at least one of an I / O port such as a USB port or a LAN port, and a communication device that performs radio wave or infrared wireless communication.
  • the communication unit 8 is controlled by the control unit 9, reads information stored in the storage unit 7, and transmits the read information to an external device.
  • the communication unit 8 calculates the calculation result (eg, shape information) of the information calculation unit 3, the calculation result (eg, light source information) of the light source calculation unit 4, and the calculation result (eg, surface characteristic information) of the characteristic calculation unit 5. ),
  • the calculation result of the position calculation unit 31 (eg, first position information), and the processing result of the model integration unit 32 are transferred to an external device (eg, the information processing device 51 shown in FIG. 8 later).
  • the communication part 8 receives the information containing the instruction
  • the communication unit 8 can store the received information in the storage unit 7 and supply the received information to the control unit 9.
  • the control unit 9 controls each unit of the detection device 1a according to a command (control signal) from a user or an external device, for example.
  • the control unit 9 controls the illuminating device IL to execute an imaging process by the imaging unit 11 and a detection process by the detection unit 2B in synchronization with the irradiation of the illumination light L1.
  • This detection processing includes, for example, imaging processing by the imaging unit 11 and distance detection processing by the distance measuring unit 12.
  • the control unit 9 causes the storage unit 7 to store at least a part of the detection result of the imaging unit 11.
  • the control unit 9 causes the storage unit 7 to store at least a part of the detection result of the detection unit 2B.
  • the control unit 9 causes the information calculation unit 3 to calculate model information (eg, shape information) and causes the storage unit 7 to store at least part of the model information calculated by the information calculation unit 3.
  • the control unit 9 causes the light source calculation unit 4 to calculate light source information, and causes the storage unit 7 to store at least part of the light source information calculated by the light source calculation unit 4.
  • the control unit 9 causes the characteristic calculation unit 5 to calculate surface characteristic information, and causes the storage unit 7 to store at least part of the surface characteristic information calculated by the characteristic calculation unit 5.
  • the control unit 9 causes the position calculation unit 31 to calculate position information, and causes the storage unit 7 to store at least a part of the position information calculated by the position calculation unit 31.
  • the control unit 9 causes the model integration unit 32 to execute model integration processing and causes the storage unit A to store the processing result.
  • the control unit 9 controls the communication unit 8 to transmit at least a part of the information stored in the storage unit 7 to the external device.
  • the detection apparatus 1a can output at least part of the model information to a digital apparatus that can input and output digital information such as a barcode or a two-dimensional code.
  • a digital device can display or print digital information including at least a part of the model information on a display or paper.
  • a reader device provided with a reader unit (for example, an optical reader) that can read displayed or printed digital information can input the digital information to a storage area of the own device through the reader unit.
  • the reader device may further include a rendering processing unit described later.
  • the detection system 50 may include a reader device that includes the digital device and the reader unit.
  • the structure provided with said digital apparatus and reader apparatus may be sufficient as the detection apparatus 1a.
  • the communication unit 6 may transmit at least part of the model information to the digital device.
  • the digital device may generate digital information based on the received model information and output the digital information to a medium such as paper.
  • FIG. 4 is a flowchart illustrating an example of the detection method according to the embodiment.
  • the detection apparatus 1 calculates the light source information of the light source that irradiates the illumination light, using the first captured image obtained by imaging the space including the light source 19 that irradiates the object OB with the illumination light L1 and the object OB. .
  • the detection device 1 changes the irradiation direction of the illumination light L1 by the processing from step S1 to step S5, and the first captured image of a space including the light source 19 and the object OB corresponding to each irradiation direction (for example, An all-sky image) and a captured image (eg, a second captured image) of the object OB viewed from one viewpoint are acquired, and a plurality of light source information corresponding to each irradiation direction is calculated.
  • the imaging unit 2A may capture a plurality of all-sky images of the space including the object OB in a state where the irradiation of the illumination light L1 is stopped.
  • FIG. 5 is a flowchart showing an example of light source information calculation processing (step S4 in FIG. 4).
  • the light source calculation unit 4 acquires data of the first captured image (eg, all-sky image) from the storage unit 7.
  • the light source calculation unit 4 converts the whole sky image into a spherical image (see FIG. 2).
  • the light source calculation unit 4 separates the illumination light L ⁇ b> 1 from the ambient light L ⁇ b> 2 among the light (illumination light L ⁇ b> 1 and environmental light L ⁇ b> 2) irradiated on the object OB to obtain light source information of the illumination light L ⁇ b> 1.
  • the light source calculation unit 4 subtracts the all-sky image captured in the state where the illumination light L1 is not irradiated from the all-sky image captured in the state where the illumination light L1 is irradiated, so that the The illumination light L1 is separated from the ambient light L2. Note that the order of the processing in step S22 and the processing in step S23 may be reversed. After the illumination light L1 on the whole sky image is separated from the environmental light L2, the whole sky image is converted into an image on a spherical surface. Also good. In step S24, the light source calculation unit 4 calculates the light source information of the illumination light L1 on the object OB using the all-sky image on the spherical surface.
  • the control unit 9 determines whether or not to change the irradiation direction of the illumination light L1. For example, the control unit 9 determines to change the irradiation direction of the illumination light L1 when the imaging of the all-sky image has not been completed for a part of a plurality of predetermined irradiation directions (step S5; Yes). When it determines with changing the irradiation direction of the illumination light L1 (step S5; Yes), the control part 9 returns to the process of step S1, sets an irradiation direction to the next direction, and repeats the process after step S1.
  • the control unit 9 switches the irradiation direction of the illumination light L1, the imaging unit 2A captures a whole sky image for each irradiation direction, and the light source calculation unit 4 calculates light source information for each irradiation direction.
  • the process (light source information calculation process) of step S4 may be performed after acquiring an all-sky image for each of a plurality of irradiation directions.
  • the detection apparatus 1 repeatedly performs the processing from step S1 to step S5 excluding the processing of step S4 to accumulate all-sky image data, and the light source calculation unit 4 uses the accumulated all-sky image data.
  • the light source information in each irradiation direction may be calculated in order.
  • step S5 for example, the control unit 9 determines that the irradiation direction of the illumination light L1 is not changed when the imaging of the whole sky image is completed for a plurality of predetermined irradiation directions (step S5; No).
  • step S6 the position calculation unit 31 calculates position information (first position information) using the light source information.
  • the detection unit 2B detects the object OB from the viewpoint Vp1.
  • the control unit 9 causes the imaging unit 11 to execute an imaging process in parallel (synchronized) with the imaging by the imaging unit 2A.
  • the control unit 9 causes the distance measuring unit 12 to detect the distance to the object OB.
  • the distance detection process by the distance measuring unit 12 may be performed in parallel with the image capturing process by the image capturing unit 2A or the image capturing process by the image capturing unit 11, or may be performed in parallel.
  • the information calculation unit 3 calculates the shape information of the object OB viewed from the viewpoint Vp1, using the detection result of the detection unit 2.
  • the information calculation unit 3 calculates point cloud data using the detection result (eg, depth information) of the distance measurement unit 12, and calculates surface information using the point cloud data.
  • the characteristic calculation unit 5 uses the shape information calculated by the information calculation unit 3, the light source information calculated by the light source calculation unit 4, and a plurality of captured images obtained by imaging the object OB while changing the irradiation direction.
  • the surface characteristic information of the object OB is calculated.
  • the plurality of captured images are, for example, images captured by the imaging unit 11 in step S2, but may be all-sky images captured by the imaging unit 2A in step S1, and are captured by the imaging unit 2A and the imaging unit 11. And a captured image.
  • FIG. 6 is a flowchart showing an example of the surface characteristic information calculation process (step S9) according to the embodiment.
  • the characteristic calculation unit 5 sets a calculation target portion of the object OB.
  • the calculation target portion may be, for example, one pixel or a plurality of pixels of the captured image, a mesh region surrounded by a line connecting three or more points included in the point cloud data in order, or included in the surface information. It may be a surface surrounded by three or more lines.
  • step S ⁇ b> 32 the characteristic calculation unit 5 calculates the shape information of the portion to be calculated, the light source information about each irradiation direction of the illumination light L ⁇ b> 1, and the captured image of the object OB corresponding to each irradiation direction (e.g., by the imaging unit 11). (Captured image) is acquired from the storage unit 7.
  • step 33 the characteristic calculation unit 5 determines whether or not the information for solving the relational expression (eg, the above expression (4)) is satisfied. For example, as described in Expression (4), the characteristic calculation unit 5 determines that the information for solving the relational expression is sufficient when the number of observation pixels is equal to or greater than the number of basis vectors (Step S33; Yes). ). When it is determined that the information for solving the relational expression is satisfied (step S33; Yes), the characteristic calculation unit 5 solves the relational expression with the surface characteristic information as an unknown in step S34. In step S35, the characteristic calculator 5 optimizes the unknown using an evaluation function.
  • the characteristic calculation unit 5 optimizes the unknown using an evaluation function.
  • This evaluation function is, for example, the difference between the image of the object OB obtained by the rendering process using the solution of the relational expression and the captured image used when solving the relational expression.
  • the characteristic calculator 5 optimizes the unknown so that the value of the evaluation function is minimized.
  • step S33 if it is determined that the relational expression information is not satisfied (insufficient) (step S33; No), or after the process of step S35 ends, in step S36, the characteristic calculation unit 5 It is determined whether there is a part to be calculated. For example, when the process of step S31 is not completed for a predetermined part, the characteristic calculation unit 5 determines that there is a part to be calculated next (step S36; Yes). If it is determined that there is a part to be calculated next (step S36; Yes), the characteristic calculation unit 5 returns to the process of step S31, sets the next part to be calculated, and repeats the processes after step S32. . In step S36, for example, when the process of step S31 is completed for a predetermined part, the characteristic calculation unit 5 determines that there is no part to be calculated next (step S36; No), and ends the series of processes. To do.
  • FIG. 7 is a flowchart showing another example of the calculation process of the surface characteristic information according to the embodiment.
  • the characteristic calculation unit 5 calculates the optical characteristics of other parts by interpolation using the optical characteristics obtained by solving the above relational expression.
  • the process of FIG. 7 is performed after the process of step S36 of FIG. 6, for example.
  • step S41 the characteristic calculation unit 5 sets a portion to be calculated.
  • step S42 the characteristic calculation unit 5 determines whether or not the optical characteristic has been calculated for the calculation target portion. When it is determined that the optical characteristic has not been calculated for the part to be calculated (step S42; No), the characteristic calculation unit 5 determines whether to calculate the optical characteristic by interpolation.
  • the characteristic calculation unit 5 determines to calculate the optical characteristic by interpolation when there are as many optical characteristic calculated parts as possible around the calculation target part (step S43; Yes). ). When it is determined that the optical characteristic is calculated by interpolation (step S43; Yes), the characteristic calculation unit 5 calculates the optical characteristic by interpolation in step S44.
  • step S44 the characteristic calculation unit 5 determines that the optical characteristic has been calculated in step S32 (step S42; No), or determines that the optical characteristic is not calculated by interpolation in step S43 (step S43; No), it is determined in step S45 whether or not there is a part to be calculated next. For example, when the process of step S41 is not completed for a predetermined part, the characteristic calculation unit 5 determines that there is a part to be calculated next (step S45; Yes). When it is determined that there is a part to be calculated next (step S45; Yes), the characteristic calculation unit 5 returns to the process of step S41, sets the next part to be calculated, and repeats the processes after step S42. . In step S45, for example, when the process of step S41 is completed for a predetermined part, the characteristic calculation unit 5 determines that there is no part to be calculated next (step S45; No), and ends the series of processes. To do.
  • the detection device 1a uses a detection unit that detects an object from a first viewpoint (eg, one viewpoint) and a detection result of the detection unit to detect the object at the first viewpoint.
  • Illumination light using an information calculation unit that calculates first model information including shape information of the object, and a plurality of all-sky images obtained by imaging the space including the object by changing the irradiation direction of the illumination light on the object.
  • the light source calculation unit for calculating the light source information, the first model information, and the second model information including shape information obtained by detecting the object from a viewpoint different from the first viewpoint (for example, the second viewpoint).
  • a position calculation unit that calculates the relative position between the viewpoints using the light source information may be provided.
  • FIG. 8 is a diagram illustrating a detection device and a detection system according to the embodiment.
  • the detection system A includes an information processing apparatus A that processes at least one of information output from the detection apparatus 1a and information output from the detection apparatus 1b.
  • the information processing device 51 is provided with, for example, an input device 52 and a display device 53.
  • the information processing apparatus 51 acquires information from the detection apparatus 1a through communication with the detection apparatus 1a.
  • the information processing device 51 acquires information from the detection device 1b through communication with the detection device 1b.
  • the information processing apparatus 51 performs the rendering process using at least a part of the information acquired from the detection apparatus 1a and the information acquired from the detection apparatus 1b.
  • the information processing apparatus 51 calculates estimated image data of the object OB viewed from this viewpoint.
  • the information processing device 51 supplies estimated image data to the display device 53 and causes the display device 53 to display the estimated image.
  • the input device 52 includes, for example, at least one of a sensor such as a keyboard, a mouse, a touch panel, and an acceleration sensor, a voice input device, and a touch pen.
  • the input device 52 is connected to the information processing device 51.
  • the input device 52 receives input of information from a user, for example, and supplies the input information to the information processing device 51.
  • the display device 53 includes, for example, a liquid crystal display or a touch panel display, and is connected to the information processing device 51.
  • the display device 53 displays an image (eg, an estimated image by rendering processing) based on the image data supplied from the information processing device 51.
  • the information processing apparatus 51 includes a communication unit 55, a storage unit 56, a model integration unit 32, a rendering processing unit 57, and a control unit 58.
  • the communication unit 55 includes, for example, at least one of a USB port, a network card, and a communication device that performs radio wave or infrared wireless communication.
  • the communication unit 55 can communicate with each of the communication unit 8 of the detection device 1a and the communication unit 8 of the detection device 1b.
  • the storage unit 56 includes, for example, a removable storage medium such as a USB memory, and a large-capacity storage device such as an external or built-in hard disk.
  • the storage unit 56 executes, for example, at least a part of data received through the communication unit 55, an imaging control program that controls at least one of the detection device 1a and the detection device 1b, and each process of the information processing device 51.
  • a processing program to be executed is stored.
  • the model integration unit 32 is the same as that in the first embodiment.
  • the information processing apparatus 51 receives first model information and first position information from the detection apparatus 1a, and receives second model information and second position information from the detection apparatus 1b.
  • the model integration unit 32 integrates the first model information and the second model information using the first position information and the second position information.
  • the detection apparatus 1a may include the model integration unit 32 or may not include the model integration unit 32.
  • the rendering processing unit 57 includes, for example, a graphics processing unit (Graphics Processing Unit; GPU).
  • the rendering processing unit 57 may be configured such that the CPU and the memory execute each process according to the image processing program.
  • the rendering processing unit 57 performs at least one of drawing processing, texture mapping processing, and shading processing.
  • the rendering processing unit 57 can calculate an estimated image (eg, a reconstructed image) obtained by viewing the shape defined in the shape information of the model information from an arbitrary viewpoint, for example.
  • the shape indicated by the shape information is referred to as a model shape.
  • the rendering processing unit 57 can reconstruct a model shape (eg, estimated image) from model information (eg, shape information) by, for example, a drawing process.
  • the rendering processor 57 performs a rendering process using surface characteristic information included in model information obtained by integrating the first model information and the second model information. For example, the rendering processing unit 57 stores the calculated estimated image data in the storage unit 56.
  • the rendering processing unit 57 can calculate an estimated image in which an image indicated by the texture information of the model information is pasted on the surface of an object on the estimated image, for example.
  • the rendering processing unit 57 can also calculate an estimated image in which a texture different from the object OB is pasted on the surface of the object on the estimated image.
  • the rendering processing unit 57 can calculate an estimated image in which a shadow formed by the light source indicated by the light source information of the model information is added to the object on the estimated image.
  • the rendering processing unit 57 can calculate an estimated image obtained by adding a shadow formed by an arbitrary light source to an object on the estimated image, for example.
  • the control unit 58 controls, for example, each unit of the information processing device 51, the detection device 1a, the detection device 1b, the illumination device IL, the input device 52, and the display device 53.
  • the control unit 58 controls the communication unit 55 to cause the detection device 1a and the detection device 1b to transmit commands (control signals) and setting information.
  • the control unit 58 causes the storage unit 56 to store information received from the detection device 1a and the detection device 1b by the communication unit 55.
  • the control unit 58 controls the rendering processing unit 57 to execute rendering processing.
  • the detection system 50 may not include the input device 52.
  • the detection system 50 may be configured such that various commands and information are input via the communication unit 8.
  • the detection system 50 may not include the display device 53.
  • the detection system 50 may output estimated image data generated by the rendering process to an external display device, and the display device may display the estimated image.
  • the calculation unit including the information calculation unit 3, the light source calculation unit 4, and the position calculation unit 31 includes, for example, a computer system.
  • the calculation unit reads a detection program stored in the storage unit 7 and executes various processes according to the detection program.
  • the detection program calculates first model information including shape information of the object at the first viewpoint using a detection result obtained by detecting the object from the first viewpoint on the computer; Calculating light source information of a light source using a plurality of first captured images obtained by imaging a space including a light source that irradiates illumination light (eg, illumination light L1) and an object, and first model information; As information used for integration with second model information including shape information obtained by detecting an object from a second viewpoint different from the first viewpoint, absolute information between the first viewpoint and the object is obtained using light source information. Or calculating a relative positional relationship.
  • This detection program may be provided by being recorded on a computer-readable storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】複数の検出装置間の相対位置を取得する。 【解決手段】検出装置は、対象物を第１視点から検出する検出部と、検出部の検出結果を用いて、第１視点における対象物の形状情報を含む第１モデル情報を算出する情報算出部と、対象物に対して照明光を照射する光源と対象物とを含む空間を撮像した第１撮像画像を用いて、光源の光源情報を算出する光源算出部と、第１モデル情報と、第１視点と異なる第２視点から対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、光源情報を用いて第１視点と対象物との位置関係を算出する位置算出部と、を備える。

Description

検出装置、検出システム、検出方法、及び検出プログラム
　本発明は、検出装置、検出システム、検出方法、及び検出プログラムに関する。
　複数の撮像装置により対象物を検出し、得られた複数の画像をコンピュータに入力し、対象物の三次元形状を取得する技術が提案されている（例えば、特許文献１参照）。
特開２０１０－１３４５４６号公報
　上述のような技術においては、複数の検出装置間の相対位置を取得可能であることが望まれる。
　本発明の第１の態様に従えば、対象物を第１視点から検出する検出部と、検出部の検出結果を用いて、第１視点における対象物の形状情報を含む第１モデル情報を算出する情報算出部と、対象物に対して照明光を照射する光源と対象物とを含む空間を撮像した第１撮像画像を用いて、光源の光源情報を算出する光源算出部と、第１モデル情報と、第１視点と異なる第２視点から対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、光源情報を用いて第１視点と対象物との位置関係を算出する位置算出部と、を備える検出装置が提供される。
　本発明の第２の態様に従えば、対象物を第１位置から検出する検出部と、検出部の検出結果を用いて、第１位置における対象物の形状情報又はテクスチャ情報を含む第１モデル情報を算出する情報算出部と、光源から対象物に対して光が照射される照射方向に基づいて、第１位置と対象物との位置関係を算出する位置算出部と、を備える検出装置が提供される。
　本発明の第３の態様に従えば、第１の態様の第１検出装置と、第２視点から対象物を検出して対象物の形状情報を含む第２モデル情報を算出し、照明光の照射方向と対象物の位置と視点との位置との関係を示す第２位置情報、及び第２モデル情報を送信する第２の検出装置と、位置算出部が算出した第１視点と対象物との位置関係を示す第１位置情報と第２位置情報とを用いて、第１モデル情報と第２モデル情報とを統合するモデル統合部と、を備える検出システムが提供される。
　本発明の第４の態様に従えば、対象物を第１視点から検出することと、検出の検出結果を用いて、第１視点における対象物の形状情報を含む第１モデル情報を算出することと、対象物に対して照明光を照射する光源と対象物とを含む空間を撮像した第１撮像画像を用いて、光源の光源情報を算出することと、第１モデル情報と、第１視点と異なる第２視点から対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、光源情報を用いて第１視点と対象物との位置関係を算出することと、を含む検出方法が提供される。
　本発明の第５の態様に従えば、コンピュータに、対象物を第１視点から検出した検出結果を用いて、第１視点における対象物の形状情報を含む第１モデル情報を算出することと、対象物に対して照明光を照射する光源と対象物とを含む空間を撮像した第１撮像画像を用いて、光源の光源情報を算出することと、第１モデル情報と、第１視点と異なる第２視点から対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、光源情報を用いて第１視点と対象物との位置関係を算出することと、を実行させる検出プログラムが提供される。
　本発明の第６の態様に従えば、第１の態様または第２の態様の検出装置と、検出装置から出力される情報を処理する情報処理装置と、を備える検出システムが提供される。
第１実施形態に係る検出装置、検出システムを示す図である。 第１実施形態に係る第１撮像画像を示す図である。 第１実施形態に係る検出部および照明装置を示す図である。 実施形態に係る検出方法を示すフローチャートである。 実施形態に係る第１撮像画像の撮像処理の例、光源情報の算出処理の例を示すフローチャートである。 実施形態に係る表面特性情報の算出処理の例を示すフローチャートである。 実施形態に係る表面特性情報の算出処理の他の例を示すフローチャートである。 第２実施形態に係る検出装置、検出システムを示す図である。
［第１実施形態］
　第１実施形態について説明する。図１は、実施形態に係る検出装置、検出システムを示す図である。検出システム５０は、複数の検出装置（検出装置１ａ、検出装置１ｂ）、及び照明装置ＩＬを備える。照明装置ＩＬは、対象物ＯＢに照明光Ｌ１を照射する。本実施形態における対象物ＯＢには、照明装置ＩＬによって制御される照明光Ｌ１の他に、例えば、室内灯からの光、自然光などの環境光Ｌ２が照射される。検出装置１ａ（第１検出装置）は、視点Ｖｐ１（第１視点）から対象物ＯＢを検出し、視点Ｖｐ１から見た対象物ＯＢのモデル情報（第１モデル情報）を算出する。検出装置１ｂ（第２検出装置）は、視点Ｖｐ１と異なる視点Ｖｐ２から対象物ＯＢを検出し、視点Ｖｐ２から見た対象物ＯＢのモデル情報（第２モデル情報）を算出する。検出システム５０は、第１モデル情報と第２モデル情報とを統合する。
　検出装置１ａおよび検出装置１ｂの少なくとも一方は、例えば撮像装置であり、検出領域（例、視野）内の対象物ＯＢを検出する。検出装置１ａおよび検出装置１ｂの少なくとも一方は、例えば、定点カメラでもよいし、手動または自動で視野を変更可能なカメラでもよく、携帯可能な情報端末（例、スマートフォン、タブレット、カメラ付き携帯電話）でもよい。検出装置１ａおよび検出装置１ｂは、それぞれ、対象物ＯＢを検出した結果を使って対象物ＯＢに関する情報の演算処理を行う。検出装置１ａおよび検出装置１ｂは、それぞれ、自端末の演算処理によって、対象物ＯＢの少なくとも一部をモデル化し、モデル情報（モデルデータ）を算出する。例えば、検出装置１ａおよび検出装置１ｂは、それぞれ、コンピュータグラフィック処理（ＣＧ処理）を実行し、モデル情報（例、ＣＧモデルデータ）を算出する。
　モデル情報は、例えば、対象物ＯＢの三次元形状を示す形状情報を含む。モデル情報は、対象物ＯＢのテクスチャ情報を含んでもよい。また、例えば、モデル情報は、３次元の点座標、その点座標の関連情報、該点座標及びその関連情報で規定された面のテクスチャ情報、画像全体の照明条件や光源情報などの画像の空間情報、及び形状情報としてのポリゴンデータの少なくとも一つを含む。テクスチャ情報は、例えば、対象物ＯＢの表面の文字や図形、パターン、凹凸を規定する情報、特定の画像、及び色彩（例、有彩色、無彩色）の少なくとも１つの情報を含む。検出装置１ａは、例えば、視点Ｖｐ１（例、所定の視点、第１視点、単一の視点、１方向）から見た対象物ＯＢを示すモデル情報を算出する。また、例えば、検出装置１ａは、対象物ＯＢに対して所定の角度における第１視点から見た対象物ＯＢを示すモデル情報を算出する。
　検出装置１ａは、例えば、撮像部２Ａと、検出部２Ｂと、情報算出部３と、光源算出部４と、特性算出部５と、位置算出部３１と、モデル統合部３２と、記憶部７と、通信部８と、制御部９と、本体部１０とを備える。本体部１０は、例えば、カメラボディ、ケース、筐体などである。検出部２Ｂ、情報算出部３、光源算出部４、特性算出部５、位置算出部３１、及びモデル統合部３２は、例えば、本体部１０に設けられる。
　撮像部２Ａ（第１撮像部）は、対象物ＯＢに対して照明光を照射する光源１９（後に図３に示す）と対象物とを含む空間を撮像する。撮像部２Ａの撮像結果（第１撮像画像）は、例えば全天画像を含む。例えば、撮像部２Ａは、全天球カメラであり、全天画像として３６０°のパノラマ画像を撮像する。全天画像は、撮像部２Ａの視点から、この視点を極とする極座標における２つの偏角方向（緯度方向および経度方向）のそれぞれについて３６０°の範囲を見渡した画像である。撮像部２Ａは、例えば、撮像した全天画像のデータ（全天画像データ）を記憶部７に記憶させる。以下の説明では、第１撮像画像が全天画像であるものとするが、第１撮像画像は、全天画像の一部でもよく、例えば、撮像部２Ａの視点を中心とする球の半分に相当する半球状の範囲にわたって撮像した画像でもよいし、該半球状の範囲以上で３６０°より小さい範囲で撮像した画像でもよい。また、第１撮像画像は、全天画像でなくてもよいし、全天画像の一部でなくてもよい。撮像部２Ａは、本体部１０に設けられてもよいし、本体部１０と別に設けられてもよい。また、検出装置１ａは撮像部２Ａを備えなくてもよく、例えば、検出システム５０において検出装置１ａと別の撮像装置であってもよい。
　図２は、全天画像を示す概念図である。全天画像Ｉｍａは、例えば、水平方向における対象物の周囲を３６０°の範囲にわたって撮像した画像である。例えば、全天画像Ｉｍａは、撮像部２Ａの視点とする球（天球）を全方位（経度方向、緯度方向のそれぞれにおいて３６０°の範囲）にわたって撮像した画像である。図中の符号Ｉｍ１～Ｉｍ５は、それぞれ、対象物の周囲の０°、９０°、１８０°、２７０°、３６０°の角度位置である。全天画像Ｉｍｂは、全天画像Ｉｍａにおける０°の角度位置Ｉｍ１と３６０°の角度位置Ｉｍ５とを一致させるように、全天画像Ｉｍａを円柱面に投影した画像である。また、全天画像Ｉｍｃは、全天画像Ｉｍｂの角度位置Ｉｍ１～Ｉｍ４の鉛直方向の上端が一致し、かつ、全天画像Ｉｍｂの角度位置Ｉｍ１～Ｉｍ４の鉛直方向の下端が一致するように、全天画像Ｉｍｂを球面に投影した画像である。
　図１の説明に戻り、検出部２Ｂは、例えば、視点Ｖｐ１から対象物ＯＢを光学的に検出する。検出部２Ｂは、例えば、視点Ｖｐ１から対象物ＯＢを見た画像と、視点Ｖｐ１から対象物ＯＢ上の各点までの距離との少なくとも一方を取得する。検出部２Ｂは、例えば、所定の視角で対象物ＯＢを検出してもよい。検出部２Ｂは、例えば、所定の視線（例、単一の視線）で対象物ＯＢを検出してもよい。
　図３（Ａ）は、検出部２Ｂの一例を示す図である。検出部２Ｂは、例えば、撮像部１１（第２撮像部）および測距部１２を含む。撮像部１１は、視点Ｖｐ１から対象物ＯＢを撮像して、検出結果として対象物ＯＢの画像（第２撮像画像）のデータなどを出力する。撮像部２Ａ（第１撮像部）の撮像範囲（例、視野、画角）は、例えば、撮像部１１（第１撮像部）の撮像範囲（例、視野、画角）よりも広い。検出部２Ｂの検出結果は、例えば、検出した対象物ＯＢの画像データを含む。測距部１２は、視点Ｖｐ１（図１参照）から対象物ＯＢ上の各点までの距離を検出する。なお、検出部２Ｂは、撮像部１１または測距部１２を含まなくてもよい。例えば、検出システム５０は、撮像部１１の代わりに撮像部２Ａを用いるものでもよい。また、撮像部１１は、対象物ＯＢに対して照明光を照射する光源と対象物ＯＢとを含む空間を撮像してもよい。この場合、検出システム５０は、撮像部１１の撮像結果を第１撮像画像として用いてもよく、例えば撮像部２Ａを備えなくてもよい。
　撮像部１１は、結像光学系１３および撮像素子１４を備える。結像光学系１３は、対象物ＯＢの像を形成する。結像光学系１３は、例えば鏡筒内に保持され、鏡筒とともに本体部１０（図１参照）に取り付けられる。結像光学系１３および鏡筒は、例えば交換レンズであり、本体部１０から取り外し可能である。結像光学系１３および鏡筒は、内蔵レンズでもよく、例えば鏡筒は、本体部１０の一部でもよいし、本体部１０から取り外し不能でもよい。
　撮像素子１４は、例えば、複数の画素が二次元的に配列されたＣＭＯＳイメージセンサ、あるいはＣＣＤイメージセンサである。撮像素子１４は、例えば本体部１０に収容される。撮像素子１４は、結像光学系１３が形成した像を撮像する。撮像素子１４の撮像結果（検出結果）は、例えば、各画素の色ごとの階調値の情報（例、ＲＧＢデータ）を含む。撮像素子１４は、例えば、撮像結果をフルカラー画像のデータ形式で出力する。なお、撮像部１１は、例えば、ライトフィールドカメラのように対象物ＯＢからの光線の方向および強度を検出するものでもよい。
　測距部１２は、対象物ＯＢの表面上の各点からの距離を検出する。測距部１２は、例えば、TOF（time of flight）法により距離を検出する。測距部１２は、その他の手法で距離を検出するものでもよい。例えば、測距部１２は、レーザスキャナを含み、レーザスキャンにより距離を検出するものでもよい。例えば、測距部１２は、対象物ＯＢに所定のパターンを投影し、このパターンの検出結果をもとに距離を測定するものでもよい。また、測距部１２は、位相差センサを含み、位相差法により距離を検出するものでもよい。また、測距部１２は、DFD(depth from defocus)法により距離を検出するものでもよい。DFD法などのように撮像を用いる場合、測距部１２は、撮像部１１の結像光学系１３と撮像素子１４との少なくとも一方を用いるものでもよい。
　測距部１２は、例えば、照射部１５、結像光学系１６、撮像素子１７、及びコントローラ１８を備える。照射部１５は、対象物ＯＢに赤外光を照射可能である。照射部１５は、コントローラ１８に制御される。コントローラ１８は、照射部１５から照射される赤外光の強度を時間変化させる（例、振幅変調する）。結像光学系１６は、対象物ＯＢの像を形成する。結像光学系１６は、結像光学系１３と同様に、交換レンズの少なくとも一部でもよいし、内蔵レンズの少なくとも一部でもよい。撮像素子１７は、例えば、ＣＭＯＳイメージセンサ、あるいはＣＣＤイメージセンサである。撮像素子１７は、少なくとも照射部１５が照射する光の波長帯に感度を有する。撮像素子１７は、例えば、コントローラ１８に制御され、対象物ＯＢで反射散乱した赤外光を検出する。例えば、撮像素子１７は、結像光学系１６が形成した像を撮像する。
　コントローラ１８は、撮像素子１７による検出結果を使って、対象物ＯＢの表面の各点から撮像素子１７までの距離（デプス）を検出する。例えば、対象物ＯＢの表面上の点から撮像素子１７に入射する光の飛行時間は、この点のデプスに応じて変化する。撮像素子１７の出力は飛行時間に応じて変化し、コントローラ１８は、例えば、撮像素子１７の出力をもとにデプスを算出する。コントローラ１８は、例えば、撮像素子１７が撮像した画像の一部の領域（例、１画素、複数の画素）ごとにデプスを算出し、この領域の位置とデプスとを関連付けて、デプス情報を算出（生成）する。デプス情報は、例えば、対象物ＯＢの表面上の点の位置と、この点から検出装置１ａ（例、測距部１２）までの距離（デプス、深度）とを関連付けた情報を含む。デプス情報は、例えば、対象物ＯＢにおけるデプスの分布（例、デプスマップ）を示す情報（例、デプス画像）を含む。
　次に、図３（Ｂ）および図３（Ｃ）は、照明装置ＩＬを示す図である。照明装置ＩＬは、対象物ＯＢを含む空間に照明光Ｌ１を照射する。照明装置ＩＬは、対象物ＯＢに対する照明光Ｌ１の照射方向が可変である。例えば、照明装置ＩＬは、ＬＥＤマトリクスのように複数の光源１９を備え、複数の光源１９のうち点灯する光源を切り替えることによって、照射方向を変化させる。例えば、図３（Ｂ）において、照明装置ＩＬは、複数の光源１９のうち光源１９ａが点灯しており、他の光源が消灯している。また、図３（Ｃ）において、照明装置ＩＬは、複数の光源１９のうち光源１９ｂが点灯しており、他の光源が消灯している。また、例えば、照明装置ＩＬは、照射する照明光Ｌ１の点灯及び消灯、照射方向および照度などを制御可能である。
　照明装置ＩＬは、例えば、検出装置１ａの制御部９（図１参照）と有線または無線によって通信可能に接続される。制御部９は、例えば、照明装置ＩＬに対して制御信号を供給し、照明装置ＩＬは、例えば、制御部９からの制御信号に基づいて複数の光源１９のそれぞれの点灯、消灯を切り替える。また、制御部９は、例えば、照明光Ｌ１の照射と同期して撮像部２Ａおよび検出部２Ｂの撮像部１１のそれぞれに撮像を実行させる。制御部９は、例えば、撮像部２Ａおよび撮像部１１のそれぞれからの撮像画像データと、照明装置ＩＬの照射条件とを関連付けて記憶部７に記憶させる。照明装置ＩＬの照射条件は、例えば、照明光Ｌ１の照射方向（例、点灯させた光源の識別情報）を含む。例えば、制御部９は、照明装置ＩＬから照明光Ｌ１を照射させない状態で、撮像部２Ａおよび撮像部１１のそれぞれに対象物ＯＢの撮像を実行させ、撮像画像データを記憶部７に記憶させる。また、制御部９は、照明装置ＩＬから照明光Ｌ１を照射された状態で、撮像部２Ａおよび撮像部１１のそれぞれに対象物ＯＢの撮像を実行させ、撮像画像データと照明光Ｌ１を照射した光源の識別情報とを関連付けて記憶部７に記憶させる。なお、照明装置ＩＬは、その位置と姿勢との少なくとも一方を変化させることで、照明光Ｌ１の照射方向を変化させるものでもよい。
　対象物ＯＢに照射された照明光Ｌ１は、例えば、その少なくとも一部が反射して対象物ＯＢから放射される。この反射光Ｌ３の光量と照明光Ｌ１との比率は、例えば、物体表面の光学特性（反射率、散乱率、吸収率、透過率など）によって変化する。反射光Ｌ３は、例えば、正反射成分Ｌ３ａと散乱成分Ｌ３ｂとを含む。散乱成分Ｌ３ｂは、例えば、物体（例、対象物ＯＢ）における照明光Ｌ１の入射位置での物体表面の法線方向を中心として、光強度分布がガウス分布などで表される。正反射成分Ｌ３ａは、例えば、物体における入射位置に対して照明光Ｌ１の照射方向と正反射の関係になる方向における光強度が極大となり、散乱成分Ｌ３ｂよりも角度分散が小さい（例、半値幅が小さい）分布である。
　物体上の入射位置の周囲の各方向（角度方向）へ向かう反射光Ｌ３の強度は、例えば、散乱成分Ｌ３ｂと正反射成分Ｌ３ａとの比率によって変化する。反射光Ｌ３に占める散乱成分Ｌ３ｂの比率は、例えば、物体表面の光学特性（例、散乱率、散乱係数）に応じて変化する。例えば、反射光Ｌ３に占める散乱成分Ｌ３ｂの比率は、物体表面が粗い（粗度が高い）場合に高くなり、物体表面が平滑面（例、鏡面）に近い場合に低くなる。撮像部１１が撮像した撮像画像における物体表面の明るさは、例えば、照明光Ｌ１の照射方向によって変化する。例えば、図３（Ｂ）において、正反射成分Ｌ３ａは撮像部１１に入射せず、散乱成分Ｌ３ｂの一部が撮像部１１に入射する。また、図３（Ｃ）において、正反射成分Ｌ３ａ、及び散乱成分Ｌ３ｂの一部が入射する。例えば、撮像部１１が撮像した撮像画像において、物体における照明光Ｌ１入射位置に相当する部分の明るさは、図３（Ｃ）の場合に図３（Ｂ）よりも明るい。
　図１の説明に戻り、情報算出部３は、例えば、デジタルシグナルプロセッサ（digital signal processor; DSP）を含む。情報算出部３は、検出部２Ｂの検出結果（例、デプス情報）を使って、対象物ＯＢの形状情報およびテクスチャ情報の少なくとも一方を算出する。なお、図３（Ａ）の説明では測距部１２がデプス情報を生成するものとしたが、情報算出部３は、測距部１２が検出したデプスをもとにデプス情報を生成してもよい。
　情報算出部３は、例えば、形状情報として、検出部２Ｂの検出結果をもとに対象物ＯＢ上の複数の点の座標を含む点群データを算出する。情報算出部３は、測距部１２の検出結果（例、デプス情報）を使って、点群データを算出する（点群データ処理）。例えば、情報算出部３は、デプス情報が示す距離画像（デプス画像）から平面画像への透視変換などにより、点群データを算出する。情報算出部３は、例えば、算出した点群データを記憶部７に記憶させる。なお、情報算出部３は、撮像部１１と測距部１２とで視野が異なる場合、例えば、測距部１２の検出結果を透視変換（射影変換）などによって、撮像部１１の視野から対象物ＯＢを検出した結果に変換してもよい。情報算出部３は、例えば、撮像部１１の視野と測距部１２の視野との位置関係（例、視点の位置、視線の向き）に依存するパラメータを使って、透視変換を実行してもよい。
　また、情報算出部３は、形状情報として、検出部２Ｂの検出結果をもとに対象物ＯＢ上の複数の点の座標と複数の点間の連結情報とを含むサーフェス情報を生成する。サーフェス情報は、例えばポリゴンデータ、ベクタデータ、ドローデータなどである。連結情報は、例えば、対象物ＯＢの稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報、及び対象物ＯＢの面の輪郭に相当する複数の線を互いに関連付ける情報を含む。情報算出部３は、例えば、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定し、点群データを点間の平面情報を持つポリゴンデータに変換する（サーフェス処理）。情報算出部３は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。情報算出部３は、例えば、算出したサーフェス情報を記憶部７に記憶させる。
　光源算出部４は、対象物ＯＢに対して照明光Ｌ１を照射する光源１９と対象物ＯＢとを含む空間を撮像した第１撮像画像（例、全天画像）を用いて、照明光を照射する光源１９の光源情報を算出して推定する。光源情報は、例えば、対象物を基準とした照明光Ｌ１を照射する光源の位置、該光源から対象物へ光が照射される方向（照射方向）、該光源から照射される光の波長、該光源の種類のうち少なくとも１項目の情報を含む。光源算出部４は、例えば、対象物に対する、照明光Ｌ１を照射する光源（例、図３の光源１９）の相対的な位置を推定する。光源算出部４は、例えば、全天画像に写っている照明装置ＩＬの光源１９を検出する。光源算出部４は、例えば、撮像部２Ａの視点を中心とする球面上に投影した全天画像を用いて、撮像部２Ａの視点に対する光源１９の方位を検出する。光源算出部４は、例えば、撮像部２Ａの視点に対する光源１９の方位、及び撮像部２Ａの視点の位置情報を用いて、光源１９の位置情報を算出する。撮像部２Ａの視点の位置情報は、例えば、撮像部２Ａの配置によって定まり、予め分かっている情報である。
　なお、光源算出部４は、例えば、ランバート反射を仮定したモデル、アルベド（Albedo）推定を含むモデルなどを利用して、光源情報を算出してもよい。例えば、光源算出部４は、撮像部１１が撮像した画像の各画素の画素値を用いて、対象物ＯＢからの散乱成分Ｌ３ｂ（図３参照）と、対象物ＯＢからの正反射成分Ｌ３ａ（図３参照）とを推定してもよい。また、光源算出部４は、例えば、対象物ＯＢで正反射成分の推定結果、及び形状情報を使って、光源から対象物ＯＢへ光が入射してくる方向を算出してもよい。
　光源算出部４は、例えば、照明光Ｌ１を環境光Ｌ２と分離して照明光Ｌ１の光源情報を算出する。例えば、光源算出部４は、照明光Ｌ１が照射された状態の全天画像と、照明光Ｌ１が照射されていない状態の全天画像とを比較して演算することによって、光源情報を算出する。例えば、光源算出部４は、照明光Ｌ１の照射を停止した状態の全天画像と、照明光Ｌ１を照射した状態の全天画像とで差分をとることによって、対象物ＯＢに対する照明光Ｌ１の影響を抽出（環境光Ｌ２の影響を排除）する。この場合、検出装置１ａは、例えば、対象物ＯＢを暗室などで検出しなくてもよく、簡易に光源情報を取得することができる。光源算出部４は、例えば、算出した光源情報を記憶部７に記憶させる。
　光源算出部４は、複数の全天画像から照明光Ｌ１の影響を低減した画像を生成してもよい。光源算出部４は、例えば、全天画像から照明光Ｌ１の影響を低減した画像のデータを記憶部７に記憶させる。通信部８は、照明光Ｌ１が照射されていない状態の全天画像と、全天画像から照明光Ｌ１の影響を低減した画像との少なくとも一方を外部へ送信してもよい。このような画像は、例えば、対象物ＯＢの周囲の情報を含んだグローバルイルミネーション情報（シーン情報）であり、モデル化された対象物ＯＢをレンダリングする際の背景などに利用可能である。
　特性算出部５は、対象物ＯＢの表面特性情報を算出する。表面特性情報は、例えば、対象物ＯＢの部分ごとの光学特性を含み、光学特性は、反射率、透過率、散乱率、及び吸収率の少なくとも１つを含む。表面特性情報は、例えば、テクスチャ情報の一部であり、テクスチャ情報は、例えば、対象物ＯＢの表面の模様を示すパターン情報、対象物ＯＢを照らす照明光Ｌ１の光源情報、及び対象物ＯＢの表面の光学特性を示す表面特性情報の少なくとも１項目の情報を含む。
　特性算出部５は、例えば、表面特性情報として、ＢＲＤＦ（Bi-directional Reflectance Distribution Function）とＳＶＢＲＤＦ(Spatially Varying Bidirectional Reflectance Distribution Function）との少なくとも一方を算出する。特性算出部５は、光源情報、形状情報、及び照明光Ｌ１の照射方向を変化させて対象物ＯＢを撮像した撮像画像を用いて、表面特性情報を算出する。特性算出部５は、対象物ＯＢの部分ごとに、形状情報が示す形状（例、対象物ＯＢの各部の表面における法線方向）、光源情報が示す照明光Ｌ１の照射方向、及び照明光Ｌ１の照射方向に応じた撮像画像を用いて表面特性情報を算出する。特性算出部５は、例えば、照明光Ｌ１の光源情報として光源算出部４の算出結果（例、照明光Ｌ１の照射方向）を用いる。特性算出部５は、例えば、形状情報として情報算出部３の算出結果を用いる。特性算出部５は、例えば、照明光Ｌ１の照射方向を変化させて対象物ＯＢを撮像した撮像画像として、撮像部１１の撮像結果を用いる。撮像部１１がライトフィールドカメラのように光線の方向（照明光Ｌ１の照射方向）と強度とを検出する場合、照明光Ｌ１の照射方向を複数の方向に変化させて各照射方向について撮像を行う場合と比較して、同等の情報を１回の撮像で取得することができる。この場合、例えば、複数の撮像を行う場合と比較して、撮像を行う間に照明装置ＩＬと対象物ＯＢと視点Ｖｐ１との相対的な位置ずれの影響を減らすことができる。特性算出部５は、照明光Ｌ１の照射方向を変化させて対象物ＯＢを撮像した撮像画像として、撮像部２Ａの撮像結果（例、全天画像）を用いてもよい。特性算出部５は、例えば、照明光Ｌ１の照射方向に応じた撮像画像を用いて表面特性情報を算出する。
　特性算出部５は、例えば、インバースレンダリングの手法によって表面特性情報を算出する。特性算出部５は、例えば、対象物ＯＢの部分ごとの光学特性を未知数として、光学特性と形状情報と光源情報との関係式を解くことによって、表面特性情報を算出する。例えば、特性算出部５は、インバースレンダリングの基本式からSVBRDFを未知数として立式された関係式を解くことによって、表面特性情報を算出する。ここで、既知材料のＢＤＲＦベクトルを下記の式（１）に示すチルダー付きのρｊで表す。ｊは、材料の種類を表す添え字であり、ｍは材料の種類の数である。例えば、物体を極とする極座標の緯度方向における視点Ｖｐの偏角、緯度方向における光源の偏角、及び経度方向における視点Ｖｐと光源との間の偏角をそれぞれ９０段階（例、１°刻み）とし、ＲＧＢの各色に対する光学特性を定義する場合、上記のＢＲＤＦベクトルは、９０×９０×９０×３次元のベクトルになる。
Figure JPOXMLDOC01-appb-M000001
　　上記のｍ個のＢＲＤＦベクトルの基底ベクトルＫｉは、例えば、主成分分析（ＰＣＡ）によって、下記の式（２）を最小化するベクトルとして求められる。
Figure JPOXMLDOC01-appb-M000002
　　対象物ＯＢにおいて表面特性情報を算出する対象の部分（以下、算出対象部という）の情報を取得する手法としては、例えば、光源（例、照明光Ｌ１）の照射方向を変化させて照射方向ごとに撮像した複数の撮像画像を用いて、算出対象部に相当する同一の画素から画素データ（観測画素データ）を取得する手法である。また、他の手法としては、例えば、１つの照射方向で撮像した撮像画像を用いて、対象物ＯＢ上で光学特性（表面特性）が算出対象部と同一とみなせる部分と算出対象部とのそれぞれに相当する画素から複数の画素データ（観測画素データ）を取得する手法である。また、上記の２つの手法を組み合わせる手法も用いられる。撮像画像の領域（例、１画素、複数の画素）に対応する対象物ＯＢの各部分に関して、例えば、光源との位置関係（例、照射方向）は、光源情報によって既知であり、対象物ＯＢの各部分における法線方向は、形状情報によって既知であり、対象物ＯＢの各部分と視点Ｖｐ１との位置関係は、形状情報によって既知である。下記の式（３）は、同一の反射特性の観測画素データである。式（３）は、例えば、視点Ｖｐ１から見た対象物ＯＢの各部分について、対象物ＯＢの各部分と視点Ｖｐ１との距離の法線方向に対するコサイン成分、及び対象物ＯＢの各部分と光源との距離法線方向に対するコサイン成分を補正することによって、得られる。
Figure JPOXMLDOC01-appb-M000003
　下記の式（４）は、表面特性情報の算出に用いられる式である。式（４）の左辺は、式（３）の観測画素データに相当する。式（４）の右辺の行列は、式（２）に示した基底ベクトルＫｉを列ベクトルとして、行方向に配列したものである。式（４）は、観測画素の数（左辺のベクトルの要素数）が基底ベクトルの数（右辺の行列の列数）以上であれば、係数Ｗｎのベクトルが求まる。係数Ｗｎのベクトルは、例えば、最小二乗法などの最適化を用いた手法で算出されてもよい。係数Ｗｎのベクトルが求まると、基底ベクトルＫｉを用いて任意の角度に対するＢＤＲＦが算出可能である。
Figure JPOXMLDOC01-appb-M000004
　このように、特性算出部５は、例えば、対象物ＯＢの部分ごとの光学特性を未知数として、光学特性と形状情報と光源情報との関係式（例、式（４））を解くことによって、表面特性情報を算出する。特性算出部５は、例えば、算出した表面特性情報を記憶部７に記憶させる。特性算出部５は、例えば、対象物ＯＢのうち第１部分に関して、関係式を解くことによって表面特性情報を算出する。第１部分は、例えば、関係式を解くのに必要な情報（例、観測画素）が充足している部分である。また、特性算出部５は、例えば、対象物ＯＢのうち第１部分と異なる第２部分に関して、関係式による表面特性情報の算出を行わない。第２部分は、例えば、関係式を解くのに必要な情報（例、観測画素の数）が不足している部分である。特性算出部５は、第２部分に関して、第１部分の光学特性を用いた補間によって光学特性を算出してもよい。また、特性算出部５は、関係式を解くのに必要な情報（例、観測画素）が得られる場合、表面特性情報（例、撮像視点の異なる複数の表面特性情報）から照明光Ｌ１の照射方向を算出してもよい。なお、検出装置１は、対象物ＯＢの表面特性情報を算出しなくてもよく、特性算出部５を備えなくてもよい。
　位置算出部３１は、光源情報を用いて、対象物ＯＢと視点Ｖｐ１との位置関係を示す第１位置情報を算出して推定する。第１位置情報は、第１モデル情報と、視点Ｖｐ２（第２視点）から対象物ＯＢを検出して得られる形状情報を含む第２モデル情報との統合に用いられる。位置算出部３１は、例えば、光源情報として対象物ＯＢに対する照明光Ｌ１の照射方向を用いて第１視点（視点Ｖｐ）と対象物ＯＢとの位置関係を算出する。例えば、撮像部２Ａ（例、第１撮像画像）の視点と検出部２Ｂの視点との位置関係は予めわかっており、光源情報から撮像部２Ａの視点から光源の方位がわかるので、位置算出部３１は、検出部２Ｂの視点（視点Ｖｐ）に対する光源１９の位置を推定することができる。また、情報算出部３は、例えば、第１視点（視点Ｖｐ）と対象物ＯＢとの位置関係を算出し、位置算出部３１は、情報算出部３が算出する第１視点（視点Ｖｐ）と対象物ＯＢとの位置関係と、視点Ｖｐと光源１９との位置関係とを用いることで、視点Ｖｐと対象物ＯＢと光源１９との位置関係を推定することもできる。なお、位置算出部３１は、照明光Ｌ１の照射方向が異なる複数の第１撮像画像（例、全天画像）から得られる複数の光源情報を用いて、上述の位置関係を算出してもよい。また、位置算出部３１が用いる第１撮像画像は、照明光Ｌ１の照射方向が１種類の１枚の撮像画像でもよく、例えば、照明光Ｌ１の照射方向は１方向でもよい。また、撮像部２Ａは、対象物ＯＢと検出装置（例、検出装置１ａ）とを含む撮像画像（例、全天画像）を取得し、位置算出部３１は、この撮像画像から得られる情報を用いて上述の位置関係を算出してもよい。また、撮像部２Ａは、光源１９と視点Ｖｐ（例、検出装置１ａ）とを含む撮像画像（例、全天画像）を取得し、位置算出部３１は、この撮像画像から得られる情報を用いて上述の位置関係を算出してもよい。検出装置１ｂは、例えば、検出装置１ａと同様の構成である。検出装置１ｂは、検出装置１ａと同様に、対象物ＯＢと視点Ｖｐ２との位置関係を示す第２位置情報を算出する。検出装置１ａの通信部Ａは、検出装置１ｂから第２モデル情報および第２位置情報を受信する。なお、位置算出部３１は、光源情報を用いて、照明装置ＩＬ（光源１９）と視点Ｖｐ１との位置関係を算出してもよい。また、検出装置１ｂは、光源情報を用いて、照明装置ＩＬ（光源１９）と視点Ｖｐ２との位置関係を算出してもよい。この場合、モデル統合部３２は、例えば、照明装置ＩＬ（光源１９）に対する視点Ｖｐ１、視点Ｖｐ２の位置関係から、視点Ｖｐ１と視点Ｖｐ２との位置関係を算出してもよい。モデル統合部３２は、算出した視点Ｖｐ１と視点Ｖｐ２との位置関係を用いて、第１モデル情報と第２モデル情報とを統合してもよい。
　モデル統合部３２は、第１位置情報と第２位置情報とを用いて、第１モデル情報と第２モデル情報とを統合する。モデル統合部３２は、例えば、検出装置１ａの位置算出部３１が算出した対象物ＯＢと照明光Ｌ１の所定の照射方向との関係と、検出装置１ｂの位置算出部３１が算出した対象物ＯＢと照明光Ｌ１の所定の照射方向との関係とが整合するように、第２モデル情報を第１モデル情報と同じ座標系に変換する。モデル統合部３２は、例えば、第１モデル情報と、座標変換した第２モデル情報との足し合わせによってモデル情報を統合する。モデル統合部３２は、例えば、統合したモデル情報を記憶部Ａに記憶させる。
　なお、モデル統合部３２は、第１モデル情報が示す形状の特徴点と、第２モデル情報が示す形状の特徴点とのマッチングによって、第１モデル情報と第２モデル情報とを統合してもよい。例えば、モデル統合部３２は、第１位置情報と第２位置情報とを用いることで、第１モデル情報における特徴点と類似する第２モデル情報における特徴点を探索する範囲を絞ることができ、処理の負荷を低減することができる。
　記憶部７は、例えばＵＳＢメモリ、メモリカードなどの不揮発性メモリであり、各種情報を記憶する。記憶部７は、検出装置１ａに内蔵される記憶デバイスを含んでいてもよいし、検出装置１ａからリリース可能な記憶デバイスを接続可能なポートを含んでいてもよい。
　通信部８は、例えば、ＵＳＢポートあるいはＬＡＮポートなどのＩ／Ｏポート、電波または赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部８は、制御部９に制御され、記憶部７に記憶されている情報を読み出し、読み出した情報を外部装置に送信する。例えば、通信部８は、情報算出部３の算出結果（例、形状情報）と、光源算出部４の算出結果（例、光源情報）と、特性算出部５の算出結果（例、表面特性情報）と、位置算出部３１の算出結果（例、第１位置情報）と、モデル統合部３２の処理結果との少なくとも一部を、外部装置（例、後に図８に示す情報処理装置５１）に送信する。また、通信部８は、例えば、外部装置からの指令を含む情報を受信する。通信部８は、受信した情報を記憶部７に記憶させること、受信した情報を制御部９に供給することができる。
　制御部９は、例えば、ユーザまたは外部装置からの指令（制御信号）により、検出装置１ａの各部を制御する。制御部９は、照明装置ＩＬを制御し、照明光Ｌ１の照射と同期して、撮像部１１による撮像処理、及び検出部２Ｂによる検出処理を実行させる。この検出処理は、例えば、撮像部１１による撮像処理、及び測距部１２による距離検出処理を含む。制御部９は、例えば、撮像部１１の検出結果の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、検出部２Ｂの検出結果の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、情報算出部３にモデル情報（例、形状情報）を算出させ、情報算出部３が算出したモデル情報の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、光源算出部４に光源情報を算出させ、光源算出部４が算出した光源情報の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、特性算出部５に表面特性情報を算出させ、特性算出部５が算出した表面特性情報の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、位置算出部３１に位置情報を算出させ、位置算出部３１が算出した位置情報の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、モデル統合部３２にモデル統合処理を実行させ、その処理結果を記憶部Ａに記憶させる。制御部９は、例えば、通信部８を制御し、記憶部７に記憶されている情報の少なくとも一部を外部装置へ送信させる。
　また、例えば、検出装置１ａは、モデル情報の少なくとも一部を、バーコードや２次元コードのようなデジタル情報を入出力できるデジタル装置に出力可能である。このようなデジタル装置は、モデル情報の少なくとも一部を含むデジタル情報をディスプレイや紙などに表示する又は印字することができる。表示された又は印字されたデジタル情報を読み取れるリーダー部（例、光学式リーダー）を備えるリーダー装置は、該リーダー部を介して該デジタル情報を自装置の記憶領域などに入力することができる。また、リーダー装置は、後述のレンダリング処理部を更に備えていてもよい。なお、上記の検出システム５０は、上記のデジタル装置やリーダー部を備えるリーダー装置を備える構成であってもよい。また、検出装置１ａは、上記のデジタル装置やリーダー装置を備える構成であってもよい。検出装置１ａが上記のデジタル装置を備える場合に、通信部６はモデル情報の少なくとも一部を上記のデジタル装置に送信してもよい。また、上記のデジタル装置は、受信したモデル情報をもとにデジタル情報を生成し、このデジタル情報を紙などの媒体に出力してもよい。
　次に、上述の構成の検出装置１ａの動作に基づき、本実施形態に係る検出方法について説明する。図４は、実施形態に係る検出方法の一例を示すフローチャートである。検出装置１は、対象物ＯＢに対して照明光Ｌ１を照射する光源１９と対象物ＯＢとを含む空間を撮像した第１撮像画像を用いて、照明光を照射する光源の光源情報を算出する。例えば、検出装置１は、ステップＳ１からステップＳ５の処理によって、照明光Ｌ１の照射方向を変えながら、各照射方向に応じた光源１９と対象物ＯＢとを含む空間の第１撮像画像（例、全天画像）および一視点から見た対象物ＯＢの撮像画像（例、第２撮像画像）を取得し、各照射方向に応じた複数の光源情報を算出する。なお、ステップＳ１の処理に先立ち、撮像部２Ａは、照明光Ｌ１の照射が停止された状態で対象物ＯＢを含む空間の複数の全天画像を撮像してもよい。
　図５は、光源情報の算出処理（図４のステップＳ４）の例を示すフローチャートである。図５のステップＳ２１において、光源算出部４は、記憶部７から第１撮像画像（例、全天画像）のデータを取得する。ステップＳ２２において、光源算出部４は、全天画像を球面上の画像（図２参照）に変換する。ステップＳ２３において、光源算出部４は、対象物ＯＢに照射される光（照明光Ｌ１、環境光Ｌ２）のうち照明光Ｌ１を環境光Ｌ２と分離して照明光Ｌ１の光源情報を得る。例えば、光源算出部４は、照明光Ｌ１が照射された状態で撮像された全天画像から、照明光Ｌ１が照射されていない状態で撮像された全天画像を差し引くことで、全天画像上の照明光Ｌ１を環境光Ｌ２と分離する。なお、ステップＳ２２の処理とステップＳ２３の処理は、順番が入れ替えられてもよく、全天画像上の照明光Ｌ１を環境光Ｌ２と分離した後に、全天画像を球面上の画像に変換してもよい。ステップＳ２４において、光源算出部４は、球面上の全天画像を用いて対象物ＯＢにおける照明光Ｌ１の光源情報を算出する。
　図４のステップＳ５において、制御部９は、照明光Ｌ１の照射方向を変更するか否かを判定する。制御部９は、例えば、予め定められた複数の照射方向の一部について全天画像の撮像が終了していない場合に、照明光Ｌ１の照射方向を変更すると判定する（ステップＳ５；Ｙｅｓ）。制御部９は、照明光Ｌ１の照射方向を変更すると判定した場合（ステップＳ５；Ｙｅｓ）、ステップＳ１の処理に戻り、照射方向を次の方向に設定し、ステップＳ１以降の処理を繰り返し行う。このように、制御部９は、照明光Ｌ１の照射方向を切り替えつつ、撮像部２Ａは、照射方向ごとに全天画像を撮像し、光源算出部４は、照射方向ごとに光源情報を算出する。なお、ステップＳ４の処理（光源情報算出処理）は、複数の照射方向のそれぞれについて全天画像を取得した後に行われてもよい。例えば、検出装置１は、ステップＳ４の処理を除いたステップＳ１からステップＳ５の処理を繰り返し行って全天画像のデータを蓄積し、光源算出部４は、蓄積された全天画像のデータを用いて各照射方向の光源情報を順に算出してもよい。
　ステップＳ５において、制御部９は、例えば、予め定められた複数の照射方向について全天画像の撮像が終了した場合に、照明光Ｌ１の照射方向を変更しないと判定する（ステップＳ５；Ｎｏ）。照明光Ｌ１の照射方向を変更しないと判定された場合（ステップＳ５；Ｎｏ）、ステップＳ６において、位置算出部３１は、光源情報を用いて位置情報（第１位置情報）を算出する。
　ステップＳ７において、検出部２Ｂは、対象物ＯＢを視点Ｖｐ１から検出する。例えば、制御部９は、撮像部２Ａによる撮像と並行（同期）して、撮像部１１に撮像処理を実行させる。また、制御部９は、対象物ＯＢまでの距離を測距部１２に検出させる。測距部１２による距離の検出処理は、撮像部２Ａによる撮像処理あるいは撮像部１１による撮像処理と並行して行われてもよいし、並行しないで行われてもよい。ステップＳ８において、情報算出部３は、検出部２の検出結果を用いて、視点Ｖｐ１から見た対象物ＯＢの形状情報を算出する。例えば、情報算出部３は、測距部１２の検出結果（例、デプス情報）を用いて点群データを算出し、点群データを用いてサーフェス情報を算出する。
　ステップＳ９において、特性算出部５は、情報算出部３が算出した形状情報、光源算出部４が算出した光源情報、及び照射方向を変えながら対象物ＯＢを撮像した複数の撮像画像を用いて、対象物ＯＢの表面特性情報を算出する。上記の複数の撮像画像は、例えば、ステップＳ２において撮像部１１が撮像した画像であるが、ステップＳ１において撮像部２Ａが撮像した全天画像でもよく、撮像部２Ａによる撮像画像と撮像部１１による撮像画像とを含んでもよい。
　図６は、実施形態に係る表面特性情報の算出処理（ステップＳ９）の例を示すフローチャートである。ステップＳ３１において、特性算出部５は、対象物ＯＢのうち算出対象の部分を設定する。算出対象の部分は、例えば、撮像画像の１画素または複数の画素でもよいし、点群データに含まれる３つ以上の点を順に結んだ線に囲まれるメッシュ領域でもよいし、サーフェス情報に含まれる３つ以上の線に囲まれる面でもよい。ステップＳ３２において、特性算出部５は、算出対象の部分の形状情報、照明光Ｌ１の各照射方向についての光源情報、及び各照射方向に対応する対象物ＯＢの撮像画像（例、撮像部１１による撮像画像）を記憶部７から取得する。
　ステップ３３において、特性算出部５は、関係式（例、上記の式（４））を解く情報が充足しているか否かを判定する。例えば、式（４）について説明したように、特性算出部５は、観測画素の数が基底ベクトルの数以上である場合、関係式を解く情報が充足していると判定する（ステップＳ３３；Ｙｅｓ）。特性算出部５は、関係式を解く情報が充足していると判定した場合（ステップＳ３３；Ｙｅｓ）、ステップＳ３４において、表面特性情報を未知数とする関係式を解く。ステップＳ３５において、特性算出部５は、評価関数を用いて未知数を最適化する。この評価関数は、例えば、上記の関係式の解を用いたレンダリング処理によって得られる対象物ＯＢの画像と、関係式を解く際に使われた撮像画像との差分である。例えば、特性算出部５は、上記の評価関数の値が最少化されるように、未知数を最適化する。
　ステップＳ３３において、関係式を得情報が充足していない（不足する）と判定された場合（ステップＳ３３；Ｎｏ）、又はステップＳ３５の処理の終了後に、ステップＳ３６において、特性算出部５は、次の算出対象の部分があるか否かを判定する。特性算出部５は、例えば、予め定められた部分についてステップＳ３１の処理が完了していない場合、次に算出対象の部分があると判定する（ステップＳ３６；Ｙｅｓ）。特性算出部５は、次に算出対象の部分があると判定した場合（ステップＳ３６；Ｙｅｓ）、ステップＳ３１の処理に戻り、次の算出対象の部分を設定し、ステップＳ３２以降の処理を繰り返し行う。ステップＳ３６において、特性算出部５は、例えば、予め定められた部分についてステップＳ３１の処理が完了した場合、次に算出対象の部分がないと判定し（ステップＳ３６；Ｎｏ）、一連の処理を終了する。
　図７は、実施形態に係る表面特性情報の算出処理の他の例を示すフローチャートである。図７の処理において、特性算出部５は、上記の関係式を解くことで得られた光学特性を用いた補間によって、他の部分の光学特性を算出する。図７の処理は、例えば、図６のステップＳ３６の処理の後に行われる。ステップＳ４１において、特性算出部５は、算出対象の部分を設定する。ステップＳ４２において、特性算出部５は、算出対象の部分に関して光学特性を算出済であるか否かを判定する。特性算出部５は、算出対象の部分に関して光学特性を算出済でないと判定した場合（ステップＳ４２；Ｎｏ）、光学特性を補間で算出するか否かを判定する。特性算出部５は、例えば、算出対象の部分の周囲に光学特性が算出された部分が補間を行うことが可能な数だけ存在する場合、光学特性を補間で算出すると判定する（ステップＳ４３；Ｙｅｓ）。特性算出部５は、光学特性を補間で算出すると判定した場合（ステップＳ４３；Ｙｅｓ）、ステップＳ４４において光学特性を補間で算出する。
　特性算出部５は、ステップＳ４４の処理後、ステップＳ３２において光学特性が算出済であると判定した場合（ステップＳ４２；Ｎｏ）、又はステップＳ４３において光学特性を補間で算出しないと判定した場合（ステップＳ４３；Ｎｏ）に、ステップＳ４５において次の算出対象の部分があるか否かを判定する。特性算出部５は、例えば、予め定められた部分についてステップＳ４１の処理が完了していない場合、次に算出対象の部分があると判定する（ステップＳ４５；Ｙｅｓ）。特性算出部５は、次に算出対象の部分があると判定した場合（ステップＳ４５；Ｙｅｓ）、ステップＳ４１の処理に戻り、次の算出対象の部分を設定し、ステップＳ４２以降の処理を繰り返し行う。ステップＳ４５において、特性算出部５は、例えば、予め定められた部分についてステップＳ４１の処理が完了した場合、次に算出対象の部分がないと判定し（ステップＳ４５；Ｎｏ）、一連の処理を終了する。
　なお、上記したように、例えば、本実施形態における検出装置１ａは、対象物を第１視点（例、一視点）から検出する検出部と、検出部の検出結果を用いて、第１視点における対象物の形状情報を含む第１モデル情報を算出する情報算出部と、対象物に対する照明光の照射方向を変化させて対象物を含む空間を撮像した複数の全天画像を用いて、照明光の光源情報を算出する光源算出部と、第１モデル情報と、第１視点と異なる視点（例、第２視点）から対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、光源情報を用いて視点間の相対位置を算出する位置算出部と、を備えていても良い。このように、本実施形態によれば、例えば、全天画像から照明光を照射する光源の位置を推定し、複数の全天画像を利用して検出装置間の相対位置を特定することが可能となる。
［第２実施形態］
　第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図８は、実施形態に係る検出装置、検出システムを示す図である。検出システムＡは、検出装置１ａから出力される情報と検出装置１ｂから出力される情報との少なくとも一方を処理する情報処理装置Ａを備える。情報処理装置５１には、例えば、入力装置５２および表示装置５３が設けられる。
　情報処理装置５１は、検出装置１ａとの間の通信により、検出装置１ａから情報を取得する。情報処理装置５１は、検出装置１ｂとの間の通信により、検出装置１ｂから情報を取得する。情報処理装置５１は、例えば、検出装置１ａから取得した情報および検出装置１ｂから取得した情報の少なくとも一部を使って、レンダリング処理を実行する。例えば、情報処理装置５１は、ユーザにより入力装置５２に入力された視点の設定情報を元に、この視点から対象物ＯＢを見た推定画像のデータを算出する。情報処理装置５１は、例えば、推定画像のデータを表示装置５３に供給し、表示装置５３に推定画像を表示させる。
　入力装置５２は、例えば、キーボード、マウス、タッチパネル、加速度センサなどのセンサ、音声入力機、タッチ型ペンなどの少なくとも一つを含む。入力装置５２は、情報処理装置５１と接続される。入力装置５２は、例えばユーザから情報の入力を受け付け、入力された情報を情報処理装置５１に供給する。表示装置５３は、例えば、液晶ディスプレイ又はタッチパネル型ディスプレイを含み、情報処理装置５１と接続されている。表示装置５３は、例えば、情報処理装置５１から供給される画像データにより、画像（例、レンダリング処理による推定画像）を表示する。
　情報処理装置５１は、通信部５５、記憶部５６、モデル統合部３２、レンダリング処理部５７、及び制御部５８を備える。通信部５５は、例えば、ＵＳＢポート、ネットワークカード、電波または赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部５５は、検出装置１ａの通信部８および検出装置１ｂの通信部８のそれぞれと通信可能である。
　記憶部５６は、例えば、ＵＳＢメモリなどの取り外し可能な記憶媒体、外付け型あるいは内蔵型のハードディスクなどの大容量記憶装置を含む。記憶部５６は、例えば、通信部５５を介して受信した情報の少なくとも一部のデータ、検出装置１ａと検出装置１ｂとの少なくとも一方を制御する撮像制御プログラム、情報処理装置５１の各処理を実行させる処理プログラム、などを記憶する。
　モデル統合部３２は、第１実施形態と同様である。情報処理装置５１は、例えば、検出装置１ａから第１モデル情報および第１位置情報を受信し、検出装置１ｂから第２モデル情報および第２位置情報を受信する。モデル統合部３２は、第１位置情報と第２位置情報とを用いて、第１モデル情報と第２モデル情報とを統合する。なお、検出装置１ａは、モデル統合部３２を備えてもよいし、モデル統合部３２を備えなくてもよい。
　レンダリング処理部５７は、例えば、グラフィックス　プロセッシング　ユニット（Graphics Processing Unit; GPU）を含む。なお、レンダリング処理部５７は、ＣＰＵおよびメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部５７は、例えば、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。
　レンダリング処理部５７は、描画処理において、例えば、モデル情報の形状情報に定められた形状を任意の視点から見た推定画像（例、再構築画像）を算出できる。以下の説明において、形状情報が示す形状をモデル形状という。レンダリング処理部５７は、例えば、描画処理によって、モデル情報（例、形状情報）からモデル形状（例、推定画像）を再構成できる。レンダリング処理部５７は、第１モデル情報と第２モデル情報とを統合したモデル情報に含まれる表面特性情報を用いて、レンダリング処理を行う。レンダリング処理部５７は、例えば、算出した推定画像のデータを記憶部５６に記憶させる。また、レンダリング処理部５７は、テクスチャマッピング処理において、例えば、推定画像上の物体の表面に、モデル情報のテクスチャ情報が示す画像を貼り付けた推定画像を算出できる。レンダリング処理部５７は、推定画像上の物体の表面に、対象物ＯＢと別のテクスチャを貼り付けた推定画像を算出することもできる。レンダリング処理部５７は、シェーディング処理において、例えば、モデル情報の光源情報が示す光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。また、レンダリング処理部５７は、シェーディング処理において、例えば、任意の光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。
　制御部５８は、例えば、情報処理装置５１の各部、検出装置１ａ、検出装置１ｂ、照明装置ＩＬ、入力装置５２、及び表示装置５３を制御する。制御部５８は、例えば、通信部５５を制御し、検出装置１ａ、検出装置１ｂに指令（制御信号）や設定情報を送信させる。制御部５８は、例えば、通信部５５が検出装置１ａ、検出装置１ｂから受信した情報を、記憶部５６に記憶させる。制御部５８は、例えば、レンダリング処理部５７を制御し、レンダリング処理を実行させる。
　なお、検出システム５０は、入力装置５２を備えなくてもよい。例えば、検出システム５０は、各種の指令、情報が通信部８を介して入力される形態でもよい。また、検出システム５０は、表示装置５３を備えなくてもよい。例えば、検出システム５０は、レンダリング処理により生成された推定画像のデータを外部の表示装置へ出力し、この表示装置が推定画像を表示してもよい。
　上述の実施形態において、情報算出部３、光源算出部４、及び位置算出部３１を含む算出部は、例えばコンピュータシステムを含む。この算出部は、例えば、記憶部７に記憶されている検出プログラムを読み出し、この検出プログラムに従って各種の処理を実行する。この検出プログラムは、例えば、コンピュータに、対象物を第１視点から検出した検出結果を用いて、第１視点における対象物の形状情報を含む第１モデル情報を算出することと、対象物に対して照明光（例、照明光Ｌ１）を照射する光源と対象物とを含む空間を撮像した複数の第１撮像画像を用いて、光源の光源情報を算出することと、第１モデル情報と、第１視点と異なる第２視点から対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、光源情報を用いて第１視点と対象物との絶対的な又は相対的な位置関係を算出することと、を実行させる。この検出プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。
　なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
１ａ、１ｂ・・・検出装置、２Ａ・・・撮像部、２Ｂ・・・検出部、３・・・情報算出部、４・・・光源算出部、５・・・特性算出部、８・・・通信部、９・・・制御部、１１・・・撮像部、１２・・・測距部、３１・・・位置算出部、３２・・・モデル統合部、５０・・・検出システム、ＩＬ・・・照明装置、Ｌ１・・・照明光、Ｌ２・・・環境光、ＯＢ・・・対象物、Ｖｐ１・・・視点、Ｖｐ２・・・視点

Claims (20)

  1. 　対象物を第１視点から検出する検出部と、
    　前記検出部の検出結果を用いて、前記第１視点における前記対象物の形状情報を含む第１モデル情報を算出する情報算出部と、
    　前記対象物に対して照明光を照射する光源と前記対象物とを含む空間を撮像した第１撮像画像を用いて、前記光源の光源情報を算出する光源算出部と、
    　前記第１モデル情報と、前記第１視点と異なる第２視点から前記対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、前記光源情報を用いて前記第１視点と前記対象物との位置関係を算出する位置算出部と、
    　を備える検出装置。
  2. 　前記位置算出部は、前記光源情報として前記対象物に対する前記照明光の照射方向を用いて前記第１視点と前記対象物との位置関係を算出する、請求項１に記載の検出装置。
  3. 　前記対象物に対する前記照明光の表面特性情報を算出し、前記照明光の照射方向を算出する特性算出部を備える、請求項２に記載の検出装置。
  4. 　前記光源算出部は、前記照明光を環境光と分離して前記対象物に対する前記光源情報を算出する、請求項１から請求項３のいずれか一項に記載の検出装置。
  5. 　前記光源算出部は、前記照明光が照射された状態の前記第１撮像画像と、前記照明光が照射されていない状態の前記第１撮像画像とを比較して、前記光源情報を算出する、請求項４に記載の検出装置。
  6. 　前記第１撮像画像と、前記第１撮像画像から前記照明光の影響を低減した画像との少なくとも一方を外部へ送信する通信部を備える、請求項１から請求項５のいずれか一項に記載の検出装置。
  7. 　前記第１撮像画像は、前記光源と前記対象物とを含む空間の全天画像を含む、請求項１から請求項６のいずれか一項に記載の検出装置。
  8. 　前記第１撮像画像を撮像する第１撮像部を備える、請求項１から請求項７のいずれか一項に記載の検出装置。
  9. 　前記検出部は、前記対象物を撮像する第２撮像部を備え、
    　前記第１撮像部の撮像範囲は、前記第２撮像部の撮像範囲よりも広い、請求項８に記載の検出装置。
  10. 　前記照明装置に対して制御信号を供給する制御部を備える、請求項１から請求項９のいずれか一項に記載の検出装置。
  11. 　前記第２モデル情報、及び前記第２視点と前記対象物との位置関係を受信する通信部と、
    　前記位置算出部が算出した前記第１視点と前記対象物との位置関係と、前記通信部が受信した前記第２視点と前記対象物との位置関係と、を用いて、前記第１モデル情報と前記第２モデル情報とを統合するモデル統合部を備える、請求項１から請求項１０のいずれか一項に記載の検出装置。
  12. 　対象物を第１位置から検出する検出部と、
    　前記検出部の検出結果を用いて、前記第１位置における前記対象物の形状情報又はテクスチャ情報を含む第１モデル情報を算出する情報算出部と、
    　光源から前記対象物に対して光が照射される照射方向に基づいて、前記第１位置と前記対象物との位置関係を算出する位置算出部と、を備える検出装置。
  13. 　前記検出部の検出結果を用いて前記第１位置から見た前記照射方向を算出する光源算出部を備える、請求項１２に記載の検出装置。
  14. 　前記第１位置と前記対象物との位置関係及び前記第１位置とは異なる第２位置と前記対象物との位置関係を用いて、前記第１モデル情報と前記第２位置における前記対象物の第２モデル情報とを統合するモデル統合部を備える、請求項１２又は請求項１３に記載の検出装置。
  15. 　前記モデル統合部は、前記第１位置における前記対象物に対する前記照射方向と前記第２位置における前記対象物に対する前記照射方向とを用いて、前記第２モデル情報を前記第１モデル情報と同じ座標系に変換する、請求項１４に記載の検出装置。
  16. 　請求項１から請求項１０のいずれか一項に記載の第１の検出装置と、
    　前記第２視点から前記対象物を検出して前記対象物の形状情報を含む第２モデル情報を算出し、前記照明光の照射方向と前記対象物の位置と前記視点との位置との関係を示す第２位置情報、及び前記第２モデル情報を送信する第２の検出装置と、
    　前記位置算出部が算出した前記第１視点と前記対象物との位置関係を示す第１位置情報と、前記第２位置情報とを用いて、前記第１モデル情報と前記第２モデル情報とを統合するモデル統合部と、を備える検出システム。
  17. 　前記第１検出装置から出力される情報と前記第２検出装置から出力される情報との少なくとも一方を処理する情報処理装置を備える請求項１６に記載の検出システム。
  18. 　対象物を第１視点から検出することと、
    　前記検出の検出結果を用いて、前記第１視点における前記対象物の形状情報を含む第１モデル情報を算出することと、
    　前記対象物に対して照明光を照射する光源と前記対象物とを含む空間を撮像した第１撮像画像を用いて、前記光源の光源情報を算出することと、
    　前記第１モデル情報と、前記第１視点と異なる第２視点から前記対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、前記光源情報を用いて前記第１視点と前記対象物との位置関係を算出することと、を含む検出方法。
  19. 　コンピュータに、
    　対象物を第１視点から検出した検出結果を用いて、前記第１視点における前記対象物の形状情報を含む第１モデル情報を算出することと、
    　前記対象物に対して照明光を照射する光源と前記対象物とを含む空間を撮像した第１撮像画像を用いて、前記光源の光源情報を算出することと、
    　前記第１モデル情報と、前記第１視点と異なる第２視点から前記対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、前記光源情報を用いて前記第１視点と前記対象物との位置関係を算出することと、を実行させる検出プログラム。
  20. 　請求項１から請求項１５のいずれか一項に記載の検出装置と、
    　前記検出装置から出力される情報を処理する情報処理装置と、を備える検出システム。
PCT/JP2017/008166 2016-03-09 2017-03-01 検出装置、検出システム、検出方法、及び検出プログラム WO2017154707A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018504412A JP6662449B2 (ja) 2016-03-09 2017-03-01 検出装置、検出システム、検出方法、及び検出プログラム
US16/126,312 US11629950B2 (en) 2016-03-09 2018-09-10 Detection device, detection system, detection method, and storage medium
US18/122,500 US20230221110A1 (en) 2016-03-09 2023-03-16 Detection device, detection system, detection method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-046343 2016-03-09
JP2016046343 2016-03-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/126,312 Continuation US11629950B2 (en) 2016-03-09 2018-09-10 Detection device, detection system, detection method, and storage medium

Publications (1)

Publication Number Publication Date
WO2017154707A1 true WO2017154707A1 (ja) 2017-09-14

Family

ID=59790478

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/008166 WO2017154707A1 (ja) 2016-03-09 2017-03-01 検出装置、検出システム、検出方法、及び検出プログラム

Country Status (3)

Country Link
US (2) US11629950B2 (ja)
JP (1) JP6662449B2 (ja)
WO (1) WO2017154707A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019107150A1 (ja) * 2017-11-30 2019-06-06 株式会社ニコン 検出装置、処理装置、装着物、検出方法、及び検出プログラム
WO2022080676A1 (ko) * 2020-10-12 2022-04-21 삼성전자 주식회사 전자 장치 및 제어 방법
WO2023282441A1 (ko) * 2021-07-06 2023-01-12 삼성전자 주식회사 이미지 프로세싱을 위한 전자 장치 및 그 동작 방법
US11967048B2 (en) 2021-07-06 2024-04-23 Samsung Electronics Co., Ltd. Electronic device for image processing and operating method of the same

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10887500B2 (en) * 2017-01-24 2021-01-05 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Optical inspection system
US20180357819A1 (en) * 2017-06-13 2018-12-13 Fotonation Limited Method for generating a set of annotated images
CN115184282B (zh) * 2022-09-13 2023-01-17 北京理工大学 一种包含对比板的成像式散射属性测量系统及测量方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1079029A (ja) * 1996-09-02 1998-03-24 Canon Inc 立体情報検出方法及びその装置
JP2001141423A (ja) * 1999-11-11 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
JP2006030127A (ja) * 2004-07-21 2006-02-02 Japan Science & Technology Agency カメラ校正システム及び三次元計測システム
JP2006071434A (ja) * 2004-09-01 2006-03-16 Fuji Xerox Co Ltd ３次元画像入力装置および方法
US20090316965A1 (en) * 2006-01-30 2009-12-24 Michael Mailling Method of Preparing a Medical Restraint
JP2011154038A (ja) * 2006-02-23 2011-08-11 Kobe Steel Ltd 形状測定装置、形状測定方法
JP2012242322A (ja) * 2011-05-23 2012-12-10 Kansai Electric Power Co Inc:The 空中物位置測定装置、空中物位置測定システム及び空中物位置測定方法
WO2013187204A1 (ja) * 2012-06-13 2013-12-19 株式会社島精機製作所 ３次元計測装置のための合成パラメータの生成装置
JP2014203365A (ja) * 2013-04-08 2014-10-27 オムロン株式会社 制御システムおよび制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003134B1 (en) * 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
CA2306515A1 (en) * 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
JP2002164066A (ja) * 2000-11-22 2002-06-07 Mitsubishi Heavy Ind Ltd 積層型熱交換器
JP2004093504A (ja) * 2002-09-03 2004-03-25 Topcon Corp 測量装置
JP3744002B2 (ja) * 2002-10-04 2006-02-08 ソニー株式会社 表示装置、撮像装置、および撮像／表示システム
EP1887382A1 (en) * 2005-05-19 2008-02-13 Olympus Corporation Distance measuring apparatus, distance measuring method and distance measuring program
US9459784B2 (en) * 2008-07-25 2016-10-04 Microsoft Technology Licensing, Llc Touch interaction with a curved display
JP2010134546A (ja) 2008-12-02 2010-06-17 Nippon Telegr & Teleph Corp <Ntt> 視体積交差法による３次元形状復元装置、３次元形状復元方法および３次元形状復元プログラム
US8744216B2 (en) * 2010-03-18 2014-06-03 Panasonic Corporation Omnidirectional image processing device and method using warp processing for enhanced object visibility
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US9686532B2 (en) * 2011-04-15 2017-06-20 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
WO2019075276A1 (en) * 2017-10-11 2019-04-18 Aquifi, Inc. SYSTEMS AND METHODS FOR IDENTIFYING OBJECT

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1079029A (ja) * 1996-09-02 1998-03-24 Canon Inc 立体情報検出方法及びその装置
JP2001141423A (ja) * 1999-11-11 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
JP2006030127A (ja) * 2004-07-21 2006-02-02 Japan Science & Technology Agency カメラ校正システム及び三次元計測システム
JP2006071434A (ja) * 2004-09-01 2006-03-16 Fuji Xerox Co Ltd ３次元画像入力装置および方法
US20090316965A1 (en) * 2006-01-30 2009-12-24 Michael Mailling Method of Preparing a Medical Restraint
JP2011154038A (ja) * 2006-02-23 2011-08-11 Kobe Steel Ltd 形状測定装置、形状測定方法
JP2012242322A (ja) * 2011-05-23 2012-12-10 Kansai Electric Power Co Inc:The 空中物位置測定装置、空中物位置測定システム及び空中物位置測定方法
WO2013187204A1 (ja) * 2012-06-13 2013-12-19 株式会社島精機製作所 ３次元計測装置のための合成パラメータの生成装置
JP2014203365A (ja) * 2013-04-08 2014-10-27 オムロン株式会社 制御システムおよび制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019107150A1 (ja) * 2017-11-30 2019-06-06 株式会社ニコン 検出装置、処理装置、装着物、検出方法、及び検出プログラム
WO2022080676A1 (ko) * 2020-10-12 2022-04-21 삼성전자 주식회사 전자 장치 및 제어 방법
WO2023282441A1 (ko) * 2021-07-06 2023-01-12 삼성전자 주식회사 이미지 프로세싱을 위한 전자 장치 및 그 동작 방법
US11967048B2 (en) 2021-07-06 2024-04-23 Samsung Electronics Co., Ltd. Electronic device for image processing and operating method of the same

Also Published As

Publication number Publication date
US11629950B2 (en) 2023-04-18
JPWO2017154707A1 (ja) 2019-01-24
US20230221110A1 (en) 2023-07-13
US20190017812A1 (en) 2019-01-17
JP6662449B2 (ja) 2020-03-11

Similar Documents

Publication Publication Date Title
JP6662449B2 (ja) 検出装置、検出システム、検出方法、及び検出プログラム
US10706571B2 (en) Imaging device, image processing device, storage medium, and imaging system
US9912862B2 (en) System and method for assisted 3D scanning
US10638113B2 (en) Imaging system, imaging device, method of imaging, and storage medium
US20150369593A1 (en) Orthographic image capture system
US20140307100A1 (en) Orthographic image capture system
US10204404B2 (en) Image processing device and image processing method
JP6601489B2 (ja) 撮像システム、撮像装置、撮像方法、及び撮像プログラム
JP2023157018A (ja) 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
US11151783B2 (en) Image pickup device, information processing device, and image pickup system
WO2020130070A1 (ja) 検出装置、情報処理装置、検出方法、及び情報処理プログラム
JP2017161370A (ja) 検出装置、検出システム、検出方法、及び検出プログラム
US11682134B2 (en) Object detection device, method, information processing device, and storage medium calculating reliability information of detected image data for object shape determination
WO2019198446A1 (ja) 検出装置、検出方法、情報処理装置、及び情報処理プログラム
JP2023115289A (ja) 検出装置、情報処理装置、及びシステム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018504412

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17763047

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17763047

Country of ref document: EP

Kind code of ref document: A1