WO2018042801A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2018042801A1
WO2018042801A1 PCT/JP2017/020862 JP2017020862W WO2018042801A1 WO 2018042801 A1 WO2018042801 A1 WO 2018042801A1 JP 2017020862 W JP2017020862 W JP 2017020862W WO 2018042801 A1 WO2018042801 A1 WO 2018042801A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
light
ranging camera
flight
distance
Prior art date
Application number
PCT/JP2017/020862
Other languages
English (en)
French (fr)
Inventor
英史 山田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN201780003289.4A priority Critical patent/CN108027238B/zh
Priority to KR1020187007747A priority patent/KR102499586B1/ko
Priority to US15/762,631 priority patent/US10866321B2/en
Priority to JP2018513025A priority patent/JP7022057B2/ja
Priority to EP17845812.1A priority patent/EP3508814B1/en
Publication of WO2018042801A1 publication Critical patent/WO2018042801A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone

Definitions

  • This technology relates to an imaging device. Specifically, the present invention relates to an imaging device that measures a distance from a subject, a processing method in these, and a program that causes a computer to execute the method.
  • a technique for acquiring a depth map in which distance information is expressed in units of pixels as well as an image signal of a subject is used.
  • a technique for acquiring distance information for example, a ToF method for measuring a distance based on a light flight time (ToF: Time of Flight) of a modulation component included in reflected light from a subject, or a deviation amount between two images
  • ToF Time of Flight
  • a stereo method for measuring the distance from the camera is known.
  • the technology for acquiring such distance information has advantages and disadvantages. For example, in the stereo method, there is an advantage that the distance to be measured can be adjusted by adjusting the baseline length, which is the distance between two cameras.
  • This technology was created in view of such a situation, and aims to improve distance measurement accuracy by combining a plurality of distance measurement methods while avoiding interference of projection light.
  • the present technology has been made to solve the above-described problems.
  • the first aspect of the present technology includes a light source projecting unit that projects intensity-modulated spatial pattern light, and reflection of the spatial pattern light from an object.
  • Spatial information that measures the distance to the subject based on the spatial information included in the reflected light
  • the optical time-of-flight ranging camera that measures the distance to the subject based on the optical flight time of the modulation component included in the light
  • An imaging apparatus including a depth synthesis unit that determines a depth value of a position. As a result, the distance measurement results of the optical time-of-flight ranging camera and the spatial information ranging camera are combined to improve the ranging accuracy.
  • the light source projection unit includes a light source generation unit that generates a light source that is intensity-modulated according to a predetermined modulation signal and a vertical synchronization signal, and the light source is deformed according to a spatial position to change the space.
  • each of the optical time-of-flight ranging camera and the spatial information ranging camera generates a depth value and reliability of each pixel position as the measurement result
  • the depth synthesis unit The depth value of each pixel position may be determined based on the magnitude of the reliability in the measurement result.
  • the depth value is determined based on the reliability of the depth value of the optical time-of-flight ranging camera and the spatial information ranging camera.
  • the depth synthesizing unit may select the depth value having the highest reliability among the measurement results for each pixel and determine the depth value at each pixel position.
  • the spatial information ranging camera includes two left and right imaging elements, and the spatial information included in the reflected light is obtained from left and right images obtained from the two imaging elements.
  • a stereo camera that measures the distance to the subject based on the amount of parallax at each pixel position and the baseline lengths of the two image sensors may be used. As a result, the distance measurement accuracy is improved by using the distance measurement result in the stereo camera.
  • the spatial information ranging camera may be a structure light camera that measures a distance from the subject based on triangulation calculation for the spatial information included in the reflected light. This brings about the effect that the distance measurement accuracy is improved by using the distance measurement result in the structure light camera.
  • a second optical time-of-flight ranging camera that measures the distance from the subject based on the optical flight time of the modulation component included in the reflected light from the subject of the spatial pattern light.
  • the optical time-of-flight ranging camera and the second optical time-of-flight ranging camera may operate as the spatial information ranging camera.
  • the distance measurement accuracy is improved by using the distance measurement results of the two optical time-of-flight ranging cameras.
  • each of the optical time-of-flight ranging camera and the second optical time-of-flight ranging camera generates a depth value of each pixel position and its reliability as the measurement result, and the optical time-of-flight measurement camera.
  • the distance camera and the second optical time-of-flight ranging camera generate a depth value and reliability of each pixel position as the measurement result as the spatial information ranging camera, and the depth synthesis unit Of the measurement results of the optical time-of-flight ranging camera and the second optical time-of-flight ranging camera and the measurement result of the spatial information ranging camera, the depth value with the highest reliability is obtained for each pixel. You may make it select and determine the depth value of each pixel position.
  • the optical time-of-flight ranging camera and the spatial information ranging camera measure the distance to the subject based on the optical flight time of the modulation component included in the reflected light, and It may be an integrated camera that measures the distance from the subject based on triangulation calculation for the spatial information included in the reflected light. This brings about the effect
  • the present technology it is possible to obtain an excellent effect that the ranging accuracy can be improved by combining a plurality of ranging methods while avoiding interference of projection light.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • composition of imaging device 100 in an embodiment of this art. It is a figure showing an example of composition of photography control part 180 in an embodiment of this art. It is a figure showing an example of composition of light source projection part 130 in an embodiment of this art. It is a figure which shows an example of the aspect of the space pattern light in embodiment of this technique. It is a figure showing an example of composition of ToF camera 110 in a 1st embodiment of this art. It is a figure which shows the pulse method as an example of the ranging system in embodiment of this technique. It is a figure showing an example of composition of stereo camera 120 in a 1st embodiment of this art.
  • composition of structure light camera 140 in a 3rd embodiment of this art. It is a figure showing an example of composition of ToF camera 110 and ToF camera 116 in a 4th embodiment of this art. It is a figure showing an example of composition of camera 150 in a 5th embodiment of this art.
  • FIG. 1 is a diagram illustrating a configuration example of an imaging apparatus 100 according to an embodiment of the present technology.
  • the imaging apparatus 100 captures a subject 20 and acquires an image signal and distance information of the subject.
  • the imaging apparatus 100 includes an optical time-of-flight ranging camera 11, a spatial information ranging camera 12, a light source projection unit 130, a depth synthesis unit 160, an input reception unit 170, and an imaging control unit 180. .
  • the optical flight time ranging camera 11 is a camera that measures the distance to the subject based on the optical flight time of the modulation component contained in the reflected light from the subject.
  • the spatial information ranging camera 12 is a camera that measures the distance to the subject based on the spatial information included in the reflected light from the subject.
  • the optical time-of-flight ranging camera 11 and the spatial information ranging camera 12 generate a captured image and a depth map that represents distance information in units of pixels, as in a normal camera.
  • the captured image will be omitted, and description will be made focusing on the handling of distance information.
  • the light source projection unit 130 projects light necessary for ranging by the optical time-of-flight ranging camera 11 and the spatial information ranging camera 12.
  • the optical time-of-flight ranging camera 11 measures the distance using the modulated light
  • the light source needs to include a modulated component.
  • the spatial information ranging camera 12 measures the distance using spatial information
  • the light source needs to include a spatial pattern. As described above, when two light sources are simply projected, the projection lights interfere with each other, and the distance measurement accuracy may deteriorate. Therefore, the light source projection unit 130 projects the intensity-modulated spatial pattern light by one light source.
  • the subject 20 may be irradiated with ambient light.
  • the depth synthesizing unit 160 synthesizes the distance measurement results of the optical time-of-flight ranging camera 11 and the spatial information ranging camera 12 and determines the depth value of each pixel position of the captured image.
  • the depth synthesis unit 160 receives the depth value and its reliability from the optical time-of-flight ranging camera 11 via signal lines 119 and 118.
  • the depth synthesis unit 160 also receives the depth value and its reliability from the spatial information ranging camera 12 via signal lines 129 and 128.
  • the input receiving unit 170 receives input from the outside.
  • a shooting button for receiving an input of a shooting start command or a shooting end command is assumed.
  • the input receiving unit 170 supplies the received input to the imaging control unit 180 via the signal line 179.
  • the imaging control unit 180 controls the projection operation in the light source projection unit 130 and controls the imaging operation in the optical time-of-flight ranging camera 11 and the spatial information ranging camera 12. Control signals from the imaging control unit 180 to the light source projection unit 130, the optical time-of-flight ranging camera 11, and the spatial information ranging camera 12 are supplied via signal lines 188 and 189.
  • FIG. 2 is a diagram illustrating a configuration example of the imaging control unit 180 according to the embodiment of the present technology.
  • the imaging control unit 180 includes a vertical synchronization generation unit 181 and a modulation signal generation unit 182.
  • the input reception unit 170 receives, for example, an imaging start command or an imaging end command
  • the vertical synchronization generation unit 181 and the modulation signal generation unit 182 detect that via the signal line 179 and perform a predetermined operation. Do.
  • the vertical synchronization generator 181 generates a vertical synchronization (V synchronization) signal necessary for shooting.
  • the vertical synchronization signal is a signal necessary for capturing moving image frames at regular intervals, and is usually a signal having a period of about 30 Hz to 120 Hz.
  • the vertical synchronization generator 181 starts outputting a vertical synchronization signal when a shooting start command is input, and ends the output of the vertical synchronization signal when a shooting end command is input.
  • This vertical synchronization signal is supplied to the light source projection unit 130, the optical time-of-flight ranging camera 11, and the spatial information ranging camera 12 via the signal line 189.
  • the modulation signal generator 182 generates a modulation signal necessary for photographing.
  • the modulation signal is a signal necessary for distance measurement in the optical time-of-flight ranging camera 11 and is a signal having a period of about 20 MHz to 100 MHz.
  • the modulation signal generator 182 starts outputting the modulation signal when a shooting start command is input, and ends the output of the modulation signal when a shooting end command is input.
  • This modulation signal is supplied to the light source projection unit 130 and the optical time-of-flight ranging camera 11 via the signal line 188.
  • FIG. 3 is a diagram illustrating a configuration example of the light source projection unit 130 according to the embodiment of the present technology.
  • the light source projection unit 130 includes a light source generation unit 131, an optical element 133, and a light source control unit 135.
  • the light source generator 131 generates a light source for generating projection light.
  • LED Light * Emitting * Diode
  • a laser diode etc.
  • the light source generation unit 131 generates a light source that is intensity-modulated according to the modulation signal supplied from the light source control unit 135. While the modulation signal is not supplied, stationary light that is not modulated is generated.
  • the projection start instruction and end instruction from the light source control unit 135 are also followed.
  • the optical element 133 generates the spatial pattern light by deforming the light source from the light source generation unit 131 according to the spatial position.
  • the spatial pattern light for example, one that projects a lattice pattern, a random point set or random shading, or one that projects so that a point shape changes depending on a distance can be assumed and can be arbitrarily designed.
  • the light source control unit 135 controls the light source generation unit 131 in accordance with the modulation signal and the vertical synchronization signal supplied from the imaging control unit 180 via the signal lines 188 and 189. Immediately after receiving the vertical synchronization signal, the light source control unit 135 controls the light source generation unit 131 to generate a light source whose intensity is modulated according to the modulation signal.
  • the exposure time of the optical time-of-flight ranging camera 11 elapses from the reception timing of the vertical synchronization signal
  • the supply of the modulation signal is stopped and the light source generation unit 131 is controlled so as to generate unmodulated steady light.
  • the light source generator 131 is controlled to end the generation of the light source.
  • the spatial information ranging camera 12 can measure a distance by either a projection light that is modulated or a projection light that is not modulated. Therefore, when the exposure of the optical time-of-flight ranging camera 11 is completed first, the remaining exposure time of the spatial information ranging camera 12 projects steady light. This is because the modulated light is pulsed light, and the projection time with respect to the entire time is halved, and the amount of light for the spatial information ranging camera 12 is halved.
  • FIG. 4 is a diagram illustrating an example of the pattern of the spatial pattern light according to the embodiment of the present technology.
  • An arbitrary pattern can be used as the spatial pattern light in the embodiment of the present technology.
  • a dot pattern is shown as an example.
  • the optical element 133 uses, for example, a diffraction grating that projects such a dot pattern.
  • a diffraction grating guides photons by forming a microstructure on the surface of the diffraction grating in accordance with the characteristics so as to deform the beam shape of the laser light source into a free shape. It is manufactured by etching quartz glass or glass material or embossing polymer material.
  • the design of the diffraction grating can be designed so that the point shape changes according to the distance. For example, in the near view, the point light is close to the plane light, and the point can be condensed as the distance increases. In addition, it is possible to extend the light projection distance by condensing light at a point.
  • the space pattern light may be slit light. Further, a plurality of frequency slit lights may be switched in a time division manner.
  • FIG. 5 is a diagram illustrating a configuration example of the ToF camera 110 according to the first embodiment of the present technology.
  • a ToF (Time of Flight) camera 110 is assumed as the optical time-of-flight ranging camera 11.
  • the ToF camera 110 includes a ToF pixel 111, a depth calculation unit 113, and an exposure control unit 115.
  • the exposure control unit 115 controls the exposure of the ToF pixel 111 according to the modulation signal and the vertical synchronization signal supplied from the imaging control unit 180 via the signal lines 188 and 189.
  • the exposure control unit 115 controls the ToF pixel 111 so as to start exposure.
  • the ToF pixel 111 is controlled so as to end the exposure.
  • the ToF pixel 111 receives the modulated reflected light that bounces off the subject 20 and photoelectrically converts it as an image signal. When the reflected light is photoelectrically converted, the ToF pixel 111 integrates charges in two windows of a pure phase and an antiphase by one pixel, as will be described later.
  • the depth calculation unit 113 obtains a phase lag amount (phase shift amount) from the correlation between the image signal generated by the ToF pixel 111 and the modulation signal, and converts the phase lag amount into a depth value representing the depth. It is. Further, the depth calculation unit 113 generates a reliability of the depth value. The depth value generated by the depth calculation unit 113 and its reliability are supplied to the depth synthesis unit 160 via the signal lines 119 and 118.
  • FIG. 6 is a diagram illustrating a pulse method as an example of a ranging method in the embodiment of the present technology.
  • the light source projection unit 130 projects a pulse wave that matches the modulation frequency of the modulation signal for a certain period ( ⁇ t).
  • the projection light reflected from the subject 20 is observed by the ToF camera 110 with a phase delay ( ⁇ ).
  • the ToF pixel 111 integrates and measures the reflected light in two windows of normal phase (0 °) and reverse phase (180 °) synchronized with the pulse wave projected from the light source projection unit 130 (Q1, Q2).
  • the distance d to the subject 20 can be calculated by the following equation.
  • c is the speed of light.
  • d (1/2) ⁇ c ⁇ ⁇ t ⁇ (Q2 / (Q1 + Q2))
  • the pulse method has been described here as an example of the ranging method, other methods such as a continuous wave method (Continuous Wave) may be used.
  • a continuous wave method Continuous Wave
  • FIG. 7 is a diagram illustrating a configuration example of the stereo camera 120 according to the first embodiment of the present technology.
  • a stereo camera 120 is assumed as the spatial information ranging camera 12.
  • the stereo camera 120 includes a left image sensor 121, a right image sensor 122, a depth calculator 123, and an exposure controller 125.
  • the exposure control unit 125 controls the exposure of the left image sensor 121 and the right image sensor 122 in accordance with the vertical synchronization signal supplied from the imaging control unit 180 via the signal line 189.
  • the exposure control unit 125 controls the left image sensor 121 and the right image sensor 122 so as to start exposure.
  • the exposure time of the stereo camera 120 elapses from the reception timing of the vertical synchronization signal, the left image sensor 121 and the right image sensor 122 are controlled so as to end the exposure.
  • the left image sensor 121 and the right image sensor 122 receive reflected light that bounces off the subject 20 and photoelectrically converts it as image signals of left and right images.
  • the depth calculation unit 123 calculates the amount of parallax at each pixel position from the left and right images, calculates the distance based on the baseline length between the left image sensor 121 and the right image sensor 122, and outputs the calculated distance. In order to calculate the amount of parallax, it is possible to minimize the error while shifting the position of the N ⁇ N pixel patch image including the target pixel in one image as a similar patch image in the other image. A block matching method for searching for patch images can be used.
  • the stereo camera 120 may not be able to determine the distance well. However, if the light projected by the pattern light is observed with sufficient contrast, the amount of parallax can be calculated using the pattern of the pattern light as a clue.
  • the stereo camera 120 can improve the accuracy of the depth value by calculating the shift amount of the patch image with a finer accuracy than the pixel, by increasing the resolution of the left image sensor 121 and the right image sensor 122, The accuracy of the depth value can be increased. Further, by adjusting the base line length between the left image sensor 121 and the right image sensor 122, the range of distances that can be measured can be easily adjusted.
  • the stereo camera 120 receives the vertical synchronization signal from the imaging control unit 180 and controls the imaging of the left imaging element 121 and the right imaging element 122. Then, the depth calculation unit 123 calculates the amount of parallax from the captured left and right images, determines the depth value of each pixel position, and outputs the depth value as a depth map. Further, the depth calculation unit 123 outputs the reliability obtained in the calculation process.
  • the amount of parallax can be calculated by, for example, the following absolute value difference formula.
  • the patch absolute value difference R SAD is a value obtained by integrating the absolute difference between the pixel values of the pixel I (i, j) of the patch of the image L and the pixel T (i, j) of the patch of the image R by the amount of pixels in the patch. is there. The more similar the patch image, the smaller the patch absolute value difference R SAD .
  • the minimum patch absolute value difference is obtained while shifting the reference position of the patch of the image L by the shift amount. The shift amount at the time of the minimum difference is parallax, and the depth value at that position.
  • the reliability can be calculated as a ratio with the second minimum value, for example.
  • the minimum absolute value difference is R SAD1
  • the second minimum absolute value difference at a different shift position is R SAD2
  • a reliability C SAD that is a value obtained by subtracting the ratio from 1 is obtained. This value means that the larger the difference between the two reliability levels, the larger the difference, and the larger the difference, the more the shift amount can be distinguished from other shift amounts.
  • C SAD 1.0-R SAD1 / R SAD2
  • FIG. 8 is a diagram illustrating a configuration example of the depth synthesis unit 160 according to the first embodiment of the present technology.
  • the depth synthesis unit 160 includes coordinate conversion units 161 and 162 and a depth synthesis processing unit 163.
  • the coordinate conversion unit 161 applies a coordinate conversion operation to the depth value and reliability supplied from the optical time-of-flight ranging camera 11 via the signal lines 119 and 118, and performs processing for aligning the coordinate positions of the depth map. Is what you do.
  • the coordinate conversion unit 162 applies a coordinate conversion operation to the depth value and reliability supplied from the spatial information ranging camera 12 via the signal lines 129 and 128, and performs processing to align the coordinate positions of the depth map. Is.
  • the depth composition processing unit 163 integrates and outputs the two depth values whose coordinate positions are aligned by the coordinate conversion units 161 and 162 based on the reliability level. For example, a depth value with the highest reliability can be selected for each pixel to perform depth synthesis.
  • the parameters necessary for coordinate conversion are determined by the respective camera positions of the optical time-of-flight ranging camera 11 and the spatial information ranging camera 12, so that calibration is performed in advance to obtain parameters and use the values. .
  • These parameters are called, for example, camera external parameters, internal parameters, and rectification parameters, and are generally expressed in the following format.
  • the internal parameter is expressed by the following determinant.
  • f x and f y is the focal distance expressed in pixels.
  • c x and c y are the principal points of the camera.
  • the external parameter is expressed by the following determinant.
  • r is an element of a rotation matrix
  • t is an element of translation
  • a simultaneous conversion matrix in which these are combined.
  • the rectification parameters are nine parameters of a 3 ⁇ 3 matrix, and the camera is parallelized to search for block matching or the like on the epipolar line.
  • the imaging apparatus needs to be set in consideration of the distance measurement range of the ToF camera 110 and the stereo camera 120. That is, in the ToF camera 110, the modulation frequency determines the distance measurement resolution and the limit distance measurement distance, and the intensity of the modulated light and the exposure time determine the distance to be measured. If the intensity of the modulated light is high or the exposure time is long, the light reaches farther, but there is a possibility that the near object is saturated and observed, and the distance cannot be measured. On the other hand, in the stereo camera 120, the base line length between the left image sensor 121 and the right image sensor 122 determines the distance measurement resolution and the limit distance measurement distance, and the intensity of the projection pattern light and the exposure time are distances to be measured. To decide.
  • the ToF camera has a low resolution, and the stereo camera is often used with a high resolution such as a photo or moving image sensor. Therefore, it is conceivable to obtain a combined depth map by setting the ToF camera 110 for the near view and the stereo camera 120 for the distant view.
  • the ToF camera 110 it is conceivable to set the ToF camera 110 to a short exposure time and the stereo camera 120 to a long exposure time. With this setting, a short-distance ToF depth map and a long-distance stereo depth map are obtained. Thereby, it is possible to reduce the perforation in the plane portion generated in the stereo camera due to the pattern light, and there is an effect that the projection intensity is increased by condensing the point light source rather than the surface light source. As a result, distance measurement with a wide dynamic range in the distance direction can be performed.
  • FIG. 9 is a flowchart illustrating an operation procedure example of the imaging control unit 180 according to the embodiment of the present technology.
  • step S912 Before receiving a shooting start command (step S912: No), the shooting control unit 180 is in a standby state (step S911).
  • step S912: Yes When the imaging start command is input (step S912: Yes), the vertical synchronization generation unit 181 starts outputting the vertical synchronization signal (step S913), and the modulation signal generation unit 182 starts outputting the modulation signal (step S914). ).
  • step S915 when an imaging end command is input (step S915: Yes), the vertical synchronization generation unit 181 ends the output of the vertical synchronization signal (step S916), and the modulation signal generation unit 182 ends the output of the modulation signal (step S916). Step S917).
  • FIG. 10 is a flowchart showing an operation procedure example of the light source projection unit 130 according to the embodiment of the present technology.
  • step S922 Before receiving the vertical synchronization signal (step S922: No), the light source projection unit 130 is in a standby state (step S921).
  • step S922: Yes When the vertical synchronization signal is input (step S922: Yes), the light source generation unit 131 generates an intensity-modulated light source, and projection by the modulated light is started (step S923).
  • step S924 the exposure time of the optical time-of-flight ranging camera 11 elapses from the reception timing of the vertical synchronization signal (step S924: Yes)
  • the light source generator 131 generates steady light that is not modulated, and projection by the steady light is started. (Step S925).
  • step S926 Yes
  • the light source generation unit 131 stops the generation of the light source, and the projection ends (step S927).
  • FIG. 11 is a flowchart illustrating an operation procedure example of the ToF camera 110 according to the first embodiment of the present technology.
  • step S932 Before receiving the vertical synchronization signal (step S932: No), the ToF camera 110 is in a standby state (step S931). When the vertical synchronization signal is input (step S932: Yes), the ToF pixel 111 starts exposure (step S933).
  • step S934 the ToF pixel 111 ends the exposure (step S935).
  • the depth calculation unit 113 obtains a phase lag amount from the correlation between the image signal and the modulation signal, and converts this phase lag amount into a depth value representing the depth (step S936). Further, the depth calculation unit 113 generates the reliability of the depth value, and outputs the depth value and the reliability (step S937).
  • FIG. 12 is a flowchart illustrating an operation procedure example of the stereo camera 120 according to the first embodiment of the present technology.
  • step S942 Before receiving the vertical synchronization signal (step S942: No), the ToF camera 110 is in a standby state (step S941). When the vertical synchronization signal is input (step S942: Yes), the left image sensor 121 and the right image sensor 122 start exposure (step S943).
  • step S944 when the exposure time of the stereo camera 120 elapses from the reception timing of the vertical synchronization signal (step S944: Yes), the left image sensor 121 and the right image sensor 122 end the exposure (step S945).
  • the depth calculation unit 123 calculates the amount of parallax at each pixel position from the left and right images, and calculates the distance based on the baseline length between the left image sensor 121 and the right image sensor 122 (step S946). Further, the depth calculation unit 123 generates the reliability of the depth value, and outputs the depth value and the reliability (step S947).
  • the distance measurement accuracy can be improved by combining the depth values and the reliability obtained by the ToF camera 110 and the stereo camera 120, respectively.
  • Projection light projected from the light source projection unit 130 is intensity-modulated spatial pattern light, and includes both a modulation component necessary for the ToF camera 110 and a spatial pattern necessary for the stereo camera 120. Therefore, since only one light source is used, interference of projection light can be avoided.
  • the stereo camera 120 is provided in addition to the ToF camera 110. However, by capturing one of the left and right images with the ToF camera 110, a normal monocular camera is used instead of the stereo camera 120. It becomes possible to do. Since the value of Q1 + Q2 of the ToF camera 110 is the image itself of the scene, the depth value and the normal image are also acquired from the ToF camera 110 at the same time. In the second embodiment, the image captured by the ToF camera 110 is one of the left and right images, and it is assumed that the left and right images are acquired by combining the ToF camera 110 and a normal monocular camera.
  • FIG. 13 is a diagram illustrating a configuration example of the ToF camera 110 and the camera 126 according to the second embodiment of the present technology.
  • a combination of the ToF camera 110 and the camera 126 is assumed as the spatial information ranging camera 12.
  • the ToF camera 110 is assumed for the optical time-of-flight ranging camera 11 as in the first embodiment.
  • the camera 126 is a monocular camera and captures the left image of the left and right images. At this time, the right image of the left and right images is taken by the ToF pixel 111 of the ToF camera 110. Note that the sharing of the left and right images is an example, and the ToF camera 110 may capture the left image and the camera 126 may capture the right image.
  • the camera 126 includes a left image sensor 121, a depth calculator 123, and an exposure controller 125.
  • the exposure control unit 125 controls the exposure of the left image sensor 121 in accordance with the vertical synchronization signal supplied from the imaging control unit 180 via the signal line 189.
  • the left image sensor 121 receives reflected light that bounces off the subject 20 and photoelectrically converts it as an image signal of the left image.
  • the depth calculation unit 123 calculates the amount of parallax at each pixel position from the left and right images obtained from the left image sensor 121 and the ToF pixel 111, and the distance based on the baseline length between the left image sensor 121 and the ToF pixel 111. Is calculated and output.
  • the second embodiment of the present technology by using the captured image of the ToF camera 110 as one of the left and right images, the number of cameras is reduced, and the ToF camera and the stereo camera are combined. As in the case, the ranging accuracy can be improved.
  • the stereo camera 120 is assumed as the spatial information ranging camera 12, but other types of cameras may be used as long as ranging can be performed using spatial information.
  • a structure light camera is assumed as the spatial information ranging camera 12.
  • FIG. 14 is a diagram illustrating a configuration example of the structure light camera 140 according to the third embodiment of the present technology.
  • the structure light camera 140 is a camera that acquires a three-dimensional shape by a camera and pattern projection.
  • the structure light camera 140 includes an image sensor 141, a depth calculation unit 143, and an exposure control unit 145.
  • the exposure control unit 145 controls the exposure of the image sensor 141 in accordance with the vertical synchronization signal supplied from the imaging control unit 180 via the signal line 189.
  • the image sensor 141 receives reflected light that bounces off the subject 20 and photoelectrically converts it into an image signal.
  • the depth calculation unit 143 analyzes how the pattern is deformed in a scene onto which a known pattern is projected, and where the pattern appears in the shooting scene, and calculates the depth distance by triangulation calculation It is.
  • the distance measurement accuracy can be improved by combining the depth values and the reliability obtained by the ToF camera 110 and the structure light camera 140, respectively. it can.
  • the ToF camera 110 and the camera 126 are combined, but the camera 126 may be replaced with another ToF camera.
  • an image captured by the ToF camera 110 is one of the left and right images, and it is assumed that the left and right images are acquired by combining the ToF camera 110 and another ToF camera.
  • FIG. 15 is a diagram illustrating a configuration example of the ToF camera 110 and the ToF camera 116 according to the fourth embodiment of the present technology.
  • a combination of the ToF camera 110 and the ToF camera 116 is assumed as the spatial information ranging camera 12.
  • the ToF camera 110 is assumed for the optical time-of-flight ranging camera 11 as in the first embodiment.
  • the ToF camera 116 is a ToF camera different from the ToF camera 110 and captures the left image of the left and right images. At this time, the right image of the left and right images is taken by the ToF pixel 111 of the ToF camera 110. Note that the sharing of the left and right images is an example, and the ToF camera 110 may capture the left image and the ToF camera 116 may capture the right image.
  • the depth values generated by the ToF cameras 110 and 116 and their reliability are synthesized by the depth synthesis unit 165.
  • the depth synthesis unit 165 includes the depth value and reliability of the ToF camera 110 alone, the depth value and reliability of the ToF camera 116 alone, the depth value and reliability of the left and right images using the ToF camera 110 as the right image and the ToF camera 116 as the left image. Three sets of degrees can be used. At this time, a depth value with the highest reliability can be selected for each pixel to perform depth synthesis.
  • the dynamic range of brightness can be expanded by changing the exposure time between imaging as a ToF camera and imaging as a stereo camera. Further, by changing the base line length between the ToF camera 110 and the ToF camera 116, the dynamic range of distance measurement can be expanded. Further, for example, it is conceivable to use the depth values of the ToF cameras 110 and 116 alone for a short distance and use the depth values of the active stereo of the ToF cameras 110 and 116 for a long distance.
  • the distance measurement accuracy can be further improved by combining the depth values and the reliability obtained by the ToF cameras 110 and 116, respectively.
  • the ToF camera 110 and the structure light camera 140 are combined. However, these may be integrated into one camera.
  • an integrated camera is assumed as the optical time-of-flight ranging camera 11 and the spatial information ranging camera 12.
  • FIG. 16 is a diagram illustrating a configuration example of the camera 150 according to the fifth embodiment of the present technology.
  • the camera 150 is a combination of a ToF camera and a structure light camera.
  • the camera 150 includes a ToF pixel 151, depth calculation units 153 and 154, and an exposure control unit 155.
  • the exposure control unit 155 controls the exposure of the ToF pixel 151 according to the modulation signal and the vertical synchronization signal supplied from the imaging control unit 180 via the signal lines 188 and 189.
  • the ToF pixel 151 receives the modulated reflected light that bounces off the subject 20 and photoelectrically converts it as an image signal.
  • the depth calculation unit 153 obtains a phase delay amount from the correlation between the image signal generated by the ToF pixel 151 and the modulation signal, and converts the phase delay amount into a depth value representing the depth.
  • the depth calculation unit 154 analyzes how the pattern is deformed in a scene projected with a known pattern, and where the pattern appears in the shooting scene, and calculates the depth distance by triangulation calculation It is. That is, the depth calculation unit 153 performs distance measurement using the modulation signal, and the depth calculation unit 154 performs distance measurement using the pattern.
  • the fifth embodiment of the present technology by performing both distance measurement using a modulation signal and distance measurement using a pattern by an integrated camera, the number of cameras is reduced. Ranging accuracy can be improved.
  • the embodiment of the present technology has the following advantages.
  • interference of projection light can be avoided by superimposing spatial information and time information in the light source.
  • the spatial direction (structured light) and the temporal direction (modulation) are independent of each other, and these pieces of information can be used without waste.
  • the ToF camera since the ToF camera has a low resolution, a high-resolution structured light pattern cannot be seen and can be treated as being equivalent to surface emission, and distance measurement by high-speed modulation is possible. Is possible.
  • the modulation of the light source is sufficiently fast, which is equivalent to projecting at a constant intensity, and distance measurement using a high-resolution spatial pattern is possible.
  • the ToF camera can measure a distance with a short exposure and hardly saturates even at a short distance, it is suitable for handling the front side of the depth value.
  • an active stereo camera since an active stereo camera has a long exposure, high resolution, and high sensitivity, it is suitable for taking charge of the depth side of the depth value.
  • active stereo can measure a surface without a texture by using a high-resolution pattern, and can increase the reach by focusing.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 17 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes an ADAS (Advanced Driver Assistance System) function including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 18 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the vehicle 12100 includes imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the forward images acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 18 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to an endoscopic surgery system.
  • FIG. 19 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system to which the technology (present technology) according to the present disclosure can be applied.
  • FIG. 19 shows a state where an operator (doctor) 11131 is performing an operation on a patient 11132 on a patient bed 11133 using an endoscopic operation system 11000.
  • an endoscopic surgery system 11000 includes an endoscope 11100, other surgical instruments 11110 such as an insufflation tube 11111 and an energy treatment instrument 11112, and a support arm device 11120 that supports the endoscope 11100. And a cart 11200 on which various devices for endoscopic surgery are mounted.
  • the endoscope 11100 includes a lens barrel 11101 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the proximal end of the lens barrel 11101.
  • a lens barrel 11101 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the proximal end of the lens barrel 11101.
  • an endoscope 11100 configured as a so-called rigid mirror having a rigid lens barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible lens barrel. Good.
  • An opening into which the objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101. Irradiation is performed toward the observation target in the body cavity of the patient 11132 through the lens.
  • the endoscope 11100 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 11102, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU: Camera Control Unit) 11201 as RAW data.
  • CCU Camera Control Unit
  • the CCU 11201 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls operations of the endoscope 11100 and the display device 11202. Further, the CCU 11201 receives an image signal from the camera head 11102 and performs various kinds of image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the display device 11202 displays an image based on an image signal subjected to image processing by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 is composed of a light source such as an LED (Light Emitting Diode), for example, and supplies irradiation light to the endoscope 11100 when photographing a surgical site or the like.
  • a light source such as an LED (Light Emitting Diode), for example, and supplies irradiation light to the endoscope 11100 when photographing a surgical site or the like.
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • a user can input various information and instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
  • the treatment instrument control device 11205 controls the drive of the energy treatment instrument 11112 for tissue ablation, incision, blood vessel sealing, or the like.
  • the pneumoperitoneum device 11206 passes gas into the body cavity via the pneumoperitoneum tube 11111.
  • the recorder 11207 is an apparatus capable of recording various types of information related to surgery.
  • the printer 11208 is a device that can print various types of information related to surgery in various formats such as text, images, or graphs.
  • the light source device 11203 that supplies the irradiation light when the surgical site is imaged to the endoscope 11100 can be configured by, for example, a white light source configured by an LED, a laser light source, or a combination thereof.
  • a white light source is configured by a combination of RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Therefore, the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the driving of the light source device 11203 may be controlled so as to change the intensity of the output light every predetermined time. Synchronously with the timing of changing the intensity of the light, the drive of the image sensor of the camera head 11102 is controlled to acquire an image in a time-sharing manner, and the image is synthesized, so that high dynamic without so-called blackout and overexposure A range image can be generated.
  • the light source device 11203 may be configured to be able to supply light of a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue, the surface of the mucous membrane is irradiated by irradiating light in a narrow band compared to irradiation light (ie, white light) during normal observation.
  • a so-called narrow band imaging is performed in which a predetermined tissue such as a blood vessel is imaged with high contrast.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating excitation light.
  • the body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue. It is possible to obtain a fluorescence image by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
  • the light source device 11203 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
  • FIG. 20 is a block diagram illustrating an example of functional configurations of the camera head 11102 and the CCU 11201 illustrated in FIG.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a drive unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • the CCU 11201 includes a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and the CCU 11201 are connected to each other by a transmission cable 11400 so that they can communicate with each other.
  • the lens unit 11401 is an optical system provided at a connection portion with the lens barrel 11101. Observation light taken from the tip of the lens barrel 11101 is guided to the camera head 11102 and enters the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the imaging unit 11402 includes an imaging element.
  • One (so-called single plate type) image sensor may be included in the imaging unit 11402, or a plurality (so-called multi-plate type) may be used.
  • image signals corresponding to RGB may be generated by each imaging element, and a color image may be obtained by combining them.
  • the imaging unit 11402 may be configured to include a pair of imaging elements for acquiring right-eye and left-eye image signals corresponding to 3D (Dimensional) display. By performing the 3D display, the operator 11131 can more accurately grasp the depth of the living tissue in the surgical site.
  • 3D 3D
  • the imaging unit 11402 is not necessarily provided in the camera head 11102.
  • the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the driving unit 11403 is configured by an actuator, and moves the zoom lens and the focus lens of the lens unit 11401 by a predetermined distance along the optical axis under the control of the camera head control unit 11405. Thereby, the magnification and the focus of the image captured by the imaging unit 11402 can be adjusted as appropriate.
  • the communication unit 11404 is configured by a communication device for transmitting and receiving various types of information to and from the CCU 11201.
  • the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling driving of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the control signal includes, for example, information for designating the frame rate of the captured image, information for designating the exposure value at the time of imaging, and / or information for designating the magnification and focus of the captured image. Contains information about the condition.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus may be appropriately specified by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. Good. In the latter case, a so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 11100.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Auto White Balance
  • the camera head control unit 11405 controls driving of the camera head 11102 based on a control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 11102.
  • the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling driving of the camera head 11102 to the camera head 11102.
  • the image signal and the control signal can be transmitted by electrical communication, optical communication, or the like.
  • the image processing unit 11412 performs various types of image processing on the image signal that is RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various types of control related to imaging of the surgical site by the endoscope 11100 and display of a captured image obtained by imaging of the surgical site. For example, the control unit 11413 generates a control signal for controlling driving of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display a picked-up image showing the surgical part or the like based on the image signal subjected to the image processing by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image using various image recognition techniques.
  • the control unit 11413 detects surgical tools such as forceps, specific biological parts, bleeding, mist when using the energy treatment tool 11112, and the like by detecting the shape and color of the edge of the object included in the captured image. Can be recognized.
  • the control unit 11413 may display various types of surgery support information superimposed on the image of the surgical unit using the recognition result. Surgery support information is displayed in a superimposed manner and presented to the operator 11131, thereby reducing the burden on the operator 11131 and allowing the operator 11131 to proceed with surgery reliably.
  • the transmission cable 11400 for connecting the camera head 11102 and the CCU 11201 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • communication is performed by wire using the transmission cable 11400.
  • communication between the camera head 11102 and the CCU 11201 may be performed wirelessly.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • a light source projection unit that projects intensity-modulated spatial pattern light;
  • An optical time-of-flight ranging camera that measures the distance from the subject based on the optical flight time of a modulation component included in the reflected light from the subject of the spatial pattern light;
  • a spatial information ranging camera that measures the distance to the subject based on spatial information included in the reflected light;
  • the light source projection unit includes: A light source generator that generates a light source that is intensity-modulated according to a predetermined modulation signal and a vertical synchronization signal; The imaging apparatus according to (1), further including an optical element that deforms the light source according to a spatial position to generate the spatial pattern light. (3) Each of the optical time-of-flight ranging camera and the spatial information ranging camera generates a depth value of each pixel position and its reliability as the measurement result, The imaging apparatus according to (1) or (2), wherein the depth synthesis unit determines a depth value of each pixel position based on the magnitude of the reliability in the measurement result.
  • the imaging apparatus selects a depth value with the highest reliability among the measurement results for each pixel and determines a depth value at each pixel position.
  • the spatial information ranging camera includes two left and right imaging elements, and the parallax at each pixel position obtained from the left and right images obtained from the two imaging elements with respect to the spatial information included in the reflected light.
  • the imaging apparatus is a stereo camera that measures a distance to the subject based on a quantity and a baseline length of the two imaging elements.
  • the spatial information ranging camera is a structure light camera that measures a distance from the subject based on triangulation calculation for the spatial information included in the reflected light.
  • An imaging apparatus according to claim 1. further comprising a second optical time-of-flight ranging camera that measures the distance from the subject based on the optical flight time of the modulation component included in the reflected light from the subject of the spatial pattern light, The imaging apparatus according to any one of (1) to (4), wherein the optical time-of-flight ranging camera and the second optical time-of-flight ranging camera operate as the spatial information ranging camera.
  • Each of the optical time-of-flight ranging camera and the second optical time-of-flight ranging camera generates a depth value of each pixel position and its reliability as the measurement result
  • the optical time-of-flight ranging camera and the second optical time-of-flight ranging camera generate a depth value and reliability of each pixel position as the measurement result as the spatial information ranging camera
  • the depth synthesizing unit has the highest reliability among the measurement results of the optical time-of-flight ranging camera and the second optical time-of-flight ranging camera and the measurement result as the spatial information ranging camera.
  • the imaging device according to (7) wherein a high depth value is selected for each pixel to determine a depth value at each pixel position.
  • the optical time-of-flight ranging camera and the spatial information ranging camera measure the distance to the subject based on the optical flight time of the modulation component included in the reflected light, and include the reflected light.
  • the imaging apparatus according to any one of (1) to (4), wherein the imaging apparatus is an integrated camera that measures a distance from the subject based on triangulation calculation for spatial information.
  • DESCRIPTION OF SYMBOLS 11 Optical time-of-flight ranging camera 12 Spatial information ranging camera 20 Subject 100 Imaging device 110, 116 ToF camera 111 ToF pixel 113 Depth calculation part 115 Exposure control part 120 Stereo camera 121 Left side imaging element 122 Right side imaging element 123 Depth calculation part 125 Exposure control unit 126 Camera 130 Light source projection unit 131 Light source generation unit 133 Optical element 135 Light source control unit 140 Structure light camera 141 Imaging device 143 Depth calculation unit 145 Exposure control unit 150 Camera (ToF camera and structure light camera) 151 ToF pixels 153, 154 Depth calculation unit 155 Exposure control unit 160, 165 Depth synthesis unit 161, 162 Coordinate conversion unit 163 Depth synthesis processing unit 170 Input reception unit 180 Shooting control unit 181 Vertical synchronization generation unit 182 Modulation signal generation unit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

投影光の干渉を避けながら、複数の測距方式を組み合わせて測距精度を向上させる。　光源投影部は、強度変調された空間パターン光を投影する。光飛行時間測距カメラは、空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて被写体との距離を計測する。空間情報測距カメラは、反射光に含まれる空間情報に基づいて被写体との距離を計測する。デプス合成部は、光飛行時間測距カメラおよび空間情報測距カメラにおける距離の計測結果を合成して光飛行時間測距カメラまたは空間情報測距カメラにより撮像された画像の各画素位置のデプス値を決定する。

Description

撮像装置
　本技術は、撮像装置に関する。詳しくは、被写体との距離を計測する撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
　近年の撮像装置では、被写体の画像信号を取得するだけでなく、距離情報を画素単位で表したデプスマップを取得する技術が用いられている。距離情報を取得するための技術として、例えば、被写体からの反射光に含まれる変調成分の光飛行時間（ＴｏＦ：Time of Flight）に基づいて距離を計測するＴｏＦ方式や、２つの画像のずれ量から距離を計測するステレオ方式が知られている。これらの距離情報を取得するための技術には一長一短があり、例えば、ステレオ方式では、２つのカメラ間の距離である基線長を調整することにより測距対象距離を調整できるという利点がある。また、アクティブ光源を加えることにより、暗所や非エッジ部における測距を補うことができる。一方、ＴｏＦ方式では、位相のずれから距離を換算するため、計算は簡易であるが、物体のエッジ部分においてマルチパスなどの複数の計測結果が混在して測距性能が低下するという問題がある。そのため、ＴｏＦ方式とステレオ方式の両者を組み合わせた方式が提案されている（例えば、特許文献１および特許文献２参照。）。
国際公開第２０１２／１３７４３４号 特開２００５－０７７１３０号公報
　上述の従来技術では、ＴｏＦ方式とステレオ方式の両者による距離情報を統合することにより、それぞれの方式によって精度よく計測できているもの同士を空間的に合成して、品質の高い距離情報を得ることが考えられる。しかしながら、両者を単純に組み合わせると、同一シーンを２つの光源によって投影することになり、互いの投影光が干渉してしまい、それらが互いにノイズ成分となり、結果的に測距精度が悪化してしまうおそれがある。
　本技術はこのような状況に鑑みて生み出されたものであり、投影光の干渉を避けながら、複数の測距方式を組み合わせて測距精度を向上させることを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、強度変調された空間パターン光を投影する光源投影部と、上記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて上記被写体との距離を計測する光飛行時間測距カメラと、上記反射光に含まれる空間情報に基づいて上記被写体との距離を計測する空間情報測距カメラと、上記光飛行時間測距カメラおよび上記空間情報測距カメラにおける距離の計測結果を合成して上記光飛行時間測距カメラまたは上記空間情報測距カメラにより撮像された画像の各画素位置のデプス値を決定するデプス合成部とを具備する撮像装置である。これにより、光飛行時間測距カメラおよび空間情報測距カメラにおける距離の計測結果を合成して測距精度を向上させるという作用をもたらす。
　また、この第１の側面において、上記光源投影部は、所定の変調信号および垂直同期信号に従って強度変調された光源を発生する光源発生部と、上記光源を空間位置に応じて変形させて上記空間パターン光を生成する光学素子とを備えてもよい。これにより、強度変調された空間パターン光を投影するという作用をもたらす。
　また、この第１の側面において、上記光飛行時間測距カメラおよび上記空間情報測距カメラの各々は、上記計測結果として各画素位置のデプス値とその信頼度とを生成し、上記デプス合成部は、上記計測結果における上記信頼度の大きさに基づいて各画素位置のデプス値を決定するようにしてもよい。これにより、光飛行時間測距カメラおよび上記空間情報測距カメラのデプス値の信頼度の大きさに基づいてデプス値を決定するという作用をもたらす。この場合において、上記デプス合成部は、上記計測結果のうち上記信頼度が最も高いデプス値を画素ごとに選択して各画素位置のデプス値を決定するようにしてもよい。
　また、この第１の側面において、上記空間情報測距カメラは、左右の２つの撮像素子を備え、上記反射光に含まれる上記空間情報について上記２つの撮像素子から得られた左右画像から求められた各画素位置における視差量および上記２つの撮像素子の基線長に基づいて上記被写体との距離を計測するステレオカメラであってもよい。これにより、ステレオカメラにおける距離の計測結果を利用して測距精度を向上させるという作用をもたらす。
　また、この第１の側面において、上記空間情報測距カメラは、上記反射光に含まれる上記空間情報について三角測量計算に基づいて上記被写体との距離を計測するストラクチャライトカメラであってもよい。これにより、ストラクチャライトカメラにおける距離の計測結果を利用して測距精度を向上させるという作用をもたらす。
　また、この第１の側面において、上記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて上記被写体との距離を計測する第２の光飛行時間測距カメラをさらに具備し、上記光飛行時間測距カメラおよび上記第２の光飛行時間測距カメラは、上記空間情報測距カメラとして動作するようにしてもよい。これにより、２つの光飛行時間測距カメラにおける距離の計測結果を利用して測距精度を向上させるという作用をもたらす。この場合において、上記光飛行時間測距カメラおよび上記第２の光飛行時間測距カメラの各々は、上記計測結果として各画素位置のデプス値とその信頼度とを生成し、上記光飛行時間測距カメラおよび上記第２の光飛行時間測距カメラは、上記空間情報測距カメラとしての上記計測結果である各画素位置のデプス値とその信頼度とを生成し、上記デプス合成部は、上記光飛行時間測距カメラおよび上記第２の光飛行時間測距カメラの各々の上記計測結果と上記空間情報測距カメラとしての上記計測結果とのうち上記信頼度が最も高いデプス値を画素ごとに選択して各画素位置のデプス値を決定するようにしてもよい。
　また、この第１の側面において、上記光飛行時間測距カメラおよび空間情報測距カメラは、上記反射光に含まれる変調成分の光飛行時間に基づいて上記被写体との距離を計測するとともに、上記反射光に含まれる上記空間情報について三角測量計算に基づいて上記被写体との距離を計測する、一体化されたカメラであってもよい。これにより、一体化されたカメラにおける複数の計測結果を利用して測距精度を向上させるという作用をもたらす。
　本技術によれば、投影光の干渉を避けながら、複数の測距方式を組み合わせて測距精度を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態における撮像装置１００の構成例を示す図である。 本技術の実施の形態における撮影制御部１８０の構成例を示す図である。 本技術の実施の形態における光源投影部１３０の構成例を示す図である。 本技術の実施の形態における空間パターン光の態様の一例を示す図である。 本技術の第１の実施の形態におけるＴｏＦカメラ１１０の構成例を示す図である。 本技術の実施の形態における測距方式の一例としてのパルス法を示す図である。 本技術の第１の実施の形態におけるステレオカメラ１２０の構成例を示す図である。 本技術の第１の実施の形態におけるデプス合成部１６０の構成例を示す図である。 本技術の実施の形態における撮影制御部１８０の動作手順例を示す流れ図である。 本技術の実施の形態における光源投影部１３０の動作手順例を示す流れ図である。 本技術の第１の実施の形態におけるＴｏＦカメラ１１０の動作手順例を示す流れ図である。 本技術の第１の実施の形態におけるステレオカメラ１２０の動作手順例を示す流れ図である。 本技術の第２の実施の形態におけるＴｏＦカメラ１１０およびカメラ１２６の構成例を示す図である。 本技術の第３の実施の形態におけるストラクチャライトカメラ１４０の構成例を示す図である。 本技術の第４の実施の形態におけるＴｏＦカメラ１１０およびＴｏＦカメラ１１６の構成例を示す図である。 本技術の第５の実施の形態におけるカメラ１５０の構成例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（ＴｏＦカメラとステレオカメラを用いた例）
　２．第２の実施の形態（ＴｏＦカメラと単眼カメラを用いた例）
　３．第３の実施の形態（ＴｏＦカメラとストラクチャライトカメラを用いた例）
　４．第４の実施の形態（２台のＴｏＦカメラを用いた例）
　５．第５の実施の形態（ＴｏＦカメラとストラクチャライトカメラを一体化させた例）
　６．移動体への応用例
　７．内視鏡手術システムへの応用例
　＜１．第１の実施の形態＞
　［撮像装置の構成］
　図１は、本技術の実施の形態における撮像装置１００の構成例を示す図である。この撮像装置１００は、被写体２０を撮像して、被写体の画像信号および距離情報を取得するものである。この撮像装置１００は、光飛行時間測距カメラ１１と、空間情報測距カメラ１２と、光源投影部１３０と、デプス合成部１６０と、入力受付部１７０と、撮影制御部１８０とを備えている。
　光飛行時間測距カメラ１１は、被写体からの反射光に含まれる変調成分の光飛行時間に基づいて被写体との距離を計測するカメラである。空間情報測距カメラ１２は、被写体からの反射光に含まれる空間情報に基づいて被写体との距離を計測するカメラである。これら光飛行時間測距カメラ１１および空間情報測距カメラ１２は、通常のカメラと同様に、撮像した画像を生成するとともに、距離情報を画素単位で表したデプスマップを生成する。以下では、撮像された画像については省略し、距離情報の取り扱いに着目して説明する。
　光源投影部１３０は、光飛行時間測距カメラ１１および空間情報測距カメラ１２における測距に必要な光を投影するものである。ここで、光飛行時間測距カメラ１１は変調光を利用して距離を計測するため、光源には変調成分が含まれている必要がある。一方、空間情報測距カメラ１２は空間情報を利用して距離を計測するため、光源には空間パターンが含まれている必要がある。上述のように、単純に２つの光源を投影した場合には、互いの投影光が干渉してしまい、測距精度が悪化するおそれがある。そこで、この光源投影部１３０は、１つの光源により、強度変調された空間パターン光を投影する。なお、被写体２０には環境光が照射されていてもよい。
　デプス合成部１６０は、光飛行時間測距カメラ１１および空間情報測距カメラ１２における距離の計測結果を合成して、撮像された画像の各画素位置のデプス値を決定するものである。このデプス合成部１６０は、光飛行時間測距カメラ１１からデプス値およびその信頼度を、信号線１１９および１１８を介して受け取る。また、このデプス合成部１６０は、空間情報測距カメラ１２からデプス値およびその信頼度を、信号線１２９および１２８を介して受け取る。
　入力受付部１７０は、外部からの入力を受け付けるものである。この入力受付部１７０としては、例えば、撮影開始コマンドや撮影終了コマンドの入力を受け付ける撮影ボタンなどが想定される。この入力受付部１７０は、受け付けた入力を、信号線１７９を介して撮影制御部１８０に供給する。
　撮影制御部１８０は、光源投影部１３０における投影動作を制御するとともに、光飛行時間測距カメラ１１および空間情報測距カメラ１２における撮影動作の制御を行うものである。この撮影制御部１８０から光源投影部１３０、光飛行時間測距カメラ１１および空間情報測距カメラ１２に対する制御信号は、信号線１８８および１８９を介して供給される。
　図２は、本技術の実施の形態における撮影制御部１８０の構成例を示す図である。この撮影制御部１８０は、垂直同期生成部１８１と、変調信号発生部１８２とを備える。これら垂直同期生成部１８１および変調信号発生部１８２は、入力受付部１７０において例えば撮影開始コマンドや撮影終了コマンドの入力が受け付けられると、信号線１７９を介してその旨を検知して所定の動作を行う。
　垂直同期生成部１８１は、撮影に必要な垂直同期（Ｖ同期）信号を生成するものである。垂直同期信号は、一定の間隔で動画フレームを撮影するために必要な信号であり、通常は３０Ｈｚから１２０Ｈｚ程度の周期の信号である。この垂直同期生成部１８１は、撮影開始コマンドが入力されると垂直同期信号の出力を開始し、撮影終了コマンドが入力されると垂直同期信号の出力を終了する。この垂直同期信号は、信号線１８９を介して光源投影部１３０、光飛行時間測距カメラ１１および空間情報測距カメラ１２に供給される。
　変調信号発生部１８２は、撮影に必要な変調信号を生成するものである。変調信号は、光飛行時間測距カメラ１１における距離計測に必要な信号であり、２０ＭＨｚから１００ＭＨｚ程度の周期の信号である。この変調信号発生部１８２は、撮影開始コマンドが入力されると変調信号の出力を開始し、撮影終了コマンドが入力されると変調信号の出力を終了する。この変調信号は、信号線１８８を介して光源投影部１３０および光飛行時間測距カメラ１１に供給される。
　図３は、本技術の実施の形態における光源投影部１３０の構成例を示す図である。この光源投影部１３０は、光源発生部１３１と、光学素子１３３と、光源制御部１３５とを備える。
　光源発生部１３１は、投影光を生成するための光源を発生するものである。この光源発生部１３１としては、例えば、ＬＥＤ（Light Emitting Diode）やレーザダイオードなどを用いることができる。この光源発生部１３１は、光源制御部１３５から供給された変調信号に従って強度変調された光源を発生する。変調信号が供給されない間は変調されない定常光を発生する。光源発生の開始および終了についても、光源制御部１３５からの投影の開始指示および終了指示に従う。
　光学素子１３３は、光源発生部１３１からの光源を空間位置に応じて変形させて空間パターン光を生成するものである。空間パターン光としては、例えば、格子模様、ランダム点集合またはランダムな濃淡を投影するもの、距離によって点形状が変化するよう投影するものなどが想定され、任意に設計することができる。
　光源制御部１３５は、撮影制御部１８０から信号線１８８および１８９を介して供給された変調信号および垂直同期信号に従って、光源発生部１３１を制御するものである。この光源制御部１３５は、垂直同期信号を受信した直後は、変調信号に従って強度変調された光源を発生するよう光源発生部１３１を制御する。そして、垂直同期信号の受信タイミングから光飛行時間測距カメラ１１の露光時間が経過すると、変調信号の供給を停止して、変調されない定常光を発生するよう光源発生部１３１を制御する。その後、空間情報測距カメラ１２の露光時間が経過すると、光源の発生を終了するよう光源発生部１３１を制御する。
　このように、強度変調された投影光は、光飛行時間測距カメラ１１の露光時間分だけ継続する。空間情報測距カメラ１２については変調した投影光、または、変調していない定常光のいずれによる投影でも測距できる。そのため、光飛行時間測距カメラ１１の露光が先に完了した場合、残った空間情報測距カメラ１２の露光時間は定常光を投影する。変調光はパルス光のため、全体時間に対する投影時間は半分であり、空間情報測距カメラ１２にとって光量が半分になってしまうため、定常光による投影の方が感度よく撮影できるからである。
　図４は、本技術の実施の形態における空間パターン光の態様の一例を示す図である。本技術の実施の形態における空間パターン光は、任意の模様を用いることができる。ここでは、一例として、ドットパターンを示している。
　光学素子１３３は、例えば、このようなドットパターンを投影するような回折格子を用いる。このような回折格子は、レーザ光源のビーム形状を自由な形状に変形するよう、回折格子の表面にその特性に合わせてマイクロ構造を造り込んで光子を導くものである。石英ガラスやガラス素材をエッチングしたり、ポリマー素材をエンボス加工したりして製造される。また、回折格子の設計によって、距離に応じて点形状が変化するような設計も可能で、例えば近景では平面光に近く、距離が離れるほど点に集光していくようにすることができる。また、点に集光することによって、投光距離を伸ばすことも可能である。
　また、空間パターン光は、スリット光でもよい。また、複数の周波数スリット光を時分割で切り替えたものでもよい。
　図５は、本技術の第１の実施の形態におけるＴｏＦカメラ１１０の構成例を示す図である。この第１の実施の形態では、光飛行時間測距カメラ１１としてＴｏＦ（Time of Flight）カメラ１１０を想定する。このＴｏＦカメラ１１０は、ＴｏＦ画素１１１と、デプス計算部１１３と、露光制御部１１５とを備える。
　露光制御部１１５は、撮影制御部１８０から信号線１８８および１８９を介して供給された変調信号および垂直同期信号に従って、ＴｏＦ画素１１１の露光を制御するものである。この露光制御部１１５は、垂直同期信号を受信すると、露光を開始するようＴｏＦ画素１１１を制御する。そして、垂直同期信号の受信タイミングからＴｏＦカメラ１１０の露光時間が経過すると、露光を終了するようＴｏＦ画素１１１を制御する。
　ＴｏＦ画素１１１は、被写体２０に当って跳ね返ってくる変調された反射光を受光して、画像信号として光電変換するものである。このＴｏＦ画素１１１は、反射光を光電変換する際、後述するように、１つの画素により純相と逆相の２つのウィンドウで電荷を積算する。
　デプス計算部１１３は、ＴｏＦ画素１１１により生成された画像信号と変調信号との相関関係から位相遅れ量（位相ずれ量）を求めて、この位相遅れ量を、奥行きを表すデプス値に変換するものである。また、このデプス計算部１１３は、デプス値の信頼度を生成する。このデプス計算部１１３によって生成されたデプス値およびその信頼度は、信号線１１９および１１８を介してデプス合成部１６０に供給される。
　図６は、本技術の実施の形態における測距方式の一例としてのパルス法を示す図である。光源投影部１３０は、変調信号の変調周波数に合わせたパルス波を一定期間（Δｔ）投影する。被写体２０から反射された投影光は、位相遅れ量（φ）だけ遅れてＴｏＦカメラ１１０において観測される。このとき、ＴｏＦ画素１１１は、光源投影部１３０から投影されたパルス波と同期した順相（０°）および逆相（１８０°）の２つのウィンドウで反射光を積算して計測する（Ｑ１、Ｑ２）。この計測された電荷Ｑ１およびＱ２を用いて、次式により被写体２０との距離ｄを算出することができる。ただし、ｃは光の速度である。
　　ｄ＝（１／２）・ｃ・Δｔ・（Ｑ２／（Ｑ１＋Ｑ２））
　このとき、電荷Ｑ１およびＱ２の合計値は、被写体２０からの反射光の強さであり、より強い応答が得られる方が、信号のＳＮ比（Signal-Noise ratio）は良いと考えて、この値を信頼度として使う。すなわち、信頼度ｒは次式により得られる。
　　ｒ＝Ｑ１＋Ｑ２
　なお、ここでは、測距方式の一例としてパルス法について説明したが、連続波法（Continuous Wave）などの他の方法を用いてもよい。
　図７は、本技術の第１の実施の形態におけるステレオカメラ１２０の構成例を示す図である。この第１の実施の形態では、空間情報測距カメラ１２としてステレオカメラ１２０を想定する。このステレオカメラ１２０は、左側撮像素子１２１と、右側撮像素子１２２と、デプス計算部１２３と、露光制御部１２５とを備える。
　露光制御部１２５は、撮影制御部１８０から信号線１８９を介して供給された垂直同期信号に従って、左側撮像素子１２１および右側撮像素子１２２の露光を制御するものである。この露光制御部１２５は、垂直同期信号を受信すると、露光を開始するよう左側撮像素子１２１および右側撮像素子１２２を制御する。そして、垂直同期信号の受信タイミングからステレオカメラ１２０の露光時間が経過すると、露光を終了するよう左側撮像素子１２１および右側撮像素子１２２を制御する。
　左側撮像素子１２１および右側撮像素子１２２は、被写体２０に当って跳ね返ってくる反射光を受光して、左右画像の画像信号として光電変換するものである。
　デプス計算部１２３は、左右画像から各画素位置における視差量を計算して、左側撮像素子１２１と右側撮像素子１２２との間の基線長に基づいて距離を計算して出力するものである。視差量を計算するためには、片方の画像において注目画素を含むＮ×Ｎ画素のパッチ画像が、もう一方の画像のどの位置に類似パッチ画像として現れるかを、その位置をシフトしながら誤差最小のパッチ画像を探索するブロックマッチング法を用いることができる。
　パッチ画像の模様がない平坦な部位のオブジェクトであった場合には、ステレオカメラ１２０では距離をうまく求めることができないおそれがある。ただし、パターン光によって投影された光が十分なコントラストを持って観測されれば、そのパターン光の模様を手掛かりに視差量を計算することが可能である。
　また、ステレオカメラ１２０は、パッチ画像のシフト量を画素より細かい精度で計算することでデプス値の精度を向上させることができるため、左側撮像素子１２１および右側撮像素子１２２の解像度を上げることによって、デプス値の精度を上げることができる。また、左側撮像素子１２１と右側撮像素子１２２との間の基線長を調整することにより、測定できる距離のレンジを容易に調整することができる。
　このように、ステレオカメラ１２０は、撮影制御部１８０から垂直同期信号を受信して左側撮像素子１２１および右側撮像素子１２２の撮影を制御する。そして、デプス計算部１２３は、撮影された左右画像から視差量を計算し、各画素位置のデプス値を決定してデプスマップとして出力する。また、デプス計算部１２３は、計算過程で得られる信頼度を出力する。
　視差の量は、例えば以下の絶対値差分の式で計算することができる。パッチ絶対値差分ＲSADは、画像Ｌのパッチの画素Ｉ（ｉ，ｊ）と画像Ｒのパッチの画素Ｔ（ｉ，ｊ）の画素値の絶対差分をパッチ内の画素分だけ積算した値である。パッチの画像が似ているほどパッチ絶対値差分ＲSADの値は小さくなる。これを画像Ｌのパッチの基準位置をシフト量分だけずらしながら、最小のパッチ絶対値差分を求める。この最小の差分時のシフト量が視差であり、その位置における奥行き値となる。
Figure JPOXMLDOC01-appb-M000001
　また、信頼度は、例えば第二最小値との比率として計算することができる。最小の絶対値差分をＲSAD1、それとは異なるシフト位置の第二最小の絶対値差分をＲSAD2とし、それらの比率を１から引いた値である信頼度ＣSADを求める。この値は、二つの信頼度の差分が大きいほど大きくなり、差分が大きいほどそのシフト量が他のシフト量と区別できているということを意味する。
　　ＣSAD＝１．０－ＲSAD1／ＲSAD2
　図８は、本技術の第１の実施の形態におけるデプス合成部１６０の構成例を示す図である。このデプス合成部１６０は、座標変換部１６１および１６２と、デプス合成処理部１６３とを備える。
　座標変換部１６１は、光飛行時間測距カメラ１１から信号線１１９および１１８を介して供給されたデプス値および信頼度に対して座標変換操作を適用して、デプスマップの座標位置を揃える処理を行うものである。
　座標変換部１６２は、空間情報測距カメラ１２から信号線１２９および１２８を介して供給されたデプス値および信頼度に対して座標変換操作を適用して、デプスマップの座標位置を揃える処理を行うものである。
　デプス合成処理部１６３は、座標変換部１６１および１６２によって座標位置が揃えられた２つのデプス値を信頼度の大きさに基づいて統合して出力するものである。例えば、最も信頼度の高いデプス値を画素ごとに選択して、デプス合成を行うことができる。
　座標変換に必要なパラメータは、光飛行時間測距カメラ１１と空間情報測距カメラ１２のそれぞれのカメラ位置によって決定されるため、事前にキャリブレーションしておき、パラメータを求め、その値を利用する。このパラメータは、例えばカメラの外部パラメータ、内部パラメータ、レクティフィケーションパラメータと呼ばれているものであり、一般的には以下の形式で表される。
　内部パラメータは、次式の行列式により表現される。ただし、ｆxおよびｆyは、ピクセル単位で表される焦点距離である。ｃxおよびｃyは、カメラの主点である。
Figure JPOXMLDOC01-appb-M000002
　外部パラメータは、以下の行列式により表現される。ただし、ｒは回転行列の要素、ｔは並進移動の要素であり、これらをまとめた同時変換行列となっている。
Figure JPOXMLDOC01-appb-M000003
　レクティフィケーションパラメータは、３×３行列の９つのパラメータであり、カメラを平行化して、ブロックマッチングなどの探索をエピポーラ直線上で求めるようにするものである。
　この第１の実施の形態における撮像装置については、ＴｏＦカメラ１１０およびステレオカメラ１２０の測距範囲を考慮した設定が必要である。すなわち、ＴｏＦカメラ１１０においては、変調周波数が測距分解能と限界測距距離を決定し、変調光の強度や露光時間が測距対象の距離を決定する。変調光強度が強くまたは露光時間が長ければ、より遠方まで光が届くが、近いオブジェクトが飽和して観測されて測距できないおそれもある。一方、ステレオカメラ１２０においては、左側撮像素子１２１と右側撮像素子１２２との間の基線長が測距分解能と限界測距距離を決定し、投影パターン光の強度や露光時間が測距対象の距離を決定する。
　一般に、ＴｏＦカメラは低解像度であり、ステレオカメラは写真や動画撮影用センサなど高解像度のものが利用されることが多い。したがって、ＴｏＦカメラ１１０を近景用、ステレオカメラ１２０を遠景用に設定して、合成したデプスマップを得ることが考えられる。
　露光時間については、ＴｏＦカメラ１１０を短露光時間に、ステレオカメラ１２０を長露光時間に設定することが考えられる。このように設定すると、近距離のＴｏＦデプスマップと遠距離のステレオデプスマップとが得られる。これにより、パターン光に起因してステレオカメラにおいて発生する平面部の穴あきを軽減することができ、また、面光源よりも点光源に集光することによって投影強度を強めるという効果がある。これにより、距離方向に広いダイナミックレンジを持つ測距を行うことが可能になる。
　このように、変調を利用した測距とパターンを利用した測距とを１つの光源で実現することにより、投影光を無駄なく使うことができ、消費電力の観点で、単純に２つを組み合わせたものよりも有利である。また、２つの異なる光源による干渉ノイズを避けることができる。また、光源が少なくなる分、モジュールサイズが小さくなり、サイズおよびコスト面でも有利になる。
　［撮像装置の動作］
　図９は、本技術の実施の形態における撮影制御部１８０の動作手順例を示す流れ図である。
　撮影開始コマンドを受信する前は（ステップＳ９１２：Ｎｏ）、撮影制御部１８０はスタンバイ状態にある（ステップＳ９１１）。撮影開始コマンドが入力されると（ステップＳ９１２：Ｙｅｓ）、垂直同期生成部１８１は垂直同期信号の出力を開始し（ステップＳ９１３）、変調信号発生部１８２は変調信号の出力を開始する（ステップＳ９１４）。
　その後、撮影終了コマンドが入力されると（ステップＳ９１５：Ｙｅｓ）、垂直同期生成部１８１は垂直同期信号の出力を終了し（ステップＳ９１６）、変調信号発生部１８２は変調信号の出力を終了する（ステップＳ９１７）。
　図１０は、本技術の実施の形態における光源投影部１３０の動作手順例を示す流れ図である。
　垂直同期信号を受信する前は（ステップＳ９２２：Ｎｏ）、光源投影部１３０はスタンバイ状態にある（ステップＳ９２１）。垂直同期信号が入力されると（ステップＳ９２２：Ｙｅｓ）、光源発生部１３１は強度変調された光源を発生し、変調光による投影が開始される（ステップＳ９２３）。
　その後、垂直同期信号の受信タイミングから光飛行時間測距カメラ１１の露光時間が経過すると（ステップＳ９２４：Ｙｅｓ）、光源発生部１３１は変調されない定常光を発生し、定常光による投影が開始される（ステップＳ９２５）。
　その後、空間情報測距カメラ１２の露光時間が経過すると（ステップＳ９２６：Ｙｅｓ）、光源発生部１３１は光源の発生を停止し、投影が終了する（ステップＳ９２７）。
　図１１は、本技術の第１の実施の形態におけるＴｏＦカメラ１１０の動作手順例を示す流れ図である。
　垂直同期信号を受信する前は（ステップＳ９３２：Ｎｏ）、ＴｏＦカメラ１１０はスタンバイ状態にある（ステップＳ９３１）。垂直同期信号が入力されると（ステップＳ９３２：Ｙｅｓ）、ＴｏＦ画素１１１は露光を開始する（ステップＳ９３３）。
　その後、垂直同期信号の受信タイミングからＴｏＦカメラ１１０の露光時間が経過すると（ステップＳ９３４：Ｙｅｓ）、ＴｏＦ画素１１１は露光を終了する（ステップＳ９３５）。
　そして、デプス計算部１１３は、画像信号と変調信号との相関関係から位相遅れ量を求めて、この位相遅れ量を、奥行きを表すデプス値に変換する（ステップＳ９３６）。また、デプス計算部１１３は、デプス値の信頼度を生成して、デプス値およびその信頼度を出力する（ステップＳ９３７）。
　図１２は、本技術の第１の実施の形態におけるステレオカメラ１２０の動作手順例を示す流れ図である。
　垂直同期信号を受信する前は（ステップＳ９４２：Ｎｏ）、ＴｏＦカメラ１１０はスタンバイ状態にある（ステップＳ９４１）。垂直同期信号が入力されると（ステップＳ９４２：Ｙｅｓ）、左側撮像素子１２１および右側撮像素子１２２は露光を開始する（ステップＳ９４３）。
　その後、垂直同期信号の受信タイミングからステレオカメラ１２０の露光時間が経過すると（ステップＳ９４４：Ｙｅｓ）、左側撮像素子１２１および右側撮像素子１２２は露光を終了する（ステップＳ９４５）。
　そして、デプス計算部１２３は、左右画像から各画素位置における視差量を計算して、左側撮像素子１２１と右側撮像素子１２２との間の基線長に基づいて距離を計算する（ステップＳ９４６）。また、デプス計算部１２３は、デプス値の信頼度を生成して、デプス値およびその信頼度を出力する（ステップＳ９４７）。
　このように、本技術の第１の実施の形態によれば、ＴｏＦカメラ１１０とステレオカメラ１２０のそれぞれにより得られたデプス値および信頼度を合成することにより、測距精度を向上させることができる。光源投影部１３０から投影される投影光は強度変調された空間パターン光であり、ＴｏＦカメラ１１０に必要な変調成分と、ステレオカメラ１２０に必要な空間パターンの両者を含む。したがって、１つの光源のみが使用されるため、投影光の干渉を避けることができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、ＴｏＦカメラ１１０の他にステレオカメラ１２０を設けていたが、ＴｏＦカメラ１１０によって左右画像の一方を撮像することにより、ステレオカメラ１２０ではなく通常の単眼カメラを利用することが可能となる。ＴｏＦカメラ１１０のＱ１＋Ｑ２の値はシーンを撮影した画像そのものであるため、ＴｏＦカメラ１１０からはデプス値と通常画像も同時に取得される。この第２の実施の形態では、ＴｏＦカメラ１１０による撮影画像を左右画像の一方とするものであり、ＴｏＦカメラ１１０と通常の単眼カメラを組み合わせて、左右画像を取得することを想定する。
　なお、撮像装置としての全体構成は第１の実施の形態と同様であるため、詳細な説明は省略する。
　図１３は、本技術の第２の実施の形態におけるＴｏＦカメラ１１０およびカメラ１２６の構成例を示す図である。この第２の実施の形態では、空間情報測距カメラ１２としてＴｏＦカメラ１１０とカメラ１２６との組み合わせを想定する。なお、光飛行時間測距カメラ１１については、第１の実施の形態と同様にＴｏＦカメラ１１０を想定する。
　カメラ１２６は、単眼カメラであり、左右画像の左画像を撮像するものである。このとき、左右画像の右画像はＴｏＦカメラ１１０のＴｏＦ画素１１１によって撮像されたものを使用する。なお、この左右画像の分担は一例であり、ＴｏＦカメラ１１０において左画像を撮像して、カメラ１２６において右画像を撮像するようにしてもよい。
　このカメラ１２６は、左側撮像素子１２１と、デプス計算部１２３と、露光制御部１２５とを備える。
　露光制御部１２５は、撮影制御部１８０から信号線１８９を介して供給された垂直同期信号に従って、左側撮像素子１２１の露光を制御するものである。
　左側撮像素子１２１は、被写体２０に当って跳ね返ってくる反射光を受光して、左画像の画像信号として光電変換するものである。
　デプス計算部１２３は、左側撮像素子１２１およびＴｏＦ画素１１１から得られた左右画像から各画素位置における視差量を計算して、左側撮像素子１２１とＴｏＦ画素１１１との間の基線長に基づいて距離を計算して出力するものである。
　このように、本技術の第２の実施の形態によれば、ＴｏＦカメラ１１０の撮像画像を左右画像の一方の画像として利用することにより、カメラの数を減らし、ＴｏＦカメラとステレオカメラを組み合わせた場合と同様に測距精度を向上させることができる。
　＜３．第３の実施の形態＞
　上述の第１の実施の形態では、空間情報測距カメラ１２としてステレオカメラ１２０を想定していたが、空間情報を利用して測距できれば他の種類のカメラであってもよい。この第３の実施の形態では、空間情報測距カメラ１２としてストラクチャライトカメラを想定する。
　なお、撮像装置としての全体構成は第１の実施の形態と同様であるため、詳細な説明は省略する。
　図１４は、本技術の第３の実施の形態におけるストラクチャライトカメラ１４０の構成例を示す図である。このストラクチャライトカメラ１４０は、三次元の形状をカメラとパターン投影によって取得するカメラである。このストラクチャライトカメラ１４０は、撮像素子１４１と、デプス計算部１４３と、露光制御部１４５とを備える。
　露光制御部１４５は、撮影制御部１８０から信号線１８９を介して供給された垂直同期信号に従って、撮像素子１４１の露光を制御するものである。撮像素子１４１は、被写体２０に当って跳ね返ってくる反射光を受光して、画像信号に光電変換するものである。デプス計算部１４３は、既知のパターンを投影したシーンにおいてそのパターンがどのように変形したか、また、そのパターンが撮影シーン内のどこに現れるかを分析し、三角測量計算によって奥行き距離を計算するものである。
　このストラクチャライトカメラ１４０を用いることにより、ステレオカメラを使用するよりもカメラの数を減らすことができる。
　このように、本技術の第３の実施の形態によれば、ＴｏＦカメラ１１０とストラクチャライトカメラ１４０のそれぞれにより得られたデプス値および信頼度を合成することにより、測距精度を向上させることができる。
　＜４．第４の実施の形態＞
　上述の第２の実施の形態では、ＴｏＦカメラ１１０とカメラ１２６を組み合わせていたが、カメラ１２６を他のＴｏＦカメラに置き換えてもよい。この第４の実施の形態では、ＴｏＦカメラ１１０による撮影画像を左右画像の一方とするものであり、ＴｏＦカメラ１１０と他のＴｏＦカメラを組み合わせて、左右画像を取得することを想定する。
　なお、撮像装置としての全体構成は第１の実施の形態と同様であるため、詳細な説明は省略する。
　図１５は、本技術の第４の実施の形態におけるＴｏＦカメラ１１０およびＴｏＦカメラ１１６の構成例を示す図である。この第４の実施の形態では、空間情報測距カメラ１２としてＴｏＦカメラ１１０とＴｏＦカメラ１１６との組み合わせを想定する。なお、光飛行時間測距カメラ１１については、第１の実施の形態と同様にＴｏＦカメラ１１０を想定する。
　ＴｏＦカメラ１１６は、ＴｏＦカメラ１１０とは別のＴｏＦカメラであり、左右画像の左画像を撮像するものである。このとき、左右画像の右画像はＴｏＦカメラ１１０のＴｏＦ画素１１１によって撮像されたものを使用する。なお、この左右画像の分担は一例であり、ＴｏＦカメラ１１０において左画像を撮像して、ＴｏＦカメラ１１６において右画像を撮像するようにしてもよい。
　これらＴｏＦカメラ１１０および１１６により生成されたデプス値およびその信頼度は、デプス合成部１６５において合成される。デプス合成部１６５は、ＴｏＦカメラ１１０単体のデプス値および信頼度、ＴｏＦカメラ１１６単体のデプス値および信頼度、ＴｏＦカメラ１１０を右画像としてＴｏＦカメラ１１６を左画像とした左右画像のデプス値および信頼度、の３組を利用できる。このとき、最も信頼度の高いデプス値を画素ごとに選択して、デプス合成を行うことができる。
　この第４の実施の形態において、ＴｏＦカメラとしての撮像とステレオカメラとしての撮像とで露光時間を変えることにより、明るさのダイナミックレンジを広げることができる。また、ＴｏＦカメラ１１０とＴｏＦカメラ１１６との間の基線長を変えることにより、測距のダイナミックレンジを広げることができる。また、例えば、近距離に対してはＴｏＦカメラ１１０および１１６のそれぞれ単体によるデプス値を使用し、遠距離に対してはＴｏＦカメラ１１０および１１６のアクティブステレオによるデプス値を使用することが考えられる。
　このように、本技術の第４の実施の形態によれば、ＴｏＦカメラ１１０および１１６のそれぞれにより得られたデプス値および信頼度を合成することにより、測距精度をさらに向上させることができる。
　＜５．第５の実施の形態＞
　上述の第３の実施の形態では、ＴｏＦカメラ１１０とストラクチャライトカメラ１４０を組み合わせていたが、これらを１台のカメラに一体化してもよい。この第５の実施の形態では、光飛行時間測距カメラ１１および空間情報測距カメラ１２として一体化されたカメラを想定する。
　図１６は、本技術の第５の実施の形態におけるカメラ１５０の構成例を示す図である。このカメラ１５０は、ＴｏＦカメラおよびストラクチャライトカメラを一体化したものである。このカメラ１５０は、ＴｏＦ画素１５１と、デプス計算部１５３および１５４と、露光制御部１５５とを備える。
　露光制御部１５５は、撮影制御部１８０から信号線１８８および１８９を介して供給された変調信号および垂直同期信号に従って、ＴｏＦ画素１５１の露光を制御するものである。ＴｏＦ画素１５１は、被写体２０に当って跳ね返ってくる変調された反射光を受光して、画像信号として光電変換するものである。
　デプス計算部１５３は、ＴｏＦ画素１５１により生成された画像信号と変調信号との相関関係から位相遅れ量を求めて、この位相遅れ量を、奥行きを表すデプス値に変換するものである。デプス計算部１５４は、既知のパターンを投影したシーンにおいてそのパターンがどのように変形したか、また、そのパターンが撮影シーン内のどこに現れるかを分析し、三角測量計算によって奥行き距離を計算するものである。すなわち、デプス計算部１５３によって変調信号を利用した測距が行われ、デプス計算部１５４によってパターンを利用した測距が行われる。
　このように、本技術の第５の実施の形態によれば、一体化されたカメラにより変調信号を利用した測距とパターンを利用した測距の両者を行うことにより、カメラの台数を減らしながら測距精度を向上させることができる。
　これまで説明した通り、本技術の実施の形態は以下のような利点を有する。
　第１に、光源において空間情報と時間情報とを重畳することにより、投影光の干渉を避けることができる。空間方向（構造光）と時間方向（変調）はそれぞれ独立であり、これらの情報を無駄なく活用することができる。
　第２に、反射光の見え方という観点からすると、ＴｏＦカメラは低解像度であるため、高解像度の構造光のパターンは見えず、ほぼ面発光と等価として扱うことができ、高速変調による測距が可能である。アクティブステレオにとって、光源の変調は十分高速であるため、一定強度で投影していることと等価であり、高解像度空間パターンを利用した測距を行うことが可能である。
　第３に、ＴｏＦカメラおよびステレオカメラの特性を利用して、測距範囲の分担を変えることができる。ＴｏＦカメラは、短露光で測距可能であり、近距離でも飽和し難いため、デプス値の手前側を担当することに適している。一方、アクティブステレオカメラは、長露光であり高解像度で高感度なため、デプス値の奥側を担当することに適している。
　第４に、ステレオカメラの特性を利用することにより、ＴｏＦカメラだけでは不可能な性能を発揮させることができる。すなわち、アクティブステレオは、高解像度パターンを利用することにより、テクスチャのない面の測距を可能とし、集光による到達距離を長距離化することができる。
　＜６．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１８は、撮像部１２０３１の設置位置の例を示す図である。
　図１８では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。
　＜７．内視鏡手術システムへの応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図１９は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図１９では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：　Ｃａｍｅｒａ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ　Ｂａｎｄ　Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図２０は、図１９に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ　Ｗｈｉｔｅ　Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、カメラヘッド１１１０２の撮像部１１４０２に適用され得る。
　なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）強度変調された空間パターン光を投影する光源投影部と、
　前記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測する光飛行時間測距カメラと、
　前記反射光に含まれる空間情報に基づいて前記被写体との距離を計測する空間情報測距カメラと、
　前記光飛行時間測距カメラおよび前記空間情報測距カメラにおける距離の計測結果を合成して前記光飛行時間測距カメラまたは前記空間情報測距カメラにより撮像された画像の各画素位置のデプス値を決定するデプス合成部と
を具備する撮像装置。
（２）前記光源投影部は、
　所定の変調信号および垂直同期信号に従って強度変調された光源を発生する光源発生部と、
　前記光源を空間位置に応じて変形させて前記空間パターン光を生成する光学素子と
を備える前記（１）に記載の撮像装置。
（３）前記光飛行時間測距カメラおよび前記空間情報測距カメラの各々は、前記計測結果として各画素位置のデプス値とその信頼度とを生成し、
　前記デプス合成部は、前記計測結果における前記信頼度の大きさに基づいて各画素位置のデプス値を決定する
前記（１）または（２）に記載の撮像装置。
（４）前記デプス合成部は、前記計測結果のうち前記信頼度が最も高いデプス値を画素ごとに選択して各画素位置のデプス値を決定する
前記（３）に記載の撮像装置。
（５）前記空間情報測距カメラは、左右の２つの撮像素子を備え、前記反射光に含まれる前記空間情報について前記２つの撮像素子から得られた左右画像から求められた各画素位置における視差量および前記２つの撮像素子の基線長に基づいて前記被写体との距離を計測するステレオカメラである
前記（１）から（４）のいずれかに記載の撮像装置。
（６）前記空間情報測距カメラは、前記反射光に含まれる前記空間情報について三角測量計算に基づいて前記被写体との距離を計測するストラクチャライトカメラである
前記（１）から（４）のいずれかに記載の撮像装置。
（７）前記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測する第２の光飛行時間測距カメラをさらに具備し、
　前記光飛行時間測距カメラおよび前記第２の光飛行時間測距カメラは、前記空間情報測距カメラとして動作する
前記（１）から（４）のいずれかに記載の撮像装置。
（８）前記光飛行時間測距カメラおよび前記第２の光飛行時間測距カメラの各々は、前記計測結果として各画素位置のデプス値とその信頼度とを生成し、
　前記光飛行時間測距カメラおよび前記第２の光飛行時間測距カメラは、前記空間情報測距カメラとしての前記計測結果である各画素位置のデプス値とその信頼度とを生成し、
　前記デプス合成部は、前記光飛行時間測距カメラおよび前記第２の光飛行時間測距カメラの各々の前記計測結果と前記空間情報測距カメラとしての前記計測結果とのうち前記信頼度が最も高いデプス値を画素ごとに選択して各画素位置のデプス値を決定する
前記（７）に記載の撮像装置。
（９）前記光飛行時間測距カメラおよび空間情報測距カメラは、前記反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測するとともに、前記反射光に含まれる前記空間情報について三角測量計算に基づいて前記被写体との距離を計測する、一体化されたカメラである
前記（１）から（４）のいずれかに記載の撮像装置。
　１１　光飛行時間測距カメラ
　１２　空間情報測距カメラ
　２０　被写体
　１００　撮像装置
　１１０、１１６　ＴｏＦカメラ
　１１１　ＴｏＦ画素
　１１３　デプス計算部
　１１５　露光制御部
　１２０　ステレオカメラ
　１２１　左側撮像素子
　１２２　右側撮像素子
　１２３　デプス計算部
　１２５　露光制御部
　１２６　カメラ
　１３０　光源投影部
　１３１　光源発生部
　１３３　光学素子
　１３５　光源制御部
　１４０　ストラクチャライトカメラ
　１４１　撮像素子
　１４３　デプス計算部
　１４５　露光制御部
　１５０　カメラ（ＴｏＦカメラ兼ストラクチャライトカメラ）
　１５１　ＴｏＦ画素
　１５３、１５４　デプス計算部
　１５５　露光制御部
　１６０、１６５　デプス合成部
　１６１、１６２　座標変換部
　１６３　デプス合成処理部
　１７０　入力受付部
　１８０　撮影制御部
　１８１　垂直同期生成部
　１８２　変調信号発生部

Claims (9)

  1. 　強度変調された空間パターン光を投影する光源投影部と、
    　前記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測する光飛行時間測距カメラと、
    　前記反射光に含まれる空間情報に基づいて前記被写体との距離を計測する空間情報測距カメラと、
    　前記光飛行時間測距カメラおよび前記空間情報測距カメラにおける距離の計測結果を合成して前記光飛行時間測距カメラまたは前記空間情報測距カメラにより撮像された画像の各画素位置のデプス値を決定するデプス合成部と
    を具備する撮像装置。
  2. 　前記光源投影部は、
    　所定の変調信号および垂直同期信号に従って強度変調された光源を発生する光源発生部と、
    　前記光源を空間位置に応じて変形させて前記空間パターン光を生成する光学素子と
    を備える請求項１記載の撮像装置。
  3. 　前記光飛行時間測距カメラおよび前記空間情報測距カメラの各々は、前記計測結果として各画素位置のデプス値とその信頼度とを生成し、
    　前記デプス合成部は、前記計測結果における前記信頼度の大きさに基づいて各画素位置のデプス値を決定する
    請求項１記載の撮像装置。
  4. 　前記デプス合成部は、前記計測結果のうち前記信頼度が最も高いデプス値を画素ごとに選択して各画素位置のデプス値を決定する
    請求項３記載の撮像装置。
  5. 　前記空間情報測距カメラは、左右の２つの撮像素子を備え、前記反射光に含まれる前記空間情報について前記２つの撮像素子から得られた左右画像から求められた各画素位置における視差量および前記２つの撮像素子の基線長に基づいて前記被写体との距離を計測するステレオカメラである
    請求項１記載の撮像装置。
  6. 　前記空間情報測距カメラは、前記反射光に含まれる前記空間情報について三角測量計算に基づいて前記被写体との距離を計測するストラクチャライトカメラである
    請求項１記載の撮像装置。
  7. 　前記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測する第２の光飛行時間測距カメラをさらに具備し、
    　前記光飛行時間測距カメラおよび前記第２の光飛行時間測距カメラは、前記空間情報測距カメラとして動作する
    請求項１記載の撮像装置。
  8. 　前記光飛行時間測距カメラおよび前記第２の光飛行時間測距カメラの各々は、前記計測結果として各画素位置のデプス値とその信頼度とを生成し、
    　前記光飛行時間測距カメラおよび前記第２の光飛行時間測距カメラは、前記空間情報測距カメラとしての前記計測結果である各画素位置のデプス値とその信頼度とを生成し、
    　前記デプス合成部は、前記光飛行時間測距カメラおよび前記第２の光飛行時間測距カメラの各々の前記計測結果と前記空間情報測距カメラとしての前記計測結果とのうち前記信頼度が最も高いデプス値を画素ごとに選択して各画素位置のデプス値を決定する
    請求項７記載の撮像装置。
  9. 　前記光飛行時間測距カメラおよび空間情報測距カメラは、前記反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測するとともに、前記反射光に含まれる前記空間情報について三角測量計算に基づいて前記被写体との距離を計測する、一体化されたカメラである
    請求項１記載の撮像装置。
PCT/JP2017/020862 2016-09-01 2017-06-05 撮像装置 WO2018042801A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201780003289.4A CN108027238B (zh) 2016-09-01 2017-06-05 成像装置
KR1020187007747A KR102499586B1 (ko) 2016-09-01 2017-06-05 촬상 장치
US15/762,631 US10866321B2 (en) 2016-09-01 2017-06-05 Imaging device
JP2018513025A JP7022057B2 (ja) 2016-09-01 2017-06-05 撮像装置
EP17845812.1A EP3508814B1 (en) 2016-09-01 2017-06-05 Imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-171048 2016-09-01
JP2016171048 2016-09-01

Publications (1)

Publication Number Publication Date
WO2018042801A1 true WO2018042801A1 (ja) 2018-03-08

Family

ID=61300336

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020862 WO2018042801A1 (ja) 2016-09-01 2017-06-05 撮像装置

Country Status (6)

Country Link
US (1) US10866321B2 (ja)
EP (1) EP3508814B1 (ja)
JP (1) JP7022057B2 (ja)
KR (1) KR102499586B1 (ja)
CN (1) CN108027238B (ja)
WO (1) WO2018042801A1 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019196049A1 (zh) * 2018-04-12 2019-10-17 深圳市汇顶科技股份有限公司 影像传感系统及电子装置
CN110471080A (zh) * 2019-07-12 2019-11-19 深圳奥比中光科技有限公司 基于tof图像传感器的深度测量装置
WO2019231626A1 (en) * 2018-05-30 2019-12-05 Qualcomm Incorporated Time of flight range finder for a structured light system
WO2020008832A1 (ja) * 2018-07-06 2020-01-09 ミツミ電機株式会社 測距カメラ
WO2020105092A1 (ja) * 2018-11-19 2020-05-28 日本電気株式会社 画像処理方法および画像処理装置
JP2020190925A (ja) * 2019-05-22 2020-11-26 日立オートモティブシステムズ株式会社 ステレオカメラシステム、及び測距方法
JP2021004781A (ja) * 2019-06-26 2021-01-14 株式会社 日立産業制御ソリューションズ 距離画像生成装置
WO2021010174A1 (ja) * 2019-07-16 2021-01-21 ソニー株式会社 受光装置、および、受光装置の駆動方法
WO2021065500A1 (ja) * 2019-09-30 2021-04-08 ソニーセミコンダクタソリューションズ株式会社 測距センサ、信号処理方法、および、測距モジュール
WO2021085128A1 (ja) * 2019-10-28 2021-05-06 ソニーセミコンダクタソリューションズ株式会社 測距装置、測定方法、および、測距システム
WO2021140886A1 (ja) * 2020-01-10 2021-07-15 パナソニックＩｐマネジメント株式会社 三次元モデル生成方法、情報処理装置およびプログラム
CN113382165A (zh) * 2021-05-31 2021-09-10 上海集成电路制造创新中心有限公司 相机对焦方法及相机对焦系统
WO2021176873A1 (ja) * 2020-03-03 2021-09-10 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
JP2022505772A (ja) * 2018-11-01 2022-01-14 ウェイモ エルエルシー 構造化光照明付き飛行時間型センサ
EP3855113A4 (en) * 2018-09-18 2022-06-22 Naoyuki Murakami METHOD FOR MEASURING AN IMAGE DISTANCE DISPLAYED ON A TELEVISION CAMERA
WO2022224580A1 (ja) * 2021-04-19 2022-10-27 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距システム
CN115442591A (zh) * 2022-11-04 2022-12-06 合肥的卢深视科技有限公司 相机质量测试方法、系统、电子设备和存储介质
DE112021001132T5 (de) 2020-02-17 2022-12-29 Fanuc Corporation Dreidimensionale messvorrichtung zum erzeugen dreidimensionalerpunktpositionsinformationen

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11232590B2 (en) * 2017-05-24 2022-01-25 Sony Corporation Information processing apparatus, information processing method, and program
US10891745B1 (en) * 2017-08-14 2021-01-12 Apple Inc. Hybrid system with a structured-light stereo device and a time of flight device
US10613228B2 (en) 2017-09-08 2020-04-07 Microsoft Techology Licensing, Llc Time-of-flight augmented structured light range-sensor
TW201939452A (zh) * 2018-03-15 2019-10-01 艾沙技術有限公司 移動載具、安全警示裝置及安全警示方法
US10663567B2 (en) * 2018-05-04 2020-05-26 Microsoft Technology Licensing, Llc Field calibration of a structured light range-sensor
EP3581881A1 (de) * 2018-06-15 2019-12-18 Hexagon Technology Center GmbH Oberflächenvermessung mittels angeregter fluoreszenz
EP3811113A1 (en) * 2018-06-22 2021-04-28 Ams Ag Using time-of-flight and pseudo-random bit sequences to measure distance to object
US10791277B2 (en) * 2018-09-11 2020-09-29 Cognex Corporation Methods and apparatus for optimizing image acquisition of objects subject to illumination patterns
WO2020149139A1 (ja) * 2019-01-16 2020-07-23 株式会社小糸製作所 イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
JP2020122774A (ja) * 2019-01-29 2020-08-13 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
US20220110511A1 (en) * 2019-02-19 2022-04-14 Sony Group Corporation Medical observation system, medical system, and distance measuring method
DE112020001760T5 (de) * 2019-04-05 2022-01-13 Sony Group Corporation Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren undentfernungsmessmodul
CN109889809A (zh) * 2019-04-12 2019-06-14 深圳市光微科技有限公司 深度相机模组、深度相机、深度图获取方法以及深度相机模组形成方法
CN110095781B (zh) * 2019-05-06 2021-06-01 歌尔光学科技有限公司 基于lbs投影系统的测距方法、设备及计算机可读存储介质
WO2021030034A1 (en) 2019-08-15 2021-02-18 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
CN110909617B (zh) * 2019-10-28 2022-03-25 广州多益网络股份有限公司 基于双目视觉的活体人脸检测方法及装置
US11763433B2 (en) * 2019-11-14 2023-09-19 Samsung Electronics Co., Ltd. Depth image generation method and device
US20210156881A1 (en) * 2019-11-26 2021-05-27 Faro Technologies, Inc. Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking
EP4128748A1 (en) * 2020-03-23 2023-02-08 Ricoh Company, Ltd. Information processing apparatus and method of processing information
US11763472B1 (en) 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
CN111708039B (zh) * 2020-05-24 2023-09-05 奥比中光科技集团股份有限公司 一种深度测量装置、方法及电子设备
CN115552285A (zh) 2020-06-11 2022-12-30 苹果公司 具有飞行时间感测能力的全局快门图像传感器
DE102020117060B4 (de) * 2020-06-29 2022-05-05 Audi Aktiengesellschaft Vorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs
US11276154B2 (en) * 2020-07-17 2022-03-15 Samsung Electronics Co., Ltd. Multi-frame depth-based multi-camera relighting of images
US11659290B2 (en) * 2020-07-21 2023-05-23 Canon Kabushiki Kaisha Light detection system
EP4243722A1 (en) * 2020-11-11 2023-09-20 New View Surgical, Inc. Multi-camera imaging system
CN112462388A (zh) * 2020-11-12 2021-03-09 深圳博升光电科技有限公司 三维成像装置、方法及电子设备
CN112255639B (zh) * 2020-12-23 2021-09-03 杭州蓝芯科技有限公司 一种感兴趣区域深度感知传感器及深度感知传感模块
CN113466884B (zh) * 2021-06-30 2022-11-01 深圳市汇顶科技股份有限公司 飞行时间深度测量发射装置及电子设备
CN113484852B (zh) * 2021-07-07 2023-11-07 烟台艾睿光电科技有限公司 一种测距方法及系统
WO2023058839A1 (en) * 2021-10-04 2023-04-13 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
CN115143929A (zh) * 2022-03-28 2022-10-04 南京大学 一种基于光纤束的内窥测距仪

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH095050A (ja) * 1995-06-20 1997-01-10 Olympus Optical Co Ltd 三次元画像計測装置
JP2001337166A (ja) * 2000-05-26 2001-12-07 Minolta Co Ltd ３次元入力方法および３次元入力装置
JP2008145263A (ja) * 2006-12-11 2008-06-26 Fujifilm Corp 撮影装置および方法並びにプログラム
JP2013104784A (ja) * 2011-11-14 2013-05-30 Mitsubishi Electric Corp 光３次元カメラ
US20150070684A1 (en) * 2013-09-09 2015-03-12 Samsung Electronics Co., Ltd. Methods for calculating distance using depth sensor and apparatuses performing the same

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4402400B2 (ja) 2003-08-28 2010-01-20 オリンパス株式会社 物体認識装置
KR20110087112A (ko) * 2010-01-25 2011-08-02 현대모비스 주식회사 Ｔｏｆ 원리를 이용한 3ｄ 영상 표시 장치 및 그 방법
US9414051B2 (en) * 2010-07-20 2016-08-09 Memory Engine, Incorporated Extensible authoring and playback platform for complex virtual reality interactions and immersive applications
CN103477186B (zh) 2011-04-07 2016-01-27 松下知识产权经营株式会社 立体摄像装置
DE112013001240T5 (de) * 2012-03-01 2014-11-20 Iee International Electronics & Engineering S.A. Kompakte Laserquelle zur aktiven Beleuchtung für hybride dreidimensionaleBildgabevorrichtungen
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
JP6476831B2 (ja) * 2013-12-26 2019-03-06 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
KR102144543B1 (ko) * 2014-05-08 2020-08-18 주식회사 히타치엘지 데이터 스토리지 코리아 Tof 카메라에서 신호 검출 방법
US20160205378A1 (en) * 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
JPWO2017159312A1 (ja) * 2016-03-15 2019-01-24 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH095050A (ja) * 1995-06-20 1997-01-10 Olympus Optical Co Ltd 三次元画像計測装置
JP2001337166A (ja) * 2000-05-26 2001-12-07 Minolta Co Ltd ３次元入力方法および３次元入力装置
JP2008145263A (ja) * 2006-12-11 2008-06-26 Fujifilm Corp 撮影装置および方法並びにプログラム
JP2013104784A (ja) * 2011-11-14 2013-05-30 Mitsubishi Electric Corp 光３次元カメラ
US20150070684A1 (en) * 2013-09-09 2015-03-12 Samsung Electronics Co., Ltd. Methods for calculating distance using depth sensor and apparatuses performing the same

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019196049A1 (zh) * 2018-04-12 2019-10-17 深圳市汇顶科技股份有限公司 影像传感系统及电子装置
US11187804B2 (en) 2018-05-30 2021-11-30 Qualcomm Incorporated Time of flight range finder for a structured light system
WO2019231626A1 (en) * 2018-05-30 2019-12-05 Qualcomm Incorporated Time of flight range finder for a structured light system
CN112204420A (zh) * 2018-05-30 2021-01-08 高通股份有限公司 结构化光系统的飞行时间测距仪
JP7121269B2 (ja) 2018-07-06 2022-08-18 ミツミ電機株式会社 測距カメラ
JP2020008415A (ja) * 2018-07-06 2020-01-16 ミツミ電機株式会社 測距カメラ
WO2020008832A1 (ja) * 2018-07-06 2020-01-09 ミツミ電機株式会社 測距カメラ
US11410321B2 (en) 2018-07-06 2022-08-09 Mitsumi Electric Co., Ltd. Distance measuring camera
CN112368544A (zh) * 2018-07-06 2021-02-12 三美电机株式会社 测距摄像机
EP3855113A4 (en) * 2018-09-18 2022-06-22 Naoyuki Murakami METHOD FOR MEASURING AN IMAGE DISTANCE DISPLAYED ON A TELEVISION CAMERA
JP2022505772A (ja) * 2018-11-01 2022-01-14 ウェイモ エルエルシー 構造化光照明付き飛行時間型センサ
JP7203217B2 (ja) 2018-11-01 2023-01-12 ウェイモ エルエルシー 構造化光照明付き飛行時間型センサ
WO2020105092A1 (ja) * 2018-11-19 2020-05-28 日本電気株式会社 画像処理方法および画像処理装置
JPWO2020105092A1 (ja) * 2018-11-19 2021-09-27 日本電気株式会社 画像処理方法および画像処理装置
JP7036227B2 (ja) 2018-11-19 2022-03-15 日本電気株式会社 画像処理方法および画像処理装置
WO2020235249A1 (ja) * 2019-05-22 2020-11-26 日立オートモティブシステムズ株式会社 ステレオカメラシステム、及び測距方法
JP7346080B2 (ja) 2019-05-22 2023-09-19 日立Astemo株式会社 ステレオカメラシステム、及び測距方法
JP2020190925A (ja) * 2019-05-22 2020-11-26 日立オートモティブシステムズ株式会社 ステレオカメラシステム、及び測距方法
JP7290485B6 (ja) 2019-06-26 2023-06-30 株式会社 日立産業制御ソリューションズ 距離画像生成装置
JP7290485B2 (ja) 2019-06-26 2023-06-13 株式会社 日立産業制御ソリューションズ 距離画像生成装置
JP2021004781A (ja) * 2019-06-26 2021-01-14 株式会社 日立産業制御ソリューションズ 距離画像生成装置
CN110471080A (zh) * 2019-07-12 2019-11-19 深圳奥比中光科技有限公司 基于tof图像传感器的深度测量装置
WO2021010174A1 (ja) * 2019-07-16 2021-01-21 ソニー株式会社 受光装置、および、受光装置の駆動方法
WO2021065500A1 (ja) * 2019-09-30 2021-04-08 ソニーセミコンダクタソリューションズ株式会社 測距センサ、信号処理方法、および、測距モジュール
WO2021085128A1 (ja) * 2019-10-28 2021-05-06 ソニーセミコンダクタソリューションズ株式会社 測距装置、測定方法、および、測距システム
WO2021140886A1 (ja) * 2020-01-10 2021-07-15 パナソニックＩｐマネジメント株式会社 三次元モデル生成方法、情報処理装置およびプログラム
DE112021001132T5 (de) 2020-02-17 2022-12-29 Fanuc Corporation Dreidimensionale messvorrichtung zum erzeugen dreidimensionalerpunktpositionsinformationen
WO2021176873A1 (ja) * 2020-03-03 2021-09-10 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
WO2022224580A1 (ja) * 2021-04-19 2022-10-27 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距システム
CN113382165A (zh) * 2021-05-31 2021-09-10 上海集成电路制造创新中心有限公司 相机对焦方法及相机对焦系统
CN115442591A (zh) * 2022-11-04 2022-12-06 合肥的卢深视科技有限公司 相机质量测试方法、系统、电子设备和存储介质

Also Published As

Publication number Publication date
JPWO2018042801A1 (ja) 2019-06-24
JP7022057B2 (ja) 2022-02-17
KR102499586B1 (ko) 2023-02-14
EP3508814A4 (en) 2020-03-11
US20180275278A1 (en) 2018-09-27
US10866321B2 (en) 2020-12-15
CN108027238B (zh) 2022-06-14
CN108027238A (zh) 2018-05-11
EP3508814A1 (en) 2019-07-10
KR20190042485A (ko) 2019-04-24
EP3508814B1 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
JP7022057B2 (ja) 撮像装置
US11847759B2 (en) Image processing device, image processing method, and image processing program
US11029579B2 (en) Imaging apparatus and electronic apparatus for controlling a position of a lens
WO2018150768A1 (ja) 測光装置、測光方法、プログラムおよび撮像装置
JP2018200980A (ja) 撮像装置および固体撮像素子、並びに電子機器
US11750932B2 (en) Image processing apparatus, image processing method, and electronic apparatus
WO2018003245A1 (ja) 信号処理装置、撮像装置、及び信号処理方法
CN111886541B (zh) 成像装置和电子设备
US11330209B2 (en) Imaging device and electronic device enabled to control position of lens
JP2021051015A (ja) 測距装置、測距方法、並びにプログラム
US20220279134A1 (en) Imaging device and imaging method
US11838656B2 (en) Imaging device and correction method for reducing image height dependency of a depth
WO2024062813A1 (ja) 撮像装置および電子機器
WO2019082775A1 (ja) 画像処理装置、画像処理方法および撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018513025

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20187007747

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15762631

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17845812

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE