WO2023281802A1 - 信号処理装置および信号処理方法 - Google Patents

信号処理装置および信号処理方法 Download PDF

Info

Publication number
WO2023281802A1
WO2023281802A1 PCT/JP2022/007088 JP2022007088W WO2023281802A1 WO 2023281802 A1 WO2023281802 A1 WO 2023281802A1 JP 2022007088 W JP2022007088 W JP 2022007088W WO 2023281802 A1 WO2023281802 A1 WO 2023281802A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
dimensional coordinates
transparent
color
unit
Prior art date
Application number
PCT/JP2022/007088
Other languages
English (en)
French (fr)
Inventor
幹修 藤岡
優介 森内
憲一郎 中村
貴之 佐々木
基 三原
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023533063A priority Critical patent/JPWO2023281802A1/ja
Publication of WO2023281802A1 publication Critical patent/WO2023281802A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Definitions

  • a portion of adjacent pixels in the pixel array (called multi-pixels) are combined into one large pixel.
  • the light receiving operation is performed in multi-pixel units to generate a histogram.
  • Ranging sensors such as dToF sensors, for example, generate a 3D object of a subject from moving images shot from multiple viewpoints, and generate a virtual viewpoint image of the 3D object according to an arbitrary viewing position. Used with RGB cameras.
  • ranging sensors such as dToF sensors are used together with RGB cameras.
  • the present disclosure has been made in view of such circumstances, and enables accurate acquisition of distance information when a transparent subject is present.
  • a signal processing device includes an acquisition unit that acquires histogram data of a time-of-flight of irradiation light with respect to an object, peak information indicated by the histogram data, and 3 values of the object calculated based on the histogram data.
  • a transparent object determination unit for determining whether the object is a transparent object based on the dimensional coordinates; and color information or the three-dimensional coordinates of the object is corrected based on the transparent object determination result of the transparent object determination unit.
  • an output unit for outputting the three-dimensional coordinates of the subject.
  • the signal processing device acquires histogram data of the time-of-flight of irradiation light with respect to an object, peak information indicated by the histogram data, and the object calculated based on the histogram data. determining whether the subject is a transparent subject based on the three-dimensional coordinates of and the three-dimensional coordinates of the subject with the corrected color information or the three-dimensional coordinates of the subject based on the determination result of the transparent subject Output.
  • FIG. 1 is a block diagram showing a configuration example of a signal processing system according to a first embodiment of the present disclosure
  • FIG. FIG. 2 is a diagram explaining the operation of the RGB camera and the dToF sensor in FIG. 1; It is a figure explaining a dToF sensor. It is a figure explaining a transparent object.
  • FIG. 10 is a diagram for explaining processing of a transparent object determination unit; It is a figure explaining the process at the time of using a thermal camera. It is a figure explaining the process of a candidate prediction part. It is a figure explaining the process of a candidate prediction part.
  • 1 is a diagram for explaining NeRF, which is a type of neural network; FIG. FIG.
  • FIG. 10 is a diagram for explaining processing of a DB update unit;
  • FIG. 10 is a diagram illustrating a case where D-NeRF is applied to color candidate prediction processing; 9 is a flowchart for explaining positional deviation correction processing by the signal processing system of the second embodiment; It is a block diagram showing a configuration example of hardware of a computer that executes signal processing of the present disclosure.
  • the signal processing system 1 in FIG. 1 consists of an RGB camera 11, a dToF sensor 12, and a signal processing device 13.
  • the signal processing device 13 has a data acquisition unit 21, a distance calculation unit 22, a candidate processing unit 23, a DB 24, a DB update unit 25, and an output unit 26.
  • the candidate processing section 23 includes a transparent subject determination section 31 , a search section 32 and a candidate prediction section 33 .
  • the RGB camera 11 shoots a predetermined object as a subject, generates an RGB image (a moving image thereof), and supplies it to the signal processing device 13 .
  • the dToF sensor 12 is a distance measuring sensor that measures distance information by the direct ToF method, and measures the distance to the same object as the object captured by the RGB camera 11 . In this embodiment, to simplify the explanation, it is assumed that the dToF sensor 12 generates distance information at the same frame rate in synchronization with the frame rate of the moving image generated by the RGB camera 11 .
  • the RGB camera 11 photographs an object OBJ as a subject while moving from one photographing location to another with the passage of time, and generates an RGB image.
  • the dToF sensor 12 also moves together with the RGB camera 11, and receives the light reflected by the object OBJ from a plurality of spot lights (irradiation light) emitted by a light source (not shown), thereby measuring the distance to the object OBJ. to measure.
  • the relative positional relationship between the RGB camera 11 and the dToF sensor 12 is fixed, and the imaging ranges of the RGB camera 11 and the dToF sensor 12 are calibrated.
  • the imaging ranges of the RGB camera 11 and the dToF sensor 12 are the same, and the correspondence between each pixel of the RGB camera 11 and the dToF sensor 12 is known.
  • the dToF sensor 12 will be briefly described with reference to FIG.
  • the dToF sensor 12 uses a light-receiving element called SPAD (Single Photon Avalanche Diode) for each light-receiving pixel, and detects the reflected light that is returned after the pulsed light as the irradiation light is reflected by the object.
  • SPAD Single Photon Avalanche Diode
  • the dToF sensor 12 repeats the emission of pulsed light and the reception of the reflected light a predetermined number of times (for example, several times to several hundred times) in order to suppress noise due to ambient light and the like, thereby shortening the flight time of the pulsed light.
  • a histogram is generated, and the distance to the object is calculated from the time of flight corresponding to the peak of the histogram.
  • the pulsed light emitted is formed into a spot shape to extend the reach of the pulsed light, in other words, to increase the number of detected reflected lights. Since spot-shaped pulsed light generally becomes sparse pulsed light, the pixels in which the reflected light is detected also become sparse according to the spot diameter and the irradiation area.
  • points corresponding to them are also referred to as distance measurement points.
  • the RGB camera 11 in FIG. 1 generates RGB images (moving images thereof) obtained by constantly photographing a predetermined object, which is a subject, and supplies them to the signal processing device 13 .
  • the dToF sensor 12 supplies distance information obtained by measurement in synchronization with the RGB camera 11 and the camera orientation at the time of acquisition of the distance information to the signal processing device 13 .
  • the distance information is composed of the pixel position (x, y) corresponding to the center of the spot light SP detected by the dToF sensor 12 and histogram data.
  • the camera pose is information of the extrinsic parameters of the dToF sensor 12 detected by an inertial measurement unit (IMU) inside the dToF sensor 12 .
  • IMU inertial measurement unit
  • the dToF sensor 12 may not have an inertial measurement unit (IMU). In that case, the dToF sensor 12 outputs only distance information, and the camera posture of the dToF sensor 12 is handled in each frame by a method such as Normal Distribution Transform in the distance calculation unit 22 in the signal processing device 13, for example. It is calculated by calculating the three-dimensional position information of the (identical) range-finding point.
  • IMU inertial measurement unit
  • the signal processing device 13 Based on the RGB image acquired from the RGB camera 11 and the distance information and camera orientation acquired from the dToF sensor 12, the signal processing device 13 corrects the color information of the object caused by the transparent object, Output dimensional coordinates.
  • the three-dimensional coordinates of an object with color information are composed of three-dimensional coordinates (x, y, z) on the global coordinate system, which are position information of the object, and color information.
  • three-dimensional coordinates (x, y, z) represent three-dimensional coordinates (x, y, z) on the global coordinate system unless otherwise specified.
  • the RGB camera 11 and the dToF sensor 12 capture images of a transparent object 41 colored blue and a red apple 42 behind the transparent object 41 in the viewing direction. ing.
  • the color of the apple 42 appears as purple mixed with the blue of the transparent subject 41, which is the foreground.
  • the signal processing device 13 determines whether a blue transparent object 41 does not exist and a purple apple 42 exists, or whether a blue transparent object 41 exists and a red apple 42 exists.
  • the signal processing device 13 corrects the color of the apple 42, which appears to be purple due to the transparent object 41, to be correctly red, and outputs color information and three-dimensional coordinates (x, y, z) after correction. do.
  • the signal processing device 13 uses the histogram data output by the dToF sensor 12 as distance information to determine whether a transparent object exists, and corrects the color information based on the determination result.
  • a transparent object exists a plurality of peaks including at least a peak for receiving the reflected light reflected by the transparent object 41 and a peak for receiving the reflected light reflected by the apple 42, as in the histogram data shown in FIG. is detected.
  • the signal processing device 13 analyzes the peak information of such histogram data to detect the presence or absence of a transparent subject and correct the color information.
  • the data acquisition unit 21 of the signal processing device 13 acquires the RGB image supplied from the RGB camera 11 and the distance information and camera orientation supplied from the dToF sensor 12 .
  • the data acquisition unit 21 supplies the acquired RGB image to the candidate processing unit 23 and supplies the acquired distance information and camera orientation to the distance calculation unit 22 .
  • the distance calculation unit 22 calculates one or more peak information and three-dimensional coordinates (x, y, z) for each ranging point of the dToF sensor 12 based on the distance information and the camera attitude from the data acquisition unit 21. do. More specifically, the distance calculator 22 extracts peak information corresponding to the peak of the count value from the histogram data of the multi-pixel MP corresponding to the spotlight SP, and from the extracted peak information and the camera orientation, Calculate the three-dimensional coordinates (x, y, z).
  • the peak information corresponding to one peak is a bin having a count value equal to or greater than a predetermined value and having the largest count value (peak) among a plurality of adjacent bins, and a plurality of surrounding bins. At least count value information is included.
  • the distance calculation unit 22 supplies peak information and three-dimensional coordinates (x, y, z) of each extracted peak to the candidate processing unit 23 . Note that the distance calculation unit 22 may supply the histogram data as it is to the candidate processing unit 23 instead of the peak information.
  • the transparent subject determination unit 31, search unit 32, and candidate prediction unit 33 of the candidate processing unit 23 perform the following processing for each ranging point of the dToF sensor 12.
  • the search unit 32 provides a search range (x ⁇ x, y ⁇ y, z ⁇ A search is made to see if the DB 24 is stored with three-dimensional coordinates with undetermined color information, which have three-dimensional coordinates within .DELTA.z). Three-dimensional coordinate margin values ⁇ x, ⁇ y, and ⁇ z are preset.
  • the search unit 32 supplies a search result of "not applicable" to the candidate prediction unit 33.
  • the search unit 32 searches the three-dimensional coordinates with undetermined color information and color candidates.
  • the provisional processing result candidates of the configured past frame are acquired from the DB 24 and supplied to the candidate prediction unit 33 as search results.
  • the coordinate values of the three-dimensional coordinates whose color information is undetermined are, of course, coordinate values within the search range.
  • the DB 24 is a storage unit that stores three-dimensional coordinates (x, y, z) on the global coordinate system supplied from the candidate processing unit 23 for each ranging point of the dToF sensor 12 and color information based on the RGB image. be.
  • a plurality of conceivable color candidates are stored as provisional processing result candidates for distance measurement points whose color information is undetermined.
  • the provisional processing result candidates are stored as pairs of color candidates and likelihoods.
  • the DB update unit 25 updates three-dimensional coordinates with undetermined color information stored in the DB 24 based on the transparent subject determination result and the pairs of color candidates and likelihoods supplied from the candidate prediction unit 33. Update the provisional processing result candidate.
  • the DB updating unit 25 supplies an update notification to the output unit 26 when updating the information stored in the DB 24 .
  • the output unit 26 When an update notification is supplied from the DB update unit 25, the output unit 26 outputs three-dimensional coordinates with color information, which are the confirmed processing results stored in the DB 24.
  • the three-dimensional coordinates with color information are composed of the three-dimensional coordinates (x, y, z) of the range-finding point and the color information of the coordinates.
  • the signal processing device 13 has the above configuration. Detailed processing of each part of the signal processing device 13 will be further described below.
  • the transparent subject determination unit 31 determines whether the plurality of peaks are due to the object boundary or the transparent subject as follows. do.
  • the transparent subject determination unit 31 determines that the plurality of peaks are due to the object boundary, and determines that the identified boundary plane passes over the multi-pixel MP on the xy plane. If not, it is determined that the subject is a transparent subject. For example, 2-class linear SVM, logistic regression, K nearest neighbor search, linear SVM, random forest regression, etc. can be used to determine the discriminative boundary surface.
  • the above method uses only the distribution of peaks in the multi-pixel MP to determine whether multiple peaks are due to object boundaries or transparent objects. It may be determined whether the peak of is due to an object boundary or a transparent object. For example, by using a thermal camera as an additional sensor, the above determination can be made by utilizing the property that glass does not transmit far infrared rays.
  • the transparent subject determination unit 31 may determine whether a plurality of peaks are due to an object boundary or a transparent subject using only the distribution of peaks within the multi-pixel MP. You may judge using sensor information. By making the determination using other sensor information, it is possible to make the determination with high accuracy. Either one method may be selected for determination, or a plurality of determination methods may be used together to determine whether a plurality of peaks are due to an object boundary or a transparent object.
  • the candidate prediction unit 33 calculates each distance measurement supplied from the distance calculation unit 22 based on the RGB image from the RGB camera 11, the transparent object determination result by the transparent object determination unit 31, and the search result from the search unit 32. Predict color information for a point's three-dimensional coordinates (x,y,z).
  • the search unit 32 supplies a search result of "not applicable”
  • the RGB image input from the RGB camera 11 is the first frame, or the three-dimensional coordinates with undetermined color information are stored in the DB 24. For example, if there is no
  • the candidate prediction unit 33 calculates the three-dimensional coordinates (x, y ,z), predict color candidate-likelihood pairs.
  • the candidate prediction unit 33 predicts pairs of color candidates and likelihoods in a predetermined order for the three-dimensional coordinates (x, y, z) of all distance measurement points supplied from the distance calculation unit 22. , is referred to as a focusing point of interest.
  • the candidate prediction unit 33 determines that the foreground is a transparent object, as in color candidate 1 in FIG. 7, and that the foreground color is transparent and the background color is the color (purple) of the focus point of interest in the RGB image.
  • the candidate prediction unit 33 acquires the recognition processing result obtained by subjecting the RGB image to object recognition processing from an external device, and uses color information assumed from the recognition processing result to determine the foreground color and the background color.
  • "apple" is input to the signal processing device 13 as the recognition processing result
  • the color information of the recognition region of the apple is red
  • the foreground color is an RGB image like color candidate 2 in FIG.
  • the blue obtained by subtracting apple red from purple is determined
  • the background color is determined to be apple red.
  • the candidate prediction unit 33 determines the foreground color as the color information of the adjacent ranging point (spot light) of the focused ranging point and the background color as the color of the focused ranging point.
  • the color information of the adjacent distance measuring point on the left side of the focused distance measuring point in the center is blue. , is determined to be the red obtained by subtracting blue from violet.
  • the candidate prediction unit 33 determines the foreground color and the background color by assuming that another object is reflected and subtracting the color when the reflection occurs. For example, like color candidate 3 in FIG. 8, lemon yellow reflection is assumed, the foreground color is determined to be transparent, and the background color is determined to be red obtained by subtracting yellow.
  • NeRF which is a type of neural network
  • NeRF can be used, for example, as a neural network that learns and predicts the color information of each point that constitutes the shooting space.
  • NeRF see, for example, “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis”, Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng, https://arxiv.org/ Disclosed at abs/2003.08934.
  • NeRF the luminance values of RGB images taken from multiple viewpoints are used as a teacher, and the luminance values rendered by integrating (RGB, ⁇ ) on the ray ( ⁇ , ⁇ ) and the correct luminance values are calculated.
  • the MLP parameters are learned so that the difference is minimized.
  • using the MLP function F obtained by learning as a predictor by inputting the RGB image and camera orientation (x, y, z, ⁇ , ⁇ ) up to time t ⁇ 1, the luminance (RGB value) and density ⁇ (RGB ⁇ ) can be predicted (output).
  • NeRF When NeRF is applied to color candidate prediction processing, as shown in FIG. , the MLP function F is learned.
  • the histogram data hst_cnt as learning input data in this way, the luminance (RGB value) and density ⁇ (RGB ⁇ ) at time t can be predicted with higher accuracy.
  • the above-described method for calculating color candidates is an example, and is not limited to these. How many cases that can be considered as color candidates are calculated and determined may vary depending on computational resources such as CPU and memory size.
  • the candidate prediction unit 33 determines likelihoods for the plurality of determined color candidates. If there is no particular prior knowledge, the likelihood of each color candidate may be set so that the likelihood of each color candidate is equal. It may be set higher than the candidate. Further, for example, if the color of the subject can be presumed to some extent in advance, the likelihood of the predetermined color candidate may be set high accordingly. For example, if there are processed surrounding AF points and the surrounding AF points are estimated to be blue glass, the likelihood of a color candidate with a blue foreground color and a red background color can be set high. can. Further, for example, when the shooting environment (object) is known in advance, the likelihood of the color candidate corresponding to the shooting environment can be set high.
  • the candidate prediction unit 33 predicts the color information by setting the color information of the RGB image of the focus point of interest as it is as a color candidate and the likelihood as "1" when the transparent object determination result of the focus point of interest is not a transparent object. The result is supplied to the DB update unit 25.
  • the candidate prediction unit 33 if there is a color candidate other than the provisional processing result candidate stored in the DB 24, pairs the color candidate with the likelihood. is determined and supplied to the DB update unit 25.
  • the method of determining color candidates is the same as in the case where the provisional process result candidates of past frames are not stored in the DB 24 .
  • the DB updating unit 25 updates three-dimensional coordinates with undetermined color information stored in the DB 24 based on the transparent subject determination result and the pairs of color candidates and likelihoods supplied from the candidate prediction unit 33. Update the provisional processing result candidate.
  • FIG. 11 shows an example of updating provisional processing result candidates when the transparent subject determination result by the transparent subject determining unit 31 is not a transparent subject.
  • the color information of the RGB image of the target distance measurement point is supplied as it is to the DB update unit 25 as a color candidate with a likelihood of "1".
  • the transparent object determination result of the focus detection point of interest is not a transparent object, and "red", which is the color information of the RGB image of the focus detection point of interest, is a color candidate with a likelihood of "1". is supplied to the DB update unit 25 .
  • the DB update unit 25 supplies an update notification to the output unit 26 .
  • FIG. 12 shows an example of updating provisional processing result candidates when the result of transparent object determination by the transparent object determination unit 31 is that the object is a transparent object.
  • the transparent object determination result of the target distance measurement point is a transparent object
  • [foreground color, background color, likelihood] [transparent, green, 0.5] color.
  • a consistent color candidate means a color candidate that does not cause contradiction when determining the color information of the related coordinates by going back to the past frames.
  • the DB update unit 25 updates the color candidate to the provisional process result candidate in the DB 24. delete from
  • the output unit 26 When an update notification is supplied from the DB updating unit 25, the output unit 26 outputs the finalized processing result among the provisional processing result candidates in the DB 24 as three-dimensional coordinates with color information in which the color information is corrected. . More specifically, if there is a color candidate having a likelihood greater than a predetermined upper threshold (first threshold) among the provisional process result candidates in the DB 24, the output unit 26 extracts the color candidate and the three-dimensional coordinates. Output (x, y, z) as the finalized processing result.
  • first threshold a predetermined upper threshold
  • the upper threshold is set to 0.8.
  • the color candidate [foreground color, background color, likelihood] [blue, red, 1.0], which has a likelihood greater than the upper threshold value of 0.8, is changed to It is output from the output unit 26 as three-dimensional coordinates.
  • the three-dimensional coordinates with color information after correction are not output.
  • the likelihood is added as a reliability for the color candidate with the highest likelihood, and 3 Dimensional coordinates may be output.
  • the transparent object determination unit 31 of the candidate processing unit 23 acquires the peak information and the three-dimensional coordinates (x, y, z) of the ranging point from the distance calculation unit 22 as transparent object determination information. Based on the subject determination information, it is determined whether or not the subject is a transparent subject. Specifically, it is determined whether or not there is one peak observed in the histogram of one multi-pixel MP. By determining whether the plurality of peaks are due to the object boundary or the transparent object, it is determined whether the object is a transparent object. As described with reference to FIG. 6, the output of an additional sensor such as a thermal camera may be used supplementarily to make the above determination.
  • an additional sensor such as a thermal camera
  • step S11 the DB update unit 25 updates the DB 24 based on the transparent subject determination result and the pairs of color candidates and likelihood supplied from the candidate prediction unit 33. For example, in order to increase the likelihood of matching color candidates, provisional processing result candidates of three-dimensional coordinates with undetermined color information stored in the DB 24 are updated. After updating the DB 24 , the DB update unit 25 supplies an update notification to the output unit 26 .
  • step S12 the output unit 26 determines whether the DB 24 has been updated, that is, whether an update notification has been supplied from the DB update unit 25.
  • FIG. 15 is a block diagram showing a modification of the first embodiment of the signal processing system.
  • a shooting control unit 27 Comparing the signal processing system 1 of FIG. 15 with the configuration of the first embodiment shown in FIG. 1, a shooting control unit 27 is newly provided, and other configurations are the same.
  • the shooting control unit 27 refers to the provisional processing result candidates stored in the DB 24, calculates the measurement positions that can determine the distance measurement points whose color information is undetermined, and performs measurement at the calculated measurement positions with the RGB camera. 11 and dToF sensor 12.
  • the RGB camera 11 moves to the measurement position instructed by the imaging control unit 27 and performs imaging.
  • the dToF sensor 12 moves to the measurement position instructed by the imaging control unit 27 and measures the distance.
  • the measurement position instruction may be supplied to a moving body, a robot, or the like on which the RGB camera 11 and the dToF sensor 12 are mounted.
  • the RGB camera 11 and the dToF sensor 12 it is possible to cause the RGB camera 11 and the dToF sensor 12 to perform measurement so as to compensate for low likelihood (reliability) portions. For example, in robot manipulation, etc., it is possible to drive with high accuracy by autonomously reducing uncertain factors. In addition, even when a human takes a picture, it is possible to reduce rework in shooting for 3D reconstruction by suggesting information such as insufficient shooting conditions from this angle.
  • the influence of the transmission color of a transparent subject is corrected using the RGB image obtained from the RGB camera 11 and the histogram data obtained from the dToF sensor 12.
  • the RGB image obtained from the RGB camera 11 and the histogram data obtained from the dToF sensor 12.
  • three-dimensional reconstruction with high color reproduction can be performed using corrected accurate three-dimensional coordinates and color information. Since color reproducibility greatly contributes to the appearance of 3D reconstruction results, the use of this technology makes it possible to achieve high precision in the creation of CG models.
  • the signal processing system 1 corrects erroneous recognition of color information due to the presence of a transparent object in the shooting direction (line of sight).
  • the signal processing system 1 corrects positional deviation of the three-dimensional coordinates due to refraction of light of the transparent object when the transparent object exists in the photographing direction (line-of-sight direction).
  • the distance to a predetermined object is measured through the transparent subject 61.
  • the dToF sensor 12 can be measured not as the correct three-dimensional coordinate position (true position) 63 of the object 62 due to the refraction of the light of the transparent object 61, but as the three-dimensional coordinate position 63' of the object 62' without considering the refraction. be.
  • the signal processing system 1 according to the second embodiment corrects the displacement of the three-dimensional coordinates due to the refraction of the light of the transparent object 61 as described above.
  • the signal processing device 13 determines whether or not the subject is a transparent subject using histogram data output by the dToF sensor 12 as distance information. Then, when the subject is determined to be a transparent subject, the signal processing device 13 predicts a plurality of pairs of likelihoods and refractive index and incident angle candidates of the transparent subject by a predetermined rule or learning. to correct the displacement of the three-dimensional coordinates.
  • the signal processing system 1 in FIG. 17 is composed of a dToF sensor 12 and a signal processing device 13. That is, in the second embodiment, since the object to be corrected is the displacement of the three-dimensional coordinates due to the refraction of light and not the color information, the RGB camera 11 for generating the RGB image is omitted. Of course, the RGB camera 11 may be provided for the purpose of commonality with the first embodiment.
  • the signal processing device 13 calculates the three-dimensional image of the object due to the refraction and incidence of light caused by the transparent object (hereinafter referred to as refraction/incidence as appropriate). Correct the positional deviation of the coordinates and output the corrected three-dimensional coordinates (x, y, z).
  • the signal processing device 13 has a data acquisition unit 21, a distance calculation unit 22, a candidate processing unit 23, a DB 24, a DB update unit 25, and an output unit 26.
  • the candidate processing section 23 includes a transparent subject determination section 31 , a search section 72 and a candidate prediction section 73 .
  • the signal processing device 13 is different in that the candidate processing unit 23 includes a retrieval unit 72 and a candidate prediction unit 73 instead of the retrieval unit 32 and the candidate prediction unit 33 of the first embodiment. Common.
  • the retrieval unit 72 and the candidate prediction unit 73 are different in that they determine pairs of refraction/incidence candidates and likelihoods instead of determining pairs of color candidates and likelihoods in the first embodiment. common point. Details will be described below.
  • the search unit 72 calculates a search range (x ⁇ x′, y ⁇ y′, z ⁇ z′), and search whether or not the DB 24 stores the three-dimensional coordinates for which the refraction/incidence information is undetermined.
  • the three-dimensional coordinate margin values ⁇ x', ⁇ y', and ⁇ z' are set in advance as in the first embodiment.
  • the positional deviation of the three-dimensional coordinates due to refraction is corrected, so it is preferable that the margin is set larger than in the first embodiment. That is, when different margins are set for the first embodiment and the second embodiment, ⁇ x ⁇ x', ⁇ y ⁇ y', and ⁇ z ⁇ z'.
  • the three-dimensional coordinate margin values ⁇ x', ⁇ y', and ⁇ z' may be the same values as in the first embodiment.
  • the candidate prediction unit 73 calculates the three-dimensional coordinates (x, y ,z) to predict the refraction/incidence information.
  • the candidate prediction unit 73 supplies pairs of refraction/incidence information candidates (refraction/incidence candidates) and likelihoods to the DB update unit 25 as prediction results of refraction/incidence information.
  • the candidate prediction unit 73 also supplies the transparent object determination result by the transparent object determination unit 31 to the DB update unit 25 .
  • the candidate prediction unit 73 assigns several representative values of the assumed refractive index of glass, water, diamond, and the like.
  • the candidate prediction unit 73 calculates the normal vector of the transparent object using the distance information of the distance measuring points near the target distance measuring point when the nearby distance measuring points that emit light at the same time hit the same transparent object. and find the angle of incidence.
  • the reflection position p of the transparent subject 61 in FIG. 18 is calculated from the distance of the first peak of the histogram data of the focusing point of interest.
  • the reflection positions (p ⁇ 1) and (p+1) are calculated from the first peak distance of the histogram data of the distance measuring points near the target distance measuring point.
  • the surface of the transparent object 61 is detected from the reflection positions (p ⁇ 1), p, and (p+1), and the normal vector 81 perpendicular to the surface of the transparent object 61 is detected.
  • the incident angle ⁇ is calculated from the camera orientation (line-of-sight direction) of the dToF sensor 12 and the normal vector 81 .
  • the candidate prediction unit 73 determines a plurality of pairs of refraction/incidence candidates and likelihoods as described above, and supplies them to the DB update unit 25 .
  • the likelihood of each refraction/incidence candidate can be set so that the likelihood of each refraction/incidence candidate is equal, or the likelihood of the refractive index of glass is set high. good too. Further, for example, when the subject can be presumed to some extent in advance such as a high possibility of being near water due to the shooting environment, etc., the likelihood of the predetermined refraction/incidence candidate may be set high accordingly.
  • the DB updating unit 25 stores in the DB 24 based on the transparent subject determination result, refraction/incidence candidate and likelihood pair supplied from the candidate prediction unit 33. , update the provisional processing result candidate of the 3D coordinates whose refraction/incidence information is undetermined.
  • the transparent object determination result at time t is not a transparent object, among candidates 1 to 3, which are provisional processing result candidates of the past frame, an object 62 at time t
  • the index of refraction and the angle of incidence are determined for candidate 2 matching (x2, y2, z2), which is the three-dimensional coordinates 63 of .
  • the DB updating unit 25 modifies the likelihood of candidate 2 to 1′′ and deletes the other refraction/incidence candidates, that is, candidate 1 and candidate 3 from the DB 24 .
  • candidates can be predicted using a predictor learned by a neural network.
  • a nonlinear ray MLP model called D-NeRF can be used to account for refraction.
  • D-NeRF is disclosed in, for example, "D-NeRF: Neural Radiance Fields for Dynamic Scenes", Albert Pumarola, Enric Corona, Gerard Pons-Moll, Francesc Moreno-Noguer, https://arxiv.org/abs/2011.13961
  • the D-NeRF MLP model can be used to predict not only the positional deviation ( ⁇ x, ⁇ y, ⁇ z), but also the RGB value and density ⁇ (RGB ⁇ ) as in the first embodiment.
  • the camera posture of the dToF sensor 12 and the histogram data (x, y, z, hst_cnt) are input
  • the function Ft for predicting (learning) the positional deviation ( ⁇ x, ⁇ y, ⁇ z) and the positional deviation (x + ⁇ x, y + ⁇ y , z+ ⁇ z) are input
  • each function F for predicting (learning) the RGB values and the density ⁇ (RGB ⁇ ) is represented by the MLP model.
  • the function F of the MLP model takes as input the misalignment (x + ⁇ x, y + ⁇ y, z + ⁇ z) of the ray predicted by the function Ft, and the RGB values and density Predict ⁇ (RGB ⁇ ). Therefore, by using the composite function Ft F of the function Ft and the function F, the camera posture of the dToF sensor 12 and the histogram data (x, y, z, hst_cnt) are input, and the luminance on the ray (RGB value) and density ⁇ (RGB ⁇ ).
  • histogram data hst_cnt from multiple viewpoints is input, histogram data and RGB images of each viewpoint are used as training data, and the difference between the luminance value and histogram data rendered for each ray and the correct data is minimized. , the composite function Ft ⁇ F is learned.
  • Position Error Correction Processing by the signal processing system 1 of the second embodiment will be described with reference to the flowchart of FIG. 21 . This process is started, for example, when distance information is supplied from the dToF sensor 12 .
  • step S31 the data acquisition unit 21 acquires the distance information and camera orientation supplied from the dToF sensor 12.
  • the data acquisition unit 21 supplies the acquired distance information and camera orientation to the distance calculation unit 22 .
  • step S32 the distance calculation unit 22 calculates peak information and three-dimensional coordinates (x, y, z) for each range-finding point based on the distance information from the data acquisition unit 21 and the camera posture. More specifically, the distance calculator 22 extracts peak information corresponding to the peak of the count value from the histogram data of the multi-pixel MP corresponding to the spotlight SP, and calculates the peak information and the three-dimensional coordinates (x , y, z). The calculated peak information and three-dimensional coordinates (x, y, z) of each peak are supplied to the candidate processing unit 23 .
  • step S33 the transparent object determination unit 31 of the candidate processing unit 23 acquires the peak information and the three-dimensional coordinates (x, y, z) of the ranging point from the distance calculation unit 22 as transparent object determination information. Based on the subject determination information, it is determined whether or not the subject is a transparent subject.
  • the transparent subject determination method is the same as that of the above-described first embodiment.
  • step S34 the search unit 32 searches the DB 24, and has three-dimensional coordinates (x, y, z) of the ranging point supplied from the distance calculation unit 22 within a predetermined search range. / Determine whether the DB 24 stores 3D coordinates with undetermined incident information. The search range is set wider than that in the first embodiment, for example. If no three-dimensional coordinates with undetermined refraction/incidence information are detected from the DB 24, the process proceeds to step S35. The process proceeds to S37.
  • step S37 when 3D coordinates with undetermined refraction/incidence information are detected from the DB 24, the search unit 32 retrieves 3D coordinates with undetermined refraction/incidence information that have 3D coordinates within the search range.
  • Temporary processing result candidates of the past frame which are composed of dimensional coordinates and refraction/incidence candidates, are acquired from the DB 24 and supplied to the candidate prediction unit 73 as search results.
  • step S39 If it is determined in step S39 that there are refraction/incidence candidates other than the provisional process result candidates, the process proceeds to step S40, and the candidate prediction unit 73 predicts refraction/incidence candidates other than the provisional process result candidates stored in the DB 24.
  • a candidate-likelihood pair is supplied to the DB updating unit 25 .
  • the result of transparent object determination by the transparent object determination unit 31 is also supplied to the DB update unit 25 .
  • step S41 the DB update unit 25 updates the DB 24 based on the transparent subject determination result, refraction/incidence candidate and likelihood pair supplied from the candidate prediction unit 73. For example, in order to increase the likelihood of consistent refraction/incidence candidates, provisional processing result candidates of three-dimensional coordinates with undetermined refraction/incidence information stored in the DB 24 are updated. After updating the DB 24 , the DB update unit 25 supplies an update notification to the output unit 26 .
  • step S42 the output unit 26 determines whether the DB 24 has been updated, that is, whether an update notification has been supplied from the DB update unit 25.
  • step S42 If it is determined in step S42 that the DB 24 has been updated, the process proceeds to step S43, and the output unit 26 outputs a three-dimensional image of a refraction/incidence candidate having a likelihood greater than the upper threshold among the provisional process result candidates in the DB 24. Output the coordinates (x, y, z) as fixed 3D coordinates.
  • step S44 If it is determined in step S44 that the process should not end, the signal processing device 13 returns the process to step S31. As a result, the processing of steps S31 through S44 is repeated for the distance information of the next frame.
  • the positional deviation correction processing in FIG. 21 has been described as a series of processing flow in the case where one focus detection point is updated once.
  • the three-dimensional coordinates (x, y, z) of the distance measuring points in the past frames having the corresponding three-dimensional coordinates may be sequentially determined.
  • the signal processing device 13 may recursively update the ranging points of past frames whose three-dimensional coordinates are undetermined. Specifically, when a refraction/incidence candidate ranging point having a likelihood greater than the upper limit threshold value of 0.8 appears, the DB updating unit 25 supplies the determined three-dimensional coordinate information of the ranging point to the searching unit 72. do.
  • the signal processing device 13 includes a candidate prediction unit 33 for predicting candidates for subject color information based on peak information, three-dimensional coordinates of the subject, and transparent subject determination results; It has a DB 24 (storage unit) that stores color candidates and likelihoods predicted by the prediction unit 33 and a DB updating unit 25 that updates the color candidates in the DB 24 .
  • a candidate prediction unit 33 for predicting candidates for subject color information based on peak information, three-dimensional coordinates of the subject, and transparent subject determination results
  • It has a DB 24 (storage unit) that stores color candidates and likelihoods predicted by the prediction unit 33 and a DB updating unit 25 that updates the color candidates in the DB 24 .
  • the signal processing device 13 uses the peak information, the three-dimensional coordinates of the subject, and the transparent subject determination result to determine candidates for light refraction and incidence information of the subject (refraction/incidence candidates).
  • a candidate prediction unit 33 that predicts
  • a DB 24 storage unit
  • a DB update unit 25 that updates the refraction/incidence candidates in the DB 24 .
  • the series of processes described above can be executed by hardware or by software.
  • a program that constitutes the software is installed in the computer.
  • the computer includes, for example, a microcomputer built into dedicated hardware and a general-purpose personal computer capable of executing various functions by installing various programs.
  • the CPU 101 loads, for example, a program stored in the storage unit 108 into the RAM 103 via the input/output interface 105 and the bus 104 and executes the above-described series of programs. is processed.
  • the RAM 103 also appropriately stores data necessary for the CPU 101 to execute various processes.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • the technique of this disclosure can take the following configurations.
  • an acquisition unit that acquires histogram data of the time-of-flight of the illumination light with respect to the subject; a transparent subject determination unit that determines whether the subject is a transparent subject based on peak information indicated by the histogram data and three-dimensional coordinates of the subject calculated based on the histogram data; and an output unit configured to output the color information of the subject or the three-dimensional coordinates of the subject whose three-dimensional coordinates are corrected based on the transparent subject determination result of the transparent subject determination unit.
  • the transparent subject determination unit determines whether the subject is a transparent subject based on whether one or more peaks are observed in the histogram data.
  • the transparent subject determination unit determines whether the subject is a transparent subject based on the peak information, the three-dimensional coordinates of the subject, and the thermographic image of the subject. 1.
  • the signal processing device according to claim 1. further comprising a candidate prediction unit that predicts a candidate for color information of the subject based on the peak information, the three-dimensional coordinates of the subject, and the transparent subject determination result;
  • the output unit outputs three-dimensional coordinates with color information of the subject, using the color information selected from candidates for the color information of the subject as corrected color information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、透明被写体が存在する場合の距離情報を正確に取得できるようにする信号処理装置および信号処理方法に関する。 信号処理装置は、被写体に対する照射光の飛行時間のヒストグラムデータを取得する取得部と、ヒストグラムデータが示すピーク情報と、ヒストグラムデータに基づいて演算された被写体の３次元座標とに基づいて、被写体が透明被写体であるかを判定する透明被写体判定部と、透明被写体判定部の透明被写体判定結果に基づいて、被写体の色情報または３次元座標が修正された被写体の３次元座標を出力する出力部とを備える。本開示の技術は、例えば、direct ToF方式のToFセンサにより取得された距離情報を補正する信号処理装置等に適用できる。

Description

信号処理装置および信号処理方法
　本開示は、信号処理装置および信号処理方法に関し、特に、透明被写体が存在する場合の距離情報を正確に取得できるようにした信号処理装置および信号処理方法に関する。
　direct ToF方式のToFセンサ（以下、dToFセンサとも称する。）は、受光用の各画素にSPAD（Single Photon Avalanche Diode）と呼ばれる受光素子を用いて、パルス光が物体で反射された反射光を検出する。パルス光の発光と、その反射光の受光は、環境光等によるノイズを抑制するため、所定の回数（例えば、数回ないし数百回）繰り返し行われる。そして、dToFセンサは、パルス光の飛行時間のヒストグラムを生成し、ヒストグラムのピークに対応する飛行時間から、物体までの距離を算出する。
　低反射率または遠方の被写体の測距や、屋外環境などの外光による外乱影響が強い環境下での測距などにおいては、SN比が低く、ピーク位置の検出が困難であることが知られている。そのため、発光するパルス光をスポット形状とすることでパルス光の到達距離の拡大、換言すれば、反射光の検出数を増加させることが行われている。スポット形状のパルス光は一般的に疎なパルス光となるため、反射光が検出される画素も、スポット径および照射面積に応じて疎となる。
　SN比向上のためと、疎な反射光検出環境に合わせた効率的な画素駆動による電力削減を目的に、画素アレイの一部の隣接する複数画素（マルチピクセルと称する。）を１つの大きな画素とみなして、マルチピクセル単位で受光動作を行わせ、ヒストグラムを生成することが行われている。
　例えば、特許文献１には、隣接する２×３、３×３、３×６、３×９、６×３、６×６、９×９といった任意の画素数でマルチピクセルを形成し、形成したマルチピクセルの信号を用いてヒストグラムを作成して距離を算出することで、空間解像度を下げる代わりにSN比を上げる方法が開示されている。
　dToFセンサ等の測距センサは、例えば、多視点で撮影された動画像から被写体の３Dオブジェクトを生成し、任意の視聴位置に応じた３Dオブジェクトの仮想視点画像を生成するボリューメトリックキャプチャ技術に、RGBカメラとともに使用されている。また、自己位置推定と環境地図作成を同時に行うSLAM(Simultaneous Localization and Mapping)などにおいても、dToFセンサ等の測距センサが、RGBカメラとともに使用されている。
特開２０２０－１１２４４３号公報
　上述の３D形状、３次元環境の構築には正確な測距データが必要となる。しかし、透明被写体が存在する場合には、距離情報の正確な取得が困難である。
　本開示は、このような状況に鑑みてなされたものであり、透明被写体が存在する場合の距離情報を正確に取得できるようにするものである。
　本開示の一側面の信号処理装置は、被写体に対する照射光の飛行時間のヒストグラムデータを取得する取得部と、前記ヒストグラムデータが示すピーク情報と、前記ヒストグラムデータに基づいて演算された前記被写体の３次元座標とに基づいて、前記被写体が透明被写体であるかを判定する透明被写体判定部と、前記透明被写体判定部の透明被写体判定結果に基づいて、前記被写体の色情報または３次元座標が修正された前記被写体の３次元座標を出力する出力部とを備える。
　本開示の一側面の信号処理方法は、信号処理装置が、被写体に対する照射光の飛行時間のヒストグラムデータを取得し、前記ヒストグラムデータが示すピーク情報と、前記ヒストグラムデータに基づいて演算された前記被写体の３次元座標とに基づいて、前記被写体が透明被写体であるかを判定し、透明被写体の判定結果に基づいて、前記被写体の色情報または３次元座標が修正された前記被写体の３次元座標を出力する。
　本開示の一側面においては、被写体に対する照射光の飛行時間のヒストグラムデータが取得され、前記ヒストグラムデータが示すピーク情報と、前記ヒストグラムデータに基づいて演算された前記被写体の３次元座標とに基づいて、前記被写体が透明被写体であるかが判定され、透明被写体の判定結果に基づいて、前記被写体の色情報または３次元座標が修正された前記被写体の３次元座標が出力される。
　信号処理装置は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本開示の信号処理システムの第１実施の形態の構成例を示すブロック図である。 図１のRGBカメラとdToFセンサの動作を説明する図である。 dToFセンサを説明する図である。 透明被写体を説明する図である。 透明被写体判定部の処理を説明する図である。 サーマルカメラを用いた場合の処理を説明する図である。 候補予測部の処理を説明する図である。 候補予測部の処理を説明する図である。 ニューラルネットワークの一種であるNeRFを説明する図である。 NeRFを色候補の予測処理に適用した場合を説明する図である。 DB更新部の処理を説明する図である。 DB更新部の処理を説明する図である。 尤度を信頼度として出力する変形例を説明する図である。 第１実施の形態の信号処理システムによる色情報補正処理を説明するフローチャートである。 信号処理システムの第１実施の形態の変形例を示すブロック図である。 透明被写体の光の屈折による３次元座標の位置ずれを説明する図である。 本開示の信号処理システムの第２実施の形態の構成例を示すブロック図である。 候補予測部の処理を説明する図である。 DB更新部の処理を説明する図である。 D-NeRFを色候補の予測処理に適用した場合を説明する図である。 第２実施の形態の信号処理システムによる位置ずれ補正処理を説明するフローチャートである。 本開示の信号処理を実行するコンピュータのハードウエアの構成例を示すブロック図である。
　以下、添付図面を参照しながら、本開示の技術を実施するための形態（以下、実施の形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．信号処理システムの第１実施の形態
２．第１実施の形態による色情報補正処理
３．第１実施の形態の変形例
４．信号処理システムの第２実施の形態
５．第２実施の形態による位置ずれ補正処理
６．まとめ
７．コンピュータ構成例
＜１．信号処理システムの第１実施の形態＞
　図１は、本開示の信号処理システムの第１実施の形態の構成例を示すブロック図である。
　図１の信号処理システム１は、RGBカメラ１１、dToFセンサ１２、および、信号処理装置１３で構成されている。
　信号処理装置１３は、データ取得部２１、距離演算部２２、候補処理部２３、DB２４、DB更新部２５、および、出力部２６を有している。候補処理部２３は、透明被写体判定部３１、検索部３２、および、候補予測部３３を備える。
　RGBカメラ１１は、被写体としての所定の物体を撮影してRGB画像（の動画像）を生成し、信号処理装置１３に供給する。dToFセンサ１２は、direct ToF方式により距離情報を測定する測距センサであり、RGBカメラ１１が撮影する物体と同一の物体までの距離を測定する。本実施の形態では、説明を簡単にするため、RGBカメラ１１が生成する動画像のフレームレートに同期して、同一フレームレートで、dToFセンサ１２から距離情報が生成されることとする。
　RGBカメラ１１は、図２に示されるように、時間経過に応じて撮影場所を移動しながら、被写体としての物体OBJを撮影し、RGB画像を生成する。dToFセンサ１２も、RGBカメラ１１とともに移動し、不図示の発光源により照射された複数のスポット光（照射光）が物体OBJで反射されてきた反射光を受光することにより、物体OBJまでの距離を測定する。RGBカメラ１１とdToFセンサ１２の相対的な位置関係は固定され、RGBカメラ１１とdToFセンサ１２の撮像範囲はキャリブレーションされている。換言すれば、RGBカメラ１１とdToFセンサ１２の撮像範囲は同一であり、RGBカメラ１１とdToFセンサ１２の各画素の対応関係は既知である。本実施の形態では、説明を簡単にするため、RGBカメラ１１とdToFセンサ１２の位置の違いは無視できるものとして、RGBカメラ１１とdToFセンサ１２のカメラ位置（カメラ姿勢）は同一であるとする。
　図３を参照して、dToFセンサ１２について簡単に説明する。
　dToFセンサ１２は、受光用の各画素にSPAD（Single Photon Avalanche Diode）と呼ばれる受光素子を用いて、照射光としてのパルス光が物体で反射されて戻ってきた反射光を検出する。dToFセンサ１２は、環境光等によるノイズを抑制するため、パルス光の発光と、その反射光の受光とを所定の回数（例えば、数回ないし数百回）繰り返すことによりパルス光の飛行時間のヒストグラムを生成し、ヒストグラムのピークに対応する飛行時間から、物体までの距離を算出する。
　また、低反射率または遠方の被写体の測距や、屋外環境などの外光による外乱影響が強い環境下での測距などにおいては、SN比が低く、ピーク位置の検出が困難であることが知られている。そのため、発光するパルス光をスポット形状とすることでパルス光の到達距離の拡大、換言すれば、反射光の検出数を増加させることが行われている。スポット形状のパルス光は一般的に疎なパルス光となるため、反射光が検出される画素も、スポット径および照射面積に応じて疎となる。図３では、RGBカメラ１１と同一の撮像範囲に対して、５ｘ５＝２５個のスポット光SPを照射し、各スポット光SPが物体で反射された反射光を検出する例が示されている。
　SN比向上のためと、疎な反射光検出環境に合わせた効率的な画素駆動による電力削減を目的に、dToFセンサ１２は、疎なスポット光SPに応じて、隣接する複数画素をマルチピクセルMPとし、画素アレイの全画素のうちの複数のマルチピクセルMPのみに受光動作を行わせ、マルチピクセルMP単位でヒストグラムを生成する。図３の例では、１つのスポット光SPに対して、３ｘ３の９画素のマルチピクセルMPが設定されている。
　なお、図３では、５ｘ５＝２５個のスポット光SPと、３ｘ３の９画素のマルチピクセルMPの例で説明したが、スポット光SPおよびマルチピクセルMPの個数および配置は任意である。以下の説明では、スポット光SPとマルチピクセルMPとを特に区別しない場合、それらに対応する点を測距点とも称する。
　図１のRGBカメラ１１は、被写体である所定の物体を時々刻々と撮影して得られるRGB画像（の動画像）を生成し、信号処理装置１３に供給する。dToFセンサ１２は、RGBカメラ１１に同期して測定して得られる距離情報と、その距離情報取得時のカメラ姿勢とを、信号処理装置１３に供給する。距離情報は、dToFセンサ１２で検出されたスポット光SPの中心に対応する画素位置（ｘ、ｙ）とヒストグラムデータとで構成される。カメラ姿勢は、dToFセンサ１２内の慣性計測装置（IMU）で検出された、dToFセンサ１２の外部パラメータの情報である。ただし、dToFセンサ１２は、慣性計測装置（IMU）を備えていなくてもよい。その場合、dToFセンサ１２は、距離情報のみを出力し、dToFセンサ１２のカメラ姿勢は、例えば、信号処理装置１３内の距離演算部２２等において、Normal Distribution Transform等の手法により、各フレームで対応する（同一の）測距点の３次元位置情報を計算して算出される。
　信号処理装置１３は、RGBカメラ１１から取得したRGB画像と、dToFセンサ１２から取得した距離情報およびカメラ姿勢とに基づいて、透明被写体に起因する物体の色情報を修正し、色情報付きの３次元座標を出力する。物体の色情報付きの３次元座標は、物体の位置情報であるグローバル座標系上の３次元座標（x,y,z）と、色情報で構成される。以下の説明において、特に明示しない限り、３次元座標（x,y,z）は、グローバル座標系上の３次元座標（x,y,z）を表すものとする。
　例えば、図４に示されるように、RGBカメラ１１およびdToFセンサ１２が、被写体として、青色に着色された透明被写体４１と、視線方向で透明被写体４１の奥にある赤色のリンゴ４２とを撮像している。RGBカメラ１１が生成したRGB画像には、リンゴ４２の色が、前景である透明被写体４１の青色と混合された紫として写っている。信号処理装置１３は、青色の透明被写体４１が存在せず、紫のリンゴ４２があるのか、または、青色の透明被写体４１が存在していて、赤色のリンゴ４２があるのか等を判定する。信号処理装置１３は、透明被写体４１に起因して紫と写るリンゴ４２の色を、正しくは赤色であると修正し、修正後の色情報と３次元座標（x,y,z）とを出力する。
　具体的には、信号処理装置１３は、dToFセンサ１２が距離情報として出力するヒストグラムデータを用いて、透明被写体が存在するかを判定し、その判定結果に基づいて色情報を修正する。透明被写体が存在する場合、図４に示されるヒストグラムデータのように、透明被写体４１で反射された反射光を受光したピークと、リンゴ４２で反射された反射光を受光したピークとを少なくとも含む複数のピークが検出される。信号処理装置１３は、このようなヒストグラムデータのピーク情報を解析することにより、透明被写体の有無を検出して色情報を修正する。
　図１の説明に戻り、信号処理装置１３のデータ取得部２１は、RGBカメラ１１から供給されるRGB画像と、dToFセンサ１２から供給される距離情報およびカメラ姿勢とを取得する。データ取得部２１は、取得したRGB画像を、候補処理部２３へ供給するとともに、取得した距離情報およびカメラ姿勢を、距離演算部２２へ供給する。
　距離演算部２２は、データ取得部２１からの距離情報およびカメラ姿勢に基づいて、dToFセンサ１２の測距点ごとに、１つ以上のピーク情報と３次元座標（x,y,z）を算出する。より具体的には、距離演算部２２は、スポット光SPに対応するマルチピクセルMPのヒストグラムデータから、カウント値のピークに対応するピーク情報を抽出し、抽出されたピーク情報とカメラ姿勢とから、３次元座標（x,y,z）を算出する。ここで、１つのピークに対応するピーク情報は、カウント値が所定値以上で、かつ、隣接する複数のビンのなかで最大のカウント値（ピーク）を有するビンと、その周辺の複数のビンのカウント値の情報を少なくとも含む。ピーク周辺の複数のビンは、例えば、ピークのビンの前後所定数のビンと定めてもよいし、ピークのカウント値の一定割合（例えば、半分）以上のカウント値を有するピーク周辺のビンと定めてもよい。
　通常、撮像範囲内に透明被写体が存在しない場合には、ヒストグラム内で観測されるピークは１つとなり、１つのピーク情報と３次元座標（x,y,z）が算出される。一方、撮像範囲内に透明被写体が存在する場合や、スポット光が物体の境界に当たっている場合などでは、複数のピークが抽出され、抽出された各ピークについて、ピーク情報と３次元座標（x,y,z）が算出される。
　距離演算部２２は、抽出された各ピークのピーク情報と３次元座標（x,y,z）とを、候補処理部２３へ供給する。なお、距離演算部２２は、ピーク情報の代わりに、ヒストグラムデータをそのまま、候補処理部２３へ供給してもよい。
　候補処理部２３の透明被写体判定部３１、検索部３２、および、候補予測部３３は、dToFセンサ１２の測距点ごとに以下の処理を行う。
　透明被写体判定部３１は、距離演算部２２からの測距点のピーク情報と３次元座標（x,y,z）とを透明被写体判別情報として取得し、透明被写体判別情報に基づいて、被写体が透明被写体であるか否かを判定する。
　検索部３２は、距離演算部２２から供給された測距点の３次元座標（x,y,z）に対して所定のマージンを持たせた探索範囲(x±Δx,y±Δy,z±Δz)内の３次元座標を有する、色情報が未確定な３次元座標が、DB２４に記憶されているかを検索する。３次元座標のマージン値Δx,Δy、およびΔzは予め設定される。
　検索部３２は、探索範囲内の３次元座標をもつ、色情報が未確定な３次元座標が、DB２４に記憶されていない場合、“該当なし”の検索結果を候補予測部３３へ供給する。一方、探索範囲内の３次元座標をもつ、色情報が未確定な３次元座標が、DB２４に記憶されていた場合、検索部３２は、色情報が未確定な３次元座標と色候補とで構成される過去フレームの暫定処理結果候補を、DB２４から取得し、検索結果として候補予測部３３へ供給する。色情報が未確定な３次元座標の座標値は、当然ながら、探索範囲内の座標値となっている。
　候補予測部３３は、RGBカメラ１１からのRGB画像と、透明被写体判定部３１による透明被写体判定結果と、検索部３２からの検索結果とに基づいて、距離演算部２２から供給された測距点の３次元座標（x,y,z）に対して、色情報を予測する。候補予測部３３は、色情報の予測結果として、色情報の候補（色候補）と尤度の対を、DB更新部２５に供給する。ここで、尤度は、処理結果の確信度合いの高さを表現した0から1までの範囲の値であり、事前に定めた閾値と比較することで処理結果を確定する際に用いられる。また、候補予測部３３は、透明被写体判定部３１による透明被写体判定結果も、DB更新部２５に供給する。
　DB２４は、dToFセンサ１２の各測距点について候補処理部２３から供給される、グローバル座標系上の３次元座標（x,y,z）と、RGB画像に基づく色情報を記憶する記憶部である。DB２４には、色情報が未確定な測距点については、考えられる複数の色候補が、暫定処理結果候補として記憶されている。暫定処理結果候補は、色候補と尤度の対で記憶されている。
　DB更新部２５は、候補予測部３３から供給される、透明被写体判定結果と、色候補と尤度の対とに基づいて、DB２４に記憶されている、色情報が未確定な３次元座標の暫定処理結果候補を更新する。DB更新部２５は、DB２４に記憶されている情報を更新した場合、更新通知を出力部２６へ供給する。
　出力部２６は、DB更新部２５から更新通知が供給された場合、DB２４に記憶されている確定済みの処理結果である、色情報付きの３次元座標を出力する。色情報付きの３次元座標は、測距点の３次元座標（x,y,z）と、その座標の色情報で構成される。
　信号処理装置１３は、以上の構成を有する。以下、信号処理装置１３の各部の詳細処理についてさらに説明する。
　初めに、透明被写体判定部３１の処理について説明する。
　透明被写体判定部３１は、距離演算部２２からの透明被写体判別情報に基づいて、被写体が透明被写体であるか否かを判定する。
　具体的には、透明被写体判定部３１は、１つのマルチピクセルMPのヒストグラム内で観測されるピークが１つである場合、被写体が透明被写体ではないと判定する。
　一方、１つのマルチピクセルMPのヒストグラム内で複数のピークが観測される場合には、スポット光が物体境界に当たったことによるものと、透明被写体によるものとが考えられる。そこで、透明被写体判定部３１は、１つのマルチピクセルMPのヒストグラム内で複数のピークが観測される場合、次のようにして、複数のピークが物体境界によるものか、透明被写体によるものかを判定する。
　透明被写体判定部３１は、例えば、図５に示されるように、１つのマルチピクセルMPを構成する複数の画素において、ピークが異なる分布で出ているか否かを確認する。すなわち、図５の右側に示されるように、マルチピクセルMPを構成する各画素で、複数のピークが一様にカウントされている場合、透明被写体判定部３１は、被写体が透明被写体であると判定する。一方、図５に左側に示されるように、第１のピークがマルチピクセルMPの一部の画素で検出され、第２のピークがマルチピクセルMPの他の画素で検出されるなど、ピークが検出される画素に偏りがある場合、透明被写体判定部３１は、複数のピークは物体境界によるものと判定し、被写体は透明被写体ではないと判定する。
　あるいはまた、ピークに対応する３次元座標（x,y,z）を用いて、ヒストグラムや計測点を分離する境界識別問題を解き、識別結果である識別境界面を利用して、複数のピークが物体境界によるものか、透明被写体によるものかを判定してもよい。透明被写体判定部３１は、識別境界面がｘｙ平面のマルチピクセルMP上を通過する場合には、複数のピークは物体境界によるものと判定し、識別境界面がｘｙ平面のマルチピクセルMP上を通過しない場合には、被写体は透明被写体であると判定する。識別境界面の決定には、例えば、2クラスの線形SVM、ロジスティック回帰、K近傍探索、線形SVM、ランダムフォレスト回帰などを用いることができる。
　上記の手法は、マルチピクセルMP内のピークの分布のみを用いて、複数のピークが物体境界によるものか、透明被写体によるものかを判定する手法であるが、追加のセンサ情報を用いて、複数のピークが物体境界によるものか、透明被写体によるものかを判定してもよい。例えば、追加のセンサとしてサーマルカメラを用いて、ガラスが遠赤外線を通過させない性質を利用し、上記の判定を行うことができる。
　具体的には、図６に示されるように、RGBカメラ１１で得られたRGB画像と、サーマルカメラで得られたサーモ画像のそれぞれの、ピークが２つ以上観測されている領域について、例えばCannyの手法などを用いてエッジが検出される。そして、透明被写体判定部３１は、RGB画像とサーモ画像のエッジで形成される領域を比較し、差分のある領域をガラス領域と認定し、透明被写体であると判定する。
　以上のように、透明被写体判定部３１は、マルチピクセルMP内のピークの分布のみを用いて、複数のピークが物体境界によるものか、透明被写体によるものかを判定してもよいし、他のセンサ情報を用いて判定してもよい。他のセンサ情報を用いて判定することにより、高精度に判定することができる。いずれか一つの方法を選択して判定してもよいし、複数の判定方法を併用し、複数のピークが物体境界によるものか、透明被写体によるものかを判定してもよい。
　次に、候補予測部３３の処理について説明する。
　候補予測部３３は、RGBカメラ１１からのRGB画像と、透明被写体判定部３１による透明被写体判定結果と、検索部３２からの検索結果とに基づいて、距離演算部２２から供給された各測距点の３次元座標（x,y,z）に対して、色情報を予測する。
　まず、検索部３２から、“該当なし”の検索結果が供給された場合について説明する。“該当なし”の検索結果が検索部３２から供給される場合は、RGBカメラ１１から入力されるRGB画像が最初のフレームの場合や、色情報が未確定の３次元座標がDB２４に記憶されていない場合などである。
　候補予測部３３は、RGBカメラ１１からのRGB画像と、透明被写体判定部３１による透明被写体判定結果とに基づいて、距離演算部２２から供給された各測距点の３次元座標（x,y,z）に対して、色候補と尤度の対を予測する。候補予測部３３は、距離演算部２２から供給された全ての測距点の３次元座標（x,y,z）について所定の順番で色候補と尤度の対を予測するが、いま予測対象として注目する測距点を注目測距点と称する。
　候補予測部３３は、注目測距点の透明被写体判定結果が透明被写体ではない場合、注目測距点のRGB画像の色情報をそのまま色候補、尤度を“１”とする、色情報の予測結果をDB更新部２５に供給する。
　一方、注目測距点の透明被写体判定結果が透明被写体である場合、候補予測部３３は、事前に定めたルールまたは学習によって色候補と尤度の対を複数決定し、DB更新部２５に供給する。
　例えば、候補予測部３３は、以下のようにして、色候補と尤度の対を、複数決定する。
　候補予測部３３は、図７の色候補１のように、前景が透明被写体であるとして、前景色を透明、背景色をRGB画像の注目測距点の色（紫）に決定する。
　次に、候補予測部３３は、RGB画像を物体認識処理した認識処理結果を外部装置から取得し、認識処理結果から想定される色情報を用いて、前景色と背景色を決定する。図７の例では、認識処理結果として“リンゴ”が信号処理装置１３に入力され、リンゴの認識領域の色情報を赤として、図７の色候補２のように、前景色が、RGB画像の紫から、リンゴの赤を減算して得られる青に決定され、背景色がリンゴの赤に決定される。
　次に、候補予測部３３は、注目測距点の隣接測距点（スポット光）での色情報を前景色、背景色を注目測距点の色に決定する。図７の例では、中心部の注目測距点の左側の隣接測距点の色情報が青であるので、図７の色候補２と同じに、前景色が青に決定され、背景色が、紫から青を減算して得られる赤に決定される。
　次に、候補予測部３３は、他の物体の映り込みを仮定し、映り込みが起きている場合の色を差し引いて、前景色と背景色を決定する。例えば、図８の色候補３のように、レモンの黄色の映り込みが仮定され、前景色が透明に決定され、背景色が、黄色を減算して得られる赤に決定される。
　上述した例は、シチュエーションを想定して、事前に定めたルールに従い前景色と背景色の色候補を複数決定する例であるが、撮影空間を構成する各点の色情報をニューラルネットワークにより学習した予測器を用いて、注目測距点の色情報を予測することにより、色候補を決定してもよい。撮影空間を構成する各点の色情報を学習および予測するニューラルネットワークとして、例えば、ニューラルネットワークの一種であるNeRFを利用することができる。NeRFについては、例えば、“NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis”, Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng, https://arxiv.org/abs/2003.08934に開示がある。
　NeRFでは、図９に示されるように、複数視点のRGB画像と、そのときのカメラ姿勢(x,y,z,θ,φ)を入力し、撮影空間の各点の輝度（RGB値）と密度σ（RGBσ）を出力するような、MLP(Multilayer perceptron)の関数Fが学習される。ここで、カメラ姿勢のパラメータである（θ,φ)は、RGBカメラ１１の３次元位置（x,y,z）からの視線方向に対応し、θは天頂角を表し、φは方位角を表す。また、出力の密度σは、入力の視線方向（θ,φ)に、RGB値の物体が存在する尤度を表す。換言すれば、NeRFでは、多視点から撮影したRGB画像の輝度値を教師として、光線（θ,φ)上の（RGB,σ）を積分してレンダリングされた輝度値と正解の輝度値との差が最小となるようにMLPのパラメータの学習が行われる。そして、学習により得られたMLPの関数Fを予測器として用いて、時刻ｔ－１までのRGB画像とカメラ姿勢(x,y,z,θ,φ)を入力することにより、時刻ｔの輝度（RGB値）と密度σ（RGBσ）を予測（出力）することができる。
　NeRFを色候補の予測処理に適用した場合、図１０に示されるように、RGB画像と、そのときのカメラ姿勢(x,y,z,θ,φ)とに加えて、ヒストグラムデータhst_cntを入力として、MLPの関数Fが学習される。このように、学習の入力データとしてヒストグラムデータhst_cntを追加することで、時刻ｔの輝度（RGB値）と密度σ（RGBσ）を、より高い確度で予測することができる。
　上述した色候補の算出方法は一例であり、これらに限られるものではない。色候補として考えられるケースをどれだけ算出し、決定するかは、CPU,メモリサイズ等の計算リソースに応じて変化し得る。
　次に、候補予測部３３は、決定した複数の色候補に対して尤度を決定する。各色候補の尤度は、特に事前知識がない場合、各色候補の尤度が均等となるように設定してもよいし、例えば、前景が透明被写体の場合の色候補の尤度を他の色候補よりも高く設定してもよい。また例えば、事前に被写体の色をある程度推測可能である場合には、それに応じて所定の色候補の尤度を高く設定してもよい。例えば、処理済の周囲の測距点が存在し、周囲の測距点が青いガラスと推定される場合に、前景色が青、背景色が赤の色候補の尤度を高く設定することができる。また例えば、事前に撮影環境（被写体）が分かっている場合には、その撮影環境に応じた色候補の尤度を高く設定することができる。
　候補予測部３３は、以上のように決定した複数の色候補と尤度の対を、DB更新部２５に供給する。
　次に、検索部３２から、探索範囲内の座標を有する過去フレームの暫定処理結果候補が供給された場合の、候補予測部３３の色候補と尤度の対の決定について説明する。
　候補予測部３３は、注目測距点の透明被写体判定結果が透明被写体ではない場合、注目測距点のRGB画像の色情報をそのまま色候補、尤度を“１”とする、色情報の予測結果をDB更新部２５に供給する。
　一方、注目測距点の透明被写体判定結果が透明被写体である場合、候補予測部３３は、DB２４に記憶されている暫定処理結果候補以外の色候補があれば、その色候補と尤度の対を決定し、DB更新部２５に供給する。色候補の決定方法は、過去フレームの暫定処理結果候補がDB２４に記憶されていない場合と同様である。
　次に、DB更新部２５の処理について説明する。
　DB更新部２５は、候補予測部３３から供給される、透明被写体判定結果と、色候補および尤度の対とに基づいて、DB２４に記憶されている、色情報が未確定な３次元座標の暫定処理結果候補を更新する。
　図１１は、透明被写体判定部３１による透明被写体判定結果が透明被写体ではない場合の暫定処理結果候補の更新の例を示している。
　透明被写体判定結果が透明被写体ではない場合、注目測距点のRGB画像の色情報がそのまま色候補、尤度“１”でDB更新部２５に供給される。
　図１１の例では、時刻ｔ－１の時点では、暫定処理結果候補として、［前景色、背景色、尤度］＝［透明、紫、0.5］の色候補と、［前景色、背景色、尤度］＝［青、赤、0.5］の色候補がDB更新部２５に記憶されていた。
　時刻ｔの候補予測部３３の処理により、注目測距点の透明被写体判定結果が透明被写体ではなく、注目測距点のRGB画像の色情報である「赤」を色候補、尤度“１”とする色情報の予測結果がDB更新部２５に供給された。
　DB更新部２５は、暫定処理結果候補である、［前景色、背景色、尤度］＝［透明、紫、0.5］の色候補と、［前景色、背景色、尤度］＝［青、赤、0.5］の色候補のうち、「赤」を有する［前景色、背景色、尤度］＝［青、赤、0.5］の色候補の尤度を“１”に修正するとともに、他の［前景色、背景色、尤度］＝［透明、紫、0.5］の色候補をDB２４から削除する。DB更新部２５は、DB２４を更新後、更新通知を出力部２６へ供給する。
　図１２は、透明被写体判定部３１による透明被写体判定結果が透明被写体である場合の暫定処理結果候補の更新の例を示している。
　時刻ｔ－１の時点では、暫定処理結果候補として、［前景色、背景色、尤度］＝［透明、紫、0.5］の色候補と、［前景色、背景色、尤度］＝［青、赤、0.5］の色候補がDB更新部２５に記憶されていた。
　現フレームである時刻ｔの候補予測部３３の処理により、注目測距点の透明被写体判定結果が透明被写体であり、［前景色、背景色、尤度］＝［透明、緑、0.5］の色候補と、［前景色、背景色、尤度］＝［青、黄、0.5］の色候補の予測結果がDB更新部２５に供給された。
　DB更新部２５は、時刻ｔ－１の暫定処理結果候補と、現フレームの時刻ｔの色候補の予測結果との候補群のなかで、整合性の取れた色候補がある場合、その色候補の尤度を上げるとともに、他の色候補の尤度を下げるように、DB更新部２５を更新する。ここで、整合性の取れた色候補とは、過去のフレームに遡って関連座標の色情報を確定させていった際に矛盾が発生しない色候補を意味する。
　図１２の例では、時刻ｔ－１の時点では、［前景色、背景色、尤度］＝［透明、紫、0.5］の色候補と、［前景色、背景色、尤度］＝［青、赤、0.5］の色候補が、暫定処理結果候補として、DB更新部２５に記憶されていた。次の時刻ｔの候補予測部３３の処理により、［前景色、背景色、尤度］＝［透明、緑、0.5］の色候補と、［前景色、背景色、尤度］＝［青、黄、0.5］の色候補の予測結果が、DB更新部２５に供給された。
　そして、時刻ｔ－２の時点の予測結果が、透明被写体ではなく、色情報が黄色、尤度“１”である場合、黄色の色情報を有する時刻ｔの［前景色、背景色、尤度］＝［青、黄、0.5］と、それと同じ前景色を有する、時刻ｔ－１の暫定処理結果候補の［前景色、背景色、尤度］＝［青、赤、0.5］の予測結果が整合する。
　そこで、DB更新部２５は、時刻ｔ－１の暫定処理結果候補である、［前景色、背景色、尤度］＝［透明、紫、0.5］の色候補の尤度を「0.5→0.3」に更新し、［前景色、背景色、尤度］＝［青、赤、0.5］の色候補の尤度を「0.5→0.7」に更新する。また、DB更新部２５は、時刻ｔの［前景色、背景色、尤度］＝［透明、緑、0.5］の色候補の尤度を「0.5→0.3」に更新し、時刻ｔの［前景色、背景色、尤度］＝［青、黄、0.5］の色候補の尤度を「0.5→0.7」に更新する。DB更新部２５は、DB２４を更新後、更新通知を出力部２６へ供給する。
　DB更新部２５は、DB２４の更新により、予め決定された下限閾値（第２閾値）より小さい尤度をもつ色候補が暫定処理結果候補にある場合、その色候補を、DB２４の暫定処理結果候補から削除する。
　候補予測部３３が、上述したNeRFにより学習した予測器を用いる場合には、MLPのパラメータ（重み）を学習し直した上で、RGB値と密度σ（RGBσ）の予測結果が更新され、DB２４の暫定処理結果候補が更新される。
　次に、出力部２６の処理について説明する。
　出力部２６は、DB更新部２５から更新通知が供給された場合、DB２４の暫定処理結果候補のうち、確定済みの処理結果を、色情報が修正された色情報付きの３次元座標として出力する。より具体的には、出力部２６は、DB２４の暫定処理結果候補のうち、予め決定された上限閾値（第１閾値）より大きい尤度をもつ色候補がある場合、その色候補と３次元座標（x,y,z）を、確定済みの処理結果として出力する。
　例えば、上限閾値が0.8に設定されているとする。図１１の例では、更新の結果、上限閾値0.8より大きい尤度を有する、［前景色、背景色、尤度］＝［青、赤、1.0］の色候補が、修正後の色情報付きの３次元座標として出力部２６から出力される。一方で、図１２の例では、上限閾値0.8より大きい尤度を有する色候補がないため、修正後の色情報付きの３次元座標は出力されない。
　なお、出力のオプションとして、上限閾値0.8より大きい尤度を有する色候補がない場合であっても、尤度が最も高い色候補について、尤度を信頼度として付加して、色情報付きの３次元座標を出力してもよい。
　例えば、図１３に示されるように、［前景色、背景色、尤度］＝［透明、紫、0.4］の色候補と、［前景色、背景色、尤度］＝［青、赤、0.7］の色候補が、未確定の暫定処理結果候補としてDB２４に記憶されている場合、出力部２６は、尤度が最も高い色候補である、［前景色、背景色］＝［青、赤］の色情報付きの３次元座標を、信頼度0.7として出力する。このように、未確定であっても色情報付きの３次元座標を出力することは、後段の処理において、例えば自律ロボットの衝突回避など、色の信頼度が低い部分においても密度の高い３次元再構成結果が求められる場合に有効である。
＜２．第１実施の形態による色情報補正処理＞
　次に、図１４のフローチャートを参照して、第１実施の形態の信号処理システム１による色情報補正処理について説明する。この処理は、例えば、RGBカメラ１１およびdToFセンサ１２からRGB画像および距離情報が供給されたとき開始される。
　初めに、ステップＳ１において、データ取得部２１は、RGBカメラ１１から供給されたRGB画像と、dToFセンサ１２から供給された距離情報およびカメラ姿勢を取得する。データ取得部２１は、取得したRGB画像を、候補処理部２３へ供給するとともに、取得した距離情報およびカメラ姿勢を、距離演算部２２へ供給する。
　ステップＳ２において、距離演算部２２は、データ取得部２１からの距離情報およびカメラ姿勢に基づいて、測距点ごとに、ピーク情報と３次元座標（x,y,z）を演算する。より具体的には、距離演算部２２は、スポット光SPに対応するマルチピクセルMPのヒストグラムデータから、カウント値のピークに対応するピーク情報を抽出し、各ピークのピーク情報と３次元座標（x,y,z）とを演算する。演算された各ピークのピーク情報と３次元座標（x,y,z）は、候補処理部２３へ供給される。
　ステップＳ３において、候補処理部２３の透明被写体判定部３１は、距離演算部２２からの測距点のピーク情報と３次元座標（x,y,z）とを透明被写体判別情報として取得し、透明被写体判別情報に基づいて、被写体が透明被写体であるか否かを判定する。具体的には、１つのマルチピクセルMPのヒストグラム内で観測されるピークが１つであるか否かを判定し、さらに複数のピークが検出された場合には、図５を参照して説明したように、複数のピークが物体境界によるものか、透明被写体によるものかを判定することにより、被写体が透明被写体であるかが判定される。図６を参照して説明したように、サーマルカメラ等の追加のセンサの出力を補足的に用いて、上記の判定を行ってもよい。
　ステップＳ４において、検索部３２は、DB２４を検索し、距離演算部２２から供給された測距点の３次元座標（x,y,z）に対する所定の探索範囲内の３次元座標を有する、色情報が未確定な３次元座標がDB２４に記憶されているかを判定する。色情報が未確定な３次元座標がDB２４から検出されなかった場合、処理はステップＳ５に進められ、色情報が未確定な３次元座標がDB２４から検出された場合、処理はステップＳ７に進められる。
　色情報が未確定な３次元座標がDB２４から検出されなかった場合のステップＳ５では、検索部３２は、“該当なし”の検索結果を候補予測部３３へ供給する。
　ステップＳ５の後のステップＳ６において、候補予測部３３は、RGBカメラ１１からのRGB画像と、透明被写体判定部３１による透明被写体判定結果とに基づいて、距離演算部２２から供給された各測距点の３次元座標（x,y,z）に対して、色候補と尤度の対を予測する。
　具体的には、ステップＳ３の判定結果が透明被写体ではない場合、候補予測部３３は、注目測距点のRGB画像の色情報をそのまま色候補、尤度を“１”とする、色情報の予測結果をDB更新部２５に供給する。一方、ステップＳ３の判定結果が透明被写体である場合、候補予測部３３は、事前に定めたルールまたは学習によって色候補と尤度の対を複数決定し、DB更新部２５に供給する。透明被写体判定部３１による透明被写体判定結果も、DB更新部２５に供給される。
　一方、色情報が未確定な３次元座標がDB２４から検出された場合のステップＳ７では、検索部３２は、探索範囲内の３次元座標を有し、色情報が未確定な３次元座標と色候補とで構成される過去フレームの暫定処理結果候補を、DB２４から取得し、検索結果として候補予測部３３へ供給する。
　ステップＳ７の後のステップＳ８において、候補予測部３３は、RGBカメラ１１からのRGB画像と、透明被写体判定部３１による透明被写体判定結果とに基づいて、距離演算部２２から供給された各測距点の３次元座標（x,y,z）に対して、色候補と尤度の対を予測する。ステップＳ８の処理は、上述したステップＳ６と同様である。
　ステップＳ９において、候補予測部３３は、色候補の予測結果に、DB２４に記憶されていた暫定処理結果候補以外の色候補があるかを判定する。
　ステップＳ９で、暫定処理結果候補以外の色候補があると判定された場合、処理はステップＳ１０へ進み、候補予測部３３は、DB２４に記憶されていた暫定処理結果候補以外の色候補と尤度の対を、DB更新部２５に供給する。透明被写体判定部３１による透明被写体判定結果も、DB更新部２５に供給される。
　一方、ステップＳ９で、暫定処理結果候補以外の色候補がないと判定された場合、ステップＳ１０の処理がスキップされる。
　ステップＳ１１において、DB更新部２５は、候補予測部３３から供給された、透明被写体判定結果と、色候補および尤度の対とに基づいて、DB２４を更新する。例えば、整合性の取れた色候補の尤度を上げるように、DB２４に記憶されている、色情報が未確定な３次元座標の暫定処理結果候補が更新される。DB２４を更新後、DB更新部２５は、更新通知を出力部２６へ供給する。
　ステップＳ１２において、出力部２６は、DB２４が更新されたか、すなわち、DB更新部２５から更新通知が供給されたかを判定する。
　ステップＳ１２で、DB２４が更新されたと判定された場合、処理はステップＳ１３に進み、出力部２６は、DB２４の暫定処理結果候補のうち、上限閾値より大きい尤度をもつ色候補と３次元座標（x,y,z）を、確定済みの色情報付きの３次元座標として出力する。
　一方、ステップＳ１２で、DB２４が更新されていないと判定された場合、ステップＳ１３の処理がスキップされ、処理はステップＳ１４へ進む。
　ステップＳ１４において、信号処理装置１３は、処理を終了するか否かを判定する。例えば、dToFセンサ１２から供給された距離情報の全ての測距点について、確定済みの色情報付きの３次元座標を出力し、RGBカメラ１１およびdToFセンサ１２から次のフレームのRGB画像および距離情報が供給されない場合、信号処理装置１３は、処理を終了すると判定する。反対に、RGBカメラ１１およびdToFセンサ１２から次のフレームのRGB画像および距離情報が供給された場合、信号処理装置１３は、処理を終了しないと判定する。
　ステップＳ１４で、処理を終了しないと判定された場合、信号処理装置１３は、処理をステップＳ１に戻す。これにより、次のフレームのRGB画像および距離情報に対して、上述したステップＳ１ないしＳ１４の処理が繰り返される。
　一方、ステップＳ１４で、処理を終了すると判定された場合、信号処理装置１３は、図１４の色情報補正処理を終了する。
　図１４の色情報補正処理は、説明を簡単にするため、１つの測距点について１回の更新を行う場合の一連の処理の流れを説明したが、１つのフレームの測距点の色情報および３次元座標（x,y,z）が確定すると、対応する３次元座標を有する過去フレームの測距点の色情報および３次元座標（x,y,z）が順次確定する場合がある。信号処理装置１３は、色情報が未確定な過去フレームの測距点を再帰的に更新してもよい。具体的には、DB更新部２５は、上限閾値0.8より大きい尤度を有する色候補の測距点が出現した場合、その測距点の確定した色情報を検索部３２へ供給する。検索部３２が、色情報確定済みの測距点の所定の探索範囲内の過去フレームの色情報が未確定な３次元座標を検索する。それ以降の処理は同様である。
＜３．第１実施の形態の変形例＞
　図１５は、信号処理システムの第１実施の形態の変形例を示すブロック図である。
　図１５の信号処理システム１を、図１に示した第１実施の形態の構成と比較すると、撮影制御部２７が新たに設けられており、その他の構成は同様である。
　撮影制御部２７は、DB２４に記憶されている暫定処理結果候補を参照し、色情報が未確定な測距点を確定できるような測定位置を算出し、算出した測定位置による測定を、RGBカメラ１１とdToFセンサ１２に指示する。RGBカメラ１１は、撮影制御部２７から指示された測定位置に移動し、撮影を行う。dToFセンサ１２は、撮影制御部２７から指示された測定位置に移動し、距離を測定する。測定位置の指示は、RGBカメラ１１とdToFセンサ１２が搭載されている移動体やロボット等に供給してもよい。
　図１５の第１実施の形態の変形例によれば、尤度（信頼度）の低い部分を補うようにRGBカメラ１１とdToFセンサ１２に測定を行わせることが可能となる。例えば、ロボットマニピュレーションなどでは、自律的に不確定要素を減らすような撮影により、精度が高くなるような駆動が可能となる。また、人間が撮影する場合でも、この角度からの撮影条件が足りていないなどの情報をサジェストすることで、3次元再構成のための撮影において手戻りを減らすことが可能となる。
　以上説明した第１実施の形態の信号処理システム１によれば、透明被写体の透過色の影響を、RGBカメラ１１から取得したRGB画像と、dToFセンサ１２から取得したヒストグラムデータとを用いて補正することで、透明被写体の影響を排除した３次元座標と色情報を正確に取得することができる。これにより、補正された正確な３次元座標と色情報を用いて、色再現の高い三次元再構成を行うことができる。色再現性は３次元再構成結果の見栄えに大きく寄与するため、本技術を用いることで、CGモデルの作成などにおいて高精度化を実現することができる。
＜４．信号処理システムの第２実施の形態＞
　次に、信号処理システムの第２実施の形態について説明する。
　上述した第１実施の形態では、信号処理システム１は、撮影方向（視線方向）に透明被写体が存在することによる色情報の誤認識を補正した。第２実施の形態では、信号処理システム１は、撮影方向（視線方向）に透明被写体が存在した場合に、透明被写体の光の屈折による３次元座標の位置ずれを補正する。
　例えば、図１６に示されるように、dToFセンサ１２の視線方向に透明被写体６１が存在する場合、所定の物体までの距離が、透明被写体６１を介して測定される。dToFセンサ１２は、透明被写体６１の光の屈折による物体６２の正しい３次元座標位置（真の位置）６３ではなく、屈折を考慮しない物体６２’の３次元座標位置６３’として測定されることがある。第２実施の形態の信号処理システム１は、このような透明被写体６１の光の屈折による３次元座標の位置ずれを補正する。また、入射角によっては透明被写体６１で光の反射も起こるため、透明被写体６１への光の入射角も考慮される。dToFセンサ１２が距離情報として出力するヒストグラムデータを用いて、信号処理装置１３が被写体が透明被写体であるか否かを判定する点は、第１実施の形態と同様である。そして、被写体が透明被写体であると判定された場合に、信号処理装置１３は、事前に定めたルールまたは学習によって、透明被写体の屈折率および入射角の候補と尤度の対を複数予測することで、３次元座標の位置ずれを補正する。
　図１７は、本開示の信号処理システムの第２実施の形態の構成例を示すブロック図である。
　図１７の信号処理システム１は、dToFセンサ１２と、信号処理装置１３とで構成されている。すなわち、第２実施の形態では、補正対象が、光の屈折による３次元座標の位置ずれであり、色情報ではないため、RGB画像を生成するRGBカメラ１１は省略される。勿論、第１実施の形態と共通化するなどの目的で、RGBカメラ１１を備えてもよい。
　信号処理装置１３は、dToFセンサ１２から取得した距離情報とカメラ姿勢とに基づいて、透明被写体に起因する光の屈折および入射（以下、適宜、屈折/入射と記述する。）による物体の３次元座標の位置ずれを修正し、修正後の３次元座標（x,y,z）を出力する。
　信号処理装置１３は、データ取得部２１、距離演算部２２、候補処理部２３、DB２４、DB更新部２５、および、出力部２６を有している。候補処理部２３は、透明被写体判定部３１、検索部７２、および、候補予測部７３を備える。
　すなわち、信号処理装置１３は、第１実施の形態の検索部３２と候補予測部３３に代えて、検索部７２と候補予測部７３を候補処理部２３が備える点で相違し、その他の点で共通する。
　検索部７２および候補予測部７３のそれぞれは、第１実施の形態の色候補と尤度の対を決定する代わりに、屈折/入射候補と尤度の対を決定する点で相違し、その他の点で共通する。以下、詳細を説明する。
　検索部７２は、距離演算部２２から供給された測距点の３次元座標（x,y,z）に対して所定のマージンを持たせた探索範囲(x±Δx’,y±Δy’,z±Δz’)内の３次元座標を有する、屈折/入射情報が未確定な３次元座標がDB２４に記憶されているかを検索する。３次元座標のマージン値Δx’,Δy’、およびΔz’は、第１実施の形態と同様に、予め設定される。第２実施の形態では、屈折による３次元座標の位置ずれを補正するので、第１実施の形態よりもマージンが大きく設定されることが好ましい。すなわち、第１実施の形態と第２実施の形態で異なるマージンを設定する場合、Δx＜Δx’, Δy＜Δy’, Δz＜Δz’とされる。ただし、３次元座標のマージン値Δx’,Δy’、およびΔz’は、第１実施の形態と同じ値でもよい。
　検索部７２は、探索範囲内の３次元座標をもつ、屈折/入射情報が未確定な３次元座標がDB２４に記憶されていない場合、“該当なし”の検索結果を候補予測部７３へ供給する。一方、探索範囲内の３次元座標をもつ、屈折/入射情報が未確定な３次元座標がDB２４に記憶されていた場合、検索部３２は、屈折/入射情報が未確定な３次元座標と屈折/入射候補とで構成される過去フレームの暫定処理結果候補を、DB２４から取得し、検索結果として候補予測部７３へ供給する。
　候補予測部７３は、透明被写体判定部３１による透明被写体判定結果と、検索部７２からの検索結果とに基づいて、距離演算部２２から供給された各測距点の３次元座標（x,y,z）に対して、屈折/入射情報を予測する。候補予測部７３は、屈折/入射情報の予測結果として、屈折/入射情報の候補（屈折/入射候補）および尤度の対を、DB更新部２５に供給する。また、候補予測部７３は、透明被写体判定部３１による透明被写体判定結果も、DB更新部２５に供給する。
　DB更新部２５は、候補予測部７３から供給される、透明被写体判定結果と、屈折/入射候補および尤度の対とに基づいて、DB２４に記憶されている、屈折/入射情報が未確定な３次元座標の暫定処理結果候補を更新する。DB更新部２５は、DB２４に記憶されている情報を更新した場合、更新通知を出力部２６へ供給する。
　出力部２６は、DB更新部２５から更新通知が供給された場合、DB２４に記憶されている確定済みの処理結果である、測距点の修正後の３次元座標（x,y,z）を出力する。
　次に、図１８を参照して、注目測距点の透明被写体判定結果が透明被写体である場合に、事前に定めたルールまたは学習によって、屈折/入射候補および尤度の対を予測する処理についてさらに説明する。
　まず、候補予測部７３は、ガラス、水、ダイヤ等の想定される屈折率の代表値をいくつか割り当てる。
　次に、候補予測部７３は、同時に発光した近傍の測距点が同じ透明被写体にあたっている場合、注目測距点の近傍の測距点の距離情報を用いて、透明被写体の法線ベクトルを算出し、入射角を求める。具体的には、注目測距点のヒストグラムデータの１ピーク目の距離から、図１８の透明被写体６１の反射位置ｐが算出される。同様に、注目測距点の近傍の測距点のヒストグラムデータの１ピーク目の距離から、反射位置（ｐ－１）および（ｐ＋１）が算出される。そして、反射位置（ｐ－１）、ｐ、および、（ｐ＋１）から透明被写体６１の表面が検出され、透明被写体６１の表面に対して垂直な法線ベクトル８１が検出される。dToFセンサ１２のカメラ姿勢（視線方向）と法線ベクトル８１とから、入射角αが算出される。
　候補予測部７３は、以上ようにして屈折/入射候補および尤度の対を複数決定し、DB更新部２５に供給する。
　図１９の左側の図は、候補予測部７３によって予測された、屈折/入射候補および尤度の対の例を示している。
　透明被写体６１の屈折率および入射角が決定すると、透明被写体６１の先にある物体６２の３次元座標６３が算出可能となるので、３次元座標６３の情報もDB更新部２５に記憶される。
　各屈折/入射候補の尤度は、特に事前知識がない場合、各屈折/入射候補の尤度が均等となるように設定してもよいし、ガラスの屈折率の尤度を高く設定してもよい。また例えば、撮影環境等により水辺の可能性が高いなど、事前に被写体をある程度推測可能である場合には、それに応じて所定の屈折/入射候補の尤度を高く設定してもよい。
　DB更新部２５は、第１実施の形態と同様に、候補予測部３３から供給される、透明被写体判定結果と、屈折/入射候補および尤度の対とに基づいて、DB２４に記憶されている、屈折/入射情報が未確定な３次元座標の暫定処理結果候補を更新する。
　例えば、図１９の右側の図に示されるように、時刻ｔにおける透明被写体判定結果が透明被写体ではない場合、過去フレームの暫定処理結果候補である候補１ないし候補３のうち、時刻ｔにおける物体６２の３次元座標６３である（x2,y2,z2）と一致する候補２に、屈折率および入射角が確定される。DB更新部２５は、候補２の尤度を１”に修正するとともに、他の屈折/入射候補、すなわち、候補１および候補３をDB２４から削除する。
　第２実施の形態においても、ルールベースで屈折/入射候補を決定するのではなく、ニューラルネットワークにより学習した予測器を用いて、候補を予測することができる。例えば、屈折を考慮するため、D-NeRFと呼ばれる、非線形の光線を扱うMLPモデルを利用することができる。D-NeRFについては、例えば、“D-NeRF: Neural Radiance Fields for Dynamic Scenes”，Albert Pumarola, Enric Corona, Gerard Pons-Moll, Francesc Moreno-Noguer, https://arxiv.org/abs/2011.13961に開示がある。
　D-NeRFのMLPモデルは、図２０に示されるように、屈折率と入射角は明示的に扱わず、カメラ姿勢とヒストグラムデータ(x,y,z,hst_cnt)を入力として、３次元座標（x,y,z）に対する位置ずれ(Δx,Δy,Δz)を直接学習する。多視点からのヒストグラムデータhst_cntを入力し、各視点の光線でレンダリングされたヒストグラムデータと、正解のヒストグラムデータとの差が最小となるようなMLPモデルの関数Ftが学習される。学習により得られたMLPモデルの関数Ftを用いて、dToFセンサ１２の所定のカメラ姿勢（視線方向）からの位置ずれ(Δx,Δy,Δz)が予測される。
　なお、D-NeRFのMLPモデルを用いて、位置ずれ(Δx,Δy,Δz)だけでなく、第１実施の形態のように、RGB値と密度σ（RGBσ）を予測することもできる。この場合、dToFセンサ１２のカメラ姿勢とヒストグラムデータ(x,y,z,hst_cnt)を入力とし、位置ずれ(Δx,Δy,Δz)を予測（学習）する関数Ftと、位置ずれ(ｘ＋Δx,ｙ＋Δy,ｚ＋Δz)を入力として、RGB値と密度σ（RGBσ）を予測（学習）する関数Fのそれぞれが、MLPモデルで表現される。換言すれば、MLPモデルの関数Fは、関数Ftで予測した光線の位置ずれ(ｘ＋Δx,ｙ＋Δy,ｚ＋Δz)を入力として、位置ずれ(ｘ＋Δx,ｙ＋Δy,ｚ＋Δz)を考慮した光線上のRGB値と密度σ（RGBσ）を予測する。したがって、関数Ftと関数Fの合成関数Ft・Fにより、dToFセンサ１２のカメラ姿勢とヒストグラムデータ(x,y,z,hst_cnt)を入力として、屈折を考慮した位置上の光線上の輝度（RGB値）と密度σ（RGBσ）を出力することができる。学習では、多視点からのヒストグラムデータhst_cntを入力し、各視点のヒストグラムデータとRGB画像を教師データとして、光線ごとにレンダリングされた輝度値とヒストグラムデータと正解データとの差が最小となるように、合成関数Ft・Fが学習される。
＜５．第２実施の形態による位置ずれ補正処理＞
　次に、図２１のフローチャートを参照して、第２実施の形態の信号処理システム１による位置ずれ補正処理について説明する。この処理は、例えば、dToFセンサ１２から距離情報が供給されたとき開始される。
　初めに、ステップＳ３１において、データ取得部２１は、dToFセンサ１２から供給された距離情報とカメラ姿勢を取得する。データ取得部２１は、取得した距離情報とカメラ姿勢を、距離演算部２２へ供給する。
　ステップＳ３２において、距離演算部２２は、データ取得部２１からの距離情報とカメラ姿勢とに基づいて、測距点ごとに、ピーク情報と３次元座標（x,y,z）を演算する。より具体的には、距離演算部２２は、スポット光SPに対応するマルチピクセルMPのヒストグラムデータから、カウント値のピークに対応するピーク情報を抽出し、各ピークのピーク情報と３次元座標（x,y,z）とを演算する。演算された各ピークのピーク情報と３次元座標（x,y,z）は、候補処理部２３へ供給される。
　ステップＳ３３において、候補処理部２３の透明被写体判定部３１は、距離演算部２２からの測距点のピーク情報と３次元座標（x,y,z）とを透明被写体判別情報として取得し、透明被写体判別情報に基づいて、被写体が透明被写体であるか否かを判定する。透明被写体の判定方法は、上述した第１実施の形態と同様である。
　ステップＳ３４において、検索部３２は、DB２４を検索し、距離演算部２２から供給された測距点の３次元座標（x,y,z）に対する所定の探索範囲内の３次元座標を有する、屈折/入射情報が未確定な３次元座標がDB２４に記憶されているかを判定する。探索範囲は、例えば、第１実施の形態よりも広めに設定される。屈折/入射情報が未確定な３次元座標がDB２４から検出されなかった場合、処理はステップＳ３５に進められ、屈折/入射情報が未確定な３次元座標がDB２４から検出された場合、処理はステップＳ３７に進められる。
　屈折/入射情報が未確定な３次元座標がDB２４から検出されなかった場合のステップＳ３５では、検索部３２は、“該当なし”の検索結果を候補予測部７３へ供給する。
　ステップＳ３５の後のステップＳ３６において、候補予測部７３は、透明被写体判定部３１による透明被写体判定結果に基づいて、距離演算部２２から供給された各測距点の３次元座標（x,y,z）に対して、屈折/入射候補と尤度の対を予測する。
　具体的には、ステップＳ３３の判定結果が透明被写体ではない場合、候補予測部３３は、注目測距点の位置ずれがないものとして３次元座標を算出し、尤度を“１”とする、位置情報の予測結果をDB更新部２５に供給する。一方、ステップＳ３３の判定結果が透明被写体である場合、候補予測部３３は、事前に定めたルールまたは学習によって、屈折/入射候補候補と尤度の対を複数決定し、DB更新部２５に供給する。透明被写体判定部３１による透明被写体判定結果も、DB更新部２５に供給される。
　一方、屈折/入射情報が未確定な３次元座標がDB２４から検出された場合のステップＳ３７では、検索部３２は、探索範囲内の３次元座標を有し、屈折/入射情報が未確定な３次元座標と屈折/入射候補とで構成される過去フレームの暫定処理結果候補を、DB２４から取得し、検索結果として候補予測部７３へ供給する。
　ステップＳ３７の後のステップＳ３８において、候補予測部７３は、透明被写体判定部３１による透明被写体判定結果に基づいて、距離演算部２２から供給された各測距点の３次元座標（x,y,z）に対して、屈折/入射候補と尤度の対を予測する。ステップＳ３８の処理は、上述したステップＳ３６と同様である。
　ステップＳ３９において、候補予測部７３は、屈折/入射候補の予測結果に、DB２４に記憶されていた暫定処理結果候補以外の色候補があるかを判定する。
　ステップＳ３９で、暫定処理結果候補以外の屈折/入射候補があると判定された場合、処理はステップＳ４０へ進み、候補予測部７３は、DB２４に記憶されていた暫定処理結果候補以外の屈折/入射候補と尤度の対を、DB更新部２５に供給する。透明被写体判定部３１による透明被写体判定結果も、DB更新部２５に供給される。
　一方、ステップＳ３９で、暫定処理結果候補以外の屈折/入射候補がないと判定された場合、ステップＳ４０の処理がスキップされる。
　ステップＳ４１において、DB更新部２５は、候補予測部７３から供給された、透明被写体判定結果と、屈折/入射候補および尤度の対とに基づいて、DB２４を更新する。例えば、整合性の取れた屈折/入射候補の尤度を上げるように、DB２４に記憶されている、屈折/入射情報が未確定な３次元座標の暫定処理結果候補が更新される。DB２４を更新後、DB更新部２５は、更新通知を出力部２６へ供給する。
　ステップＳ４２において、出力部２６は、DB２４が更新されたか、すなわち、DB更新部２５から更新通知が供給されたかを判定する。
　ステップＳ４２で、DB２４が更新されたと判定された場合、処理はステップＳ４３に進み、出力部２６は、DB２４の暫定処理結果候補のうち、上限閾値より大きい尤度をもつ屈折/入射候補の３次元座標（x,y,z）を、確定済みの３次元座標として出力する。
　一方、ステップＳ４２で、DB２４が更新されていないと判定された場合、ステップＳ４３の処理がスキップされ、処理はステップＳ４４へ進む。
　ステップＳ４４において、信号処理装置１３は、処理を終了するか否かを判定する。例えば、dToFセンサ１２から供給された距離情報の全ての測距点について、確定済みの３次元座標を出力し、dToFセンサ１２から次のフレームの距離情報が供給されない場合、信号処理装置１３は、処理を終了すると判定する。反対に、dToFセンサ１２から次のフレームの距離情報が供給された場合、信号処理装置１３は、処理を終了しないと判定する。
　ステップＳ４４で、処理を終了しないと判定された場合、信号処理装置１３は、処理をステップＳ３１に戻す。これにより、次のフレームの距離情報に対して、上述したステップＳ３１ないしＳ４４の処理が繰り返される。
　一方、ステップＳ４４で、処理を終了すると判定された場合、信号処理装置１３は、図２１の位置ずれ補正処理を終了する。
　図２１の位置ずれ補正処理は、説明を簡単にするため、１つの測距点について１回の更新を行う場合の一連の処理の流れを説明したが、１つのフレームの測距点の３次元座標（x,y,z）が確定すると、対応する３次元座標を有する過去フレームの測距点の３次元座標（x,y,z）が順次確定する場合がある。信号処理装置１３は、３次元座標が未確定な過去フレームの測距点を再帰的に更新してもよい。具体的には、DB更新部２５は、上限閾値0.8より大きい尤度を有する屈折/入射候補の測距点が出現した場合、その測距点の確定した３次元座標情報を検索部７２へ供給する。検索部７２が、３次元座標確定済みの測距点の所定の探索範囲内の過去フレームの屈折/入射情報が未確定な３次元座標を検索する。それ以降の処理は同様である。
　第２実施の形態の位置ずれ補正処理においても、第１実施の形態と同様に、上限閾値0.8より大きい尤度を有する３次元座標がない場合であっても、尤度が最も高い屈折/入射候補の３次元座標を、尤度を信頼度として付加して出力してもよい。
　以上説明した第２実施の形態の信号処理システム１によれば、透明被写体を通過する際の光の屈折による位置ずれの影響を、dToF１２センサから取得したヒストグラムデータを用いて補正することで、透明被写体の屈折の影響を排除した３次元座標を正確に取得することができる。屈折による位置ずれは、視点ごとに再構成結果の座標がずれるため、再構成対象物体のぶれを引き起こし、再構成結果の精度を下げるところ、補正された正確な３次元座標を用いることで、高精度な三次元再構成を行うことができる。
　上述した第２実施の形態においても、図１５の第１実施の形態の変形例のように、３次元座標が未確定な測距点を測定するように測定位置をフィードバックする構成を採用することができる。
＜６．まとめ＞
　信号処理装置１３は、被写体に対する照射光の飛行時間のヒストグラムデータを取得するデータ取得部２１と、取得したヒストグラムデータと、ヒストグラムデータを生成したdToFセンサ１２のカメラ姿勢とに基づいて、被写体の３次元座標を演算する距離演算部２２と、ヒストグラムデータが示すピーク情報と、ヒストグラムデータに基づいて演算された被写体の３次元座標とに基づいて、被写体が透明被写体であるかを判定する透明被写体判定部３１と、透明被写体判定部３１の透明被写体判定結果に基づいて、被写体の色情報または３次元座標が修正された被写体の３次元座標を出力する出力部２６とを備える。
　また、第１実施の形態では、信号処理装置１３は、ピーク情報および被写体の３次元座標と、透明被写体判定結果とに基づいて、被写体の色情報の候補を予測する候補予測部３３と、候補予測部３３が予測した色候補と尤度を記憶するDB２４（記憶部）と、DB２４の色候補を更新するDB更新部２５とを有する。
　一方、第２実施の形態では、信号処理装置１３は、ピーク情報および被写体の３次元座標と、透明被写体判定結果とに基づいて、被写体の光の屈折および入射情報の候補（屈折/入射候補）を予測する候補予測部３３と、候補予測部３３が予測した屈折/入射候補と尤度を記憶するDB２４（記憶部）と、DB２４の屈折/入射候補を更新するDB更新部２５とを有する。
　信号処理装置１３によれば、被写体に対する照射光の飛行時間のヒストグラムデータを用いることで、透明被写体が存在する場合の距離情報または色情報を正確に取得することができる。すなわち、透明被写体に起因する複数のピークを検出することにより、被写体までの距離を正確に修正するとともに、透明被写体の色情報を修正したり、透明被写体の光の屈折による３次元座標を修正することができる。
　信号処理装置１３の上述した補正処理によれば、事前に学習したパラメータまたは事前に設計したルールにより撮影シーンを仮判定して尤度を決定し、事後で追加情報が入ったタイミングで再帰的に尤度を修正するため、その場その場で最善の選択が可能になる。
　信号処理装置１３は、上述した第１実施の形態または第２実施の形態のいずれか一方のみの構成および機能を備えるものでもよいし、両方の構成および機能を備え、例えば、第１実施の形態に対応した第１の動作モードと、第２実施の形態に対応した第２の動作モードとを切り替えることにより、いずれか一方の処理を選択的に行うものでもよい。あるいはまた、第１実施の形態の色情報補正処理と、第２実施の形態の位置ずれ補正処理を並列に実行し、両者の補正結果を統合した結果を、補正処理結果として出力してもよい。
　＜本技術の応用例＞
　dToF１２センサから取得したヒストグラムデータを用いて３次元座標や色情報を補正する本開示の補正処理は、自己位置推定と環境地図作成を同時に行うSLAM(Simultaneous Localization and Mapping)、物体を掴んで移動や作業を行うロボット動作、仮想のシーンや物体をCG（computer graphics）で生成する場合のCGモデリング、物体認識処理や物体分類処理、などの様々なアプリケーションの３次元測定に適用することができる。本開示の補正処理を適用することにより、物体の３次元座標の測定精度を向上させることができる。
＜７．コンピュータ構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
　入力部１０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部１０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部１０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
　以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本開示の技術は、以下の構成を取ることができる。
（１）
　被写体に対する照射光の飛行時間のヒストグラムデータを取得する取得部と、
　前記ヒストグラムデータが示すピーク情報と、前記ヒストグラムデータに基づいて演算された前記被写体の３次元座標とに基づいて、前記被写体が透明被写体であるかを判定する透明被写体判定部と、
　前記透明被写体判定部の透明被写体判定結果に基づいて、前記被写体の色情報または３次元座標が修正された前記被写体の３次元座標を出力する出力部と
　を備える信号処理装置。
（２）
　前記透明被写体判定部は、前記ヒストグラムデータにおいて観測されるピークが１つかまたは複数であるかに基づいて、前記被写体が透明被写体であるかを判定する
　前記（１）に記載の信号処理装置。
（３）
　前記透明被写体判定部は、前記ヒストグラムデータにおいて観測されるピークが複数である場合、複数のピークが透明被写体によるものか、または、物体境界によるものかを判定する
　前記（２）に記載の信号処理装置。
（４）
　前記透明被写体判定部は、前記複数のピークが複数画素で一様に検出される場合、前記複数のピークが透明被写体によるものと判定し、前記複数のピークが検出される画素に偏りがある場合、前記複数のピークが物体境界によるものと判定する
　前記（３）に記載の信号処理装置。
（５）
　前記透明被写体判定部は、複数のピークに対応する３次元座標を用いて境界識別問題を解くことにより、前記複数のピークが透明被写体によるものか、または、物体境界によるものかを判定する
　前記（２）に記載の信号処理装置。
（６）
　前記透明被写体判定部は、前記ピーク情報および前記被写体の３次元座標と、前記被写体のサーモ画像とに基づいて、前記被写体が透明被写体であるかを判定する
　前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）
　前記ピーク情報および前記被写体の３次元座標と、前記透明被写体判定結果とに基づいて、前記被写体の色情報の候補を予測する候補予測部をさらに備え、
　前記出力部は、前記被写体の色情報の候補のなかから選択された色情報を、修正後の色情報として、前記被写体の色情報付きの３次元座標を出力する
　前記（１）乃至（６）のいずれかに記載の信号処理装置。
（８）
　前記候補予測部は、前記透明被写体判定結果が透明被写体である場合に、前記被写体の色情報の候補である色候補と尤度の対を予測する
　前記（７）に記載の信号処理装置。
（９）
　前記出力部は、前記被写体の色情報の候補のなかから、第１閾値より大きい尤度をもつ色候補の３次元座標を選択し、前記被写体の色情報付きの３次元座標として出力する
　前記（８）に記載の信号処理装置。
（１０）
　前記ヒストグラムデータと、前記ヒストグラムデータを生成した測距センサのカメラ姿勢とに基づいて前記被写体の３次元座標を演算する演算部をさらに備える
　前記（１）乃至（９）のいずれかに記載の信号処理装置。
（１１）
　前記候補予測部が予測した前記色候補と尤度を記憶する記憶部と、
　第２閾値より小さい尤度をもつ前記色候補を前記記憶部から削除する更新部と
　をさらに備える
　前記（８）乃至（１０）のいずれかに記載の信号処理装置。
（１２）
　前記候補予測部は、前記被写体の色情報の候補である色候補を、ニューラルネットワークにより学習した予測器を用いて決定する
　前記（７）に記載の信号処理装置。
（１３）
　前記予測器は、前記被写体のRGB画像と、前記ヒストグラムデータを生成した測距センサのカメラ姿勢と、前記ヒストグラムデータとを入力として、撮影空間の各点の輝度と密度を予測する
　前記（１２）に記載の信号処理装置。
（１４）
　前記候補予測部が予測した前記色候補と尤度を記憶する記憶部と、
　前記記憶部の前記色候補に基づいて測定位置を算出し、前記ヒストグラムデータを生成した測距センサに前記測定位置による測定を指示する制御部と
　をさらに備える
　前記（８）乃至（１０）のいずれかに記載の信号処理装置。
（１５）
　前記ピーク情報および前記被写体の３次元座標と、前記透明被写体判定結果とに基づいて、前記被写体の光の屈折および入射情報の候補を予測する候補予測部をさらに備え、
　前記出力部は、前記屈折および入射情報の候補のなかから選択された屈折および入射情報の３次元座標を、３次元座標が修正された前記被写体の３次元座標として出力する
　前記（１）乃至（１４）のいずれかに記載の信号処理装置。
（１６）
　前記候補予測部は、前記透明被写体判定結果が透明被写体である場合に、前記被写体の屈折および入射情報の候補である複数の屈折/入射候補と尤度の対を予測する
　前記（１５）に記載の信号処理装置。
（１７）
　前記出力部は、前記被写体の屈折および入射情報の候補のなかから、第１閾値より大きい尤度をもつ屈折および入射情報候補の３次元座標を選択し、３次元座標が修正された前記被写体の３次元座標として出力する
　前記（１５）または（１６）に記載の信号処理装置。
（１８）
　前記被写体の光の屈折による３次元座標の位置ずれをニューラルネットワークにより学習した予測器を用いて、前記被写体の３次元座標の位置ずれを予測する候補予測部をさらに備え、
　前記出力部は、前記候補予測部による前記被写体の３次元座標の位置ずれを修正した前記被写体の３次元座標を出力する
　前記（１）乃至（１４）のいずれかに記載の信号処理装置。
（１９）
　前記予測器は、前記ヒストグラムデータを生成した測距センサのカメラ姿勢と、前記ヒストグラムデータとを入力として、前記被写体の光の屈折による３次元座標の位置ずれを予測する
　前記（１８）に記載の信号処理装置。
（２０）
　信号処理装置が、
　被写体に対する照射光の飛行時間のヒストグラムデータを取得し、
　前記ヒストグラムデータが示すピーク情報と、前記ヒストグラムデータに基づいて演算された前記被写体の３次元座標とに基づいて、前記被写体が透明被写体であるかを判定し、
　透明被写体の判定結果に基づいて、前記被写体の色情報または３次元座標が修正された前記被写体の３次元座標を出力する
　信号処理方法。
　１１　RGBカメラ，　１２　dToFセンサ，　１３　信号処理装置，　２１　データ取得部，　２２　距離演算部，　２３　候補処理部，　２５　DB更新部，　２６　出力部，　２７　撮影制御部，　３１　透明被写体判定部，　３２　検索部，　３３　候補予測部，　４１　透明被写体，　４２　リンゴ，　６１　透明被写体，　７２　検索部，　７３　候補予測部，　１０１　CPU，　１０２　ROM，　１０４　バス，　１０５　入出力インタフェース，　１０６　入力部，　１０７　出力部，　１０８　記憶部，　１０９　通信部，　１１０　ドライブ，　１１１　リムーバブル記録媒体

Claims (20)

  1. 　被写体に対する照射光の飛行時間のヒストグラムデータを取得する取得部と、
    　前記ヒストグラムデータが示すピーク情報と、前記ヒストグラムデータに基づいて演算された前記被写体の３次元座標とに基づいて、前記被写体が透明被写体であるかを判定する透明被写体判定部と、
    　前記透明被写体判定部の透明被写体判定結果に基づいて、前記被写体の色情報または３次元座標が修正された前記被写体の３次元座標を出力する出力部と
    　を備える信号処理装置。
  2. 　前記透明被写体判定部は、前記ヒストグラムデータにおいて観測されるピークが１つかまたは複数であるかに基づいて、前記被写体が透明被写体であるかを判定する
    　請求項１に記載の信号処理装置。
  3. 　前記透明被写体判定部は、前記ヒストグラムデータにおいて観測されるピークが複数である場合、複数のピークが透明被写体によるものか、または、物体境界によるものかを判定する
    　請求項２に記載の信号処理装置。
  4. 　前記透明被写体判定部は、前記複数のピークが複数画素で一様に検出される場合、前記複数のピークが透明被写体によるものと判定し、前記複数のピークが検出される画素に偏りがある場合、前記複数のピークが物体境界によるものと判定する
    　請求項３に記載の信号処理装置。
  5. 　前記透明被写体判定部は、複数のピークに対応する３次元座標を用いて境界識別問題を解くことにより、前記複数のピークが透明被写体によるものか、または、物体境界によるものかを判定する
    　請求項２に記載の信号処理装置。
  6. 　前記透明被写体判定部は、前記ピーク情報および前記被写体の３次元座標と、前記被写体のサーモ画像とに基づいて、前記被写体が透明被写体であるかを判定する
    　請求項１に記載の信号処理装置。
  7. 　前記ピーク情報および前記被写体の３次元座標と、前記透明被写体判定結果とに基づいて、前記被写体の色情報の候補を予測する候補予測部をさらに備え、
    　前記出力部は、前記被写体の色情報の候補のなかから選択された色情報を、修正後の色情報として、前記被写体の色情報付きの３次元座標を出力する
    　請求項１に記載の信号処理装置。
  8. 　前記候補予測部は、前記透明被写体判定結果が透明被写体である場合に、前記被写体の色情報の候補である色候補と尤度の対を予測する
    　請求項７に記載の信号処理装置。
  9. 　前記出力部は、前記被写体の色情報の候補のなかから、第１閾値より大きい尤度をもつ色候補の３次元座標を選択し、前記被写体の色情報付きの３次元座標として出力する
    　請求項８に記載の信号処理装置。
  10. 　前記ヒストグラムデータと、前記ヒストグラムデータを生成した測距センサのカメラ姿勢とに基づいて、前記被写体の３次元座標を演算する演算部をさらに備える
    　請求項１に記載の信号処理装置。
  11. 　前記候補予測部が予測した前記色候補と尤度を記憶する記憶部と、
    　第２閾値より小さい尤度をもつ前記色候補を前記記憶部から削除する更新部と
    　をさらに備える
    　請求項８に記載の信号処理装置。
  12. 　前記候補予測部は、前記被写体の色情報の候補である色候補を、ニューラルネットワークにより学習した予測器を用いて決定する
    　請求項７に記載の信号処理装置。
  13. 　前記予測器は、前記被写体のRGB画像と、前記ヒストグラムデータを生成した測距センサのカメラ姿勢と、前記ヒストグラムデータとを入力として、撮影空間の各点の輝度と密度を予測する
    　請求項１２に記載の信号処理装置。
  14. 　前記候補予測部が予測した前記色候補と尤度を記憶する記憶部と、
    　前記記憶部の前記色候補に基づいて測定位置を算出し、前記ヒストグラムデータを生成した測距センサに前記測定位置による測定を指示する制御部と
    　をさらに備える
    　請求項８に記載の信号処理装置。
  15. 　前記ピーク情報および前記被写体の３次元座標と、前記透明被写体判定結果とに基づいて、前記被写体の光の屈折および入射情報の候補を予測する候補予測部をさらに備え、
    　前記出力部は、前記屈折および入射情報の候補のなかから選択された屈折および入射情報の３次元座標を、３次元座標が修正された前記被写体の３次元座標として出力する
    　請求項１に記載の信号処理装置。
  16. 　前記候補予測部は、前記透明被写体判定結果が透明被写体である場合に、前記被写体の光の屈折および入射情報の候補である複数の屈折/入射候補と尤度の対を予測する
    　請求項１５に記載の信号処理装置。
  17. 　前記出力部は、前記被写体の屈折および入射情報の候補のなかから、第１閾値より大きい尤度をもつ屈折および入射情報候補の３次元座標を選択し、３次元座標が修正された前記被写体の３次元座標として出力する
    　請求項１５に記載の信号処理装置。
  18. 　前記被写体の光の屈折による３次元座標の位置ずれをニューラルネットワークにより学習した予測器を用いて、前記被写体の３次元座標の位置ずれを予測する候補予測部をさらに備え、
    　前記出力部は、前記候補予測部による前記被写体の３次元座標の位置ずれを修正した前記被写体の３次元座標を出力する
    　請求項１に記載の信号処理装置。
  19. 　前記予測器は、前記ヒストグラムデータを生成した測距センサのカメラ姿勢と、前記ヒストグラムデータとを入力として、前記被写体の光の屈折による３次元座標の位置ずれを予測する
    　請求項１８に記載の信号処理装置。
  20. 　信号処理装置が、
    　被写体に対する照射光の飛行時間のヒストグラムデータを取得し、
    　前記ヒストグラムデータが示すピーク情報と、前記ヒストグラムデータに基づいて演算された前記被写体の３次元座標とに基づいて、前記被写体が透明被写体であるかを判定し、
    　透明被写体の判定結果に基づいて、前記被写体の色情報または３次元座標が修正された前記被写体の３次元座標を出力する
    　信号処理方法。
PCT/JP2022/007088 2021-07-06 2022-02-22 信号処理装置および信号処理方法 WO2023281802A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023533063A JPWO2023281802A1 (ja) 2021-07-06 2022-02-22

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-112318 2021-07-06
JP2021112318 2021-07-06

Publications (1)

Publication Number Publication Date
WO2023281802A1 true WO2023281802A1 (ja) 2023-01-12

Family

ID=84801665

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007088 WO2023281802A1 (ja) 2021-07-06 2022-02-22 信号処理装置および信号処理方法

Country Status (2)

Country Link
JP (1) JPWO2023281802A1 (ja)
WO (1) WO2023281802A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7360757B1 (ja) 2023-05-26 2023-10-13 ｂｅｓｔａｔ株式会社 学習装置、サーバ装置、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328169A (ja) * 2001-05-01 2002-11-15 Nikon Corp 測距装置および方法
US20170366737A1 (en) * 2016-06-15 2017-12-21 Stmicroelectronics, Inc. Glass detection with time of flight sensor
JP2019029938A (ja) * 2017-08-02 2019-02-21 日本放送協会 誤差計算器およびそのプログラム
JP2019032305A (ja) * 2017-07-11 2019-02-28 フォンダッツィオーネ ブルーノ ケスラーＦｏｎｄａｚｉｏｎｅ Ｂｒｕｎｏ Ｋｅｓｓｌｅｒ 距離を計測するための光電センサ及び方法
JP2019053073A (ja) * 2018-10-31 2019-04-04 株式会社リコー 校正方法、校正装置及びプログラム
WO2020071465A1 (ja) * 2018-10-05 2020-04-09 日本電産株式会社 距離測定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328169A (ja) * 2001-05-01 2002-11-15 Nikon Corp 測距装置および方法
US20170366737A1 (en) * 2016-06-15 2017-12-21 Stmicroelectronics, Inc. Glass detection with time of flight sensor
JP2019032305A (ja) * 2017-07-11 2019-02-28 フォンダッツィオーネ ブルーノ ケスラーＦｏｎｄａｚｉｏｎｅ Ｂｒｕｎｏ Ｋｅｓｓｌｅｒ 距離を計測するための光電センサ及び方法
JP2019029938A (ja) * 2017-08-02 2019-02-21 日本放送協会 誤差計算器およびそのプログラム
WO2020071465A1 (ja) * 2018-10-05 2020-04-09 日本電産株式会社 距離測定装置
JP2019053073A (ja) * 2018-10-31 2019-04-04 株式会社リコー 校正方法、校正装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7360757B1 (ja) 2023-05-26 2023-10-13 ｂｅｓｔａｔ株式会社 学習装置、サーバ装置、及びプログラム

Also Published As

Publication number Publication date
JPWO2023281802A1 (ja) 2023-01-12

Similar Documents

Publication Publication Date Title
US11461912B2 (en) Gaussian mixture models for temporal depth fusion
Zhang et al. Eye in the sky: Drone-based object tracking and 3d localization
US12008778B2 (en) Information processing apparatus, control method for same, non-transitory computer-readable storage medium, and vehicle driving support system
US20190197770A1 (en) 3d model reconstruction method, electronic device, and non-transitory computer readable storage medium thereof
US10839539B2 (en) System and method for active stereo depth sensing
Boniardi et al. Robot localization in floor plans using a room layout edge extraction network
Liu et al. Detection and pose estimation for short-range vision-based underwater docking
Muñoz-Bañón et al. Targetless camera-LiDAR calibration in unstructured environments
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
WO2023281802A1 (ja) 信号処理装置および信号処理方法
Singh Surround-view vision-based 3d detection for autonomous driving: A survey
Liu et al. Semalign: Annotation-free camera-lidar calibration with semantic alignment loss
El Bouazzaoui et al. Enhancing RGB-D SLAM performances considering sensor specifications for indoor localization
Bultmann et al. Real-time multi-modal semantic fusion on unmanned aerial vehicles with label propagation for cross-domain adaptation
Savinykh et al. Darkslam: Gan-assisted visual slam for reliable operation in low-light conditions
US20230273357A1 (en) Device and method for image processing
Nguyen et al. CalibBD: Extrinsic calibration of the LiDAR and camera using a bidirectional neural network
Tao et al. 3d lidar reconstruction with probabilistic depth completion for robotic navigation
Lu et al. Extending single beam lidar to full resolution by fusing with single image depth estimation
Gonzalez et al. S 3 LAM: Structured Scene SLAM
US20230177712A1 (en) Simultaneous localization and mapping using cameras capturing multiple spectra of light
Vaida et al. Automatic extrinsic calibration of LIDAR and monocular camera images
Hashimoto et al. Uncalibrated photometric stereo constrained by intrinsic reflectance image and shape from silhoutte
Patil et al. Improving depth estimation using map-based depth priors
Stückler et al. Combining the strengths of sparse interest point and dense image registration for rgb-d odometry

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22837224

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023533063

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE