WO2022181096A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2022181096A1
WO2022181096A1 PCT/JP2022/000817 JP2022000817W WO2022181096A1 WO 2022181096 A1 WO2022181096 A1 WO 2022181096A1 JP 2022000817 W JP2022000817 W JP 2022000817W WO 2022181096 A1 WO2022181096 A1 WO 2022181096A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
unit
quantized
wrap
coefficient data
Prior art date
Application number
PCT/JP2022/000817
Other languages
English (en)
French (fr)
Inventor
卓也 北村
武文 名雲
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to EP22759139.3A priority Critical patent/EP4300038A1/en
Priority to CN202280015703.4A priority patent/CN116917691A/zh
Priority to JP2023502152A priority patent/JPWO2022181096A1/ja
Publication of WO2022181096A1 publication Critical patent/WO2022181096A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation

Definitions

  • the present disclosure relates to an information processing device and method, and more particularly to an information processing device and method that can suppress reduction in coding efficiency.
  • Non-Patent Document 1 a technique of measuring the distance to a target object by detecting a phase difference between a sine wave emitted from a light source and a reflected wave has been devised (see, for example, Non-Patent Document 1).
  • the present disclosure has been made in view of such circumstances, and is intended to suppress the reduction in coding efficiency.
  • An information processing apparatus includes a first quantization unit that quantizes a depth value that wraps around a predetermined value range using a predetermined quantization step, and quantization by the first quantization unit.
  • a difference value derivation unit for deriving a difference value between the depth value obtained by quantizing the depth value and a predicted value of the depth value; and a second quantization unit for quantizing the folded value of the depth value using the quantization step and a correction unit that appropriately corrects the difference value derived by the difference value derivation unit using the folded value quantized by the second quantization unit; and an encoding unit that encodes a difference value.
  • An information processing method uses a predetermined quantization step to quantize a depth value that wraps around in a predetermined value range, and a difference between the quantized depth value and a predicted value of the depth value. deriving a value; using the quantization step to quantize the folding value of the depth value; using the quantized folding value to appropriately correct the derived difference value; An information processing method for encoding a difference value.
  • An information processing apparatus includes a decoding unit that derives a difference value between coefficient data related to a depth value that wraps around in a predetermined value range and a predicted value of the coefficient data by decoding encoded data.
  • a coefficient data deriving unit for deriving the coefficient data by adding the predicted value to the difference value derived by the decoding unit; and quantizing the folded value of the depth value using a predetermined quantization step.
  • a quantization unit that corrects the coefficient data derived by the coefficient data derivation unit using the folding value quantized by the quantization unit; and the quantization step, and an inverse quantization unit that derives the depth value by inversely quantizing the coefficient data appropriately corrected by the correction unit.
  • An information processing method derives a difference value between coefficient data relating to a depth value that wraps around in a predetermined value range and a predicted value of the coefficient data by decoding encoded data, and Deriving the coefficient data by adding the predicted value to the difference value, quantizing the folding value of the depth value using a predetermined quantization step, and using the quantized folding value,
  • the depth value is derived by appropriately correcting the derived coefficient data and inversely quantizing the appropriately corrected coefficient data using the quantization step.
  • a depth value that wraps around in a predetermined range is quantized using a predetermined quantization step, and the quantized depth value and prediction of the depth value are , the quantization step is used to quantize the wrap value of the depth value, the quantized wrap value is used to correct the derived difference value accordingly, and the The appropriately corrected difference value is encoded.
  • the encoded data is decoded to derive the difference value between the coefficient data related to the depth value that wraps around in a predetermined value range and the predicted value of the coefficient data. Then, coefficient data is derived by adding a predicted value to the derived difference value, and using a predetermined quantization step, the wrap-around value of the depth value is quantized, and the quantized wrap-around value is is used to appropriately correct the derived coefficient data, and the quantization step is used to inverse quantize the appropriately corrected coefficient data to derive the depth value.
  • FIG. 10 is a diagram for explaining an example of how distance measurement is performed by the indirect ToF method;
  • FIG. 10 is a diagram for explaining an example of how distance measurement is performed by the indirect ToF method;
  • FIG. 10 is a diagram for explaining an example of how distance measurement is performed by the indirect ToF method;
  • FIG. 10 is a diagram for explaining an example of how distance measurement is performed by the indirect ToF method;
  • FIG. 10 is a diagram illustrating an example of how indirect ToF distance measurement is performed using a plurality of modulation frequencies;
  • FIG. 10 is a diagram illustrating an example of how indirect ToF distance measurement is performed using a plurality of modulation frequencies; It is a figure explaining the example of a measured value. It is a figure explaining the example of a measured value.
  • FIG. 10 is a diagram illustrating an example of how decoded data is corrected; 10 is a flowchart showing an example of the flow of decoding processing; 1 is a block diagram showing a main configuration example of an encoding device; FIG. 4 is a flowchart showing an example of the flow of encoding processing; It is a block diagram which shows the main structural examples of a decoding apparatus.
  • FIG. 10 is a flowchart showing an example of the flow of decoding processing; It is a block diagram which shows the main structural examples of a range finder.
  • 6 is a flowchart showing an example of the flow of distance measurement processing;
  • FIG. 10 is a diagram illustrating an example of how indirect ToF distance measurement is performed using a plurality of modulation frequencies;
  • It is a block diagram which shows the main structural examples of a range finder.
  • FIG. 11 is a diagram illustrating an example of how a return value is supplied;
  • FIG. 11 is a diagram illustrating an example of how a return value is supplied;
  • 6 is a flowchart showing an example of the flow of distance measurement processing; It is a figure explaining P2 prediction.
  • It is a block diagram which shows the main structural examples of a computer.
  • ToF Time-of-Flight
  • dToF direct Time of Flight
  • iToF indirect Time of Flight
  • the photocharge generated by the photodiode is modulated by the lock-in pixel using a time window (clock) synchronized with the light source.
  • clock a time window
  • Modulation schemes used in the indirect ToF scheme include, for example, continuous wave modulation and pulse wave modulation.
  • An example of continuous wave modulation is shown in FIG. In the graph shown in FIG. 2, a sine wave 11 indicates emitted light (Emitted) and a sine wave 12 indicates reflected light (Reccived).
  • a sine wave 11 indicates emitted light (Emitted)
  • a sine wave 12 indicates reflected light (Reccived).
  • four time windows are used for lock-in detection to derive the phase difference between the emitted light and the reflected light.
  • Lock-in detection refers to the operation of accumulating signals of the same phase multiple times by means of a short electronic shutter synchronized with the light source.
  • phase difference ⁇ TOF is expressed by the following equation (1) using signals A 0 , A 1 , A 2 and A 3 accumulated in four time windows TW1, TW2, TW3 and TW4. is derived as follows.
  • the modulation frequency f m Since the modulation frequency f m is known, it can be converted from phase ( ⁇ TOF ) to time (t TOF ) using equation (2) below.
  • the received light contains a DC component other than the light source, that is, the background light component
  • the background light component is canceled by the calculation of the above equation (1). Therefore, in the range where the sensor is not saturated, the distance can be estimated without being affected by background light.
  • FIG. 3 shows an example of pulse wave modulation.
  • the time of flight t TOF is derived as shown in Equation (3) below.
  • TD is the emission window, and excess background light is emitted.
  • the number of time windows TW is the emission window, and excess background light is emitted.
  • FIG. 4 is a block diagram showing a main configuration example of a depth value derivation device that derives a depth value using the indirect ToF method as described above.
  • the depth value derivation device 30 shown in FIG. 4 has a sensor 31 , an i signal generator 32 , a q signal generator 33 , a phase difference detector 34 and a depth calculator 35 .
  • the sensor 31 receives the light and measures the intensity of the received light by combining a 1/4 period shutter of the modulated wave. Then, the sensor 31 supplies the data (N 1 , N 2 , N 3 , N 4 ) of these four sections to the i signal generator 32 and the q signal generator 33 .
  • the i signal generator 32 generates an i ( In - Phase ) signal by subtracting the data N1 from the data N3.
  • the i signal generator 32 supplies the i signal to the phase difference detector 34 .
  • the q signal generator 33 generates a q (Quadrature) signal by subtracting data N4 from data N2.
  • the q signal generator 33 supplies the q signal to the phase difference detector 34 .
  • the phase difference detection unit 34 uses the supplied i and q signals to derive the phase difference ⁇ as shown in Equation (4) below.
  • the phase difference detection unit 34 supplies the derived phase difference ⁇ to the depth calculation unit 35 .
  • the depth calculation unit 35 derives a depth value (depth) d from the phase difference ⁇ as shown in the following equation (5).
  • the depth value d can be derived from the sensor output as described above.
  • the higher the modulation frequency of the irradiated light the more accurate distance measurement becomes possible.
  • the wavelength will be shorter. Therefore, the measurable range becomes narrower.
  • a range X can be measured from a point at a distance X1 from the sensor to a point at a distance X2 from the sensor.
  • the modulation frequency is lowered, the accuracy of distance measurement is reduced, but the length of this range X is increased (the difference between the distance X1 and the distance X2 is increased).
  • Such a method (Dual Frequency iToF) prepares a device (light source and sensor) for each modulation frequency, as shown in Fig. 5, for example, and uses each device to measure the distance using the irradiation light of each modulation frequency. It can be realized by performing
  • Any method can be used to encode such data, but it is preferable to have higher encoding efficiency and less delay.
  • a method of deriving a difference value between samples like DPCM (Differential Pulse Code Modulation) and encoding the difference value can be considered.
  • coding of depth values is considered.
  • the depth value (measurement value) obtained by distance measurement using the illumination light with the lowest modulation frequency and the actual distance from the sensor to the object to be measured (Actual distance) is shown in A in FIG. That is, there is a one-to-one correspondence between the measured value and the actual distance.
  • the relationship between the measured value and the actual distance obtained by distance measurement using irradiation light with a higher modulation frequency is as shown in FIG. 7B. That is, the measured value wraps around the actual distance in a predetermined value range. This is because the measurable range is narrower than the actual range.
  • the distance from the sensor 41 to the object 42 is measured by combining iToF with a low modulation frequency and iToF with a high modulation frequency.
  • the sensor 41 has a plurality of pixels like a so-called image sensor, and each pixel receives reflected light or the like. That is, a depth value for each pixel of the sensor 41 is obtained as a distance measurement result.
  • a double-headed arrow 43 indicates a range in which the sensor 41 can measure the distance. In other words, it is assumed that a double-headed arrow 43 indicates a range that can be measured by iToF with a low-frequency modulation frequency.
  • the object 42 is a rectangle whose longitudinal direction is the depth direction when viewed from the sensor 41, as shown in FIG. 8A. In other words, the object 42 exists from near to the sensor 41 to far away. Therefore, the actual distance from the sensor 41 to the surface of the object 42 smoothly changes along the longitudinal direction of the object 42 from near to far from the sensor 41 .
  • the depth image 44 shown in FIG. 8B shows the iToF distance measurement result (that is, the depth value of each pixel) of the low-frequency modulation frequency.
  • the depth image 44 indicates depth values with colors, whiter indicates farther (larger depth value), and blacker indicates closer (smaller depth value).
  • the depth values of the pixels corresponding to the surface of the object 42 whose actual distance changes gradually along the longitudinal direction of the object 42, like the actual distance. change smoothly. Therefore, by taking the difference with the neighboring pixels like DPCM at the time of encoding and encoding the difference value, it is possible to improve the encoding efficiency by using the correlation of the depth value between pixels. .
  • the depth image 45 shown in FIG. 8C shows the iToF distance measurement result (that is, the depth value of each pixel) with a high modulation frequency.
  • the depth image 45 indicates depth values with colors.
  • the measurements wrap around in a given range. Therefore, in the depth image 45, even in the portion where the actual distance changes gently, the value changes greatly in the portion where the depth value wraps around. For example, even if the pixels above and below the dotted line 45A have substantially the same actual distance, the depth values differ greatly due to folding.
  • Patent Document 1 and Patent Document 2 disclose a method of suppressing the reduction of the encoding efficiency by wrapping around the difference value and the encoded data to keep them within a predetermined value range.
  • the differential value is appropriately corrected and then encoded.
  • a depth value that wraps around a predetermined range is quantized using a predetermined quantization step, and a difference value between the quantized depth value and a predicted value of the depth value is derived.
  • quantizing the folding value of the depth value using the quantization step described above using the quantized folding value to appropriately correct the derived difference value, and encoding the appropriately corrected difference value.
  • a first quantization unit that quantizes a depth value that wraps around a predetermined value range using a predetermined quantization step, and a depth value quantized by the first quantization unit.
  • a difference value deriving unit for deriving a difference value between the value and the predicted value of the depth value;
  • a correction unit that appropriately corrects the difference value derived by the difference value derivation unit using the wrap-around value quantized by the quantization unit, and an encoding unit that encodes the difference value appropriately corrected by the correction unit and
  • the difference value can be reduced by quantizing the depth value.
  • the wrap-around value is also quantized using the same quantization step as the depth value. By doing so, it is possible to maintain the correspondence relationship between the depth value and the turn-around value, and it is possible to correct the difference value. Therefore, an increase in the difference value can be further suppressed, and a decrease in coding efficiency can be further suppressed.
  • a difference value between coefficient data relating to a depth value that wraps around in a predetermined value range and a predicted value of the coefficient data is derived, and the derived difference value is Deriving the coefficient data by adding the predicted values, quantizing the wrap value of the depth value using a predetermined quantization step, and using the quantized wrap value to appropriately correct the derived coefficient data. Then, the depth value is derived by inversely quantizing the corrected coefficient data using the quantization step described above.
  • a decoding unit that derives a difference value between coefficient data related to a depth value that wraps around in a predetermined value range and a predicted value of the coefficient data by decoding encoded data, and the decoding unit: a coefficient data derivation unit that derives coefficient data by adding a predicted value to the derived difference value; a quantization unit that quantizes the folded value of the depth value using a predetermined quantization step; and a quantization unit A correcting unit that appropriately corrects the coefficient data derived by the coefficient data deriving unit using the wrap-around value quantized by and an inverse quantization unit for deriving a depth value by converting the depth value.
  • the encoded data can be appropriately decoded to obtain the depth value. . That is, it is possible to suppress an increase in the difference value due to the depth value folding back, and suppress a decrease in the coding efficiency.
  • the folded value of the depth value is quantized using a quantization step similar to the quantization step used for the inverse quantization of the coefficient data. By doing so, it is possible to maintain the correspondence relationship between the coefficient data and the value to be folded back, and it is possible to correct the coefficient data. Therefore, it is possible to suppress the increase in the difference value, and further suppress the decrease in the coding efficiency.
  • FIG. 9 is a block diagram showing an example of a configuration of an encoding device, which is one aspect of an information processing device to which the present technology is applied.
  • the encoding device 100 shown in FIG. 9 is a device that encodes depth data (depth image, depth value) obtained by iToF.
  • FIG. 9 shows main components such as processing units and data flow, and the components shown in FIG. 9 are not necessarily all of them. In other words, in this encoding apparatus 100, there may be processing units not shown as blocks in FIG. 9, or there may be processes or data flows not shown as arrows or the like in FIG.
  • encoding device 100 includes quantization section 111, quantization section 112, DPCM processing section 113, operation section 114, operation section 115, selection control section 116, selection section 117, and encoding section 118.
  • Calculation unit 114 , calculation unit 115 , selection control unit 116 , and selection unit 117 constitute correction unit 121 .
  • the quantization unit 111 acquires the value to which the depth value that wraps around wraps.
  • This wrap-around value is the upper limit value of the depth value (measurement value) to be wrapped around, as shown in FIG. 10, for example.
  • the depth value (measurement value) that wraps around takes a value smaller than this wraparound value.
  • "1500" is the wrap-around value.
  • This wrap-around value is supplied from outside the encoding device 100 .
  • this wrap-around value may be supplied from a system controller or the like.
  • the quantization unit 111 quantizes the obtained value to wrap using the quantization step.
  • This quantization step is set for each arbitrary data unit. For example, this quantization step may be set for each block (multiple pixels of the depth image).
  • the quantization section 111 shares this quantization step with the quantization section 112 . That is, the quantization section 111 quantizes the value to be folded using the same quantization step as that of the quantization section 112 . This makes it possible to maintain the correspondence relationship between the return value and the depth value. For example, the quantization unit 111 quantizes the wrapping value by dividing the wrapping value by the quantization step.
  • the quantization unit 111 When the quantization unit 111 derives a quantized wraparound value (for example, (foldback value ⁇ quantization step)), the quantization unit 111 sends the quantized wraparound value to the correction unit 121 (the calculation unit 114 and the calculation unit 115 thereof). supply.
  • a quantized wraparound value for example, (foldback value ⁇ quantization step)
  • the quantization unit 112 acquires the depth value as input data.
  • This depth value is information indicating the distance from the sensor used for distance measurement to the subject including the target object for distance measurement.
  • This distance measurement method is arbitrary.
  • this depth value may be derived by indirect ToF (Time-of-Flight) ranging.
  • an IR laser beam is emitted from the optical output unit, the reflected light of the emitted light is detected by a sensor, and the depth value is obtained from the phase difference between the emitted light and the reflected light.
  • a sensor may have multiple pixels and a depth value may be derived for each pixel of the sensor. That is, the quantization unit 112 can acquire a depth image configured by depth values of each pixel.
  • This depth value wraps around in a predetermined range.
  • this depth value may be derived by indirect ToF ranging using light with a high modulation frequency.
  • this depth value may be derived by irradiating light with a modulation frequency in which the measurable range is narrower than the range of possible values for the distance to the subject, and detecting the reflected light.
  • the quantization unit 112 quantizes the depth values obtained as described above using quantization steps. This quantization step is set for each arbitrary data unit. For example, this quantization step may be set for each block (multiple pixels of the depth image). Also, the quantization section 112 shares this quantization step with the quantization section 111 . That is, the quantization section 112 quantizes the depth value using the same quantization step as the quantization section 111 . This makes it possible to maintain the correspondence relationship between the return value and the depth value. For example, the quantization unit 112 quantizes the depth value by dividing the depth value by the quantization step.
  • the quantization unit 112 After deriving a quantized depth value (for example, (depth value ⁇ quantization step)), the quantization unit 112 supplies the quantized depth value to the DPCM processing unit 113 .
  • the DPCM processing unit 113 performs DPCM processing on the depth values quantized by the quantization unit 112, and derives the difference value between the depth value and the predicted value of the depth value. That is, the DPCM processing unit 113 sets the depth value of the previous processing target pixel, which is the pixel processed immediately before, to the prediction value of the current processing target pixel, which is the current processing target pixel, and sets the depth value of the current processing target pixel to and the depth value of the previous pixel to be processed. As described above, the DPCM processing unit 113 derives the difference value, thereby suppressing reduction in coding efficiency. The DPCM processing unit 113 supplies the difference value derived by the DPCM processing to the correction unit 121 (the calculation unit 114, the calculation unit 115, the selection control unit 116, and the selection unit 117 thereof).
  • the correction unit 121 appropriately corrects the difference value derived by the DPCM processing unit 113 using the wrap-around value quantized by the quantization unit 111 .
  • the calculation unit 114 acquires the difference value supplied from the DPCM processing unit 113. Also, the calculation unit 114 acquires the quantized wrap-around value supplied from the quantization unit 111 . The calculation unit 114 corrects the difference value by adding the quantized folding value to the difference value. The calculation unit 114 supplies the correction result (addition result of the difference value and the quantized folding value) to the selection control unit 116 and the selection unit 117 .
  • the calculation unit 115 acquires the difference value supplied from the DPCM processing unit 113. Also, the calculation unit 115 acquires the quantized wrap-around value supplied from the quantization unit 111 . Arithmetic unit 115 corrects the difference value by subtracting the quantized wrap-around value from the difference value. The calculation unit 115 supplies the correction result (subtraction result of the difference value and the quantized return value) to the selection control unit 116 and the selection unit 117 .
  • the selection control unit 116 acquires the difference value supplied from the DPCM processing unit 113.
  • the selection control unit 116 also acquires the result of correcting the difference value supplied from the calculation unit 114 (that is, the addition result of the difference value and the quantized return value). Further, the selection control unit 116 acquires the correction result of the difference value supplied from the calculation unit 115 (that is, the subtraction result of the difference value and the quantized wrap-around value).
  • Selection control section 116 controls the operation of selection section 117 based on these values.
  • the selection unit 117 acquires the difference value supplied from the DPCM processing unit 113. Further, the selection unit 117 acquires the correction result of the difference value supplied from the calculation unit 114 (that is, the addition result of the difference value and the quantized return value). Further, the selection unit 117 acquires the correction result of the difference value supplied from the calculation unit 115 (that is, the subtraction result of the difference value and the quantized wrap-around value). The selection unit 117 selects the difference value, the addition result, and the subtraction result that have the smallest absolute value under the control of the selection control unit 116 . The selection unit 117 supplies the selected value (one of the difference value, addition result, and subtraction result) to the encoding unit 118 .
  • the encoding unit 118 acquires and encodes the information supplied from (the selection unit 117 of) the correction unit 121 .
  • This information is a difference value appropriately corrected by the correction unit 121 . That is, this information is any one of the difference value, the addition result, and the subtraction result selected by the selection unit 117 .
  • This encoding method is arbitrary. For example, it may be variable length coding (VLC (Variable Length Code)) or fixed length coding (FLC (Fixed Length Coding)).
  • Encoding section 118 outputs encoded data derived by encoding the properly corrected difference value (difference value, addition result, or subtraction result) to the outside of encoding apparatus 100 .
  • the quantization step is "10".
  • the quantization unit 111 quantizes the wrap-around value by dividing the wrap-around value of the depth value by this quantization step. That is, in this example, the quantized wrap value is "150” as shown in FIG.
  • the quantization unit 112 quantizes the input data by dividing the input data (depth value) by the quantization step "10". Therefore, the input data quantized by the quantization section 112 are "149", "0", "1", and "2" as shown on the left side of FIG.
  • the DPCM processing unit 113 calculates the difference [1] between the depth value and the predicted value using the depth value of the pixel on the left as the predicted value. Since the DPCM processing unit 113 uses the above-described quantized input data as depth values, [1] becomes "-149", "1", and "1" as shown on the left side of FIG. . In other words, the difference value increases in the pixel where folding occurs.
  • the calculation unit 114 adds the quantized return value "150” to [1] to derive the correction result (addition result) [2].
  • [2] becomes “1", “151”, and "151”.
  • the calculation unit 115 subtracts the quantized return value “150” from [1] to derive a correction result (subtraction result) [3].
  • [3] is "-259", "-149", and "-149".
  • the selection unit 117 selects the pixel with the smallest absolute value from among [1][2][3] for each pixel. In the example on the left side of FIG. 11, "1", "1", "1" are selected.
  • This depth value is a depth value obtained by high-frequency iToF, and is assumed to wrap around as a value that wraps around "1500". Assume that this depth value is a positive integer. That is, assume that the value range of this depth value is from “0" to "1499”. Then, it is assumed that the depth value is folded back at the rightmost pixel of the above four pixels. In other words, it is assumed that the actual distances to the object corresponding to these four pixels are "1520", “1510", “1500”, and "1490".
  • the quantization step is "10".
  • the quantized wrap value will be "150” as shown in FIG.
  • the quantized input data becomes "2", “1", "0", and "149" as shown on the right side of FIG.
  • [1] becomes “-1", "-1", and "-149".
  • the difference value increases in the pixel where folding occurs.
  • the calculation unit 114 adds the quantized return value "150” to [1] to derive the correction result (addition result) [2].
  • [2] becomes “149", “149", and "299”.
  • the calculation unit 115 subtracts the quantized return value “150” from [1] to derive a correction result (subtraction result) [3].
  • [3] becomes "-151", "-151", and "-1".
  • the selection unit 117 selects the pixel with the smallest absolute value from among [1][2][3] for each pixel. In the case of the example on the right side of FIG. 11, "-1", "-1", and "-1" are selected.
  • the depth value wraps back and the depth value are quantized, it is possible to further suppress an increase in the difference value and further suppress a decrease in the coding efficiency.
  • the quantization unit 111 of the encoding device 100 quantizes the value to wrap by dividing the value to wrap by a predetermined quantization step in step S101.
  • step S102 the quantization unit 112 divides the input data (the depth value that wraps around in a predetermined value range) by the same quantization step that the quantization unit 111 used for quantization, so that the input Quantize the data.
  • step S ⁇ b>103 the DPCM processing unit 113 performs DPCM processing on the quantized input data derived in step S ⁇ b>102 to determine the depth value of the current pixel to be processed and the depth value of the previous pixel to be processed.
  • a difference value (difference data) from the value is derived.
  • step S104 the calculation unit 114 adds the quantized wrap value derived in step S101 to the difference data derived in step S103.
  • step S105 the calculation unit 115 subtracts the quantized wrap value derived in step S101 from the difference data derived in step S103.
  • step S106 the selection unit 117 selects the absolute value of the difference data derived in step S103, the addition result derived in step S104, and the subtraction result derived in step S105 under the control of the selection control unit 116. choose the one with the smallest
  • step S107 the encoding unit 118 encodes the appropriately corrected difference data (difference value, addition result, or subtraction result selected in step S106) to derive encoded data.
  • step S107 When the process of step S107 ends, the encoding process ends.
  • the encoding device 100 performs such encoding processing on each pixel (each depth value) of the depth image.
  • the depth value wraps back and the depth value are quantized, it is possible to further suppress an increase in the difference value and further suppress a decrease in the coding efficiency.
  • FIG. 13 is a block diagram showing an example of a configuration of a decoding device, which is one aspect of an information processing device to which the present technology is applied.
  • a decoding device 200 shown in FIG. 13 is a device that decodes encoded data of depth data (depth image, depth value) obtained by iToF.
  • the decoding device 200 acquires and decodes the encoded data generated by the encoding device 100, and outputs a depth value as output data.
  • FIG. 13 shows the main components such as the processing units and data flow, and the components shown in FIG. 13 are not necessarily all. That is, in this decoding device 200, there may be processing units not shown as blocks in FIG. 13, or there may be processes or data flows not shown as arrows or the like in FIG.
  • decoding apparatus 200 includes quantization section 211, decoding section 1212, inverse DPCM processing section 213, calculation section 214, calculation section 215, selection control section 216, selection section 217, and inverse quantization section. 218.
  • Computation section 214 , computation section 215 , selection control section 216 , and selection section 217 constitute correction section 221 .
  • the quantization unit 211 acquires the value to which the depth value that wraps around wraps.
  • This wrap-around value is the same as in the encoding device 100 (example in FIG. 10).
  • This wrap-around value is supplied from outside the decoding device 200 .
  • this wrap-around value may be supplied from a system controller or the like.
  • this wrap-around value may be supplied from the encoding device 100 that generated the encoded data.
  • the quantization unit 211 quantizes the acquired value to wrap using the quantization step.
  • This quantization step is set for each arbitrary data unit. For example, this quantization step may be set for each block (multiple pixels of the depth image).
  • the quantization section 211 shares this quantization step with the inverse quantization section 218 . That is, the quantization section 211 quantizes the value to be folded using the same quantization step as the inverse quantization section 218 . This makes it possible to maintain the correspondence relationship between the return value and the depth value. For example, the quantization unit 211 quantizes the wrapping value by dividing the wrapping value by the quantization step.
  • the quantization unit 211 When the quantization unit 211 derives a quantized wraparound value (for example, (foldback value ⁇ quantization step)), the quantization unit 211 applies the quantized wraparound value to the correction unit 221 (the calculation unit 214, the calculation unit 215, and the calculation unit 214 of the correction unit 221). It is supplied to the selection control unit 216).
  • a quantized wraparound value for example, (foldback value ⁇ quantization step)
  • the decoding unit 212 acquires encoded data. This encoded data is generated by the encoding device 100 by applying the present technology described in the first embodiment. The decoding unit 212 decodes the obtained encoded data to generate difference data. Decoding section 212 decodes the encoded data by a decoding method corresponding to the encoding method used by encoding section 118 . This difference data is a difference value between the coefficient data relating to the depth value that wraps around in a predetermined value range and the predicted value of the coefficient data. For example, it may be variable length coding (VLC (Variable Length Code)) or fixed length coding (FLC (Fixed Length Coding)). The decoding unit 212 supplies the derived difference data to the inverse DPCM processing unit 213 .
  • VLC Variariable Length Code
  • FLC Fixed Length Coding
  • the inverse DPCM processing unit 213 acquires the difference data of the current processing target pixel, which is the current processing target pixel, supplied from the decoding unit 212 .
  • This difference data is a difference value between the coefficient data of the current pixel to be processed and the coefficient data of the previous pixel to be processed, which is the previous pixel to be processed.
  • the inverse DPCM processing unit 213 also acquires the coefficient data of the old processing target pixel from the selection unit 217 .
  • the inverse DPCM processing unit 213 performs inverse DPCM processing, which is the inverse processing of the DPCM processing, using the coefficient data of the previous processing target pixel as the prediction value of the current processing target pixel.
  • the inverse DPCM process is a process of adding the predicted value of the current pixel to be processed to the difference data of the current pixel to be processed. That is, the inverse DPCM processing unit 213 derives the coefficient data of the current processing target pixel by adding the coefficient data of the old processing target pixel to the difference data of the current processing target pixel. In this way, the inverse DPCM processing unit 213 derives the coefficient data from the difference data, so that the encoded data in which the difference value is encoded can be correctly decoded. That is, encoding of the difference value can be realized. Therefore, reduction in coding efficiency can be suppressed.
  • the inverse DPCM processing unit 213 supplies the coefficient data of the current pixel to be processed derived by the inverse DPCM processing to the correction unit 221 (the computation unit 214, the computation unit 215, the selection control unit 216, and the selection unit 217 thereof).
  • the correction unit 221 appropriately corrects the coefficient data derived by the inverse DPCM processing unit 1213 using the wraparound value quantized by the quantization unit 211 .
  • the calculation unit 214 acquires coefficient data supplied from the inverse DPCM processing unit 213 . Also, the calculation unit 214 acquires the quantized wrap-around value supplied from the quantization unit 211 . The calculation unit 214 corrects the coefficient data by adding the quantized folding value to the coefficient data. The calculation unit 214 supplies the correction result (addition result of the coefficient data and the quantized folding value) to the selection unit 217 .
  • the calculation unit 215 acquires coefficient data supplied from the inverse DPCM processing unit 213 . Also, the calculation unit 215 acquires the quantized wrap-around value supplied from the quantization unit 211 . The calculation unit 215 corrects the coefficient data by subtracting the quantized wrap value from the coefficient data. The calculation unit 215 supplies the correction result (subtraction result of the coefficient data and the quantized folding value) to the selection unit 217 .
  • the selection control unit 216 acquires the quantized wrap value supplied from the quantization unit 211 .
  • the selection control unit 216 also acquires coefficient data supplied from the inverse DPCM processing unit 213 .
  • the selection control section 216 controls the operation of the selection section 217 based on those values.
  • the selection unit 217 acquires coefficient data supplied from the inverse DPCM processing unit 213 . Also, the selection unit 217 acquires the correction result of the coefficient data supplied from the calculation unit 214 (that is, the addition result of the coefficient data and the quantized folding value). Furthermore, the selection unit 217 acquires the correction result of the coefficient data supplied from the calculation unit 215 (that is, the subtraction result of the coefficient data and the quantized wrap-around value). The selection unit 217 selects, under the control of the selection control unit 216, those whose values are within the value range of the depth value among the acquired coefficient data, addition result, and subtraction result. The selection unit 217 supplies the selected value (one of the coefficient data, addition result, and subtraction result) to the inverse quantization unit 218 as appropriately corrected coefficient data.
  • the inverse quantization unit 218 acquires appropriately corrected coefficient data supplied from the selection unit 217 .
  • This coefficient data is a quantized depth value.
  • the inverse quantization unit 218 inversely quantizes the appropriately corrected coefficient data using a quantization step. For example, the inverse quantization unit 218 inversely quantizes the coefficient data, addition result, and subtraction result selected by the selection unit 217 .
  • This appropriately corrected coefficient data is a quantized depth value. That is, the inverse quantization unit 218 derives the depth value by inversely quantizing the appropriately corrected coefficient data.
  • This quantization step is set for each arbitrary data unit. For example, this quantization step may be set for each block (multiple pixels of the depth image). Also, the inverse quantization section 218 shares this quantization step with the quantization section 211 . That is, the inverse quantization section 218 inversely quantizes the coefficient data using the same quantization step as the quantization section 211 . This makes it possible to maintain the correspondence relationship between the return value and the depth value. For example, the inverse quantization unit 218 derives the depth value by multiplying the appropriately corrected coefficient data by the quantization step.
  • This depth value is information that indicates the distance from the sensor used for range finding to the subject including the target object for range finding.
  • This distance measurement method is arbitrary.
  • this depth value may be derived by indirect ToF (Time-of-Flight) ranging.
  • an IR laser beam is emitted from the optical output unit, the reflected light of the emitted light is detected by a sensor, and the depth value is obtained from the phase difference between the emitted light and the reflected light.
  • a sensor may have multiple pixels and a depth value may be derived for each pixel of the sensor. That is, the inverse quantization unit 218 derives such a depth value by inversely quantizing the coefficient data.
  • This depth value wraps around in a predetermined range.
  • this depth value may be derived by indirect ToF ranging using light with a high modulation frequency.
  • the depth value derived by irradiating light with a modulation frequency that makes the measurable range narrower than the range of possible values for the distance to the subject and detecting the reflected light is obtained by this inverse quantization. may be restored (restored).
  • the inverse quantization unit 218 outputs the derived depth value to the outside of the decoding device 200 as output data.
  • the selection unit 217 selects corrected coefficient data within the value range.
  • the decoded data of the second pixel from the left is out of the area, so the selector 217 selects the corrected coefficient data.
  • the selection unit 217 selects a subtraction result obtained by subtracting the quantized folding value from the decoded data.
  • the selection unit 217 selects corrected coefficient data within the value range.
  • the decoded data of the fourth pixel from the left is out of the area, so the selector 217 selects the corrected coefficient data.
  • the selection unit 217 selects the addition result obtained by adding the quantized folding value to the decoded data.
  • the inverse quantization unit 218 inversely quantizes the appropriately corrected coefficient data.
  • Output data (depth values) of "20”, “10”, “0”, and “1490” are obtained by this inverse quantization.
  • the quantization unit 211 of the decoding device 200 quantizes the value to wrap by dividing the value to wrap by a predetermined quantization step in step S201.
  • step S202 the decoding unit 212 decodes the encoded data and derives difference data.
  • step S203 the inverse DPCM processing unit 213 executes inverse DPCM processing on the differential data derived in step S201 to derive coefficient data (decoded data).
  • step S204 the calculation unit 214 adds the quantized folding value derived in step S201 to the coefficient data (decoded data) derived in step S203.
  • step S205 the calculation unit 215 subtracts the quantized folding value derived in step S201 from the coefficient data (decoded data) derived in step S203.
  • step S206 the selection unit 217 selects the coefficient data (decoded data) derived in step S203, the addition result derived in step S204, and the subtraction result derived in step S205 under the control of the selection control unit 216. Select the one that is within the value range of the depth value.
  • step S207 the inverse quantization unit 218 selects in step S206 among the coefficient data (decoded data) derived in step S203, the addition result derived in step S204, and the subtraction result derived in step S205. Inverse quantize the result to derive the depth value.
  • step S207 When the process of step S207 ends, the decoding process ends.
  • the decoding device 200 executes such decoding processing for each pixel (each depth value) of the depth image.
  • the DPCM processing unit 113 supplies the difference value derived by the DPCM processing to the correction unit 121 (the selection control unit 116 and the selection unit 117 thereof).
  • the selection control unit 116 acquires the difference value supplied from the DPCM processing unit 113. Also, the selection control unit 116 acquires the quantized folding value supplied from the quantization unit 111 . Selection control section 116 controls the operation of selection section 117 based on these values.
  • the selection unit 117 acquires the difference value supplied from the DPCM processing unit 113.
  • the selection unit 117 selects a correction method for the difference value based on the acquired difference value under the control of the selection control unit 116 .
  • the selection unit 117 supplies the difference value to the processing unit according to the selection. For example, the selection unit 117 selects, as a method of correcting the difference value, whether to omit the correction of the difference value, add a quantized wrap-around value to the difference value, or subtract a quantized wrap-around value from the difference value. to select.
  • the selection unit 117 supplies the difference value to the encoding unit 118 .
  • the selection unit 117 supplies the difference value to the calculation unit 114 .
  • the selection unit 117 supplies the difference value to the calculation unit 115 .
  • the calculation unit 114 acquires the difference value supplied from the selection unit 117, and the difference value is supplied from the quantization unit 111. Add the quantized wrapping value. The calculation unit 114 supplies the correction result (addition result of the difference value and the quantized folding value) to the encoding unit 118 .
  • the calculation unit 115 acquires the difference value supplied from the selection unit 117, and from the difference value, the quantization unit 111 supplies, Subtract the quantized wrapping value.
  • the calculation unit 115 supplies the correction result (subtraction result of the difference value and the quantized folding value) to the encoding unit 118 .
  • the encoding unit 118 acquires the difference value supplied from the selection unit 117 and encodes the difference value. Further, when the selection unit 117 selects the addition of the quantized wrap-around value, the encoding unit 118 encodes the addition result of the difference value derived by the calculation unit 114 and the quantized wrap-around value. . Furthermore, when the selection unit 117 selects the subtraction of the quantized wrap-around value, the encoding unit 118 encodes the subtraction result between the difference value derived by the calculation unit 115 and the quantized wrap-around value. . Applicable encoding methods are the same as in FIG. In this way, the encoding unit 118 outputs the encoded data derived by encoding the properly corrected difference value (the difference value, the addition result, or the subtraction result) to the outside of the encoding device 100 .
  • the quantization unit 111 of the encoding device 100 quantizes the value to wrap by dividing the value to wrap by a predetermined quantization step in step S301.
  • step S302 the quantization unit 112 divides the input data (the depth value that wraps around in a predetermined value range) by the same quantization step that the quantization unit 111 used for quantization, so that the input Quantize the data.
  • step S ⁇ b>303 the DPCM processing unit 113 performs DPCM processing on the quantized input data derived in step S ⁇ b>102 .
  • a difference value (difference data) from the value is derived.
  • step S304 the selection unit 117 selects a correction method for the difference data based on the value of the difference data under the control of the selection control unit 116.
  • step S305 the selection control unit 116 determines whether or not to add the quantized return value to the difference data. If it is determined to add the quantized wrap-around value to the difference data, that is, if the selection unit 117 selects addition of the quantized wrap-around value, the process proceeds to step S306.
  • step S306 the calculation unit 114 adds the quantized wrap value derived in step S301 to the difference data derived in step S303. After the process of step S306 ends, the process proceeds to step S309.
  • step S305 if it is determined not to add the quantized return value to the difference data, the process proceeds to step S307.
  • step S307 the selection control unit 116 determines whether or not to subtract the quantized return value from the difference data. If it is determined to subtract the quantized wrap-around value from the difference data, that is, if the selection unit 117 selects subtraction of the quantized wrap-around value, the process proceeds to step S308.
  • step S308 the calculation unit 115 subtracts the quantized wrap value derived in step S301 from the difference data derived in step S303. After the process of step S308 is completed, the process proceeds to step S309.
  • step S307 If it is determined in step S307 not to subtract the quantized wraparound value from the difference data, that is, if it is determined to omit (skip) the correction of the difference data, the process proceeds to step S309.
  • step S309 the encoding unit 118 converts the difference data appropriately corrected as described above (the difference value derived in step S303, the addition result derived in step S306, or the subtraction result derived in step S308). to derive encoded data.
  • step S309 the encoding process ends.
  • the encoding device 100 performs such encoding processing on each pixel (each depth value) of the depth image.
  • the inverse DPCM processing unit 213 supplies the coefficient data derived by the inverse DPCM processing to (the selection control unit 216 and the selection unit 217 of) the correction unit 221 .
  • the selection control unit 216 acquires the coefficient data supplied from the inverse DPCM processing unit 213. Also, the selection control unit 216 acquires the quantized folding value supplied from the quantization unit 211 . The selection control section 216 controls the operation of the selection section 217 based on those values.
  • the selection unit 217 acquires coefficient data supplied from the inverse DPCM processing unit 213 .
  • the selection unit 217 selects a correction method for the coefficient data based on the value of the acquired coefficient data under the control of the selection control unit 216 . Then, the selection unit 217 supplies the coefficient data to the processing unit according to the selection. For example, the selection unit 217 selects, as a method of correcting the coefficient data, whether to omit correction of the coefficient data, add a quantized wrap value to the coefficient data, or subtract a quantized wrap value from the coefficient data. to select. Then, when omission of coefficient data correction is selected, the selection unit 217 supplies the coefficient data to the inverse quantization unit 218 . Also, when the addition of the quantized folding value is selected, the selection unit 217 supplies the coefficient data to the calculation unit 214 . Further, when the subtraction of the quantized folding value is selected, the selection unit 217 supplies coefficient data to the calculation unit 215 .
  • the calculation unit 214 acquires the coefficient data supplied from the selection unit 217, and the coefficient data supplied from the quantization unit 211, Add the quantized wrapping value.
  • the calculation unit 214 supplies the correction result (addition result of the coefficient data and the quantized folding value) to the inverse quantization unit 218 .
  • the calculation unit 215 acquires the coefficient data supplied from the selection unit 217, and uses the coefficient data supplied from the quantization unit 211. Subtract the quantized wrapping value. The calculation unit 215 supplies the correction result (subtraction result of the coefficient data and the quantized wrap-around value) to the inverse quantization unit 218 .
  • the inverse quantization unit 218 acquires the coefficient data supplied from the selection unit 217, and converts the coefficient data to inverse quantization using a quantization step.
  • the selection unit 217 selects the addition of the quantized wrap-around value
  • the inverse quantization unit 218 acquires the addition result of the coefficient data derived by the calculation unit 214 and the quantized wrap-around value.
  • the addition result is inversely quantized using a quantization step.
  • the selection unit 217 selects the subtraction of the quantized wrap-around value
  • the inverse quantization unit 218 acquires the subtraction result between the coefficient data derived by the calculation unit 215 and the quantized wrap-around value. , the subtraction result is inverse quantized using the quantization step.
  • the coefficient data appropriately corrected as described above is a quantized depth value. That is, the inverse quantization unit 218 derives the depth value by inversely quantizing the appropriately corrected coefficient data.
  • this quantization step is set for each arbitrary data unit, as in the case of FIG.
  • this quantization step may be set for each block (multiple pixels of the depth image).
  • the inverse quantization section 218 shares this quantization step with the quantization section 211, as in the case of FIG. That is, the inverse quantization section 218 inversely quantizes the coefficient data using the same quantization step as the quantization section 211 . This makes it possible to maintain the correspondence relationship between the return value and the depth value. For example, the inverse quantization unit 218 derives the depth value by multiplying the appropriately corrected coefficient data by the quantization step.
  • the inverse quantization unit 218 outputs the derived depth value to the outside of the decoding device 200 as output data.
  • the correction method based on the value of the coefficient data in this way, it is possible to suppress an increase in the difference value. Therefore, reduction in coding efficiency can be suppressed. Also in this case, the value to which the depth value wraps is quantized in the same quantization step as the inverse quantization of the coefficient data. can be suppressed.
  • the quantization unit 211 of the decoding device 200 quantizes the value to wrap by dividing the value to wrap by a predetermined quantization step in step S401.
  • step S402 the decoding unit 212 decodes the encoded data, which is the input data, and derives the difference data.
  • step S403 the inverse DPCM processing unit 213 performs inverse DPCM processing on the difference data derived in step S402 to derive coefficient data (decoded data) of the current pixel to be processed.
  • step S404 the selection unit 217 selects a correction method for the coefficient data (decoded data) based on the value of the coefficient data under the control of the selection control unit 216.
  • step S405 the selection control unit 216 determines whether or not to add the quantized wrap-around value to the coefficient data. If it is determined to add the quantized wrap value to the coefficient data, that is, if the selection unit 217 selects addition of the quantized wrap value, the process proceeds to step S406.
  • step S406 the calculation unit 214 adds the quantized folding value derived in step S401 to the coefficient data (decoded data) derived in step S403.
  • step S406 ends, the process proceeds to step S409.
  • step S405 if it is determined not to add the quantized wrap-around value to the coefficient data, the process proceeds to step S407.
  • step S407 the selection control unit 216 determines whether or not to subtract the quantized return value from the coefficient data. If it is determined to subtract the quantized wrap-around value from the coefficient data, that is, if the selection unit 217 selects subtraction of the quantized wrap-around value, the process proceeds to step S408.
  • step S408 the calculation unit 215 subtracts the quantized wrap value derived in step S401 from the difference data derived in step S403. After the process of step S408 is completed, the process proceeds to step S409.
  • step S407 If it is determined in step S407 not to subtract the quantized wraparound value from the coefficient data, that is, if it is determined to omit (skip) correction of the coefficient data, the process proceeds to step S409.
  • step S409 the inverse quantization unit 218 converts the appropriately corrected coefficient data (the coefficient data derived in step S403, the addition result derived in step S406, or the subtraction result derived in step S408 ) is inversely quantized using the same quantization step used for quantization in step S401 to derive the depth value.
  • the decoding device 200 performs such decoding process on each pixel (each depth value) of the depth image.
  • FIG. 20 is a block diagram showing a main configuration example of a distance measuring device.
  • a distance measuring device 500 shown in FIG. 20 performs distance measurement by combining iToF with a plurality of modulation frequencies.
  • the ranging device 500 performs iToF with a low modulation frequency to derive a depth value, performs iToF with a high modulation frequency to derive a depth value, and merges these depth values.
  • distance measuring device 500 can improve the precision of distance measurement while suppressing narrowing of the range in which distance measurement is possible.
  • FIG. 20 shows main elements such as processing units and data flow, and what is shown in FIG. 20 is not necessarily all. That is, in this distance measuring device 500, there may be processing units not shown as blocks in FIG. 20, or there may be processes or data flows not shown as arrows or the like in FIG.
  • the distance measuring device 500 has a control section 501, an optical output section 511, a detection section 512, an iToF measurement section 513, a RAM (Random Access Memory) 514, and a data merge section 515.
  • the iToF measurement unit 513 has a depth value derivation unit 521 and an encoding unit 522 .
  • Data merging section 515 has decoding section 531 and merge processing section 532 .
  • a control unit 501 controls each processing unit of the distance measuring device 500 .
  • distance measuring device 500 has only one set of optical output section 511, detection section 512, and iToF measurement section 513.
  • FIG. The range finder 500 uses this set of optical output section 511 , detection section 512 and iToF measurement section 513 to perform iToF with a high-frequency modulation frequency and iToF with a low-frequency modulation frequency. Therefore, the control unit 501 time-divides the set of the light output unit 511, the detection unit 512, and the iToF measurement unit 513 to perform both iToF with a high-frequency modulation frequency and iToF with a low-frequency modulation frequency.
  • the optical output unit 511 time-divisionally outputs light with a high-frequency modulation frequency (eg, IR laser light) and light with a low-frequency modulation frequency (eg, IR laser light).
  • a high-frequency modulation frequency eg, IR laser light
  • a low-frequency modulation frequency eg, IR laser light
  • the detection unit 512 detects the reflected light of the irradiation light emitted from the light output unit 511 .
  • the detection unit 512 detects the reflected light (reflected light with the high-frequency modulation frequency) at the timing corresponding to the timing at which the light output unit 511 irradiates the light with the high-frequency modulation frequency. Further, the detection unit 512 detects the reflected light (reflected light with the low modulation frequency) at the timing corresponding to the timing when the light output unit 511 emits the light with the low modulation frequency.
  • the detection unit 512 supplies the data of the detection result (data indicating the amount of light received by each pixel) to the iToF measurement unit 513 (the depth value derivation unit 521 thereof).
  • the depth value deriving unit 521 uses the detection result to derive the depth value to the subject by the indirect ToF method.
  • the depth value deriving unit 521 performs time-division derivation of a depth value by iToF using light with a high-frequency modulation frequency and derivation of a depth value by iToF using light with a low-frequency modulation frequency.
  • the merge processing unit 532 of the data merge unit 515 merges these depth values. For that merging, at least the depth values derived by iToF using light at the higher modulation frequency are stored in RAM 514 . Therefore, the depth value derivation unit 521 supplies the coding unit 522 with at least the depth value derived by iToF using light with a high modulation frequency. When the depth value derived by iToF using light with a low modulation frequency is not stored in the RAM 514 , the depth value derivation unit 521 supplies the depth value to the merge processing unit 532 of the data merge unit 515 .
  • the encoding unit 522 encodes the depth value to generate encoded data.
  • the encoding unit 522 supplies the encoded data to the RAM 514 for storage.
  • the RAM 514 stores encoded data supplied from the encoding unit 522 .
  • the RAM 514 also supplies the stored encoded data to the decoding unit 531 in response to a request from the decoding unit 531 .
  • the decoding unit 531 of the data merging unit 515 reads and decodes the encoded data stored in the RAM 514 to derive the depth value.
  • the decoding unit 531 supplies the derived depth value to the merge processing unit 532 .
  • the merge processing unit 532 acquires the depth value derived by iToF using light with a high-frequency modulation frequency and the depth value derived by iToF using light with a low-frequency modulation frequency, and merges them.
  • the merge processing unit 532 outputs the merged depth value.
  • the present technology can be applied to such a distance measuring device 500.
  • the encoding unit 522 the encoding device 100 described in the first embodiment and the third embodiment may be applied.
  • the decoding unit 531 the decoding device 200 described in the second embodiment and the fourth embodiment may be applied.
  • control unit 501 sets the modulation frequency to a high frequency in step S501.
  • step S502 the light output unit 511 irradiates light with a high modulation frequency.
  • the detector 512 detects the reflected light.
  • step S503 the depth value deriving unit 521 derives the depth value by iToF using light with a high modulation frequency.
  • step S504 the encoding unit 522 executes encoding processing to encode the depth value.
  • the RAM 514 stores the encoded data derived at step S504.
  • step S506 the control unit 501 sets the modulation frequency to a low frequency.
  • step S507 the light output unit 511 emits light with a low modulation frequency.
  • the detector 512 detects the reflected light.
  • step S508 the depth value deriving unit 521 derives a depth value by iToF using light with a low modulation frequency.
  • step S509 the decoding unit 531 reads the encoded data stored in step S506.
  • step S510 the decoding unit 531 executes decoding processing to decode the read encoded data.
  • step S511 the merge processing unit 532 merges the depth value derived by iToF using light with a high modulation frequency and the depth value derived by iToF using light with a low modulation frequency.
  • step S512 the control unit 501 determines whether or not to end the distance measurement process. If it is determined not to end, the process returns to step S501 and the subsequent processes are repeated. Then, when it is determined in step S512 that the distance measurement process is to end, the distance measurement process ends.
  • step S504 the encoding process described with reference to the flowchart of FIG. 12 or the encoding process described with reference to the flowchart of FIG. 17 may be applied.
  • step S510 the decoding process described with reference to the flowchart of FIG. 15 or the decoding process described with reference to the flowchart of FIG. 19 may be applied.
  • a range finder may have a plurality of systems for performing iToF. For example, as shown in FIG. 22, derivation of depth values by iToF using light with a high-frequency modulation frequency and derivation of depth values by iToF using light with a low-frequency modulation frequency are performed by different configurations. You can do it.
  • FIG. 23 is a block diagram showing a main configuration example of a distance measuring device in that case.
  • a ranging device 600 shown in FIG. 23 performs ranging by combining iToFs of a plurality of modulation frequencies, like the ranging device 500 .
  • the ranging device 600 performs iToF at a low modulation frequency to derive a depth value, performs iToF at a high modulation frequency to derive a depth value, and merges these depth values.
  • distance measuring device 600 can improve the precision of distance measurement while suppressing narrowing of the measurable range.
  • the ranging device 600 has a high frequency ranging section 601, a low frequency ranging section 602, and a data merging section 603.
  • a high-frequency ranging unit 601 performs iToF of a high-frequency modulation frequency to derive a depth value.
  • a low-frequency ranging unit 602 performs iToF with a low-frequency modulation frequency to derive a depth value.
  • a data merging unit 603 acquires the depth value derived by the high frequency ranging unit 601 and the depth value derived by the low frequency ranging unit 602, and merges them.
  • the high-frequency ranging unit 601 has an optical output unit 611, a detection unit 612, and an iToF measurement unit 613.
  • the iToF measurement unit 613 has a depth value derivation unit 621 and an encoding unit 622 .
  • the light output unit 611 emits light with a high-frequency modulation frequency (for example, IR laser light).
  • the detection unit 612 detects the reflected light and supplies data indicating the detection result to the iToF measurement unit 613 (the depth value derivation unit 621 thereof).
  • the depth value derivation unit 621 uses the data supplied from the detection unit 612 to derive the depth value to the subject by the indirect ToF method using the detection result. That is, the depth value derivation unit 621 derives the depth value by iToF using light with a high modulation frequency.
  • the encoding unit 622 encodes the depth values derived by the depth value deriving unit 621 .
  • the encoding unit 622 supplies the generated encoded data (encoded data of the depth value derived by iToF using light with a high modulation frequency) to the data merging unit 603 (the decoding unit 651 thereof).
  • the low-frequency ranging unit 602 has an optical output unit 631, a detection unit 632, and an iToF measurement unit 633.
  • the iToF measurement unit 633 has a depth value derivation unit 641 and an encoding unit 642 .
  • the light output unit 631 emits light with a low modulation frequency (for example, IR laser light).
  • the detection unit 632 detects the reflected light and supplies data indicating the detection result to the iToF measurement unit 633 (the depth value derivation unit 641 thereof).
  • the depth value derivation unit 641 uses the data supplied from the detection unit 632 to derive the depth value to the subject by the indirect ToF method using the detection result. That is, the depth value derivation unit 641 derives the depth value by iToF using light with a low modulation frequency.
  • the encoding unit 642 encodes the depth value derived by the depth value deriving unit 641.
  • the encoding unit 642 supplies the generated encoded data (encoded data of the depth value derived by iToF using light with a low modulation frequency) to the data merging unit 603 (the decoding unit 652 thereof).
  • the data merge unit 603 has a decoding unit 651, a decoding unit 652, and a merge processing unit 653.
  • the decoding unit 651 decodes the encoded data supplied from the encoding unit 622 and generates (restores) a depth value derived by iToF using light with a high-frequency modulation frequency.
  • the decoding unit 651 supplies the depth value to the merge processing unit 653 .
  • the decoding unit 652 decodes the encoded data supplied from the encoding unit 642 and generates (restores) a depth value derived by iToF using light with a low modulation frequency.
  • the decoding unit 652 supplies the depth value to the merge processing unit 653 .
  • the merge processing unit 653 merges the depth values supplied from the decoding units 651 and 652 . That is, the merge processing unit 653 merges the depth value derived by iToF using light with a high modulation frequency and the depth value derived by iToF using light with a low modulation frequency. The merge processing unit 653 outputs the merged depth value.
  • the present technology can be applied to such a distance measuring device 600.
  • the encoding unit 622 the encoding device 100 described in the first embodiment and the third embodiment may be applied.
  • the decoding unit 651 the decoding device 200 described in the second embodiment and the fourth embodiment may be applied.
  • wrap-around value may be supplied from the encoding side to the decoding side as in the example shown in FIG.
  • the wrap value may be supplied from the encoding unit 622 to the decoding unit 651 .
  • the value to wrap back may be supplied from the encoding unit 642 to the decoding unit 652 .
  • the wrap-around value may be supplied from a processing unit (for example, the host system controller 701) other than the high-frequency ranging unit 601 and the low-frequency ranging unit 602, as in the example shown in FIG. good.
  • the return value may be supplied from the host system controller 701 to the encoder 622 and the decoder 651 .
  • the return value may be supplied from the host system controller 701 to the encoding unit 642 and the decoding unit 652 .
  • the light output unit 611 of the high frequency distance measurement unit 601 irradiates light with a high frequency modulation frequency in step S601.
  • a detector 612 detects the reflected light.
  • step S602 the depth value derivation unit 621 derives the depth value by iToF using light with a high modulation frequency.
  • step S603 the encoding unit 622 executes encoding processing to encode the depth value.
  • step S604 the encoding unit 622 transmits the generated encoded data (encoded data of the depth value derived by iToF using light with a high-frequency modulation frequency) to the decoding unit 651 of the data merging unit 603. .
  • the decoding unit 651 acquires the encoded data.
  • step S605 the decoding unit 651 performs decoding processing, decodes the encoded data, and generates (restores) a depth value derived by iToF using light with a high-frequency modulation frequency.
  • step S606 the light output unit 631 of the low-frequency distance measurement unit 602 emits light with a low-frequency modulation frequency.
  • the detector 632 detects the reflected light.
  • step S607 the depth value derivation unit 641 derives a depth value by iToF using light with a low modulation frequency.
  • step S608 the encoding unit 642 executes encoding processing to encode the depth value.
  • step S609 the encoding unit 642 transmits the generated encoded data (encoded data of the depth value derived by iToF using light with a low modulation frequency) to the decoding unit 652 of the data merging unit 603. do.
  • the decoding unit 652 acquires the encoded data.
  • step S610 the decoding unit 652 performs decoding processing, decodes the encoded data, and generates (restores) a depth value derived by iToF using light with a low modulation frequency.
  • step S611 the merge processing unit 653 uses the depth value derived by iToF using the light with the high-frequency modulation frequency generated in step S606 and the light with the low-frequency modulation frequency generated in step S610. Merge with depth values derived by iToF.
  • step S612 the merge processing unit 653 determines whether or not to end the distance measurement process. If it is determined not to end, the process returns to step S601 and the subsequent processes are repeated. Then, if it is determined in step S612 that the distance measurement process is to end, the distance measurement process ends.
  • This technology can be applied to such ranging processing.
  • the encoding process in step S603 the encoding process described with reference to the flowchart of FIG. 12 or the encoding process described with reference to the flowchart of FIG. 17 may be applied.
  • the decoding process in step S605 the decoding process described with reference to the flowchart of FIG. 15 or the decoding process described with reference to the flowchart of FIG. 19 may be applied.
  • the depth value derived by iToF using light with the lowest modulation frequency should be prevented from wrapping around.
  • the depth values derived by iToF using light with higher modulation frequencies may wrap around in their respective bins (wrapping values). Therefore, by applying the present technology, it is possible to suppress reduction in coding efficiency for those depth values.
  • DPCM inverse DPCM in which the data of the previous pixel to be processed is used as a prediction value
  • the prediction method is arbitrary and is not limited to this example.
  • P2 prediction may be used as shown in FIG.
  • the predicted value of the pixel value X of the pixel to be processed shown in gray is the pixel value A of the pixel to the left of the pixel to be processed, and the pixel value A of the pixel above the pixel to be processed. It is derived using the pixel value B and the pixel value C of the upper left pixel of the pixel to be processed.
  • the prediction method is set depending on whether or not the pixel value C is greater than the value D and the value E, as shown in FIG. 27B. As shown in A of FIG.
  • the smaller one of the pixel value A and the pixel value B is set to the value D, and the larger one of the pixel value A and the pixel value B is set to the value E. Then, when the pixel value C is smaller than the value D, the value E is used as the predicted value of the pixel value X. If the pixel value C is greater than or equal to the value D and smaller than the value E, (A+BC) is used as the predicted value of the pixel value X. Furthermore, when the pixel value C is greater than or equal to the value E, the value D is used as the predicted value of the pixel value X.
  • a mechanism may be introduced to improve the accuracy of the data obtained by inverse quantization by using refinements transmitted in the bitstream.
  • the series of processes described above can be executed by hardware or by software.
  • a program that constitutes the software is installed in the computer.
  • the computer includes, for example, a computer built into dedicated hardware and a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 28 is a block diagram showing an example of the hardware configuration of a computer that executes the series of processes described above by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 910 is also connected to the bus 904 .
  • An input unit 911 , an output unit 912 , a storage unit 913 , a communication unit 914 and a drive 915 are connected to the input/output interface 910 .
  • the input unit 911 consists of, for example, a keyboard, mouse, microphone, touch panel, input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 is composed of, for example, a hard disk, a RAM disk, a nonvolatile memory, or the like.
  • the communication unit 914 is composed of, for example, a network interface.
  • Drive 915 drives removable media 921 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 901 loads, for example, a program stored in the storage unit 913 into the RAM 903 via the input/output interface 910 and the bus 904, and executes the above-described series of programs. is processed.
  • the RAM 903 also appropriately stores data necessary for the CPU 901 to execute various processes.
  • a program executed by a computer can be applied by being recorded on removable media 921 such as package media, for example.
  • the program can be installed in the storage unit 913 via the input/output interface 910 by loading the removable medium 921 into the drive 915 .
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913 .
  • this program can be installed in the ROM 902 or the storage unit 913 in advance.
  • This technology can be applied to any configuration.
  • the present technology can be applied to various electronic devices.
  • the present technology includes a processor (e.g., video processor) as a system LSI (Large Scale Integration), etc., a module (e.g., video module) using a plurality of processors, etc., a unit (e.g., video unit) using a plurality of modules, etc.
  • a processor e.g., video processor
  • LSI Large Scale Integration
  • module e.g., video module
  • a unit e.g., video unit
  • it can be implemented as a part of the configuration of the device, such as a set (for example, a video set) in which other functions are added to the unit.
  • the present technology can also be applied to a network system configured by a plurality of devices.
  • the present technology may be implemented as cloud computing in which a plurality of devices share and jointly process via a network.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • Systems, devices, processing units, etc. to which this technology is applied can be used in any field, such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, and nature monitoring. . Moreover, its use is arbitrary.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications are possible without departing from the gist of the present technology.
  • a configuration described as one device may be divided and configured as a plurality of devices (or processing units).
  • the configuration described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) as long as the configuration and operation of the system as a whole are substantially the same. .
  • the above-described program may be executed on any device.
  • the device should have the necessary functions (functional blocks, etc.) and be able to obtain the necessary information.
  • each step of one flowchart may be executed by one device, or may be executed by a plurality of devices.
  • the plurality of processes may be executed by one device, or may be shared by a plurality of devices.
  • a plurality of processes included in one step can also be executed as processes of a plurality of steps.
  • the processing described as multiple steps can also be collectively executed as one step.
  • a computer-executed program may be configured such that the processing of the steps described in the program is executed in chronological order according to the order described in this specification, in parallel, or when calls are executed. It may also be executed individually at necessary timings such as when it is interrupted. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • the present technology can also take the following configuration. (1) a first quantization unit that quantizes depth values that wrap around in a predetermined range using a predetermined quantization step; a difference value derivation unit that derives a difference value between the depth value quantized by the first quantization unit and a predicted value of the depth value; a second quantization unit that quantizes the wrap value of the depth value using the quantization step; a correction unit that appropriately corrects the difference value derived by the difference value derivation unit using the folding value quantized by the second quantization unit; and an encoding unit that encodes the difference value appropriately corrected by the correction unit.
  • the correction unit an addition unit that adds the quantized wrap value to the difference value; a subtractor that subtracts the quantized wrap value from the difference value; the difference value, the addition result of the difference value derived by the addition unit and the quantized wrap-around value, and the subtraction of the difference value derived by the subtraction unit and the quantized wrap-around value a selection unit that selects the result with the smallest absolute value, and
  • the information processing apparatus wherein the encoding unit is configured to encode the difference value, the addition result, and the subtraction result selected by the selection unit.
  • the correction unit Based on the difference value and the quantized folding value, the correction of the difference value is omitted, the quantized folding value is added to the difference value, or the quantized value is obtained from the difference value.
  • a selection unit for selecting whether to subtract the wrap value; an adding unit that adds the quantized wrapping value to the difference value when the selection unit selects addition of the quantized wrapping value; a subtraction unit that subtracts the quantized wrap value from the difference value when subtraction of the quantized wrap value is selected by the selection unit,
  • the encoding unit When omission of correction of the difference value is selected by the selection unit, encoding the difference value, encoding the addition result of the difference value derived by the addition unit and the quantized wrap value when the selection unit selects addition of the quantized wrap value; encoding a subtraction result of the difference value derived by the subtraction unit and the quantized wrap value when the selection unit selects subtraction of the quantized wrap value.
  • the first quantization unit quantizes the depth value using the quantization step set for each block of the depth value;
  • the information processing device according to any one of (1) to (3), wherein the second quantization unit quantizes the wrap-around value using the quantization step set for each block of the depth values. .
  • the information processing device according to any one of (1) to (4), wherein the second quantization unit quantizes the loopback value supplied from a system controller external to the information processing device.
  • the depth value indicates a distance to a subject derived for each pixel by an indirect Time-of-Flight (ToF) method.
  • ToF Time-of-Flight
  • the depth value is derived for each pixel by irradiating light with a modulation frequency that makes the measurable range narrower than the range of possible values for the distance to the subject, and detecting the reflected light.
  • the difference value derivation unit sets the depth value of the previous pixel to be processed, which is the pixel processed immediately before, to the predicted value of the current pixel to be processed, which is the current pixel to be processed.
  • the encoding unit stores encoded data derived by encoding the difference value appropriately corrected by the correction unit in a storage unit.
  • Information processing equipment (10) quantizing depth values that wrap around a predetermined range using a predetermined quantization step; deriving a difference value between the quantized depth value and a predicted value of the depth value; quantizing a wrap value of the depth value using the quantization step; appropriately correcting the derived difference value using the quantized folding value; An information processing method for encoding the appropriately corrected difference value.
  • a decoding unit that decodes encoded data to derive a difference value between coefficient data relating to a depth value that wraps around in a predetermined value range and a predicted value of the coefficient data; a coefficient data deriving unit that derives the coefficient data by adding the predicted value to the difference value derived by the decoding unit; a quantization unit that quantizes the wrap value of the depth value using a predetermined quantization step; a correcting unit that appropriately corrects the coefficient data derived by the coefficient data deriving unit using the folding value quantized by the quantizing unit; and an inverse quantization unit that derives the depth value by inversely quantizing the coefficient data appropriately corrected by the correction unit using the quantization step.
  • the correction unit an addition unit that adds the quantized wrap value to the coefficient data; a subtraction unit that subtracts the quantized wrap value from the coefficient data; the coefficient data, the addition result of the coefficient data derived by the addition unit and the quantized wrap value, and the subtraction of the coefficient data derived by the subtraction unit and the quantized wrap value a selection unit that selects results within the range;
  • the information processing device according to (11), wherein the inverse quantization section is configured to inverse quantize the coefficient data, the addition result, and the subtraction result selected by the selection section.
  • the correction unit Based on the coefficient data and the quantized wrap value, the correction of the coefficient data is omitted, the quantized wrap value is added to the coefficient data, or the quantized value is quantized from the coefficient data.
  • a selection unit for selecting whether to subtract the wrap value; an adding unit that adds the quantized wrapping value to the coefficient data when the selection unit selects addition of the quantized wrapping value; a subtraction unit that subtracts the quantized wrap value from the coefficient data when the subtraction of the quantized wrap value is selected by the selection unit, The inverse quantization unit when omission of correction of the coefficient data is selected by the selection unit, dequantizing the coefficient data; when addition of the quantized wrap-around value is selected by the selection unit, inversely quantizing an addition result of the coefficient data derived by the addition unit and the quantized wrap-around value; When subtraction of the quantized wrap value is selected by the selection unit, the result of subtraction between the coefficient data derived by the subtraction unit and the quantized wrap value is inversely quantized.
  • the information processing device quantizes the wrap-around value using the quantization step set for each block of the depth values;
  • the inverse quantization unit uses the quantization step set for each block of the depth value to inverse quantize the coefficient data appropriately corrected by the correction unit. 1.
  • the information processing device according to claim 1.
  • the quantization unit quantizes the wrap-around value supplied from a system controller external to the information processing device or from the encoding unit that generated the encoded data.
  • the information processing device according to any one of the above.
  • (16) The information processing apparatus according to any one of (11) to (15), wherein the depth value indicates a distance to a subject derived for each pixel by an indirect Time-of-Flight (ToF) method.
  • ToF Time-of-Flight
  • the depth value is derived for each pixel by irradiating light with a modulation frequency that makes the measurable range narrower than the range of possible values for the distance to the subject, and detecting the reflected light.
  • the coefficient data derivation unit sets the coefficient data of the previous pixel to be processed, which is the pixel processed immediately before, to the predicted value of the current pixel to be processed, which is the current pixel to be processed.
  • the information processing apparatus according to (17), wherein the coefficient data is derived by adding the depth value of the old processing target pixel to the depth value of the target pixel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、符号化効率の低減を抑制することができるようにする情報処理装置および方法に関する。 所定の量子化ステップを用いて、所定の値域でラップアラウンドするデプス値を量子化し、その量子化されたデプス値とそのデプス値の予測値との差分値を導出し、その量子化ステップを用いて、そのデプス値の折り返す値を量子化し、その量子化された折り返す値を用いて、導出された差分値を適宜補正し、その適宜補正された差分値を符号化する。本開示は、例えば、情報処理装置、画像処理装置、電子機器、情報処理方法、画像処理方法、またはプログラム等に適用することができる。

Description

情報処理装置および方法
　本開示は、情報処理装置および方法に関し、特に、符号化効率の低減を抑制することができるようにした情報処理装置および方法に関する。
　近年、イメージセンサのセンシング用途での利用が進んでいる。例えば、光源より照射した正弦波と反射波との位相差を検出することにより対象物体との距離を測定する技術が考えられた（例えば、非特許文献１参照）。
　このような測距方法において、複数の変調周波数の光を用いて測距することにより、最大測定距離を低減させずに、より高精度な測距を実現することができる。このように複数の変調周波数を用いて測距を行う場合、変調周波数が高い光を用いた測距結果（デプス値）は、その値が所定の値域でラップアラウンドする。
　このようなデプス値を符号化する方法として、例えばDPCM（Differential Pulse Code Modulation）のように処理対象のデプス値とその予測値との差分を導出し、その差分値を符号化する方法があった。ところで、従来、ラップアラウンドを利用してデータの符号化効率の低減を抑制する方法があった（例えば、特許文献１および特許文献２参照）。
安富啓太, 川人祥二, "技術解説　Time-of-Flight カメラ", 映像情報メディア学会誌, 2016年 70巻 11号 P.880-885, 2016年8月29日受付
特許第６０４５１２３号公報 特開２００２－３４４４７７号公報
　しかしながら、上述のようにラップアラウンドするデプス値を符号化する場合、上述のようなデプス値とその予測値との差分を導出し、その差分値を符号化する方法では、デプス値が折り返すことにより差分値が増大し、その結果、符号化効率が低減するおそれがあった。これに対して、特許文献１や特許文献２に記載の方法は、差分値や符号化データをラップアラウンドすることにより所定の値域内に収めるものであり、ラップアラウンドするデータの符号化効率の低減を抑制することは困難であった。
　本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制することができるようにするものである。
　本技術の一側面の情報処理装置は、所定の量子化ステップを用いて、所定の値域でラップアラウンドするデプス値を量子化する第１の量子化部と、前記第１の量子化部により量子化された前記デプス値と前記デプス値の予測値との差分値を導出する差分値導出部と、前記量子化ステップを用いて、前記デプス値の折り返す値を量子化する第２の量子化部と、前記第２の量子化部により量子化された前記折り返す値を用いて、前記差分値導出部により導出された前記差分値を適宜補正する補正部と、前記補正部により適宜補正された前記差分値を符号化する符号化部とを備える情報処理装置である。
　本技術の一側面の情報処理方法は、所定の量子化ステップを用いて、所定の値域でラップアラウンドするデプス値を量子化し、量子化された前記デプス値と前記デプス値の予測値との差分値を導出し、前記量子化ステップを用いて、前記デプス値の折り返す値を量子化し、量子化された前記折り返す値を用いて、導出された前記差分値を適宜補正し、適宜補正された前記差分値を符号化する情報処理方法である。
　本技術の他の側面の情報処理装置は、符号化データを復号することにより、所定の値域でラップアラウンドするデプス値に関する係数データと前記係数データの予測値との差分値を導出する復号部と、前記復号部により導出された前記差分値に前記予測値を加算することにより前記係数データを導出する係数データ導出部と、所定の量子化ステップを用いて、前記デプス値の折り返す値を量子化する量子化部と、前記量子化部により量子化された前記折り返す値を用いて、前記係数データ導出部により導出された前記係数データを適宜補正する補正部と、前記量子化ステップを用いて、前記補正部により適宜補正された前記係数データを逆量子化することにより、前記デプス値を導出する逆量子化部とを備える情報処理装置である。
　本技術の他の側面の情報処理方法は、符号化データを復号することにより、所定の値域でラップアラウンドするデプス値に関する係数データと前記係数データの予測値との差分値を導出し、導出された前記差分値に前記予測値を加算することにより前記係数データを導出し、所定の量子化ステップを用いて、前記デプス値の折り返す値を量子化し、量子化された前記折り返す値を用いて、導出された前記係数データを適宜補正し、前記量子化ステップを用いて、適宜補正された前記係数データを逆量子化することにより、前記デプス値を導出する情報処理方法である。
　本技術の一側面の情報処理装置および方法においては、所定の量子化ステップを用いて、所定の値域でラップアラウンドするデプス値が量子化され、その量子化されたデプス値とそのデプス値の予測値との差分値が導出され、その量子化ステップを用いて、そのデプス値の折り返す値が量子化され、その量子化された折り返す値を用いて、導出された差分値が適宜補正され、その適宜補正された差分値が符号化される。
　本技術の他の側面の情報処理装置および方法においては、符号化データが復号されることにより、所定の値域でラップアラウンドするデプス値に関する係数データとその係数データの予測値との差分値が導出され、その導出された差分値に予測値が加算されることにより係数データが導出され、所定の量子化ステップを用いて、デプス値の折り返す値が量子化され、その量子化された折り返す値を用いて、導出された係数データが適宜補正され、その量子化ステップを用いて、その適宜補正された係数データが逆量子化されることにより、デプス値が導出される。
間接ToF方式の測距の様子の例を説明する図である。 間接ToF方式の測距の様子の例を説明する図である。 間接ToF方式の測距の様子の例を説明する図である。 間接ToF方式の測距の様子の例を説明する図である。 複数変調周波数を用いた間接ToF方式の測距の様子の例を説明する図である。 複数変調周波数を用いた間接ToF方式の測距の様子の例を説明する図である。 測定値の例を説明する図である。 測定値の例を説明する図である。 符号化装置の主な構成例を示すブロック図である。 折り返す値について説明する図である。 差分値の補正の様子の例について説明する図である。 符号化処理の流れの例を示すフローチャートである。 復号装置の主な構成例を示すブロック図である。 復号データの補正の様子の例について説明する図である。 復号処理の流れの例を示すフローチャートである。 符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を示すフローチャートである。 復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を示すフローチャートである。 測距装置の主な構成例を示すブロック図である。 測距処理の流れの例を示すフローチャートである。 複数変調周波数を用いた間接ToF方式の測距の様子の例を説明する図である。 測距装置の主な構成例を示すブロック図である。 折り返す値の供給の様子の例について説明する図である。 折り返す値の供給の様子の例について説明する図である。 測距処理の流れの例を示すフローチャートである。 P2予測について説明する図である。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．ラップアラウンドするデータの符号化と復号
　２．第１の実施の形態（符号化装置）
　３．第２の実施の形態（復号装置）
　４．第３の実施の形態（符号化装置）
　５．第４の実施の形態（復号装置）
　６．第５の実施の形態（測距装置）
　７．第６の実施の形態（測距装置）
　８．付記
　＜１．ラップアラウンドするデータの符号化と復号＞
　　＜iToF＞
　近年、イメージセンサのセンシング用途での利用が進んでいる。例えば、非特許文献１に記載のように、光源より照射した正弦波と反射波との位相差を検出することにより対象物体との距離を測定する技術が考えられた。
　例えば、図１に示されるように、発光源１から被写体３に向けて光（例えば赤外光）を照射し、その反射光が測距センサ２において受光されるまでの時間を測定し、その時間に基づいて被写体３までの距離を導出するToF（Time-of-Flight）が考えられた。また、そのToF方式として、直接ToF方式（dToF（direct Time of Flight）とも称する）と間接ToF方式（iToF（indirect Time of Flight）とも称する）が考えられた。
　直接ToF方式の場合、TDC（Time-to-Digital Converter）が用いられるため、多画素化が困難であった。間接ToF方式の場合、画素内にTDC等の時間算出回路が不要であり、画素内の素子数の増大を抑制することができる。そのため、多画素化を容易に実現することができる。
　間接ToF方式の場合、光源に同期した時間窓（クロック）を用いて、フォトダイオードで発生した光電荷をロックインピクセルによって変調する。このとき、時間情報が信号量に反映されるため、飛行時間を導出することができる。
　間接ToF方式で用いられる変調方式には、例えば、連続波変調とパルス波変調とがある。連続波変調の様子の例を図２に示す。図２に示されるグラフにおいて、正弦波１１が発射光（Emitted）を示し、正弦波１２が反射光（Reccived）を示している。図２に示されるように、連続波変調の場合、４つの時間窓を用いてロックイン検出を行うことで、発射光と反射光との位相差を導出することができる。ここで用いるロックイン検出とは、光源と同期した短い電子シャッタによって、同じ位相の信号を複数回蓄積する動作を示す。正弦波で変調した場合、位相差φTOFは、４つの時間窓TW1,TW2,TW3,TW4で蓄積した信号A0,A1,A2,A3を用いて、以下の式（１）のように、導出される。
Figure JPOXMLDOC01-appb-I000001
　変調周波数fmは既知であるため、以下の式（２）を用いて位相（φTOF）から時間（tTOF）に換算することができる。
Figure JPOXMLDOC01-appb-I000002
　なお、受光した光には光源以外の直流成分、すなわち、背景光成分が含まれているが、上述の式（１）の演算によりその背景光成分はキャンセルされる。したがって、センサが飽和しない範囲においては、背景光の影響を受けずに距離が推定可能である。
　これに対してパルス波変調の様子の例を図３に示す。パルス波変調の場合、TW1,TW2により蓄積された信号をA0,A1とすると、飛行時間tTOFは以下の式（３）のように導出される。
Figure JPOXMLDOC01-appb-I000003
　TDは排出窓で、余分な背景光は排出される。時間窓TWの数を３つ以上にすることで、背景光成分のみを知ることができ、背景光の影響を受けずに距離が推定可能となる。パルス波変調では、光源のデューティー比を高くとることで、背景光に対してロバストな撮像を実現することができる。
　　＜デプス値導出装置＞
　図４は、以上のような間接ToF方式を用いてデプス値を導出するデプス値導出装置の主な構成例を示すブロック図である。図４に示されるデプス値導出装置３０は、センサ３１、i信号生成部３２、q信号生成部３３、位相差検出部３４、およびデプス（Depth）算出部３５を有する。
　センサ３１は、光を受光し、変調波の1/4周期のシャッタを組み合わせて受光強度を測定する。そして、センサ３１は、これらの４つの区間のデータ（N1, N2, N3, N4）をi信号生成部３２およびq信号生成部３３に供給する。i信号生成部３２は、データN3からデータN1を減算することにより、i（In-Phase）信号を生成する。i信号生成部３２は、そのi信号を位相差検出部３４に供給する。q信号生成部３３は、データN2からデータN4を減算することにより、q（Quadrature）信号を生成する。q信号生成部３３は、そのq信号を位相差検出部３４に供給する。
　位相差検出部３４は、供給されたi信号およびq信号を用いて、位相差φを以下の式（４）のように導出する。
Figure JPOXMLDOC01-appb-I000004
　位相差検出部３４は、導出した位相差φをデプス算出部３５に供給する。
　デプス算出部３５は、その位相差φからデプス値（depth）dを以下の式（５）のように導出する。
Figure JPOXMLDOC01-appb-I000005
　以上のようにしてセンサ出力からデプス値dを導出することができる。
　　＜複数変調周波数のiToF＞
　iToFでは照射光の変調周波数をより高くすると、より高精度の距離測定が可能になる。しかしながら、その場合、波長はより短くなる。そのため測距可能な範囲が狭くなる。例えば、センサからの距離X1の地点からセンサから距離X2の地点まで範囲Xを測距可能であるとする。この場合、変調周波数をより高くすることにより、この範囲X内をより高精度に測距することができる反面、この範囲Xの長さが短くなる（距離X1と距離X2の差が小さくなる）。逆に変調周波数を低くすると、測距の精度が低減する反面、この範囲Xの長さが長くなる（距離X1と距離X2の差が大きくなる）。
　そこで、複数の変調周波数のiToFを組み合わせることにより、測距可能な範囲を狭めることを抑制しながら（範囲Xの長さが短くなるのを抑制しながら）、測距の精度を向上させることができる（Dual Frequency iToF）。例えば、低い変調周波数のiToFにより導出されるデプス値を上位ビットとし、低い変調周波数のiToFにより導出されるデプス値を上位ビットとし、高い変調周波数のiToFにより導出されるデプス値を下位ビットとしてマージすることにより、取り得る値の範囲が広い、より高精度なデプス値を得ることができる。
　このような方法（Dual Frequency iToF）は、例えば図５に示されるように、変調周波数毎にデバイス（光源とセンサ）を用意し、それぞれのデバイスでそれぞれの変調周波数の照射光を用いて測距を行うことにより実現することができる。
　また、図６に示される例のように、１組のデバイス（光源とセンサ）を用意し、そのデバイスを時分割して利用することにより、各変調周波数の光を用いた測距を実現することも考えられる。つまり、あるタイミングにおいては、低い変調周波数の照射光を用いて測距を行い、別のあるタイミングにおいては、高い変調周波数の照射光を用いて測距を行うようにする。このように時間軸に沿って変調周波数を切り替えて測距を繰り返すことにより、各変調周波数の照射光を用いた測距を実現することができる。また、この場合、図５の例に比べて部品数を低減することができる。例えば１チップで実現することもできる。
　このように、１つのデバイスを時分割して利用する場合、各変調周波数の測距結果をマージするために、少なくとも１つの変調周波数の測距結果（デプス値）のデータをメモリ等に記憶させる必要がある。測距結果のデータをメモリに格納する際、そのデータを符号化（圧縮）することにより、記憶に必要なメモリ容量の増大を抑制することができる。
　なお、このようなデータの符号化方法は任意であるが、より符号化効率が高く、遅延がより少ない方が好ましい。例えば、DPCM（Differential Pulse Code Modulation）のようにサンプル同士の差分値を導出し、その差分値を符号化する方法が考えられる。
　　＜デプス値の符号化＞
　そこで、デプス値の符号化について考える。例えば上述のように複数の変調周波数のiToFを組み合わせる場合において、最も低い変調周波数の照射光を用いた測距で得られるデプス値（測定値）とセンサから測距対象のオブジェクトまでの実際の距離（実距離）との関係は、図７のＡのようになる。つまり、測定値と実距離とが１対１に対応する。これに対して、それよりも高い変調周波数の照射光を用いた測距で得られる測定値と実距離との関係は、図７のＢのようになる。つまり、測定値は、実距離に対して、所定の値域でラップアラウンドする（折り返す）。これは、測距可能な範囲が、実距離が取り得る範囲に比べて狭いことによる。
　例えば、図８のＡに示されるように、センサ４１からオブジェクト４２を、低周波の変調周波数のiToFと高周波の変調周波数のiToFとを組み合わせて測距するとする。センサ４１は、所謂イメージセンサのように複数画素を有し、各画素において反射光等を受光する。つまり、測距結果としてこのセンサ４１の画素毎のデプス値が得られる。そして、その測距において、センサ４１が測距可能な範囲を両矢印４３とする。つまり、低周波の変調周波数のiToFで測距可能な範囲が両矢印４３であるとする。
　オブジェクト４２は、図８のＡに示されるように、センサ４１からみて奥行き方向を長手方向とする長方形である。つまり、オブジェクト４２は、センサ４１の近方から遠方にわたって存在する。そのため、センサ４１からオブジェクト４２の表面までの実距離は、そのオブジェクト４２の長手方向に沿って、センサ４１の近方から遠方までなだらかに変化する。
　図８のＢに示されるデプス画像４４は、その低周波の変調周波数のiToFの測距結果（すなわち各画素のデプス値）を示す。デプス画像４４は、色でデプス値を示しており、より白い程遠方（より大きなデプス値）を示し、より黒い程より近方（より小さなデプス値）を示す。図８のＢに示されるように、このデプス画像４４においては、実距離がなだらかに変化するオブジェクト４２の表面に相当する画素のデプス値は、その実距離と同様にオブジェクト４２の長手方向に沿ってなだらかに変化する。したがって、符号化の際にDPCMのように近傍画素との差分を取り、その差分値を符号化することにより、画素間のデプス値の相関性を利用して符号化効率を向上させることができる。
　図８のＣに示されるデプス画像４５は、高周波の変調周波数のiToFの測距結果（すなわち各画素のデプス値）を示す。デプス画像４５は、デプス画像４４の場合と同様に、色でデプス値を示している。図７のＢに示されるように、高周波の変調周波数のiToFの場合、測定値が所定の値域でラップアラウンドする。そのため、デプス画像４５においては、実距離がなだらかに変化する部分であっても、デプス値が折り返す部分ではその値が大きく変化する。例えば、点線４５Ａの上側の画素と下側の画素とでは、実距離は略同じであっても、デプス値は折り返しにより大きく異なる。そのため、符号化の際にDPCMのように近傍画素との差分を取り、その差分値を符号化するようにすると、このようなデプス値が折り返す部分において、その差分値が大きくなる可能性があった。つまり、ラップアラウンドするデプス値の場合、近傍画素との相関性が低減し、符号化効率が低減するおそれがあった。
　なお、特許文献１や特許文献２には、差分値や符号化データをラップアラウンドすることにより所定の値域内に収めることにより、符号化効率の低減を抑制する方法が開示されているが、これらの方法では、上述のデプス値のような、ラップアラウンドするデータの符号化効率の低減を抑制することは困難であった。
　　＜差分値の補正＞
　そこで、差分値を適宜補正してから符号化するようにする。例えば、情報処理方法において、所定の量子化ステップを用いて、所定の値域でラップアラウンドするデプス値を量子化し、その量子化されたデプス値とそのデプス値の予測値との差分値を導出し、上述の量子化ステップを用いて、デプス値の折り返す値を量子化し、その量子化された折り返す値を用いて、導出された差分値を適宜補正し、その適宜補正された差分値を符号化するようにする。
　例えば、情報処理装置において、所定の量子化ステップを用いて、所定の値域でラップアラウンドするデプス値を量子化する第１の量子化部と、その第１の量子化部により量子化されたデプス値とそのデプス値の予測値との差分値を導出する差分値導出部と、上述の量子化ステップを用いて、デプス値の折り返す値を量子化する第２の量子化部と、その第２の量子化部により量子化された折り返す値を用いて、差分値導出部により導出された差分値を適宜補正する補正部と、その補正部により適宜補正された差分値を符号化する符号化部とを備えるようにする。
　このように、デプス値の折り返す値を用いて差分値を適宜補正することにより、デプス値が折り返すことによる差分値の増大を抑制することができる。したがって、符号化効率の低減を抑制することができる。
　なお、デプス値を量子化することにより差分値を低減させることができる。ただし、単にデプス値を量子化するのみでは、折り返す値との対応が取れなくなるため差分値の補正が困難になる。そこで、折り返す値もデプス値と同様の量子化ステップを用いて量子化する。このようにすることによりデプス値と折り返す値との対応関係を維持することができ、差分値の補正を実現することができる。したがって、差分値の増大をより抑制することができ、符号化効率の低減をより抑制することができる。
　　＜係数データの補正＞
　なお、上述のようなデプス値（の差分値）の符号化データは、復号されて利用される。その符号化データの復号の際、符号化データを復号して得られる係数データ（量子化されたデプス値）を、適宜補正するようにする。
　例えば、情報処理方法において、符号化データを復号することにより、所定の値域でラップアラウンドするデプス値に関する係数データとその係数データの予測値との差分値を導出し、その導出された差分値に予測値を加算することにより係数データを導出し、所定の量子化ステップを用いて、デプス値の折り返す値を量子化し、その量子化された折り返す値を用いて、導出された係数データを適宜補正し、上述の量子化ステップを用いて、その補正された係数データを逆量子化することにより、デプス値を導出するようにする。
　例えば、情報処理装置において、符号化データを復号することにより、所定の値域でラップアラウンドするデプス値に関する係数データとその係数データの予測値との差分値を導出する復号部と、その復号部により導出された差分値に予測値を加算することにより係数データを導出する係数データ導出部と、所定の量子化ステップを用いて、デプス値の折り返す値を量子化する量子化部と、量子化部により量子化された折り返す値を用いて、係数データ導出部により導出された係数データを適宜補正する補正部と、上述の量子化ステップを用いて、補正部により適宜補正された係数データを逆量子化することにより、デプス値を導出する逆量子化部とを備えるようにする。
　このように、デプス値の折り返す値を用いて、符号化データを復号する等して得られた係数データを適宜補正することにより、符号化データを適切に復号し、デプス値を得ることができる。つまり、デプス値が折り返すことによる差分値の増大の抑制を実現することができ、符号化効率の低減を抑制することができる。
　なお、デプス値が量子化されて符号化された場合、その符号化データを復号する等して得られる係数データとデプス値の折り返す値との対応が取れなくなるため、デプス値の折り返す値を用いた係数データの補正が困難になる。そこで、デプス値の折り返す値を、係数データの逆量子化に用いられる量子化ステップと同様の量子化ステップを用いて量子化する。このようにすることにより係数データと折り返す値との対応関係を維持することができ、係数データの補正を実現することができる。したがって、差分値の増大の抑制を実現することができ、符号化効率の低減をより抑制することができる。
　＜２．第１の実施の形態＞
　　＜符号化装置＞
　図９は、本技術を適用した情報処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図９に示される符号化装置１００は、iToFにより得られたデプスデータ（デプス画像、デプス値）を符号化する装置である。なお、図９においては、処理部やデータの流れ等の主なものを示しており、図９に示されるものが全てとは限らない。つまり、この符号化装置１００において、図９においてブロックとして示されていない処理部が存在したり、図９において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図９に示されるように、符号化装置１００は、量子化部１１１、量子化部１１２、DPCM処理部１１３、演算部１１４、演算部１１５、選択制御部１１６、選択部１１７、および符号化部１１８を有する。演算部１１４、演算部１１５、選択制御部１１６、および選択部１１７は、補正部１２１を構成する。
　量子化部１１１は、ラップアラウンドするデプス値が折り返す値を取得する。この折り返す値は、例えば図１０に示されるように、ラップアラウンドするデプス値（測定値）の上限値である。つまり、ラップアラウンドするデプス値（測定値）は、この折り返す値より小さい値をとる。図１０の例の場合、「１５００」が折り返す値である。この折り返す値は、符号化装置１００の外部から供給される。例えば、この折り返す値が、システムコントローラ等から供給されてもよい。
　量子化部１１１は、取得した折り返す値を、量子化ステップを用いて量子化する。この量子化ステップは、任意のデータ単位毎に設定される。例えば、この量子化ステップが、ブロック（デプス画像の複数画素）毎に設定されてもよい。また、量子化部１１１は、この量子化ステップを量子化部１１２と共有する。つまり、量子化部１１１は、量子化部１１２と同一の量子化ステップを用いて折り返す値を量子化する。これにより折り返す値とデプス値との対応関係を維持することができる。例えば、量子化部１１１は、折り返す値を量子化ステップで除算することにより、その折り返す値を量子化する。量子化部１１１は、量子化された折り返す値（例えば、（折り返す値÷量子化ステップ））を導出すると、その量子化された折り返す値を補正部１２１（の演算部１１４および演算部１１５）に供給する。
　量子化部１１２は、デプス値を入力データとして取得する。このデプス値は、測距に用いられるセンサから測距の対象物体を含む被写体までの距離を示す情報である。この測距の方法は任意である。例えば、間接ToF（Time-of-Flight）方式の測距によりこのデプス値が導出されてもよい。例えば、光出力部からIRレーザ光が照射され、測距の対象物体を含む被写体においてその照射光が反射した反射光がセンサにより検出され、その照射光と反射光との位相差からこのデプス値が導出されてもよい。センサが複数画素を有し、デプス値は、そのセンサの画素毎に導出されてもよい。つまり、量子化部１１２は、各画素のデプス値により構成されるデプス画像を取得し得る。
　このデプス値は、所定の値域でラップアラウンドする。例えば、このデプス値が、高周波の変調周波数の光を用いて行われる間接ToF方式の測距により導出されてもよい。例えば、測距可能な範囲が被写体までの距離が取り得る値の範囲よりも狭くなる変調周波数の光を照射し、反射光を検出することによりこのデプス値が導出されてもよい。
　量子化部１１２は、以上のように取得したデプス値を、量子化ステップを用いて量子化する。この量子化ステップは、任意のデータ単位毎に設定される。例えば、この量子化ステップが、ブロック（デプス画像の複数画素）毎に設定されてもよい。また、量子化部１１２は、この量子化ステップを量子化部１１１と共有する。つまり、量子化部１１２は、量子化部１１１と同一の量子化ステップを用いてデプス値を量子化する。これにより折り返す値とデプス値との対応関係を維持することができる。例えば、量子化部１１２は、デプス値を量子化ステップで除算することにより、そのデプス値を量子化する。
　量子化部１１２は、量子化されたデプス値（例えば、（デプス値÷量子化ステップ））を導出すると、その量子化されたデプス値をDPCM処理部１１３に供給する。
　DPCM処理部１１３は、量子化部１１２において量子化されたデプス値に対して、DPCM処理を行い、デプス値とそのデプス値の予測値との差分値を導出する。すなわち、DPCM処理部１１３は、１つ前に処理された画素である旧処理対象画素のデプス値を、現在の処理対象画素である現処理対象画素の予測値とし、現処理対象画素のデプス値と旧処理対象画素のデプス値との差分値を導出する。このように、DPCM処理部１１３が差分値を導出することにより、符号化効率の低減を抑制することができる。DPCM処理部１１３は、DPCM処理により導出した差分値を、補正部１２１（の演算部１１４、演算部１１５、選択制御部１１６、および選択部１１７）に供給する。
　補正部１２１は、量子化部１１１により量子化された折り返す値を用いて、DPCM処理部１１３により導出された差分値を適宜補正する。
　演算部１１４は、DPCM処理部１１３から供給される差分値を取得する。また、演算部１１４は、量子化部１１１から供給される量子化された折り返す値を取得する。演算部１１４は、その差分値に対してその量子化された折り返す値を加算することにより、その差分値を補正する。演算部１１４は、その補正結果（差分値と量子化された折り返す値との加算結果）を選択制御部１１６および選択部１１７に供給する。
　演算部１１５は、DPCM処理部１１３から供給される差分値を取得する。また、演算部１１５は、量子化部１１１から供給される量子化された折り返す値を取得する。演算部１１５は、その差分値からその量子化された折り返す値を減算することにより、その差分値を補正する。演算部１１５は、その補正結果（差分値と量子化された折り返す値との減算結果）を選択制御部１１６および選択部１１７に供給する。
　選択制御部１１６は、DPCM処理部１１３から供給される差分値を取得する。また、選択制御部１１６は、演算部１１４から供給される差分値の補正結果（すなわち、差分値と量子化された折り返す値との加算結果）を取得する。さらに、選択制御部１１６は、演算部１１５から供給される差分値の補正結果（すなわち、差分値と量子化された折り返す値との減算結果）を取得する。選択制御部１１６は、それらの値に基づいて、選択部１１７の動作を制御する。
　選択部１１７は、DPCM処理部１１３から供給される差分値を取得する。また、選択部１１７は、演算部１１４から供給される差分値の補正結果（すなわち、差分値と量子化された折り返す値との加算結果）を取得する。さらに、選択部１１７は、演算部１１５から供給される差分値の補正結果（すなわち、差分値と量子化された折り返す値との減算結果）を取得する。選択部１１７は、選択制御部１１６の制御に従って、取得した差分値、加算結果、および減算結果の中から、絶対値が最小のものを選択する。選択部１１７は、選択した値（差分値、加算結果、および減算結果のいずれか）を符号化部１１８に供給する。
　符号化部１１８は、補正部１２１（の選択部１１７）から供給される情報を取得し、符号化する。この情報は、補正部１２１において適宜補正された差分値である。つまり、この情報は、選択部１１７において選択された、差分値、加算結果、および減算結果のいずれかである。この符号化方法は任意である。例えば、可変長符号化（VLC（Variable Length Code））であってもよいし、固定長符号化（FLC（Fixed Length Coding））であってもよい。符号化部１１８は、適宜補正された差分値（差分値、加算結果、または減算結果）を符号化することにより導出した符号化データを、符号化装置１００の外部に出力する。
　　＜処理例＞
　この符号化装置１００による処理の例を、図１１を参照して説明する。例えば、入力データである連続する４画素のデプス値が、「１４９０」、「０」、「１０」、「２０」であるとする。このデプス値は、高周波のiToFにより得られるデプス値であり、「１５００」を折り返す値としてラップアラウンドするものとする。そして、このデプス値は、正の整数であるとする。つまり、このデプス値の値域は「０」乃至「１４９９」であるとする。そして、上述の４画素の左から２番目の画素においてデプス値の折り返しが発生しているものとする。つまり、この４画素に対応する被写体までの実距離は、「１４９０」、「１５００」、「１５１０」、「１５２０」であるとする。
　また、図１１に示されるように量子化ステップを「１０」とする。量子化部１１１は、デプス値の折り返す値をこの量子化ステップで除算することにより、その折り返す値を量子化する。つまり、この例の場合、量子化された折り返す値は、図１１に示されるように「１５０」となる。量子化部１１２は、入力データ（デプス値）を量子化ステップ「１０」で除算することにより、その入力データを量子化する。したがって、量子化部１１２により量子化された入力データは、図１１の左側に示されるように「１４９」、「０」、「１」、「２」となる。
　DPCM処理部１１３が、左隣の画素のデプス値を予測値としてデプス値と予測値との差分[1]を算出するとする。DPCM処理部１１３はデプス値として、上述した量子化された入力データを用いるので、[1]は、図１１の左側に示されるように、「－１４９」、「１」、「１」となる。つまり、折り返しが発生した画素において、差分値が増大する。
　この４画素に相当する実距離は、上述したように、「１４９０」、「１５００」、「１５１０」、「１５２０」であるので、仮にこのデプス値が折り返さないとすると、補正された入力データ（折り返さない場合の入力データ）は、「１４９」、「１５０」、「１５１」、「１５２」となる。仮に、DPCM処理部１１３が、これらをデプス値として[1]を導出すると、[1]は、「１」、「１」、「１」となる。つまり、図１１の例の場合、折り返しが発生しない場合に比べて、折り返しが発生した画素の差分値が増大する。そのため、この[1]を符号化すると、符号化効率が低減するおそれがある。
　そこで、演算部１１４は、[1]に、量子化された折り返す値「１５０」を加算し、補正結果（加算結果）[2]を導出する。図１１の左側の例の場合、[2]は、「１」、「１５１」、「１５１」となる。また、演算部１１５は、[1]から、量子化された折り返す値「１５０」を減算し、補正結果（減算結果）[3]を導出する。図１１の左側の例の場合、[3]は、「－２５９」、「－１４９」、「－１４９」となる。
　そして、選択部１１７が、選択制御部１１６の制御に従って、各画素について[1][2][3]の中で絶対値が最小となるものを選択する。図１１の左側の例の場合、「１」、「１」、「１」が選択される。
　このように差分値を適宜補正し、その中から絶対値が最小となるものを選択することにより、符号化する差分値の増大を抑制することができる。したがって、符号化効率の低減を抑制することができる。
　図１１の右側に他の例を示す。この例において、入力データである連続する４画素のデプス値が、「２０」、「１０」、「０」、「１４９０」であるとする。このデプス値は、高周波のiToFにより得られるデプス値であり、「１５００」を折り返す値としてラップアラウンドするものとする。そして、このデプス値は、正の整数であるとする。つまり、このデプス値の値域は「０」乃至「１４９９」であるとする。そして、上述の４画素の内の、一番右の画素においてデプス値の折り返しが発生しているものとする。つまり、この４画素に対応する被写体までの実距離は、「１５２０」、「１５１０」、「１５００」、「１４９０」であるとする。
　また、図１１に示されるように量子化ステップを「１０」とする。この例の場合、量子化された折り返す値は、図１１に示されるように「１５０」となる。また、量子化された入力データは、図１１の右側に示されるように「２」、「１」、「０」、「１４９」となる。
　この例の場合、[1]は、「－１」、「－１」、「－１４９」となる。つまり、折り返しが発生した画素において、差分値が増大する。
　この４画素に相当する実距離は、上述したように、「１５２０」、「１５１０」、「１５００」、「１４９０」であるので、仮にこのデプス値が折り返さないとすると、補正された入力データ（折り返さない場合の入力データ）は、「１５２」、「１５１」、「１５０」、「１４９」となる。したがって[1]は、「－１」、「－１」、「－１」となる。つまり、図１１の例の場合、折り返しが発生しない場合に比べて、折り返しが発生した画素の差分値が増大する。そのため、この[1]を符号化すると、符号化効率が低減するおそれがある。
　そこで、演算部１１４は、[1]に、量子化された折り返す値「１５０」を加算し、補正結果（加算結果）[2]を導出する。図１１の右側の例の場合、[2]は、「１４９」、「１４９」、「２９９」となる。また、演算部１１５は、[1]から、量子化された折り返す値「１５０」を減算し、補正結果（減算結果）[3]を導出する。図１１の右側の例の場合、[3]は、「－１５１」、「－１５１」、「－１」となる。
　そして、選択部１１７が、選択制御部１１６の制御に従って、各画素について[1][2][3]の中で絶対値が最小となるものを選択する。図１１の右側の例の場合、「－１」、「－１」、「－１」が選択される。
　このように差分値を適宜補正し、その中から絶対値が最小となるものを選択することにより、符号化する差分値の増大を抑制することができる。したがって、符号化効率の低減を抑制することができる。
　また、デプス値が折り返す値と、デプス値とを量子化するので、差分値の増大をより抑制することができ、符号化効率の低減をより抑制することができる。
　　＜符号化処理の流れ＞
　次に、図１２のフローチャートを参照して、符号化装置１００により実行される符号化処理の流れの例を説明する。
　符号化処理が開始されると、符号化装置１００の量子化部１１１は、ステップＳ１０１において、折り返す値を所定の量子化ステップで除算することにより、その折り返す値を量子化する。
　ステップＳ１０２において、量子化部１１２は、入力データ（所定の値域でラップアラウンドするデプス値）を、量子化部１１１が量子化に用いたのと同一の量子化ステップで除算することにより、その入力データを量子化する。
　ステップＳ１０３において、DPCM処理部１１３は、ステップＳ１０２において導出された、量子化された入力データに対してDPCM処理を実行し、現在の処理対象画素のデプス値と１つ前の処理対象画素のデプス値との差分値（差分データ）を導出する。
　ステップＳ１０４において、演算部１１４は、ステップＳ１０３において導出された差分データに、ステップＳ１０１において導出された、量子化された折り返す値を加算する。
　ステップＳ１０５において、演算部１１５は、ステップＳ１０３において導出された差分データから、ステップＳ１０１において導出された、量子化された折り返す値を減算する。
　ステップＳ１０６において、選択部１１７は、選択制御部１１６の制御に従って、ステップＳ１０３において導出された差分データ、ステップＳ１０４において導出された加算結果、および、ステップＳ１０５において導出された減算結果の内、絶対値が最小のものを選択する。
　ステップＳ１０７において、符号化部１１８は、適宜補正された差分データ（ステップＳ１０６において選択された、差分値、加算結果、または減算結果）を符号化し、符号化データを導出する。
　ステップＳ１０７の処理が終了すると、符号化処理が終了する。符号化装置１００は、このような符号化処理を、デプス画像の各画素（各デプス値）について実行する。
　このようにすることにより、上述したように、符号化する差分値の増大を抑制することができる。したがって、符号化効率の低減を抑制することができる。
　また、デプス値が折り返す値と、デプス値とを量子化するので、差分値の増大をより抑制することができ、符号化効率の低減をより抑制することができる。
　＜３．第２の実施の形態＞
　　＜復号装置＞
　図１３は、本技術を適用した情報処理装置の一態様である復号装置の構成の一例を示すブロック図である。図１３に示される復号装置２００は、iToFにより得られたデプスデータ（デプス画像、デプス値）の符号化データを復号する装置である。復号装置２００は、符号化装置１００により生成された符号化データを取得して復号し、出力データとしてデプス値を出力する。
　なお、図１３においては、処理部やデータの流れ等の主なものを示しており、図１３に示されるものが全てとは限らない。つまり、この復号装置２００において、図１３においてブロックとして示されていない処理部が存在したり、図１３において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図１３に示されるように、復号装置２００は、量子化部２１１、復号部１２１２、逆DPCM処理部２１３、演算部２１４、演算部２１５、選択制御部２１６、選択部２１７、および逆量子化部２１８を有する。演算部２１４、演算部２１５、選択制御部２１６、および選択部２１７は、補正部２２１を構成する。
　量子化部２１１は、ラップアラウンドするデプス値が折り返す値を取得する。この折り返す値は、符号化装置１００の場合（図１０の例）と同様である。この折り返す値は、復号装置２００の外部から供給される。例えば、この折り返す値が、システムコントローラ等から供給されてもよい。また、例えば、この折り返す値が、符号化データを生成した符号化装置１００から供給されてもよい。
　量子化部２１１は、取得した折り返す値を、量子化ステップを用いて量子化する。この量子化ステップは、任意のデータ単位毎に設定される。例えば、この量子化ステップが、ブロック（デプス画像の複数画素）毎に設定されてもよい。また、量子化部２１１は、この量子化ステップを逆量子化部２１８と共有する。つまり、量子化部２１１は、逆量子化部２１８と同一の量子化ステップを用いて折り返す値を量子化する。これにより折り返す値とデプス値との対応関係を維持することができる。例えば、量子化部２１１は、折り返す値を量子化ステップで除算することにより、その折り返す値を量子化する。量子化部２１１は、量子化された折り返す値（例えば、（折り返す値÷量子化ステップ））を導出すると、その量子化された折り返す値を補正部２２１（の演算部２１４、演算部２１５、および選択制御部２１６）に供給する。
　復号部２１２は、符号化データを取得する。この符号化データは、符号化装置１００が第１の実施の形態において説明した本技術を適用して生成したものである。復号部２１２は、取得した符号化データを復号し、差分データを生成する。復号部２１２は、符号化部１１８が用いた符号化方法に対応する復号方法で符号化データを復号する。この差分データは、所定の値域でラップアラウンドするデプス値に関する係数データとその係数データの予測値との差分値である。例えば、可変長符号化（VLC（Variable Length Code））であってもよいし、固定長符号化（FLC（Fixed Length Coding））であってもよい。復号部２１２は、導出した差分データを逆DPCM処理部２１３に供給する。
　逆DPCM処理部２１３は、復号部２１２から供給される、現在の処理対象画素である現処理対象画素の差分データを取得する。この差分データは、現処理対象画素の係数データと、その１つ前の処理対象画素である旧処理対象画素の係数データとの差分値である。また、逆DPCM処理部２１３は、選択部２１７から旧処理対象画素の係数データを取得する。逆DPCM処理部２１３は、その旧処理対象画素の係数データを現処理対象画素の予測値として、DPCM処理の逆処理である逆DPCM処理を行う。逆DPCM処理は、現処理対象画素の差分データに、現処理対象画素の予測値を加算する処理である。すなわち、逆DPCM処理部２１３は、現処理対象画素の差分データに対して、旧処理対象画素の係数データを加算することにより、現処理対象の係数データを導出する。このように、逆DPCM処理部２１３が差分データから係数データを導出することにより、差分値が符号化された符号化データを正しく復号することができる。すなわち、差分値の符号化を実現することができる。したがって、符号化効率の低減を抑制することができる。逆DPCM処理部２１３は、逆DPCM処理により導出した現処理対象画素の係数データを、補正部２２１（の演算部２１４、演算部２１５、選択制御部２１６、および選択部２１７）に供給する。
　補正部２２１は、量子化部２１１により量子化された折り返す値を用いて、逆DPCM処理部１２１３により導出された係数データを適宜補正する。
　演算部２１４は、逆DPCM処理部２１３から供給される係数データを取得する。また、演算部２１４は、量子化部２１１から供給される量子化された折り返す値を取得する。演算部２１４は、その係数データに対してその量子化された折り返す値を加算することにより、その係数データを補正する。演算部２１４は、その補正結果（係数データと量子化された折り返す値との加算結果）を選択部２１７に供給する。
　演算部２１５は、逆DPCM処理部２１３から供給される係数データを取得する。また、演算部２１５は、量子化部２１１から供給される量子化された折り返す値を取得する。演算部２１５は、その係数データからその量子化された折り返す値を減算することにより、その係数データを補正する。演算部２１５は、その補正結果（係数データと量子化された折り返す値との減算結果）を選択部２１７に供給する。
　選択制御部２１６は、量子化部２１１から供給される、量子化された折り返す値を取得する。また、選択制御部２１６は、逆DPCM処理部２１３から供給される係数データを取得する。選択制御部２１６は、それらの値に基づいて、選択部２１７の動作を制御する。
　選択部２１７は、逆DPCM処理部２１３から供給される係数データを取得する。また、選択部２１７は、演算部２１４から供給される係数データの補正結果（すなわち、係数データと量子化された折り返す値との加算結果）を取得する。さらに、選択部２１７は、演算部２１５から供給される係数データの補正結果（すなわち、係数データと量子化された折り返す値との減算結果）を取得する。選択部２１７は、選択制御部２１６の制御に従って、取得した係数データ、加算結果、および減算結果の内、その値がデプス値の値域内であるものを選択する。選択部２１７は、選択した値（係数データ、加算結果、および減算結果のいずれか）を、適宜補正された係数データとして、逆量子化部２１８に供給する。
　逆量子化部２１８は、選択部２１７から供給される、適宜補正された係数データを取得する。この係数データは量子化されたデプス値である。
　逆量子化部２１８は、その適宜補正された係数データを、量子化ステップを用いて逆量子化する。例えば、逆量子化部２１８は、係数データ、加算結果、および減算結果の内、選択部２１７により選択されたものを逆量子化する。この適宜補正された係数データは、量子化されたデプス値である。つまり、逆量子化部２１８は、その適宜補正された係数データを逆量子化することにより、デプス値を導出する。
　この量子化ステップは、任意のデータ単位毎に設定される。例えば、この量子化ステップが、ブロック（デプス画像の複数画素）毎に設定されてもよい。また、逆量子化部２１８は、この量子化ステップを量子化部２１１と共有する。つまり、逆量子化部２１８は、量子化部２１１と同一の量子化ステップを用いて係数データを逆量子化する。これにより折り返す値とデプス値との対応関係を維持することができる。例えば、逆量子化部２１８は、適宜補正された係数データに対して量子化ステップを乗算することにより、デプス値を導出する。
　このデプス値は、測距に用いられるセンサから測距の対象物体を含む被写体までの距離を示す情報である。この測距の方法は任意である。例えば、間接ToF（Time-of-Flight）方式の測距によりこのデプス値が導出されてもよい。例えば、光出力部からIRレーザ光が照射され、測距の対象物体を含む被写体においてその照射光が反射した反射光がセンサにより検出され、その照射光と反射光との位相差からこのデプス値が導出されてもよい。センサが複数画素を有し、デプス値は、そのセンサの画素毎に導出されてもよい。つまり、逆量子化部２１８は、係数データを逆量子化することにより、このようなデプス値を導出する。
　このデプス値は、所定の値域でラップアラウンドする。例えば、このデプス値が、高周波の変調周波数の光を用いて行われる間接ToF方式の測距により導出されたものであってもよい。例えば、測距可能な範囲が被写体までの距離が取り得る値の範囲よりも狭くなる変調周波数の光を照射し、反射光を検出することにより導出されるデプス値が、この逆量子化によって得られる（復元される）ようにしてもよい。
　逆量子化部２１８は、導出したデプス値を出力データとして、復号装置２００の外部に出力する。
　　＜処理例＞
　この復号装置２００による処理の例を、図１４を参照して説明する。例えば、図１４の左側の例のように、連続する４画素の左隣の画素との差分データが、「１」、「１」、「１」であるとする。この差分データを逆DPCM処理すると、係数データ（復号データ）は、「１４９」、「１５０」、「１」、「２」となる。
　この係数データが、値域（０乃至１４９）から外れた場合、選択部２１７は、その値域内となる、補正された係数データを選択する。図１４の左側の例の場合、左から２番目の画素の復号データが地域から外れているので、選択部２１７は、補正された係数データを選択する。この例の場合、選択部２１７は、復号データから量子化された折り返す値を減算した減算結果を選択する。
　そして、逆量子化部２１８は、このように適宜補正された係数データを逆量子化する。この逆量子化により、「１４９０」、「０」、「１０」、「２０」の出力データ（デプス値）が得られる。
　図１４の右側の例の場合、連続する４画素の左隣の画素との差分データが、「－１」、「－１」、「－１」である。この差分データを逆DPCM処理すると、「２」、「１」、「０」、「－１」の係数データ（復号データ）が得られる。
　この係数データが、値域（０乃至１４９）から外れた場合、選択部２１７は、その値域内となる、補正された係数データを選択する。図１４の右側の例の場合、左から４番目の画素の復号データが地域から外れているので、選択部２１７は、補正された係数データを選択する。この例の場合、選択部２１７は、復号データに量子化された折り返す値を加算した加算結果を選択する。
　そして、逆量子化部２１８は、このように適宜補正された係数データを逆量子化する。この逆量子化により、「２０」、「１０」、「０」、「１４９０」の出力データ（デプス値）が得られる。
　このように値域から外れた係数データを適宜補正することにより、差分値の増大を抑制することができる。したがって、符号化効率の低減を抑制することができる。また、デプス値が折り返す値を量子化して利用するので、差分値の増大をより抑制することができ、符号化効率の低減をより抑制することができる。
　　＜復号処理の流れ＞
　次に、図１５のフローチャートを参照して、復号装置２００により実行される復号処理の流れの例を説明する。
　復号処理が開始されると、復号装置２００の量子化部２１１は、ステップＳ２０１において、折り返す値を所定の量子化ステップで除算することにより、その折り返す値を量子化する。
　ステップＳ２０２において、復号部２１２は、符号化データを復号し、差分データを導出する。
　ステップＳ２０３において、逆DPCM処理部２１３は、ステップＳ２０１において導出された差分データに対して逆DPCM処理を実行し、係数データ（復号データ）を導出する。
　ステップＳ２０４において、演算部２１４は、ステップＳ２０３において導出された係数データ（復号データ）に、ステップＳ２０１において導出された、量子化された折り返す値を加算する。
　ステップＳ２０５において、演算部２１５は、ステップＳ２０３において導出された係数データ（復号データ）から、ステップＳ２０１において導出された、量子化された折り返す値を減算する。
　ステップＳ２０６において、選択部２１７は、選択制御部２１６の制御に従って、ステップＳ２０３において導出された係数データ（復号データ）、ステップＳ２０４において導出された加算結果、および、ステップＳ２０５において導出された減算結果の内、デプス値の値域内となるものを選択する。
　ステップＳ２０７において、逆量子化部２１８は、ステップＳ２０３において導出された係数データ（復号データ）、ステップＳ２０４において導出された加算結果、および、ステップＳ２０５において導出された減算結果の内、ステップＳ２０６において選択されたものを逆量子化し、デプス値を導出する。
　ステップＳ２０７の処理が終了すると復号処理が終了する。復号装置２００は、このような復号処理を、デプス画像の各画素（各デプス値）について実行する。
　このようにすることにより、上述したように、差分値の増大を抑制することができる。したがって、符号化効率の低減を抑制することができる。また、デプス値が折り返す値を量子化するので、差分値の増大をより抑制することができ、符号化効率の低減をより抑制することができる。
　＜４．第３の実施の形態＞
　　＜符号化装置＞
　図９においては、符号化装置１００による差分値を適宜補正する方法として、差分値、加算結果、および減算結果を導出し、それらの中から、絶対値が最小のものを選択するように説明した。しかしながら、差分値を適宜補正する方法は任意であり、この例に限定されない。例えば、差分値に基づいて補正方法を選択するようにしてもよい。
　その場合の符号化装置１００の主な構成例を、図１６に示す。この場合、DPCM処理部１１３は、DPCM処理により導出した差分値を、補正部１２１（の選択制御部１１６および選択部１１７）に供給する。
　選択制御部１１６は、DPCM処理部１１３から供給される差分値を取得する。また、選択制御部１１６は、量子化部１１１から供給される、量子化された折り返す値を取得する。選択制御部１１６は、それらの値に基づいて、選択部１１７の動作を制御する。
　選択部１１７は、DPCM処理部１１３から供給される差分値を取得する。選択部１１７は、選択制御部１１６の制御に従って、取得した差分値の値に基づいて、その差分値の補正方法を選択する。そして、選択部１１７は、その選択に応じた処理部に差分値を供給する。例えば、選択部１１７は、差分値の補正方法として、差分値の補正を省略するか、差分値に量子化された折り返す値を加算するか、差分値から量子化された折り返す値を減算するかを選択する。そして、差分値の補正の省略が選択された場合、選択部１１７は、差分値を符号化部１１８に供給する。また、量子化された折り返す値の加算が選択された場合、選択部１１７は、差分値を演算部１１４に供給する。さらに、量子化された折り返す値の減算が選択された場合、選択部１１７は、差分値を演算部１１５に供給する。
　演算部１１４は、選択部１１７により量子化された折り返す値の加算が選択された場合、選択部１１７から供給される差分値を取得し、その差分値に、量子化部１１１から供給される、量子化された折り返す値を加算する。演算部１１４は、その補正結果（差分値と量子化された折り返す値との加算結果）を符号化部１１８に供給する。
　演算部１１５は、選択部１１７により量子化された折り返す値の減算が選択された場合、選択部１１７から供給される差分値を取得し、その差分値から、量子化部１１１から供給される、量子化された折り返す値を減算する。演算部１１５は、その補正結果（差分値と量子化された折り返す値との減算結果）を符号化部１１８に供給する。
　符号化部１１８は、選択部１１７により差分値の補正の省略が選択された場合、その選択部１１７から供給される差分値を取得し、その差分値を符号化する。また、符号化部１１８は、選択部１１７により量子化された折り返す値の加算が選択された場合、演算部１１４により導出された差分値と量子化された折り返す値との加算結果を符号化する。さらに、符号化部１１８は、選択部１１７により量子化された折り返す値の減算が選択された場合、演算部１１５により導出された差分値と量子化された折り返す値との減算結果を符号化する。適用可能な符号化方法は図９の場合と同様である。このように、符号化部１１８は、適宜補正された差分値（差分値、加算結果、または減算結果）を符号化することにより導出した符号化データを、符号化装置１００の外部に出力する。
　このように差分値の値に基づいて補正方法を選択することにより、符号化する差分値の増大を抑制することができる。したがって、符号化効率の低減を抑制することができる。また、この場合も、デプス値が折り返す値と、デプス値とを量子化するので、差分値の増大をより抑制することができ、符号化効率の低減をより抑制することができる。
　　＜符号化処理の流れ＞
　この場合の符号化処理の流れの例を、図１７のフローチャートを参照して説明する。
　この場合、符号化処理が開始されると、符号化装置１００の量子化部１１１は、ステップＳ３０１において、折り返す値を所定の量子化ステップで除算することにより、その折り返す値を量子化する。
　ステップＳ３０２において、量子化部１１２は、入力データ（所定の値域でラップアラウンドするデプス値）を、量子化部１１１が量子化に用いたのと同一の量子化ステップで除算することにより、その入力データを量子化する。
　ステップＳ３０３において、DPCM処理部１１３は、ステップＳ１０２において導出された、量子化された入力データに対してDPCM処理を実行し、現在の処理対象画素のデプス値と１つ前の処理対象画素のデプス値との差分値（差分データ）を導出する。
　ステップＳ３０４において、選択部１１７は、選択制御部１１６の制御に従って、差分データの値に基づいてその差分データの補正方法を選択する。
　ステップＳ３０５において、選択制御部１１６は、差分データに量子化された折り返す値を加算するか否かを判定する。差分データに量子化された折り返す値を加算すると判定された場合、すなわち、選択部１１７が、量子化された折り返す値の加算を選択した場合、処理はステップＳ３０６に進む。
　ステップＳ３０６において、演算部１１４は、ステップＳ３０３において導出された差分データに、ステップＳ３０１において導出された、量子化された折り返す値を加算する。ステップＳ３０６の処理が終了すると、処理はステップＳ３０９に進む。
　また、ステップＳ３０５において、差分データに量子化された折り返す値を加算しないと判定された場合、処理はステップＳ３０７に進む。
　ステップＳ３０７において、選択制御部１１６は、差分データから、量子化された折り返す値を減算するか否かを判定する。差分データから、量子化された折り返す値を減算すると判定された場合、すなわち、選択部１１７が、量子化された折り返す値の減算を選択した場合、処理はステップＳ３０８に進む。
　ステップＳ３０８において、演算部１１５は、ステップＳ３０３において導出された差分データから、ステップＳ３０１において導出された、量子化された折り返す値を減算する。ステップＳ３０８の処理が終了すると、処理はステップＳ３０９に進む。
　また、ステップＳ３０７において、差分データから、量子化された折り返す値を減算しないと判定された場合、すなわち、差分データの補正を省略（スキップ）すると判定された場合、処理はステップＳ３０９に進む。
　ステップＳ３０９において、符号化部１１８は、以上のように適宜補正された差分データ（ステップＳ３０３において導出された差分値、ステップＳ３０６において導出された加算結果、または、ステップＳ３０８において導出された減算結果）を符号化し、符号化データを導出する。
　ステップＳ３０９の処理が終了すると、符号化処理が終了する。符号化装置１００は、このような符号化処理を、デプス画像の各画素（各デプス値）について実行する。
　このようにすることにより、上述したように、符号化する差分値の増大を抑制することができる。したがって、符号化効率の低減を抑制することができる。また、この場合も、デプス値が折り返す値と、デプス値とを量子化するので、差分値の増大をより抑制することができ、符号化効率の低減をより抑制することができる。
　＜５．第４の実施の形態＞
　　＜復号装置＞
　図１３においては、復号装置２００による係数データを適宜補正する方法として、差分値、加算結果、および減算結果を導出し、それらの内、デプス値の値域内となるものを選択するように説明した。しかしながら、係数データを適宜補正する方法は任意であり、この例に限定されない。例えば、係数データの値に基づいて補正方法を選択するようにしてもよい。
　その場合の復号装置２００の主な構成例を、図１８に示す。この場合、逆DPCM処理部２１３は、逆DPCM処理により導出した係数データを、補正部２２１（の選択制御部２１６および選択部２１７）に供給する。
　選択制御部２１６は、逆DPCM処理部２１３から供給される係数データを取得する。また、選択制御部２１６は、量子化部２１１から供給される、量子化された折り返す値を取得する。選択制御部２１６は、それらの値に基づいて、選択部２１７の動作を制御する。
　選択部２１７は、逆DPCM処理部２１３から供給される係数データを取得する。選択部２１７は、選択制御部２１６の制御に従って、取得した係数データの値に基づいて、その係数データの補正方法を選択する。そして、選択部２１７は、その選択に応じた処理部に係数データを供給する。例えば、選択部２１７は、係数データの補正方法として、係数データの補正を省略するか、係数データに量子化された折り返す値を加算するか、係数データから量子化された折り返す値を減算するかを選択する。そして、係数データの補正の省略が選択された場合、選択部２１７は、係数データを逆量子化部２１８に供給する。また、量子化された折り返す値の加算が選択された場合、選択部２１７は、係数データを演算部２１４に供給する。さらに、量子化された折り返す値の減算が選択された場合、選択部２１７は、係数データを演算部２１５に供給する。
　演算部２１４は、選択部２１７により量子化された折り返す値の加算が選択された場合、選択部２１７から供給される係数データを取得し、その係数データに、量子化部２１１から供給される、量子化された折り返す値を加算する。演算部２１４は、その補正結果（係数データと量子化された折り返す値との加算結果）を逆量子化部２１８に供給する。
　演算部２１５は、選択部２１７により量子化された折り返す値の減算が選択された場合、選択部２１７から供給される係数データを取得し、その係数データから、量子化部２１１から供給される、量子化された折り返す値を減算する。演算部２１５は、その補正結果（係数データと量子化された折り返す値との減算結果）を逆量子化部２１８に供給する。
　逆量子化部２１８は、選択部２１７により係数データの補正の省略が選択された場合、その選択部２１７から供給される係数データを取得し、その係数データを、量子化ステップを用いて逆量子化する。また、逆量子化部２１８は、選択部２１７により量子化された折り返す値の加算が選択された場合、演算部２１４により導出された係数データと量子化された折り返す値との加算結果を取得し、その加算結果を、量子化ステップを用いて逆量子化する。さらに、逆量子化部２１８は、選択部２１７により量子化された折り返す値の減算が選択された場合、演算部２１５により導出された係数データと量子化された折り返す値との減算結果を取得し、その減算結果を、量子化ステップを用いて逆量子化する。
　以上のように適宜補正された係数データは、量子化されたデプス値である。つまり、逆量子化部２１８は、その適宜補正された係数データを逆量子化することにより、デプス値を導出する。
　なお、この量子化ステップは、図１３の場合と同様に、任意のデータ単位毎に設定される。例えば、この量子化ステップが、ブロック（デプス画像の複数画素）毎に設定されてもよい。また、逆量子化部２１８は、図１３の場合と同様に、この量子化ステップを量子化部２１１と共有する。つまり、逆量子化部２１８は、量子化部２１１と同一の量子化ステップを用いて係数データを逆量子化する。これにより折り返す値とデプス値との対応関係を維持することができる。例えば、逆量子化部２１８は、適宜補正された係数データに対して量子化ステップを乗算することにより、デプス値を導出する。
　逆量子化部２１８は、導出したデプス値を出力データとして、復号装置２００の外部に出力する。
　このように係数データの値に基づいて補正方法を選択することにより、差分値の増大を抑制することができる。したがって、符号化効率の低減を抑制することができる。また、この場合も、デプス値が折り返す値を、係数データの逆量子化と同一の量子化ステップで量子化するので、差分値の増大をより抑制することができ、符号化効率の低減をより抑制することができる。
　　＜復号処理の流れ＞
　この場合の復号処理の流れの例を、図１９のフローチャートを参照して説明する。
　この場合、復号処理が開始されると、復号装置２００の量子化部２１１は、ステップＳ４０１において、折り返す値を所定の量子化ステップで除算することにより、その折り返す値を量子化する。
　ステップＳ４０２において、復号部２１２は、入力データである符号化データを復号し、差分データを導出する。
　ステップＳ４０３において、逆DPCM処理部２１３は、ステップＳ４０２において導出された差分データに対して逆DPCM処理を実行し、現在の処理対象画素の係数データ（復号データ）を導出する。
　ステップＳ４０４において、選択部２１７は、選択制御部２１６の制御に従って、係数データの値に基づいてその係数データ（復号データ）の補正方法を選択する。
　ステップＳ４０５において、選択制御部２１６は、係数データに量子化された折り返す値を加算するか否かを判定する。係数データに量子化された折り返す値を加算すると判定された場合、すなわち、選択部２１７が、量子化された折り返す値の加算を選択した場合、処理はステップＳ４０６に進む。
　ステップＳ４０６において、演算部２１４は、ステップＳ４０３において導出された係数データ（復号データ）に、ステップＳ４０１において導出された、量子化された折り返す値を加算する。ステップＳ４０６の処理が終了すると、処理はステップＳ４０９に進む。
　また、ステップＳ４０５において、係数データに量子化された折り返す値を加算しないと判定された場合、処理はステップＳ４０７に進む。
　ステップＳ４０７において、選択制御部２１６は、係数データから、量子化された折り返す値を減算するか否かを判定する。係数データから、量子化された折り返す値を減算すると判定された場合、すなわち、選択部２１７が、量子化された折り返す値の減算を選択した場合、処理はステップＳ４０８に進む。
　ステップＳ４０８において、演算部２１５は、ステップＳ４０３において導出された差分データから、ステップＳ４０１において導出された、量子化された折り返す値を減算する。ステップＳ４０８の処理が終了すると、処理はステップＳ４０９に進む。
　また、ステップＳ４０７において、係数データから、量子化された折り返す値を減算しないと判定された場合、すなわち、係数データの補正を省略（スキップ）すると判定された場合、処理はステップＳ４０９に進む。
　ステップＳ４０９において、逆量子化部２１８は、以上のように適宜補正された係数データ（ステップＳ４０３において導出された係数データ、ステップＳ４０６において導出された加算結果、または、ステップＳ４０８において導出された減算結果）を、ステップＳ４０１における量子化に用いられたのと同一の量子化ステップを用いて逆量子化し、デプス値を導出する。
　ステップＳ４０９の処理が終了すると、復号装置２００は、このような復号処理を、デプス画像の各画素（各デプス値）について実行する。
　このようにすることにより、上述したように、差分値の増大を抑制することができる。したがって、符号化効率の低減を抑制することができる。また、この場合も、デプス値が折り返す値を量子化するので、差分値の増大をより抑制することができ、符号化効率の低減をより抑制することができる。
　＜６．第５の実施の形態＞
　　＜測距装置＞
　図２０は、測距装置の主な構成例を示すブロック図である。図２０に示される測距装置５００は、複数の変調周波数のiToFを組み合わせて測距を行う。例えば、測距装置５００は、低周波の変調周波数のiToFを行ってデプス値を導出し、高周波の変調周波数のiToFを行ってデプス値を導出し、それらのデプス値をマージする。このようにすることにより、測距装置５００は、測距可能な範囲を狭めることを抑制しながら、測距の精度を向上させることができる。
　なお、図２０においては、処理部やデータの流れ等の主なものを示しており、図２０に示されるものが全てとは限らない。つまり、この測距装置５００において、図２０においてブロックとして示されていない処理部が存在したり、図２０において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図２０に示されるように、測距装置５００は、制御部５０１、光出力部５１１、検出部５１２、iToF測定部５１３、RAM（Random Access Memory）５１４、およびデータマージ部５１５を有する。iToF測定部５１３は、デプス値導出部５２１および符号化部５２２を有する。データマージ部５１５は、復号部５３１およびマージ処理部５３２を有する。
　制御部５０１は、測距装置５００の各処理部を制御する。図２０に示されるように測距装置５００は、光出力部５１１、検出部５１２、およびiToF測定部５１３を１組しか有していない。測距装置５００は、高周波の変調周波数のiToFも、低周波の変調周波数のiToFも、この１組の光出力部５１１、検出部５１２、およびiToF測定部５１３を用いて行う。そのため、制御部５０１は、この１組の光出力部５１１、検出部５１２、およびiToF測定部５１３を時分割して、高周波の変調周波数のiToFと、低周波の変調周波数のiToFの両方を実行させる。
　光出力部５１１は、高周波の変調周波数の光（例えばIRレーザ光）と低周波の変調周波数の光（例えばIRレーザ光）とを、時分割して出力する。
　検出部５１２は、光出力部５１１より照射された照射光の反射光を検出する。検出部５１２は、光出力部５１１が高周波の変調周波数の光を照射したタイミングに対応するタイミングにおいて、その反射光（高周波の変調周波数の反射光）を検出する。また、検出部５１２は、光出力部５１１が低周波の変調周波数の光を照射したタイミングに対応するタイミングにおいて、その反射光（低周波の変調周波数の反射光）を検出する。検出部５１２は、その検出結果のデータ（各画素において受光した光量を示すデータ）をiToF測定部５１３（のデプス値導出部５２１）に供給する。
　デプス値導出部５２１は、その検出結果を用いて間接ToF方式により被写体までのデプス値を導出する。デプス値導出部５２１は、高周波の変調周波数の光を用いたiToFによるデプス値の導出と、低周波の変調周波数の光を用いたiToFによるデプス値の導出とを時分割に行う。
　データマージ部５１５のマージ処理部５３２は、これらのデプス値をマージする。そのマージのために、少なくとも高周波の変調周波数の光を用いたiToFにより導出されたデプス値がRAM５１４に記憶される。そこで、デプス値導出部５２１は、少なくとも、高周波の変調周波数の光を用いたiToFにより導出したデプス値を符号化部５２２に供給する。なお、低周波の変調周波数の光を用いたiToFにより導出したデプス値をRAM５１４に記憶させない場合、デプス値導出部５２１は、そのデプス値をデータマージ部５１５のマージ処理部５３２に供給する。
　符号化部５２２は、そのデプス値を符号化し、符号化データを生成する。符号化部５２２は、その符号化データをRAM５１４に供給し、記憶させる。
　RAM５１４は、符号化部５２２から供給される符号化データを記憶する。また、RAM５１４は、復号部５３１の要求に応じて、記憶している符号化データを復号部５３１に供給する。
　データマージ部５１５の復号部５３１は、RAM５１４に記憶されている符号化データを読み出して復号し、デプス値を導出する。復号部５３１は、導出したデプス値をマージ処理部５３２に供給する。
　マージ処理部５３２は、高周波の変調周波数の光を用いたiToFにより導出したデプス値と、低周波の変調周波数の光を用いたiToFにより導出したデプス値とを取得し、それらをマージする。マージ処理部５３２は、マージしたデプス値を出力する。
　このような測距装置５００において本技術を適用することができる。例えば、符号化部５２２として、第１の実施の形態や第３の実施の形態において説明した符号化装置１００を適用してもよい。また、復号部５３１として、第２の実施の形態や第４の実施の形態において説明した復号装置２００を適用してもよい。
　このようにすることにより、RAM５１４に記憶させる符号化データの符号化効率の低減を抑制することができる。これにより、RAM５１４の記憶容量の増大を抑制することができる。そのため、コストの増大を抑制することができる。また、回路規模や消費電力の増大を抑制することができる。
　　＜測距処理の流れ＞
　測距装置５００により実行される測距処理の流れの例を、図２１のフローチャートを参照して説明する。
　測距処理が開始されると、制御部５０１は、ステップＳ５０１において、変調周波数を高周波に設定する。
　ステップＳ５０２において、光出力部５１１は、高周波の変調周波数の光を照射する。検出部５１２は、その反射光を検出する。
　ステップＳ５０３において、デプス値導出部５２１は、高周波の変調周波数の光を用いたiToFによりデプス値を導出する。
　ステップＳ５０４において、符号化部５２２は、符号化処理を実行し、そのデプス値を符号化する。
　ステップＳ５０５において、RAM５１４は、ステップＳ５０４において導出された符号化データを記憶する。
　ステップＳ５０６において、制御部５０１は、変調周波数を低周波に設定する。
　ステップＳ５０７において、光出力部５１１は、低周波の変調周波数の光を照射する。検出部５１２は、その反射光を検出する。
　ステップＳ５０８において、デプス値導出部５２１は、低周波の変調周波数の光を用いたiToFによりデプス値を導出する。
　ステップＳ５０９において、復号部５３１は、ステップＳ５０６において記憶された符号化データを読み出す。ステップＳ５１０において、復号部５３１は、復号処理を実行し、その読み出した符号化データを復号する。
　ステップＳ５１１において、マージ処理部５３２は、高周波の変調周波数の光を用いたiToFにより導出したデプス値と、低周波の変調周波数の光を用いたiToFにより導出したデプス値とをマージする。
　ステップＳ５１２において、制御部５０１は、測距処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ５０１に戻り、それ以降の処理が繰り返される。そして、ステップＳ５１２において、測距処理を終了すると判定された場合、測距処理が終了する。
　このような測距処理において本技術を適用することができる。例えば、ステップＳ５０４の符号化処理として、図１２のフローチャートを参照して説明した符号化処理や、図１７のフローチャートを参照して説明した符号化処理を適用してもよい。また、ステップＳ５１０の復号処理として、図１５のフローチャートを参照して説明した復号処理や、図１９のフローチャートを参照して説明した復号処理を適用してもよい。
　このようにすることにより、RAM５１４に記憶させる符号化データの符号化効率の低減を抑制することができる。これにより、RAM５１４の記憶容量の増大を抑制することができる。そのため、コストの増大を抑制することができる。また、回路規模や消費電力の増大を抑制することができる。
　＜７．第６の実施の形態＞
　　＜並列構成＞
　測距装置がiToFを行う構成を複数系統有していてもよい。例えば、図２２に示されるように、高周波の変調周波数の光を用いたiToFによるデプス値の導出と、低周波の変調周波数の光を用いたiToFによるデプス値の導出とを、互いに異なる構成により行うようにしてもよい。
　　＜測距装置＞
　図２３は、その場合の測距装置の主な構成例を示すブロック図である。図２３に示される測距装置６００は、測距装置５００と同様、複数の変調周波数のiToFを組み合わせて測距を行う。例えば、測距装置６００は、低周波の変調周波数のiToFを行ってデプス値を導出し、高周波の変調周波数のiToFを行ってデプス値を導出し、それらのデプス値をマージする。このようにすることにより、測距装置６００は、測距可能な範囲を狭めることを抑制しながら、測距の精度を向上させることができる。
　図２３に示されるように、測距装置６００は、高周波測距部６０１、低周波測距部６０２、およびデータマージ部６０３を有する。高周波測距部６０１は、高周波の変調周波数のiToFを行ってデプス値を導出する。低周波測距部６０２は、低周波の変調周波数のiToFを行ってデプス値を導出する。データマージ部６０３は、高周波測距部６０１により導出されたデプス値と、低周波測距部６０２により導出されたデプス値とを取得し、それらをマージする。
　高周波測距部６０１は、光出力部６１１、検出部６１２、およびiToF測定部６１３を有する。iToF測定部６１３は、デプス値導出部６２１および符号化部６２２を有する。
　光出力部６１１は、高周波の変調周波数の光（例えばIRレーザ光）を照射する。検出部６１２は、その反射光を検出し、検出結果を示すデータをiToF測定部６１３（のデプス値導出部６２１）に供給する。
　デプス値導出部６２１は、検出部６１２から供給されるデータを用いて、検出結果を用いて間接ToF方式により被写体までのデプス値を導出する。つまり、デプス値導出部６２１は、高周波の変調周波数の光を用いたiToFによりデプス値を導出する。符号化部６２２は、デプス値導出部６２１により導出されたデプス値を符号化する。符号化部６２２は、生成した符号化データ（高周波の変調周波数の光を用いたiToFにより導出されたデプス値の符号化データ）を、データマージ部６０３（の復号部６５１）に供給する。
　低周波測距部６０２は、光出力部６３１、検出部６３２、およびiToF測定部６３３を有する。iToF測定部６３３は、デプス値導出部６４１および符号化部６４２を有する。
　光出力部６３１は、低周波の変調周波数の光（例えばIRレーザ光）を照射する。検出部６３２は、その反射光を検出し、検出結果を示すデータをiToF測定部６３３（のデプス値導出部６４１）に供給する。
　デプス値導出部６４１は、検出部６３２から供給されるデータを用いて、検出結果を用いて間接ToF方式により被写体までのデプス値を導出する。つまり、デプス値導出部６４１は、低周波の変調周波数の光を用いたiToFによりデプス値を導出する。符号化部６４２は、デプス値導出部６４１により導出されたデプス値を符号化する。符号化部６４２は、生成した符号化データ（低周波の変調周波数の光を用いたiToFにより導出されたデプス値の符号化データ）を、データマージ部６０３（の復号部６５２）に供給する。
　データマージ部６０３は、復号部６５１、復号部６５２、およびマージ処理部６５３を有する。
　復号部６５１は、符号化部６２２から供給される符号化データを復号し、高周波の変調周波数の光を用いたiToFにより導出されたデプス値を生成（復元）する。復号部６５１は、そのデプス値をマージ処理部６５３に供給する。
　復号部６５２は、符号化部６４２から供給される符号化データを復号し、低周波の変調周波数の光を用いたiToFにより導出されたデプス値を生成（復元）する。復号部６５２は、そのデプス値をマージ処理部６５３に供給する。
　マージ処理部６５３は、復号部６５１および復号部６５２から供給されるデプス値をマージする。つまり、マージ処理部６５３は、高周波の変調周波数の光を用いたiToFにより導出されたデプス値と、低周波の変調周波数の光を用いたiToFにより導出されたデプス値とをマージする。マージ処理部６５３は、マージしたデプス値を出力する。
　このような測距装置６００において本技術を適用することができる。例えば、符号化部６２２として、第１の実施の形態や第３の実施の形態において説明した符号化装置１００を適用してもよい。また、復号部６５１として、第２の実施の形態や第４の実施の形態において説明した復号装置２００を適用してもよい。
　このようにすることにより、高周波測距部６０１からデータマージ部６０３へ伝送する符号化データの符号化効率の低減を抑制することができる。これにより、高周波測距部６０１からデータマージ部６０３へデプス値を伝送するのに必要な帯域幅の増大を抑制することができ、コストの増大を抑制することができる。また、回路規模や消費電力の増大を抑制することができる。
　　＜折り返す値の供給方法＞
　なお、折り返す値は、図２４に示される例のように、符号化側から復号側に供給されるようにしてもよい。例えば、折り返す値が、符号化部６２２から復号部６５１に供給されるようにしてもよい。また、折り返す値が、符号化部６４２から復号部６５２に供給されるようにしてもよい。
　また、折り返す値は、図２５に示される例のように、高周波測距部６０１および低周波測距部６０２とは別の処理部（例えば、上位システムコントローラ７０１）から供給されるようにしてもよい。例えば、折り返す値が、上位システムコントローラ７０１から符号化部６２２および復号部６５１に供給されるようにしてもよい。また、折り返す値が、上位システムコントローラ７０１から符号化部６４２および復号部６５２に供給されるようにしてもよい。
　　＜測距処理の流れ＞
　測距装置６００により実行される測距処理の流れの例を、図２６のフローチャートを参照して説明する。
　測距処理が開始されると、高周波測距部６０１の光出力部６１１は、ステップＳ６０１において、高周波の変調周波数の光を照射する。検出部６１２は、その反射光を検出する。
　ステップＳ６０２において、デプス値導出部６２１は、高周波の変調周波数の光を用いたiToFによりデプス値を導出する。
　ステップＳ６０３において、符号化部６２２は、符号化処理を実行し、そのデプス値を符号化する。ステップＳ６０４において、符号化部６２２は、生成した符号化データ（高周波の変調周波数の光を用いたiToFにより導出されたデプス値の符号化データ）をデータマージ部６０３の復号部６５１宛てに伝送する。復号部６５１は、その符号化データを取得する。
　ステップＳ６０５において、復号部６５１は、復号処理を実行し、その符号化データを復号し、高周波の変調周波数の光を用いたiToFにより導出されたデプス値を生成（復元）する。
　ステップＳ６０６において、低周波測距部６０２の光出力部６３１は、低周波の変調周波数の光を照射する。検出部６３２は、その反射光を検出する。
　ステップＳ６０７において、デプス値導出部６４１は、低周波の変調周波数の光を用いたiToFによりデプス値を導出する。
　ステップＳ６０８において、符号化部６４２は、符号化処理を実行し、そのデプス値を符号化する。ステップＳ６０９において、符号化部６４２は、生成した符号化データ（低周波の変調周波数の光を用いたiToFにより導出されたデプス値の符号化データ）をデータマージ部６０３の復号部６５２宛てに伝送する。復号部６５２は、その符号化データを取得する。
　ステップＳ６１０において、復号部６５２は、復号処理を実行し、その符号化データを復号し、低周波の変調周波数の光を用いたiToFにより導出されたデプス値を生成（復元）する。
　ステップＳ６１１において、マージ処理部６５３は、ステップＳ６０６において生成された高周波の変調周波数の光を用いたiToFにより導出されたデプス値と、ステップＳ６１０において生成された低周波の変調周波数の光を用いたiToFにより導出されたデプス値とをマージする。
　ステップＳ６１２において、マージ処理部６５３は、測距処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ６０１に戻り、それ以降の処理が繰り返される。そして、ステップＳ６１２において、測距処理を終了すると判定された場合、測距処理が終了する。
　このような測距処理において本技術を適用することができる。例えば、ステップＳ６０３の符号化処理として、図１２のフローチャートを参照して説明した符号化処理や、図１７のフローチャートを参照して説明した符号化処理を適用してもよい。また、ステップＳ６０５の復号処理として、図１５のフローチャートを参照して説明した復号処理や、図１９のフローチャートを参照して説明した復号処理を適用してもよい。
　このようにすることにより、高周波測距部６０１からデータマージ部６０３へ伝送する符号化データの符号化効率の低減を抑制することができる。これにより、高周波測距部６０１からデータマージ部６０３へデプス値を伝送するのに必要な帯域幅の増大を抑制することができ、コストの増大を抑制することができる。また、回路規模や消費電力の増大を抑制することができる。
　＜８．付記＞
　　＜３以上の変調周波数の利用＞
　以上においては、複数の変調周波数のiToFを組み合わせる例として、低周波と高周波の２種類の変調周波数のiToFを組み合わせる例を説明したが、組み合わせの例は任意であり、この例に限定されない。例えば、３種類以上の変調周波数のiToFを組み合わせてもよい。
　その場合、少なくとも、変調周波数が最も低い光を用いたiToFにより導出されるデプス値がラップアラウンドしないようにすればよい。換言するに、それよりも高周波の変調周波数の光を用いたiToFにより導出されるデプス値は、それぞれの値域（折り返す値）でラップアラウンドしてもよい。したがって、本技術を適用することにより、それらのデプス値について、符号化効率の低減を抑制することができる。
　　＜予測方法＞
　以上においては、１つ前の処理対象画素のデータを予測値とするDPCM（逆DPCM）を例に説明したが、予測方法は任意であり、この例に限定されない。例えば、図２７に示されるように、P2予測を用いてもよい。
　P2予測では、図２７のＡに示されるように、グレーで示される処理対象画素の画素値Ｘの予測値が、処理対象画素の左の画素の画素値Ａ、処理対象画素の上の画素の画素値Ｂ、および、処理対象画素の左上の画素の画素値Ｃを用いて導出される。その際、図２７のＢに示されるように、画素値Ｃが値Ｄと値Ｅより大きいか否かによって予測方法が設定される。図２７のＡに示されるように、画素値Ａおよび画素値Ｂの小さい方が値Ｄに設定され、画素値Ａおよび画素値Ｂの大きい方が値Ｅに設定される。そして、画素値Ｃが値Ｄより小さい場合、値Ｅが画素値Ｘの予測値とされる。また、画素値Ｃが、値Ｄ以上であり、かつ、値Ｅより小さい場合、（Ａ＋Ｂ－Ｃ）が画素値Ｘの予測値とされる。さらに、画素値Ｃが値Ｅ以上である場合、値Ｄが画素値Ｘの予測値とされる。
　このようなP2予測を適用する場合も、上述のDPCMの場合と同様に、符号化効率の低減を抑制することができる。
　また、ビットストリームにて伝送されたリファインメント（Refinement）を用いることにより、逆量子化で求められたデータの精度を高める仕組みを導入してもよい。
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図２８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図２８に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用可能な構成＞
　本技術は、任意の構成に適用することができる。例えば、本技術は、様々な電子機器に適用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　所定の量子化ステップを用いて、所定の値域でラップアラウンドするデプス値を量子化する第１の量子化部と、
　前記第１の量子化部により量子化された前記デプス値と前記デプス値の予測値との差分値を導出する差分値導出部と、
　前記量子化ステップを用いて、前記デプス値の折り返す値を量子化する第２の量子化部と、
　前記第２の量子化部により量子化された前記折り返す値を用いて、前記差分値導出部により導出された前記差分値を適宜補正する補正部と、
　前記補正部により適宜補正された前記差分値を符号化する符号化部と
　を備える情報処理装置。
　（２）　前記補正部は、
　　前記差分値に前記量子化された折り返す値を加算する加算部と、
　　前記差分値から前記量子化された折り返す値を減算する減算部と、
　　前記差分値、前記加算部により導出された前記差分値と前記量子化された折り返す値との加算結果、および、前記減算部により導出された前記差分値と前記量子化された折り返す値との減算結果の内、絶対値が最小のものを選択する選択部と
　を備え、
　前記符号化部は、前記差分値、前記加算結果、および前記減算結果の内、前記選択部により選択されたものを符号化するように構成される
　（１）に記載の情報処理装置。
　（３）　前記補正部は、
　　前記差分値と前記量子化された折り返す値とに基づいて、前記差分値の補正を省略するか、前記差分値に前記量子化された折り返す値を加算するか、前記差分値から前記量子化された折り返す値を減算するかを選択する選択部と、
　　前記選択部により前記量子化された折り返す値の加算が選択された場合、前記差分値に前記量子化された折り返す値を加算する加算部と、
　　前記選択部により前記量子化された折り返す値の減算が選択された場合、前記差分値から前記量子化された折り返す値を減算する減算部と
　を備え、
　前記符号化部は、
　　前記選択部により前記差分値の補正の省略が選択された場合、前記差分値を符号化し、
　　前記選択部により前記量子化された折り返す値の加算が選択された場合、前記加算部により導出された前記差分値と前記量子化された折り返す値との加算結果を符号化し、
　　前記選択部により前記量子化された折り返す値の減算が選択された場合、前記減算部により導出された前記差分値と前記量子化された折り返す値との減算結果を符号化する
　ように構成される
　（１）に記載の情報処理装置。
　（４）　前記第１の量子化部は、前記デプス値のブロック毎に設定される前記量子化ステップを用いて、前記デプス値を量子化し、
　前記第２の量子化部は、前記デプス値のブロック毎に設定される前記量子化ステップを用いて、前記折り返す値を量子化する
　（１）乃至（３）のいずれかに記載の情報処理装置。
　（５）　前記第２の量子化部は、前記情報処理装置の外部のシステムコントローラから供給される前記折り返す値を量子化する
　（１）乃至（４）のいずれかに記載の情報処理装置。
　（６）　前記デプス値は、間接ToF（Time-of-Flight）方式により画素毎に導出された被写体までの距離を示す
　（１）乃至（５）のいずれかに記載の情報処理装置。
　（７）　前記デプス値は、測距可能な範囲が前記被写体までの距離が取り得る値の範囲よりも狭くなる変調周波数の光を照射し、反射光を検出することにより前記画素毎に導出された前記被写体までの距離を示す
　（６）に記載の情報処理装置。
　（８）　前記差分値導出部は、１つ前に処理された画素である旧処理対象画素の前記デプス値を、現在の処理対象画素である現処理対象画素の前記予測値とし、前記現処理対象画素の前記デプス値と前記旧処理対象画素の前記デプス値との差分値を導出する
　（７）に記載の情報処理装置。
　（９）　前記符号化部は、前記補正部により適宜補正された前記差分値を符号化することにより導出した符号化データを記憶部に記憶させる
　（１）乃至（８）のいずれかに記載の情報処理装置。
　（１０）　所定の量子化ステップを用いて、所定の値域でラップアラウンドするデプス値を量子化し、
　量子化された前記デプス値と前記デプス値の予測値との差分値を導出し、
　前記量子化ステップを用いて、前記デプス値の折り返す値を量子化し、
　量子化された前記折り返す値を用いて、導出された前記差分値を適宜補正し、
　適宜補正された前記差分値を符号化する
　情報処理方法。
　（１１）　符号化データを復号することにより、所定の値域でラップアラウンドするデプス値に関する係数データと前記係数データの予測値との差分値を導出する復号部と、
　前記復号部により導出された前記差分値に前記予測値を加算することにより前記係数データを導出する係数データ導出部と、
　所定の量子化ステップを用いて、前記デプス値の折り返す値を量子化する量子化部と、
　前記量子化部により量子化された前記折り返す値を用いて、前記係数データ導出部により導出された前記係数データを適宜補正する補正部と、
　前記量子化ステップを用いて、前記補正部により適宜補正された前記係数データを逆量子化することにより、前記デプス値を導出する逆量子化部と
　を備える情報処理装置。
　（１２）　前記補正部は、
　　前記係数データに前記量子化された折り返す値を加算する加算部と、
　　前記係数データから前記量子化された折り返す値を減算する減算部と、
　　前記係数データ、前記加算部により導出された前記係数データと前記量子化された折り返す値との加算結果、および、前記減算部により導出された前記係数データと前記量子化された折り返す値との減算結果の内、前記値域内のものを選択する選択部と
　を備え、
　前記逆量子化部は、前記係数データ、前記加算結果、および前記減算結果の内、前記選択部により選択されたものを逆量子化するように構成される
　（１１）に記載の情報処理装置。
　（１３）　前記補正部は、
　　前記係数データと前記量子化された折り返す値とに基づいて、前記係数データの補正を省略するか、前記係数データに前記量子化された折り返す値を加算するか、前記係数データから前記量子化された折り返す値を減算するかを選択する選択部と、
　　前記選択部により前記量子化された折り返す値の加算が選択された場合、前記係数データに前記量子化された折り返す値を加算する加算部と、
　　前記選択部により前記量子化された折り返す値の減算が選択された場合、前記係数データから前記量子化された折り返す値を減算する減算部と
　を備え、
　前記逆量子化部は、
　　前記選択部により前記係数データの補正の省略が選択された場合、前記係数データを逆量子化し、
　　前記選択部により前記量子化された折り返す値の加算が選択された場合、前記加算部により導出された前記係数データと前記量子化された折り返す値との加算結果を逆量子化し、
　　前記選択部により前記量子化された折り返す値の減算が選択された場合、前記減算部により導出された前記係数データと前記量子化された折り返す値との減算結果を逆量子化する
　ように構成される
　（１１）に記載の情報処理装置。
　（１４）　前記量子化部は、前記デプス値のブロック毎に設定される前記量子化ステップを用いて、前記折り返す値を量子化し、
　前記逆量子化部は、前記デプス値のブロック毎に設定される前記量子化ステップを用いて、前記補正部により適宜補正された前記係数データを逆量子化する
　（１１）乃至（１３）のいずれかに記載の情報処理装置。
　（１５）　前記量子化部は、前記情報処理装置の外部のシステムコントローラ、または、前記符号化データを生成した符号化部から供給される前記折り返す値を量子化する
　（１１）乃至（１４）のいずれかに記載の情報処理装置。
　（１６）　前記デプス値は、間接ToF（Time-of-Flight）方式により画素毎に導出された被写体までの距離を示す
　（１１）乃至（１５）のいずれかに記載の情報処理装置。
　（１７）　前記デプス値は、測距可能な範囲が前記被写体までの距離が取り得る値の範囲よりも狭くなる変調周波数の光を照射し、反射光を検出することにより前記画素毎に導出された前記被写体までの距離を示す
　（１６）に記載の情報処理装置。
　（１８）　前記係数データ導出部は、１つ前に処理された画素である旧処理対象画素の前記係数データを、現在の処理対象画素である現処理対象画素の前記予測値とし、前記現処理対象画素の前記デプス値に前記旧処理対象画素の前記デプス値を加算することにより前記係数データを導出する
　（１７）に記載の情報処理装置。
　（１９）　前記復号部は、記憶部に記憶されている前記符号化データを読み出し、復号する
　（１１）乃至（１８）のいずれかに記載の情報処理装置。
　（２０）　符号化データを復号することにより、所定の値域でラップアラウンドするデプス値に関する係数データと前記係数データの予測値との差分値を導出し、
　導出された前記差分値に前記予測値を加算することにより前記係数データを導出し、
　所定の量子化ステップを用いて、前記デプス値の折り返す値を量子化し、
　量子化された前記折り返す値を用いて、導出された前記係数データを適宜補正し、
　前記量子化ステップを用いて、適宜補正された前記係数データを逆量子化することにより、前記デプス値を導出する
　情報処理方法。
　１００　符号化装置，　１１１および１１２　量子化部，　１１３　DPCM処理部，　１１４および１１５　演算部，　１１６　選択制御部，　１１７　選択部，　１１８　符号化部，　１２１　補正部，　２００　復号装置，　２１１　量子化部，　２１２　復号部，　２１３　逆DPCM処理部，　２１４および２１５　演算部，　２１６　選択制御部，　２１７　選択部，　２１８　逆量子化部，　２２１　補正部，　５００　測距装置，　５０１　制御部，　５１１　光出力部，　５１２　検出部，　５１３　iToF測定部，　５１４　RAM，　５１５　データマージ部，　５２１　デプス値導出部，　５２２　符号化部，　５３１　復号部，　５３２　マージ処理部，　６００　測距装置，　６０１　高周波測距部，　６０２　低周波測距部，　６０３　データマージ部，　６１１　光出力部，　６１２　検出部，　６１３　iToF測定部，　６２１　デプス値導出部，　６２２　符号化部，　６３１　光出力部，　６３２　検出部，　６３３　iToF測定部，　６４１　デプス値導出部，　６４２　符号化部，　６５１　復号部，　６５２　復号部，　６５３　マージ処理部，　７０１　上位システムコントローラ，　９００　コンピュータ

Claims (20)

  1. 　所定の量子化ステップを用いて、所定の値域でラップアラウンドするデプス値を量子化する第１の量子化部と、
    　前記第１の量子化部により量子化された前記デプス値と前記デプス値の予測値との差分値を導出する差分値導出部と、
    　前記量子化ステップを用いて、前記デプス値の折り返す値を量子化する第２の量子化部と、
    　前記第２の量子化部により量子化された前記折り返す値を用いて、前記差分値導出部により導出された前記差分値を適宜補正する補正部と、
    　前記補正部により適宜補正された前記差分値を符号化する符号化部と
    　を備える情報処理装置。
  2. 　前記補正部は、
    　　前記差分値に前記量子化された折り返す値を加算する加算部と、
    　　前記差分値から前記量子化された折り返す値を減算する減算部と、
    　　前記差分値、前記加算部により導出された前記差分値と前記量子化された折り返す値との加算結果、および、前記減算部により導出された前記差分値と前記量子化された折り返す値との減算結果の内、絶対値が最小のものを選択する選択部と
    　を備え、
    　前記符号化部は、前記差分値、前記加算結果、および前記減算結果の内、前記選択部により選択されたものを符号化するように構成される
    　請求項１に記載の情報処理装置。
  3. 　前記補正部は、
    　　前記差分値と前記量子化された折り返す値とに基づいて、前記差分値の補正を省略するか、前記差分値に前記量子化された折り返す値を加算するか、前記差分値から前記量子化された折り返す値を減算するかを選択する選択部と、
    　　前記選択部により前記量子化された折り返す値の加算が選択された場合、前記差分値に前記量子化された折り返す値を加算する加算部と、
    　　前記選択部により前記量子化された折り返す値の減算が選択された場合、前記差分値から前記量子化された折り返す値を減算する減算部と
    　を備え、
    　前記符号化部は、
    　　前記選択部により前記差分値の補正の省略が選択された場合、前記差分値を符号化し、
    　　前記選択部により前記量子化された折り返す値の加算が選択された場合、前記加算部により導出された前記差分値と前記量子化された折り返す値との加算結果を符号化し、
    　　前記選択部により前記量子化された折り返す値の減算が選択された場合、前記減算部により導出された前記差分値と前記量子化された折り返す値との減算結果を符号化する
    　ように構成される
    　請求項１に記載の情報処理装置。
  4. 　前記第１の量子化部は、前記デプス値のブロック毎に設定される前記量子化ステップを用いて、前記デプス値を量子化し、
    　前記第２の量子化部は、前記デプス値のブロック毎に設定される前記量子化ステップを用いて、前記折り返す値を量子化する
    　請求項１に記載の情報処理装置。
  5. 　前記第２の量子化部は、前記情報処理装置の外部のシステムコントローラから供給される前記折り返す値を量子化する
    　請求項１に記載の情報処理装置。
  6. 　前記デプス値は、間接ToF（Time-of-Flight）方式により画素毎に導出された被写体までの距離を示す
    　請求項１に記載の情報処理装置。
  7. 　前記デプス値は、測距可能な範囲が前記被写体までの距離が取り得る値の範囲よりも狭くなる変調周波数の光を照射し、反射光を検出することにより前記画素毎に導出された前記被写体までの距離を示す
    　請求項６に記載の情報処理装置。
  8. 　前記差分値導出部は、１つ前に処理された画素である旧処理対象画素の前記デプス値を、現在の処理対象画素である現処理対象画素の前記予測値とし、前記現処理対象画素の前記デプス値と前記旧処理対象画素の前記デプス値との差分値を導出する
    　請求項７に記載の情報処理装置。
  9. 　前記符号化部は、前記補正部により適宜補正された前記差分値を符号化することにより導出した符号化データを記憶部に記憶させる
    　請求項１に記載の情報処理装置。
  10. 　所定の量子化ステップを用いて、所定の値域でラップアラウンドするデプス値を量子化し、
    　量子化された前記デプス値と前記デプス値の予測値との差分値を導出し、
    　前記量子化ステップを用いて、前記デプス値の折り返す値を量子化し、
    　量子化された前記折り返す値を用いて、導出された前記差分値を適宜補正し、
    　適宜補正された前記差分値を符号化する
    　情報処理方法。
  11. 　符号化データを復号することにより、所定の値域でラップアラウンドするデプス値に関する係数データと前記係数データの予測値との差分値を導出する復号部と、
    　前記復号部により導出された前記差分値に前記予測値を加算することにより前記係数データを導出する係数データ導出部と、
    　所定の量子化ステップを用いて、前記デプス値の折り返す値を量子化する量子化部と、
    　前記量子化部により量子化された前記折り返す値を用いて、前記係数データ導出部により導出された前記係数データを適宜補正する補正部と、
    　前記量子化ステップを用いて、前記補正部により適宜補正された前記係数データを逆量子化することにより、前記デプス値を導出する逆量子化部と
    　を備える情報処理装置。
  12. 　前記補正部は、
    　　前記係数データに前記量子化された折り返す値を加算する加算部と、
    　　前記係数データから前記量子化された折り返す値を減算する減算部と、
    　　前記係数データ、前記加算部により導出された前記係数データと前記量子化された折り返す値との加算結果、および、前記減算部により導出された前記係数データと前記量子化された折り返す値との減算結果の内、前記値域内のものを選択する選択部と
    　を備え、
    　前記逆量子化部は、前記係数データ、前記加算結果、および前記減算結果の内、前記選択部により選択されたものを逆量子化するように構成される
    　請求項１１に記載の情報処理装置。
  13. 　前記補正部は、
    　　前記係数データと前記量子化された折り返す値とに基づいて、前記係数データの補正を省略するか、前記係数データに前記量子化された折り返す値を加算するか、前記係数データから前記量子化された折り返す値を減算するかを選択する選択部と、
    　　前記選択部により前記量子化された折り返す値の加算が選択された場合、前記係数データに前記量子化された折り返す値を加算する加算部と、
    　　前記選択部により前記量子化された折り返す値の減算が選択された場合、前記係数データから前記量子化された折り返す値を減算する減算部と
    　を備え、
    　前記逆量子化部は、
    　　前記選択部により前記係数データの補正の省略が選択された場合、前記係数データを逆量子化し、
    　　前記選択部により前記量子化された折り返す値の加算が選択された場合、前記加算部により導出された前記係数データと前記量子化された折り返す値との加算結果を逆量子化し、
    　　前記選択部により前記量子化された折り返す値の減算が選択された場合、前記減算部により導出された前記係数データと前記量子化された折り返す値との減算結果を逆量子化する
    　ように構成される
    　請求項１１に記載の情報処理装置。
  14. 　前記量子化部は、前記デプス値のブロック毎に設定される前記量子化ステップを用いて、前記折り返す値を量子化し、
    　前記逆量子化部は、前記デプス値のブロック毎に設定される前記量子化ステップを用いて、前記補正部により適宜補正された前記係数データを逆量子化する
    　請求項１１に記載の情報処理装置。
  15. 　前記量子化部は、前記情報処理装置の外部のシステムコントローラ、または、前記符号化データを生成した符号化部から供給される前記折り返す値を量子化する
    　請求項１１に記載の情報処理装置。
  16. 　前記デプス値は、間接ToF（Time-of-Flight）方式により画素毎に導出された被写体までの距離を示す
    　請求項１１に記載の情報処理装置。
  17. 　前記デプス値は、測距可能な範囲が前記被写体までの距離が取り得る値の範囲よりも狭くなる変調周波数の光を照射し、反射光を検出することにより前記画素毎に導出された前記被写体までの距離を示す
    　請求項１６に記載の情報処理装置。
  18. 　前記係数データ導出部は、１つ前に処理された画素である旧処理対象画素の前記係数データを、現在の処理対象画素である現処理対象画素の前記予測値とし、前記現処理対象画素の前記デプス値に前記旧処理対象画素の前記デプス値を加算することにより前記係数データを導出する
    　請求項１７に記載の情報処理装置。
  19. 　前記復号部は、記憶部に記憶されている前記符号化データを読み出し、復号する
    　請求項１１に記載の情報処理装置。
  20. 　符号化データを復号することにより、所定の値域でラップアラウンドするデプス値に関する係数データと前記係数データの予測値との差分値を導出し、
    　導出された前記差分値に前記予測値を加算することにより前記係数データを導出し、
    　所定の量子化ステップを用いて、前記デプス値の折り返す値を量子化し、
    　量子化された前記折り返す値を用いて、導出された前記係数データを適宜補正し、
    　前記量子化ステップを用いて、適宜補正された前記係数データを逆量子化することにより、前記デプス値を導出する
    　情報処理方法。
PCT/JP2022/000817 2021-02-26 2022-01-13 情報処理装置および方法 WO2022181096A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22759139.3A EP4300038A1 (en) 2021-02-26 2022-01-13 Information processing device and method
CN202280015703.4A CN116917691A (zh) 2021-02-26 2022-01-13 信息处理装置和方法
JP2023502152A JPWO2022181096A1 (ja) 2021-02-26 2022-01-13

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021029716 2021-02-26
JP2021-029716 2021-02-26

Publications (1)

Publication Number Publication Date
WO2022181096A1 true WO2022181096A1 (ja) 2022-09-01

Family

ID=83048807

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000817 WO2022181096A1 (ja) 2021-02-26 2022-01-13 情報処理装置および方法

Country Status (4)

Country Link
EP (1) EP4300038A1 (ja)
JP (1) JPWO2022181096A1 (ja)
CN (1) CN116917691A (ja)
WO (1) WO2022181096A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344477A (ja) 2001-05-16 2002-11-29 Mitsubishi Electric Corp マルチキャスト配信システム及びその端末用装置
JP2005129972A (ja) * 2003-08-07 2005-05-19 Nec Engineering Ltd 予測符号化復号化装置
US20090141262A1 (en) * 2007-11-02 2009-06-04 Commissariat A L'energie Atomique Method of detecting a light pulse reflected on an object to determine the distance from the object, sensor and device for implementing same
JP6045123B2 (ja) 2013-03-01 2016-12-14 グルロジック マイクロシステムズ オーワイＧｕｒｕｌｏｇｉｃ Ｍｉｃｒｏｓｙｓｔｅｍｓ Ｏｙ エンコーダ、デコーダ及び方法
JP2018513967A (ja) * 2015-03-17 2018-05-31 コーネル・ユニバーシティーＣｏｒｎｅｌｌ Ｕｎｉｖｅｒｓｉｔｙ 深度フィールドイメージング装置、方法および応用
WO2021003003A1 (en) * 2019-07-02 2021-01-07 Microsoft Technology Licensing, Llc Phase depth imaging using machine-learned depth ambiguity dealiasing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344477A (ja) 2001-05-16 2002-11-29 Mitsubishi Electric Corp マルチキャスト配信システム及びその端末用装置
JP2005129972A (ja) * 2003-08-07 2005-05-19 Nec Engineering Ltd 予測符号化復号化装置
US20090141262A1 (en) * 2007-11-02 2009-06-04 Commissariat A L'energie Atomique Method of detecting a light pulse reflected on an object to determine the distance from the object, sensor and device for implementing same
JP6045123B2 (ja) 2013-03-01 2016-12-14 グルロジック マイクロシステムズ オーワイＧｕｒｕｌｏｇｉｃ Ｍｉｃｒｏｓｙｓｔｅｍｓ Ｏｙ エンコーダ、デコーダ及び方法
JP2018513967A (ja) * 2015-03-17 2018-05-31 コーネル・ユニバーシティーＣｏｒｎｅｌｌ Ｕｎｉｖｅｒｓｉｔｙ 深度フィールドイメージング装置、方法および応用
WO2021003003A1 (en) * 2019-07-02 2021-01-07 Microsoft Technology Licensing, Llc Phase depth imaging using machine-learned depth ambiguity dealiasing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KEITA YASUTOMISHOJI KAWAHITO: "Technical Description Time-of-Flight Camera", THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, vol. 70, no. 11, 29 August 2016 (2016-08-29), pages 880 - 885

Also Published As

Publication number Publication date
JPWO2022181096A1 (ja) 2022-09-01
CN116917691A (zh) 2023-10-20
EP4300038A1 (en) 2024-01-03

Similar Documents

Publication Publication Date Title
US10764599B2 (en) Moving picture decoding method and moving picture encoding method
JP4949462B2 (ja) 符号量推定方法、装置、そのプログラムおよび記録媒体
US20070133892A1 (en) Image coding device, method and computer program
US9485513B2 (en) Encoding device, decoding device, and program
JP2011233972A (ja) 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US20240040128A1 (en) Image encoding device, image decoding device and program
US20240121428A1 (en) Prediction image correcting device, image encoding device, image decoding device, and program
KR101071725B1 (ko) 움직임 정보 피드백을 이용한 분산 비디오 코덱
WO2022181096A1 (ja) 情報処理装置および方法
KR20130046377A (ko) 화소 블록 코딩 및 재구성 방법 및 대응 장치
US9332266B2 (en) Method for prediction in image encoding and image encoding apparatus applying the same
JP2013098984A5 (ja) ブロックの再構成方法、符号化方法、復号化装置及び符号化装置
US20240134019A1 (en) Information processing device and method
KR101058524B1 (ko) 비트량 제어장치 및 제어방법
JPWO2019167673A1 (ja) 画像処理装置および方法、撮像素子、並びに、撮像装置
JP4367354B2 (ja) 画像符号化装置
JP2009194474A (ja) 動画像符号化装置
JP2008182408A (ja) 動画像符号化装置及び方法
JP2013017128A (ja) イントラ予測モード推定装置、画像符号化装置、画像復号装置、及びプログラム
JP2011182167A (ja) 画像符号化装置
KR20160067580A (ko) 영상 데이터의 인코딩 방법, 상기 방법을 이용한 인코더, 및 상기 인코더를 포함하는 애플리케이션 프로세서
JP2015226172A (ja) 画像符号化装置及び方法
JP5404857B2 (ja) 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
JP2014123865A (ja) 画像処理装置及び撮像装置
KR101038205B1 (ko) 분산 비디오 압축 기법을 위한 가상 채널 모델링 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22759139

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023502152

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18263666

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280015703.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022759139

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022759139

Country of ref document: EP

Effective date: 20230926