WO2022176419A1 - 信号処理装置および信号処理方法、並びにプログラム - Google Patents

信号処理装置および信号処理方法、並びにプログラム Download PDF

Info

Publication number
WO2022176419A1
WO2022176419A1 PCT/JP2022/000162 JP2022000162W WO2022176419A1 WO 2022176419 A1 WO2022176419 A1 WO 2022176419A1 JP 2022000162 W JP2022000162 W JP 2022000162W WO 2022176419 A1 WO2022176419 A1 WO 2022176419A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
signal processing
depth
opd
unit
Prior art date
Application number
PCT/JP2022/000162
Other languages
English (en)
French (fr)
Inventor
聡 山田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US18/264,449 priority Critical patent/US20240045058A1/en
Priority to CN202280014745.6A priority patent/CN116868086A/zh
Priority to DE112022001111.4T priority patent/DE112022001111T5/de
Publication of WO2022176419A1 publication Critical patent/WO2022176419A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Definitions

  • the present disclosure relates to a signal processing device, a signal processing method, and a program, and more particularly to a signal processing device, a signal processing method, and a program that can further enhance functionality.
  • iTOF Indirect Time Of Flight
  • MIPI Mobile Industry Processor Interface
  • Patent Document 1 discloses a distance measuring device that uses an interface circuit conforming to MIPI in a communication interface unit for outputting calculated distance measurement data to an external host IC.
  • a signal processing device is a depth data processing unit that performs signal processing on phase data supplied from an iTOF sensor and acquires depth data indicating the depth to an object to be distance-measured. and a transmission processing unit that transmits the depth data in a predetermined output format.
  • a signal processing method or program performs signal processing on phase data supplied from an iTOF sensor, and obtains depth data indicating the depth to an object to be distance-measured. and transmitting the depth data in a predetermined output format.
  • signal processing is performed on phase data supplied from an iTOF sensor, depth data indicating the depth to an object to be distance-measured is acquired, and the depth data is output format.
  • FIG. 1 is a diagram showing a conventional MIPI format
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a ranging system to which the present technology is applied
  • FIG. FIG. 4 is a diagram showing an example of an output format for outputting depth data and OPD data from a signal processing unit
  • FIG. 10 is a diagram showing an example of depth pixel format and OPD pixel format
  • 4 is a flowchart for explaining signal processing of a signal processing unit
  • 1 is a block diagram showing a configuration example of an embodiment of a computer to which the present technology is applied
  • FIG. 1 shows the conventional MIPI format.
  • the conventional MIPI format used to output phase data from an iTOF sensor consists of 2 sets of 4 phase data (RAW), totaling 8 phase data, which are divided into 1 frame of MIPI. is defined to be mapped to
  • RAW phase data
  • such a conventional MIPI format does not support mapping a plurality of different data such as depth data and OPD data to the MIPI format of the same frame.
  • FIG. 2 is a block diagram showing a configuration example of an embodiment of the ranging system 11 to which the present technology is applied.
  • the ranging system 11 comprises an iTOF sensor 12, a signal processor 13, and an application processor 14.
  • the iTOF sensor 12 irradiates an object to be measured with a pulsed laser beam, measures the distance by detecting the phase shift of the pulse in the reflected light, and obtains phase data indicating the phase. is supplied to the signal processing device 13 .
  • iTOF sensor 12 can transmit phase data to signal processor 13 according to the MIPI format shown in FIG.
  • the signal processing device 13 is, for example, a depth hardware accelerator LSI (Large Scale Integration) specially designed to perform signal processing on phase data supplied from the iTOF sensor 12 . Then, the signal processing device 13 transmits the phase data supplied from the iTOF sensor 12 or the depth data and OPD data obtained as a result of signal processing on the phase data to the application processor 14 .
  • LSI Large Scale Integration
  • the application processor 14 executes various applications using data supplied from the signal processing device 13 .
  • the application processor 14 also includes an MIPI-compliant interface circuit (MIPI Rx Interface) for receiving data transmitted from the signal processing device 13 .
  • MIPI Rx Interface MIPI-compliant interface circuit
  • the signal processing device 13 includes an ENB separation unit 21, an OPD calculation unit 22, a depth data processing unit 23, a storage unit 24, a data type output unit 25, an ENB data output unit 26, an OPD data output unit 27, a depth It comprises a data output section 28 , a first selection section 29 , a second selection section 30 , a MIPI transmission interface 31 and an output control section 32 .
  • the storage unit 24 is provided with an ENB data storage unit 41 , an OPD data storage unit 42 and a depth data storage unit 43 .
  • the output control section 32 has a horizontal counter 51 and a vertical counter 52 .
  • phase data supplied from the iTOF sensor 12 to the signal processing device 13 are input to the ENB separation section 21 and the second selection section 30 .
  • the ENB separation unit 21 extracts the embedded data embedded in the phase data supplied from the iTOF sensor 12 and stores it in the ENB data storage unit 41 of the storage unit 24 .
  • the ENB separation unit 21 then supplies the OPD calculation unit 22 with the phase data after extracting the embedded data.
  • the OPD calculation unit 22 calculates OPD data indicating the amount of light detected necessary for executing automatic exposure (AE) at a later stage from the phase data supplied from the ENB separation unit 21, and stores the OPD data in the storage unit 24. is stored in the OPD data storage unit 42 of the . The OPD calculator 22 then supplies the phase data supplied from the ENB separator 21 to the depth data processor 23 .
  • AE automatic exposure
  • the depth data processing unit 23 performs depth signal processing on the phase data supplied from the OPD calculation unit 22, and acquires depth data indicating the depth to the object to be distance-measured.
  • the depth data processing unit 23 is implemented by hardware specially designed for signal processing for acquiring depth data, and can execute depth signal processing at a higher speed. Then, the depth data processing unit 23 stores the depth data acquired as the processing result of the depth signal processing in the depth data storage unit 43 of the storage unit 24 .
  • the storage unit 24 is composed of, for example, SRAM (Static Random Access Memory), and stores and temporarily stores various types of data such as embedded data, OPD data, and depth data.
  • SRAM Static Random Access Memory
  • the data type output unit 25 outputs a data type (DT) indicating the data type of the embedded data, the OPD data, and the depth data according to a preset parameter as a control signal of the output control unit 32. is output to the first selection unit 29 at the timing according to .
  • DT data type
  • the ENB data output unit 26 reads the embedded data stored in the ENB data storage unit 41 of the storage unit 24 and outputs it to the first selection unit 29 at the timing according to the control signal of the output control unit 32.
  • the OPD data output section 27 reads out the OPD data stored in the OPD data storage section 42 of the storage section 24 and outputs it to the first selection section 29 at the timing according to the control signal of the output control section 32 .
  • the depth data output unit 28 reads the depth data stored in the depth data storage unit 43 of the storage unit 24 and outputs it to the first selection unit 29 at the timing according to the control signal of the output control unit 32.
  • the first selector 29 selects one of the data type, embedded data, OPD data, and depth data according to the control signal from the output controller 32 and outputs it to the second selector 30 .
  • the data type, embedded data, OPD data, and depth data are hereinafter also referred to as internally generated data as appropriate.
  • the second selection unit 30 selects either one of the phase data supplied from the iTOF sensor 12 to the signal processing device 13 and the internally generated data supplied via the first selection unit 29. , to the MIPI transmission interface 31 .
  • the second selection unit 30 can select data required by an application running on the application processor 14 .
  • the MIPI transmission interface 31 supplies phase data or internally generated data supplied via the second selection unit 30 to the subsequent application processor 14 in an output format that is mapped according to the MIPI format. .
  • the output control unit 32 uses the horizontal counter 51 to count the number of pixels in the MIPI format data in the horizontal direction, and the vertical counter 52 counts the number of pixels in the MIPI format data in the vertical direction. Then, the output control unit 32 controls the data type output unit 25, the ENB data output unit 26, the OPD data output unit 27, and the depth data output unit 28 at timing according to the horizontal and vertical count values. provide a signal. Further, the output control section 32 supplies control signals for controlling selection in the first selection section 29 and the second selection section 30 to the first selection section 29 and the second selection section 30 respectively.
  • the signal processing device 13 is configured in this way, making it possible to map a plurality of different data such as depth data and OPD data to the MIPI format of the same frame. That is, the signal processing device 13 can transmit internally generated data (depth data, OPD data, and embedded data) in the output format shown in FIG.
  • a frame start FS is added at the beginning, depth data, OPD data, and embedded data are arranged, and a frame end FE is added at the end.
  • a packet header PH and a data type DT (UD) are placed before the depth data, and a packet footer PF is placed after the depth data.
  • depth data consists of data of 640 ⁇ 480 pixels at maximum.
  • the OPD data consists of a maximum of 242 lines of data, with a packet header PH and data type DT (UD) placed before the OPD data, and a packet footer PF placed after the OPD data.
  • the embedded data consists of a maximum of 36 lines of data.
  • a packet header PH and data type DT (EBD) are placed before the embedded data, and a packet footer PF is placed after the embedded data.
  • ELD data type DT
  • FIG. 1 An example of the depth pixel format and the OPD pixel format is shown in FIG.
  • the XYZC values that make up the depth data are arranged according to the XYZC pixel format as shown.
  • OPD pixel format data is arranged according to the AE OPD pixel format except for the last line, and data is arranged according to the AE OPD last line for the last line, as shown. In addition, except for the last line of AE OPD, it will be reserved until the end of the line.
  • step S11 the MIPI transmission interface 31 first adds the frame start FS of the output format according to the frame start FS input from the iTOF sensor 12.
  • the output control unit 32 then clears the count values of the horizontal counter 51 and the vertical counter 52 .
  • step S12 the ENB separation unit 21 extracts the embedded data embedded in the phase data supplied from the iTOF sensor 12 and stores it in the ENB data storage unit 41 of the storage unit 24.
  • step S ⁇ b>13 the OPD calculation unit 22 calculates OPD data from the phase data supplied via the ENB separation unit 21 and stores the OPD data in the OPD data storage unit 42 of the storage unit 24 .
  • step S ⁇ b>14 the depth data processing unit 23 performs depth signal processing using the phase data supplied via the OPD calculation unit 22 , and converts the depth data acquired as the processing result into the depth data of the storage unit 24 . Stored in the storage unit 43 .
  • the MIPI transmission interface 31 adds a packet header PH to the beginning of the packet, and the data type output unit 25 adds a data type DT (UD).
  • the depth data output unit 28 reads one packet of depth data from the depth data storage unit 43 of the storage unit 24 according to the count value of the horizontal counter 51 of the output control unit 32, and outputs the depth data to the first selector 29 and the second selector 29. is supplied to the MIPI transmission interface 31 via the selection unit 30 of .
  • the MIPI transmission interface 31 outputs a packet header PH, data type DT (UD), depth data for one packet, and packet footer PF. This process is repeated for necessary packets according to the count value of the vertical counter 52 of the output control unit 32 .
  • the MIPI transmission interface 31 adds a packet header PH to the beginning of the packet, and the data type output unit 25 adds a data type DT (UD).
  • the OPD data output unit 27 reads one packet of OPD data from the OPD data storage unit 42 of the storage unit 24 according to the count value of the horizontal counter 51 of the output control unit 32, and outputs the OPD data to the first selection unit 29 and the second selection unit 29. is supplied to the MIPI transmission interface 31 via the selection unit 30 of .
  • the MIPI transmission interface 31 outputs a packet header PH, data type DT (UD), OPD data for one packet, and packet footer PF. This process is repeated for necessary packets according to the count value of the vertical counter 52 of the output control unit 32 .
  • the MIPI transmission interface 31 adds a packet header PH to the beginning of the packet, and the data type output unit 25 adds a data type DT (EBD).
  • the ENB data output unit 26 reads one packet of ENB data from the ENB data storage unit 41 of the storage unit 24 according to the count value of the horizontal counter 51 of the output control unit 32, is supplied to the MIPI transmission interface 31 via the selection unit 30 of .
  • the MIPI transmission interface 31 outputs a packet header PH, data type DT (EBD), ENB data for one packet, and packet footer PF. This process is repeated for necessary packets according to the count value of the vertical counter 52 of the output control unit 32 .
  • the MIPI transmission interface 31 adds a frame end FE to the end, and the output of one frame is completed.
  • the depth data and OPD data can be transmitted to the application processor 14 in an output format mapped to the MIPI format. That is, the signal processing device 13 uses the frame start in the MIPI format input from the iTOF sensor 12 as a trigger, and uses the count value of the horizontal counter 51 to process a plurality of data such as phase data, embedded data, depth data, and OPD data. Different data can be mapped within the same frame of MIPI and transmitted to the application processor 14 in the subsequent stage.
  • the ranging system 11 is configured such that the application processor 14 in the subsequent stage does not perform the depth signal processing, so that the signal processing device 13 can perform the depth signal processing at high speed. As a result, for example, frame delay can be reduced.
  • the signal processing device 13 can select one of the phase data and the internally generated data by the second selection unit 30, it is possible to correspond to transmission of the phase data in the conventional MIPI format, for example. can be done.
  • the iTOF sensor 12 and the signal processing device 13 independently, for example, by mounting the circuit of the signal processing device 13 in the logic portion of the iTOF sensor 12, it is possible to form a single chip. It is also possible to output depth data and OPD data from the one-chip iTOF sensor 12 in an output format in the form of .
  • FIG. 6 is a block diagram showing a hardware configuration example of a computer that executes the series of processes described above by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the CPU 101 loads, for example, programs stored in the ROM 102 and EEPROM 104 into the RAM 103 via the bus 105 and executes them, thereby performing the series of processes described above.
  • Programs to be executed by the computer (CPU 101 ) can be written in ROM 102 in advance, or can be externally installed in EEPROM 104 via input/output interface 106 or updated.
  • processing performed by the computer according to the program does not necessarily have to be performed in chronological order according to the order described as the flowchart.
  • processing performed by a computer according to a program includes processing that is executed in parallel or individually (for example, parallel processing or processing by objects).
  • the program may be processed by one computer (processor), or may be processed by a plurality of computers in a distributed manner. Furthermore, the program may be transferred to a remote computer and executed.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configuration described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) as long as the configuration and operation of the system as a whole are substantially the same. .
  • this technology can take a configuration of cloud computing in which a single function is shared and processed jointly by multiple devices via a network.
  • the above-described program can be executed on any device.
  • the device should have the necessary functions (functional blocks, etc.) and be able to obtain the necessary information.
  • each step described in the flowchart above can be executed by a single device, or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a plurality of processes included in one step can also be executed as processes of a plurality of steps.
  • the processing described as multiple steps can also be collectively executed as one step.
  • the program executed by the computer may be such that the processing of the steps described in the program is executed in chronological order according to the order described herein, or in parallel, or when the call is made. They may be executed individually at necessary timings such as occasions. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • a depth data processing unit that performs signal processing on phase data supplied from an iTOF (indirect Time Of Flight) sensor and acquires depth data indicating the depth to an object that is the target of distance measurement;
  • a signal processing device comprising: a transmission processing unit that transmits the depth data in a predetermined output format.
  • the depth data processing unit is implemented by hardware specially designed for signal processing for acquiring the depth data.
  • the output format conforms to MIPI (Mobile Industry Processor Interface) format.
  • OPD calculation unit that calculates OPD (Optical Detector) data indicating a light detection amount required to perform automatic exposure from the phase data
  • the signal processing device according to any one of (1) to (3), wherein the transmission processing unit transmits the OPD data in the output format.
  • the signal processing device according to any one of (1) to (4) above, wherein the transmission processing unit transmits the embedded data in the output format.
  • a signal processing device that performs signal processing, performing signal processing on phase data supplied from an iTOF (indirect Time Of Flight) sensor to acquire depth data indicating the depth to an object to be ranged; and transmitting the depth data in a predetermined output format.
  • iTOF indirect Time Of Flight
  • 11 distance measurement system 12 iTOF sensor, 13 signal processor, 14 application processor, 21 ENB separation unit, 22 OPD calculation unit, 23 depth data processing unit, 24 storage unit, 25 data type output unit, 26 ENB data output unit, 27 OPD data output unit, 28 depth data output unit, 29 first selection unit, 30 second selection unit, 31 MIPI transmission interface, 32 output control unit, 41 ENB data storage unit, 42 OPD data storage unit, 43 depth Data storage unit, 51 horizontal counter, 52 vertical counter

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本開示は、より機能性を高めることができるようにする信号処理装置および信号処理方法、並びにプログラムに関する。 エンベデッドデータ分離部は、iTOFセンサから供給される位相データに対して埋め込まれているエンベデッドデータを抜き出し、ＯＰＤ算出部は、位相データから、自動露出を実行するのに必要となる光検出量を示すＯＰＤデータを算出し、デプスデータ処理部は、位相データに対して信号処理を実行し、測距の対象となる対象物までの奥行きを示すデプスデータを取得する。送信処理部は、エンベデッドデータ、ＯＰＤデータ、およびデプスデータを、MIPIフォーマットに準拠した出力フォーマットで送信する。本技術は、例えば、iTOFセンサを備えた測距システムに適用できる。

Description

信号処理装置および信号処理方法、並びにプログラム
　本開示は、信号処理装置および信号処理方法、並びにプログラムに関し、特に、より機能性を高めることができるようにした信号処理装置および信号処理方法、並びにプログラムに関する。
　従来、光飛行時間に基づいて位相のズレを検出することによって測距を行うiTOF（indirect Time Of Flight）センサでは、アプリケーションプロセッサなどの後段のデバイスに位相データを送信するのに、MIPI（Mobile Industry Processor Interface）フォーマットが用いられていた。
　例えば、特許文献１には、算出された測距データを外部のホストＩＣに出力するための通信インタフェース部に、MIPIに準拠したインタフェース回路を用いた距離測定装置が開示されている。
特開２０２０－１４８６８２号公報
　ところで、iTOFセンサを備えた測距システムの高機能化が進められており、上述したような位相データを送信するだけでなく、デプスデータやＯＰＤ（Optical Detector）データなども送信することが求められると考えられる。しかしながら、従来のMIPIフォーマットでは、デプスデータやＯＰＤデータなどの送信に対応していないため、このようなデータの送信を可能とするように機能性を高めることが必要とされている。
　本開示は、このような状況に鑑みてなされたものであり、より機能性を高めることができるようにするものである。
　本開示の一側面の信号処理装置は、iTOFセンサから供給される位相データに対して信号処理を実行し、測距の対象となる対象物までの奥行きを示すデプスデータを取得するデプスデータ処理部と、前記デプスデータを、所定の出力フォーマットで送信する送信処理部とを備える。
　本開示の一側面の信号処理方法またはプログラムは、iTOFセンサから供給される位相データに対して信号処理を実行し、測距の対象となる対象物までの奥行きを示すデプスデータを取得することと、前記デプスデータを、所定の出力フォーマットで送信することとを含む。
　本開示の一側面においては、iTOFセンサから供給される位相データに対して信号処理を実行し、測距の対象となる対象物までの奥行きを示すデプスデータが取得され、そのデプスデータが、所定の出力フォーマットで送信される。
従来のMIPIフォーマットを示す図である。 本技術を適用した測距システムの一実施の形態の構成例を示すブロック図である。 信号処理部からデプスデータおよびOPDデータを出力する出力フォーマットの一例を示す図である。 DepthピクセルフォーマットおよびＯＰＤピクセルフォーマットの一例を示す図である。 信号処理部の信号処理について説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜従来のMIPIフォーマット＞
　図１には、従来のMIPIフォーマットが示されている。
　図１に示すように、iTOFセンサから位相データを出力するために用いられている従来のMIPIフォーマットは、４つの位相データ（ＲＡＷ）の２組からなる合計８つの位相データが、MIPIの１フレームにマッピングされように規定されている。しかしながら、このような従来のMIPIフォーマットは、デプスデータやＯＰＤデータなど複数の異なったデータを同一フレームのMIPIフォーマットにマッピングすることには対応していなかった。
　＜測距システムの構成例＞
　図２は、本技術を適用した測距システム１１の一実施の形態の構成例を示すブロック図である。
　図２に示すように、測距システム１１は、iTOFセンサ１２、信号処理装置１３、およびアプリケーションプロセッサ１４を備えて構成される。
　iTOFセンサ１２は、測距の対象となる対象物に対してパルス状のレーザ光を照射し、その反射光におけるパルスの位相のズレを検出することによる測距を行い、その位相を示す位相データを信号処理装置１３に供給する。例えば、iTOFセンサ１２は、図１に示したMIPIフォーマットに従って、信号処理装置１３に位相データを送信することができる。
　信号処理装置１３は、例えば、iTOFセンサ１２から供給される位相データに対して信号処理を施すために専用に設計されたデプスハードウェアアクセラレータＬＳＩ（Large Scale Integration）である。そして、信号処理装置１３は、iTOFセンサ１２から供給される位相データ、または、その位相データに対する信号処理の結果得られるデプスデータおよびＯＰＤデータをアプリケーションプロセッサ１４へ送信する。
　アプリケーションプロセッサ１４は、信号処理装置１３から供給されるデータを利用した各種のアプリケーションを実行する。また、アプリケーションプロセッサ１４は、信号処理装置１３から送信されてくるデータを受信するためのMIPIに準拠したインタフェース回路（MIPI Rx Interface）を備えている。
　図示するように、信号処理装置１３は、ＥＮＢ分離部２１、ＯＰＤ算出部２２、デプスデータ処理部２３、記憶部２４、データタイプ出力部２５、ＥＮＢデータ出力部２６、ＯＰＤデータ出力部２７、デプスデータ出力部２８、第１の選択部２９、第２の選択部３０、MIPI送信インタフェース３１、および出力制御部３２を備えて構成される。記憶部２４には、ＥＮＢデータ格納部４１、ＯＰＤデータ格納部４２、およびデプスデータ格納部４３が設けられている。出力制御部３２は、水平カウンタ５１および垂直カウンタ５２を有している。
　iTOFセンサ１２から信号処理装置１３に供給される位相データは、ＥＮＢ分離部２１および第２の選択部３０に入力される。
　ＥＮＢ分離部２１は、iTOFセンサ１２から供給された位相データに対して埋め込まれているエンベデッドデータを抜き出して、記憶部２４のＥＮＢデータ格納部４１に格納する。そして、ＥＮＢ分離部２１は、エンベデッドデータを抜き出した後の位相データをＯＰＤ算出部２２に供給する。
　ＯＰＤ算出部２２は、ＥＮＢ分離部２１から供給された位相データから、後段において自動露出（AE ：Automatic Exposure）を実行するのに必要となる光検出量を示すＯＰＤデータを算出し、記憶部２４のＯＰＤデータ格納部４２に格納する。そして、ＯＰＤ算出部２２は、ＥＮＢ分離部２１から供給された位相データをデプスデータ処理部２３に供給する。
　デプスデータ処理部２３は、ＯＰＤ算出部２２から供給された位相データに対してDepth信号処理を実行し、測距の対象となる対象物までの奥行きを示すデプスデータを取得する。例えば、デプスデータ処理部２３は、デプスデータを取得するための信号処理用に専用設計されたハードウェアにより実装され、より高速でDepth信号処理を実行することができる。そして、デプスデータ処理部２３は、Depth信号処理の処理結果として取得されるデプスデータを、記憶部２４のデプスデータ格納部４３に格納する。
　記憶部２４は、例えば、SRAM（Static Random Access Memory）により構成され、エンベデッドデータやＯＰＤデータ、デプスデータなどの各種のデータを格納し、一時的に記憶する。
　データタイプ出力部２５は、予め設定されたパラメータに則って、エンベデッドデータ、ＯＰＤデータ、およびデプスデータについて、それらのデータ型を示すデータタイプ（ＤＴ：Data Type）を、出力制御部３２の制御信号に従ったタイミングで第１の選択部２９に出力する。
　ＥＮＢデータ出力部２６は、記憶部２４のＥＮＢデータ格納部４１に格納されているエンベデッドデータを読み出し、出力制御部３２の制御信号に従ったタイミングで第１の選択部２９に出力する。
　ＯＰＤデータ出力部２７は、記憶部２４のＯＰＤデータ格納部４２に格納されているＯＰＤデータを読み出し、出力制御部３２の制御信号に従ったタイミングで第１の選択部２９に出力する。
　デプスデータ出力部２８は、記憶部２４のデプスデータ格納部４３に格納されているデプスデータを読み出し、出力制御部３２の制御信号に従ったタイミングで第１の選択部２９に出力する。
　第１の選択部２９は、データタイプ、エンベデッドデータ、ＯＰＤデータ、およびデプスデータのうちの、いずれかを出力制御部３２の制御信号に従って選択して、第２の選択部３０に出力する。なお、以下適宜、データタイプ、エンベデッドデータ、ＯＰＤデータ、およびデプスデータのことを、内部生成データとも称する。
　第２の選択部３０は、iTOFセンサ１２から信号処理装置１３に供給される位相データと、第１の選択部２９を介して供給される内部生成データとのうち、いずれか一方を選択して、MIPI送信インタフェース３１に出力する。例えば、第２の選択部３０は、アプリケーションプロセッサ１４において実行されるアプリケーションで必要とされるデータを選択することができる。
　MIPI送信インタフェース３１は、第２の選択部３０を介して供給される位相データまたは内部生成データをMIPIフォーマットに準拠してマッピングされる出力フォーマットで、それらのデータを後段のアプリケーションプロセッサ１４に供給する。
　出力制御部３２は、水平カウンタ５１によってMIPIフォーマットのデータの水平方向のピクセル数をカウントし、垂直カウンタ５２によってMIPIフォーマットのデータの垂直方向のピクセル数をカウントする。そして、出力制御部３２は、水平方向および垂直方向のカウント値に従ったタイミングで、データタイプ出力部２５、ＥＮＢデータ出力部２６、ＯＰＤデータ出力部２７、およびデプスデータ出力部２８に対して制御信号を供給する。また、出力制御部３２は、第１の選択部２９および第２の選択部３０における選択を制御するための制御信号を、第１の選択部２９および第２の選択部３０それぞれに供給する。
　このように信号処理装置１３は構成されており、デプスデータやOPDデータなど複数の異なったデータを同一フレームのMIPIフォーマットにマッピングすることが可能となる。つまり、信号処理装置１３は、図３に示すような出力フォーマットで内部生成データ（デプスデータ、OPDデータ、およびエンベデッドデータ）を送信することができる。
　図３に示す出力フォーマットでは、先頭にフレームスタートＦＳが付加され、デプスデータ、OPDデータ、およびエンベデッドデータが配置され、最後尾にフレームエンドＦＥが付加されている。
　デプスデータは、１ピクセルごとにXYZC値で構成された最大480ライン分のデータからなり、最大7680バイト（＝12バイト×最大640ピクセル）のデータ量となる。また、デプスデータの前にはパケットヘッダＰＨおよびデータタイプＤＴ（ＵＤ）が配置され、デプスデータの後にはパケットフッタＰＦが配置される。例えば、デプスデータは、最大で640×480ピクセルのデータからなる。
　OPDデータは、最大242ラインのデータからなり、OPDデータの前にはパケットヘッダＰＨおよびデータタイプＤＴ（ＵＤ）が配置され、OPDデータの後にはパケットフッタＰＦが配置される。例えば、OPDデータは、最大で160×121ピクセル×２fmodとなる242ライン（＝（最大120ライン＋１ライン）×２fmod）のデータからなる。
　エンベデッドデータは、最大３６ラインのデータからなり、エンベデッドデータの前にはパケットヘッダＰＨおよびデータタイプＤＴ（ＥＢＤ）が配置され、エンベデッドデータの後にはパケットフッタＰＦが配置される。例えば、エンベデッドデータは、３６ライン（＝最大４ライン（input）×８phase＋最大４ライン（internal））のデータからなる。
　図４には、DepthピクセルフォーマットおよびＯＰＤピクセルフォーマットの一例が示されている。
　Depthピクセルフォーマットにおいては、デプスデータを構成するXYZC値が、図示するようなXYZCピクセルフォーマットに従って配置される。
　ＯＰＤピクセルフォーマットは、図示するように、最終ライン以外においてAE OPDピクセルフォーマットに従ってデータが配置され、最終ラインにおいてAE OPD最終ラインに従ってデータが配置される。なお、AE OPD最終ライン以外は、ライン終了までリザーブドとされる。
　＜信号処理の処理例＞
　図５に示すフローチャートを参照して、図３に示したような出力フォーマットで内部生成データを出力する信号処理装置１３の信号処理について説明する。
　ステップＳ１１において、MIPI送信インタフェース３１は、iTOFセンサ１２から入力されるフレームスタートＦＳに則って、出力フォーマットのフレームスタートＦＳを最初に付加する。そして、出力制御部３２は、水平カウンタ５１および垂直カウンタ５２のカウント値をクリアする。
　ステップＳ１２において、ＥＮＢ分離部２１は、iTOFセンサ１２から供給された位相データに対して埋め込まれているエンベデッドデータを抜き出して、記憶部２４のＥＮＢデータ格納部４１に格納する。
　ステップＳ１３において、ＯＰＤ算出部２２は、ＥＮＢ分離部２１を介して供給された位相データからＯＰＤデータを算出し、記憶部２４のＯＰＤデータ格納部４２に格納する。
　ステップＳ１４において、デプスデータ処理部２３は、ＯＰＤ算出部２２を介して供給された位相データを用いてDepth信号処理を実行し、その処理結果として取得されるデプスデータを、記憶部２４のデプスデータ格納部４３に格納する。
　ステップＳ１５において、MIPI送信インタフェース３１は、パケットの初めにパケットヘッダＰＨを付加し、データタイプ出力部２５は、データタイプＤＴ（ＵＤ）を付加する。デプスデータ出力部２８は、出力制御部３２の水平カウンタ５１のカウント値に則って、１パケット分のデプスデータを記憶部２４のデプスデータ格納部４３から読み出し、第１の選択部２９および第２の選択部３０を介して、MIPI送信インタフェース３１に供給する。MIPI送信インタフェース３１は、パケットヘッダＰＨ、データタイプＤＴ（ＵＤ）、１パケット分のデプスデータ、およびパケットフッタＰＦを出力する。そして、この処理が、出力制御部３２の垂直カウンタ５２のカウント値に則って、必要なパケットの分だけ繰り返して行われる。
　ステップＳ１６において、MIPI送信インタフェース３１は、パケットの初めにパケットヘッダＰＨを付加し、データタイプ出力部２５は、データタイプＤＴ（ＵＤ）を付加する。ＯＰＤデータ出力部２７は、出力制御部３２の水平カウンタ５１のカウント値に則って、１パケット分のＯＰＤデータを記憶部２４のＯＰＤデータ格納部４２から読み出し、第１の選択部２９および第２の選択部３０を介して、MIPI送信インタフェース３１に供給する。MIPI送信インタフェース３１は、パケットヘッダＰＨ、データタイプＤＴ（ＵＤ）、１パケット分のＯＰＤデータ、およびパケットフッタＰＦを出力する。そして、この処理が、出力制御部３２の垂直カウンタ５２のカウント値に則って、必要なパケットの分だけ繰り返して行われる。
　ステップＳ１７において、MIPI送信インタフェース３１は、パケットの初めにパケットヘッダＰＨを付加し、データタイプ出力部２５は、データタイプＤＴ（ＥＢＤ）を付加する。ＥＮＢデータ出力部２６は、出力制御部３２の水平カウンタ５１のカウント値に則って、１パケット分のＥＮＢデータを記憶部２４のＥＮＢデータ格納部４１から読み出し、第１の選択部２９および第２の選択部３０を介して、MIPI送信インタフェース３１に供給する。MIPI送信インタフェース３１は、パケットヘッダＰＨ、データタイプＤＴ（ＥＢＤ）、１パケット分のＥＮＢデータ、およびパケットフッタＰＦを出力する。そして、この処理が、出力制御部３２の垂直カウンタ５２のカウント値に則って、必要なパケットの分だけ繰り返して行われる。
　ステップＳ１８において、MIPI送信インタフェース３１は、フレームエンドＦＥを最後に付加し、１フレームの出力が終了される。
　以上のような信号処理を信号処理装置１３が実行することにより、デプスデータおよびOPDデータをMIPIフォーマットにマッピングした出力フォーマットでアプリケーションプロセッサ１４に送信することができる。即ち、信号処理装置１３では、iTOFセンサ１２ら入力されたMIPIフォーマット内のフレームスタートをトリガーとし、水平カウンタ５１のカウント値を用いて、位相データ、エンベデッドデータ、デプスデータ、ＯＰＤデータなどの複数の異なったデータをMIPIの同一フレーム内にマッピングし、後段のアプリケーションプロセッサ１４へ送信することが可能となる。
　このように、信号処理装置１３においてデプスデータおよびOPDデータを求めることで、測距システム１１全体として、より機能性を高めることができる。即ち、測距システム１１は、後段のアプリケーションプロセッサ１４においてDepth信号処理を行わない構成として、信号処理装置１３において高速にDepth信号処理を実行することができる。これにより、例えば、フレーム遅延の低減を図ることができる。
　また、信号処理装置１３は、第２の選択部３０により位相データおよび内部生成データのうち一方を選択することができるので、例えば、従来のMIPIフォーマットで位相データを送信することにも対応することができる。なお、iTOFセンサ１２および信号処理装置１３を独立して設ける構成とする他、例えば、iTOFセンサ１２のロジック部に信号処理装置１３の回路を搭載することで１チップ化することができ、本実施の形態の出力フォーマットで、１チップのiTOFセンサ１２からデプスデータおよびOPDデータを出力することも可能である。
　＜コンピュータの構成例＞
　図６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）１０４は、バス１０５により相互に接続されている。バス１０５には、さらに、入出力インタフェース１０６が接続されており、入出力インタフェース１０６が外部に接続される。
　以上のように構成されるコンピュータでは、CPU１０１が、例えば、ROM１０２およびEEPROM１０４に記憶されているプログラムを、バス１０５を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU１０１）が実行するプログラムは、ROM１０２に予め書き込んでおく他、入出力インタフェース１０６を介して外部からEEPROM１０４にインストールしたり、更新したりすることができる。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　iTOF（indirect Time Of Flight）センサから供給される位相データに対して信号処理を実行し、測距の対象となる対象物までの奥行きを示すデプスデータを取得するデプスデータ処理部と、
　前記デプスデータを、所定の出力フォーマットで送信する送信処理部と
　を備える信号処理装置。
（２）
　前記デプスデータ処理部は、前記デプスデータを取得するための信号処理用に専用設計されたハードウェアにより実装される
　上記（１）に記載の信号処理装置。
（３）
　前記出力フォーマットは、MIPI（Mobile Industry Processor Interface）フォーマットに準拠している
　上記（１）または（２）に記載の信号処理装置。
（４）
　前記位相データから、自動露出を実行するのに必要となる光検出量を示すＯＰＤ（Optical Detector）データを算出するＯＰＤ算出部をさらに備え、
　前記送信処理部は、前記ＯＰＤデータを前記出力フォーマットで送信する
　上記（１）から（３）までのいずれかに記載の信号処理装置。
（５）
　前記位相データに対して埋め込まれているエンベデッドデータを抜き出すエンベデッドデータ分離部をさらに備え、
　前記送信処理部は、前記エンベデッドデータを前記出力フォーマットで送信する
　上記（１）から（４）までのいずれかに記載の信号処理装置。
（６）
　前記iTOFセンサから供給される前記位相データ、および、前記デプスデータ処理部により取得された前記デプスデータのうち、いずれか一方を選択して前記送信処理部に供給する選択部
　をさらに備える上記（１）から（５）までのいずれかに記載の信号処理装置。
（７）
　信号処理を行う信号処理装置が、
　iTOF（indirect Time Of Flight）センサから供給される位相データに対して信号処理を実行し、測距の対象となる対象物までの奥行きを示すデプスデータを取得することと、
　前記デプスデータを、所定の出力フォーマットで送信することと
　を含む信号処理方法。
（８）
　信号処理を行う信号処理装置のコンピュータに、
　iTOF（indirect Time Of Flight）センサから供給される位相データに対して信号処理を実行し、測距の対象となる対象物までの奥行きを示すデプスデータを取得することと、
　前記デプスデータを、所定の出力フォーマットで送信することと
　を含む信号処理を実行させるためのプログラム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　測距システム，　１２　iTOFセンサ，　１３　信号処理装置，　１４　アプリケーションプロセッサ，　２１　ＥＮＢ分離部，　２２　ＯＰＤ算出部，　２３　デプスデータ処理部，　２４　記憶部，　２５　データタイプ出力部，　２６　ＥＮＢデータ出力部，　２７　ＯＰＤデータ出力部，　２８　デプスデータ出力部，　２９　第１の選択部，　３０　第２の選択部，　３１　MIPI送信インタフェース，　３２　出力制御部，　４１　ＥＮＢデータ格納部，　４２　ＯＰＤデータ格納部，　４３　デプスデータ格納部，　５１　水平カウンタ，　５２　垂直カウンタ

Claims (8)

  1. 　iTOF（indirect Time Of Flight）センサから供給される位相データに対して信号処理を実行し、測距の対象となる対象物までの奥行きを示すデプスデータを取得するデプスデータ処理部と、
    　前記デプスデータを、所定の出力フォーマットで送信する送信処理部と
    　を備える信号処理装置。
  2. 　前記デプスデータ処理部は、前記デプスデータを取得するための信号処理用に専用設計されたハードウェアにより実装される
    　請求項１に記載の信号処理装置。
  3. 　前記出力フォーマットは、MIPI（Mobile Industry Processor Interface）フォーマットに準拠している
    　請求項１に記載の信号処理装置。
  4. 　前記位相データから、自動露出を実行するのに必要となる光検出量を示すＯＰＤ（Optical Detector）データを算出するＯＰＤ算出部をさらに備え、
    　前記送信処理部は、前記ＯＰＤデータを前記出力フォーマットで送信する
    　請求項１に記載の信号処理装置。
  5. 　前記位相データに対して埋め込まれているエンベデッドデータを抜き出すエンベデッドデータ分離部をさらに備え、
    　前記送信処理部は、前記エンベデッドデータを前記出力フォーマットで送信する
    　請求項１に記載の信号処理装置。
  6. 　前記iTOFセンサから供給される前記位相データ、および、前記デプスデータ処理部により取得された前記デプスデータのうち、いずれか一方を選択して前記送信処理部に供給する選択部
    　をさらに備える請求項１に記載の信号処理装置。
  7. 　信号処理を行う信号処理装置が、
    　iTOF（indirect Time Of Flight）センサから供給される位相データに対して信号処理を実行し、測距の対象となる対象物までの奥行きを示すデプスデータを取得することと、
    　前記デプスデータを、所定の出力フォーマットで送信することと
    　を含む信号処理方法。
  8. 　信号処理を行う信号処理装置のコンピュータに、
    　iTOF（indirect Time Of Flight）センサから供給される位相データに対して信号処理を実行し、測距の対象となる対象物までの奥行きを示すデプスデータを取得することと、
    　前記デプスデータを、所定の出力フォーマットで送信することと
    　を含む信号処理を実行させるためのプログラム。
PCT/JP2022/000162 2021-02-18 2022-01-06 信号処理装置および信号処理方法、並びにプログラム WO2022176419A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/264,449 US20240045058A1 (en) 2021-02-18 2022-01-06 Signal processing apparatus, signal processing method, and program
CN202280014745.6A CN116868086A (zh) 2021-02-18 2022-01-06 信号处理装置、信号处理方法和程序
DE112022001111.4T DE112022001111T5 (de) 2021-02-18 2022-01-06 Signalverarbeitungseinrichtung, signalverarbeitungsverfahren und programm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021024314 2021-02-18
JP2021-024314 2021-02-18

Publications (1)

Publication Number Publication Date
WO2022176419A1 true WO2022176419A1 (ja) 2022-08-25

Family

ID=82930710

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000162 WO2022176419A1 (ja) 2021-02-18 2022-01-06 信号処理装置および信号処理方法、並びにプログラム

Country Status (5)

Country Link
US (1) US20240045058A1 (ja)
CN (1) CN116868086A (ja)
DE (1) DE112022001111T5 (ja)
TW (1) TW202235903A (ja)
WO (1) WO2022176419A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000269972A (ja) * 1999-03-12 2000-09-29 Omron Corp センサ及び上位装置並びにセンサシステム
JP2004023605A (ja) * 2002-06-19 2004-01-22 Sony Corp 画像処理装置、カメラ装置、及びその自動露光制御方法
JP2015210271A (ja) * 2014-04-29 2015-11-24 ▲ゆ▼創科技股▲ふん▼有限公司 ポータブル３次元スキャナ及び物体に対応する３次元スキャン結果を生成する方法
JP2017199104A (ja) * 2016-04-26 2017-11-02 ソニー株式会社 半導体装置および半導体装置の制御方法
US20190007675A1 (en) * 2017-06-29 2019-01-03 Archermind Technology (Nanjing) Co., Ltd. Method and apparatus for acquiring three-dimensional image using two cameras
CN110488240A (zh) * 2019-07-12 2019-11-22 深圳奥比中光科技有限公司 深度计算芯片架构
JP2020148682A (ja) * 2019-03-14 2020-09-17 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及びスキュー補正方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000269972A (ja) * 1999-03-12 2000-09-29 Omron Corp センサ及び上位装置並びにセンサシステム
JP2004023605A (ja) * 2002-06-19 2004-01-22 Sony Corp 画像処理装置、カメラ装置、及びその自動露光制御方法
JP2015210271A (ja) * 2014-04-29 2015-11-24 ▲ゆ▼創科技股▲ふん▼有限公司 ポータブル３次元スキャナ及び物体に対応する３次元スキャン結果を生成する方法
JP2017199104A (ja) * 2016-04-26 2017-11-02 ソニー株式会社 半導体装置および半導体装置の制御方法
US20190007675A1 (en) * 2017-06-29 2019-01-03 Archermind Technology (Nanjing) Co., Ltd. Method and apparatus for acquiring three-dimensional image using two cameras
JP2020148682A (ja) * 2019-03-14 2020-09-17 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及びスキュー補正方法
CN110488240A (zh) * 2019-07-12 2019-11-22 深圳奥比中光科技有限公司 深度计算芯片架构

Also Published As

Publication number Publication date
TW202235903A (zh) 2022-09-16
DE112022001111T5 (de) 2024-02-22
CN116868086A (zh) 2023-10-10
US20240045058A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
US10229531B2 (en) Method and device for testing a control unit
US10578741B2 (en) Distance detection device and distance detection method
US9274999B2 (en) Communication system and optical navigation device
EP3188461B1 (en) Method and apparatus for correcting detection distance
US10196152B2 (en) Sensor data processing for condition monitoring systems
US20180041375A1 (en) Communication device, communication method, and computer readable medium
US9778971B2 (en) Slave device, master device, and communication method
WO2011114090A3 (en) Requests and data handling in a bus architecture
WO2020062062A1 (zh) 集群渲染方法、设备和系统
WO2022176419A1 (ja) 信号処理装置および信号処理方法、並びにプログラム
TWI551084B (zh) 距離計測裝置及距離計測方法
US9882705B2 (en) Communication apparatus, communication method, and computer readable medium using propagation delay for time synchronization
US10680923B2 (en) Semiconductor device and operating method thereof
JP6295850B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US10674392B2 (en) Communication device, communication system, communication method, and recording medium having communication program recorded thereon
CN110268692A (zh) 一种数据处理方法、装置、控制器及可移动装置
US11765233B2 (en) Communication device, communication system, communication method, and recording medium
CN115728734B (zh) 激光雷达遮挡检测方法、装置、存储介质及激光雷达
US20240171422A1 (en) Communication device, communication system, communication control method, and program
WO2021142679A1 (zh) 一种数据流量控制方法、PCIe控制器及PCIe装置
KR102201814B1 (ko) 슬레이브 클럭의 동기화 검출 방법
US20230260395A1 (en) Correction data generation device, correction data generation method and computer readable medium
CN117194290A (zh) 自动驾驶中的多路传感器数据传输方法和装置
US20240070818A1 (en) Image synchronizing method, system and electronic equipment
WO2019104613A1 (zh) 一种抗干扰的测距方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22755745

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18264449

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280014745.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112022001111

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22755745

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP