WO2023175890A1 - センサシステムおよびセンシング方法 - Google Patents

センサシステムおよびセンシング方法 Download PDF

Info

Publication number
WO2023175890A1
WO2023175890A1 PCT/JP2022/012579 JP2022012579W WO2023175890A1 WO 2023175890 A1 WO2023175890 A1 WO 2023175890A1 JP 2022012579 W JP2022012579 W JP 2022012579W WO 2023175890 A1 WO2023175890 A1 WO 2023175890A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
irradiation
signal
light
event
Prior art date
Application number
PCT/JP2022/012579
Other languages
English (en)
French (fr)
Inventor
貴志 島津
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to PCT/JP2022/012579 priority Critical patent/WO2023175890A1/ja
Publication of WO2023175890A1 publication Critical patent/WO2023175890A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Definitions

  • the present invention relates to a sensor system and a sensing method.
  • ToF sensors which measure the distance to an object based on the time of flight of light, are used, for example, to obtain three-dimensional information about a subject, from the time the irradiation light is irradiated to the time the reflected light is received.
  • the irradiation light is irradiated in a pulsed manner, so the duration of irradiation is short. Therefore, for example, even if the vision sensor simultaneously images an object on which the ToF sensor is irradiating the irradiation light, and the detection wavelength band of the vision sensor includes the wavelength band of the irradiation light, the vision sensor has both temporal resolution and spatial resolution. If the sensor is based on a frame that is not very expensive, the irradiation light of the ToF sensor will not substantially affect the output of the vision sensor.
  • the temporal resolution is high, so if the wavelength band of the irradiated light is included in the detection wavelength band of the vision sensor, the ToF sensor will not be able to irradiate the irradiated light.
  • the irradiation light may affect the output of the vision sensor.
  • the present invention provides a sensor system that includes a device that emits illumination light toward an object and an event-based vision sensor that images the object, in which the illumination light is prevented from affecting the detection results of the vision sensor.
  • the purpose of the present invention is to provide a sensor system and a sensing method that can perform the following tasks.
  • a sensor system includes a first sensor that emits illumination light toward an object, and a second sensor that is an event-based vision sensor capable of imaging the object.
  • the first sensor includes a first controller that transmits a signal indicating the timing at which the irradiation light is irradiated to the second sensor.
  • a first sensor is an event-based vision sensor capable of directing illumination light toward an object, and is capable of imaging the object from the first sensor.
  • a sensing method is provided, which includes the step of transmitting a signal indicating the timing at which the irradiation light is irradiated to the second sensor.
  • FIG. 1 is a diagram schematically showing the configuration of a sensor system according to an embodiment of the present invention.
  • 2 is a timing chart showing an example of processing executed by the sensor system shown in FIG. 1.
  • FIG. 1 is a diagram schematically showing the configuration of a sensor system according to an embodiment of the present invention.
  • FIG. 1 is a diagram schematically showing the configuration of a sensor system according to an embodiment of the present invention.
  • sensor system 10 includes a direct time of flight (dToF) sensor 100 and an event-based vision sensor (EVS) 200.
  • the dToF sensor 100 can perform measurements by emitting illumination light toward an object, and the EVS 200 can image the same object.
  • the dToF sensor 100 and the EVS 200 are connected to each other and can transmit and receive signals as described later.
  • the dToF sensor 100 includes a light source unit 110 that includes, for example, a VCSEL (Vertical Cavity Surface Emitting Laser) element that emits laser light as irradiation light, a mirror, etc., and a light source unit 110 that receives laser light that is reflected by objects in space and becomes reflected light.
  • the light receiving unit 120 includes a light receiving element including a light receiving element, and a control unit 130 that controls the light source unit 110 and the light receiving unit 120.
  • the dToF sensor 100 measures the distance to an object by measuring the time difference between irradiation with irradiation light and reception of reflected light. The measured time difference or distance data is output to the host device 300, for example.
  • the EVS 200 includes a sensor array 210 made up of sensors including light receiving elements, and a control unit 220 that controls the sensor array 210.
  • the EVS 200 generates an event signal that includes a timestamp, identification information of the sensor, and information on the polarity of the brightness change when the sensor detects a change in the intensity of incident light, more specifically a change in brightness on the surface of an object.
  • the generated event signal is output to the host device 300, for example.
  • the host device 300 is, for example, a game machine, a personal computer (PC), or a server device connected to a network. Note that the host devices 300 to which the outputs of the dToF sensor 100 and the EVS 200 are transmitted do not necessarily have to be the same. Further, in this embodiment, the host device 300 is not included in the sensor system 10, and the dToF sensor 100 and the EVS 200 are connected to each other without the host device 300 intervening.
  • control units 130 and 220 of each device perform processing such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), and/or an FPGA (Field-Programmable Gate Array). Consists of circuits.
  • the control units 130 and 220 are connected to memories 131 and 221 configured of, for example, various types of ROM (Read Only Memory) and/or RAM (Random Access Memory).
  • the control units 130 and 220 execute operations as described below by operating according to program codes stored in the memories 131 and 221.
  • communication interfaces 132 and 222 for transmitting and receiving signals between the dToF sensor 100 and the EVS 200 are connected to the control units 130 and 220.
  • the communication interfaces 132 and 222 are, for example, bus interfaces, and when the dToF sensor 100 and the EVS 200 are installed as separate devices, they are installed in the respective devices. If the dToF sensor 100 and the EVS 200 are implemented within the same device, the communication interfaces 132, 222 may be the same.
  • the control unit 130 of the dToF sensor 100 transmits a signal indicating the timing at which the irradiation light is irradiated to the EVS 200. Specifically, for example, while controlling the light source unit 110 to emit light, the control unit 130 concurrently executes a process of transmitting a signal to the EVS 200. In this case, when the light source section 110 stops emitting the irradiation light, the signal is no longer transmitted to the EVS 200 as well.
  • control unit 130 may start transmitting the signal by a predetermined time earlier than the light source unit 110 starts irradiating the irradiation light, taking into account the delay for signal transmission and processing, and starts transmitting the signal a predetermined time earlier than the irradiation ends.
  • the signal transmission may be terminated earlier by a predetermined time.
  • the signal may be transmitted continuously from the start to the end of irradiation, for example, or a signal that allows the EVS 200 to identify the start and end may be transmitted at the start and end of irradiation.
  • the time period during which the light source unit 110 continues irradiation is fixed, the signal may be transmitted only at the start of irradiation.
  • the signal transmitted by the control unit 130 is transmitted from the dToF sensor 100 to the EVS 200 via the communication interfaces 132 and 222.
  • the irradiation of the irradiation light is periodically repeated according to a predetermined operation pattern, so the transmission of the signal to the EVS 200 is also periodically repeated.
  • the control unit 220 receives a signal from the dToF sensor 100 via the communication interface 222.
  • the control unit 220 executes processing for preventing the irradiation light from affecting the detection results of the EVS 200, for example, based on the received signal.
  • the control unit 220 executes a process of invalidating an event signal generated during the irradiation of the irradiation light.
  • an event signal is generated when the sensor of the sensor array 210 detects a change in the brightness of incident light, but the control unit 220 does not generate an event signal while a signal is being received from the dToF sensor 100, for example.
  • the control unit 220 starts transferring the event signal to the host device 300 again, and validates the event signal.
  • the controller 220 re-enables the event signal when no signal is received from the dToF sensor 100, or re-enables the event signal when a signal indicating the end of irradiation is received. If the time period during which the light source section 110 of the dToF sensor 100 continues irradiation is fixed and a signal is transmitted only at the start of irradiation, the control section 220 determines when the preset irradiation duration time has elapsed from the start of processing. to re-enable the event signal.
  • control unit 220 may invalidate the event signal by a predetermined period of time from the start of irradiation indicated by the signal from the dToF sensor 100, taking into account delays for signal transmission and processing. If the time is shorter than the time during which the transferred event signal is temporarily buffered in the memory 221, the event signal can be retroactively invalidated. In this case, the control unit 220 may reactivate the event signal a predetermined time period after the end of the irradiation indicated by the signal from the dToF sensor 100.
  • the event signal transferred from the control unit 220 to the host device 300 is not affected by the dToF sensor 100 irradiating the irradiation light. Detection results during the time period are no longer included. Therefore, as a result, it is possible to prevent the irradiation light from affecting the detection results of the EVS 200.
  • control unit 220 may set a predetermined flag on an event signal generated during irradiation with the irradiation light.
  • the predetermined flag is added to the event signal as arbitrary setting information, for example.
  • the control unit 220 controls the sensor while the signal is being received from the dToF sensor 100, or from when the signal indicating the start of irradiation is received from the dToF sensor 100 until the signal indicating the end of irradiation is received.
  • a predetermined flag is set on the event signal input from the array 210 and then transferred to the host device 300.
  • the control unit 220 sets a predetermined flag on the event signal from the start of processing until a preset irradiation duration time has elapsed. Similar to the above invalidation example, the control unit 220 may set a flag on the event signal in a period that is a predetermined amount of time back from the start and end of irradiation, allowing for delays in signal transmission and processing. . If the time is shorter than the time during which the event signal to be transferred is temporarily buffered in the memory 221, it is possible to retroactively set a flag on the event signal or retroactively cancel the flag on the event signal.
  • the control unit 220 sets a predetermined flag on the event signal generated during the irradiation of the irradiation light, so that the host device 300 to which the event signal is transferred from the control unit 220 irradiates the irradiation light with the dToF sensor 100.
  • Event signals generated during the process can be identified.
  • the host device 300 may ignore an event signal generated while the irradiation light is being applied, or may treat the event signal as having relatively low reliability. This can prevent the irradiation light from affecting the detection results of the EVS 200.
  • the time corresponding to the delay for signal transmission and processing is adjusted to an appropriate length for both the dToF sensor 100 side and the EVS 200 side. Therefore, for example, when the control section 130 of the dToF sensor 100 starts and ends signal transmission a predetermined time earlier than the start and end of irradiation, the control section 220 of the EVS 200 starts and ends the signal transmission without going back from the start and end of the received signal. Disable the event signal or set a predetermined flag on the event signal.
  • the control section 220 of the EVS 200 starts and ends the signal transmission by a predetermined period of time from the start and end of the received signals. Disable the event signal or set a predetermined flag on the event signal.
  • the predetermined time for accelerating the start and end of signal transmission or performing processing retroactively from the start and end of received signals may be set, for example, by a calibration procedure via the host device 300. good. Note that if the delay for signal transmission and processing is negligible, both dToF sensor 100 and EVS 200 may perform processing based on the signal without speeding up the time.
  • FIG. 2 is a timing chart showing an example of processing executed by the sensor system shown in FIG. 1.
  • the control unit 130 of the dToF sensor 100 executes control to cause the light source unit 110 to start irradiating irradiation light (step S101).
  • This control may be executed regularly according to a predetermined operation pattern, or may be initiated by a command from the host device 300, for example.
  • the control unit 130 transmits a signal to the EVS 200 (step S102).
  • the signal may be transmitted substantially simultaneously with the control of the light source section 110 as in the illustrated example, or may be transmitted a predetermined time earlier than the control of the light source section 110.
  • control unit 130 may continuously transmit the signal (step S104) until the light source unit 110 executes control to end the irradiation of the irradiation light (step S103), or may transmit the signal again only when the irradiation ends.
  • a signal may also be transmitted (step S105). In the latter case, different signals are transmitted in step S102 and step S105 so that the start and end of irradiation can be identified. Alternatively, if the irradiation duration time is fixed, only the signal transmission in step S102 may be executed.
  • the control unit 220 of the EVS 200 starts a predetermined process for preventing the irradiation light of the dToF sensor 100 from affecting the detection results of the EVS 200 ( Step S106).
  • the predetermined processing may include, for example, disabling the event signal generated by the sensor array 210 and not transmitting it to the host device 300, or setting a predetermined flag on the event signal generated by the sensor array 210. This is the process of transferring the data to the host device 300.
  • the processing may be started substantially simultaneously with the reception of the signal, as in the illustrated example, or may be started a predetermined time later than the reception of the signal.
  • step S107 the control unit 220 ends the predetermined process (step S107). For example, if a signal is continuously transmitted in step S104 above, step S107 may be executed on the condition that the signal is no longer received. Furthermore, if a signal indicating the end of irradiation is transmitted in step S105 above, step S107 may be executed on the condition that this signal is received. Alternatively, if a signal is transmitted only in step S102 above, step S107 may be executed on the condition that a preset irradiation duration time elapses.
  • the event signal generated by the EVS 200 is invalidated or a predetermined flag is attached to the event signal. is set, it is possible to prevent the irradiation light from affecting the detection results of the EVS 200.
  • an infrared pulsed laser is used as the laser light emitted by the dToF sensor 100.
  • the configuration of the embodiment of the present invention as described above is effective when the EVS 200 capable of detecting light in the infrared wavelength band and the dToF sensor 100 are combined.
  • an infrared cut filter can be attached to the EVS 200, but in this case, light in the infrared wavelength band will not be observed even when the dToF sensor 100 is irradiated.
  • infrared cut filters do not completely cut out infrared rays. Therefore, the configuration of this embodiment may be advantageous, for example, when it is desired to observe light in the infrared wavelength band except when irradiated by the dToF sensor 100, or when it is desired to sufficiently eliminate the influence of irradiated light.
  • the irradiation light of the dToF sensor 100 is not limited to infrared rays, and light in other wavelength bands may be irradiated.
  • the sensor that emits illumination light toward an object is not limited to a dToF sensor, but may be an iToF sensor or another sensor that uses illumination light.
  • SYMBOLS 10 Sensor system, 100... dToF sensor, 110... Light source part, 120... Light receiving part, 130... Control part, 131... Memory, 132... Communication interface, 200... EVS, 210... Sensor array, 220... Control part, 221... Memory, 222...Communication interface, 300...Host device.

Abstract

本発明のある観点によれば、オブジェクトに向けて照射光を照射する第１のセンサと、上記オブジェクトを撮像することが可能なイベントベースのビジョンセンサである第２のセンサとを含むセンサシステムであって、上記第１のセンサは、照射光が照射されるタイミングを示す信号を上記第２のセンサに送信する第１の制御部を備えるセンサシステムが提供される。本発明の別の観点によれば、第１のセンサがオブジェクトに向けて照射光を照射するステップと、上記第１のセンサから上記オブジェクトを撮像することが可能なイベントベースのビジョンセンサである第２のセンサに向けて、上記照射光が照射されるタイミングを示す信号を送信するステップとを含む、センシング方法が提供される。

Description

センサシステムおよびセンシング方法
　本発明は、センサシステムおよびセンシング方法に関する。
　光の飛行時間に基づいてオブジェクトまでの距離を測定するＴｏＦ（Time of Flight）センサは、例えば被写体の三次元情報を取得するために利用され、照射光を照射してから反射光を受光するまでの時間差を計測するｄＴｏＦ（direct ＴｏＦ）方式と、反射光を蓄積して発光との位相差を検出することで距離を測定するｉＴｏＦ（indirect ＴｏＦ）方式に大別される。ＴｏＦセンサに関する技術は、例えば特許文献１に記載されている。
特開２０１９－０７８７４８号公報
　上記のようなＴｏＦセンサでは照射光がパルス状に照射されるため、照射の継続時間は短い。従って、例えばＴｏＦセンサが照射光を照射しているオブジェクトをビジョンセンサで同時に撮像し、ビジョンセンサの検出波長帯域に照射光の波長帯域が含まれていたとしても、ビジョンセンサが時間解像度も空間解像度もさほど高くないフレームベースのものであれば、ビジョンセンサの出力にＴｏＦセンサの照射光が影響を与えることは実質的にない。
　ところが、近年開発されているイベントベースのビジョンセンサの場合は、時間解像度が高いため、ビジョンセンサの検出波長帯域に照射光の波長帯域が含まれていると、ＴｏＦセンサが照射光を照射しているオブジェクトをビジョンセンサで同時に撮像したときに、ビジョンセンサの出力に照射光が影響を及ぼす可能性がある。
　そこで、本発明は、オブジェクトに向けて照射光を照射する装置と、そのオブジェクトを撮像するイベントベースのビジョンセンサとを含むセンサシステムにおいて、照射光がビジョンセンサの検出結果に影響を及ぼすのを防止することが可能なセンサシステムおよびセンシング方法を提供することを目的とする。
　本発明のある観点によれば、オブジェクトに向けて照射光を照射する第１のセンサと、上記オブジェクトを撮像することが可能なイベントベースのビジョンセンサである第２のセンサとを含むセンサシステムであって、上記第１のセンサは、照射光が照射されるタイミングを示す信号を上記第２のセンサに送信する第１の制御部を備えるセンサシステムが提供される。
　本発明の別の観点によれば、第１のセンサがオブジェクトに向けて照射光を照射するステップと、上記第１のセンサから上記オブジェクトを撮像することが可能なイベントベースのビジョンセンサである第２のセンサに向けて、上記照射光が照射されるタイミングを示す信号を送信するステップとを含む、センシング方法が提供される。
本発明の一実施形態に係るセンサシステムの構成を概略的に示す図である。 図１に示すセンサシステムで実行される処理の例を示すタイミングチャートである。
　以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　図１は、本発明の一実施形態に係るセンサシステムの構成を概略的に示す図である。図示された例において、センサシステム１０は、ｄＴｏＦ（direct Time of Flight）センサ１００と、イベントベースのビジョンセンサ（ＥＶＳ：Event-based Vision Sensor）２００とを含む。ｄＴｏＦセンサ１００はオブジェクトに向けて照射光を照射して測定を実施し、ＥＶＳ２００はその同じオブジェクトを撮像することが可能である。ｄＴｏＦセンサ１００とＥＶＳ２００とは互いに接続されており、後述するように信号を送受信することが可能である。
　ｄＴｏＦセンサ１００は、例えば照射光としてレーザー光を照射するＶＣＳＥＬ（Vertical Cavity Surface Emitting Laser）素子やミラーなどを含む光源部１１０と、空間内のオブジェクトに反射して反射光になったレーザー光を受光する受光素子を含む受光部１２０と、光源部１１０および受光部１２０を制御する制御部１３０とを含む。ｄＴｏＦセンサ１００は、照射光を照射してから反射光が受光されるまでの時間差を計測することによって、オブジェクトまでの距離を測定する。測定された時間差または距離のデータは、例えばホスト装置３００に出力される。
　一方、ＥＶＳ２００は、受光素子を含むセンサで構成されるセンサアレイ２１０と、センサアレイ２１０を制御する制御部２２０とを含む。ＥＶＳ２００は、センサが入射する光の強度変化、より具体的にはオブジェクト表面の輝度変化を検出したときに、タイムスタンプ、センサの識別情報および輝度変化の極性の情報を含むイベント信号を生成する。生成されたイベント信号は、例えばホスト装置３００に出力される。
　ホスト装置３００は、例えばゲーム機、パーソナルコンピュータ（ＰＣ）またはネットワーク接続されたサーバ装置である。なお、ｄＴｏＦセンサ１００およびＥＶＳ２００のそれぞれの出力が送信されるホスト装置３００は、必ずしも同一でなくてもよい。また、本実施形態においてホスト装置３００はセンサシステム１０には含まれておらず、ｄＴｏＦセンサ１００とＥＶＳ２００とはホスト装置３００を介さずに互いに接続されている。
　上記のようなセンサシステム１０において、それぞれの装置の制御部１３０，２２０は、例えばＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、および／またはＦＰＧＡ（Field-Programmable Gate Array）などの処理回路によって構成される。制御部１３０，２２０には、例えば各種のＲＯＭ（Read Only Memory）および／またはＲＡＭ（Random Access Memory）などによって構成されるメモリ１３１，２２１が接続される。制御部１３０，２２０は、メモリ１３１，２２１に格納されたプログラムコードに従って動作することによって、以下で説明するような動作を実行する。さらに、制御部１３０，２２０には、ｄＴｏＦセンサ１００とＥＶＳ２００との間で信号を送受信するための通信インターフェース１３２，２２２が接続される。通信インターフェース１３２，２２２は、例えばバスインターフェースであり、ｄＴｏＦセンサ１００とＥＶＳ２００とが別個の装置として実装される場合はそれぞれの装置で実装される。ｄＴｏＦセンサ１００とＥＶＳ２００とが同一の装置内で実装される場合、通信インターフェース１３２，２２２は同一のものであってもよい。
　本実施形態において、ｄＴｏＦセンサ１００の制御部１３０は、照射光が照射されるタイミングを示す信号をＥＶＳ２００に送信する。具体的には、例えば、制御部１３０は、光源部１１０に照射光を照射させる制御を実行している間、並行してＥＶＳ２００に信号を送信する処理を実行する。この場合、光源部１１０で照射光が照射されなくなると、ＥＶＳ２００にも信号が送信されなくなる。あるいは、制御部１３０は、信号の伝達および処理のための遅延を見込んで、光源部１１０が照射光の照射を開始するよりも所定時間だけ早く信号の送信を開始し、照射が終了するよりも所定時間だけ早く信号の送信を終了してもよい。信号は、例えば照射の開始から終了まで継続的に送信されてもよいし、照射の開始時および終了時に、ＥＶＳ２００側で開始および終了を識別可能な信号が送信されてもよい。あるいは、光源部１１０が照射を継続する時間が固定されている場合、照射の開始時にのみ信号が送信されてもよい。制御部１３０が送信した信号は、通信インターフェース１３２，２２２を介してｄＴｏＦセンサ１００からＥＶＳ２００に送信される。一般的に、ｄＴｏＦセンサ１００では所定の動作パターンに従って照射光の照射が周期的に繰り返されるため、ＥＶＳ２００への信号の送信も周期的に繰り返される。
　一方、本実施形態において、ＥＶＳ２００では、制御部２２０が、通信インターフェース２２２を介してｄＴｏＦセンサ１００からの信号を受信する。制御部２２０は、受信した信号に基づいて、例えば照射光がＥＶＳ２００の検出結果に影響を及ぼすのを防止するための処理を実行する。具体的には、例えば、制御部２２０は、照射光の照射中に生成されたイベント信号を無効化する処理を実行する。上述のようにＥＶＳ２００ではセンサアレイ２１０のセンサが入射する光の輝度変化を検出したときにイベント信号を生成するが、制御部２２０は例えばｄＴｏＦセンサ１００から信号が受信されている間はイベント信号をホスト装置３００に転送しないことによって無効化する。照射が終了すると、制御部２２０は、再びイベント信号のホスト装置３００への転送を開始して、イベント信号を有効化する。制御部２２０は、ｄＴｏＦセンサ１００から信号が受信されなくなった時にイベント信号を再び有効化するか、または照射の終了を示す信号が受信された時にイベント信号を再び有効化する。ｄＴｏＦセンサ１００の光源部１１０が照射を継続する時間が固定されていて照射の開始時にのみ信号が送信される場合、制御部２２０は、処理の開始から予め設定された照射継続時間が経過した時点でイベント信号を再び有効化する。
　あるいは、制御部２２０は、信号の伝達および処理のための遅延を見込んで、ｄＴｏＦセンサ１００から信号によって示される照射の開始から所定時間だけ遡ってイベント信号を無効化してもよい。転送されるイベント信号がメモリ２２１に一時的にバッファされている時間より短い時間であれば、遡ってイベント信号を無効化することができる。この場合、制御部２２０は、ｄＴｏＦセンサ１００からの信号によって示される照射の終了から所定時間だけ遡ってイベント信号を再び有効化してもよい。
　このように制御部２２０が照射光の照射中に生成されたイベント信号を無効化することによって、制御部２２０からホスト装置３００に転送されるイベント信号には、ｄＴｏＦセンサ１００によって照射光が照射されている間の検出結果が含まれなくなる。従って、結果的に、照射光がＥＶＳ２００の検出結果に影響を及ぼすことを防止できる。
　別の例として、制御部２２０は、照射光の照射中に生成されたイベント信号に所定のフラグを立ててもよい。所定のフラグは、例えばイベント信号に任意の設定情報として付加される。この場合、制御部２２０は、ｄＴｏＦセンサ１００から信号が受信されている間、またはｄＴｏＦセンサ１００から照射開始を示す信号が受信されてから照射終了を示す信号が受信されるまでの間は、センサアレイ２１０から入力されたイベント信号に所定のフラグを立てた上で、ホスト装置３００に転送する。照射の開始時にのみ信号が送信される場合、制御部２２０は、処理の開始から予め設定された照射継続時間が経過した時点までイベント信号に所定のフラグを立てる。上記の無効化の例と同様に、制御部２２０は、信号の伝達および処理のための遅延を見込んで、照射の開始および終了から所定時間だけ遡った期間でイベント信号にフラグを立ててもよい。転送されるイベント信号がメモリ２２１に一時的にバッファされている時間より短い時間であれば、遡ってイベント信号にフラグを立てたり、遡ってイベント信号のフラグを解除したりすることができる。
　このように制御部２２０が照射光の照射中に生成されたイベント信号に所定のフラグを立てることによって、制御部２２０からイベント信号を転送されたホスト装置３００では、ｄＴｏＦセンサ１００によって照射光が照射されている間に生成されたイベント信号を識別することができる。ホスト装置３００は、例えば照射光が照射されている間に生成されたイベント信号を無視してもよいし、あるいは相対的に信頼度が低いものとして扱ってもよい。これによって、照射光がＥＶＳ２００の検出結果に影響を及ぼすことを防止できる。
　なお、上記のそれぞれの例において、信号の伝達および処理のための遅延に対応する時間は、ｄＴｏＦセンサ１００側とＥＶＳ２００側とを合わせて適切な長さになるように調節される。従って、例えばｄＴｏＦセンサ１００の制御部１３０が照射の開始および終了よりも所定時間だけ早く信号の送信を開始および終了する場合、ＥＶＳ２００の制御部２２０は受信される信号の開始および終了から遡ることなくイベント信号を無効化するか、またはイベント信号に所定のフラグを立てる。あるいは、ｄＴｏＦセンサ１００の制御部１３０が照射の開始および終了と実質的に同時に信号の送信を開始および終了する場合、ＥＶＳ２００の制御部２２０は受信される信号の開始および終了から所定時間だけ遡ってイベント信号を無効化するか、またはイベント信号に所定のフラグを立てる。信号の送信の開始および終了を早めたり、受信される信号の開始および終了から遡って処理を実行したりするための所定時間は、例えばホスト装置３００を介したキャリブレーションの手順によって設定されてもよい。なお、信号の伝達および処理のための遅延が無視できる場合は、ｄＴｏＦセンサ１００およびＥＶＳ２００の両方で、時間を早めることなく信号に基づいて処理が実施されてもよい。
　図２は、図１に示すセンサシステムで実行される処理の例を示すタイミングチャートである。図示された例では、まず、ｄＴｏＦセンサ１００の制御部１３０が、光源部１１０に照射光の照射を開始させる制御を実行する（ステップＳ１０１）。この制御は、所定の動作パターンに従って規則的に実行されてもよいし、例えばホスト装置３００からの命令によって開始されてもよい。このとき、制御部１３０は、ＥＶＳ２００に信号を送信する（ステップＳ１０２）。上述のように、信号は、図示された例のように光源部１１０の制御と実質的に同時に送信されてもよいし、光源部１１０の制御よりも所定時間だけ早く送信されてもよい。この後、制御部１３０は、光源部１１０に照射光の照射を終了させる制御を実行する（ステップＳ１０３）まで信号を継続的に送信してもよいし（ステップＳ１０４）、照射の終了時にのみ再び信号を送信してもよい（ステップＳ１０５）。後者の場合、照射の開始と終了とを識別可能であるように、ステップＳ１０２およびステップＳ１０５ではそれぞれ異なる信号が送信される。あるいは、照射継続時間が固定されている場合はステップＳ１０２での信号の送信のみが実行されてもよい。
　一方、ＥＶＳ２００の制御部２２０は、上記のステップＳ１０２で送信された信号を受信すると、ｄＴｏＦセンサ１００の照射光がＥＶＳ２００の検出結果に影響を及ぼすのを防止するための所定の処理を開始する（ステップＳ１０６）。上述のように、所定の処理は、例えばセンサアレイ２１０で生成されたイベント信号を無効化してホスト装置３００に転送しない処理、またはセンサアレイ２１０で生成されたイベント信号に所定のフラグを立てた上でホスト装置３００に転送する処理である。処理は、図示された例のように信号の受信と実質的に同時に開始されてもよいし、信号の受信よりも所定時間だけ遡って開始されてもよい。ｄＴｏＦセンサ１００で照射光の照射が終了するタイミングで、制御部２２０は所定の処理を終了する（ステップＳ１０７）。例えば上記のステップＳ１０４で継続的に信号が送信される場合は、信号が受信されなくなることを条件としてステップＳ１０７が実行されてもよい。また、上記のステップＳ１０５で照射の終了を示す信号が送信される場合は、この信号が受信されることを条件としてステップＳ１０７が実行されてもよい。あるいは、上記のステップＳ１０２のみで信号が送信される場合は、予め設定された照射継続時間が経過することを条件としてステップＳ１０７が実行されてもよい。
　上記のステップＳ１０１～ステップＳ１０７を、ｄＴｏＦセンサ１００が照射光を照射する度に実行することによって、継続的にｄＴｏＦセンサ１００の照射光がＥＶＳ２００の検出結果に影響を及ぼすのを防止することができる。
　以上で説明したような本発明の一実施形態によれば、ｄＴｏＦセンサ１００から照射光が照射されている間、ＥＶＳ２００で生成されるイベント信号は無効化されるか、またはイベント信号に所定のフラグが立てられるため、照射光がＥＶＳ２００の検出結果に影響を及ぼすのを防止することができる。
　ｄＴｏＦセンサ１００が照射するレーザー光としては、例えば赤外線パルスレーザーが用いられる。この場合、上述したような本発明の実施形態の構成は、赤外波長帯域の光を検出可能なＥＶＳ２００とｄＴｏＦセンサ１００とを組みわせる場合に有効である。例えばＥＶＳ２００に赤外カットフィルタを取り付けることもできるが、そうするとｄＴｏＦセンサ１００の照射時以外も赤外波長帯域の光が観測されなくなる。また、赤外カットフィルタは赤外線を完全にカットするわけではない。従って、例えばｄＴｏＦセンサ１００の照射時以外は赤外波長帯域の光を観測したい場合や、照射光の影響を十分に除去したいような場合は、本実施形態の構成が有利でありうる。
　なお、ｄＴｏＦセンサ１００の照射光は赤外線には限られず、他の波長帯域の光が照射されてもよい。また、本発明の実施形態においてオブジェクトに向けて照射光を照射するセンサはｄＴｏＦセンサには限られず、ｉＴｏＦセンサ、またはその他の照射光を利用するセンサであってもよい。
　以上、添付図面を参照しながら本発明の実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　１０…センサシステム、１００…ｄＴｏＦセンサ、１１０…光源部、１２０…受光部、１３０…制御部、１３１…メモリ、１３２…通信インターフェース、２００…ＥＶＳ、２１０…センサアレイ、２２０…制御部、２２１…メモリ、２２２…通信インターフェース、３００…ホスト装置。

Claims (6)

  1. 　オブジェクトに向けて照射光を照射する第１のセンサと、前記オブジェクトを撮像することが可能なイベントベースのビジョンセンサである第２のセンサとを含むセンサシステムであって、
    　前記第１のセンサは、照射光が照射されるタイミングを示す信号を前記第２のセンサに送信する第１の制御部を備えるセンサシステム。
  2. 　前記第２のセンサは、前記照射光の照射中に前記イベントベースのビジョンセンサで生成されたイベント信号を無効化する第２の制御部を備える、請求項１に記載のセンサシステム。
  3. 　前記第２のセンサは、前記照射光の照射中に前記イベントベースのビジョンセンサで生成されたイベント信号に所定のフラグを立てる第２の制御部を備える、請求項１に記載のセンサシステム。
  4. 　前記第１のセンサは、ｄＴｏＦセンサまたはｉＴｏＦセンサである、請求項１から請求項３のいずれか１項に記載のセンサシステム。
  5. 　前記第１の制御部は、前記照射光を照射する制御に並行して前記信号を送信する、請求項１から請求項４のいずれか１項に記載のセンサシステム。
  6. 　第１のセンサがオブジェクトに向けて照射光を照射するステップと、
    　前記第１のセンサから前記オブジェクトを撮像することが可能なイベントベースのビジョンセンサである第２のセンサに向けて、前記照射光が照射されるタイミングを示す信号を送信するステップと
    　を含む、センシング方法。
     
PCT/JP2022/012579 2022-03-18 2022-03-18 センサシステムおよびセンシング方法 WO2023175890A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/012579 WO2023175890A1 (ja) 2022-03-18 2022-03-18 センサシステムおよびセンシング方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/012579 WO2023175890A1 (ja) 2022-03-18 2022-03-18 センサシステムおよびセンシング方法

Publications (1)

Publication Number Publication Date
WO2023175890A1 true WO2023175890A1 (ja) 2023-09-21

Family

ID=88022944

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/012579 WO2023175890A1 (ja) 2022-03-18 2022-03-18 センサシステムおよびセンシング方法

Country Status (1)

Country Link
WO (1) WO2023175890A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200389582A1 (en) * 2019-06-04 2020-12-10 Ford Global Technologies, Llc Systems and methods for reducing flicker artifacts in imaged light sources
CN112688991A (zh) * 2020-12-15 2021-04-20 北京百度网讯科技有限公司 用于执行点云扫描操作的方法、相关装置及计算机程序产品
JP2021076603A (ja) * 2019-11-07 2021-05-20 ジック アーゲー 光電センサ及び物体検出方法
WO2021111891A1 (ja) * 2019-12-05 2021-06-10 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US20210321052A1 (en) * 2020-04-13 2021-10-14 Northwestern University System and method for high-resolution, high-speed, and noise-robust imaging
WO2021210389A1 (ja) * 2020-04-14 2021-10-21 ソニーグループ株式会社 物体認識システム及び電子機器
US20220060622A1 (en) * 2019-01-25 2022-02-24 Sony Advanced Visual Sensing Ag Environmental Model Maintenance Using Event-Based Vision Sensors

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220060622A1 (en) * 2019-01-25 2022-02-24 Sony Advanced Visual Sensing Ag Environmental Model Maintenance Using Event-Based Vision Sensors
US20200389582A1 (en) * 2019-06-04 2020-12-10 Ford Global Technologies, Llc Systems and methods for reducing flicker artifacts in imaged light sources
JP2021076603A (ja) * 2019-11-07 2021-05-20 ジック アーゲー 光電センサ及び物体検出方法
WO2021111891A1 (ja) * 2019-12-05 2021-06-10 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US20210321052A1 (en) * 2020-04-13 2021-10-14 Northwestern University System and method for high-resolution, high-speed, and noise-robust imaging
WO2021210389A1 (ja) * 2020-04-14 2021-10-21 ソニーグループ株式会社 物体認識システム及び電子機器
CN112688991A (zh) * 2020-12-15 2021-04-20 北京百度网讯科技有限公司 用于执行点云扫描操作的方法、相关装置及计算机程序产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OSADCUKS VITALIJS; PUDZS MIHAILS; ZUJEVS ANDREJS; PECKA ALDIS; ARDAVS ARTURS: "Clock-based time sync hronization for an event-based camera dataset acquisition platform *", 2020 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), IEEE, 31 May 2020 (2020-05-31), pages 4695 - 4701, XP033826635, DOI: 10.1109/ICRA40945.2020.9197303 *

Similar Documents

Publication Publication Date Title
CN214151038U (zh) 激光雷达
US7290930B2 (en) Method for monitoring an x-ray apparatus and x-ray apparatus
US20180095168A1 (en) Optoelectronic sensor and method for optical monitoring
JPS63269022A (ja) 露光装置及び素子製造方法
WO2023175890A1 (ja) センサシステムおよびセンシング方法
WO2012114730A1 (ja) 光音響計測装置及び光音響信号検出方法
JP6150496B2 (ja) 被検体情報取得装置およびその制御方法
EP1345018A3 (en) Infrared imaging apparatus and infrared monitoring apparatus for vehicle
US9395178B2 (en) Position measuring device and position measuring method
US10925483B2 (en) Optical coherence tomographic device and light source
US9420978B2 (en) Patient support apparatus and a medical imaging apparatus comprising the patient support apparatus
EP2466333A1 (en) A method of performing a laser based radar measurement, a system and a computer program product
WO2021182224A1 (ja) 測定装置
JP2016142571A (ja) 測距装置
WO2023188250A1 (ja) 制御回路、システム、方法およびプログラム
CN114680829A (zh) 一种基于超声传感器的光声成像方法及装置
JP3250203B2 (ja) 距離計測装置
JP2022154236A5 (ja)
JP2020101373A (ja) 測距装置を有する物体監視システム
WO2023181308A1 (ja) コンピュータシステム、方法およびプログラム
JP2001215275A (ja) レーザレーダ装置
JP2003014846A (ja) レーダの光軸測定装置
US20240067094A1 (en) Gating camera, vehicle sensing system, and vehicle lamp
KR20140102034A (ko) 광 간섭 단층 촬영 장치 및 방법
CN108563084A (zh) 多结构光图案三维传感系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22932163

Country of ref document: EP

Kind code of ref document: A1