WO2023187951A1 - コンピュータシステム、方法およびプログラム - Google Patents

コンピュータシステム、方法およびプログラム Download PDF

Info

Publication number
WO2023187951A1
WO2023187951A1 PCT/JP2022/015252 JP2022015252W WO2023187951A1 WO 2023187951 A1 WO2023187951 A1 WO 2023187951A1 JP 2022015252 W JP2022015252 W JP 2022015252W WO 2023187951 A1 WO2023187951 A1 WO 2023187951A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
pixel
computer system
correction amount
displacement
Prior art date
Application number
PCT/JP2022/015252
Other languages
English (en)
French (fr)
Inventor
徹悟 稲田
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to PCT/JP2022/015252 priority Critical patent/WO2023187951A1/ja
Publication of WO2023187951A1 publication Critical patent/WO2023187951A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Definitions

  • the present invention relates to a computer system, method, and program.
  • a depth image acquisition device includes a light emitting diode that emits modulated light toward a detection area, and a depth image that receives incident light that is reflected by an object in the detection area.
  • a ToF sensor that outputs a signal to generate a , or the arrangement of the filters.
  • ToF sensor it is necessary to increase the light collection area per pixel to some extent, so there is a limit to reducing the pixel interval. Therefore, it is not easy to increase the spatial resolution of ToF sensors. A similar situation may occur not only in ToF sensors but also in sensors in which it is difficult to reduce the pixel spacing.
  • an object of the present invention is to provide a computer system, method, and program that make it possible to increase the spatial resolution of output even in a sensor in which it is difficult to reduce the pixel interval.
  • a computer system for processing sensor output generated on a pixel-by-pixel basis, the computer system comprising: a memory for storing a program code; and a processor for performing operations in accordance with the program code.
  • the operation includes calculating a positional correction amount for a pixel position of the sensor based on an event signal generated by an event-based vision sensor whose positional relationship with the sensor is known, and calculating an output of the sensor.
  • a computer system is provided that includes applying the above position correction amount to.
  • a method of processing sensor output generated pixel by pixel, the positional relationship with the sensor being known by operations performed by a processor according to program code stored in memory includes calculating a position correction amount for a pixel position of the sensor based on an event signal generated by an event-based vision sensor, and applying the position correction amount to an output of the sensor. Ru.
  • a program for processing sensor output generated for each pixel the operation being executed by a processor according to the program having a known positional relationship with the sensor.
  • a program is provided that includes calculating a position correction amount for a pixel position of the sensor based on an event signal generated by an event-based vision sensor, and applying the position correction amount to an output of the sensor.
  • FIG. 1 is a diagram illustrating an example of a system according to an embodiment of the present invention.
  • 2 is a diagram showing the device configuration of the system shown in FIG. 1.
  • FIG. 2 is a diagram conceptually explaining processing executed in the system shown in FIG. 1.
  • FIG. 2 is a flowchart showing the flow of processing executed in the system shown in FIG. 1.
  • FIG. 1 is a diagram showing an example of a system according to an embodiment of the present invention.
  • system 10 includes a computer 100, a direct time of flight (dToF) sensor 210, an event-based vision sensor (EVS) 220, and an actuator 230.
  • the computer 100 is, for example, a game machine, a personal computer (PC), or a server device connected to a network.
  • the dToF sensor 210 obtains depth information by irradiating a laser beam toward an object and measuring the time difference until receiving reflected light.
  • pixels to be measured by the dToF sensor 210 are arranged along a plane (schematically shown as a pixel region P) including the x direction and the y direction in the figure.
  • EVS 220 is arranged so that its positional relationship with dToF sensor 210 is known. More specifically, the dToF sensor 210 and the EVS 220 are rigidly connected. Actuator 230 provides displacement to dToF sensor 210 and EVS 220. As described above, since the positional relationship between the dToF sensor 210 and the EVS 220 is known, the displacements given to the dToF sensor 210 and the EVS 220 by the actuator 230 are the same or can be converted into each other.
  • FIG. 2 is a diagram showing the device configuration of the system shown in FIG. 1.
  • Computer 100 includes a processor 110 and memory 120.
  • the processor 110 is configured by a processing circuit such as a CPU (Central Processing Unit), a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), and/or an FPGA (Field-Programmable Gate Array).
  • the memory 120 is configured by, for example, a storage device such as various types of ROM (Read Only Memory), RAM (Random Access Memory), and/or HDD (Hard Disk Drive).
  • Processor 110 operates according to program codes stored in memory 120.
  • Computer 100 further includes a communication device 130 and a recording medium 140.
  • program code for processor 110 to operate as described below may be received from an external device via communication device 130 and stored in memory 120.
  • the program code may be read into memory 120 from recording medium 140.
  • the recording medium 140 includes, for example, a removable recording medium such as a semiconductor memory, a magnetic disk, an optical disk, or a magneto-optical disk, and its driver.
  • the dToF sensor 210 includes a laser light source and a light receiving element arranged for each pixel, and outputs the result of measuring the time difference until the laser light emitted from the light source is received as reflected light for each pixel.
  • the EVS 220 is also called an EDS (Event Driven Sensor), an event camera, or a DVS (Dynamic Vision Sensor), and includes a sensor array composed of sensors including light receiving elements.
  • the EVS 220 generates an event signal that includes a timestamp, identification information of the sensor, and polarity information of the brightness change when the sensor detects a change in the intensity of the incident light, more specifically a change in brightness on the surface of the object.
  • Actuator 230 provides displacement to the sensor unit including dToF sensor 210 and EVS 220 under the control of processor 110.
  • the displacement provided by the actuator 230 may be a translational displacement or a rotational displacement.
  • Actuator 230 may be something like a vibrator that vibrates dToF sensor 210 and EVS 220.
  • FIG. 3 is a diagram conceptually explaining the processing executed in the system shown in FIG.
  • FIG. 3A is a diagram showing a time-series distribution of pixel positions when no displacement is applied to the dToF sensor 210 in the system 10 of FIG.
  • a laser light source and a light receiving element are arranged for each pixel, and in order to detect reflected light, it is necessary to increase the light collection area per pixel.
  • the pixel spacing dp is larger than that of the sensor.
  • measurements at times t 1 , t 2 , t 3 , and t 4 are performed at grid points with a pixel interval of d p .
  • FIG. 3(b) is a diagram showing a time-series distribution of pixel positions when displacement is applied to the dToF sensor 210.
  • displacement amounts ⁇ d 1 , ⁇ d 2 , and ⁇ d 3 smaller than the pixel interval d p are given, measurements are performed at each pixel at times t 1 , t 2 , t 3 , and t 4 , respectively. The position is shifted little by little. As a result, measurements are performed in a time-sharing manner at intervals finer than the pixel interval dp , and the spatial resolution of the dToF sensor 210 becomes higher than 1/ dp .
  • this embodiment uses an event signal generated by the DVS 220.
  • EVS 220 generates an event signal when it detects a change in brightness on the surface of an object. If displacement is applied to the EVS 220 as well as the dToF sensor 210, the change in the positional relationship between the EVS 220 and the object causes a change in brightness on the surface of the object as seen from the EVS 220, and an event signal is generated.
  • the amount of displacement given to the EVS 220 can be calculated backward from the moving speed of the position where the brightness change occurs. At this time, for example, the amount of displacement given to the EVS 220 may be calculated more accurately by using the depth information of the object measured by the dToF sensor 210 and considering the depth of the object, that is, the distance from the EVS 220 to the object. good.
  • the displacements given to each are the same or can be converted into each other. Therefore, the displacement amounts ⁇ d 1 , ⁇ d 2 , ⁇ d 3 of each pixel of the dToF sensor 210 and the corresponding position correction amounts can be calculated from the displacement amounts given to the EVS 220 .
  • the displacement amount is calculated after the fact from the event signal generated by the EVS 220, there is no need to accurately control the displacement amount given by the actuator 230, and the displacement amount by the actuator 230 and the dToF sensor 210 It is not necessary to precisely synchronize the measurements made by Moreover, the displacement given by the actuator 230 does not necessarily have to be regular vibration, but may be irregular displacement.
  • the EVS 220 Since the EVS 220 has high temporal and spatial resolution, it can detect a displacement smaller than the pixel interval of the dToF sensor 210.
  • the pixel positions are set at intervals smaller than the pixel interval dp (e.g. 1/2 d p , 1/3 d p , 2/3 d p , . . . ), the spatial resolution of the dToF sensor 210 can be increased by performing measurements in a time-division manner.
  • the dToF sensor 210 is given random displacement amounts ⁇ d 1 , ⁇ d 2 , ⁇ d 3 that include components in both the x direction and the y direction, but in other examples, the displacements in the x direction , the y direction, or some other specific direction may be provided by the actuator 230.
  • the actuator 230 For example, when the system 10 is implemented in a moving body such as a vehicle or a self-propelled robot, displacement has already occurred in the moving direction of the moving body, so that the displacement is predominant, for example, in a direction perpendicular to the moving direction. (ie, if the direction of movement is the x direction, a predominant displacement is given in the y direction).
  • the term "predominant displacement in a specific direction” means a displacement that occurs only in a specific direction, or a displacement that occurs more greatly in a specific direction than in other directions.
  • the actuator 230 may use different types of displacement. Specifically, for example, when the actuator 230 gives a rotational displacement to the dToF sensor 210 and the EVS 220, the angle of view changes greatly, making it possible to measure a wide range. On the other hand, when the actuator 230 applies a displacement due to parallel movement to the dToF sensor 210 and the EVS 220, a narrow range can be measured in detail because the change in the angle of view is small.
  • FIG. 4 is a flowchart showing the flow of processing executed in the system shown in FIG.
  • the processor 110 first drives the actuator 230 to give displacement to the sensor unit including the dToF sensor 210 and the EVS 220 (step S101).
  • the operation of processor 110 does not include obtaining the displacement provided by actuator 230 at this time.
  • the processor 110 does not use information about the amount of displacement given by the actuator 230 for subsequent processing.
  • the processor 110 does not use information about the timing at which the actuator 230 applies the displacement in subsequent processing.
  • the dToF sensor 210 performs measurement (step S102). Note that the measurement of the dToF sensor 210 is not necessarily triggered by displacement being applied to the sensor unit, and the dToF sensor 210 may perform measurement regardless of the presence or absence of displacement.
  • the processor 110 calculates a position correction amount for the pixel position of the dToF sensor from the event signal generated by the EVS 220 during measurement of the dToF sensor 210 (step S103).
  • the output of the dToF sensor 210 and the event signal of the EVS 220 can be temporally correlated using, for example, respective time stamps. If the output of the dToF sensor 210 and the event signal of the EVS 220 are correlated, it is possible to specify the timing and amount of displacement that occurred in the sensor unit. No displacement information is required.
  • the processor 110 applies the position correction amount to the output of the dToF sensor 210 (step S104).
  • the position correction amounts correspond to the displacement amounts ⁇ d 1 , ⁇ d 2 , and ⁇ d 3 described above with reference to FIG. 3 .
  • the processor 110 ⁇ d 3 to the coordinate values indicating the pixel position in each measurement result (in the example of FIG. 3, the measurement results at times t 2 , t 3 , and t 4 ), the measurement result is converted into a displacement value. can be associated with the pixel position (shown in FIG. 3(b)) that reflects this.
  • the amount of displacement applied to the dToF sensor 210 is detected after the fact based on the event signal generated by the EVS 220, and the amount of position correction according to the amount of displacement is detected by the dToF sensor.
  • the spatial resolution of dToF sensor 210 can be increased.
  • ToF sensors such as an iToF sensor or other sensors may be used instead of the dToF sensor in the above embodiments.
  • iToF sensor or other sensors
  • the embodiment of the present invention can be applied to maintain spatial resolution while continuing power-saving operation.

Abstract

画素ごとに生成されるセンサの出力を処理するためのコンピュータシステムであって、プログラムコードを格納するためのメモリ、および上記プログラムコードに従って動作を実行するためのプロセッサを備え、上記動作は、上記センサとの位置関係が既知であるイベントベースのビジョンセンサが生成したイベント信号に基づいて、上記センサの画素位置に対する位置補正量を算出すること、および上記センサの出力に上記位置補正量を適用することを含むコンピュータシステムが提供される。

Description

コンピュータシステム、方法およびプログラム
　本発明は、コンピュータシステム、方法およびプログラムに関する。
　光の飛行時間に基づいて距離を測定するＴｏＦ（Time of Flight）センサは、例えば被写体の三次元情報を取得するために利用され、反射光を検知するまでの時間差を計測するｄＴｏＦ（direct ＴｏＦ）方式と、反射光を蓄積して発光との位相差を検出することで距離を測定するｉＴｏＦ（indirect ＴｏＦ）方式に大別される。ＴｏＦセンサに関する技術は、例えば特許文献１に記載されている。特許文献１に記載された技術において、デプス画像取得装置は、検出領域に向かって変調された光を照射する発光ダイオードと、検出領域にある物体で反射して入射する光を受光してデプス画像を生成するための信号を出力するＴｏＦセンサと、入射する光のうち所定の波長帯域の光を相対的に多く通過させるフィルタとを備え、発光ダイオードまたはＴｏＦセンサの温度に従って、発光ダイオード、ＴｏＦセンサ、またはフィルタの配置の少なくともいずれかが制御される。
特開２０１９－０７８７４８号公報
　上記のようなＴｏＦセンサでは画素あたりの集光面積をある程度大きくする必要があるため、画素間隔を小さくすることには限界がある。それゆえ、ＴｏＦセンサの空間解像度を上げることは容易ではない。ＴｏＦセンサに限らず、同様に画素間隔を小さくすることが困難なセンサでは同様の状況が生じ得る。
　そこで、本発明は、画素間隔を小さくすることが困難なセンサであっても出力の空間解像度を上げることを可能にするコンピュータシステム、方法およびプログラムを提供することを目的とする。
　本発明のある観点によれば、画素ごとに生成されるセンサの出力を処理するためのコンピュータシステムであって、プログラムコードを格納するためのメモリ、および上記プログラムコードに従って動作を実行するためのプロセッサを備え、上記動作は、上記センサとの位置関係が既知であるイベントベースのビジョンセンサが生成したイベント信号に基づいて、上記センサの画素位置に対する位置補正量を算出すること、および上記センサの出力に上記位置補正量を適用することを含むコンピュータシステムが提供される。
　本発明の別の観点によれば、画素ごとに生成されるセンサの出力を処理する方法であって、プロセッサがメモリに格納されたプログラムコードに従って実行する動作によって、上記センサとの位置関係が既知であるイベントベースのビジョンセンサが生成したイベント信号に基づいて、上記センサの画素位置に対する位置補正量を算出すること、および上記センサの出力に上記位置補正量を適用することを含む方法が提供される。
　本発明のさらに別の観点によれば、画素ごとに生成されるセンサの出力を処理するためのプログラムであって、プロセッサが上記プログラムに従って実行する動作が、上記センサとの位置関係が既知であるイベントベースのビジョンセンサが生成したイベント信号に基づいて、上記センサの画素位置に対する位置補正量を算出すること、および上記センサの出力に上記位置補正量を適用することを含むプログラムが提供される。
本発明の一実施形態に係るシステムの例を示す図である。 図１に示されるシステムの装置構成を示す図である。 図１に示されるシステムにおいて実行される処理について概念的に説明するための図である。 図１に示されるシステムにおいて実行される処理の流れを示すフローチャートである。
　以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　図１は、本発明の一実施形態に係るシステムの例を示す図である。図示された例において、システム１０は、コンピュータ１００と、ｄＴｏＦ（direct Time of Flight）センサ２１０と、イベントベースのビジョンセンサ（ＥＶＳ；Event-based Vision Sensor）２２０と、アクチュエータ２３０とを含む。コンピュータ１００は、例えばゲーム機、パーソナルコンピュータ（ＰＣ）またはネットワーク接続されたサーバ装置である。ｄＴｏＦセンサ２１０は、オブジェクトに向けてレーザー光を照射し、反射光を受光するまでの時間差を測定することによって深度情報を得る。図示された例において、ｄＴｏＦセンサ２１０の測定対象になる画素は図中のｘ方向およびｙ方向を含む平面（画素領域Ｐとして模式的に示す）に沿って配列される。ＥＶＳ２２０は、ｄＴｏＦセンサ２１０との位置関係が既知であるように配置される。より具体的には、ｄＴｏＦセンサ２１０とＥＶＳ２２０との間は剛結されている。アクチュエータ２３０は、ｄＴｏＦセンサ２１０およびＥＶＳ２２０に変位を与える。上記の通りｄＴｏＦセンサ２１０とＥＶＳ２２０との位置関係は既知であるため、アクチュエータ２３０によってｄＴｏＦセンサ２１０およびＥＶＳ２２０に与えられる変位は同じであるか、または互いに変換可能である。
　図２は、図１に示されるシステムの装置構成を示す図である。コンピュータ１００は、プロセッサ１１０およびメモリ１２０を含む。プロセッサ１１０は、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、および／またはＦＰＧＡ（Field-Programmable Gate Array）などの処理回路によって構成される。また、メモリ１２０は、例えば各種のＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）および／またはＨＤＤ（Hard Disk Drive）などのストレージ装置によって構成される。プロセッサ１１０は、メモリ１２０に格納されたプログラムコードに従って動作する。コンピュータ１００は、通信装置１３０および記録媒体１４０をさらに含む。例えば、プロセッサ１１０が以下で説明するように動作するためのプログラムコードが、通信装置１３０を介して外部装置から受信され、メモリ１２０に格納されてもよい。あるいは、プログラムコードは、記録媒体１４０からメモリ１２０に読み込まれてもよい。記録媒体１４０は、例えば半導体メモリ、磁気ディスク、光ディスクまたは光磁気ディスクなどのリムーバブル記録媒体およびそのドライバを含む。
　ｄＴｏＦセンサ２１０は、画素ごとに配置されるレーザー光の光源と受光素子とを含み、光源から照射されたレーザー光が反射光として受光されるまでの時間差を測定した結果を画素ごとに出力する。ＥＶＳ２２０は、ＥＤＳ（Event Driven Sensor）、イベントカメラまたはＤＶＳ（Dynamic Vision Sensor）とも呼ばれ、受光素子を含むセンサで構成されるセンサアレイを含む。ＥＶＳ２２０は、センサが入射する光の強度変化、より具体的にはオブジェクト表面の輝度変化を検出したときに、タイムスタンプ、センサの識別情報および輝度変化の極性の情報を含むイベント信号を生成する。アクチュエータ２３０は、プロセッサ１１０の制御に従って、ｄＴｏＦセンサ２１０およびＥＶＳ２２０を含むセンサユニットに変位を与える。アクチュエータ２３０が与える変位は、平行移動による変位であってもよいし、回転変位であってもよい。アクチュエータ２３０は、ｄＴｏＦセンサ２１０およびＥＶＳ２２０を振動させるバイブレータのようなものであってもよい。
　図３は、図１に示されるシステムにおいて実行される処理について概念的に説明するための図である。図３（ａ）は、図１のシステム１０においてｄＴｏＦセンサ２１０に変位が与えられない場合の画素位置の時系列分布を示す図である。ｄＴｏＦセンサ２１０では、画素ごとにレーザー光の光源および受光素子が配置され、反射光を検出するために画素あたりの集光面積を大きくする必要があることから、例えばＥＶＳ２２０やＲＧＢカメラのような他のセンサに比べて画素間隔ｄｐが大きくなる。図３（ａ）の場合、ｄＴｏＦセンサ２１０には変位が与えられないため、画素間隔ｄｐの格子点で時刻ｔ１，ｔ２，ｔ３，ｔ４のそれぞれの測定が実行される。この場合、空間解像度は１／ｄｐになる。一方、図３（ｂ）は、ｄＴｏＦセンサ２１０に変位が与えられた場合の画素位置の時系列分布を示す図である。図示された例では画素間隔ｄｐよりも小さい変位量Δｄ１，Δｄ２，Δｄ３が与えられたことによって、各画素で時刻ｔ１，ｔ２，ｔ３，ｔ４においてそれぞれ測定が実行される位置が少しずつずれる。結果として、画素間隔ｄｐよりも細かい間隔で時分割的に測定が実行されることになり、ｄＴｏＦセンサ２１０の空間解像度は１／ｄｐよりも高くなる。
　上記のように時分割測定によってｄＴｏＦセンサ２１０の空間解像度を上げるためには、変位量Δｄ１，Δｄ２，Δｄ３が既知でなければならない。そのために、本実施形態ではＤＶＳ２２０が生成するイベント信号を利用する。上述のように、ＥＶＳ２２０はオブジェクト表面の輝度変化を検出したときにイベント信号を生成する。ｄＴｏＦセンサ２１０とともにＥＶＳ２２０にも変位が与えられれば、ＥＶＳ２２０とオブジェクトとの位置関係が変化することによってＥＶＳ２２０から見たオブジェクトの表面に輝度変化が発生し、イベント信号が生成される。輝度変化が発生している位置の移動速度から、ＥＶＳ２２０に与えられた変位量を逆算することができる。このとき、例えばｄＴｏＦセンサ２１０によって測定されたオブジェクトの深度情報を利用し、オブジェクトの深度、すなわちＥＶＳ２２０からオブジェクトまでの距離を考慮することによってより正確にＥＶＳ２２０に与えられた変位量を算出してもよい。上述のように、ｄＴｏＦセンサ２１０とＥＶＳ２２０との位置関係は既知であるため、それぞれに与えられる変位は同じであるか、または互いに変換可能である。従って、ＥＶＳ２２０に与えられた変位量からｄＴｏＦセンサ２１０の各画素の変位量Δｄ１，Δｄ２，Δｄ３、およびこれらに対応する位置補正量を算出することができる。
　なお、ｄＴｏＦセンサの空間解像度を上げるために、上記の例とは異なり、変位量Δｄ１，Δｄ２，Δｄ３を与えるようにアクチュエータを制御する方法もある。ただし、この場合はアクチュエータの制御および校正の精度を高くし、かつアクチュエータによる変位とｄＴｏＦセンサによる測定とを正確に同期させる必要がある。これに対して、本実施形態ではＥＶＳ２２０が生成したイベント信号から事後的に変位量が算出されるため、アクチュエータ２３０が与える変位量を正確に制御する必要はなく、アクチュエータ２３０による変位とｄＴｏＦセンサ２１０による測定とを正確に同期させなくてもよい。また、アクチュエータ２３０が与える変位は必ずしも規則的な振動でなくてもよく、不規則な変位であってもよい。
　ＥＶＳ２２０は時間解像度および空間解像度が高いため、ｄＴｏＦセンサ２１０の画素間隔よりも小さい変位量を検出することができる。本実施形態では、変位量Δｄ１，Δｄ２，Δｄ３、およびこれらに対応する位置補正量の単位がセンサの画素間隔ｄｐよりも小さいため、画素位置を画素間隔ｄｐよりも小さい間隔（例えば１／２ｄｐ，１／３ｄｐ，２／３ｄｐ，・・・）で移動させながら時分割的に測定を実施し、ｄＴｏＦセンサ２１０の空間解像度を上げることができる。
　なお、図３に示された例ではｄＴｏＦセンサ２１０にｘ方向およびｙ方向の両方の成分を含むランダムな変位量Δｄ１，Δｄ２，Δｄ３が与えられているが、他の例ではｘ方向、ｙ方向またはそれ以外の特定の方向に卓越した変位がアクチュエータ２３０によって与えられてもよい。例えば、システム１０が乗り物、または自走式ロボットのような移動体において実装される場合、移動体の移動方向については既に変位が発生しているため、例えば移動方向に対して直交する方向に卓越した変位が与えられてもよい（つまり、移動方向がｘ方向であれば、ｙ方向に卓越した変位が与えられる）。ここで、特定の方向に卓越した変位は、特定の方向にのみ発生するか、または他の方向と比べて特定の方向により大きく発生する変位を意味する。
　また、例えば、アクチュエータ２３０が変位の種類を使い分けてもよい。具体的には、例えば、アクチュエータ２３０がｄＴｏＦセンサ２１０およびＥＶＳ２２０に回転変位を与えた場合、画角が大きく変化することによって広い範囲を測定することができる。一方、アクチュエータ２３０がｄＴｏＦセンサ２１０およびＥＶＳ２２０に平行移動による変位を与えた場合、画角の変化が小さいため狭い範囲を詳細に測定することができる。
　図４は、図１に示されるシステムにおいて実行される処理の流れを示すフローチャートである。図示された例では、まず、プロセッサ１１０がアクチュエータ２３０を駆動させてｄＴｏＦセンサ２１０およびＥＶＳ２２０を含むセンサユニットに変位を与える（ステップＳ１０１）。図示された例において、プロセッサ１１０の動作は、このときアクチュエータ２３０によって与えられた変位量を取得することを含まない。つまり、プロセッサ１１０は、アクチュエータ２３０によって与えられた変位量の情報を後段の処理に利用しない。また、プロセッサ１１０は、アクチュエータ２３０によって変位が与えられたタイミングの情報についても、後段の処理では利用しない。
　上記のステップＳ１０１でセンサユニットに変位が与えられている間に、ｄＴｏＦセンサ２１０が測定を実施する（ステップＳ１０２）。なお、必ずしもセンサユニットに変位が与えられることがｄＴｏＦセンサ２１０の測定のトリガになっているわけではなく、ｄＴｏＦセンサ２１０は変位の有無にかかわらず測定を実施していてもよい。プロセッサ１１０は、ｄＴｏＦセンサ２１０の測定中にＥＶＳ２２０で生成されたイベント信号から、ｄＴｏＦセンサの画素位置に対する位置補正量を算出する（ステップＳ１０３）。ｄＴｏＦセンサ２１０の出力とＥＶＳ２２０のイベント信号とは、例えばそれぞれのタイムスタンプを用いて時間的に対応付けることができる。ｄＴｏＦセンサ２１０の出力とＥＶＳ２２０のイベント信号とが対応付けられていれば、センサユニットに変位が発生したタイミングおよび変位量は特定可能であるため、上述の通りアクチュエータ２３０によって変位が与えられたタイミングや変位量の情報は必要とされない。
　さらに、プロセッサ１１０は、ｄＴｏＦセンサ２１０の出力に位置補正量を適用する（ステップＳ１０４）。ここで、位置補正量は、上記で図３を参照して説明した変位量Δｄ１，Δｄ２，Δｄ３に相当する。ｄＴｏＦセンサ２１０の出力ではすべての測定結果が元の画素位置（図３（ａ）に示すような画素間隔ｄｐの格子点）に関連付けられているが、プロセッサ１１０が変位量Δｄ１，Δｄ２，Δｄ３に相当する位置補正量をそれぞれの測定結果（図３の例では時刻ｔ２，ｔ３，ｔ４の測定結果）において画素位置を示す座標値に加算することによって、測定結果を変位が反映された画素位置（図３（ｂ）に示す）に関連付けることができる。
　上記で説明したような本発明の一実施形態では、ｄＴｏＦセンサ２１０に与えられた変位量をＥＶＳ２２０が生成したイベント信号に基づいて事後的に検出し、変位量に応じた位置補正量をｄＴｏＦセンサ２１０の出力に適用することによって、ｄＴｏＦセンサ２１０の空間解像度を上げることができる。ＥＶＳ２２０を用いて事後的に変位を検出する場合、アクチュエータ２３０によってセンサユニットに変位を与えるタイミングや変位量を正確に制御する必要がないため、設計や調整の手順が簡単になる。
　なお、他の実施形態では、上記の実施形態におけるｄＴｏＦセンサに代えて、ｉＴｏＦセンサのような他のＴｏＦセンサ、またはその他のセンサが用いられてもよい。例えば、イメージセンサのように画素間隔を小さくすることが可能なセンサであっても、省電力のために一部の画素の読み出しをスキップして画素間隔が大きいセンサとして利用する場合が考えられる。このような場合にも、本発明の実施形態を適用して、省電力での運用を継続しながら空間解像度を維持することができる。
　以上、添付図面を参照しながら本発明の実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　１０…システム、１００…コンピュータ、１１０…プロセッサ、１２０…メモリ、１３０…通信装置、１４０…記録媒体、２１０…ｄＴｏＦセンサ、２２０…ＥＶＳ、２３０…アクチュエータ。

Claims (9)

  1. 　画素ごとに生成されるセンサの出力を処理するためのコンピュータシステムであって、
    　プログラムコードを格納するためのメモリ、および前記プログラムコードに従って動作を実行するためのプロセッサを備え、前記動作は、
    　前記センサとの位置関係が既知であるイベントベースのビジョンセンサが生成したイベント信号に基づいて、前記センサの画素位置に対する位置補正量を算出すること、および
    　前記センサの出力に前記位置補正量を適用すること
    　を含むコンピュータシステム。
  2. 　前記センサの出力に前記位置補正量を適用することは、前記センサの画素位置を示す座標値に前記位置補正量を加算することを含む、請求項１に記載のコンピュータシステム。
  3. 　前記位置補正量の単位は、前記センサの画素間隔よりも小さい、請求項１または請求項２に記載のコンピュータシステム。
  4. 　前記動作は、前記センサおよび前記イベントベースのビジョンセンサに変位を与えるアクチュエータを駆動させることをさらに含む、請求項１から請求項３のいずれか１項に記載のコンピュータシステム。
  5. 　前記動作は、前記アクチュエータによって与えられた変位量を取得することを含まない、請求項４に記載のコンピュータシステム。
  6. 　前記センサの画素は、第１の方向および第２の方向を含む平面に沿って配列され、
    　前記アクチュエータによって与えられる変位は、前記第１の方向に卓越している、請求項４または請求項５に記載のコンピュータシステム。
  7. 　前記センサは、ｄＴｏＦセンサである、請求項１から請求項６のいずれか１項に記載のコンピュータシステム。
  8. 　画素ごとに生成されるセンサの出力を処理する方法であって、プロセッサがメモリに格納されたプログラムコードに従って実行する動作によって、
    　前記センサとの位置関係が既知であるイベントベースのビジョンセンサが生成したイベント信号に基づいて、前記センサの画素位置に対する位置補正量を算出すること、および
    　前記センサの出力に前記位置補正量を適用すること
    　を含む方法。
  9. 　画素ごとに生成されるセンサの出力を処理するためのプログラムであって、プロセッサが前記プログラムに従って実行する動作が、
    　前記センサとの位置関係が既知であるイベントベースのビジョンセンサが生成したイベント信号に基づいて、前記センサの画素位置に対する位置補正量を算出すること、および
    　前記センサの出力に前記位置補正量を適用すること
    　を含むプログラム。
     
PCT/JP2022/015252 2022-03-29 2022-03-29 コンピュータシステム、方法およびプログラム WO2023187951A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/015252 WO2023187951A1 (ja) 2022-03-29 2022-03-29 コンピュータシステム、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/015252 WO2023187951A1 (ja) 2022-03-29 2022-03-29 コンピュータシステム、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2023187951A1 true WO2023187951A1 (ja) 2023-10-05

Family

ID=88200112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/015252 WO2023187951A1 (ja) 2022-03-29 2022-03-29 コンピュータシステム、方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2023187951A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002080852A (ja) * 2000-06-23 2002-03-22 Nkk Corp コークス炉炉壁形状計測方法
CN101208959A (zh) * 2005-03-22 2008-06-25 迈克罗威技术私人有限公司 图像分辨率倍增器
US20150178928A1 (en) * 2012-08-03 2015-06-25 Thorsten Mika Apparatus and method for determining the distinct location of an image-recording camera
JP2020056635A (ja) * 2018-09-28 2020-04-09 株式会社ニコン 形状測定装置、形状測定方法及び形状測定プログラム
US20210144356A1 (en) * 2014-03-20 2021-05-13 Gopro, Inc. Auto-Alignment of Image Sensors in a Multi-Camera System

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002080852A (ja) * 2000-06-23 2002-03-22 Nkk Corp コークス炉炉壁形状計測方法
CN101208959A (zh) * 2005-03-22 2008-06-25 迈克罗威技术私人有限公司 图像分辨率倍增器
US20150178928A1 (en) * 2012-08-03 2015-06-25 Thorsten Mika Apparatus and method for determining the distinct location of an image-recording camera
US20210144356A1 (en) * 2014-03-20 2021-05-13 Gopro, Inc. Auto-Alignment of Image Sensors in a Multi-Camera System
JP2020056635A (ja) * 2018-09-28 2020-04-09 株式会社ニコン 形状測定装置、形状測定方法及び形状測定プログラム

Similar Documents

Publication Publication Date Title
CN110596721B (zh) 双重共享tdc电路的飞行时间距离测量系统及测量方法
US7408627B2 (en) Methods and system to quantify depth data accuracy in three-dimensional sensors using single frame capture
US9134117B2 (en) Distance measuring system and distance measuring method
US6741082B2 (en) Distance information obtaining apparatus and distance information obtaining method
CN111742241A (zh) 光测距装置
EP3929626A1 (en) Optical scanning probe and apparatus for generating three-dimensional data using the same
JP2010512525A (ja) 厚さ測定のための方法及び装置
US10705215B2 (en) Distance measurement apparatus, and method of measuring distance
US20200309514A1 (en) Distance measuring module
CN112346075B (zh) 一种采集器及光斑位置追踪方法
JP2018025474A (ja) 光飛行型測距装置および光飛行型測距の異常検出方法
US9562761B2 (en) Position measuring device
JP2007240344A (ja) 動的形状計測方法及び動的形状計測装置
JP6186863B2 (ja) 測距装置及びプログラム
US20210270969A1 (en) Enhanced depth mapping using visual inertial odometry
WO2023187951A1 (ja) コンピュータシステム、方法およびプログラム
US20220196386A1 (en) Three-dimensional scanner with event camera
WO2023181308A1 (ja) コンピュータシステム、方法およびプログラム
WO2020080091A1 (ja) 車両点検装置および方法
JP2017156177A (ja) 障害物検出装置および障害物検出方法
JP7300971B2 (ja) 光学式測定装置および光源制御方法
WO2023188250A1 (ja) 制御回路、システム、方法およびプログラム
JP2020020579A (ja) 流体速度測定方法及びシステム
US20210405165A1 (en) Time-of-flight distance measuring method and related system
WO2023186582A1 (en) Sensing arrangement, method and computer program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22935104

Country of ref document: EP

Kind code of ref document: A1