WO2021038750A1 - センサシステム、画像処理装置、画像処理方法およびプログラム - Google Patents

センサシステム、画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2021038750A1
WO2021038750A1 PCT/JP2019/033707 JP2019033707W WO2021038750A1 WO 2021038750 A1 WO2021038750 A1 WO 2021038750A1 JP 2019033707 W JP2019033707 W JP 2019033707W WO 2021038750 A1 WO2021038750 A1 WO 2021038750A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
subject
gradually increases
amount
decreases
Prior art date
Application number
PCT/JP2019/033707
Other languages
English (en)
French (fr)
Inventor
小泉　誠
淳 堀江
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to JP2021541867A priority Critical patent/JP7191237B2/ja
Priority to PCT/JP2019/033707 priority patent/WO2021038750A1/ja
Priority to US17/635,553 priority patent/US11792527B2/en
Publication of WO2021038750A1 publication Critical patent/WO2021038750A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection

Definitions

  • the present invention relates to a sensor system, an image processing device, an image processing method and a program.
  • Image sensors such as CCD and CMOS are synchronous solid-state image sensors that image image data (frames) in synchronization with synchronization signals such as vertical synchronization signals.
  • image data is acquired only every synchronization signal cycle (for example, 1/60 second), so it is difficult to handle high-speed processing using image data in a moving body, for example. There are cases. Therefore, for example, in Non-Patent Document 1, an asynchronous solid-state image sensor provided with an address event representation (AER: Address Event Representation) circuit for detecting an address event has been proposed.
  • AER Address Event Representation
  • an address event occurs when the amount of light of a pixel fluctuates at a certain pixel address and the amount of fluctuation exceeds a threshold value.
  • the address event includes an on-event that occurs when the light amount of the pixel fluctuates and exceeds a predetermined upper limit, and an off-event that occurs when the light amount falls below a predetermined lower limit.
  • the format of image data that expresses the presence or absence of on-events and off-events for each pixel with 2-bit data is called an AER format.
  • a technique using an asynchronous solid-state image sensor is also described in, for example, Patent Document 1.
  • the asynchronous solid-state image sensor (hereinafter, also referred to as an event-driven sensor) as described above can detect the movement of the subject at high speed, there are two types of information as image data, on-event and off-event. It is difficult to detect the gradation of the brightness of the subject because only the gradation of the brightness of the subject can be obtained.
  • a synchronous solid-state image sensor capable of detecting gradation is arranged together with an event-driven sensor, and when the movement of the subject is detected by the event-driven sensor, the synchronous solid-state image sensor is exposed. It is possible to detect gradation, but the structure of the image sensor becomes complicated.
  • an object of the present invention is to provide a sensor system, an image processing device, an image processing method, and a program that enable detection of the gradation of a subject with a simple configuration using an event-driven sensor. ..
  • an event signal is obtained by detecting a light source that irradiates a subject with light whose amount of light gradually increases or decreases, and a fluctuation of the reflected light of the subject after the start of irradiation of light whose amount of light gradually increases or decreases.
  • a sensor system including an event-driven sensor that generates an event-driven sensor and a gradation calculation unit that calculates the gradation of a subject based on the elapsed time from the start of light irradiation in which the amount of light gradually increases or decreases to the generation of an event signal.
  • a light source control unit that controls a light source that irradiates light toward a subject according to a time-series control pattern in which the amount of light gradually increases or decreases, and from the start of irradiation of light in which the amount of light gradually increases or decreases.
  • the event-driven sensor calculates the gradation of the subject based on the elapsed time identification unit that specifies the elapsed time until the event signal is generated by detecting the fluctuation of each reflected light of the subject, and the elapsed time and the control pattern.
  • An image processing device including a gradation calculation unit for
  • the step of irradiating the subject with light whose amount of light gradually increases or decreases, and the fluctuation of the reflected light of the subject after the start of irradiation of the light whose amount of light gradually increases or decreases are detected.
  • An image processing method including a step of generating an event signal by an event-driven sensor and a step of calculating the gradation of a subject based on the elapsed time from the start of light irradiation in which the amount of light gradually increases or decreases to the generation of the event signal.
  • the drive-type sensor has a function to specify the elapsed time until the event signal is generated by detecting the fluctuation of each reflected light of the subject, and a function to calculate the gradation of the subject based on the elapsed time and the control pattern.
  • a program is provided to realize it on a computer.
  • FIG. 1 is a diagram showing a schematic configuration of a system according to an embodiment of the present invention.
  • the sensor system 10 includes a sensor module 100, an image processing device 200, and a light source 300.
  • the sensor module 100 includes a sensor array including an event-driven sensor (EDS: Event Driven Sensor) 110 arranged for each pixel, and a signal processing circuit 120.
  • EDS Event Driven Sensor
  • the image processing device 200 is implemented by, for example, a computer having a communication interface, a processor, and a memory, and is realized by the processor operating according to a program stored in the memory or received via the communication interface. Includes 210, functional parts of the elapsed time specifying unit 220 and the gradation calculation unit 230.
  • the image processing device 200 may further include a functional portion of the image generation unit 240. Hereinafter, each part will be further described.
  • the EDS 110 outputs an event signal indicating the occurrence of an address event when the fluctuation amount of the light amount exceeds the threshold value at each pixel address.
  • the light source 300 irradiates the subjects obj1 and obj2 with light whose amount of light gradually increases.
  • the EDS 110 detects an event signal by detecting fluctuations in the reflected light of the subjects obj1 and obj2. Generate.
  • the signal processing circuit 120 includes a memory and a processor, and processes the event signal generated by the EDS 110 by operating the processor according to a program stored in the memory. Specifically, the signal processing circuit 120 generates a time stamp of the event signal.
  • the light source control unit 210 controls the light source 300 according to a time-series control pattern in which the amount of light gradually increases.
  • the light source 300 may be used as a projector, for example, and the amount of light can be adjusted.
  • the amount of light of the light source 300 may be adjusted continuously (steplessly) or stepwise.
  • the light emitted by the light source 300 may be visible light or light other than visible light such as infrared light.
  • the light source control unit 210 determines the time at which the light source irradiation start time, specifically, for example, the time when the control signal is transmitted to the light source 300 so as to start the irradiation of the light whose light intensity gradually increases, and the time series control pattern.
  • Information indicating the time-series light intensity of the indicated light source 300 is provided to the elapsed time specifying unit 220 and the gradation calculation unit 230, respectively.
  • the elapsed time specifying unit 220 specifies the elapsed time from the start of irradiation of the light whose amount of light is gradually increased by the light source 300 to the generation of the event signal by the EDS 110. Specifically, the elapsed time specifying unit 220 generates a time when the light source control unit 210 transmits a control signal to the light source 300 so as to start irradiating light whose amount of light gradually increases, and a signal processing circuit 120 of the sensor module 100. The elapsed time is specified from the difference from the time stamp of the event signal.
  • the time information between the signal processing circuit 120 and the light source control unit 210 is synchronized, or the elapsed time specifying unit 220 can associate the time information between the signal processing circuit 120 and the light source control unit 210. This makes it possible to specify the elapsed time as described above.
  • the gradation calculation unit 230 calculates the gradation of the subjects obj1 and obj2 based on the elapsed time specified by the elapsed time specifying unit 220 and the control pattern of the light source 300 provided by the light source control unit 210.
  • the gradation calculation unit 230 generates an event signal by detecting the fluctuation of the reflected light by the EDS 110 in the subjects obj1 and obj2 having different gradations when the light source 300 irradiates the light whose amount of light gradually increases.
  • the gradations of the subjects obj1 and obj2 are calculated by utilizing the fact that the timings are different. This point will be described later with reference to FIGS. 2 to 4.
  • the image generation unit 240 generates an image of the subject from the event signal by using the gradation of the subject calculated by the gradation calculation unit 230.
  • a functional portion may be provided together with the image generation unit 240 or in place of the image generation unit 240 to select the processing for the subject recognized from the event signal according to the gradation of the subject.
  • the functional portion that executes the processing using the gradation of the subject may be implemented inside the image processing device 200, or may be implemented in an external device that receives information indicating the gradation of the subject from the image processing device 200. May be good.
  • FIG. 2 is a diagram for explaining the principle of gradation calculation of a subject according to the embodiment of the present invention.
  • the part of the subject whose reflectance is different due to the difference in gradation reflectance is 100%, 50%). , 33%, 25% and 0%, respectively.
  • the amount of light emitted by the light source reaches 10%, an event occurs at a portion having a reflectance of 100%. This is because a sufficient contrast change can be obtained in a portion where the reflectance is high because an event occurs even with a small amount of light.
  • no event occurs in the portion where the reflectance is 50% or less.
  • an event occurs in the part where the reflectance is 50%.
  • the event does not occur in the portion exceeding the threshold value of the reflectance at which the event occurs with respect to the amount of light of the light source (the portion having the reflectance of 100%), but the event occurs due to the flicker of the light source. If it occurs, the event occurs.
  • no event occurs in the portion where the reflectance is 33% or less.
  • an event occurs in the portion where the reflectance is 33%.
  • FIG. 3 is a diagram showing an example of a light source control pattern based on the principle shown in FIG.
  • the light source control unit 210 of the image processing apparatus 200 controls the light source 300 so as to alternately repeat the normal mode and the gradation detection mode as the operation mode.
  • the normal mode is a mode in which the light source 300 irradiates light having a constant amount of light
  • the gradation detection mode is a mode in which the light source irradiates light in which the amount of light gradually increases.
  • the light source control unit 210 provides the elapsed time specifying unit 220 with information indicating the start time of each gradation detection mode, and provides the gradation calculation unit 230 with information indicating the rate of increase in the amount of light in the gradation detection mode. provide.
  • the gradation calculation unit 230 calculates the gradation of the subject using the gradation detection mode, that is, the event signal generated by the EDS 110 during irradiation of light whose amount of light gradually increases.
  • the light source control unit 210 may control the light source 300 so as to repeat only the gradation detection mode.
  • FIG. 4 is a diagram showing an example of a function for calculating the gradation of a subject based on a control pattern of a light source.
  • the function g (t) has a subject gradation of g (t 1 ) when the elapsed time is t 1 , and a subject gradation when the elapsed time is t 2 (t 1 ⁇ t 2 ). It is shown that g (t 2 ) (g (t 1 )> g (t 2 )).
  • FIG. 5 is a flowchart showing an example of processing in one embodiment of the present invention.
  • the light source 300 starts irradiating light with the minimum amount of light according to the control of the light source control unit 210 of the image processing apparatus 200 (step S101).
  • the minimum light amount is the first light amount when the light source 300 gradually increases the light amount, and in the example shown in FIG. 3, the light amount when the light amount starts to increase from the light amount in the normal mode in the gradation detection mode.
  • the time when this light irradiation is started serves as a reference for the elapsed time in the subsequent processing.
  • the elapsed time specifying unit 220 specifies the elapsed time from the start of the gradual increase in the amount of light (step S101) to the generation of the event signal, and the elapsed time and
  • the gradation calculation unit 230 calculates the gradation of the subject from the amount of light at that time indicated by the control pattern of the light source 300 (step S103). If there is a subject for which an event signal is generated by the EDS 110 while the light source control unit 210 raises the light amount until the maximum light amount is reached (steps S104 and S105), the light amount of the subject is increased based on the elapsed time and the light amount at that time. The calculation process (steps S102 and S103) is repeated.
  • the subject when the subject is irradiated with light whose amount of light gradually increases by controlling the light source, and an event occurs due to the reflected light of the subject from the elapsed time from the start of the irradiation.
  • the gradation of the subject corresponding to the amount of light of is calculated. This makes it possible to detect the gradation of the subject with a simple configuration using the event-driven sensor (EDS).
  • EDS event-driven sensor
  • the light source irradiates the subject with light whose amount of light gradually increases, but in other examples, the light source may irradiate the subject with light whose amount of light gradually decreases.
  • EDS When the amount of light gradually increases, EDS generates an event signal indicating an on-event to detect the gradation of the subject, but when the amount of light gradually decreases, EDS generates an event signal indicating an off-event. By doing so, the gradation of the subject is detected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)

Abstract

被写体に向けて光量が漸増または漸減する光を照射する光源と、光量が漸増または漸減する光の照射開始後に被写体の反射光の変動を検出することによってイベント信号を生成するイベント駆動型センサと、光量が漸増または漸減する光の照射開始からイベント信号の生成までの経過時間に基づいて被写体の階調を算出する階調算出部とを備えるセンサシステムが提供される。

Description

センサシステム、画像処理装置、画像処理方法およびプログラム
　本発明は、センサシステム、画像処理装置、画像処理方法およびプログラムに関する。
　ＣＣＤやＣＭＯＳなどのイメージセンサは、垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の固体撮像素子である。一般的な同期型の固体撮像素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データが取得されないため、例えば移動体における画像データを利用した高速な処理には対応が困難な場合がある。そこで、例えば非特許文献１などにおいて、アドレスイベントを検出するアドレスイベント表現（ＡＥＲ：Address Event Representation）回路を設けた非同期型の固体撮像素子が提案されている。
　上記の非同期型の固体撮像素子において、アドレスイベントは、ある画素アドレスで画素の光量が変動し、変動量が閾値を超えた場合に発生する。具体的には、アドレスイベントは、画素の光量が変動して所定の上限を超えた場合に発生するオンイベントと、光量が所定の下限を下回った場合に発生するオフイベントとを含む。このような非同期型の固体撮像素子において、画素ごとのオンイベントおよびオフイベントの有無を２ビットのデータで表現する画像データの形式はＡＥＲフォーマットと呼ばれる。非同期型の固体撮像素子を用いた技術は、例えば特許文献１にも記載されている。
特開２０１８－１８６４７８号公報
Patrick Lichtsteiner, et al., A 128×128 120dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor, IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL. 43, NO. 2, FEBRUARY 2008.
　上記のような非同期型の固体撮像素子（以下、イベント駆動型センサともいう）では、被写体の動きを高速に検出することは可能であるものの、画像データとしてオンイベントまたはオフイベントの２通りの情報しか得られないため、被写体の輝度の階調を検出することは困難である。例えば、階調を検出することが可能な同期型の固体撮像素子をイベント駆動型センサとともに配置し、イベント駆動型センサで被写体の動きが検出された場合に同期型の固体撮像素子を露光して階調を検出することも考えられるが、撮像装置の構造が複雑になってしまう。
　そこで、本発明は、イベント駆動型センサを用いて簡単な構成で被写体の階調を検出することを可能にする、センサシステム、画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
　本発明のある観点によれば、被写体に向けて光量が漸増または漸減する光を照射する光源と、光量が漸増または漸減する光の照射開始後に被写体の反射光の変動を検出することによってイベント信号を生成するイベント駆動型センサと、光量が漸増または漸減する光の照射開始からイベント信号の生成までの経過時間に基づいて被写体の階調を算出する階調算出部とを備えるセンサシステムが提供される。
　本発明の別の観点によれば、被写体に向けて光を照射する光源を光量が漸増または漸減する時系列の制御パターンに従って制御する光源制御部と、光量が漸増または漸減する光の照射開始からイベント駆動型センサが被写体のそれぞれの反射光の変動を検出することによってイベント信号を生成するまでの経過時間を特定する経過時間特定部と、経過時間および制御パターンに基づいて被写体の階調を算出する階調算出部とを備える画像処理装置
　本発明のさらに別の観点によれば、光源が被写体に向けて光量が漸増または漸減する光を照射するステップと、光量が漸増または漸減する光の照射開始後に被写体の反射光の変動を検出したイベント駆動型センサがイベント信号を生成するステップと、光量が漸増または漸減する光の照射開始からイベント信号の生成までの経過時間に基づいて被写体の階調を算出するステップとを含む画像処理方法が提供される。
　本発明のさらに別の観点によれば、被写体に向けて光を照射する光源を光量が漸増または漸減する時系列の制御パターンに従って制御する機能と、光量が漸増または漸減する光の照射開始からイベント駆動型センサが被写体のそれぞれの反射光の変動を検出することによってイベント信号を生成するまでの経過時間を特定する機能と、経過時間および制御パターンに基づいて被写体の階調を算出する機能とをコンピュータに実現させるためのプログラムが提供される。
本発明の一実施形態に係るシステムの概略的な構成を示す図である。 本発明の一実施形態における被写体の階調算出の原理について説明するための図である。 図２に示した原理に基づく光源の制御パターンの例を示す図である。 光源の制御パターンに基づいて被写体の階調を算出するための関数の例を示す図である。 本発明の一実施形態における処理の例を示すフローチャートである。
　以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　図１は、本発明の一実施形態に係るシステムの概略的な構成を示す図である。図示されているように、センサシステム１０は、センサモジュール１００と、画像処理装置２００と、光源３００とを含む。センサモジュール１００は、画素ごとに配置されたイベント駆動型センサ（ＥＤＳ：Event Driven Sensor）１１０を含むセンサアレイと、信号処理回路１２０とを含む。画像処理装置２００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される光源制御部２１０、経過時間特定部２２０および階調算出部２３０の機能部分を含む。画像処理装置２００は、さらに、画像生成部２４０の機能部分を含んでもよい。以下、各部についてさらに説明する。
　センサモジュール１００において、ＥＤＳ１１０は、それぞれの画素アドレスで光量の変動量が閾値を超えたときに、アドレスイベントの発生を示すイベント信号を出力する。本実施形態では、後述するように光源３００が被写体ｏｂｊ１，ｏｂｊ２に向けて光量が漸増する光を照射するが、このときＥＤＳ１１０は被写体ｏｂｊ１，ｏｂｊ２の反射光の変動を検出することによってイベント信号を生成する。信号処理回路１２０は、メモリおよびプロセッサを含み、プロセッサがメモリに格納されたプログラムに従って動作することによってＥＤＳ１１０が生成したイベント信号を処理する。具体的には、信号処理回路１２０は、イベント信号のタイムスタンプを生成する。
　画像処理装置２００において、光源制御部２１０は、光源３００を光量が漸増する時系列の制御パターンに従って制御する。光源３００は、例えばプロジェクタとして用いられるものであってもよく、光量を調節することが可能である。光源３００の光量は連続的（無段階的）に調節されてもよいし、段階的に調節されてもよい。光源３００が照射する光は、可視光であってもよいし、赤外光などの可視光以外の光であってもよい。光源制御部２１０は、光量が漸増する光の照射開始時刻、具体的には例えば光量が漸増する光の照射を開始するように光源３００に制御信号を送信した時刻と、時系列の制御パターンによって示される光源３００の時系列の光量とを示す情報をそれぞれ経過時間特定部２２０および階調算出部２３０に提供する。
　経過時間特定部２２０は、光源３００による光量が漸増する光の照射開始からＥＤＳ１１０がイベント信号を生成するまでの経過時間を特定する。具体的には、経過時間特定部２２０は、光源制御部２１０が光量が漸増する光の照射を開始するように光源３００に制御信号を送信した時刻と、センサモジュール１００の信号処理回路１２０が生成したイベント信号のタイムスタンプとの差分から経過時間を特定する。本実施形態では、信号処理回路１２０と光源制御部２１０との時刻情報は同期しているか、または経過時間特定部２２０が信号処理回路１２０と光源制御部２１０との時刻情報を対応付け可能であることによって、上記のような経過時間の特定が可能になる。
　階調算出部２３０は、経過時間特定部２２０によって特定された経過時間と、光源制御部２１０から提供された光源３００の制御パターンとに基づいて被写体ｏｂｊ１，ｏｂｊ２の階調を算出する。本実施形態において、階調算出部２３０は、光源３００が光量が漸増する光を照射したときに、階調の異なる被写体ｏｂｊ１，ｏｂｊ２ではＥＤＳ１１０が反射光の変動を検出することによってイベント信号を生成するタイミングが異なることを利用して、被写体ｏｂｊ１，ｏｂｊ２の階調を算出する。この点については、図２から図４を参照して後述する。
　画像生成部２４０は、階調算出部２３０が算出した被写体の階調を用いて、イベント信号から被写体の画像を生成する。他の例では、画像生成部２４０とともに、または画像生成部２４０に代えて、イベント信号から認識される被写体に対する処理を被写体の階調に応じて選択する機能部分が設けられてもよい。被写体の階調を用いた処理を実行する機能部分は、画像処理装置２００の内部において実装されてもよいし、画像処理装置２００から被写体の階調を示す情報を受信する外部装置において実装されてもよい。
　図２は、本発明の一実施形態における被写体の階調算出の原理について説明するための図である。図示された例では、光源が照射する光量が時系列で０（ＯＦＦ）から４０％まで漸増する間に、階調が異なることによって反射率が異なる被写体の部分（反射率が１００％、５０％、３３％、２５％および０％）のそれぞれでイベントが発生している。例えば、光源が照射する光量が１０％に到達した時点では、反射率１００％の部分でイベントが発生する。これは、反射率が高い部分では少ない光量でもイベントが発生するために十分なコントラストの変化が得られるためである。一方、この時点では、反射率が５０％以下の部分ではイベントが発生しない。
　その後、光量が上昇して２０％に達すると、反射率５０％の部分でイベントが発生する。図示された例では、このとき光源の光量に対してイベントが発生する反射率の閾値を超えている部分（反射率１００％の部分）ではイベントが発生していないが、光源のフリッカによってイベントが発生する場合はイベントが発生する。一方、この時点では、反射率が３３％以下の部分ではイベントが発生しない。さらに光量が上昇して３０％に達すると、反射率３３％の部分でイベントが発生する。この場合も同様に、反射率５０％および１００％の部分ではイベントが発生している可能性があるが、反射率２５％以下の部分ではイベントが発生しない。同様に、光量が上昇して４０％に達すると、反射率２５％の部分でイベントが発生する。
　図３は、図２に示した原理に基づく光源の制御パターンの例を示す図である。図示された例において、画像処理装置２００の光源制御部２１０は、動作モードとして通常モードと階調検出モードとを交互に繰り返すように光源３００を制御する。通常モードは光源３００が光量が一定の光を照射するモードであり、階調検出モードは光量が漸増する光を照射するモードである。この場合、光源制御部２１０は、各回の階調検出モードの開始時刻を示す情報を経過時間特定部２２０に提供し、階調検出モードにおける光量の上昇割合を示す情報を階調算出部２３０に提供する。階調算出部２３０は、階調検出モード、すなわち光量が漸増する光の照射中にＥＤＳ１１０が生成したイベント信号を用いて被写体の階調を算出する。他の例において、光源制御部２１０は、階調検出モードのみを繰り返すように光源３００を制御してもよい。
　図４は、光源の制御パターンに基づいて被写体の階調を算出するための関数の例を示す図である。上記で図２を参照して説明したような光量とイベントが発生する被写体の階調（反射率）との関係を予め測定することによって、図３を参照して説明したような光源の制御パターンに対応する階調を時系列で特定し、図４に示されるような経過時間ｔと階調ｇとの関数ｇ（ｔ）が得られる。関数ｇ（ｔ）は、経過時間がｔ１の場合には被写体の階調がｇ（ｔ１）であり、経過時間がｔ２（ｔ１＜ｔ２）の場合には被写体の階調がｇ（ｔ２）（ｇ（ｔ１）＞ｇ（ｔ２））であることを示す。
　図５は、本発明の一実施形態における処理の例を示すフローチャートである。図示された例では、まず、画像処理装置２００の光源制御部２１０の制御に従って、光源３００が最小光量で光の照射を開始する（ステップＳ１０１）。ここで、最小光量は、光源３００が光量を漸増させるときの最初の光量であり、図３に示された例では階調検出モードで光量が通常モードでの光量から上昇し始めた時の光量に相当する。この光の照射が開始された時刻が、後段の処理における経過時間の基準になる。
　ここで、ＥＤＳ１１０によってイベント信号が生成された場合（ステップＳ１０２）、経過時間特定部２２０が光量の漸増の開始（ステップＳ１０１）からのイベント信号の生成までの経過時間を特定し、経過時間、および光源３００の制御パターンによって示されるその時の光量から、階調算出部２３０が被写体の階調を算出する（ステップＳ１０３）。光源制御部２１０が最大光量に到達するまで光量を上昇させる（ステップＳ１０４，Ｓ１０５）間に、ＥＤＳ１１０によってイベント信号が生成された被写体があれば、経過時間およびその時の光量に基づいて被写体の光量を算出する処理（ステップＳ１０２，Ｓ１０３）が繰り返される。
　以上で説明した本発明の第１の実施形態では、光源の制御によって被写体に向けて光量が漸増する光を照射し、照射の開始からの経過時間から、被写体の反射光によってイベントが発生したときの光量に対応する被写体の階調を算出する。これによって、イベント駆動型センサ（ＥＤＳ）を用いて簡単な構成で被写体の階調を検出することができる。
　なお、上記の例では光源が被写体に向けて光量が漸増する光を照射するが、他の例では光源が被写体に向けて光量が漸減する光を照射してもよい。光量が漸増する場合にはＥＤＳがオンイベントを示すイベント信号を生成することによって被写体の階調が検出されるが、光量が漸減する場合にはＥＤＳがオフイベントを示すイベント信号をイベント信号を生成することによって被写体の階調が検出される。
　以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範囲内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　１０…センサシステム、１００…センサモジュール、１２０…信号処理回路、２００…画像処理装置、２１０…光源制御部、２２０…経過時間特定部、２３０…階調算出部、２４０…画像生成部、３００…光源。
 

Claims (5)

  1. 　被写体に向けて光量が漸増または漸減する光を照射する光源と、
    　前記光量が漸増または漸減する光の照射開始後に前記被写体の反射光の変動を検出することによってイベント信号を生成するイベント駆動型センサと、
    　前記光量が漸増または漸減する光の照射開始から前記イベント信号の生成までの経過時間に基づいて前記被写体の階調を算出する階調算出部と
    　を備えるセンサシステム。
  2. 　前記光源は、前記光量が漸増または漸減する光と、光量が一定の光とを交互に照射し、
    　前記階調算出部は、前記光量が漸増または漸減する光の照射中に前記イベント駆動型センサが生成した前記イベント信号を用いて前記階調を算出する、請求項１に記載のセンサシステム。
  3. 　被写体に向けて光を照射する光源を光量が漸増または漸減する時系列の制御パターンに従って制御する光源制御部と、
    　前記光量が漸増または漸減する光の照射開始からイベント駆動型センサが前記被写体のそれぞれの反射光の変動を検出することによってイベント信号を生成するまでの経過時間を特定する経過時間特定部と、
    　前記経過時間および前記制御パターンに基づいて前記被写体の階調を算出する階調算出部と
    　を備える画像処理装置。
  4. 　光源が被写体に向けて光量が漸増または漸減する光を照射するステップと、
    　前記光量が漸増または漸減する光の照射開始後に前記被写体の反射光の変動を検出したイベント駆動型センサがイベント信号を生成するステップと、
    　前記光量が漸増または漸減する光の照射開始から前記イベント信号の生成までの経過時間に基づいて前記被写体の階調を算出するステップと
    　を含む画像処理方法。
  5. 　被写体に向けて光を照射する光源を光量が漸増または漸減する時系列の制御パターンに従って制御する機能と、
    　前記光量が漸増または漸減する光の照射開始からイベント駆動型センサが前記被写体のそれぞれの反射光の変動を検出することによってイベント信号を生成するまでの経過時間を特定する機能と、
    　前記経過時間および前記制御パターンに基づいて前記被写体の階調を算出する機能と
    　をコンピュータに実現させるためのプログラム。
     
PCT/JP2019/033707 2019-08-28 2019-08-28 センサシステム、画像処理装置、画像処理方法およびプログラム WO2021038750A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021541867A JP7191237B2 (ja) 2019-08-28 2019-08-28 センサシステム、画像処理装置、画像処理方法およびプログラム
PCT/JP2019/033707 WO2021038750A1 (ja) 2019-08-28 2019-08-28 センサシステム、画像処理装置、画像処理方法およびプログラム
US17/635,553 US11792527B2 (en) 2019-08-28 2019-08-28 Sensor system, image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/033707 WO2021038750A1 (ja) 2019-08-28 2019-08-28 センサシステム、画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2021038750A1 true WO2021038750A1 (ja) 2021-03-04

Family

ID=74685302

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/033707 WO2021038750A1 (ja) 2019-08-28 2019-08-28 センサシステム、画像処理装置、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US11792527B2 (ja)
JP (1) JP7191237B2 (ja)
WO (1) WO2021038750A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2019135411A1 (ja) * 2018-01-05 2019-07-11 株式会社ニコン 検出装置およびセンサ
JP2019134271A (ja) * 2018-01-31 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019273B2 (en) * 2017-09-28 2021-05-25 Apple Inc. Generating static images with an event camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2019135411A1 (ja) * 2018-01-05 2019-07-11 株式会社ニコン 検出装置およびセンサ
JP2019134271A (ja) * 2018-01-31 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
US20220337732A1 (en) 2022-10-20
JPWO2021038750A1 (ja) 2021-03-04
JP7191237B2 (ja) 2022-12-16
US11792527B2 (en) 2023-10-17

Similar Documents

Publication Publication Date Title
CN101849834B (zh) 放射线成像设备及其暗电流校正方法
WO2011062102A1 (ja) 情報処理装置、情報処理方法、プログラム、及び電子機器
JP2013124941A (ja) 測距装置、及び測距方法
JP2008252401A (ja) 撮像システム、撮像方法、および撮像プログラム
JP2013096941A (ja) 撮像装置、撮像方法、及びプログラム
JPWO2016031359A1 (ja) 制御装置、制御方法、及びプログラム
US9962068B2 (en) Image pickup system and control method of image pickup system
EP2944257A1 (en) Radiation imaging apparatus, method of determining radiation irradiation, and storage medium
WO2021038750A1 (ja) センサシステム、画像処理装置、画像処理方法およびプログラム
US20190156500A1 (en) Distance measurement system applicable to different reflecting surfaces and computer system
CN105338255B (zh) 一种深度恢复调整方法及电子设备
JP2019041351A (ja) 画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム
US9894306B2 (en) Radiation imaging system, control apparatus, control method, and storage medium
US10942607B2 (en) Manipulation detection device and video display system that are capable detecting an object on a video display surface
JP2013214938A (ja) 撮影装置及び撮影装置の画像処理方法
JP4274316B2 (ja) 撮像システム
JP2017191082A (ja) 輝点画像取得装置および輝点画像取得方法
CN111566439A (zh) 三维测定装置、三维测定方法以及三维测定程序
CN109213037B (zh) 采样时间自适应单光子压缩成像控制方法及控制装置
WO2023188183A1 (ja) 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
US20230353889A1 (en) Determining pixel information
WO2023188184A1 (ja) 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
US11388346B2 (en) Image capturing control apparatus and image capturing control method
US20220078321A1 (en) Image capturing control apparatus, method for controlling image capturing apparatus, and storage medium
CN207340064U (zh) 投影机画面采集装置及视觉检测设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19943738

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021541867

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19943738

Country of ref document: EP

Kind code of ref document: A1