WO2023145041A1 - 信号処理装置、センサ装置、信号処理方法およびプログラム - Google Patents

信号処理装置、センサ装置、信号処理方法およびプログラム Download PDF

Info

Publication number
WO2023145041A1
WO2023145041A1 PCT/JP2022/003473 JP2022003473W WO2023145041A1 WO 2023145041 A1 WO2023145041 A1 WO 2023145041A1 JP 2022003473 W JP2022003473 W JP 2022003473W WO 2023145041 A1 WO2023145041 A1 WO 2023145041A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
image processing
event
area
transmission determination
Prior art date
Application number
PCT/JP2022/003473
Other languages
English (en)
French (fr)
Inventor
直毅 江川
宏昌 長沼
正和 林
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to PCT/JP2022/003473 priority Critical patent/WO2023145041A1/ja
Priority to JP2023576555A priority patent/JPWO2023145041A1/ja
Publication of WO2023145041A1 publication Critical patent/WO2023145041A1/ja

Links

Images

Definitions

  • the present invention relates to a signal processing device, a sensor device, a signal processing method and a program.
  • An event-driven vision sensor in which pixels that detect changes in the intensity of incident light generate signals asynchronously with time.
  • An event-driven vision sensor is advantageous in that it can operate at low power and at high speed compared to a frame-type vision sensor that scans all pixels at predetermined intervals, specifically image sensors such as CCD and CMOS. is. Techniques related to such an event-driven vision sensor are described in Patent Document 1 and Patent Document 2, for example.
  • the event-driven vision sensor described above has high temporal and spatial resolution, so it outputs a large amount of event signals, including those caused by noise. Depending on the type of processing based on the event signal, the load imposed on the transmission and calculation of such a large number of signals may become excessive, but no solution has been proposed for such a case.
  • an object of the present invention is to provide a signal processing device, a sensor device, a signal processing method, and a program that can reduce the load on event signal transmission and calculation.
  • a signal processing device includes a transmission determination unit that determines
  • an event-driven vision sensor including a plurality of sensors forming a sensor array, an image processing unit that performs image processing based on an event signal output from the vision sensor, an image a region designating unit that designates a region based on a result of the processing, and the vision sensor is configured to output an event signal limited to the designated region.
  • an event signal output from an event-driven vision sensor including a plurality of sensors forming a sensor array is transmitted based on position information of each sensor within the sensor array.
  • a signal processing method is provided that includes the step of determining whether
  • an event signal output from an event-driven vision sensor including a plurality of sensors forming a sensor array is transmitted based on position information of each sensor within the sensor array.
  • a program is provided for causing a computer to implement a function of determining whether or not.
  • FIG. 4 is a diagram for explaining an example of transmission determination according to the first embodiment of the present invention
  • FIG. It is a figure which shows the schematic structure of the system based on the 2nd Embodiment of this invention.
  • FIG. 11 is a diagram for explaining an example of transmission determination in the second embodiment of the present invention.
  • FIG. 10 is a diagram showing an example of a data path in the second embodiment of the invention;
  • FIG. 11 is a diagram for explaining an example of transmission determination in the third embodiment of the present invention.
  • FIG. 14 is a diagram for explaining an example of transmission determination in the fourth embodiment of the present invention.
  • FIG. It is a figure which shows the example of the segment shape applicable in each embodiment of this invention mentioned above.
  • FIG. 1 is a diagram showing a schematic configuration of a system according to the first embodiment of the invention.
  • the system 10 includes an event-driven vision sensor (EDS) 100 and a signal processor 200 .
  • EDS event-driven vision sensor
  • the EDS 100 includes a sensor array 120 composed of a plurality of sensors 110 and a sensor control section 130 connected to the sensor array 120.
  • the sensor 110 includes a light-receiving element and generates an event signal upon detecting a change in the intensity of incident light, more specifically a change in luminance.
  • Each sensor 110 corresponds to a pixel in the image in which the event signal is mapped based on the address of each sensor 110 in the sensor array 120 .
  • the area corresponding to the entire sensor array 120 in the above image is also called a pixel area, and the area corresponding to each sensor 110 is also called a pixel.
  • the event signal is read from the sensor 110 according to the address generated by the address generator included in the sensor control unit 130, the read from the sensor 110 that did not detect the event is not executed.
  • the signals are time asynchronous.
  • the signal processing device 200 includes a communication interface 210 , a buffer memory 220 , a computing section 230 and a storage section 240 .
  • Communication interface 210 receives event signals from sensor controller 130 of EDS 100 .
  • the received event signal is temporarily stored in buffer memory 220 .
  • the calculation unit 230 is implemented by a processor that operates according to a program stored in the storage unit 240 and processes event signals read from the buffer memory 220, for example.
  • the calculation unit 230 includes a transmission determination unit 231 and an image processing unit 232 as functional parts realized by operating according to a program.
  • the transmission determination unit 231 determines whether or not to transmit the event signal to the image processing unit 232, for example, as in an example described later. In other words, not all event signals temporarily stored in the buffer memory 220 are transmitted to the image processing section 232 .
  • the image processing section 232 executes various image processing based on the event signal transmitted from the buffer memory 220 according to the determination of the transmission determination section 231 . For example, the image processing unit 232 may generate an image in which positions where luminance changes occur are mapped in chronological order, and perform processing such as subject tracking or optical flow calculation on the image.
  • the storage unit 240 stores transmission determination rules 241 that are referred to by the transmission determination unit 231 .
  • FIG. 2 is a diagram for explaining an example of transmission determination in the first embodiment of the present invention.
  • the transmission determination unit 231 calculates a score for each segment (SEG) including a plurality of pixels obtained by dividing the pixel region into a predetermined number.
  • a segment is defined within the sensor array 120 and includes a plurality of sensors 110 because, as described above, the pixel area corresponds to the sensor array 120 and the sensors 110 correspond to the pixels. For example, when pixels are arranged in two orthogonal directions, one segment may be a rectangular area of 6 pixels ⁇ 6 pixels.
  • the transmission determination unit 231 calculates a score by accumulating the number of event signals for each segment, and when the score exceeds a threshold, transmits the event signals output in the segment and adjacent segments to the image processing unit 232. do. Note that the score of the segment for which the transmission was performed is reset.
  • the output of the event signal is relatively large compared to other areas.
  • the number of such event signals is relatively small.
  • the transmission determination unit 231 identifies the event signal in each of such a subject portion and other portions based on the position information of each sensor 110 in the sensor array 120, and determines whether or not to transmit each event signal. determine whether Therefore, with the configuration as described above, it is possible to suppress transmission of the event signal of the segment unrelated to the subject, and reduce the load on the transmission of the event signal and the image processing calculation in the image processing unit. .
  • the transmission determination unit 231 may attenuate or reset the score of each segment every predetermined time. For example, when the number of event signals in each segment is integrated without time limit, the number of event signals due to noise or the like may reach the threshold over a long period of time even in segments unrelated to the subject. By attenuating or resetting the score for segments where the number of event signals does not reach the threshold for a long period of time, the load on event signal transmission and image processing calculations caused by noise is further reduced. can do.
  • the shape and number of segments into which the pixel area is divided, and the score calculation method and threshold value for each segment are stored in the storage unit 240 as transmission determination rules 241 .
  • a plurality of different criteria may be defined according to conditions related to image processing executed by the image processing unit 232.
  • FIG. For example, if reduction in the amount of data transmission is required in processing in the image processing unit 232 or in processing after transmitting the processing result to another device, the threshold for determination in the transmission determination unit 231 may be increased. Conversely, if it is required to improve responsiveness rather than reduce the amount of data transmission, the threshold for determination in the transmission determination unit 231 may be decreased.
  • the threshold may be set according to the segment size, ie the number of pixels contained in the segment. Specifically, a larger threshold may be set for large-sized segments, and a smaller threshold may be set for small-sized segments.
  • FIG. 3 is a diagram showing a schematic configuration of a system according to the second embodiment of the invention.
  • the operation unit 230 of the signal processing device 200 operates according to a program to function as functions. includes an area designating section 233 .
  • the region designating unit 233 designates a region to which the event signal is to be transmitted, based on the image processing result of the image processing unit 232, as in the example described below. Since the configuration other than this is the same as that of the above-described first embodiment, redundant detailed description will be omitted.
  • FIG. 4 is a diagram for explaining an example of transmission determination in the second embodiment of the present invention.
  • the transmission determination unit 231 calculates a score for each segment (SEG) obtained by dividing the pixel area in the same manner as in the example of the first embodiment.
  • the area designating section 233 designates an area (R) to which the event signal is to be transmitted, based on the result of the image processing executed by the image processing section 232 .
  • the region (R) may for example be a region that at least partially overlaps or encompasses the object (OBJ).
  • the region (R) may be, for example, a region corresponding to a region of interest (ROI) in tracking or optical flow calculation.
  • ROI region of interest
  • the transmission determination unit 231 calculates a score by accumulating the number of event signals output for each segment. When the score exceeds the threshold and the segment is included in the specified region (R), the transmission determination unit 231 transmits the event signal output in the segment and adjacent segments to the image processing unit 232 .
  • the transmission determination unit 231 calculates scores for all segments, and then determines whether or not to transmit the event signal based on whether or not the segment is included in the specified region (R). However, in another example, the transmission determination unit 231 may calculate the score by limiting to the segments included in the designated region (R). In either case, the transmission determination unit 231 determines whether or not to transmit the event signal output from the sensor 110 having position information in the specified area (R).
  • the output of the event signal is relatively large in the segment overlapping these objects compared to other areas.
  • event signals generated for both subjects are transmitted from the transmission determination section 231 to the image processing section 232 .
  • the region (R) required for image processing in the image processing unit 232 is designated in advance by the region designating unit 233, a The event signal is not transmitted from the transmission determination section 231 to the image processing section 232 . If the area (R) required for image processing in the image processing unit 232 can be specified in advance, the above configuration can reduce the load on the transmission of the event signal and the image processing operation in the image processing unit. can be further reduced.
  • FIG. 5 is a diagram showing an example of data paths in the second embodiment of the present invention.
  • the transmission of the event signal from the transmission determination unit 231 to the image processing unit 232 and the transmission of the information for specifying the area from the area designation unit 233 to the transmission determination unit 231 are carried out as illustrated. It can be implemented by a queue using buffers RB1 and RB2. Such datapaths can be used to transmit event signals in other embodiments, and to transmit information for specifying regions.
  • FIG. 6 is a diagram showing a schematic configuration of a sensor device according to a third embodiment of the invention.
  • the sensor device 300 incorporates a sensor array 120 including a sensor 110, which is a component of the EDS, and a sensor control section 130 (in the following description, these sections are referred to as the EDS 100 for convenience). sometimes). Therefore, the output of an event signal from the sensor control unit 130 and the input of information for designating an area to the sensor control unit 130, which will be described later, are performed via a bus interface or the like instead of communication between devices via a communication interface. It is executed by communication within the device that Since the configuration other than this is the same as that of the above-described second embodiment, redundant detailed description will be omitted.
  • FIG. 7 is a diagram for explaining an example of transmission determination in the third embodiment of the present invention.
  • the area designating unit 233 inputs information designating the area (R) to which the event signal is to be transmitted to the EDS 100, and the EDS 100 outputs the event signal limited to the designated area (R). .
  • the sensor control unit 130 executes reading of the event signal limited to the designated area (R).
  • the transmission determination unit 231 calculates a score for each segment (SEG) obtained by dividing the pixel area in the same manner as in the first embodiment described above. As a result, the score is calculated only for the segment of the designated region (R). When the score of a segment exceeds the threshold, event signals output in the segment and adjacent segments are transmitted to the image processing section 232 .
  • the region designating unit 233 designates the region (R) to which the event signal is to be transmitted based on the result of the image processing executed by the image processing unit 232, as in the second embodiment.
  • the region (R) may for example be a region that at least partially overlaps or encompasses the object (OBJ).
  • the region (R) may also be a region corresponding to a region of interest (ROI) in eg tracking or optical flow calculations.
  • ROI region of interest
  • the event signals generated for both subjects are output from the EDS 100.
  • the area designating unit 233 designates the area (R) for outputting the event signals from the EDS 100.
  • the EDS 100 does not output an event signal generated for an object other than a certain object.
  • the area (R) required for image processing in the image processing unit 232 can be specified in advance as in the second embodiment, and the calculation unit 230 and the sensor control unit 130 in the sensor device 300 can be specified in advance.
  • FIG. 8 is a diagram showing a schematic configuration of a sensor device according to a fourth embodiment of the invention.
  • an RGB sensor 410 is further incorporated into the sensor device 400 similar to that of the third embodiment, and the image processing unit 232 performs image processing using the event signal output from the EDS 100.
  • Image processing using the image signal output from the RGB sensor 410 is executed.
  • the area designating section 233 designates an area to which the event signal is to be transmitted, mainly based on the result of image processing using the image signal. Since the configuration other than this is the same as that of the above-described third embodiment, redundant detailed description will be omitted.
  • FIG. 9 is a diagram for explaining an example of transmission determination in the fourth embodiment of the present invention.
  • the area designating unit 233 is the target of transmission of the event signal based on the result of image processing such as subject detection executed by the image processing unit 232 based on the image signal input from the RGB sensor 410. Specify the region (R).
  • the area specifying unit 233 inputs information specifying a target area (R) to the EDS 100, and the EDS 100 outputs an event signal limited to the specified area (R).
  • an event signal generated for an object other than the two objects (OBJ) present in the pixel area is not output from the EDS 100, and is generated in the area (R).
  • OBJ two objects
  • An event signal generated with respect to the subject of interest is transmitted from the EDS 100 to the image processing section 232 .
  • event signals transmitted to the image processing unit 232 can be selected under the control of the EDS 100 as in the present embodiment, the processing of score calculation and transmission determination in the transmission determination unit 231 does not necessarily have to be executed.
  • FIG. 10 is a diagram showing examples of segment shapes applicable to each embodiment of the present invention described above.
  • the shape of the segment is not limited to the above example.
  • the number of pixels forming one segment may be different for each direction in which the pixels are arranged.
  • one segment may be a rectangular area of 10 pixels ⁇ 5 pixels.
  • the segments may not necessarily be rectangular areas, but may be triangular areas, for example SEG1 in the example shown in FIG.
  • the triangular segment SEG1 can capture the object with a smaller number of segments than the rectangular segment SEG2 divided into the same number per area ( SEG1 is 8 out of 16 segments, SEG2 is 12 out of 16 segments).
  • SEG1 is 8 out of 16 segments
  • SEG2 is 12 out of 16 segments.

Landscapes

  • Image Processing (AREA)

Abstract

センサアレイを構成する複数のセンサを含むイベント駆動型のビジョンセンサから出力されるイベント信号について、センサアレイ内における各センサの位置情報に基づいて伝送するか否かを判定する伝送判定部を備える信号処理装置が提供される。

Description

信号処理装置、センサ装置、信号処理方法およびプログラム
　本発明は、信号処理装置、センサ装置、信号処理方法およびプログラムに関する。
　入射する光の強度変化を検出した画素が時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全画素をスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。
特表２０１４－５３５０９８号公報 特開２０１８－８５７２５号公報
　上記のようなイベント駆動型のビジョンセンサは、時間的にも空間的にも分解能が高いため、ノイズによるものも含めて大量のイベント信号を出力する。イベント信号に基づく処理の種類によっては、このような大量の信号の伝送や演算にかかる負荷が過大になる場合があるが、そのような場合の解決策は提案されていない。
　そこで、本発明は、イベント信号の伝送や演算にかかる負荷を低減することが可能な信号処理装置、センサ装置、信号処理方法およびプログラムを提供することを目的とする。
　本発明のある観点によれば、センサアレイを構成する複数のセンサを含むイベント駆動型のビジョンセンサから出力されるイベント信号について、センサアレイ内における各センサの位置情報に基づいて伝送するか否かを判定する伝送判定部を備える信号処理装置が提供される。
　本発明の別の観点によれば、センサアレイを構成する複数のセンサを含むイベント駆動型のビジョンセンサと、ビジョンセンサから出力されるイベント信号に基づいて画像処理を実行する画像処理部と、画像処理の結果に基づいて領域を指定する領域指定部とを備え、ビジョンセンサは、指定された領域に限定してイベント信号を出力するように構成されるセンサ装置が提供される。
　本発明のさらに別の観点によれば、センサアレイを構成する複数のセンサを含むイベント駆動型のビジョンセンサから出力されるイベント信号について、センサアレイ内における各センサの位置情報に基づいて伝送するか否かを判定するステップを含む信号処理方法が提供される。
　本発明のさらに別の観点によれば、センサアレイを構成する複数のセンサを含むイベント駆動型のビジョンセンサから出力されるイベント信号について、センサアレイ内における各センサの位置情報に基づいて伝送するか否かを判定する機能をコンピュータに実現させるためのプログラムが提供される。
本発明の第１の実施形態に係るシステムの概略的な構成を示す図である。 本発明の第１の実施形態における伝送判定の例について説明するための図である。 本発明の第２の実施形態に係るシステムの概略的な構成を示す図である。 本発明の第２の実施形態における伝送判定の例について説明するための図である。 本発明の第２の実施形態におけるデータパスの例を示す図である。 本発明の第３の実施形態に係るセンサ装置の概略的な構成を示す図である。 本発明の第３の実施形態における伝送判定の例について説明するための図である。 本発明の第４の実施形態に係るセンサ装置の概略的な構成を示す図である。 本発明の第４の実施形態における伝送判定の例について説明するための図である。 上述した本発明の各実施形態にて適用可能なセグメント形状の例を示す図である。
　以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　（第１の実施形態）
　図１は、本発明の第１の実施形態に係るシステムの概略的な構成を示す図である。図示された例において、システム１０は、イベント駆動型のビジョンセンサであるＥＤＳ（Event Driven Sensor）１００と、信号処理装置２００とを含む。
　ＥＤＳ１００は、複数のセンサ１１０で構成されるセンサアレイ１２０と、センサアレイ１２０に接続されるセンサ制御部１３０とを含む。センサ１１０は、受光素子を含み、入射する光の強度変化、より具体的には輝度変化を検出したときにイベント信号を生成する。センサアレイ１２０内におけるそれぞれのセンサ１１０のアドレスに基づいてイベント信号をマッピングした画像において、それぞれのセンサ１１０は画素に対応する。以下の説明では、上記の画像においてセンサアレイ１２０の全体に対応する領域を画素領域、個々のセンサ１１０に対応する領域を画素ともいう。ただし、センサ制御部１３０に含まれるアドレス発生装置が発生させるアドレスに従ってセンサ１１０からイベント信号が読み出されるときに、イベントを検出しなかったセンサ１１０からの読み出しは実行されないため、ＥＤＳ１００から出力されるイベント信号は時間非同期的である。
　信号処理装置２００は、通信インターフェース２１０と、バッファメモリ２２０と、演算部２３０と、記憶部２４０とを含む。通信インターフェース２１０は、ＥＤＳ１００のセンサ制御部１３０からイベント信号を受信する。受信されたイベント信号は、バッファメモリ２２０に一時的に格納される。演算部２３０は、例えば記憶部２４０に格納されたプログラムに従って動作し、バッファメモリ２２０から読み出されたイベント信号を処理するプロセッサによって実装される。
　本実施形態において、演算部２３０は、プログラムに従って動作することによって実現される機能部分として伝送判定部２３１および画像処理部２３２を含む。伝送判定部２３１は、例えば後述する例のように、イベント信号を画像処理部２３２に伝送するか否かを判定する。つまり、バッファメモリ２２０に一時的に格納されたイベント信号のすべてが画像処理部２３２に伝送されるとは限らない。画像処理部２３２は、伝送判定部２３１の判定に従ってバッファメモリ２２０から伝送されたイベント信号に基づいて各種の画像処理を実行する。例えば、画像処理部２３２は、輝度変化が発生した位置をマッピングした画像を時系列で生成し、画像上で被写体のトラッキングまたはオプティカルフローの計算などの処理を実行してもよい。記憶部２４０には、伝送判定部２３１によって参照される伝送判定ルール２４１が格納される。
　図２は、本発明の第１の実施形態における伝送判定の例について説明するための図である。図示された例において、伝送判定部２３１は、ＥＤＳ１００から出力されるイベント信号に基づいて、画素領域を所定の数に分割した、複数の画素を含むセグメント（ＳＥＧ）ごとのスコアを算出する。上述のように画素領域はセンサアレイ１２０に対応し、センサ１１０は画素に対応するため、セグメントはセンサアレイ１２０内で定義され、複数のセンサ１１０を含む。例えば、画素が直交する２方向に配列されている場合、６画素×６画素の矩形領域を１つのセグメントとしてもよい。伝送判定部２３１は、セグメントごとにイベント信号の数を積算することによってスコアを算出し、スコアが閾値を超えた場合に当該セグメントおよび隣接するセグメントで出力されたイベント信号を画像処理部２３２に伝送する。なお、伝送が実行されたセグメントのスコアはリセットされる。
　図示された例では、イベント信号の数がセグメント内の画素の数の半分（６×６÷２＝１８）を超えた場合にイベント信号が伝送されている。画素領域内に存在する被写体（ＯＢＪ）に重複するか、またはその近傍にあるセグメントでは、イベント信号の出力が他の領域に比べて相対的に多くなる。その一方で、被写体に関係のないセグメントでもノイズなどの影響でイベント信号は出力されるが、その数は相対的に少ない。伝送判定部２３１は、このような被写体部分とそれ以外の部分とのそれぞれにおけるイベント信号を、センサアレイ１２０内における各センサ１１０の位置情報に基づいて識別し、それぞれのイベント信号について伝送するか否かを判定する。従って、上記のような構成によって、被写体に関係のないセグメントのイベント信号が伝送されることを抑制し、イベント信号の伝送、および画像処理部での画像処理演算にかかる負荷を低減することができる。
　上記の例において、伝送判定部２３１は、所定の時間ごとに各セグメントのスコアを減衰させるか、またはリセットしてもよい。例えば時間の制限なく各セグメントのイベント信号の数を積算した場合、被写体に関係のないセグメントでもノイズなどによるイベント信号の数が長時間かけて閾値に到達する可能性がある。長時間にわたってイベント信号の数が閾値に到達していないセグメントについてはスコアを減衰させるか、またはリセットすることによって、ノイズの影響で発生するイベント信号の伝送や画像処理演算にかかる負荷をより一層低減することができる。
　上記のような伝送判定部２３１の処理において、画素領域を分割するセグメントの形状および数、ならびにセグメントごとのスコアの算出方法および閾値は、伝送判定ルール２４１として記憶部２４０に格納される。ここで、伝送判定ルール２４１には、例えば画像処理部２３２で実行される画像処理に関する条件に応じて異なる複数の基準が規定されてもよい。例えば、画像処理部２３２における処理、または処理結果をさらに他の装置に送信した後の処理においてデータ伝送量の節減が求められる場合は、伝送判定部２３１における判定の閾値を大きくしてもよい。逆に、データ伝送量の節減よりも応答性を高めることが求められる場合は、伝送判定部２３１における判定の閾値を小さくしてもよい。また、複数のセグメントのサイズが規定される場合、閾値は、セグメントのサイズ、すなわちセグメントに含まれる画素数に応じて設定されてもよい。具体的には、サイズが大きいセグメントではより大きな閾値が、サイズが小さいセグメントではより小さい閾値が設定されてもよい。
　（第２の実施形態）
　図３は、本発明の第２の実施形態に係るシステムの概略的な構成を示す図である。上記の第１の実施形態との違いとして、本実施形態では、信号処理装置２００の演算部２３０が、プログラムに従って動作することによって実現される機能部分として伝送判定部２３１および画像処理部２３２に加えて領域指定部２３３を含む。領域指定部２３３は、以下で説明する例のように、画像処理部２３２における画像処理の結果に基づいて、イベント信号の伝送の対象になる領域を指定する。なお、これ以外の構成は上記の第１の実施形態と同様であるため、重複した詳細な説明は省略する。
　図４は、本発明の第２の実施形態における伝送判定の例について説明するための図である。図示された例において、伝送判定部２３１は、上記の第１の実施形態の例と同様に画素領域を分割したセグメント（ＳＥＧ）ごとにスコアを算出する。一方、領域指定部２３３は、画像処理部２３２で実行された画像処理の結果に基づいて、イベント信号の伝送の対象になる領域（Ｒ）を指定する。領域（Ｒ）は、例えば被写体（ＯＢＪ）に少なくとも部分的に重複するか、または被写体を包含する領域であってもよい。また、領域（Ｒ）は、例えばトラッキングまたはオプティカルフローの計算における対象領域（ＲＯＩ：Region of Interest）に対応する領域であってもよい。伝送判定部２３１は、セグメントごとに出力されたイベント信号の数を積算することによってスコアを算出する。スコアが閾値を超え、かつセグメントが指定された領域（Ｒ）に含まれる場合に、伝送判定部２３１は当該セグメントおよび隣接するセグメントで出力されたイベント信号を画像処理部２３２に伝送する。
　なお、図示された例において伝送判定部２３１は全セグメントについてスコアを算出した上で、セグメントが指定された領域（Ｒ）に含まれるか否かによってイベント信号を伝送するか否かを判定しているが、他の例において伝送判定部２３１は指定された領域（Ｒ）に含まれるセグメントに限定してスコアを算出してもよい。いずれの場合も、伝送判定部２３１は、指定された領域（Ｒ）に位置情報を有するセンサ１１０から出力されたイベント信号について、伝送するか否かを判定している。
　図示された例では、画素領域内に２つの被写体（ＯＢＪ）が存在し、これらの被写体に重複するセグメントにおいてイベント信号の出力が他の領域に比べて相対的に多くなっている。上記の第１の実施形態では、このような場合には両方の被写体についてそれぞれ発生したイベント信号が、伝送判定部２３１から画像処理部２３２に伝送される。一方、本実施形態では、画像処理部２３２における画像処理において必要とされる領域（Ｒ）が領域指定部２３３によって予め指定されていることから、２つある被写体のうち対象外の被写体について発生したイベント信号は伝送判定部２３１から画像処理部２３２に伝送されない。画像処理部２３２における画像処理において必要とされる領域（Ｒ）が予め特定可能である場合には、上記のような構成によってイベント信号の伝送、および画像処理部での画像処理演算にかかる負荷をさらに低減することができる。
　図５は、本発明の第２の実施形態におけるデータパスの例を示す図である。本実施形態において、伝送判定部２３１から画像処理部２３２へのイベント信号の伝送、および領域指定部２３３から伝送判定部２３１への領域を指定するための情報の伝送は、図示されたようにリングバッファＲＢ１，ＲＢ２を用いたキューによって実装することができる。このようなデータパスは、他の実施形態におけるイベント信号の伝送、および領域を指定するための情報の伝送に利用することができる。
　（第３の実施形態）
　図６は、本発明の第３の実施形態に係るセンサ装置の概略的な構成を示す図である。本実施形態では、センサ装置３００に、ＥＤＳの構成要素であるセンサ１１０を含むセンサアレイ１２０およびセンサ制御部１３０が組み込まれている（以下の説明では、これらの部分を便宜的にＥＤＳ１００として参照する場合がある）。従って、センサ制御部１３０からのイベント信号の出力、および後述するセンサ制御部１３０への領域を指定するための情報の入力は、通信インターフェースを介した装置間の通信ではなく、バスインターフェースなどを介した装置内の通信によって実行される。なお、これ以外の構成は上記の第２の実施形態と同様であるため、重複した詳細な説明は省略する。
　図７は、本発明の第３の実施形態における伝送判定の例について説明するための図である。本実施形態では、領域指定部２３３がイベント信号の伝送の対象になる領域（Ｒ）を指定する情報をＥＤＳ１００に入力し、ＥＤＳ１００は指定された領域（Ｒ）に限定してイベント信号を出力する。具体的には、センサ制御部１３０が、指定された領域（Ｒ）に限定してイベント信号の読み出しを実行する。伝送判定部２３１は上記の第１の実施形態と同様に画素領域を分割したセグメント（ＳＥＧ）ごとにスコアを算出するが、領域指定部２３３によって指定された領域（Ｒ）以外ではイベント信号が出力されないため、結果的に指定された領域（Ｒ）のセグメントに限定してスコアが算出される。セグメントのスコアが閾値を超えた場合、当該セグメントおよび隣接するセグメントで出力されたイベント信号が画像処理部２３２に伝送される。領域指定部２３３は、上記の第２の実施形態と同様に、画像処理部２３２で実行された画像処理の結果に基づいて、イベント信号の伝送の対象になる領域（Ｒ）を指定する。領域（Ｒ）は、例えば被写体（ＯＢＪ）に少なくとも部分的に重複するか、または被写体を包含する領域であってもよい。また、領域（Ｒ）は、例えばトラッキングまたはオプティカルフローの計算における対象領域（ＲＯＩ）に対応する領域であってもよい。
　図示された例でも、上記で図４を参照して説明された例と同様に、画素領域内に２つの被写体（ＯＢＪ）が存在する。図４の例では両方の被写体についてそれぞれ発生したイベント信号がＥＤＳ１００から出力されていたが、本実施形態では領域指定部２３３がＥＤＳ１００でイベント信号を出力する領域（Ｒ）を指定するため、２つある被写体のうち対象外の被写体について発生したイベント信号はそもそもＥＤＳ１００から出力されない。このように、上記の第２の実施形態と同様に画像処理部２３２における画像処理において必要とされる領域（Ｒ）が予め特定可能であり、かつセンサ装置３００において演算部２３０とセンサ制御部１３０との連動が可能な場合には、上記のような構成によってイベント信号の伝送、および画像処理部での画像処理演算にかかる負荷をさらに低減することができる。具体的には、伝送判定部２３１から画像処理部２３２への伝送だけではなく、センサ制御部１３０からのイベント信号の出力および伝送判定部２３１への伝送にかかる負荷も低減することができる。
　（第４の実施形態）
　図８は、本発明の第４の実施形態に係るセンサ装置の概略的な構成を示す図である。本実施形態では、上記の第３の実施形態と同様のセンサ装置４００に、さらにＲＧＢセンサ４１０が組み込まれ、画像処理部２３２が、ＥＤＳ１００から出力されるイベント信号を用いた画像処理に加えて、ＲＧＢセンサ４１０から出力される画像信号を用いた画像処理を実行する。領域指定部２３３は、主に画像信号を用いた画像処理の結果に基づいてイベント信号の伝送の対象になる領域を指定する。なお、これ以外の構成は上記の第３の実施形態と同様であるため、重複した詳細な説明は省略する。
　図９は、本発明の第４の実施形態における伝送判定の例について説明するための図である。本実施形態では、画像処理部２３２がＲＧＢセンサ４１０から入力される画像信号に基づいて実行した被写体の検出などの画像処理の結果に基づいて、領域指定部２３３がイベント信号の伝送の対象になる領域（Ｒ）を指定する。領域指定部２３３は、対象になる領域（Ｒ）を指定する情報をＥＤＳ１００に入力し、ＥＤＳ１００は指定された領域（Ｒ）に限定してイベント信号を出力する。この結果、上記の図７の例と同様に、画素領域内に存在する２つの被写体（ＯＢＪ）のうち、対象外の被写体について発生したイベント信号はＥＤＳ１００から出力されず、領域（Ｒ）内で対象の被写体について発生したイベント信号がＥＤＳ１００から画像処理部２３２へと伝送される。なお、本実施形態のようにＥＤＳ１００の制御によって画像処理部２３２に伝送されるイベント信号を選別できる場合、伝送判定部２３１におけるスコア算出および伝送判定の処理は必ずしも実行されなくてもよい。
　（セグメント形状の例）
　図１０は、上述した本発明の各実施形態にて適用可能なセグメント形状の例を示す図である。上記では画素が直交する２方向に配列されている場合に６画素×６画素の矩形領域を１つのセグメントとする例について説明したが、セグメントの形状は上記の例には限られない。例えば、画素が配列された方向ごとに１つのセグメントを構成する画素の数が異なっていてもよく、具体的には１０画素×５画素の矩形領域を１つのセグメントとしてもよい。また、セグメントは必ずしも矩形領域ではなくてもよく、例えば図１０に示された例におけるＳＥＧ１のように、三角形の領域であってもよい。この例では、球体状の被写体（ＯＢＪ）について、面積あたり同じ数で分割された矩形状のセグメントＳＥＧ２よりも三角形状のセグメントＳＥＧ１の方が、より少ない数のセグメントで被写体を捕捉できている（ＳＥＧ１は１６セグメント中８セグメント、ＳＥＧ２は１６セグメント中１２セグメント）。このように、画素が配列された方向に対して平行な境界線と、それらの方向に対して斜交する境界線とを組み合わせてセグメントの形状を規定することによって、さまざまな形状の被写体をより少ない数のセグメントで捕捉できうる。
　以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範囲内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　１０…システム、１１０…センサ、１２０…センサアレイ、１３０…センサ制御部、２００…信号処理装置、２１０…通信インターフェース、２２０…バッファメモリ、２３０…演算部、２３１…伝送判定部、２３２…画像処理部、２３３…領域指定部、２４０…記憶部、２４１…伝送判定ルール、３００…センサ装置、４００…センサ装置、４１０…ＲＧＢセンサ。
 

Claims (18)

  1. 　センサアレイを構成する複数のセンサを含むイベント駆動型のビジョンセンサから出力されるイベント信号について、前記センサアレイ内における各センサの位置情報に基づいて伝送するか否かを判定する伝送判定部を備える信号処理装置。
  2. 　前記伝送判定部は、前記センサアレイ内で定義され複数の前記センサを含むセグメントごとに算出されるスコアに基づいて前記イベント信号を伝送するか否かを判定する、請求項１に記載の信号処理装置。
  3. 　前記伝送判定部は、前記セグメントごとに前記イベント信号の数を積算することによって前記スコアを算出する、請求項２に記載の信号処理装置。
  4. 　前記伝送判定部は、所定の時間ごとに前記スコアを減衰させるか、またはリセットする、請求項３に記載の信号処理装置。
  5. 　前記セグメントは、前記センサが配列された方向に対して平行な境界線と、前記方向に対して斜交する境界線とを組み合わせて定義される、請求項２から請求項４のいずれか１項に記載の信号処理装置。
  6. 　前記伝送されたイベント信号に基づいて画像処理を実行する画像処理部をさらに備える、請求項１から請求項５のいずれか１項に記載の信号処理装置。
  7. 　前記伝送判定部は、前記画像処理に関する条件に応じて異なる基準で前記イベント信号を伝送するか否かを判定する、請求項６に記載の信号処理装置。
  8. 　前記画像処理の結果に基づいて領域を指定する領域指定部をさらに備え、
    　前記伝送判定部は、前記指定された領域に前記位置情報を有する前記センサから出力された前記イベント信号について、伝送するか否かを判定する、請求項６または請求項７に記載の信号処理装置。
  9. 　前記領域指定部は、被写体に少なくとも部分的に重複するか、または被写体を包含する領域を指定する、請求項８に記載のセンサ装置。
  10. 　前記画像処理部は、被写体のトラッキングまたはオプティカルフローの計算を実行し、
    　前記領域指定部は、前記トラッキングまたは前記オプティカルフローの計算における対象領域（ＲＯＩ）に対応する領域を指定する、請求項８または請求項９に記載のセンサ装置。
  11. 　センサアレイを構成する複数のセンサを含むイベント駆動型のビジョンセンサと、
    　前記ビジョンセンサから出力されるイベント信号に基づいて画像処理を実行する画像処理部と、
    　前記画像処理の結果に基づいて領域を指定する領域指定部と
    　を備え、
    　前記ビジョンセンサは、前記指定された領域に限定して前記イベント信号を出力するように構成される、センサ装置。
  12. 　前記領域指定部は、被写体に少なくとも部分的に重複するか、または被写体を包含する領域を指定する、請求項１１に記載のセンサ装置。
  13. 　前記画像処理部は、被写体のトラッキングまたはオプティカルフローの計算を実行し、
    　前記領域指定部は、前記トラッキングまたは前記オプティカルフローの計算における対象領域（ＲＯＩ）に対応する領域を指定する、請求項１１または請求項１２に記載のセンサ装置。
  14. 　前記イベント信号について、前記センサアレイ内における各センサの位置情報に基づいて前記画像処理部に伝送するか否かを判定する伝送判定部を備える、請求項１１から請求項１３のいずれか１項に記載のセンサ装置。
  15. 　前記伝送判定部は、前記センサアレイ内で定義され複数の前記センサを含むセグメントごとに算出されるスコアに基づいて前記イベント信号を伝送するか否かを判定する、請求項１４に記載のセンサ装置。
  16. 　前記画像処理部は、前記ビジョンセンサとは異なるセンサから出力される画像信号にさらに基づいて前記画像処理を実行し、
    　前記領域指定部は前記画像信号に基づいて実行された前記画像処理の結果に基づいて前記領域を指定する、請求項１１から請求項１５のいずれか１項に記載のセンサ装置。
  17. 　センサアレイを構成する複数のセンサを含むイベント駆動型のビジョンセンサから出力されるイベント信号について、前記センサアレイ内における各センサの位置情報に基づいて伝送するか否かを判定するステップを含む信号処理方法。
  18. 　センサアレイを構成する複数のセンサを含むイベント駆動型のビジョンセンサから出力されるイベント信号について、前記センサアレイ内における各センサの位置情報に基づいて伝送するか否かを判定する機能をコンピュータに実現させるためのプログラム。
     
PCT/JP2022/003473 2022-01-31 2022-01-31 信号処理装置、センサ装置、信号処理方法およびプログラム WO2023145041A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2022/003473 WO2023145041A1 (ja) 2022-01-31 2022-01-31 信号処理装置、センサ装置、信号処理方法およびプログラム
JP2023576555A JPWO2023145041A1 (ja) 2022-01-31 2022-01-31

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/003473 WO2023145041A1 (ja) 2022-01-31 2022-01-31 信号処理装置、センサ装置、信号処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2023145041A1 true WO2023145041A1 (ja) 2023-08-03

Family

ID=87470910

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003473 WO2023145041A1 (ja) 2022-01-31 2022-01-31 信号処理装置、センサ装置、信号処理方法およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2023145041A1 (ja)
WO (1) WO2023145041A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018022490A (ja) * 2016-08-01 2018-02-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベント信号処理方法及びその方法を遂行するイベント基盤センサー
JP2020162000A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 データ処理装置、データ処理方法、及び、プログラム
WO2021235323A1 (ja) * 2020-05-21 2021-11-25 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018022490A (ja) * 2016-08-01 2018-02-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベント信号処理方法及びその方法を遂行するイベント基盤センサー
JP2020162000A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 データ処理装置、データ処理方法、及び、プログラム
WO2021235323A1 (ja) * 2020-05-21 2021-11-25 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
JPWO2023145041A1 (ja) 2023-08-03

Similar Documents

Publication Publication Date Title
US8077203B2 (en) Vehicle-periphery image generating apparatus and method of correcting distortion of a vehicle-periphery image
JP2010128727A (ja) 画像処理装置
US11509853B2 (en) Image sensor and image collection system
KR102496300B1 (ko) 전자 장치, 액추에이터 제어 방법, 및 프로그램
JP6249867B2 (ja) カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の撮像制御方法、及びプログラム
KR20220024011A (ko) 센서 제어 장치, 센서 제어 방법 및 프로그램
JP2021519970A (ja) ビデオオブジェクト検出
WO2023145041A1 (ja) 信号処理装置、センサ装置、信号処理方法およびプログラム
WO2016152317A1 (ja) 映像処理システム、映像処理方法および映像処理プログラム
JP4980089B2 (ja) ステレオ画像処理装置
JP2013065351A (ja) 画像処理装置および画像処理方法
JP7175730B2 (ja) 信号処理装置、電子機器、センサ装置、信号処理方法およびプログラム
JP2021174135A (ja) 画像認識装置及び画像認識方法
US11882353B2 (en) Information processing apparatus for controlling parameter to detect object, information processing method, and storage medium
CN114095673B (zh) 一种图像输出方法、装置及计算机可读存储介质
US11735140B2 (en) Information processing apparatus, information processing method, and storage medium
US20210218884A1 (en) Information processing device
US11212448B2 (en) Shake correction control device, operation method of shake correction control device, operation program of shake correction control device, and imaging apparatus
JP5560852B2 (ja) 車外撮影画像表示システム
JP7482011B2 (ja) 情報処理システム
US11838645B2 (en) Image capturing control apparatus, image capturing control method, and storage medium
US20220398770A1 (en) Information processing apparatus, information processing method, and storage medium
JP7573744B2 (ja) 画像生成システム及び画像処理方法
US11924587B2 (en) Display method, projector, and projection system
KR102684053B1 (ko) 피사체의 위치 검출 시스템

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2023576555

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE