JP7177934B2 - センサ制御装置、センサ制御方法およびプログラム - Google Patents

センサ制御装置、センサ制御方法およびプログラム Download PDF

Info

Publication number
JP7177934B2
JP7177934B2 JP2021528788A JP2021528788A JP7177934B2 JP 7177934 B2 JP7177934 B2 JP 7177934B2 JP 2021528788 A JP2021528788 A JP 2021528788A JP 2021528788 A JP2021528788 A JP 2021528788A JP 7177934 B2 JP7177934 B2 JP 7177934B2
Authority
JP
Japan
Prior art keywords
region
event
sensor
area
event signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021528788A
Other languages
English (en)
Other versions
JPWO2020261491A1 (ja
Inventor
宏昌 長沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2020261491A1 publication Critical patent/JPWO2020261491A1/ja
Application granted granted Critical
Publication of JP7177934B2 publication Critical patent/JP7177934B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Geophysics And Detection Of Objects (AREA)

Description

本発明は、センサ制御装置、センサ制御方法およびプログラムに関する。
入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。
特表２０１４－５３５０９８号公報 特開２０１８－８５７２５号公報
しかしながら、イベント駆動型のビジョンセンサについて、上記のような時間非同期的な信号の生成を考慮してセンサの読み出し制御を最適化する技術については、まだ提案されていない。
そこで、本発明は、イベント駆動型のビジョンセンサにおける時間非同期的な信号の生成を考慮して読み出し制御を最適化することが可能な、センサ制御装置、センサ制御方法およびプログラムを提供することを目的とする。
本発明のある観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを、センサアレイ上の第１の領域においてイベント信号を第１の頻度で読み出し、センサアレイ上の第２の領域においてイベント信号を第１の頻度よりも高い第２の頻度で読み出すように制御する読み出し制御部と、所定の時間内に第１の領域での読み出しによって取得された第１のイベント信号の数に基づいて第１の領域の少なくとも一部を第２の領域に変更するか、または所定の時間内に第２の領域での読み出しによって取得された第２のイベント信号の数に基づいて第２の領域の少なくとも一部を第１の領域に変更する領域設定部とを備えるセンサ制御装置が提供される。
本発明の別の観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを、センサアレイ上の第１の領域においてイベント信号を第１の頻度で読み出し、センサアレイ上の第２の領域においてイベント信号を第１の頻度よりも高い第２の頻度で読み出すように制御するステップと、所定の時間内に第１の領域での読み出しによって取得された第１のイベント信号の数に基づいて第１の領域の少なくとも一部を第２の領域に変更するか、または所定の時間内に第２の領域での読み出しによって取得された第２のイベント信号の数に基づいて第２の領域の少なくとも一部を第１の領域に変更するステップとを含むセンサ制御方法が提供される。
本発明のさらに別の観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを、センサアレイ上の第１の領域においてイベント信号を第１の頻度で読み出し、センサアレイ上の第２の領域においてイベント信号を第１の頻度よりも高い第２の頻度で読み出すように制御する機能と、所定の時間内に第１の領域での読み出しによって取得された第１のイベント信号の数に基づいて第１の領域の少なくとも一部を第２の領域に変更するか、または所定の時間内に第２の領域での読み出しによって取得された第２のイベント信号の数に基づいて第２の領域の少なくとも一部を第１の領域に変更する機能とをコンピュータに実現させるためのプログラムが提供される。
上記の構成によれば、イベント駆動型のビジョンセンサにおける時間非同期的な信号の生成を考慮して読み出し制御を最適化することができる。
本発明の一実施形態に係るシステムの概略的な構成を示す図である。 図１に示すＥＤＳの構成を示す図である。 本発明の一実施形態においてセンサアレイ上に４つの領域が設定される例を示す図である。 本発明の一実施形態の変形例を示す図である。 本発明の一実施形態に係るセンサ制御方法の処理の例を示すフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
図１は本発明の一実施形態に係るシステムの概略的な構成を示す図であり、図２は図１に示すＥＤＳの構成を示す図である。図示された例において、システム１０は、ＥＤＳ（Event Driven Sensor）１００と、センサ制御装置２００とを含む。
ＥＤＳ１００は、イベント駆動型のビジョンセンサであり、入射する光の強度変化（以下、イベントともいう）を検出したときにイベント信号を生成するセンサ１１０によって構成されるセンサアレイ１２０と、センサ１１０からのイベント信号の読み出しを制御するアドレス発生装置１３１，１３２とを含む。センサアレイ１２０において、センサ１１０は直交する２方向（ｘ方向およびｙ方向として図示する）に配列されており、アドレス発生装置１３１，１３２がそれぞれｘ方向およびｙ方向について発生させるアドレスに従ってセンサ１１０からイベント信号が読み出される。ここで、あるアドレスのセンサ１１０がイベントを検出しなかった場合には読み出しが実行されてもイベント信号は読み出されず、次のアドレスの読み出しが実行される。従って、ＥＤＳ１００から出力されるイベント信号は時間非同期的である。ＥＤＳ１００から出力されるイベント信号は、センサの識別情報（例えばアドレス）と、輝度変化の極性（上昇または低下）と、タイムスタンプとを含む。
センサ制御装置２００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される読み出し制御部２１０および領域設定部２２０の機能部分を含む。また、センサ制御装置２００のメモリには、領域情報２３０およびイベント履歴２４０が格納される。以下、各部の構成についてさらに説明する。
読み出し制御部２１０は、ＥＤＳ１００におけるイベント信号の読み出し頻度を制御する。具体的には、読み出し制御部２１０は、ＥＤＳ１００に制御信号を送信し、ＥＤＳ１００ではアドレス発生装置１３１，１３２が制御信号に従ってセンサ１１０からイベント信号を読み出すためのアドレスを生成する。ここで、読み出し制御部２１０は、センサアレイ１２０上の第１の領域においてイベント信号を第１の頻度ｒ１で読み出し、センサアレイ１２０上の第２の領域においてイベント信号を第２の頻度ｒ２で読み出すようにＥＤＳ１００を制御し、第２の頻度ｒ２は、第１の頻度ｒ１よりも高い（ｒ１＜ｒ２）。ここで、本明細書において、頻度は、単位時間のうちに読み出しが実行される回数を意味する。上記のような制御信号を受信したＥＤＳ１００のアドレス発生装置１３１，１３２は、第１の領域のセンサ１１０のアドレスを単位時間あたりｒ１回、第２の領域のセンサ１１０のアドレスを単位時間あたりｒ２回生成する。
上記のような読み出し制御部２１０の処理において設定される第１の領域および第２の領域は、センサアレイ１２０上で複数のセンサ１１０を含む領域であり、例えばｘ方向およびｙ方向のそれぞれのアドレス範囲によって特定される。例えば、領域情報２３０は、第１の領域を示すアドレス範囲および第２の領域を示すアドレス範囲の少なくともいずれかを含む。例えば、領域情報２３０が第２の領域を示すアドレス範囲のみを含み、センサアレイ１２０上の第２の領域以外の領域が第１の領域として特定されてもよい。あるいは、センサアレイ１２０が予め所定の数の単位領域に区分され、領域情報２３０は第１の領域および第２の領域のそれぞれに含まれる単位領域のＩＤを含んでもよい。この場合も、読み出し制御部２１０がそれぞれの単位領域のＩＤをアドレス範囲に変換し、制御信号には第１の領域および第２の領域のそれぞれのアドレスを示す情報が含まれてもよい。
領域設定部２２０は、所定の時間内に第１の領域での読み出しによって取得された第１のイベント信号の数に基づいて第１の領域の少なくとも一部を第２の領域に変更するか、または所定の時間内に第２の領域での読み出しによって取得された第２のイベント信号の数に基づいて第２の領域の少なくとも一部を第１の領域に変更する。領域設定部２２０は、変更後の領域で領域情報２３０を更新する。上述のような読み出し制御部２１０によるＥＤＳ１００の制御は、センサアレイ１２０上の第１の領域でイベントが検出される頻度が、第２の領域でイベントが検出される頻度よりも低いことを前提にしている。従って、第１の領域の一部でイベントが検出される頻度が第２の領域と同程度になるか、またはよりも高くなった場合は、当該部分を第２の領域に変更することが適切である。同様に、第２の領域の一部でイベントが検出される頻度が第１の領域と同程度になるか、またはより低くなった場合は、当該部分を第１の領域に変更することが適切である。
具体的には、領域設定部２２０は、イベント履歴２４０を参照して上記の処理を実行する。例えば、イベント履歴２４０は、直近でＥＤＳ１００から受信されたイベント信号のアドレスおよびタイムスタンプを含む。この場合、領域設定部２２０はこれらのアドレスおよびタイムスタンプに基づいて直近の所定の時間における第１の領域のサブ領域ごとのイベント信号（第１のイベント信号）の数をカウントし、イベント信号の数が第１の閾値以上のサブ領域を第２の領域に変更する。これによって、ある時点で設定されている第１の領域の中でイベント信号がより多く生成されているサブ領域を第２の領域に変更してイベント信号の読み出し頻度を上昇させることができる。同様に、領域設定部２２０は、直近の所定の時間における第２の領域のサブ領域ごとのイベント信号（第２のイベント信号）の数をカウントし、イベント信号の数が第２の閾値以下のサブ領域を第１の領域に変更する。これによって、ある時点で設定されている第２の領域の中でイベント信号がより多く生成されているサブ領域を第１の領域に変更してイベント信号の読み出し頻度を低下させることができる。上記の第１の閾値と第２の閾値とは、同じ値であってもよいし、異なる値であってもよい。
以上で説明したような本発明の一実施形態によれば、被写体が比較的速い速度で移動していることによってイベントの発生が多い領域ではイベント信号の読み出し頻度を高くし、逆に被写体が移動していないか、または比較的遅い速度で移動していることによってイベントの発生が少ない領域ではイベント信号の読み出し頻度を低くすることができる。これによって、例えばイベント信号の読み出し頻度が一様である場合に比べて、イベントの発生が多い領域でのイベント信号の読み出し周期を相対的に短縮することができ、被写体の動きへのイベント信号の追従性を向上させることができる。
また、ノイズなどによる被写体の動きと関係しないイベントは、一般に被写体の動きによって発生するイベントよりも発生頻度が低い。それゆえ、上記のようにイベントの発生が少ない領域ではイベント信号の読み出し頻度を低くすることによって、結果的にノイズなどによる被写体の動きと関係しないイベントに由来するイベント信号の割合を低下させることができ、全体としてイベント信号のＳ／Ｎ比を向上させることができる。
なお、上記の例では読み出し制御部２１０がＥＤＳ１００のセンサアレイ１２０上に設定された第１の領域および第２の領域についてイベント信号の読み出し頻度を制御したが、センサアレイ１２０上により多くの領域が設定されてもよい。例えば、センサアレイ１２０上に第１および第２の領域に加えて第３の領域が設定され、センサ制御装置２００の読み出し制御部２１０は、第３の領域においてイベント信号を第２の頻度ｒ２よりも高い第３の頻度ｒ３（ｒ２＜ｒ３）で読み出すようにＥＤＳ１００を制御してもよい。さらに、センサアレイ１２０上に第４の領域が設定され、読み出し制御部２１０は第４の領域においてイベント信号を第３の頻度ｒ３よりも高い第４の頻度ｒ４（ｒ３＜ｒ４）で読み出すようにＥＤＳ１００を制御してもよい。
図３は、本発明の一実施形態においてセンサアレイ上に４つの領域が設定される例を示す図である。（ａ）の時点では、ＥＤＳ１００のセンサアレイ１２０上に、第１の領域Ｓ１、第２の領域Ｓ２、第３の領域Ｓ３、および第４の領域Ｓ４が設定されている。読み出し制御部２１０は、例えば、パターンＰ＝｛Ｓ１，Ｓ４，Ｓ３，Ｓ２，Ｓ４，Ｓ３，Ｓ４，Ｓ２，Ｓ４，Ｓ３｝で各領域のセンサ１１０からイベント信号を読み出すように、ＥＤＳ１００に制御信号を送信する。この場合、各領域の読み出し頻度の比は、ｒ１：ｒ２：ｒ３：ｒ４＝１：２：３：４になる。第４の領域Ｓ４および第３の領域Ｓ３では、被写体ｏｂｊが比較的速い速度で移動していることによって、イベントの発生が多くなっている。
一方、図３に示す（ｂ）の時点では、被写体ｏｂｊが移動したことによって、イベントの発生が多い領域が変化している。これに対応して、センサ制御装置２００では、領域設定部２２０が各領域での読み出しによって取得された信号の数に基づいて領域の設定を変更する。具体的には、領域設定部２２０は、被写体ｏｂｊが移動してきたことによってイベントの発生が多くなった領域を（ａ）での第２の領域Ｓ２から（ｂ）では第４の領域Ｓ４に変更する。一方、領域設定部２２０は、被写体ｏｂｊが通過したことによってイベントの発生が少なくなった領域を（ａ）での第４の領域Ｓ４から（ｂ）では第３の領域Ｓ３、または第２の領域Ｓ２に変更する。
例えば、上記で図３を参照して説明した例では、ＥＤＳ１００のセンサアレイ１２０上で相対的に高い読み出し頻度が設定される領域が、被写体ｏｂｊの移動に伴って変化する。これによって、被写体ｏｂｊの動きへのイベント信号の追従性を継続的に高めることができる。上記の各領域Ｓ１，Ｓ２，Ｓ３，Ｓ４の間での判定は、例えば、各領域のサブ領域ごとに直近の所定の時間におけるイベント信号の数を各領域に対応する閾値と比較することによって判定されてもよい。この場合、例えば、ある時点における領域Ｓ１のサブ領域が、次の時点では領域Ｓ３、または領域Ｓ４に変更されることがありうる。領域の変更判定は、例えば被写体ｏｂｊの移動に追従できる程度に短い時間間隔で実行されてもよい。
図４は、本発明の一実施形態の変形例を示す図である。図示された例でもＥＤＳ１００のセンサアレイ１２０上に第１の領域Ｓ１および第２の領域Ｓ２を設定するが、上記で図１などを参照して説明した例で第１の領域および第２の領域が複数のセンサ１１０を含んでいたのに対して、図４の例では第１の領域Ｓ１が単一のセンサ１１０を含んでもよい。また、この例では、読み出し制御部２１０が送信する制御信号に従って第１の領域Ｓ１からイベント信号が読み出される第１の頻度ｒ１が０である。つまり、図示された例では、アドレス発生装置１３１，１３２が第１の領域Ｓ１のセンサ１１０からイベント信号を読み出すためのアドレスを生成しない。
上記の例では、第１の領域Ｓ１に含まれるセンサ１１０が欠陥画素、すなわち光の強度変化を検出しないセンサであるために、センサ１１０からは有効なイベント信号が生成されない。このような場合、当該センサ１１０からのイベント信号を読み出す頻度を０にする、すなわちイベント信号の読み出しを実行しないことによって、他のセンサ１１０からのイベント信号の読み出し周期を短縮し、全体としてイベント信号のＳ／Ｎ比を向上させることができる。ただし、ひとたび第１の領域Ｓ１に設定されたセンサ１１０は、イベント信号が読み出されない結果、第２の領域Ｓ２に復帰することがないため、領域設定部２２０は、例えばセンサ１１０がノイズによってイベント信号を生成する周期よりも長い時間にわたって第２の領域Ｓ２のセンサ１１０からの読み出しによって取得されたイベント信号（第２のイベント信号）が０である場合に限って、当該センサ１１０に対応する第２の領域Ｓ２のサブ領域を第１の領域Ｓ１に変更してもよい。
図５は、本発明の一実施形態に係るセンサ制御方法の処理の例を示すフローチャートである。図示された例では、センサ制御装置２００で領域情報２３０を参照した読み出し制御部２１０が送信する制御信号に従ってアドレス発生装置１３１，１３２がアドレスを発生させ、センサ１１０からのイベント信号の読み出した実行される。具体的には、センサアレイ１２０上の第１の領域のセンサ１１０から第１の頻度でイベント信号を読み出し（ステップＳ１０１）、第２の領域のセンサ１１０から第２の頻度でイベント信号を読み出す（ステップＳ１０２）。なお、既に述べたように、各領域のセンサ１１０がイベントを検出しなかった場合にはイベント信号は生成されないため、ステップＳ１０１，Ｓ１０２で読み出されるイベント信号の数はその時々によって異なる。
所定の時間が経過するまで上記の読み出しが繰り返された後（ステップＳ１０３）、領域設定部２２０による領域の更新処理が実行される。具体的には、領域設定部２２０は、イベント履歴２４０を参照して、第１の領域のうち所定の時間内に取得されたイベント信号の数が第１の閾値以上のサブ領域を第２の領域に変更する（ステップＳ１０４）。また、領域設定部２２０は、第２の領域のうち所定の時間内に取得されたイベント信号の数が第２の閾値以下のサブ領域を第１の領域に変更する（ステップＳ１０５）。領域設定部２２０は、変更後の領域で領域情報２３０を更新し（ステップＳ１０６）、上記のステップＳ１０１～Ｓ１０６の処理が所定の時間ごとに繰り返される（ステップＳ１０７）。
本発明の実施形態は、例えばゲームコントローラ、スマートフォン、各種の移動体（自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットなど）で周辺環境の情報を取得したり、周辺のオブジェクトの位置から自己位置を推定したり、飛来するオブジェクトを検出して回避行動をとったりするために利用することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範囲内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１０…システム、１１０…センサ、１２０…センサアレイ、１３１…アドレス発生装置、１３２…アドレス発生装置、２００…センサ制御装置、２１０…読み出し制御部、２２０…領域設定部、２３０…領域情報、２４０…イベント履歴、Ｓ１…第１の領域、Ｓ２…第２の領域、Ｓ３…第３の領域、Ｓ４…第４の領域、ｏｂｊ…被写体。

Claims (7)

  1. 入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを、前記センサアレイ上の第１の領域において前記イベント信号を第１の頻度で読み出し、前記センサアレイ上の第２の領域において前記イベント信号を前記第１の頻度よりも高い第２の頻度で読み出すように制御する読み出し制御部と、
    所定の時間内に前記第１の領域での読み出しによって取得された第１のイベント信号の数に基づいて前記第１の領域の少なくとも一部を前記第２の領域に変更するか、または前記所定の時間内に前記第２の領域での読み出しによって取得された第２のイベント信号の数に基づいて前記第２の領域の少なくとも一部を前記第１の領域に変更する領域設定部と
    を備えるセンサ制御装置。
  2. 前記領域設定部は、前記第１の領域のサブ領域ごとの前記第１のイベント信号の数が所定の閾値と同じか、またはより多い場合に前記サブ領域を前記第２の領域に変更する、請求項１に記載のセンサ制御装置。
  3. 前記領域設定部は、前記第２の領域のサブ領域ごとの前記第２のイベント信号の数が所定の閾値と同じか、またはより少ない場合に前記サブ領域を前記第１の領域に変更する、請求項１または請求項２に記載のセンサ制御装置。
  4. 前記第１の頻度は０であり、
    前記所定の時間は、前記センサがノイズによって前記イベント信号を生成する周期よりも長い時間であり、
    前記領域設定部は、前記第２のイベント信号の数が０である場合に前記サブ領域を前記第１の領域に変更する、請求項３に記載のセンサ制御装置。
  5. 前記読み出し制御部は、前記センサアレイ上の第３の領域において前記イベント信号を前記第２の頻度よりも高い第３の頻度で読み出すように制御する、請求項１から請求項４のいずれか１項に記載のセンサ制御装置。
  6. 入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを、前記センサアレイ上の第１の領域において前記イベント信号を第１の頻度で読み出し、前記センサアレイ上の第２の領域において前記イベント信号を前記第１の頻度よりも高い第２の頻度で読み出すように制御するステップと、
    所定の時間内に前記第１の領域での読み出しによって取得された第１のイベント信号の数に基づいて前記第１の領域の少なくとも一部を前記第２の領域に変更するか、または前記所定の時間内に前記第２の領域での読み出しによって取得された第２のイベント信号の数に基づいて前記第２の領域の少なくとも一部を前記第１の領域に変更するステップと
    を含むセンサ制御方法。
  7. 入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを、前記センサアレイ上の第１の領域において前記イベント信号を第１の頻度で読み出し、前記センサアレイ上の第２の領域において前記イベント信号を前記第１の頻度よりも高い第２の頻度で読み出すように制御する機能と、
    所定の時間内に前記第１の領域での読み出しによって取得された第１のイベント信号の数に基づいて前記第１の領域の少なくとも一部を前記第２の領域に変更するか、または前記所定の時間内に前記第２の領域での読み出しによって取得された第２のイベント信号の数に基づいて前記第２の領域の少なくとも一部を前記第１の領域に変更する機能と
    をコンピュータに実現させるためのプログラム。
JP2021528788A 2019-06-27 2019-06-27 センサ制御装置、センサ制御方法およびプログラム Active JP7177934B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/025620 WO2020261491A1 (ja) 2019-06-27 2019-06-27 センサ制御装置、センサ制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020261491A1 JPWO2020261491A1 (ja) 2020-12-30
JP7177934B2 true JP7177934B2 (ja) 2022-11-24

Family

ID=74060528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021528788A Active JP7177934B2 (ja) 2019-06-27 2019-06-27 センサ制御装置、センサ制御方法およびプログラム

Country Status (6)

Country Link
US (1) US11678074B2 (ja)
EP (1) EP3993403B1 (ja)
JP (1) JP7177934B2 (ja)
KR (1) KR102676085B1 (ja)
CN (1) CN114009009B (ja)
WO (1) WO2020261491A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210000985A (ko) 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
WO2023058671A1 (ja) * 2021-10-08 2023-04-13 ソニーセミコンダクタソリューションズ株式会社 画像センサ、データ処理装置、および画像センサシステム
WO2023058669A1 (ja) * 2021-10-08 2023-04-13 ソニーセミコンダクタソリューションズ株式会社 画像センサ、データ処理装置、および画像センサシステム
EP4415380A1 (en) * 2021-10-08 2024-08-14 Sony Semiconductor Solutions Corporation Image sensor, data processing device, and image sensor system
WO2024100796A1 (ja) * 2022-11-09 2024-05-16 株式会社ソニー・インタラクティブエンタテインメント 信号処理回路、信号処理方法およびプログラム
JP2024130166A (ja) * 2023-03-14 2024-09-30 キヤノン株式会社 撮像装置および機器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014535098A (ja) 2011-10-14 2014-12-25 サムスン エレクトロニクス カンパニー リミテッド イベント基盤ビジョンセンサを用いた動作認識装置及び方法
JP2018085725A (ja) 2016-11-21 2018-05-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベントベースのセンサー、それを含むユーザー装置、及びその動作方法
JP2018148553A (ja) 2017-03-08 2018-09-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ピクセル、ピクセル駆動回路、及びこれを含むビジョンセンサー

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
KR101761947B1 (ko) * 2012-12-06 2017-07-26 삼성전기주식회사 카메라 영상의 블루밍 저감 방법 및 장치
JP2016219905A (ja) * 2015-05-15 2016-12-22 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6552325B2 (ja) * 2015-08-07 2019-07-31 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム
JP6596736B2 (ja) * 2016-03-29 2019-10-30 本田技研工業株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10348994B2 (en) * 2017-04-06 2019-07-09 Samsung Electronics Co., Ltd. Intensity image acquisition from dynamic vision sensors
JP2019041168A (ja) * 2017-08-23 2019-03-14 キヤノン株式会社 撮像装置およびその制御方法
US20190325250A1 (en) * 2018-04-24 2019-10-24 Board Of Trustees Of The University Of Arkansas Reconfigurable 3D Pixel-Parallel Neuromorphic Architecture for Smart Image Sensor
KR20210000985A (ko) * 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014535098A (ja) 2011-10-14 2014-12-25 サムスン エレクトロニクス カンパニー リミテッド イベント基盤ビジョンセンサを用いた動作認識装置及び方法
JP2018085725A (ja) 2016-11-21 2018-05-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベントベースのセンサー、それを含むユーザー装置、及びその動作方法
JP2018148553A (ja) 2017-03-08 2018-09-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ピクセル、ピクセル駆動回路、及びこれを含むビジョンセンサー

Also Published As

Publication number Publication date
CN114009009B (zh) 2024-04-23
CN114009009A (zh) 2022-02-01
JPWO2020261491A1 (ja) 2020-12-30
EP3993403A4 (en) 2023-04-26
KR20220024011A (ko) 2022-03-03
EP3993403B1 (en) 2024-09-25
US11678074B2 (en) 2023-06-13
WO2020261491A1 (ja) 2020-12-30
KR102676085B1 (ko) 2024-06-19
EP3993403A1 (en) 2022-05-04
US20220232176A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
JP7177934B2 (ja) センサ制御装置、センサ制御方法およびプログラム
TWI585436B (zh) 深度資訊量測方法及裝置
US20220060622A1 (en) Environmental Model Maintenance Using Event-Based Vision Sensors
CN114041284B (zh) 系统、信息处理设备、信息处理方法
CN105245770A (zh) 相机控制设备
KR20220027197A (ko) 이벤트 기반 비전 센서들을 위한 동적 관심 영역(roi)
KR20230118866A (ko) 정보 처리 장치, 시스템, 정보 처리 방법, 및 정보 처리 프로그램
KR102429337B1 (ko) 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법
US10609314B2 (en) High accuracy displacement detection system with offset pixel array
JP2023014088A (ja) センサアレイ
JP6696693B2 (ja) 回転ずれ量検出装置、物体検知センサ、回転ずれ量検出システム、回転ずれ量検出方法及び回転ずれ量検出プログラム
JP2016081108A (ja) 物体検出装置
CN114881978A (zh) 目标检测方法、电子设备以及智能控制系统
JP7276968B2 (ja) ３次元データ更新装置、顔向き推定装置、３次元データ更新方法およびプログラム
JP2018092507A (ja) 画像処理装置、画像処理方法及びプログラム
US20130063402A1 (en) Optical touch system
JP2019057240A (ja) 撮像装置
JP7191236B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN114095673A (zh) 一种图像输出方法、装置及计算机可读存储介质
JP7311597B2 (ja) システム、位置検出装置、位置検出方法およびプログラム
JP6645393B2 (ja) 光学的情報読取装置
US10649544B2 (en) Data output device
JPWO2009107636A1 (ja) 点滅信号検出回路、点滅信号検出方法、物体検知装置、物体検知方法、及び撮像システム
WO2024194944A1 (ja) 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
WO2024075198A1 (ja) 信号処理回路、信号処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221111

R150 Certificate of patent or registration of utility model

Ref document number: 7177934

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150