JP7074955B2 - 事象ベースの視覚センサのためのデータ速度制御 - Google Patents

事象ベースの視覚センサのためのデータ速度制御 Download PDF

Info

Publication number
JP7074955B2
JP7074955B2 JP2019533146A JP2019533146A JP7074955B2 JP 7074955 B2 JP7074955 B2 JP 7074955B2 JP 2019533146 A JP2019533146 A JP 2019533146A JP 2019533146 A JP2019533146 A JP 2019533146A JP 7074955 B2 JP7074955 B2 JP 7074955B2
Authority
JP
Japan
Prior art keywords
event
pixel
detector
thresholds
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019533146A
Other languages
English (en)
Other versions
JP2020505801A (ja
Inventor
ラファエル ベルナー
クリスティアン ブレントリ
マッシモ ザンノーニ
Original Assignee
ソニー アドバンスト ビジュアル センシング アーゲー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー アドバンスト ビジュアル センシング アーゲー filed Critical ソニー アドバンスト ビジュアル センシング アーゲー
Publication of JP2020505801A publication Critical patent/JP2020505801A/ja
Priority to JP2022036833A priority Critical patent/JP7442560B2/ja
Application granted granted Critical
Publication of JP7074955B2 publication Critical patent/JP7074955B2/ja
Priority to JP2024022196A priority patent/JP2024056930A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J1/46—Electric circuits using a capacitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/004—Error avoidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/1461—Pixel-elements with integrated switching, control, storage or amplification elements characterised by the photosensitive area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/573—Control of the dynamic range involving a non-linear response the logarithmic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86—Event-based monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/88—Monitoring involving counting

Description

［関連出願］
本出願は、２０１６年１２月３０日に出願されたスイス仮特許出願第ＣＨ２０１６０００１７６４号、および２０１６年１２月３０日に出願されたスイス仮特許出願第ＣＨ２０１６０００１７６５号の優先権を主張するものであり、これら両方は、それらの全体が引用により本明細書に組み入れられる。
今日、機械視覚は、大部分、従来のカメラおよびそれらに付随するフレームベースの画像センサに基づく。幾つかの機械視覚タスク、例えば、物体認識、に対しては、これらの従来のフレームベースのカメラがよく適している。しかし、他のタスク、例えば、追跡、または位置および動きの推定のためには、従来の画像センサは欠陥を有する。
主な欠陥は、従来のカメラが、捕捉し、通信しおよび処理する必要がある相当な量の冗長且つ不要なデータを生ずることである。この高いデータ仕事量が、時間分解能を低下させることにより反応時間を減速し、消費電力の増加をもたらし、ならびに、機械視覚システムのサイズおよび経費を増加させる。さらに、大部分の画像センサは、限られたダイナミックレンジ、不十分な弱光性能および動きボケに悩まされる。
これらの欠陥は、データが一連の静止画像（フレーム）として捕捉されるという事実から生じる。場合によっては、ダイナミックシーンを静止画像として符号化することは、美しい画像および映像を、データ処理の最適化無しに、生成するのに有用であるが、このことは多くの機械視覚の用途ではあまり重要ではない。
従来のカメラを用いる従来のコンピュータ視覚システムは、典型的には、物体認識のための連続する画像フレームの間で特徴を比較する。可動システムの位置および向きを推定するため、および、周囲世界の３次元マップを推測するために、部分的に重なるが異なる時間において異なる姿勢から取られた２つの連続する画像が比較される。２つのフレームの間で生じた動きを推測するために、特徴的な目印（キーポイントまたは他の視覚的特徴）を２つの画像にわたって一致させる必要がある。両方の画像内で互いに対応するポイントのこれらの対を見出すことは、「対応問題」を解決することとして知られる。
対応問題を解決することは、相当な量の処理能力を必要とする。目印を検出するために、画像内のあらゆるピクセルを、独特な特徴（曲がり角、小塊、縁など）について探索する必要があり得る。次に、ピクセルおよびそれらを囲む周囲のピクセルは、いわゆる特徴記述子を特徴付けるようにグループ化され、その特徴記述語がフレームの間の特徴を合わせるために使用され、それにより、対応するポイントの対を確立する。これは、計算集約的である。ピクセル強度を直接比較する直接手法は、計算的にさらにより複雑である。
他方、いわゆるダイナミック視覚センサ（ＤＶＳ：Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ）または事象ベースの変化検出センサは、フレームベースの符号化の限界を克服するセンサである。ピクセル内データ圧縮を用いることにより、データ冗長性が取り除かれ、高時間分解能、低遅延、低電力消費、動きボケがほとんどない高ダイナミックレンジが達成される。従って、ＤＶＳは特に太陽光またはバッテリで電力供給される圧縮センシングに、または、システムの位置を推定する必要があり、限られたバッテリ容量によって処理能力が制約される移動機械視覚用途に、よく適している。
ＤＶＳは、視覚情報を局部的に前処理する。鮮明な画像を生成する代わりに、ＤＶＳは、コンピュータアプリケーションのためのスマートデータを生成する。従来の画像センサは、映画を一連の静止画像として捕捉するが、ＤＶＳは、シーン内の変化の位置を検出し単に伝達する。従って、これは、ピクセル内データ圧縮を符号化するために、従来のカメラより、遥かにより効率的に視覚情報を符号化する。具体的には、フレームを画像データとして符号化するのではなく、ＤＶＳは変化を検出し、それらの変化を変化事象として符号化する。このことは、より少ない資源、より低い正味電力を用い、より速いシステム反応時間で、データの処理が可能であることを意味する。高い時間分解能は、視覚的特徴を連続的に追跡することを可能にし、それにより対応問題を克服する。さらに、ＤＶＳの構成は、高いダイナミックレンジおよび良好な弱光性能を可能にする。
ＤＶＳまたは変化検出センサの一般的特性は、事象の速度が、センサが観測しているシーンおよびセンサ構成に依存するために、出力データ速度が可変であることである。
センサから読み出される可変量の変化事象は、特に、プロセッサが実時間で処理することができるよりも多くの事象が読み出される場合、センサ上およびシステムレベルにおける問題を引き起こす可能性がある。
事象を処理することができない場合にその事象を廃棄することは、データ損失をもたらし、それ故に、システムはそれの状態に関する情報（例えば、それの動作および位置に関する）を失う。変化検出センサの場合には、その結果は、センサが、例えば、それのピクセルフィールドの一部分において起きる事象を失うことになり得る。
センサの構成をシーンに適合させることは、全体のシステムがその状態に関する可能な限り多くの情報を取得するのに必要な、しかし多過ぎない、データを有することを可能にする。他方、事象の数はセンサの状態に基づいて制御することができる。例えば、電力を減らすためには、スリープサイクル中などに事象の数を減らし、次いで、正常動作モード中の事象の数を増すことが望ましいかもしれない。
本明細書において提案されるシステムは、事象速度を制御または調節するようにチップまたはセンサの構成を変える。例えば、この制御は、事象速度を望ましい速度の近くにまたは望ましい範囲内に保つために用いることができる。
それでも、所与の時間スライス中に生成される事象の量は、それらを出力しおよび数えた後にのみ最終的に決定することができる。ここで、幾つかの実施形態は、それらを読み出す前のペンディング事象の数の大まかな推定を可能にする事象カウント推定器を使用する。
ペンディング事象の数の大まかな推定であっても、システムは、データに対処しそれらを読み出すことができるかどうか、或いは、多すぎる（または少な過ぎる）事象が存在するかどうか、判断することができ、システムは、より高い閾値を用いて変化検出をやり直し、より少ない事象を取得する（または、より低い閾値との比較をやり直し、より多くの事象を取得する）ことができる。
一般に、一態様によれば、本発明は、変化検出センサを特徴とする。センサは、光を検出するピクセルを備えるピクセルアレイ、および、ピクセルによって受け取られた光に関連付けられる事象を検出するための事象検出器を備える。本発明によれば、事象を評価するための事象速度検出器が準備される。次に、コントローラが事象速度検出器に基づいて、ピクセルが事象を検出する仕方を変化させる。
一実施形態において、事象速度検出器は、事象検出器からの事象を数えることによって事象を評価するための計数器を備える。
別の実施形態において、事象速度検出器は、事象を推定することによって事象を評価するための事象推定器を備える。これは、事象検出器が記録する事象の数に基づくアナログ信号を分析することによって実施することができる。
好ましくは、センサは、事象検出器によって適用される閾値を設定するための閾値生成回路を含む。次いで、コントローラが、事象速度検出器によって与えられる評価に応じて与えられる閾値を変える。
好ましくは、コントローラは、ピクセルアレイ内のＯＮ事象およびＯＦＦ事象に基づいてＯＮ事象およびＯＦＦ事象に対する閾値を別々に設定する。
現在の実施形態において、ピクセルの各々は、ピクセルがリセットされたときに受け取る光に対応する電荷を格納するための、事象検出器の内の１つのメモリキャパシタを備える。ピクセルの各々は、受け取った光の変化を、事象を検出するための１つまたはそれ以上の閾値と比較するための、事象検出器の１つまたはそれ以上の比較器をさらに備えることができる。
他の実施形態において、比較器は読み出し回路内に配置される。
一般に、別の態様によれば、本発明は、変化検出センサの動作の方法を特徴とする。その方法は、ピクセルアレイ内のピクセルによって受け取られる光に関連付けられる事象を検出するステップと、ピクセルアレイからの事象を評価するステップと、ピクセルアレイからの事象の評価に基づいて、ピクセルが事象を検出する仕方を変化させるステップと、を含む。
構造および部品の組み合わせの様々な新規の細部を含む本発明の上記および他の特徴、ならびに他の利点を、次に、添付の図面を参照しながらより具体的に説明し、特許請求の範囲において指摘することになる。本発明を具体化する特定の方法および機器は、本発明の限定としてではなく、例証のために示されることを理解されたい。本発明の原理および特徴は、本発明の範囲から逸脱することなく、種々様々な実施形態において使用することができる。
添付の図面において、参照文字は、種々異なる図を通じて同じ部品を指す。図面は必ずしも一定の比率に縮小されてはおらず、むしろ本発明の原理を例証することに重点が置かれている。
事象速度制御部を含む、事象ベースの変化検出センサのブロック図である。 ピクセルアレイ１１０内で使用することが可能な変化検出ピクセルの一例を示す回路図である。 周期的にリセットされる事象計数器として実施される事象速度検出器の一実施形態を示すブロック図である。 事象速度検出器に基づいて、閾値生成回路を制御するためのコントローラ１２０の動作を示す流れ図である。 事象速度検出器に基づいて、閾値生成回路を制御するためのコントローラ１２０の動作を示す流れ図である。 別の実施形態による、事象速度推定値を生成する事象ベースの変化検出センサを示す概略図である。 さらに別の実施形態による、事象速度推定値を生成する事象ベースの変化検出センサを示す概略図である。 以前の実施形態の電流ＡＤＣ２１２の可能な実施を示す回路図である。 コントローラ１２０の可能な実施を示す状態図である。 基本的な閾値生成回路を示すブロック図である。
図１Ａは、事象速度制御部を有する事象ベースの変化検出センサ１００のブロック図である。
一般に、変化検出センサ１００は、特に現行システムに関連する５つの要素、
変化検出ピクセルのアレイ１１０と、
事象速度検出器２００と、
コントローラ１２０と、
閾値生成回路１３０と、
読み出し回路１４０と、
を含む。
ピクセルアレイ１１０は、可変量のデータ、変化事象を生成する。事象速度検出器２００は、例えば、変化事象を数えるかまたは推定することによって事象を周期的に評価する。次に、コントローラ１２０は、次の時間ステップにおいてピクセルアレイ１１０が、望ましい速度により近い変化事象の量を生成するように、センサ構成を適合させる。
ピクセルアレイは、引用により本明細書に組み入れられる「Ｐｈｏｔｏａｒｒａｙ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｔｉｍｅ－Ｄｅｐｅｎｄｅｎｔ Ｉｍａｇｅ Ｄａｔａ」と題する、Ｌｉｃｈｔｓｔｅｉｎｅｒ他による、米国特許出願公開第２００８／００１３５７３１号に記載されているような変化検出ピクセル、または、２０１７年１２月２９日出願の「Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ Ａｒｃｈｉｔｅｃｔｕｒｅ」と題する米国特許出願第１５／８５８、４２７号（以後、Ｂｅｒｎｅｒ特許文献、この文献は引用によりその全体が本明細書に組み入れられる）に記載されているような変化検出ピクセル、または、Ｊ．Ｋｒａｍｅｒ、「Ａｎ ｏｎ／ｏｆｆ ｔｒａｎｓｉｅｎｔ ｉｍａｇｅｒ ｗｉｔｈ ｅｖｅｎｔ－ｄｒｉｖｅｎ，ａｓｙｎｃｈｒｏｎｏｕｓ ｒｅａｄ－ｏｕｔ」、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，２００２、第２巻、ページ１６５～１６８、２００２年、に開示されているような変化検出ピクセル、或いは代替的に、Ｒｕｅｄｉｔ他、「Ａ １２８ｘ１２８ ｐｉｘｅｌ １２０－ｄＢ ｄｙｎａｍｉｃ－ｒａｎｇｅ ｖｉｓｉｏｎ－ｓｅｎｓｏｒ ｃｈｉｐ ｆｏｒ ｉｍａｇｅ ｃｏｎｔｒａｓｔ ａｎｄ ｏｒｉｅｎｔａｔｉｏｎ ｅｘｔｒａｃｔｉｏｎ」、ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ－Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ，第３８巻、１２号、ページ２３２５～２３３３、１２月、２００３年におけるような空間コントラスト検出ピクセル、などの任意のアレイとすることができる。
図１Ｂは、１つの可能な変化検出ピクセル１１２の回路図である。
２次元アレイ１１０のこの例示的なピクセル１１２は、衝突する光を検出または計測して光強度を信号に変換する光ダイオードＰＤ（ｐｈｏｔｏｄｉｏｄｅ）のような光センサを含む。ここで、信号は電流、Ｉｐｈｏｔｏである。ピクセル１１２はさらに事象検出器１１４を有し、これは、例えば、ある事象が起きたような十分な変化が光センサによって検出される光の中に存在するかどうかを決定する。このことは、電流Ｉｐｈｏｔｏを監視することにより達成される。
より詳細には、例示的な事象検出器１１４は、光受容器回路ＰＲＣを含み、これが次に光強度に応じて光受容器信号Ｖｐｒを生成する。次に、メモリキャパシタＣ１が過去の光受容器信号を記憶する。
比較器Ａ１は、現在の光受容器信号Ｖｐｒと過去の光受容器信号との間の差を閾値Ｖｂと比較する。この閾値Ｖｂは、閾値生成回路１３０によって供給される。
好ましくは、比較器Ａ１または一対の比較器が、ＯＮ事象閾値に基づいてＯＮ事象を検出し、ＯＦＦ事象閾値に基づいてＯＦＦ事象を検出する。ＯＮ事象は、光センサによって受け取られた光の増加の特性であり、ＯＦＦ事象は、光センサによって受け取られた光の減少の特性である。単一の比較器が使用される場合、ＯＮ事象閾値およびＯＦＦ事象閾値は、時間的に連続して閾値Ｖｂとして与えられる。
この比較器Ａ１は、各々のピクセル内に存在することができ、或いはピクセルのサブセット（例えば、列）の間で共有されることができる。一事例では、比較器は、読み出し回路１４０内で共有され配置される。そのような構成の種々の例がＢｅｒｎｅｒ特許文献に開示されている。
しかし、好ましい実施形態においては、比較器Ａ１はピクセル１１２に組み込まれることになり、各々のピクセルが１つまたはそれ以上の専用の比較器Ａ１を有する。
メモリ５０は、事象または複数事象を格納する。事象は、コントローラ１２０からのサンプル信号に基づいて、比較器出力Ｖｃｏｍｐから取られる。メモリは、サンプリング回路（例えば、スイッチおよび寄生または明示的キャパシタ）またはデジタルメモリ回路（ラッチまたはフリップ－フロップ）とすることができる。一実施形態において、メモリはサンプリング回路となり、各々のピクセルは、１つがいずれかのＯＮ事象を格納するため、１つがいずれかのＯＦＦ事象を格納するための、２つのメモリを有することになる。メモリは１つまたはそれ以上のラインＥｖｔに出力を供給する。
条件付きリセット回路Ｒ１は、記憶されている比較器出力の状態と、コントローラ１２０によって適用されるリセット信号ＧｌｏｂａｌＲｅｓｅｔとの組み合わせに基づいて、条件付きリセットをもたらす。
ピクセル回路１１２およびコントローラ１２０は以下のように動作する。
光センサＰＤによって受け取られた光強度の変化は、光受容器信号Ｖｐｒの変化に変わることになる。リセット回路Ｒ１が非導通状態にあるとき、Ｖｐｒの変化はさらに、比較器Ａ１への反転入力（－）における電圧Ｖｄｉｆｆに反映されることになる。このことは、メモリキャパシタＣ１を横切る電圧が一定のままであるために、生じる。
コントローラ１２０によって選択された時間において、事象検出器１１４の比較器Ａ１は、メモリキャパシタＣ１の第２の端子の電圧（ＶＤｉｆｆ）を、比較器Ａ１の非反転入力（＋）に印加される閾値電圧Ｖｂ（閾値生成回路１３０からの）と比較する。
コントローラ１２０は、メモリ５０を、比較器の出力Ｖｃｏｍｐを格納するように動作させる。メモリ５０は、典型的には、図示されるようにピクセル回路１１２の一部として実施される。
しかし、他の実施形態においては、メモリ５０は、読み出し回路１４０（ピクセルアレイ１１０の各列毎に１つの周辺回路）の一部として実施される。
図示される実施形態において、センサの読み出し回路１４０は、アレイ１１０内の各々のピクセル１１２のメモリ５０を読み出す。一例において、読み出し回路１４０は、変化事象を検出したアレイ内のピクセルの座標を格納する。
メモリ内５０に保持された格納された比較器出力の状態が、光強度の十分な変化（即ち、事象）を示し、および（ＡＮＤ）コントローラ１２０からのグローバルリセット信号ＧｌｏｂａｌＲｅｓｔ信号がアクティブである場合、条件付きリセット回路Ｒ１は導通状態になる。ここで「ＡＮＤ」は論理ＡＮＤ演算子を示す。導通状態にある条件付きリセット回路Ｒ１により、比較器Ａ１の反転入力における電圧（Ｖｄｉｆｆ）が既知のレベルにリセットされる。従って、これは、メモリキャパシタＣ１上に、現在の光受容器信号Ｖｐｒを格納する。
事象の計数
図２は、事象速度計数器の一実施形態を示す。
ここで、事象速度検出器２００は、コントローラ１２０によって周期的にリセットされる計数器２１０として実施される。この計数器は読み出し回路１４０によって読み出される事象に基づいてインクリメントされる。事象のカウントはコントローラ１２０に供給される。次いで、計数器２１０は、新しいカウントが必要なとき、コントローラ１２０によってリセットされる。
一例において、事象速度検出器２００は、所与の時間窓の間にセンサアレイ１１０によって出力される事象の数を数える。ここで、これは、読み出し回路が、ピクセルアレイ１１０から事象を読み出す毎に、インクリメント信号を計数器２１０に送るように遂行される。
１つの特定の例において、事象速度検出器２００は、所与の時間窓の間にセンサアレイ１１０によって出力されるＯＮ事象とセンサアレイ１１０によって出力されるＯＦＦ事象との両方を数える。これは、計数器２１０の中の別々のＯＮ事象計数器およびＯＦＦ事象計数器を用いて遂行されることが好ましい。
図３Ａは、一実施形態による、事象速度検出器２００に基づいて、閾値生成回路１３０を制御するためのコントローラ１２０の動作を示す流れ図である。
具体的には、ステップ３１０において事象速度検出器２００の計数器２１０は、新しいカウントが必要なときに、コントローラ１２０によってリセットされる。
ステップ３１２において、コントローラ１２０は、所定の時間後に事象のカウントを読み出す。
次に、ステップ３１４において、コントローラは、ピクセルアレイ１１０に適用される事象閾値の変化を計算する。この新しい閾値は、ステップ３１６において閾値生成回路１３０に送られる。次に、この閾値は、センサアレイ１１０の事象検出器１１４に、事象の次のセットを決定するステップにおける閾値Ｖｂとして、適用される。
図３Ｂは、別の実施形態による、事象速度検出器２００を制御するためのコントローラ１２０の動作を示す流れ図である。
この実施形態において、コントローラ１２０は、ステップ３１０において計数器をリセットする前に、ステップ３１８において外部トリガーを待つ。この実施形態は、センサが外部タイミングソースに同期させる必要がある状況において最も有用であろう。
事象カウント推定器
第２の手法は、事象速度推定値を生成するステップに依拠する。この手法は、事象速度検出器２００の内部の事象カウント推定器を使用する。これは、事象の数を決定するために、アレイからの全ての事象を読む必要を避ける。その代わりに、この手法は、事象が読み出される前にまたは読み出しプロセスの一部として、事象の数を大まかに推定することを可能にする。
図４は、別の実施形態による事象速度推定値を生成する、事象ベースの変化検出センサ１００を示す概略図である。
より詳細には、事象検出器１１４は、アレイ１１０の各ピクセル１１２内に、入射光を検出するための光受容器１１６と共に配置され、各ピクセル回路の一部である。各ピクセル回路１１２の電流源１１８は、このピクセル内に事象が存在する場合にのみ、作動させられる。
具体的には、事象検出器１１４が、例えば、ＯＮ事象および／またはＯＦＦ事象による、光受容器１１６によって受け取られる光の変化を記録する場合、事象信号Ｅｖｔがアクティブとなり、これがピクセル１１２に関連付けられるスイッチ１１７を閉じる。
アレイ１１０の全てのピクセル１１２の電流、またはセンサ１００のアレイ１１０の範囲にわたって分布するピクセルのサンプリングは合計され、事象速度検出器２００の電流アナログ・デジタル変換器（ＡＤＣ：ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）２１２に供給される。このＡＤＣ２１２は電流を取り込み、電流の大きさをデジタル表示に変換する。この電流の合計のデジタル表示は、次に、コントローラ１２０に、検出された事象の数の推定値として供給され、既知の期間にわたって行われた場合には、これは事象速度を示す。
一般に、電流源１１８は、ピクセル１１２の間で非常によく適合するものではないであろう。このことは、電流の合計が、幾つのピクセルがペンディング事象を有するかの正確な推定を可能にしないが、大まかな推定値を可能にするであろうことを意味する。
図５は、別の実施形態による事象速度推定値を生成する変化検出センサを示す概略図である。
より詳細には、各ピクセル１１２の光受容器１１６は、その光受容器１１６によって検出される光の瞬間的な量に敏感な且つそれを示す信号を生成する。この情報は、事象検出器１１４に送られる。
従って、事象検出器１１４内の比較器の出力は、光受容器１１６によって受け取られる光が、最後にリセットされた閾値より大きい量だけ変化したとき、変化する。多くの場合、ＯＮ事象閾値は、光受容器１１６によって検出される光の量の増加に関連付けられるＯＮ事象を識別するためのＰｉｘｅｌ Ｔｈｒｅｓｈｏｌｄとして、ピクセルに供給される。次に、ＯＦＦ事象閾値が、光受容器によって検出される光の量の減少に関連付けられるＯＦＦ事象を識別するためのＰｉｘｅｌ Ｔｈｒｅｓｈｏｌｄとして、ピクセルに供給される。
他の場合には、事象検出器は、ＯＮ事象を識別するためのＯＮ事象閾値を受け取る第１の比較器と、ＯＦＦ事象を識別するためのＯＦＦ事象閾値を受け取る第２の比較器と、の２つの比較器を含む。
信号Ｅｎａｂｌｅ ｅｖｔ ｃｏｕｎｔｅｒがアクティブ（およびそれ故に、Ｄｉｓａｂｌｅ ｅｖｔ ｃｏｕｎｔｅｒが非アクティブ）である場合、全ての読み出しラインが、スイッチ１８８の閉鎖によって互いに短絡され、読み出しラインはスイッチ１９０の開放によって列読み出し回路１８０から切断される。全ての読み出しラインが電流ＡＤＣ２１２に接続されると、電流は、電流ＡＤＣ２１２から全てのピクセルへ流れることになり、それらピクセル内で比較器出力が高くなり、Ｅｖｔがアクティブとなり、それにより、各ピクセル１１２内のスイッチ１１７を閉じる。さらに、各行のＯＲゲート１８６が、各ピクセル１１２内のスイッチ１７８を、Ｅｎａｂｌｅ ｅｖｔ ｃｏｕｎｔｅｒがアクティブであるために、閉じることになる。それ故に、全電流は、比較器１７４の出力が高であるかまたは信号ライン（単数または複数）のＥｖｔがアクティブであるピクセルの数に依存することになる。
信号Ｅｎａｂｌｅ ｅｖｔ ｃｏｕｎｔｅｒが非アクティブ（およびそれ故にＤｉｓａｂｌｅ ｅｖｔ ｃｏｕｎｔｅｒがアクティブ）である場合、ピクセル読み出しラインは、対応するＲｅａｄｏｕｔ ｒｏｗ ｓｅｌｅｃｔ Ｘがアクティブである場合に、それらの対応する列読み出し回路１８０に接続される。
図６は、以前の実施形態の電流ＡＤＣ２１２の可能な実施を示す。
合計された電流が、負帰還構成にある抵抗Ｒ２１６によって演算増幅器Ａ２１４に供給される。基準電圧と演算増幅器の出力部における電圧との間の電圧差は、入力電流の大きさに比例し、従って、ペンディング事象の数を表す。
演算増幅器の出力部における電圧は次に、フラッシュＡＤＣ、ＳＡＲ ＡＤＣ、シグマ－デルタＡＤＣなどとして実施することができる従来の電圧ＡＤＣ２１８に供給される。
電流から電圧への変換の後、長くなり得るＡＤＣ変換を、ピクセルが読み出される間に行うことができるように、電圧サンプリングステップ（ＯｐＡｍｐ２１４および電圧ＡＤＣ２１８の出力の間）を加えることができる。ひとたびＡＤＣ変換が完了すると、必要であれば、ピクセルの読み出しを停止することができる。
コントローラ１２０
コントローラ１２０は、事象速度検出器２００の入力、センサ１００の外部からの望ましい事象速度（または望ましい事象速度の範囲）、ならびに、オプションとしてトリガー入力、を有するデジタルブロックである可能性が最も高い。コントローラ１２０は、チップ構成のための制御信号（即ち、時間分解能および閾値生成回路１３０に対する閾値）を出力する。
コントローラ１２０は、伝統的なＰ、ＰＩまたはＰＩＤコントローラとして、或いはより簡単に状態機械として実施することができる。
しかし、事象速度推定器を使用するとき、コントローラ１２０は、アナログ回路として実施することもできる。このアナログコントローラに対する入力は、それ故に、デジタル表現ではなく、その代わりに、図６の演算増幅器２１４の出力電圧が、典型的には直接にコントローラ１２０に供給される。
図７は、コントローラ１２０の状態図である。
事象閾値は、事象速度推定器からの信号、
・ 事象速度：事象速度検出器２００からの入力、
・ ＭｉｎＥｖｅｎｔＲａｔｅ：定数、最小の望ましい事象速度、
・ ＭａｘＥｖｅｎｔＲａｔｅ：定数、最大の望ましい事象速度、
・ ＭｉｎＥｖｅｎｔＴｈｒｅｓｈｏｌｄ：パラメータ、最小閾値設定、
・ ＭａｘＥｖｅｎｔＴｈｒｅｓｈｏｌｄ：パラメータ、最大閾値設定、
・ Ｓｔｅｐ：パラメータ、事象閾値がループの各通過の間に変化するステップ、
・ ＥｖｅｎｔＴｈｒｅｓｈｏｌｄ：事象生成回路に供給される出力、
・ Ｔｒｉｇｇｅｒ：ループを開始する周期的入力信号、
に基づいて、事象速度を望ましい範囲内に保持するように、修正される。
より詳細には、コントローラ１２０は、状態７１０においてトリガーを待つ。それを受け取ると、コントローラ１２０は、状態７１２において、事象速度検出器２００によって与えられた事象速度を、最小事象速度と比較する。事象速度が最小事象速度より小さい場合には、コントローラは状態７１６に進む。状態７１６において、コントローラ１２０は事象閾値を最小事象閾値と比較し、事象閾値がより小さい場合、７１０の待ち状態に戻る。他方、事象閾値が最小事象閾値より大きい場合、状態７１８において事象閾値が減らされ、待ち状態７１０に戻る。
他方、状態７１２において、事象速度が最小事象閾値より大きい場合、事象速度は、状態７１４において、最大事象速度と比較され、事象速度がより小さい場合には、コントローラ１２０は待ち状態７１０に戻る。他方、事象速度が最大事象速度より大きい場合、状態７２０において事象閾値が最大事象閾値と比較される。状態７２０において事象閾値が最大事象閾値より大きい場合、コントローラ１２０は待ち状態７１０に戻る。他方、事象閾値が最大事象閾値より小さい場合、事象閾値は状態７２２において１ステップだけ増加させられ、待ち状態７１０に戻る。
閾値生成回路
引用により本明細書に組み入れられる「Ｐｈｏｔｏａｒｒａｙ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｔｉｍｅ－Ｄｅｐｅｎｄｅｎｔ Ｉｍａｇｅ Ｄａｔａ」と題する、Ｌｉｃｈｔｓｔｅｉｎｅｒ他による、米国特許出願公開第２００８／００１３５７３１号に開示されているような変化検出ピクセルに関して、事象閾値は、閾値電圧と増幅器バイアス電圧との間の差である。Ｏｎ閾値電圧は通常バイアス電圧より高く、他方、Ｏｆｆ閾値電圧はより低い。
基本閾値生成
図８は、例えば、Ｐ．Ｌｉｃｈｔｓｔｅｉｎｅｒ，Ｃ．Ｐｏｓｃｈ，およびＴ．Ｄｅｌｂｒｕｃｋ、「Ａ １２８ｘ１２８ １２０ｄＢ １５μｓ Ｌａｔｅｎｃｙ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｔｅｍｐｏｒａｌ Ｃｏｎｔｒａｓｔ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ」、ＩＥＥＥ Ｊ． Ｓｏｌｉｄ－Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ，第４３巻、２号、ページ５６６～５７６、２月、２００８年、ならびに、Ｔ．Ｄｅｌｂｒｕｃｋ， Ｒ．Ｂｅｒｎｅｒ， Ｐ．Ｌｉｃｈｔｓｔｅｉｎｅｒ，およびＣ．Ｄｕａｌｉｂｅ、「３２－ｂｉｔ Ｃｏｎｆｉｇｕｒａｂｌｅ ｂｉａｓ ｃｕｒｒｅｎｔ ｇｅｎｅｒａｔｏｒ ｗｉｔｈ ｓｕｂ－ｏｆｆ－ｃｕｒｒｅｎｔ ｃａｐａｂｉｌｉｔｙ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，２０１０，ページ１６４７～１６５０に開示されているような、一組の電圧デジタル・アナログ変換器（ＤＡＣ：ｄｉｇｉｔａｌ ｔｏ ａｎａｌｏｇ ｃｏｎｖｅｒｔｅｒ）または電流ＤＡＣ８１０、８１２の基本閾値生成回路を示す。具体的には、一組のＤＡＣ８１０、８１２、８１４に関して、比較器バイアス電圧を生成するための１つ８１４、ＯｎＴｈｒｅｓ電圧のための１つ８１０およびＯｆｆＴｈｒｅｓ電圧のための１つ８１２が存在する。
事象速度および均衡制御
さらに別の実施形態において、センサ１００はＯＮ（増加する光強度）およびＯＦＦ（減少する光強度）事象を、別々に数える。次に、ＯＮ事象とＯＦＦ事象との間の比が、ＯＮおよびＯＦＦ閾値を別々に制御するために使用される。一般に、大きい（秒より大きい）時間窓にわたる類似の量のＯＮ事象およびＯＦＦ事象が望ましい。
非動き閾値
事象ベースの変化検出センサの特性は、シーンの中に動きがない場合に、データを（または非常に僅かなデータしか）生成しないことである。そのような、動きがない場合には、閾値を変えることは望ましくない可能性があり、それ故に、コントローラを、それより下ではＥｖｅｎｔＴｈｒｅｓｈｏｌｄ出力を変えるための制御ループが活性化されない最小事象速度閾値を含むように、拡張することができる。
時間分解能制御
幾つかのピクセル設計において、時間ビン速度（比較の速度）変えることができる。米国特許出願第ＵＳ２００８／００１３５７３１号における記載によって提案されるようなピクセルにおいては、無反応バイアス（ｒｅｆｒａｃｔｏｒｙ ｂｉａｓ）を制御することができ、このことが、ピクセルが事象を生成できる速度を制限することを可能にする。
本発明は、その好ましい実施形態に関連して具体的に示され、説明されたが、当業者であれば、添付の特許請求の範囲によって包含される本発明の範囲から逸脱せずに、その中で、形状および細部に様々な変更を加えることができることを理解するであろう。

Claims (15)

  1. 光を検出するピクセルを備えたピクセルアレイと、
    前記ピクセルによって受け取られる光の変化を、事象を検出するための１つまたはそれ以上の閾値と比較することによって、前記ピクセルによって受け取られた光に関連付けられる事象を検出するための事象検出器と、
    前記事象を評価するための事象速度検出器と、
    前記事象速度検出器に基づいて、前記ピクセルが前記事象を検出する仕方を変えるためのコントローラであって、前記コントローラは、前記事象速度検出器により提供される事象速度を最大事象速度と比較し、前記事象速度が最大事象速度よりも大きい場合、前記コントローラは１つ以上の閾値を変化させる、コントローラと、
    を備える、変化検出センサ。
  2. 前記事象速度検出器は、前記事象検出器からの事象を数えることによって前記事象を評価するための計数器を備える、請求項１に記載のセンサ。
  3. 前記事象速度検出器は、事象を推定することによって前記事象を評価するための事象推定器を備える、請求項１に記載のセンサ。
  4. 前記事象速度検出器は、事象を記録する前記事象検出器の数に基づくアナログ信号を分析することによって前記事象を評価する、請求項１に記載のセンサ。
  5. 前記事象検出器によって適用される前記１つまたはそれ以上の閾値を設定するための閾値生成回路をさらに備える、請求項１に記載のセンサ。
  6. 前記コントローラは、前記事象速度検出器によって与えられた前記評価に応じて与えられる前記１つまたはそれ以上の閾値を変える、請求項１に記載のセンサ。
  7. 前記コントローラは、前記ピクセルアレイ内のＯＮ事象およびＯＦＦ事象に基づいて、ＯＮ事象およびＯＦＦ事象に関する閾値を別々に設定する、請求項１に記載のセンサ。
  8. 前記ピクセルの各々は、前記ピクセルがリセットされたときに受け取る光に対応する電荷を蓄積するための、前記事象検出器の内の１つのメモリキャパシタを備える、請求項１に記載のセンサ。
  9. 前記ピクセルの各々は、受け取った光の変化を、前記事象を検出するための前記１つまたはそれ以上の閾値と比較するための、前記事象検出器の内の１つの、１つまたはそれ以上の比較器を備える、請求項１に記載のセンサ。
  10. 受け取った光の変化を、前記事象を検出するための前記１つまたはそれ以上の閾値と比較するための、前記事象検出器の比較器をさらに備え、前記比較器は読み出し回路内に位置する、請求項１に記載のセンサ。
  11. 変化検出センサの動作の方法であって、
    ピクセルアレイ内のピクセルによって受け取られる光の変化を、事象を検出するための１つまたはそれ以上の閾値と比較することによって、ピクセルアレイ内のピクセルによって受け取られた光に関連付けられる事象を検出するステップと、
    前記ピクセルアレイからの前記事象を評価するステップと、
    前記ピクセルアレイからの前記事象により得られる事象速度を最大事象速度と比較し、前記事象速度が最大事象速度よりも大きい場合、１つ以上の閾値を変化させることによって、前記ピクセルアレイからの前記事象の前記評価に基づいて、前記ピクセルが前記事象を検出する仕方を変えるステップと、
    を含む、方法。
  12. 前記事象を評価するステップは、前記事象を数えるステップを含む、請求項１１に記載の方法。
  13. 前記事象を評価するステップは、前記事象を推定するステップを含む、請求項１１に記載の方法。
  14. 前記事象の前記評価に応じて、前記ピクセルに対して事象検出器によって適用される前記１つまたはそれ以上の閾値を設定するステップをさらに含む、請求項１１に記載の方法。
  15. 前記ピクセルアレイからのＯＮ事象およびＯＦＦ事象に基づいて、ＯＮ事象およびＯＦＦ事象に関する閾値を別々に設定するステップをさらに含む、請求項１１に記載の方法。
JP2019533146A 2016-12-30 2017-12-29 事象ベースの視覚センサのためのデータ速度制御 Active JP7074955B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022036833A JP7442560B2 (ja) 2016-12-30 2022-03-10 事象ベースの視覚センサのためのデータ速度制御
JP2024022196A JP2024056930A (ja) 2016-12-30 2024-02-16 事象ベースの視覚センサのためのデータ速度制御

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CH17642016 2016-12-30
CH17652016 2016-12-30
CH01765/16 2016-12-30
CH01764/16 2016-12-30
PCT/IB2017/058528 WO2018122800A1 (en) 2016-12-30 2017-12-29 Data rate control for event-based vision sensor

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022036833A Division JP7442560B2 (ja) 2016-12-30 2022-03-10 事象ベースの視覚センサのためのデータ速度制御

Publications (2)

Publication Number Publication Date
JP2020505801A JP2020505801A (ja) 2020-02-20
JP7074955B2 true JP7074955B2 (ja) 2022-05-25

Family

ID=61094545

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2019532733A Active JP7074954B2 (ja) 2016-12-30 2017-12-29 動的ビジョンセンサアーキテクチャ
JP2019533146A Active JP7074955B2 (ja) 2016-12-30 2017-12-29 事象ベースの視覚センサのためのデータ速度制御
JP2022036833A Active JP7442560B2 (ja) 2016-12-30 2022-03-10 事象ベースの視覚センサのためのデータ速度制御
JP2022036827A Active JP7374242B2 (ja) 2016-12-30 2022-03-10 動的ビジョンセンサアーキテクチャ
JP2023181483A Pending JP2023182811A (ja) 2016-12-30 2023-10-20 動的ビジョンセンサアーキテクチャ
JP2024022196A Pending JP2024056930A (ja) 2016-12-30 2024-02-16 事象ベースの視覚センサのためのデータ速度制御

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019532733A Active JP7074954B2 (ja) 2016-12-30 2017-12-29 動的ビジョンセンサアーキテクチャ

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2022036833A Active JP7442560B2 (ja) 2016-12-30 2022-03-10 事象ベースの視覚センサのためのデータ速度制御
JP2022036827A Active JP7374242B2 (ja) 2016-12-30 2022-03-10 動的ビジョンセンサアーキテクチャ
JP2023181483A Pending JP2023182811A (ja) 2016-12-30 2023-10-20 動的ビジョンセンサアーキテクチャ
JP2024022196A Pending JP2024056930A (ja) 2016-12-30 2024-02-16 事象ベースの視覚センサのためのデータ速度制御

Country Status (7)

Country Link
US (9) US10715750B2 (ja)
EP (3) EP3563563B1 (ja)
JP (6) JP7074954B2 (ja)
KR (4) KR102467771B1 (ja)
CN (3) CN110192387B (ja)
DE (1) DE202017007535U1 (ja)
WO (2) WO2018122800A1 (ja)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3563563B1 (en) * 2016-12-30 2020-12-16 Sony Advanced Visual Sensing AG Data rate control for event-based vision sensor
JP2018125599A (ja) * 2017-01-30 2018-08-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、電子機器、及び駆動方法
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US10257456B2 (en) * 2017-09-07 2019-04-09 Samsung Electronics Co., Ltd. Hardware friendly virtual frame buffer
JP7242697B2 (ja) * 2017-12-11 2023-03-20 プロフェシー イベントベースの画像センサおよびその操作方法
CN112243536A (zh) 2018-03-14 2021-01-19 索尼高级视觉传感股份公司 用3d-ic技术制造的基于事件的视觉传感器
US11212468B2 (en) 2018-03-14 2021-12-28 Sony Advanced Visual Sensing Ag Event-based vision sensor with direct memory control
TWI815841B (zh) * 2018-03-15 2023-09-21 日商尼康股份有限公司 控制裝置、控制方法以及程式
CN108827461B (zh) * 2018-04-25 2019-05-03 上海芯仑光电科技有限公司 像素采集电路及光流传感器
KR20230173210A (ko) * 2018-06-27 2023-12-26 프로페시 복수의 슈퍼-픽셀(super-pixel)들을 포함하는 이미지 센서
US10887535B2 (en) * 2018-07-18 2021-01-05 The Regents Of The University Of California Query driven image sensing
US11140349B2 (en) 2018-09-07 2021-10-05 Samsung Electronics Co., Ltd. Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel
CN110971792B (zh) * 2018-09-29 2021-08-13 华为技术有限公司 一种动态视觉传感器
IL262372B (en) * 2018-10-14 2020-05-31 Semi Conductor Devices An Elbit Systems Rafael Partnership Pixel reading circuit and imaging method
CN109842767B (zh) * 2019-01-09 2020-07-14 上海芯仑光电科技有限公司 一种防闪光电路组件及图像传感器
CN113287083A (zh) * 2019-01-21 2021-08-20 索尼高级视觉传感股份公司 透明智能手机
CN109842768B (zh) * 2019-01-29 2020-05-15 上海芯仑光电科技有限公司 一种像素采集电路及图像传感器
KR102656177B1 (ko) 2019-02-11 2024-04-12 삼성전자주식회사 신호를 축적하기 위한 센서
JP2020136811A (ja) * 2019-02-15 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
KR20200115881A (ko) 2019-03-28 2020-10-08 삼성전자주식회사 옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법
CN113728616B (zh) * 2019-04-26 2024-04-12 索尼半导体解决方案公司 事件检测装置、包括事件检测装置的系统和事件检测方法
US11825229B2 (en) 2019-05-10 2023-11-21 Sony Advanced Visual Sensing Ag Event-based vision sensor using on/off event and grayscale detection ramps
EP3967029A1 (en) 2019-05-10 2022-03-16 Sony Advanced Visual Sensing AG Nmos comparator for image sensor pixel
US11812169B2 (en) 2019-05-10 2023-11-07 Sony Advanced Visual Sensing Ag Dynamic vision sensor with in-pixel digital change detection
KR20200143141A (ko) * 2019-06-14 2020-12-23 삼성전자주식회사 Cis, 및 그 cis에서 픽셀별 ae 방법
KR20210000985A (ko) 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
KR20220027197A (ko) 2019-07-01 2022-03-07 소니 어드밴스드 비주얼 센싱 아게 이벤트 기반 비전 센서들을 위한 동적 관심 영역(roi)
KR20210006106A (ko) 2019-07-08 2021-01-18 삼성전자주식회사 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치
CN112311964B (zh) * 2019-07-26 2022-06-07 华为技术有限公司 一种像素采集电路、动态视觉传感器以及图像采集设备
JP7101721B2 (ja) * 2019-08-01 2022-07-15 シャープ株式会社 固体撮像素子
JP7451110B2 (ja) * 2019-08-27 2024-03-18 ソニーグループ株式会社 測距システム及び電子機器
CN110536083B (zh) * 2019-08-30 2020-11-06 上海芯仑光电科技有限公司 一种图像传感器及图像采集系统
KR20220054592A (ko) 2019-09-04 2022-05-03 소니 어드밴스드 비주얼 센싱 아게 이벤트 기반 비전 센서들에서의 지연 균등화
JP2021048554A (ja) * 2019-09-20 2021-03-25 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像制御方法、プログラム
CN112738432B (zh) * 2019-10-28 2022-06-21 天津大学青岛海洋技术研究院 一种事件阈值自适应型动态视觉传感器
US11694304B2 (en) * 2019-11-26 2023-07-04 Samsung Electronics Co., Ltd. Jointly learning visual motion and confidence from local patches in event cameras
CN111107287B (zh) * 2019-11-29 2021-06-04 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
KR20210077840A (ko) * 2019-12-17 2021-06-28 삼성전자주식회사 다이나믹 비전 센서 시스템
CN114846785A (zh) * 2019-12-23 2022-08-02 华为技术有限公司 成像装置及成像方法
JP2021103842A (ja) * 2019-12-25 2021-07-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
KR20210102511A (ko) * 2020-02-10 2021-08-20 삼성전자주식회사 버퍼를 포함하는 동적 비전 센서 장치
JP2023076773A (ja) * 2020-04-14 2023-06-02 ソニーグループ株式会社 物体認識システム及び電子機器
CN111510650B (zh) 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
FR3109667B1 (fr) * 2020-04-28 2024-04-05 Commissariat Energie Atomique Capteur d’image piloté par évènements et son procédé de lecture
US11853142B2 (en) 2020-05-28 2023-12-26 Apple Inc. Sensor-based user detection for electronic devices
US20230247316A1 (en) * 2020-07-09 2023-08-03 Sony Semiconductor Solutions Corporation Solid-state imaging device, imaging method, and electronic apparatus
PL3955566T3 (pl) 2020-08-14 2023-10-02 Alpsentek Gmbh Czujnik obrazu z konfigurowalnym układem pikseli oraz sposób
WO2022047651A1 (zh) * 2020-09-02 2022-03-10 华为技术有限公司 视觉传感器芯片及其操作方法和电子设备
KR20220039022A (ko) 2020-09-21 2022-03-29 삼성전자주식회사 비전 센서를 포함하는 이미지 처리 장치 및 그 동작 방법
CN112261297B (zh) * 2020-10-22 2022-07-01 维沃移动通信有限公司 动态视觉传感器的控制方法、装置和电子设备
WO2022093123A1 (en) * 2020-10-29 2022-05-05 Nanyang Technological University A computer vision sensor for efficient real time object detection under varying lighting conditions
TWI795870B (zh) * 2020-11-06 2023-03-11 大陸商廣州印芯半導體技術有限公司 影像感測器以及影像感測方法
CN114519017B (zh) * 2020-11-18 2024-03-29 舜宇光学（浙江）研究院有限公司 用于事件相机的数据传输方法及其系统和电子设备
KR20220076943A (ko) 2020-12-01 2022-06-08 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
KR20220085619A (ko) 2020-12-15 2022-06-22 삼성전자주식회사 비전 센서 및 이의 동작 방법
CN113155032A (zh) * 2020-12-16 2021-07-23 重庆邮电大学 一种基于动态视觉传感器dvs的建筑物结构位移测量方法
US11430828B2 (en) * 2020-12-17 2022-08-30 Omnivision Technologies, Inc. Event driven pixel for spatial information extraction
CN112788262A (zh) * 2020-12-30 2021-05-11 上海集成电路研发中心有限公司 图像信号检测电路、控制方法以及运动检测方法
KR102445008B1 (ko) 2020-12-31 2022-09-21 한국전자통신연구원 이벤트 기반 영상 센싱 장치 및 방법
KR20220108608A (ko) 2021-01-27 2022-08-03 삼성전자주식회사 비전 센서 및 이를 포함하는 이미지 처리 장치
JP6923240B1 (ja) * 2021-02-12 2021-08-18 株式会社ＳｅｎｓＡＩ 固体撮像装置、及び固体撮像装置の駆動方法
CN113132656B (zh) * 2021-04-20 2022-01-28 豪威芯仑传感器(上海)有限公司 一种图像传感器及图像处理系统
KR20220164354A (ko) 2021-06-04 2022-12-13 삼성전자주식회사 비전 센서 및 비전 센서의 동작 방법
CN113365004B (zh) * 2021-06-07 2022-03-29 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
CN113518159B (zh) * 2021-06-08 2022-11-01 天津大学 同步读出的大阵列动态视觉传感器及读出方法
FR3125666A1 (fr) * 2021-07-26 2023-01-27 Commissariat A L'energie Atomique Et Aux Energies Alternatives Architecture de lecture à base de drapeau pour un réseau matriciel de pixels événementiels
FR3125665B1 (fr) * 2021-07-26 2023-11-10 Commissariat Energie Atomique Circuit de lecture rapide pour un réseau matriciel de pixels événementiels
KR20230018044A (ko) * 2021-07-29 2023-02-07 삼성전자주식회사 다이나믹 비전 센서의 시간 지연을 보상하기 위한 전자 장치
CN113747090B (zh) * 2021-09-01 2022-09-30 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
WO2023150949A1 (en) * 2022-02-10 2023-08-17 Huawei Technologies Co., Ltd. High speed, low power pixel bias circuit
CN114422725B (zh) * 2022-03-15 2022-07-01 深圳锐视智芯科技有限公司 一种图像输出方法、图像传感器及其应用
WO2023186468A1 (en) * 2022-03-31 2023-10-05 Sony Semiconductor Solutions Corporation Image sensor including pixel circuits for event detection connected to a column signal line
CN114581490B (zh) * 2022-04-29 2022-09-20 北京大学 一种场景设置方法、装置、控制设备及可读存储介质
US11812139B1 (en) 2022-06-20 2023-11-07 Samsung Electronics Co., Ltd. Closed loop dynamic ISP throttling
US11848173B1 (en) * 2023-01-31 2023-12-19 Integrated Dynamic Electron Solutions, Inc. Methods and systems for event modulated electron microscopy

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166581A (ja) 2005-11-16 2007-06-28 Matsushita Electric Ind Co Ltd 高速撮影用固体撮像装置

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH176516A (de) 1933-10-01 1935-04-15 Enderlin Charles Vorrichtung an Fahrrädern zur Ermöglichung der Unterstützung des Fussantriebes durch Handantrieb.
CH176416A (de) 1933-10-23 1935-04-15 Fa Fr Speidel Karabinerhaken, insbesondere für Uhrarmbänder.
US5107103A (en) 1990-01-26 1992-04-21 Carnegie-Mellon University Integrated circuit having at least a sensor and a processor thereon
EP0553406B1 (en) 1992-01-24 1997-04-02 Rockwell International Corporation Readout amplifier for staring IR focal plane array
US5488415A (en) 1993-07-09 1996-01-30 Olympus Optical Co., Ltd. Solid-state image pickup device having a photoelectric conversion detection cell with high sensitivity
US6253161B1 (en) 1997-07-10 2001-06-26 Universite Laval Integrated motion vision sensor
US6624849B1 (en) 1997-12-08 2003-09-23 Nikon Corporation Solid-state imaging apparatus for motion detection
DE10125307A1 (de) 2000-10-07 2002-08-01 Silicon Vision Ag Optischer Sensor
US7443427B2 (en) * 2002-08-23 2008-10-28 Micron Technology, Inc. Wide dynamic range linear-and-log active pixel
DE10301598A1 (de) 2002-09-13 2004-03-25 Conti Temic Microelectronic Gmbh Photodetektor-Anordnung und Verfahren zur Störlichtkompensation
US20040212678A1 (en) * 2003-04-25 2004-10-28 Cooper Peter David Low power motion detection system
GB0412296D0 (en) * 2004-06-02 2004-07-07 Council Cent Lab Res Councils Imaging device
EP1657910A1 (en) 2004-11-12 2006-05-17 STMicroelectronics Limited Image sensor
SG162756A1 (en) 2005-06-03 2010-07-29 Universitaet Zuerich Photoarray for detecting time-dependent image data
US7821558B2 (en) * 2005-11-15 2010-10-26 Stmicroelectronics S.A. Image sensor with circuitry for detecting each pixel receiving a given light intensity and providing addresses thereof
WO2007085942A2 (en) 2006-01-25 2007-08-02 Melexis Nv Image sensor with a photodiode readout circuit
US20070222879A1 (en) * 2006-03-24 2007-09-27 Intel Corporation Sub-ranging pixel sample and hold
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
US8026960B2 (en) * 2008-04-29 2011-09-27 Xerox Corporation Image sensor and associated readout system
US8891978B2 (en) 2008-09-19 2014-11-18 National University Corporation Shizuoka University Information-acquisition device and optical communication system
US8436288B2 (en) * 2009-04-24 2013-05-07 Quantum Semiconductor Llc Image sensors with photo-current mode and solar cell operation
WO2012093387A2 (en) * 2011-01-09 2012-07-12 Emza Visual Sense Ltd. Pixel design with temporal analysis capabilities for scene interpretation
US8890052B2 (en) * 2011-05-03 2014-11-18 Raytheon Company Shift register with two-phase non-overlapping clocks
FR2977055B1 (fr) 2011-06-21 2013-07-12 Astrium Sas Detecteur a fonction d'imagerie selective et procede de detection d'eclairs
WO2013070942A1 (en) * 2011-11-08 2013-05-16 Rambus Inc. Image sensor sampled at non-uniform intervals
EP2795894B1 (en) 2011-12-19 2020-06-17 Universität Zürich Photoarray, particularly for combining sampled brightness sensing with asynchronous detection of time-dependent image data
JP6029286B2 (ja) * 2012-02-17 2016-11-24 キヤノン株式会社 光電変換装置および撮像システム
JP5973758B2 (ja) * 2012-03-22 2016-08-23 オリンパス株式会社 固体撮像装置
US9154713B2 (en) * 2012-04-19 2015-10-06 Raytheon Company Repartitioned digital pixel
EP2677500B1 (en) 2012-06-19 2021-06-23 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method
US9521337B1 (en) * 2012-07-13 2016-12-13 Rambus Inc. Reset-marking pixel sensor
ES2476115B1 (es) 2012-12-11 2015-04-20 Consejo Superior De Investigaciones Científicas (Csic) Metodo y dispositivo para la deteccion de la variacion temporal de la intensidad luminosa en una matriz de fotosensores
WO2014097519A1 (ja) * 2012-12-18 2014-06-26 パナソニック株式会社 半導体光検出器
FR3000347B1 (fr) * 2012-12-21 2016-03-04 Trixell Procede de lecture d'un dispositif d'imagerie
KR102009165B1 (ko) 2013-01-24 2019-10-21 삼성전자 주식회사 이미지 센서, 멀티 칩 패키지, 및 전자 장치
JP5925713B2 (ja) * 2013-02-26 2016-05-25 株式会社東芝 固体撮像装置
CN103259985B (zh) 2013-05-17 2016-08-17 昆山锐芯微电子有限公司 Cmos图像传感器、像素单元及其控制方法
KR102102702B1 (ko) * 2013-06-19 2020-04-21 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
KR102054774B1 (ko) 2013-09-10 2019-12-11 삼성전자주식회사 동적 비전 센서, 조도 센서, 및 근접 센서 기능을 구비한 이미지 장치
ES2811152T3 (es) 2013-09-16 2021-03-10 Prophesee Circuito de píxel dinámico de un solo fotodiodo y método de funcionamiento del mismo
US9094628B2 (en) * 2013-10-27 2015-07-28 Raytheon Company Address mapped repartitioned digital pixel
KR102136055B1 (ko) 2014-01-08 2020-07-21 삼성전자 주식회사 오픈-루프 증폭기를 포함하는 비전 센서 칩, 이의 동작 방법, 및 이를 포함하는 데이터 처리 시스템
FR3020699A1 (fr) 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
US9846677B2 (en) 2014-09-16 2017-12-19 Qualcomm Incorporated Event-based spatial transformation
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
KR102426677B1 (ko) 2015-03-09 2022-07-28 삼성전자주식회사 오프셋 및 잡음이 감소되는 차분 증폭기 및 이벤트에 기반한 비전 센서
KR102407274B1 (ko) * 2015-07-31 2022-06-10 삼성전자주식회사 임계 전압 제어 방법 및 임계 전압 제어 장치
KR102399017B1 (ko) 2015-11-16 2022-05-17 삼성전자주식회사 이미지 생성 방법 및 장치
US10498977B2 (en) 2016-03-03 2019-12-03 Insightness Ag Event-based vision sensor
WO2017158483A1 (en) 2016-03-14 2017-09-21 Insightness Ag A vision sensor, a method of vision sensing, and a depth sensor assembly
WO2017174579A1 (en) 2016-04-04 2017-10-12 Chronocam Sample and hold based temporal contrast vision sensor
EP3563563B1 (en) * 2016-12-30 2020-12-16 Sony Advanced Visual Sensing AG Data rate control for event-based vision sensor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166581A (ja) 2005-11-16 2007-06-28 Matsushita Electric Ind Co Ltd 高速撮影用固体撮像装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
K. Aizawa et al.，Compuational Image Sensor for on Sensor Compression，IEEE Transactions on Electron Devices，Vol.44, No.10，米国，IEEE，1997年10月，p.1724-1730
K. Aizawa et al.，On Sensor Image Compression，IEEE Transactios on Circuits and Systems for Video Technology，米国，IEEE，1997年06月，Vol. 7, No.3，p.543-546

Also Published As

Publication number Publication date
US11711631B2 (en) 2023-07-25
CN115037896A (zh) 2022-09-09
EP3563563A1 (en) 2019-11-06
KR20190102021A (ko) 2019-09-02
KR102541757B1 (ko) 2023-06-13
JP7442560B2 (ja) 2024-03-04
US20200154064A1 (en) 2020-05-14
US20180191972A1 (en) 2018-07-05
JP7074954B2 (ja) 2022-05-25
KR20190102223A (ko) 2019-09-03
US20180191982A1 (en) 2018-07-05
JP2022075789A (ja) 2022-05-18
CN110192387A (zh) 2019-08-30
JP2020503752A (ja) 2020-01-30
US20220394205A1 (en) 2022-12-08
EP3563564A1 (en) 2019-11-06
EP3869791A1 (en) 2021-08-25
CN110169050B (zh) 2022-07-26
CN110192387B (zh) 2022-06-17
US10715750B2 (en) 2020-07-14
JP2022076485A (ja) 2022-05-19
CN110169050A (zh) 2019-08-23
EP3563564B1 (en) 2021-12-15
US10567679B2 (en) 2020-02-18
DE202017007535U1 (de) 2022-11-03
US11076114B2 (en) 2021-07-27
US20180189959A1 (en) 2018-07-05
WO2018122798A1 (en) 2018-07-05
KR20220157514A (ko) 2022-11-29
US11336859B2 (en) 2022-05-17
US20200288073A1 (en) 2020-09-10
US10602083B2 (en) 2020-03-24
KR20230087615A (ko) 2023-06-16
WO2018122800A1 (en) 2018-07-05
US20230328406A1 (en) 2023-10-12
JP2023182811A (ja) 2023-12-26
KR102467771B1 (ko) 2022-11-16
US20210337151A1 (en) 2021-10-28
US11431937B2 (en) 2022-08-30
EP3563563B1 (en) 2020-12-16
US20200221040A1 (en) 2020-07-09
JP7374242B2 (ja) 2023-11-06
JP2020505801A (ja) 2020-02-20
JP2024056930A (ja) 2024-04-23

Similar Documents

Publication Publication Date Title
JP7074955B2 (ja) 事象ベースの視覚センサのためのデータ速度制御
CN111713101B (zh) 基于事件的图像传感器及其操作方法
KR102373088B1 (ko) 이벤트 기반의 비전 센서
CN109903324B (zh) 一种深度图像获取方法及装置
US20060197664A1 (en) Method, system and apparatus for a time stamped visual motion sensor
CN111149350A (zh) 使用事件相机生成静态图像
JP2019533383A (ja) フラックスレートユニットセル焦点面アレイ
US20220264035A1 (en) Dynamic Region of Interest (ROI) for Event-Based Vision Sensors
US20220120610A1 (en) Photoelectric conversion device, method of controlling photoelectric conversion device, and information processing apparatus
Zhao et al. Modeling the detection capability of high-speed spiking cameras
JP4329677B2 (ja) 動き検出装置
US9363443B2 (en) Processing control apparatus, processing control method and non-transitory computer-readable storage medium
JP4285573B2 (ja) 動き検出装置
Ioan et al. Laser based displacement measurements using image processing
Sedivy et al. Precision Single-line Dimension Measurement Using CMOS Image Sensor and photometric interpolation
JP2022067623A (ja) 光電変換素子、光電変換素子の制御方法、および情報処理装置。
JP2018191083A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220308

R150 Certificate of patent or registration of utility model

Ref document number: 7074955

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150