JP7149694B2 - 電源制御回路を含むイベントベースセンサーを含んだセンシング装置 - Google Patents

電源制御回路を含むイベントベースセンサーを含んだセンシング装置 Download PDF

Info

Publication number
JP7149694B2
JP7149694B2 JP2017174091A JP2017174091A JP7149694B2 JP 7149694 B2 JP7149694 B2 JP 7149694B2 JP 2017174091 A JP2017174091 A JP 2017174091A JP 2017174091 A JP2017174091 A JP 2017174091A JP 7149694 B2 JP7149694 B2 JP 7149694B2
Authority
JP
Japan
Prior art keywords
power
control signal
pixel
pixels
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017174091A
Other languages
English (en)
Other versions
JP2018085099A (ja
Inventor
潤 宰 徐
成 浩 金
俊 ▲そく▼ 金
賢 錫 柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2018085099A publication Critical patent/JP2018085099A/ja
Application granted granted Critical
Publication of JP7149694B2 publication Critical patent/JP7149694B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/709Circuitry for control of the power supply
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、電源制御回路を含むイベントベースセンサーに関するものである。
人間とコンピュータの間の相互作用(Human-computer interaction、HCI)は、ユーザインタフェースによって発現して作動する。ユーザーの入力を認識する様々なユーザインターフェースは、人間とコンピュータの間の自然な相互作用を提供することができる。ユーザーの入力を認識ために様々なセンサーが用いられることができる。自然な相互作用を提供するためには、ユーザーの入力に対する応答速度が速いセンサーが必要となる。また、様々なモバイル機器の場合は、ユーザインタフェースによる様々なスマート機能を行う一方で電力を少なく消費する必要がある。これにより、電力消費は低いが応答速度は速く、センシング目的に応じて信頼性が高いセンサーが要求される。
本発明の一実施形態によると、イベントベースセンサーは動的入力に反応して活性化信号を出力する複数のピクセルを含むピクセルアレイと、上記複数のピクセルのうち少なくとも一部のピクセルに電源を供給または遮断するための制御信号を出力するコントロールブロックと、を含む。上記複数のピクセルのそれぞれは、上記活性化信号を出力するピクセル回路と、上記制御信号に基づいて上記ピクセル回路に電源を供給または遮断する電源制御回路と、を含むことができる。
上記電源制御回路は、上記制御信号に基づいて動作する論理ゲート回路と、上記制御信号に基づいて動作するメモリセルと、のうち少なくとも一つを含むことができる。
上記論理ゲート回路は、上記制御信号に基づいた論理演算の結果に対応する上記出力信号を出力することができる。上記メモリセルは、上記制御信号に基づいて保存されたデータに対応する上記出力信号を出力することができる。上記メモリセルは、上記制御信号が指示するアドレスが上記メモリセルのアドレスに対応することに応えて上記データを保存することができる。
上記電源制御回路は、上記制御信号に基づいて上記ピクセル回路に上記電源を供給または遮断する少なくとも一つのトランジスタを含むことができる。
上記複数のピクセルのそれぞれは、上記少なくとも一つのトランジスタのドレインがフローティング(floating)されることを防止する少なくとも一つのプルダウン(pull down)トランジスタをさらに含むことができる。上記ピクセルアレイは、上記複数のピクセルに含まれる複数のトランジスタのドレインがフローティングされることを防止する少なくとも一つのコモンプルダウントランジスタをさらに含むことができる。
上記制御信号は、上記ピクセルアレイの行を制御する行制御信号と、上記ピクセルアレイの列を制御する列制御信号と、を含むことができ、上記少なくとも一つのトランジスタは、上記列制御信号に基づいて上記ピクセル回路に上記電源を供給または遮断する第1トランジスタと、上記行制御信号に基づいて上記ピクセル回路に上記電源を供給または遮断する第2トランジスタと、を含むことができる。上記第1トランジスタ及び上記第2トランジスタは互いに直列接続されることができる。
上記複数のピクセルのそれぞれは、上記列制御信号に基づいて上記第1トランジスタのドレインがフローティングされることを防止する第1プルダウントランジスタと、上記行制御信号に基づいて上記第2トランジスタのドレインがフローティングされることを防止する第2プルダウントランジスタと、をさらに含むことができる。
上記電源制御回路は、上記電源を供給する電源素子と上記ピクセル回路の間に位置し、上記制御信号に基づいて上記電源素子と上記ピクセル回路の間の接続を短絡または開放することができる。電源制御回路は、上記ピクセル回路と接地(ground)の間に位置し、上記制御信号に基づいて上記ピクセル回路と上記接地の間の接続を短絡または開放することができる。
上記コントロールブロックは、上記ピクセルアレイの行を制御する行制御信号を出力するロー(row)コントロールブロックと、上記ピクセルアレイの列を制御する列制御信号を出力するコラム(column)コントロールブロックと、を含むことができる。
上記コントロールブロックは、イベントベースセンサーの動作モードに応じて上記制御信号を出力することができる。
上記動作モードがサブサンプリングモードである場合、上記コントロールブロックは、上記ピクセルアレイに含まれるピクセルのうちサブサンプリング領域に含まれる一部のピクセルに上記電源が供給されるよう、上記制御信号を出力することができる。上記動作モードが関心領域モードである場合、上記コントロールブロックは、関心領域に含まれるピクセルに上記電源が供給されるよう、上記制御信号を出力することができる。上記動作モードが領域遮断モードである場合、上記コントロールブロックは、遮断領域に含まれるピクセルに上記電源が遮断されるよう、上記制御信号を出力することができる。
上記動作モードが領域モニタリングモードである場合、上記コントロールブロックは、モニタリング領域に含まれるピクセルのうち一部のピクセルに上記電源が供給されるよう、上記制御信号を出力することができる。上記動作モードがランダムアクセスモードである場合、上記コントロールブロックは、ランダムアクセスされる少なくとも一つのピクセルに上記電源が供給または遮断されるよう、上記制御信号を出力することができる。
上記複数のピクセルのうち一部は第1構造の電源制御回路を含み、残りのピクセルのうち少なくとも一部は第2構造の電源制御回路を含むことができる。
本発明の他の実施形態によると、イベントベースセンサーのピクセルは、動的入力に反応して活性化信号を出力するピクセル回路と、上記制御信号に基づいて上記ピクセル回路に電源を供給または遮断する電源制御回路と、を含む。上記電源制御回路は、上記制御信号に基づいて動作する論理ゲート回路と、上記制御信号に基づいて動作するメモリセルと、のうち少なくとも一つを含むことができる。
上記論理ゲート回路は、上記制御信号に基づいた論理演算の結果に対応する上記出力信号を出力することができる。上記メモリセルは、上記制御信号に基づいて保存されたデータに対応する上記出力信号を出力することができる。
電源制御回路は、上記制御信号に基づいて上記ピクセル回路に上記電源を供給または遮断する少なくとも一つのトランジスタを含むことができる。上記イベントベースセンサーのピクセルは、上記少なくとも一つのトランジスタのドレインがフローティングされることを防止する少なくとも一つのプルダウン(pull down)トランジスタをさらに含むことができる。
上記制御信号は、上記ピクセルを含むピクセルアレイの行を制御する行制御信号と、上記ピクセルアレイの列を制御する列制御信号と、を含むことができ、上記少なくとも一つのトランジスタは、上記列制御信号に基づいて上記ピクセル回路に上記電源を供給または遮断する第1トランジスタと、上記行制御信号に基づいて上記ピクセル回路に上記電源を供給または遮断する第2トランジスタと、を含むことができる。
上記制御信号は、上記イベントベースセンサーの動作モードに基づいて生成されることができる。上記動作モードは、上記イベントベースセンサーの最大センシング解像度よりも低いセンシング解像度でセンシングを行うサブサンプリングモードと、関心領域内でセンシングを行う関心領域モードと、遮断領域内でセンシングを遮断する領域遮断モードと、モニタリング領域内でサブサンプリングを行う領域モニタリングモードと、ランダムアクセスを通じてピクセル単位のセンシングを行うか遮断するランダムアクセスモードと、のうち少なくとも一つを含むことができる。
一実施形態によるセンシング装置を示すブロック図である。 一実施形態によるコントロールブロック及びピクセルアレイを示す図である。 一実施形態によるピクセルアレイのピクセルを示す図である。 一実施形態による論理ゲート回路を含む電源制御回路を示す図である。 一実施形態によるメモリセルを含む電源制御回路を示す図である。 一実施形態によるトランジスタを含む電源制御回路を示す図である。 一実施形態によるプルダウントランジスタを含む電源制御回路を示す図である。 他の実施形態によるプルダウントランジスタを含む電源制御回路を示す図である。 一実施形態による複数の動作モードに基づいたセンシング装置を示すブロック図である。 一実施形態によるサブサンプリングモードのピクセルアレイを示す図である。 一実施形態による関心領域モードのピクセルアレイを示す図である。 一実施形態による領域遮断モードのピクセルアレイを示す図である。 一実施形態による領域モニタリングモードのピクセルアレイを示す図である。 一実施形態による複数の論理ゲートを含む電源制御回路を示す図である。 一実施形態によるランダムアクセスモードのピクセルアレイを示す図である。 一実施形態による電源制御回路の構造がピクセル毎に異なるピクセルアレイを示す図である。
本明細書に開示される特定の構造的説明または機能的説明は単に技術概念による実施形態を説明するための目的として例示されたもので、実施形態は様々な他の形で実施されることができ、本明細書に説明された実施形態に限定されるものではない。
第1または第2などの用語は、様々な構成要素を説明するために用いることができる。かかる用語は一つの構成要素を他の構成要素と区別する目的として理解されるべきである。例えば、第1構成要素は第2構成要素と命名されることができ、類似して第2構成要素は第1構成要素と命名されることができる。
単数の表現は文脈上明確に異なる意味でない限り、複数の表現を含む。また、本明細書において「含む」などの用語は、実施された特徴、数字、段階、動作、構成要素、部分品、またはこれら組み合わせが存在することを指定するもので、一つまたはそれ以上の他の特徴や、数字、段階、動作、構成要素、部分品、またはこれら組み合わせの存在または付加可能性を事前に排除するものではないと理解されるべきである。
異なって定義されない限り、技術的用語または科学的用語を含む、ここに用いられるすべての用語は、当該技術分野において通常の知識を有する者によって理解されるものと同一の意味を有する。一般に用いられる辞書に定義される用語は、関連技術の文脈上意味と同一の意味を有すると解釈されるべきであり、これらが本明細書に明確に定義されない限り、理想的または過度に形式的な意味として解釈されない。
以下、本発明の実施形態を添付の図面を参照して詳細に説明する。各図に提示された同一の参照符号は同一の部材を示す。
図1は一実施形態によるセンシング装置を示すブロック図である。図1を参照すると、イベントベースセンサー110は、コントローラ111と、ピクセルアレイ115と、を含む。イベントベースセンサー110は、ニューロモーフィック(neuromorphic)センシング法に基づいて動作することができる。より具体的には、ピクセルアレイ115に含まれる複数のピクセルのそれぞれは、動的入力に反応して活性化信号を出力する。動的入力は、ピクセルアレイ115に入射される光の強さ(light intensity)の変化を含む。動的入力は、オブジェクトの動き、ピクセルアレイ115の動き、オブジェクトに投射される光の変化、及びオブジェクトによって発光される光の変化のうち少なくとも一つによって発生することができる。例えば、ピクセルアレイ115は、ユーザーの手の動きによる動的入力を感知することができ、当該動的入力を指し示す活性化信号を出力することができる。この場合、活性化信号は、ユーザーのジェスチャーの認識に用いられることができる。
コントローラ111は、信号処理部112と、コントロールブロック113と、を含む。図1では信号処理部112及びコントロールブロック113が互いに区分されるように示されているが、信号処理部112及びコントロールブロック113は単一の構成によっても実現されることができる。信号処理部112は、ピクセルアレイ115によって出力された活性化信号を受信する。信号処理部112は、活性化信号に基づいてイベント信号を出力することができる。イベント信号は、活性化信号を出力したピクセルの位置情報、及び活性化信号が出力された時間情報を含むことができる。位置情報は活性化信号を出力したピクセルのアドレスを含むことができ、時間情報は活性化信号が出力された時間のタイムスタンプを含むことができる。イベントベースセンサー110は、非同期的にイベント信号を生成及び出力するため、フレーム毎にすべてのピクセルをスキャンするフレームベースビジョンセンサーに比べて低電力かつ高速に動作することができる。
コントロールブロック113は、ピクセルアレイ115に含まれるピクセルのうち少なくとも一部のピクセルに電源を供給または遮断するための第1制御信号(CTRL1)を出力する。ピクセルアレイ115のピクセルは、光の変化を感知するためのピクセル回路を含むことができる。ピクセル回路は、光の変化を感知するために継続的に電流を消費することができる。コントロールブロック113は、第1制御信号(CTRL1)を用いて必要なピクセルに電源を供給するか、または不要なピクセルから電源を遮断することにより、ピクセルアレイ115の電力消費を減少させることができる。
イベントベースセンサー110は、状況に応じて異なる動作モードで動作することができる。以下で詳細に説明するが、イベントベースセンサー110の動作モードは、サブサンプリングモード(sub-sampling mode)、関心領域モード(region of interest mode)、領域遮断モード(region blocking mode)、領域モニタリングモード(region monitoring mode)、及びランダムアクセスモード(random access mode)などを含むことができる。サブサンプリングモードは、イベントベースセンサーの最大センシング解像度よりも低いセンシング解像度でセンシングを行うモードであり、関心領域モードは、関心領域内でセンシングを行うモードであり、領域遮断モードは、遮断領域内でセンシングを遮断するモードであり、領域モニタリングモードは、モニタリング領域内でサブサンプリングを行うモードであり、ランダムアクセスモードは、ランダムアクセスを通じてピクセル単位のセンシングを行うか遮断するモードであることができる。
図示していないが、一実施形態によると、イベントベースセンサー110の内部または外部のプロセッサは、信号処理部112によって出力されたイベント信号に基づいてイベントベースセンサー110の動作モードを設定することができる。例えば、予め決められた時間区間の間イベントベースセンサー110によって動的入力が感知されない場合、プロセッサは、イベントベースセンサー110の動作モードをサブサンプリングモードに設定してピクセルアレイ115のセンシング解像度を下げることにより、イベントベースセンサー110の消費電力を減少させることができる。
図2は一実施形態によるコントロールブロック及びピクセルアレイを示す図である。図2を参照すると、コントロールブロック210は、ローコントロールブロック211と、コラムコントロールブロック212と、を含む。
第1制御信号(CTRL1)は、ピクセルアレイ220の行を制御する行制御信号EN_Y[i]と、ピクセルアレイ220の列を制御する列制御信号EN_X[j]と、を含む。ローコントロールブロック211は、横方向の制御ラインを通じてピクセルアレイ220のピクセルに行制御信号EN_Y[i]を出力し、コラムコントロールブロック212は、縦方向の制御ラインを通じてピクセルアレイ220のピクセルに列制御信号EN_X[j]を出力する。ここで、iはピクセルの行を示し、jはピクセルの列を示す。
ピクセルアレイ220は、m×n個のピクセルを含む。コントロールブロック210は、ピクセルアレイ220のピクセルのうち少なくとも一部のピクセルに電源を供給または遮断するための第1制御信号(CTRL1)を出力する。例えば、コントロールブロック210は、ピクセル221に電源を供給するためのハイ状態(high state)のデジタル信号(以下、「デジタルハイ」とする)に該当する行制御信号EN_Y[0]及び列制御信号EN_X[0]を出力することができる。上述のとおり、コントロールブロック210は、イベントベースセンサーの動作モードに基づいて第1制御信号(CTRL1)を出力する。
ピクセルアレイ220のピクセルは、動的入力に反応して活性化信号を出力するピクセル回路を含む。例えば、ピクセル回路は、入射される光の強さの変化が予め決められたしきい値を超えると活性化信号を出力することができる。
ピクセル回路は動的入力を感知するのに電源を消費する。ピクセルアレイ220のピクセルは、第1制御信号(CTRL1)に基づいて当該ピクセル回路に電源を供給または遮断することができる。例えば、ピクセル221は、デジタルハイに対応する行制御信号EN_Y[0]及び列制御信号EN_X[0]を受信することにより、ピクセル221のピクセル回路に電源を供給することができる。逆に、ピクセル221を除いた残りのピクセルは、ロー状態(low state)のデジタル信号(以下、「デジタルロー」とする)に該当する行制御信号EN_Y[i]及び列制御信号EN_X[j]を受信することにより、ピクセル回路から電源を遮断することができる。
ピクセルアレイ220のピクセルは、ピクセル回路に供給される電源を制御する電源制御回路を含むことができる。電源制御回路は、論理ゲート素子、メモリセル、及びトランジスタのうち少なくとも一つを含むことができる。図2では一つのピクセルに一対の制御ラインが接続されるように示されているが、電源制御回路の構造に応じて、一つのピクセルに二対以上の制御ラインが接続されることもできる。例えば、電源制御回路が第1制御信号(CTRL1)を受信する二つの論理ゲートと、上記二つの論理ゲートの出力に応じてピクセル回路に電源を供給または遮断する一つの論理ゲートと、を含む場合、上記電源制御回路には上記二つの論理ゲートのための二対以上の制御ラインが提供されることができる。
図3は一実施形態によるピクセルアレイのピクセルを示す図である。図3を参照すると、ピクセル300は、電源制御回路310と、ピクセル回路320と、を含む。図3では電源素子330及び接地340がピクセル300の内部に位置するように示されているが、これは電源素子330、接地340、及び残りの回路との接続関係を示すためのものであるだけで、電源素子330及び接地340は、ピクセル300の外部に位置することもできる。これは、以下で説明する他の図の電源素子及び接地についての説明にも同様に適用されることができる。
電源制御回路310は第1制御信号(CTRL1)を受信する。第1制御信号(CTRL1)は、行制御信号EN_Y及び列制御信号EN_Xを含むことができる。電源制御回路310は、第1制御信号(CTRL1)に基づいて電源素子330をピクセル回路320に接続するか、または電源素子330とピクセル回路320の間の接続を解除することができる。電源素子330は、電源素子330とピクセル回路320の間の接続に応じてピクセル回路320に電源を供給することができる。ピクセル回路320は、電源素子330から供給される電源を用いて動的入力を感知して活性化信号を出力することができる。電源制御回路310は、電源素子330とピクセル回路320の間の接続を制御するための様々な構造で実現されることができる。
図4は一実施形態による論理ゲート回路を含む電源制御回路を示す図である。図4を参照すると、ピクセル400は、電源制御回路410と、ピクセル回路420と、を含む。
電源制御回路410は、論理ゲート回路411と、スイッチ412と、を含む。図4では論理ゲート回路411が一つのANDゲートを含むように示されているが、論理ゲート回路411は、二つ以上の論理ゲートを含むか、または他のタイプの論理ゲートを含むことができる。論理ゲート回路411に論理ゲートがさらに含まれる場合、図4に示された制御ラインの他に、追加の制御ラインが提供されることができる。
論理ゲート回路411は、第1制御信号(CTRL1)に基づいた論理演算の結果に対応する第2制御信号(CTRL2)を出力する。論理ゲート回路411は、第1制御信号(CTRL1)に基づいて論理演算を行い、論理演算の結果による第2制御信号(CTRL2)を出力することができる。例えば、行制御信号EN_Y及び列制御信号EN_Xがデジタルハイである場合、論理ゲート回路411のANDゲートは、デジタルハイに該当する第2制御信号(CTRL2)を出力することができる。または、行制御信号EN_Y及び列制御信号EN_Xのうち少なくとも一つがデジタルローである場合、論理ゲート回路411のANDゲートは、デジタルローに該当する第2制御信号(CTRL2)を出力することができる。論理ゲート回路411がANDゲートではない他のタイプのゲートを含む場合、論理ゲート回路411は、当該論理ゲートの論理演算による第2制御信号(CTRL2)を出力することができる。
スイッチ412は、第2制御信号(CTRL2)に基づいて電源素子430とピクセル回路420の間の接続を短絡または開放することができる。例えば、スイッチ412は、デジタルハイに該当する第2制御信号(CTRL2)に基づいて電源素子430とピクセル回路420の間の接続を短絡することができ、デジタルローに該当する第2制御信号(CTRL2)に基づいて電源素子430とピクセル回路420の間の接続を開放することができる。スイッチ412の動作に応じて、電源素子430の電源がピクセル回路420に供給されるか、または遮断されることができる。図4ではスイッチ412が電源素子430とピクセル回路420の間に位置するように示されているが、スイッチ412は、ピクセル回路420と接地440の間に位置することもできる。
図5は一実施形態によるメモリセルを含む電源制御回路を示す図である。図5を参照すると、ピクセル500は、電源制御回路510と、ピクセル回路520と、を含む。
論理ゲート回路を用いて第2制御信号(CTRL2)を生成する場合、同一の行または列に位置するピクセルの間に干渉が発生することがある。例えば、ピクセルがANDゲートを用いて第2制御信号(CTRL2)を生成すると仮定する。コントロールブロックは、1行1列に位置するピクセルP[1、1]、及び2行2列に位置するピクセルP[2、2]に電源を供給するために、デジタルハイに該当する行制御信号EN_Y[0-1]及び列制御信号EN_X[0-1]を出力することができる。この際、行制御信号EN_Y[0-1]及び列制御信号EN_X[0-1]に応じて、ピクセルP[1、1]、P[2、2]だけでなく、1行2列に位置するピクセルP[1、2]及び2行1列に位置するピクセルP[2、1]にも電源が供給されることができる。メモリセル511が用いられる場合は、これらピクセルの間の干渉が除去されることができる。
電源制御回路510は、メモリセル511と、スイッチ512と、を含む。メモリセル511はSRAMであってもよい。行制御信号EN_Y及び列制御信号EN_Xは、メモリセル511においてワードライン信号及びビットライン信号として用いられることができる。メモリセル511は、第1制御信号(CTRL1)に基づいてデータを保存することができる。例えば、メモリセル511は、行制御信号EN_Y及び列制御信号EN_Xによって指示されるアドレスがメモリセル511のアドレスに対応することに応えて、デジタルハイに該当するデータをメモリセル511に保存することができる。図示していないが、メモリセル511にデータを保存するためのデータラインが接続されることができる。メモリセル511は、保存されたデータをスイッチ512に出力することができる。メモリセル511から出力されるデータは第2制御信号(CTRL2)としてスイッチ512に提供されることができる。
スイッチ512は、メモリセル511に保存されたデータに基づいて電源素子530とピクセル回路520の間の接続を短絡または開放することができる。例えば、スイッチ512は、デジタルハイに該当する第2制御信号(CTRL2)に基づいて電源素子530とピクセル回路520の間の接続を短絡することができ、デジタルローに該当する第2制御信号(CTRL2)に基づいて電源素子530とピクセル回路520の間の接続を開放することができる。スイッチ512の動作に応じて、電源素子530の電源がピクセル回路520に供給されるか、または遮断されることができる。図5ではスイッチ512が電源素子530とピクセル回路520の間に位置するように示されているが、スイッチ512は、ピクセル回路520と接地540の間に位置することもできる。
図4及び図5では電源制御回路が論理ゲート回路及びメモリセルのうちいずれか一つを含む実施形態を説明したが、電源制御回路は、論理ゲート回路及びメモリセルをすべて含むことができる。この場合、電源制御回路は、論理ゲート回路とメモリセルの相互動作に基づいて第2制御信号(CTRL2)を出力することができる。
図6は一実施形態によるトランジスタを含む電源制御回路を示す図である。図6を参照すると、ピクセル600は、電源制御回路610と、ピクセル回路620と、を含む。
電源制御回路610は、トランジスタ611と、トランジスタ612と、を含む。トランジスタ611、612は、PMOS(p-type metal-oxide-semiconductor)トランジスタであってもよい。トランジスタ611は、行制御信号EN_Yの反転信号
Figure 0007149694000001
を受信し、トランジスタ612は、列制御信号EN_Xの反転信号
Figure 0007149694000002
を受信する。列制御信号EN_X及び行制御信号EN_Yがデジタルハイに該当する場合、反転信号
Figure 0007149694000003
はデジタルローに該当し、この場合、PMOSトランジスタであるトランジスタ611、612がオン(ON)となり、ピクセル回路620に電源を供給することができる。
図示していないが、トランジスタ611、612の代わりに二つのNMOS(n-type metal-oxide-semiconductor)トランジスタがピクセル回路620と接地640の間に直列接続されることができる。この場合、列制御信号EN_X及び行制御信号EN_Yは反転しなくてもよい。
図6を参照すると、トランジスタ611のソース(S1)は電源素子630に接続され、トランジスタ611のドレイン(D1)はトランジスタ612のソース(S2)に接続され、トランジスタ612のドレイン(D2)はピクセル回路620に接続される。また、反転信号
Figure 0007149694000004
はトランジスタ611のゲート(G1)に入力され、反転信号
Figure 0007149694000005
はトランジスタ612のゲート(G2)に入力される。トランジスタ611は、ゲート(G1)に入力される反転信号
Figure 0007149694000006
に基づいて、ソース(S1)に入力される電源をトランジスタ612に出力することができ、トランジスタ612は、ゲート(G2)に入力される反転信号
Figure 0007149694000007
に基づいて、ソース(S2)に入力される電源をピクセル回路620に出力することができる。
一例として、イベントベースセンサーのコントロールブロックは、ピクセル回路620に電源を供給するために、デジタルハイに該当する行制御信号EN_Y及び列制御信号EN_Xを出力することができる。この場合、反転信号
Figure 0007149694000008
は、デジタルローとなる。ゲート(G1)にデジタルローが入力されることにより、トランジスタ611は、ソース(S1)に入力される電源をトランジスタ612に出力することができ、ゲート(G2)にデジタルローが入力されることにより、トランジスタ612は、ソース(S2)に入力される電源をピクセル回路620に出力することができる。
他の例として、イベントベースセンサーのコントロールブロックは、ピクセル回路620に供給される電源を遮断するために、デジタルローに該当する行制御信号EN_Yまたは列制御信号EN_Xを出力することができる。この場合、反転信号
Figure 0007149694000009
または反転信号
Figure 0007149694000010
は、デジタルハイとなる。ゲート(G1)にデジタルハイが入力されることにより、トランジスタ611は、ソース(S1)からドレイン(D1)への電流を遮断することができる。または、ゲート(G2)にデジタルハイが入力されることにより、トランジスタ612は、ソース(S2)からドレイン(D2)への電流を遮断することができる。
このように、図6の実施形態のように二つのトランジスタで構成される電源制御回路610は、ANDゲート及びスイッチで構成される電源制御回路と実質的に同一に動作することができる。
図7は一実施形態によるプルダウントランジスタを含む電源制御回路を示す図である。図7を参照すると、ピクセル700は、電源制御回路710と、プルダウン(pull down)トランジスタ721、722と、ピクセル回路730と、を含む。電源制御回路710は、トランジスタ711と、トランジスタ712と、を含む。トランジスタ711、712に関しては、図6についての説明が適用されることができる。
トランジスタ711、712のゲート(G1、G2)にデジタルハイが入力されると、トランジスタ711、712のドレイン(D1、D2)はフローティング(floating)される可能性がある。ドレイン(D2)がフローティングされると、適切な時点にピクセル回路730から電源が遮断されないという誤動作をもたらすおそれがある。プルダウントランジスタ721、722は、ドレイン(D2)がフローティングされることを防止することにより、かかる誤動作を防止することができる。
プルダウントランジスタ721、722はNMOSトランジスタであってもよい。図7を参照すると、プルダウントランジスタ721、722のドレイン(D3、D4)はドレイン(D2)に接続され、プルダウントランジスタ721、722のソース(S3、S4)は接地750に接続される。また、反転信号
Figure 0007149694000011
はプルダウントランジスタ721のゲート(G3)に入力され、反転信号
Figure 0007149694000012
はプルダウントランジスタ722のゲート(G4)に入力される。プルダウントランジスタ721は、ゲート(G3)に入力される反転信号
Figure 0007149694000013
に基づいて、ドレイン(D2)にフローティングされた電荷を接地750に引き抜くことができ、プルダウントランジスタ722は、ゲート(G4)に入力される反転信号
Figure 0007149694000014
に基づいて、ドレイン(D2)にフローティングされた電荷を接地750に引き抜くことができる。図7とは異なって、ドレイン(D4)はドレイン(D1)に接続されることができる。この場合、プルダウントランジスタ722は、ゲート(G4)に入力される反転信号
Figure 0007149694000015
に基づいて、ドレイン(D1)にフローティングされた電荷を接地750に引き抜くことができる。
したがって、プルダウントランジスタ721、722の動作に応じて、ドレイン(D2)がフローティングされることが原因で生じ得る誤動作を防止することができる。
図8は他の実施形態によるプルダウントランジスタを含む電源制御回路を示す図である。図8を参照すると、ピクセル800は、電源制御回路810と、プルダウントランジスタ821と、ピクセル回路830と、を含む。電源制御回路810のトランジスタ811、812及びプルダウントランジスタ821に関しては、図6及び図7についての説明が適用されることができる。
イベントベースセンサーはコモン(common)プルダウントランジスタ822を含むことができる。コモンプルダウントランジスタ822は、ピクセルアレイの内部または外部に位置することができる。コモンプルダウントランジスタ822は、コモンプルダウントランジスタ822のゲート(G5)に入力される反転信号
Figure 0007149694000016
に基づいて、トランジスタ811のドレイン(D1)にフローティングされた電荷を接地852に引き抜くことができる。コモンプルダウントランジスタ822は、ピクセル800以外の他のピクセルに含まれるトランジスタのドレインにも接続されることができる。他のピクセルは、コモンプルダウントランジスタ822を用いてそれぞれのピクセルのドレインがフローティングされることを防止することができる。その他、コモンプルダウントランジスタ822に関しては、図7のプルダウントランジスタ722についての説明が適用されることができる。
図8とは異なって、プルダウントランジスタ821は、コモンプルダウントランジスタ822のようにピクセル800以外の他のピクセルに含まれるトランジスタのドレインにも接続されることができる。この場合、プルダウントランジスタ821は、ピクセル800の外部に位置することができ、コモンプルダウントランジスタと呼ばれることができる。他のピクセルは、プルダウントランジスタ821を用いてそれぞれのピクセルのドレインがフローティングされることを防止することができる。
図9は一実施形態による複数の動作モードに基づいたセンシング装置を示すブロック図である。図9を参照すると、センシング装置900は、プロセッサ910と、イベントベースセンサー920と、を含む。図9ではプロセッサ910がイベントベースセンサー920の外部に位置するように示されているが、プロセッサ910はイベントベースセンサー920の内部に位置することもできる。
上述のとおり、イベントベースセンサー920は、状況に応じて様々な動作モードで動作することができる。イベントベースセンサー900の動作モードは、サブサンプリングモード、関心領域モード、領域遮断モード、領域モニタリングモード、及びランダムアクセスモードなどを含むことができる。プロセッサ910は、イベントベースセンサー920によって出力されたイベント信号に基づいてイベントベースセンサー920の動作モードを設定することができる。イベントベースセンサー920は、初期に全体活性モード(fully activated mode)で動作することができる。全体活性モードでピクセルアレイのすべてのピクセルに電源が供給されることができる。
サブサンプリングモードは、ピクセルアレイのセンシング解像度を下げるための動作モードである。一実施形態によると、予め決められた時間区間(T1)の間イベントベースセンサー920からの動的入力が感知されない場合、プロセッサ910は、イベントベースセンサー920の動作モードをサブサンプリングモードに設定することができる。時間区間(T1)の間イベントベースセンサー920から受信されるイベント信号の数が予め決められたしきい値(TH1)未満の場合、プロセッサ910は、イベントベースセンサー920の動作モードをサブサンプリングモードに設定することができる。
サブサンプリングモードにおいて、一定のサイズの領域に含まれるピクセルのうち一部のピクセルにのみ電源が供給され、残りのピクセルに供給される電源は遮断されることができる。プロセッサ910は、一定の時間動的入力がない状況でサブサンプリングモードを通じてイベントベースセンサー920の消費電力を減少させることができる。また、サブサンプリングモードで予め決められた時間区間(T2)の間予め決められたしきい値(TH2)を超える数のイベント信号が受信される場合は、イベントベースセンサー920の動作モードは、サブサンプリングモードから全体活性モードに転換されることができる。
関心領域モードは、関心領域に含まれるピクセルに電源を供給する動作モードである。一実施形態によると、予め決められた時間区間(T3)の間ピクセルアレイの一部の領域(A1)にのみ動的入力が感知される場合、プロセッサ910は、イベントベースセンサー920の動作モードを関心領域モードに設定することができる。時間区間(T3)の間受信されるイベント信号が一部の領域(A1)に制限される場合、またはユーザーインターフェースなどによって入力領域が一部の領域(A1)に制限される場合、プロセッサ910は、イベントベースセンサー920の動作モードを関心領域モードに設定することができる。関心領域モードにおいて、一部の領域(A1)は関心領域として設定されることができる。
関心領域モードにおいて、関心領域に含まれるピクセルにのみ電源が供給され、残りのピクセルに供給される電源は遮断されることができる。プロセッサ910は、第3制御信号(CTRL3)を通じて電源が供給されるピクセル、及び電源が遮断されるピクセルを指示することができる。プロセッサ910は、一部の領域(A1)において動的入力が発生する状況で関心領域モードを通じてイベントベースセンサー920の消費電力を減少させることができる。イベントベースセンサー920の動作モードが関心領域モードに設定された後、予め決められた時間(T4)が経過するか、またはユーザーインターフェースによる制限が解除される場合、イベントベースセンサー920の動作モードは、関心領域モードから全体活性モードに転換されることができる。
領域遮断モードは、遮断領域に含まれるピクセルから電源を遮断する動作モードである。一実施形態によると、ピクセルアレイの一部の領域(A2)で無意味なイベントによるイベント信号が発生すると判断される場合、プロセッサ910は、イベントベースセンサー920の動作モードを領域遮断モードに設定することができる。無意味なイベントは、ディスプレイ画面、風に揺れる木、雪、雨、及び太陽などのようなフリッカリングオブジェクト(flickering object)による動的入力を含むことができる。プロセッサ910は、一部の領域(A2)に関する累積イベント数に基づいてイベントベースセンサー920の動作モードを領域遮断モードに設定することができる。領域遮断モードにおいて、一部の領域(A2)は遮断領域として設定されることができる。
領域遮断モードにおいて、遮断領域に含まれるピクセルに供給される電源は遮断され、残りのピクセルにのみ電源が供給されることができる。プロセッサ910は、第3制御信号(CTRL3)を通じて電源が供給されるピクセル、及び電源が遮断されるピクセルを指示することができる。プロセッサ910は、一部の領域(A2)においてフリッカリングオブジェクトによる動的入力が発生する状況で領域遮断モードを通じてイベントベースセンサー920の消費電力を減少させることができる。イベントベースセンサー920の動作モードが領域遮断モードに設定された後、予め決められた時間(T4)が経過した場合、イベントベースセンサー920の動作モードは領域遮断モードから全体活性モードに転換されることができる。
領域モニタリングモードは、モニタリング領域の解像度を下げるための動作モードである。一実施形態によると、ピクセルアレイの一部の領域(A3)で予め決められた時間区間(T5)の間動的入力が感知されないか、または一部の領域(A3)で無意味なイベントによるイベント信号が発生すると判断される場合、プロセッサ910は、イベントベースセンサー920の動作モードを領域モニタリングモードに設定することができる。無意味なイベントは、フリッカリングオブジェクトによる動的入力を含むことができる。時間区間(T5)の間一部の領域(A3)のピクセルから出力されるイベント信号の数が予め決められたしきい値(TH3)未満であるか、または一部の領域(A3)に関する累積イベントの数が予め決められたしきい値(TH4)を超える場合、プロセッサ910は、イベントベースセンサー920の動作モードを領域モニタリングモードに設定することができる。領域モニタリングモードにおいて、一部の領域(A3)はモニタリング領域として設定されることができる。
領域モニタリングモードにおいて、モニタリング領域に含まれるピクセルのうち一部のピクセルにのみ電源が供給され、残りのピクセルに供給される電源は遮断されることができる。プロセッサ910は、第3制御信号(CTRL3)を通じて電源が供給されるピクセル、及び電源が遮断されるピクセルを指示することができる。プロセッサ910は、一部の領域(A3)で一定の時間の間(T6)動的入力がない場合、または一部の領域(A3)でフリッカリングオブジェクトによる動的入力が発生する状況で領域モニタリングモードを通じてイベントベースセンサー920の消費電力を減少させることができる。モニタリング領域で予め決められたしきい値(TH5)を超える数のイベント信号が受信されるか、またはイベントベースセンサー920の動作モードが領域モニタリングモードに設定された後、予め決められた時間(T7)が経過した場合、イベントベースセンサー920の動作モードは、領域モニタリングモードから全体活性モードに転換されることができる。
ランダムアクセスモードは、ランダムアクセスを通じてピクセル単位のセンシングを行うか、または遮断する動作モードである。ランダムアクセスモードにおいて、ピクセルアレイの特定のピクセルに電源を供給するか、または特定のピクセルの電源を遮断することができる。一実施形態によると、ピクセルアレイのピクセル(P1)が過熱するか、ピクセル(P1)から誤動作が感知されるか、またはピクセル(P1)が死んだ(dead)と判断された場合、プロセッサ910は、イベントベースセンサー920の動作モードをランダムアクセスモードに設定することができる。プロセッサ910は、ピクセル(P1)の温度、またはピクセル(P1)からのイベント信号が正常に受信されないことにより、イベントベースセンサー920の動作モードをランダムアクセスモードに設定することができる。ランダムアクセスモードにおいて、ピクセル(P1)に供給される電源は遮断され、残りのピクセルにのみ電源が供給されることができる。プロセッサ910は、第3制御信号(CTRL3)を通じて電源が供給されるピクセル、及び電源が遮断されるピクセルを指示することができる。
ランダムアクセスモードにおいて、電源の遮断は一部のピクセルに個別に行われるため、ランダムアクセスモードは残りのモードと並列に適用されることができる。プロセッサ910は、ピクセルアレイの一部のピクセルに問題がある状況でランダムアクセスモードを通じてイベントベースセンサー920の消費電力を減少させ、当該ピクセルによる誤動作を防止することができる。過熱されたピクセルの温度が正常に低くなる場合、プロセッサ910は、当該ピクセルに電源を供給するよう、第3制御信号(CTRL3)を出力することができる。
図2を参照すると、第3制御信号(CTRL3)は駆動が要求されるピクセルを指示することができる。例えば、第3制御信号(CTRL3)は、列制御信号EN_X[j]及び行制御信号EN_Y[i]のデジタル値を含むことができる。コントロールブロック210は、第3制御信号(CTRL3)に基づいて制御ラインにデジタルハイまたはデジタルローを出力することができる。プロセッサは、コントロールブロック210に第3制御信号(CTRL3)を並列または直列に伝送することができる。第3制御信号(CTRL3)が直列に伝送される場合、コントロールブロック210は、シフト演算を通じて第3制御信号(CTRL3)をロードすることができる。この場合、コントロールブロック210は、シフト演算のためのシフトレジスタを含むことができる。
図10は一実施形態によるサブサンプリングモードのピクセルアレイを示す図である。図10を参照すると、ピクセルアレイ1000及び領域1005が示されている。ピクセルアレイ1000のピクセルに含まれる電源制御回路は、ANDゲート及びスイッチを含むか、またはトランジスタを含むことができる。上述のとおり、ピクセルアレイ1000は、サブサンプリングモードで解像度を下げることができる。図10は、ピクセルアレイ1000の解像度を最大解像度の1/4に下げたことを例示したものである。コントロールブロックは、第3制御信号(CTRL3)に基づいて、図10に示された行制御信号EN_Y及び列制御信号EN_Xを出力することができる。行制御信号EN_Y及び列制御信号EN_Xの1はデジタルハイに対応し、0はデジタルローに対応する。図10において、陰影処理されていないピクセルは電源の供給を受けるピクセルを示し、陰影処理されたピクセルは電源が遮断されたピクセルを示す。これは、以下で説明される他の図の行制御信号EN_Y、列制御信号EN_X、及びピクセルにも同様に適用されることができる。行制御信号EN_Y及び列制御信号EN_Xに応じて領域1005に含まれる4つのピクセルのうち一つのピクセルにのみ電源が供給されることが確認できる。
図11は一実施形態による関心領域モードのピクセルアレイを示す図である。図11を参照すると、ピクセルアレイ1100及び領域1105が示されている。領域1105は関心領域を示す。ピクセルアレイ1100のピクセルに含まれる電源制御回路は、ANDゲート及びスイッチを含むか、またはトランジスタを含むことができる。上述のとおり、ピクセルアレイ1100は、関心領域モードで領域1105に含まれるピクセルにのみ電源を供給することができる。コントロールブロックは、第3制御信号(CTRL3)に基づいて、図11に示された行制御信号EN_Y及び列制御信号EN_Xを出力することができる。行制御信号EN_Y及び列制御信号EN_Xに応じて領域1105に含まれるピクセルにのみ電源が供給され、残りのピクセルには電源が遮断されることが確認できる。
図12は一実施形態による領域遮断モードのピクセルアレイを示す図である。図12を参照すると、ピクセルアレイ1200及び領域1205が示されている。領域1205は遮断領域を示す。ピクセルアレイ1200のピクセルに含まれる電源制御回路は、ORゲート及びスイッチを含むことができる。上述のとおり、ピクセルアレイ1200は、領域遮断モードで領域1205に含まれるピクセルに供給される電源を遮断することができる。コントロールブロックは、第3制御信号(CTRL3)に基づいて、図12に示された行制御信号EN_Y及び列制御信号EN_Xを出力することができる。行制御信号EN_Y及び列制御信号EN_Xに応じて領域1205に含まれるピクセルに供給される電源が遮断され、残りのピクセルには電源が供給されることが確認できる。
図13は一実施形態による領域モニタリングモードのピクセルアレイを示す図である。図13を参照すると、ピクセルアレイ1300及び領域1305、1310が示されている。領域1305はモニタリング領域を示す。ピクセルアレイ1300のピクセルに含まれる電源制御回路は、複数のゲート及びスイッチを含むことができる。この電源制御回路は図14を用いて後述する。上述のとおり、ピクセルアレイ1300は、領域モニタリングモードで領域1305の解像度を下げることができる。図13は、領域1305の解像度を最大解像度の1/4に下げたことを例示したものである。コントロールブロックは、第3制御信号(CTRL3)に基づいて、図12に示された行制御信号EN_Y1、EN_Y2及び列制御信号EN_X1、EN_X2を出力することができる。行制御信号EN_Y1、EN_Y2及び列制御信号EN_X1、EN_X2に応じて領域1305に含まれる4つのピクセルのうち一つのピクセルにのみ電源が供給され、残りのピクセルに供給される電源は遮断されることが確認できる。
図14は一実施形態による複数の論理ゲートを含む電源制御回路を示す図である。図14を参照すると、ピクセル1400は、電源制御回路1410及びピクセル回路1420を含む。
電源制御回路1410は、論理ゲート回路及びスイッチ1411を含む。論理ゲート回路は、論理ゲート1416、1417、1418を含む。論理ゲート1416には行制御信号EN_Y1及び列制御信号EN_X1が提供され、論理ゲート1417には行制御信号EN_Y2及び列制御信号EN_X2が提供される。論理ゲート1418には論理ゲート1416、1417の出力信号が提供される。論理ゲート1418は、論理ゲート1416、1417の出力信号に基づいて第2制御信号(CTRL2)を出力する。
スイッチ1411は、第2制御信号(CTRL2)に基づいて電源素子1430とピクセル回路1420の間の接続を短絡または開放することができる。例えば、スイッチ1411は、デジタルハイに該当する第2制御信号(CTRL2)に基づいて電源素子1430とピクセル回路1420の間の接続を短絡することができ、デジタルローに該当する第2制御信号(CTRL2)に基づいて電源素子1430とピクセル回路1420の間の接続を開放することができる。スイッチ1411の動作に応じて、電源素子1430の電源がピクセル回路1420に供給されるか、または遮断されることができる。行制御信号EN_Y1、EN_Y2及び列制御信号EN_X1、EN_X2による電源供給の例は図13に示されている。
図15は一実施形態によるランダムアクセスモードのピクセルアレイを示す図である。図15を参照すると、ピクセルアレイ1500内のホット(hot)ピクセルH及びデッド(dead)ピクセルDが示されている。ピクセルアレイ1500のピクセルに含まれる電源制御回路はメモリセルを含むことができる。上述のとおり、コントロールブロックは、ランダムアクセスモードにおいて、一部のピクセルのH、Dのメモリセルにデジタルローを保存することにより、一部のピクセルのH、Dに供給される電源を遮断することができる。
図16は一実施形態による電源制御回路の構造がピクセル毎に異なるピクセルアレイを示す図である。図16を参照すると、ピクセルアレイ1600及び領域1605、1610が示されている。領域1605はモニタリング領域を示し、図13を用いて説明したようにピクセルアレイ1600は、領域モニタリングモードで領域1605の解像度を下げることができる。但し、図13の実施形態では、各ピクセルの電源制御回路の構造が同一でありながら複数の制御信号を用いたのに対し、図16の実施形態では、単一の制御信号を用いながら電源制御回路の構造がピクセル毎に異なってもよい。
例えば、モニタリング領域1605内のピクセルのうち1/4のサンプリングのための領域1610に該当するピクセルは、図5のようにメモリセルを含む構造の電源制御回路を含むことができる。モニタリング領域1605内の残りのピクセルは、図4の実施形態のように論理ゲート回路を含む構造、または図6~図8のいずれか一つの実施形態のようにトランジスタを含む構造の電源制御回路を含むことができる。この場合、ピクセルアレイ1600を領域モニタリングモードで動作させるために、単一の制御信号EN_X及びEN_Yのみが用いられることができる。
上述の例示以外にも、ピクセルアレイ1600に含まれる電源制御回路の構造はピクセル毎に多様に変形されることができる。これにより、ピクセルアレイ1600の様々な動作モードが実現されることができる。
以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び/またはハードウェア構成要素とソフトウェア構成要素の組み合わせで実現されることができる。例えば、実施形態で説明された装置、方法、及び構成要素は、一例として、プロセッサ、コントローラ、ALU(Arithmetic Logic Unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPGA(Field Programmable Gate Array)、PLU(Programmable Logic Unit)、マイクロプロセッサ、または命令(instruction)を実行して応答することができる他のあらゆる装置と同様に、一つ以上の汎用コンピュータまたは特殊目的のコンピュータを用いて実現されることができる。処理装置は、オペレーティングシステム(OS)、及び上記オペレーティングシステム上で動作される一つ以上のソフトウェアアプリケーションを実行することができる。また、処理装置は、ソフトウェアの実行に応答して、データをアクセス、保存、操作、処理、及び生成することもできる。理解の便宜のために、処理装置は、一つが使用されるように説明されることもできるが、当該技術分野で通常の知識を有する者は、処理装置が、複数の処理要素(processing element)及び/または複数の種類の処理要素を含むことができることが分かる。例えば、処理装置は、複数のプロセッサまたは一つのプロセッサ及び一つのコントローラを含むことができる。また、並列プロセッサ(parallel processor)のような、他の処理構成(processing configuration)も可能である。
ソフトウェアは、コンピュータプログラム(computer program)、コード(code)、命令(instruction)、またはこれらのうち一つ以上の組み合わせを含むことができ、自由に動作するように処理装置を構成するか、または独立的あるいは結合的に(collectively)処理装置を命令することができる。ソフトウェア及び/またはデータは、処理装置によって解釈されるか、処理装置に命令またはデータを提供するために、或る種類の機械、構成要素(component)、物理装置、仮想装置(virtual equipment)、コンピュータ保存媒体または装置、または伝送される信号波(signal wave)に、永久的または一時的に具体化(embody)されることができる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散されて、分散された方法で保存されるか、または実行されることもできる。ソフトウェア及びデータは一つ以上のコンピュータ読み取り可能記録媒体に保存されることができる。
実施形態による方法は、様々なコンピュータ手段を通じて行われることができるプログラム命令の形で実現されて、コンピュータ読み取り可能媒体に記録されることができる。上記コンピュータ読み取り可能媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。上記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェアの当業者に公知されて使用可能なものであってもよい。コンピュータ読み取り可能記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク、及び磁気テープのような磁気媒体(magnetic media)、CD-ROM、DVDのような光記録媒体(optical media)、フロプティカルディスク(floptical disk)のような磁気-光媒体(magneto-optical media)、及びロム(ROM)、ラム(RAM)、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラによって作成されたもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行されることができる高級言語コードを含む。上記ハードウェア装置は、実施形態の動作を行うために一つ以上のソフトウェアモジュールとして動作するように構成されることができ、その逆も同様である。
以上のように実施形態は限られた図面によって説明されたが、当該技術分野で通常の知識を有する者であれば、上述の内容を基礎に様々な技術的修正及び変形を適用することができる。例えば、説明された技術が説明されている方法及び他の順序で実行されるか、及び/または説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合または組み合わせられるか、他の構成要素または均等物によって対峙または置換されても、適切な結果が達成されることができる。
110、920 イベントベースセンサー
111 コントローラ
112 信号処理部
113、210 コントロールブロック
115、220、1000、1100、1200、1300、1500、1600 ピクセルアレイ
300、400、500、600、700、800、1400 ピクセル
310、410、510、610、710、810、1410 電源制御回路
320、420、520、620、730、830、1420 ピクセル回路
330、430、530、630、740、840、1430 電源素子
340、440、540、640、750、851、852、1440 接地
411、1416、1417、1418 論理ゲート
412、512、1411 スイッチ
511 メモリセル
611、612、711、712、811、812 トランジスタ
721、722、821 プルダウントランジスタ
822 コモンプルダウントランジスタ

Claims (20)

  1. イベントベースセンサーであり、
    動的入力に反応して活性化信号を出力する複数のピクセルを含むピクセルアレイと、
    前記活性化信号を受信し、前記活性化信号に基づいてイベント信号を出力する信号処理部と、
    設定された動作モードに応じて、前記複数のピクセルのうち少なくとも一部のピクセルに電源を供給または遮断するための制御信号を出力するコントロールブロックと、
    を含むイベントベースセンサーと、
    前記イベント信号を受信し、イベント信号に基づいて前記イベントベースセンサーの前記動作モードを設定するプロセッサと、
    を含み、
    前記複数のピクセルのそれぞれは、
    前記活性化信号を出力するピクセル回路と、
    前記制御信号に基づいて前記ピクセル回路に前記電源を供給または遮断する電源制御回路と、
    を含む、
    センシング装置。
  2. 前記電源制御回路は、
    前記制御信号に基づいて動作する論理ゲート回路と、
    前記制御信号に基づいて動作するメモリセルと、
    のうち少なくとも一つを含む、請求項に記載のセンシング装置。
  3. 前記論理ゲート回路は、前記制御信号に基づいた論理演算の結果に対応する出力信号を出力する、請求項に記載のセンシング装置。
  4. 前記メモリセルは、前記制御信号に基づいて保存されたデータに対応する出力信号を出力する、請求項に記載のセンシング装置。
  5. 前記メモリセルは、前記制御信号が指示するアドレスが前記メモリセルのアドレスに対応することに応えて前記データを保存する、請求項に記載のセンシング装置。
  6. 前記電源制御回路は、前記制御信号に基づいて前記ピクセル回路に前記電源を供給または遮断する少なくとも一つのトランジスタを含む、請求項に記載のセンシング装置。
  7. 前記複数のピクセルのそれぞれは、前記少なくとも一つのトランジスタのドレインがフローティングされることを防止する少なくとも一つのプルダウントランジスタをさらに含む、請求項に記載のセンシング装置。
  8. 前記ピクセルアレイは、前記複数のピクセルに含まれる複数のトランジスタのドレインがフローティングされることを防止する少なくとも一つのコモンプルダウントランジスタをさらに含む、請求項に記載のセンシング装置。
  9. 前記制御信号は、前記ピクセルアレイの行を制御する行制御信号と、前記ピクセルアレイの列を制御する列制御信号と、を含み、
    前記少なくとも一つのトランジスタは、前記列制御信号に基づいて前記ピクセル回路に前記電源を供給または遮断する第1トランジスタと、前記行制御信号に基づいて前記ピクセル回路に前記電源を供給または遮断する第2トランジスタと、を含む、請求項に記載のセンシング装置。
  10. 前記第1トランジスタ及び前記第2トランジスタは互いに直列接続されている、請求項に記載のセンシング装置。
  11. 前記複数のピクセルのそれぞれは、
    前記列制御信号に基づいて前記第1トランジスタのドレインがフローティングされることを防止する第1プルダウントランジスタと、
    前記行制御信号に基づいて前記第2トランジスタのドレインがフローティングされることを防止する第2プルダウントランジスタと、
    をさらに含む、請求項に記載のセンシング装置。
  12. 前記電源制御回路は、前記電源を供給する電源素子と前記ピクセル回路の間に位置し、前記制御信号に基づいて前記電源素子と前記ピクセル回路の間の接続を短絡または開放する、請求項乃至11の何れか一項に記載のセンシング装置。
  13. 前記電源制御回路は、
    前記ピクセル回路と接地(ground)の間に位置し、前記制御信号に基づいて前記ピクセル回路と前記接地の間の接続を短絡または開放する、請求項乃至11の何れか一項に記載のセンシング装置。
  14. 前記コントロールブロックは、
    前記ピクセルアレイの行を制御する行制御信号を出力するローコントロールブロックと、
    前記ピクセルアレイの列を制御する列制御信号を出力するコラムコントロールブロックと、
    を含む、請求項1乃至13の何れか一項に記載のセンシング装置。
  15. 前記動作モードがサブサンプリングモードである場合、前記コントロールブロックは、前記ピクセルアレイに含まれるピクセルのうちサブサンプリング領域に含まれる一部のピクセルに前記電源が供給されるよう、前記制御信号を出力する、請求項1乃至14の何れか一項に記載のセンシング装置。
  16. 前記動作モードが関心領域モードである場合、前記コントロールブロックは、関心領域に含まれるピクセルに前記電源が供給されるよう、前記制御信号を出力する、請求項1乃至14の何れか一項に記載のセンシング装置。
  17. 前記動作モードが領域遮断モードである場合、前記コントロールブロックは、遮断領域に含まれるピクセルに前記電源が遮断されるよう、前記制御信号を出力する、請求項1乃至14の何れか一項に記載のセンシング装置。
  18. 前記動作モードが領域モニタリングモードである場合、前記コントロールブロックは、モニタリング領域に含まれるピクセルのうち一部のピクセルに前記電源が供給されるよう、前記制御信号を出力する、請求項1乃至14の何れか一項に記載のセンシング装置。
  19. 前記動作モードがランダムアクセスモードである場合、前記コントロールブロックは、ランダムアクセスされる少なくとも一つのピクセルに前記電源が供給または遮断されるよう、前記制御信号を出力する、請求項1乃至14の何れか一項に記載のセンシング装置。
  20. 前記複数のピクセルのうち一部は、メモリセルを含む構造の電源制御回路を含み、残りのピクセルのうち少なくとも一部は、論理ゲート又は少なくとも一つのトランジスタを含む構造の電源制御回路を含む、請求項1に記載のセンシング装置。
JP2017174091A 2016-11-21 2017-09-11 電源制御回路を含むイベントベースセンサーを含んだセンシング装置 Active JP7149694B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160154951A KR20180056962A (ko) 2016-11-21 2016-11-21 전원 제어 회로를 포함하는 이벤트 기반 센서
KR10-2016-0154951 2016-11-21

Publications (2)

Publication Number Publication Date
JP2018085099A JP2018085099A (ja) 2018-05-31
JP7149694B2 true JP7149694B2 (ja) 2022-10-07

Family

ID=59298310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017174091A Active JP7149694B2 (ja) 2016-11-21 2017-09-11 電源制御回路を含むイベントベースセンサーを含んだセンシング装置

Country Status (5)

Country Link
US (1) US20180143701A1 (ja)
EP (1) EP3324613A1 (ja)
JP (1) JP7149694B2 (ja)
KR (1) KR20180056962A (ja)
CN (1) CN108089697B (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10466779B1 (en) * 2017-07-24 2019-11-05 Facebook Technologies, Llc Event camera for eye tracking
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
CN113632453A (zh) * 2019-03-27 2021-11-09 苹果公司 具有多个功率状态的传感器架构的硬件实现方式
WO2020197956A1 (en) 2019-03-27 2020-10-01 Ocelot Laboratories Llc Sensor system architecture with feedback loop and multiple power states
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
KR20210000985A (ko) 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
JPWO2021019939A1 (ja) * 2019-07-26 2021-02-04
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
CN110763213A (zh) * 2019-11-13 2020-02-07 刘洁 可移动式外科病房验收平台
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) * 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
KR20240036035A (ko) * 2021-07-21 2024-03-19 소니 세미컨덕터 솔루션즈 가부시키가이샤 센서 디바이스 및 센서 디바이스 작동 방법
CN114173069A (zh) * 2021-11-23 2022-03-11 深圳锐视智芯科技有限公司 一种带数字像素存储的差量图像传感器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030011695A1 (en) 2001-06-19 2003-01-16 Alex Roustaei Method and apparatus for controlling power consumption in an active pixel sensor array
JP2012147089A (ja) 2011-01-07 2012-08-02 Nikon Corp 撮像装置
JP2013046232A (ja) 2011-08-24 2013-03-04 Nippon Hoso Kyokai <Nhk> 固体撮像装置
US20140313387A1 (en) 2011-11-08 2014-10-23 Rambus Inc. Image sensor sampled at non-uniform intervals
US20150358571A1 (en) 2013-01-25 2015-12-10 Innovaciones Microelectrónicas S.L.(Anafocus) Advanced region of interest function for image sensors
JP2016021236A (ja) 2014-07-14 2016-02-04 三星電子株式会社Samsung Electronics Co.,Ltd. インターフェイシング装置及びユーザ入力処理方法とそのコンピュータ読出可能記録媒体並びに処理装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996036960A1 (en) * 1995-05-19 1996-11-21 Intelligent Devices, L.L.C. Non-contact user interface for data processing system
JP2006050337A (ja) * 2004-08-05 2006-02-16 Sony Corp 撮像装置、撮像方法および撮像制御プログラム
JP4668095B2 (ja) * 2006-03-08 2011-04-13 シャープ株式会社 記録装置
US7791657B2 (en) * 2007-03-07 2010-09-07 Teledyne Licensing, Llc Dynamic range enhancement scheme for imagers
JP2009100283A (ja) * 2007-10-17 2009-05-07 Canon Inc 撮像装置及び撮像装置の制御方法
US7655966B2 (en) * 2008-03-19 2010-02-02 International Business Machines Corporation High efficiency CMOS image sensor pixel employing dynamic voltage supply
KR101588459B1 (ko) * 2009-08-20 2016-01-25 주식회사 동부하이텍 이미지 센서 및 그 구동 방법
US8462250B2 (en) * 2011-01-25 2013-06-11 Aptina Imaging Corporation Imager pixel architecture with enhanced column discharge and method of operation
TWI463361B (zh) * 2011-07-13 2014-12-01 Compal Electronics Inc 觸控面板之局部控制方法與系統
US9036065B1 (en) * 2012-08-16 2015-05-19 Rambus Inc. Shared-counter image sensor
CN103674239B (zh) * 2012-09-05 2015-07-08 原相科技股份有限公司 环境光侦测装置与方法
US9936132B2 (en) * 2012-10-26 2018-04-03 The Regents Of The University Of Michigan CMOS image sensors with feature extraction
KR102009165B1 (ko) * 2013-01-24 2019-10-21 삼성전자 주식회사 이미지 센서, 멀티 칩 패키지, 및 전자 장치
KR102127381B1 (ko) * 2013-03-29 2020-06-26 엘지전자 주식회사 전자 종이 디스플레이 패널을 이용하는 모바일 디바이스 및 제어 방법
SE537579C2 (sv) * 2013-04-11 2015-06-30 Crunchfish Ab Bärbar enhet nyttjandes en passiv sensor för initiering av beröringsfri geststyrning
WO2014174498A1 (en) * 2013-04-26 2014-10-30 Ecole Polytechnique Federale De Lausanne (Epfl) A novel cmos image sensor with event/change detection and reduced data redundancy
KR102081087B1 (ko) * 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
JP6356552B2 (ja) * 2014-09-16 2018-07-11 東芝メモリ株式会社 情報処理装置
CN105607782B (zh) * 2016-03-23 2019-02-22 京东方科技集团股份有限公司 一种显示方法及显示设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030011695A1 (en) 2001-06-19 2003-01-16 Alex Roustaei Method and apparatus for controlling power consumption in an active pixel sensor array
JP2012147089A (ja) 2011-01-07 2012-08-02 Nikon Corp 撮像装置
JP2013046232A (ja) 2011-08-24 2013-03-04 Nippon Hoso Kyokai <Nhk> 固体撮像装置
US20140313387A1 (en) 2011-11-08 2014-10-23 Rambus Inc. Image sensor sampled at non-uniform intervals
US20150358571A1 (en) 2013-01-25 2015-12-10 Innovaciones Microelectrónicas S.L.(Anafocus) Advanced region of interest function for image sensors
JP2016021236A (ja) 2014-07-14 2016-02-04 三星電子株式会社Samsung Electronics Co.,Ltd. インターフェイシング装置及びユーザ入力処理方法とそのコンピュータ読出可能記録媒体並びに処理装置

Also Published As

Publication number Publication date
CN108089697A (zh) 2018-05-29
JP2018085099A (ja) 2018-05-31
KR20180056962A (ko) 2018-05-30
US20180143701A1 (en) 2018-05-24
EP3324613A1 (en) 2018-05-23
CN108089697B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
JP7149694B2 (ja) 電源制御回路を含むイベントベースセンサーを含んだセンシング装置
KR102612194B1 (ko) 이벤트 기반 센서 및 이벤트 기반 센싱 방법
KR102402678B1 (ko) 이벤트 기반 센서 및 프로세서의 동작 방법
US11488645B2 (en) Methods for reading data from a storage buffer including delaying activation of a column select
US9804659B2 (en) On-chip sensor hub, and mobile device and multi-sensor management method therefor
US9449257B2 (en) Dynamically reconstructable multistage parallel single instruction multiple data array processing system
US11568223B2 (en) Neural network circuit
CN109784483B (zh) 基于fd-soi工艺的二值化卷积神经网络内存内计算加速器
US20160187879A1 (en) Autonomous driving interface
US8456223B2 (en) Integrated circuit with power gating
US20060146635A1 (en) Semiconductor device
CN102597908A (zh) 禁用装置的方法和装置
JP2019046199A (ja) プロセッサ、および電子機器
JP2021518591A (ja) 機械知覚および高密度アルゴリズム集積回路を実装するためのシステムおよび方法
CN105958995A (zh) 一种快速启动fpga的电路和方法
CN114077417A (zh) 存储器内运算方法及装置、存储器及存储介质
Liu et al. Direct servo control from in-sensor cnn inference with a pixel processor array
CN101071634A (zh) 静态半导体存储器
US20150048869A1 (en) Circuit and method for power management
Turkyilmaz et al. RRAM-based FPGA for “normally Off, Instantly On” applications
Lopich et al. A general-purpose vision processor with 160× 80 pixel-parallel SIMD processor array
US20180005674A1 (en) Dual mode operation having power saving and active modes in a stacked circuit topology with logic preservation
JP2021524705A (ja) 時間に依存した画像データを検出するためのセルのアレイ
JP2014038382A (ja) 半導体装置とその電源制御方法
CN107636760A (zh) 用于双端口存储器的读写装置和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220927

R150 Certificate of patent or registration of utility model

Ref document number: 7149694

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150