JP2023507363A - バイモーダル生体模倣視覚センサ - Google Patents

バイモーダル生体模倣視覚センサ Download PDF

Info

Publication number
JP2023507363A
JP2023507363A JP2022536912A JP2022536912A JP2023507363A JP 2023507363 A JP2023507363 A JP 2023507363A JP 2022536912 A JP2022536912 A JP 2022536912A JP 2022536912 A JP2022536912 A JP 2022536912A JP 2023507363 A JP2023507363 A JP 2023507363A
Authority
JP
Japan
Prior art keywords
type
target
signal
current
photosensitive device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022536912A
Other languages
English (en)
Other versions
JP7335020B2 (ja
Inventor
路平 施
哲宇 楊
蓉 趙
京 ▲ヒ▼
海▲ソウ▼ 徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Publication of JP2023507363A publication Critical patent/JP2023507363A/ja
Application granted granted Critical
Publication of JP7335020B2 publication Critical patent/JP7335020B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本発明の実施例は、バイモーダル生体模倣視覚センサを提供し、第１タイプの電流モードのアクティブピクセルセンサ回路により興奮性桿体細胞の作用を模擬して、目標光信号における光強度勾配情報を感知する役割を実現し、さらに生体模倣視覚センサの画像のダイナミックレンジを拡大し、撮影速度を向上させる。また、各非目標の第１タイプの感光デバイスに１つの第１タイプの制御スイッチを導入して、得られた光強度勾配情報を制御でき、生体模倣視覚センサの画像のダイナミックレンジの調整を実現し、さらに撮影速度の調整を実現し、再構成できる効果を実現する。電圧モードのアクティブピクセルセンサにより錐体細胞の作用を模擬して、目標光信号における光強度情報を表す目標電圧信号を出力でき、目標光信号における光強度情報を感知する役割を実現し、得られた目標電圧信号が光強度情報を表す精度が高くなり、得られた画像の品質を確保することができる。【選択図】図１

Description

本発明は、集積回路の技術分野に関し、より具体的には、バイモーダル生体模倣視覚センサに関する。
画像センサと画像処理認識アルゴリズムの研究が深くなるにつれ、生体模倣視覚センサは、工業製造、知能交通、知能ロボットなどの複数の応用分野でますます重要な役割を果たしている。
生体模倣視覚センサは、主に人間の目の網膜のモーダルをシミュレートし、人間の目の網膜には、主にそれぞれ２種類の異なるモーダルに対応する２種類の視覚感知細胞、すなわち錐体細胞及び桿体細胞が含まれる。錐体細胞のモーダルは、主に絶対光強度情報と色情報に敏感であり、画像の復元精度が高いが、復元速度が遅い一方、桿体細胞は、主に光強度情報の変化量を感知し、感知速度が速く、感知のダイナミックレンジが広いが、絶対光強度情報と色情報を感知することができない。
しかしながら、従来技術に存在する生体模倣視覚センサはいずれも人間の目の網膜のモーダルの１つのみをシミュレートして、単一の感知モードを形成し、さらにあるタイプの情報しか感知できない。例えば、従来のカメラは、錐体細胞と同様であり、主に色情報を感知する。例えば、動的視覚センサ（Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ、ＤＶＳ）は、桿体細胞と同様であり、主に光強度情報の変化量を感知する。シングルモーダルの視覚センサの応用シナリオが限られている。例えば、錐体細胞と同様の生体模倣視覚センサについては、光強度情報の変化量ではなく絶対光強度情報を撮影するため、家庭用娯楽電子機器で非常に広く応用されているが、産業用制御の分野では、速度が不十分でダイナミックレンジが小さすぎるなどの課題に直面する場合が多く、従って応用が困難である。桿体細胞と同様の生体模倣視覚センサについては、感知速度が速いが、運動目標にしか敏感ではないため、画像を撮影することが困難になったり、撮影された画像の品質が低くなったりして、娯楽電子機器のニーズを満たすことは困難である。また、生体模倣視覚センサが単一の感知モードしか含まないため、この感知モードが無効になると生体模倣視覚センサが無効になり、安定性に対する要件が高い無人運転、無人機などのロボットには大きな制限がある。また、現在、生体模倣視覚センサの性能を評価する主な指標は、画質、ダイナミックレンジ及び撮影速度である。上記内容から分かるように、従来の生体模倣視覚センサの構造では、これら３つの指標は相互に排他的である場合が多く、例えば、撮影速度が向上すると、生体模倣視覚センサのダイナミックレンジが小さくなり、画質が向上すると、撮影速度が一般的に低下し、同時に考慮することは困難である。
従って、現在、バイモーダル生体模倣視覚センサを提供する緊急の必要性がある。
上記課題を解消し又は上記課題を少なくとも部分的に解決するために、本発明の実施例は、バイモーダル生体模倣視覚センサを提供する。
本発明の実施例は、第１タイプの電流モードのアクティブピクセルセンサ回路と、電圧モードのアクティブピクセルセンサ回路とを含み、
前記第１タイプの電流モードのアクティブピクセルセンサ回路は、目標光信号を取得して、第１タイプの電流信号に変換するための目標の第１タイプの感光デバイスを含み、前記第１タイプの電流信号と、前記目標の第１タイプの感光デバイスの周囲での第１所定数の非目標の第１タイプの感光デバイスにより変換された第２タイプの電流信号の合計との差に基づいて、前記目標光信号における光強度勾配情報を表す指定デジタル信号を出力することに用いられ、
前記電圧モードのアクティブピクセルセンサ回路は、前記目標光信号を取得し、前記目標光信号の中から指定周波数帯域の光信号を抽出して、第３タイプの電流信号に変換するための第２タイプの感光デバイスを含み、前記第３タイプの電流信号に基づいて、前記目標光信号における光強度情報を表す目標電圧信号を出力することに用いられ、
各非目標の第１タイプの感光デバイスは、それぞれ１つの第１タイプの制御スイッチに直列接続される、ことを特徴とするバイモーダル生体模倣視覚センサを提供する。
好ましくは、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、第１電流増幅器と、比較器と、加算器と、デジタルアナログ変換器とをさらに含み、
前記目標の第１タイプの感光デバイスは、前記第１電流増幅器に接続され、前記第１電流増幅器は、前記比較器の一方の入力端子に接続され、
前記加算器の入力端子は、それぞれ前記第１タイプの制御スイッチに接続され、前記加算器の出力端子は、前記比較器の他方の入力端子に接続され、
前記比較器の出力端子は、前記デジタルアナログ変換器に接続され、前記デジタルアナログ変換器は、前記比較器の出力端子がイベントパルス信号を出力するまで、入力された指定デジタル信号を指定アナログ信号に変換して、前記第１電流増幅器又は前記加算器に出力し、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、前記目標光信号における光強度勾配情報を表すための前記指定デジタル信号を出力する。
好ましくは、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、トライステートゲート回路をさらに含み、
前記トライステートゲート回路は、それぞれ前記比較器の出力端子及び前記デジタルアナログ変換器の入力端子に接続され、
前記トライステートゲート回路は、前記比較器の出力端子が前記イベントパルス信号を出力する場合、前記指定デジタル信号を出力することに用いられる。
好ましくは、前記電圧モードのアクティブピクセルセンサ回路は、具体的には、前記目標の第１タイプの感光デバイスの周囲に位置する第２所定数の前記第２タイプの感光デバイスを含み、各前記第２タイプの感光デバイスは、それぞれ１つの第２タイプの制御スイッチに直列接続され、同じ時刻に１つの第２タイプの制御スイッチのみがオン状態となり、
前記電圧モードのアクティブピクセルセンサ回路は、電流積分器と、シャッターと、アナログデジタル変換器とをさらに含み、各前記第２タイプの感光デバイス及び直列接続された第２タイプの制御スイッチは、デバイス分岐路を形成し、すべてのデバイス分岐路は、並列接続され、前記電流積分器、前記シャッター及び前記アナログデジタル変換器を共有し、
前記電流積分器は、前記電圧モードのアクティブピクセルセンサ回路における目標コンデンサの電圧アナログ信号を取得することに用いられ、前記シャッターは、前記電流積分器の積分時間を制御することに用いられ、前記アナログデジタル変換器は、前記目標コンデンサの電圧アナログ信号を前記目標電圧信号に変換することに用いられる。
好ましくは、前記バイモーダル生体模倣視覚センサは、第２タイプの電流モードのアクティブピクセルセンサ回路をさらに含み、
前記第２タイプの電流モードのアクティブピクセルセンサ回路は、１つの前記非目標の第１タイプの感光デバイスと、前記第２所定数のカレントミラーとを含み、
各カレントミラーは、それぞれ前記非目標の第１タイプの感光デバイスの周囲に位置する１つの前記目標の第１タイプの感光デバイスに直列接続される。
好ましくは、前記バイモーダル生体模倣視覚センサのピクセルアレイは、前記目標の第１タイプの感光デバイス、前記非目標の第１タイプの感光デバイス及び前記第２タイプの感光デバイスを配列することにより形成され、
前記ピクセルアレイの各行には、前記第２タイプの感光デバイスと前記目標の第１タイプの感光デバイスとが交互に配列され、又は前記第２タイプの感光デバイスと前記非目標の第１タイプの感光デバイスとが交互に配列される。
好ましくは、前記第２タイプの感光デバイスは、具体的には、光学フィルタと、フォトダイオードとを含み、
前記光学フィルタは、前記目標光信号を取得し、前記目標光信号の中から指定周波数帯域の光信号を抽出することに用いられ、前記フォトダイオードは、前記指定周波数帯域の光信号を前記第３タイプの電流信号に変換することに用いられる。
好ましくは、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、第２電流増幅器をさらに含み、前記第２電流増幅器は、前記目標の第２タイプの感光デバイスと前記第１電流増幅器との間に接続される。
好ましくは、前記目標電圧信号と前記指定デジタル信号とは、画像を共同で形成する。
好ましくは、前記バイモーダル生体模倣視覚センサは、２つの記憶ユニットをさらに含み、２つの前記記憶ユニットは、それぞれ前記目標電圧信号及び前記指定デジタル信号を記憶することに用いられる。
本発明の実施例に係るバイモーダル生体模倣視覚センサは、一方では、第１タイプの電流モードのアクティブピクセルセンサ回路により興奮性桿体細胞の作用を模擬して、目標光信号における光強度勾配情報を感知する役割を実現し、さらに生体模倣視覚センサの画像のダイナミックレンジを拡大し、撮影速度を向上させる。また、各非目標の第１タイプの感光デバイスに１つの第１タイプの制御スイッチを導入して、得られた光強度勾配情報を制御でき、生体模倣視覚センサの画像のダイナミックレンジの調整を実現し、さらに撮影速度の調整を実現し、再構成できる効果を実現する。他方では、電圧モードのアクティブピクセルセンサにより錐体細胞の作用を模擬して、目標光信号における光強度情報を表す目標電圧信号を出力でき、目標光信号における光強度情報を感知する役割を実現し、得られた目標電圧信号が光強度情報を表す精度が高くなり、より高品質の画像を得ることができ、すなわち、画像の画像信号対雑音比が高くなる。
本発明の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の説明において使用される必要がある図面について簡単に説明し、明らかに、以下に説明される図面は、本発明のいくつかの実施例であり、当業者であれば、創造的労働を行わずに、これらの図面に基づいて他の図面を得ることができる。
本発明の実施例に係るバイモーダル生体模倣視覚センサの構造模式図である。 本発明の実施例に係るバイモーダル生体模倣視覚センサにおける第１タイプの電流モードのアクティブピクセルセンサ回路の構造模式図である。 本発明の実施例に係るバイモーダル生体模倣視覚センサにおける第１タイプの電流モードのアクティブピクセルセンサ回路内の、デジタルアナログ変換器に入力された指定デジタル信号の変化形態の模式図である。 本発明の実施例に係るバイモーダル生体模倣視覚センサにおける第１タイプの電流モードのアクティブピクセルセンサ回路の構造模式図である。 本発明の実施例に係るバイモーダル生体模倣視覚センサにおける第１タイプの電流モードのアクティブピクセルセンサ回路の具体的な構造模式図である。 本発明の実施例に係るバイモーダル生体模倣視覚センサにおける電圧モードのアクティブピクセルセンサの構造模式図である。 本発明の実施例に係るバイモーダル生体模倣視覚センサにおける電圧モードのアクティブピクセルセンサの具体的な構造模式図である。 本発明の実施例に係るバイモーダル生体模倣視覚センサにおける第２タイプの電流モードのアクティブピクセルセンサ回路の具体的な構造模式図である。 本発明の実施例に係るバイモーダル生体模倣視覚センサにおけるピクセルアレイの配置方式の構造模式図である。 本発明の実施例に係るバイモーダル生体模倣視覚センサにおけるピクセルアレイの配置方式の構造模式図である。 本発明の実施例に係るバイモーダル生体模倣視覚センサにより最終的に出力された画像の模式図である。
本発明の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本発明の実施例における図面を参照しながら、本発明の実施例における技術的解決手段を明確、かつ完全に説明し、明らかに、説明される実施例は、本発明の実施例の一部であり、実施例の全部ではない。本発明における実施例に基づき、当業者が創造的な労働を行わずに得たすべての他の実施例は、いずれも本発明の保護範囲に属する。
本発明の実施例の説明では、なお、「中心」、「上」、「下」、「左」、「右」、「垂直」、「水平」、「内」、「外」などの用語が示した方位又は位置関係は、図面に基づいて示されている方位又は位置関係であり、本発明の実施例を容易に説明し及び説明を簡素化するためのものに過ぎず、示した装置又は素子が必ず特定の方位を有し、特定の方位で構築及び操作されることを指示又は暗示しないため、本発明の実施例を限定するものとして理解できない。また、「第１」、「第２」、「第３」という用語は、説明するためのものに過ぎず、相対的な重要性を指示又は暗示するものとして理解できない。
本発明の実施例の説明では、なお、特に明確な規定と限定がない限り、「取り付け」、「接続」、「連結」という用語は、広い意味で理解されるべきであり、例えば、固定接続であってもよく、取り外し可能な接続又は一体的な接続であってもよく、機械的接続であってもよく、電気的接続であってもよく、直接接続であってもよく、中間媒体を介した間接的接続であってもよく、２つの素子内部の連通であってもよい。当業者であれば、具体的な状況に応じて上記用語の本発明の実施例での具体的な意味を理解することができる。
本発明の実施例は、バイモーダル生体模倣視覚センサを提供し、第１タイプの電流モードのアクティブピクセルセンサ回路と、電圧モードのアクティブピクセルセンサ回路とを含み、
前記第１タイプの電流モードのアクティブピクセルセンサ回路は、目標光信号を取得して、第１タイプの電流信号に変換するための１つの目標の第１タイプの感光デバイスを含み、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、前記第１タイプの電流信号と、前記目標の第１タイプの感光デバイスの周囲での第１所定数の非目標の第１タイプの感光デバイスにより変換された第２タイプの電流信号の合計との差に基づいて、前記目標光信号における光強度勾配情報を表す指定デジタル信号を出力することに用いられ、
前記電圧モードのアクティブピクセルセンサ回路は、前記目標光信号を取得し、前記目標光信号の中から指定周波数帯域の光信号を抽出して、第３タイプの電流信号に変換するための第２タイプの感光デバイスを含み、前記電圧モードのアクティブピクセルセンサ回路は、前記第３タイプの電流信号に基づいて、前記目標光信号における光強度情報を表す目標電圧信号を出力することに用いられ、
各非目標の第１タイプの感光デバイスは、それぞれ１つの第１タイプの制御スイッチに直列接続される。
具体的には、本発明の実施例では、バイモーダル生体模倣視覚センサが提供されており、そのピクセルアレイは、感光デバイスで構成され、感光デバイスは、それぞれ制御回路により制御される。図１に示すように、制御回路は、電流モードのアクティブピクセルセンサ回路１と、電圧モードのアクティブピクセルセンサ回路２とを含む。生体模倣視覚センサにおける感光デバイスは、異なるカテゴリの光を感知することにより第１タイプの感光デバイス及び第２タイプの感光デバイスに分けることができ、第１タイプの感光デバイスは、目標光信号を直接感知することに用いられ、第２タイプの感光デバイスは、目標光信号におけるカラー成分を感知することに用いられる。本発明の実施例では、目標光信号におけるカラー成分は、指定周波数帯域の光信号と表記され、すなわち、第１タイプの感光デバイスは、目標光信号を取得して、電流信号に変換することに用いられ、第２タイプの感光デバイスは、目標光信号を取得し、前記目標光信号の中から指定周波数帯域の光信号を抽出して、電流信号に変換することに用いられる。
目標光信号とは、目標物体の表面で反射した光信号を指し、目標光信号は、第１タイプの感光デバイス又は第２タイプの感光デバイスに直接照射されてもよく、コリメートレンズを介して第１タイプの感光デバイス又は第２タイプの感光デバイスに照射されてもよく、被覆物を透過して第１タイプの感光デバイス又は第２タイプの感光デバイスに照射されてもよい。目標光信号の波長帯域は、可視光波長帯域であってもよく、すなわち、目標光信号は可視光信号であってもよい。目標物体とは、人間の目で観察する必要がある物体を指し、実物であってもよく、画像又は他の形態であってもよく、本発明では目標物体の具体的な形態を限定しない。
第１タイプの感光デバイスと第２タイプの感光デバイスの数は、必要に応じて設定されてもよい。第１タイプの感光デバイス及びその制御回路は、桿体細胞を模擬することができ、第２タイプの感光デバイス及びその制御回路は、錐体細胞を模擬することができる。第１タイプの感光デバイスは、具体的には、目標の第１タイプの感光デバイスと、目標の第１タイプの感光デバイス以外の非目標の第１タイプの感光デバイスとを含んでもよく、目標の第１タイプの感光デバイス及びその制御回路は、興奮性桿体細胞を模擬することができ、非目標の第１タイプの感光デバイス及びその制御回路は、抑制性桿体細胞を模擬することができる。本発明の実施例では、第１タイプの感光デバイス、第２タイプの感光デバイスにより変換された電流信号を区別するために、目標の第１タイプの感光デバイスにより変換された電流信号は、第１タイプの電流信号と表記され、非目標の第１タイプの感光デバイスにより変換された電流信号は、第２タイプの電流信号と表記され、第２タイプの感光デバイスにより変換された電流信号は、第３タイプの回路信号と表記される。
バイモーダル生体模倣視覚センサにおける第１タイプの感光デバイスは、電流モードのアクティブピクセルセンサ回路により制御され、電流モードのアクティブピクセルセンサ回路の数は、目標の第１タイプの感光デバイスの数に応じて決定されてもよい。本発明の実施例では、目標の第１タイプの感光デバイスと非目標の第１タイプの感光デバイスの制御回路を区別するために、目標の第１タイプの感光デバイスの制御回路は、第１タイプの電流モードのアクティブピクセルセンサ回路と表記され、非目標の第１タイプの感光デバイスの制御回路は、第２タイプの電流モードのアクティブピクセルセンサ回路と表記される。各目標の第１タイプの感光デバイスは、１つの第１タイプの電流モードのアクティブピクセルセンサ回路に対応し、各非目標の第１タイプの感光デバイスは、１つの第２タイプの電流モードのアクティブピクセルセンサ回路に対応する。第２タイプの感光デバイスは、電圧モードのアクティブピクセルセンサ回路により制御され、電圧モードのアクティブピクセルセンサ回路の数は、第２タイプの感光デバイスの数以下であってもよく、具体的には、第２タイプの感光デバイスの数及び再利用状況に応じて決定されてもよく、本発明の実施例ではこれを具体的に限定しない。
電流モードのアクティブピクセルセンサ回路とは、動作モードが電流モードであるアクティブピクセルセンサ（Ａｃｔｉｖｅ Ｐｉｘｅｌ Ｓｅｎｓｏｒ、ＡＰＳ）回路を指し、すなわち、そのうちの目標の第１タイプの感光デバイスが変換して第１タイプの電流信号を得た後、第１タイプの電流信号を直接積分する必要がなく、第１タイプの電流信号と、目標の第１タイプの感光デバイスの周囲での所定数の非目標の第１タイプの感光デバイスにより変換された第２タイプの電流信号の合計との差に基づいて、目標光信号における光強度勾配情報を表す指定デジタル信号を出力する。各非目標の第１タイプの感光デバイスは、それぞれ１つの第１タイプの制御スイッチに直列接続される。第１タイプの制御スイッチは、具体的には、ＭＯＳトランジスタであってもよく、すべての第１タイプの制御スイッチは、同時にオンにされてもよく、同時にオフにされてもよく、部分的にオンにされ、部分的にオフにされてもよく、具体的には、必要に応じて設定されてもよく、本発明の実施例ではこれを具体的に限定しない。
第１タイプの制御スイッチのオン及びオフは、必要に応じて設定されてもよいため、第１タイプの制御スイッチは、配置可能な第１タイプの制御スイッチである。第１タイプの制御スイッチが実現するのは、目標の第１タイプの感光デバイスの周囲での非目標の第１タイプの感光デバイスが有効であるか否かを制御することであるため、第１タイプの制御スイッチがパラメータ設定可能な１ｂｉｔ畳み込みカーネルとして、第１タイプの感光デバイスにより変換された電流信号に対して畳み込み演算を行うことができ、完了速度が速く、ピクセル内の１ｂｉｔ畳み込み演算を完了し、高速の特徴抽出を実現することができると理解できる。
電圧モードのアクティブピクセルセンサ回路とは、動作モードが電圧モードであるＡＰＳ回路を指し、すなわち、そのうちの第２タイプの感光デバイスが変換して第３タイプの電流信号を得た後、第３タイプの電流信号を積分して、目標電圧信号を得る必要があり、目標光信号における光強度情報が目標電圧信号で表され、この光強度情報は、１種の絶対光強度情報であり、色情報をさらに含む。
本発明の実施例では、バイモーダル生体模倣視覚センサが提供されており、一方では、第１タイプの電流モードのアクティブピクセルセンサ回路により興奮性桿体細胞の作用を模擬して、目標光信号における光強度勾配情報を感知する役割を実現し、さらに生体模倣視覚センサの画像のダイナミックレンジを拡大し、撮影速度を向上させる。また、各非目標の第１タイプの感光デバイスに１つの第１タイプの制御スイッチを導入して、得られた光強度勾配情報を制御でき、生体模倣視覚センサの画像のダイナミックレンジの調整を実現し、さらに撮影速度の調整を実現し、再構成できる効果を実現する。他方では、電圧モードのアクティブピクセルセンサにより錐体細胞の作用を模擬して、目標光信号における光強度情報を表す目標電圧信号を出力でき、目標光信号における光強度情報を感知する役割を実現し、得られた目標電圧信号が光強度情報を表す精度が高くなり、より高品質の画像を得ることができ、すなわち、画像の画像信号対雑音比が高くなる。
上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記目標光信号の照度が第１プリセット値よりも大きい場合、すべての前記第１タイプの制御スイッチは同時にオンにされ、前記目標光信号の強度が第２プリセット値よりも小さい場合、すべての前記第１タイプの制御スイッチは同時にオフにされる。
具体的には、すべての第１タイプの制御スイッチは互いに独立しており、１つの第１タイプの制御スイッチは、他の第１タイプの制御スイッチに影響せずにオン及びオフにされ、必要に応じてオンの数及びオフの数を選択してもよく、すべてオン又はすべてオフにされてもよい。本発明の実施例では、より良好な効果を取得するために、目標光信号の照度が第１プリセット値よりも大きい場合、すべての第１タイプの制御スイッチを同時にオンにし、目標光信号の強度が第２プリセット値よりも小さい場合、すべての第１タイプの制御スイッチを同時にオフにすることができる。第１プリセット値、第２プリセット値は、感光デバイスのタイプ、パラメータ及び周囲光強度に応じて決定されてもよい。例えば、第１プリセット値は１０ｋｌｕｘであってもよく、第２プリセット値は５０ｌｕｘであってもよい。すなわち、目標光信号の照度が第１プリセット値よりも大きい場合、強い照度であることが示され、このとき、第１タイプの電流モードのアクティブピクセルセンサ回路内のＤＡＣと比較器の飽和を防止するために、すべての第１タイプの制御スイッチが同時にオンにされ、このとき、すべての非目標の第１タイプの感光デバイスが有効になり、第１タイプの電流モードのアクティブピクセルセンサ回路により出力された指定デジタル信号が差分信号であり、生体模倣視覚センサが画像のエッジ情報を得ることができる。目標光信号の強度が第２プリセット値よりも小さい場合、弱い照度であることが示され、このとき、目標の第１タイプの感光デバイスにより変換された第１タイプの電流信号Ｉ１が小さい。従って、すべての第１タイプの制御スイッチが同時にオフにされ、このとき、すべての非目標の第１タイプの感光デバイスが無効になり、第１タイプの電流モードのアクティブピクセルセンサ回路により出力された指定デジタル信号がコモンモード信号であり、生体模倣視覚センサが画像の元の情報を得ることができる。本発明の実施例に係る第１タイプの電流モードのアクティブピクセルセンサ回路は、人間の目のＧａｐ Ｊｕｎｃｔｉｏｎ接続をより良好にシミュレートし、それにより生体模倣視覚センサの画像ダイナミックレンジの拡大を実現する。
なお、目標光信号の照度が、第１プリセット値よりも大きく、第２プリセット値よりも小さい場合、照度が適切であることが示され、このとき、すべての第１タイプの制御スイッチは、部分的にオンにされ、部分的にオフにされてもよい。少なくとも１つの第１タイプの制御スイッチがオンにされる場合、第１タイプの電流モードのアクティブピクセルセンサ回路により出力された指定デジタル信号はいずれも差分信号であり、すべての第１タイプの制御スイッチがオフにされる場合、第１タイプの電流モードのアクティブピクセルセンサ回路により出力された指定デジタル信号はコモンモード信号である。
上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、第１電流増幅器と、比較器と、加算器と、デジタルアナログ変換器とをさらに含み、
前記目標の第１タイプの感光デバイスは、前記第１電流増幅器に接続され、前記第１電流増幅器は、前記比較器の一方の入力端子に接続され、
前記加算器の入力端子は、それぞれ前記第１タイプの制御スイッチに接続され、前記加算器の出力端子は、前記比較器の他方の入力端子に接続され、
前記比較器の出力端子は、前記デジタルアナログ変換器に接続され、前記デジタルアナログ変換器は、前記比較器の出力端子がイベントパルス信号を出力するまで、入力された指定デジタル信号を指定アナログ信号に変換して、前記第１電流増幅器又は前記加算器に出力し、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、前記目標光信号における光強度勾配情報を表すための前記指定デジタル信号を出力する。
具体的には、図２は、本発明の実施例に係る目標の第１タイプの感光デバイスを制御するための第１タイプの電流モードのアクティブピクセルセンサ回路である。図２では、第１タイプの電流モードのアクティブピクセルセンサ回路は、目標の第１タイプの感光デバイス１１と、第１電流増幅器１２と、比較器１３と、加算器１４と、デジタルアナログ変換器（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ、ＤＡＣ）１５とを含み、目標の第１タイプの感光デバイス１１は、第１電流増幅器１２に接続され、第１電流増幅器１２は、目標の第１タイプの感光デバイス１１により変換された第１タイプの電流信号Ｉ０を増幅することに用いられ、増幅倍数は第１所定数であり、すなわち、増幅倍数は、目標の第１タイプの感光デバイス１１の周囲での非目標の第１タイプの感光デバイスの数に等しく、増幅された第１タイプの電流信号と、目標の第１タイプの感光デバイス１１の周囲での第１所定数の非目標の第１タイプの感光デバイスにより変換された第２タイプの電流信号の合計とが同じオーダーにあることを確保する。なお、本発明の実施例に係る第１タイプの感光デバイスにはカラーフィルタ（Ｃｏｌｏｒｆｉｌｔｅｒ、ＣＦ）がないため、第１タイプの感光デバイスの応答波長帯域はそれ自体に関係している。
第１電流増幅器１２は、比較器１３の一方の入力端子に接続され、増幅された第１タイプの電流信号を比較器１３に入力する。目標の第１タイプの感光デバイス１１の周囲での４つの非目標の第１タイプの感光デバイスは、それぞれ加算器１４の入力端子に接続される。各非目標の第１タイプの感光デバイスはいずれも１つの第１タイプの制御スイッチに直列接続されるため、本発明の実施例では、各非目標の第１タイプの感光デバイスに直列接続された第１タイプの制御スイッチＭ１、Ｍ２、Ｍ３、Ｍ４のみが示されている。
加算器１４の出力端子は、比較器１３の他方の入力端子に接続される。４つの非目標の第１タイプの感光デバイスにより変換された電流信号Ｉ１、Ｉ２、Ｉ３、Ｉ４がそれぞれ加算器１４に入力され、加算器１４によりＩ１、Ｉ２、Ｉ３、Ｉ４を合計し、合計結果を比較器１３に入力する。比較器１３により、増幅された第１タイプの電流信号と加算器１４の合計結果とを比較する。前の時刻と現在の時刻の比較結果が一致する場合、出力せず、ＤＡＣ１５により、入力された指定デジタル信号を指定アナログ信号に変換して、第１電流増幅器１２又は加算器１４に出力し、第１電流増幅器１２に出力された指定アナログ信号はＩＤＡ２と表記され、加算器１４に出力された指定アナログ信号記はＩＤＡ１と表記される。出力後、比較器１３により比較し、前の時刻と後の時刻の比較結果が逆である場合、比較器１３の出力端子によりイベントパルス信号を出力し、すなわち比較器１３はエッジトリガー状態にあり、このとき、第１タイプの電流モードのアクティブピクセルセンサ回路は、目標光信号における光強度勾配情報を表すための指定デジタル信号を出力する。第１タイプの電流モードのアクティブピクセルセンサ回路により出力された指定デジタル信号は、０及び１で表されるデジタル信号である。
ＤＡＣ１５に入力された指定デジタル信号は、人為的に入力された周期的に増加する指定デジタル信号であってもよく、指定デジタル信号の変化形態は、具体的に図３に示されており、指定デジタル信号は、具体的に時間とともに段階的に逓増し、ある時刻でＮ＊ｓｔｅｐの場合、指定デジタル信号の値はΔＩであり、比較器１３はイベントパルス信号を出力し、すなわち比較器１３はエッジトリガー状態にあり、このときのΔＩは、第１タイプの電流モードのアクティブピクセルセンサ回路の出力として機能する。Ｎは、これ以前に通過したステップの数であり、ｓｔｅｐは、各ステップの通過時間である。
なお、本発明の実施例における加算器は、実際のデバイスであってもよく、加算機能を実現する機能モジュールであってもよく、例えば、電流信号Ｉ１、Ｉ２、Ｉ３、Ｉ４がある回線を１つの回線に合併することにより実現され得る。また、第１電流増幅器は、実際のデバイスであってもよく、電流増幅機能を実現する機能モジュールであってもよく、本発明の実施例ではこれを具体的に限定しない。
上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、トライステートゲート回路をさらに含み、
前記トライステートゲート回路は、それぞれ前記比較器の出力端子及び前記デジタルアナログ変換器の入力端子に接続され、
前記トライステートゲート回路は、前記比較器の出力端子が前記イベントパルス信号を出力する場合、前記指定デジタル信号を出力することに用いられる。
具体的には、図４に示すように、本発明の実施例では、第１タイプの電流モードのアクティブピクセルセンサ回路には、トライステートゲート回路４１がさらに含まれる。トライステートゲート回路４１は、それぞれ比較器１３の出力端子及びＤＡＣ１５の入力端子に接続され、トライステートゲート回路４１は、比較器１３の出力端子がイベントパルス信号を出力し、すなわち比較器１３がエッジトリガー状態にある場合、指定デジタル信号を出力することに用いられる。
図５は、本発明の実施例に係る第１タイプの電流モードのアクティブピクセルセンサ回路の具体的な構造模式図である。図５では、回路構造５１は、桿体細胞を模擬する回路であり、回路構造５２は、神経節細胞と双極細胞を模擬する。Ｖｃｃは、制御回路の電源であり、目標の第１タイプの感光デバイス５３は、Ｖｃｃに接続され、目標の第１タイプの感光デバイス５３により変換された第１タイプの電流信号Ｉ０は、カレントミラー５４により４倍増幅されて比較器（Ｃｏｍｐａｒｅｒ、ＣＰ）５６の入力端子に接続され、目標の第１タイプの感光デバイス５３の周囲での４つの非目標の第１タイプの感光デバイスにより変換された電流信号は、それぞれＩ１、Ｉ２、Ｉ３、Ｉ４である。
なお、図５におけるカレントミラー５４は、第１電流増幅器である。図５では、目標の第１タイプの感光デバイス５３の周囲での４つの非目標の第１タイプの感光デバイスが示されておらず、各非目標の第１タイプの感光デバイスに直列接続された第１タイプの制御スイッチＭ１、Ｍ２、Ｍ３、Ｍ４のみが示されている。Ｉ１、Ｉ２、Ｉ３、Ｉ４がある回線は１つの回線に合併されて、加算器の役割を実現する。合併された回線は、ＣＰ５６の入力端子に接続される。ＣＰ５６により、増幅された第１タイプの電流信号とＩ１、Ｉ２、Ｉ３、Ｉ４の合計とを比較する。前の時刻と現在の時刻の比較結果が一致する場合、出力せず、ＤＡＣ５５により、入力された指定デジタル信号を指定アナログ信号に変換して、目標の第１タイプの感光デバイス５３又はある非目標の第１タイプの感光デバイスに出力する。出力後、ＣＰ５６により比較し、前の時刻と後の時刻の比較結果が逆である場合、ＣＰ５６の出力端子によりイベントパルス信号を出力し、すなわちＣＰ５６はエッジトリガー状態にあり、このとき、トライステートゲート回路５７により、指定デジタル信号を出力する。
図５では、ＣＰ５６とグランドとの間にコンデンサ５８がさらに接続され、コンデンサ５８は、実際のコンデンサであってもよく、第１タイプの電流モードのアクティブピクセルセンサ回路で仮想化された寄生コンデンサであってもよく、本発明の実施例ではこれを具体的に限定しない。
上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、第１タイプの電流モードのアクティブピクセルセンサ回路は、記憶ユニットをさらに含む。記憶ユニットは、トライステートゲート回路の出力端子に接続され、第１タイプの電流モードのアクティブピクセルセンサ回路により出力された指定デジタル信号を記憶することに用いられる。記憶ユニットは、具体的には、レジスタ、ラッチ、ＳＲＡＭ、ＤＲＡＭ、メモリスタなどであってもよい。レジスタを例として、レジスタのビット数は、ＤＡＣの精度に応じて選択されてもよく、本発明の実施例では、ここで４ビットレジスタが選択されてもよい。
上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記電圧モードのアクティブピクセルセンサ回路は、具体的には、前記目標の第１タイプの感光デバイスの周囲での第２所定数の前記第２タイプの感光デバイスを含み、各前記第２タイプの感光デバイスは、それぞれ１つの第２タイプの制御スイッチに直列接続され、同じ時刻に１つの第２タイプの制御スイッチしかオン状態ではなく、
前記電圧モードのアクティブピクセルセンサ回路は、電流積分器と、シャッターと、アナログデジタル変換器とをさらに含み、各前記第２タイプの感光デバイス及び直列接続された第２タイプの制御スイッチは、デバイス分岐路を形成し、すべてのデバイス分岐路は、並列接続され、前記電流積分器、前記シャッター及び前記アナログデジタル変換器を共有し、
前記電流積分器は、前記電圧モードのアクティブピクセルセンサ回路における目標コンデンサの電圧アナログ信号を取得することに用いられ、前記シャッターは、前記電流積分器の積分時間を制御することに用いられ、前記アナログデジタル変換器は、前記目標コンデンサの電圧アナログ信号を前記目標電圧信号に変換することに用いられる。
具体的には、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、複数の第２タイプの感光デバイスは、１つの電圧モードのアクティブピクセルセンサを共有してもよく、すなわち、各電圧モードのアクティブピクセルセンサ回路には、目標の第１タイプの感光デバイスの周囲での第２所定数の第２タイプの感光デバイスが含まれる。目標の第１タイプの感光デバイスと周囲の第２所定数の第２タイプの感光デバイスとは、１つのグループを形成し、該グループ内の目標の第１タイプの感光デバイスは、１つの電流モードのアクティブピクセルセンサにより制御され、該グループ内のすべての非目標の第１タイプの感光デバイスは、１つの電圧モードのアクティブピクセルセンサにより制御されることが理解できる。
図６は、本発明の実施例に係る電圧モードのアクティブピクセルセンサの構造模式図である。図６では、４つの第２タイプの感光デバイス６１と、電流積分器（Ｃｕｒｒｅｎｔ Ｉｎｔｅｇｒａｔｏｒ、ＣＩ）６２と、シャッター６４と、アナログデジタル変換器（Ａｎａｌｏｇ－ｔｏ－Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ、ＡＤＣ）６３とが含まれる。各第２タイプの感光デバイス６１は、それぞれ１つの第２タイプの制御スイッチ６５に直列接続され、同じ時刻に１つの第２タイプの制御スイッチ６５しかオン状態ではない。第２タイプの感光デバイス６１及び直列接続された第２タイプの制御スイッチ６５は、１つのデバイス分岐路を形成し、４つのデバイス分岐路は、並列接続続され、ＣＩ６２、シャッター６４及びＡＤＣ６３を共有する。第２タイプの制御スイッチ６５は、具体的には、ＭＯＳトランジスタであってもよい。
ＣＩ６２は、電圧モードのアクティブピクセルセンサ回路における目標コンデンサの電圧アナログ信号を取得することに用いられ、ＡＤＣ６３は、前記目標コンデンサの電圧アナログ信号を前記目標電圧信号に変換することに用いられる。シャッター６４は、ＣＩ６２の積分時間を制御することに用いられる。例えば、シャッター６４は、ＣＩ６２の積分時間を３３ｍｓに制御し、３３ｍｓ後、シャッター６４が閉じられ、ＣＩ６２が目標コンデンサの電圧アナログ信号を得て、ＡＤＣ６３により読み出す。本発明の実施例では、さらにＡＤＣ６３の後に記憶ユニットが接続されてもよく、ＡＤＣ６３により読み出された目標コンデンサの電圧アナログ信号を記憶ユニットに記憶する。記憶ユニット４１３は、具体的には、レジスタ、ラッチ、ＳＲＡＭ、ＤＲＡＭ、メモリスタなどであってもよい。レジスタを例として、レジスタのビット数は、ＡＤＣ６３の精度に応じて選択されてもよく、本発明の実施例では、ここで、目標コンデンサの電圧アナログ信号を記憶するために８ビットレジスタが選択されてもよい。ＡＤＣ６３による読み出し動作が完了すると、さらにシャッター６４をオフにして、ＣＩ６２に目標コンデンサの電流を積分し続けることができる。上記ステップを繰り返してビデオ信号の取得を完了することができる。
図７は、本発明の実施例に係る電圧モードのアクティブピクセルセンサ回路の具体的な構造模式図である。図７では、合計で４つの第２タイプの感光デバイスが含まれ、それぞれ７１、７２、７３、７４であり、第２タイプの感光デバイス７１は、第２タイプの制御スイッチ７５に直列接続されて第１デバイス分岐路を形成し、第２タイプの感光デバイス７２は、第２タイプの制御スイッチ７６に直列接続されて第２デバイス分岐路を形成し、第２タイプの感光デバイス７３は、第２タイプの制御スイッチ７８に直列接続されて第３デバイス分岐路を形成し、第２タイプの感光デバイス７４は、第２タイプの制御スイッチ７７に直列接続されて第４デバイス分岐路を形成する。第１デバイス分岐路、第２デバイス分岐路、第３デバイス分岐路及び第４デバイス分岐路は、並列接続続されてＭＯＳトランジスタ７９、７１０に接続され、ＭＯＳトランジスタ７１０は、ＭＯＳトランジスタ７１１に接続される。ＭＯＳトランジスタ７９は、バイアスに用いられ、ＭＯＳトランジスタ７１０は、スイッチングに用いられ、ＭＯＳトランジスタ７１１は、あるデバイス分岐路の第２タイプの感光デバイスにより変換された第３タイプの電流信号に対して電流積分を行って、目標光信号における光強度情報を表す目標電圧信号を得ることに用いられる。
本発明の実施例に係る電圧モードのアクティブピクセルセンサ回路は、各第２タイプの感光デバイスに直列接続された第２タイプの制御スイッチによりデバイス分岐路に対する制御を実現し、さらに１つの電圧モードのアクティブピクセルセンサ回路が複数の第２タイプの感光デバイスを制御する機能を実現し、バイモーダル生体模倣視覚センサの集積度を向上させる。
上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサは、第２タイプの電流モードのアクティブピクセルセンサ回路をさらに含み、
前記第２タイプの電流モードのアクティブピクセルセンサ回路は、１つの前記非目標の第１タイプの感光デバイスと、前記第２所定数のカレントミラーとを含み、
各カレントミラーは、それぞれ前記非目標の第１タイプの感光デバイスの周囲での１つの前記第２タイプの感光デバイスに直列接続される。
具体的には、本発明の実施例では、非目標の第１タイプの感光デバイスを制御するための第２タイプの電流モードのアクティブピクセルセンサ回路は、具体的には、非目標の第１タイプの感光デバイスと、第２所定数のカレントミラーとを含み、各カレントミラーは、それぞれ非目標の第１タイプの感光デバイスの周囲での１つの目標の第１タイプの感光デバイスに直列接続される。すなわち、本発明の実施例では、各第２タイプの電流モードのアクティブピクセルセンサ回路はいずれも１つの非目標の第１タイプの感光デバイスを制御する。
図８に示すように、第２タイプの電流モードのアクティブピクセルセンサ回路は、１つの非目標の第１タイプの感光デバイス８１と、４つの第１タイプのカレントミラー８２、８３、８４、８５とを含む。各第１タイプのカレントミラーは、それぞれ非目標の第１タイプの感光デバイス８１の周囲での１つの目標の第１タイプの感光デバイスに直列接続され、すなわち、非目標の第１タイプの感光デバイス８１により変換された電流信号Ｉ１は、４つのＩ１に複製されて、それぞれ非目標の第１タイプの感光デバイス８１の周囲での各目標の第１タイプの感光デバイスを含む第１タイプの電流モードのアクティブピクセルセンサ回路が目標光信号における光強度勾配情報を取得して、非目標の第１タイプの感光デバイスの再利用を実現し、バイモーダル生体模倣視覚センサのピクセルフィルファクタを増加させることに用いられる。
上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記第１タイプの感光デバイスは、具体的には、フォトダイオード（Ｐｈｏｔｏ－Ｄｉｏｄｅ、ＰＤ）であり、光信号を電流信号に変換できる他のデバイスであってもよく、本発明の実施例ではこれを具体的に限定しない。なお、第１タイプの感光デバイスには光学フィルタが含まれない。
上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記第２タイプの感光デバイスは、具体的には、光学フィルタと、フォトダイオードとを含み、
前記光学フィルタは、前記目標光信号を取得し、前記目標光信号の中から指定周波数帯域の光信号を抽出することに用いられ、前記フォトダイオードは、前記指定周波数帯域の光信号を前記第３タイプの電流信号に変換することに用いられる。
具体的には、本発明の実施例では、第２タイプの感光デバイスは、目標光信号におけるカラー成分を感知することに用いられ、第２タイプの感光デバイスは、具体的には、ＰＤと、ＰＤに設置されたカラーフィルタ（Ｃｏｌｏｕｒ Ｆｉｌｔｅｒ、ＣＦ）とを含んでもよく、最終的に生体模倣視覚センサにより得られた画像はカラー画像である。ＣＦは、目標光信号を取得し、目標光信号の中から指定周波数帯域の光信号を抽出することに用いられ、ＰＤは、指定周波数帯域の光信号を第３タイプの電流信号に変換する。カラーフィルタは、具体的には、指定された波長の光信号を透過するためのフィルタ又はレンズであってもよい。カラーフィルタがレンズである場合、具体的には、バイロンレンズを選択してもよく、他のタイプのレンズを選択してもよい。カラーフィルタは、透過した光信号の波長の大きさに応じて、赤色カラーフィルタ、青色カラーフィルタ及び緑色カラーフィルタに分けられてもよく、透過した光信号は、それぞれ赤色光信号、青色光信号及び緑色光信号である。
なお、第２タイプの感光デバイスはさらに、フォトダイオードで直接構成されてもよく、応答曲線の異なるフォトダイオードを選択することにより、目標光信号を取得し、目標光信号の中から指定された波長帯域の光信号を抽出して、第３タイプの電流信号に変換する役割を実現する。
上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記バイモーダル生体模倣視覚センサのピクセルアレイは、前記目標の第１タイプの感光デバイス、前記非目標の第１タイプの感光デバイス及び前記第２タイプの感光デバイスを配列することにより形成され、
前記ピクセルアレイの各行には、前記第２タイプの感光デバイスは、前記目標の第１タイプの感光デバイスと交互に配列されるか、又は前記非目標の第１タイプの感光デバイスと交互に配列される。
具体的には、ピクセルアレイの配置方式の構造模式図は、図９に示されてもよく、第１タイプの感光デバイス９１と、第２タイプの感光デバイス９２とが含まれ、各第１タイプの感光デバイスと各第２タイプの感光デバイスは、それぞれ１つのピクセルを形成する。第１タイプの感光デバイス９１のうちの目標の第１タイプの感光デバイスは「＋」とマークされ、非目標の第１タイプの感光デバイスは「－」とマークされる。赤色カラーフィルタを含む第２タイプの感光デバイス９２は「Ｒ」とマークされ、青色カラーフィルタを含む第２タイプの感光デバイス９２は「Ｂ」とマークされ、緑色カラーフィルタを含む第２タイプの感光デバイス９２は「Ｇ」とマークされる。各目標の第１タイプの感光デバイスの周囲には、４つの非目標の第１タイプの感光デバイス及び４つの第２タイプの感光デバイスがあり、各非目標の第１タイプの感光デバイスの周囲には、４つの目標の第１タイプの感光デバイス及び４つの第２タイプの感光デバイスがある。
ピクセルアレイの配置方式の構造模式図は、図１０に示されてもよく、第１タイプの感光デバイス１０１と、第２タイプの感光デバイス１０２とが含まれ、第１タイプの感光デバイス１０１のうちの目標の第１タイプの感光デバイスは「＋」とマークされ、非目標の第１タイプの感光デバイスは「－」とマークされる。赤色カラーフィルタを含む第２タイプの感光デバイス１０２は「Ｒ」とマークされ、青色カラーフィルタを含む第２タイプの感光デバイス１０２は「Ｂ」とマークされ、緑色カラーフィルタを含む第２タイプの感光デバイス１０２は「Ｇ」とマークされる。各目標の第１タイプの感光デバイスの周囲には、６つの非目標の第１タイプの感光デバイス及び２つの第２タイプの感光デバイスがあり、各非目標の第１タイプの感光デバイスの周囲には、２つの目標の第１タイプの感光デバイス及び４つの第２タイプの感光デバイスがあり、又は各非目標の第１タイプの感光デバイスの周囲には、４つの目標の第１タイプの感光デバイス及び２つの第２タイプの感光デバイスがある。ピクセルアレイの配置方式は、他の形態であってもよく、本発明の実施例ではこれを具体的に限定しない。
これに対応して、図９に示されるピクセルアレイについて、対応する第１所定数と第２所定数はいずれも４であり、図１０に示されるピクセルアレイについて、対応する第１所定数は６であり、第２所定数は２又は４である。本発明の実施例では、いずれも図９に示されるピクセルアレイを例として説明する。例えば、図７における第２タイプの感光デバイス７１は、「Ｇ」とマークされた第２タイプの感光デバイスであってもよく、第２タイプの感光デバイス７２、７３は、「Ｒ」とマークされた第２タイプの感光デバイスであってもよく、第２タイプの感光デバイス７４は、「Ｂ」とマークされた第２タイプの感光デバイスであってもよい。
上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、第２電流増幅器をさらに含み、
前記第２電流増幅器は、前記目標の第２タイプの感光デバイスと前記第１電流増幅器との間に接続される。
具体的には、本発明の実施例では、第１タイプの感光デバイスにより変換された電流信号が小さいため、第１電流増幅器と目標の第１タイプの感光デバイスとの間に第２電流増幅器が接続されてもよく、目標の第１タイプの感光デバイスにより変換された第１タイプの電流信号を予備的に増幅することに用いられる。第２電流増幅器は、実際のデバイスであってもよく、電流増幅機能を実現する機能モジュールであってもよく、本発明の実施例ではこれを具体的に限定しない。これに対応して、目標の第１タイプの感光デバイスの周囲での非目標の第１タイプの感光デバイスと加算器との間にも第２電流増幅器が設けられ、加算器の前の各非目標の第１タイプの感光デバイスがある分岐の電流信号と、目標の第１タイプの感光デバイスがある分岐の電流信号とが同じオーダーにあるようにする。
上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記目標電圧信号と前記指定デジタル信号は、画像を共同で形成する。
具体的には、本発明の実施例では、目標電圧信号と指定デジタル信号は、画像を共同で形成する。なお、目標電圧信号は、指定デジタル信号の出力形態及び速度とは異なる。目標電圧信号の出力速度は約３０ｍｓである。第１タイプの電流モードのアクティブピクセルセンサ回路におけるデジタルアナログ変換器の走査速度は約１ｍｓであるため、その後、非同期イベントアドレスの表示方式で出力され、具体的には（Ｘ、Ｙ、Ｐ、Ｔ）である。「Ｘ、Ｙ」はイベントアドレスであり、「Ｐ」は４値のイベント出力（第１の符号ビットを含む）であり、「Ｔ」はイベントが発生した時間である。
最終的に出力された画像は、図１１に示されており、２フレームのピクチャがカラーピクチャであり、順番に出力された目標電圧信号で形成されるが、２フレームのピクチャの間のエッジポイントが出力された指定デジタル信号で形成される。
最後に、なお、以上の実施例は、本発明の技術的解決手段を説明するためのものに過ぎず、それを限定するものではなく、上記実施例を参照して本発明を詳細に説明したが、当業者であれば理解されるように、依然として上記各実施例に記載の技術的解決手段を修正し、又はそのうちの一部の技術的特徴に対して等価置換を行うことができるが、これらの修正や置換は、対応する技術的解決手段の本質を本発明の各実施例の技術的解決手段の精神及び範囲から逸脱させるものではない。

Claims (10)

  1. バイモーダル生体模倣視覚センサであって、
    第１タイプの電流モードのアクティブピクセルセンサ回路と、
    電圧モードのアクティブピクセルセンサ回路とを含み、
    前記第１タイプの電流モードのアクティブピクセルセンサ回路は、目標光信号を取得して、第１タイプの電流信号に変換するための１つの目標の第１タイプの感光デバイスを含み、前記第１タイプの電流信号と、前記目標の第１タイプの感光デバイスの周囲に位置する第１所定数の非目標の第１タイプの感光デバイスにより変換された第２タイプの電流信号の合計との差に基づいて、前記目標光信号における光強度勾配情報を表す指定デジタル信号を出力することに用いられ、
    前記電圧モードのアクティブピクセルセンサ回路は、前記目標光信号を取得し、前記目標光信号の中から指定周波数帯域の光信号を抽出して、第３タイプの電流信号に変換するための第２タイプの感光デバイスを含み、前記第３タイプの電流信号に基づいて、前記目標光信号における光強度情報を表す目標電圧信号を出力することに用いられ、
    各非目標の第１タイプの感光デバイスは、それぞれ１つの第１タイプの制御スイッチに直列接続される、
    ことを特徴とするバイモーダル生体模倣視覚センサ。
  2. 前記第１タイプの電流モードのアクティブピクセルセンサ回路は、第１電流増幅器と、比較器と、加算器と、デジタルアナログ変換器とをさらに含み、
    前記目標の第１タイプの感光デバイスは、前記第１電流増幅器に接続され、前記第１電流増幅器は、前記比較器の一方の入力端子に接続され、
    前記加算器の入力端子は、それぞれ前記第１タイプの制御スイッチに接続され、前記加算器の出力端子は、前記比較器の他方の入力端子に接続され、
    前記比較器の出力端子は、前記デジタルアナログ変換器に接続され、前記デジタルアナログ変換器は、前記比較器の出力端子がイベントパルス信号を出力するまで、入力された指定デジタル信号を指定アナログ信号に変換して、前記第１電流増幅器又は前記加算器に出力し、
    前記第１タイプの電流モードのアクティブピクセルセンサ回路は、前記目標光信号における光強度勾配情報を表すための前記指定デジタル信号を出力する、
    ことを特徴とする請求項１に記載のバイモーダル生体模倣視覚センサ。
  3. 前記第１タイプの電流モードのアクティブピクセルセンサ回路は、トライステートゲート回路をさらに含み、
    前記トライステートゲート回路は、それぞれ前記比較器の出力端子及び前記デジタルアナログ変換器の入力端子に接続され、
    前記トライステートゲート回路は、前記比較器の出力端子が前記イベントパルス信号を出力する場合、前記指定デジタル信号を出力することに用いられる、
    ことを特徴とする請求項２に記載のバイモーダル生体模倣視覚センサ。
  4. 前記電圧モードのアクティブピクセルセンサ回路は、前記目標の第１タイプの感光デバイスの周囲に位置する第２所定数の前記第２タイプの感光デバイスを含み、各前記第２タイプの感光デバイスは、それぞれ１つの第２タイプの制御スイッチに直列接続され、同じ時刻に１つの第２タイプの制御スイッチのみがオン状態となり、
    前記電圧モードのアクティブピクセルセンサ回路は、電流積分器と、シャッターと、アナログデジタル変換器とをさらに含み、
    各前記第２タイプの感光デバイス及び直列接続された第２タイプの制御スイッチは、デバイス分岐路を形成し、すべてのデバイス分岐路は、並列接続され、前記電流積分器、前記シャッター及び前記アナログデジタル変換器を共有し、
    前記電流積分器は、前記電圧モードのアクティブピクセルセンサ回路における目標コンデンサの電圧アナログ信号を取得することに用いられ、
    前記シャッターは、前記電流積分器の積分時間を制御することに用いられ、
    前記アナログデジタル変換器は、前記目標コンデンサの電圧アナログ信号を前記目標電圧信号に変換することに用いられる、
    ことを特徴とする請求項１に記載のバイモーダル生体模倣視覚センサ。
  5. 第２タイプの電流モードのアクティブピクセルセンサ回路をさらに含み、
    前記第２タイプの電流モードのアクティブピクセルセンサ回路は、前記非目標の第１タイプの感光デバイスと、第２所定数のカレントミラーとを含み、
    各カレントミラーは、それぞれ前記非目標の第１タイプの感光デバイスの周囲に位置する１つの前記目標の第１タイプの感光デバイスに直列接続される、
    ことを特徴とする請求項４に記載のバイモーダル生体模倣視覚センサ。
  6. 前記バイモーダル生体模倣視覚センサのピクセルアレイは、前記目標の第１タイプの感光デバイス、前記非目標の第１タイプの感光デバイス及び前記第２タイプの感光デバイスを配列することにより形成され、
    前記ピクセルアレイの各行には、前記第２タイプの感光デバイスと前記目標の第１タイプの感光デバイスとが交互に配列され、又は前記第２タイプの感光デバイスと前記非目標の第１タイプの感光デバイスとが交互に配列される、
    ことを特徴とする請求項１に記載のバイモーダル生体模倣視覚センサ。
  7. 前記第２タイプの感光デバイスは、光学フィルタと、フォトダイオードとを含み、
    前記光学フィルタは、前記目標光信号を取得し、前記目標光信号から指定周波数帯域の光信号を抽出することに用いられ、
    前記フォトダイオードは、前記指定周波数帯域の光信号を前記第３タイプの電流信号に変換することに用いられる、
    ことを特徴とする請求項１に記載のバイモーダル生体模倣視覚センサ。
  8. 前記第１タイプの電流モードのアクティブピクセルセンサ回路は、第２電流増幅器をさらに含み、
    前記第２電流増幅器は、前記目標の第２タイプの感光デバイスと前記第１電流増幅器との間に接続される、
    ことを特徴とする請求項２に記載のバイモーダル生体模倣視覚センサ。
  9. 前記目標電圧信号と前記指定デジタル信号とは、画像を共同で形成する、
    ことを特徴とする請求項１～８のいずれか１項に記載のバイモーダル生体模倣視覚センサ。
  10. ２つの記憶ユニットをさらに含み、
    ２つの前記記憶ユニットは、それぞれ前記目標電圧信号及び前記指定デジタル信号を記憶することに用いられる、
    ことを特徴とする請求項１～８のいずれか１項に記載のバイモーダル生体模倣視覚センサ。
JP2022536912A 2019-12-24 2020-01-21 バイモーダル生体模倣視覚センサ Active JP7335020B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911348653.8A CN111083402B (zh) 2019-12-24 2019-12-24 双模态仿生视觉传感器
CN201911348653.8 2019-12-24
PCT/CN2020/073523 WO2021128533A1 (zh) 2019-12-24 2020-01-21 双模态仿生视觉传感器

Publications (2)

Publication Number Publication Date
JP2023507363A true JP2023507363A (ja) 2023-02-22
JP7335020B2 JP7335020B2 (ja) 2023-08-29

Family

ID=70317305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022536912A Active JP7335020B2 (ja) 2019-12-24 2020-01-21 バイモーダル生体模倣視覚センサ

Country Status (4)

Country Link
US (1) US11943550B2 (ja)
JP (1) JP7335020B2 (ja)
CN (1) CN111083402B (ja)
WO (1) WO2021128533A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188092B (zh) * 2020-09-24 2022-09-30 北京灵汐科技有限公司 双模态信号处理系统和方法
WO2022063060A1 (zh) * 2020-09-24 2022-03-31 北京灵汐科技有限公司 双模态信号处理系统和方法
CN112188093B (zh) * 2020-09-24 2022-09-02 北京灵汐科技有限公司 双模态信号融合系统和方法
CN112200757B (zh) * 2020-09-29 2024-08-02 北京灵汐科技有限公司 图像处理方法、装置、计算机设备及存储介质
CN112543271B (zh) * 2020-12-03 2022-09-02 清华大学 双模态紫外仿生视觉传感器
CN112584016B (zh) * 2020-12-03 2022-07-19 北京灵汐科技有限公司 红外仿生视觉传感器
WO2022116991A1 (zh) * 2020-12-03 2022-06-09 北京灵汐科技有限公司 仿生视觉传感器
CN112600996B (zh) * 2020-12-03 2022-12-09 清华大学 紫外仿生视觉传感器
CN112532898B (zh) * 2020-12-03 2022-09-27 北京灵汐科技有限公司 双模态红外仿生视觉传感器
WO2022135359A1 (zh) * 2020-12-21 2022-06-30 北京灵汐科技有限公司 双模态图像信号处理器和双模态图像信号处理系统
CN112714301B (zh) * 2020-12-21 2023-07-21 北京灵汐科技有限公司 双模态图像信号处理器和图像传感器
CN112702588B (zh) * 2020-12-21 2023-04-07 北京灵汐科技有限公司 双模态图像信号处理器和双模态图像信号处理系统
CN114697578B (zh) * 2020-12-31 2024-03-15 清华大学 基于三维堆叠技术的双模态图像传感器芯片及成像系统
CN113038046B (zh) * 2021-03-23 2023-07-25 北京灵汐科技有限公司 像素传感阵列和视觉传感器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002026304A (ja) * 2000-07-03 2002-01-25 Sony Corp 固体撮像素子
JP2006279324A (ja) * 2005-03-28 2006-10-12 Sanyo Electric Co Ltd 光検出装置
JP2011120202A (ja) * 2009-11-02 2011-06-16 Sony Corp 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8266098B2 (en) * 2009-11-18 2012-09-11 International Business Machines Corporation Ranking expert responses and finding experts based on rank
FR2975251B1 (fr) * 2011-05-12 2015-12-04 Univ Pierre Et Marie Curie Paris 6 Procede et dispositif de commande d'un dispositif d'aide a la vision
US9047568B1 (en) * 2012-09-20 2015-06-02 Brain Corporation Apparatus and methods for encoding of sensory data using artificial spiking neurons
CN102984471B (zh) * 2012-12-10 2014-05-14 天津大学 由四管有源像素与数字像素组成的像素阵列
JP6166562B2 (ja) * 2013-03-21 2017-07-19 キヤノン株式会社 撮像素子及びその駆動方法、及び撮像装置
US10726337B1 (en) * 2015-04-30 2020-07-28 Hrl Laboratories, Llc Method and apparatus for emulation of neuromorphic hardware including neurons and synapses connecting the neurons
CN105163048A (zh) * 2015-09-11 2015-12-16 天津大学 基于放大器复用的动态视觉传感器
US10133944B2 (en) * 2016-12-21 2018-11-20 Volkswagen Ag Digital neuromorphic (NM) sensor array, detector, engine and methodologies
US10235565B2 (en) * 2016-12-21 2019-03-19 Volkswagen Ag System and methodologies for occupant monitoring utilizing digital neuromorphic (NM) data and fovea tracking
CN107333040B (zh) * 2017-07-13 2020-02-21 中国科学院半导体研究所 仿生视觉成像与处理装置
CN108200362B (zh) * 2017-12-19 2019-10-18 清华大学 基于空间对比度的仿生视网膜摄像电路及子电路
CN108566524B (zh) * 2018-01-31 2023-10-27 光微信息科技(合肥)有限公司 像素单元、图像传感器芯片、成像系统、像素单元的形成方法以及深度信息测算方法
US10812711B2 (en) * 2018-05-18 2020-10-20 Samsung Electronics Co., Ltd. Semantic mapping for low-power augmented reality using dynamic vision sensor
CN110324548B (zh) * 2019-06-27 2021-11-09 Oppo广东移动通信有限公司 一种像素单元电路、信号处理方法及存储介质
CN111083404B (zh) * 2019-12-24 2021-01-08 清华大学 视锥视杆双模态仿生视觉传感器
US20210312257A1 (en) * 2020-04-07 2021-10-07 Microsoft Technology Licensing, Llc Distributed neuromorphic infrastructure

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002026304A (ja) * 2000-07-03 2002-01-25 Sony Corp 固体撮像素子
JP2006279324A (ja) * 2005-03-28 2006-10-12 Sanyo Electric Co Ltd 光検出装置
US20060249659A1 (en) * 2005-03-28 2006-11-09 Yoh Takano Photodetection apparatus with operation-mode switching
JP2011120202A (ja) * 2009-11-02 2011-06-16 Sony Corp 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム

Also Published As

Publication number Publication date
WO2021128533A1 (zh) 2021-07-01
CN111083402A (zh) 2020-04-28
US20230033544A1 (en) 2023-02-02
JP7335020B2 (ja) 2023-08-29
US11943550B2 (en) 2024-03-26
CN111083402B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
JP7335020B2 (ja) バイモーダル生体模倣視覚センサ
JP7335021B2 (ja) 錐体及び桿体のバイモーダル生体模倣視覚センサ
US11825228B2 (en) Programmable pixel array having multiple power domains
US10951849B2 (en) Digital pixel image sensor
WO2021128532A1 (zh) 视锥视杆复用式仿生视觉传感器
CN112532898B (zh) 双模态红外仿生视觉传感器
CN211296854U (zh) 像素阵列及仿生视觉传感器
CN105430360B (zh) 成像方法、图像传感器、成像装置及电子装置
CN111031267B (zh) 视杆仿生视觉传感器
CN102340673A (zh) 一种针对交通场景的摄像机白平衡方法
CN110574367A (zh) 一种图像传感器和图像感光的方法
Zhang et al. A closed-loop, all-electronic pixel-wise adaptive imaging system for high dynamic range videography
KR20190100833A (ko) Hdr 이미지 생성 장치
CN111083405A (zh) 双模态仿生视觉传感器像素读出系统
US9124828B1 (en) Apparatus and methods using a fly's eye lens system for the production of high dynamic range images
US11671714B1 (en) Motion based exposure control
CN112543271B (zh) 双模态紫外仿生视觉传感器
CN112584016B (zh) 红外仿生视觉传感器
WO2022116991A1 (zh) 仿生视觉传感器
US20240054659A1 (en) Object detection in dynamic lighting conditions
Shimonomura et al. A silicon retina system for color constancy
CN112600996A (zh) 紫外仿生视觉传感器
EP4413413A1 (en) Noise-reduction circuit for an image sensor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230809

R150 Certificate of patent or registration of utility model

Ref document number: 7335020

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150