JP2023506277A - 錐体及び桿体のバイモーダル生体模倣視覚センサ - Google Patents

Abstract

本発明の実施例は、錐体及び桿体のバイモーダル生体模倣視覚センサを提供し、第１所定数の電圧モードのアクティブピクセルセンサ回路と、第２所定数の電流モードのアクティブピクセルセンサ回路とを含み、各電圧モードのアクティブピクセルセンサ回路はいずれも第１タイプの感光デバイスを含み、各電流モードのアクティブピクセルセンサ回路はいずれも第２タイプの感光デバイスを含む。電圧モードのアクティブピクセルセンサにより、目標光信号における光強度情報を表す目標電圧信号を出力でき、得られた目標電圧信号が光強度情報を表す精度が高くなり、より高品質の画像を取得することができ、すなわち、画像の画像信号対雑音比が高くなる。電流モードのアクティブピクセルセンサにより、目標光信号における光強度勾配情報を表す指定デジタル信号を出力でき、生体模倣視覚センサの画像ダイナミックレンジ及び撮影速度などの性能指標が確保され、生体模倣視覚センサの安定性及びロバスト性が高くなる。【選択図】図８

Description

本発明は、集積回路の技術分野に関し、より具体的には、錐体及び桿体のバイモーダル生体模倣視覚センサに関する。

画像センサと画像処理認識アルゴリズムの研究が深くなるにつれ、生体模倣視覚センサは、工業製造、知能交通、知能ロボットなどの複数の応用分野でますます重要な役割を果たしている。

生体模倣視覚センサは、主に人間の目の網膜のモーダルをシミュレートし、人間の目の網膜には、主にそれぞれ２種類の異なるモーダルに対応する２種類の視覚感知細胞、すなわち錐体細胞及び桿体細胞が含まれる。錐体細胞のモーダルは、主に絶対光強度情報と色情報に敏感であり、画像の復元精度が高いが、復元速度が遅い一方、桿体細胞は、主に光強度情報の変化量を感知し、感知速度が速く、感知のダイナミックレンジが広いが、絶対光強度情報と色情報を感知することができない。

しかしながら、従来技術に存在する生体模倣視覚センサはいずれも人間の目の網膜のモーダルの１つのみをシミュレートして、単一の感知モードを形成し、さらにあるタイプの情報しか感知できない。例えば、従来のカメラは、錐体細胞と同様であり、主に色情報を感知する。例えば、動的視覚センサ（Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ、ＤＶＳ）は、桿体細胞と同様であり、主に光強度情報の変化量を感知する。シングルモーダルの視覚センサの応用シナリオが限られている。例えば、錐体細胞と同様の生体模倣視覚センサについては、光強度情報の変化量ではなく絶対光強度情報を撮影するため、家庭用娯楽電子機器で非常に広く応用されているが、産業用制御の分野では、速度が不十分でダイナミックレンジが小さすぎるなどの課題に直面する場合が多く、従って応用が困難である。桿体細胞と同様の生体模倣視覚センサについては、感知速度が速いが、運動目標にしか敏感ではないため、画像を撮影することが困難になったり、撮影された画像の品質が低くなったりして、娯楽電子機器のニーズを満たすことは困難である。また、生体模倣視覚センサが単一の感知モードしか含まないため、この感知モードが無効になると生体模倣視覚センサが無効になり、安定性に対する要件が高い無人運転、無人機などのロボットには大きな制限がある。また、現在、生体模倣視覚センサの性能を評価する主な指標は、画質、ダイナミックレンジ及び撮影速度である。上記内容から分かるように、従来の生体模倣視覚センサの構造では、これら３つの指標は相互に排他的である場合が多く、例えば、撮影速度が向上すると、生体模倣視覚センサのダイナミックレンジが小さくなり、画質が向上すると、撮影速度が一般的に低下し、同時に考慮することは困難である。

従って、現在、錐体及び桿体のバイモーダル生体模倣視覚センサを提供する緊急の必要性がある。

上記課題を解消し又は上記課題を少なくとも部分的に解決するために、本発明の実施例は、錐体及び桿体のバイモーダル生体模倣視覚センサを提供する。

本発明の実施例は、第１所定数の電圧モードのアクティブピクセルセンサ回路と、第２所定数の電流モードのアクティブピクセルセンサ回路とを含み、
前記電圧モードのアクティブピクセルセンサ回路は、目標光信号を取得し、前記目標光信号の中から指定された周波数帯域の光信号を抽出して、第１タイプの電流信号に変換するための第１タイプの感光デバイスを含み、前記第１タイプの電流信号に基づいて、前記目標光信号における光強度情報を表す目標電圧信号を出力することに用いられ、
前記電流モードのアクティブピクセルセンサ回路は、前記目標光信号を取得して、第２タイプの電流信号に変換するための第２タイプの感光デバイスを含み、前記第２タイプの電流信号に基づいて、前記目標光信号における光強度勾配情報を表す指定デジタル信号を出力することに用いられる錐体及び桿体のバイモーダル生体模倣視覚センサを提供する。

好ましくは、前記第１タイプの感光デバイスは、フォトダイオードと、前記フォトダイオードに設けられたカラーフィルタとを含む。

好ましくは、前記電圧モードのアクティブピクセルセンサ回路は、電流積分器と、シャッターと、アナログデジタル変換器とをさらに含み、
前記電流積分器は、前記電圧モードのアクティブピクセルセンサ回路における目標コンデンサの電圧アナログ信号を取得することに用いられ、
前記シャッターは、前記電流積分器の積分時間を制御することに用いられ、
前記アナログデジタル変換器は、前記目標コンデンサの電圧アナログ信号を前記目標電圧信号に変換することに用いられる。

好ましくは、前記目標コンデンサは、前記電圧モードのアクティブピクセルセンサ回路内に設けられた独立コンデンサであり、又は前記電圧モードのアクティブピクセルセンサ回路の寄生コンデンサである。

好ましくは、前記電流モードのアクティブピクセルセンサ回路は、第１電流増幅器と、比較器と、加算器と、デジタルアナログ変換器とをさらに含み、
前記第２タイプの感光デバイスは、前記第１電流増幅器に接続され、前記第１電流増幅器は、前記比較器の一方の入力端子に接続され、
前記第２タイプの感光デバイスの周囲に位置する第３所定数の他の第２タイプの感光デバイスは、それぞれ前記加算器の入力端子に接続され、前記加算器の出力端子は、前記比較器の他方の入力端子に接続され、
前記比較器の出力端子は、前記デジタルアナログ変換器に接続され、前記デジタルアナログ変換器は、前記比較器の出力端子がイベントパルス信号を出力するまで、入力された指定デジタル信号を指定アナログ信号に変換して、前記第１電流増幅器又は前記加算器に出力し、前記電流モードのアクティブピクセルセンサ回路は、前記指定デジタル信号を出力する。

好ましくは、前記電流モードのアクティブピクセルセンサ回路は、第１電流増幅器と、加算器と、差分回路と、電圧比較器とをさらに含み、
前記第２タイプの感光デバイスは、前記第１電流増幅器に接続され、前記第１電流増幅器は、前記差分回路に接続され、
前記第２タイプの感光デバイスの周囲に位置する第３所定数の他の第２タイプの感光デバイスは、それぞれ前記加算器の入力端子に接続され、前記加算器の出力端子は、前記差分回路に接続され、前記差分回路は、前記第１電流増幅器の出力結果と前記加算器の出力結果に対して差分演算を行って、差分電圧信号を取得することに用いられ、
前記差分回路は、前記電圧比較器に接続され、前記電圧比較器は、前記差分電圧信号に基づいて、前記指定デジタル信号を出力することに用いられる。

好ましくは、前記差分回路は、具体的には、差分サブ回路と、積分サンプリングサブ回路とを含み、
前記第１電流増幅器及び前記加算器の出力端子は、それぞれ前記差分サブ回路に接続され、前記差分サブ回路は、第１電流増幅器の出力結果と前記加算器の出力結果に対して差分演算を行って、差分電流信号を取得することに用いられ、前記差分サブ回路は、前記積分サンプリングサブ回路に接続され、前記積分サンプリングサブ回路は、前記差分電流信号に対して積分サンプリングを行って、差分電圧信号を取得することに用いられる。

好ましくは、前記電流モードのアクティブピクセルセンサ回路は、第２電流増幅器をさらに含み、
前記第２電流増幅器は、前記第２タイプの感光デバイスと前記第１電流増幅器との間に接続される。

好ましくは、すべての前記目標電圧信号とすべての前記指定デジタル信号は、画像を共同で形成する。

好ましくは、本発明の実施例における錐体及び桿体のバイモーダル生体模倣視覚センサは、２つの記憶ユニットをさらに含み、２つの前記記憶ユニットは、それぞれ前記目標電圧信号及び前記指定デジタル信号を記憶することに用いられる。

本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサは、第１所定数の電圧モードのアクティブピクセルセンサ回路と、第２所定数の電流モードのアクティブピクセルセンサ回路とを含み、各電圧モードのアクティブピクセルセンサ回路はいずれも第１タイプの感光デバイスを含み、各電流モードのアクティブピクセルセンサ回路はいずれも第２タイプの感光デバイスを含む。電圧モードのアクティブピクセルセンサにより、目標光信号における光強度情報を表す目標電圧信号を出力でき、得られた目標電圧信号が光強度情報を表す精度が高くなり、より高品質の画像を取得することができ、すなわち、画像の画像信号対雑音比が高くなる。また、電流モードのアクティブピクセルセンサにより、目標光信号における光強度勾配情報を表す指定デジタル信号を出力でき、一方では、指定デジタル信号を高速に取得して、画像をより高速に取得することができ、他方では、指定デジタル信号が光強度勾配情報を表すため、画像のダイナミックレンジを拡大することができる。このように、錐体及び桿体のバイモーダル生体模倣視覚センサのバイモーダル出力モードを実現できるとともに、錐体及び桿体のバイモーダル生体模倣視覚センサの画質、ダイナミックレンジ及び撮影速度などの性能指標が確保され、錐体及び桿体のバイモーダル生体模倣視覚センサの安定性及びロバスト性が高くなり、異なる撮影シナリオに適応でき、応用範囲が広くなる。

本発明の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の説明において使用される必要がある図面について簡単に説明し、明らかに、以下に説明される図面は、本発明のいくつかの実施例であり、当業者であれば、創造的労働を行わずに、これらの図面に基づいて他の図面を取得することができる。
本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電圧モードのアクティブピクセルセンサ回路の構造模式図である。 本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電流モードのアクティブピクセルセンサ回路の構造模式図である。 本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける、ある電流モードのアクティブピクセルセンサ回路と他の電流モードのアクティブピクセルセンサ回路とを関連付けるための回路構造の模式図である。 本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電流モードのアクティブピクセルセンサ回路内の、デジタルアナログ変換器に入力された指定デジタル信号の変化形態の模式図である。 本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける、すべての第１タイプの感光デバイスとすべての第２タイプの感光デバイスに対応するピクセルアレイの構造模式図である。 本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける、すべての第１タイプの感光デバイスとすべての第２タイプの感光デバイスに対応するピクセルアレイの構造模式図である。 本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電圧モードのアクティブピクセルセンサ回路の構造模式図である。 本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電流モードのアクティブピクセルセンサ回路の構造模式図である。 本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電流モードのアクティブピクセルセンサ回路の構造模式図である。

本発明の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本発明の実施例における図面を参照しながら、本発明の実施例における技術的解決手段を明確、かつ完全に説明し、明らかに、説明される実施例は、本発明の実施例の一部であり、実施例の全部ではない。本発明における実施例に基づき、当業者が創造的な労働を行わずに得たすべての他の実施例は、いずれも本発明の保護範囲に属する。

本発明の実施例は、錐体及び桿体のバイモーダル生体模倣視覚センサを提供し、第１所定数の電圧モードのアクティブピクセルセンサ回路と、第２所定数の電流モードのアクティブピクセルセンサ回路とを含み、
前記電圧モードのアクティブピクセルセンサ回路は、目標光信号を取得し、前記目標光信号の中から指定された周波数帯域の光信号を抽出して、第１タイプの電流信号に変換するための１つの第１タイプの感光デバイスを含み、前記電圧モードのアクティブピクセルセンサ回路は、前記第１タイプの電流信号に基づいて、前記目標光信号における光強度情報を表す目標電圧信号を出力することに用いられ、
前記電流モードのアクティブピクセルセンサ回路は、前記目標光信号を取得して、第２タイプの電流信号に変換するための１つの第２タイプの感光デバイスを含み、前記電流モードのアクティブピクセルセンサ回路は、前記第２タイプの電流信号に基づいて、前記目標光信号における光強度勾配情報を表す指定デジタル信号を出力することに用いられる。

具体的には、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサには複数の感光デバイスが含まれ、錐体及び桿体のバイモーダル生体模倣視覚センサにおける感光デバイスは、異なるカテゴリの光を感知することにより第１所定数の第１タイプの感光デバイス及び第２所定数の第２タイプの感光デバイスに分けることができ、第１タイプの感光デバイスは、目標光信号におけるカラー成分を感知することに用いられ、第２タイプの感光デバイスは、目標光信号を直接感知することに用いられる。本発明の実施例では、目標光信号におけるカラー成分は、指定された周波数帯域の光信号と表記され、すなわち、第１タイプの感光デバイスは、目標光信号を取得し、前記目標光信号の中から指定された周波数帯域の光信号を抽出して、第１タイプの電流信号に変換することに用いられ、第２タイプの感光デバイスは、目標光信号を取得して、第２タイプの電流信号に変換することに用いられる。なお、第１所定数と第２所定数との合計は、錐体及び桿体のバイモーダル生体模倣視覚センサに含まれる感光デバイスの総数に等しく、第１所定数と第２所定数の大きさは、必要に応じて設定されてもよい。

目標光信号とは、目標物体の表面で反射した光信号を指し、目標光信号は、第１タイプの感光デバイス又は第２タイプの感光デバイスに直接照射されてもよく、コリメートレンズを介して第１タイプの感光デバイス又は第２タイプの感光デバイスに照射されてもよく、被覆物を透過して第１タイプの感光デバイス又は第２タイプの感光デバイスに照射されてもよい。目標光信号の波長帯域は、可視光波長帯域であってもよく、すなわち、目標光信号は可視光信号であってもよい。目標物体とは、人間の目で観察する必要がある物体を指し、実物であってもよく、画像又は他の形態であってもよく、本発明では目標物体の具体的な形態を限定しない。

本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける各感光デバイスは、１つの制御回路に対応し、すなわち、錐体及び桿体のバイモーダル生体模倣視覚センサには、第１所定数の電圧モードのアクティブピクセルセンサ回路と、第２所定数の電流モードのアクティブピクセルセンサ回路とが含まれる。各電圧モードのアクティブピクセルセンサ回路はいずれも１つの第１タイプの感光デバイスを含み、各電圧モードのアクティブピクセルセンサ回路は、含まれる第１タイプの感光デバイスにより変換された第１タイプの電流信号に基づいて、目標光信号における光強度情報を表す目標電圧信号を出力することに用いられる。各電流モードのアクティブピクセルセンサ回路はいずれも１つの第２タイプの感光デバイスを含み、各電流モードのアクティブピクセルセンサ回路は、含まれる第２タイプの感光デバイスにより変換された第２タイプの電流信号に基づいて、目標光信号における光強度勾配情報を表す指定デジタル信号を出力することに用いられる。

なお、電圧モードのアクティブピクセルセンサ回路とは、動作モードが電圧モードであるアクティブピクセルセンサ（Ａｃｔｉｖｅ Ｐｉｘｅｌ Ｓｅｎｓｏｒ、ＡＰＳ）回路を指し、すなわち、そのうちの第１タイプの感光デバイスが変換して第１タイプの電流信号を得た後、第１タイプの電流信号を積分して、目標電圧信号を取得する必要がある。電流モードのアクティブピクセルセンサ回路とは、動作モードが電流モードであるＡＰＳ回路を指し、すなわち、そのうちの第２タイプの感光デバイスが変換して第２タイプの電流信号を得た後、第２タイプの電流信号を直接積分する必要がなく、他の処理を行う。

図１は、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電圧モードのアクティブピクセルセンサ回路の構造模式図であり、これは人間の目の網膜の錐体細胞と同等である。図１では、Ｖｃｃ１は、電圧モードのアクティブピクセルセンサ回路の電源であり、Ｖｃｃ１は、具体的に３．３Ｖであってもよい。第１タイプの感光デバイス１１は、それぞれＭＯＳトランジスタ１２、１３に接続され、ＭＯＳトランジスタ１３は、ＭＯＳトランジスタ１４に接続される。ＭＯＳトランジスタ１２は、バイアスに用いられ、ＭＯＳトランジスタ１３は、スイッチングに用いられ、ＭＯＳトランジスタ１４は、第１タイプの感光デバイス１１により変換された第１タイプの電流信号に対して電流積分を行って、目標光信号における光強度情報を表す目標電圧信号を取得することに用いられる。

図２は、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電流モードのアクティブピクセルセンサ回路の構造模式図であり、これは人間の目の網膜の桿体細胞と同等である。図２では、Ｖｃｃ２は、電流モードのアクティブピクセルセンサ回路の電源であり、Ｖｃｃ２は、具体的に３．３Ｖであってもよい。第２タイプの感光デバイス２１は、ＭＯＳトランジスタ２２に接続され、ＭＯＳトランジスタ２２は、ＭＯＳトランジスタ２３に接続され、カレントミラーを形成し、ＭＯＳトランジスタ２３のチャネル幅を変更することにより、第２タイプの感光デバイス２１により変換された電流信号Ｉ_ｃと、ＭＯＳトランジスタ２３の第２タイプの感光デバイス２１の鏡像に対応する端の電流信号の大きさが、Ｐ倍の関係にあるようにすることができ、すなわち、ＭＯＳトランジスタ２３の第２タイプの感光デバイス２１の鏡像に対応する端の電流はＰ＊Ｉ_ｃである。

ある電流モードのアクティブピクセルセンサ回路と他の電流モードのアクティブピクセルセンサ回路との間は、図３に示される回路を介して関連付けられ、図３に示される回路は、人間の目の網膜神経節細胞及び双極細胞と同等である。図３では、１つの第２タイプの感光デバイスを例として説明し、該第２タイプの感光デバイスの周囲での他の第２タイプの感光デバイスは４つがある。Ｖｃｃ３は、回路の電源であり、Ｖｃｃ３は、具体的に３．３Ｖであってもよい。デジタルアナログ変換器（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ、ＤＡＣ）３１は、比較器３２に接続され、第２タイプの感光デバイスにより変換された第２タイプの電流信号はＩ_ｃであり、第２タイプの感光デバイスの周囲での４つの他の第２タイプの感光デバイスにより変換された第２タイプの電流信号は、それぞれＩ_１、Ｉ_２、Ｉ_３、Ｉ_４であり、Ｐ＝４倍縮小した後にそれぞれＩ_１／４、Ｉ_２／４、Ｉ_３／４、Ｉ_４／４である。比較器３２は、アドレス指定ユニット３３に接続され、アドレス指定ユニット３３は、それぞれＤＡＣ３１及び記憶ユニット３４に接続される。なお、ＤＡＣ３１の入力は、人為的に入力された１つの周期的に増加する指定デジタル信号であってもよく、具体的に段階的に逓増することができる。アドレス指定ユニット３３は、比較器３２の出力端子がイベントパルス信号を出力し、すなわち比較器３２がエッジトリガー状態にある場合、記憶ユニット３４をアドレス指定して電流モードのアクティブピクセルセンサ回路の出力結果を記憶することに用いられる。本発明の実施例では、比較器３２により電流モードのアクティブピクセルセンサ回路の出力動作の制御を実現し、比較器３２の出力端子がイベントパルス信号を出力し、すなわち比較器３２がエッジトリガー状態にある場合、電流モードのアクティブピクセルセンサ回路は、このとき、目標光信号における光強度勾配情報を表すための指定デジタル信号を出力する。記憶ユニット３４は、具体的には、レジスタ、ラッチ、ＳＲＡＭ、ＤＲＡＭ、メモリスタなどであってもよい。レジスタを例として、レジスタのビット数は、ＤＡＣ３１の精度に関係しており、本発明の実施例では、４ビットレジスタが選択されてもよい。

ＤＡＣ３１に入力された指定デジタル信号の変化形態は、具体的に図４に示されており、指定デジタル信号は、具体的に時間とともに段階的に逓増し、ある時刻でＮ＊ｓｔｅｐの場合、指定デジタル信号の値はΔＩであり、比較器３２はイベントパルス信号を出力し、すなわち比較器３２はエッジトリガー状態にあり、このときのΔＩは、電流モードのアクティブピクセルセンサ回路の出力として機能する。Ｎは、これ以前に通過したステップの数であり、ｓｔｅｐは、各ステップの通過時間である。

本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサは、第１所定数の電圧モードのアクティブピクセルセンサ回路と、第２所定数の電流モードのアクティブピクセルセンサ回路とを含み、各電圧モードのアクティブピクセルセンサ回路はいずれも１つの第１タイプの感光デバイスを含み、各電流モードのアクティブピクセルセンサ回路はいずれも１つの第２タイプの感光デバイスを含む。電圧モードのアクティブピクセルセンサにより、目標光信号における光強度情報を表す目標電圧信号を出力でき、得られた目標電圧信号が光強度情報を表す精度が高くなり、より高品質の画像を取得することができ、すなわち、画像の画像信号対雑音比が高くなる。また、電流モードのアクティブピクセルセンサにより、目標光信号における光強度勾配情報を表す指定デジタル信号を出力でき、一方では、指定デジタル信号を高速に取得して、画像をより高速に取得することができ、他方では、指定デジタル信号が光強度勾配情報を表すため、画像のダイナミックレンジを拡大することができる。このように、錐体及び桿体のバイモーダル生体模倣視覚センサのバイモーダル出力モードを実現できるとともに、錐体及び桿体のバイモーダル生体模倣視覚センサの画質、ダイナミックレンジ及び撮影速度などの性能指標が確保され、錐体及び桿体のバイモーダル生体模倣視覚センサの安定性及びロバスト性が高くなり、異なる撮影シナリオに適応でき、応用範囲が広くなる。

上記実施例に基づき、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサでは、前記第１タイプの感光デバイスは、フォトダイオードと、前記フォトダイオードに設けられたカラーフィルタとを含む。

具体的には、本発明の実施例では、第１タイプの感光デバイスは、フォトダイオード（Ｐｈｏｔｏ－Ｄｉｏｄｅ、ＰＤ）及びＰＤに設けられたカラーフィルタ（Ｃｏｌｏｕｒ Ｆｉｌｔｅｒ、ＣＦ）で構成されてもよく、最終的に錐体及び桿体のバイモーダル生体模倣視覚センサにより得られた画像はカラー画像である。ＣＦは、目標光信号を取得し、目標光信号の中から指定された周波数帯域の光信号を抽出することに用いられ、ＰＤは、前記指定された周波数帯域の光信号を第１タイプの電流信号に変換する。カラーフィルタは、具体的には、指定された周波数帯域の光信号を透過するためのフィルタ又はレンズであってもよい。カラーフィルタがレンズである場合、具体的には、バイロンレンズを選択してもよく、他のタイプのレンズを選択してもよい。カラーフィルタは、透過した光信号の波長の大きさに応じて、赤色カラーフィルタ、青色カラーフィルタ及び緑色カラーフィルタに分けられてもよく、透過した光信号は、それぞれ赤色光信号、青色光信号及び緑色光信号である。

なお、第１タイプの感光デバイスはさらに、フォトダイオードで直接構成されてもよく、応答曲線の異なるフォトダイオードを選択することにより、目標光信号を取得し、目標光信号の中から指定された波長帯域の光信号を抽出して、第１タイプの電流信号に変換する役割を実現する。

一般的には、錐体及び桿体のバイモーダル生体模倣視覚センサにおける１つの第１タイプの感光デバイス又は１つの第２タイプの感光デバイスはいずれも１つのピクセルに対応し、錐体及び桿体のバイモーダル生体模倣視覚センサにおけるすべての第１タイプの感光デバイスとすべての第２タイプの感光デバイスは、ピクセルアレイに対応する。すなわち、錐体及び桿体のバイモーダル生体模倣視覚センサにおける各第１タイプの感光デバイスと各第２タイプの感光デバイスは、ピクセルアレイ内の対応するピクセルと１対１で対応する。

本発明の実施例では、すべての第１タイプの感光デバイスとすべての第２タイプの感光デバイスに対応するピクセルアレイは、具体的に図５及び図６に示されてもよく、図５及び図６における各マスはいずれも１つのピクセルを表し、マークされていないピクセルは、錐体及び桿体のバイモーダル生体模倣視覚センサにおける１つの第２タイプの感光デバイスに対応し、マークされたピクセルは、錐体及び桿体のバイモーダル生体模倣視覚センサにおける１つの第１タイプの感光デバイスに対応し、「Ｒ」とマークされた各ピクセルは、赤色カラーフィルタを含む第１タイプの感光デバイスに対応し、「Ｇ」とマークされた各ピクセルは、緑色カラーフィルタを含む第１タイプの感光デバイスに対応し、「Ｂ」とマークされた各ピクセルは、青色カラーフィルタを含む第１タイプの感光デバイスに対応する。図５では、各第１タイプの感光デバイスに対応するピクセルの周囲での、上、下、左、右の４つの方向におけるピクセルはいずれも第２タイプの感光デバイスに対応し、且つ各行には、１色の光のカラーフィルタを有する第１タイプの感光デバイスに対応するピクセルが含まれる。図６では、各第１タイプの感光デバイスに対応するピクセルの周囲での、左上、上、右上、左、右、左下、下、右下の８つの方向におけるピクセルはいずれも第２タイプの感光デバイスに対応し、且つ各行には、３色の光のカラーフィルタを有する第１タイプの感光デバイスに対応するピクセルが含まれる。

本発明の実施例では、図５及び図６に示されるピクセルアレイの配列方式が用いられ、画像の色の還元を確保するだけでなく、さらに画像取得の速度及び画像のダイナミックレンジを確保する。

上記実施例に基づき、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサでは、前記電圧モードのアクティブピクセルセンサ回路は、電流積分器と、シャッターと、アナログデジタル変換器とをさらに含み、
前記電流積分器は、前記電圧モードのアクティブピクセルセンサ回路における目標コンデンサの電圧アナログ信号を取得することに用いられ、
前記シャッターは、前記電流積分器の積分時間を制御することに用いられ、
前記アナログデジタル変換器は、前記目標コンデンサの電圧アナログ信号を前記目標電圧信号に変換することに用いられる。

具体的には、図７に示すように、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電圧モードのアクティブピクセルセンサ回路は、第１タイプの感光デバイス６１だけでなく、さらに電流積分器（Ｃｕｒｒｅｎｔ Ｉｎｔｅｇｒａｔｏｒ、ＣＩ）６２、シャッター６４及びアナログデジタル変換器（Ａｎａｌｏｇ－ｔｏ－Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ、ＡＤＣ）６３を含む。ＣＩ６２は、電圧モードのアクティブピクセルセンサ回路における目標コンデンサの電圧アナログ信号を取得することに用いられ、ＡＤＣ６３は、前記目標コンデンサの電圧アナログ信号を前記目標電圧信号に変換することに用いられる。シャッター６４は、ＣＩ６２の積分時間を制御することに用いられる。例えば、シャッター６４は、ＣＩ６２の積分時間を３３ｍｓに制御し、３３ｍｓ後、シャッター６４が閉じられ、ＣＩ６２が目標コンデンサの電圧アナログ信号を取得して、ＡＤＣ６３により読み出す。本発明の実施例では、さらにＡＤＣ６３の後に記憶ユニットが接続されてもよく、ＡＤＣ６３により読み出された目標コンデンサの電圧アナログ信号を記憶ユニットに記憶する。ＡＤＣ６３の後に接続された記憶ユニットは、具体的には、レジスタ、ラッチ、ＳＲＡＭ、ＤＲＡＭ、メモリスタなどであってもよい。レジスタを例として、レジスタのビット数は、ＡＤＣ６３の精度に応じて選択されてもよく、本発明の実施例では、ここで、目標コンデンサの電圧アナログ信号を記憶するために８ビットレジスタが選択されてもよい。ＡＤＣ６３による読み出し動作が完了すると、さらにシャッター６４をオフにして、ＣＩ６２に目標コンデンサの電流を積分し続けることができる。上記ステップを繰り返してビデオ信号の取得を完了することができる。

なお、図７に示される回路は、図１に示される回路の変形であり、実質的に同じである。

上記実施例に基づき、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサでは、前記目標コンデンサは、具体的には、前記電圧モードのアクティブピクセルセンサ回路内に設けられた独立コンデンサであるか、又は前記電圧モードのアクティブピクセルセンサ回路の寄生コンデンサである。

具体的には、本発明の実施例で言及される目標コンデンサは、具体的には、電圧モードのアクティブピクセルセンサ回路の寄生コンデンサであってもよく、電圧モードのアクティブピクセルセンサ回路内に追加導入された１つの独立コンデンサであってもよく、該独立コンデンサは、フォトダイオードに直列接続される。

本発明の実施例では、電圧モードのアクティブピクセルセンサ回路の寄生コンデンサが目標コンデンサとして機能し、１つの独立コンデンサを追加導入するコストを節約することができる。

上記実施例に基づき、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサでは、前記第２タイプの感光デバイスはフォトダイオードを含み、すなわち、第２タイプの感光デバイスはフォトダイオードで構成され、カラーフィルタが含まれず、階調信号を感知することができる。

上記実施例に基づき、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサでは、前記電流モードのアクティブピクセルセンサ回路は、第１電流増幅器と、比較器と、加算器と、デジタルアナログ変換器とをさらに含み、
前記第２タイプの感光デバイスは、前記第１電流増幅器に接続され、前記第１電流増幅器は、前記比較器の一方の入力端子に接続され、
前記第２タイプの感光デバイスの周囲での第３所定数の他の第２タイプの感光デバイスは、それぞれ前記加算器の入力端子に接続され、前記加算器の出力端子は、前記比較器の他方の入力端子に接続され、
前記比較器の出力端子は、前記デジタルアナログ変換器に接続され、前記デジタルアナログ変換器は、前記比較器の出力端子がイベントパルス信号を出力するまで、入力された指定デジタル信号を指定アナログ信号に変換して、前記第１電流増幅器又は前記加算器に出力し、電流モードのアクティブピクセルセンサ回路は、前記指定デジタル信号を出力する。

具体的には、図８に示すように、電流モードのアクティブピクセルセンサ回路には第２タイプの感光デバイス７１が含まれ、図８における第２タイプの感光デバイス７１は、具体的にＰＤである。電流モードのアクティブピクセルセンサ回路には、第１電流増幅器７２、比較器７３、加算器７４及びＤＡＣ７５がさらに含まれる。第２タイプの感光デバイス７１は、第１電流増幅器７２に接続され、第１電流増幅器７２は、第２タイプの感光デバイス７１により変換された第２タイプの電流信号Ｉ_ｃを増幅することに用いられ、増幅倍数は第３所定数であり、すなわち、増幅倍数は、第２タイプの感光デバイス７１の周囲での他の第２タイプの感光デバイスの数に等しく、増幅された第２タイプの電流信号と、第２タイプの感光デバイス７１の周囲での第３所定数の他の第２タイプの感光デバイスにより変換された電流信号の合計とが同じオーダーにあることを確保する。図５に示されるピクセルアレイについて、対応する第３所定数は４であり、図６に示されるピクセルアレイについて、対応する第３所定数は４又は６である。本発明の実施例では、第３所定数が４に等しいことを例として説明する。

第１電流増幅器７２は、比較器７３の一方の入力端子に接続され、増幅された第２タイプの電流信号を比較器７３に入力する。第２タイプの感光デバイス７１の周囲での４つの他の第２タイプの感光デバイスは、それぞれ加算器７４の入力端子に接続され、加算器７４の出力端子は、比較器７３の他方の入力端子に接続される。４つの他の第２タイプの感光デバイスにより変換された第２タイプの電流信号Ｉ_１、Ｉ_２、Ｉ_３、Ｉ_４がそれぞれ加算器７４に入力され、加算器７４によりＩ_１、Ｉ_２、Ｉ_３、Ｉ_４を合計し、合計結果を比較器７３に入力する。比較器７３により、増幅された第２タイプの電流信号と加算器７４の合計結果とを比較する。前の時刻と現在の時刻の比較結果が一致する場合、出力せず、ＤＡＣ７５により、入力された指定デジタル信号を指定アナログ信号に変換して、第１電流増幅器７２又は加算器７４に出力し、第１電流増幅器７２に出力された指定アナログ信号はＩ_ＤＡ２と表記され、加算器７４に出力された指定アナログ信号はＩ_ＤＡ１と表記される。出力後、比較器７３により比較し、前の時刻と後の時刻の比較結果が逆である場合、比較器７３の出力端子によりイベントパルス信号を出力し、すなわち比較器７３はエッジトリガー状態にあり、このとき、電流モードのアクティブピクセルセンサ回路は、目標光信号における光強度勾配情報を表すための指定デジタル信号を出力する。電流モードのアクティブピクセルセンサ回路により出力された指定デジタル信号は、０及び１で表されるデジタル信号である。

なお、本発明の実施例における加算器は、実際のデバイスであってもよく、加算機能を実現する機能モジュールであってもよく、例えば、第２タイプの電流信号Ｉ_１、Ｉ_２、Ｉ_３、Ｉ_４がある回線を１つの回線に合併することにより実現され取得する。また、第１電流増幅器は、実際のデバイスであってもよく、電流増幅機能を実現する機能モジュールであってもよく、本発明の実施例ではこれを具体的に限定しない。

本発明の実施例では、さらにＤＡＣ７５に記憶ユニットが接続されてもよく、電流モードのアクティブピクセルセンサ回路により出力された指定デジタル信号を記憶ユニットに記憶する。ＤＡＣ７５に接続された記憶ユニットは、具体的には、レジスタ、ラッチ、ＳＲＡＭ、ＤＲＡＭ、メモリスタなどであってもよい。レジスタを例として、レジスタのビット数は、ＤＡＣ７５の精度に応じて選択されてもよく、本発明の実施例では、ここで４ビットレジスタが選択されてもよい。

上記実施例に基づき、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサでは、前記電流モードのアクティブピクセルセンサ回路は、第１電流増幅器と、加算器と、差分回路と、電圧比較器とをさらに含み、
前記第２タイプの感光デバイスは、前記第１電流増幅器に接続され、前記第１電流増幅器は、前記差分回路に接続され、
前記第２タイプの感光デバイスの周囲での第３所定数の他の第２タイプの感光デバイスは、それぞれ前記加算器の入力端子に接続され、前記加算器の出力端子は、前記差分回路に接続され、前記差分回路は、前記第１電流増幅器の出力結果と前記加算器の出力結果に対して差分演算を行って、差分電圧信号を取得することに用いられ、
前記差分回路は、前記電圧比較器に接続され、前記電圧比較器は、前記差分電圧信号に基づいて、前記指定デジタル信号を出力することに用いられる。

具体的には、本発明の実施例では、目標光信号における光強度勾配情報を表すための指定デジタル信号が出力される場合、さらに図９に示される電流モードのアクティブピクセルセンサ回路構造が用いられてもよい。図９では、電流モードのアクティブピクセルセンサ回路は、第２タイプの感光デバイス８１だけでなく、さらに第１電流増幅器８２、加算器８３、差分回路８４及び電圧比較器８５を含み、第２タイプの感光デバイス８１は、第１電流増幅器８２に接続され、第１電流増幅器８２は、差分回路８４に接続される。第１電流増幅器８２は、第２タイプの感光デバイス８１により変換された第２タイプの電流信号を増幅することに用いられ、増幅倍数は第３所定数であり、すなわち、増幅倍数は、第２タイプの感光デバイス８１の周囲での他の第２タイプの感光デバイスの数に等しく、増幅された第２タイプの電流信号と、第２タイプの感光デバイス８１の周囲での第３所定数の他の第２タイプの感光デバイスにより変換された電流信号の合計とが同じオーダーにあることを確保する。本発明の実施例では、第３所定数が４に等しいことを例として説明する。

第２タイプの感光デバイス８１の周囲での４つの他の第２タイプの感光デバイス８６、８７、８８、８９は、それぞれ加算器８３の入力端子に接続され、加算器８３の出力端子は、差分回路８４に接続され、差分回路８４は、第１電流増幅器８２の出力結果と加算器８３の出力結果に対して差分演算を行って、差分電圧信号を取得することに用いられる。差分回路８４は、電圧比較器８５に接続され、電圧比較器８５は、差分回路８４により得られた差分電圧信号に基づいて、指定デジタル信号を出力することに用いられる。

なお、電圧比較器は、入力された差分電圧信号を判別して比較する回路であり、非正弦波発生回路を形成する基本ユニット回路である。本発明の実施例で使用できる電圧比較器は、シングルリミット比較器、ヒステリシス比較器、ウィンドウ比較器、トライステート電圧比較器などである。電圧比較器８５は、入力された差分電圧信号に基づいて、差分電圧信号を選択し、通常、電圧比較器には２つの閾値が設定され、閾値１は上限閾値であり、閾値２は下限閾値であり、差分電圧信号のパルス値がこれら２つの閾値のいずれかを超える場合にのみ、指定デジタル信号が出力される。

上記実施例に基づき、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサでは、前記差分回路は、具体的には、差分サブ回路と、積分サンプリングサブ回路とを含み、
前記第１電流増幅器及び前記加算器の出力端子は、それぞれ前記差分サブ回路に接続され、前記差分サブ回路は、第１電流増幅器の出力結果と前記加算器の出力結果に対して差分演算を行って、差分電流信号を取得することに用いられ、前記差分サブ回路は、前記積分サンプリングサブ回路に接続され、前記積分サンプリングサブ回路は、前記差分電流信号に対して積分サンプリングを行って、差分電圧信号を取得することに用いられる。

具体的には、本発明の実施例で用いられる電圧比較器は、電圧信号を比較するため、差分回路は、差分サブ回路及び積分サンプリングサブ回路の２つのサブ回路を含む必要があり、且つ差分サブ回路は、積分サンプリングサブ回路に接続される。先ず、差分サブ回路により第１電流増幅器の出力結果と加算器の出力結果に対して差分演算を行って、差分電流信号を取得して、次に、前記積分サンプリングサブ回路により差分電流信号に対して積分サンプリングを行って、差分電圧信号を取得する。

上記実施例に基づき、本発明の実施例における錐体及び桿体のバイモーダル生体模倣視覚センサでは、前記電流モードのアクティブピクセルセンサ回路は、第２電流増幅器をさらに含み、
前記第２電流増幅器は、前記第２タイプの感光デバイスと前記第１電流増幅器との間に接続される。

具体的には、本発明の実施例では、第２タイプの感光デバイスにより変換された第２タイプの電流信号が小さく、第１電流増幅器により増幅されたり、合計計算されたりしても、依然として小さいため、後続の操作で使用されるデバイスの精度に対する要件が高くなる。従って、後続の操作で使用されるデバイスの精度に対する要件を低減させ、第２タイプの感光デバイスと第１電流増幅器との間に第２電流増幅器が接続されて、第２タイプの感光デバイスにより変換された第２タイプの電流信号を予備的に増幅する。第２電流増幅器は、実際のデバイスであってもよく、電流増幅機能を実現する機能モジュールであってもよく、本発明の実施例ではこれを具体的に限定しない。

上記実施例に基づき、本発明の実施例における錐体及び桿体のバイモーダル生体模倣視覚センサでは、すべての前記目標電圧信号とすべての前記指定デジタル信号は、画像を共同で形成する。

以上より、現在、錐体細胞と桿体細胞の視覚感知信号を同時に取得できる錐体及び桿体のバイモーダル生体模倣視覚センサがないため、本発明の実施例では、錐体細胞と桿体細胞のバイモーダルに基づく錐体及び桿体のバイモーダル生体模倣視覚センサが提案されており、人間の目の網膜と同様に、低速の光強度信号（錐体細胞に相当）と高速の空間勾配信号（桿体細胞に相当）の取得を同時に実現し、従来技術の技術的空白を埋めることができる。

最後に、なお、以上の実施例は、本発明の技術的解決手段を説明するためのものに過ぎず、それを限定するものではなく、上記実施例を参照して本発明を詳細に説明したが、当業者であれば理解されるように、依然として上記各実施例に記載の技術的解決手段を修正し、又はそのうちの一部の技術的特徴に対して等価置換を行うことができるが、これらの修正や置換は、対応する技術的解決手段の本質を本発明の各実施例の技術的解決手段の精神及び範囲から逸脱させるものではない。

Claims (10)

1. 錐体及び桿体のバイモーダル生体模倣視覚センサであって、
   第１所定数の電圧モードのアクティブピクセルセンサ回路と、
   第２所定数の電流モードのアクティブピクセルセンサ回路とを含み、
   前記電圧モードのアクティブピクセルセンサ回路は、目標光信号を取得し、前記目標光信号の中から指定された周波数帯域の光信号を抽出して、第１タイプの電流信号に変換するための第１タイプの感光デバイスを含み、前記第１タイプの電流信号に基づいて、前記目標光信号における光強度情報を表す目標電圧信号を出力することに用いられ、
   前記電流モードのアクティブピクセルセンサ回路は、前記目標光信号を取得して、第２タイプの電流信号に変換するための第２タイプの感光デバイスを含み、前記第２タイプの電流信号に基づいて、前記目標光信号における光強度勾配情報を表す指定デジタル信号を出力することに用いられる、
   ことを特徴とする錐体及び桿体のバイモーダル生体模倣視覚センサ。
2. 前記第１タイプの感光デバイスは、フォトダイオードと、前記フォトダイオードに設けられたカラーフィルタとを含む、
   ことを特徴とする請求項１に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
3. 前記電圧モードのアクティブピクセルセンサ回路は、電流積分器と、シャッターと、アナログデジタル変換器とをさらに含み、
   前記電流積分器は、前記電圧モードのアクティブピクセルセンサ回路における目標コンデンサの電圧アナログ信号を取得することに用いられ、
   前記シャッターは、前記電流積分器の積分時間を制御することに用いられ、
   前記アナログデジタル変換器は、前記目標コンデンサの電圧アナログ信号を前記目標電圧信号に変換することに用いられる、
   ことを特徴とする請求項２に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
4. 前記目標コンデンサは、前記電圧モードのアクティブピクセルセンサ回路内に設けられた独立コンデンサであり、又は前記電圧モードのアクティブピクセルセンサ回路の寄生コンデンサである、
   ことを特徴とする請求項３に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
5. 前記電流モードのアクティブピクセルセンサ回路は、第１電流増幅器と、比較器と、加算器と、デジタルアナログ変換器とをさらに含み、
   前記第２タイプの感光デバイスは、前記第１電流増幅器に接続され、前記第１電流増幅器は、前記比較器の一方の入力端子に接続され、
   前記第２タイプの感光デバイスの周囲に位置する第３所定数の他の第２タイプの感光デバイスは、それぞれ前記加算器の入力端子に接続され、前記加算器の出力端子は、前記比較器の他方の入力端子に接続され、
   前記比較器の出力端子は、前記デジタルアナログ変換器に接続され、前記デジタルアナログ変換器は、前記比較器の出力端子がイベントパルス信号を出力するまで、入力された指定デジタル信号を指定アナログ信号に変換して、前記第１電流増幅器又は前記加算器に出力し、
   前記電流モードのアクティブピクセルセンサ回路は、前記指定デジタル信号を出力する、
   ことを特徴とする請求項１に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
6. 前記電流モードのアクティブピクセルセンサ回路は、第１電流増幅器と、加算器と、差分回路と、電圧比較器とをさらに含み、
   前記第２タイプの感光デバイスは、前記第１電流増幅器に接続され、前記第１電流増幅器は、前記差分回路に接続され、
   前記第２タイプの感光デバイスの周囲に位置する第３所定数の他の第２タイプの感光デバイスは、それぞれ前記加算器の入力端子に接続され、前記加算器の出力端子は、前記差分回路に接続され、前記差分回路は、前記第１電流増幅器の出力結果と前記加算器の出力結果に対して差分演算を行って、差分電圧信号を取得することに用いられ、
   前記差分回路は、前記電圧比較器に接続され、前記電圧比較器は、前記差分電圧信号に基づいて、前記指定デジタル信号を出力することに用いられる、
   ことを特徴とする請求項１に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
7. 前記差分回路は、差分サブ回路と、積分サンプリングサブ回路とを含み、
   前記第１電流増幅器及び前記加算器の出力端子は、それぞれ前記差分サブ回路に接続され、前記差分サブ回路は、第１電流増幅器の出力結果と前記加算器の出力結果に対して差分演算を行って、差分電流信号を取得することに用いられ、前記差分サブ回路は、前記積分サンプリングサブ回路に接続され、前記積分サンプリングサブ回路は、前記差分電流信号に対して積分サンプリングを行って、差分電圧信号を取得することに用いられる、
   ことを特徴とする請求項６に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
8. 前記電流モードのアクティブピクセルセンサ回路は、第２電流増幅器をさらに含み、
   前記第２電流増幅器は、前記第２タイプの感光デバイスと前記第１電流増幅器との間に接続される、ことを特徴とする請求項５に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
9. すべての前記目標電圧信号とすべての前記指定デジタル信号は、画像を共同で形成する、
   ことを特徴とする請求項１～８のいずれか１項に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
10. ２つの記憶ユニットをさらに含み、
    ２つの前記記憶ユニットは、それぞれ前記目標電圧信号及び前記指定デジタル信号を記憶することに用いられる、
    ことを特徴とする請求項１～８のいずれか１項に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。

Images