TW583879B - Image sensing/processing apparatus - Google Patents

Image sensing/processing apparatus Download PDF

Info

Publication number
TW583879B
TW583879B TW091118482A TW91118482A TW583879B TW 583879 B TW583879 B TW 583879B TW 091118482 A TW091118482 A TW 091118482A TW 91118482 A TW91118482 A TW 91118482A TW 583879 B TW583879 B TW 583879B
Authority
TW
Taiwan
Prior art keywords
circuit
analog
processing
day
output
Prior art date
Application number
TW091118482A
Other languages
English (en)
Inventor
Tetsuya Yagi
Seiji Kameda
Original Assignee
Japan Science & Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science & Tech Corp filed Critical Japan Science & Tech Corp
Application granted granted Critical
Publication of TW583879B publication Critical patent/TW583879B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

583879 五、發明說明（1) <發明之 本發明 種適用於視 出處理裝置 電路與處理 電路來實現 體、電路）。 能者，特稱 <發明之 第22圖 6 1的擴大圖 處理電路6 4 覺晶片61 。 號，而以配 理電路64將 所容易理解 利用如 易應付的晝 發成功，視 「畫像平滑 第23圖 舉’有輸入 片。如圖所 傳感器63、 範圍> 係關於一種畫 覺傳感器與晝 。於此所謂「 電路的各畫素 ’而進行視覺 視覺晶片中 為「矽網膜」 背景> 表不視覺晶片 。如此擴大圖 。畫素情報經 所投影的畫像 置於各晝素的 其變換成電腦 的情報後予以 此的視覺晶片 像處理系統的 覺晶片所實現 化」、「輪廓 表示單晶片系 畫像平滑化、 示，在单晶片 平滑化電路65 像檢出處理裝置，尤其是關於— 像$理的稱為視覺晶片的畫像檢 視覺晶片」者，乃例如配置有光 1並聯電路構造以類比CM〇s積集 I*月報處理的視覺傳感晶片（半導 模擬成生體網膜回路構造及機 的概要構成 所示，各晝 過如透鏡62 情報由光傳 處理電路64 與微處理機 輪出。 ’可解決傳 课題。迄今 白勺視覺情報 強調」、r 統電路構成 輪廓強調、 的場合，在 Λ輪廓強調 圖。下圖為視覺晶片_ 素備有光傳感器6 3與 等光學系統投影於視 感器6 3變換為電氣信 施以超並聯處理。處 等之高層次辨認裝置 統串聯型數位電腦不 已有各種視覺晶片開 處理，主要有例如： 動態檢出」等。礓 圖。此圖中電路的例 速度檢出用的視覺晶 各畫素上必須配置光 電路66、動作檢出電 583879 五、發明說明（2) 路67等各處理電路。 <發明的總論> 款S而以 h祕淫 Ω 置光僂片突+ Β曰片系統的視覺晶片，因各畫素皆須配 太傳大感，與處理電路，故使-畫素的幾何構造(畫素尺 各種視覺處又理二傳統的視覺晶片’因須以單-晶片實現 間奢傻鮭把命機’致減少每單位面積的晝素數，減低空 素^、生u .书=。尤有甚者’傳統的視覺晶片’為了簡化畫 二盈=1ί縮小晝素尺寸，在後段的高層次辨認處理，可 =i拗4 ^充分的晝像處理。又，如果採取加大晶片尺寸 數的2旦素數的對策，即提高晶片成本（此外，隨邊際 的觀Π:力:不能使用的晶片也是一因），從邊際效用 限界"，。亦有阳片尺寸本身不得不依存於CMOS製造過程的 曰曰片=i ΐ各點’本發明以分成複數的晶片來代替-個 。即所謂採取「多重晶片系統」的構成， 各種處理為目的。又在本發明中，例= ;J用CMOS的廉價，小型且耗電小的系統為另一目的。 的：本發明以提供類比特有的具堅固性的系統為又一目 應ίί明提供了第—畫素電路與對 ^電路的弟二晝素電路的畫像檢出處理裝置。 第一旦素電路更包含變換輸入光信號為電氣俨號 感器與對該光傳感器的輪出施以第-類比處理而榦:出ί
第5頁 583879 五、發明說明（3) 比晝：情報的第一處理電路。 第—晝素電路更包含從第一畫素電路的#笛 . 電路輸入類比畫像情報並予記憶的第 處理 該第二類屮々此^ 胡比纪憶體，及從 4.s u . 5己憶體讀取畫像情報施行第二類& # π & μ 類比畫像情報的第二處理電路。 _比處理而輪出 兮第一 與第：“及畫：m成矩陣狀而各形成第- 二晶片近旁的第:i: 從位於該第-與第 方自〇弟一及第二處理電路接受_ 特性且而以並聯演算法實施第-及第二類比；：：補償其 <且贈告4 頌比處理者。 〃體汽知例的詳細描述> 1 ·多重晶片系統 第1圖兔夕a ^ _ . '夕重日日片糸統的畫素檢出處理奘帛M g 1 圖。在此一具體實施例中，將平滑化ϋ置的構成 2項處理分成三個晶ι做成多重晶=調、動作檢 統4輪入畫像情報後，平滑化晶片/ =透鏡等 光傳感器電败月1’以其所具備的 ;v:、輪入晝像平滑化。從第-段的ίϊ:Γ:化電路 入於第二。；滑灸的畫像情報之類比㈣，然後ί 段以下的^ :的輪廓強調晶片2、動作檢出晶片3。當 J輪廓強調晶片2、動作拾ψ日u 乐一 類比記憶體2 曰曰片3的各晝素各具有 2-2、動作 古3 — 1及做為專用處理電路的輪廓強調電路 分別讀取類上報。輪廓強調電路2-2、動作檢出電路" 貝比記憶體Η、3 — 1的情報（必要時亦可^)。 583879
由此攸弟2段輪廓強調晶片2輪 報，而從第3段的動作檢出晶廓強調後的畫像情 • J : 有例如下列的特徵： •可限定以一個晶片推 了紙 •畫素尺寸小。 丁々處理量（分散處理機能） 晶片尺寸。 可實施利用視覺情報的 •可增加晝素數目而不必加大 •可從複數晶片並聯輪出，故 高次畫像處理。 •為了除去晝像處理及數據 訊，可易於配置補償電路與各晝素寫夺所附加的電路雜 可，：=;去數？轉；時使用類比情報，而畫像處 :ί實：…類比處理電路所成超並聯電路構造 此點與傳統晝像處理用DSP(Digital s Processor)顯然有別。 & d 下文中說明本發明與DSP的差異。 報：用以例如CCD照相機般的攝影機輪出的畫像情 數位畫像處理。另一方面在本發明的實施例中，在第一段 ΪΓΠ21的階段中，首先實施畫像情報的取得同時 精各旦素的碩比處理電路以實施超並聯類比蚩 與CCD照相機不同點）。i次，由第一段芈、成息像處理（為 ^ ^ ^ ^ 1又十滑化晶片1計算 所付類比h報原班輸出而輸入於第2段的 or — a-», a / τλ ^ »ζ. π /部 5$ 吕周曰曰乃 2(不經A/D.史換）。其次，從第一段的平滑化晶片）所得情
583879
五、發明說明（5) 報輸入於配列於第二段的輪廓強調晶片2中各畫素的類比 吕己憶體’再藉各畫素的類比處理電路進行超並聯處理（與 數位畫像處理之不同點）。又’來自輪廓強調晶片2的情報 輸入於配列於下一段之動作檢出晶片3各晝素中的類比記 憶體，再藉各畫素的類比處理電路施以超並聯處理。° 通常類比電路較數位電路可設計成小規模的處理電 路。如果在各畫素配置D S P進行並聯畫像演算時，即有 •畫素尺寸變大。 •連接各畫素的配線複雜。 這些問_ 等問題。對此，本發明係以類比電路構成各畫素 題應可輕減。 直 但是，類比積體電路的固有問題在可推算為元件 參差影，。即使在同-晶片内設計幾何學 晶片内固…，不二H電氣特性亦有參差。此在 並聯電路構造之各畫素間=傾向更明·顯。本發明的超 於下-段時晶片前後情報化:生：㈡3寫：像情報 取對策。 文化如有嚴重炀形，有必要採 於是本發明中夢在 引起的參差（電路雜;合補償元件特性不均齊 路藉某種類比情報記憶—4路來解決此一課題。該補償電鲁 不受電路雜訊影響的‘ϋ 5記憶各畫素的電路雜訊來實現 雜訊補償緩衝電後"述^处理及數據轉寫。具體上係想像 來代替。 ^ 隹亦可以具有同樣機能的電路
583879 五 發明說明（6) 2.構晶片系統用晶片的電路構成概要 大約分類成下列二型。 片種颁，在本發明的實施例中 與處理^型：各畫素中内藏有取得畫像情報用光傳感器 的類二第己ΪΪ : ί晝素中内藏有記憶體來自前段畫像情報 蝴t匕5己憶體與處理電路。 个丨月 ^說明第一、二型電路構成如下： 1 ^ ^ ^ ^ ^ ^ 素的光傳4 Π it晶片系統的初段，藉内藏於各晝 畫像處理。 旦像h報，以並聯方式施以 f2圖表示第一型晶片的構成圖。 弟一型晶片1包含書辛雷政11 * 垂直偏銘，，日U 0日一尾路11、水平偏移電阻器13、 世夏偏移電阻裔1 4、開關i 5、輸 ”。藉水平偏移電阻器13、垂直：：：,1516、輸出線 素電路u而讀取並聯演算後的移電阻器14順次選擇畫 器的時間圖後述）。 别 又，關於偏移電阻 第3圖表示第一型書辛雷收 含氺值成笼m 老—京電路的構成圖。晝素電路11包 3先傳感Is 11 1、處理部1 1 2、類n管 ^ 各部品的任務如下： 類比次异器113、開關114。· 光傳感器111變換光作缺r查你卩主 電氣信號。電路元件使用二為電壓、電流等 傳感器等。處理部U2接受來—自極本體身、上電晶體、主… 又不自本身晝素電路光傳感器111 $ 9頁 583879 五、發明說明（7) =輸入與來自近旁畫素電路的輸入η 1〜n4進行晝像處理▽ 处理邛1 1 2主要使用近旁晝素的情報進行並聯晝像演算。 3 ^ = Γ u 3接受*自處理部11 2的輸入進行四則演算等 ^ ^類比演异部1 1 3為須同時以類比集體電路應付 φ 起口於個別元件特性參差的電路雜訊，以加入補 Ϊ 應付亦可。類比演算113的輸出就是畫素輸 部畫素统一於入介輸入f各畫素電路11的控制信號就全 入亦可。别 亦可以母一畫素電路，或每行、每列輸 ‘處理）1 藉内藏 藉配置 (2) ί二型晶片的電路構成（類比記憶體+並聯畫 J:;:曰曰片屬於所構成晶片系統的次段以Τ" 於各：記憶體記憶來自前段的畫像情報 H 電路施以並聯畫像處理。 S刑表曰示第二型晶片的構成圖。 直偏移電Μ = 2包含4素電路21、水平偏移電阻器23、垂 旦偏杪冤阻|§ 2 4、間關9 g 从 輸入線28、輸出用緩^、輸^用緩衝器26、輸出線27、 與24順次選擇所視書°，29。精水平與垂直偏移電阻器23 素電路21，並讀取：聯演自前段晶片之數據於畫 第5圖表示第二型晝素 畫素電路21俾由,路的構成。 如下： 崎關11 4、11 5。其各部品的任務 583879 五、發明說明（8) 類比記憶體2 11用以記憶來自外界（此4 電路，或前段的第二型畫素電路等)卜輸(入此的時^ 理部212接受來自本身晝素電路的類比記憶體二情報。處 與來自近旁畫素電路的輸入nl〜 的輸 ⑴主要㈣近旁畫素㈣報進行並^/^ / /理—部 :部213接A來自處理部212的輪入進行四則演-曾々類比广 异:類比演算部2 1 3同時可含有須以類比、辦寻；、、，: 課題，即起因於個別元士 —電路應付的 中’輸入於各畫Μ素輸I於本實施例 亦可以每—書幸電 的控制號就全部畫素統一輸入， 其次在第6^路’或每行、每列輪人亦可。 間圖。 V所觀察畫素選擇用偏移電阻器的時 第1 、2型晶片皆 電阻器14、24，用以$水平偏移電阻器13、23與垂直偏移 報。其基本時序如 ^擇，觀察晝素電路的輸出入畫像情 選擇畫素陣列的行i示。第2型晶片以垂直偏移電阻器2 4 Swi /〇於各列的輪出而^連接所選擇畫素的輸出入開關 及開關2 5選擇—組乾入、、泉。以此狀態用水平偏移電阻器2 3 出緩衝器29。亦即^出=線分別連接於輸入緩衝器26與輪 行、列所選擇的書=入，衝器26、輸出緩衝器29連接於 的路徑。 ~ '、。第1型也同樣情形，但不須有輪入 3 ·晶片的電路例 (1)第一型晶片 、電路例：晝像取得+平滑化 第11頁 583879 五、發明說明（9) !7*圖者表發不第一-型的—晝素之畫素電路構成圖。 哭】”旦素電路包含光傳感器1 1 1、處理部1 1 2、類比演〜 i感考、開:Η I4。九傳感器1 1 1在此例中為APS(主動晝素异 邻/ι / 乂 <述，以財蓄光電荷方式變換電壓情報。處理 =2在此構成電阻電路網。藉晝像情報輸 並聯進行輸入晝像的平滑化(後述）。與近旁二 =^的連接(nl、n2、n3、n4)形成電阻電路網，二 ί二H晝像的平Λ化。處理部112的輸出則輸人於類比 ^ 1 D 。類比演异器11 3使用後述之雜訊補償緩衝電路 :的失Γί補償緩衝電路編'藉控制信號來補償輸入側回丨 ，t參差與雜訊補償緩衝電路Nbuf内部放大器的移位。 ^平與垂直偏移電路器13、14來控制sw〇即可選擇所觀稭 旦素並予讀取。 第8圖表不關於晝素基準的動作時間圖。以下說明 區間的動作。 APS 作（ 區間（Aj :藉APS對開關輸出控制信號SWp而初期化 之後藉SWp為L即可移行於第n框架Aps之電荷貯蓄動 區間（B ) + (C ) · A P S的貯蓄時間 區間（c):貯蓄時間過了後，將SWh置於H，連接處理 部112之電阻電路網與雜訊補償緩衝電路Nbuf。此時電 電路網輸出Vnet為
Vnet = Vnet(n) +NV1 (" 於此Vnet (η)為經電阻電路網處理的畫像情報，VN1為此時
第12頁 583879 五、發明說明（ίο) 刻的電路雜訊。在此狀態下藉控制S W1與s W 2記惊式（1 )的 電阻電路網之輸出於内藏於雜訊補償緩衝電路肋“之電容 器内。 區間（A，）：再將送APS開關之控制信號⑽p設 ——，，丨口卯b VJ nf ρ在 是APS被初期化。此時電阻電路網之輸出Vnet為 Vnet =VnetO +VN0 (2) 於此VnetO為APS初期化時來自電阻電路網的初期電壓， VN0為初期化時的回路雜訊。亦即對補 ⑴變位㈣1 2)。此時雜訊補償緩衝電路
Nbuf的輸出Vout’如果電路雜兮孔的士 t t A, 、 不电崎濰°札的大小恒定（VN1 = VN0 ) 時，
Vout(n) =Vnet(n) -VnetO -VNl+Vref=Vnet(n)-
VnetO +Vref LU y 而可在不受電路雜訊影響的雷阻雷
正比之輸出。其後_h成電===與處理情報， 電路_内。藉使SWp為L，可出於雜訊補償緩， 做電荷貯蓄動作。 了移仃於弟η +1個框架在APS 區間（B，）： APS與Nbuf原來係電氣 + 1個框架在APS的貯蓄動作將矜屮二；\刀離，精平灯於 可讀取Vout(n)。 1 4關4吕號SWo關閉，即 反覆進行以上的動作，即
電阻電路網做平滑化動作。 旦像仿報的取得及C 1 第二型晶片的電路例1 :輪廓強調 2 第9圖表示電阻電路網的構成圖/ 583879 五、發明說明（11) 如圖以電阻連接畫素間 電阻電路網進行輸入畫像的平二/做電阻電路網。可以 平滑化的畫像之差值輸出成=^後述=。輪入畫像與經 圖。 ”阻-路網所成輪廓強調的影像說明 圖（A )的橫軸為畫素號碼， (電壓）。給予電阻電路網第〇個查辛二J J應的畫素情報 入Vk。此乃對應於晝像輪廊。此ϋ電屋值變化大的輸 部分經平滑化的Vlk。這些V1^vlk = =路鲫輸出輪廓 示者。輪廓位置所在第0個畫素 差值輸出為圖（β)所 邊輪廓位置，徐徐成為一定值' 、應-荅，隨遠離其周· 強調。 Ρ表不進行了輪廓部的 又在弟11圖表示二層電阻雷欧的< 像說明圖。 、同所成輪廓強調的影 述的電阻電路網的輸入，如 =平：化的晝像情報，亦即使 =其他電阻電 :到如圖的輪出。此一過渡器 ：”電路網，則可 :.南斯(，，可同時進行輸 已：近似於拉布拉 優異性。 對於冋頻空間畫像雜訊的去除有其 =晝^:::^:晝^:^素電路⑺構成圖。 J 器2二、開關 m、215比 J 體 2^12， ^己憶來自外界的晝素情報。處理Ί1用其内藏的電容 I “ Z以電阻電路網構 583879
成，而與近旁的晝素間以電阻連接（nl、n2、n3、n4)形 電阻電路網，並進行輸入畫像的平滑化。處理邱2i2的7輸 出二皆輸出於類比演算器213。類比演算器213:系使用雜： 補•緩衝電路Nbuf(後述）。此電路Nbuf藉控制信號補償輸 入侧電路的參差與該電路Nbuf内部放大器的移位。水平與 垂直偏移電阻器23、24控制SWi、Sff0則可選擇要觀察的畫 素。 一 第13圖表示晝素基準動作的時間圖。於此例示一層的 電阻電路網，但亦可如上述情形成為二層。以下說明^區. 間的動作。 · > 區間（A):將來自偏移電阻器的輸入控制信號Si成為 ί，使類比記憶體記憶來自外界的畫像情報（Vin(n))。 區間（B):使數據保持用開關的控制信號SWh與輸入切 換開關的控制信號SWs為Η，連接雜訊補償緩衝電路帅“盥 來自類比記憶體211的輸入VI。在此狀態下，藉雜訊補償、 緩衝電路Nbuf的控制信號SWI、SW2的的開關動作令雜訊補 償緩衝電路Nbuf記憶來自類比記憶體21 1的輸入V1。同時 補償電路輸入側的參差與雜訊補償緩衝電路帅“内部放大 器的移位（雜訊補償動作）。 區間（C):使切換開關的控制信號SWs為L，並連接雜籲 訊補償緩衝電路Nbuf與電阻電路網的輪出V2，則雜訊補償 緩衝電路Nbuf可執行
Vout(n) =V2(n) -Vl(n) +Vref 之計算。亦即可得比例於輪入晝像情報v丨（n )與電阻電路 .
第15頁 583879 五、發明說明（13) 網的平滑化輸出V 2 ( η )差值之輪出。 古十算佥傻$開關之控制信號SWh為L ’保持 计异所付晝像情報於雜訊補 计幵 區間A，：藉偏移電阻器的輪：；，U/内。、 保持於雜訊補償緩衝電路Nbuf内的^屮7號別0成Η，讀取 時藉使偏移電阻的輸入控制信號s勒ou=(n)。與此同 ⑴記憶下-時刻之畫像情報(v:二，)令類比記憶體 ⑻以第下2 = =9動作，即可輪出輪廓強調輸出。 U )第2型晶片電路例2 :動作檢出 m'示框架間差值部份的影像說明圖。 於某一第η個框架晝像，假定有$ (Α))。假定該黑圓盤的第η +1框竿的、、 剧入；白底（圖 ⑻）。假定第…+1框架的畫：輸的“^^ 些輸出的電位差，則只有如圖（c))那樣'移動部分异/ 如此=;架間的差值’則可計算而得對象的動；：。 Γϋί不弟二型一晝素的畫素電路⑴構成圖。 此畫素電路包含類比記憶體2 1 i、類 關214、215。類比記憶體211使内藏的電容器二外開 界的畫素情報。類、比演算器2 1 3使用雜訊補償緩‘
Nbuf(後述）。此電路Nbuf藉控制信號可補償輸入侧回 # 參差與電路Nbuf内部放大器的移位。以水平盥 阻器23、24控制SW1、SWO ,即可選擇要觀察^書素场栘電 第16圖表示關於晝素基準動作的時間圖:ς二 間說明其動作。 ’Τ尤各區
583879 五、發明說明（14) $二期二件：至SWh之信號經常當輪入而連接類比記 隱體211與雜訊補償緩衝電路朴“。 SW2的區Η間pit) i藉雜訊補償緩衝電路NbUf的控制信號SW1、 rv. ' ^ ^作，使雜訊補償緩衝電路Nbuf記憶畫素值 差與雜二，憶體2U上。同時補償電路輸：側的參 =)雜訊刻員緩衝電路Nbuf内部放大器之移位（雜訊補償 η . ^(β,} ^ V/^swi ^ 。咖訊補償緩;；^^下執-行時刻的情報（⑽ ▲ M V〇Ut=Vln(n)—Vin(n+1)+Vref SWO ,Η , , , . , Λ ^ " (Vin(n+1))，並以電、 '隐體2U上記憶晝素情報 以下藉同樣動作反T二進行補償動作。 出。 復進仃，則可獲得框架間差值的輸 4·多重晶片系統的構成例 第17圖表示多會曰 於此例舉如上述^ Μ、統構成目的一例 J千7上述的電路。將 •畫像取得+平滑化晶片1 •輪廓強調晶片2
第17頁 583879 五、發明說明（15) •動作檢出晶片3 構成多重晶片系統。 於此畫像取彳旱+伞、、取 檢出晶片3之順序串料晶片1、輪靡強調晶片2， 序串聯的電路例來做說明。 平滑化如 時，可得畫像所含空 最初段的平滑化曰，成分平滑化的輸出。 晶片2。在第曰;的輪出輸入於第2段的輪廓強調 輪廓強調處理1 =調晶片2利用平滑化的畫像進行 經平滑化 =而形成拉布拉斯高斯型的過濾器，而得< 可= ί畫像與經輪廓強調的輸出。從第Β圖所示 =果輪廓與葉筋般的特徵成分經過強調。 出晶片3。2 :晶片f的輸出輸入於第三段的動作檢 輪入書像動 ^、作檢出晶片3可檢出輪廓經強調的 (。所—/韻作要部/。當頻果從左向右水平移動時，如圖 廓輸出高（白f /向的輪廊輸出低（黑），其反對側輪 構 ）’而無動作的垂直方向殆無反應。 「輪廓i t ΐ晶片系統’即可並聯輸出「平滑化書像」、 m像」及「動態畫像」。 之-例f ’第18圖表示多重晶片系統所成雙眼觀察系統圖 即可對2 2不，準備晝像取得用第-型晶片51、52兩片， …又眼立體視那樣複雜的畫像處理系 只令 一―Ρ 始· 型日日片51、52的輸出輸入於複數的視覺機 583879 五、發明說明（16) 能晶片53、54、 這些情報可得以 統所難以應付的 於此，視覺 用，而視覺機能 又視覺機能晶片 片54、55的輸出 5 ·電路例 弟1 9圖表示 在此例中， 極隨耦電路於輸 化時，其輪出下 路’應使用PMOS 第2 0圖表示 一例。 55、56而取出並聯視覺情#。之後，統合 局f度高速度解決—般的串聯畫像處理系 問題。 機能晶片53、56以上述動作檢出晶片作 晶片54、55則以上述輪廓強調晶片作用。 5 7應用動作;^出晶片輸人二片視覺機能晶 ，而可具有檢出其差值的機能。 主動畫素傳感器電路圖的一例。 將光傳感器以電荷貯蓄型應用，而附加源省 出’即構成主動晝素傳感器（APS)。初期 降MOS的臨界值以下，是以源極隨耦回 源極隨耦電路（PSF )。 雜訊補償緩衝電路圖及控制信號時間圖的 雜汛補侦緩衝電路（Noise Compensation Buffer)係 加起因於元件參差引起之電路雜訊記憶於其内藏的電器並 Μ 以補仏的電路（參照T· Sibano，Κ· I izuka，M. Miyamoto, 的0saka，ρ· Miyama and A· Ki to， "Matched Filter for CDMA 〇f up 5Q^ chip/s Based on Sampled Λ ^ « ai〇g Signal Processings ISSCC Digest of Tech. aPers， ρρ·ι〇〇—ίο!， Feb· i997)。 茲依照圖中的控制信號時間圖來說明其動作。 ①（SW1 : on、SW2 :連續於ref )
第19頁 583879 五、發明說明（17)
此時輸入V(in) = VinO + VNO (於此，V i nO :來自前段電路輸入信號之初期值， VN0 ··前段電路雜訊） AMP的反轉節點電壓V(in — ) = v(ref) + Voff (於此，V o f f ·· A Μ P的移位電壓） 貯蓄於AMP的反轉節點的電荷 Q=C1 (V(ref)+Voff-Vin〇-VNO)+C2 (V(ref) + Vof f -V(ref ) (3) ②（SW1 :〇FF、SW2 :連接於ref) 此時AMP的反轉節點成浮動狀態，照原？保持電荷。籲， (至此的動作稱為復歸動作）。 ③（SW1 :〇FF、SW2 :連接於AMP的輸出） 此時變成輸入V(in) = Vinl + VN1 (於此，Vinl :來自前段電路的輸入信號、VM :Vini 輸入時之前段電路雜訊） 貯蓄於AMP反轉節點之電荷為 Q=C1 (V(ref) +Voff -Vinl -VNl) +C2 (V(ref) +
Vof f —V(out) (4) 由（3 )、（ 4 )得 ai/C2)(Vinl -VinO +VN1 -VNO) +V(ref) V(out) 由是，前段電路雜訊如為一定（VN0 =VN1)， 討 受其本身AMP移位影響以外，也x A 1 、 ^ P a M yr也不文前段電路雜訊影變， 而且與輸入電壓變化分成比例。 〜曰 又，雜訊補償緩衝電路的動作
J r^貝域，依賴於所用AMP
第20頁 583879 '發明⑻ ^ (18) 白勺動作々 π項域。所用AMP的動作領域如下。 •跨導放大器（AMP1):對輸入負變化動作 •跨導放大器（AMP2 ):對輸入正變化動作 廣域放大器：對輸入正負雙方變化均動作 第21圖表示電阻電路網電路圖及說明圖。 利用此圖來說明以電阻電路網進行的超並聯畫像演算 (C. Mead, Analog VLSI and Neural Systems” ，參照 Addision-Wesley, Reading，MA，1 989·及丁.Yagi， S.Ohshima and Y.Funahashi，、、The role of retinal bipolar cell in early vision : an implication with analogue networks and regularization theory ， Biol，Cybern 77，ppl63-171，1 9 77·)。電阻電路網的輸 出電壓分佈則為輸入電壓平滑化者。電阻電路網的電壓分 佈可認為節點數足夠多的場合以下的情形。 茲依圖（A )的電阻電路網概略圖來說明。 k=〇時輸入電壓Vk=V0，其他以外為零（空間衝擊輸 入）。對此輸入的電阻電路網應答電位VI k為 V1k = BiV〇nm 式 1 於此 Bi = 1/^f4Li2+1 Li = V Rm/Rs 丫 1 二 1 + 1/(2Li2) - V 1/Li2 + 1/(4Li^) 此式表不輸出h號越遂離/^號源（k=〇) ’依指數涵數衰 減0
第21頁 583879 五、發明說明（19)
此數愈大，信號 又，L 1稱為電阻電路網的空間常數， 愈廣泛的傳播。 -()表7F以兩種工間$ μ “丨开土叫埤搫輸入時輸出 電壓分佈的結果。實線為L1 （1〇/6),卧=达1輪出 點綠為γ/ (10/1)。兩者皆隨遠離信號源’依指數涵數平滑的衰 又，空間常數較大的點線，其輸出傳播較廣。α ' 對任意輸入電位分佈V i的應答，在 應答與就V i做空間無限累積積分而得表 〔數2〕 式1中令Vk=l時的 示為 V1k = BifvinM j:-〇o
耶即 •藉 超並聯高 •藉 如以 複數晶片 並聯電路 之。又， 而省電系 有的堅固 綜上 發明實施 更與修飾 利用為畫 在輸入部 速計算輸 以可變電 上所述， 實施。即 構造施行 依本發明 統。尤有 性系統。 所述，為 之範圍。 ’應皆為 像處理構成電路的場合： 配列光傳感器陣列或晝素記憶體，可以 入晝像的平滑化處理。 阻構成電阻元件自由調節平滑化領域。 本發明將欲以一個晶片f施的處理分成 η「多重晶片系統」的構成，以超 畫像處理等各種處理，以淨時間完成 、’可提供例如利用CMOS的廉價、小型、 進者’依本發明，'亦可提供具有類比特 本^月之車又佳貫施例，並非用來限定本 ^依本务明申請專利範圍所做之同等變 本發明專利範圍所涵蓋。
圖式簡單說明 第1圖為多重晶片系統 〜 '^ 第2圖為第— 思素檢出處 第3圖為第的構成圖；衣置的構成圖 第4圖為第二型路的構成圖； 第5圖為第二型：：：構成圖； 第6圖為所视晝選的構成圖； 為第1的—電随器的時間圖； 第9圖為電路電ίϊ動作的時間圖； 第1 0圖為一餘带路的構成圖； 圖 1電路網所成輪廓強調的影像說明 第11圖為二js + 圖 r阻電路網所成輪廓強調的影像說明 第1 2圖為第二刑 ^ 第13圖為關於= 畫素電路（2)構成圖； 第14圖為動作的時間圖； 第15圖為第明圖； 第16圖為關於i音電路⑴構成圖； 、里素基準動作的時間圖； ^ ®為多重晶片系統構成圖； Ϊ: ί多重晶片系統所成雙眼立體觀察系統圖； f圖為主動晝素傳感器的電路圖； 圖 第20圖為雜訊補償緩衝器電路圖及控制信號的時間 第21圖為電阻電路網的電路圖及說明圖； 第23頁 583879 圖式簡單說明 第22圖為視覺晶片的概要構成圖； 第23圖為單晶片系統的電路構成圖。 <附圖中元件與標號之對照> 1 :平滑化晶片 1 -1 :光傳感器電路 1 - 2 :平滑化電路 2 :輪廓強調用晶片 2 - 1、3 -1、3 11 :類比記憶體 2 - 2 :輪廓強調用電路 3 :動作檢出用晶片 3-2 :動作檢出電路 4 :光學系統 1 1、21 :晝素電路 1 3、2 3 :水平偏移電阻器 14、24 :垂直偏移電阻器 1 5、2 5、1 1 4、1 1 5 :開關 1 6、2 9 :輸出用緩衝器 17、27 :輸出線 2 6 :輸入用緩衝器 2 8 :輸入線 111 :光傳感器 I 1 2、2 1 2 :處理部 II 3、2 1 3 :類比演算器
第24頁

Claims (1)

  1. 583879 案號 91118482 93. 2. 27 年月曰 修正 六、申請專利範圍 1. 一種畫像檢出處理裝置，包括第一畫素電路與對應 於第一晝素電路的第二畫素電路； 該第一畫素電路更包含變換輸入光信號為電氣信號的 光傳感器，及對該光傳感器的輸出施以第一類比處理而輸 出類比畫像情報的第一處理電路； 該第二畫素電路更包含從該第一畫素電路的該第一處 理電路輸入類比畫像情報並予記憶的第二類比記憶，及從 該第二類比記憶體讀取畫像情報施行第二類比處理而輸出 類比晝像情報的第二處理電路； 該第一及第二畫素電路各配置成矩陣狀而各形成第一 與第二晶片，該第一與第二處理電路各從位於該第一與第 二晶片近旁的該第一及第二處理電路接受類比信號而補償 其特性，而以並聯演算法實施第一及第二類比處理者。 2 ·如申請專利範圍第1項所述之晝像檢出處理裝置， 更包含從該第二畫素電路的該第二處理電路輸入類比晝像 情報並予記憶的第三類比記憶體，及從該第三類比記憶體 讀取晝像情報實施第三類比處理而輸出類比晝像情報的第 三處理電路，更具備對應於第一及第二畫素電路而設的第 三畫素電路，該第三畫素電路以矩陣狀配置而形成第三晶 片，該第三處理電路從該第三晶片近旁之第三處理電路各 接受類比信號而補償其特性，以並聯演算法實施第三類比 處理者。 3 ·如申請專利範圍第2項所述之畫像檢出處理裝置， 其中所述第一晶片實施晝像取得及對所取得晝像情報的平
    第25頁 583879 案號 91118482 93. 2. 27 年月曰 修正 六、申請專利範圍 滑化處理，第二晶片針對來自該第一晶片的畫像情報實施 輪廓強調處理，第三晶片針對來自該第二晶片的晝像情報 實施動作檢出處理者。 4. 如申請專利範圍第1項或第2項或第3項之晝像檢出 處理裝置，其中所述第一晶片更包含順次選擇該第一晝素 電路讀取經並聯演算後的輸出用水平偏移電阻器與垂直偏 移電阻器，用以選擇來自任何之該第一晝素電路類比輸出 之開關，及用以輸出該開關所選擇的類比輸出之輸出用緩 衝器。
    5. 如申請專利範圍第1項或第2項之畫像檢出處理裝 置，其中所述第二晶片更包含順次選擇該第二晝素電路讀 取經並聯演算的輸出用水平偏移電阻器與垂直偏移電阻 器，用以選擇來自任何之該第二晝素電路類比輸出之開 關，用以暫時貯蓄該開關所選擇之類比輸出之輸出用緩衝 器，及用以從該第二畫素電路輸入類比輸入的輸入用緩衝
    6 ·如申請專利範圍第1項或第2項之晝像檢出處理裝 置，其中所述第一晝素電路具有一主動畫素傳感器，用以 將該光傳感器之光信號以控制信號變換為電氣信號，該第 一處理電路具有電阻電路網，雜訊補償緩衝電路，及開 關，該電阻電路網可從本身之該第一畫素回路的該主動晝 素傳感器輸入類比信號，並從近旁的第一晝素電路輸入類 比信號，而且從該主動晝素傳感器輸入類比畫像加以平滑 化，該雜訊補償緩衝電路係用以從該電阻電路網輸入類比
    第26頁 583879 Cfl s> y v _案號91Π8482_年、· j· 曰 修正_- 六、申請專利範圍 信號進行類比演算，藉控制信號以補償輸入侧電路元件特 性的參差與内部放大器的移位5並補償電路雜訊5該開關 用以輸出來自該雜訊補償緩衝電路的類比信號5具備以上 三項元件之該第一處理電路，即可用以取得畫像信號及進 行平滑化處理者。 7. 如申請專利範圍第1項或第2項之畫像檢出處理裝
    置，其中所述第二畫素電路更包含控制來自該第一晝素電 路的畫素信號輸入用之第一開關，該第二類比記憶體記憶 類比畫像於其内部電容器，該第二處理電路具有電阻電路 網、雜訊補償緩衝電路、及開關，該電阻電路網，可從本 身之該第二晝素電路之該第二類比記憶體，與從近旁的第 二畫素電路輸入類比信號，而進行來自該第二類比記憶體 的類比輸入畫像的平滑化，該雜訊補償緩衝電路藉控制信 號切換輸入該電阻電路網的輸入及類比信號之輸出進行類 比演算，補償輸入側電路元件特性的參差與内部放大器的 移位，並補償電路雜訊，該開關用以輸出來自該雜訊補償 緩衝電路的類比信號，具備以上三項元件之該第二處理電 路，即可用以進行輪廓強調處理。
    8. 如申請專利範圍第2項之畫像檢出處理裝置，其中 所述第三畫素電路，更包含控制來自該第二晝素電路之晝 素信號輸入用第一開關，該第三類比記憶體記憶類比晝像 於其内部電容器，該第三處理電路具有雜訊補償緩衝電路 及第二開關，該雜訊補償緩衝電路藉控制信號從該類比記 憶體讀取晝像情報，輸出比例於現在之畫像情報與一時刻
    第27頁 583879 93. 2. 2 7 案號91118482_年‘月_ 曰 修正_ 六、申請專利範圍 前晝像情報之差值的類比信號，而且補償輸入侧電路元件 特性之參差與内部放大器的移位，並補償電路雜訊，第二 開關用以輸出來自該雜訊補償緩衝電路的類比信號，具備 以上二項元件，該第三處理電路即可進行動作檢出處理。
    9.如申請專利範圍第2項之畫像檢出處理裝置，更包 含左目用晶片及右目用晶片，第四晶片及統合部，左目用 晶片及右目用晶片更包含進行晝像取得及平滑化處理的該 第一晶片，對該第一晶片的輸出進行動作檢出處理的該第 二晶片，及輸出輪廓強調處理的該第三晶片，以分別對應 於左右目進行畫像處理，第四晶片就對應於左右目的該第 二晶片的輸出，進行尋求視差，統合部用以統合該第一至 第四晶片的輸出。
    第28頁
TW091118482A 2001-09-05 2002-08-16 Image sensing/processing apparatus TW583879B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001269120A JP3833088B2 (ja) 2001-09-05 2001-09-05 画像検出処理装置

Publications (1)

Publication Number Publication Date
TW583879B true TW583879B (en) 2004-04-11

Family

ID=19094995

Family Applications (1)

Application Number Title Priority Date Filing Date
TW091118482A TW583879B (en) 2001-09-05 2002-08-16 Image sensing/processing apparatus

Country Status (8)

Country Link
US (1) US7369162B2 (zh)
EP (1) EP1435588A1 (zh)
JP (1) JP3833088B2 (zh)
KR (1) KR100592378B1 (zh)
CN (1) CN1278276C (zh)
CA (1) CA2459220A1 (zh)
TW (1) TW583879B (zh)
WO (1) WO2003023712A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11956526B2 (en) 2018-12-05 2024-04-09 Sony Group Corporation Image capturing element, image capturing device and method

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2007002073A (es) * 2004-08-23 2007-04-24 Sony Corp Dispositivo de captacion de imagen, metodo de procesamiento de resultado de captacion de imagen y circuito integrado.
JP4277216B2 (ja) * 2005-01-13 2009-06-10 ソニー株式会社 撮像装置及び撮像結果の処理方法
CN101064787B (zh) * 2006-04-29 2010-08-11 格科微电子（上海）有限公司 一种cmos图像传感器像素
US8426793B1 (en) * 2007-10-04 2013-04-23 Geoffrey L. Barrows Vision sensor
RU2012117771A (ru) * 2009-09-30 2013-11-10 Шарп Кабусики Кайся Устройство отображения
US8761520B2 (en) * 2009-12-11 2014-06-24 Microsoft Corporation Accelerating bitmap remoting by identifying and extracting 2D patterns from source bitmaps
CN103057262A (zh) * 2011-10-24 2013-04-24 致伸科技股份有限公司 用于印刷装置的印刷控制方法与印刷装置
WO2014085975A1 (zh) * 2012-12-04 2014-06-12 中国科学院半导体研究所 可动态重构的多级并行单指令多数据阵列处理系统
JP2015056700A (ja) * 2013-09-10 2015-03-23 株式会社東芝 撮像素子、撮像装置および半導体装置
JP2016063118A (ja) * 2014-09-19 2016-04-25 株式会社東芝 撮像素子、撮像装置および半導体装置
KR102457724B1 (ko) * 2015-09-22 2022-10-24 삼성전자주식회사 영상 처리를 수행하기 위한 방법 및 그 전자 장치
US12068339B2 (en) 2017-05-02 2024-08-20 Semiconductor Energy Laboratory Co., Ltd. Imaging device and electronic device
JP6419923B2 (ja) * 2017-10-24 2018-11-07 株式会社東芝 撮像装置
CN110648273B (zh) * 2019-09-27 2021-07-06 中国科学院长春光学精密机械与物理研究所 实时图像处理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6457550U (zh) * 1987-10-06 1989-04-10
US5187581A (en) * 1990-09-11 1993-02-16 Kabushiki Kaisha Toshiba Solid state image sensing device including nonlinear conversion processing of input light levels
US5440079A (en) * 1993-06-21 1995-08-08 Rockwell International Corporation Object-background discrimination using analog VLSI circuit
JPH0785260A (ja) * 1993-09-14 1995-03-31 Nippon Steel Corp ２次元センサ装置
JPH0854283A (ja) * 1994-08-10 1996-02-27 Nippon Telegr & Teleph Corp <Ntt> 画像入力装置
US6362482B1 (en) * 1997-09-16 2002-03-26 Advanced Scientific Concepts, Inc. High data rate smart sensor technology
US6608296B1 (en) * 1998-10-07 2003-08-19 Hamamatsu Photonics K.K. High-speed vision sensor having a parallel processing system
JP3959925B2 (ja) * 2000-04-10 2007-08-15 ソニー株式会社 画像処理装置及び撮像素子

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11956526B2 (en) 2018-12-05 2024-04-09 Sony Group Corporation Image capturing element, image capturing device and method

Also Published As

Publication number Publication date
EP1435588A1 (en) 2004-07-07
WO2003023712A1 (fr) 2003-03-20
KR100592378B1 (ko) 2006-06-22
KR20050025115A (ko) 2005-03-11
US20050062853A1 (en) 2005-03-24
US7369162B2 (en) 2008-05-06
JP2003078829A (ja) 2003-03-14
CA2459220A1 (en) 2003-03-20
JP3833088B2 (ja) 2006-10-11
CN1278276C (zh) 2006-10-04
CN1552040A (zh) 2004-12-01

Similar Documents

Publication Publication Date Title
TW583879B (en) Image sensing/processing apparatus
Delbruck Silicon retina with correlation-based, velocity-tuned pixels
CN206596105U (zh) 像素电路
KR100485301B1 (ko) 반도체장치, 및 그 반도체장치를 이용한 연산장치, 신호변환기 및 신호처리시스템
CN102257616B (zh) 噪声消除图像传感器
CN206023945U (zh) 图像传感器、成像像素和成像系统
JP5922226B2 (ja) 低ミスマッチ及び低消費のトランスインピーダンス利得回路
CN106791496A (zh) 通过连续时间读出电路中的斜坡产生器改善图像传感器电源抑制比
CN101356546A (zh) 图像高分辨率化装置、图像高分辨率化方法、图像高分辨率化程序以及图像高分辨率化系统
Bandyopadhyay et al. Matia: a programmable 80/spl mu/w/frame cmos block matrix transform imager architecture
CN110505421A (zh) 具有全局快门的宽动态范围图像传感器
TW201742439A (zh) 於影像感測器中用於實施ｈ條帶消除之方法及系統
CN115049783B (zh) 模型的确定方法、场景重建模型、介质、设备及产品
CN105791716B (zh) Cmostdi图像传感器及其控制方法
US11894857B2 (en) Readout circuit, signal quantizing method and device, and computer device
Gennis et al. A general purpose, low power, analog integrated image edge detector, based on a current-mode Gaussian function circuit
EP2310954B1 (fr) Circuit de traitement de données à processeur élémentaire, ensemble de traitement de données comportant une grille de tels circuits, et capteur matriciel comportant un tel ensemble
Indiveri et al. An adaptive visual tracking sensor with a hysteretic winner-take-all network
Sunayama et al. Cellular νMOS circuits performing edge detection with difference-of-Gaussian filters
Smagulova et al. Cmos-memristor hybrid integrated pixel sensors
Bandyopadhyay et al. A CMOS floating-gate matrix transform imager
Kameda et al. A silicon retina system that calculates direction of motion
Sicard et al. An adaptive bio-inspired analog silicon retina
Hasler et al. High fill-factor imagers for neuromorphic processing enabled by floating-gate circuits
Hasler et al. A matrix transform imager and architecture

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees