TWI575953B - 視覺感測器、系統及方法 - Google Patents

視覺感測器、系統及方法 Download PDF

Info

Publication number
TWI575953B
TWI575953B TW097135461A TW97135461A TWI575953B TW I575953 B TWI575953 B TW I575953B TW 097135461 A TW097135461 A TW 097135461A TW 97135461 A TW97135461 A TW 97135461A TW I575953 B TWI575953 B TW I575953B
Authority
TW
Taiwan
Prior art keywords
image
model
visual sensor
various embodiments
data
Prior art date
Application number
TW097135461A
Other languages
English (en)
Other versions
TW200924523A (en
Inventor
約翰 麥蓋瑞Ｅ
皮爾斯Ｎ 普郎瑪Ａ
Original Assignee
寇格內斯公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 寇格內斯公司 filed Critical 寇格內斯公司
Publication of TW200924523A publication Critical patent/TW200924523A/zh
Application granted granted Critical
Publication of TWI575953B publication Critical patent/TWI575953B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Description

視覺感測器、系統及方法 相關專利申請之相互參考
本申請係主張於2008年7月31日申請在案之美國專利申請案第12/184187號之優先權，其標題為“視覺感測器、系統及方法”，其主張於2007年11月30日申請在案之美國專利申請案第60/991545號之優先權，其標題為“在一晶片上之視覺系統”，其二者之完整內容將合併於本文中以供參考。本申請同時也主張於2007年11月30日申請在案之美國專利申請案第60/991545號之優先權。
 發明背景
本發明實施例一般係關於允許影像獲得以及處理之視覺感測器、系統、及方法，並且在各種實施例中，係關於在一單晶片上具有像素電路以及數位處理元件之視覺感測器。
視覺感測器一般被使用於機器視覺系統中以及其他的系統以供得到實際景象的影像並且處理該等影像。此視覺感測器一般包括具有光感測器之一像素陣列，該光感測器各取樣於被取像之一景象對應部份的光強度。一些視覺感測器整合一像素陣列以及數位處理元件在一單晶片上以允許進行在該視覺感測器晶片之內被捕捉的影像之一些處理。但是，仍有需要改進視覺感測器以及用於影像處理之演算法。
第1圖展示一相關技術之單晶片視覺感測器100的方塊圖。該視覺感測器100包括一像素陣列108、一像素控制器105、多數個類比比較器107、一類比斜波產生器104、多數個類比-至-數位轉換器(ADC)鎖定器109、以及一數位斜波產生器103。該像素陣列108包括多數個以列和行方式配置之像素電路106。各個像素電路106包括一光敏感元件，例如，一光二極體或其類似者，以取樣於被取像的一景象對應部份之光強度，且各個像素電路106被組態以依據該被取樣之光強度而提供一類比像素信號。
該像素控制器105將控制信號供應至在該像素陣列108中之像素電路106以控制該等像素電路106之操作。在該像素陣列108之相同列中的像素電路106可共用來自像素控制器105之一共同列控制信號，並且在像素陣列108相同行中之像素電路106可共用一共同行讀出裝置線以提供輸出。該像素控制器105一般控制該等像素電路106以提供逐列式的輸出。來自該像素陣列108中之像素電路106各行的該等類比像素信號輸出被輸入至一對應的類比比較器107中。
來自該像素陣列108之該等類比像素信號輸出的類比-至-數位轉換使用多數個類比比較器107、類比斜波產生器104、多數個ADC鎖定器109、以及數位斜波產生器103被進行。在像素陣列108各個行的類比像素信號輸出，在對應的類比比較器107中被比較於利用類比斜波產生器104所產生的一共同類比參考位準。該數位斜波產生器103產生一數位信號，其是代表利用類比斜波產生器104所產生的類比參考位準。當在任何所給予的行上，該類比參考位準等於該類比像素信號之位準時，該對應的類比比較器107產生一數位輸出，其導致一對應的ADC鎖定器109將利用數位斜波產生器103所供應的數位信號之數值加以鎖定。
該視覺感測器100進一步地包括控制處理器101、一般用途記憶體102、多數個影像輸入暫存器110、多數個輸入/輸出(I/O)暫存器111、多數個移位暫存器112、多數個算術邏輯運算單元(ALU)113、多數個影像記憶體裝置114、以及多數個數位影像匯流排118。控制處理器101被連接到該一般用途記憶體102，控制處理器101自該記憶體中得到程式以執行而控制視覺感測器100之元件。各個ADC鎖定器109被連接到一對應的影像輸入暫存器110，並且各個影像輸入暫存器110利用輸出資料線被連接至一對應的數位影像匯流排118。
各個數位影像匯流排118可以是一串列匯流排，其攜帶位元串列型式資料。各個數位影像匯流排118被連接到一對應的影像輸入暫存器110、一對應的I/O暫存器111、一對應的移位暫存器112、一對應的ALU 113、以及一對應的影像記憶體裝置114。該等多數個I/O暫存器111各被連接到控制處理器101以供自控制處理器101輸入資料並且將資料輸出至該控制處理器101。多數個移位暫存器112各被連接到它們左方以及右方上緊接的鄰近者，如果呈現的話。各個ALU 113經由一組對應的暫存器(其包括至少二個資料輸入暫存器(a和b)，以及一進位暫存器(c))被連接到對應的數位影像匯流排118。
各個影像輸入暫存器110藉由該對應的數位影像匯流排118，使得數位化影像資料可用於對應的I/O暫存器111、對應的移位暫存器112、對應的ALU 113、以及對應的影像記憶體裝置114。在一般的處理操作中，影像資料被緩衝在多數個影像記憶體裝置114中並且使用多數個ALU 113被處理。該被處理之影像資料接著可經由該等多數個I/O暫存器111利用控制處理器101被接取以供用於第二資料處理以及該被處理影像資料與外接裝置的外部通訊。
作為一實際的問題，視覺感測器100之功能相對地偏向具特徵於機器視覺處理之早期階段的簡單過濾操作。當被應用至更複雜的演算法時，可自視覺感測器100之數位處理元件被導出的計算效率是高度地受到在該等元件之間的通訊以及受到算術邏輯運算單元113之過度簡單化性質的限定。因此，需要改進用於影像處理之視覺感測器。
 發明概要
本發明實施例一般係關於允許影像獲得以及處理之視覺感測器、系統、以及方法，並且，在各種實施例中，係關於在單晶片上具有像素電路以及數位處理元件之視覺感測器。在各種實施例中，在一晶片上之視覺系統(VSoC)包括在單晶片上具有像素電路以及數位處理元件之一視覺感測器。在各種實施例中，一視覺感測器之數位處理元件被組態以進行樣型匹配以辨識在一影像中之相關位置。於一些實施例中，一視覺感測器被組態以依據感測光而得到對於一影像之影像資料，並且用以辨識導致該模型與該影像具有最大相關性之一特點之模型的一些或所有特點轉換。
依據本發明一實施例之一單晶片視覺感測器包括一像素陣列以及一個或多個電路。在各種實施例中，該等一個或多個電路被組態以使用一個或多個特點之一模型搜尋一影像之一個或多個特點。同時，在各種實施例中，該等一個或多個電路也被組態以處理自該像素陣列被提供的一個或多個信號以產生該影像。於一些實施例中，該模型包括多數個模型指令，其各包括相對於一模型參考點之一對應的座標。在各種實施例中，該等一個或多個電路被組態以記錄導致在該模型以及該影像之間至少一部份匹配的相對於影像之模型的一個或多個姿態。同時，在各種實施例中，該等一個或多個姿態也是各相關於該影像一對應列、該影像一對應行、一對應的轉動角度、以及一對應的尺度數值。
於一些實施例中，該等一個或多個電路被組態以依據一個或多個仿射的轉換數值將該模型之一個或多個座標加以轉換。於一些實施例中，該等一個或多個電路被組態以依據指定該模型之一轉動、一尺度、及/或一轉換的一個或多個轉換數值而將該模型之一個或多個座標加以轉換。在各種實施例中，該等一個或多個電路被組態以在將該模型之一個或多個座標加以轉換之後，同時地相對於該影像而對於該模型的各多數個定位比較該模型與該影像。同時，在各種實施例中，該等多數個定位也包括在該影像一列中之多數個位置的該模型一參考點之定位。因此，在各種實施例中，以幾何方式被轉換之模型可同時地相對於該影像而對於以幾何方式被轉換模型的多數個位置與該影像相比較。於一些實施例中，該等一個或多個電路被組態以儲存關於依據使用該模型被進行之比較結果的該模型之某些姿態資訊。
於一些實施例中，該等一個或多個電路包括一影像位址處理器，其被組態以至少部份地依據一個或多個轉換數值而將該模型座標加以轉換成為被轉換之座標。同時，於一些實施例中，該等一個或多個電路也進一步地包括多數個影像記憶體裝置以在該等多數個影像記憶體裝置使用該等被轉換座標之至少一個被接取之情況中同時地供儲存該影像之影像資料以及供輸出資料。於一些實施例中，該等一個或多個電路進一步地包括一影像資料選擇器，其被組態以接收該影像資料以及依據被轉換之座標的至少一者將該資料移位一數量。
在各種實施例中，該等一個或多個電路包括多數個比較器，彼此同時地將依據該影像資料所得到之一個或多個對應的數值與一個或多個模型數值相互比較。同時，在各種實施例中，該等一個或多個電路進一步地也包括多數個累積器，其中該等多數個累積器之各累積器被組態以接收該模型之一累積增量以及選擇性地進行累積以依據多數個比較器之一對應的比較器之一輸出而累積該累積增量。於一些實施例中，該等一個或多個電路進一步地包括一模型資料移位器，其用以將在該模型資料移位器之內的該等一個或多個數值以及該模型之累積增量予以轉移並且用以將該等一個或多個數值提供至該等多數個比較器以及將該累積增量提供至該等多數個累積器。在各種實施例中，該等一個或多個電路包括一優先序編碼器，其供在該模型之一個或多個座標被轉換之後依據一個二進制標籤字組(其是根據該模型與該影像之比較結果而被形成)而指示該模型之定位。
依據在一單晶片視覺感測器中一實施例之一種方法，其包括至少部份地依據感測光以得到一影像，並且使用一個或多個特點之一模型而搜尋該影像之一個或多個特點。於一些實施例中，該模型包括多數個模型指令，其各包括相對於一模型參考點之一對應的座標。在各種實施例中，該搜尋包括依據記錄使用該等模型之至少一部份之比較結果而被決定之相對於影像的一模型之一個或多個姿態。在各種實施例中，該得到步驟包括依據該感測光而處理被提供之信號以產生該影像。於一些實施例中，該方法包括在將該模型的一個或多個座標加以轉換之後，對於相對該影像之該模型的各多數個定位同時地比較該模型與該影像。同時，於一些實施例中，該等多數個定位也包括在該影像一列中之多數個位置該模型的一參考點之定位。
在各種實施例中，該方法包括依據一個或多個轉換數值將該模型座標轉換成為被轉換之座標。於一些實施例中，該方法包括導致多數個影像記憶體裝置藉由使用該等被轉換之座標的至少一者以接取該等多數個影像記憶體裝置而彼此同時地輸出資料。同時，於一些實施例中，該方法也包括依據該等被轉換座標之至少一個將該影像之資料加以轉移一數量。在各種實施例中，該方法包括導致多數個比較器，彼此同時地將依據影像資料所得到之一個或多個對應數值與該模型之一個或多個數值加以比較。同時，在各種實施例中，該方法也包括依據該等多數個比較器之一對應的比較器之一輸出選擇性地進行累積以在一累積器中累積一累積增量。於一些實施例中，該方法包括輸出關於該搜尋結果之資訊。
依據本發明一實施例之一系統包括一單晶片視覺感測器以及一裝置。在各種實施例中，該單晶片視覺感測器被組態以至少部份地依據感測光而得到一影像並且使用一個或多個特點之一模型搜尋該影像之一個或多個特點。同時，在各種實施例中，該裝置也被組態以自該單晶片視覺感測器接收一個或多個信號並且至少部份地依據該等一個或多個信號而控制一操作。於一些實施例中，該等一個或多個信號是控制信號。於一些實施例中，該等一個或多個信號指定資料或資訊。在各種實施例中，該裝置藉由控制另一裝置而控制一操作。於一些實施例中，該單晶片視覺感測器提供控制信號至該裝置並且該裝置藉由依據該等控制信號而進行一操作以控制一操作。
圖式簡單說明
第1圖展示相關技術視覺感測器之方塊圖；
第2圖展示依據本發明一實施例之一視覺感測器方塊圖；
第3圖展示依據本發明一實施例之一系統方塊圖；
第4圖展示依據本發明一實施例之一方法流程圖；
第5圖展示依據本發明一實施例用以自一範例影像產生一特點之模型之方法流程圖；
第6A圖展示依據本發明一實施例在一範例影像上定位一座標系統以及定位隨機點之範例；
第6B圖展示依據本發明一實施例之產生對於點集合的二進制數目並且將該二進制數目予以解碼之範例；
第6C圖展示依據本發明一實施例之一特點的一模型之模型指令範例；
第7A圖展示依據本發明一實施例之在一範例影像上定位一座標系統以及點的範例；
第7B圖展示依據本發明一實施例之形成對於多於一個特點的位元串之範例；
第7C圖展示依據本發明一實施例之對於多於一個特點的一模型之模型指令的範例；
第8圖展示依據本發明一實施例之一視覺感測器方塊圖；
第9圖展示依據本發明一實施例之視覺感測器方塊圖；
第10A圖展示依據本發明一實施例用以轉換一模型之座標的影像位址處理器之方塊圖；
第10B圖展示依據本發明一實施例用以轉換一模型之座標的方程式；
第11圖展示依據本發明一實施例之一比較器-累積器；
第12圖展示依據本發明一實施例用以捕捉一影像以及用以進行相對於該影像之樣型匹配的一方法之流程圖；
第13圖展示依據本發明一實施例之執行一個或多個特點的一模型之模型指令的方法流程圖；以及
第14圖展示依據本發明一實施例當執行範例模型指令時的一視覺感測器之操作範例。
 較佳實施例之詳細說明
第2圖展示依據本發明一實施例之一單晶片視覺感測器200之方塊圖。該視覺感測器200包括在單晶片上之一像素陣列208以及一個或多個電路230。在各種實施例中，該像素陣列208被組態以依據被取像的一景象之感測光而提供像素信號至該等一個或多個電路230。同時，在各種實施例中，該等一個或多個電路230也被組態以處理自該像素陣列208被提供之像素信號以形成一影像，並且選擇性地被組態以進行與該影像相關之樣型匹配。在各種實施例中，該像素陣列208以及該等一個或多個電路230在半導體材料一基片上形成一單一積體電路。同時，在各種實施例中，該視覺感測器200也包括一個或多個I/O插銷(未被展示於圖中)用以將資料輸入至該視覺感測器200中以及自該視覺感測器輸出資料。
該視覺感測器200可在各種應用中被採用，例如，機器視覺應用、消費者應用、或其類似者。在各種實施例中，該視覺感測器200可在多個應用中被採用，於其中需要一個或多個的(i)影像捕捉；(ii)影像預處理；以及(iii)樣型匹配。在各種實施例中，該視覺感測器200允許在一單晶片或積體電路中進行影像獲得、影像預處理、及/或樣型匹配。
第3圖展示依據本發明一實施例之一系統270的方塊圖。該系統270包括視覺感測器200以及裝置240。於該系統270中，該視覺感測器200是與該裝置240通訊以將信號發送至裝置240。於一些實施例中，該等信號是控制信號。於一些實施例中，該信號指示資料或資訊。於一些實施例中，該視覺感測器200同時也與該裝置240通訊以自裝置240接收信號。在各種實施例中，該裝置240允許影響或作用於實際的世界。於一些實施例中，該裝置240被組態以至少部份地依據自該視覺感測器200所接收的一個或多個信號而控制或進行一操作。
於一些實施例中，該裝置240被組態以依據自該視覺感測器200所接收的資料而控制另一裝置或設備(未被展示於圖中)。在各種實施例中，該裝置240是可控制的並且該視覺感測器200被組態以將控制信號傳送至該裝置240以控制該裝置240。可被使用作為裝置240之裝置型式的範例包括，但是不受限制於，一顯示裝置、一通訊裝置、一計算裝置、一機械臂、一開關、一車輛控制裝置、一產品組合裝置、一檢視裝置、一監視裝置、一醫療裝置或其類似者。
在各種實施例中，該視覺感測器200被組態以取得一影像，以及在該影像上進行處理，並且依據該處理結果將資料提供至裝置240。例如，在各種實施例中，該視覺感測器200被組態以依據該等一個或多個特點之一個或多個模型而搜尋一影像中之一個或多個特點，而且依據該搜尋結果將資料輸出至裝置240。藉由允許在單晶片上或積體電路進行影像捕捉以取得一影像以及樣型匹配以搜尋一影像中之特點，當比較於影像資料必須自該視覺感測器200被發送至外接於該視覺感測器200之一分別的處理器以供利用該分別的處理器進行樣型匹配的情況時，自視覺感測器200被發送之資料量可被減少。
例如，在各種實施例中，該視覺感測器200可被採用以使用該等一個或多個特點之一模型而得到影像、搜尋該等影像之一個或多個特點，並且接著在其中該等一個或多個特點在一影像中被發現之情況，將一觸發信號提供至該裝置240。同時，於一些實施例中，該視覺感測器200也可被採用以使用該等一個或多個特點之一模型而得到影像、搜尋該等影像之一個或多個特點，並且接著在其中該等一個或多個特點在一影像中被發現之情況，將指示一實際景象中之該等一個或多個特點的位置之位置資料提供至該裝置240。因而，在此實施例中，該視覺感測器200可在該視覺感測器晶片上進行該搜尋並且接著僅需要將一觸發信號、位置資料、或其類似者，傳送至該裝置240，而不是自該視覺感測器200將整個影像資料發送至一分開之外接處理器以使該分開之外接處理器進行一特點搜尋，其允許將需要自該視覺感測器200被發送之資料量予以降低。
在各種實施例中，該視覺感測器200被組態以取得一影像，以及在該影像上進行處理，並且依據該處理結果而控制該裝置240。例如，在各種實施例中，該視覺感測器200被組態以依據該等一個或多個特點之一個或多個模型而搜尋一影像中之一個或多個特點，並且依據該搜尋結果以控制該裝置240之操作。因而，於此實施例中，該視覺感測器200可在該視覺感測器晶片上進行該搜尋並且接著僅需要將控制信號、控制指令、或其類似者傳送至裝置240，而不是自該視覺感測器200將整個影像資料發送至一分開的外接處理器以使該分開之外接處理器進行一特點搜尋，其允許需要自該視覺感測器200被發送之資料量予以降低。
在各種實施例中，降低需要自該視覺感測器200被發送之資料量允許以每秒訊框方式增加速率，視覺感測器200是可以該速率取得影像，因為該視覺感測器200不需要等待直到輸出發送完成為止。例如，於一些實施例中，該視覺感測器200可被組態以較大於每秒200訊框之速率捕捉以及處理影像，其可允許該視覺感測器200有利地被使用於多數應用上，例如，自動化視訊監視、車輛控制、觸發辨識(ID)讀取器、姿態辨識、使用靜態或移動視覺感測器經由三維(3D)模型化之物件量度、移動分析、或其類似者。
在各種實施例中，該視覺感測器200可被組態以自我觸發，因而，在各種實施例中，該視覺感測器200可以是經常導通以及攝取影像。在各種實施例中，該視覺感測器200可被組態以提供將被使用作為用於其他視覺應用的一軟體觸發之一觸發，例如，用於ID讀取器之一軟體觸發。視覺感測器200之各種實施例可被使用，或增補，於其他視覺系統中，包括，例如，下面參考案中所說明的系統：(i)美國專利申請案第10/865155號，其標題為“用於視覺檢測以及物件檢視之方法與設備”；以及(ii)美國專利申請案第11/763752號，其標題為“用於光電檢測以及物件定位之方法與系統”，其二者之完整內容將合併於本文中以供參考。
降低需要自視覺感測器200之一晶片上被發送的資料量同時也允許降低功率消散，因為只需要較少之電流自該晶片驅動信號，並且因為在該視覺感測器200以及外接裝置之間降低的交換資料量而允許產生較少之電磁干擾(EMI)。在許多應用中，降低功率消散具有許多優點，例如，受電池限制之應用、醫療的應用、軍事的應用、車輛的應用、或其類似者。例如，在各種實施例中，該視覺感測器200可被使用作為一感測器以替代盲人之眼睛，於其中低的功率消散以及快速處理是有利的。同樣地，在許多應用中，降低EMI具有許多優點，例如，車輛控制應用、軍事的應用、或其類似者，其中EMI可能與其他設備的操作發生衝突。
於一些實施例中，該裝置240是可處理影像資料之裝置型式並且該視覺感測器200被組態以將影像資料發送至該裝置240。於一些實施例中，於其中該視覺感測器200被組態以將影像資料發送至該裝置240，該視覺感測器200被組態以使用該等一個或多個特點之一模型而搜尋一影像之一個或多個特點，並且只要該等一個或多個特點之至少一個在該影像中被發現的話，則將該影像之影像資料發送至該裝置240。同時，於一些實施例中，於其中該視覺感測器200也被組態以將影像資料發送至該裝置240，該視覺感測器200被組態以使用該等一個或多個特點之一模型而搜尋一影像之一個或多個特點，並且將僅對於依據自該搜尋被辨識之特點而被決定的影像中之相關區域的影像資料發送至該裝置240。在各種實施例中，於其中該視覺感測器200被組態以將影像資料發送至該裝置240，該視覺感測器200可以是可控制的以將對於影像之整個影像資料傳送至裝置240。於一些實施例中，該視覺感測器200被組態以將姿態資訊發送至該裝置240，其指示相對於其一個或多個特點已被檢測之一影像的一模型之姿態。
在各種實施例中，該裝置240可包括一處理器(未被展示於圖中)並且該視覺感測器200可被組態以互動地與裝置240之處理器交換處理工作及/或允許一使用者指定其將利用各視覺感測器200以及裝置240之處理器被進行的特定工作，以便允許，例如，用於生產率之最佳化、記憶體之使用、或其類似者。同時，在各種實施例中，該裝置240也可包括一處理器(未被展示於圖中)並且該視覺感測器200可被組態以決定候選影像或可包括一個或多個特點之影像的部份並且接著將該等候選影像或影像之部份轉移至該裝置240以供利用裝置240之進一步的處理。於一些實施例中，該視覺感測器200可被設備的一個或多個其他部分(未被展示於圖中)所使用，例如，自動對焦光學、適應式設備、或其類似者，以提供不同的景深或不同的照明，例如，當在用於各種申請，例如，ID申請，或其類似者之有用的時間週期之內取得影像以及選擇性地處理它們之時。
第4圖展示依據本發明一實施例之一種方法的流程圖。在步驟S1中，來自一個或多個範例影像的一個或多個特點之一模型被形成。在各種實施例中，一個或多個特點之一模型是該等一個或多個特點之一簡化表示。於一些實施例中，一個或多個特點之一模型可以任何其他適當的方式，例如，自針對該等一個或多個特點之電腦輔助設計(CAD)資料被形成，而不是自一個或多個範例影像形成一模型。參考第3和4圖，於一些實施例中，裝置240包括一計算裝置、或其類似者，其被組態以自一個或多個範例影像形成一個或多個特點的一模型並且被組態以將該模型傳送至視覺感測器200。於一些實施例中，該視覺感測器200被組態自一個或多個範例影像形成一個或多個特點之一模型。在各種實施例中，一個或多個特點之一模型可利用任何適當的裝置自一個或多個範例影像被形成並且接著被下載至該視覺感測器200。於一些實施例中，該模型包括多數個模型指令，其各包括相對於該模型一參考點所被指定之一座標。同時，於一些實施例中，該模型也包括依據一個或多個範例影像所得到的一個或多個數值。在該模型已被形成之後，該方法繼續至步驟S2。
於步驟S2中，該視覺感測器200使用該模型搜尋一影像中之該等一個或多個特點。在各種實施例中，該視覺感測器200被組態以藉由感測光而得到一影像以及依據該感測光進行處理以提供該影像。同時，在各種實施例中，該視覺感測器200也被組態以搜尋利用該視覺感測器200所得到之影像中的該等一個或多個特點。因此，在各種實施例中，該視覺感測器200允許得到一影像以及使用該等一個或多個特點之一模型以搜尋該影像中之一個或多個特點。
第5圖展示依據本發明一實施例用以自一範例影像形成一特點之一模型的方法之流程圖。在各種實施例中，第5圖之方法可被使用於第4圖的方法之步驟S1中以形成一模型。於一些實施例中，一電腦-可讀取儲存媒體(未被展示於圖中)儲存一程式，當其在一計算裝置上被執行時將導致該計算裝置進行第5圖之方法以形成一模型。於此實施例中，該模型接著可被發送至一視覺感測器，例如，第2圖之視覺感測器200。於一些實施例中，該視覺感測器200被組態以進行第5圖之方法以形成一模型。當然，應了解，第5圖之方法僅是依據本發明一實施例用以形成一模型之方法的一範例，並且，於各種其他實施例中，其他適當的方法亦可被採用以自範例影像形成其他適當的特點模型。
在第5圖中之方法的各種實施例中，一範例影像可自任何來源被得到。第6A圖展示依據本發明一實施例用以協助了解第5圖之方法的一範例。在第6A圖中，一範例影像500之例子被展示，並且該範例影像500可利用相對於以參考點370為中心以及利用列軸Ix 以及行軸Iy 被展示之範例影像500的一座標系統之一對直角座標(列，行)被指定。包括在範例影像500之內，其存在一特點501，其可代表，例如，在一景象中之一物件，或其類似者。應了解，該特點501僅被提供作為一範例特點，並且變化形狀與大小之特點，與包括一個或多個形狀或元件之特點，可被包括在範例影像中。
參考第5和6A圖，在步驟S10中，相對於一範例影像之一模型座標系統被建立。例如，在第6A圖之範例中，一模型參考點580被選擇以供用於範例影像500中之特點501，並且利用以模型參考點580為中心的一列軸X以及一行軸Y被指定之一模型座標系統被建立以供用於特點501。該方法接著繼續至步驟S11。於步驟S11中，一給予數目之點相對於該模型座標系統被置放，並且在各種實施例中，該等點可被置放在相對於該模型座標系統之隨機位置上。例如，於第6A圖之範例中，10個點在該圖形中分別地被標示為1至10，其相對於該模型座標系統之模型參考點580地被置放。應了解，不同數目的點可被使用，並且該等10個點僅被提供作為一範例。第5圖之方法接著繼續至步驟S12。
於步驟S12中，該等點被分開成為集合，其各包括m個點，其中m是一整數值。例如，於第6A圖之範例中，該等10個點被分開成為2個集合，A1和B1，其各包括5個點。應了解，那二個集合僅被提供作為一範例，並且，在各種實施例中，其可以是任何所需數目的點集合。於一些實施例中，其對於一模型可以是多於100個的點集合。於該範例中，集合A1包括點1-5，以及集合B1包括點6-10。該方法接著繼續至步驟S13。於步驟S13中，在各集合中之點被指定。例如，於第6A圖之範例中，在集合A1中之點被指定為1至5，並且在集合A2之點被指定為6至10。該方法接著繼續至步驟S14。
於步驟S14中，對於該模型之模型指令依序地被形成以供用於各個點。第6C圖展示用於第6A圖特點501之一模型503的範例，並且該模型503包括多數個模型指令。參考第6A和6C圖之範例，模型503包括對於各個點1-10之一模型指令。在該模型503中被標示為N之行包括對於各個模型指令之指令數目，並且該等模型指令是具有如點1-10之順序的相同順序。再參考至第5圖，該方法接著繼續至步驟S15。於步驟S15中，在該模型座標系統中用於各個點之座標被包括在該點之模型指令中。例如，於第6A和6C圖之範例中，在該模型503中被標示為X和Y之行包括在對於該點的模型指令中之各個點的座標。因此，例如，對於點1之模型指令具有座標(-7，-2)，其是對於相對模型座標系統之點1的座標。同時，例如，對於點2之模型指令也具有座標(-4，-5)，其是對於相對該模型座標系統之點2的座標。該方法接著繼續至步驟S16。
於步驟S16中，一重置命令被包括在該模型之一第一指令中。例如，於第6C圖之範例中，具有數值“1”之一位元被提供以供用於被標示為RST的行中之該模型503中的第一模型指令。在模型503中之第二至最後的模型指令包括在被標示為RST之行中具有一數值“0”之一位元。在各種實施例中，於一模型中之重置命令是供指示一個或多個累積器，其中該等一個或多個累積器應被重置為備妥供該模型執行所用之一原定值。參考第5圖，該方法接著繼續至步驟S17。於步驟S17中，一比較命令被包括在一模型指令中以供用於各點集合中之一最後的點。例如，於第6A和6C圖之範例中，第五模型指令，其是供用於集合A1中之一最後的點，包括在該模型503中被標示為CMP之行中具有數值“1”之一位元。同樣地，第十個模型指令，其是供用於集合B1中之一最後的點，包括在模型503中被標示為CMP的行中之具有數值“1”的一位元。在模型503中的其他模型指令包括在被標示為CMP的行中具有數值“0”之一位元。在各種實施例中，在一模型中之一比較命令是供指示一個或多個比較器，其中該等一個或多個比較器應進行一比較操作。
參考第5圖，該方法接著繼續至步驟S18。於步驟S18中，一黑色數值或一白色數值依據供用於在該點之範例影像的資料對於各個點被指定。在各種實施例中，該範例影像是一個二進制影像，且對於各個點之黑色或白色數值依據在該點之範例影像是為黑色或是為白色而被指定。於各種其他實施例中，該範例影像是一灰階影像或彩色影像，並且對於各個點之黑色或白色數值依據在該點之範例影像的一數值與一臨界值之比較而被指定。於第6A圖之範例中，該範例影像500是一個二進制影像。同時，於第6A圖之範例中，其假設一黑色數值是“0”，以及一白色數值是“1”。因此，於第6A圖之範例中，點1、4、5、6、7、以及9，被指定一數值“1”作為範例影像500之白色部份，以及點2、3、8、以及10，被指定一數值“0”作為該範例影像500之黑色部份。該方法接著繼續至步驟S19。
於步驟S19中，一個二進制數目依據對於該集合中之點的被指定黑色或白色數值而被產生以供用於各個點集合。第6B圖展示依據對於那些集合中之點的被指定的黑色或白色數值所被產生以供用於該集合A1和B1之具有範例二進制數目的一文字盒502。於第6B圖之範例中，對於集合A1被產生之二進制數目是“11001”，以及對於集合B1被產生之二進制數目是“01011”。應注意到，於第6B圖之範例中，對於各個集合之二進制數目自該集合中之點被形成，其中自該集合中第一個點之二進制數目中最不主要的位元開始並且朝向對於該集合中最後的點之二進制數目中最主要的位元移動。因此，對於集合A1之二進制數目“11001”指示，點5是與一數值“1”相關的，點4是與一數值“1”相關的，點3是與一數值“0”相關的，點2是與一數值“0”相關的，以及點1是與一數值“1”相關的。該方法接著繼續至步驟S20。
於步驟S20中，對於各個集合之二進制數目被解碼成為一對應的2m 位元數列。例如，於第6B圖之範例中，對於集合A1之二進制數目“11001”，其對應至十進位數碼25，被解碼成為位元數列“00000010000000000000000000000000”，其中一數值“1”被安置於位元25的位置中，假設最低階位元是位元位置0。同樣地，於第6B圖之範例中，對於集合B1之二進制數目“01011”，其對應至十進位數碼11，被解碼成為位元數列“00000000000000000000100000000000”，其中一數值“1”被安置於位元11的位置中，假設最低階位元是位元位置0。應注意到，於第6B圖之範例中，m數值是5，因此，具有5個點之各個集合可依據範例影像內容而具有2之5次方或32之可能狀態。同時也應該了解，於其他實例中，m可被設定為不同的數值，並且5僅被提供作為範例。
參考第5圖，該方法接著繼續至步驟S21。於步驟S21中，一對應的累積增量數值被包括在對於各點集合中第一個點的一模型指令中。例如，於第6C圖之範例中，在模型503中之第一模型指令，其是對於集合A1中之第一個點的一模型指令，在模型503之行V中具有如利用十六進位數值“0Xxx”所指示之一對應的累積增量，其中“XX”指示該累積增量可被設定為任何之指定數值。同樣地，在模型503中之第六模型指令，其是對於集合B1中之第一個點的一模型指令，在模型503行V中具有如利用十六進位數值“0×XX”所指示之一對應的累積增量，其中“XX”指示該累積增量可被設定為任何的指定數值。該方法接著繼續至步驟S22。
於步驟S22中，對於各點集合之位元數列被分割成為數塊。例如，於第6B圖之範例中，對於集合A1之位元數列被分割成為四個數塊“00000010”、“00000000”、“00000000”、以及“00000000”，其分別地代表十六進位數碼“0×02”、“0×00”、“0×00”、以及“0×00”。同樣地，於第6B圖之範例中，對於集合B1之位元數列被分割成為四個數塊“00000000”、“00000000”、“00001000”、以及“00000000”，其分別地代表十六進位數碼“0×00”、“0×00”、“0×08”、以及“0×00”。參考第5圖，該方法接著繼續至步驟S23。
於步驟S23中，對於各個點集合之位元數列的數塊被分佈在該集合中第二至最後點的模型指令之間。例如，於第6B和6C圖之範例中，對於集合A1的位元數列之數塊被分佈而遍及模型503之行V中的第二至第五模型指令。應注意到，於第6C圖之範例中，該等數塊開始於該位元數列之最不主要位元的數塊並且朝向該位元數列之最主要位元的數塊前進而被分佈越過該等指令。同樣地，於第6B和6C圖之範例中，對於集合B1的位元數列之數塊被分佈而越過模型503之行V中的第七至第十模型指令。
因此，依據第5圖之流程圖所指定之方法，一模型可對於一範例影像中之一特點而被產生。在各種實施例中，自一個或多個範例影像被產生之一模型可被稱為一“訓練模型”，因為該模型自該等一個或多個範例影像之資料中學習。當然，應了解，依據第5圖之方法所產生之模型僅僅是一個模型型式，並且，於各種其他的實施例中，提供特點表示之不同型式的模型亦可被產生。例如，在各種實施例中，一影像之多數個位元平面可被得到，並且一模型可自該影像之多數個位元平面被產生。於一些這樣的實施例中，一另外的位元平面數值可被使用於指定一模型中之各個點，其中對於一個點之另外的位元平面數值指定該點之一位元平面。
在各種實施例中，一模型可代表來自多於一個範例影像之多於一個的特點。第7A圖展示具有特點601之範例影像600的範例。第7C圖展示來自第7A圖之範例影像600的特點601以及來自第6A圖之範例影像500的特點501之一模型605的範例。於第7A圖之範例影像600中，該特點601不同於第6A圖之範例影像500的特點501，但是一模型參考點680相對於範例影像600之一參考點670被建立並且點1-10如它們相對於模型參考點580一般地被置放在相對於該模型參考點680之相同座標上。接著，於第7A圖之範例中，該等點以在第6A圖中它們被分割成為集合A1和B1之相同方式地被分割成為集合A2和B2。
第7B圖展示(i)一文字盒602，其具有與來自第7A圖之集合A2和B2相關的數值；(ii)來自第6B圖之文字盒子502；以及(iii)具有數值AX和BX之一文字盒604。文字盒602中之數值藉由將第5圖方法之步驟S18-S20應用至第7A圖中之點上而被得到。於第7B圖之範例，於文字盒子602中，對於集合A2所產生之二進制數目是“10011”，以及對於集合B2所產生之二進制數目是“11011”。應注意到，於第7B圖之範例中，對於各個集合之二進制數目自該集合中之點被形成，其開始於該集合中第一個點的二進制數目之最不主要的位元並且朝向該集合中最後的點之二進制數目中最主要的位元移動。因此，對於集合A2之二進制數目“10011”指示，點5是與一白色數值“1”相關，點4是與黑色數值“0”相關，點3是與黑色數值“0”相關，點2是與一白色數值“1”相關，以及點1是與一白色數值“1”相關。
於第7B圖之範例中，在文字盒602中，對於集合A2之二進制數目“10011”，其對應至十進位數碼19，被解碼成為位元數列“00000000000010000000000000000000”，其中一數值“1”被安置於假設最低階位元是位元位置0的位元19之位置中。同樣地，於第7B圖之範例中，對於集合B2之二進制數目“11011”，其對應至十進位數碼27，被解碼成為位元數列“00001000000000000000000000000000”，其中一數值“1”被安置於假設最低階位元是位元位置0之位元27之位置中。文字盒604中之AX數值接著藉由文字盒502中之A1位元數列與文字盒602中之A2位元數列之邏輯OR運算被得到。同樣地，文字盒604中之BX數值則藉由文字盒602中之B2的位元數列與文字盒502中之B1位元數列之邏輯OR運算而被得到。
參考第6A、7A、7B、以及7C圖，模型605包括供用於特點501以及特點601之模型指令。在該模型605中被標示為N之行包括模型指令數碼，其是與第6A和7A圖中之點數碼一致的。在模型605中被標示為X和Y之行包括對於各個模型指令之相關點之模型座標系統中之點座標。在模型605中被標示為V之行包括在第一和第六模型指令中之累積增量，以及包括其餘模型指令中之位元數列AX和BX的數塊。範例中之位元數列AX被分割成為數塊並且被分佈而越過模型605中之第二至第五模型指令，並且範例中之位元數列BX被分割成為數塊並且被分佈而越過模型605中之第七至第十模型指令。在模型605中被標示為RST之行包括第一模型指令中之一重置命令位元“1”，以及在該模型605中被標示為CMP之行包括供用於各點集合中最後的點之模型指令中的一比較命令位元“1”。因此，在各種實施例中，一模型可自多於一個範例影像被形成以代表多於一個的特點。
第8圖展示視覺感測器200之一實施例。該視覺感測器200包括像素陣列208以及一個或多個電路230。在各種實施例中，該等一個或多個電路230包括控制電路222、一個一般用途之記憶體202、處理電路224、一影像位址處理器300、一個或多個影像記憶體裝置214、一影像資料選擇器215、一模型資料移位器216、一個或多個比較器-累積器400、以及一優先序編碼器217。
在各種實施例中，該像素陣列208被組態以依據被取像的一景象之感測光而提供一個或多個像素信號。同時，在各種實施例中，處理電路224也被組態以處理自像素陣列208被提供以產生一影像的該等一個或多個像素信號。於一些實施例中，自該像素陣列208被提供之一個或多個像素信號是類比信號，並且處理電路224被組態以進行類比-至-數位轉換以將該等一個或多個像素信號轉換為數位像素數值。在各種實施例中，處理電路224被組態以在自該等一個或多個像素信號所得到的數位像素數值上進行一個或多個預處理操作，以便提供被預處理之影像資料。
例如，在各種實施例中，處理電路224被組態以進行雜訊減少之預處理以降低數位像素數值中之雜訊。影像雜訊是像素數值之隨機浮動，其可因視覺感測器200中之電氣雜訊或其類似者被引起。在各種實施例中，處理電路224被組態以經由一過濾處理程序而達成雜訊之減少，例如，中值過濾，於其中一原始像素數值以鄰近像素數值的強度之一中間數值被取代。於一些實施例中，處理電路224被組態以進行其他型式的過濾，例如，低通過濾，於其中藉由將像素數值之資料與代表一平滑操作之一遮罩進行捲積運算，以便試圖使各個像素數值更接近於鄰近像素數值的數值，而使雜訊被降低。應了解，中值過濾以及低通過濾僅被提供作為過濾型式之範例並且，於各種其他實施例中，視覺感測器200可被組態以進行其他型式的過濾。
在各種實施例中，處理電路224同時也被組態以進行預處理以將灰階像素數值轉換為二進制像素數值。於一些實施例中，該處理電路224被組態以進行一臨界處理，其依據，例如，在該灰階像素數值以及一臨界值之間的一比較，以將一灰階像素數值轉換成為黑色像素數值或白色像素數值。此臨界處理允許像素數值之二值化。在各種實施例中，處理電路224同時也被組態以在資料上進行一形態上之閉合操作，於其中一擴張操作使用一構造元件被進行並且接著一侵蝕操作在所產生的資料上使用一構造元件被進行。此形態上之閉合操作可被採用，例如，以縮小在一影像中前景區域之內的背景色彩的洞隙。
在各種實施例中，該等一個或多個影像記憶體裝置214被組態以儲存一影像之影像資料。例如，在各種實施例中，該處理電路224在自該像素陣列208被提供的像素信號上進行處理並且將該處理結果儲存在該等一個或多個影像記憶體裝置214中作為一影像之影像資料。在各種實施例中，該等一個或多個影像記憶體裝置214各個包括一隨機接取記憶體(RAM)，或其類似者，以供儲存以及提供資料。
在各種實施例中，控制電路222被組態以控制該像素陣列208以捕捉光線以及提供像素信號，並且被組態以控制該處理電路224以處理來自像素陣列208之像素信號以提供一影像之影像資料。於一些實施例中，該像素陣列208被組態以捕捉在可見頻譜中之光線並且依據該被捕捉之光線以提供像素信號。於一些實施例中，該像素陣列208被組態以捕捉在可見頻譜之外的光線並且依據該被捕捉之光線以提供像素信號。於一些實施例中，該像素陣列208被組態以允許捕捉來自可見頻譜以及在可見頻譜之外的兩種光線並且依據該被捕捉之光線以提供像素信號。
在各種實施例中，該控制電路222被組態以自一外接裝置(未被展示於第8圖中)以接收對於一個或多個特點之一模型的模型指令，並且被組態以將該等模型指令儲存在一般用途之記憶體202中。在各種實施例中，該一般用途記憶體202包括一RAM、或其類似者，以供用於儲存以及提供資料。在各種實施例中，該一般用途記憶體202儲存可利用控制電路222被執行之程式。於一些實施例中，該一般用途記憶體202可被增補外接至該視覺感測器200之一外接記憶體(未被展示於圖中)，並且該視覺感測器200可在此實施例中被組態以允許在該外接記憶體以及該一般用途記憶體202之間的資料轉移。在各種實施例中，第8圖之元件可被增補或被省略，如果需要的話，以供用於各種不同的應用。
在各種實施例中，一個或多個電路230被組態以使用一個或多個特點之一模型而搜尋一影像之一個或多個特點。於一些實施例中，將被搜尋之影像被儲存在該等一個或多個影像記憶體裝置214中，並且將被使用以搜尋該影像之一個或多個特點的一模型之模型指令被儲存在該一般用途記憶體202中。在各種實施例中，控制電路222被組態以執行來自該一般用途記憶體202中之該等模型指令，並且依據該等模型指令以控制該處理電路224、該影像位址處理器300、該模型資料移位器216、以及該等多數個比較器-累積器400。
於一些實施例中，各個模型指令包括對應的座標，其指定相對於一模型參考點之一位置。同時，於一些實施例中，控制電路222也被組態以自該模型之模型指令將座標提供至影像位址處理器300，並且影像位址處理器300被組態以至少部份地依據一個或多個轉換數值將座標轉換成為被轉換之座標。在各種實施例中，影像位址處理器300允許依據一幾何轉換而轉換一模型之座標。
當搜尋影像中之特點時，具有依據一幾何轉換以轉換一模型之座標的功能將提供一優點，其中在該等影像中之該等特點可以不同的角度被轉動、被調整為不同的尺寸、或在不同的影像中被轉化為不同的位置。於一些實例中，因具有幾何地轉換一特點之模型之功能，該模型可被使用以檢測影像中之特點而無視於影像中之特點的轉動、尺度、或位置。在各種實施例中，該影像位址處理器300被組態以依據一個或多個仿射轉換數值將一模型之一個或多個座標加以轉換。
在各種實施例中，影像位址處理器300被組態以提供被轉換之座標的第一個座標至該等一個或多個影像記憶體裝置214以接取該等一個或多個影像記憶體裝置214並且導致該等一個或多個影像記憶體裝置214將利用被轉換之座標的第一座標所指定的資料提供至影像資料選擇器215。在各種實施例中，該影像位址處理器300被組態以提供被轉換之座標的第二個座標至影像資料選擇器215以導致該影像資料選擇器215依據被轉換之座標的第二座標而將自該等一個或多個影像記憶體裝置214所接收之資料加以移位一數量。
在各種實施例中，控制電路222被組態以自一模型將累積增量以及一個或多個數值提供至該模型資料移位器216，並且該模型資料移位器216被組態以將該等一個或多個數值以及該累積增量提供至該等一個或多個比較器-累積器400。在各種實施例中，該等一個或多個比較器-累積器400被組態以將依據將被搜尋之一影像的資料所得到的一個或多個數值與來自一模型之一個或多個數值加以比較。同時，在各種實施例中，該等一個或多個比較器-累積器400也被組態以選擇地進行累積以依據該等比較結果將累積增量加以累積。
在各種實施例中，處理電路224被組態以自該等一個或多個比較器-累積器400接收被累積之數值並且形成一個二進制標籤字組以指示對於在一影像以及模型資料之間比較之區域性的最大回應。同時，在各種實施例中，優先序編碼器217也被組態以自處理電路224接收一個二進制標籤字組並且依據該二進制標籤字組將輸出提供至控制電路222。在各種實施例中，控制電路222被組態以自該視覺感測器200提供輸出。
第9圖展示視覺感測器200之一實施例。在各種實施例中，視覺感測器200包括像素陣列208、一像素控制器205、多數個類比比較器207、一類比斜波產生器204、多數個類比-至-數位轉換器(ADC)鎖定器209、以及一數位斜波產生器203。在各種實施例中，該像素陣列208包括多數個像素電路206，其以列以及行之方式被配置。同時，在各種實施例中，各個像素電路206也包括一光敏感元件或光檢測器，例如，一光二極體或其類似者，以對於被取像的一景象之一對應部份的光強度取樣，並且各像素電路206被組態以依據該被取樣之光強度提供一類比像素信號。
在各種實施例中，像素控制器205將控制信號供應至該像素陣列208中之該等像素電路206以控制該等像素電路206之操作。於一些實施例中，在像素陣列208之一相同列中的像素電路206，共用來自像素控制器205之一共同列控制信號，並且在像素陣列208一相同行中之像素電路206共用一共同行讀出裝置線以提供輸出。在各種實施例中，像素控制器205控制該等像素電路206以逐列式地提供輸出。同時，在各種實施例中，自像素陣列208中之像素電路206各行被輸出的類比像素信號被輸入至一對應的類比比較器207。
在各種實施例中，自該像素陣列208被輸出之類比像素信號的類比-至-數位轉換使用多數個類比比較器207、類比斜波產生器204、多數個ADC鎖定器209、以及數位斜波產生器203被進行。於一些實施例中，在像素陣列208各行被輸出之類比像素信號，在對應的類比比較器207中，被比較至利用類比斜波產生器204所產生的一共同類比參考位準。同時，於一些實施例中，數位斜波產生器203被組態以產生一數位信號，其是利用類比斜波產生器204所產生之類比參考位準的表示。在各種實施例中，在任何所給予的行上類比參考位準等於類比像素信號之位準的情況中，對應的類比比較器207產生一數位輸出，其導致一對應的ADC鎖定器209將利用數位斜波產生器203被供應之數位信號的一數值加以鎖定。
在各種實施例中，視覺感測器200進一步地包括一控制處理器201、一般用途記憶體202、多數個影像輸入暫存器210、多數個輸入/輸出(I/O)暫存器211、多數個移位暫存器212、多數個算術邏輯運算單元(ALU)213、多數個影像記憶體裝置214、以及多數個資料通道218。在各種實施例中，控制處理器201被連接到一般用途記憶體202，自其中得到程式以及模型以執行而控制視覺感測器200之元件。在各種實施例中，各ADC鎖定器209被連接到一對應的影像輸入暫存器210，並且各影像輸入暫存器210，利用輸出資料線，被連接至一對應的資料通道218。
在各種實施例中，各資料通道218包括一系列的資料通道，其以位元序列型式攜帶資料。於各種其他實施例中，各資料通道218可包括用於攜帶資料之多數個資料線。於一些實施例中，多數個資料通道218是匯流排之一部份。同時，於一些實施例中，至少有一個資料通道218供用於像素陣列208中之像素電路206的各個行。在各種實施例中，各資料通道218被連接到一對應的影像輸入暫存器210、一對應的I/O暫存器211、一對應的移位暫存器212、一對應的ALU 213、以及一對應的影像記憶體裝置214。同時，在各種實施例中，多數個I/O暫存器211各被連接到控制處理器201以供自控制處理器201輸入資料以及將資料輸出至該控制處理器201。於一些實施例中，多數個移位暫存器212各被連接到它們左方和右方上之緊接的鄰近者，如果存在的話。同時，於一些實施例中，各個ALU 213經由一組對應的暫存器被連接到對應的資料通道218，其包括至少二個資料輸入暫存器(a與b)，以及一進位暫存器(c)。
在各種實施例中，各個影像輸入暫存器210使數位化影像資料成為可供所用，經由對應的資料通道218，至對應的I/O暫存器211、對應的移位暫存器212、對應的ALU 213、以及對應的影像記憶體裝置214。於各種處理操作中，影像資料被緩衝於多數個影像記憶體裝置214中並且使用多數個ALU 213被處理。在各種實施例中，被處理之影像資料或其他的資料可經由該多數個I/O暫存器211利用控制處理器201被接取以供用於第二資料處理及/或與外接至視覺感測器200的外接裝置(未被展示於第9圖中)之資料的外部通訊。
參考第8和9圖，在各種實施例中，控制電路222包括控制處理器201以及像素控制器205。同時，在各種實施例中，處理電路224包括多數個類比比較器207、類比斜波產生器204、多數個ADC鎖定器209、數位斜波產生器203、多數個影像輸入暫存器210、多數個I/O暫存器211、多數個移位暫存器212、以及多數個ALU 213。在各種實施例中，第8圖中之該等一個或多個影像記憶體裝置214包括如第9圖中所展示之多數個影像記憶體裝置214。
參考第9圖，在各種實施例中，視覺感測器200進一步地包括影像位址處理器300、影像資料選擇器215、模型資料移位器216、多數個比較器-累積器400、以及優先序編碼器217。在各種實施例中，各個資料通道218被連接到影像資料選擇器215。同時，在各種實施例中，控制處理器201被連接到影像位址處理器300，並且影像位址處理器300被連接到多數個影像記憶體裝置214之位址輸入以及影像資料選擇器215之一控制輸入。
於一些實施例中，控制處理器201被連接到模型資料移位器216之一輸入，以及模型資料移位器216之一輸出被連接到各多數個比較器-累積器400之一輸入。比較器-累積器400同時也各被連接以接收來自影像資料選擇器215之輸入。在各種實施例中，影像資料選擇器215包括一雙向管型移位器，或其類似者。同時，在各種實施例中，多數個比較器-累積器400各被連接到一對應的資料通道218。於一些實施例中，優先序編碼器217被連接到各資料通道218並且被連接到控制處理器201。應了解，第9圖中所展示之視覺感測器200的實施例僅被提供作為一範例，並且，在各種其他的實施例中，該視覺感測器200可具有其他適當的設計。
第10A圖展示影像位址處理器300一實施例之方塊圖。在各種實施例中，影像位址處理器300被組態以至少部份地依據一個或多個轉換數值將一模型之座標加以轉換成為被轉換之座標。在各種實施例中，影像位址處理器300包括轉換係數暫存器302、303、304、及305，一影像列偏移暫存器301、以及一影像行偏移暫存器306，以供儲存轉換數值。在各種實施例中，影像位址處理器300進一步地包括具有符號之乘法器307、308、309、與310，以及加法器311、312、313、及314。
在各種實施例中，一模型之第一個座標(在第10A圖中以X為代表)，以及該模型之第二個座標(在第10A圖中以Y為代表)被提供作為至影像位址處理器300之輸入。參考第9和10A圖，在各種實施例中，控制處理器201被組態以自一般用途記憶體202擷取一模型之模型指令並且將被包括在模型指令中之座標提供至影像位址處理器300。例如，參考第6C、9、以及10A圖，控制處理器201可被組態以自一般用途記憶體202擷取一模型之模型指令，例如，被提供作為一範例模型之模型503的第一模型指令，並且將被包括在模型指令中之座標，例如，範例中之座標(-7，-2)，提供至影像位址處理器300。於該範例中，對於一第一座標之數值-7將被提供作為被輸入至影像位址處理器300之X，並且對於第二座標之數值-2將被提供作為被輸入至影像位址處理器300之Y。
參考第10A圖，在各種實施例中，轉換係數暫存器302、303、304、以及305是可寫入以分別地儲存仿射轉換係數K00、K01、K11、以及K10，其中數值K00、K01、K11以及K10是可被設定以能夠進行所需的轉換。在各種實施例中，影像列偏移暫存器301是可寫入以儲存一列偏移數值DR，並且影像行偏移暫存器306是可寫入以儲存一行偏移數值DC，其中該數值DR以及DC是可設定的。參考第9以及10A圖，在各種實施例中，控制處理器201被組態以依據對於一模型之一所需的幾何轉換在影像位址處理器300中設定數值K00、K01、K11、K10、DR以及DC。
在各種實施例中，該具有符號之乘法器307自該轉換係數暫存器302接收一輸入以及將被轉換之第一座標的一輸入，並且提供一輸出至加法器311。同時，在各種實施例中，該具有符號之乘法器308自該轉換係數暫存器303接收一輸入以及將被轉換之第二座標的一輸入，並且提供一輸出至加法器311。在各種實施例中，該具有符號之乘法器309自該轉換係數暫存器304接收一輸入以及將被轉換之第二座標的一輸入，並且提供一輸出至加法器312。同時，在各種實施例中，該具有符號之乘法器310自該轉換係數暫存器305接收一輸入以及將被轉換之第一座標的一輸入，並且提供一輸出至加法器312。
在各種實施例中，加法器311自該具有符號之乘法器307以及該具有符號之乘法器308接收輸入，並且提供輸出至加法器313。同時，在各種實施例中，該加法器312自該具有符號之乘法器309以及該具有符號之乘法器310接收輸入，並且提供輸出至加法器314。在各種實施例中，該加法器313自該影像列偏移暫存器301以及加法器311接收輸入，並且提供被轉換之第一座標(在第10A圖中以R表示)作為輸出。同時，在各種實施例中，該加法器314自該影像行偏移暫存器306以及加法器312接收輸入，並且提供被轉換之第二座標(在第10A圖中以C表示)作為輸出。因此，於第10A圖之實施例中，該影像位址處理器300允許依據多數個轉換數值K00、K01、K11、K10、DR以及DC將座標(X，Y)轉換成為被轉換之座標(R，C)。
第10B圖提供具有方程式之一文字盒315，其指定在第10A圖影像位址處理器300之實施例的(X，Y)輸入以及(R，C)輸出之間的關係。如第10B圖中所展示，對於R之方程式被提供如R=X*K00+Y*K01+DR，並且對於C之方程式被提供如C=X*K10+Y*K11+DC。因此，第10A圖影像位址處理器300之實施例允許藉由設定對於一所需的幾何轉換之轉換數值而依據幾何轉換(例如，一轉動、一調整尺度、或一平移)將一模型之座標加以轉換。藉由允許經由影像位址處理器300之使用的幾何轉換，一個或多個特點之一模型可供使用於影像中一個或多個特點之不同的轉動、調整尺度、以及平移之樣型匹配。
第10A圖之影像位址處理器300實施例中，影像位址處理器300允許依據六個轉換數值K00、K01、K11、K10、DR、以及DC以轉換座標。因此，第10A圖影像位址處理器300之實施例允許六自由度之轉換。當然，應了解，於影像位址處理器300之各種其他實施例中，多於六個的轉換數值可被採用以允許多於六自由度之轉換。例如，在各種實施例中，在影像位址處理器300中，另外的三個轉換數值被提供並且該影像位址處理器300被組態以進一步地允許用於透視圖變形之轉換。同時也應了解，於各種其他實施例中，在影像位址處理器300之實施例中，較少於六之轉換數值可被採用。例如，影像位址處理器300之各種實施例可以允許正好設定二個轉換數值以允許平移。同時，也應了解，第10A圖中所展示之影像位址處理器300的實施例僅被提供作為影像位址處理器300之一設計的範例，並且，於各種其他的實施例中，不同的設計可供使用於影像位址處理器300之轉換座標。
第11圖展示一比較器-累積器400之實施例的方塊圖。在各種實施例中，該比較器-累積器400包括一影像資料移位器401、一影像資料編碼器402、多數個AND閘403、一OR閘404、一匹配移位器405、一匹配編碼器406、以及一匹配累積器407。在各種實施例中，該影像資料移位器401被組態以接收一影像資料輸入線408上之資料並且每次當影像資料移位器401依時脈以移位時，則在影像資料移位器401之內將該資料加以移位一個位置。同時，在各種實施例中，該影像資料移位器401被組態以提供輸出至影像資料編碼器402。
在各種實施例中，影像資料編碼器402被組態以將自影像資料移位器401被提供之一數值予以解碼，並且用以將一被解碼之數值的各位元提供至多數個AND閘403之一對應的AND閘之一對應的第一輸入。同時，在各種實施例中，一模型之一個或多個模型數值的各位元在一個或多個模型資料輸入線409之上被提供至多數個AND閘403之一對應的AND閘之一對應的第二輸入。例如，參考第6B、6C、9、以及11圖，於一模型(例如，模型503)利用控制處理器201被執行之情況中，被展示在第6B圖中供用於集合A1之位元數列可藉由使控制處理器201將來自模型503中之第二至第五的各模型指令之V行數值提供至模型資料移位器216而在該模型資料移位器216中被重新建構，並且接著該模型資料移位器216可在一個或多個模型資料輸入線409之上將位元數列之各位元提供至多數個AND閘403之一對應的AND閘之一對應的第二輸入。
此外，在各種實施例中，來自一影像之位元可被移位進入該影像資料移位器401中並且接著利用該影像資料編碼器402經由二進制擴充而被解碼成為一位元數列，該位元數列具有對應至在影像資料移位器401中一個二進制數目的十進位數值之一位元位置的一個“1”位元，以及在所有的其他位置之一個“0”位元，其中在被解碼之位元數列中之一低階位元對應至一位元位置0。接著，在各種實施例中，來自該影像資料編碼器402之被解碼的位元數列可使用多數個AND閘403而與自一模型中之數值被重新建構之一個或多個模型資料輸入線409上被提供的位元數列相比較。在各種實施例中，該OR閘404接收各多數個AND閘403之一輸出，並且在其中多數個AND閘403之任一輸出是“1”的情況中則提供一輸出位元“1”。於一些實施例中，該OR閘404可為被組態之多數個OR閘所取代以決定是否有多數個AND閘403輸出之任何一者具有一數值“1”之一位元。在各種實施例中，該OR閘404之一輸出是指示是否對於該模型的一特定之幾何轉換以及相對該影像之幾何轉換模型之一特定之定位的一影像的影像資料以及一模型的模型資料之間有一匹配已被發現。在各種實施例中，多數個AND閘403以及該OR閘404可被考慮作為一比較器。當然，應了解，該等多數個AND閘403以及該OR閘404僅被提供作為用以進行一比較之一設計範例，並且，於各種其他的實施例中，其他型式的比較器亦可被採用。
在各種實施例中，該OR閘404之一輸出被提供至匹配移位器405，並且該匹配移位器405被組態以輸入自該OR閘404被提供之一位元並且每次當匹配移位器405被依時脈激勵時則將在該匹配移位器405中之其他的位元加以移位一個位置。在各種實施例中，在匹配移位器405中之資料被輸出至匹配編碼器406，並且該匹配編碼器406被組態以將利用匹配移位器405中被儲存之位元所表示之一數值加以編碼，並且提供一輸出至匹配累積器407之一時脈上。在各種實施例中，該匹配累積器407經由該等一個或多個模型資料輸入線409之上接收一模型之一累積增量，並且被組態以當被時脈激勵時則依據匹配編碼器406之一輸出的一數值而累積該累積增量。同時，在各種實施例中，該匹配累積器407被組態以將已在該匹配累積器407中被累積之一數值輸出至一對應的資料通道218。
參考第6C、8、9以及11圖，在各種實施例中，控制電路222被組態以將一信號傳送至各比較器-累積器400以使得，當控制電路222執行一模型指令時(例如，包括一重置命令，例如，對於該模型503中之第一模型指令，在RST行中之具有數值“1”的位元)，導致在各比較器-累積器400中之匹配累積器407被重置為一原定值。同時，在各種實施例中，該控制電路222被組態以傳送一信號以允許，當控制電路222執行一模型指令時(例如，包括一比較命令，例如，對於模型503中之第五模型指令，在CMP行中之具有數值“1”的位元)，利用在各比較器-累積器400中之匹配累積器407的累積。於此實施例中，在各比較器-累積器400中之匹配累積器407同時也可藉由對應的匹配編碼器406之一輸出而被時脈激勵，以至於當累積被允許時，該匹配累積器407可依據自對應的匹配編碼器406所輸出之一數值而進行或不進行累積。
參考第9圖，在各種實施例中，該視覺感測器200允許取得一影像並且在該影像上有效地進行處理以對於被儲存之一個或多個特點的模型有局部化最大回應。在各種實施例中，像素值自動地或半自動地自一範例影像或範例影像集合被抽取以產生一影像處理核心或模型。同時，在各種實施例中，圖像-位準樣型匹配使用該模型利用視覺感測器200被進行。於一些實施例中，模型資料之座標利用視覺感測器200而幾何地被轉換並且有系統地被施加至一候選影像以產生比較器-累積器回應，其各代表在幾何地被轉換之模型以及在該影像中之一對應的候選位置之間相似性的一量測。在各種實施例中，視覺感測器200允許搜尋該比較器-累積器回應以局部化最大相似性之點，其各座標對應至在該模型的一幾何轉換以及該候選影像之間的一可能匹配之一分別的位置。本發明各種實施例允許提供一有效的方法以及視覺感測器以捕捉一影像並且辨識一訓練模型或圖像-位準範例樣型的一些或所有的轉換，其導致該模型與該被捕捉的影像有最高度之相關性。
第12圖展示依據本發明一實施例之方法的流程圖。在各種實施例中，一方法允許使用一視覺感測器，例如，第9圖之視覺感測器200，以搜尋展示最大相似性至一訓練模型之一影像中之特點。於步驟S30中，一進入的光學影像被捕捉並且被處理以形成將被搜尋的一景象之一個二進制影像。參考第9和12圖，在各種實施例中，像素陣列208之像素電路206各個被組態以將被取像的一景象一對應的部份之光強度取樣並且依據該被取樣之光強度而提供像素信號。在各種實施例中，視覺感測器200執行一程式，其使在像素電路206中所收集之資料數位化並且加以處理以形成一個二進制影像並且將該二進制影像儲存在多數個影像記憶體裝置214中。於此些實施例中，被儲存在多數個影像記憶體裝置214中之二進制影像被形成以保留資訊，由該資訊，在被取像的實際景象中呈現的物件邊界，可對於該二進制影像而自影像資料中確實地被推斷。
在各種實施例中，對於將被檢視的一實際景象光線利用像素陣列208被取樣以提供像素信號，該等像素信號利用多數個類比比較器207、類比斜波產生器204、數位斜波產生器203、以及多數個ADC鎖定器209被數位化，並且一個二進制影像自該等被數位化之像素信號被形成且被儲存在多數個影像記憶體裝置214中。於一些實施例中，該等像素信號被數位化成為灰階強度數值，並且接著該等灰階強度數值使用多數個ALU 213被比較至一參考位準以得到一個二進制影像，其中該參考位準可利用控制處理器201被儲存進入多數個I/O暫存器211中以供用於該比較。於一些實施例中，視覺感測器200被組態以處理一被捕捉之影像而過濾某些空間頻率並且使該被過濾之影像數位化以形成一個二進制影像而被儲存在多數個影像記憶體裝置214中。於一些實施例中，視覺感測器200被組態以取得且處理多數個影像以形成一複合二進制結果，其接著被儲存在多數個影像記憶體裝置214中。因此，視覺感測器200之各種實施例允許形成每個像素為一位元之影像，其是將被檢視的一實際景象表示。
再參考至第12圖，該方法接著繼續至一最外部迴路1201。第12圖之方法包括一最外部迴路1201以及套疊在該最外部迴路1201中之一最裡面迴路1202。第12圖的迴路1201以及1202之方法允許有系統地比較一模型之幾何轉換與一被儲存之二進制影像。最裡面迴路1202允許每次經歷影像之一列的一平移維度，而最外部迴路1201則允許經歷一搜尋空間之轉動及/或尺度調整維度。在各種搜尋之實施例中，沿著搜尋空間中任何所給予的維度之一取樣率利用該模型之一預期反應為一可接受之影像特點匹配以及影像特點非常相似但是並不代表一真正的匹配而被設定。
在各種實施例中，最外部迴路1201對於一搜尋的所有仿射轉換而重複。參考第9、10A以及12圖，於步驟S31中，仿射轉換係數被寫入至影像位址處理器300以建立相對於該二進制影像的一模型之一轉動以及一尺度調整。在各種實施例中，控制處理器201被組態以將該仿射轉換係數寫入至影像位址處理器300。同時，在各種實施例中，被寫入以設定轉動以及尺度之仿射轉換係數分別地是在轉換係數暫存器302、303、304、以及305中之K00、K01、K11、以及K10。該方法接著繼續至最裡面迴路1202。
在各種實施例中，最裡面迴路1202對於二進制影像中之所有的搜尋列而重複。在各種實施例中，於步驟S32，一個或多個轉換係數被寫入至影像位址處理器300以建立相對於該二進制影像的模型之一轉換。於一些實施例中，視覺感測器200被組態以平行累積結果之一完全的列，因此在影像行偏移暫存器306中一行平移要素(DC)可被設定為“0”，因為此比較是沿著二進制影像之一行軸有平移不變性。在各種實施例中，控制處理器201將一列轉換要素(DR)寫入至影像列偏移暫存器301以設定相對於該二進制影像之模型的一列偏移。該方法接著繼續至步驟S33。
於步驟S33中，該模型之模型指令被執行以形成比較器-累積器回應。參考第2、9、以及12圖，在各種實施例中，執行該模型之處理程序將導致多數個比較器-累積器400以計算一數位數值，其代表在該二進制影像以及該模型之間的相似性之一量測。在各種實施例中，該模型與該二進制影像同時地沿著一目前的列在該二進制影像各個行被比較。在各種實施例中，該等一個或多個電路230被組態，以在將該模型之一個或多個座標加以轉換之後，對於相對該影像之該模型的各多數個定位，同時地比較該模型與該二進制影像。於此些實施例中，該等多數個定位包括在該影像一個列中之多數個位置的該模型一參考點之定位。一模型的一參考點之一範例藉由第6A和6C圖範例中模型503之參考點580被展示。在各種實施例中，一幾何轉換之模型可對於相對該影像沿著一目前搜尋列之該模型的各多數個定位而與二進制影像同時地相比較。此種平行處理允許對於影像中之特點的有效率搜尋。
第14圖展示依據本發明一實施例之解碼以及執行模型指令範例700。該範例700展示依據本發明一實施例之一般用途記憶體202、一程式計數器237、影像位址處理器300、模型資料移位器216、多數個影像記憶體裝置214、影像資料選擇器215、多數個比較器-累積器400、資料通道218、以及一個或多個模型資料輸入線409。於範例700中，該一般用途記憶體202是儲存第7C圖之模型605，其僅被展示作為一模型型式之範例。參考第9和14圖，在各種實施例中，控制處理器201包括程式計數器237，並且該控制處理器201被組態以讀取以及解碼藉由程式計數器237中之一數值被指示的一模型指令而讀取及解碼被儲存在一般用途記憶體202中之模型指令並且接著將該程式計數器237中之數值增量至下一個數值。於範例700中，程式計數器237之目前數值是10，因此該範例700展示被儲存在一般用途記憶體202中之第十個模型指令的執行。
於範例700中，影像位址處理器300已被寫入用於範例之下面的轉換數值：K00=1，K01=0，K10=0，K11=1，DR=9，以及DC=0。因此，於範例700中，影像位址處理器300依據下面的二個方程式將對於各個模型指令之座標(X，Y)加以轉換；(i)R=X*1+Y*0+9；以及(ii)C=X*0+Y*1+0。應了解，在範例700中被提供之轉換數值僅被提供作為一範例，並且該影像位址處理器300中之轉換數值可對於一模型之不同的所需幾何轉換被改變。
第13圖展示依據本發明一實施例之方法的流程圖。第13圖之方法可被使用在第12圖之方法的步驟S33之各種實施例中以執行一模型。參考第9、13、以及14圖，於步驟S50中，多數個比較器-累積器400以及程式計數器237被重置為原定數值，並且該方法繼續至步驟S51。於步驟S51中，來自程式計數器237中之一數值被指示之一模型指令的一V部份的數值被移位進入模型資料移位器216。例如，範例700展示，當在範例700之一般用途記憶體202中的範例模型指令一至九被執行之後，在一般用途記憶體202中之第十個範例模型指令正被執行時之程式計數器237以及模型資料移位器216的一狀態。於範例700中，來自範例中第十模型指令之V行的數值“0×08”被移位進入模型資料移位器216，其對於範例中之第六至第九模型指令將來自V行數值在模型資料移位器216中移位一個位置。在各種實施例中，模型資料移位器216將來自多數個模型指令之資料加以組合以建構將被分佈至多數個比較器-累積器400之一模型資料輸入字組。該方法接著繼續至步驟S52。
於步驟S52中，一目前執行模型指令之一座標使用影像位址處理器300被轉換成為一被轉換之座標。例如，於範例700中，當範例700中之第十模型指令被執行時，座標(4，4)被提供至影像位址處理器300並且影像位址處理器300依據於範例700中被設定之轉換數值而提供該被轉換之座標(13，4)。在各種實施例中，影像位址處理器300被組態以提供被轉換之座標的第一座標至多數個影像記憶體裝置214，並且被組態以提供被轉換之座標的第二座標至影像資料選擇器215。例如，於範例700中，影像位址處理器300將對於被轉換之座標的第一座標之數值“13”傳送至多數個影像記憶體裝置214並且該影像位址處理器300將關於被轉換之座標的第二座標之數值“4”傳送至影像資料選擇器215。該方法接著繼續至步驟S53。
於步驟S53中，多數個影像記憶體裝置214使用被轉換之座標的第一座標被接取以導致多數個影像記憶體裝置214彼此同時地將資料輸出至影像資料選擇器215。例如，於範例700中，多數個影像記憶體裝置214使用被轉換之座標的第一座標之數值“13”被接取，其導致多數個影像記憶體裝置214對於被儲存在多數個影像記憶體裝置214中之二進制影像的列13中之資料彼此同時地將資料輸出至影像資料選擇器215。範例700中影像記憶體裝置214中之資料僅被展示作為一個二進制影像範例之範例資料。於範例700中，對於二進制影像之列13以及行19中之二進制影像的資料是一位元數值“1”，其被展示與來自列13的其他資料被提供至影像資料選擇器215。該方法接著繼續至步驟S54。
於步驟S54中，影像資料選擇器215中之資料依據被轉換之座標的第二座標被移位一數量，並且被輸出至對應的比較器-累積器400。例如，於範例700中，影像資料選擇器215接收相關於被轉換之座標的第二座標之數值“4”並且接著將影像資料選擇器215中之資料向左移位4個位置，因此，於範例700中，來自二進制影像資料列13和行19具有數值“1”的位元在影像資料選擇器215中向左被移位4個位置，並且接著被輸出至行15之比較器-累積器400。該方法接著繼續至步驟S55。
於步驟S55中，多數個比較器-累積器400之各比較器-累積器400的各影像資料移位器401在自影像資料選擇器215被提供之一對應的位元中移位。例如，於範例700中，對於行15之比較器-累積器400的影像資料移位器401自影像資料選擇器215移位一位元數值“1”，並且同時也將透過先前的四模型指令之執行所得到的位元在對於行15之比較器-累積器400的影像資料移位器401中向下移位一個位置。該方法接著繼續至步驟S56。
於步驟S56中，其被決定是否目前被執行之模型指令包括一比較命令。於該目前被執行之模型指令不包括一比較命令的情況中，該方法繼續至步驟S57，其中該程式計數器237被增量，並且接著該方法返回至步驟S51，以便執行該模型中的下一個模型指令。另一方面，於目前被執行之模型指令包括一比較命令的情況中，該方法繼續至步驟S58。例如，於範例700中，第十模型指令包括，如利用對於第十模型指令之行CMP中的位元數值“1”被指示之一比較命令。
於步驟S58中，在各比較器-累積器400之各個影像資料移位器401中的資料被解碼成為一對應的位元數列並且與來自模型資料移位器216之資料所形成的一位元數列相比較。例如，於範例700中，於行15之比較器-累積器400中的二進制數值“11011”，其對應至一個十進位數值27，被解碼成為位元數列“00001000000000000000000000000000”，其中一數值“1”被置放在假設最低階位元是位元位置0的位元27之位置中。同時，於範例700中，來自模型資料移位器216之數值“0×08”、“0×00”、“0×08”、以及“0×00”以二進制形式被組合以形成位元數列“00001000000000000000100000000000”，其經由一個或多個模型資料輸入線409被提供至各多數個比較器-累積器400。接著，於範例700中，行15之比較器-累積器400進行位元數列“00001000000000000000000000000000”與位元數列“00001000000000000000100000000000”之AND邏輯運算，其導致一非零數值“00001000000000000000000000000000”。於範例700中，因為該比較結果是一非零數值，故有一匹配。在各種實施例中，多數個比較器-累積器400彼此同時地比較依據二進制影像資料所得到的一個或多個對應的數值與該模型之一個或多個數值。該方法接著繼續至步驟S59。
於步驟S59中，自模型資料移位器216被提供之一累積增量在多數個比較器-累積器400之各比較器-累積器400中被累積，於其中一匹配已在步驟S58中被發現。例如，於範例700中，當執行第十模型指令時，模型資料移位器216提供具有一個十六進位數值“0×W2”之一累積增量，其中“W2”是對於自範例700中之第六模型指令被提供的一累積增量之任何被設定加權。在各種實施例中，其中在比較器-累積器400中有一非零比較，自該比較之非零輸出導致比較器-累積器400之一累積器被時脈激勵，並且，因此，累積自模型資料移位器216之累積增量。於範例700中，行15中之比較器-累積器400具有一匹配，並且，因此，將累積增量0×W2予以累積至範例700中一先前已被累積之數值0×W1上。因而，於範例700中，數值0×W1+0×W2被儲存在對於行15之比較器-累積器400中以指示其在被執行的模型(利用影像位址處理器300被轉換)以及被儲存在多數個影像記憶體裝置214中之二進制影像(對於該模型之一參考點被置放在該二進制影像之列9(DR=9)以及行15的情況中)之間有一完美的匹配。該方法接著繼續至步驟S60。
於步驟S60中，其決定是否目前被執行之模型指令是為在正被執行之模型中的一最後指令。於決定該目前被執行之模型指令不是該模型中的最後指令之情況中，該方法繼續至步驟S57，其中程式計數器237被增量，並且接著返回至步驟S51以執行下一個模型指令。另一方面，於決定目前被執行模型指令是該模型中的最後指令之情況中，則於步驟S61中第13圖之方法結束。
再參看至第12圖，一旦該模型之模型指令已於步驟S33中被執行以形成比較器-累積器回應時，則第12圖之方法繼續至步驟S34。參考第9和12圖，於步驟S34中，來自該模型之執行而在各個多數個比較器-累積器400中被累積之數值被處理以形成一標籤字組，其標誌在相關的比較器-累積器400中具有主要的局部最大數值之行。在各種實施例中，沿著在搜尋中一目前列之該模型一回應使用多數個ALU 213被處理以產生沿著該列之局部最大的一位元映射。此處理可利用各種方法被達成，例如，一維灰階形態運算之使用以依序地過濾出一局部鄰近區域中較弱的數值並且比較該被過濾之結果與一預定的廣域最小回應以形成對於二進制影像各行之具有一個位元的一個二進制標籤字組，其中對於一行之該二進制標籤字組中的一邏輯數值“1”代表來自相關該行的比較器-累積器400之較大於預定廣域最小回應之一局部最大回應的存在。在各種實施例中，一視窗尺寸可用至少一些行數目被指定以定義局部最大回應被決定之局部鄰近區域尺寸。該方法接著繼續至步驟S35。於步驟S35中，於步驟S34中被形成之二進制標籤字組被提供至優先序編碼器217，並且該方法接著繼續至步驟S36。
於步驟S36中，優先序編碼器217利用控制處理器201被讀取以對於該目前被處理之列形成一個行列表，其是相關於來自該模型之執行的局部最大回應。在各種實施例中，優先序編碼器217被組態，以至於該優先序編碼器輸出在二進制標籤字組中具有數值“1”之一最主要位元之一行座標，並且接著每次當優先序編碼器217利用控制處理器201被讀取，其反應具有數值“1”之二進制標籤字組之下一個最主要的位元之一行座標，直至其輸出在二進制標籤字組中具有一數值“1”之最後位元的一行座標為止。於此實施例中，控制處理器201可能在有如對於該列之有效局部最大量的同量步驟中之目前被處理的列中得到對於所有局部性的最大回應之行座標，其實際上可以是一小的數目。在各種實施例中，控制處理器201被組態以儲存對於目前被處理之列的行座標，其是自一般用途記憶體202之一列表中的優先序編碼器217被得到以供用於該控制處理器201之依序的處理。在各種實施例中，對於供用於一目前被處理之列的模型之一些執行，該模型之執行可能導致沒有來自多數個比較器-累積器400之局部最大回應符合一預定廣域最小回應，於其情況中，二進制標籤字組將是皆為零，並且沒有行位置將利用控制處理器201被添加至對於該列之行位置的列表中。該方法接著繼續至步驟S37。
於步驟S37中，控制處理器201使用於步驟S36中被形成之行座標列表以接取對應的比較器-累積器400以讀取被累積之數值或被儲存在對應的比較器-累積器400中之結果。該方法接著繼續至步驟S38。於步驟S38中，自比較器-累積器400被接取之被累積數值或回應利用控制處理器201與列、行、角度、以及尺度座標被組合以形成一姿態列表，其各包括沿著目前被處理之列對於可能匹配之搜尋空間座標。在各種實施例中，各姿態之列被設定作為該二進制影像之目前被處理列，並且各姿態之行被設定作為對應的比較器-累積器400之行，其被讀取以提供對於該姿態之被累積的數值。同時，在各種實施例中，對於該姿態之角度以及尺度資訊則依據目前在影像位址處理器300中被設定之轉換數值被提供。
在各種實施例中，控制處理器201被組態以記錄相對於該二進制影像之模型的任何姿態，其導致在該模型以及該二進制影像之間至少的一部份匹配。在各種實施例中，各姿態指定該影像之一對應的列以及該影像之一對應的行。於一些實施例中，各姿態進一步地指定該模型之一對應的轉動角度以及一對應的尺度數值。同時，於一些實施例中，各姿態進一步地指定自一對應的比較器-累積器400所讀取之一被累積數值。在各種實施例中，該控制處理器201被組態以依據於步驟S36中被形成之行座標列表中的行座標而形成對於目前被處理之列的一姿態列表。該方法接著繼續至步驟S39。
於步驟S39中，具有目前被處理之列的姿態之列姿態列表與一廣域姿態列表被合併以形成一更新之廣域姿態列表。在各種實施例中，該控制處理器201被組態以將來自步驟S38之姿態列表與已被累積直至目前搜尋步驟為止之一廣域姿態列表予以合併。於一些實施例中，列姿態列表與廣域姿態列表之合併可藉由將對於目前被處理之列被儲存的姿態與廣域姿態列表予以組合以及依據它們的搜尋空間鄰近性而將被決定以代表一類似性之相同點姿態予以聚集而被達成。在各種實施例中，在它們的聚集中具有相對於其他姿態的一個次最大回應之姿態可被考慮為冗餘的並且可能自該廣域姿態列表中被刪除。在各種實施例中，最裡面迴路1202對於該二進制影像中的所有搜尋列而重複，並且最外部迴路1201對於一搜尋之所有的仿射轉換而重複。於一些實施例中，如在該搜尋利用在廣域姿態列表中之資訊被顯明的期間，在至少某一預定位準的回應或較大於該預定位準之回應自該等比較器-累積器400之至少一個中被得到之情況中，可以有搜尋之一早期的終止點。一旦該最外部迴路1201已被完成，該方法繼續至步驟S40。
於步驟S40中，廣域姿態列表被處理以形成搜尋結果。在各種實施例中，該廣域姿態列表被搜尋以在所有回應之間找到一廣域最大回應。於一些實施例中，在廣域姿態列表中符合一預定準則的一些回應被計算。在各種實施例中，控制處理器201被組態以依據該搜尋結果自視覺感測器200輸出資料。參考第3和9圖，在各種實施例中，視覺感測器200被組態以依據該搜尋結果將資料提供至裝置240。在各種實施例中，視覺感測器200被組態以在決定二進制影像中之一個或多個特點已被發現之情況中，依據該搜尋結果而將一觸發信號提供至裝置240。於一些實施例中，裝置240是一種能處理影像資料之型式的裝置，並且該視覺感測器200被組態以依據該搜尋結果將被選擇之影像資料發送至裝置240。
於一些實施例中，控制處理器201被組態以依據該搜尋結果進行適應式增益或曝光控制以將對於相同或不同物件的影像獲得之參數調整至一特定數值或範圍，例如，為像素陣列208所使用之用以控制曝光時間的參數。在各種實施例中，該控制處理器201被組態以循環經由不同增益的所有者或一子集合、曝光及/或偏移參數。隨後，在各種實施例中，在參數循環期間被取得之影像被處理以選擇一良好的影像或多數影像以供用於進一步地處理。於一些實施例中，控制處理器201將被使用以取得該等影像之其他參數加以變化，並且搜尋該等影像以辨識特定的候選影像以供用於進一步內部處理或被發送至一裝置(例如，裝置240的各種實施例)，以供用於進一步的處理。例如，在一ID讀取器應用中，在各種實施例中，視覺感測器200使用各種模型以取得多數個影像並且搜尋該等影像以辨識候選影像以供用於進一步的處理。在各種實施例中，視覺感測器200可取代一ID讀取器。
於一些實施例中，視覺感測器200被組態以當它們依據來自使用該等一個或多個特點之一模型在多數個連續被捕捉的影像上被進行之搜尋的搜尋結果，而移動經由一景象時，追蹤一個或多個特點。於一些實施例中，控制處理器201被組態以依據搜尋之搜尋結果自一外接裝置將特定的程式、模型、或其他資料負載進入一般用途記憶體202。同時，在各種實施例中，控制處理器201被組態以依據搜尋之搜尋結果而控制一個或多個光學裝置(未被展示於圖中)以調節該等光學裝置焦距。
於一些實施例中，視覺感測器200被組態以依據來自使用代表該等一個或多個物件之一個或多個特點的一模型而在多數個連續被捕捉影像上被進行之搜尋的搜尋結果，而收集關於在一景象中之一個或多個物件的移動之顯示，並且被組態以依據該被蒐集之顯示而預料該等一個或多個物件之一未來位置。同時，於一些實施例中，視覺感測器200被組態以取得影像並且依據連續的影像之一分析以收集關於一景象之照明設備是否適用於一特定目的之顯示。於一些實施例中，視覺感測器200可被組態以依據來自所處理之影像的結果而作出預估或決定，並且由於視覺感測器200繼續取得與分析進一步的影像而連續地提昇該預估或決定。
於一些實施例中，視覺感測器200被組態以使用一廣域快門操作，於其中像素陣列208中的所有像素電路206被重置，並且接著同時地被曝光經一指定的時間週期以對於一捕捉操作自光線累積電荷。於一些實施例中，視覺感測器200被組態以使用一滾動之快門操作，於其中在像素陣列208之一相同列中的所有像素電路206被重置，並且接著同時地被曝光經一指定的時間週期，並且其中該捕捉處理程序逐列式地繼續經過像素陣列208。於各種其他的實施例中，其他型式的快門操作亦可被採用。
在各種實施例中，視覺感測器200被組態以使用一快門操作型式而得到一影像，於其中像素陣列208之一曝光樣型依據曝光資訊被設定，而該曝光資訊依據至少一部份之像素陣列208中所累積之電荷而至少部份地隨時間改變。於此實施例中，視覺感測器200可包括如在美國2008年1月11日專利申請序號61/020560案中所揭示之電路，其標題為“用於機器視覺之CMOS影像感測器”，其整體內容將併入此處作為參考。在各種實施例中，一種將為視覺感測器200所使用之快門操作型式可依據使用一個或多個模型在影像上所進行的搜尋之搜尋結果被決定。同時，在各種實施例中，供用於快門操作之參數，例如，曝光時間、或其類似者，可依據使用一個或多個模型在影像上所進行的搜尋之搜尋結果被決定。
此處所揭示之實施例將在所有方面被考慮作為展示，並且不是對本發明之約束。例如，其他的特點模型型式而非上述的那些亦可在各種實施例中被採用，並且在各種實施例中用以處理此些模型之視覺感測器設計亦可被修改以供處理該等模型。本發明是不受限制於上述之實施例。本發明實施例可有各種修改以及變化而不必脫離本發明之精神和範疇。在專利申請範圍等效的含義以及範圍之內的各種修改和變化將被包涵在本發明範疇之內。
S1-S2．．．本發明實施例方法流程步驟
S10-S23．．．自影像產生之模型的特點方法流程步驟
S30-S40．．．用以捕捉一影像及進行與該影像相關之樣型匹配的方法流程步驟
S50-S61．．．用以執行一個或多個特點的模型之模型指令方法流程步驟
100．．．單晶片視覺感測器
101，201．．．控制處理器
102．．．一般用途記憶體
103．．．數位斜波產生器
104．．．類比斜波產生器
105，205．．．像素控制器
106，206．．．像素電路
107，207．．．類比比較器
108，208．．．像素陣列
109．．．類比-至-數位轉換器(ACC)鎖定器
110，210．．．影像輸入暫存器
111．．．輸入/輸出(I/O)暫存器
112，212．．．移位暫存器
113．．．算術邏輯運算單元(ALU)
114．．．影像記憶體裝置
118．．．數位影像匯流排
200．．．視覺感測器
202．．．一般用途之記憶體
203．．．數位斜波產生器
204．．．類比斜波產生器
209．．．ADC鎖定器
211．．．I/O暫存器
213．．．ALU
214．．．影像記憶體裝置
215．．．影像資料選擇器
216，401．．．模型資料移位器
217．．．優先序編碼器
218．．．資料通道
222．．．控制電路
224．．．處理電路
230．．．電路
237．．．程式計數器
240．．．裝置
300．．．影像位址處理器
301．．．影像列偏移暫存器
302-305．．．轉換係數暫存器
306．．．影像行偏移暫存器
307-310．．．乘法器
311-314．．．加法器
315．．．文字盒
400．．．比較器-累積器
402．．．影像資料編碼器
403．．．多數個AND閘
404．．．OR閘
405．．．匹配移位器
406．．．匹配編碼器
407．．．匹配累積器
408．．．影像資料輸入線
409．．．模型資料輸入線
500，600．．．範例影像
501，601．．．特點
502，602，604．．．文字盒
503，605．．．模型
570．．．參考點
580，670，680．．．模型參考點
700．．．解碼及執行模型指令範例
1201．．．最外部迴路
1202．．．最裡面迴路
第1圖展示相關技術視覺感測器之方塊圖；
第2圖展示依據本發明一實施例之一視覺感測器方塊圖；
第3圖展示依據本發明一實施例之一系統方塊圖；
第4圖展示依據本發明一實施例之一方法流程圖；
第5圖展示依據本發明一實施例用以自一範例影像產生一特點之模型之方法流程圖；
第6A圖展示依據本發明一實施例在一範例影像上定位一座標系統以及定位隨機點之範例；
第6B圖展示依據本發明一實施例之產生對於點集合的二進制數目並且將該二進制數目予以解碼之範例；
第6C圖展示依據本發明一實施例之一特點的一模型之模型指令範例；
第7A圖展示依據本發明一實施例之在一範例影像上定位一座標系統以及點的範例；
第7B圖展示依據本發明一實施例之形成對於多於一個特點的位元串之範例：
第7C圖展示依據本發明一實施例之對於多於一個特點的一模型之模型指令的範例；
第8圖展示依據本發明一實施例之一視覺感測器方塊圖；
第9圖展示依據本發明一實施例之視覺感測器方塊圖；
第10A圖展示依據本發明一實施例用以轉換一模型之座標的影像位址處理器之方塊圖；
第10B圖展示依據本發明一實施例用以轉換一模型之座標的方程式；
第11圖展示依據本發明一實施例之一比較器-累積器；
第12圖展示依據本發明一實施例用以捕捉一影像以及用以進行相對於該影像之樣型匹配的一方法之流程圖；
第13圖展示依據本發明一實施例之執行一個或多個特點的一模型之模型指令的方法流程圖；以及
第14圖展示依據本發明一實施例當執行範例模型指令時的一視覺感測器之操作範例。
200．．．視覺感測器
208．．．像素陣列
230．．．一個或多個電路

Claims (21)

  1. 一種單晶片視覺感測器，其包括：一像素陣列；以及一個或多個電路，組配來使用一個或多個特點之一模型而搜尋一影像之該一個或多個特點，以記錄導致該模型及該影像之間至少部份匹配的該模型相對於該影像之一或多個姿態，以及只有當該一個或多個特點中之至少一個於該影像中被找到時才傳送該影像之資料；其中該一個或多個電路包含多數個比較器以彼此同時地將基於該影像之資料所得到的一個或多個對應的數值與該模型之一個或多個數值加以比較。
  2. 如申請專利範圍第1項之單晶片視覺感測器，該等一個或多個電路被組配以處理自該像素陣列提供之一個或多個信號以產生該影像。
  3. 如申請專利範圍第1項之單晶片視覺感測器，該模型包括多數個模型指令，該等模型指令各包括相對於一模型參考點之一對應的座標。
  4. 如申請專利範圍第1項之單晶片視覺感測器，該等一個或多個電路被組配以依據一個或多個仿射轉換數值將該模型之一個或多個座標加以轉換。
  5. 如申請專利範圍第1項之單晶片視覺感測器，該等一個或多個電路被組配，以在將該模型之一個或多個座標加以轉換之後，同時對於該模型相對於該影像的多數個定位之各個來比較該模型與該影像。
  6. 如申請專利範圍第5項之單晶片視覺感測器，該等多數個定位包括在該影像之一列中的多數個位置之該模型的一參考點之定位。
  7. 如申請專利範圍第1項之單晶片視覺感測器，該等一個或多個電路包括一影像位址處理器，該影像位址處理器被組配以至少部份基於一個或多個轉換數值而將該模型之座標加以轉換成為被轉換座標。
  8. 如申請專利範圍第7項之單晶片視覺感測器，該等一個或多個電路進一步包含多數個影像記憶體裝置以供儲存該影像之影像資料以及在該等多數個影像記憶體裝置使用該等被轉換座標之至少一個而被存取之情況中，彼此同時地將資料輸出。
  9. 如申請專利範圍第7項之單晶片視覺感測器，該等一個或多個電路進一步包含一影像資料選擇器，該影像資料選擇器被組配以接收該影像之資料並且將該資料移位一數量，該數量係基於該等被轉換座標之至少一者。
  10. 如申請專利範圍第1項之單晶片視覺感測器，該等一個或多個電路進一步包含多數個累積器，該等多數個累積器之各累積器被組配以接收該模型之一累積增量並且選擇地進行累積以基於該等多數個比較器之一對應的比較器之一輸出而累積該累積增量。
  11. 如申請專利範圍第10項之單晶片視覺感測器，該等一個或多個電路進一步包含一模型資料移位 器以將該等一個或多個數值以及在該模型資料移位器之內的該模型之該累積增量加以移位，並且將該等一個或多個數值提供至該等多數個比較器以及將該累積增量提供至該等多數個累積器。
  12. 一種在單晶片視覺感測器中之方法，其包括下列步驟：至少部份基於感測光以得到一影像；使用一個或多個特點之一模型搜尋該影像之該一個或多個特點；記錄導致該模型及該影像之間至少部份匹配的該模型相對於該影像之一或多個姿態；只有當該一個或多個特點中之至少一個於該影像中被找到時才傳送該影像之資料；以及基於該搜尋之一結果來輸出資訊。
  13. 如申請專利範圍第12項之方法，該搜尋之步驟包括下列步驟：在將該模型之一個或多個座標加以轉換之後，同時對於該模型相對於該影像的多數個定位之各個來比較該模型與該影像。
  14. 如申請專利範圍第13項之方法，該等多數個定位包括在該影像之一列中的多數個位置之該模型的一參考點之定位。
  15. 如申請專利範圍第12項之方法，該搜尋之步驟包括下列步驟：基於一個或多個轉換數值，將該模型之座標加以轉 換成為被轉換座標。
  16. 如申請專利範圍第15項之方法，該搜尋之步驟進一步包括下列步驟：致使多數個影像記憶體裝置藉由使用該等被轉換座標之至少一個來存取該等多數個影像記憶體裝置而彼此同時地將資料輸出。
  17. 如申請專利範圍第15項之方法，該搜尋之步驟進一步包括下列步驟：將該影像之資料加以移位一數量，該數量係基於該等被轉換座標之至少一者。
  18. 如申請專利範圍第12項之方法，該搜尋之步驟進一步包括下列步驟：致使多數個比較器彼此同時地將基於該影像之資料所得到之一個或多個對應的數值與該模型一個或多個數值相比較。
  19. 如申請專利範圍第18項之方法，該搜尋之步驟進一步包括下列步驟：選擇地進行累積以基於該等多數個比較器之一對應的比較器之一輸出而將一累積增量累積在一累積器中。
  20. 一種影像處理系統，其包括：一單晶片視覺感測器，組配來：至少部份基於感測光而得到一影像；使用一個或多個特點之一模型搜尋該影像之該一個或多個特點；記錄導致該模型及該影像之間至少部份匹配的該模型相對於該影像之一或多個姿 態；及傳送該影像中之感興趣區域之影像資料，該等感興趣區域係基於來自該搜尋之識別的特點來決定，其中該搜尋進一步包含多數個比較器以彼此同時地將基於該影像之資料所得到的一個或多個對應的數值與該模型之一個或多個數值加以比較；以及一裝置，用以自該單晶片視覺感測器接收一個或多個信號，並且至少部份基於該一個或多個信號來控制一操作。
  21. 一種單晶片視覺感測器，其包括：一像素陣列；以及一個或多個電路，組配來使用一個或多個特點之一模型而搜尋一影像之該一個或多個特點，以記錄導致該模型及該影像之間至少部份匹配的該模型相對於該影像之一或多個姿態，以及只有當該一個或多個特點中之至少一個於該影像中被找到時才傳送該影像之資料；其中該等一個或多個電路包含一優先序編碼器以依據一個二進制標記字而指示該模型之定位，其中該二進制標記字是基於該模型在該模型之一個或多個座標已被轉換之後與該影像之比較結果而形成。
TW097135461A 2007-11-30 2008-09-16 視覺感測器、系統及方法 TWI575953B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US99154507P 2007-11-30 2007-11-30
US12/184,187 US9451142B2 (en) 2007-11-30 2008-07-31 Vision sensors, systems, and methods

Publications (2)

Publication Number Publication Date
TW200924523A TW200924523A (en) 2009-06-01
TWI575953B true TWI575953B (zh) 2017-03-21

Family

ID=40675785

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097135461A TWI575953B (zh) 2007-11-30 2008-09-16 視覺感測器、系統及方法

Country Status (5)

Country Link
US (1) US9451142B2 (zh)
EP (1) EP2235662B1 (zh)
JP (1) JP2011508293A (zh)
TW (1) TWI575953B (zh)
WO (1) WO2009070354A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872899B2 (en) * 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
US8681100B2 (en) 2004-07-30 2014-03-25 Extreme Realty Ltd. Apparatus system and method for human-machine-interface
CA2575704C (en) 2004-07-30 2014-03-04 Extreme Reality Ltd. A system and method for 3d space-dimension based image processing
US9046962B2 (en) 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US8063350B2 (en) * 2007-08-03 2011-11-22 Cognex Corporation Circuits and methods allowing for pixel array exposure pattern control
US9451142B2 (en) 2007-11-30 2016-09-20 Cognex Corporation Vision sensors, systems, and methods
US8570393B2 (en) * 2007-11-30 2013-10-29 Cognex Corporation System and method for processing image data relative to a focus of attention within the overall image
US8595503B2 (en) * 2008-06-30 2013-11-26 Konica Minolta Laboratory U.S.A., Inc. Method of self-authenticating a document while preserving critical content in authentication data
JP5599400B2 (ja) * 2008-09-04 2014-10-01 エクストリーム リアリティー エルティーディー． 画像センサベースのヒューマンマシンインタフェースを提供する方法システムおよびソフトウェア
US9189670B2 (en) * 2009-02-11 2015-11-17 Cognex Corporation System and method for capturing and detecting symbology features and parameters
US8878779B2 (en) 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
KR101577106B1 (ko) 2009-09-21 2015-12-11 익스트림 리얼리티 엘티디. 인간 기계가 가전 기기와 인터페이싱하기 위한 방법, 회로, 장치 및 시스템
US8434686B2 (en) 2010-01-11 2013-05-07 Cognex Corporation Swipe scanner employing a vision system
WO2012098534A1 (en) 2011-01-23 2012-07-26 Extreme Reality Ltd. Methods, systems, devices and associated processing logic for generating stereoscopic images and video
US9251422B2 (en) * 2011-11-13 2016-02-02 Extreme Reality Ltd. Methods systems apparatuses circuits and associated computer executable code for video based subject characterization, categorization, identification and/or presence response
US8947590B2 (en) 2011-11-22 2015-02-03 Cognex Corporation Vision system camera with mount for multiple lens types
US10498933B2 (en) 2011-11-22 2019-12-03 Cognex Corporation Camera system with exchangeable illumination assembly
KR102067058B1 (ko) * 2013-08-23 2020-02-11 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
US20170132466A1 (en) 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US9838635B2 (en) * 2014-09-30 2017-12-05 Qualcomm Incorporated Feature computation in a sensor element array
KR102647268B1 (ko) * 2016-09-16 2024-03-12 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치 및 전자 기기
US10984235B2 (en) 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
US10614332B2 (en) 2016-12-16 2020-04-07 Qualcomm Incorportaed Light source modulation for iris size adjustment
KR102503543B1 (ko) 2018-05-24 2023-02-24 삼성전자주식회사 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법
US11475283B2 (en) * 2019-10-24 2022-10-18 Apple Inc. Multi dimensional convolution in neural network processor
US11462192B2 (en) * 2020-05-18 2022-10-04 Rockwell Collins, Inc. Flipped or frozen display monitor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030085336A1 (en) * 2001-11-06 2003-05-08 Raymond Wu CMOS image sensor with on-chip pattern recognition
US20030128876A1 (en) * 2001-12-13 2003-07-10 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method therefor
US20040103093A1 (en) * 2002-11-15 2004-05-27 Olympus Corportion Similarity search of three-dimensional model using two-dimensional image as search key

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2421137B2 (de) 1974-05-02 1976-09-02 Kurt Matter Gmbh Kg, 7521 Karlsdorf Einatemventil fuer druckgas-atemschutzgeraete
DE3804938C2 (de) 1987-02-18 1994-07-28 Canon Kk Bildverarbeitungseinrichtung
US5253308A (en) 1989-06-21 1993-10-12 Amber Engineering, Inc. Massively parallel digital image data processor using pixel-mapped input/output and relative indexed addressing
US6948050B1 (en) 1989-11-17 2005-09-20 Texas Instruments Incorporated Single integrated circuit embodying a dual heterogenous processors with separate instruction handling hardware
JP3223384B2 (ja) 1992-06-19 2001-10-29 オムロン株式会社 濃淡画像のパターンマッチング装置
US5351309A (en) 1992-06-30 1994-09-27 National Science Council Image edge sensor
JPH07253310A (ja) 1994-03-15 1995-10-03 Matsushita Electric Ind Co Ltd ステレオ画像処理装置
US5495537A (en) 1994-06-01 1996-02-27 Cognex Corporation Methods and apparatus for machine vision template matching of images predominantly having generally diagonal and elongate features
US5576763A (en) * 1994-11-22 1996-11-19 Lucent Technologies Inc. Single-polysilicon CMOS active pixel
US5588435A (en) 1995-11-22 1996-12-31 Siemens Medical Systems, Inc. System and method for automatic measurement of body structures
US6317819B1 (en) 1996-01-11 2001-11-13 Steven G. Morton Digital signal processor containing scalar processor and a plurality of vector processors operating from a single instruction
US6856698B1 (en) 1997-11-26 2005-02-15 Cognex Corporation Fast high-accuracy multi-dimensional pattern localization
US6173070B1 (en) * 1997-12-30 2001-01-09 Cognex Corporation Machine vision method using search models to find features in three dimensional images
US6667768B1 (en) 1998-02-17 2003-12-23 Micron Technology, Inc. Photodiode-type pixel for global electronic shutter and reduced lag
US6411734B1 (en) 1998-04-03 2002-06-25 Cognex Corporation Object image search using validated sub-model poses
US7016539B1 (en) 1998-07-13 2006-03-21 Cognex Corporation Method for fast, robust, multi-dimensional pattern recognition
US6240208B1 (en) 1998-07-23 2001-05-29 Cognex Corporation Method for automatic visual identification of a reference site in an image
US6154559A (en) * 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
US6898333B1 (en) 1999-08-06 2005-05-24 Cognex Corporation Methods and apparatus for determining the orientation of an object in an image
JP2001056853A (ja) * 1999-08-19 2001-02-27 Matsushita Electric Ind Co Ltd 挙動検出装置および種類識別装置、並びに挙動検出方法および挙動検出用プログラムが記録された記録媒体
US6441482B1 (en) 2000-04-11 2002-08-27 Omnivision Technologies, Inc. Biometric device with integrated CMOS image sensor
US6701005B1 (en) 2000-04-29 2004-03-02 Cognex Corporation Method and apparatus for three-dimensional object segmentation
EP1329846A1 (fr) 2002-01-16 2003-07-23 Astrium SAS Dispositif de detection de cible ponctuelle utilisant un traitement d'images spatio-temporel
JP3902741B2 (ja) * 2002-01-25 2007-04-11 株式会社半導体理工学研究センター 半導体集積回路装置
US7319423B2 (en) 2002-07-31 2008-01-15 Quantum Semiconductor Llc Multi-mode ADC and its application to CMOS image sensors
JP4403687B2 (ja) 2002-09-18 2010-01-27 ソニー株式会社 固体撮像装置およびその駆動制御方法
ES2209642B1 (es) 2002-11-04 2005-10-01 Innovaciones Microelectronicas, S.L. Arquitectura de circuito integrado programable de señal mixta para la realizacion de sistemas autonomos de vision de un unico chip y/o preprocesamiento de imagenes en sistemas de nivel superior.
US7391437B2 (en) 2002-12-18 2008-06-24 Marvell International Ltd. Image sensor interface
US7456885B2 (en) 2003-08-22 2008-11-25 Micron Technology, Inc. Per column one-bit ADC for image sensors
JP2005269604A (ja) * 2004-02-20 2005-09-29 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
JP2005286799A (ja) 2004-03-30 2005-10-13 National Institute Of Information & Communication Technology インデックス画像生成装置
US7751651B2 (en) * 2004-04-02 2010-07-06 The Boeing Company Processing architecture for automatic image registration
CN1950846A (zh) 2004-04-29 2007-04-18 皇家飞利浦电子股份有限公司 图像处理设备和方法
US20090046953A1 (en) 2004-04-29 2009-02-19 Koninklijke Philips Electronics N V Image Processing Apparatus And Method
US7825973B2 (en) 2004-07-16 2010-11-02 Micron Technology, Inc. Exposure control for image sensors
CN101057493B (zh) 2004-11-02 2011-05-25 松下电器产业株式会社 图像传感器
JP2006237737A (ja) 2005-02-22 2006-09-07 Sanyo Electric Co Ltd カラーフィルタアレイ及び固体撮像素子
US7205522B2 (en) 2005-05-18 2007-04-17 Alexander Krymski D. B. A Alexima Pixel circuit for image sensor
GB2429864B (en) 2005-09-01 2008-09-24 Micron Technology Inc Method and apparatus providing pixel array having automatic light control pixels and image capture pixels
US7659925B2 (en) 2005-10-04 2010-02-09 Alexander Krymski High speed CMOS image sensor circuits with memory readout
WO2007116352A2 (en) 2006-04-12 2007-10-18 Koninklijke Philips Electronics N.V. Image processing system having a simd processor and a processing unit communicating via a multi-ported memory
US8004575B2 (en) 2006-05-03 2011-08-23 Utc Fire & Security Americas Corporation, Inc. Methods and systems for detecting bright objects and/or adaptively modifying video camera exposure
JP5011814B2 (ja) 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US8059174B2 (en) 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
US8483283B2 (en) 2007-03-26 2013-07-09 Cisco Technology, Inc. Real-time face detection
US8063350B2 (en) 2007-08-03 2011-11-22 Cognex Corporation Circuits and methods allowing for pixel array exposure pattern control
US8306366B2 (en) 2007-08-23 2012-11-06 Samsung Electronics Co., Ltd. Method and apparatus for extracting feature points from digital image
US9451142B2 (en) 2007-11-30 2016-09-20 Cognex Corporation Vision sensors, systems, and methods
JP2009151896A (ja) 2007-12-21 2009-07-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
JP2009223758A (ja) 2008-03-18 2009-10-01 Ricoh Co Ltd 画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030085336A1 (en) * 2001-11-06 2003-05-08 Raymond Wu CMOS image sensor with on-chip pattern recognition
US20030128876A1 (en) * 2001-12-13 2003-07-10 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method therefor
US20040103093A1 (en) * 2002-11-15 2004-05-27 Olympus Corportion Similarity search of three-dimensional model using two-dimensional image as search key

Also Published As

Publication number Publication date
US20090141987A1 (en) 2009-06-04
EP2235662A1 (en) 2010-10-06
TW200924523A (en) 2009-06-01
JP2011508293A (ja) 2011-03-10
EP2235662A4 (en) 2011-12-21
WO2009070354A1 (en) 2009-06-04
EP2235662B1 (en) 2019-03-27
US9451142B2 (en) 2016-09-20

Similar Documents

Publication Publication Date Title
TWI575953B (zh) 視覺感測器、系統及方法
JP5739522B2 (ja) 全体画像内で注意の焦点に関する画像データを処理するためのシステムと方法
WO2019170164A1 (zh) 基于深度相机的三维重建方法、装置、设备及存储介质
JP5567035B2 (ja) ビジョン・オン・チップ・プロセッサを用いてバーコードを捕捉および検出するためのシステムおよび方法
US20060081765A1 (en) Semiconductor integrated circuit device having a plurality of photo detectors and processing elements
Birem et al. DreamCam: A modular FPGA-based smart camera architecture
JP6998554B2 (ja) 画像生成装置及び画像生成方法
WO2021129791A1 (zh) 基于光学动捕的大空间环境下多相机标定方法及相关设备
WO2003047234A2 (en) System and method for providing multi-sensor super-resolution
CN102509304A (zh) 基于智能优化的摄像机标定方法
JP7334432B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
US9532030B2 (en) Integrated three-dimensional vision sensor
CN109313805A (zh) 图像处理装置、图像处理系统、图像处理方法和程序
Schmitz et al. A 1000 frames/s vision chip using scalable pixel-neighborhood-level parallel processing
CN109313806A (zh) 图像处理装置、图像处理系统、图像处理方法和程序
TW201337835A (zh) 影像模糊金字塔建置方法、影像模糊金字塔建置裝置及影像特徵擷取電路
Jiang et al. Thermal-inertial SLAM for the environments with challenging illumination
KR102096576B1 (ko) 영상 합성 방법 및 장치
US20230016350A1 (en) Configurable keypoint descriptor generation
CN115546681A (zh) 一种基于事件和帧的异步特征跟踪方法和系统
US11706546B2 (en) Image sensor with integrated single object class detection deep neural network (DNN)
Tajima et al. Development of a high-resolution, high-speed vision system using CMOS image sensor technology enhanced by intelligent pixel selection technique
CN114419094A (zh) 一种可用于嵌入式的实时运动信息估计方法
Sharma et al. Hardware Design Aspects of Visual Tracking System
CN117099019A (zh) 信息处理装置