TWI423146B - 動態偵測與識別指示牌的方法與系統 - Google Patents

動態偵測與識別指示牌的方法與系統 Download PDF

Info

Publication number
TWI423146B
TWI423146B TW098118784A TW98118784A TWI423146B TW I423146 B TWI423146 B TW I423146B TW 098118784 A TW098118784 A TW 098118784A TW 98118784 A TW98118784 A TW 98118784A TW I423146 B TWI423146 B TW I423146B
Authority
TW
Taiwan
Prior art keywords
sign
character
feature
recognizing
preset
Prior art date
Application number
TW098118784A
Other languages
English (en)
Other versions
TW201044286A (en
Inventor
Chin Shyurng Fahn
Po Hsun Chang
Original Assignee
Univ Nat Taiwan Science Tech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taiwan Science Tech filed Critical Univ Nat Taiwan Science Tech
Priority to TW098118784A priority Critical patent/TWI423146B/zh
Priority to US12/646,976 priority patent/US8406467B2/en
Publication of TW201044286A publication Critical patent/TW201044286A/zh
Application granted granted Critical
Publication of TWI423146B publication Critical patent/TWI423146B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

動態偵測與識別指示牌的方法與系統
本發明是有關於一種指示牌的識別技術,且特別是有關於一種對動態擷取的影像進行指示牌偵測與識別的方法及系統。
一般來說,影像處理技術可泛指任何改變影像本身的操作,包括對影像進行分析或加工,進而使其呈現滿足人類視覺的效果,或是將影像轉換為適於讓電腦系統處理的格式。
在影像處理技術日趨成熟的情況下,其應用層面也隨之更加寬廣。除了攝影及印刷技術會使用到影像處理的輔助之外,其他好比是衛星影像、醫學影像,或是顯微影像等等也紛紛與影像處理技術結合,從而產生更有助於後續分析與應用的數據。此外,由影像處理所發展出的另一項應用則是圖形識別技術,其中包括人臉辨識、文字辨識、指紋辨識,以及簽名鑑識等等。
基於影像處理而發展出的偵測與辨識技術多半是針對靜態的影像來進行處理。以停車場所使用的車牌辨識系統為例,車牌辨識系統是透過架設在固定位置的攝影機來取得影像,進而對影像中的車牌號碼進行辨識。然而,正由於攝影機的位置固定,因此,在所擷取到的影像中背景區域幾乎不會改變。換句話說,這樣的辨識技術僅能針對固定位置的畫面進行處理,而較不具有彈性。
有鑑於此,本發明提供一種動態偵測與識別指示牌的方法,可以隨時偵測在移動路線上所遇到的指示牌內容,並根據內容執行對應動作。
本發明提供一種動態偵測與識別指示牌的系統。此系統在移動過程中,不斷地擷取影像,並對所擷取到的每張影像進行指示牌偵測與識別的動作。
本發明提出一種動態偵測與識別指示牌的方法;此方法首先依照移動規則移動影像擷取裝置,而影像擷取裝置會在移動過程中持續擷取影像。接著,判斷在影像中是否存在指示牌;若存在指示牌,則辨識指示牌的內容並依照內容執行動作。此方法將重複上述的步驟不斷地依照移動規則移動影像擷取裝置,並判斷在新擷取的影像中是否存在指示牌。
在本發明之一實施例中,其中在判斷影像中是否存在指示牌的步驟之後,更包括在不存在指示牌時,再次依照移動規則移動影像擷取裝置,並判斷在新擷取到的影像中是否存在指示牌。
在本發明之一實施例中,其中判斷在影像中是否存在指示牌的步驟包括將影像切割為數個區塊,並定義各區塊的代表顏色。此方法在上述的區塊中,計算每兩個相鄰區塊個別之代表顏色之間的對比,再根據上述的對比取得畫面中的至少一個高對比區域。接著,檢測各高對比區域中的邊點數,並且令所對應之邊點數大於邊點數門檻值的高對比區域為指示牌區域,並判定在影像中存在指示牌。
在本發明之一實施例中,其中在定義各區塊之代表顏色的步驟之前,更包括分別取得各區塊中數量最大的像素顏色,以作為對應之區塊的主顏色。
在本發明之一實施例中,其中定義各區塊之代表顏色的步驟,包括根據特定順序取得其中一個區塊,並比較所取得之區塊的主顏色與相鄰區塊的主顏色之間的顏色差距。在顏色差距小於色差預設值時,以所取得之區塊的主顏色同時作為所取得之區塊與相鄰區塊的代表顏色。而在顏色差距大於或等於色差預設值時,分別以所取得之區塊以及相鄰區塊各自的主顏色作為其代表顏色;本方法重複上述的步驟直到各區塊的代表顏色均定義完畢為止。
在本發明之一實施例中,其中在根據對比取得高對比區域的步驟之前,更包括在所有區塊中取得相鄰區塊個別之代表顏色之間的對比。在對比大於對比差預設值時,以第一符號標示上述的相鄰區塊。而在對比小於或等於對比差預設值時,則以第二符號標示上述的相鄰區塊;本方法重複上述的步驟直到各區塊均被標示第一符號或第二符號為止。
在本發明之一實施例中,其中根據對比取得畫面中高對比區域的步驟包括搜尋位置相連的第一符號,並且以位置相連之第一符號所對應的區塊作為高對比區域。
在本發明之一實施例中,其中辨識指示牌之內容的步驟包括提供一辨識資料庫,此辨識資料庫包括多個字元群組,各字元群組分別對應一篩選特徵與一外型特徵;其中,各字元群組包括數個預設字元,且各預設字元各自對應一預設的線性轉換特徵。在取得指示牌區域中的字元區域後,將字元區域與辨識資料庫進行比對,以取得每個字元區域所對應的預設字元,並且以各字元區域所對應的預設字元一併作為指示牌的內容。
在本發明之一實施例中,其中取得字元區域所對應之預設字元的步驟,包括擷取字元區域的篩選特徵、擷取字元區域的外型特徵,並計算字元區域的線性轉換特徵。首先,根據篩選特徵以及外型特徵與各字元群組對應的篩選特徵以及外型特徵來取得其中一個字元群組。接著,分別計算線性轉換特徵與所取得之字元群組中,每個預設字元之預設線性轉換特徵之間的相似度後,判定字元區域中的字元為對應最高之相似度的預設字元。
在本發明之一實施例中,其中根據篩選特徵以及外型特徵與各字元群組對應的篩選特徵以及外型特徵,來取得其中一個字元群組的步驟,包括取得所對應之篩選特徵與外型特徵相符的字元群組。
在本發明之一實施例中,其中篩選特徵與外型特徵包括尤拉數以及字元長寬比。
在本發明之一實施例中,其中預設線性轉換特徵為線性轉換矩陣與向量,而計算字元區域之線性轉換特徵的步驟,包括透過線性鑑別分析擷取字元區域的線性轉換特徵。
在本發明之一實施例中,其中在取得指示牌區域中的字元區域之前,更包括補強指示牌區域的光源。
在本發明之一實施例中,其中預設字元包括英文字母、數字、符號、中文字,以及標誌等等。
在本發明之一實施例中,其中移動規則包括預設移動路線。而依照內容執行動作的步驟包括根據內容變更移動規則,或是根據內容遞送物品等自主性的人機互動。
從另一觀點來看,本發明提出一種動態偵測與識別指示牌的系統。此系統包括輪控單元、影像擷取裝置,以及處理單元;其中,輪控單元用以帶動動態偵測與識別指示牌系統的移動,影像擷取裝置用以在移動過程中持續擷取影像,而處理單元連接至輪控單元與影像擷取裝置,用以依照移動規則控制輪控單元驅使影像擷取裝置移動,並判斷在影像中是否存在指示牌。若存在指示牌,則辨識指示牌的內容並依照內容執行一動作;處理單元重複上述的動作繼續依照移動規則驅使影像擷取裝置移動,並判斷在新擷取之影像中是否存在指示牌。
在本發明之一實施例中,其中處理單元在影像中不存在指示牌時,再次依照移動規則使影像擷取裝置移動,並判斷在新擷取之影像中是否存在指示牌。
在本發明之一實施例中,其中處理單元將影像切割為數個區塊並定義各區塊的代表顏色。在上述的區塊中,計算每兩個相鄰區塊個別之代表顏色間的對比,再根據上述的對比取得畫面中的至少一個高對比區域,並檢測各高對比區域中的邊點數。處理單元將所對應之邊點數大於邊點數門檻值的高對比區域視為指示牌區域,並且判定在影像中存在指示牌。
在本發明之一實施例中,其中處理單元分別取得各區塊中數量最大的像素顏色作為對應之區塊的主顏色。另外,處理單元根據特定順序取得其中一個區塊,比較所取得之區塊的主顏色與相鄰區塊主顏色之間的顏色差距。在顏色差距小於色差預設值時,以所取得之區塊的主顏色同時作為所取得之區塊與相鄰區塊的代表顏色。而在顏色差距大於或等於色差預設值時,分別以所取得之區塊以及相鄰區塊各自的主顏色作為其代表顏色;處理單元重複上述的動作直到各區塊的代表顏色均定義完畢為止。
在本發明之一實施例中,其中處理單元在所有區塊中,取得相鄰區塊個別之代表顏色之間的對比。在對比大於對比差預設值時,以第一符號標示上述的相鄰區塊,而在對比小於或等於對比差預設值時,以第二符號標示上述的相鄰區塊;處理單元重複上述的動作直到各區塊均被標示為第一符號或第二符號為止。
在本發明之一實施例中,其中處理單元搜尋區塊位置相連的第一符號,並以位置相連之第一符號所對應的區塊作為高對比區域。
在本發明之一實施例中,動態偵測與識別指示牌的系統,更包括連接至處理單元的儲存單元,用以記錄一辨識資料庫。此辨識資料庫包括數個字元群組,每個字元群組分別對應一篩選特徵與一外型特徵,且包括數個預設字元;其中,每個預設字元各自對應一預設線性轉換特徵。處理單元在取得指示牌區域中的字元區域後,比對各字元區域與辨識資料庫以取得各字元區域所對應的預設字元,並以各字元區域所對應的預設字元作為指示牌的內容。
在本發明之一實施例中,其中處理單元擷取字元區域的篩選特徵與外型特徵,並計算字元區域的線性轉換特徵。首先,根據各字元群組對應的篩選特徵與外型特徵來取得其中一個字元群組;接著,處理單元分別計算線性轉換特徵與所取得之字元群組中各預設字元之預設線性轉換特徵之間的相似度,並判定字元區域中的字元為對應最高相似度的預設字元。
在本發明之一實施例中,其中處理單元取得所對應之篩選特徵與外型特徵相符的字元群組。
在本發明之一實施例中,其中篩選特徵與外型特徵包括尤拉數及字元長寬比。
在本發明之一實施例中,其中預設線性轉換特徵為線性轉換矩陣與向量,而處理單元透過線性鑑別分析擷取字元區域的線性轉換特徵。
在本發明之一實施例中,其中處理單元補強指示牌區域的光源。
在本發明之一實施例中,其中預設字元包括英文字母、數字、符號、中文字,以及標誌等等。
在本發明之一實施例中,其中移動規則包括預設移動路線。
在本發明之一實施例中,其中處理單元根據內容變更移動規則,或根據內容遞送物品。
在本發明之一實施例中,動態偵測與識別指示牌的系統,更包括連接至處理單元的超音波感測單元,用以偵測環境資訊。其中,處理單元根據環境資訊控制輪控單元帶動動態偵測與識別指示牌系統的移動。
基於以上所述,本發明不僅可以對影像中的指示牌進行偵測及辨識,特別還可以在移動的過程中持續擷取影像,並且不斷地動態偵測與辨識影像中的指示牌,據以執行對應的動作。
為讓本發明之上述的特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
圖1是依照本發明之一實施例所繪示之動態偵測與識別指示牌系統的示意圖。請參閱圖1,在本實施例中,動態偵測與識別指示牌系統100,包括影像擷取裝置110、處理單元120、輪控單元130、超音波感測單元140,以及儲存單元150。
其中,影像擷取裝置110例如是可以大角度轉動、傾斜、鏡頭自動對焦,以及高倍率放大的PTZ(Pan-Tilt-Zoom)攝影機。影像擷取裝置110在啟動後便可不斷地擷取影像,並且例如透過通用串列匯流排(Universal Serial Bus;USB)介面,將所擷取到的影像傳送至處理單元120。
輪控單元130例如包括微控制器(例如BASIC Stamp 2晶片)、左輪、右輪,以及直流馬達驅動器。輪控單元130可利用RS-232介面與處理單元120溝通,進而由微控制器依照處理單元120的指示,命令直流馬達驅動器對左、右兩輪進行轉速控制,以帶動動態偵測與識別指示牌系統100的移動。必需特別說明的是,上述輪控單元130的架構僅是本發明的一種實施範例,並不用以限制本發明的範圍。
處理單元120可以是具備處理能力的硬體(例如晶片組)、軟體元件,或硬體及軟體元件的組合,用以依照移動規則控制輪控單元130帶動整個動態偵測與識別指示牌系統100,驅使影像擷取裝置110可以邊移動邊擷取影像。在本實施例中,處理單元120判斷所擷取到的影像中是否存在一指示牌。若存在指示牌則根據儲存單元150中的辨識資料庫來辨識指示牌的內容,並依照內容對應執行動作。
由於動態偵測與識別指示牌系統100將持續依照移動規則移動,且影像擷取裝置110會在移動時擷取新的影像,因此,處理單元120將重複上述的動作不斷地在新擷取的影像中偵測及識別指示牌。而為了防止動態偵測與識別指示牌系統100在移動的過程中發生不必要的碰撞,在本實施例中,超音波感測單元140可透過RS-232介面,將所偵測到的環境資訊傳送給處理單元120,再由處理單元120根據環境資訊控制輪控單元130,帶動動態偵測與識別指示牌系統100的移動。
為了更進一步地說明處理單元120如何在動態偵測與識別指示牌系統100移動的過程中,動態偵測並識別影像中的指示牌,以下特舉另一實施例來進行說明。圖2是依照本發明之一實施例所繪示之動態偵測與識別指示牌方法的流程圖。請同時參閱圖1與圖2,在動態偵測與識別指示牌系統100開始運作後,首先如步驟210所示,處理單元120依照移動規則控制輪控單元130帶動整個動態偵測與識別指示牌系統100,驅使影像擷取裝置110在依照移動規則移動的過程中擷取影像;其中,移動規則可以是一條預設的移動路線,也可以是沿著特定物(例如辦公室隔間板)前進等等,在此並不限制其範圍。
接著,如步驟220所示,處理單元120在接收影像擷取裝置110所擷取到的影像後,判斷在影像中是否存在指示牌。在本實施例中,處理單元120是根據影像中的顏色及對比分佈來判斷影像中是否存在指示牌區域。
詳細地說,處理單元120首先將影像切割為數個區塊,並分別取得各區塊中數量最大的像素顏色作為對應區塊的主顏色;舉例來說,倘若每個區塊是5×5個像素大小,那麼一個含有640×480個像素的影像將被切割為128×96個區塊。
接著,為了使影像中顏色相似的區塊聚集為一群,處理單元120必須進一步定義各區塊的代表顏色;其中,處理單元120是依照特定順序取得其中一個區塊,接著,比較所取得之區塊的主顏色與其相鄰區塊之主顏色之間的顏色差距。在顏色差距小於色差預設值時,表示兩個區塊的顏色十分相近,因此,以所取得區塊的主顏色同時作為所取得之區塊與相鄰區塊的代表顏色。然而在顏色差距大於或等於色差預設值時,則分別以所取得之區塊以及相鄰區塊各自的主顏色作為區塊的代表顏色;處理單元120將重複上述的動作直到各區塊的代表顏色均定義完畢為止。
舉例來說,處理單元120可由影像的左上方往右下方依序對每個區塊進行上述的動作,每當取得的區塊與相鄰區塊的主顏色相似(即顏色差距小於色差預設值),便以所取得之區塊的主顏色取代相鄰區塊的主顏色,進而達到循序以主顏色渲染鄰近顏色相似區塊的目的。
接下來,處理單元120針對所有區塊計算每兩個相鄰區塊個別之代表顏色之間的對比,並且根據上述的對比取得畫面中的高對比區域。進一步來說,處理單元120在取得相鄰區塊個別之代表顏色間的對比後,在對比大於對比差預設值時,以第一符號(例如1)標示上述的相鄰區塊,而在對比小於或等於對比差預設值時,以第二符號(例如0)標示上述的相鄰區塊;處理單元120將重複上述的動作,直到每個區塊均被標示為第一符號或第二符號為止。
在完成符號標記之後,處理單元120搜尋位置相連的第一符號,並以位置相連之第一符號所對應的區塊作為影像中的一個高對比區域。由於在指示牌中字元與背景顏色應具有良好的色彩對比,而可以使得字元顏色與背景顏色產生明顯的邊緣,因此,處理單元120接著執行邊緣偵測來檢驗各高對比區域中的邊點數,並且將所包含之邊點數過低的高對比區域刪除。處理單元120將所對應之邊點數大於邊點數門檻值的高對比區域視為指示牌區域,並在找到指示牌區域後,判定影像中存在指示牌。
倘若處理單元120判斷在目前所擷取到的影像中不具有指示牌,則回到步驟210重覆依照移動規則移動並擷取影像,以及判斷在影像中是否存在指示牌。然而,若處理單元120判斷在影像中存在指示牌,接著如步驟230所示,由處理單元120辨識指示牌的內容。在一實施例中,處理單元在進行辨識之前,將對影像中的指示牌區域進行光源補強動作,以拉大影像的對比來產生更佳的辨識效果。
在本實施例中,儲存單元150記錄有一辨識資料庫。此辨識資料庫包括數個字元群組,各字元群組分別對應一篩選特徵與一外型特徵;其中,每個字元群組包括數個預設字元,且各預設字元各自對應一預設線性轉換特徵。處理單元120在辨識指示牌的內容時,首先,取得指示牌區域中所有可能的字元區域。針對每個字元區域,處理單元120擷取其篩選特徵與外型特徵,再將這兩項特徵與辨識資料庫中,每個字元群組的篩選特徵與外型特徵進行比對後,取得所對應之篩選特徵與外型特徵相符的字元群組。接下來,分別計算每個字元區域的線性轉換特徵與所取得之字元群組中,各預設字元之預設線性轉換特徵之間的相似度,並判定字元區域中的字元為對應最高之相似度的預設字元。處理單元120以上述的方式取得指示牌區域中每個字元區域所對應的預設字元,並將上述的預設字元視為指示牌的內容。
換言之,只要字元區域中的字元係屬於辨識資料庫所記錄的任何預設字元,處理單元120便可辨識其種類。在本實施例中,字元群組所對應的篩選特徵以及字元區域的外型特徵包括尤拉數及字元長寬比,而預設字元可以是英文字母、數字、符號、中文字,以及標誌(例如箭頭)等等,在此並不限制其範圍。
為了方便說明,在一實施例中假設預設字元為36個英文字母以及0到9這些阿拉伯數字。這些預設字元依據其尤拉數及字元長寬比可被劃分為5個群組;亦即,辨識資料庫包括5個字元群組,而每個字元群組所對應的尤拉數、字元長寬比,以及所包括的預設字元如圖3所示。其中,每個預設字元所對應的預設線性轉換特徵為線性轉換矩陣與向量,可藉由對數筆訓練資料進行線性鑑別分析而得。處理單元120在取得字元區域後,便可取得字元區域的字元長寬比;接著,將字元區域正規化至固定大小後,進行二值化以及膨脹與收縮等數理形態學處理便能計算其尤拉數;而透過字元區域的尤拉數以及字元長寬比這兩項特徵,便可判斷字元區域係對應辨識資料庫中的哪個字元群組。假設字元區域對應的是字元群組1,那麼在處理單元120透過線性鑑別分析擷取字元區域的線性轉換特徵(例如特徵矩陣與向量)後,會將此線性轉換特徵與字元群組1中的預設字元8以及預設字元B各自的預設線性轉換特徵進行比對,以分別取得字元區域之線性轉換特徵與預設字元8之預設線性轉換特徵之間的相似度,以及字元區域之線性轉換特徵與預設字元B之預設線性轉換特徵之間的相似度;假設預設字元8的預設線性轉換特徵與字元區域的線性轉換特徵具有較高的相似度,處理單元120將判斷字元區域中的字元為數字8。
在辨識指示牌的內容後,如步驟240所示,處理單元120依照內容對應執行一動作。在一實施例中,處理單元120可根據內容變更移動規則,好比在辨識出指示牌的內容為向左的箭號時,便控制輪控單元130使動態偵測與識別指示牌系統100朝左方轉彎前進。在另一實施例中,處理單元120可根據內容來遞送物品,譬如在辨識指示牌的內容為一人名時,便對應地遞送個人文件等資料。除此之外,處理單元120例如還可以根據所辨識出來的內容播放對應的影音檔案,在此並不對所執行的動作加以限制。
動態偵測與識別指示牌系統100可以動態偵測指示牌的內容。動態偵測與識別指示牌系統100是由影像擷取裝置110抓取影像,再由處理單元120進行指示牌的偵測。若無法偵測到指示牌,則動態偵測與識別指示牌系統100將繼續前進;若可以偵測到指示牌,則由處理單元120對指示牌進行辨識,且動態偵測與識別指示牌系統100將根據辨識結果作出對應的動作。值得一提的是,無論指示牌的形狀以及字元種類為何,只要指示牌中的字元和背景顏色具有一定的顏色差距,動態偵測與識別指示牌系統100便可辨識其內容。
圖4是依照本發明之另一實施例所繪示之動態偵測與識別指示牌方法的流程圖。請同時參閱圖1與圖4,在本實施例中,首先如步驟410所示,動態偵測與識別指示牌系統100會依照移動規則移動,而驅使影像擷取裝置110跟著移動並且在移動的過程中擷取影像;接著在步驟420中,處理單元120判斷在影像中是否存在指示牌。若無法偵測到指示牌,則回到步驟410繼續移動並擷取新的影像;然而,若判斷在影像中可偵測到指示牌,則如步驟430所示,由處理單元120辨識指示牌的內容。由於偵測及辨識指示牌的步驟與前述實施例相同或相似,故在此不再贅述。
接下來在步驟440中,判斷辨識出的內容是否為預設內容。若不屬於預設內容則表示處理單元120雖然可以成功辨識指示牌,但由於在動態偵測與識別指示牌系統100中並沒有記錄這項指示牌內容所對應的動作,因此回到步驟410再次移動動態偵測與識別指示牌系統100,並擷取新的影像來進行偵測與辨識。反之,若所辨識出的內容為預設內容,則如步驟450所示執行對應的動作。接著在步驟460中,判斷是否要結束偵測及識別的動作;若否,則同樣回到步驟410再次針對移動後所擷取到的新影像進行辨識指示牌的動作,否則便結束此動態偵測與識別指示牌方法的流程。
綜合以上所述,本發明所提之動態偵測與識別指示牌的方法及系統,可針對動態的連續影像進行指示牌偵測與識別,而不受限於指示牌的形狀以及指示牌的內容。在系統依照移動路線行進時,可隨時偵測所遇到的指示牌並執行對應的動作。而在將此方法及系統實作為自主性機器人時,便能達到控制機器人自動根據移動路線上各個指示牌的指示來改變行動方向或適時遞送物品的目的。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100...動態偵測與識別指示牌系統
110...影像擷取裝置
120...處理單元
130...輪控單元
140...超音波感測單元
150...儲存單元
210~240...本發明之一實施例所述之動態偵測與識別指示牌方法的各步驟
410~460...本發明之一實施例所述之動態偵測與識別指示牌方法的各步驟
圖1是依照本發明之一實施例所繪示之動態偵測與識別指示牌系統的示意圖。
圖2是依照本發明之一實施例所繪示之動態偵測與識別指示牌方法的流程圖。
圖3是依照本發明之一實施例所繪示之字元群組與預設字元的對應表。
圖4是依照本發明之另一實施例所繪示之動態偵測與識別指示牌方法的流程圖。
210~240...本發明之一實施例所述之動態偵測與識別指示牌方法的各步驟

Claims (29)

  1. 一種動態偵測與識別指示牌的方法,該方法包括:依照一移動規則移動一影像擷取裝置,其中該影像擷取裝置在移動過程中持續擷取一影像;判斷在該影像中是否存在一指示牌,包括:切割該影像為多個區塊;定義各該些區塊的一代表顏色;在該些區塊中,計算每兩個相鄰區塊個別之該代表顏色間的一對比;根據該些對比取得該畫面中的至少一高對比區域;檢測各該些高對比區域中的一邊點數;以及令所對應之該邊點數大於一邊點數門檻值的該高對比區域為一指示牌區域,並判定在該影像中存在該指示牌;辨識該指示牌的一內容,包括:提供一辨識資料庫,該辨識資料庫包括多個字元群組,其中各該些字元群組分別對應一篩選特徵與一外型特徵,而各該些字元群組包括多個預設字元,且各該些預設字元各自對應一預設線性轉換特徵;取得該指示牌區域中的至少一字元區域;比對各該些字元區域與該辨識資料庫,以取得各該些字元區域所對應的該預設字元,包括:對各該些字元區域,擷取該字元區域的該篩 選特徵;擷取該字元區域的該外型特徵;計算該字元區域的一線性轉換特徵;根據各該些字元群組對應的該篩選特徵與外型特徵,取得該些字元群組其中之一;分別計算該線性轉換特徵與所取得之該字元群組中,各該些預設字元之該預設線性轉換特徵之間的一相似度;以及判定該字元區域中的一字元為對應最高之該相似度的該預設字元;以及以各該些字元區域所對應的該預設字元作為該指示牌之該內容;依照該內容執行一動作;以及重複上述的步驟繼續依照該移動規則移動該影像擷取裝置,並判斷在新擷取之該影像中是否存在該指示牌。
  2. 如申請專利範圍第1項所述之動態偵測與識別指示牌的方法,其中在判斷該影像中是否存在該指示牌的步驟之後,更包括:若不存在該指示牌,則依照該移動規則移動該影像擷取裝置,並判斷在新擷取之該影像中是否存在該指示牌。
  3. 如申請專利範圍第1項所述之動態偵測與識別指示牌的方法,其中在定義各該些區塊之該代表顏色的步驟之前,更包括:分別取得各該些區塊中數量最大的一像素顏色作為對應之該區塊的一主顏色。
  4. 如申請專利範圍第3項所述之動態偵測與識別指示牌的方法,其中定義各該些區塊之該代表顏色的步驟,包 括:根據一特定順序取得該些區塊其中之一;比較所取得之該區塊的該主顏色與相鄰之該區塊的該主顏色之間的一顏色差距;在該顏色差距小於一色差預設值時,以所取得之該區塊的該主顏色同時作為所取得之該區塊與相鄰之該區塊的該代表顏色;在該顏色差距大於或等於該色差預設值時,分別以所取得之該區塊以及相鄰之該區塊各自的該主顏色作為該代表顏色;以及重複上述的步驟直到各該些區塊的該代表顏色均定義完畢為止。
  5. 如申請專利範圍第1項所述之動態偵測與識別指示牌的方法,其中在根據該些對比取得該畫面中的該些高對比區域的步驟之前,更包括:在該些區塊中,取得相鄰區塊個別之該代表顏色之間的該對比;在該對比大於一對比差預設值時,以一第一符號標示上述的相鄰區塊;在該對比小於或等於該對比差預設值時,以一第二符號標示上述的相鄰區塊;以及重複上述的步驟直到各該些區塊均被標示為該第一符號或該第二符號為止。
  6. 如申請專利範圍第5項所述之動態偵測與識別指示 牌的方法,其中根據該些對比取得該畫面中的該些高對比區域的步驟,包括:搜尋位置相連的該些第一符號;以及以位置相連之該些第一符號所對應之該些區塊作為該些高對比區域其中之一。
  7. 如申請專利範圍第1項所述之動態偵測與識別指示牌的方法,其中根據各該些字元群組對應的該篩選特徵與外型特徵,以取得該些字元群組其中之一的步驟,包括:取得所對應之該篩選特徵與該外型特徵相符的該字元群組。
  8. 如申請專利範圍第1項所述之動態偵測與識別指示牌的方法,其中該篩選特徵與該外型特徵包括一尤拉數及一字元長寬比。
  9. 如申請專利範圍第1項所述之動態偵測與識別指示牌的方法,其中該預設線性轉換特徵為一線性轉換矩陣與向量,而計算該字元區域之該線性轉換特徵的步驟,包括:透過一線性鑑別分析擷取該字元區域的該線性轉換特徵。
  10. 如申請專利範圍第1項所述之動態偵測與識別指示牌的方法,其中在取得該指示牌區域中的該些字元區域的步驟之前,更包括:補強該指示牌區域的光源。
  11. 如申請專利範圍第1項所述之動態偵測與識別指示牌的方法,其中該些預設字元包括英文字母、數字、符 號、中文字,以及標誌。
  12. 如申請專利範圍第1項所述之動態偵測與識別指示牌的方法,其中該移動規則包括一預設移動路線。
  13. 如申請專利範圍第1項所述之動態偵測與識別指示牌的方法,其中依照該內容執行該動作的步驟包括:根據該內容變更該移動規則。
  14. 如申請專利範圍第1項所述之動態偵測與識別指示牌的方法,其中依照該內容執行該動作的步驟包括:根據該內容遞送一物品。
  15. 一種動態偵測與識別指示牌的系統,包括:一輪控單元,用以帶動該動態偵測與識別指示牌的系統的移動;一影像擷取裝置,用以在移動過程中持續擷取一影像;一處理單元,耦接至該輪控單元與該影像擷取裝置,用以依照一移動規則控制該輪控單元,驅使該影像擷取裝置移動,判斷在該影像中是否存在一指示牌;若存在該指示牌則辨識該指示牌的一內容並依照該內容執行一動作,以及重複上述的動作繼續依照該移動規則,驅使該影像擷取裝置移動,並判斷在新擷取之該影像中是否存在該指示牌;其中,該處理單元切割該影像為多個區塊,定義各該些區塊的一代表顏色,並在該些區塊中,計算每兩個相鄰區塊個別之該代表顏色間的一對比,根據該些對比取得該畫面中的至少一高對比區域,並檢測各該些高對比區域中 的一邊點數,以及令所對應之該邊點數大於一邊點數門檻值的該高對比區域為一指示牌區域,並判定在該影像中存在該指示牌;以及一儲存單元,耦接至該處理單元,用以記錄一辨識資料庫,該辨識資料庫包括多個字元群組,其中各該些字元群組分別對應一篩選特徵與一外型特徵,而各該些字元群組包括多個預設字元,且各該些預設字元各自對應一預設線性轉換特徵,其中該處理單元取得該指示牌區域中的至少一字元區域,比對各該些字元區域與該辨識資料庫,以取得各該些字元區域所對應的該預設字元,並以各該些字元區域所對應的該預設字元作為該指示牌之該內容;其中該處理單元擷取該字元區域的該篩選特徵與該外型特徵,再計算該字元區域的一線性轉換特徵,接著,根據各該些字元群組對應的該篩選特徵與該外型特徵,取得該些字元群組其中之一,然後分別計算該線性轉換特徵與所取得之該字元群組中,各該些預設字元之該預設線性轉換特徵之間的一相似度,以及判定該字元區域中的一字元為對應最高之該相似度的該預設字元。
  16. 如申請專利範圍第15項所述之動態偵測與識別指示牌的系統,其中該處理單元在不存在該指示牌時,依照該移動規則驅使該影像擷取裝置移動,並判斷在新擷取之該影像中是否存在該指示牌。
  17. 如申請專利範圍第16項所述之動態偵測與識別指 示牌的系統,其中該處理單元分別取得各該些區塊中數量最大的一像素顏色作為對應之該區塊的一主顏色。
  18. 如申請專利範圍第17項所述之動態偵測與識別指示牌的系統,其中該處理單元根據一特定順序取得該些區塊其中之一,比較所取得之該區塊的該主顏色與相鄰之該區塊的該主顏色之間的一顏色差距,在該顏色差距小於一色差預設值時,以所取得之該區塊的該主顏色同時作為所取得之該區塊與相鄰之該區塊的該代表顏色;反之,在該顏色差距大於或等於該色差預設值時,分別以所取得之該區塊以及相鄰之該區塊各自的該主顏色作為該代表顏色,以及重複上述的動作直到各該些區塊的該代表顏色均定義完畢為止。
  19. 如申請專利範圍第15項所述之動態偵測與識別指示牌的系統,其中該處理單元在該些區塊中,取得相鄰區塊個別之該代表顏色之間的該對比,在該對比大於一對比差預設值時,以一第一符號標示上述的相鄰區塊;反之,在該對比小於或等於該對比差預設值時,以一第二符號標示上述的相鄰區塊,以及重複上述的動作直到各該些區塊均被標示為該第一符號或該第二符號為止。
  20. 如申請專利範圍第19項所述之動態偵測與識別指示牌的系統,其中該處理單元用以搜尋位置相連的該些第一符號,並以位置相連之該些第一符號所對應之該些區塊作為該些高對比區域其中之一。
  21. 如申請專利範圍第20項所述之動態偵測與識別指 示牌的系統,其中該處理單元取得所對應之該篩選特徵與該外型特徵相符的該字元群組。
  22. 如申請專利範圍第20項所述之動態偵測與識別指示牌的系統,其中該篩選特徵與該外型特徵包括一尤拉數及一字元長寬比。
  23. 如申請專利範圍第15項所述之動態偵測與識別指示牌的系統,其中該預設線性轉換特徵為一線性轉換矩陣與向量,該處理單元透過一線性鑑別分析,擷取該字元區域的該線性轉換特徵。
  24. 如申請專利範圍第15項所述之動態偵測與識別指示牌的系統,其中該處理單元補強該指示牌區域的光源。
  25. 如申請專利範圍第15項所述之動態偵測與識別指示牌的系統,其中該些預設字元包括英文字母、數字、符號、中文字,以及標誌。
  26. 如申請專利範圍第15項所述之動態偵測與識別指示牌的系統,其中該移動規則包括一預設移動路線。
  27. 如申請專利範圍第15項所述之動態偵測與識別指示牌的系統,其中該處理單元根據該內容變更該移動規則。
  28. 如申請專利範圍第15項所述之動態偵測與識別指示牌的系統,其中該處理單元根據該內容遞送一物品。
  29. 如申請專利範圍第15項所述之動態偵測與識別指示牌的系統,更包括:一超音波感測單元,耦接至該處理單元,用以偵測一環境資訊,其中該處理單元根據該環境資訊控制該輪控單 元,以帶動該動態偵測與識別指示牌的系統的移動。
TW098118784A 2009-06-05 2009-06-05 動態偵測與識別指示牌的方法與系統 TWI423146B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098118784A TWI423146B (zh) 2009-06-05 2009-06-05 動態偵測與識別指示牌的方法與系統
US12/646,976 US8406467B2 (en) 2009-06-05 2009-12-24 Method and system for actively detecting and recognizing placards

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098118784A TWI423146B (zh) 2009-06-05 2009-06-05 動態偵測與識別指示牌的方法與系統

Publications (2)

Publication Number Publication Date
TW201044286A TW201044286A (en) 2010-12-16
TWI423146B true TWI423146B (zh) 2014-01-11

Family

ID=43300784

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098118784A TWI423146B (zh) 2009-06-05 2009-06-05 動態偵測與識別指示牌的方法與系統

Country Status (2)

Country Link
US (1) US8406467B2 (zh)
TW (1) TWI423146B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482298B2 (en) 2011-12-16 2019-11-19 Pixart Imaging Inc. Interactive electronic device
US9053359B2 (en) 2012-06-07 2015-06-09 Konica Minolta Laboratory U.S.A., Inc. Method and system for document authentication using Krawtchouk decomposition of image patches for image comparison
US20150139559A1 (en) * 2012-09-14 2015-05-21 Google Inc. System and method for shape clustering using hierarchical character classifiers
US9230383B2 (en) * 2012-12-28 2016-01-05 Konica Minolta Laboratory U.S.A., Inc. Document image compression method and its application in document authentication
GB2531811B (en) * 2014-11-03 2021-02-17 Sony Europe Bv A method, system and apparatus for providing improved audience participation
TWI676965B (zh) * 2018-04-11 2019-11-11 大眾電腦股份有限公司 物件影像辨識系統及物件影像辨識方法
JP7185451B2 (ja) * 2018-09-10 2022-12-07 キヤノン株式会社 画像処理装置と画像処理方法、及びプログラム
TWI695343B (zh) * 2019-05-06 2020-06-01 中華電信股份有限公司 用於偵測移動物件之自動標註方法
CN113327447B (zh) * 2021-07-20 2022-08-19 北京百度网讯科技有限公司 导航提醒方法、装置、设备、车辆及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020030741A1 (en) * 2000-03-10 2002-03-14 Broemmelsiek Raymond M. Method and apparatus for object surveillance with a movable camera
US20050125683A1 (en) * 2003-11-14 2005-06-09 Sony Corporation Information acquisition system, information acquisition method and information processing program
US20060061657A1 (en) * 2004-09-23 2006-03-23 Lg Electronics Inc. Remote observation system and method thereof
US20080304735A1 (en) * 2007-06-05 2008-12-11 Microsoft Corporation Learning object cutout from a single example
US20090055778A1 (en) * 2007-08-22 2009-02-26 Cit Global Mobile Division System and method for onscreen text recognition for mobile devices

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189917B2 (en) * 2008-09-25 2012-05-29 Sharp Laboratories Of America, Inc. Methods and systems for locating text in a digital image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020030741A1 (en) * 2000-03-10 2002-03-14 Broemmelsiek Raymond M. Method and apparatus for object surveillance with a movable camera
US20050125683A1 (en) * 2003-11-14 2005-06-09 Sony Corporation Information acquisition system, information acquisition method and information processing program
US20060061657A1 (en) * 2004-09-23 2006-03-23 Lg Electronics Inc. Remote observation system and method thereof
US20080304735A1 (en) * 2007-06-05 2008-12-11 Microsoft Corporation Learning object cutout from a single example
US20090055778A1 (en) * 2007-08-22 2009-02-26 Cit Global Mobile Division System and method for onscreen text recognition for mobile devices

Also Published As

Publication number Publication date
TW201044286A (en) 2010-12-16
US8406467B2 (en) 2013-03-26
US20100310123A1 (en) 2010-12-09

Similar Documents

Publication Publication Date Title
TWI423146B (zh) 動態偵測與識別指示牌的方法與系統
US11527055B2 (en) Feature density object classification, systems and methods
US10674083B2 (en) Automatic mobile photo capture using video analysis
JP5049798B2 (ja) グラウンドトルース・データからの合成画像及びビデオの生成
Yi et al. Assistive text reading from complex background for blind persons
Yi et al. Portable camera-based assistive text and product label reading from hand-held objects for blind persons
Xu et al. Detection of sudden pedestrian crossings for driving assistance systems
Reddy et al. Roadtext-1k: Text detection & recognition dataset for driving videos
US8023725B2 (en) Identification of a graphical symbol by identifying its constituent contiguous pixel groups as characters
US9241102B2 (en) Video capture of multi-faceted documents
Mahajan et al. Text detection and localization in scene images: a broad review
CN110458158A (zh) 一种针对盲人辅助阅读的文本检测与识别方法
CN109377834A (zh) 一种辅助盲人阅读的文本转换方法及系统
Wang et al. Spatially prioritized and persistent text detection and decoding
CN112528903A (zh) 人脸图像获取方法、装置、电子设备及介质
Bains et al. Dynamic features based stroke recognition system for signboard images of Gurmukhi text
Xavier et al. Automatic detection and recognition of text in traffic sign boards based on word recognizer
Kaur et al. Text Extraction from Natural Scene using PCA.
Charles et al. Real-time screen reading: reducing domain shift for one-shot learning.
Mahajan et al. Text extraction from indian and non-indian natural scene images: A review
Ding et al. Improved road marking detection and recognition
Tabassum et al. Traffic Sign Recognition For An Intelligent Vehicle: A Review.
Maity et al. An approach for detecting circular callouts in architectural, engineering and constructional drawing documents
Priyakumari et al. Text Identification from Input Images Using Support Vector Machine Algorithm and Its Method for Product Label Reading System
Hsieh et al. A detection and recognition system for Chinese highway traffic panels

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees