TWI692714B

TWI692714B - 提取便條內容之方法、便條識別系統及非暫時性電腦可讀儲存裝置

Info

Publication number: TWI692714B
Application number: TW107134719A
Authority: TW
Inventors: 瑞多特渥克黛安; 索瑪桑德朗古魯帕賽德; 艾琳摩倫克莉絲汀; 詹姆士摩爾理查; 毛利斯瑪里大衛; 席維林根瑞維尚克; F 史庫梅契珍妮佛
Original assignee: 美商3M新設資產公司
Priority date: 2013-07-09
Filing date: 2014-07-09
Publication date: 2020-05-01
Also published as: TW201512965A; TWI626600B; TW201917555A; US8891862B1; TWI623888B; WO2015006343A2; EP3020002B1; EP3020001A4; EP3020001A1; US20160328609A1; US20150186719A1; US20150055859A1; EP3020002A4; EP3020002A2; WO2015006275A1; WO2015006343A3; EP3020001B1; US20160117570A1; US9251414B2; US9412018B2

Abstract

本發明描述用於產生及操縱表示實體便條之軟體便條的技術。舉例而言，描述用於識別呈現於一實體環境內之實體便條、自其捕獲資訊並產生該等實體便條之對應數位表示(在本文中被稱作數位便條或基於軟體之便條)的技術。本發明之至少一些態樣係以用於使用色彩分類進行便條識別之系統及方法為特徵。該系統接收具有一或多個便條之一場景的一視覺表示，其中每一便條具有一色彩。該系統產生指示該視覺表示中之像素的色類之指示符。該系統進一步基於該等指示符判定該等便條中之一者的一整體邊界。

Description

提取便條內容之方法、便條識別系統及非暫時性電腦可讀儲存裝置

本發明係關於便條內容捕獲、識別、提取及/或管理工具及系統。

實體便條已廣泛用於記錄、分享及傳達構想及資訊。舉例而言，在共同作業工作階段(例如，腦力激盪工作階段)期間，參與者在Post-It®便條、白板或紙張上寫下構想，且接著彼此分享。另外，人們通常整天使用便條，以記住個人並不想要忘記之資訊或內容。作為額外實例，人們頻繁地將便條用作在未來採取之動作或事件的提醒，諸如進行電話呼叫、修正文件或填寫時間表。舉例而言，在許多情況下，人們藉由在基於紙張之便條(諸如，Post-it®便條)上書寫資訊而參與至共同作業工作階段中。可容易地自背黏式紙張Post-it®便條之施配器襯墊移除紙張Post-it®便條，並將其應用於各種表面，諸如白板、文件、書桌頂部、電話或類似者。可在自其施配器襯墊分離紙張Post-it®便條或將其附接至其目標表面之前抑或之後，將資訊書寫於紙張Post-it®便條上。可將紙張Post-it®便條自一表面容易地移動至另一表面(諸如，在文件之間或文件與書桌頂部之間)、該等便條可與文件之邊緣或邊界重疊、其可分層，且其可隨其所附接至之物件而移動。當前存在准許電腦使用者以數位形式產生基於軟體之便條，並在計算環境內利用數位便條之軟體程式。舉例而言，電腦使用者可產生數位便條，並將數位便條「附接」至電子文件、桌上型電腦或由計算環境所呈現之電子工作區。

大體而言，本發明描述用於產生及操縱表示實體便條之軟體便條的技術。在一實例中，描述一種使用具有一或多個處理器及記憶體之一電腦系統提取便條內容之方法。該方法包含：接收含有具有複數個便條之一場景的一視覺表示之影像資料，該複數個便條中之每一者具有一色彩；由該一或多個處理器產生複數個指示符，每一指示符指示該影像資料中之一各別像素的一色類且係基於該各別像素之色彩值；由該一或多個處理器基於該複數個指示符判定該複數個便條中之一者在該影像資料內的一整體邊界；及由該一或多個處理器使用該整體邊界並自該影像資料提取該複數個便條中之該一者的內容。在另一實例中，一種方法包含：接收含有具有複數個實體便條之一場景的一視覺表示之影像資料，該複數個實體便條中之每一者具有一色彩；由該一或多個處理器產生複數個指示符，每一指示符指示該影像資料內之一或多個像素的色彩值之一色類；基於該複數個指示符，判定該複數個實體便條中之一第一實體便條在該影像資料內的一邊界；使用該整體邊界自該影像資料提取該第一實體便條之內容；產生表示該第一實體便條之一數位便條；及使自該影像所提取之該內容與該數位便條相關聯。在另一實例中，一種具有一或多個處理器及記憶體之便條識別系統包含一便條識別模組，該便條識別模組經組態以接收捕獲具有複數個便條之一場景的一視覺表示之影像資料，該複數個便條中之每一者具有一色彩。該便條識別模組進一步經組態以產生複數個指示符，每一指示符指示該影像資料內之一各別像素的一色類且係基於該像素之色彩值。該便條識別系統進一步包含一便條提取模組，該便條提取模組經組態以基於該複數個指示符判定該複數個便條中之一者在該影像資料內的一整體邊界，且使用該複數個便條中之該一者的該所判定整體邊界提取該複數個便條中之該一者的內容。

本申請案主張2013年7月9日申請的美國臨時申請案第61/844,140號、第61/844,152號及第61/844,176號之權利，每一申請案之全部內容以引用的方式併入本文中。本發明描述用於產生及操縱表示實體便條之軟體便條的技術。舉例而言，描述用於識別呈現於實體環境內之實體便條、自其捕獲資訊並產生實體便條之對應數位表示(在本文中被稱作數位便條或基於軟體之便條)的技術。另外，本發明之至少一些態樣係關於用於管理多個便條之技術，諸如儲存、擷取、編輯數位便條、對數位便條進行分類及分組或類似者。便條已廣泛用於記錄、分享及傳達構想及資訊。舉例而言，在共同作業工作階段期間(例如，腦力激盪工作階段)，參與者在Post-It^TM 便條、白板或紙張上寫下構想，且接著彼此分享。本發明之至少一些態樣係針對捕獲多個便條及提取便條內容之系統及方法。在一些實施例中，便條中之至少一些包括促進識別及提取便條之標示。在一些狀況下，在場景之一視覺表示中捕獲並識別/識別便條。舉例而言，場景之視覺表示可為來自便條及周圍環境之視訊的數位相片或靜態圖框。另外，本發明之至少一些態樣係針對管理多個便條(諸如，儲存及擷取便條、對便條進行分類及分組或類似者)之系統及方法。在一些狀況下，便條管理系統可改良捕獲大量便條並自該等便條提取便條內容之效率。另外，便條管理系統可改良分組及管理便條之效率。大體而言，便條可包括實體便條及數位便條。實體便條大體上係指具有整體邊界及可識別內容之物件。實體便條可包括在人們書寫、繪畫或在物件(例如，紙張、白板或接受輸入之其他物件)上經由其他類型之輸入鍵入之後所得的物件。作為實例，實體便條可包括手寫式Post-It^TM 便條、紙張或膠片、具有圖畫之白板、海報及告示牌。在一些狀況下，可使用數位手段產生實體便條，例如將其列印至可列印Post-It^TM 便條或經列印文件上。在一些狀況下，一物件可包括若干便條。舉例而言，若干構想可書寫於一張海報紙張或白板上。在一些實施中，為促進對此等便條之識別，可將標示(諸如，線、形狀、色彩、符號、標示物或貼紙)應用於便條之邊緣。實體便條可係二維或三維的。實體便條可具有各種形狀及大小。舉例而言，實體便條可為7.62 cm×7.62 cm(3吋×3吋)便條；實體便條可為66.04 cm×99.06 cm(26吋×39吋)海報；且實體便條可為三角形金屬告示牌。在一些狀況下，實體便條具有符合標準(諸如，法定、A3、A4及其他大小標準)之已知形狀及/或大小，且已知形狀可並不限於諸如星形、環形矩形或類似者之幾何形狀。在其他狀況下，實體便條可具有非標準化大小及/或不規則形狀。數位便條大體上係指具有資訊及/或構想之數位物件。可使用數位輸入產生數位便條。數位輸入可包括(例如)鍵盤、觸控式螢幕、數位攝影機、數位記錄裝置、觸控筆、數位筆或類似者。在一些狀況下，數位便條可表示實體便條。在一些狀況下，便條用於共同作業空間中。共同作業空間大體上係指允許一個以上個人彼此分享構想及思想之聚集區域。除聚集區域以外，共同作業空間可包括允許人員群組在遠端分享構想及思想之虛擬空間。圖1說明便條識別環境10之實例。在圖1之實例中，環境10包括用以自工作區20捕獲及識別較多便條22中之一者的行動裝置15。如本文中所描述，行動裝置為一或多個軟體應用程式提供執行環境，如所描述，該等軟體應用程式可自大量實體便條(諸如，來自工作區20之便條22之集合)有效地捕獲及提取便條內容。在此實例中，便條22可為具有多個參與者之共同作業腦力激盪工作階段的結果。如所描述，行動裝置15及執行於其上之軟體可執行多種便條相關操作，包括自動產生表示工作區20之實體便條22的數位便條。在實例實施中，行動裝置15包括影像捕獲裝置18及呈現裝置28，以及其他組件。另外，儘管圖1中未展示，但行動裝置15可包括一或多個處理器、微處理器、內部記憶體，及/或用於執行軟體或韌體以提供本文中所描述之功能性的資料儲存器及其他電子電路。大體而言，影像捕獲裝置18為經組態以捕獲表示工作區20及定位於其中之便條22之影像資料的攝影機或其他組件。換言之，影像資料捕獲具有複數個實體便條之環境(諸如，工作區20)的視覺表示。儘管論述為行動裝置15之攝影機，但影像捕獲裝置18可包含能夠捕獲影像資料之其他組件，諸如視訊記錄器、紅外線攝影機、CCD(電荷耦合裝置)陣列、雷射掃描器或類似者。此外，所捕獲影像資料可包括影像、視訊、一序列影像(亦即，一段時間內所拍攝及/或具有次序之多個影像)、影像集合或類似者中之至少一者，且本文中使用術語輸入影像以指各種實例類型之影像資料。呈現裝置28可包括(但不限於)電子式可尋址顯示器，諸如液晶顯示器(LCD)，或用於與行動裝置15一起使用的其他類型之顯示裝置。在一些實施中，對於呈多種形式(例如，清單、分組成列及/或行、流程圖或類似者)之便條，行動裝置15產生用以顯示於呈現裝置28上之內容。在一些狀況下，行動裝置15可傳達用於由其他裝置(諸如，平板電腦、投影儀、電子廣告牌或其他外部裝置)呈現之顯示資訊。如本文中所描述，行動裝置15及執行於其上之軟體提供用於產生及操縱表示實體便條22之數位便條的平台。舉例而言，大體而言，行動裝置15經組態以處理由影像捕獲裝置18所產生之影像資料，以偵測及識別定位於工作區20內之實體便條22中之至少一者。在一些實例中，行動裝置15經組態以藉由判定便條之整體邊界而識別便條。在識別便條之後，行動裝置15提取一或多個便條中之至少一者的內容，其中內容為便條22之視覺資訊。如下文進一步所描述，行動裝置15可實施用於自動偵測及識別實體便條22，並提取與實體便條中之每一者相關聯的資訊、內容或其他特性之技術。舉例而言，行動裝置15可允許使用者26精細粒度級地控制由行動裝置15用以偵測及識別實體便條22之技術。作為一實例，行動裝置15可允許使用者26在基於標示物之偵測技術(其中便條22中之一或多者包括便條之表面上的實體基準標示)或非基於標示物之技術(其中未使用基準標示)之間進行選擇。另外，行動裝置15為使用者26提供用於產生及操縱表示實體便條22之對應數位便條的經改良電子環境。作為另一實例，行動裝置15可提供允許使用者26容易地自表示與工作區20相關聯之腦力激盪活動的數位便條集合添加數位便條及/或刪除數位便條之機制。在一些實例實施中，行動裝置15提供使用者26能夠藉以記錄及管理便條22之群組之間的關係之功能性。在一些實例實施中，行動裝置15提供使用者26能夠藉以將數位便條匯出至其他系統(諸如基於雲端之儲存庫(例如，雲端伺服器12)或其他計算裝置(例如，電腦系統14或行動裝置16))之功能性。在圖1之實例中，將行動裝置15說明為行動電話。然而，在其他實例中，行動裝置15可為平板電腦、個人數位助理(PDA)、膝上型電腦、媒體播放器、電子書讀取器、可攜帶式計算裝置(例如，腕錶、護目鏡、手套)，或適於執行本文中所描述之技術的任何其他類型之行動或非行動計算裝置。圖2說明說明根據本文中所描述之技術而操作的行動裝置之實例的方塊圖。出於實例之目的，將關於圖1之行動裝置15描述圖2之行動裝置。在此實例中，行動裝置15包括為裝置之操作提供核心功能性的各種硬體組件。舉例而言，行動裝置15包括經組態以根據可執行指令(亦即，程式碼)而操作的一或多個可程式化處理器70，該等可執行指令通常儲存於電腦可讀媒體或資料儲存器68(諸如，靜態隨機存取記憶體(SRAM)裝置或快閃記憶體裝置)中。I/O 76可包括一或多個裝置，諸如鍵盤、攝影機按鈕、電源按鈕、音量按鈕、首頁按鈕、後退按鈕、功能表按鈕，或如圖1中所描述之呈現裝置28。傳輸器72及接收器74經由如圖1中所描述之無線通信介面(諸如(但不限於)高頻射頻(RF)信號)提供與其他裝置(諸如，如圖1中所描述之雲端伺服器12、電腦系統14，或其他行動裝置16)之無線通信。行動裝置15可包括圖2中未展示之額外離散數位邏輯或類比電路。大體而言，作業系統64執行於處理器70上，且提供用於包括便條管理應用程式78之一或多個使用者應用程式77(通常稱為「app」)的操作環境。使用者應用程式77可(例如)包含儲存於電腦可讀儲存裝置(例如，資料儲存器68)中以供處理器70執行之可執行程式碼。作為其他實例，使用者應用程式77可包含韌體或(在一些實例中)可實施於離散邏輯中。在操作中，行動裝置15接收輸入影像資料，且根據本文中所描述之技術處理輸入影像資料。舉例而言，影像捕獲裝置18可捕獲具有複數個便條之環境(諸如，具有便條22的圖1之工作區20)的輸入影像。作為另一實例，行動裝置15可經由接收器74自外部源(諸如，雲端伺服器15、電腦系統14或行動裝置16)接收影像資料。大體而言，行動裝置15將影像資料儲存於資料儲存器68中，以用於由便條管理應用程式78及/或其他使用者應用程式77存取及處理。如圖2中所展示，使用者應用程式77可調用作業系統64之核心功能，以輸出用於將資訊呈現給行動裝置之使用者的圖形使用者介面(GUI)79。如下文進一步所描述，便條管理應用程式78可建構並控制GUI 79，以提供用於產生及操縱表示實體便條22之對應數位便條的經改良電子環境。舉例而言，便條管理應用程式78可建構GUI 79，以使其包括允許使用者26容易地自識別於影像資料之所定義數位便條集合添加數位便條及/或刪除數位便條的機制。在一些實例實施中，便條管理應用程式78借助於GUI 79提供使用者26能夠藉以記錄及管理數位便條之群組之間的關係之功能性。圖3說明說明根據本文中所描述之技術而操作的便條管理應用程式78之一實例實施的方塊圖。儘管描述為使用者應用程式77執行於行動裝置15上，但本文中所描述之實例可實施於任何計算裝置上，諸如雲端伺服器12、電腦系統14或其他行動裝置。在此實例中，使用者應用程式78包括提供影像處理及物件識別功能性之影像處理引擎82。影像處理引擎82可包括影像通信模組90、便條識別模組86及數位便條產生模組88。另外，影像處理引擎82包括提供用於由影像處理引擎82之其他組件使用的影像操縱功能(例如，影像定限、遮蔽、濾波、邊緣偵測及類似者)之程式庫的影像處理API 95。大體而言，影像資料可儲存於儲存裝置68中。在此實例中，便條管理應用程式78將影像97儲存於資料儲存裝置68內。影像97中之每一者可包含用於具有複數個實體影像之環境(諸如，圖1之工作區20)的像素資料。如本文中所描述，便條識別模組86處理影像97，且識別(亦即，識別)影像中之複數個實體便條。可由便條識別模組86使用標示物及/或非標示物偵測程序來處理輸入影像。數位便條產生模組88產生對應於影像97內所識別之實體便條的數位便條99。舉例而言，數位便條99中之每一者對應於輸入影像97中所識別之實體便條中之一者。在此程序期間，數位便條產生模組可更新資料庫94，以使其包括數位便條之記錄，且可將自如由便條識別模組86偵測到的針對實體便條所判定之邊界內之輸入影像所提取的資訊(例如，內容)儲存於資料庫內。此外，數位便條產生模組88可將使數位便條相關聯至一或多個群組之數位便條中的後設資料儲存於資料庫94內。通信模組90控制行動裝置15與外部裝置(諸如，雲端伺服器12、電腦系統14、行動裝置16或影像捕獲裝置18)之間的影像資料通信。在一些實例中，通信模組90可(例如)允許使用者傳達環境及/或數位便條之經處理或未經處理影像97及自其提取之相關聯資訊(包括來自資料庫94之後設資料)。在一些實例中，影像通信模組90將此資料匯出至可藉由FTP、HTTP、電子郵件、藍芽或其他機制傳達之壓縮檔案。在圖1之實例中，便條管理應用程式78包括建構並控制GUI 79之使用者介面98。如下文所描述，在一些實例中，使用者介面98可進行輸出以用於顯示覆疊有複數個數位便條99之輸入影像97，其中覆疊數位便條中之每一者而非對應實體便條。另外，使用者介面98可顯示已由使用者指定的數位便條99之群組。數位便條99之此群組可為(例如)特定輸入影像97中所識別之數位便條的子集。使用者介面98可在GUI 79之第二部分上顯示數位便條之此所指定群組(集合)，且允許使用者26容易地自所指定群組添加或移除數位便條99。在一些實例實施中，使用者介面98提供允許使用者26編輯覆疊影像及/或數位便條之影像編輯器96。在另一實例中，數位便條產生模組88可包括增強來自輸入影像之所提取資訊的(多個)程序。用於偵測並識別實體便條之便條管理應用程式78的額外實例細節描述於7月9日申請且標題為「使用色彩分類之用於便條識別及管理之系統及方法(SYSTEMS AND METHODS FOR NOTE RECOGNITION AND MANAGEMENT USING COLOR CLASSIFICATION)」的美國專利申請案第61/844140號、2013年7月9日申請且標題為「使用分段便條之用於便條內容提取及管理之系統及方法(SYSTEMS AND METHODS FOR NOTE CONTENT EXTRACTION AND MANAGEMENT USING SEGMENTED NOTES)」的美國專利申請案第61/844152號，及2013年7月9日申請的「藉由對便條進行分段而用於便條內容提取及管理之系統及方法(SYSTEMS AND METHODS FOR NOTE CONTENT EXTRACTION AND MANAGEMENT BY SEGMENTING NOTES)」的美國專利申請案第61/844176號中，該等專利申請案中之每一者的全部內容以引用的方式併入本文中。為較好地理解本發明，圖4A說明便條識別系統100A之實施例。系統100A可包括處理單元110、一或多個便條120、感測器130及便條內容儲存庫140。處理單元110可包括一或多個處理器、微處理器、電腦、伺服器及其他計算裝置。感測器130(例如，影像感測器)經組態以捕獲具有一或多個便條120之場景的視覺表示。感測器130可包括攝影機、視訊記錄器、紅外線攝影機、CCD(電荷耦合裝置)陣列、掃描儀或類似者中之至少一者。視覺表示可包括影像、視訊、一序列影像(亦即，一段時間內所拍攝及/或具有次序之多個影像)、影像集合或類似者中的至少一者。處理單元110耦接至感測器130，且經組態以接收視覺表示。在一些狀況下，處理單元110以電子方式耦接至感測器130。處理單元110經組態以自視覺表示識別一或多個便條120中之至少一者。在一些實施例中，處理單元110經組態以藉由判定便條之整體邊界而識別便條。在識別便條之後，處理單元110提取便條內容。在一些狀況下，處理單元110經組態以自具有彼等便條120之場景的視覺表示識別並提取一個以上便條120之內容。在一些狀況下，處理單元110可執行儲存於非暫時性電腦可讀媒體中之軟體或韌體，以實施用於系統100A之各種程序(例如，識別便條、提取便條等)。便條內容儲存庫140可執行於單一電腦、伺服器、儲存裝置、雲端伺服器或類似者上。在一些其他狀況下，便條內容儲存庫140可執行於一系列網路連接式電腦、伺服器或裝置上。在一些實施中，便條內容儲存庫140包括資料儲存裝置(包括局部、區域及中心)之階層。便條120可包括有序或隨機地配置於共同作業空間中之實體便條，且感測器130在共同作業空間中產生便條120之視覺表示。在一些實施例中，一或多個便條120中之至少一些包括可促進識別、識別及/或鑑認便條之標示。在一些實施例中，標示包括條碼、色塊、色碼、基準標示、商標標識、點、孔及類似者中之至少一者。便條自身之形狀及/或色彩可用作標示，以促進識別、識別及/或鑑認便條。在一些狀況下，標示可包括配置於某些圖案中之複數個元素，例如，矩形便條之四個拐角處的基準標示。在一些其他狀況下，標示可包括複數個元素，其中至少一些元素為可用於提供鑑認資訊之非可見元素(例如，RFID(射頻識別)標籤)。作為實例，可使用以下各者中之至少一者製成標示：回向反射式材料、光學可變墨水、經著色墨水、紅外線吸收墨水、螢光墨水、水印、光滑材料、閃光材料、多層光學膜、膠態晶體、穿孔標示、結構化色彩、浮動影像、窗紗線或類似者。在一些實施例中，處理單元110首先自視覺表示識別便條上之標示、判定視覺表示上之標示的位置，且接著基於所識別標示提取便條內容。在一些狀況下，處理單元110基於所識別標示、便條之已知形狀及便條上之標示的已知相對位置提取便條內容。在一些實施中，處理單元110自視覺表示即時地提取便條內容(亦即，在暫時性儲存器中處理資料)，而無需將視覺表示儲存於非暫時性儲存器中。在一些實施中，便條識別系統100A可包括呈現裝置(圖4A中未展示)，以向使用者展示識別出哪些便條及/或已提取哪些便條之內容。另外，便條識別系統100A可經由呈現裝置呈現所提取內容。在一些實施例中，處理單元110可在提取便條內容之前鑑認便條。若已鑑認便條，則將提取內容並將其儲存於便條內容儲存庫140中。在一些狀況下，處理單元可自便條上之標示提取鑑認資訊。在此等狀況下，鑑認資訊可在標示上可見或不可見。舉例而言，便條上之標示可包括符號，例如公司標識、矩陣碼、條碼、色碼或類似者。作為另一實例，便條上之標示可包括用以儲存可由合適讀取器擷取之資訊的標籤。舉例而言，標示可包括RFID標籤、近場通信(NFC)標籤或類似者。在一些實施例中，感測器130可產生具有若干便條120之場景的第一視覺表示，例如，拍攝便條以及周圍環境之相片或視訊片段。便條中之每一者具有標示。處理單元110識別標示、判定標示之位置，並使用標示之位置以控制感測器130產生具有便條120之場景的第二視覺表示，例如，拍攝便條之放大影像。處理單元110可進一步自第二視覺表示識別並提取便條內容。圖4B說明便條管理系統100B之實施例。在此實施例中，便條管理系統100B包括處理單元110、一或多個便條120、一或多個便條源150及便條內容儲存庫140。在一些狀況下，系統100B包括呈現裝置160。處理單元110、便條120及便條內容儲存庫140類似於如圖4A中所說明之便條識別系統100A的組件。便條源150可包括用以提供實體便條之內容(諸如，具有一或多個便條之場景的視覺表示)的源，及用以提供數位便條之內容(諸如，自鍵盤鍵入之資料流)的源。在一些實施例中，便條管理系統100B包括第一源及第二源，且第一源為具有一或多個便條120之場景的視覺表示。由不同裝置產生第一源及第二源。第二源包括文字流、影像、視訊、檔案及資料項中之至少一者。處理單元110自第一源識別便條中之至少一者，並提取便條內容，如便條識別系統100A中所論述。在一些狀況下，處理單元110依據類別標記便條。處理單元110可基於便條之特定形狀、色彩、內容及/或其他資訊標記便條。舉例而言，便條之每一群組可具有不同色彩(例如，紅色、綠色、黃色等)。在一些狀況下，便條120可包括具有一或多個元素之標示，且處理單元110可基於自標示所提取之資訊來標記便條。在一些實施例中，便條管理系統100B可包括用以將便條120之內容展示給使用者的一或多個呈現裝置160。呈現裝置160可包括(但不限於)電子式可尋址顯示器，諸如液晶顯示器(LCD)、平板電腦、投影儀、電子廣告牌、蜂巢式電話、膝上型電腦或類似者。在一些實施中，對於呈多種形式(例如，清單、分組成列及/或行、流程圖或類似者)之便條，處理單元110產生用以顯示於呈現裝置160上之內容。便條識別系統及便條管理系統之各種組件(諸如，處理單元、影像感測器及便條內容儲存庫)可經由通信介面進行通信。通信介面包括(但不限於)任何有線或無線短程及長程通信介面。短程通信介面可為(例如)區域網路(LAN)、符合已知通信標準之介面，諸如，藍芽標準、IEEE 802標準(例如，IEEE 802.11)、ZigBee或類似規範(諸如基於IEEE 802.15.4標準之彼等)或其他公用或專屬無線協定。長程通信介面可為(例如)廣域網路(WAN)、蜂巢式網路介面、衛星通信介面等。通信介面可在專用電腦網路(諸如，企業內部網路)內，抑或在公用電腦網路(諸如，網際網路)上。圖5A至圖5C說明具有標示之便條的一些實例。如圖5A中所說明，便條200A上之標示具有兩個元素，元素210A及元素220A。元素210A與220A可具有不同大小、形狀、相對位置及/或材料組成。舉例而言，元素210A為作為用於便條之識別符的條碼，且元素220A為可用於判定便條之邊界的回向反射式墨水之較小矩形。如圖5B中所說明，便條200B上之標示可具有四個元素210B、220B、230B及240B。該四個元素可具有類似或不同之大小、形狀及材料組成。標示可用於識別大小、位置、定向、失真及便條之其他特性，該等特性可用於內容提取及增強。如圖5C中所說明，便條200C上之標示具有一元素210C。便條200C具有非矩形形狀。在一些實施例中，元素210C包括(例如)用以識別便條之類型及分組的識別符。在一些狀況下，識別符為唯一識別符。圖5D說明具有標示之便條的另一實例。標示為便條之色彩。圖5D中說明捕獲12個便條之影像200D。便條210D、212D及214D為洋紅色。便條220D、222D及224D為黃色。便條230D、232D及234D為藍色。便條240D、242D及244D為橙色。圖5E及圖5F說明具有區段之便條的一些實例。圖5E說明具有四個經著色區段之便條200E。每一區段具有素色(solid color)。舉例而言，區段210E為洋紅色；區段220E為黃色；區段230E為藍色；且區段240E為橙色。圖5F說明具有四個區段之便條200F，且每一區段具有經著色邊界。舉例而言，區段210F具有洋紅色邊界；區段220F具有黃色邊界；區段230F具有藍色邊界；且區段240F具有橙色邊界。在一些實施中，經著色邊界具有某一線寬(例如，大於0.1 mm、大於區段之總寬度的2%等)，使得邊界可由影像處理演算法識別。在一些狀況下，區段或區段之邊界的色彩可用以對區段進行分類。舉例而言，洋紅色區段或具有洋紅色邊界之區段可與類別A相關聯，且黃色區段或具有經黃色著色邊界之區段可與類別B相關聯。在一些其他狀況下，區段或區段之邊界的色彩可用以表示與便條有關之狀態或其他功能資訊。舉例而言，紅色可表示刪除便條內容；且橙色可表示待完成之便條。圖5G說明使用標示產生便條之區段的實例。便條200G可為具有內容之任何介質，例如，經列印文件、已書寫及/或繪畫之白板、一張具有手寫便條之紙或類似者。可使用筆(亦即，筆或圖5G中所說明之螢光筆260G)、經列印標示、旗標、貼紙、經著色膠帶、螢光筆、經著色紙張、具有手寫內容之經列印旗標或類似者產生標示。便條200G具有四個區段210G、220G、230G及240G，其中該等區段中之每一者具有矩形標示。在一些實施中，可在兩個對置拐角處(諸如，左上角及右下角)標示區段。如圖5H中所說明，拐角標示可為如210H及220H所展示之形狀。標示210H及220H為肘形且對稱的。在一些實施例中，用於拐角之標示可為任何幾何形狀，例如，矩形、圓形、星形或類似者。標示可包括(但不限於)線、箭頭、星形標示、肘形標示、矩形標示、圓形標示、橢圓形標示、多邊形標示及幾何形狀標示中之一或多者。另外，標示可具有不對稱肘形形狀。圖6A說明便條識別及/或管理系統(諸如，行動裝置15(圖1)之便條管理應用程式78，或便條識別系統100A(圖4A))之實施例的流程圖。最初，系統捕獲複數個便條之視覺表示(步驟310A)。在一些實施例中，便條為實體便條，且一次捕獲一個以上便條係較有效的。接下來，系統自視覺表示識別複數個便條中之一或多者(步驟320A)。舉例而言，系統可識別便條上之特定標示，且隨後判定便條之整體邊界。系統提取複數個便條中之一或多者的內容(步驟330A)。此時，系統可產生表示所識別實體便條中之對應一者的各別數位便條。系統可使用於給定實體便條的自視覺表示所提取之內容與表示實體便條之對應數位便條相關聯。在一些實施例中，系統可在提取內容之前將影像變換應用於視覺表示中之至少部分。在一些其他實施例中，系統可應用影像增強或其他影像處理技術來改良所提取內容之品質。在又一實施例中，系統可進一步自所提取內容識別文字及數字。圖6B說明提取便條之內容的實施例之流程圖。首先，由系統接收視覺表示(步驟310B)。系統自視覺表示識別便條上之標示(步驟320B)。在判定標示之位置及/或形狀之後，系統可視情況對視覺表示執行幾何校正及修剪(步驟330B)。基於便條上之標示的所識別位置及/或形狀，在視覺呈現上識別便條之整體邊界(步驟340B)。在一些實施例中，系統可接收相同集合之便條的兩個視覺表示，其中便條中之每一者具有標示。使用適於捕獲便條上之標示的光源獲取第一視覺表示。舉例而言，對於使用紅外線敏感墨水之標示，光源可為紅外光。在第一視覺表示中識別標示，並判定標示之位置。第二視覺表示可捕獲便條之集合，且系統可分別基於其標示判定每一便條之整體邊界。舉例而言，可藉由回向反射式材料製成標示，且可藉由獨立光源(例如，閃光等)捕獲第一視覺表示，而可無需獨立光源捕獲第二視覺表示。在判定便條之整體邊界之後，系統提取便條內容(步驟350B)。此時，系統可產生表示所識別實體便條中之對應一者的各別數位便條。系統可使用於給定實體便條的自視覺表示所提取之內容與表示實體便條之對應數位便條相關聯。作為另一實例，在視覺表示為影像之情況下，系統可根據便條之所判定整體邊界修剪影像。視情況，系統可(例如)藉由改變對比度、亮度及/或使用其他影像處理技術(例如，白平衡、對比度擴展等)而增強便條內容(步驟360B)。在一些狀況下，系統可藉由指示其所提取內容之狀態而更新便條。圖6C說明鑑認便條之實施例的流程圖。首先，自便條或便條堆疊獲得鑑認信號(步驟310C)。在一實施例中，鑑認資訊為便條上之標示的視覺分量(例如，全像圖)，且可藉由自捕獲便條之視覺表示提取視覺分量而獲得鑑認信號。在另一實施例中，鑑認資訊含於便條上之標示的電子分量(例如，RFID標籤)中，且可使用合適讀取器(例如，RFID讀取器)而獲得鑑認信號。接下來，系統確認鑑認信號(步驟320C)。若已鑑認便條，則系統可開始便條管理應用程式，或使用便條(步驟330C)。在一些狀況下，可在捕獲便條之前進行鑑認。圖6D說明使用色彩分類演算法提取便條或便條區段之內容的實施例之功能流程圖。流程圖中之一或多個步驟係可選的，例如，若提供分類函數，則用於計算分類函數(亦被稱作分類器)之訓練步驟(步驟350D至365D)係不必要的。最初，接收捕獲周圍環境內或並無周圍環境之(多個)便條或具有便條區段之一便條的視覺表示之影像資料(步驟310D)。在一些狀況下，若視覺表示並非單一影像，則自視覺表示(影像資料)擷取影像(步驟315D)。舉例而言，視覺表示為影像集合，且所擷取影像為影像集合中之至少部分的聚集。作為另一實例，視覺表示為視訊，且所擷取影像為視訊中之若干或所有圖框的組合。另一可選步驟為將影像轉換至合乎需要之色彩空間(步驟317D)。適用之色彩空間包括(但不限於)RGB(紅色、綠色及藍色)、LAB(例如，Hunter 1948 L,a,b色彩空間、CIE 1976 (L*, a*, b*)色彩空間)、CMYK(青色、洋紅色、黃色及主色(黑色))、HSV(色度、飽和度及純度)、HSL(色度、飽和度及亮度)、HSI(色度、飽和度及強度)、sRGB(標準紅色、綠色及藍色)色彩空間。接下來，針對影像中之每一像素或像素群組，將一或多個分類函數應用於色彩值(步驟320D)。可使用訓練步驟350D至365D計算分類函數。分類演算法可為(例如)線性判別分析、二次分類器、高斯混合模型、增強型決策樹、支援向量機或類似者。一些分類器在本質上係產生式的，而其他分類器係判別式的。大體而言，產生式分類器針對每一類(在吾人之狀況下為色彩)產生個別模型，且向所詢問像素/像素群組值給出有關於其是否屬於彼組之機率評分。另一方面，判別式分類器模型化兩個或兩個以上類(分別為2類及多類分類)之間的邊界。產生式模型提供對尚未經模型化之新類(色彩)的較容易概括性，而獨立判別式模型必須針對每一現存類(色彩)進行再訓練。產生式及判別式分類器之許多實例描述於Christopher M. Bishop(2006)之圖案識別及機器學習(Pattern Recognition and Machine Learning)(資訊科學及統計)(斯普林格紐約出版公司，美國新澤西州斯考克斯市)中，其全部內容以引用的方式併入本文中。產生式模型之一些實例為naïve Bayes分類器、高斯混合模型，及使用高斯或其他先驗及辭典學習之其他機率性貝葉斯模型，諸如描述於Michal Aharon、Michael Elad及Alfred Bruckstein(2006)之「K-SVD：用於設計用於稀疏表示之超完備詞典的演算法(K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation)」(IEEE信號處理彙刊54(11)：4311-4322)中之彼等，其全部內容以引用的方式併入本文中。判別式分類模型之一些實例為神經網路、支援向量機、決策樹、線性及二次判別分類、邏輯回歸。其他實例分類方法既非產生式亦非判別式的，例如最近鄰分類演算法。另外，可藉由組合上文所提及之分類模型的多個例項之總體學習演算法改良上文所提及分類模型中之任一者的效能。總體學習可實施為裝袋型、增強型及其變化形式。使用分類演算法，基於像素或像素群組之色彩值產生指示影像中之每一像素或像素群組之色類的指示符(步驟325D)。色類包括特定範圍之波長，或可為涉及除所關注色類以外之任何其他色彩的「其他」色類。舉例而言，色類可為洋紅色、黃色、藍色、橙色等。指示符可由(例如)數字、代碼、符號、字數符記、色彩值、灰度值或類似者表示。基於指示符，可判定便條或便條區段之整體邊界(步驟330D)。在一實施例中，將具有相同指示符之鄰近像素分組至區中，且可判定該區之邊界。在一些狀況下，在判定整體邊界之前，使用影像處理原理(例如，雜訊濾波、形態學開運算(morphological opening)或類似者)進一步處理指示符。在一些實施例中，便條或便條區段之形狀及/或大小係預定的，此可用以判定及/或篩選便條或便條區段之整體邊界。此時，系統可產生表示已判定邊界之實體便條中之每一者的各別數位便條。使用整體邊界，可提取便條或便條區段之內容(步驟335D)。系統可使用於給定實體便條的自視覺表示所提取之內容與表示實體便條之對應數位便條相關聯。在一些實施例中，便條或便條區段可具有經著色邊界或一或多個位置處之經著色標示，而非具有素色。在此等實施例中，相同色彩分類演算法可用以識別邊界或標示，且進一步提取便條或便條區段之內容。在一些狀況下，可經由圖形介面或報告將內容集合(其中，每一內容項對應於便條或便條區段)呈現給使用者。在一些實施中，可依據類別對內容集合進行分組，其中每一類別與用於便條之色彩、形狀、大小或其組合相關聯。舉例而言，圖5D中所說明之便條210D、212D及214D與類別A相關聯，且便條220D、222D及224D與類別B相關聯。作為另一實例，具有洋紅色邊界之便條區段(例如，圖5F中所說明之便條區段210F)與類別A相關聯，且具有黃色邊界之便條區段(例如，圖5F中所說明之便條區段220F)與類別B相關聯。在一些狀況下，所產生指示符僅指示像素或像素群組之色彩值是否為特定色類。舉例而言，指示符1指示像素或像素群組為黃色，且指示符0指示像素並非黃色。在此等狀況下，將針對所關注的每一色類產生指示符之集合。在一些實施例中，針對所關注之每一色類(例如，洋紅色、黃色、藍色及橙色)重複步驟320D至335D。在一些實施例中，可使用圖6D中所說明之步驟判定分類函數。首先，提供訓練影像之集合(步驟350D)。在一些狀況下，訓練影像可包括具有所關注之相同色類的便條或便條區段。可在一或多個照明條件及/或一或多個不同攝影機下捕獲訓練影像。舉例而言，訓練影像可為使用兩個不同攝影機在三個照明條件下所捕獲的六個影像之集合。視情況將訓練影像轉換至所要之色彩空間(步驟355D)。使用用於像素或像素群組之對應色彩值的已知色彩(例如，使用如下文所論述之方程式(1)至(4))訓練分類器(步驟360D)。接著，計算用於色類之分類函數的集合(步驟365D)。在一些狀況下，使用步驟350D至365D獲得僅用於一色類之分類函數的集合。重複此等步驟以獲得用於所關注的其他色類中之每一者的分類函數。在一些實施例中，色類可包括兩個或兩個以上類似色彩。可使用如上文所論述之相同程序獲得用於此色類之分類函數。在一些狀況下，階層式方法可用於提取具有兩個以上色彩之便條或便條區段，如圖6E中所說明。圖6E說明使用色彩分類演算法提取具有三個不同色彩(黃色、橙色及藍色)之便條或便條區段的內容之實例的功能流程圖。最初，系統使用色彩分類演算法判定像素是否具有屬於包括黃色及橙色之色類的色彩(步驟310E)。若色彩為黃色或橙色，則系統進一步評估色彩是否為黃色(步驟320E)：若其為黃色，則黃色之指示符可與該像素或像素群組相關聯(步驟340E)；且若其並非為黃色，則橙色之指示符可與該像素或像素群組相關聯(步驟350E)。若色彩並不屬於包括黃色及橙色之色類，則系統使用色彩分類演算法評估色彩是否為藍色(步驟330E)：若色彩為藍色，則藍色之指示符可與該像素或像素群組相關聯(步驟360E)；且若色彩並非為藍色，則其他色彩之指示符可與該像素或像素群組相關聯(步驟370E)。在一實施例中，可將所捕獲便條或便條區段之影像轉換至LAB色彩空間。LAB色彩空間在ab平面上分離不同色彩，且在此色彩空間中使用臨限值方法區分不同色彩係有可能的。表1列出使用臨限值方法提取便條或便條區段之實例的偽碼。表1. 用於簡單色彩「b」臨限值之偽碼

雖然上文之偽碼及描述解釋兩類線性判別分類程序，但存在該程序之多類擴展，諸如以引用的方式併入本文中的Christopher M. Bishop(2006)之圖案識別及機器學習(資訊科學及統計)(斯普林格紐約出版公司，美國新澤西州斯考克斯市)中所描述之彼等。在一些狀況下，臨限值方法可能並不適於各種捕獲條件，諸如色彩、照明、攝影機類型、周圍環境等之變化。為解決此問題，可使用自適應性模型，該等模型可習得對於各種捕獲條件及額外經著色便條穩定之不同色彩的最佳表示。一個此模型為Fischer之線性判別模型或Fischer之線性判別分類器，如由Mika, S.、Ratsch, G.、Weston, J.、Scholkopf, B.、Muller, K.之具有核心之Fisher判別分析(Fisher discriminant analysis with kernels )(神經網路信號處理IX，1999，1999IEEE信號處理社會研討會之論文集，第41至48頁，1999年8月)所描述。給定m個觀察結果(亦即，訓練影像)之集合X，其中在此狀況下每一觀察結果係3維的(LAB色彩空間之L、a及b值)，並判定所有觀察結果之對應色類Y、權重向量w，使得若Y=1(屬於所關注之色類)，則w . X + c ＜ 0，且 (1) 若Y=0(不屬於所關注之色類)，則w . X + c ＞=0， (2) 其中w . X為點積運算，且c為偏移值。權重w取決於每一色類之L、a及b的平均值與每一色類之共變數矩陣。特定言之，權重w使S最大，其中 S =s ² between-class /s ² within-class (3) 亦即，習得w，使得類間變異最大化，類內變異最小化。此使得w=(å_y=0 + å_y=1 )^-1 (µ_y=1 -µ_y=0 ) (4) 可自訓練影像估計類平均及共變數(µ及å)。若假定類共變數相同，則模型係線性的。若未作出此假定，則模型為二次判別分類器。用於二次判別分類器之分類方法具有額外項：若Y=1(屬於相關類)，則X^T QX + wX + c ＜ 0 (5) 若Y=0(不屬於相關類)，則X^T QX + wX + c ＞= 0 (6)舉例而言，在將線性判別模型應用於具有洋紅色便條及其他背景色彩之影像之後，所得投影為純量值，且圖14中展示純量投影值之分佈。可使用相同程序及方程式進一步訓練分類器，以在各種條件下所捕獲影像中識別色彩。作為一實例，對於係數集合[w1 w2 w3 c](其中w1、w2及w3為分別對應於L、a及b之係數，且c為偏移)，用於色類藍色之係數為[w1 = 0.05056 w2 = 0.34929 w3 = 0.4381 c = -106.71]；且用於色類黃色之係數為[w1 = 0.0068796 w2 = 0.027731 w3 = -0.14887 c = 18.812]。表2列出用於使用線性判別分類器之實施例及篩選步驟之一些實例的偽碼。此處，Lcoefficent、Acoefficient、Bcoefficient及offset對應於上文之實例中的w1、w2、w3及c。篩選之實例假定便條為矩形。諸如RGB及HSV之其他色彩空間可遵循類似方法，且表3及表4中列出偽碼。表2. 用於LAB色彩空間中之線性判別分類器(LDC)的偽碼

形態學開運算程序可用以減少雜訊，該程序包括形態學侵蝕繼之以擴張。在一些狀況下，形態學侵蝕及擴張可使用為圓盤形或圓形之結構化元素。舉例而言，對於具有800個像素之最大尺寸的影像，將結構化元素之大小設定為5乘5。若影像較大，則結構性元素之大小可較大。此類型之雜訊減少方法描述於Jean Serra之影像分析及數學形態學(Image Analysis and Mathematical Morphology )(ISBN 0-12-637240-3 (1982))；Jean Serra之影像分析及數學形態學(Image Analysis and Mathematical Morphology )，卷2：理論推進(ISBN 0-12-637241-1 (1988))；及Edward R. Dougherty之形態學影像處理導論(Introduction to Morphological Image Processing )(ISBN 0-8194-0845-X (1992))中。表3. 用於RGB色彩空間中之線性判別分類器(LDC)的偽碼

表4. 用於HSV色彩空間中之線性判別分類器(LDC)的偽碼

圖6F說明自具有區段之便條提取內容集合的實施例之功能流程圖。首先，接收具有色彩區段之便條的視覺表示(步驟310F)。亦即，可接收捕獲視覺表示之影像資料。在一些狀況下，(例如)若影像資料包含視訊或複數個影像之集合，則可自視覺表示擷取影像(步驟320F)。若視覺表示為影像，則影像將用於進一步處理。接下來，使用(例如)色彩分類演算法產生指示影像中之各別像素或像素群組之色類的指示符(步驟330F)。使用指示符，判定色彩區段之整體邊界(步驟340F)。自便條區段提取內容集合(步驟350F)。在一些狀況下，自對應便條區段提取每一塊內容。視情況，將內容之清單呈現給使用者(步驟360F)。在一些狀況下，內容項可與類別相關聯。便條管理系統可使用色彩區段中之色彩，以選擇內容項之類別。此時，系統可產生表示所識別實體便條中之對應一者的各別數位便條。作為一實例，可產生記錄以含有複數個資料庫欄位，包括用於儲存實體便條之每一色彩區段的特定內容的欄位。系統可使用於給定實體便條的自視覺表示所提取之內容與表示實體便條之對應數位便條相關聯。此外，系統可使自每一色彩區段所提取之內容項與每一色彩區段之數位表示相關聯。舉例而言，系統可更新資料庫內之各別記錄欄位，以儲存不同色彩區段之內容項中的各別一者。圖6G說明對便條進行分段並提取區段之內容集合的實施例之功能流程圖。首先，使用者可使用標示對便條進行分段(步驟310G)。可沿著區段之邊界的至少一部分將標示應用於一或多個拐角。便條管理系統可捕獲便條之影像(步驟320G)。系統進一步識別影像中之標示(步驟330G)。可判定區段之整體邊界(步驟340G)。在一些狀況下，一些額外資訊(諸如，標示之相對位置)可用以判定整體邊界。使用所判定邊界自便條區段提取內容集合(步驟350G)。在一些狀況下，自對應便條區段提取每一內容項。視情況，將內容之清單呈現給使用者(步驟360G)。此時，系統可產生表示所識別實體便條中之對應一者的各別數位便條。作為一實例，可產生記錄以含有複數個資料庫欄位，包括用於儲存實體便條之每一色彩區段的特定內容的欄位。系統可使用於給定實體便條的自視覺表示所提取之內容與表示實體便條之對應數位便條相關聯。此外，系統可使自每一色彩區段所提取之內容項與每一色彩區段之數位表示相關聯。舉例而言，系統可更新資料庫內之各別記錄欄位，以儲存不同色彩區段之內容項中的各別一者。圖7A至圖7D說明具有標示之便條的內容提取程序之實例。首先，如圖7A中所說明，捕獲便條410之視覺表示400。便條410具有標示420，其可為條碼、色碼、矩陣碼、色塊或類似者。接下來，如圖7B中所說明，系統判定視覺表示上之標示的整體邊界430，並識別標示420。在一些狀況下，便條410可傾斜於視覺表示400中，如圖7C中所說明。在一些其他狀況下，視覺表示400可拍攝有幾何失真。系統可使用標示420之所判定整體邊界或標示420之一部分以判定對視覺表示400之必要影像變換及校正來獲得便條內容。圖7D說明系統在先前分析及/或影像處理之後提取便條410之內容。圖8A至圖8D說明具有回向反射式標示之複數個便條的內容提取之實施例。便條識別/管理系統接收捕獲三個便條510A之視覺表示500A，且每一便條510A具有具兩個元素——左上方拐角及下底部拐角處之兩個回向反射式矩形標籤之標示520。由於回向反射式材料之光學性質，標示520實質上比便條之其餘部分明亮。圖8B說明標示520比便條510A及背景明亮得多。在一些實施例中，系統可使用影像處理以將如圖8A中所說明之視覺表示500A變換成如圖8B中所說明之視覺表示500B。在一些替代性實施例中，系統可藉由不同光源(例如，閃光燈)產生三個便條510A之另一視覺表示500B。系統可自視覺表示500B容易地識別標示520。在識別標示520之後，系統可提取便條510C之內容，如圖8C中所說明。在一些狀況下，系統可使用影像處理技術(例如，自適應性直方圖均衡化)來增強所提取內容510D，如圖8D中所說明。圖9說明便條識別系統600之實施例的模組圖。在如所說明之實施例中，系統600包括便條捕獲模組620、便條識別模組630及便條提取模組640。可由一或多個計算裝置(包括(但不限於)電路、電腦、處理器、處理單元、微處理器及/或平板電腦)實施便條識別系統600之各種組件。在一些狀況下，便條識別系統600之各種組件可實施於共用計算裝置上。替代性地，系統600之組件可實施於多個計算裝置上。在一些實施中，系統600之各種模組及組件可實施為軟體、硬體、韌體或其組合。在一些狀況下，便條識別系統600之各種組件可實施於由計算裝置執行之軟體或韌體中。另外，系統600之各種組件可經由通信介面(例如，有線或無線介面)進行通信或經由通信介面而耦接。便條捕獲模組620經組態以捕獲複數個便條之視覺表示。在一些實施例中，便條捕獲模組620包括影像感測器。便條識別模組630耦接至便條捕獲模組620，便條識別模組經組態以接收所捕獲之視覺表示，且自所捕獲之視覺表示判定複數個便條中之一者的整體邊界。便條提取模組640經組態以基於複數個便條中之一者的所判定整體邊界而自所捕獲之視覺表示提取複數個便條中之一者的內容。在一些實施例中，便條識別系統600包括經組態以鑑認複數個便條之便條鑑認模組650。在一些狀況下，複數個便條中之至少一些具有標示。標示可用於促進識別、提取及鑑認便條。舉例而言，便條鑑認模組650可自便條之標示獲得鑑認信號，並基於鑑認信號來確認該鑑認。在一些狀況下，便條鑑認模組650耦接至便條識別模組630，且將鑑認資訊提供至便條識別模組630。在一些實施例中，便條識別模組630及便條提取模組640可執行圖6B中及相關論述中所說明之步驟。在一些實施例中，便條識別/管理系統可使用多個識別演算法來識別便條並提取便條之內容，諸如色彩識別、形狀識別及圖案識別。舉例而言，對於色彩識別，系統可使用諸如RGB、HSV、CIELAB等之色彩空間以識別對應於便條之所關注區。在一些狀況下，以其形狀及歸因於存在分別由形狀識別演算法(例如，Hough變換、形狀上下文等)及圖案識別演算法(例如，支援向量機、交叉相關、模板匹配等)偵測到之唯一圖案而進一步區別便條。此等演算法有助於濾除視覺表示或便條內容之其他源中不合需要之物件，並僅留下對應於便條之彼等所關注區。在一些實施例中，便條可包括使用螢光物質(諸如，可列印墨水或可塗佈染料)製成之標示。舉例而言，可在便條之書寫表面上以螢光墨水列印諸如標識之基準標示。適當光源將激發螢光材料。舉例而言，行動手持式裝置之白色LED(發光二極體)可能夠使用LED輸出頻譜之有效藍色波長分量而激發螢光團。在一實施例中，螢光染料可塗佈於便條之書寫表面上，或包括於製造便條之材料中。在此實施例中，螢光染料不僅可提供對品牌產品之確認，亦可改良便條上之書寫資訊與便條自身之背景之間的對比度。此標示可促進識別及區段由影像感測器所產生之視覺表示上的便條。在便條由具有螢光染料之紙張製成的狀況下，所捕獲視覺表示可具有較好可讀性。取決於用於螢光物質之激發波長範圍及發螢光波長範圍，可使用額外光學設備(諸如，濾波器)連同影像感測器(例如，攝影機)以改良偵測。圖10A說明便條管理系統之實施例的流程圖。首先，系統自多個源接收複數個便條(步驟710A)。舉例而言，便條管理系統可自攝影機或智慧型手機接收數個便條之影像的集合，並接收自遠端位置所拍攝的數個便條之影像的另一集合。作為另一實例，便條管理系統可接收由視訊記錄裝置所拍攝的數個便條之視覺表示(例如，視訊)，及經由膝上型電腦所鍵入的便條之文字流。在一些實施例中，多個源為自不同裝置(例如，攝影機、掃描器、電腦等)所獲得的便條內容之源。接著，系統識別複數個便條中之一者(步驟720A)。系統提取複數個便條之內容(步驟730A)。在一些實施例中，一些便條包括便條上之標示(例如，色塊、色碼、條碼等)，且便條之一源為便條中之一些的視覺表示。在一些狀況下，識別步驟包括自視覺表示識別便條上之標示，且接著基於所識別標示判定便條之整體邊界。在此等狀況中之一些下，提取步驟包括基於所識別標示、便條之已知形狀及便條上之標示的已知相對位置而提取內容。在一些狀況下，在提取複數個便條之內容之後，系統可使複數個便條中之每一者與唯一識別符相關聯(步驟740A)。系統可藉由類別標記複數個便條中之每一者(步驟750A)。下文較詳細地論述標記步驟。另外，系統可在識別便條之前首先鑑認便條。視情況，系統可在顯示器上呈現複數個便條之內容(步驟760A)。在一些實施例中，系統可藉由指示便條之類別的輸出欄位而呈現複數個便條之所提取內容。在一些實施中，系統可在呈現便條時使用便條之類別資訊(例如，在群組中展示一類別之便條)。圖10B說明系統可標記便條之方式的實例。在一實施例中，便條管理系統可基於偵測到之信號標記便條(710B)。舉例而言，便條可具有包括條碼之標示；系統可讀取條碼並基於條碼標記便條。在一些狀況下，系統可基於所識別標示標記便條(720B)。舉例而言，標示可包括圖示、標識、經著色區塊或指示特定群組之其他圖形符號。系統可進一步基於其內容標記便條(730B)。在一些狀況下，系統可基於歷史資料及/或預測性模型標記便條(740B)。在一些其他狀況下，系統可藉由使用者輸入標記便條(750B)。便條管理系統可使用一或多個方法來標記便條。系統亦可使用圖10B中未列出之其他方法來標記便條，例如基於便條之形狀標記便條。另外，在一些狀況下，便條可與一個以上類別相關聯。圖11說明便條管理系統800之模組圖。在如所說明之實施例中，系統800包括一或多個便條源820、便條識別模組830、便條提取模組840及便條標記模組860。可由一或多個計算裝置(包括(但不限於)電路、電腦、處理器、處理單元、微處理器及/或平板電腦)實施便條管理系統800之各種組件。在一些狀況下，便條管理系統800之各種組件可實施於共用計算裝置上。替代性地，系統800之組件可實施於多個計算裝置上。在一些實施中，系統800之各種模組及組件可實施為軟體、硬體、韌體或其組合。在一些狀況下，便條管理系統800之各種組件可實施於由計算裝置執行之軟體或韌體中。另外，系統800之各種組件可經由通信介面(例如，有線或無線介面)進行通信或經由通信介面而耦接。便條源820經組態以提供複數個便條。在一些實施例中，便條源820中之一者為具有一或多個便條之場景的視覺表示。在一些狀況下，便條源820包括用於提供便條之複數個不同源，例如影像、文字流、視訊流或類似者。便條識別模組830耦接至便條源820，便條識別模組830經組態以接收視覺表示，並自視覺表示判定便條之整體邊界。便條提取模組840經組態以基於複數個便條中之一者的所判定整體邊界，自視覺表示提取複數個便條中之一者的內容。便條標記模組860經組態以藉由類別標記複數個便條中之一者。在一些實施例中，便條管理系統800包括經組態以鑑認複數個便條之便條鑑認模組850。在一些狀況下，複數個便條中之至少一些具有標示。標示可用於促進識別、提取及鑑認便條。舉例而言，便條鑑認模組850可自便條之標示獲得鑑認信號，並基於鑑認信號確認該鑑認。在一些狀況下，便條鑑認模組850耦接至便條識別模組830，且將鑑認資訊提供至便條識別模組830。在一些實施例中，便條識別模組830及便條提取模組840可執行圖6B中及相關論述中所說明之步驟。在一些實施例中，便條標記模組860可使用圖10B及相關論述中所說明之一或多個標記方法。在一些狀況下，便條可與一個以上類別相關聯。在一些實施例中，便條管理系統800可包括便條呈現模組870，便條呈現模組870經組態以收集複數個便條之內容，且根據便條之類別呈現複數個便條中之至少部分。舉例而言，便條呈現模組870可將複數個便條組織成具有相同類別之群組。作為另一實例，便條呈現模組870可添加便條之不同群組的連接線及/或箭頭。圖12A說明具有標示之分段便條的內容提取程序之實例。由成像裝置(例如，智慧型手機922A)捕獲便條910A之視覺表示920A。使用四個集合之標示912A、914A、916A及918A將便條910A分段成四個區段。該四個區段中之每一者具有對應內容，內容A 950A、內容B 960A、內容C 970A及內容D 980A。計算裝置可使用便條提取方法中之任一者來提取便條內容並將其呈現給使用者，如930A中所說明。另外，可使類別與特定標示相關聯，如924A所說明。使用類別關聯，內容項(內容A至D)與如930A中所展示之類別相關聯。圖12B說明具有色彩區段之便條910B的內容提取程序之實例。920B為由影像感測器(例如，智慧型手機922B)所捕獲的便條910B之視覺表示。使用如上文所描述之便條提取程序中之任一者提取內容集合940B(每一內容項對應於區段)。另外，取決於色彩區段之色彩，內容項可與類別相關聯，且可依據類別對呈現給使用者的內容清單進行分組，如930B中所說明。圖12C說明標示板910D以提取分段內容之例示性情境。標示915D附接至板910D。在一些狀況下，已知標示之相對位置(例如，左上方拐角、右下方拐角)並將其用於提取內容。可使用(例如，表5中所列出之偽碼)提取內容項920D、930D、940D及950D，其中標示915D識別為限界方框。表5. 用於提取內容之偽碼

在提供用於自板上之自由流動論述提取內容之方法方面，此簡單演算法可係極有效的。圖13A及圖13B說明使用色彩分類演算法提取經著色便條之實例。圖13A說明具有不同色彩之便條的視覺表示1000A，其中Y表示黃色、M表示洋紅色，且B表示藍色。圖13B表示使用(例如，表2中所列出之偽碼)自視覺表示提取所有黃色便條1000B。不應將本發明視為限於上文所描述之特定實例及實施例，此係由於詳細描述此等實施例以促進解釋本發明之各種態樣。實情為，應將本發明理解為涵蓋本發明之所有態樣，包括屬於如由所附申請專利範圍及其等效物所定義的本發明之精神及範疇內的各種修改、等效程序及替代裝置。

10‧‧‧便條識別環境12‧‧‧雲端伺服器14‧‧‧電腦系統15‧‧‧行動裝置16‧‧‧行動裝置18‧‧‧影像捕獲裝置20‧‧‧工作區22‧‧‧實體便條26‧‧‧使用者28‧‧‧呈現裝置64‧‧‧作業系統68‧‧‧資料儲存器/儲存裝置70‧‧‧可程式化處理器72‧‧‧傳輸器74‧‧‧接收器76‧‧‧I/O77‧‧‧使用者應用程式78‧‧‧便條管理應用程式79‧‧‧圖形使用者介面(GUI)82‧‧‧影像處理引擎86‧‧‧便條識別模組88‧‧‧數位便條產生模組90‧‧‧影像通信模組94‧‧‧資料庫95‧‧‧影像處理API96‧‧‧影像編輯器97‧‧‧輸入影像98‧‧‧使用者介面99‧‧‧數位便條100A‧‧‧便條識別系統100B‧‧‧便條管理系統110‧‧‧處理單元120‧‧‧便條130‧‧‧感測器140‧‧‧便條內容儲存庫150‧‧‧便條源160‧‧‧呈現裝置200A‧‧‧便條200B‧‧‧便條200C‧‧‧便條200D‧‧‧影像200E‧‧‧便條200F‧‧‧便條200G‧‧‧便條210A‧‧‧元素210B‧‧‧元素210C‧‧‧元素210D‧‧‧便條210E‧‧‧區段210F‧‧‧區段210G‧‧‧區段210H‧‧‧標示212D‧‧‧便條214D‧‧‧便條220A‧‧‧元素220B‧‧‧元素220D‧‧‧便條220E‧‧‧區段220F‧‧‧區段220G‧‧‧區段220H‧‧‧標示222D‧‧‧便條224D‧‧‧便條230B‧‧‧元素230D‧‧‧便條230E‧‧‧區段230F‧‧‧區段230G‧‧‧區段232D‧‧‧便條234D‧‧‧便條240B‧‧‧元素240D‧‧‧便條240E‧‧‧區段240F‧‧‧區段240G‧‧‧區段242D‧‧‧便條244D‧‧‧便條260G‧‧‧螢光筆310A‧‧‧步驟310B‧‧‧步驟310C‧‧‧步驟310D‧‧‧步驟310E‧‧‧步驟310F‧‧‧步驟310G‧‧‧步驟315D‧‧‧步驟317D‧‧‧步驟320A‧‧‧步驟320B‧‧‧步驟320C‧‧‧步驟320D‧‧‧步驟320E‧‧‧步驟320F‧‧‧步驟320G‧‧‧步驟325D‧‧‧步驟330A‧‧‧步驟330B‧‧‧步驟330C‧‧‧步驟330D‧‧‧步驟330E‧‧‧步驟330F‧‧‧步驟330G‧‧‧步驟335D‧‧‧步驟340B‧‧‧步驟340E‧‧‧步驟340F‧‧‧步驟340G‧‧‧步驟350B‧‧‧步驟350D‧‧‧步驟350E‧‧‧步驟350F‧‧‧步驟350G‧‧‧步驟355D‧‧‧步驟360B‧‧‧步驟360D‧‧‧步驟360E‧‧‧步驟360F‧‧‧步驟360G‧‧‧步驟365D‧‧‧步驟370E‧‧‧步驟400‧‧‧視覺表示410‧‧‧便條420‧‧‧標示430‧‧‧整體邊界500A‧‧‧視覺表示500B‧‧‧視覺表示510A‧‧‧便條510C‧‧‧便條510D‧‧‧所提取內容520‧‧‧標示600‧‧‧便條識別系統620‧‧‧便條捕獲模組630‧‧‧便條識別模組640‧‧‧便條提取模組650‧‧‧便條鑑認模組710A‧‧‧步驟720A‧‧‧步驟730A‧‧‧步驟740A‧‧‧步驟750A‧‧‧步驟760A‧‧‧步驟800‧‧‧便條管理系統820‧‧‧便條源830‧‧‧便條識別模組840‧‧‧便條提取模組850‧‧‧便條鑑認模組860‧‧‧便條標記模組870‧‧‧便條呈現模組910A‧‧‧便條910B‧‧‧便條910D‧‧‧板912A‧‧‧標示914A‧‧‧標示915D‧‧‧標示916A‧‧‧標示918A‧‧‧標示920A‧‧‧視覺表示920B‧‧‧視覺表示920D‧‧‧內容項922A‧‧‧智慧型手機922B‧‧‧智慧型手機930D‧‧‧內容項940B‧‧‧內容集合940D‧‧‧內容項950A‧‧‧內容A950D‧‧‧內容項960A‧‧‧內容B970A‧‧‧內容C980A‧‧‧內容D1000A‧‧‧視覺表示1000B‧‧‧黃色便條

隨附圖式併入於本說明書中且構成本說明書之部分，且連同描述一起解釋本發明之優勢及原理。圖1為說明使用者使用行動裝置上之影像捕獲裝置捕獲具有便條之工作區之影像的一實例之表示。圖2為說明行動裝置之一實例的方塊圖。圖3為說明用以處理輸入影像之使用者應用程式的一實例之方塊圖。圖4A說明便條識別系統之實施例。圖4B說明便條管理系統之實施例。圖5A至圖5D說明具有標示之便條的一些實例。圖5E至圖5F說明具有區段之便條的一些實例。圖5G說明使用標示產生便條之區段的實例。圖5H說明標示之實例。圖6A說明便條識別及/或管理系統之實施例的流程圖。圖6B說明提取便條之內容的實施例之流程圖。圖6C說明鑑認便條之實施例的流程圖。圖6D說明使用色彩分類演算法提取便條或便條區段之內容的實施例之功能流程圖。圖6E說明使用色彩分類演算法提取具有三個不同色彩的便條或便條區段之內容的實例之功能流程圖。圖6F說明自具有區段之便條提取內容集合的實施例之功能流程圖。圖6G說明對便條進行分段並提取區段之內容集合的實施例之功能流程圖。圖7A至圖7D說明具有標示之便條的內容提取程序之實例。圖8A至圖8D說明具有回向反射式標示之複數個便條的內容提取之實施例。圖9說明便條識別系統之實施例的模組圖。圖10A說明便條管理系統之實施例的流程圖。圖10B說明系統可標記便條之方式的實例。圖11說明便條管理系統之實施例的模組圖。圖12A說明具有標示之分段便條的內容提取程序之實例。圖12B說明具有色彩區段之便條的內容提取程序之實例。圖12C說明標示白板以提取分段內容之例示性情境。圖13A及圖13B說明使用色彩分類演算法提取經著色便條之實例。圖14說明分類值與色彩之曲線圖。

310D‧‧‧步驟

315D‧‧‧步驟

317D‧‧‧步驟

320D‧‧‧步驟

325D‧‧‧步驟

330D‧‧‧步驟

335D‧‧‧步驟

350D‧‧‧步驟

355D‧‧‧步驟

360D‧‧‧步驟

365D‧‧‧步驟

Claims

一種使用具有一或多個處理器及記憶體之一電腦系統提取(extracting)便條內容之方法，其包含：接收包含一場景(scene)的一視覺表示(visual representation)的影像資料(image data)，該場景具有至少一個實體便條(physical note)，該至少一個實體便條具有一色彩和一標示(mark)；由該一或多個處理器產生複數個指示符(indicator)，每一指示符指示該影像資料中之一各別像素或一像素群組的一色類(color class)且係基於該像素或該像素群組之色彩值(color values)；基於該複數個指示符從該視覺表示識別該標示；基於該標示及該複數個指示符，由該一或多個處理器判定該至少一個實體便條在該影像資料內的一整體邊界(general boundary)；及由該一或多個處理器使用該整體邊界自該影像資料提取該至少一個實體便條的內容。
如請求項1之方法，其中該產生步驟包含將一函數應用於該像素或該像素群組之該等色彩值，且產生一函數輸出作為一指示符。
如請求項2之方法，其中該函數為一線性判別(linear discriminant)函數。
如請求項2之方法，其中該函數為一二次(quadratic)判別函數。
如請求項1之方法，其進一步包含：由該一或多個處理器將該影像資料轉換至LAB色彩空間，其中該像素或該像素群組中之每一者與L、a及b值相關聯。
如請求項5之方法，其中該產生步驟包含比較該像素或該像素群組之該b值與一預定臨限值。
如請求項6之方法，其中該預定臨限值與一色彩有關。
如請求項1之方法，其中該視覺表示為該影像資料。
如請求項1之方法，其中該判定步驟包含對具有一相同指示符之鄰近(dajacent)像素進行分組(grouping)且形成一區。
如請求項1之方法，其中該等所產生指示符包含一數字、一形狀、一代碼、一灰度值(grayscale value)、一色彩值及一符號中之至少一者。
如請求項1之方法，其中該判定步驟包含基於該經識別標示以及在該至少一個實體便條中的該標示的一已知相對位置判定該至少一個實體便條的該整體邊界。
如請求項1之方法，其中該標示包含一符號。
如請求項12之方法，其進一步包含：由該一或多個處理器從該經識別標示辨認該符號；及由該一或多個處理器基於該經辨認符號鑑認該至少一個實體便條。
如請求項13之方法，其中該提取步驟包含若該至少一個實體便條被鑑認則提取該至少一個實體便條的該內容。
一種具有一或多個處理器及記憶體之便條識別系統(note recognition system)，其包含：一便條識別模組(note recognition module)，其執行於該一或多個處理器且經組態以接收影像資料，該影像資料捕獲具有至少一個實體便條(physical note)之一場景的一視覺表示(visual representation)，該至少一個實體便條具有一色彩及一標示，其中該便條識別模組進一步經組態以產生複數個指示符，每一指示符指示該影像資料內之一像素或一像素群組之一色類且係基於該像素或該像素群組之色彩值；及一便條提取模組，其執行於該一或多個處理器且經組態以基於該複數個指示符識別該標示，基於該複數個指示符與該經識別標示判定該至少一個實體便條在該影像資料內的一整體邊界，且使用該經判定整體邊界提取該至少一個實體便條的內容。
如請求項15之便條識別系統，其中該便條識別模組進一步經組態以將一函數應用於該像素或該像素群組之該等色彩值，且產生一函數輸出作為一指示符。
如請求項15之便條識別系統，其中該便條識別模組進一步經組態以接收訓練影像之一集合，且使用該等訓練影像以獲得該函數之係數。
如請求項15之便條識別系統，其中該便條提取模組進一步經組態以對具有一相同指示符之鄰近像素進行分組，且形成一區。
如請求項15之便條識別系統，其中該等所產生指示符包含一數字、一形狀、一代碼、一灰度值、一色彩值及一符號中之至少一者。
如請求項15之便條識別系統，其中該便條提取模組進一步經組態以基於該經識別標示以及在該至少一個實體便條中的該標示的一已知相對位置判定該至少一個實體便條的該整體邊界。
如請求項15之便條識別系統，其中該標示包含一條碼、一色塊、一色碼、一圖案、一基準(fiduciary)標示、一商標標識、一點及一孔之至少一者。
如請求項15之便條識別系統，其中該標示包含一符號。
如請求項15之便條識別系統，其中該標示係使用逆向反射式(retroreflective)材料、光學可變墨水、經著色墨水、紅外線吸收墨水、螢光墨水、水印、光滑(glossy)材料、閃光(iridescent)材料、穿孔標示、結構化色彩、浮動影像及窗紗線之至少一者製成。
如請求項15之便條識別系統，其中該色彩係白色，且該標示包含非白色之一標示色彩。
如請求項22之便條識別系統，其進一步包含：一便條鑑認模組，其執行於該一或多個處理器且經組態以辨認來自該經識別標示之該符號；且基於該經辨認符號鑑認該至少一個實體便條。
如請求項25之便條識別系統，其中該便條提取模組經組態以：若該至少一個實體便條被鑑認則提取該至少一個實體便條的該內容。
一種使用具有一或多個處理器及記憶體之一電腦系統提取便條內容之方法，其包含：接收含有一場景的一視覺表示之影像資料，該場景具有複數個便條，該複數個便條中之每一者具有一色彩；由該一或多個處理器產生複數個指示符，每一指示符指示該影像資料中之一各別像素或一像素群組的一色類且係基於該像素或該像素群組之色彩值；基於該複數個指示符，由該一或多個處理器判定該複數個便條中之一者在該影像資料內的一內容位置；及由該一或多個處理器使用該內容位置自該影像資料提取該複數個便條中之該一者的內容。
如請求項27之方法，其中該產生步驟包含將一函數應用於該像素或該像素群組之該等色彩值，且產生一函數輸出作為一指示符。
如請求項28之方法，其中該函數為一線性判別函數。
如請求項27之方法，其進一步包含：產生表示已判定該內容位置之該複數個便條中之該一者的一數位便條；及使自該影像資料所提取之該內容與該數位便條相關聯。
如請求項27之方法，其進一步包含：由該一或多個處理器將該影像資料轉換至LAB色彩空間，其中該像素或該像素群組中之每一者與L、a及b值相關聯。
如請求項31之方法，其中該產生步驟包含比較該像素或該像素群組之該b值與一預定臨限值。
如請求項32之方法，其中該預定臨限值與一色彩有關。
如請求項27之方法，其中該視覺表示為該影像資料。
如請求項27之方法，其中該判定步驟包含對具有一相同指示符之鄰近像素進行分組且形成一區。
如請求項27之方法，其中該等所產生指示符包含一數字、一形狀、一代碼、一灰度值、一色彩值及一符號中之至少一者。
一種具有一或多個處理器及記憶體之便條識別系統，其包含：一便條識別模組，其經組態以接收影像資料，該影像資料捕獲具有複數個便條之一場景的一視覺表示，該複數個便條中之每一者具有一色彩，其中該便條識別模組進一步經組態以產生複數個指示符，每一指示符指示該影像資料內之一像素或一像素群組之一色類且係基於該像素或該像素群組之色彩值；及一便條提取模組，其經組態以基於該複數個指示符判定該複數個便條中之一者在該影像資料內的一內容位置，且使用該複數個便條中之該一者的該所判定內容位置提取該複數個便條中之該一者的內容。
如請求項37之便條識別系統，其中該便條識別模組進一步經組態以將一函數應用於該像素或該像素群組之該等色彩值，且產生一函數輸出作為一指示符。
如請求項37之便條識別系統，其中該便條識別模組進一步經組態以接收訓練影像之一集合，且使用該等訓練影像以獲得該函數之係數。
如請求項37之便條識別系統，其中該便條提取模組進一步經組態以對具有一相同指示符之鄰近像素進行分組，且形成一區。
如請求項37之便條識別系統，其中該等所產生指示符包含一數字、一形狀、一代碼、一灰度值、一色彩值及一符號中之至少一者。
如請求項37之便條識別系統，其中該視覺表示為該影像。
如請求項37之方法，其中該影像資料包含一影像、複數個影像或視訊資料中之至少一者。
一種非暫時性電腦可讀儲存裝置，其包含使得一可程式化處理器進行如下操作之指令：接收含有一場景的一視覺表示之影像資料，該場景具有複數個實體便條，該複數個實體便條中之每一者具有一色彩；由該一或多個處理器產生複數個指示符，每一指示符指示該影像資料內之一或多個像素的色彩值之一色類；基於該複數個指示符，判定該複數個實體便條中之一第一實體便條在該影像資料內的一內容位置；使用該內容位置自該影像資料提取該第一實體便條之內容；產生表示該第一實體便條之一數位便條；及使自該影像資料所提取之該內容與該數位便條相關聯。
如請求項44之電腦可讀儲存裝置，其中該等指令使得該可程式化處理器進行如下操作：產生對應於該第一實體便條之該數位便條作一資料庫內之一記錄，以儲存與該實體便條相關聯之屬性，及更新該資料庫內之該記錄以使該各別記錄與該內容相關聯。
如請求項45之電腦可讀儲存裝置，其中該等指令使得該可程式化處理器進行如下操作：基於該影像資料，基於該第一實體便條之至少一屬性判定該第一實體便條之一群組；及更新該資料庫內之該各別記錄以使該數位便條與該群組相關聯。