TWI626600B - 自便條提取內容的方法、便條管理系統及非暫時性電腦可讀儲存裝置 - Google Patents

自便條提取內容的方法、便條管理系統及非暫時性電腦可讀儲存裝置 Download PDF

Info

Publication number
TWI626600B
TWI626600B TW103123715A TW103123715A TWI626600B TW I626600 B TWI626600 B TW I626600B TW 103123715 A TW103123715 A TW 103123715A TW 103123715 A TW103123715 A TW 103123715A TW I626600 B TWI626600 B TW I626600B
Authority
TW
Taiwan
Prior art keywords
note
color
content
notes
physical
Prior art date
Application number
TW103123715A
Other languages
English (en)
Other versions
TW201516889A (zh
Inventor
黛安 瑞多特 渥克
古魯帕賽德 索瑪桑德朗
克莉絲汀 艾琳 摩倫
理查 詹姆士 摩爾
大衛 毛利斯 瑪里
Original Assignee
３Ｍ新設資產公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ３Ｍ新設資產公司 filed Critical ３Ｍ新設資產公司
Publication of TW201516889A publication Critical patent/TW201516889A/zh
Application granted granted Critical
Publication of TWI626600B publication Critical patent/TWI626600B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document

Abstract

本發明描述用於產生及操縱表示實體便條之軟體便條的技術。一種便條管理系統包含：一便條辨識模組，其經組態以接收捕獲具有複數個色彩區段之一便條的影像資料，其中該便條辨識模組進一步經組態以產生複數個指示符，每一指示符指示該影像資料內之一像素或一像素群組的一色類且係基於該像素或該像素群組之色彩值；及一便條提取模組，其經組態以基於該複數個指示符判定該便條之該等色彩區段的整體邊界，且使用該等整體邊界提取內容，該內容包含複數個內容項，該等內容項中之每一者對應於該便條之該等色彩區段中之一者。

Description

自便條提取內容的方法、便條管理系統及非暫時性電腦可讀儲存裝置
本申請案主張2013年7月9日申請的美國臨時申請案第61/844,140號、第61/844,152號及第61/844,176號之權利，每一申請案之全部內容以引用的方式併入本文中。
本發明係關於便條內容捕獲、辨識、提取及/或管理工具及系統。
實體便條已廣泛用於記錄、分享及傳達構想及資訊。舉例而言，在共同作業工作階段(例如，腦力激盪工作階段)期間，參與者在Post-It®便條、白板或紙張上寫下構想，且接著彼此分享。另外，人們通常整天使用便條，以記住個人並不想要忘記之資訊或內容。作為額外實例，人們頻繁地將便條用作在未來採取之動作或事件的提醒，諸如進行電話呼叫、修正文件或填寫時間表。
舉例而言，在許多情況下，人們藉由在基於紙張之便條(諸如，Post-it®便條)上書寫資訊而參與至共同作業工作階段中。可容易地自背黏式紙張Post-it®便條之施配器襯墊移除紙張Post-it®便條，並將其應用於各種表面，諸如白板、文件、書桌頂部、電話或類似者。可在自其施配器襯墊分離紙張Post-it®便條或將其附接至其目標表面之前抑或之後，將資訊書寫於紙張Post-it®便條上。可將紙張Post-it®便條 自一表面容易地移動至另一表面(諸如，在文件之間或文件與書桌頂部之間)、該等便條可與文件之邊緣或邊界重疊、其可分層，且其可隨其所附接至之物件而移動。
當前存在准許電腦使用者以數位形式產生基於軟體之便條，並在計算環境內利用數位便條之軟體程式。舉例而言，電腦使用者可產生數位便條，並將數位便條「附接」至電子文件、桌上型電腦或由計算環境所呈現之電子工作區。
大體而言，本發明描述用於產生及操縱表示實體便條之軟體便條的技術。
在一實例中，一種方法包含：由一或多個處理器接收包含具有複數個色彩區段之一便條的一視覺表示之影像資料；及由該一或多個處理器產生複數個指示符，每一指示符指示該影像資料中之一各別像素或一像素群組之一色類且係基於該像素或該像素群組之色彩值。該方法進一步包含：由該一或多個處理器基於所產生之該複數個指示符判定該等色彩區段在該影像資料內之整體邊界；及由該一或多個處理器使用該等整體邊界且自該影像資料提取包含多個內容項之一集合的內容，該等內容項中之每一者對應於該便條之該等色彩區段中之一不同者。
在另一實例中，一種便條管理系統包含：一便條辨識模組，其經組態以接收捕獲具有複數個色彩區段之一便條的影像資料，其中該便條辨識模組進一步經組態以產生複數個指示符，每一指示符指示該影像資料內之一像素或一像素群組之一色類且係基於該像素或該像素群組之色彩值；及一便條提取模組，其經組態以基於該複數個指示符判定該便條之該等色彩區段的整體邊界，且使用該等整體邊界提取內容，該內容包含複數個內容項，該等內容項中之每一者對應於該便條 之該等色彩區段中之一者。
在另一實例中，一種非暫時性電腦可讀儲存裝置包含使得一可程式化處理器進行如下操作之指令：接收含有具有複數個實體便條之一場景的一視覺表示之影像資料，該複數個實體便條中之每一者具有複數個色彩區段。該等指令使得該處理器進行如下操作：由該一或多個處理器產生複數個指示符，每一指示符指示該影像資料內之一或多個像素的色彩值之一色類；處理該影像資料以基於該複數個指示符判定該複數個實體便條中之一第一實體便條在該影像資料內的一邊界；及處理該影像資料以基於該等指示符及該實體便條之該邊界判定該第一實體便條之該等色彩區段中之每一者的邊界。該等指令使得該處理器進行如下操作：使用該實體便條之該等色彩區段中之每一者的該等邊界自該影像資料提取該第一實體便條之該等色彩區段中之每一者的各別內容；產生表示該第一實體便條之一數位便條，該數位便條具有指示該實體便條之該等色彩區段中之每一者的資料；及使自該影像資料所提取的該等各別內容項與該數位便條之該等對應色彩區段相關聯。
10‧‧‧便條辨識環境
12‧‧‧雲端伺服器
14‧‧‧電腦系統
15‧‧‧行動裝置
16‧‧‧行動裝置
18‧‧‧影像捕獲裝置
20‧‧‧工作區
22‧‧‧實體便條
26‧‧‧使用者
28‧‧‧呈現裝置
64‧‧‧作業系統
68‧‧‧資料儲存器/儲存裝置
70‧‧‧可程式化處理器
72‧‧‧傳輸器
74‧‧‧接收器
76‧‧‧I/O
77‧‧‧使用者應用程式
78‧‧‧便條管理應用程式
79‧‧‧圖形使用者介面(GUI)
82‧‧‧影像處理引擎
86‧‧‧便條識別模組
88‧‧‧數位便條產生模組
90‧‧‧影像通信模組
94‧‧‧資料庫
95‧‧‧影像處理API
96‧‧‧影像編輯器
97‧‧‧輸入影像
98‧‧‧使用者介面
99‧‧‧數位便條
100A‧‧‧便條辨識系統
100B‧‧‧便條管理系統
110‧‧‧處理單元
120‧‧‧便條
130‧‧‧感測器
140‧‧‧便條內容儲存庫
150‧‧‧便條源
160‧‧‧呈現裝置
200A‧‧‧便條
200B‧‧‧便條
200C‧‧‧便條
200D‧‧‧影像
200E‧‧‧便條
200F‧‧‧便條
200G‧‧‧便條
210A‧‧‧元素
210B‧‧‧元素
210C‧‧‧元素
210D‧‧‧便條
210E‧‧‧區段
210F‧‧‧區段
210G‧‧‧區段
210H‧‧‧標示
212D‧‧‧便條
214D‧‧‧便條
220A‧‧‧元素
220B‧‧‧元素
220D‧‧‧便條
220E‧‧‧區段
220F‧‧‧區段
220G‧‧‧區段
220H‧‧‧標示
222D‧‧‧便條
224D‧‧‧便條
230B‧‧‧元素
230D‧‧‧便條
230E‧‧‧區段
230F‧‧‧區段
230G‧‧‧區段
232D‧‧‧便條
234D‧‧‧便條
240B‧‧‧元素
240D‧‧‧便條
240E‧‧‧區段
240F‧‧‧區段
240G‧‧‧區段
242D‧‧‧便條
244D‧‧‧便條
260G‧‧‧螢光筆
310A‧‧‧步驟
310B‧‧‧步驟
310C‧‧‧步驟
310D‧‧‧步驟
310E‧‧‧步驟
310F‧‧‧步驟
310G‧‧‧步驟
315D‧‧‧步驟
317D‧‧‧步驟
320A‧‧‧步驟
320B‧‧‧步驟
320C‧‧‧步驟
320D‧‧‧步驟
320E‧‧‧步驟
320F‧‧‧步驟
320G‧‧‧步驟
325D‧‧‧步驟
330A‧‧‧步驟
330B‧‧‧步驟
330C‧‧‧步驟
330D‧‧‧步驟
330E‧‧‧步驟
330F‧‧‧步驟
330G‧‧‧步驟
335D‧‧‧步驟
340B‧‧‧步驟
340E‧‧‧步驟
340F‧‧‧步驟
340G‧‧‧步驟
350B‧‧‧步驟
350D‧‧‧步驟
350E‧‧‧步驟
350F‧‧‧步驟
350G‧‧‧步驟
355D‧‧‧步驟
360B‧‧‧步驟
360D‧‧‧步驟
360E‧‧‧步驟
360F‧‧‧步驟
360G‧‧‧步驟
365D‧‧‧步驟
370E‧‧‧步驟
400‧‧‧視覺表示
410‧‧‧便條
420‧‧‧標示
430‧‧‧整體邊界
500A‧‧‧視覺表示
500B‧‧‧視覺表示
510A‧‧‧便條
510C‧‧‧便條
510D‧‧‧所提取內容
520‧‧‧標示
600‧‧‧便條辨識系統
620‧‧‧便條捕獲模組
630‧‧‧便條辨識模組
640‧‧‧便條提取模組
650‧‧‧便條鑑認模組
710A‧‧‧步驟
720A‧‧‧步驟
730A‧‧‧步驟
740A‧‧‧步驟
750A‧‧‧步驟
760A‧‧‧步驟
800‧‧‧便條管理系統
820‧‧‧便條源
830‧‧‧便條辨識模組
840‧‧‧便條提取模組
850‧‧‧便條鑑認模組
860‧‧‧便條標記模組
870‧‧‧便條呈現模組
910A‧‧‧便條
910B‧‧‧便條
910D‧‧‧板
912A‧‧‧標示
914A‧‧‧標示
915D‧‧‧標示
916A‧‧‧標示
918A‧‧‧標示
920A‧‧‧視覺表示
920B‧‧‧視覺表示
920D‧‧‧內容項
922A‧‧‧智慧型手機
922B‧‧‧智慧型手機
930D‧‧‧內容項
940B‧‧‧內容集合
940D‧‧‧內容項
950A‧‧‧內容A
950D‧‧‧內容項
960A‧‧‧內容B
970A‧‧‧內容C
980A‧‧‧內容D
1000A‧‧‧視覺表示
1000B‧‧‧黃色便條
隨附圖式併入於本說明書中且構成本說明書之部分，且連同描述一起解釋本發明之優勢及原理。
圖1為說明使用者使用行動裝置上之影像捕獲裝置捕獲具有便條之工作區之影像的一實例之表示。
圖2為說明行動裝置之一實例的方塊圖。
圖3為說明用以處理輸入影像之使用者應用程式的一實例之方塊圖。
圖4A說明便條辨識系統之實施例。
圖4B說明便條管理系統之實施例。
圖5A至圖5D說明具有標示之便條的一些實例。
圖5E至圖5F說明具有區段之便條的一些實例。
圖5G說明使用標示產生便條之區段的實例。
圖5H說明標示之實例。
圖6A說明便條辨識及/或管理系統之實施例的流程圖。
圖6B說明提取便條之內容的實施例之流程圖。
圖6C說明鑑認便條之實施例的流程圖。
圖6D說明使用色彩分類演算法提取便條或便條區段之內容的實施例之功能流程圖。
圖6E說明使用色彩分類演算法提取具有三個不同色彩的便條或便條區段之內容的實例之功能流程圖。
圖6F說明自具有區段之便條提取內容集合的實施例之功能流程圖。
圖6G說明對便條進行分段並提取區段之內容集合的實施例之功能流程圖。
圖7A至圖7D說明具有標示之便條的內容提取程序之實例。
圖8A至圖8D說明具有回向反射式標示之複數個便條的內容提取之實施例。
圖9說明便條辨識系統之實施例的模組圖。
圖10A說明便條管理系統之實施例的流程圖。
圖10B說明系統可標記便條之方式的實例。
圖11說明便條管理系統之實施例的模組圖。
圖12A說明具有標示之分段便條的內容提取程序之實例。
圖12B說明具有色彩區段之便條的內容提取程序之實例。
圖12C說明標示白板以提取分段內容之例示性情境。
圖13A及圖13B說明使用色彩分類演算法提取經著色便條之實 例。
圖14說明分類值與色彩之曲線圖。
本發明描述用於產生及操縱表示實體便條之軟體便條的技術。舉例而言，描述用於辨識呈現於實體環境內之實體便條、自其捕獲資訊並產生實體便條之對應數位表示(在本文中被稱作數位便條或基於軟體之便條)的技術。另外，本發明之至少一些態樣係關於用於管理多個便條之技術，諸如儲存、擷取、編輯數位便條、對數位便條進行分類及分組或類似者。
便條已廣泛用於記錄、分享及傳達構想及資訊。舉例而言，在共同作業工作階段期間(例如，腦力激盪工作階段)，參與者在Post-ItTM便條、白板或紙張上寫下構想，且接著彼此分享。本發明之至少一些態樣係針對捕獲多個便條及提取便條內容之系統及方法。在一些實施例中，便條中之至少一些包括促進辨識及提取便條之標示。在一些狀況下，在場景之一視覺表示中捕獲並識別/辨識便條。舉例而言，場景之視覺表示可為來自便條及周圍環境之視訊的數位相片或靜態圖框。另外，本發明之至少一些態樣係針對管理多個便條(諸如，儲存及擷取便條、對便條進行分類及分組或類似者)之系統及方法。在一些狀況下，便條管理系統可改良捕獲大量便條並自該等便條提取便條內容之效率。另外，便條管理系統可改良分組及管理便條之效率。
大體而言，便條可包括實體便條及數位便條。實體便條大體上係指具有整體邊界及可辨識內容之物件。實體便條可包括在人們書寫、繪畫或在物件(例如，紙張、白板或接受輸入之其他物件)上經由其他類型之輸入鍵入之後所得的物件。作為實例，實體便條可包括手寫式Post-ItTM便條、紙張或膠片、具有圖畫之白板、海報及告示牌。 在一些狀況下，可使用數位手段產生實體便條，例如將其列印至可列印Post-ItTM便條或經列印文件上。在一些狀況下，一物件可包括若干便條。舉例而言，若干構想可書寫於一張海報紙張或白板上。在一些實施中，為促進對此等便條之辨識，可將標示(諸如，線、形狀、色彩、符號、標示物或貼紙)應用於便條之邊緣。實體便條可係二維或三維的。實體便條可具有各種形狀及大小。舉例而言，實體便條可為7.62cm×7.62cm(3吋×3吋)便條；實體便條可為66.04cm×99.06cm(26吋×39吋)海報；且實體便條可為三角形金屬告示牌。在一些狀況下，實體便條具有符合標準(諸如，法定、A3、A4及其他大小標準)之已知形狀及/或大小，且已知形狀可並不限於諸如星形、環形矩形或類似者之幾何形狀。在其他狀況下，實體便條可具有非標準化大小及/或不規則形狀。數位便條大體上係指具有資訊及/或構想之數位物件。可使用數位輸入產生數位便條。數位輸入可包括(例如)鍵盤、觸控式螢幕、數位攝影機、數位記錄裝置、觸控筆、數位筆或類似者。在一些狀況下，數位便條可表示實體便條。
在一些狀況下，便條用於共同作業空間中。共同作業空間大體上係指允許一個以上個人彼此分享構想及思想之聚集區域。除聚集區域以外，共同作業空間可包括允許人員群組在遠端分享構想及思想之虛擬空間。
圖1說明便條辨識環境10之實例。在圖1之實例中，環境10包括用以自工作區20捕獲及辨識較多便條22中之一者的行動裝置15。如本文中所描述，行動裝置為一或多個軟體應用程式提供執行環境，如所描述，該等軟體應用程式可自大量實體便條(諸如，來自工作區20之便條22之集合)有效地捕獲及提取便條內容。在此實例中，便條22可為具有多個參與者之共同作業腦力激盪工作階段的結果。如所描述，行動裝置15及執行於其上之軟體可執行多種便條相關操作，包括自動 產生表示工作區20之實體便條22的數位便條。
在實例實施中，行動裝置15包括影像捕獲裝置18及呈現裝置28，以及其他組件。另外，儘管圖1中未展示，但行動裝置15可包括一或多個處理器、微處理器、內部記憶體，及/或用於執行軟體或韌體以提供本文中所描述之功能性的資料儲存器及其他電子電路。
大體而言，影像捕獲裝置18為經組態以捕獲表示工作區20及定位於其中之便條22之影像資料的攝影機或其他組件。換言之，影像資料捕獲具有複數個實體便條之環境(諸如，工作區20)的視覺表示。儘管論述為行動裝置15之攝影機，但影像捕獲裝置18可包含能夠捕獲影像資料之其他組件，諸如視訊記錄器、紅外線攝影機、CCD(電荷耦合裝置)陣列、雷射掃描器或類似者。此外，所捕獲影像資料可包括影像、視訊、一序列影像(亦即，一段時間內所拍攝及/或具有次序之多個影像)、影像集合或類似者中之至少一者，且本文中使用術語輸入影像以指各種實例類型之影像資料。
呈現裝置28可包括(但不限於)電子式可尋址顯示器，諸如液晶顯示器(LCD)，或用於與行動裝置15一起使用的其他類型之顯示裝置。在一些實施中，對於呈多種形式(例如，清單、分組成列及/或行、流程圖或類似者)之便條，行動裝置15產生用以顯示於呈現裝置28上之內容。在一些狀況下，行動裝置15可傳達用於由其他裝置(諸如，平板電腦、投影儀、電子廣告牌或其他外部裝置)呈現之顯示資訊。
如本文中所描述，行動裝置15及執行於其上之軟體提供用於產生及操縱表示實體便條22之數位便條的平台。舉例而言，大體而言，行動裝置15經組態以處理由影像捕獲裝置18所產生之影像資料，以偵測及辨識定位於工作區20內之實體便條22中之至少一者。在一些實例中，行動裝置15經組態以藉由判定便條之整體邊界而辨識便條。在辨識便條之後，行動裝置15提取一或多個便條中之至少一者的內容，其 中內容為便條22之視覺資訊。
如下文進一步所描述，行動裝置15可實施用於自動偵測及辨識實體便條22，並提取與實體便條中之每一者相關聯的資訊、內容或其他特性之技術。舉例而言，行動裝置15可允許使用者26精細粒度級地控制由行動裝置15用以偵測及辨識實體便條22之技術。作為一實例，行動裝置15可允許使用者26在基於標示物之偵測技術(其中便條22中之一或多者包括便條之表面上的實體基準標示)或非基於標示物之技術(其中未使用基準標示)之間進行選擇。
另外，行動裝置15為使用者26提供用於產生及操縱表示實體便條22之對應數位便條的經改良電子環境。作為另一實例，行動裝置15可提供允許使用者26容易地自表示與工作區20相關聯之腦力激盪活動的數位便條集合添加數位便條及/或刪除數位便條之機制。在一些實例實施中，行動裝置15提供使用者26能夠藉以記錄及管理便條22之群組之間的關係之功能性。
在一些實例實施中，行動裝置15提供使用者26能夠藉以將數位便條匯出至其他系統(諸如基於雲端之儲存庫(例如，雲端伺服器12)或其他計算裝置(例如，電腦系統14或行動裝置16))之功能性。
在圖1之實例中，將行動裝置15說明為行動電話。然而，在其他實例中，行動裝置15可為平板電腦、個人數位助理(PDA)、膝上型電腦、媒體播放器、電子書讀取器、可攜帶式計算裝置(例如，腕錶、護目鏡、手套)，或適於執行本文中所描述之技術的任何其他類型之行動或非行動計算裝置。
圖2說明說明根據本文中所描述之技術而操作的行動裝置之實例的方塊圖。出於實例之目的，將關於圖1之行動裝置15描述圖2之行動裝置。
在此實例中，行動裝置15包括為裝置之操作提供核心功能性的 各種硬體組件。舉例而言，行動裝置15包括經組態以根據可執行指令(亦即，程式碼)而操作的一或多個可程式化處理器70，該等可執行指令通常儲存於電腦可讀媒體或資料儲存器68(諸如，靜態隨機存取記憶體(SRAM)裝置或快閃記憶體裝置)中。I/O 76可包括一或多個裝置，諸如鍵盤、攝影機按鈕、電源按鈕、音量按鈕、首頁按鈕、後退按鈕、功能表按鈕，或如圖1中所描述之呈現裝置28。傳輸器72及接收器74經由如圖1中所描述之無線通信介面(諸如(但不限於)高頻射頻(RF)信號)提供與其他裝置(諸如，如圖1中所描述之雲端伺服器12、電腦系統14，或其他行動裝置16)之無線通信。行動裝置15可包括圖2中未展示之額外離散數位邏輯或類比電路。
大體而言，作業系統64執行於處理器70上，且提供用於包括便條管理應用程式78之一或多個使用者應用程式77(通常稱為「app」)的操作環境。使用者應用程式77可(例如)包含儲存於電腦可讀儲存裝置(例如，資料儲存器68)中以供處理器70執行之可執行程式碼。作為其他實例，使用者應用程式77可包含韌體或(在一些實例中)可實施於離散邏輯中。
在操作中，行動裝置15接收輸入影像資料，且根據本文中所描述之技術處理輸入影像資料。舉例而言，影像捕獲裝置18可捕獲具有複數個便條之環境(諸如，具有便條22的圖1之工作區20)的輸入影像。作為另一實例，行動裝置15可經由接收器74自外部源(諸如，雲端伺服器15、電腦系統14或行動裝置16)接收影像資料。大體而言，行動裝置15將影像資料儲存於資料儲存器68中，以用於由便條管理應用程式78及/或其他使用者應用程式77存取及處理。
如圖2中所展示，使用者應用程式77可調用作業系統64之核心功能，以輸出用於將資訊呈現給行動裝置之使用者的圖形使用者介面(GUI)79。如下文進一步所描述，便條管理應用程式78可建構並控制 GUI 79，以提供用於產生及操縱表示實體便條22之對應數位便條的經改良電子環境。舉例而言，便條管理應用程式78可建構GUI 79，以使其包括允許使用者26容易地自辨識於影像資料之所定義數位便條集合添加數位便條及/或刪除數位便條的機制。在一些實例實施中，便條管理應用程式78借助於GUI 79提供使用者26能夠藉以記錄及管理數位便條之群組之間的關係之功能性。
圖3說明說明根據本文中所描述之技術而操作的便條管理應用程式78之一實例實施的方塊圖。儘管描述為使用者應用程式77執行於行動裝置15上，但本文中所描述之實例可實施於任何計算裝置上，諸如雲端伺服器12、電腦系統14或其他行動裝置。
在此實例中，使用者應用程式78包括提供影像處理及物件辨識功能性之影像處理引擎82。影像處理引擎82可包括影像通信模組90、便條識別模組86及數位便條產生模組88。另外，影像處理引擎82包括提供用於由影像處理引擎82之其他組件使用的影像操縱功能(例如，影像定限、遮蔽、濾波、邊緣偵測及類似者)之程式庫的影像處理API 95。
大體而言，影像資料可儲存於儲存裝置68中。在此實例中，便條管理應用程式78將影像97儲存於資料儲存裝置68內。影像97中之每一者可包含用於具有複數個實體影像之環境(諸如，圖1之工作區20)的像素資料。
如本文中所描述，便條識別模組86處理影像97，且識別(亦即，辨識)影像中之複數個實體便條。可由便條辨識模組86使用標示物及/或非標示物偵測程序來處理輸入影像。數位便條產生模組88產生對應於影像97內所辨識之實體便條的數位便條99。舉例而言，數位便條99中之每一者對應於輸入影像97中所識別之實體便條中之一者。在此程序期間，數位便條產生模組可更新資料庫94，以使其包括數位便條之 記錄，且可將自如由便條辨識模組86偵測到的針對實體便條所判定之邊界內之輸入影像所提取的資訊(例如，內容)儲存於資料庫內。此外，數位便條產生模組88可將使數位便條相關聯至一或多個群組之數位便條中的後設資料儲存於資料庫94內。
通信模組90控制行動裝置15與外部裝置(諸如，雲端伺服器12、電腦系統14、行動裝置16或影像捕獲裝置18)之間的影像資料通信。在一些實例中，通信模組90可(例如)允許使用者傳達環境及/或數位便條之經處理或未經處理影像97及自其提取之相關聯資訊(包括來自資料庫94之後設資料)。在一些實例中，影像通信模組90將此資料匯出至可藉由FTP、HTTP、電子郵件、藍芽或其他機制傳達之壓縮檔案。
在圖1之實例中，便條管理應用程式78包括建構並控制GUI 79之使用者介面98。如下文所描述，在一些實例中，使用者介面98可進行輸出以用於顯示覆疊有複數個數位便條99之輸入影像97，其中覆疊數位便條中之每一者而非對應實體便條。另外，使用者介面98可顯示已由使用者指定的數位便條99之群組。數位便條99之此群組可為(例如)特定輸入影像97中所辨識之數位便條的子集。使用者介面98可在GUI 79之第二部分上顯示數位便條之此所指定群組(集合)，且允許使用者26容易地自所指定群組添加或移除數位便條99。
在一些實例實施中，使用者介面98提供允許使用者26編輯覆疊影像及/或數位便條之影像編輯器96。在另一實例中，數位便條產生模組88可包括增強來自輸入影像之所提取資訊的(多個)程序。
用於偵測並辨識實體便條之便條管理應用程式78的額外實例細節描述於7月9日申請且標題為「使用色彩分類之用於便條辨識及管理之系統及方法(SYSTEMS AND METHODS FOR NOTE RECOGNITION AND MANAGEMENT USING COLOR CLASSIFICATION)」的美國專 利申請案第61/844140號、2013年7月9日申請且標題為「使用分段便條之用於便條內容提取及管理之系統及方法(SYSTEMS AND METHODS FOR NOTE CONTENT EXTRACTION AND MANAGEMENT USING SEGMENTED NOTES)」的美國專利申請案第61/844152號，及2013年7月9日申請的「藉由對便條進行分段而用於便條內容提取及管理之系統及方法(SYSTEMS AND METHODS FOR NOTE CONTENT EXTRACTION AND MANAGEMENT BY SEGMENTING NOTES)」的美國專利申請案第61/844176號中，該等專利申請案中之每一者的全部內容以引用的方式併入本文中。
為較好地理解本發明，圖4A說明便條辨識系統100A之實施例。系統100A可包括處理單元110、一或多個便條120、感測器130及便條內容儲存庫140。處理單元110可包括一或多個處理器、微處理器、電腦、伺服器及其他計算裝置。感測器130(例如，影像感測器)經組態以捕獲具有一或多個便條120之場景的視覺表示。感測器130可包括攝影機、視訊記錄器、紅外線攝影機、CCD(電荷耦合裝置)陣列、掃描儀或類似者中之至少一者。視覺表示可包括影像、視訊、一序列影像(亦即，一段時間內所拍攝及/或具有次序之多個影像)、影像集合或類似者中的至少一者。處理單元110耦接至感測器130，且經組態以接收視覺表示。在一些狀況下，處理單元110以電子方式耦接至感測器130。處理單元110經組態以自視覺表示辨識一或多個便條120中之至少一者。在一些實施例中，處理單元110經組態以藉由判定便條之整體邊界而辨識便條。在辨識便條之後，處理單元110提取便條內容。在一些狀況下，處理單元110經組態以自具有彼等便條120之場景的視覺表示辨識並提取一個以上便條120之內容。
在一些狀況下，處理單元110可執行儲存於非暫時性電腦可讀媒體中之軟體或韌體，以實施用於系統100A之各種程序(例如，辨識便 條、提取便條等)。便條內容儲存庫140可執行於單一電腦、伺服器、儲存裝置、雲端伺服器或類似者上。在一些其他狀況下，便條內容儲存庫140可執行於一系列網路連接式電腦、伺服器或裝置上。在一些實施中，便條內容儲存庫140包括資料儲存裝置(包括局部、區域及中心)之階層。便條120可包括有序或隨機地配置於共同作業空間中之實體便條，且感測器130在共同作業空間中產生便條120之視覺表示。
在一些實施例中，一或多個便條120中之至少一些包括可促進識別、辨識及/或鑑認便條之標示。在一些實施例中，標示包括條碼、色塊、色碼、基準標示、商標標識、點、孔及類似者中之至少一者。便條自身之形狀及/或色彩可用作標示，以促進識別、辨識及/或鑑認便條。在一些狀況下，標示可包括配置於某些圖案中之複數個元素，例如，矩形便條之四個拐角處的基準標示。在一些其他狀況下，標示可包括複數個元素，其中至少一些元素為可用於提供鑑認資訊之非可見元素(例如，RFID(射頻識別)標籤)。作為實例，可使用以下各者中之至少一者製成標示：回向反射式材料、光學可變墨水、經著色墨水、紅外線吸收墨水、螢光墨水、水印、光滑材料、閃光材料、多層光學膜、膠態晶體、穿孔標示、結構化色彩、浮動影像、窗紗線或類似者。在一些實施例中，處理單元110首先自視覺表示辨識便條上之標示、判定視覺表示上之標示的位置，且接著基於所辨識標示提取便條內容。在一些狀況下，處理單元110基於所辨識標示、便條之已知預定形狀及便條上之標示的已知相對位置提取便條內容。在一些實施中，處理單元110自視覺表示即時地提取便條內容(亦即，在暫時性儲存器中處理資料)，而無需將視覺表示儲存於非暫時性儲存器中。
在一些實施中，便條辨識系統100A可包括呈現裝置(圖4A中未展示)，以向使用者展示辨識出哪些便條及/或已提取哪些便條之內容。另外，便條辨識系統100A可經由呈現裝置呈現所提取內容。在一些 實施例中，處理單元110可在提取便條內容之前鑑認便條。若已鑑認便條，則將提取內容並將其儲存於便條內容儲存庫140中。在一些狀況下，處理單元可自便條上之標示提取鑑認資訊。在此等狀況下，鑑認資訊可在標示上可見或不可見。舉例而言，便條上之標示可包括符號，例如公司標識、矩陣碼、條碼、色碼或類似者。作為另一實例，便條上之標示可包括用以儲存可由合適讀取器擷取之資訊的標籤。舉例而言，標示可包括RFID標籤、近場通信(NFC)標籤或類似者。
在一些實施例中，感測器130可產生具有若干便條120之場景的第一視覺表示，例如，拍攝便條以及周圍環境之相片或視訊片段。便條中之每一者具有標示。處理單元110識別標示、判定標示之位置，並使用標示之位置以控制感測器130產生具有便條120之場景的第二視覺表示，例如，拍攝便條之放大影像。處理單元110可進一步自第二視覺表示辨識並提取便條內容。
圖4B說明便條管理系統100B之實施例。在此實施例中，便條管理系統100B包括處理單元110、一或多個便條120、一或多個便條源150及便條內容儲存庫140。在一些狀況下，系統100B包括呈現裝置160。處理單元110、便條120及便條內容儲存庫140類似於如圖4A中所說明之便條辨識系統100A的組件。便條源150可包括用以提供實體便條之內容(諸如，具有一或多個便條之場景的視覺表示)的源，及用以提供數位便條之內容(諸如，自鍵盤鍵入之資料流)的源。在一些實施例中，便條管理系統100B包括第一源及第二源，且第一源為具有一或多個便條120之場景的視覺表示。由不同裝置產生第一源及第二源。第二源包括文字流、影像、視訊、檔案及資料項中之至少一者。處理單元110自第一源辨識便條中之至少一者，並提取便條內容，如便條辨識系統100A中所論述。在一些狀況下，處理單元110依據類別標記便條。處理單元110可基於便條之特定形狀、色彩、內容及/或其 他資訊標記便條。舉例而言，便條之每一群組可具有不同色彩(例如，紅色、綠色、黃色等)。在一些狀況下，便條120可包括具有一或多個元素之標示，且處理單元110可基於自標示所提取之資訊來標記便條。
在一些實施例中，便條管理系統100B可包括用以將便條120之內容展示給使用者的一或多個呈現裝置160。呈現裝置160可包括(但不限於)電子式可尋址顯示器，諸如液晶顯示器(LCD)、平板電腦、投影儀、電子廣告牌、蜂巢式電話、膝上型電腦或類似者。在一些實施中，對於呈多種形式(例如，清單、分組成列及/或行、流程圖或類似者)之便條，處理單元110產生用以顯示於呈現裝置160上之內容。
便條辨識系統及便條管理系統之各種組件(諸如，處理單元、影像感測器及便條內容儲存庫)可經由通信介面進行通信。通信介面包括(但不限於)任何有線或無線短程及長程通信介面。短程通信介面可為(例如)區域網路(LAN)、符合已知通信標準之介面，諸如，藍芽標準、IEEE 802標準(例如，IEEE 802.11)、ZigBee或類似規範(諸如基於IEEE 802.15.4標準之彼等)或其他公用或專屬無線協定。長程通信介面可為(例如)廣域網路(WAN)、蜂巢式網路介面、衛星通信介面等。通信介面可在專用電腦網路(諸如，企業內部網路)內，抑或在公用電腦網路(諸如，網際網路)上。
圖5A至圖5C說明其上附著有標示之便條的一些實例。如圖5A中所說明，便條200A上之標示具有兩個元素，元素210A及元素220A。元素210A與220A可具有不同大小、形狀、相對位置及/或材料組成。舉例而言，元素210A為作為用於便條之識別符的條碼，且元素220A為可用於判定便條之邊界的回向反射式墨水之較小矩形。如圖5B中所說明，便條200B上之標示可具有四個元素210B、220B、230B及240B。該四個元素可具有類似或不同之大小、形狀及材料組成。標 示可用於辨識大小、位置、定向、失真及便條之其他特性，該等特性可用於內容提取及增強。如圖5C中所說明，便條200C上之標示具有一元素210C。便條200C具有非矩形形狀。在一些實施例中，元素210C包括(例如)用以識別便條之類型及分組的識別符。在一些狀況下，識別符為唯一識別符。
圖5D說明具有標示之便條的另一實例。標示為便條之色彩。圖5D中說明捕獲12個便條之影像200D。便條210D、212D及214D為洋紅色。便條220D、222D及224D為黃色。便條230D、232D及234D為藍色。便條240D、242D及244D為橙色。
圖5E及圖5F說明具有區段之便條的一些實例。圖5E說明具有四個經著色區段之便條200E。每一區段具有素色(solid color)。舉例而言，區段210E為洋紅色；區段220E為黃色；區段230E為藍色；且區段240E為橙色。圖5F說明具有四個區段之便條200F，且每一區段具有經著色邊界。舉例而言，區段210F具有洋紅色邊界；區段220F具有黃色邊界；區段230F具有藍色邊界；且區段240F具有橙色邊界。在一些實施中，經著色邊界具有某一線寬(例如，大於0.1mm、大於區段之總寬度的2%等)，使得邊界可由影像處理演算法辨識。在一些狀況下，區段或區段之邊界的色彩可用以對區段進行分類。舉例而言，洋紅色區段或具有洋紅色邊界之區段可與類別A相關聯，且黃色區段或具有經黃色著色邊界之區段可與類別B相關聯。在一些其他狀況下，區段或區段之邊界的色彩可用以表示與便條有關之狀態或其他功能資訊。舉例而言，紅色可表示刪除便條內容；且橙色可表示待完成之便條。
圖5G說明使用標示產生便條之區段的實例。便條200G可為具有內容之任何介質，例如，經列印文件、已書寫及/或繪畫之白板、一張具有手寫便條之紙或類似者。可使用筆(亦即，筆或圖5G中所說明 之螢光筆260G)、經列印標示、旗標、貼紙、經著色膠帶、螢光筆、經著色紙張、具有手寫內容之經列印旗標或類似者產生標示。便條200G具有四個區段210G、220G、230G及240G，其中該等區段中之每一者具有矩形標示。在一些實施中，可在兩個對置拐角處(諸如，左上角及右下角)標示區段。如圖5H中所說明，拐角標示可具有附著至實體便條的已知大小之預定形狀，如210H及220H所示。舉例而言，使用者可將標示210H、220H附著至實體便條之拐角，或托起較大便條(例如，便條200G)內的一區域，其中被托起的區域將被認為是供提取內容的單獨區域(區段)。標示210H及220H為肘形且對稱的。在一些實施例中，用於拐角之標示可為任何幾何形狀，例如，矩形、圓形、星形或類似者。標示可包括(但不限於)線、箭頭、星形標示、肘形標示、矩形標示、圓形標示、橢圓形標示、多邊形標示及幾何形狀標示中之一或多者。另外，標示可具有不對稱肘形形狀。
圖6A說明便條辨識及/或管理系統(諸如，行動裝置15(圖1)之便條管理應用程式78，或便條辨識系統100A(圖4A))之實施例的流程圖。最初，系統捕獲複數個便條之視覺表示(步驟310A)。在一些實施例中，便條為實體便條，且一次捕獲一個以上便條係較有效的。接下來，系統自視覺表示辨識複數個便條中之一或多者(步驟320A)。舉例而言，系統可辨識便條上之特定標示，且隨後判定便條之整體邊界。系統提取複數個便條中之一或多者的內容(步驟330A)。此時，系統可產生表示所辨識實體便條中之對應一者的各別數位便條。系統可使用於給定實體便條的自視覺表示所提取之內容與表示實體便條之對應數位便條相關聯。在一些實施例中，系統可在提取內容之前將影像變換應用於視覺表示中之至少部分。在一些其他實施例中，系統可應用影像增強或其他影像處理技術來改良所提取內容之品質。在又一實施例中，系統可進一步自所提取內容辨識文字及數字。
圖6B說明提取便條之內容的實施例之流程圖。首先，由系統接收視覺表示(步驟310B)。系統自視覺表示辨識便條上之標示(步驟320B)。在判定標示之位置及/或形狀之後，系統可視情況對視覺表示執行幾何校正及修剪(步驟330B)。基於便條上之標示的所辨識位置及/或形狀，在視覺呈現上辨識便條之整體邊界(步驟340B)。在一些實施例中，系統可接收相同集合之便條的兩個視覺表示，其中便條中之每一者具有標示。使用適於捕獲便條上之標示的光源獲取第一視覺表示。舉例而言，對於使用紅外線敏感墨水之標示，光源可為紅外光。在第一視覺表示中辨識標示，並判定標示之位置。第二視覺表示可捕獲便條之集合，且系統可分別基於其標示判定每一便條之整體邊界。舉例而言，可藉由回向反射式材料製成標示，且可藉由獨立光源(例如，閃光等)捕獲第一視覺表示，而可無需獨立光源捕獲第二視覺表示。在判定便條之整體邊界之後，系統提取便條內容(步驟350B)。此時，系統可產生表示所辨識實體便條中之對應一者的各別數位便條。系統可使用於給定實體便條的自視覺表示所提取之內容與表示實體便條之對應數位便條相關聯。作為另一實例，在視覺表示為影像之情況下，系統可根據便條之所判定整體邊界修剪影像。視情況，系統可(例如)藉由改變對比度、亮度及/或使用其他影像處理技術(例如，白平衡、對比度擴展等)而增強便條內容(步驟360B)。在一些狀況下，系統可藉由指示其所提取內容之狀態而更新便條。
圖6C說明鑑認便條之實施例的流程圖。首先，自便條或便條堆疊獲得鑑認信號(步驟310C)。在一實施例中，鑑認資訊為便條上之標示的視覺分量(例如，全像圖)，且可藉由自捕獲便條之視覺表示提取視覺分量而獲得鑑認信號。在另一實施例中，鑑認資訊含於便條上之標示的電子分量(例如，RFID標籤)中，且可使用合適讀取器(例如，RFID讀取器)而獲得鑑認信號。接下來，系統確認鑑認信號(步驟 320C)。若已鑑認便條，則系統可開始便條管理應用程式，或使用便條(步驟330C)。在一些狀況下，可在捕獲便條之前進行鑑認。
圖6D說明使用色彩分類演算法提取便條或便條區段之內容的實施例之功能流程圖。流程圖中之一或多個步驟係可選的，例如，若提供分類函數，則用於計算分類函數(亦被稱作分類器)之訓練步驟(步驟350D至365D)係不必要的。最初，接收捕獲周圍環境內或並無周圍環境之(多個)便條或具有便條區段之一便條的視覺表示之影像資料(步驟310D)。在一些狀況下，若視覺表示並非單一影像，則自視覺表示(影像資料)擷取影像(步驟315D)。舉例而言，視覺表示為影像集合，且所擷取影像為影像集合中之至少部分的聚集。作為另一實例，視覺表示為視訊，且所擷取影像為視訊中之若干或所有圖框的組合。另一可選步驟為將影像轉換至合乎需要之色彩空間(步驟317D)。適用之色彩空間包括(但不限於)RGB(紅色、綠色及藍色)、LAB(例如，Hunter 1948L,a,b色彩空間、CIE 1976(L*,a*,b*)色彩空間)、CMYK(青色、洋紅色、黃色及主色(黑色))、HSV(色度、飽和度及純度)、HSL(色度、飽和度及亮度)、HSI(色度、飽和度及強度)、sRGB(標準紅色、綠色及藍色)色彩空間。接下來，針對影像中之每一像素或像素群組，將一或多個分類函數應用於色彩值(步驟320D)。可使用訓練步驟350D至365D計算分類函數。分類演算法可為(例如)線性判別分析、二次分類器、高斯混合模型、增強型決策樹、支援向量機或類似者。
一些分類器在本質上係產生式的，而其他分類器係判別式的。大體而言，產生式分類器針對每一類(在吾人之狀況下為色彩)產生個別模型，且向所詢問像素/像素群組值給出有關於其是否屬於彼組之機率評分。另一方面，判別式分類器模型化兩個或兩個以上類(分別為2類及多類分類)之間的邊界。產生式模型提供對尚未經模型化之新類(色彩)的較容易概括性，而獨立判別式模型必須針對每一現存類(色 彩)進行再訓練。產生式及判別式分類器之許多實例描述於Christopher M.Bishop(2006)之圖案辨識及機器學習(Pattern Recognition and Machine Learning)(資訊科學及統計)(斯普林格紐約出版公司，美國新澤西州斯考克斯市)中，其全部內容以引用的方式併入本文中。產生式模型之一些實例為naïve Bayes分類器、高斯混合模型，及使用高斯或其他先驗及辭典學習之其他機率性貝葉斯模型，諸如描述於Michal Aharon、Michael Elad及Alfred Bruckstein(2006)之「K-SVD：用於設計用於稀疏表示之超完備詞典的演算法(K-SVD：An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation)」(IEEE信號處理匯刊54(11)：4311-4322)中之彼等，其全部內容以引用的方式併入本文中。判別式分類模型之一些實例為神經網路、支援向量機、決策樹、線性及二次判別分類、邏輯回歸。其他實例分類方法既非產生式亦非判別式的，例如最近鄰分類演算法。另外，可藉由組合上文所提及之分類模型的多個例項之總體學習演算法改良上文所提及分類模型中之任一者的效能。總體學習可實施為裝袋型、增強型及其變化形式。
使用分類演算法，基於像素或像素群組之色彩值產生指示影像中之每一像素或像素群組之色類的指示符(步驟325D)。色類包括特定範圍之波長，或可為涉及除所關注色類以外之任何其他色彩的「其他」色類。舉例而言，色類可為洋紅色、黃色、藍色、橙色等。指示符可由(例如)數字、代碼、符號、字數符記、色彩值、灰度值或類似者表示。
基於指示符，可判定便條或便條區段之整體邊界(步驟330D)。在一實施例中，將具有相同指示符之鄰近像素分組至區中，且可判定該區之邊界。在一些狀況下，在判定整體邊界之前，使用影像處理原理(例如，雜訊濾波、形態學開運算(morphological opening)或類似者)進 一步處理指示符。在一些實施例中，便條或便條區段之形狀及/或大小係預定的，例如，在製造便條時預定義，此可用以判定及/或篩選便條或便條區段之整體邊界。此時，系統可產生表示已判定邊界之實體便條中之每一者的各別數位便條。
使用整體邊界，可提取便條或便條區段之內容(步驟335D)。系統可使用於給定實體便條的自視覺表示所提取之內容與表示實體便條之對應數位便條相關聯。在一些實施例中，便條或便條區段可具有經著色邊界或一或多個位置處之經著色標示，而非具有素色。在此等實施例中，相同色彩分類演算法可用以識別邊界或標示，且進一步提取便條或便條區段之內容。在一些狀況下，可經由圖形介面或報告將內容集合(其中，每一內容項對應於便條或便條區段)呈現給使用者。在一些實施中，可依據類別對內容集合進行分組，其中每一類別與用於便條之色彩、形狀、大小或其組合相關聯。舉例而言，圖5D中所說明之便條210D、212D及214D與類別A相關聯，且便條220D、222D及224D與類別B相關聯。作為另一實例，具有洋紅色邊界之便條區段(例如，圖5F中所說明之便條區段210F)與類別A相關聯，且具有黃色邊界之便條區段(例如，圖5F中所說明之便條區段220F)與類別B相關聯。
在一些狀況下，所產生指示符僅指示像素或像素群組之色彩值是否為特定色類。舉例而言，指示符1指示像素或像素群組為黃色，且指示符0指示像素並非黃色。在此等狀況下，將針對所關注的每一色類產生指示符之集合。在一些實施例中，針對所關注之每一色類(例如，洋紅色、黃色、藍色及橙色)重複步驟320D至335D。
在一些實施例中，可使用圖6D中所說明之步驟判定分類函數。首先，提供訓練影像之集合(步驟350D)。在一些狀況下，訓練影像可包括具有所關注之相同色類的便條或便條區段。可在一或多個照明條 件及/或一或多個不同攝影機下捕獲訓練影像。舉例而言，訓練影像可為使用兩個不同攝影機在三個照明條件下所捕獲的六個影像之集合。視情況將訓練影像轉換至所要之色彩空間(步驟355D)。使用用於像素或像素群組之對應色彩值的已知色彩(例如，使用如下文所論述之方程式(1)至(4))訓練分類器(步驟360D)。接著，計算用於色類之分類函數的集合(步驟365D)。在一些狀況下，使用步驟350D至365D獲得僅用於一色類之分類函數的集合。重複此等步驟以獲得用於所關注的其他色類中之每一者的分類函數。
在一些實施例中，色類可包括兩個或兩個以上類似色彩。可使用如上文所論述之相同程序獲得用於此色類之分類函數。在一些狀況下，階層式方法可用於提取具有兩個以上色彩之便條或便條區段，如圖6E中所說明。圖6E說明使用色彩分類演算法提取具有三個不同色彩(黃色、橙色及藍色)之便條或便條區段的內容之實例的功能流程圖。最初，系統使用色彩分類演算法判定像素是否具有屬於包括黃色及橙色之色類的色彩(步驟310E)。若色彩為黃色或橙色，則系統進一步評估色彩是否為黃色(步驟320E)：若其為黃色，則黃色之指示符可與該像素或像素群組相關聯(步驟340E)；且若其並非為黃色，則橙色之指示符可與該像素或像素群組相關聯(步驟350E)。若色彩並不屬於包括黃色及橙色之色類，則系統使用色彩分類演算法評估色彩是否為藍色(步驟330E)：若色彩為藍色，則藍色之指示符可與該像素或像素群組相關聯(步驟360E)；且若色彩並非為藍色，則其他色彩之指示符可與該像素或像素群組相關聯(步驟370E)。
在一實施例中，可將所捕獲便條或便條區段之影像轉換至LAB色彩空間。LAB色彩空間在ab平面上分離不同色彩，且在此色彩空間中使用臨限值方法區分不同色彩係有可能的。表1列出使用臨限值方法提取便條或便條區段之實例的偽碼。
雖然上文之偽碼及描述解釋兩類線性判別分類程序，但存在該程序之多類擴展，諸如以引用的方式併入本文中的Christopher M.Bishop(2006)之圖案辨識及機器學習(資訊科學及統計)(斯普林格紐約出版公司，美國新澤西州斯考克斯市)中所描述之彼等。
在一些狀況下，臨限值方法可能並不適於各種捕獲條件，諸如色彩、照明、攝影機類型、周圍環境等之變化。為解決此問題，可使用自適應性模型，該等模型可習得對於各種捕獲條件及額外經著色便條穩定之不同色彩的最佳表示。一個此模型為Fischer之線性判別模型或Fischer之線性判別分類器，如由Mika,S.、Ratsch,G.、Weston,J.、Scholkopf,B.、Muller,K.之具有核心之Fisher判別分析(Fisher discriminant analysis with kernels)(神經網路信號處理IX，1999，1999 IEEE信號處理社會研討會之論文集，第41至48頁，1999年8月)所描述。
給定m個觀察結果(亦即，訓練影像)之集合X，其中在此狀況下每一觀察結果係3維的(LAB色彩空間之L、a及b值)，並判定所有觀察結果之對應色類Y、權重向量w，使得
若Y=1(屬於所關注之色類)，則w.X+c<0，且 (1) 若Y=0(不屬於所關注之色類)，則w.X+c>=0， (2) 其中w.X為點積運算，且c為偏移值。權重w取決於每一色類之L、a及b的平均值與每一色類之共變數矩陣。特定言之，權重w使S最大，其中S=σ 2 between-class /σ 2 within-class (3)
亦即，習得w，使得類間變異最大化，類內變異最小化。
此使得w=(Σy=0+Σy=1)-1(μy=1-μy=0) (4)
可自訓練影像估計組平均及共變數可自訓練影像估計類平均及共變數(μ及Σ)。若假定類共變數相同，則模型係線性的。若未作出此假定，則模型為二次判別分類器。用於二次判別分類器之分類方法具有額外項：若Y=1(屬於相關類)，則X T QX+wX+c<0 (5)
若Y=0(不屬於相關類)，則X T QX+wX+c>=0 (6)
舉例而言，在將線性判別模型應用於具有洋紅色便條及其他背景色彩之影像之後，所得投影為純量值，且圖14中展示純量投影值之分佈。可使用相同程序及方程式進一步訓練分類器，以在各種條件下所捕獲影像中辨識色彩。作為一實例，對於係數集合[w1 w2 w3 c](其中w1、w2及w3為分別對應於L、a及b之係數，且c為偏移)，用於色類藍色之係數為[w1=0.05056 w2=0.34929 w3=0.4381 c=-106.71]；且用於色類黃色之係數為[w1=0.0068796 w2=0.027731 w3=-0.14887 c=18.812]。
表2列出用於使用線性判別分類器之實施例及篩選步驟之一些實例的偽碼。此處，Lcoefficent、Acoefficient、Bcoefficient及offset對應於上文之實例中的w1、w2、w3及c。篩選之實例假定便條為矩形。諸如RGB及HSV之其他色彩空間可遵循類似方法，且表3及表4中列出 偽碼。
形態學開運算程序可用以減少雜訊，該程序包括形態學侵蝕繼之以擴張。在一些狀況下，形態學侵蝕及擴張可使用為圓盤形或圓形之結構化元素。舉例而言，對於具有800個像素之最大尺寸的影像，將結構化元素之大小設定為5乘5。若影像較大，則結構性元素之大小可較大。此類型之雜訊減少方法描述於Jean Serra之影像分析及數學形態學(Image Analysis and Mathematical Morphology)(ISBN 0-12-637240-3(1982))；Jean Serra之影像分析及數學形態學(Image Analysis and Mathematical Morphology)，卷2：理論推進(ISBN 0-12-637241-1(1988))；及Edward R.Dougherty之形態學影像處理導論(Introduction to Morphological Image Processing)(ISBN 0-8194-0845-X(1992))中。
圖6F說明自具有區段之便條提取內容集合的實施例之功能流程圖。首先，系統接收具有複數個預定義色彩區段之便條的視覺表示 (步驟310F)。亦即，可接收捕獲視覺表示之影像資料，其中實體便條已經製造而具有複數個不同色彩區段。在一些狀況下，(例如)若影像資料包含視訊或複數個影像之集合，則可自視覺表示擷取影像(步驟320F)。若視覺表示為影像，則影像將用於進一步處理。接下來，使用(例如)色彩分類演算法產生指示影像中之各別像素或像素群組之色類的指示符(步驟330F)。使用指示符，判定色彩區段之整體邊界(步驟340F)。自便條區段提取內容集合(步驟350F)。在一些狀況下，自對應便條區段提取每一塊內容。視情況，將內容之清單呈現給使用者(步驟360F)。在一些狀況下，內容項可與類別相關聯。便條管理系統可使用色彩區段中之色彩，以選擇內容項之類別。此時，系統可產生表示所辨識實體便條中之對應一者的各別數位便條。作為一實例，可產生記錄以含有複數個資料庫欄位，包括用於儲存實體便條之每一色彩區段的特定內容的欄位。系統可使用於給定實體便條的自視覺表示所提取之內容與表示實體便條之對應數位便條相關聯。此外，系統可使自每一色彩區段所提取之內容項與每一色彩區段之數位表示相關聯。舉例而言，系統可更新資料庫內之各別記錄欄位，以儲存不同色彩區段之內容項中的各別一者。
圖6G說明對便條進行分段並提取區段之內容集合的實施例之功能流程圖。首先，使用者可使用標示對便條進行分段(步驟310G)。可沿著區段之邊界的至少一部分將標示應用於一或多個拐角。便條管理系統可捕獲便條之影像(步驟320G)。系統進一步識別影像中之標示(步驟330G)。可判定區段之整體邊界(步驟340G)。在一些狀況下，一些額外資訊(諸如，標示之相對位置)可用以判定整體邊界。使用所判定邊界自便條區段提取內容集合(步驟350G)。在一些狀況下，自對應便條區段提取每一內容項。視情況，將內容之清單呈現給使用者(步驟360G)。此時，系統可產生表示所辨識實體便條中之對應一者的各 別數位便條。作為一實例，可產生記錄以含有複數個資料庫欄位，包括用於儲存實體便條之每一色彩區段的特定內容的欄位。系統可使用於給定實體便條的自視覺表示所提取之內容與表示實體便條之對應數位便條相關聯。此外，系統可使自每一色彩區段所提取之內容項與每一色彩區段之數位表示相關聯。舉例而言，系統可更新資料庫內之各別記錄欄位，以儲存不同色彩區段之內容項中的各別一者。
圖7A至圖7D說明具有標示之便條的內容提取程序之實例。首先，如圖7A中所說明，捕獲便條410之視覺表示400。便條410具有標示420，其可為條碼、色碼、矩陣碼、色塊或類似者。接下來，如圖7B中所說明，系統判定視覺表示上之標示的整體邊界430，並辨識標示420。在一些狀況下，便條410可傾斜於視覺表示400中，如圖7C中所說明。在一些其他狀況下，視覺表示400可拍攝有幾何失真。系統可使用標示420之所判定整體邊界或標示420之一部分以判定對視覺表示400之必要影像變換及校正來獲得便條內容。圖7D說明系統在先前分析及/或影像處理之後提取便條410之內容。
圖8A至圖8D說明具有回向反射式標示之複數個便條的內容提取之實施例。便條辨識/管理系統接收捕獲三個便條510A之視覺表示500A，且每一便條510A具有具兩個元素-左上方拐角及下底部拐角處之兩個回向反射式矩形標籤之標示520。由於回向反射式材料之光學性質，標示520實質上比便條之其餘部分明亮。圖8B說明標示520比便條510A及背景明亮得多。在一些實施例中，系統可使用影像處理以將如圖8A中所說明之視覺表示500A變換成如圖8B中所說明之視覺表示500B。在一些替代性實施例中，系統可藉由不同光源(例如，閃光燈)產生三個便條510A之另一視覺表示500B。系統可自視覺表示500B容易地識別標示520。在識別標示520之後，系統可提取便條510C之內容，如圖8C中所說明。在一些狀況下，系統可使用影像處 理技術(例如，自適應性直方圖均衡化)來增強所提取內容510D，如圖8D中所說明。
圖9說明便條辨識系統600之實施例的模組圖。在如所說明之實施例中，系統600包括便條捕獲模組620、便條辨識模組630及便條提取模組640。可由一或多個計算裝置(包括(但不限於)電路、電腦、處理器、處理單元、微處理器及/或平板電腦)實施便條辨識系統600之各種組件。在一些狀況下，便條辨識系統600之各種組件可實施於共用計算裝置上。替代性地，系統600之組件可實施於多個計算裝置上。在一些實施中，系統600之各種模組及組件可實施為軟體、硬體、韌體或其組合。在一些狀況下，便條辨識系統600之各種組件可實施於由計算裝置執行之軟體或韌體中。另外，系統600之各種組件可經由通信介面(例如，有線或無線介面)進行通信或經由通信介面而耦接。便條捕獲模組620經組態以捕獲複數個便條之視覺表示。在一些實施例中，便條捕獲模組620包括影像感測器。便條辨識模組630耦接至便條捕獲模組620，便條辨識模組經組態以接收所捕獲之視覺表示，且自所捕獲之視覺表示判定複數個便條中之一者的整體邊界。便條提取模組640經組態以基於複數個便條中之一者的所判定整體邊界而自所捕獲之視覺表示提取複數個便條中之一者的內容。
在一些實施例中，便條辨識系統600包括經組態以鑑認複數個便條之便條鑑認模組650。在一些狀況下，複數個便條中之至少一些具有標示。標示可用於促進辨識、提取及鑑認便條。舉例而言，便條鑑認模組650可自便條之標示獲得鑑認信號，並基於鑑認信號來確認鑑認。在一些狀況下，便條鑑認模組650耦接至便條辨識模組630，且將鑑認資訊提供至便條辨識模組630。在一些實施例中，便條辨識模組630及便條提取模組640可執行圖6B中及相關論述中所說明之步驟。
在一些實施例中，便條辨識/管理系統可使用多個辨識演算法來 辨識便條並提取便條之內容，諸如色彩辨識、形狀辨識及圖案辨識。舉例而言，對於色彩辨識，系統可使用諸如RGB、HSV、CIELAB等之色彩空間以識別對應於便條之所關注區。在一些狀況下，以其形狀及歸因於存在分別由形狀辨識演算法(例如，Hough變換、形狀上下文等)及圖案辨識演算法(例如，支援向量機、交叉相關、模板匹配等)偵測到之唯一圖案而進一步區別便條。此等演算法有助於濾除視覺表示或便條內容之其他源中不合需要之物件，並僅留下對應於便條之彼等所關注區。
在一些實施例中，便條可包括使用螢光物質(諸如，可列印墨水或可塗佈染料)製成之標示。舉例而言，可在便條之書寫表面上以螢光墨水列印諸如標識之基準標示。適當光源將激發螢光材料。舉例而言，行動手持式裝置之白色LED(發光二極體)可能夠使用LED輸出頻譜之有效藍色波長分量而激發螢光團。在一實施例中，螢光染料可塗佈於便條之書寫表面上，或包括於製造便條之材料中。在此實施例中，螢光染料不僅可提供對品牌產品之確認，亦可改良便條上之書寫資訊與便條自身之背景之間的對比度。此標示可促進辨識及區段由影像感測器所產生之視覺表示上的便條。在便條由具有螢光染料之紙張製成的狀況下，所捕獲視覺表示可具有較好可讀性。取決於用於螢光物質之激發波長範圍及發螢光波長範圍，可使用額外光學設備(諸如，濾波器)連同影像感測器(例如，攝影機)以改良偵測。
圖10A說明便條管理系統之實施例的流程圖。首先，系統自多個源接收複數個便條(步驟710A)。舉例而言，便條管理系統可自攝影機或智慧型手機接收數個便條之影像的集合，並接收自遠端位置所拍攝的數個便條之影像的另一集合。作為另一實例，便條管理系統可接收由視訊記錄裝置所拍攝的數個便條之視覺表示(例如，視訊)，及經由膝上型電腦所鍵入的便條之文字流。在一些實施例中，多個源為自不 同裝置(例如，攝影機、掃描器、電腦等)所獲得的便條內容之源。接著，系統辨識複數個便條中之一者(步驟720A)。系統提取複數個便條之內容(步驟730A)。在一些實施例中，一些便條包括便條上之標示(例如，色塊、色碼、條碼等)，且便條之一源為便條中之一些的視覺表示。在一些狀況下，辨識步驟包括自視覺表示辨識便條上之標示，且接著基於所辨識標示判定便條之整體邊界。在此等狀況中之一些下，提取步驟包括基於所辨識標示、便條之已知形狀及便條上之標示的已知相對位置而提取內容。在一些狀況下，在提取複數個便條之內容之後，系統可使複數個便條中之每一者與唯一識別符相關聯(步驟740A)。系統可藉由類別標記複數個便條中之每一者(步驟750A)。下文較詳細地論述標記步驟。另外，系統可在辨識便條之前首先鑑認便條。視情況，系統可在顯示器上呈現複數個便條之內容(步驟760A)。在一些實施例中，系統可藉由指示便條之類別的輸出欄位而呈現複數個便條之所提取內容。在一些實施中，系統可在呈現便條時使用便條之類別資訊(例如，在群組中展示一類別之便條)。
圖10B說明系統可標記便條之方式的實例。在一實施例中，便條管理系統可基於偵測到之信號標記便條(710B)。舉例而言，便條可具有包括條碼之標示；系統可讀取條碼並基於條碼標記便條。在一些狀況下，系統可基於所辨識標示標記便條(720B)。舉例而言，標示可包括圖示、標識、經著色區塊或指示特定群組之其他圖形符號。系統可進一步基於其內容標記便條(730B)。在一些狀況下，系統可基於歷史資料及/或預測性模型標記便條(740B)。在一些其他狀況下，系統可藉由使用者輸入標記便條(750B)。便條管理系統可使用一或多個方法來標記便條。系統亦可使用圖10B中未列出之其他方法來標記便條，例如基於便條之形狀標記便條。另外，在一些狀況下，便條可與一個以上類別相關聯。
圖11說明便條管理系統800之模組圖。在如所說明之實施例中，系統800包括一或多個便條源820、便條辨識模組830、便條提取模組840及便條標記模組860。可由一或多個計算裝置(包括(但不限於)電路、電腦、處理器、處理單元、微處理器及/或平板電腦)實施便條管理系統800之各種組件。在一些狀況下，便條管理系統800之各種組件可實施於共用計算裝置上。替代性地，系統800之組件可實施於多個計算裝置上。在一些實施中，系統800之各種模組及組件可實施為軟體、硬體、韌體或其組合。在一些狀況下，便條管理系統800之各種組件可實施於由計算裝置執行之軟體或韌體中。另外，系統800之各種組件可經由通信介面(例如，有線或無線介面)進行通信或經由通信介面而耦接。便條源820經組態以提供複數個便條。在一些實施例中，便條源820中之一者為具有一或多個便條之場景的視覺表示。在一些狀況下，便條源820包括用於提供便條之複數個不同源，例如影像、文字流、視訊流或類似者。便條辨識模組830耦接至便條源820，便條辨識模組830經組態以接收視覺表示，並自視覺表示判定便條之整體邊界。便條提取模組840經組態以基於複數個便條中之一者的所判定整體邊界，自視覺表示提取複數個便條中之一者的內容。便條標記模組860經組態以藉由類別標記複數個便條中之一者。
在一些實施例中，便條管理系統800包括經組態以鑑認複數個便條之便條鑑認模組850。在一些狀況下，複數個便條中之至少一些具有標示。標示可用於促進辨識、提取及鑑認便條。舉例而言，便條鑑認模組850可自便條之標示獲得鑑認信號，並基於鑑認信號確認該鑑認。在一些狀況下，便條鑑認模組850耦接至便條辨識模組830，且將鑑認資訊提供至便條辨識模組830。在一些實施例中，便條辨識模組830及便條提取模組840可執行圖6B中及相關論述中所說明之步驟。在一些實施例中，便條標記模組860可使用圖10B及相關論述中所說 明之一或多個標記方法。在一些狀況下，便條可與一個以上類別相關聯。
在一些實施例中，便條管理系統800可包括便條呈現模組870，便條呈現模組870經組態以收集複數個便條之內容，且根據便條之類別呈現複數個便條中之至少部分。舉例而言，便條呈現模組870可將複數個便條組織成具有相同類別之群組。作為另一實例，便條呈現模組870可添加便條之不同群組的連接線及/或箭頭。
圖12A說明具有標示之分段便條的內容提取程序之實例。由成像裝置(例如，智慧型手機922A)捕獲便條910A之視覺表示920A。使用四個集合之標示912A、914A、916A及918A將便條910A分段成四個區段。該四個區段中之每一者具有對應內容，內容A 950A、內容B 960A、內容C 970A及內容D 980A。計算裝置可使用便條提取方法中之任一者來提取便條內容並將其呈現給使用者，如930A中所說明。另外，可使類別與具有已知幾何形狀及/或大小之特定標示相關聯，如924A所說明。使用類別關聯，內容項(內容A至D)與如930A中所展示之類別相關聯。
圖12B說明具有色彩區段之便條910B的內容提取程序之實例。920B為由影像感測器(例如，智慧型手機922B)所捕獲的便條910B之視覺表示。使用如上文所描述之便條提取程序中之任一者提取內容集合940B(每一內容項對應於區段)。另外，取決於色彩區段之色彩，內容項可與類別相關聯，且可依據類別對呈現給使用者的內容清單進行分組，如930B中所說明。
圖12C說明標示板910D以提取分段內容之例示性情境。標示915D附接至板910D。在一些狀況下，已知標示之相對位置(例如，左上方拐角、右下方拐角)並將其用於提取內容。可使用(例如，表5中所列出之偽碼)提取內容項920D、930D、940D及950D，其中標示 915D識別為限界方框。
在提供用於自板上之自由流動論述提取內容之方法方面，此簡單演算法可係極有效的。
圖13A及圖13B說明使用色彩分類演算法提取經著色便條之實例。圖13A說明具有不同色彩之便條的視覺表示1000A，其中Y表示黃色、M表示洋紅色，且B表示藍色。圖13B表示使用(例如，表2中所列出之偽碼)自視覺表示提取所有黃色便條1000B。
不應將本發明視為限於上文所描述之特定實例及實施例，此係由於詳細描述此等實施例以促進解釋本發明之各種態樣。實情為，應將本發明理解為涵蓋本發明之所有態樣，包括屬於如由所附申請專利範圍及其等效物所定義的本發明之精神及範疇內的各種修改、等效程序及替代裝置。

Claims (28)

  1. 一種使用具有一或多個處理器及記憶體之一電腦系統自具有色彩區段之一便條(note)提取(extract)內容的方法，其包含：由該一或多個處理器接收包含一場景之一視覺表示之影像資料，其具有位於一工作區(workplace)內之複數個實體便條，該複數個實體便條之每一者包含一可分別移動實體物件，且其中該複數個實體便條包括複數個預定義色彩區段之一便條；由該一或多個處理器產生複數個指示符，每一指示符指示該影像資料中之一各別像素或一像素群組的一色類(color class)且係基於該像素或該像素群組之色彩值(color values)；由該一或多個處理器基於所產生之該複數個指示符判定該等色彩區段在該影像資料內之整體邊界(general boundaries)；由該一或多個處理器且自該影像資料，使用該等整體邊界提取包含多個內容項(content pieces)之一集合的內容，該等內容項中之每一者對應於該便條之該等色彩區段中之一不同者；及藉由該一或多個處理器並基於該複數個指示符，藉由該對應預定義色彩區段之該色彩對該便條之該等內容項中之每一者進行分類(categorizing)。
  2. 如請求項1之方法，其中該等色彩區段中之至少一者具有一單一色彩。
  3. 如請求項2之方法，其中至少兩個鄰近色彩區段具有不同色彩。
  4. 如請求項1之方法，其中該複數個預定義色彩區段之每一者在該色彩區段之該邊界處具有一第一色彩，且在該色彩區段之該邊界內具有一第二色彩，該第二色彩不同於該第一色彩。
  5. 如請求項4之方法，其中對該等內容項中之每一者進行分類包括 依據該對應色彩區段之該邊界處的該色彩對該等內容項中之每一者進行分類。
  6. 如請求項1之方法，其進一步包含：在一計算裝置之一圖形介面上呈現該內容。
  7. 如請求項1之方法，其進一步包含：由該一或多個處理器將該影像資料轉換至LAB色彩空間，其中該產生步驟包含使用該影像資料中之該像素或該像素群組之L*、a*、b*值產生複數個指示符。
  8. 如請求項1之方法，其中該視覺表示為一單一影像。
  9. 如請求項1之方法，其中該判定步驟包含對具有一相同指示符之鄰近像素進行分組且形成一區。
  10. 如請求項1之方法，其中該產生步驟包含將一函數應用於該像素或該像素群組之該等色彩值，且將一函數輸出產生為一指示符。
  11. 如請求項10之方法，其中該函數為線性判別分析之一函數。
  12. 如請求項10之方法，其中該函數為二次分類器之一函數。
  13. 如請求項1之方法，其進一步包含：產生表示已判定該邊界之該便條的一數位便條；及使自該影像資料所提取之該內容與該數位便條相關聯。
  14. 如請求項13之方法，其中產生一數位便條包含在一資料庫內產生一各別記錄，以儲存與已判定該邊界之該便條相關聯的屬性，該記錄具有用於儲存各別內容之複數個欄位；且其中使該內容與該數位便條相關聯包含在該資料庫內更新用於該各別記錄之該等欄位中之每一者，以儲存該等不同色彩區段之該等內容項中之各別者。
  15. 如請求項1之方法，其中該影像資料包含一影像、複數個影像或視訊資料中之一者。
  16. 一種具有一或多個處理器及記憶體之便條管理系統，其包含：在該或該等處理器上執行的一便條辨識(recognition)模組，其經組態以接收捕獲(capturing)一場景之一視覺表示，其具有位於一工作區內之複數個實體便條，該複數個實體便條之每一者包含一可分別移動實體物件，且其中該複數個實體便條包括具有複數個色彩區段之一便條，其中該便條辨識模組進一步經組態以產生複數個指示符，每一指示符指示該影像資料內之一像素或一像素群組之一色類且係基於該像素或該像素群組之色彩值；在該或該等處理器上執行的一便條提取模組，其經組態以基於該複數個指示符判定該便條之該等色彩區段的整體邊界，且使用該等整體邊界提取內容，該內容包含複數個內容項，該等內容項中之每一者對應於該便條之該等色彩區段中之一者，及進一步經組態以基於該對應色彩區段之該色彩對該等內容項之每一者進行分類。
  17. 如請求項16之便條管理系統，其中該等色彩區段中之至少一者具有一單一色彩。
  18. 如請求項17之便條管理系統，其中至少兩個鄰近色彩區段具有不同色彩。
  19. 如請求項16之便條管理系統，其中該複數個色彩區段之每一者在該色彩區段之該邊界處具有一第一色彩，且在該色彩區段之該邊界內具有一第二色彩，該第二色彩不同於該第一色彩。
  20. 如請求項19之便條管理系統，其中該便條提取模組依據該對應色彩區段之該邊界處的該色彩對該等內容項中之每一者進行分 類。
  21. 如請求項16之便條管理系統，其進一步包含：一便條呈現模組，其經組態以在一圖形介面上呈現該內容。
  22. 如請求項21之便條管理系統，其中該便條提取模組使該等內容項中之每一者與一類別相關聯，其中，當呈現該內容時，該便條呈現模組進一步經組態以根據該等相關聯類別對該等內容項中的至少一些進行分組。
  23. 如請求項16之便條管理系統，其中該便條提取模組進一步經組態以對具有一相同指示符之鄰近像素進行分組，且形成一區。
  24. 如請求項16之便條管理系統，其中該便條辨識模組進一步經組態以藉由將一函數應用於該各別像素或該像素群組之該等色彩值而產生該等指示符中之每一者。
  25. 如請求項24之便條管理系統，其中該函數為線性判別分析之一函數。
  26. 如請求項24之便條管理系統，其中該函數為二次分類器之一函數。
  27. 一種非暫時性電腦可讀儲存裝置，其包含使得一可程式化處理器進行如下操作之指令：接收含有一場景的一視覺表示之影像資料，其具有位於一工作區內之複數個實體便條，該複數個實體便條中之每一者包含一分別可移動實體物件且具有複數個預定義色彩區段；由該一或多個處理器產生複數個指示符，每一指示符指示該影像資料內之一或多個像素的色彩值之一色類；處理該影像資料以基於該複數個指示符判定該複數個實體便條中之一第一實體便條在該影像資料內的一邊界；處理該影像資料以基於該等指示符及該第一實體便條之該邊 界，判定該第一實體便條之該等色彩區段中之每一者的邊界；自該影像資料，使用該實體便條之該等色彩區段中之每一者的該等邊界，提取該第一實體便條之該等預定義色彩區段中之每一者的各別內容；產生表示該第一實體便條之一數位便條，該數位便條具有指示該實體便條之該等色彩區段中之每一者的資料；使自該影像資料所提取的該等各別內容項與該數位便條之該等對應色彩區段相關聯；及基於該複數個指示符，藉由該對應預定義色彩區段之該色彩對該第一實體便條之該等內容項中之每一者進行分類。
  28. 如請求項27之電腦可讀儲存裝置，其中該等指令使得該可程式化處理器進行如下操作：將對應於該第一實體便條之該數位便條產生為一資料庫內之一記錄，以儲存與該實體便條相關聯之屬性，及更新該資料庫內之該記錄以使該各別記錄與該內容相關聯。
TW103123715A 2013-07-09 2014-07-09 自便條提取內容的方法、便條管理系統及非暫時性電腦可讀儲存裝置 TWI626600B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361844176P 2013-07-09 2013-07-09
US201361844152P 2013-07-09 2013-07-09
US201361844140P 2013-07-09 2013-07-09
US61/844,140 2013-07-09
US61/844,152 2013-07-09
US61/844,176 2013-07-09

Publications (2)

Publication Number Publication Date
TW201516889A TW201516889A (zh) 2015-05-01
TWI626600B true TWI626600B (zh) 2018-06-11

Family

ID=51870212

Family Applications (4)

Application Number Title Priority Date Filing Date
TW103123518A TWI623888B (zh) 2013-07-09 2014-07-08 藉由分段便箋用於便箋內容提取及管理之系統與方法
TW107134719A TWI692714B (zh) 2013-07-09 2014-07-09 提取便條內容之方法、便條識別系統及非暫時性電腦可讀儲存裝置
TW103123716A TWI646457B (zh) 2013-07-09 2014-07-09 提取便條內容之方法、便條識别系統及非暫時性電腦可讀儲存裝置
TW103123715A TWI626600B (zh) 2013-07-09 2014-07-09 自便條提取內容的方法、便條管理系統及非暫時性電腦可讀儲存裝置

Family Applications Before (3)

Application Number Title Priority Date Filing Date
TW103123518A TWI623888B (zh) 2013-07-09 2014-07-08 藉由分段便箋用於便箋內容提取及管理之系統與方法
TW107134719A TWI692714B (zh) 2013-07-09 2014-07-09 提取便條內容之方法、便條識別系統及非暫時性電腦可讀儲存裝置
TW103123716A TWI646457B (zh) 2013-07-09 2014-07-09 提取便條內容之方法、便條識别系統及非暫時性電腦可讀儲存裝置

Country Status (4)

Country Link
US (7) US9390322B2 (zh)
EP (3) EP3020002B1 (zh)
TW (4) TWI623888B (zh)
WO (3) WO2015006273A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015006273A1 (en) 2013-07-09 2015-01-15 3M Innovative Properties Company Systems and methods for note content extraction and management by segmenting notes
US20150049945A1 (en) * 2013-08-19 2015-02-19 Htc Corporation Image processing apparatus and image processing method
JP6314408B2 (ja) * 2013-10-09 2018-04-25 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US9412174B2 (en) * 2013-10-16 2016-08-09 3M Innovative Properties Company Note recognition for overlapping physical notes
EP3100208B1 (en) 2014-01-31 2021-08-18 3M Innovative Properties Company Note capture and recognition with manual assist
FR3017333B1 (fr) * 2014-02-07 2019-06-21 Advanced Track & Trace Procede et dispositif de securisation d'un objet, procede et dispositif de controle leur correspondant et objet securise
CN105095120A (zh) * 2015-07-03 2015-11-25 惠州Tcl移动通信有限公司 终端控制方法及附属设备
US9952821B2 (en) * 2015-09-01 2018-04-24 Electronics And Telecommunications Research Institute Screen position sensing method in multi display system, content configuring method, watermark image generating method for sensing screen position server, and display terminal
CN105354550B (zh) * 2015-11-03 2018-09-28 华东师范大学 一种基于图像局部特征点配准的表单内容提取方法
US10228775B2 (en) * 2016-01-22 2019-03-12 Microsoft Technology Licensing, Llc Cross application digital ink repository
USD836001S1 (en) 2016-03-04 2018-12-18 Discovery Inc. Bar code for a pouch
CN105828159A (zh) * 2016-03-22 2016-08-03 乐视网信息技术（北京）股份有限公司 一种电视运营角标的配置方法和装置
WO2017192716A1 (en) * 2016-05-03 2017-11-09 Leoni Engineering Products & Services, Inc. Vision system with color segmentation for operator enhanced viewing
WO2017221259A1 (en) * 2016-06-23 2017-12-28 S Jyothi Automatic recognition of indian prawn species
CN106886799B (zh) * 2017-03-17 2019-08-02 东北大学 一种基于混合集成学习的连续退火带钢质量在线检测方法
US10650288B2 (en) 2017-11-02 2020-05-12 International Business Machines Corporation Consolidation and history recording of a physical display board using an online task management system
CN108492308B (zh) * 2018-04-18 2020-09-08 南昌航空大学 一种基于相互结构引导滤波的变分光流的确定方法及系统
US10643065B2 (en) 2018-06-21 2020-05-05 Atlassian Pty Ltd Techniques for document creation based on image sections
CN109784266B (zh) * 2019-01-09 2021-12-03 江西理工大学应用科学学院 一种多模型超图的手写汉字识别算法
CN110288755B (zh) * 2019-05-21 2023-05-23 平安银行股份有限公司 基于文本识别的发票检验方法、服务器及存储介质
CN114585926A (zh) * 2019-10-31 2022-06-03 美国西门子医学诊断股份有限公司 标识管组件类型的设备和方法
US11245867B2 (en) 2020-01-07 2022-02-08 Benq Corporation Video conference system
CN113163144B (zh) * 2020-01-07 2024-04-09 明基智能科技（上海）有限公司 无线简报系统
TWI724746B (zh) * 2020-01-13 2021-04-11 明基電通股份有限公司 辨識視訊訊號來源的方法
US11651332B2 (en) 2020-04-28 2023-05-16 International Business Machines Corporation Distributed collaborative environment using physical notes
USD918944S1 (en) 2020-05-01 2021-05-11 3M Innovative Properties Company Display screen with transitional graphical user interface
TWI776159B (zh) * 2020-05-26 2022-09-01 林璟辰 顯示方法與電子裝置
CN115618812A (zh) * 2021-07-16 2023-01-17 富泰华工业（深圳）有限公司 基于色彩编码的用户信息嵌入方法、电子设备及存储介质
CN113657274B (zh) * 2021-08-17 2022-09-20 北京百度网讯科技有限公司 表格生成方法、装置、电子设备及存储介质
CN114140678A (zh) * 2021-11-23 2022-03-04 北京东方国信科技股份有限公司 刻度识别方法、装置、电子设备和存储介质
US20230186592A1 (en) * 2021-12-09 2023-06-15 Abbyy Development Inc. Division of images into separate color layers

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6504956B1 (en) * 1999-10-05 2003-01-07 Ecrio Inc. Method and apparatus for digitally capturing handwritten notes
TW200820004A (en) * 2006-10-27 2008-05-01 Univ Shu Te Mobile business card management device
TW200849109A (en) * 2007-02-15 2008-12-16 Stewart Carl Note capture device
US20090015676A1 (en) * 2007-07-11 2009-01-15 Qifa Ke Recognition and Tracking Using Invisible Junctions
US20110182508A1 (en) * 2010-01-27 2011-07-28 Ives Paul M Segregation of handwritten information from typographic information on a document
US20110249897A1 (en) * 2010-04-08 2011-10-13 University Of Calcutta Character recognition
US20120041330A1 (en) * 2010-08-16 2012-02-16 Prichep Leslie S Field deployable concussion assessment device

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4905296A (en) 1986-07-22 1990-02-27 Schlumberger Systems & Services, Inc. System for shape recognition
US5898434A (en) 1991-05-15 1999-04-27 Apple Computer, Inc. User interface system having programmable user interface elements
DE69230985T2 (de) 1991-06-11 2000-10-05 Canon Kk Bildverarbeitungssystem mit mehreren Speicheranordnungen
FR2681454B1 (fr) 1991-09-16 1995-08-18 Aerospatiale Procede et dispositif de traitement d'informations alphanumeriques et graphiques pour la constitution d'une banque de donnees.
US6650761B1 (en) 1999-05-19 2003-11-18 Digimarc Corporation Watermarked business cards and methods
JPH1186021A (ja) 1997-09-09 1999-03-30 Fuji Photo Film Co Ltd 画像処理装置
WO1999022318A1 (en) 1997-10-27 1999-05-06 Massachusetts Institute Of Technology Image search and retrieval system
JP3748172B2 (ja) 1998-12-09 2006-02-22 富士通株式会社 画像処理装置
US6351559B1 (en) 1998-12-22 2002-02-26 Matsushita Electric Corporation Of America User-enclosed region extraction from scanned document images
WO2000052645A1 (fr) 1999-03-01 2000-09-08 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'image document, procede d'extraction de titre de document et procede d'information d'etiquetage de document
US7760905B2 (en) 1999-06-29 2010-07-20 Digimarc Corporation Wireless mobile phone with content processing
US7406214B2 (en) 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US7421285B1 (en) 1999-06-04 2008-09-02 Ip Holdings, Inc. Method for providing gastronomic information and instruction with an internet server using mobile communication or computing devices and intelligent appliances
CA2399732A1 (en) * 2000-02-01 2001-08-09 Chan Shultz Method and apparatus for quantizing a color image through a single dither matrix
EP1182861A3 (en) 2000-08-17 2003-04-16 Eastman Kodak Company Method, apparatus and system for organizing captured digital images
US7343415B2 (en) 2001-03-29 2008-03-11 3M Innovative Properties Company Display of software notes indicating that content from a content provider site is available for display
US7573598B2 (en) 2002-01-16 2009-08-11 Infoprint Solutions Company, Llc Method and apparatus for selectively copying documents with handwritten notations
US7072512B2 (en) * 2002-07-23 2006-07-04 Microsoft Corporation Segmentation of digital video and images into continuous tone and palettized regions
US20040017400A1 (en) 2002-07-26 2004-01-29 Ly Eric Thichvi Method for project planning
WO2004068300A2 (en) 2003-01-25 2004-08-12 Purdue Research Foundation Methods, systems, and data structures for performing searches on three dimensional objects
US7992853B2 (en) 2003-06-07 2011-08-09 Opex Corporation Method and apparatus for processing mail to obtain image data of contents
US20050091578A1 (en) 2003-10-24 2005-04-28 Microsoft Corporation Electronic sticky notes
US7561310B2 (en) 2003-12-17 2009-07-14 Market Hatch Co., Inc. Method and apparatus for digital scanning and archiving
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
JP2006059075A (ja) 2004-08-19 2006-03-02 Fuji Xerox Co Ltd 文書処理装置およびプログラム
US20060077468A1 (en) * 2004-10-12 2006-04-13 Xerox Corporation System and method for smart color halftoning
JP4895340B2 (ja) 2005-03-31 2012-03-14 キヤノン株式会社 情報処理装置およびその方法
US8732570B2 (en) 2005-09-08 2014-05-20 Ricoh Co. Ltd. Non-symbolic data system for the automated completion of forms
US8024653B2 (en) 2005-11-14 2011-09-20 Make Sence, Inc. Techniques for creating computer generated notes
US20110285123A1 (en) 2006-01-23 2011-11-24 Cynthia Sue Hasko Wittke Pre-Printed Sticky Notes and Methods of Use
US7471209B2 (en) 2006-02-02 2008-12-30 Intuit Inc. RFID whiteboard
EP2063393B1 (en) * 2006-06-29 2013-01-16 Fujitsu Ltd. Color classifying method, color recognizing method, color classifying device, color recognizing device, color recognizing system, computer program, and recording medium
WO2008010513A1 (fr) 2006-07-19 2008-01-24 B-Core Inc. symbole optique, objet auquel il est rattaché, procédé de rattachement du symbole optique à un OBJET, procédé de décodage dudit symbole, dispositif et programme associés
US7873213B2 (en) 2006-09-26 2011-01-18 Sharp Laboratories Of America, Inc. Systems and methods for color-deficient image enhancement
AU2006252025B2 (en) 2006-12-13 2012-10-04 Canon Kabushiki Kaisha Recognition of parameterised shapes from document images
US8254712B2 (en) 2007-03-30 2012-08-28 Fujifilm Corporation Image processing apparatus, image processing method, image managing apparatus, image managing method, computer program product, and image order sheet
US7999966B2 (en) 2007-04-18 2011-08-16 Hewlett-Packard Development Company, L.P. Color content detection
US8103108B2 (en) 2007-05-01 2012-01-24 Sharp Kabushiki Kaisha Image processing apparatus, image forming apparatus, image processing system, and image processing method
JP2009020813A (ja) 2007-07-13 2009-01-29 Three M Innovative Properties Co タグおよびそれを用いた物品認識システム
US8705835B2 (en) 2007-09-27 2014-04-22 Glory Ltd Paper sheet processing apparatus
US20090086269A1 (en) 2007-09-28 2009-04-02 Kyocera Mita Corporation Image Forming Apparatus and Image Forming System
US8069173B2 (en) 2007-11-12 2011-11-29 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same, information processing method, and computer program
JP5129648B2 (ja) 2008-05-13 2013-01-30 株式会社Ｐｆｕ 画像読取装置およびマーク検出方法
US8543926B2 (en) 2008-06-10 2013-09-24 Microsoft Corporation Managing item access in a collaborative workspace
US9191238B2 (en) 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8070061B2 (en) 2008-10-21 2011-12-06 Habraken G Wouter Card credential method and system
US8096477B2 (en) 2009-01-27 2012-01-17 Catch, Inc. Semantic note taking system
JPWO2011004612A1 (ja) 2009-07-10 2012-12-20 パナソニック株式会社 マーカ表示制御装置、集積回路、及び、マーカ表示制御方法
JP5212334B2 (ja) 2009-10-22 2013-06-19 コニカミノルタホールディングス株式会社 会議支援システム
EP2323069A2 (en) 2009-11-17 2011-05-18 Samsung Electronics Co., Ltd. Method, device and system for content based image categorization field
US8558913B2 (en) 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
US8600167B2 (en) 2010-05-21 2013-12-03 Hand Held Products, Inc. System for capturing a document in an image signal
US9406132B2 (en) 2010-07-16 2016-08-02 Qualcomm Incorporated Vision-based quality metric for three dimensional video
US8542889B2 (en) 2010-10-19 2013-09-24 Apple Inc. Systems, methods, and computer-readable media for capturing a signature for use in a document
WO2012070930A1 (en) 2010-11-24 2012-05-31 Greenflower Intercode Holding B.V. User -friendly method and system for compiling a unique sample code for a digital sample with the help of a user - interface
CN102486767B (zh) * 2010-12-02 2015-03-25 北大方正集团有限公司 内容文档的内容标注方法和装置
JP5488530B2 (ja) * 2011-05-23 2014-05-14 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US9858552B2 (en) 2011-06-15 2018-01-02 Sap Ag Systems and methods for augmenting physical media from multiple locations
US8917412B2 (en) 2011-06-16 2014-12-23 Ricoh Company, Ltd. System, apparatus and method for consumption management
US8380040B2 (en) 2011-07-18 2013-02-19 Fuji Xerox Co., Ltd. Systems and methods of capturing and organizing annotated content on a mobile device
US8935265B2 (en) 2011-08-30 2015-01-13 Abbyy Development Llc Document journaling
US8655068B1 (en) * 2011-10-07 2014-02-18 LI Creative Technologies, Inc. Color correction system
EP2789159A4 (en) 2011-12-07 2015-06-17 Intel Corp GUIDED IMAGE CAPTURE
JP5783031B2 (ja) 2011-12-22 2015-09-24 コニカミノルタ株式会社 画像形成システム及びプログラム
US20130227476A1 (en) 2012-02-24 2013-08-29 Nokia Corporation Method, apparatus and computer program product for management of information on a graphic user interface
US8687104B2 (en) 2012-03-27 2014-04-01 Amazon Technologies, Inc. User-guided object identification
US20130258122A1 (en) 2012-03-27 2013-10-03 Research In Motion Limited Method and device for motion enhanced image capture
US10681304B2 (en) 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
US8953876B2 (en) 2012-08-22 2015-02-10 Facebook, Inc. Creation of a color profile of an image
WO2015006273A1 (en) 2013-07-09 2015-01-15 3M Innovative Properties Company Systems and methods for note content extraction and management by segmenting notes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6504956B1 (en) * 1999-10-05 2003-01-07 Ecrio Inc. Method and apparatus for digitally capturing handwritten notes
TW200820004A (en) * 2006-10-27 2008-05-01 Univ Shu Te Mobile business card management device
TW200849109A (en) * 2007-02-15 2008-12-16 Stewart Carl Note capture device
US20090015676A1 (en) * 2007-07-11 2009-01-15 Qifa Ke Recognition and Tracking Using Invisible Junctions
US20110182508A1 (en) * 2010-01-27 2011-07-28 Ives Paul M Segregation of handwritten information from typographic information on a document
US20110249897A1 (en) * 2010-04-08 2011-10-13 University Of Calcutta Character recognition
US20120041330A1 (en) * 2010-08-16 2012-02-16 Prichep Leslie S Field deployable concussion assessment device

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Extraction and Classification of Handwritten Annotations" by Mazzei etc.2010/09/26
"New Decision Support Tool for Acute Lymphobalastic Leukemia Classification" by Monica etc. 2012/02/09
"New Decision Support Tool for Acute Lymphobalastic Leukemia Classification" by Monica etc. 2012/02/09 "Extraction and Classification of Handwritten Annotations" by Mazzei etc.2010/09/26 *

Also Published As

Publication number Publication date
US20150055859A1 (en) 2015-02-26
EP3020002B1 (en) 2022-05-04
WO2015006343A3 (en) 2015-04-02
WO2015006273A1 (en) 2015-01-15
US8977047B2 (en) 2015-03-10
US20150016716A1 (en) 2015-01-15
WO2015006275A1 (en) 2015-01-15
US9251414B2 (en) 2016-02-02
EP3020000A1 (en) 2016-05-18
TW201516889A (zh) 2015-05-01
EP3020002A4 (en) 2017-03-29
EP3020002A2 (en) 2016-05-18
EP3020001B1 (en) 2022-04-27
US9412018B2 (en) 2016-08-09
US20150186719A1 (en) 2015-07-02
EP3020000B1 (en) 2022-04-27
TW201512965A (zh) 2015-04-01
US20160328609A1 (en) 2016-11-10
US8891862B1 (en) 2014-11-18
TWI646457B (zh) 2019-01-01
US9779295B2 (en) 2017-10-03
EP3020000A4 (en) 2017-03-29
TW201917555A (zh) 2019-05-01
TWI623888B (zh) 2018-05-11
WO2015006343A2 (en) 2015-01-15
EP3020001A1 (en) 2016-05-18
US20160117570A1 (en) 2016-04-28
TWI692714B (zh) 2020-05-01
US20150016718A1 (en) 2015-01-15
US9508001B2 (en) 2016-11-29
TW201528155A (zh) 2015-07-16
EP3020001A4 (en) 2017-03-22
US9390322B2 (en) 2016-07-12

Similar Documents

Publication Publication Date Title
TWI626600B (zh) 自便條提取內容的方法、便條管理系統及非暫時性電腦可讀儲存裝置
US10296789B2 (en) Note recognition for overlapping physical notes
US9047509B2 (en) Note recognition and association based on grouping indicators
TWI620078B (zh) 用於筆記辨識之系統及方法
EP3058514B1 (en) Adding/deleting digital notes from a group
CN114220116A (zh) 用于管理便条的系统和方法
US9082184B2 (en) Note recognition and management using multi-color channel non-marker detection

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees