TWI620078B - 用於筆記辨識之系統及方法 - Google Patents

用於筆記辨識之系統及方法 Download PDF

Info

Publication number
TWI620078B
TWI620078B TW103112213A TW103112213A TWI620078B TW I620078 B TWI620078 B TW I620078B TW 103112213 A TW103112213 A TW 103112213A TW 103112213 A TW103112213 A TW 103112213A TW I620078 B TWI620078 B TW I620078B
Authority
TW
Taiwan
Prior art keywords
note
notes
visual representation
physical
physical notes
Prior art date
Application number
TW103112213A
Other languages
English (en)
Other versions
TW201445337A (zh
Inventor
加比爾 亞歷山大 比勒
克里斯多福 威廉 庫佛
馬司馬 瓦濟 亨利
史帝芬 馬修 吉恩
布萊恩 李 琳茲
羅伯特 丹尼斯 勞倫姿
大衛 毛利斯 瑪里
理查Ｊ 摩爾
克莉絲汀 艾琳 摩倫
中山丞
史考特 大衛 皮爾森
丹納德 約翰 包威爾
歐蘭 羅寧
古魯帕賽德 索瑪桑德朗
布萊恩Ｊ 史丹凱維茲
黛安 瑞多特 渥克
Original Assignee
３Ｍ新設資產公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ３Ｍ新設資產公司 filed Critical ３Ｍ新設資產公司
Publication of TW201445337A publication Critical patent/TW201445337A/zh
Application granted granted Critical
Publication of TWI620078B publication Critical patent/TWI620078B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Input (AREA)
  • Information Transfer Between Computers (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本發明之至少一些態樣係以用於筆記辨識之系統及方法為特徵。該筆記辨識系統包括一感測器、一筆記辨識模組及一筆記摘錄模組。該感測器經組態以捕捉具有一或多個筆記之一場景之一視覺表示。該筆記辨識模組耦接至該感測器。該筆記辨識模組經組態以接收該已捕捉視覺表示，且自該已捕捉視覺表示判定一筆記之一整體邊界。該筆記摘錄模組經組態以基於該筆記之該已判定整體邊界而自該已捕捉視覺表示摘錄該筆記之內容。

Description

用於筆記辨識之系統及方法
本發明係關於筆記捕捉、辨識、摘錄及/或管理工具及系統。
筆記已廣泛地用來記錄、分享及傳達構想及資訊。舉例而言，在共同作業工作階段(例如，腦力激盪工作階段)期間，參與者在Post-It®筆記、白板或紙張上寫下構想，且接著彼此分享。另外，人們通常整天使用筆記以紀念個人不想要忘記之資訊或內容。作為額外實例，人們頻繁地使用筆記作為待在未來採取之動作或事件之提醒，諸如，進行通話、修訂文件或填寫時間表。
在許多情形中，人們傳統上將在以紙張為基礎之筆記(諸如，Post-it®筆記)上寫下適當資訊。簡單地自背黏式紙張Post-it®筆記之施配器襯墊(dispenser pad)移除紙張Post-it®筆記，且將紙張Post-it®筆記應用於諸如文件、書桌頂部、電話或其類似者之各種表面。在將紙張Post-it®筆記自其施配器襯墊卸離或附接至其目標表面之前，抑或在將紙張Post-it®筆記自其施配器襯墊卸離或附接至其目標表面之後，可在紙張Post-it®筆記上書寫資訊。紙張Post-it®筆記可容易地自一個表面移動至另一表面，諸如，在文件之間或在文件與書桌頂部之間移動；該等筆記可與文件之邊緣或邊界重疊；該等筆記可分層；且該等筆記可隨著其所附接之物件而移動。
本發明之至少一些態樣係以一種收集筆記之內容之方法為特徵，該方法包含以下步驟：由一感測器捕捉具有複數個筆記之一場景之一視覺表示；由一處理單元自該視覺表示辨識該複數個筆記中之一者；及由該處理單元摘錄該複數個筆記中之該一者之內容。
本發明之至少一些態樣係以一種筆記辨識系統為特徵，該筆記辨識系統包括一感測器、一筆記辨識模組及一筆記摘錄模組。該感測器經組態以捕捉具有複數個筆記之一場景之一視覺表示。該筆記辨識模組耦接至該感測器。該筆記辨識模組經組態以接收該已捕捉視覺表示，且自該已捕捉視覺表示判定該複數個筆記中之一者之一整體邊界。該筆記摘錄模組經組態以基於該複數個筆記中之該一者之該已判定整體邊界而自該已捕捉視覺表示摘錄該複數個筆記中之該一者之內容。
10‧‧‧筆記辨識環境
12‧‧‧雲端伺服器
14‧‧‧電腦系統
15‧‧‧行動裝置
16‧‧‧行動裝置
18‧‧‧影像捕捉裝置
20‧‧‧工作區
22‧‧‧筆記
28‧‧‧呈現裝置
64‧‧‧作業系統
68‧‧‧資料儲存體
70‧‧‧可程式化處理器
72‧‧‧傳輸器
74‧‧‧接收器
76‧‧‧I/O
77‧‧‧使用者應用程式
78‧‧‧筆記管理應用程式
79‧‧‧圖形使用者介面(GUI)
100A‧‧‧筆記辨識系統
100B‧‧‧筆記管理系統
110‧‧‧處理單元
120‧‧‧筆記
130‧‧‧感測器
140‧‧‧筆記內容存放庫
150‧‧‧筆記來源
160‧‧‧呈現裝置
200A‧‧‧筆記
200B‧‧‧筆記
200C‧‧‧筆記
210A‧‧‧元素
210B‧‧‧元素
210C‧‧‧元素
220A‧‧‧元素
220B‧‧‧元素
230B‧‧‧元素
240B‧‧‧元素
310A‧‧‧步驟
310B‧‧‧步驟
310C‧‧‧步驟
320A‧‧‧步驟
320B‧‧‧步驟
320C‧‧‧步驟
330A‧‧‧步驟
330B‧‧‧步驟
330C‧‧‧步驟
340B‧‧‧步驟
350B‧‧‧步驟
360B‧‧‧步驟
400‧‧‧視覺表示
410‧‧‧筆記
420‧‧‧標示
430‧‧‧整體邊界
500A‧‧‧視覺表示
500B‧‧‧視覺表示
500C‧‧‧視覺表示
500D‧‧‧視覺表示
510A‧‧‧筆記
510C‧‧‧筆記
510D‧‧‧已摘錄內容
520‧‧‧標示
600‧‧‧筆記辨識系統
620‧‧‧筆記捕捉模組
630‧‧‧筆記辨識模組
640‧‧‧筆記摘錄模組
650‧‧‧筆記鑑認模組
710A‧‧‧步驟
710B‧‧‧步驟
720A‧‧‧步驟
720B‧‧‧步驟
730A‧‧‧步驟
730B‧‧‧步驟
740A‧‧‧步驟
740B‧‧‧步驟
750A‧‧‧步驟
750B‧‧‧步驟
760A‧‧‧步驟
800‧‧‧筆記管理系統
820‧‧‧筆記來源
830‧‧‧筆記辨識模組
840‧‧‧筆記摘錄模組
850‧‧‧筆記鑑認模組
860‧‧‧筆記標記模組
870‧‧‧筆記呈現模組
隨附圖式併入於本說明書中且構成本說明書之部分，且連同【實施方式】一起解釋本發明之優勢及原理。在該等圖式中，圖1A為說明使用者使用行動裝置上之影像捕捉裝置來捕捉具有筆記之工作區之影像之一項實例的表示；圖1B為說明行動裝置之一項實例的方塊圖；圖1C說明筆記辨識系統之實施例；圖1D說明筆記管理系統之實施例；圖2A至圖2C說明具有標示之筆記之一些實例；圖3A說明筆記辨識及/或管理系統之實施例的流程圖；圖3B說明摘錄筆記之內容之實施例的流程圖；圖3C說明鑑認筆記之實施例的流程圖；圖4A至圖4D說明具有標示之筆記之內容摘錄程序之實例；圖5A至圖5D說明具有逆向反射式標示之複數個筆記之內容摘錄 之實施例；圖6說明筆記辨識系統之實施例的模組圖；圖7A說明筆記管理系統之實施例的流程圖；圖7B說明系統可如何標記筆記之實例；及圖8說明筆記管理系統之實施例的模組圖。
筆記已廣泛地用來記錄、分享及傳達構想及資訊。舉例而言，在共同作業工作階段(例如，腦力激盪工作階段)期間，參與者在Post-It®筆記、白板、紙張上寫下構想，且接著彼此分享。本發明之至少一些態樣係有關於捕捉多個筆記且摘錄筆記之內容之系統及方法。在一些實施例中，該等筆記中至少一些包括一標示以促進該等筆記之辨識及摘錄。在一些狀況下，在場景之一個視覺表示中捕捉及識別/辨識筆記。舉例而言，場景之視覺表示可為筆記及周圍環境之數位相片。另外，本發明之至少一些態樣係有關於管理多個筆記(諸如，儲存及擷取該等筆記、分類及分組該等筆記，或其類似者)之系統及方法。在一些狀況下，筆記管理系統可改良在自大量筆記捕捉及摘錄筆記內容方面之效率。另外，筆記管理系統可改良在分組及管理筆記方面之效率。
筆記可包括實體筆記及數位筆記。實體筆記通常係指具有整體邊界及可辨識內容之物件。實體筆記可包括在人們於物件(例如，紙張、白板，或接受其他類型之輸入之其他物件)上進行書寫、繪畫或經由該等輸入而鍵入之後所得的物件。作為實例，實體筆記可包括手寫式Post-It®筆記、紙張或膠捲、具有圖畫之白板、海報，及告示牌。在一些狀況下，一個物件可包括若干筆記。舉例而言，可在一張海報紙張或一白板上書寫若干構想。在一些實施中，為了促進此等筆記之辨識，可將標示(諸如，線條、標示物、貼紙)應用於該等筆記之 邊緣。實體筆記可為二維或三維。實體筆記可具有各種形狀及大小。舉例而言，實體筆記可為3吋×3吋之筆記；實體筆記可為26吋×39吋之海報；且實體筆記可為三角形金屬告示牌。在一些狀況下，實體筆記具有已知形狀及/或大小。數位筆記通常係指具有資訊及/或構想之數位物件。可使用數位輸入來產生數位筆記。數位輸入可包括(例如)鍵盤、觸控式螢幕、數位攝影機、數位錄製裝置、觸控筆、數位筆或其類似者。
在一些狀況下，筆記用於共同作業空間中。共同作業空間通常係指允許一個以上人員彼此分享構想及思想之搜集區域。除了搜集區域以外，共同作業空間亦可包括允許人員群組在遠端分享構想及思想之虛擬空間。
圖1A說明筆記辨識環境10之實例。在圖1A之實例中，環境10包括行動裝置15以自工作區20捕捉及辨識較多筆記22中之一者。如本文所描述，行動裝置提供用於一或多個軟體應用程式之執行環境，如所描述，該一或多個軟體應用程式可自大量實體筆記(諸如，來自工作區20之筆記22之集合)有效地捕捉及摘錄筆記內容。在此實例中，筆記22可為具有多個參與者之共同作業腦力激盪工作階段之結果。如所描述，行動裝置15及執行於行動裝置15上之軟體可執行多種筆記相關操作，包括自動化地建立表示工作區20之實體筆記22之數位筆記。
在實例實施中，行動裝置15尤其包括影像捕捉裝置18及呈現裝置28。另外，儘管圖1A中未圖示，但行動裝置15可包括用於執行軟體或韌體以提供本文所描述之功能性之一或多個處理器、微處理器、內部記憶體及/或資料儲存體以及其他電子電路系統。
大體上，影像捕捉裝置18為經組態以捕捉表示工作區20及定位於工作區20中之筆記22之影像資料的攝影機或其他組件。換言之，該影像資料捕捉具有複數個視覺筆記之環境(諸如，工作區20)之視覺表 示。儘管影像捕捉裝置18被論述為行動裝置15之攝影機，但影像捕捉裝置18可包含能夠捕捉影像資料之其他組件，諸如，視訊錄製器、紅外線攝影機、電荷耦合裝置(Charge Coupled Device,CCD)陣列、雷射掃描器或其類似者。此外，已捕捉影像資料可包括一影像、一視訊、一連串影像(亦即，在一時段內及/或以一次序所拍攝之多個影像)、一影像集合或其類似者中至少一者，且本文使用術語輸入影像以係指各種實例類型之影像資料。
呈現裝置28可包括但不限於一電子可定址顯示器，諸如，供行動裝置28使用的液晶顯示器(liquid crystal display,LCD)或其他類型之顯示裝置。在一些實施中，對於呈多種格式(例如，清單、按列及/或行而分組、流程圖或其類似者)之筆記，行動裝置15產生待顯示於呈現裝置28上之內容。在一些狀況下，行動裝置15可傳達用於由其他裝置(諸如，平板電腦、投影儀、電子廣告牌或其他外部裝置)呈現之顯示資訊。
如本文所描述，行動裝置15及執行於行動裝置15上之軟體提供用於建立及操縱表示實體筆記22之數位筆記之平台。舉例而言，大體上，行動裝置15經組態以處理由影像捕捉裝置18產生之影像資料，以偵測及辨識定位於工作區20內之實體筆記22中至少一者。在一些實例中，行動裝置15經組態以藉由判定筆記之整體邊界來辨識筆記。在辨識筆記之後，行動裝置15摘錄一或多個筆記中至少一者之內容，其中該內容為筆記22之視覺資訊。
如下文進一步所描述，行動裝置15可實施用於自動化地偵測及辨識實體筆記22且摘錄與該等實體筆記中每一者相關聯之資訊、內容或其他特性之技術。
在圖1A之實例中，將行動裝置15說明為行動電話。然而，在其他實例中，行動裝置15可為平板電腦、個人數位助理(personal digital assistant,PDA)、膝上型電腦、媒體播放器、電子書閱讀器、可穿戴式計算裝置(例如，手錶、眼用佩戴品、手套)，或適合於執行本文所描述之技術的任何其他類型之行動或非行動計算裝置。
圖1B說明一方塊圖，其說明根據本文所描述之技術而操作之行動裝置之實例。出於實例目的，將關於圖1A之行動裝置15來描述圖1B之行動裝置
在此實例中，行動裝置15包括提供用於該裝置之操作之核心功能性的各種硬體組件。舉例而言，行動裝置15包括經組態以根據可執行指令(亦即，程式碼)而操作之一或多個可程式化處理器70，該等可執行指令通常儲存於諸如靜態隨機存取記憶體(SRAM)裝置或快閃記憶體裝置之電腦可讀媒體或資料儲存體68中。I/O 76可包括一或多個裝置，諸如，鍵盤、攝影機按鈕、電源按鈕、音量按鈕、首頁按鈕、上一頁按鈕、功能表按鈕，或如圖1A所描述之呈現裝置28。傳輸器72及接收器74經由如圖1A所描述之無線通信介面(諸如但不限於，高頻射頻(RF)信號)而提供與其他裝置(諸如，如圖1A所描述之雲端伺服器12、電腦系統14或其他行動裝置16)之無線通信。行動裝置15可包括圖1B中未圖示之額外離散數位邏輯或模擬電路系統。
大體上，作業系統64執行於處理器70上，且提供用於一或多個使用者應用程式77(通常被稱為「應用程式」)之操作環境，使用者應用程式77包括筆記管理應用程式78。舉例而言，使用者應用程式77可包含儲存於電腦可讀儲存裝置(例如，資料儲存體68)中以供處理器70執行之可執行程式碼。作為其他實例，使用者應用程式77可包含韌體，或在一些實例中可實施於離散邏輯中。
在操作中，行動裝置15根據本文所描述之技術來接收輸入影像資料且處理輸入影像資料。舉例而言，影像捕捉裝置18可捕捉具有複數個筆記之環境(諸如，具有筆記22的圖1A之工作區20)之輸入影像。 作為另一實例，行動裝置15可經由接收器74而自外部來源(諸如，雲端伺服器15、電腦系統14或行動裝置16)接收影像資料。大體上，行動裝置15將影像資料儲存於資料儲存體68中以供筆記管理應用程式78及/或其他使用者應用程式77存取及處理。
如圖1B所展示，使用者應用程式77可調用作業系統64之核心功能，以輸出用於將資訊呈現給行動裝置之使用者之圖形使用者介面(graphical user interface,GUI)79。如下文進一步所描述，筆記管理應用程式78可建構及控制GUI 79，以提供用於產生及操縱表示實體筆記22之對應數位筆記之改良型電子環境。
為了較好地理解本發明，圖1C說明筆記辨識系統100A之實施例。系統100A可包括處理單元110、一或多個筆記120、感測器130及筆記內容存放庫140。處理單元110可包括一或多個處理器、微處理器、電腦、伺服器及其他計算裝置。感測器130(例如，影像感測器)經組態以捕捉具有一或多個筆記120之場景之視覺表示。感測器130可包括攝影機、視訊錄製器、紅外線攝影機、電荷耦合裝置(CCD)陣列、掃描器或其類似者中至少一者。該視覺表示可包括一影像、一視訊、一連串影像(亦即，在一時段內及/或以一次序所拍攝之多個影像)、一影像集合或其類似者中至少一者。處理單元110耦接至感測器130，且經組態以接收視覺表示。在一些狀況下，處理單元110電子地耦接至感測器130。處理單元110經組態以自視覺表示辨識一或多個筆記120中至少一者。在一些實施例中，處理單元110經組態以藉由判定筆記之整體邊界來辨識筆記。在辨識筆記之後，處理單元110摘錄筆記之內容。在一些狀況下，處理單元110經組態以自具有一個以上筆記之場景之視覺表示辨識及摘錄彼等筆記之內容。
在一些狀況下，處理單元110可執行儲存於非暫時性電腦可讀媒體中之軟體或韌體，以實施用於系統100A之各種程序(例如，辨識筆 記、摘錄筆記，等等)。筆記內容存放庫140可執行於單一電腦、伺服器、儲存裝置、雲端伺服器或其類似者上。在一些其他狀況下，筆記內容存放庫140可執行於一系列網路連接式電腦、伺服器或裝置上。在一些實施中，筆記內容存放庫140包括資料儲存裝置之階層，該等階層包括本機(local)、地區(regional)及中央(central)。筆記120可包括有序地或隨機地排列於共同作業空間中之實體筆記，且感測器130在共同作業空間中產生筆記120之視覺表示。
在一些實施例中，一或多個筆記120中至少一些包括一標示，該標示可促進一筆記之識別、辨識及/或鑑認。在一些實施例中，標示包括條碼、色塊、色碼、信用標示、商標標識、點、孔及其類似者中至少一者。筆記自身之形狀及/或色彩可用作標示以促進一筆記之識別、辨識及/或鑑認。在一些狀況下，標示可包括以某些圖案而排列之複數個元素，例如，在矩形筆記之四個角落處之信用標示。在一些其他狀況下，標示可包括複數個元素，其中至少一些元素為可用以提供鑑認資訊之非可見元素，例如，射頻識別(radio frequency identification,RFID)標籤。作為實例，可使用以下各者中至少一者來製造標示：逆向反射式材料、光學可變墨水、有色墨水、紅外線吸收墨水、螢光墨水、浮水印、光面材料、虹彩材料、多層光學膜、膠態晶體、穿孔標示、結構化色彩、浮動影像、窗紗線(window thread)或其類似者。在一些實施例中，處理單元110首先自視覺表示辨識筆記上之標示，判定視覺表示上之標示之位置，且接著基於已辨識標示來摘錄筆記之內容。在一些狀況下，處理單元110基於已辨識標示、筆記之已知形狀及筆記上之標示之已知相對位置來摘錄筆記之內容。在一些實施中，處理單元110即時地自視覺表示摘錄筆記之內容(亦即，在暫時性儲存體中處理資料)，而不將視覺表示儲存於非暫時性儲存體中。
在一些實施中，筆記辨識系統100A可包括呈現裝置(圖1C中未圖示)以向使用者展示哪些筆記被辨識及/或哪些筆記之內容已被摘錄。另外，筆記辨識系統100A可經由呈現裝置而呈現已摘錄內容。在一些實施例中，處理單元110可在摘錄筆記之內容之前鑑認筆記。若筆記被鑑認，則將摘錄內容且將內容儲存於筆記內容存放庫140中。在一些狀況下，處理單元可自筆記上之標示摘錄鑑認資訊。在此等狀況下，鑑認資訊可在標示上可見或非可見。舉例而言，筆記上之標示可包括符號，例如，公司標識、矩陣碼、條碼、色碼或其類似者。作為另一實例，筆記上之標示可包括標籤以儲存可由適合讀取器擷取之資訊。舉例而言，標示可包括RFID標籤、近場通信(near field communication,NFC)標籤或其類似者。
在一些實施例中，感測器130可產生具有若干筆記120之場景之第一視覺表示，例如，拍攝具有周圍環境的該等筆記之相片或視訊剪輯。該等筆記中每一者具有一標示。處理單元110識別標示，判定標示之位置，且使用標示之位置來控制感測器130以產生具有筆記120之場景之第二視覺表示，例如，拍攝該等筆記之放大影像。處理單元110可進一步自第二視覺表示辨識及摘錄筆記之內容。
圖1D說明筆記管理系統100B之實施例。在此實施例中，筆記管理系統100B包括處理單元110、一或多個筆記120、一或多個筆記來源150及筆記內容存放庫140。在一些狀況下，系統100B包括呈現裝置160。處理單元110、筆記120及筆記內容存放庫140相似於用於如圖1A所說明之筆記辨識系統100A之組件。筆記來源150可包括用以提供實體筆記之內容之來源(諸如，具有一或多個筆記之場景之視覺表示)，及用以提供數位筆記之內容之來源(諸如，自鍵盤鍵入之資料串流)。在一些實施例中，筆記管理系統100B包括第一來源及第二來源，且第一來源為具有一或多個筆記120之場景之視覺表示。第一來 源及第二來源係由不同裝置產生。第二來源包括文字串流、影像、視訊、檔案及資料項目中至少一者。處理單元110自第一來源辨識該等筆記中至少一者，且摘錄該筆記之內容，如在筆記辨識系統100A中所論述。在一些狀況下，處理單元110運用類別來標記筆記。處理單元110可基於筆記之特定形狀、色彩、內容及/或其他資訊來標記筆記。舉例而言，每一筆記群組可具有一不同色彩(例如，紅色、綠色、黃色等等)。在一些狀況下，筆記120可包括具有一或多個元素之標示，且處理單元110可基於自該標示摘錄之資訊來標記該筆記。
在一些實施例中，筆記管理系統100B可包括一或多個呈現裝置160以向使用者展示筆記120之內容。呈現裝置160可包括但不限於一電子可定址顯示器，諸如，液晶顯示器(LCD)、平板電腦、投影儀、電子廣告牌、蜂巢式電話、膝上型電腦或其類似者。在一些實施中，對於呈多種格式(例如，清單、按列及/或行而分組、流程圖或其類似者)之筆記，處理單元110產生待顯示於呈現裝置160上之內容。
筆記辨識系統及筆記管理系統之各種組件(諸如，處理單元、影像感測器及筆記內容存放庫)可經由通信介面而通信。通信介面包括但不限於任何有線或無線近程及遠程通信介面。近程通信介面可為(例如)：區域網路(local area network,LAN)；符合諸如藍芽標準、IEEE 802標準(例如，IEEE 802.11)、ZigBee或相似規格之已知通信標準之介面，諸如，基於IEEE 802.15.4標準之介面；或其他公用或專屬無線協定。遠程通信介面可為(例如)廣域網路(wide area network,WAN)、蜂巢式網路介面、衛星通信介面等等。通信介面可在私用電腦網路(諸如，企業內部網路)內，抑或在公用電腦網路(諸如，網際網路)上。
圖2A至圖2C說明具有標示之筆記之一些實例。如圖2A所說明，筆記200A上之標示具有兩個元素：元素210A及元素220A。元素210A 及220A可具有不同大小、形狀、相對位置及/或材料成份。舉例而言，元素210A為作為用於筆記之識別符之條碼，且元素220A為可用以判定筆記之邊界的逆向反射式墨水之小矩形。如圖2B所說明，筆記200B上之標示可具有四個元素210B、220B、230B及240B。該四個元素可具有相似或不同大小、形狀及材料成份。該標示可用以辨識筆記之大小、位置、定向、失真及其他特性，該等特性可用於內容摘錄及增強中。如圖2C所說明，筆記200C上之標示具有一個元素210C。筆記200C具有非矩形形狀。在一些實施例中，元素210C包括一識別符，例如，用以識別用於筆記之類型及分組。在一些狀況下，該識別符為唯一識別符。
圖3A說明筆記辨識及/或管理系統之實施例的流程圖。最初，系統捕捉複數個筆記之視覺表示(步驟310A)。在一些實施例中，筆記為實體筆記，且較有效的是一次捕捉一個以上筆記。接下來，系統自視覺表示辨識複數個筆記中之一者(步驟320A)。舉例而言，系統可辨識筆記上之特定標示，且隨後判定筆記之整體邊界。系統摘錄複數個筆記中之一者之內容(步驟330A)。在一些實施例中，系統可在摘錄內容之前將影像變換應用於視覺表示之至少部分。在一些其他實施例中，系統可應用影像增強或其他影像處理技術以改良已摘錄內容之品質。在又其他實施例中，系統可進一步自已摘錄內容辨識文字及圖表。
圖3B說明摘錄筆記之內容之實施例的流程圖。首先，由系統接收視覺表示(步驟310B)。系統自視覺表示辨識筆記上之標示(步驟320B)。在判定標示之位置及/或形狀之後，系統可視情況對視覺表示執行幾何校正及裁剪(步驟330B)。基於筆記上之標示之已辨識位置及/或形狀，在視覺呈現上辨識筆記之整體邊界(步驟340B)。在一些實施例中，系統可接收同一組筆記之兩個視覺表示，其中該等筆記中每一者具有一標示。使用適合於捕捉筆記上之標示之光源來獲取第一視 覺表示。舉例而言，對於使用紅外線敏感墨水之標示，光源可為紅外線光。在第一視覺表示中辨識標示，且判定標示之位置。第二視覺表示可捕捉該組筆記，且系統可分別基於每一筆記之標示來判定每一筆記之整體邊界。在判定筆記之整體邊界之後，系統摘錄筆記之內容(步驟350B)。舉例而言，在視覺表示為影像的情況下，系統可根據筆記之已判定整體邊界來裁剪影像。視情況，系統可(例如)藉由改變對比度、改變亮度及/或使用其他影像處理技術來增強筆記之內容(步驟360B)。在一些狀況下，系統可運用指示筆記之已摘錄內容之狀態來更新筆記。
圖3C說明鑑認筆記之實施例的流程圖。首先，自筆記或筆記堆疊獲得鑑認信號(步驟310C)。在一項實施例中，鑑認資訊為筆記上之標示之視覺分量(例如，全息圖)，且可藉由自捕捉筆記之視覺表示摘錄視覺分量來獲得鑑認信號。在另一實施例中，在筆記上之標示之電子分量(例如，RFID標籤)中含有鑑認資訊，且可使用適合讀取器(例如，RFID讀取器)來獲得鑑認信號。接下來，系統驗證鑑認信號(步驟320C)。若筆記被鑑認，則系統可開始筆記管理應用程式或使用筆記(步驟330C)。
圖4A至圖4D說明具有標示之筆記之內容摘錄程序之實例。首先，如圖4A所說明，捕捉筆記410之視覺表示400。筆記410具有標示420，標示420可為條碼、色碼、矩陣碼、色塊或其類似者。接下來，如圖4B所說明，系統判定視覺表示上之標示之整體邊界430，且辨識標示420。在一些狀況下，筆記410可在視覺表示400中傾斜，如圖4C所說明。在一些其他狀況下，可以幾何失真來獲取視覺表示400。系統可使用標示420之已判定整體邊界或標示420之部分來判定對視覺表示400之必要影像變換及校正以獲得筆記內容。圖4D說明出系統在先前分析及/或影像處理之後摘錄筆記410之內容。
圖5A至圖5D說明具有逆向反射式標示之複數個筆記之內容摘錄之實施例。筆記辨識/管理系統接收視覺表示500A，視覺表示500A捕捉三個筆記510A，且每一筆記510A具有一標示520，標示520具有兩個元素一一在左上部角落及底下部角落處之兩個逆向反射式矩形標籤。由於逆向反射式材料之光學屬性，標示520實質上亮於筆記之其餘部分。圖5B說明標示520比筆記510A及背景亮得多。在一些實施例中，系統可使用影像處理以將如圖5A所說明之視覺表示500A變換至如圖5B所說明之視覺表示500B。在一些替代實施例中，系統可運用不同光源(例如，閃光燈)來產生三個筆記510A之另一視覺表示500B。系統可容易地自視覺表示500B識別標示520。在識別標示520之後，系統可摘錄筆記510C之內容，如圖5C所說明。在一些狀況下，系統可使用影像處理技術(例如，適應性直方圖等化)以增強已摘錄內容510D，如圖5D所說明。
圖6說明筆記辨識系統600之實施例的模組圖。在如所說明之實施例中，系統600包括筆記捕捉模組620、筆記辨識模組630及筆記摘錄模組640。筆記辨識系統600之各種組件係可由一或多個計算裝置實施，該一或多個計算裝置包括但不限於電路、電腦、處理器、處理單元、微處理器及/或平板電腦。在一些狀況下，筆記辨識系統600之各種組件可實施於一共用計算裝置上。替代地，系統600之一組件可實施於多個計算裝置上。在一些實施中，系統600之各種模組及組件可被實施為軟體、硬體、韌體或其組合。在一些狀況下，筆記辨識系統600之各種組件可實施於由計算裝置執行之軟體或韌體中。另外，系統600之各種組件可經由通信介面(例如，有線或無線介面)而通信，或經由通信介面(例如，有線或無線介面)而耦接。筆記捕捉模組620經組態以捕捉複數個實體筆記之視覺表示。在一些實施例中，筆記捕捉模組620包括影像感測器。筆記辨識模組630耦接至筆記捕捉模組 620，該筆記辨識模組經組態以接收已捕捉視覺表示，且自已捕捉視覺表示判定複數個實體筆記中之一者之整體邊界。在一些狀況下，筆記辨識模組630經組態以建立表示已辨識實體筆記之數位筆記。筆記摘錄模組640經組態以基於複數個筆記中之一者之已判定整體邊界而自已捕捉視覺表示摘錄複數個筆記中之一者之內容。在一些狀況下，筆記摘錄模組640經組態以使已摘錄內容與對應數位筆記相關聯。
在一些實施例中，筆記辨識系統600包括經組態以鑑認複數個筆記之筆記鑑認模組650。在一些狀況下，複數個筆記中至少一些具有一標示。該標示可用以促進該筆記之辨識、摘錄及鑑認。舉例而言，筆記鑑認模組650可自筆記之標示獲得鑑認信號，且基於鑑認信號來驗證鑑認。在一些狀況下，筆記鑑認模組650耦接至筆記辨識模組630，且將鑑認資訊提供至筆記辨識模組630。在一些實施例中，筆記辨識模組630及筆記摘錄模組640可執行圖3B中及相關論述中說明之步驟。
在一些實施例中，筆記辨識/管理系統可使用多種辨識演算法以辨識筆記且摘錄筆記之內容，諸如，色彩辨識、形狀辨識及圖案辨識。舉例而言，對於色彩辨識，系統可使用諸如RGB、HSV、CIELAB等等之色彩空間以識別對應於筆記之關注區。在一些狀況下，筆記係在其形狀方面且歸因於存在分別藉由形狀辨識演算法(例如，Hough變換、形狀上下文等等)及圖案辨識演算法(例如，支援向量機、交叉相關、模板匹配等等)所偵測之獨特圖案而被進一步區別。此等演算法幫助篩選出視覺表示或其他筆記內容來源中之非想要物件，且僅留下對應於該等筆記之彼等關注區。
在一實施例中，筆記可包括使用螢光材料(諸如，可印刷墨水或可塗佈染料)而製造之標示。舉例而言，可在筆記之書寫表面上以螢光墨水來印刷諸如標識之信用標示。適當光源將激發螢光材料。舉例 而言，行動手持型裝置之白色發光二極體(light emitting diode,LED)可能夠使用LED輸出頻譜之顯著藍色波長分量來激發螢光團。在一項實施例中，螢光染料可塗佈於筆記之書寫表面上，或包括於製造筆記之材料中。在此實施例中，螢光染料不僅可提供品牌產品之驗證，而且可改良筆記上之書寫資訊與筆記自身之背景之間的對比度。此標示可促進由影像感測器產生之視覺表示上的筆記之辨識及分割。在筆記係由具有螢光染料之紙張製成的狀況下，已捕捉視覺表示可具有較好可讀性。取決於用於螢光材料之激發波長範圍及發螢光波長範圍，可連同影像感測器(例如，攝影機)一起使用諸如濾光器之額外光學設備以改良偵測。
圖7A說明筆記管理系統之實施例的流程圖。首先，系統自多個來源接收複數個筆記(步驟710A)。舉例而言，筆記管理系統可自攝影機或智慧型電話接收數個筆記之一組影像，且接收自遠端位置拍攝的數個筆記之另一組影像。作為另一實例，筆記管理系統可接收由視訊錄製裝置拍攝的數個筆記之視覺表示(例如，視訊)，及經由膝上型電腦而鍵入的筆記之文字串流。在一些實施例中，多個來源為自不同裝置(例如，攝影機、掃描器、電腦等等)獲取之筆記內容來源。接著，系統辨識複數個筆記中之一者(步驟720A)。在一些狀況下，系統建立表示複數個實體筆記中之一者之數位筆記。系統摘錄複數個筆記之內容(步驟730A)。在一些狀況下，系統使已摘錄內容與表示實體筆記之對應數位筆記相關聯。在一些實施例中，一些筆記包括筆記上之標示(例如，色塊、色碼、條碼等等)，且一個筆記來源為該等筆記中之一些之視覺表示。在一些狀況下，辨識步驟包括自視覺表示辨識筆記上之標示，且接著基於已辨識標示來判定筆記之整體邊界。在此等狀況中之一些狀況下，摘錄步驟包括基於已辨識標示、筆記之已知形狀及筆記上之標示之已知相對位置來摘錄內容。在一些狀況下，在摘錄複 數個筆記之內容之後，系統可使複數個數位筆記中每一者與唯一識別符相關聯(步驟740A)。系統可運用類別來標記複數個數位筆記中每一者(步驟750A)。下文較詳細地論述標記步驟。另外，系統可在辨識筆記之前首先鑑認筆記。視情況，系統可在顯示器上呈現複數個筆記之內容(步驟760A)。在一些實施例中，系統可運用指示複數個筆記之類別的輸出欄位來呈現該等筆記之已摘錄內容。在一些實施中，系統可在呈現數位筆記時使用數位筆記之類別資訊(例如，在一群組中以一種類別來展示該等筆記)。
圖7B說明系統可如何標記數位筆記之實例。在一項實施例中，筆記管理系統可基於已偵測信號來標記筆記(710B)。舉例而言，筆記可具有包括條碼之標示；系統可讀取條碼且基於條碼來標記筆記。在一些狀況下，系統可基於已辨識標示來標記筆記(720B)。舉例而言，標示可包括圖示、標識，或指示特定群組之其他圖形符號。系統可進一步基於筆記之內容來標記筆記(730B)。在一些狀況下，系統可基於歷史資料及/或預測性模型化來標記筆記(740B)。在一些其他狀況下，系統可藉由使用者輸入來標記筆記(750B)。筆記管理系統可使用一或多種途徑以標記筆記。系統亦可使用圖7B中未列出之其他途徑以標記筆記，例如，基於筆記之形狀來標記筆記。另外，在一些狀況下，一筆記可與一種以上類別相關聯。
圖8說明筆記管理系統800之模組圖。在如所說明之實施例中，系統800包括一或多個筆記來源820、筆記辨識模組830、筆記摘錄模組840及筆記標記模組860。筆記管理系統800之各種組件係可由一或多個計算裝置實施，該一或多個計算裝置包括但不限於電路、電腦、處理器、處理單元、微處理器及/或平板電腦。在一些狀況下，筆記管理系統800之各種組件可實施於一共用計算裝置上。替代地，系統800之一組件可實施於多個計算裝置上。在一些實施中，系統800之各 種模組及組件可被實施為軟體、硬體、韌體或其組合。在一些狀況下，筆記管理系統800之各種組件可實施於由計算裝置執行之軟體或韌體中。另外，系統800之各種組件可經由通信介面(例如，有線或無線介面)而通信，或經由通信介面(例如，有線或無線介面)而耦接。筆記來源820經組態以提供複數個筆記。在一些實施例中，筆記來源820中之一者為具有一或多個實體筆記之場景之視覺表示。在一些狀況下，筆記來源820包括用於提供筆記之複數個不同來源，例如，影像、文字串流、視訊串流或其類似者。筆記辨識模組830耦接至筆記來源820，該筆記辨識模組經組態以接收視覺表示，自視覺表示判定實體筆記之整體邊界，且建立表示實體筆記之數位筆記。筆記摘錄模組840經組態以基於複數個實體筆記中之一者之已判定整體邊界而自視覺表示摘錄複數個實體筆記中之一者之內容，且使已摘錄內容與對應數位筆記相關聯。筆記標記模組860經組態以運用類別來標記複數個數位筆記中之一者。
在一些實施例中，筆記管理系統800包括經組態以鑑認複數個筆記之筆記鑑認模組850。在一些狀況下，複數個筆記中至少一些具有一標示。該標示可用以促進該筆記之辨識、摘錄及鑑認。舉例而言，筆記鑑認模組850可自筆記之標示獲得鑑認信號，且基於鑑認信號來驗證鑑認。在一些狀況下，筆記鑑認模組850耦接至筆記辨識模組830，且將鑑認資訊提供至筆記辨識模組830。在一些實施例中，筆記辨識模組830及筆記摘錄模組840可執行圖3B中及相關論述中說明之步驟。在一些實施例中，筆記標記模組860可使用圖7B中及相關論述中說明之一或多種標記途徑。在一些狀況下，一筆記可與一種以上類別相關聯。
在一些實施例中，筆記管理系統800可包括筆記呈現模組870，筆記呈現模組870經組態以搜集複數個數位筆記之內容，且根據複數 個筆記之類別來呈現該等筆記之至少部分。舉例而言，筆記呈現模組870可將複數個數位筆記組織成具有相同類別之群組。作為另一實例，筆記呈現模組870可添加不同數位筆記群組之連接線條及/或箭頭。
例示性實施例
實施例1. 一種收集筆記之內容之方法，其包含：由一感測器捕捉具有複數個實體筆記之一場景之一視覺表示，該等實體筆記中每一者在其上具有一預定義邊界及可辨識內容；由一處理單元自該視覺表示辨識該複數個實體筆記中之一者；及由該處理單元摘錄該複數個實體筆記中之該一者之該可辨識內容。
實施例2. 如實施例1之方法，其中該複數個實體筆記中至少一者包含一標示。
實施例3. 如實施例2之方法，其中該標示包含一條碼、一色塊、一色碼、一圖案、一信用標示、一商標標識、一點及一孔中至少一者。
實施例4. 如實施例2之方法，其中該辨識步驟包含自該視覺表示辨識該複數個實體筆記中之該一者之該標示。
實施例5. 如實施例4之方法，其中該辨識步驟包含基於該已辨識標示來辨識該複數個實體筆記中之該一者。
實施例6. 如實施例4之方法，其中該辨識步驟包含基於該已辨識標示、該複數個實體筆記中之該一者之一已知形狀及該複數個實體筆記中之該一者上之該標示之一已知相對位置來判定該複數個實體筆記中之該一者之整體邊界。
實施例7. 如實施例2之方法，其中該標示包含一識別符。
實施例8. 如實施例7之方法，其中該識別符為一唯一識別符。
實施例9. 如實施例1至實施例8中任一項之方法，其進一步包含：建立表示該複數個實體筆記中之該一者之一數位筆記；及運用指示正被摘錄的該對應實體筆記之該可辨識內容的一狀態來更新該數位筆記。
實施例10. 如實施例1至實施例9中任一項之方法，其中該處理單元包含一處理器、一微處理器、一微控制器、一電腦及一計算裝置中至少一者。
實施例11. 如實施例1至實施例10中任一項之方法，其進一步包含：由一呈現裝置將該已摘錄內容呈現給一使用者。
實施例12. 如實施例1至實施例11中任一項之方法，其中使用以下各者中至少一者來製造該標示：一逆向反射式材料、一光學可變墨水、一有色墨水、紅外線吸收墨水、螢光墨水、浮水印、光面材料、虹彩材料、穿孔標示、結構化色彩、浮動影像，及窗紗線。
實施例13. 如實施例2之方法，其中該標示包含一符號。
實施例14. 如實施例13之方法，其進一步包含：自該視覺表示識別該符號。
實施例15. 如實施例13之方法，其進一步包含：由該處理單元識別該符號，由該處理單元基於該符號來鑑認該複數個實體筆記中之該一者，其中若該複數個實體筆記中之該一者被鑑認，則該摘錄步驟包含摘錄該複數個實體筆記中之該一者之該內容。
實施例16. 如實施例1至實施例15中任一項之方法，其中該視覺 表示為一影像或一視訊。
實施例17. 一種筆記辨識系統，其包含：一感測器，其經組態以捕捉具有複數個實體筆記之一場景之一視覺表示，該等實體筆記中每一者在其上具有一預定義邊界及可辨識內容，一筆記辨識模組，其耦接至該感測器，該筆記辨識模組經組態以接收該已捕捉視覺表示，且自該已捕捉視覺表示判定該複數個實體筆記中之一者之一整體邊界，及一筆記摘錄模組，其經組態以基於該複數個實體筆記中之該一者之該已判定整體邊界而自該已捕捉視覺表示摘錄該複數個實體筆記中之該一者之該可辨識內容。
實施例18. 如實施例17之筆記辨識系統，其中該複數個實體筆記中至少一者包含一標示。
實施例19. 如實施例18之筆記辨識系統，其中該標示包含一條碼、一色塊、一色碼、一圖案、一信用標示、一商標標識、一點及一孔中至少一者。
實施例20. 如實施例18之筆記辨識系統，其中該筆記辨識模組經進一步組態以自該視覺表示辨識該複數個實體筆記中之該一者之該標示。
實施例21. 如實施例20之筆記辨識系統，其中該筆記辨識模組經進一步組態以基於該已辨識標示來辨識該複數個實體筆記中之該一者。
實施例22. 如實施例20之筆記辨識系統，其中該筆記辨識模組經進一步組態以基於該已辨識標示、該複數個實體筆記中之該一者之一已知形狀及該複數個實體筆記中之該一者上之該標示之一已知相對位置來判定該複數個實體筆記中之該一者之該整體邊界。
實施例23. 如實施例18之筆記辨識系統，其中該標示包含一識別符。
實施例24. 如實施例23之筆記辨識系統，其中該識別符為一唯一識別符。
實施例25. 如實施例17至實施例24中任一項之筆記辨識系統，其中該筆記摘錄模組經進一步組態以建立表示該複數個實體筆記中之該一者之一數位筆記，且運用指示正被摘錄的該等對應實體筆記之該可辨識內容的一狀態來更新該數位筆記。
實施例26. 如實施例17至實施例25中任一項之筆記辨識系統，其中處理單元包含一處理器、一微處理器、一微控制器、一電腦及一計算裝置中至少一者。
實施例27. 如實施例17至實施例26中任一項之筆記辨識系統，其進一步包含：一筆記呈現模組，其經組態以將該已摘錄內容呈現給一使用者。
實施例28. 如實施例17至實施例27中任一項之筆記辨識系統，其中使用以下各者中至少一者來製造該標示：一逆向反射式材料、一光學可變墨水、一有色墨水、紅外線吸收墨水、螢光墨水、浮水印、光面材料、虹彩材料、穿孔標示、結構化色彩、浮動影像，及窗紗線。
實施例29. 如實施例18之筆記辨識系統，其中該標示包含一符號。
實施例30. 如實施例29之筆記辨識系統，其中該筆記辨識模組經進一步組態以自該視覺表示識別該符號。
實施例31. 如實施例29之筆記辨識系統，其進一步包含：一筆記鑑認模組，其經組態以鑑認筆記， 其中該筆記辨識模組經進一步組態以識別該符號，其中該筆記鑑認模組經進一步組態以基於該符號來鑑認該複數個實體筆記中之該一者，且其中若該複數個實體筆記中之該一者被鑑認，則該筆記摘錄模組經進一步組態以摘錄該複數個實體筆記中之該一者之該可辨識內容。
實施例32. 如實施例17至實施例31中任一項之筆記辨識系統，其中該視覺表示為一影像或一視訊。
不應將本發明視為限於上文所描述之特定實例及實施例，此係因為詳細地描述此等實施例以促進對本發明之各種態樣之解釋。實情為，應將本發明理解為涵蓋本發明之所有態樣，包括屬於如由隨附申請專利範圍及其等效者定義的本發明之精神及範疇的各種修改、等效程序及替代裝置。

Claims (10)

  1. 一種收集筆記之內容之方法，其包含：藉由一計算裝置之一感測器來捕捉(capturing)包括具有複數個實體筆記(physical notes)之一場景之一視覺表示(visual representation)之一影像，該等實體筆記中每一者包括一分開的(separate)實體物件，該實體物件在其上具有一預定義邊界(predefined boundary)及可辨識內容(recognizable content)；藉由該計算裝置之一處理單元處理與該影像相關聯之影像資料，以自該視覺表示識別該複數個實體筆記中之一者之一預定義邊界；藉由該處理單元及至少部分基於識別該預定義邊界，自該影像資料摘錄(extracting)該可辨識內容，該可辨識內容來自該複數個實體筆記中之該一者之該預定義邊界內-且至少部分基於該可辨識內容與來自該視覺表示之該複數個實體筆記中之一者之一背景之間的一對比(contrast)；及使該可辨識內容與表示該複數個實體筆記中之該一者之一數位筆記相關聯。
  2. 如請求項1之方法，其中該複數個實體筆記中至少一者包含一標示(mark)。
  3. 如請求項2之方法，其中該處理步驟包含處理該影像資料以自該視覺表示識別該複數個實體筆記中之該一者之該標示。
  4. 如請求項3之方法，其中該處理步驟包含處理該影像資料以基於該經識別標示來識別該複數個實體筆記中之該一者之該預定義邊界。
  5. 如請求項3之方法，其中該處理步驟包含處理該影像資料以基於 該經識別標示、該複數個筆記中之該一者之一已知形狀及該複數個筆記中之該一者上之該標示之一已知相對位置來識別該複數個實體筆記中之該一者之該預定義邊界。
  6. 一種筆記辨識系統(note recognition system)，其包含：一感測器，其經組態以捕捉包括具有複數個實體筆記之一場景之一視覺表示之一影像，該等實體筆記中每一者包括一分開的實體物件，該實體物件在其上具有一預定義邊界及可辨識內容，一筆記辨識模組(note recognition module)，其耦接至該感測器，該筆記辨識模組經組態以處理與該影像相關聯之影像資料以自該經捕捉視覺表示識別該複數個實體筆記中之一者之一預定義邊界，及一筆記摘錄模組(note extraction module)，其經組態以基於識別該複數個實體筆記中之該一者之該預定義邊界，且至少部分基於該可辨識內容與來自該視覺表示之該複數個實體筆記中之一者之一背景之間的一對比，而自該影像資料摘錄來自該複數個實體筆記中之該一者之該預定義邊界內之該可辨識內容，且其中該筆記摘錄模組經組態以使該可辨識內容與表示該複數個實體筆記中之該一者之一數位筆記相關聯。
  7. 如請求項6之筆記辨識系統，其中該複數個實體筆記中至少一者包含一標示。
  8. 如請求項7之筆記辨識系統，其中該筆記辨識模組經進一步組態以自該視覺表示識別該複數個實體筆記中之該一者之該標示。
  9. 如請求項8之筆記辨識系統，其中該筆記辨識模組經進一步組態以基於該經識別標示來識別該複數個實體筆記中之一者之該預定義邊界。
  10. 如請求項8之筆記辨識系統，其中該筆記辨識模組經進一步組態以基於該經識別標示、該複數個實體筆記中之該一者之一已知形狀及該複數個實體筆記中之該一者上之該標示之一已知相對位置來識別該複數個實體筆記中之該一者之該預定義邊界。
TW103112213A 2013-04-02 2014-04-01 用於筆記辨識之系統及方法 TWI620078B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361807516P 2013-04-02 2013-04-02
US61/807,516 2013-04-02

Publications (2)

Publication Number Publication Date
TW201445337A TW201445337A (zh) 2014-12-01
TWI620078B true TWI620078B (zh) 2018-04-01

Family

ID=51620888

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103112213A TWI620078B (zh) 2013-04-02 2014-04-01 用於筆記辨識之系統及方法

Country Status (7)

Country Link
US (2) US9070036B2 (zh)
EP (1) EP2981932B1 (zh)
JP (1) JP6159015B2 (zh)
KR (1) KR101650833B1 (zh)
CN (1) CN105144198B (zh)
TW (1) TWI620078B (zh)
WO (1) WO2014165445A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127196B2 (en) 2013-04-02 2018-11-13 3M Innovative Properties Company Systems and methods for managing notes
WO2014165438A1 (en) * 2013-04-02 2014-10-09 3M Innovative Properties Company Systems and methods for managing notes
WO2015057804A1 (en) * 2013-10-16 2015-04-23 3M Innovative Properties Company Organizing digital notes on a user interface
EP3058514B1 (en) 2013-10-16 2020-01-08 3M Innovative Properties Company Adding/deleting digital notes from a group
EP3058511A4 (en) 2013-10-16 2017-11-08 3M Innovative Properties Company Note recognition and association based on grouping
WO2015057802A1 (en) * 2013-10-16 2015-04-23 3M Innovative Properties Company Editing digital notes representing physical notes
US9274693B2 (en) 2013-10-16 2016-03-01 3M Innovative Properties Company Editing digital notes representing physical notes
US9082184B2 (en) 2013-10-16 2015-07-14 3M Innovative Properties Company Note recognition and management using multi-color channel non-marker detection
WO2015116803A1 (en) 2014-01-31 2015-08-06 3M Innovative Properties Company Note capture and recognition with manual assist
US11334228B1 (en) * 2015-03-30 2022-05-17 Evernote Corporation Dynamic targeting of preferred objects in video stream of smartphone camera
US10228775B2 (en) * 2016-01-22 2019-03-12 Microsoft Technology Licensing, Llc Cross application digital ink repository
US9950345B2 (en) * 2016-09-15 2018-04-24 Lockheed Martin Corporation Systems and methods for shear and warp detection and correction
US10417515B2 (en) * 2017-01-09 2019-09-17 Microsoft Technology Licensing, Llc Capturing annotations on an electronic display
CN110059735A (zh) * 2019-04-04 2019-07-26 东北大学 一种基于霍夫变换的可视化时序模式匹配方法
CN111415496B (zh) * 2020-03-31 2020-11-24 安庆美特优智能科技有限公司 一种基于图像识别的智能便签控制方法
US11651332B2 (en) * 2020-04-28 2023-05-16 International Business Machines Corporation Distributed collaborative environment using physical notes
USD918944S1 (en) 2020-05-01 2021-05-11 3M Innovative Properties Company Display screen with transitional graphical user interface
WO2022224060A1 (en) 2021-04-23 2022-10-27 3M Innovative Properties Company Systems and methods for managing digital notes for project planning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060039045A1 (en) * 2004-08-19 2006-02-23 Fuji Xerox Co., Ltd. Document processing device, document processing method, and storage medium recording program therefor
US20090284806A1 (en) * 2008-05-13 2009-11-19 Pfu Limited Image reading apparatus and mark detection method
CN101809631A (zh) * 2007-09-27 2010-08-18 光荣株式会社 纸张处理装置
US20130054636A1 (en) * 2011-08-30 2013-02-28 Ding-Yuan Tang Document Journaling

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5898434A (en) 1991-05-15 1999-04-27 Apple Computer, Inc. User interface system having programmable user interface elements
US5465165A (en) 1991-06-11 1995-11-07 Canon Kabushiki Kaisha Image processing system
FR2681454B1 (fr) * 1991-09-16 1995-08-18 Aerospatiale Procede et dispositif de traitement d'informations alphanumeriques et graphiques pour la constitution d'une banque de donnees.
JPH08161473A (ja) * 1994-12-01 1996-06-21 Fuji Xerox Co Ltd 付箋情報処理装置
US6650761B1 (en) 1999-05-19 2003-11-18 Digimarc Corporation Watermarked business cards and methods
US6463426B1 (en) 1997-10-27 2002-10-08 Massachusetts Institute Of Technology Information search and retrieval system
US6351559B1 (en) * 1998-12-22 2002-02-26 Matsushita Electric Corporation Of America User-enclosed region extraction from scanned document images
US7760905B2 (en) 1999-06-29 2010-07-20 Digimarc Corporation Wireless mobile phone with content processing
US7406214B2 (en) * 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US7421285B1 (en) * 1999-06-04 2008-09-02 Ip Holdings, Inc. Method for providing gastronomic information and instruction with an internet server using mobile communication or computing devices and intelligent appliances
EP1182861A3 (en) 2000-08-17 2003-04-16 Eastman Kodak Company Method, apparatus and system for organizing captured digital images
US7343415B2 (en) 2001-03-29 2008-03-11 3M Innovative Properties Company Display of software notes indicating that content from a content provider site is available for display
GB2384067A (en) * 2002-01-10 2003-07-16 Hewlett Packard Co Method of associating two record sets comprising a set of processor states and a set of notes
US7573598B2 (en) 2002-01-16 2009-08-11 Infoprint Solutions Company, Llc Method and apparatus for selectively copying documents with handwritten notations
FR2840093B1 (fr) * 2002-05-27 2006-02-10 Real Eyes 3D Procede de numerisation par camera avec correction de la deformation et amelioration de la resolution
US7072512B2 (en) 2002-07-23 2006-07-04 Microsoft Corporation Segmentation of digital video and images into continuous tone and palettized regions
US20040017400A1 (en) 2002-07-26 2004-01-29 Ly Eric Thichvi Method for project planning
JP4516957B2 (ja) 2003-01-25 2010-08-04 パーデュー リサーチ ファンデーション ３次元オブジェクトについて検索を行なうための方法、システムおよびデータ構造
US7992853B2 (en) * 2003-06-07 2011-08-09 Opex Corporation Method and apparatus for processing mail to obtain image data of contents
US20050091578A1 (en) 2003-10-24 2005-04-28 Microsoft Corporation Electronic sticky notes
US7561310B2 (en) 2003-12-17 2009-07-14 Market Hatch Co., Inc. Method and apparatus for digital scanning and archiving
US8146156B2 (en) * 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US20060077468A1 (en) 2004-10-12 2006-04-13 Xerox Corporation System and method for smart color halftoning
JP4895340B2 (ja) 2005-03-31 2012-03-14 キヤノン株式会社 情報処理装置およびその方法
JP2007004621A (ja) * 2005-06-24 2007-01-11 Fuji Xerox Co Ltd 文書管理支援装置、文書管理支援方法およびプログラム
US8732570B2 (en) * 2005-09-08 2014-05-20 Ricoh Co. Ltd. Non-symbolic data system for the automated completion of forms
US8024653B2 (en) 2005-11-14 2011-09-20 Make Sence, Inc. Techniques for creating computer generated notes
US20110285123A1 (en) 2006-01-23 2011-11-24 Cynthia Sue Hasko Wittke Pre-Printed Sticky Notes and Methods of Use
US7471209B2 (en) * 2006-02-02 2008-12-30 Intuit Inc. RFID whiteboard
JP4576358B2 (ja) * 2006-06-27 2010-11-04 富士通株式会社 文字画像処理装置及び文字画像処理方法
JP4663013B2 (ja) 2006-06-29 2011-03-30 富士通株式会社 色類別方法、色認識方法及び色認識装置
WO2008010513A1 (fr) 2006-07-19 2008-01-24 B-Core Inc. symbole optique, objet auquel il est rattaché, procédé de rattachement du symbole optique à un OBJET, procédé de décodage dudit symbole, dispositif et programme associés
US7873213B2 (en) 2006-09-26 2011-01-18 Sharp Laboratories Of America, Inc. Systems and methods for color-deficient image enhancement
AU2006252025B2 (en) 2006-12-13 2012-10-04 Canon Kabushiki Kaisha Recognition of parameterised shapes from document images
JP2009020813A (ja) 2007-07-13 2009-01-29 Three M Innovative Properties Co タグおよびそれを用いた物品認識システム
US20090086269A1 (en) * 2007-09-28 2009-04-02 Kyocera Mita Corporation Image Forming Apparatus and Image Forming System
US8069173B2 (en) 2007-11-12 2011-11-29 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same, information processing method, and computer program
US8543926B2 (en) 2008-06-10 2013-09-24 Microsoft Corporation Managing item access in a collaborative workspace
US9191238B2 (en) 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8070061B2 (en) 2008-10-21 2011-12-06 Habraken G Wouter Card credential method and system
US8096477B2 (en) 2009-01-27 2012-01-17 Catch, Inc. Semantic note taking system
JP2010244210A (ja) * 2009-04-02 2010-10-28 Nippon Telegr & Teleph Corp <Ntt> 電子メール作成装置および電子メール作成方法
JPWO2011004612A1 (ja) 2009-07-10 2012-12-20 パナソニック株式会社 マーカ表示制御装置、集積回路、及び、マーカ表示制御方法
JP5212334B2 (ja) 2009-10-22 2013-06-19 コニカミノルタホールディングス株式会社 会議支援システム
JP2011097318A (ja) * 2009-10-29 2011-05-12 Fujitsu Ltd 画像処理装置、画像処理方法、および画像処理プログラム
EP2323069A2 (en) 2009-11-17 2011-05-18 Samsung Electronics Co., Ltd. Method, device and system for content based image categorization field
US8558913B2 (en) 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
US8600167B2 (en) 2010-05-21 2013-12-03 Hand Held Products, Inc. System for capturing a document in an image signal
US9406132B2 (en) 2010-07-16 2016-08-02 Qualcomm Incorporated Vision-based quality metric for three dimensional video
US8542889B2 (en) * 2010-10-19 2013-09-24 Apple Inc. Systems, methods, and computer-readable media for capturing a signature for use in a document
US9349063B2 (en) 2010-10-22 2016-05-24 Qualcomm Incorporated System and method for capturing token data with a portable computing device
WO2012070930A1 (en) 2010-11-24 2012-05-31 Greenflower Intercode Holding B.V. User -friendly method and system for compiling a unique sample code for a digital sample with the help of a user - interface
US9858552B2 (en) * 2011-06-15 2018-01-02 Sap Ag Systems and methods for augmenting physical media from multiple locations
US8917412B2 (en) * 2011-06-16 2014-12-23 Ricoh Company, Ltd. System, apparatus and method for consumption management
US8380040B2 (en) 2011-07-18 2013-02-19 Fuji Xerox Co., Ltd. Systems and methods of capturing and organizing annotated content on a mobile device
US8655068B1 (en) 2011-10-07 2014-02-18 LI Creative Technologies, Inc. Color correction system
EP2789159A4 (en) 2011-12-07 2015-06-17 Intel Corp GUIDED IMAGE CAPTURE
JP5783031B2 (ja) * 2011-12-22 2015-09-24 コニカミノルタ株式会社 画像形成システム及びプログラム
US20130227476A1 (en) 2012-02-24 2013-08-29 Nokia Corporation Method, apparatus and computer program product for management of information on a graphic user interface
US8687104B2 (en) 2012-03-27 2014-04-01 Amazon Technologies, Inc. User-guided object identification
US20130258122A1 (en) 2012-03-27 2013-10-03 Research In Motion Limited Method and device for motion enhanced image capture
US10681304B2 (en) 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
US8953876B2 (en) 2012-08-22 2015-02-10 Facebook, Inc. Creation of a color profile of an image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060039045A1 (en) * 2004-08-19 2006-02-23 Fuji Xerox Co., Ltd. Document processing device, document processing method, and storage medium recording program therefor
CN101809631A (zh) * 2007-09-27 2010-08-18 光荣株式会社 纸张处理装置
US20090284806A1 (en) * 2008-05-13 2009-11-19 Pfu Limited Image reading apparatus and mark detection method
US20130054636A1 (en) * 2011-08-30 2013-02-28 Ding-Yuan Tang Document Journaling

Also Published As

Publication number Publication date
EP2981932A4 (en) 2017-01-11
US20140294236A1 (en) 2014-10-02
US9378426B2 (en) 2016-06-28
WO2014165445A1 (en) 2014-10-09
JP2016525729A (ja) 2016-08-25
KR20150126723A (ko) 2015-11-12
CN105144198B (zh) 2021-09-14
US20150262023A1 (en) 2015-09-17
JP6159015B2 (ja) 2017-07-05
EP2981932B1 (en) 2018-11-14
US9070036B2 (en) 2015-06-30
KR101650833B1 (ko) 2016-08-24
TW201445337A (zh) 2014-12-01
CN105144198A (zh) 2015-12-09
EP2981932A1 (en) 2016-02-10

Similar Documents

Publication Publication Date Title
TWI620078B (zh) 用於筆記辨識之系統及方法
TWI623892B (zh) 用於管理筆記之系統及方法
US10127196B2 (en) Systems and methods for managing notes
US10698560B2 (en) Organizing digital notes on a user interface
TWI692714B (zh) 提取便條內容之方法、便條識別系統及非暫時性電腦可讀儲存裝置
US9292186B2 (en) Note capture and recognition with manual assist
US20150220800A1 (en) Note capture, recognition, and management with hints on a user interface