TWI658400B - 用於建立及操作軟體便箋之方法、運算裝置及系統、以及非暫時性電腦可讀取儲存媒體 - Google Patents

用於建立及操作軟體便箋之方法、運算裝置及系統、以及非暫時性電腦可讀取儲存媒體 Download PDF

Info

Publication number
TWI658400B
TWI658400B TW103135785A TW103135785A TWI658400B TW I658400 B TWI658400 B TW I658400B TW 103135785 A TW103135785 A TW 103135785A TW 103135785 A TW103135785 A TW 103135785A TW I658400 B TWI658400 B TW I658400B
Authority
TW
Taiwan
Prior art keywords
note
digital
notes
color
foreground
Prior art date
Application number
TW103135785A
Other languages
English (en)
Other versions
TW201531921A (zh
Inventor
理查 詹姆士 摩爾
古魯帕賽德 索瑪桑德朗
麥克 查爾斯 萊頓
林內斯 艾克蘭
羅蘭 普瑞森
羅培茲 黑克特 曼紐爾 亞巴爾
波吐斯 艾利森
黛安 瑞多特 渥克
史迪芬 漢瑞克 克傑爾伯格
Original Assignee
３Ｍ新設資產公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ３Ｍ新設資產公司 filed Critical ３Ｍ新設資產公司
Publication of TW201531921A publication Critical patent/TW201531921A/zh
Application granted granted Critical
Publication of TWI658400B publication Critical patent/TWI658400B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/43—Editing text-bitmaps, e.g. alignment, spacing; Semantic analysis of bitmaps of text without OCR

Abstract

在一實例中，一種方法包括接收基於影像資料所產生的複數個數位便箋中之一數位便箋，該影像資料包含一包括複數個實體便箋之場景的一視覺表示，使得該複數個數位便箋之每一者分別對應於該複數個實體便箋中之一特定實體便箋，其中該等實體便箋之每一者包括各別可辨識內容。在此實例中，本方法亦包括接收使用者輸入，該使用者輸入指示該數位便箋之一或多種視覺特性之一修改。在此實例中，本方法亦包括回應於該使用者輸入而編輯該數位便箋之該一或多種視覺特性。在此實例中，本方法亦包括輸出包括該一或多種視覺特性之該數位便箋之一已修改版以用於顯示。

Description

用於建立及操作軟體便箋之方法、運算裝置及系統、以及非暫時性電腦可讀取儲存媒體 【相關申請案之交互參照】
本申請案主張2013年10月16日申請之美國臨時申請案第61/891,442號之優先權，其全部內容係以引用方式併入本文中。
本揭露係關於便箋內容擷取、辨識、提取及/或管理的工具與系統。
紙質便箋已廣泛運用於記錄、分享以及溝通意見與資訊。舉例來說，在協作會議期間(例如，腦力激盪會議)，參與者將意見寫在Post-It®便利貼、白板或紙上，然後彼此分享。此外，人們經常從早到晚用便箋來記下不想忘記的資訊或內容。又例如，人們常會使用便箋作為提醒將來的活動或事情，諸如撥一通電話、修訂一份文件或是填寫時間表。
舉例來說，在許多情況下，參與協作會議的人們會將資訊寫在紙質便箋上，諸如Post-it®便利貼。紙質Post-it®便利貼可方便從一背膠紙質Post-it®便利貼的便條本(dispenser pad)移開，並貼至各種表面，諸如白板、文件、桌面、電話或類似物。可在紙質Post- it®便利貼離開其便條本或貼至其目標表面之前或之後將資訊寫在紙質Post-it®便利貼上。紙質Post-it®便利貼可輕易從一表面移至另一表面，諸如在文件之間或是在文件與桌面之間，便利貼可覆疊文件的邊緣或邊界、可分層，而且也可連同便利貼所貼至的物件一起移動。
現有軟體程式允許電腦使用者以數位形式產生軟體式便箋，並且在運算環境中使用該數位便箋。舉例來說，電腦使用者可建立數位便箋並將該等數位便箋「貼」至電子文件、桌面、或是運算環境所呈現的電子工作空間。電腦使用者可操作便箋，容許建立、刪除、編輯、儲存、以及選擇性檢視便箋。電腦使用者可藉由自文件裁剪便箋、將便箋儲存於剪貼簿、並接著將便箋貼至相同文件的另一區或貼至不同文件，以在文件內、或在文件及/或桌面之間移動此便箋。按照這種方式，軟體程式提供虛擬表示之便箋，並且容許個人以類似於其可能日用之實體便箋的方式使用數位便箋。
一般而言，本揭露描述用於建立並操作表示實體便箋之軟體便箋的技術。
在一實例中，一種方法包括藉由一裝置之一或多個處理器，接收基於影像資料所產生的複數個數位便箋中之一數位便箋，該影像資料包含一包括複數個實體便箋之場景的一視覺表示，使得該複數個數位便箋之每一者分別對應於該複數個實體便箋中之一特定實體便箋，其中該等實體便箋之每一者包括各別可辨識內容；藉由該一或多個處理器，接收使用者輸入，其指示該數位便箋之一或多種視覺特 性之一修改；藉由該一或多個處理器並回應於該使用者輸入，編輯該數位便箋之該一或多種視覺特性；以及藉由該一或多個處理器並為了顯示，輸出包括該一或多種視覺特性之該數位便箋之一已修改版。
在另一實例中，運算裝置包括一經組態以儲存數位便箋之記憶體、以及一或多個處理器。在此實例中，該一或多個處理器係經組態以接收基於影像資料所產生的複數個數位便箋中之一數位便箋，該影像資料包含一包括複數個實體便箋之場景的一視覺表示，使得該複數個數位便箋之每一者分別對應於該複數個實體便箋中之一特定實體便箋，其中該等實體便箋之每一者包括各別可辨識內容；接收使用者輸入，其指示該數位便箋之一或多種視覺特性之一修改；回應於該使用者輸入，編輯該數位便箋之該一或多種視覺特性；以及為了顯示，輸出包括該一或多種視覺特性之該數位便箋之一已修改版。
在另一實例中，一種運算系統包括：用以接收基於影像資料所產生的複數個數位便箋中之一數位便箋的構件，該影像資料包含一包括複數個實體便箋之場景的一視覺表示，使得該複數個數位便箋之每一者分別對應於該複數個實體便箋中之一特定實體便箋，其中該等實體便箋之每一者包括各別可辨識內容；用以接收使用者輸入的構件，該使用者輸入指示該數位便箋之一或多種視覺特性之一修改；用以回應於該使用者輸入而編輯該數位便箋之該一或多種視覺特性的構件；以及用以輸出包括該一或多種視覺特性之該數位便箋之一已修改版以用於顯示的構件。
在另一實例中，當執行一電腦可讀取儲存媒體所儲存的指令時，使一裝置中之一或多個處理器以：接收基於影像資料所產生的複數個數位便箋中之一數位便箋，該影像資料包含一包括複數個實體便箋之場景的一視覺表示，使得該複數個數位便箋之每一者分別對應於該複數個實體便箋中之一特定實體便箋，其中該實體便箋之每一者包括各別可辨識內容；接收使用者輸入，其指示該數位便箋之一或多種視覺特性之一修改；回應於該使用者輸入，編輯該數位便箋之該一或多種視覺特性；以及為了顯示，輸出包括該一或多種視覺特性之該數位便箋之一已修改版。
附圖及以下說明中將提出本揭露之一或多項實例之細節。可從說明與圖式以及申請專利範圍中將明白了解本揭露之其他特徵、物件及優點。
10‧‧‧便箋辨識環境
12‧‧‧雲端伺服器
14‧‧‧電腦系統
15‧‧‧行動裝置
16‧‧‧行動裝置
18‧‧‧影像擷取裝置
20‧‧‧工作空間；腦力激盪會議
22‧‧‧便箋；實體便箋
26‧‧‧使用者
28‧‧‧呈現裝置
64‧‧‧作業系統
68‧‧‧資料儲存裝置
70‧‧‧可程式化處理器
72‧‧‧傳輸器
74‧‧‧接收器
76‧‧‧I/O
77‧‧‧使用者應用程式
78‧‧‧便箋管理應用程式；便箋管理模組
79‧‧‧圖形使用者介面(GUI)
82‧‧‧影像處理引擎
86‧‧‧便箋識別模組
88‧‧‧數位便箋產生模組
89‧‧‧便箋增強模組；數位便箋編輯模組
90‧‧‧影像通訊模組
94‧‧‧資料庫
95‧‧‧影像處理應用程式介面(API)
96‧‧‧便箋編輯器
97‧‧‧影像
98‧‧‧使用者介面
99‧‧‧數位便箋
100‧‧‧便箋辨識程序
102‧‧‧步驟
104‧‧‧步驟
106‧‧‧步驟
108‧‧‧步驟
110‧‧‧步驟
120‧‧‧便箋辨識技術
122‧‧‧顏色辨識演算法
123‧‧‧形狀辨識演算法
124‧‧‧圖形辨識演算法
125‧‧‧便箋
126‧‧‧便箋
127‧‧‧便箋
128‧‧‧便箋
130‧‧‧便箋辨識程序
132‧‧‧步驟
134‧‧‧步驟
136‧‧‧步驟
138‧‧‧步驟
200‧‧‧技術
202B‧‧‧便箋
204B‧‧‧便箋
206B‧‧‧便箋
210‧‧‧技術
211‧‧‧便箋
212‧‧‧便箋
213‧‧‧便箋
214‧‧‧便箋
215‧‧‧便箋
216‧‧‧便箋
217‧‧‧便箋
220‧‧‧技術
221‧‧‧便箋
222‧‧‧便箋
223‧‧‧便箋
224‧‧‧便箋
230‧‧‧技術
231‧‧‧便箋
232‧‧‧便箋
300‧‧‧技術
302A‧‧‧重疊便箋
302B‧‧‧重疊便箋
302C‧‧‧重疊便箋
302D‧‧‧塊面
304‧‧‧關聯模板
304A‧‧‧關聯轉角
306‧‧‧關聯模板
306C‧‧‧關聯轉角
308‧‧‧關聯模板
308B‧‧‧關聯轉角
308C‧‧‧關聯轉角
310‧‧‧關聯模板
310A‧‧‧關聯轉角
310B‧‧‧關聯轉角
311‧‧‧標記
312A‧‧‧區段
312B‧‧‧區段
312C‧‧‧區段
314‧‧‧尖峰
320‧‧‧步驟
322‧‧‧步驟
324‧‧‧步驟
326‧‧‧步驟
328‧‧‧步驟
330‧‧‧步驟
332‧‧‧步驟
400‧‧‧圖形使用者介面
402‧‧‧記號偵測控制；記號偵測雙態觸變鍵
404‧‧‧標記
406‧‧‧記號偵測控制
500‧‧‧圖形使用者介面
502‧‧‧第一部分(區域)
504‧‧‧第二部分(區域)
506‧‧‧數位便箋
507‧‧‧數位便箋
508‧‧‧刪除
510‧‧‧使用者介面
512‧‧‧第一部分(區域)
514‧‧‧第二部分(區域)
516‧‧‧數位便箋
518‧‧‧數位便箋
530‧‧‧程序
532‧‧‧步驟
534‧‧‧步驟
536‧‧‧步驟
538‧‧‧步驟
540‧‧‧步驟
542‧‧‧步驟
544‧‧‧步驟
600‧‧‧技術
602‧‧‧距離
604‧‧‧便箋
610‧‧‧技術
612‧‧‧圈
614‧‧‧便箋
620‧‧‧技術
622‧‧‧線
624‧‧‧便箋
702‧‧‧步驟
704‧‧‧步驟
706‧‧‧步驟
708‧‧‧步驟
712‧‧‧步驟
714‧‧‧步驟
716‧‧‧步驟
718‧‧‧步驟
722‧‧‧影像資料
724A‧‧‧實體便箋
724B‧‧‧實體便箋
724C‧‧‧實體便箋
726‧‧‧子影像；數位便箋
728‧‧‧前景區域
730‧‧‧背景區域
732‧‧‧已增強數位便箋
740‧‧‧步驟
742‧‧‧步驟
744‧‧‧步驟
746‧‧‧數位便箋
748A‧‧‧圖形使用者介面(GUI)
748B‧‧‧GUI
748C‧‧‧GUI
748D‧‧‧GUI
748E‧‧‧GUI
748F‧‧‧GUI
750‧‧‧文字輸入工具
752‧‧‧數位筆工具
754‧‧‧背景顏色工具
756‧‧‧復原鈕
758‧‧‧選色區
759A‧‧‧形狀層物件
759B‧‧‧形狀層物件
759C‧‧‧形狀層物件
760‧‧‧背景選色區
766‧‧‧原始數位便箋
767‧‧‧前景物件
768‧‧‧已增強數位便箋
770A‧‧‧彩色數位便箋
770B‧‧‧彩色數位便箋
770C‧‧‧彩色數位便箋
770D‧‧‧彩色數位便箋
771A‧‧‧已修改前景物件
771B‧‧‧已修改前景物件
771C‧‧‧已修改前景物件
771D‧‧‧已修改前景物件
772A‧‧‧改良型數位便箋
772B‧‧‧改良型數位便箋
772C‧‧‧改良型數位便箋
772D‧‧‧改良型數位便箋
778‧‧‧步驟
780‧‧‧步驟
782‧‧‧步驟
786‧‧‧前景遮罩
788‧‧‧數位便箋
802‧‧‧原始數位便箋
804‧‧‧數位便箋
806‧‧‧數位便箋
810‧‧‧步驟
812‧‧‧步驟
814‧‧‧步驟
816‧‧‧步驟
818‧‧‧步驟
820‧‧‧步驟
822‧‧‧步驟
824‧‧‧步驟
826‧‧‧步驟
828‧‧‧步驟
830‧‧‧步驟
832‧‧‧步驟
834‧‧‧步驟
836‧‧‧步驟
840‧‧‧遮罩
842‧‧‧遮罩
844‧‧‧遮罩
846‧‧‧遮罩
850‧‧‧數位便箋
850A‧‧‧數位便箋
850B‧‧‧數位便箋
852‧‧‧已增強數位便箋
852A‧‧‧已增強數位便箋
852B‧‧‧已增強數位便箋
902‧‧‧步驟
904‧‧‧步驟
906‧‧‧步驟
908‧‧‧步驟
910‧‧‧步驟
912‧‧‧步驟
914‧‧‧步驟
918‧‧‧影像資料
920‧‧‧便箋
920A‧‧‧便箋
920B‧‧‧便箋
920C‧‧‧便箋
922‧‧‧第一彩色區域
922A‧‧‧第一彩色區域
922B‧‧‧第一彩色區域
922C‧‧‧第一彩色區域
924‧‧‧第二彩色區域
924A‧‧‧第二彩色區域
924B‧‧‧第二彩色區域
924C‧‧‧第二彩色區域
926‧‧‧區域；離群值
930‧‧‧質心
932‧‧‧質心
934‧‧‧夾角α
936‧‧‧線
938‧‧‧Y軸
942‧‧‧輸入影像
944‧‧‧數位便箋
944A‧‧‧數位便箋
944B‧‧‧數位便箋
944C‧‧‧數位便箋
944D‧‧‧數位便箋
944E‧‧‧數位便箋
948‧‧‧輸入影像
950‧‧‧數位便箋
950A‧‧‧數位便箋
950B‧‧‧數位便箋
950C‧‧‧數位便箋
950D‧‧‧數位便箋
950E‧‧‧數位便箋
950F‧‧‧數位便箋
圖1係一代表圖，其繪示一使用者使用一行動裝置上之影像擷取裝置擷取具有便箋之工作空間之影像之一實例。
圖2係一方塊圖，其繪示行動裝置之一實例。
圖3係一方塊圖，其繪示用以處理輸入影像之使用者應用程式之一實例。
圖4係一流程圖，其繪示用以將實體便箋轉換成數位便箋並將數位便箋儲存於資料儲存裝置之技術之一實例。
圖5係一方塊圖，其繪示便箋辨識技術之一實例，此便箋辨識技術可使用多個便箋辨識模組以辨識便箋並提取便箋的內容。
圖6A及圖6B係流程圖，其繪示便箋辨識技術之另一實例。
圖7A至圖7D係示意圖，其等繪示便箋重疊另一便箋之邊界之實例。
圖8A及圖8B係繪示一技術之一實例之示意圖，此技術係用於基於重疊便箋中的不同顏色偵測重疊便箋並予以分段、以及提取一組內容作為便箋區段。
圖9A及圖9B係繪示一技術之另一實例之示意圖，此技術係用於基於重疊便箋中的不同顏色偵測重疊便箋並予以分段、以及提取一組內容作為便箋區段。
圖10係繪示一技術之另一實例之示意圖，此技術係用於基於重疊便箋中的不同顏色偵測重疊便箋並予以分段、以及提取一組內容作為便箋區段。
圖11係繪示一技術之另一實例之示意圖，此技術係用於基於重疊便箋中的不同顏色偵測重疊便箋並予以分段、以及提取一組內容作為便箋區段。
圖12A至圖12F及圖13係繪示一實例性技術之實例性態樣之示意圖，此實例性技術係用於在便箋顏色相同時將複數個重疊便箋分段，並且提取一組內容作為便箋區段。
圖14係一流程圖，其繪示圖12A至圖12F及圖13所繪示之實例性技術。
圖15及圖16繪示一藉由圖形使用者介面在影像上覆疊之記號偵測雙態觸變鍵的實例。
圖17及圖18繪示從圖形使用者介面之一或多個部分選擇並移除數位便箋之一實例。
圖19及圖20繪示從圖形使用者介面之一部分選擇數位便箋並予以新增至圖形使用者介面之第二部分之一實例。
圖21係一流程圖，其繪示用於透過圖形使用者介面選擇、分組，並顯示數位便箋之一實例性技術。
圖22係一示意圖，其繪示用於偵測一數位便箋群組，並透過圖形使用者介面顯示已分組數位便箋之一實例性技術。
圖23係一示意圖，其繪示用於偵測一數位便箋群組，並透過圖形使用者介面顯示已分組數位便箋之另一實例性技術。
圖24係一示意圖，其繪示用於偵測數位便箋的階層順序，並透過圖形使用者介面按順序顯示數位便箋之一實例性技術。
圖25係一流程圖，其繪示依據本揭露之一或多種技術，用以將影像增強應用於輸入影像之便箋管理應用程式的實例性操作。
圖26係一流程圖，其繪示依據本揭露之一或多種技術，用以將子影像之背景設定成均勻顏色之便箋管理應用程式的實例性操作。
圖27係一示意圖，其繪示依據本揭露之一或多種技術，用以將子影像之背景設定成均勻顏色之便箋管理應用程式的實例性操作。
圖28係一流程圖，其繪示依據本揭露之一或多種技術，用以啟用對應於實體便箋之數位便箋之編輯之裝置的實例性操作。
圖29A及圖29B係示意圖，其繪示依據本揭露之一或多種技術，用以啟用對應於實體便箋之數位便箋之編輯之裝置的實例性操作。
圖30係一示意圖，其繪示依據本揭露之一或多種技術，基於已更新背景顏色之前景物件之顏色之實例性修改。
圖31係一流程圖，其繪示依據本揭露之一或多種技術，用以識別對應於實體便箋之數位便箋之前景區域之裝置的實例性操作。
圖32A至圖32B係示意圖，其繪示依據本揭露之一或多種技術，可藉由識別對應於實體便箋之數位便箋之前景區域的裝置予以產生之實例性遮罩。
圖33係一示意圖，其繪示依據本揭露之一或多種技術，用以識別對應於實體便箋之數位便箋之前景區域之裝置的實例性操作。
圖34係一流程圖，其繪示依據本揭露之一或多種技術，用以識別對應於實體便箋之數位便箋之前景區域之裝置的實例性操作。
圖35係一示意圖，其繪示依據本揭露之一或多種技術，可藉由識別對應於實體便箋之數位便箋之前景區域的裝置予以產生之實例性遮罩。
圖36繪示依據本揭露之一或多種技術增強之複數個數位便箋。
圖37係一流程圖，其繪示依據本揭露之一或多種技術，用以產生複數個數位便箋之裝置的實例性操作，各數位便箋分別對應於輸入影像所表示複數個實體便箋之一特定實體便箋。
圖38係一示意圖，其繪示依據本揭露之一或多種技術，表示複數個實體便箋之一實例性輸入影像，該複數個實體便箋可由一裝置用於產生複數個數位便箋，各數位便箋分別對應於該複數個實體便箋之一特定實體便箋。
圖39係一示意圖，其繪示依據本揭露之一或多種技術，圖38之輸入影像所表示複數個實體便箋之一特定實體便箋的進一步細節。
圖40A及圖40B繪示依據本揭露之一或多種技術，從表示複數個實體便箋之一輸入影像所提取的數位便箋之額外實例。
本揭露描述用於建立並操作表示實體便箋之軟體便箋的技術。舉例來說，所述的技術係用於辨識在一實體環境內存在的實體便箋，自實體便箋擷取資訊並建立該等實體便箋的對應數位表示，在本文中稱之為數位便箋或軟體式便箋。此外，本揭露之至少某些觀點係關於用於管理多個便箋的技術，諸如儲存、檢索、編輯該等數位便箋，分類並分組該等數位便箋，或類似技術。
一般而言，便箋可包括實體便箋及數位便箋。實體便箋一般是指具有一般邊界及可辨識內容之實體物件。實體便箋可包括人們書寫、繪圖或藉由其他輸入類型所造成的物件，例如紙、白板，或其他可接受該等輸入的物件。舉例來說，實體便箋可包括手寫Post-It®便利貼、紙或膠片，具有圖畫、海報與標誌的白板。在某些情況中，可用數位技術產生實體便箋，例如在可列印Post-It®便利貼或列 印文件上列印。在某些情況中，一物件可包括數個實體便箋。例如，可將數個意見寫在單張海報紙或白板的不同區域上。在某些實施例中，為助於辨識這些便箋，可將標記(例如線條、形狀、顏色、符號、記號或貼紙等)施加於便箋的邊緣。實體便箋可以是二維或三維。實體便箋可具有不同形狀及尺寸。舉例來說，實體便箋可以是7.62×7.62cm(3×3吋)便箋；實體便箋可以是66.04×99.06cm(26×39吋)海報；以及實體便箋可以是三角形金屬標誌。在某些情況中，實體便箋可具有符合標準(例如legal、A3、A4)以及其他尺寸標準的已知形狀及/或尺寸，並且已知形狀可不限於幾何形狀，例如星形、圓形、矩形，或類似形狀。在其他情況中，實體便箋可具有非標準尺寸及/或不規則形狀。
數位便箋一般是指具有資訊及/或意見的數位物件。可使用數位輸入產生數位便箋。數位輸入可包括(例如)鍵盤、觸控螢幕、數位相機、數位錄製裝置、觸控筆、數位筆，或類似物。在某些情況中，數位便箋可為實體便箋之表示。
在某些情況中，數位便箋可表示協作空間中使用的實體便箋。協作空間一般係指容許超過一人進行諸如互相分享意見及想法之類腦力激盪的聚集區。除聚集區外，協作空間也可表示虛擬空間，容許一群人進行諸如遠端分享意見及想法之類的腦力激盪。協作空間可稱為工作空間、或類似物。
圖1繪示一便箋辨識環境10之一實例。在圖1的實例中，環境10包括一行動裝置15，用來從一工作空間20擷取並辨識一 或多個便箋22。如本文中所述，行動裝置為一或多個軟體應用程式提供一執行環境，如所述，其可有效地從大量實體便箋(例如從工作空間20而來的便箋22之集合)擷取並提取便箋內容。在此實例中，便箋22可以是具有多位參與者之協作腦力激盪會議的結果。如所述，行動裝置15及其所執行的軟體可實現多種便箋相關操作，包括自動建立表示工作空間20之實體便箋22的數位便箋。
在某些實例中，工作空間22之複數個實體便箋20可包含不同顏色之便箋。在其他實例中，工作空間20之複數個實體便箋22可包含至少一包括基準標記之便箋，該等基準標記係例如便箋右上角及左下角的標記。在其他實例中，工作空間20之複數個實體便箋22可包含至少一便箋，其具有一用於便箋主體之顏色及另一用於便箋邊線之顏色。在其他實例中，出自工作空間20之複數個實體便箋22的便箋可配置成令其重疊，例如配置成堆疊型重疊關係。在其他實例中，出自工作空間20之複數個實體便箋22的便箋可相鄰配置。
在此實例性實施例中，行動裝置15包括(除了其他元件之外)影像擷取裝置18及呈現裝置28。此外，雖然圖1並未顯示，行動裝置15可包括一或多個處理器、微處理器、內部記憶體及/或資料儲存裝置以及其他電路，用來執行軟體或韌體以提供本文所述的功能。
一般而言，影像擷取裝置18是一相機或其他元件，其經組態以擷取表示工作空間20及置於其內的便箋22之影像資料。換句話說，影像資料擷取一環境(例如工作空間20)的視覺表示，其具 有複數個視覺便箋。雖然是當作行動裝置15的相機討論，影像擷取裝置18可包含能夠擷取影像資料的其他元件，例如錄影機、紅外線相機、CCD(電荷耦合裝置)陣列、雷射掃描器，或類似物。此外，擷取影像資料可包括至少一影像、視訊、一連串影像(即，在一時段內及/或以一順序拍攝的多個影像)、大量影像，或類似物，且輸入影像一詞是用來指稱各種影像資料的實例。
呈現裝置28可包括(但不限於)電子式可定址顯示器，例如一液晶顯示器(LCD)或用於與行動裝置28一起使用的其他類型顯示裝置。在某些實施例中，行動裝置15產生要以各種格式在呈現裝置28上顯示的內容，例如，以行及/或列分組的清單、流程圖，或類似物。在某些情況中，行動裝置15可傳達顯示資訊以供其他裝置呈現，例如平板電腦、投影機、電子看板，或其他外部裝置。
如本文所述，行動裝置15以及在其上執行的軟體，提供用於建立並操作表示實體便箋22之數位便箋之一平台。舉例來說，一般而言，行動裝置15經組態以處理由影像擷取裝置18所產生的影像資料，以偵測並辨識置於工作空間20內的實體便箋22之至少一者。在某些實例中，行動裝置15經組態以辨識便箋，此係藉由判定該(等)便箋之一般邊界。辨識出一便箋後，行動裝置15提取該一或多個便箋之至少一者的內容，其中該內容係便箋22的視覺資訊。
如後文進一步描述，行動裝置15可實施用於自動偵測並辨識實體便箋22以及提取資訊、內容或與各實體便箋相關聯之其他特性的技術。舉例來說，行動裝置15可容許使用者26微調控制由行 動裝置15用來偵測並辨識實體便箋22的技術。舉例來說，行動裝置15可容許使用者26在記號式偵測技術與無記號式技術之間選擇，其中在記號式偵測技術的一或多個便箋22包括在該便箋之表面上的一實體基標(fiducial mark)，在無記號式技術中則不使用基標。
此外，行動裝置15為使用者26提供一改進的電子環境，用於產生並操作表示實體便箋22之對應數位便箋，包括從便箋移除背景或其他影像相關假影。另舉一例，行動裝置15可提供機制，容許使用者26輕易增加數位便箋至表示與工作空間20相關之腦力激盪活動的一組數位便箋。在某些實例性實施例中，行動裝置15提供功能，藉此使用者26能夠記錄並管理多群組便箋22之間的關係。
在某些實例性實施例中，行動裝置15提供功能，藉此使用者26能將數位便箋匯出至其他系統，例如以雲端為基礎的儲存庫(例如，雲端伺服器12)或其他運算裝置(例如，電腦系統14或行動裝置16)。
在圖1的實例中，行動裝置15繪製為一行動電話。不過，在其他實例中，行動裝置15可以是一平板電腦、個人數位助理(PDA)、膝上型電腦、媒體播放器、電子書閱讀器、穿戴運算裝置(例如，手錶、眼鏡、手套)，或適合用於執行本文所述技術的任何其他類型的可移動或不可移動運算裝置。
圖2繪示一方塊圖，其繪示依據本文所述技術操作之一行動裝置的實例。為舉例之目的，會參照圖1之行動裝置15描述圖2的行動裝置。
在此實例中，行動裝置15包括各種硬體元件，該等硬體元件提供用於該裝置之操作的核心功能。例如，行動裝置15包括一或多個可程式化處理器70，其經組態以依據可執行指令(即，程式碼)操作，通常是儲存在一電腦可讀取媒體或資料儲存裝置68中，諸如靜態隨機存取記憶體(SRAM)裝置或快閃記憶體裝置。I/O 76可包括一或多個裝置，諸如一鍵盤、相機鍵、電源按鈕、音量按鈕、首頁按鈕、返回按鈕、選單按鈕，或如圖1所述的呈現裝置28。傳輸器72及接收器74經由如圖1所述的一無線通訊介面(例如但不限於高頻射頻(RF)信號)提供與其他裝置(諸如雲端伺服器12、電腦系統14，或如圖1所述的其他行動裝置16)的無線通訊。行動裝置15可包括額外的離散數位邏輯或類比電路，未顯示於圖2中。
一般而言，作業系統64在處理器70上執行並提供用於一或多個使用者應用程式77(通常稱為「app」)之一作業環境，包括便箋管理應用程式78。例如，使用者應用程式77包含儲存在電腦可讀儲存裝置內(例如，資料儲存裝置68)的可執行程式碼以供處理器70執行。另舉其他實例，使用者應用程式77可包含韌體或在某些實例中可實施在離散邏輯中。
操作時，行動裝置15接收輸入影像資料並依據本文所述的技術處理該輸入影像資料。例如，影像擷取裝置18可擷取具有複數個便箋之環境的一輸入影像，例如圖1之具有便箋22的工作空間20。另舉一例，行動裝置15可經由接收器74從外部來源(諸如雲端伺服器15、電腦系統14、或行動裝置16)接收影像資料。一般而 言，行動裝置15將影像資料儲存在資料儲存裝置68內，以供便箋管理應用程式78及/或其他使用者應用程式77存取並處理。
如圖2所示，使用者應用程式77可引動作業系統64的核心功能，以輸出一圖形使用者介面(GUI)79，用於呈現資訊給一行動裝置的使用者。如後文詳述，便箋管理應用程式78可建構並控制GUI 79，以提供一改進的電子環境，用於產生並操作表示實體便箋22的對應數位便箋。例如，便箋管理應用程式78可建構GUI 79以包括一機制，容許使用者26輕易增加數位便箋至由影像資料所辨識出的經定義組數位便箋及/或從該等經定義組數位便箋刪除數位便箋。在某些實例性實施例中，便箋管理應用程式78提供功能，藉此使用者26能夠藉由GUI 79記錄並管理數位便箋群組之間的關係。
圖3係一方塊圖，其繪示依據本文所述技術操作之便箋管理應用程式78的一實例性實施例。雖然所述為在一行動裝置15上執行的一使用者應用程式77，本文所述實例可被實施在任何運算裝置上，諸如雲端伺服器12、電腦系統14，或其他行動裝置。
在此實例中，使用者應用程式78包括影像處理引擎82，其提供影像處理及物件辨識功能。影像處理引擎82可包括影像通訊模組90、便箋識別模組86、數位便箋產生模組88、以及便箋增強模組89。此外，影像處理引擎82包括影像處理應用程式介面(API)95，其提供一影像操作功能函式庫，例如影像定限(thresholding)、遮罩、過濾、邊緣偵測及類似者，供影像處理引擎82的其他元件使用。
一般而言，可在資料儲存裝置68中儲存影像資料。在此實例中，便箋管理應用程式78將影像97儲存在資料儲存裝置68內。各影像97可包含針對具有複數個實體影像之環境(例如圖1的工作空間20)的像素資料。
如本文中所述，便箋識別模組86處理影像97並識別(即，辨識)在影像中的複數個實體便箋。可由便箋識別模組86使用記號及/或無記號偵測程序來處理輸入影像。數位便箋產生模組88產生對應於影像97中所辨識實體便箋之數位便箋99。舉例來說，各個數位便箋99對應於輸入影像97中所識別的實體便箋之一。在此程序期間，數位便箋產生模組88可更新資料庫94以包括數位便箋記錄，並且可將自如便箋識別模組86所偵測輸入影像內之實體便箋之邊界擷取的資訊(例如，內容)儲存在資料庫中。此外，數位便箋產生模組88可將中繼資料儲存在資料庫94中，中繼資料使數位便箋相關聯而成為一或多群組數位便箋。
便箋增強89啟用數位便箋(例如數位便箋產生模組88所產生之數位便箋)之編輯及/或增強。例如，便箋增強模組89可包括將提取自輸入影像之資訊增強的一或多個程序。舉一實例，便箋增強模組89可包括依據圖26及圖27之技術，用以將提取自輸入影像之資訊增強的一或多個程序。另舉一例，依據圖28至圖30之技術，可藉由便箋編輯器96，引動用以啟用數位便箋編輯之便箋增強模組89。便箋增強模組89可經組態以從資料儲存裝置68接收數位便箋，並且將已編輯數位便箋儲存到資料儲存裝置68。在某些實例中，便箋增強 模組89可藉由連同對應於數位便箋編輯及/或增強之一或多個物件(例如，圖29之形狀層物件)儲存數位便箋，將已編輯及/或已增強數位便箋儲存到資料儲存裝置68。
影像通訊模組90控制行動裝置15與外部裝置(例如雲端伺服器12、電腦系統14、行動裝置16，或影像擷取裝置18)之間影像資料的通訊。舉例來說，在某些實例中，影像通訊模組90可容許使用者傳達環境之已處理或未處理影像97及/或數位便箋，以及從其提取的相關聯資訊，包括出自資料庫68的中繼資料。在某些實例中，影像通訊模組90將此資料匯出成一可藉由FTP、HTTP、電子郵件、藍牙、或其他機制進行通訊之壓縮(zip)檔。
在圖1的實例中，便箋管理應用程式78包括使用者介面98，其建構並控制GUI 79(圖2)。如後文所述，在某些實例中，使用者介面98可輸出以供顯示覆疊有複數個數位便箋99之一輸入影像97，其中各數位便箋覆疊在一對應實體便箋的位置。此外，使用者介面98可顯示已被使用者指定的一群組數位便箋99。舉例來說，此組數位便箋99可以係在一特定輸入影像97中辨識的數位便箋子集。使用者介面98可在GUI 79的第二部分上顯示此指定群組(組)的數位便箋，並容許使用者26輕易從該指定群組增加或移出數位便箋99。
在某些實例性實施例中，使用者介面98提供便箋編輯器96，容許使用者編輯覆疊影像及/或數位便箋。例如，依據圖28至圖29A、圖29B之技術，便箋編輯器96可容許使用者編輯數位便 箋。在某些實例中，便箋編輯器96可引動影像處理引擎82之一或多個元件(例如便箋增強模組89)以在數位便箋上執行編輯。
用於偵測並辨識實體便箋之便箋管理應用程式78的額外實例細節係描述於下列美國專利申請案中：於2013年7月9日申請的美國專利申請案第61/844140號，名稱為「使用顏色分類用於便箋辨識及管理的系統與方法」(SYSTEMS AND METHODS FOR NOTE RECOGNITION AND MANAGEMENT USING COLOR CLASSIFICATION)；於2013年7月9日申請的美國專利申請案第61/844152號，名稱為「使用分段便箋用於便箋內容提取及管理的系統與方法」(SYSTEMS AND METHODS FOR NOTE CONTENT EXTRACTION AND MANAGEMENT USING SEGMENTED NOTES)；以及於2013年7月9日申請的美國專利申請案第61/844176號，名稱為「藉由分段便箋而用於便箋內容提取及管理的系統與方法」(SYSTEMS AND METHODS FOR NOTE CONTENT EXTRACTION AND MANAGEMENT BY SEGMENTING NOTES)，該等申請案之每一者的全部內容皆以引用方式併入本文中。
圖4係一流程圖，其繪示一便箋辨識程序100之實例，如可藉由行動裝置15之便箋管理應用程式78實施者。一開始，便箋管理應用程式78之便箋識別模組86透過影像獲取擷取複數個便箋之輸入影像(102)。在某些實例中，便箋係實體便箋，而且一次擷取超過一個便箋更有效率。其次，便箋識別模組86自輸入影像辨識複數個便箋中之一者(104)。舉例來說，便箋識別模組86可使用顏色偵測模 組、形狀偵測模組、以及圖形偵測模組辨識便箋特徵，並且隨後測定便箋之一般邊界。
數位便箋產生模組88提取複數個便箋之一的內容以建立子影像(106)。在某些實例中，數位便箋產生模組88可在提取內容之前，將影像轉換應用於至少部分的輸入影像。在某些其他實例中，數位便箋產生模組88可將影像增強或另一影像處理技術(例如移除下層工作空間之背景或變更複數個便箋中各便箋之顏色)應用於改善所提取內容或子影像之品質(108)。例如，數位便箋產生模組88可依據圖25之技術應用影像增強。在又其他實例中，數位便箋產生模組88可進一步辨識來自所提取內容或子影像的文字及圖式。數位便箋產生模組88將增強的提取內容或子影像儲存至行動裝置15之資料儲存裝置68，並且可將數位便箋傳達至雲端伺服器12或其他電腦系統14(110)。可在行動裝置15之電腦可讀取儲存裝置內，儲存用於使可程式化處理器執行程序100之程式碼或其他可執行指令。
圖5係一流程圖，其繪示便箋辨識技術120之實例，便箋識別模組86可在其中使用多個偵測模組以辨識便箋並提取便箋之內容。在某些實例中，偵測模組可包括顏色偵測模組、形狀偵測模組、以及圖形偵測模組。在一實例中，顏色偵測模組可為了顏色辨識122，將諸如RGB(紅色、綠色及藍色)、LAB(例如Hunter 1948 L、a、b色空間、CIE 1976(L*、a*、b*)色空間)、CMYK(青色、紫紅色、黃色及定位色(key)(黑色))HSV(色相、飽和度及明度)等色空間，用於識別對應於便箋125、126、127、128之注意區域。 在形狀偵測模組及圖形偵測模組之其他實例中，便箋125、126、127、128係分別就其形狀並因呈現形狀辨識演算法123(例如霍夫轉換、形狀上下文等)及圖形辨識演算法124(例如支援向量機、交互關聯、模板匹配等)所偵測之獨特圖形而予以進一步區別。這些演算法122、123、124可協助濾出輸入影像中的無用物件或便箋125、126、127、128之其他內容來源，並且僅留下那些對應於便箋125、126、127、128之注意區域。在另一實例中，電腦系統可經組態以執行技術120之任何變異。在另一實例中，含指令供使可程式化處理器執行之非暫時性電腦可讀取媒體可執行技術120之任何變異。
圖6A及圖6B同為一繪示便箋辨識程序130之另一實例之流程圖。一開始，程序130透過如圖1至圖3所述之影像獲取，擷取輸入影像，例如腦力激盪會議20之複數個便箋22之影像(132)。在某些實例中，便箋係實體便箋，而且一次擷取超過一個便箋更有效率。其次，程序130從輸入影像辨識如圖1所述的複數個便箋22中使用者(諸如圖1之使用者26)可選擇之一或多個便箋(134)。舉例來說，程序130可使用顏色偵測模組、形狀偵測模組、以及圖形偵測模組辨識便箋特徵，並且隨後測定如圖5所述的便箋之邊界。其次，數位便箋產生模組88提取複數個便箋22中各便箋之內容以建立子影像(136)。在某些實例中，數位便箋產生模組88可將影像轉換應用於至少部分輸入影像，之後才提取內容(未顯示於圖6A及圖6B)。在某些其他實例中，便箋增強模組89可將影像增強、或諸如從工作空間之影像移除背景或增強各數位便箋相關聯像素資料(例如銳化)的其他 影像處理技術，應用於改善提取內容或子影像之品質(136)。在圖6B之實例中，便箋增強模組89回應於使用者輸入，已將數位便箋從綠色變為用以增加可讀性之白色(136)。可在行動裝置15之電腦可讀取儲存裝置內，儲存用於使可程式化處理器執行程序130之程式碼或其他可執行指令。
數位便箋產生模組88可進一步辨識來自提取內容或子影像之文字及圖式(未顯示於圖6A及圖6B)。數位便箋產生模組88及/或便箋增強模組89可將增強的提取內容或子影像儲存至行動裝置15之資料儲存裝置68，並且可隨後將原來的影像資料及/或含提取資訊及中繼資料之數位便箋，傳達至如圖1至圖3所述之雲端伺服器12或電腦系統14(138)。
圖7A至圖7D係示意圖，其繪示重疊另一便箋之邊界之至少一實體便箋的實例。圖7A係一示意圖，其繪示如參照圖1所述工作空間20上重疊之不同顏色之複數個相鄰便箋22的實例。圖7B係一示意圖，其繪示如參照圖1所述工作空間20上重疊之在各便箋右上角及左下角含標記之一顏色之複數個便箋22的實例。圖7C係一示意圖，其繪示如參照圖1所述工作空間20上堆疊型重疊關係中複數個便箋22之實例，便箋22之每一者具有一用於主體之顏色及另一用於邊線之顏色。圖7D係一示意圖，其繪示如參照圖1所述複數個相鄰便箋22之另一實例，其重疊另一或多個便箋22之邊界。圖7A至圖7D繪示重疊便箋之某些實例。然而，可在其他組合中將便箋22用於建立重疊便箋之其他實例。
如後文詳述，具有顏色與便箋主體不同之邊線的實體便箋提供一種基標之形式，其可用於實體便箋之顏色分段及偵測。在某些實例中，作為基標，可選擇用以與背景顏色有良好分色之邊線顏色，例如有別於便箋背景(主體)顏色之白色或黑色邊線顏色。如進一步實例，可選擇顏色互補之邊線顏色及主體顏色，以便提供良好的分色，例如在黃色便箋上使用青色邊線或其他基標，藉以提供有助於識別實體便箋之高色比。
在其他實例中，可使用一種可僅影像處理引擎可見之隱形墨水建構基標。另舉一例，可在便箋上將反光材料當成是可對來自影像裝置之閃光發生反應之基標。
圖8A係一示意圖，其繪示一藉由使用顏色分類演算法，用於偵測且分段重疊及/或相鄰便箋之實例性技術200。在某些情況中，輸入影像在視覺表示非單一影像的條件下係檢索自視覺表示(未顯示於圖8A)。舉例來說，視覺表示係一組影像，且檢索之輸入影像係該組影像之至少部分的聚集。另舉一例，視覺表示係一視訊，且檢索之輸入影像係數個或全部視訊畫面的組合。
行動裝置15、雲端伺服器12、或電腦系統14上執行的便箋管理應用程式78，在接收如圖1至圖3所述之輸入影像時，藉由使用顏色偵測模組(其可為便箋識別模組86之元件)識別複數個重疊實體便箋。顏色偵測模組可將輸入影像轉換成期望的色空間(未顯示於圖8A)。實例性適用的色空間包括(但並不限於)RGB(紅色、綠色及藍色)、LAB(例如，Hunter 1948 L、a、b色空間，CIE 1976 (L*、a*、b*)色空間)、CMYK(青色、紫紅色、黃色與定位色(黑色))、HSV(色相、飽和度及明度)、HSL(色相、飽和度及亮度)、HSI(色相、飽和度及強度)、sRGB(標準紅色、綠色及藍色)色空間。其次，顏色偵測模組可將一或多種分類功能應用於輸入影像中各像素之色值(未顯示於圖8A)。可使用選擇性訓練步驟運算分類功能。用於顏色偵測模組之分類演算法可為(例如)線性判別分析、二次分類器、高斯混合模型、促進式決策樹、支援向量機，或類似演算法。表明影像中各像素顏色級別之指示符(未顯示於圖8A)係使用分類演算法產生。一顏色級別包括一特定範圍的波長，或可以是參照至所關注之色彩級別旁邊的任何其他彩色之「其他」色彩級別。舉例來說，一顏色級別可以係洋紅色、黃色、藍色、橘色等。舉例來說，指示符可以由數字、代碼、符號、文數字符記、色值、灰階值或類似物予以表示。在另一實例中，技術200亦可使用如圖5所述之形狀偵測模組及圖形偵測模組。
圖8B係一示意圖，其繪示可基於指示符測定便箋202B、204B、206B或便箋區段之邊界之技術200的實例。在一實例中，將指示符相同的相鄰像素分組成一區域，且可測定該區域的邊界。在某些情況中，測定邊界之前，使用影像處理原則進一步處理指示符，例如，雜訊濾波、形態斷開或類似者。在某些實例中，得以預先測定便箋或便箋區段之形狀及/或尺寸，可將其用於測定及/或過濾便箋202B、204B、206B或便箋區段之一般邊界。可使用邊界將該(等)便箋202B、204B、206B或該(等)便箋區段之內容分段並提 取以產生已分段數位便箋。在另一實例中，技術200亦可在圖形使用者介面之第一部分上顯示含取代複數個重疊便箋之複數個已分段數位便箋的輸入影像，並且在圖形使用者介面之第二部分上顯示複數個數位便箋。
圖9A及圖9B係示意圖，其將技術200之另一實例繪示為技術210，其中便箋211至217或便箋區段在一或多個位置重疊並具有彩色邊界、邊線、或彩色標記而非具有素色。在技術210之一實例中，可將如圖8A所述之顏色偵測模組用於識別邊界、邊線、或標記(如圖9B所示)，並且進一步提取該(等)便箋211至217或便箋區段之內容(如圖9A所示)。
圖10係一示意圖，其將技術200之另一實例繪示為技術220，其中便箋221至224或便箋區段在一或多個位置重疊並具有彩色邊界、邊線、或彩色標記而非具有素色。在技術220之一實例中，可將如圖8A所述之顏色偵測模組用於識別邊界、邊線、或標記(如圖10所示)，並且進一步提取該(等)便箋222至224或便箋區段之內容(如圖10所示)。
圖11係一示意圖，其將技術200之另一實例繪示為技術230，其中便箋231、232或便箋區段在一或多個位置重疊並具有彩色邊界、邊線、或彩色標記而非具有單色(solid color)。在技術230之一實例中，可將如圖8A所述之顏色偵測模組用於識別邊界、邊線、或標記(如圖11所示)，並且進一步提取該(等)便箋231、232或便箋區段之內容(如圖11所示)。
在另一實例中，電腦系統可經組態以執行技術200、210、220、230之任何變異。在另一實例中，含指令使可程式化處理器執行之非暫時性電腦可讀取媒體，可執行技術200、210、220、230之任何變異。
圖12A至圖12F及圖13係示意圖，其繪示用於在便箋顏色相同時將複數個重疊便箋分段並提取便箋區段之一組內容之實例性技術300的實例性態樣，以及圖14係一繪示實例性技術300之流程圖。雲端伺服器12、電腦系統14、行動裝置15、16、及/或影像處理引擎82在接收如圖1至圖3所述之輸入影像時，識別大量複數個重疊便箋302A至302C，並且測定重疊便箋302A至302C的顏色是否相同。
在圖12A中，重疊便箋302A至302C的顏色相同，並且係使用如圖8A所述及如圖12B所示的顏色偵測模組分段(圖14之320)。選擇性地，如圖12C中顯示為塊面(mass)302D，可在顏色偵測模組分析期間，填充複數個重疊便箋302A至302C之塊面(圖14之322)。複數個便箋302A至302C之塊面之直角轉角係使用關聯模板304、306、308、310(圖14之324)予以偵測。關聯模板304、306、308、310之尖峰314係偏心而置，並且係用於測定如圖12E所示複數個便箋302A至302C之塊面之轉角(圖14之326)。沿著至少一部分邊界具有應用於一或多個轉角之標記311並具有對應關聯尖峰之複數個便箋302A至302C之塊面之轉角，係用於測定關聯轉角304A、310A、310B、308B、308C與306C以及如圖12F所示複數個 便箋302A至302C之塊面中之各便箋之取向(圖14之328)。在另一實例中，技術300可選擇性地包括基於複數個便箋302A至302C之塊面中各便箋之取向，對複數個便箋302A至302C之塊面執行幾何校正及裁切技術。在另一實例中，標記可為沿著便箋之邊界之不同顏色邊線，例如白色邊線。在另一實例中，技術300可藉由將一或多個標記311與資料庫中的標記作比較，進一步包括測定輸入影像中之複數個便箋之至少一者是否在複數個便箋302A至302C之塊面中包括一或多個標記311。
在圖12A至圖12F及圖13中，輸入影像的確含有一或多個標記311，故技術300可包括將具有顏色偵測模組之記號偵測模組用於測定各便箋區段之邊界。在圖13中，可基於關聯轉角304A、310A、310B、308B、308C、以及306C，測定塊面之區段312A至312C之邊界(圖14之330)。在某些情況中，記號偵測模組可測定標記311之相對位置，可將其用於測定複數個便箋區段312A至312C之邊界。可使用測定之邊界，從複數個便箋區段312A至312C提取塊面之便箋區段312A至312C之內容(圖14之332)。在某些情況中，從一對應便箋區段提取各內容項目。在另一實例中，便箋區段312A至312C之提取內容係用於產生對應於輸入影像中所識別複數個重疊便箋中各便箋之邊界的複數個數位便箋，而且該複數個數位便箋包括藉由輸入影像中之複數個便箋區段312A至312C所表示之資訊。在另一實例中，便箋區段312A至312C之提取內容係用於產生對應於輸入影像中所識別複數個重疊便箋中各便箋之邊界的複數個已分段數 位便箋，而且該複數個已分段數位便箋包括藉由輸入影像中之複數個便箋區段312A至312C所表示之資訊。
圖15及圖16繪示一藉由便箋管理應用程式18所呈現之實例性圖形使用者介面400。在此實例中，圖形使用者介面400包括記號偵測控制402、406，其選擇性容許使用者啟用或停用標記式便箋偵測模組或無記號式偵測模組。
在一實例中，如圖15所繪示，使用者(諸如圖1之使用者26)在引導便箋管理應用程式18擷取或另外處理輸入影像之前，啟動記號偵測控制402。使用者26藉由啟動記號偵測雙態觸變鍵402利用記號偵測模組，基於與便箋相關聯之基準記號，引導便箋管理應用程式78之影像處理引擎82將複數個已偵測重疊實體便箋分段。使用者可在擷取工作空間之輸入影像之前啟動記號偵測控制402，或可在擷取工作空間之後但在處理輸入影像之前啟動記號偵測控制402，以基於基準記號將記號偵測模組用於將複數個重疊便箋分段。在此實例中，輸入影像中之便箋含有標記404，其可為條碼、色碼、顏色、矩陣碼、色塊、不同顏色邊線、或類似物。
一般而言，記號偵測模組將一或多個標記404用於測定便箋之邊界。在某些情況中，可令便箋傾斜於輸入影像中(未顯示於圖15及圖16)。在某些其他情況中，拍攝的輸入影像可能會有圖形失真。記號偵測模組可將標記404或一部分標記404之已測定邊界，用於測定對輸入影像必要的影像轉換及校正，以獲得便箋內容。
在另一情況中，如圖16所繪示，使用者可選擇停用記號偵測控制406以在便箋辨識技術中不包括記號偵測模組。便箋管理模組78之影像處理引擎82在回應時，可引動任一或多種非記號式便箋偵測演算法，例如基於輸入影像中複數個便箋之周邊所定義的形狀識別複數個實體便箋、依據與複數個便箋之背景顏色相關聯的色空間識別複數個便箋、及/或依據圖形辨識演算法識別複數個便箋。
為舉例之目的，係將記號偵測控制402、406表示成具有開啟狀態及關閉狀態之雙態觸變UI組件，但也可使用其他UI組件，例如選擇鈕、下拉式清單及類似者。
圖17及圖18繪示一實例，行動裝置15之便箋管理應用程式78在其中提供功能，使用者26藉此功能管理一組與工作空間(例如圖1之工作空間20)相關聯之數位便箋。舉例來說，便箋管理應用程式78產生GUI 79以包括輸入控制，其容許使用者26選擇性包括或排除輸入影像中辨識之便箋，藉以控制是由那個實體便箋具有一組或一群數位便箋中的對應數位便箋。
在圖17所繪示的實例中，行動裝置包括具有第一部分(區域)502及第二部分(區域)504之圖形使用者介面500。便箋管理應用程式78在圖形使用者介面500之第一部分502內顯示從工作空間擷取之輸入影像，其中輸入影像通常提供具有複數個實體便箋之工作空間的視覺表示。便箋管理應用程式78在第二部分504內顯示從如便箋管理應用程式78所辨識輸入影像內之實體便箋產生之一組數位影像。
此外，便箋管理應用程式78可在圖形使用者介面500之第一部分502上，顯示數位便箋及覆疊於原始輸入影像上與其相關聯之增強子影像，其中複數個數位便箋之每一者皆係取代便箋管理應用程式所辨識對應實體便箋而呈現。這可(例如)協助使用者使數位便箋與其在工作空間中之各別實體便箋相關聯。
可藉由使用者輸入，選擇圖形使用者介面之第一部分502及第二部分504上複數個數位便箋506、507之各便箋，以供從該組數位便箋刪除。如圖17與圖18之間所繪示，可將圖形使用者介面之第二部分中選擇的數位便箋506、507從圖形使用者介面之第二部分刪除508，並且保留於圖形使用者介面之第一部分中。在另一實例中，可將選擇的數位便箋506、507從圖形使用者介面之第一部分及第二部分刪除。在另一實例中，可將選擇的數位便箋506、507從圖形使用者介面之第一部分刪除，並且保留於圖形使用者介面之第二部分。
圖19及圖20繪示藉由行動裝置15呈現具有第一部分(區域)512及第二部分(區域)514之實例性使用者介面510，容許使用者選擇並新增數位便箋以供含括於一組建立自實體便箋之數位便箋，該等實體便箋係辨識自給定工作空間。如圖19與圖20之間所繪示，可將圖形使用者介面之第一部分512中選擇的數位便箋516，新增至圖形使用者介面之第二部分514中所呈現之該組數位便箋518。換句話說，使用者可選擇工作空間之影像上所覆疊數位便箋之一或多者，並且指示便箋是要含括於圖形使用者介面之第二部分中所呈現之特定組數位便箋。
圖21係一流程圖，其繪示便箋管理應用程式78在選擇圖形使用者介面之第一部分或圖形使用者介面之第二部分中之複數個數位便箋並將所選擇複數個數位便箋分組時，回應使用者輸入之實例性操作。在程序530的一實例中，如圖1至圖3所述之運算裝置、行動裝置15、雲端伺服器12、或電腦系統14上執行的便箋管理應用程式78接收輸入影像(532)。其次，運算裝置係經組態以識別輸入影像中之複數個便箋(534)。運算裝置在識別輸入影像中之複數個便箋時，產生對應於輸入影像中所識別複數個便箋之複數個數位便箋(536)。運算裝置在產生複數個數位便箋之後，係經組態以顯示輸入影像，其包括覆疊於其上取代圖形使用者介面之第一部分上複數個便箋所識別之複數個數位便箋(538)。運算裝置亦在顯示第一部分時，經組態以顯示圖形使用者介面之第二部分上一組使用者定義之數位便箋(540)。其次，運算裝置係經組態以接收使用者輸入，以藉由圖形使用者介面選擇複數個數位便箋之至少某些(542)。運算裝置亦在接收用以選擇複數個數位便箋之使用者輸入之後，經組態以接收用於將所選擇複數個數位便箋分組以形成一或多個群組之使用者輸入(544)。在另一實例中，該一或多個群組可包括階層順序。
圖22至圖24係示意圖，其繪示技術實例，運算裝置(例如行動裝置15)上執行的便箋管理應用程式78在其中偵測便箋，並且基於一或多個偵測之分組指示符將便箋自動分組。便箋管理應用程式78在接收如圖1至圖3所述之輸入影像時，識別輸入影像中之複數個實體便箋並產生複數個數位便箋。
在圖22所繪示之實例性技術600中，便箋管理應用程式78處理工作空間20之輸入影像，其在此實例中包括根據距離分成群組之複數個便箋。在此實例中，便箋管理應用程式78根據各辨識之便箋與行動裝置15所測定之臨限距離之間的距離602，識別一或多個群組之指示。亦即，便箋管理應用程式78可基於叢集，測定輸入影像內的實體便箋叢集，並且以邏輯方式令數位便箋與數位便箋群組相關聯。在某些實例中，便箋管理應用程式78可運算與輸入影像內之物件相關聯之位置資料之2D網格或3D陣列，並且為各辨識之實體便箋，測定便箋在2D或3D空間內之絕對位置及邊界，藉以運算工作空間之完整表示。便箋管理應用程式78可根據這項資訊，測定虛擬空間內各實體便箋之間的最小距離，並且根據該等距離，測定對應於實體便箋之對應數位便箋群組。在其他實例中，便箋管理應用程式78的群組測定可根據臨限值，其可為臨限距離或臨限比率，係由使用者預先測定或由行動裝置15計算。
圖23係一示意圖，其繪示另一實例性技術610，便箋管理應用程式78在其中根據如行動裝置15在輸入影像內所偵測工作空間內複數個便箋周圍實體繪製的圈612，測定一或多個群組之指示。
圖24係一示意圖，其繪示另一實例性技術620，便箋管理應用程式78在其中根據為了連接各實體便箋而在工作空間內實體繪製的一或多條線622，測定一或多個群組之指示，並且建立階層順序，如藉由行動裝置15在輸入影像偵測者。在另一實例中，一或多個 圈612及一或多條線622可為Post-It® Roll及/或Scotch®彩色帶或其他材料。
在某些實例中，便箋管理應用程式78可經組態以偵測群組指示符之模板。舉例來說，若使用者利用已知設計在牆壁上置放印刷模板，便箋管理應用程式78可自動建立實體便箋相對於印刷模板之位置。在一實例中，模板可以是行事曆，並且便箋可表示置於行事曆上之工作或事件。便箋管理應用程式78在處理含模板及複數個實體便箋之工作空間的影像時，根據便箋在模板內之位置，測定如發生於特定日期的工作/事件。模板可予以印製及貼於牆壁，或單純地投射到壁面上。
此外，對於輸入影像內所偵測實體群組指示符之偵測雖然是舉例描述，仍可將本技術應用於使用者在與行動裝置或其他裝置之現敏式(presence-sensitive)顯示器互動時，擺手勢或另外輸入之一或多個群組指示符之偵測。
在某些實例中，技術600、610、620可包括使用多個偵測模組以辨識便箋並提取複數個便箋之內容，例如顏色偵測模組、形狀偵測模組、以及圖形偵測模組，如圖5所述。在顏色偵測模組之一實例中，技術可包括將諸如RGB、HSV、CIELAB等色空間用於識別對應於便箋之注意區域以供顏色辨識。在形狀偵測模組及圖形偵測模組之其他實例中，便箋係分別就其形狀並因呈現形狀辨識演算法(例如霍夫轉換、形狀上下文等)及圖形辨識演算法(例如支援向量機、交互關聯、模板匹配等)所偵測之獨特圖形而予以進一步區別。 這些演算法協助濾出輸入影像或其他便箋內容來源中的無用物件，並僅留下對應於便箋的注意區域。
在某些實例中，技術600、610、620可進一步包括諸如雲端伺服器12、電腦系統14、及/或行動裝置15、16之運算裝置，係經組態以聚集複數個便箋之內容及複數個便箋之群組指示，並且依據如圖22至圖24所示便箋604、614、624之分組或順序顯示複數個便箋。在另一實例中，電腦系統可經組態以執行技術600、610、620之任何變異。在另一實例中，含指令使可程式化處理器執行之非暫時性電腦可讀取媒體可執行技術600、610、620之任何變異。
圖25係一流程圖，其繪示依據本揭露之一或多種技術，用以將影像增強應用於輸入影像之便箋管理應用程式的實例性操作。例如，如上所述，在某些實例中，圖3之便箋管理應用程式78之便箋增強模組89可將圖25之影像增強技術應用於一由複數個便箋構成之輸入影像產生的一或多個子影像。
依據本揭露之一或多種技術，一裝置(例如圖1及圖2之行動裝置15)可接收一輸入影像(702)。在某些實例中，一或多個處理器可執行一影像處理引擎(例如，圖3之影像處理引擎28)，用以接收影像資料，該影像資料包含一包括複數個實體便箋之場景的一視覺表示，各實體便箋皆包括各別可辨識內容。例如，行動裝置15之處理器70可執行影像處理引擎82，用以接收影像資料(例如，圖27之影像資料722)，該影像資料包含一包括複數個實體便箋之場景的一視覺表示，各實體便箋皆包括各別可辨識內容(例如，圖27之實體便 箋724A至724C)。在某些實例中，影像資料可為圖3所示影像97之一影像之實例。
舉一實例，影像處理引擎82可從行動裝置15之相機(例如圖1及圖2之影像擷取裝置18)接收影像資料。例如，行動裝置15之使用者(例如使用者26)可將影像擷取裝置18用於拍攝一由複數個實體便箋構成之照片。
另舉一例，影像處理引擎82之影像通訊模組90可從一或多個外部裝置(諸如另一行動裝置(例如，圖2之行動裝置16)、雲端伺服器(例如，雲端伺服器12)、電腦系統(例如，電腦系統14)、及類似者)接收影像資料。例如，另一裝置之使用者可拍攝一由複數個實體便箋構成之照片，並且令其他裝置將該照片發送至行動裝置15(例如，經由電子郵件、多媒體訊息、及類似者)。
另舉一例，影像處理引擎82可從行動裝置15之儲存裝置(例如資料儲存裝置68)接收影像資料。例如，資料儲存裝置68可儲存先前藉由影像擷取裝置18擷取之影像資料、及/或先前從一或多個外部裝置接收的影像資料。
在任何情況中，影像處理引擎82可識別由輸入影像所表示之複數個便箋(704)。例如，影像處理引擎82之便箋識別模組86可使用顏色偵測模組、形狀偵測模組、以及圖形偵測模組辨識便箋特徵，並且隨後測定便箋之一般邊界。在某些實例中，圖形偵測模組可(例如)使用一或多種圖形辨識演算法(例如，支援向量機演算法、交互關聯演算法、以及模板匹配演算法)，識別輸入影像中所表示的 複數個實體便箋之每一者。在某些實例中，便箋識別模組86可基於輸入影像中複數個便箋之周邊所定義的形狀，將形狀偵測模組用於識別複數個便箋之至少一者。在某些實例中，便箋識別模組86可依據與複數個便箋之背景顏色相關聯的色空間，識別複數個便箋。在某些實例中，便箋識別模組86可將圖形偵測模組用於識別複數個便箋之至少一者。在某些實例中，圖形偵測模組可包括圖形辨識演算法(例如支援向量機演算法)；一交互關聯演算法；及/或一模板匹配演算法。在某些實例中，輸入影像中的複數個便箋可包括7.62×7.62公分(cm)(3.0×3.0吋)便箋、66.04×99.06cm(26.0×39.0吋)海報、三角形金屬標誌、貼紙、以及22.59×27.94cm(8.5×11吋)紙張之一或多者。
數位便箋產生模組88可基於已識別複數個便箋產生複數個數位便箋，各數位便箋分別對應於複數個實體便箋之一特定實體便箋(706)。例如，數位便箋產生模組88可提取複數個已識別便箋的各別內容以建立複數個子影像。如圖27之實例所繪示，數位便箋產生模組88可從實體便箋724C提取內容以建立子影像726。
便箋增強模組89可增強複數個數位便箋之每一者(708)。在某些態樣中，便箋增強模組89可藉由校正陰影、照明、旋轉、以及各自輸入影像中便箋之縮放，增強數位便箋之一或多者。在某些實例中，儘管一特定子影像所對應的實體便箋可具有均勻背景顏色，此特定子影像之背景可能不是均勻顏色(例如，由於影像資料擷取時的照明狀況、量化誤差等)。因此，在某些實例中，便箋增強模 組89可藉由將各對應於特定子影像背景之像素設定成均勻顏色(例如，像素值)，以增強此特定子影像。在某些實例中，便箋增強模組89可依據圖26之技術，將此特定子影像之背景設定成均勻顏色。在某些實例中，便箋增強模組89可藉由校正一或多個陰影、照明、旋轉、及/或輸入影像中便箋之縮放，增強數位便箋之一或多者。
在某些實例中，便箋管理應用程式78可讓使用者能夠修改及/或編輯數位便箋。例如，使用者介面98之便箋編輯器96可依據圖28之技術，讓行動裝置15之使用者能夠編輯數位便箋。
圖26係一流程圖，其繪示依據本揭露之一或多種技術，用以將子影像之背景設定成均勻顏色之便箋管理應用程式的實例性操作。圖26係為了參照圖27之實例而予以描述。圖27係一示意圖，其繪示依據本揭露之一或多種技術，用以將子影像之背景設定成均勻顏色之便箋管理應用程式的實例性操作。
如上所述，在某些實例中，便箋管理應用程式78之便箋增強模組89可將圖25之影像增強技術，應用於將子影像背景設定成均勻顏色。
如上所述，數位便箋產生模組88可識別來自影像資料之複數個實體便箋，該影像資料包括一包括複數個實體便箋之場景的一視覺表示，其中各實體便箋皆包括各別可辨識內容)，並且從該影像資料提取對應於一特定實體便箋之子影像。在某些實例中，可將提取的子影像視為數位便箋。數位便箋產生模組88可將複數個數位便箋儲存到數位資料儲存裝置(諸如圖3之資料儲存裝置68)(例如)以 供使用者檢索。依據本揭露之一或多種技術，便箋增強模組89可識別數位便箋之前景區域(712)。例如，便箋增強模組89可將前景區域識別為包括內容之區域，該內容對應於數位便箋所對應實體便箋之各別可辨識內容。如圖27之實例所繪示，便箋增強模組89可識別前景區域728。
便箋增強模組89可識別數位便箋之背景區域(714)。例如，在某些實例中，便箋增強模組89可將背景區域識別為數位便箋未含於前景區域中的部分。如圖27之實例所繪示，便箋增強模組89可識別背景區域730。在某些實例中，便箋增強模組89可先識別背景區域730，然後根據已識別背景區域730識別前景區域728。在其他實例中，便箋增強模組89可先識別前景區域728，然後根據已識別前景區域728識別背景區域730。在某些實例中，便箋增強模組89可依據圖31之技術，識別特定數位便箋之前景區域及/或背景區域。
在任何情況中，便箋增強模組89可測定數位便箋之均勻背景顏色(716)。例如，在某些實例中，便箋增強模組89可將均勻背景顏色之像素值，選作成數位便箋背景區域中所含像素之平均或中間色值。
便箋增強模組89可將數位便箋之背景區域中所含像素設定成已測定均勻背景顏色(718)。舉一實例，便箋增強模組89可將對應於已測定均勻背景顏色之像素值，用於置換數位便箋之背景區域中所含像素之像素值。另舉一例，便箋增強模組89可連同已測定均勻背景顏色指示，將識別背景區域之點陣圖遮罩儲存至資料結構，使得 數位便箋可顯現有均勻背景顏色，但未覆寫原始資料。便箋增強模組89可藉由將數位便箋之背景設定成均勻顏色，在顯現數位便箋供顯示時，改善數位便箋之視覺品質。例如，已增強數位便箋732之視覺品質可大於數位便箋726。按照這種方式，便箋增強模組89可改善已提取內容或子影像之品質。
圖28係一流程圖，其繪示依據本揭露之一或多種技術，用以啟用對應於實體便箋之數位便箋之編輯之裝置的實例性操作。圖28係為了參照圖29A及圖29B之實例而予以描述。圖29A及圖29B係示意圖，其繪示依據本揭露之一或多種技術，用以啟用對應於實體便箋之數位便箋之編輯之裝置的實例性操作。例如，一實施圖28之技術之裝置可讓使用者(例如使用者26)能夠編輯或修改對應於實體便箋之數位便箋。某些實例性編輯或修改包括(但不限於)新增/刪除鍵入之文字、新增/刪除手繪文字、新增/刪除圖畫、修改前景顏色、以及修改背景顏色。
行動裝置15可接收基於影像資料所產生的複數個數位便箋中之一數位便箋，該影像資料包含一包括複數個實體便箋之場景的一視覺表示，使得該複數個數位便箋之每一者分別對應於該複數個實體便箋中之一特定實體便箋，各實體便箋皆包括各別可辨識內容。例如，如圖29A所繪示，行動裝置15可接收數位便箋746，其對應於具有可辨識內容(即，「買牛奶」及「洗衣」之手寫待辦清單)之實體便箋。
依據本揭露之一或多種技術，一裝置(例如行動裝置15)可為了顯示而輸出數位便箋(740)。例如，此裝置可輸出依據圖25及/或圖26之技術所產生的已增強數位便箋。如圖29之實例所繪示，行動裝置15之便箋編輯器96可輸出含數位便箋746之圖形使用者介面(GUI)748A，其如上所述，對應於具有可辨識內容「買牛奶」及「洗衣」之實體便箋。
便箋編輯器96可接收用以編輯數位便箋之使用者輸入(742)。舉一實例，便箋編輯器96可接收裝置使用者擺手勢以利用虛擬筆在數位便箋上「畫」一條線的指示。在某些實例中，可藉由在觸控螢幕(例如行動裝置15之觸控螢幕)上觸碰拖曳手指，使用自由形式書寫或繪圖將數位便箋修改。或者，使用者可使用滑鼠指標(點選並且拖曳)，在桌上型或膝上型電腦上執行使用者輸入。便箋編輯器96可在記憶體內儲存表明自由形式書寫或繪圖所建立手勢之資料，並且如數位便箋上覆疊層，顯示將表明手勢之資料進行表示之影像。舉例來說，如圖29A及圖29B所繪示，便箋編輯器96可儲存表明一或多個手勢之資料(例如，筆畫)，此資料係藉由自由形式書寫或繪圖建立成物件，例如形狀層物件759A至759C。在某些實例中，便箋編輯器96可將物件儲存成JavaScript Object Notation(JSON)資料物件、可擴展標記語言(XML)物件、或其他資料物件。由於可在記憶體內儲存由自由形式書寫或繪圖所建立的筆畫，清除或復原筆畫也是可行的。在某些實例中，便箋編輯器96可引動便箋增強模組89以執行 便箋編輯相關的一或多個操作。例如，便箋編輯器96可引動影像增強模組89以儲存表明手勢之資料。
另舉一例，便箋編輯器96可接收裝置使用者已選擇之已更新背景顏色之指示。在某些實例中，若可隨著時間追蹤背景像素，則便箋編輯器96可引動便箋增強模組89用新顏色置換已追蹤背景像素(即，在已經對數位便箋進行其他編輯之後，例如可使背景像素變成前景像素之編輯)。這些功能之一者或全部的提供形式可為按鈕，例如GUI中的觸碰啟用鈕。例如，如圖29A及圖29B所繪示，GUI 748B至748F之每一者都可包括文字輸入工具750、數位筆工具752、背景顏色工具754、復原鈕756、以及選色區758。
在任何情況中，便箋編輯器96可回應於接收使用者輸入，為了顯示而根據使用者輸入，將更新版的數位便箋輸出(744)。如圖29A之實例所繪示，便箋編輯器96回應於接收行動裝置15使用者執行手勢以在數位便箋上用虛擬綠筆畫一條線(即，使用者選擇數位筆工具752、從選色區758選擇綠色、以及執行勾選記號形狀之手勢)之指示，可輸出含形狀為勾選記號之綠線的GUI 748B。如上所述，可在資料結構中將對應於綠線之筆畫儲存成資料物件，例如形狀層物件759A。按照這種方式，便箋編輯器96可讓使用者能夠編輯對應於實體便箋之數位便箋。如圖29A及圖29B之實例所示，本揭露之技術能讓使用者在實體便箋上書寫待辦清單、拍攝實體便箋之照片以建立對應於實體便箋之數位便箋、以及從原來在實體便箋上書寫的待辦清單以數位方式查訖項目。
在某些實例中，便箋編輯模組89可測定一遮罩，該遮罩指示數位便箋746中屬於背景像素之像素、以及數位便箋746中屬於前景像素之像素。在某些實例中，數位便箋746之各像素的遮罩可為具有二進位值之點陣圖，其中第一二進位值指示一特定像素為前景像素，並且第二二進位值指示該特定像素為背景像素。
在某些實例中，在由便箋編輯器96引動要編輯數位便箋時，數位便箋編輯模組89根據使用者輸入，可更新指示數位便箋之像素屬於前景/背景像素之遮罩。例如，在對應於綠線之使用者輸入之前，遮罩可指示對應於綠線之像素屬於背景像素。在接收對應於綠線之使用者輸入之後，數位便箋編輯模組89可更新遮罩，使得對應於綠線之像素係指示為前景像素。
在某些實例中，便箋編輯器96可持續接收額外使用者輸入(742)，並且為了顯示而根據額外使用者輸入，持續輸出已更新版的數位便箋(744)。如圖29A之實例所繪示，便箋編輯器96回應於接收行動裝置15使用者執行手勢以在數位便箋上使用虛擬紅筆畫一條線(即，使用者選擇數位筆工具752、從選色區758選擇紅色、以及執行形狀為「洗衣」待辦事項刪除線之手勢)的指示，可輸出含「洗衣」待辦事項刪除紅線的GUI 748C。如上所述，便箋編輯器96可將(或可引動便箋增強模組89以將)對應於紅線之筆畫儲存為物件(例如形狀層物件759B)，可連同形狀層物件759A及數位便箋746將其在GUI 748C中顯現。按照這種方式，裝置可與數位便箋分開儲存編輯資訊。
在某些實例中，數位便箋編輯模組89可接收使用者輸入，由使用者在數位便箋上鍵入內容以編輯數位便箋。例如，使用者可選擇文字輸入工具750，其可使裝置顯示虛擬鍵盤，使用者可經由此虛擬鍵盤輸入字組「真空」。如圖29B之實例所繪示，便箋編輯器96回應於接收行動裝置15使用者在具有鍵盤(例如，虛擬鍵盤或實體鍵盤)之數位便箋上鍵入字組「真空」的指示，可輸出含拚出字組「真空」之文字的GUI 748D。在某些實例中，便箋編輯器96可提供一介面，使用者藉由此介面，可選擇待鍵入的文字特性(例如，字型、顏色)、或可在鍵入後修改文字特性。如上所述，便箋編輯器96可將(或可引動便箋增強模組89以將)文字儲存為一物件(例如形狀層物件759C)，可連同形狀層物件759A至759B、以及數位便箋746在GUI 748D中顯現此物件。
在某些實例中，使用者可能想要「復原」一或多個已進行的編輯。例如，在圖29B的實例中，使用者可能想要復原插入字組「真空」。因此，使用者可選擇復原鈕756以復原先前進行的編輯。如圖29B的實例所繪示，便箋編輯器96回應於接收行動裝置15使用者執行手勢以選擇復原鈕756之指示，可輸出未包括拚出字組「真空」之文字的GUI 748E。由於可將文字儲存為單獨物件(例如形狀層物件759C)，裝置可單純地顯現無形狀層物件759C之GUI 748E。
在某些實例中，使用者可能想要藉由變更數位便箋之背景顏色以編輯數位便箋。例如，使用者可選擇背景顏色工具754，並且從背景選色區760中所顯示背景顏色選項之一選擇，選擇新的背景 顏色。如圖29B之實例所繪示，便箋編輯器96回應於接收行動裝置15使用者已選擇之已更新背景顏色之指示，可更新數位便箋之背景顏色，並且輸出包括具有已更新背景顏色之數位便箋的GUI 748F。例如，便箋編輯器96可引動便箋增強模組89以更新數位便箋之背景顏色。在某些實例中，已更新背景顏色可選自一組顏色，其對應於實體便箋實際可用之顏色。在某些實例中，已更新背景顏色可選自根據單一場景(例如，包括複數個實體便箋之場景，該複數個實體便箋之一者對應於現正編輯之數位便箋)所產生的複數個數位便箋之背景顏色所組成的一組顏色。按照這種方式，在藉由背景顏色將便箋分組的實例中，使用者可在群組之間移動數位便箋，維護各群組內背景顏色之均勻度。
在某些實例中，使用者所選擇的已更新背景顏色與一或多個前景物件之顏色在視覺上可能不相容(例如，原始內容「買牛奶」、「洗衣」；以及修改內容，例如「買牛奶」旁的綠色核取標記、「洗衣」刪除紅線、以及黑色文字「真空」)。例如，已更新背景顏色可使前景物件之一或多者較難以閱讀。舉例來說，已更新背景顏色可降低數位便箋之特定前景物件與背景之間的對比率。依據本揭露之一或多種技術，便箋編輯器96可基於已更新背景顏色，自動修改(或引動便箋增強模組89以自動修改)一或多個前景物件之顏色。按照這種方式，便箋編輯器96可啟用數位便箋的背景顏色之編輯，而未犧牲該一或多個前景物件之可讀性。下文參照圖30討論便箋編輯器96可如何修改一或多個前景物件顏色之實例性細節。
在某些實例中，對照利用編輯將數位便箋的影像資料覆寫，裝置可將對應於各編輯之資訊儲存為可用於顯現數位便箋之單獨資料物件。例如，如圖29A之實例所述，便箋編輯器96可將對應於形狀為勾選記號之綠線的資訊儲存為「shapeLayer Object[0]」759A。同樣地，便箋編輯器96可將對應於「洗衣」刪除紅線之資訊儲存為「shapeLayer Object[1]」759B，並且將對應於文字「真空」之資訊儲存為「shapeLayer Object[2]」759C。在某些實例中，可連同數位便箋746，在容器內儲存形狀層物件759A至759C。例如，便箋編輯器96可將形狀層物件759A儲存為一組對應於線位置及形狀(即核取標記)之坐標、以及線為綠色之指示。同樣地，便箋編輯器96可藉由連同前景/背景遮罩儲存原始影像資料(即，數位便箋746所對應實體便箋之相片)、以及均勻背景顏色之指示(如以上參照圖26及圖27討論者)以儲存數位便箋746。
因此，便箋編輯器96可能讓使用者復原編輯而未修改數位便箋之下層影像資料。在某些實例中，顯現順序可為先進先出，意思是較早先建立的物件係於後來建立的物件「下面」顯現。
圖30係一示意圖，其繪示依據本揭露之一或多種技術，基於已更新背景顏色之前景物件之顏色之實例性修改。如圖30所繪示，裝置(例如圖1及圖2的行動裝置15)可接收原始數位便箋766。如圖30所示，原始數位便箋766可包括前景物件767，其包括非均勻藍色背景顏色上暗藍色中書寫的字組「鐵藍色」。如上所述，裝置可執行用以增強原始數位便箋766之一或多道操作以產生已增強 數位便箋768。例如，圖3之數位便箋編輯模組89可依據圖25至圖27之技術增強原始數位便箋766。如圖30所示，已增強數位便箋768可包括均勻藍色背景顏色上暗藍色中書寫的前景物件767(即「鐵藍色」)。
便箋編輯器96可回應於接收指示已更新背景顏色的使用者輸入，將已增強數位便箋768之背景顏色設定成已更新背景顏色。例如，便箋編輯器96可引動便箋增強模組89，以將已增強數位便箋768之背景顏色設定成已更新背景顏色。舉一實例，便箋編輯器96在已更新背景顏色為紫色的情況下，可藉由將已增強數位便箋768之背景顏色設定成紫色，以產生彩色數位便箋770A。另舉一例，便箋編輯器96在已更新背景顏色為暗綠的情況下，可藉由將已增強數位便箋768之背景顏色設定成暗綠以產生彩色數位便箋770B。另舉一例，便箋編輯器96在已更新背景顏色為橙色的情況下，可藉由將已增強數位便箋768之背景顏色設定成橙色以產生彩色數位便箋770C。另舉一例，便箋編輯器96在已更新背景顏色為黃色的情況下，可藉由將已增強數位便箋768之背景顏色設定成黃色以產生彩色數位便箋770D。然而，如上所述，在某些實例中，已更新背景顏色可能與前景物件767之顏色(即，暗藍色中書寫的「鐵藍色」)視覺上不相容。
依據本揭露之一或多種技術，裝置可根據已更新背景顏色，自動修改一或多個前景物件之顏色。例如，便箋編輯器96可依據更新背景顏色來選擇已更新前景顏色，並且將一或多個前景物件之顏色設定成已更新前景顏色。在某些實例中，便箋編輯器96可選擇已更 新前景顏色，使得已更新前景顏色與已更新背景顏色之間的對比率，大於目前前景顏色與已更新背景顏色之間的對比率。
在某些實例中，便箋編輯器96可基於目前前景顏色及已更新背景顏色，選擇已更新前景顏色。在某些實例中，便箋編輯器96可在逐像素級別上，更新一或多個前景物件的顏色，例如，可根據前景顏色的對應各自像素之像素值、以及根據背景顏色之值，修改前景物件之每一個各自像素之像素值。例如，可藉由先前的背景顏色，影響前景物件之某些像素之顏色。藉由根據更新及先前背景顏色，在逐像素級別上更新前景物件之像素之顏色，便箋編輯器96可改善數位便箋的視覺外觀。
舉一實例，便箋編輯器96可依據下文的方程式1至15，選擇已更新前景顏色，其中L i 為前景物件之第i個像素的目前L值，a i 為前景物件之第i個像素之目前a值，b i 為前景物件之第i個像素之目前b值，Lnew i 為前景物件之第i個像素之已更新L值，anew i 為前景物件之第i個像素之已更新a值，bnew i 為前景物件之第i個像素之已更新b值。
nc L ,nc a ,nc b =舊便箋背景顏色L*,a*,b* (1)
rc L ,rc a ,rc b =已更新背景顏色L*,a*,b* (2)
L i =第i個像素之L* (3)
a i =第i個像素之a* (4)
b i =第i個像素之b* (5)
Δa=|a i -nc a | (6)
Δb=|b i -nc b | (7)
diff L =nc L -rc L (10)
diff a =nc a -rc a (11)
diff b =nc b -rc b (12)
Lnew i =L i -diff L ．blendfactor (13)
anew i =a i -diff a ．blendfactor (14)
bnew i =b i -diff b ．blendfactor (15)
在此實例中，便箋編輯器96可依據前景物件之第i個像素之舊值(L*、a*、b*)、舊便箋背景顏色(L*、a*、b*)、以及已更新背景顏色(L*、a*、b*)來運算前景物件之第i個像素之更新值(Lnew i 、anew i 、bnew i)。方程式(9)之分母中的常數「60」是一個實例值，該分母可選用其他值。方程式(9)之常數值可加以選擇以選取良好視覺結果之值。例如，使用方程式(9)之常數的較低值可導致像素的已更新值保持較多舊便箋背景顏色。同樣地，使用方程式(9)之常數的較高值可導致像素的已更新值保持較少舊便箋背景顏色。可將diff L 、diff a 、以及diff b 想成是表示新顏色進行的向量方向。已更新值(Lnew i 、anew i 、bnew i)反映前景顏色值沿著這個向量平移的移動方式。
在某些實例中，便箋編輯器96可識別數位便箋之前景區域及數位便箋之背景區域，例如，以便修改前景區域及背景區域之顏色。如上所述，在某些實例中，便箋編輯器96依據圖31之技術，引動便箋增強模組89以識別數位便箋之前景區域及/或背景區域。
在某些實例中，在識別背景區域後，便箋編輯器96即可啟用編輯功能。例如，便箋編輯器96可啟用對應於實體便箋之數位便箋上的編輯功能，這是因為其將可能測定真實的背景像素，並且可如新前景像素般地監測變更(即編輯)。圖30繪示實體便箋之影像的便箋顏色變更的實例。如圖30所繪示，便箋編輯器96可將彩色數位便箋770A至770D之前景像素重新著色，例如，以混合舊背景顏色及新背景顏色。或者，便箋編輯器96可將已更新前景顏色選擇為一種顏色，此顏色根據RGB或LAB色輪，係已更新背景顏色之互補色。此選擇可提升對比。
舉一實例，便箋編輯器96可根據紫色之已更新背景顏色，藉由修改前景物件767之顏色(即，「鐵藍色」)產生改良型數位便箋772A，以產生具有第一已修改顏色之已修改前景物件771A。舉另一實例，便箋編輯器96可根據綠色之已更新背景顏色，藉由修改前景物件767之顏色(即，「鐵藍色」)產生改良型數位便箋772B，以產生具有第二已修改顏色之已修改前景物件771B。舉另一實例，便箋編輯器96可根據橙色之已更新背景顏色，藉由修改前景物件767之顏色(即，「鐵藍色」)產生改良型數位便箋772C，以產生具有第三已修改顏色之已修改前景物件771C。舉另一實例，便箋編輯器96可根據黃色之已更新背景顏色，藉由修改前景物件767之顏色(即，「鐵藍色」)產生改良型數位便箋772D，以產生具有第四已修改顏色之已修改前景物件771D。按照這種方式，如圖30所示，在改良型數位便箋772A至772D上比在彩色數位便箋770A至770D上，分別更 易於讀取前景物件771A至771D(即「鐵藍色」)。在某些實例中，便箋編輯器96依據以上的方程式(1)至(15)，根據各自已選擇背景顏色，可選擇第一、第二、第三、及/或第四已修改顏色。雖然前景物件為了實例目的顯示整個物件具有均勻顏色，在某些實例中，前景物件之個別像素之像素值係根據各自像素之新的已選擇背景顏色及原始像素值而予以修改。
圖31係一流程圖，其繪示依據本揭露之一或多種技術，用以識別對應於實體便箋之數位便箋之前景區域之裝置的實例性操作。例如，一實施圖31之技術之裝置可以能夠將前景手寫或手繪文字或圖畫從便箋影像分開、使用顏色分段演算法以識別有別於背景顏色之連續顏色區段、以及聚集已識別區段以形成前景。
依據本揭露之一或多種技術，一裝置(例如圖1及圖2之行動裝置15)可接收一對應於複數個實體便箋之一實體便箋的數位便箋(778)。例如，圖3的便箋增強模組89可接收依據圖25及/或圖37之技術所產生的複數個數位便箋之一數位便箋(例如，數位便箋編輯模組89可從資料儲存裝置68接收數位便箋)。在某些實例中，數位便箋可為對應於該複數個實體便箋之一特定實體便箋的點陣圖影像。在某些實例中，便箋增強模組89可假設數位便箋具有主要便箋顏色(即背景顏色)、以及便箋上書寫內容及圖畫中所用的一或多種次要顏色(即前景顏色)。裝置可使用此假設，應用圖形式顏色分段演算法(780)。在某些實例中，裝置可應用下列文獻所述的圖形式顏色分段演算法：「Efficient Graph-Based Image Segmentation」， Felzenszwalb及Huttenlocher，International Journal of Computer Vision，第59卷，第2號，2004年9月，可上網查詢，網址http：//www.cs.cornell.edu/~dph/papers/seg-ijcv.pdf，其全部內容以引用方式併入本文中。在某些實例中，顏色分段演算法可根據像素之顏色及近似性，產生多個連續區段。由於陰影、照明變更等所誘發的顏色變更，有可能在相同的前景或背景顏色上得到多個區段。在某些實例中，便箋增強模組89可根據尺寸臨限將這些區段融合在一起。
裝置可識別數位便箋之前景區域(782)。例如，便箋增強模組89可對所有個別前景區段執行邏輯或(OR)運算以產生前景遮罩。圖32A至圖32B顯示某些產生遮罩之實例。例如，如圖32A所繪示，便箋增強模組89可根據數位便箋788產生前景遮罩786。可將此一前景遮罩用於將書寫內容/圖畫從背景顏色分開。此可啟用前景及背景之可變增強選項，例如，用於視覺上合意的便箋。另外，如上所述，便箋增強模組89可在擷取實體便箋之後，以數位方式變更便箋之背景顏色。
圖33係一示意圖，其繪示依據本揭露之一或多種技術，用以識別對應於實體便箋之數位便箋之前景區域之裝置的實例性操作。例如，一實施圖31之技術之裝置可產生一遮罩，該遮罩指示數位便箋含括於前景區域中的是哪些像素、以及數位便箋含括於背景區域中的是哪些像素。
依據本揭露之一或多種技術，一裝置(例如圖1及圖2之行動裝置15)可實施一階層式適應性定限演算法，其係用於提取便 箋之影像的二進位遮罩，以將前景從背景分開，同時提供低誤判(假影)。此演算法也可廣泛用於有雜訊但均勻背景中呈現前景之其他影像。
在某些實例中，裝置可使用動態比例選擇。例如，對照預先運算所有比例的適應性定限遮罩，裝置可視需要特別動態運算各已連接元件的比例。此外，在某些實例中，裝置可整合背景像素重新標號步驟(即圖34之步驟826至830)中的陰影假說。
可將各種作法用於增強影像，以改善其美觀性，並且用以移除不想要的效果，例如陰影、雜訊等。在這些作法中，二值化是一種用於在影像中建立多層前景及背景以獲得高階對比的作法。通常係執行二值化以提取關注物件，並且相對其背景提供其較多對比。此二值化可想成是只要背景顏色呈現均勻性，直接前景偵測便不知道其視覺特性。在某些實例中，可將二值化用於自心血管活動攝影圖提取心室區(例如，Chow,C.K.及T.Kaneko，「Automatic boundary detection of the left ventricle from cineangiograms」，Computers and biomedicalresearch 5.4(1972)：388-410)。例如，可將跨影像的局部窗用於動態運算強度直方圖及運算臨限。可將超出這些已運算臨限之像素二值化成前景。可導出較簡單的替代作法，其將運算完整的強度直方圖，以運算近似量度(例如窗中最大及最小值的中數、中位數、或平均)置換。亦可將此類方法用於文件二值化(例如，請參閱Sauvola、Jaakko及Matti Pietikäinen，「Adaptive document image binarization」Pattern Recognition 33.2(2000)：225-236)，此文獻的 全部內容以引用方式併入本文中。積分影像式運算法可改良定限程序的效率(例如，請參閱Shafait、Faisal、Daniel Keysers及Thomas M.Breuel，「Efficient implementation of local adaptive thresholding techniques using integral images」DRR 6815(2008)：681510)。下列文獻提供的是比較影像定限技術的廣泛調查：Sezgin M、Sankur B，「Survey over image thresholding techniques and quantitative performance evaluation」J.Electron.Imaging.0001；13(1)：146-168，此文獻的全部內容以引用方式併入本文中。
依據本揭露之一或多種技術，便箋增強模組89可將階層式適應性定限作法用於增強便箋之影像(例如，對應於實體便箋之數位便箋)。在某些實例中，數位便箋可連同使用不同類型書寫器具建立的前景內容，具有均勻的背景顏色。因此，數位便箋可符合達成良好二值化結果的必要條件。然而，為了將數位便箋二值化成前景及背景而直接應用適應性定限，通常可能無法產生期望的結果。舉例來說，如圖33所繪示，數位便箋804可為使用原始數位便箋802之適應性定限獲得二值化的實例結果。在圖33的實例中，裝置可將21×21個像素的視窗大小，用於將500×500個像素之影像大小適應性定限(即，原始數位便箋802為500個像素寬乘以500個像素高)。其他影像大小的視窗大小可從而調整比例。在某些實例中，視窗大小可線性調整比例。在某些實例中，視窗大小可非線性調整比例。
此特定視窗大小(即，500×500個像素之影像大小的21×21)可導致非常乾淨且低誤判(即誤預測為前景之背景)的背 景。然而，此特定視窗大小可能導致高誤判(誤預測為背景之前景)。在某些實例中，裝置可藉由增加用於適應性定限程序的視窗大小以減少高誤判的數目。例如，數位便箋806可為使用原始數位便箋802之適應性定限(其使用的視窗大小比用於產生數位便箋804之視窗大小還大)獲得二值化的實例性結果。
如數位便箋806中所示，得以完全提取前景物件。然而，數位便箋806亦包括遭錯誤提取成前景之多個假影。在此程序中，裝置可執行測定前景及背景之對比拉伸(stretch)運算。背景的亮度(HSV色空間中的V)可提高，且前景的亮度可降低。此運算可能使假影看起來更糟。為了進行補救，裝置可在適應性定限的多個比例上執行階層式搜尋。例如，裝置可依據圖34之技術，在適應性定限之多個比例上執行階層式搜尋。
圖34係一流程圖，其繪示依據本揭露之一或多種技術，用以識別對應於實體便箋之數位便箋之前景區域之裝置的實例性操作。如圖34所繪示，裝置可依據下列步驟，在適應性定限之多個比例上執行階層式搜尋：
步驟1：裝置可從本機比例s開始並以下列倍數比例(octave)，跨各種比例產生適應性定限遮罩：s/2、s/4、s/8等(810)。
步驟2：裝置可將本機比例s當作階層式搜尋的種源(seed)(812)。在某些實例中，無法在較低比例中，檢索本機比例中遺漏的前景物件。然而，對於單色前景物件，可將本機比例中獲得的輪廓，當成是在某些實例中，用於在較低比例中進行搜尋的種源。在此 步驟中，裝置可在獲得於本機比例之遮罩上，執行連接之元件提取(814)。
步驟3：對於各連接之元件，裝置都可提取定界框(816)。
步驟4：裝置可將圍繞定界框之背景像素取樣(818)。在某些實例中，裝置可將定界框寬度/高度的10%用於定義局部背景鄰域，其定義步驟818中所取樣的像素。在某些實例中，裝置僅可將原始遮罩中識別的像素當作背景像素(即，原始遮罩中對應於0的像素)，這是因為這些係屬於背景像素。
步驟5：裝置可運算平均局部背景顏色(即，使用來自步驟4的取樣)(820)。在某些實例中，藉由LAB色空間表示像素，並且裝置僅可將a及b元件用於運算平均局部背景顏色。在某些實例中，藉由替代色度色空間表示像素。
步驟6：裝置可運算目前連接之元件中前景像素之平均(822)。
步驟7：裝置可在目前連接之元件中拿取各背景像素，並且將a及b值與步驟5中運算之背景平均及步驟6中運算之前景平均作比較(824)。若此值比背景值更靠近前景值(826)，並且於s_current/2之比例在遮罩中此像素為前景像素(其中s_current為目前比例)(828)，則將目前像素指派予前景(830)。
步驟8：裝置可測定各連接之元件之遮罩的變更量。若此變更量大於特定臨限(例如：70%)(832)，裝置可用較低比例重複步驟3至7，直到此變更低於臨限為止(834)(836)。
本程序產生階層式已修改遮罩。對於圖33之數位便箋802，跨不同比例之遮罩變更的一實例係於圖35中繪示。如圖35所繪示，遮罩840可於第一比例(其可為本機比例)表示數位便箋802之遮罩，遮罩842可於第二比例表示數位便箋802之遮罩，遮罩844可於第三比例表示數位便箋802之遮罩，並且遮罩846可於第四比例表示數位便箋802之遮罩。
圖36繪示依據本揭露之一或多種技術處理之複數個數位便箋。如圖36所繪示，可將數位便箋850A及850B(合稱「數位便箋850」)處理成已增強數位便箋852A及852B(合稱「已增強數位便箋852」)。例如，裝置可識別各數位便箋850中的前景區域，並且將未含括於前景區域中的像素(即，含括於背景區域中的像素)設定成均勻背景像素顏色。在某些實例中，裝置可依據圖31至圖35之技術，識別前景區域。在某些實例中，裝置可依據圖25至圖27之技術，將未含括於已識別前景區域中的像素設定為均勻背景顏色。如圖36所示，裝置在執行此處理時，可藉由使背景更亮並使前景更暗，拉伸前景與背景像素之間的對比。
圖37係一流程圖，其繪示依據本揭露之一或多種技術，用以產生複數個數位便箋之裝置的實例性操作，各數位便箋分別對應於輸入影像所表示複數個實體便箋之一特定實體便箋。
依據本揭露之一或多種技術，一裝置(例如圖1及圖2之行動裝置15)可接收一輸入影像(902)。在某些實例中，該裝置之一或多個處理器可執行一影像處理引擎(例如，圖3之影像處理引擎28)，用以接收影像資料，該影像資料包含一包括複數個實體便箋之場景的一視覺表示，各實體便箋皆包括各別可辨識內容。例如，行動裝置15之處理器70可執行影像處理引擎82，以接收影像資料(例如，圖38之影像資料918)，該影像資料包含一包括複數個實體便箋之場景的一視覺表示，各實體便箋皆包括各別可辨識內容(例如，圖38之便箋920A至920C)。在某些實例中，影像資料918可為圖3之影像97之一影像之實例。在某些實例中，操作902可為圖25之操作702之一實例。
在任何情況中，裝置可執行按像素顏色分類(904)。例如，裝置可執行一或多種顏色分類演算法(例如，根據線性/非線性判別分析)，用以偵測並且區別輸入影像中的不同彩色區域。
裝置可執行形態處理(906)並且提取連接之元件(908)。例如，裝置可執行用以將未符合一或多個約束(例如，形狀、比例、尺寸等)之區域移除的形態處理。舉一實例，裝置可移除非矩形的區域。
在某些實例中，輸入影像所表示之各實體便箋皆可具有複數個不同彩色區域。例如，如圖38所繪示，各便箋920A至920C可分別包括第一彩色區域922A至922C(合稱「第一彩色區域922」或黃色區域)、以及第二彩色區域924A至924C(合稱「第二彩色區 域924」或藍色區域)。在某些實例中，輸入影像可包括一或多個未與任何便箋相關聯的區域。例如，如圖38所繪示，輸入影像918可包括未與任何便箋920相關聯的區域926。然而，如圖38所繪示，區域926可類似於第二彩色區域924中之一區域。
依據本揭露之一或多種技術，裝置可利用下列事實：便箋包括複數個用以改善準確度之不同彩色區域，可在此精確度下識別/辨識便箋。例如，裝置可執行顏色配對(用以例如使區域成對)(910)。舉一實例，裝置可基於各便箋皆包括一單一第一彩色區域及一單一第二彩色區域的假設，執行匈牙利演算法(Hungarian Algorithm)以實現顏色配對。例如，裝置在執行匈牙利演算法時，可驗證第一彩色區域(例如，圖38之第一彩色區域922)與第二彩色區域(例如，圖38之第二彩色區域924)之間的距離在第一/第二彩色區域與其他第一/第二彩色區域之間的所有可能距離中是否最短。在某些實例中，若該等距離互為最短，則裝置可將該等區域視為一對。此外，裝置可能未將離群值(例如圖38之區域926)賦予任一對。這可能是匈牙利演算法的自然結果。由於存在更靠近第一彩色區域之另一第二彩色區域，裝置可將最靠近離群值之第一彩色區域(即第一彩色區域922C)與離群值(例如，離群值926)配成一對。
若裝置達成顏色搭配，則裝置可從輸入影像提取數位便箋(912)。例如，裝置可提取各對區域之數位便箋。如圖38所繪示，裝置可提取便箋920中各便箋的數位便箋。
在某些實例中，裝置可在已提取數位便箋上執行旋轉及/或翻轉調整(914)。在某些實例中，裝置可根據將一對區域之特徵(例如，質心(centroid))結合之一條線，測定便箋之取向。例如，裝置可測定由這條線與Y軸形成之夾角，並且根據已測定夾角旋轉數位便箋以補償。如圖39之實例所繪示，裝置可測定將便箋920B之第一彩色區域922B之質心930與第二彩色區域924B之質心932結合之線936。裝置可測定由線936與Y軸938形成之夾角α 934。裝置可根據夾角α 934旋轉數位便箋920B。例如，若夾角α 934為20度，裝置可逆時針旋轉數位便箋920B20度。
圖40A及圖40B繪示便箋提取之額外實例。如圖40A所繪示，一裝置可從輸入影像942提取數位便箋944A至944E(合稱「數位便箋944」)。如數位便箋944所繪示，該裝置可執行旋轉及/或翻轉調整，用以補償如輸入影像942中所表示實體便箋之取向。同樣地，如圖40B所繪示，一裝置可從輸入影像948提取數位便箋950A至950F(合稱「數位便箋950」)。如數位便箋950所繪示，該裝置可執行旋轉及/或翻轉調整，用以補償如輸入影像942中所表示實體便箋之取向。
下列編號的實例可說明本揭露的一或多種態樣：
實例1：一種方法，其包含：藉由一裝置之一或多個處理器，接收基於影像資料所產生的複數個數位便箋中之一數位便箋，該影像資料包含一包括複數個實體便箋之一場景的一視覺表示，使得該複數個數位便箋之每一者分別對應於該複數個實體便箋中之一特定實體便 箋，其中該等實體便箋之每一者包括各別可辨識內容；藉由該一或多個處理器，接收使用者輸入，其指示該數位便箋之一或多種視覺特性之一修改；藉由該一或多個處理器並回應於該使用者輸入，編輯該數位便箋之該一或多種視覺特性；以及藉由該一或多個處理器並輸出包括該一或多種視覺特性之該數位便箋之一已修改版以用於顯示。
實例2：如實例1之方法，其中：接收該使用者輸入包含接收指示該數位便箋之一額外內容的使用者輸入，編輯該數位便箋之該一或多種視覺特性包含建立一包括該額外內容之層物件，以及輸出該數位便箋之該已修改之更新版包含輸出該數位便箋之該已修改版，使得包括該額外內容之該層物件係顯示於對應於該數位便箋所對應該實體便箋之該各別可辨識內容的內容之上。
實例3：如實例1至2中任一組合之方法，其中該額外內容為一第一額外內容，該層物件為複數個層物件之一第一層物件，並且該數位便箋之該已修改版為該數位便箋之一第一已修改版，該方法進一步包含：回應於接收指示第二額外內容之使用者輸入：建立包括該第二額外內容之該複數個層物件之一第二層；以及輸出該數位便箋之一第二已修改版以用於顯示，使得包括該第二額外內容之該第二層物件係顯示於包括該第一額外內容之該第一層物件之上。
實例4：如實例1至3中任一組合之方法，其進一步包含：回應於接收用以將該第二層物件從該數位便箋之該已更新版移除之使用者輸入，輸出該數位便箋之一第三已修改版以用於顯示，使得包括於該第二層物件中之該第二額外內容未予以顯示。
實例5：如實例1至4中任一組合之方法，其中接收指示該額外內容之該使用者輸入包含接收下列一或多者：一連串鍵入字元、以及一筆畫手勢。
實例6：如實例1至5中任一組合之方法，其中：接收該使用者輸入包含接收指示一已更新背景顏色之使用者輸入，編輯該數位便箋之該一或多種視覺特性包含將該數位便箋之一背景顏色設定成該已更新背景顏色。
實例7：如實例1至6中任一組合之方法，其進一步包含：針對該數位便箋，識別一前景區域，其包括對應於該數位便箋所對應該實體便箋之可辨識內容的內容，其中該前景區域之該內容之至少一部分與一前景顏色相關聯；以及修改該前景顏色。
實例8：如實例1至7中任一組合之方法，其中：接收該使用者輸入包含接收指示一已更新前景顏色之使用者輸入，以及修改該前景顏色包含回應於接收指示該已更新前景顏色之使用者輸入，將該前景顏色設定成該已更新前景顏色。
實例9：如實例1至8中任一組合之方法，其中修改該前景顏色包含依據該已更新背景顏色自動修改該前景顏色。
實例10：如實例1至9中任一組合之方法，其中在修改該前景顏色之前，該前景區域中所包括之複數個像素具有目前前景像素顏色，並且其中修改該前景顏色包含至少藉由下列步驟修改該前景區域中所包括之該複數個像素之顏色：藉由該一或多個處理器並對該複數個像素中包括於該前景區域中之各像素，選擇一已更新前景像 素顏色，使得該已更新前景像素顏色與該已更新背景顏色之間之一對比率大於該目前前景像素顏色與該已更新背景顏色之間之一對比率，以及將該複數個像素之每一個各自像素都設定成已選擇的各自已更新前景像素顏色。
實例11：如實例1至10中任一組合之方法，其進一步包含：繼識別該數位便箋之該前景區域之後，至少藉由將該數位便箋中未包括於該前景區域中之像素識別為一背景區域，以識別該數位便箋之該背景區域。
實例12：如實例1至10中任一組合之方法，其進一步包含：至少藉由將該數位便箋中未包括於該前景區域中之像素識別為一背景區域，以識別該數位便箋之該背景區域，其中識別該前景區域係繼識別該背景區域之後才執行，並且其中識別一特定數位便箋之該前景區域包含：將該特定數位便箋中未包括於該背景區域中之像素識別為該前景區域。
實例13：如實例1至12中任一組合之方法，其中接收該複數個數位便箋之該數位便箋包含：藉由該一或多個處理器並且從該裝置之一相機，接收該影像資料，該影像資料包含包括該複數個實體便箋之該場景之該視覺表示；以及藉由該一或多個處理器並且基於該影像資料，產生該複數個數位便箋，各數位便箋分別對應於該複數個實體便箋之該特定實體便箋。
實例14：如實例1至13中任一組合之方法，其進一步包含：藉由該一或多個處理器，至少藉由下列步驟增強該複數個數位 便箋之該數位便箋：針對該數位便箋識別一前景區域，該前景區域包括對應於該數位便箋所對應該實體便箋之該各別可辨識內容的內容；識別該數位便箋之一背景區域；以及將來自該特定數位便箋之該背景區域之像素值設定成一均勻背景像素值。
實例15：如實例1至14中任一組合之方法，其中該數位便箋所對應該實體便箋包括一第一彩色區域及一第二彩色區域，該方法進一步包含：針對該數位便箋，識別該第一彩色區域及一第二彩色區域；測定一夾角，其係由該數位便箋之一軸及一條線形成，該條線將該第一彩色區域之一特徵與該第二彩色區域之一特徵連接；以及根據該已測定夾角，將該數位便箋旋轉。
實例16：一種運算裝置，其包含：一記憶體，其經組態以儲存數位便箋；以及一或多個處理器，其經組態以：接收基於影像資料所產生的複數個數位便箋中之一數位便箋，該影像資料包含一包括複數個實體便箋之場景的一視覺表示，使得該複數個數位便箋之每一者分別對應於該複數個實體便箋中之一特定實體便箋，其中該實體便箋之每一者包括各別可辨識內容；接收使用者輸入，其指示該數位便箋之一或多種視覺特性之一修改；回應於該使用者輸入，編輯該數位便箋之該一或多種視覺特性；以及輸出包括該一或多種視覺特性之該數位便箋之一已修改版以用於顯示。
實例17：如實例16之運算裝置，其中該一或多個處理器係經組態以執行如實例1至15中任一組合之方法。
實例18：一種運算系統，其包含：用以接收基於影像資料所產生的複數個數位便箋中之一數位便箋之構件，該影像資料包含一包括複數個實體便箋之一場景的一視覺表示，使得該複數個數位便箋之每一者分別對應於該複數個實體便箋中之一特定實體便箋，其中該等實體便箋之每一者包括各別可辨識內容；用以接收使用者輸入之構件，該使用者輸入指示該數位便箋之一或多種視覺特性之一修改；用以回應於該使用者輸入而編輯該數位便箋之該一或多種視覺特性之構件；以及用以輸出包括該一或多種視覺特性之該數位便箋之一已修改版以用於顯示之構件。
實例19：如實例18之運算系統，其進一步包含用以執行如實例1至15中任一組合之方法的構件。
實例20：一種儲存指令之電腦可讀取儲存媒體，當執行該指令時，使一裝置中之一或多個處理器以：接收基於影像資料所產生的複數個數位便箋中之一數位便箋，該影像資料包含一包括複數個實體便箋之場景的一視覺表示，使得該複數個數位便箋之每一者分別對應於該複數個實體便箋中之一特定實體便箋，其中該實體便箋之每一者包括各別可辨識內容；接收使用者輸入，其指示該數位便箋之一或多種視覺特性之一修改；回應於該使用者輸入，編輯該數位便箋之該一或多種視覺特性；以及輸出包括該一或多種視覺特性之該數位便箋之一已修改版以用於顯示。
實例21：如實例20之電腦可讀取儲存媒體，其進一步儲存指令，該指令使該一或多個處理器執行實例1至15中任一組合之方法。
實例22：一種方法，其包含：藉由運算裝置接收具有複數個實體便箋之一環境之一輸入影像；利用該運算裝置處理該輸入影像，用以識別該輸入影像中的該複數個實體便箋；藉由該運算裝置，產生複數個數位便箋，其對應於該輸入影像中識別的該複數個便箋，其中該複數個數位便箋包括由該輸入影像中的該複數個便箋所表示的資訊；在該運算裝置之一圖形使用者介面之第一部分上，顯示與取代該已識別複數個便箋之該複數個數位便箋覆疊的該輸入影像；以及藉由該運算裝置，在該圖形使用者介面之一第二部分上，顯示一組該複數個數位便箋之一或多者，其中該第二部分中顯示的該組數位便箋中的該等數位便箋之每一者，皆對應於在該第一部分中顯示且在該輸入影像上覆疊之複數個數位便箋之一各自一者。
實例23：如實例21之方法，其進一步包含：藉由該運算裝置，接收一選擇用於將該圖形使用者介面之該第一部分中顯示的該複數個數位便箋之至少一者刪除的使用者輸入；以及藉由該運算裝置並且從該圖形使用者介面之該第二部分中顯示的該組數位便箋，移除與該圖形使用者介面之該第一部分經選擇供刪除之該等數位便箋相對應的數位便箋。
實例24：如實例22至23中任一組合之方法，其中來自該第一部分之該複數個數位便箋大於該第二部分中的該複數個數位 便箋，該方法進一步包含：藉由該運算裝置，接收一使用者輸入，該使用者輸入從沒有在該第二部分中顯示之該第一部分選擇該等數位便箋之至少一者；藉由該運算裝置，將選自該第一部分之數位便箋，新增至該第二部分上顯示的該組數位便箋。
實例25：如實例22至24中任一組合之方法，其進一步包含：藉由該運算裝置，接收一選擇該複數個數位便箋子集之使用者輸入；以及藉由該運算裝置，將該已選擇數位便箋子集以形成一或多個群組。
實例26：如實例22至25中任一組合之方法，其中該一或多個群組係據此組織成一由該使用者輸入所定義的群組階層。
實例27：一種電腦系統，其經組態以執行如實例22至26中任一項之方法。
實例28：一種包含指令之非暫時性電腦可讀取媒體，該指令係用於使一可程式化處理器執行如實例22至26中任一項之方法。
實例29：一種運算裝置，其包含：一處理器；一影像收集模組，其可藉由該處理器執行，並且經組態以接收具有複數個實體便箋之一環境之一輸入影像；一影像處理引擎，其可由該處理器執行，並且經組態以識別該輸入影像中之該複數個實體便箋並產生複數個數位便箋，該複數個數位便箋對應於該輸入影像中所識別之該複數個便箋，其中該複數個數位便箋包括該輸入影像中之該複數個便箋所表示之資訊；一圖形使用者介面，其經組態以顯示其上覆疊有取代該 圖形使用者介面之一第一部分上所識別之該複數個便箋之該複數個數位便箋的該輸入影像，以及用以在該圖形使用者介面之一第二部分上顯示該等數位便箋之一或多者構成之一組。
實例30：如實例29之裝置，其中該影像收集模組包括一經組態以擷取該輸入影像之影像擷取裝置。
實例31：如實例29至30中任一組合之裝置，其中該影像收集模組包括一經組態以接收該輸入影像之通訊介面。
實例32：如實例29至31中任一組合之裝置，其中該通訊介面包括一經組態以接收該輸入影像之無線通訊裝置。
實例33：如實例29至32中任一組合之裝置，其中該通訊介面包括一經組態以接收該輸入影像之有線通訊裝置。
實例34：如實例29至33中任一組合之裝置，其中該使用者介面係進一步經組態以：接收一使用者輸入，該使用者輸入選取該圖形使用者介面之該第一部分中所顯示之該複數個數位便箋中的至少一者以供刪除；以及從該圖形使用者介面之該第二部分中所顯示之該組數位便箋中，移除該等數位便箋中任何對應於該圖形使用者介面之該第一部分中經選取以供刪除之該等數位便箋。
實例35：如實例29至34中任一組合之裝置，其中來自該第一部分之該複數個數位便箋大於該第二部分中的該複數個數位便箋，該影像處理引擎係進一步經組態以：接收一選自不在該第二部分中的該第一部分之該複數個數位便箋之至少一者之使用者輸入；以及將選自該第一部分之複數個數位便箋新增至該第二部分。
實例36：如實例29至35中任一組合之裝置，其中該影像處理引擎係進一步經組態以：接收一在該第一部分與該第二部分之間選擇該複數個數位便箋之至少一者之使用者輸入；以及將該第一部分與該第二部分之間選擇的複數個數位便箋分組以形成一或多個群組。
實例37：如實例29至36中任一組合之裝置，其中該一或多個群組係據此組織成一由該使用者輸入所定義的群組階層。
實例38：如實例29至37中任一組合之裝置，其中該影像處理引擎係進一步經組態以搭配該第一部分上呈現的該複數個數位便箋，顯示該一或多個群組之指示。
實例39：如實例29至38中任一組合之裝置，其中該影像處理引擎係進一步經組態以搭配該第二部分上呈現的該複數個數位便箋，顯示該一或多個群組之指示。
實例40：一種方法，其包含：藉由一運算裝置，接收一輸入影像；藉由該運算裝置，識別該輸入影像中的複數個便箋；藉由該運算裝置，編輯來自該輸入影像中識別的該複數個便箋之一或多者之背景顏色；藉由該運算裝置，產生對應於該輸入影像中識別的該複數個便箋之複數個數位便箋，該複數個數位便箋將該已編輯背景顏色併入；藉由該運算裝置，將該複數個數位便箋儲存至一數位資料儲存裝置供一使用者檢索，其中該複數個數位便箋包括由該輸入影像中的該複數個便箋所表示的資訊。
實例41：如實例40之方法，其中該運算裝置基於該輸入影像中該複數個便箋之周邊所定義的形狀，將一形狀偵測模組用於識別該複數個便箋之至少一者。
實例42：如實例40至41中任一組合之方法，其中識別該輸入影像中的該複數個便箋，包括依據與該複數個便箋之背景顏色相關聯之色空間識別該複數個便箋。
實例43：如實例40至42中任一組合之方法，其中該運算裝置將一圖形偵測模組用於識別該複數個便箋之至少一者，其中該圖形偵測模組係由圖形辨識演算法構成，該圖形辨識演算法包括一由下列所組成之群組之至少一者：一支援向量機演算法；一交互關聯演算法；以及一模板匹配演算法。
實例44：如實例40至43中任一組合之方法，其中產生該複數個數位便箋進一步包含藉由該運算裝置，校正該輸入影像中便箋之陰影、照明、旋轉、以及縮放。
實例45：如實例40至44中任一組合之方法，其中該輸入影像包括一由下列所組成之群組之至少一者：一數位影像；一數位視訊；以及一連續數位掃描。
實例46：如實例40至45中任一組合之方法，其中該輸入影像中的該複數個便箋包括一由下列所組成之群組之至少一者：一7.62×7.62公分(cm)便箋；一66.04×99.06cm海報；一三角形金屬標誌；一貼紙；以及一8.5×11之紙張。
實例47：如實例39至45中任一組合之方法，其中產生該複數個數位便箋包括對於該複數個數位便箋之每一者，在該數位便箋中併入該輸入影像中對應便箋之視覺資訊。
實例48：一種電腦系統，其經組態以執行如實例40至47中任一組合之方法。
實例49：一種包含指令之非暫時性電腦可讀取媒體，該指令係用於使一可程式化處理器執行如實例40至47中任一組合之方法。
實例50：一種運算裝置，其包含：一影像收集模組，其經組態以接收一輸入影像；一影像處理引擎，其經組態以識別藉由該影像收集模組接收的該輸入影像中的複數個便箋、以及產生對應於該輸入影像中識別的該複數個便箋之複數個數位便箋，其中該複數個數位便箋包括由該輸入影像中的該複數個便箋所表示的資訊；以及一數位資料儲存裝置，其經組態以儲存藉由該影像處理模組產生的該複數個數位便箋以供使用者檢索。
實例51：如實例50之裝置，其中該影像收集模組包括一經組態以擷取該輸入影像之影像擷取裝置。
實例52：如實例50至51中任一組合之裝置，其中該影像收集模組包括一經組態以接收該輸入影像之通訊介面。
實例53：如實例50至52中任一組合之裝置，其中該通訊介面包括一經組態以接收該輸入影像之無線通訊裝置。
實例54：如實例50至53中任一組合之裝置，其中該通訊介面包括一經組態以接收該輸入影像之有線通訊裝置。
實例55：如實例50至54中任一組合之裝置，其中該數位資料儲存裝置係經組態以儲存該輸入影像。
實例56：如實例50至55中任一組合之裝置，其中該影像處理引擎包括一形狀偵測模組，其經組態以基於該輸入影像中該複數個便箋之周邊所定義的形狀，識別該複數個便箋之至少一者。
實例57：如實例50至56中任一組合之裝置，其中該影像處理引擎係進一步經組態以識別該輸入影像中的該複數個便箋，該輸入影像包括依據與該複數個便箋之背景顏色相關聯之色空間，識別該複數個便箋。
實例58：如實例50至57中任一組合之裝置，其中該影像處理引擎包括一圖形偵測模組，其經組態以識別該複數個便箋之至少一者，其中該圖形偵測模組係由圖形辨識演算法構成，該圖形辨識演算法包括一由下列所組成之群組之至少一者：一支援向量機演算法；一交互關聯演算法；以及一模板匹配演算法。
實例59：如實例50至58中任一組合之裝置，其中該影像處理引擎係進一步經組態以校正該輸入影像中便箋之陰影、照明、旋轉、以及縮放。
實例60：如實例50至59中任一組合之裝置，其中該輸入影像包括一由下列所組成之群組之至少一者：一數位影像；一數位視訊；以及一連續數位掃描。
實例61：如實例50至60中任一組合之裝置，其中該輸入影像中的該複數個便箋包括一由下列所組成之群組之至少一者：一7.62×7.62公分(cm)便箋；一66.04×99.06cm海報；一三角形金屬標誌；一貼紙；以及一8.5×11之紙張。
實例62：如實例50至61中任一組合之裝置，其中該影像處理引擎係進一步經組態以對於該複數個數位便箋之每一者，在該數位便箋中併入該輸入影像中對應便箋之視覺資訊。
本揭露中所述的技術至少部分可實施成硬體、軟體、韌體、或其任何組合。舉例來說，所述技術之各種態樣(包括所揭示之行動裝置15、16、雲端12、及/或電腦系統14)可予以在一或多個處理器內實施，包括一或多個微處理器、數位信號處理器(DSP)、特定應用積體電路(ASIC)、場可程式化閘極陣列(FPGA)、或任何其他等效之積體或離散邏輯電路系統、以及任何此類元件之組合。
可在相同裝置內或在不同裝置內實施此類硬體、軟體、以及韌體以支持本揭露中所述的各種技術。此外，可將任何所述單元、模組、或元件一起或分開實施成離散但可交互運作之邏輯裝置。將不同特徵描述成模組或單元係意欲強調不同功能態樣，且不必然隱喻必須藉由不同硬體、韌體、或軟體元件才能實現此類模組或單元。反而，與一或多個模組或單元相關聯之功能可藉由不同硬體、韌體、或軟體元件予以執行，或予以整合於共同或不同的硬體、韌體、或軟體元件內。
亦可將本揭露中所述的技術體現或編碼成含有指令之電腦可讀取媒體，例如暫時性或非暫時性電腦可讀取儲存媒體。嵌入或編碼於電腦可讀取媒體(包括電腦可讀取儲存媒體)之指令可使一或多個可程式化處理器、或其他處理器(如控制系統中包括的一或多個處理器)實施本文中所述技術之一或多者，例如在藉由一或多個處理器執行電腦可讀取媒體中包括或編碼之指令時。非暫時性電腦可讀取儲存媒體可包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可擦拭可程式化唯讀記憶體(EPROM)、電子式可擦拭可程式化唯讀記憶體(EEPROM)、快閃記憶體、硬碟、光碟唯讀記憶體(CD-ROM)、軟碟、磁帶卡、磁性媒體、光學媒體、或其他電腦可讀取媒體。在某些實例中，製造物件可包含一或多個電腦可讀取儲存媒體。
已描述本揭露之各種實例。這些與其他實例都在下列申請專利範圍的範疇內。

Claims (29)

  1. 一種用於建立及操作(manipulating)軟體便箋之方法，其包含：藉由一裝置之一或多個處理器，接收包含一場景的一視覺表示之影像資料，該視覺表示包括複數個實體便箋，該等實體便箋之每一者包含具有可辨識(recognizable)內容於其上之一單獨(separate)實體物件；藉由該一或多個處理器並且從該影像資料，擷取該複數個實體便箋之一特定實體便箋之該可辨識內容；藉由該一或多個處理器，建立表示該複數個實體便箋之該特定實體便箋之一數位便箋，其中該複數個實體便箋之該特定實體便箋包括一第一彩色區域及一第二彩色區域；藉由該一或多個處理器，將該已擷取可辨識內容與表示該複數個實體便箋之該特定實體便箋之該數位便箋相關聯；針對該數位便箋，識別該第一彩色區域及該第二彩色區域；判定(determining)由該數位便箋之一軸與一條線所形成之一夾角，該條線連接該第一彩色區域之一特徵與該第二彩色區域之一特徵；基於該經判定夾角，旋轉該數位便箋；藉由該一或多個處理器，接收使用者輸入，該使用者輸入指示該數位便箋之一或多種視覺特性(characteristics)之一修改；藉由該一或多個處理器並回應於該使用者輸入，編輯該數位便箋之該一或多種視覺特性；以及藉由該一或多個處理器並用於顯示，輸出包括該一或多種視覺特性之該數位便箋之一已修改(modified)版。
  2. 如請求項1之方法，其中：接收該使用者輸入包含接收指示該數位便箋之額外內容的使用者輸入，編輯該數位便箋之該一或多種視覺特性包含建立一包括該額外內容之層物件，以及輸出該數位便箋之該已修改之更新版包含輸出該數位便箋之該已修改版，使得包括該額外內容之該層物件顯示於對應於該數位便箋所對應的該實體便箋之該各別可辨識內容的內容之上。
  3. 如請求項2之方法，其中該額外內容為第一額外內容，該層物件為複數個層物件之一第一層物件，並且該數位便箋之該已修改版為該數位便箋之一第一已修改版，該方法進一步包含：回應於接收指示第二額外內容之使用者輸入：建立包括該第二額外內容之該複數個層物件之一第二層；以及輸出該數位便箋之一第二已修改版以用於顯示，使得包括該第二額外內容之該第二層物件顯示於包括該第一額外內容之該第一層物件之上。
  4. 如請求項3之方法，其進一步包含：回應於接收用以將該第二層物件從該數位便箋之該已更新版移除之使用者輸入，輸出該數位便箋之一第三已修改版以用於顯示，使得包括於該第二層物件中之該第二額外內容未顯示。
  5. 如請求項2之方法，其中接收指示該額外內容之該使用者輸入包含接收下列一或多者：一連串鍵入字元，以及一筆畫(stoke)手勢。
  6. 如請求項2之方法，其中：接收該使用者輸入進一步包含接收指示一已更新背景顏色之使用者輸入，編輯該數位便箋之該一或多種視覺特性進一步包含將該數位便箋之一背景顏色設定成該已更新背景顏色。
  7. 如請求項1之方法，其中：接收該使用者輸入包含接收指示一已更新背景顏色之使用者輸入，編輯該數位便箋之該一或多種視覺特性包含將該數位便箋之一背景顏色設定成該已更新背景顏色。
  8. 如請求項7之方法，其進一步包含：針對該數位便箋，識別一前景區域，該前景(foregound)區域包括對應於該數位便箋所對應的該實體便箋之可辨識內容的內容，其中該前景區域之該內容之至少一部分與一前景顏色相關聯；以及修改(modifying)該前景顏色。
  9. 如請求項8之方法，其中：接收該使用者輸入包含接收指示一已更新前景顏色之使用者輸入；以及修改該前景顏色包含回應於接收指示該已更新前景顏色之使用者輸入，將該前景顏色設定成該已更新前景顏色。
  10. 如請求項8之方法，其中修改該前景顏色包含依據該已更新背景顏色自動修改該前景顏色。
  11. 如請求項10之方法，其中在修改該前景顏色之前，該前景區域中所包括之複數個像素具有目前前景像素顏色，且其中修改該前景顏色包含至少藉由下列步驟而修改該前景區域中所包括之該複數個像素之顏色：藉由該一或多個處理器並針對該複數個像素中包括於該前景區域中之各像素，選擇一已更新前景像素顏色，使得該已更新前景像素顏色與該已更新背景顏色之間之一對比率大於該目前前景像素顏色與該已更新背景顏色之間之一對比率，以及將該複數個像素之每一個各別像素設定成該已選擇的各別已更新前景像素顏色。
  12. 如請求項8之方法，其進一步包含：繼識別該數位便箋之該前景區域之後，至少藉由將該數位便箋中未包括於該前景區域中之像素識別為一背景區域，而識別該數位便箋之該背景區域。
  13. 如請求項8之方法，其進一步包含：至少藉由將該數位便箋中未包括於該前景區域中之像素識別為一背景區域，而識別該數位便箋之該背景區域，其中識別該前景區域係繼識別該背景區域之後才執行，且其中識別特定數位便箋之該前景區域包含：將該特定數位便箋中未包括於該背景區域中之像素識別為該前景區域。
  14. 如請求項1之方法，其中接收該影像資料包含：藉由該一或多個處理器並且從該裝置之一相機，接收該影像資料。
  15. 如請求項1之方法，其進一步包含：藉由該一或多個處理器，至少藉由下列步驟而增強該複數個數位便箋中之該數位便箋：針對該數位便箋，識別一前景區域，該前景區域包括對應於該數位便箋所對應的該實體便箋之該各別可辨識內容的內容；識別該數位便箋之一背景區域；以及將來自該特定數位便箋之該背景區域之像素值設定成一均勻背景像素值。
  16. 一種運算裝置，其包含：一記憶體，其經組態以儲存數位便箋；以及一或多個處理器，其經組態用以：接收包含一場景的一視覺表示之影像資料，該視覺表示包括複數個實體便箋，該等實體便箋之每一者包含具有可辨識內容於其上之一單獨實體物件；從該影像資料擷取該複數個實體便箋之一特定實體便箋之該可辨識內容；建立表示該複數個實體便箋之該特定實體便箋之一數位便箋，其中該複數個實體便箋之該特定實體便箋包括一第一彩色區域及一第二彩色區域；將該已擷取可辨識內容與表示該複數個實體便箋之該特定實體便箋之該數位便箋相關聯；針對該數位便箋，識別該第一彩色區域及該第二彩色區域；判定由該數位便箋之一軸與一條線所形成之一夾角，該條線連接該第一彩色區域之一特徵與該第二彩色區域之一特徵；基於該已判定夾角，旋轉該數位便箋；接收使用者輸入，該使用者輸入指示該數位便箋之一或多種視覺特性之一修改；回應於該使用者輸入，編輯該數位便箋之該一或多種視覺特性；以及為用於顯示，輸出包括該一或多種視覺特性之該數位便箋之一已修改版。
  17. 如請求項16之運算裝置，其中該一或多個處理器係經組態，用以：至少藉由接收指示該數位便箋之額外內容的使用者輸入，而接收該使用者輸入，至少藉由建立一包括該額外內容之層物件，而編輯該數位便箋之該一或多種視覺特性，以及至少藉由輸出該數位便箋之該已修改版，使得包括該額外內容之該層物件係顯示於對應於該數位便箋所對應的該實體便箋之該各別可辨識內容的內容之上，而輸出該數位便箋之該已修改之更新版。
  18. 如請求項17之運算裝置，其中：該額外內容為第一額外內容，該層物件為複數個層物件之一第一層物件，該數位便箋之該已修改版為該數位便箋之一第一已修改版，以及回應於接收指示第二額外內容的使用者輸入，該一或多個處理器係經組態以：建立包括該第二額外內容之該複數個層物件之一第二層；以及輸出該數位便箋之一第二已修改版以用於顯示，使得包括該第二額外內容之該第二層物件係顯示於包括該第一額外內容之該第一層物件之上。
  19. 如請求項17之運算裝置，其中該一或多個處理器係經組態以至少藉由接收下列一或多者而接收指示該額外內容之該使用者輸入：一連串鍵入字元，以及一筆畫手勢。
  20. 如請求項17之運算裝置，其中該一或多個處理器係經組態以：至少藉由接收指示一已更新背景顏色之使用者輸入，而接收該使用者輸入，至少藉由將該數位便箋之一背景顏色設定成該已更新背景顏色，而編輯該數位便箋之該一或多種視覺特性。
  21. 如請求項16之運算裝置，其中該一或多個處理器係經組態以：至少藉由接收指示一已更新背景顏色之使用者輸入，而接收該使用者輸入，至少藉由將該數位便箋之一背景顏色設定成該已更新背景顏色，而編輯該數位便箋之該一或多種視覺特性。
  22. 如請求項21之運算裝置，其中該一或多個處理器係經組態以：針對該數位便箋，識別一前景區域，該前景區域包括對應於該數位便箋所對應的該實體便箋之可辨識內容的內容，其中該前景區域之該內容之至少一部分與一前景顏色相關聯；以及修改該前景顏色。
  23. 如請求項22之運算裝置，其中該一或多個處理器係經組態以：至少藉由接收指示一已更新前景顏色之使用者輸入，而接收該使用者輸入，以及至少藉由回應於接收指示該已更新前景顏色之使用者輸入將該前景顏色設定成該已更新前景顏色，而修改該前景顏色。
  24. 如請求項22之運算裝置，其中該一或多個處理器係經組態以至少藉由依據該已更新背景顏色自動修改該前景顏色而修改該前景顏色。
  25. 如請求項24之運算裝置，其中在修改該前景顏色之前，該前景區域中所包括的複數個像素具有目前前景像素顏色，且其中該一或多個處理器係經組態以至少藉由下列步驟而修改該前景顏色：針對該複數個像素中包括於該前景區域中之各像素，選擇一已更新前景像素顏色，使得該已更新前景像素顏色與該已更新背景顏色之間之一對比率大於該目前前景像素顏色與該已更新背景顏色之間之一對比率，以及將該複數個像素之每一個各別像素都設定成該已選擇的各別已更新前景像素顏色。
  26. 如請求項16之運算裝置，其中該一或多個處理器係經組態以至少藉由下列步驟而接收該影像資料：從該裝置之一相機接收該影像資料。
  27. 如請求項16之運算裝置，其中該一或多個處理器係經組態以：至少藉由下列步驟而增強該複數個數位便箋中之該數位便箋：針對該數位便箋，識別一前景區域，該前景區域包括對應於該數位便箋所對應的該實體便箋之該各別可辨識內容的內容；識別該數位便箋之一背景區域；以及將來自該特定數位便箋之該背景區域之像素值設定成一均勻背景像素值。
  28. 一種運算系統，其包含：用以接收包含一場景的一視覺表示之影像資料的構件，該視覺表示包括複數個實體便箋，該等實體便箋之每一者包含具有可辨識內容於其上之一單獨實體物件；用以從該影像資料擷取該複數個實體便箋之一特定實體便箋之該可辨識內容的構件；用以建立表示該複數個實體便箋之該特定實體便箋之一數位便箋的構件，其中該複數個實體便箋之該特定實體便箋包括一第一彩色區域及一第二彩色區域；用以將該已擷取可辨識內容與表示該複數個實體便箋之該特定實體便箋之該數位便箋相關聯的構件；用以針對該數位便箋，識別該第一彩色區域及該第二彩色區域的構件；用以判定由該數位便箋之一軸與一條線所形成之一夾角的構件，該條線連接該第一彩色區域之一特徵與該第二彩色區域之一特徵；用以基於該已判定夾角，旋轉該數位便箋的構件；用以接收使用者輸入之構件，該使用者輸入指示該數位便箋之一或多種視覺特性之一修改；用以回應於該使用者輸入而編輯該數位便箋之該一或多種視覺特性之構件；以及用以輸出包括該一或多種視覺特性之該數位便箋之一已修改版以用於顯示之構件。
  29. 一種儲存指令之非暫時性電腦可讀取儲存媒體，該等指令當執行時使一裝置中之一或多個處理器：接收包含一場景的一視覺表示之影像資料，該視覺表示包括該複數個實體便箋，該等實體便箋之每一者包含具有可辨識內容於其上之一單獨實體物件；從該影像資料擷取該複數個實體便箋之一特定實體便箋之該可辨識內容；建立表示該複數個實體便箋之該特定實體便箋之一數位便箋，其中該複數個實體便箋之該特定實體便箋包括一第一彩色區域及一第二彩色區域；將該已擷取可辨識內容與表示該複數個實體便箋之該特定實體便箋之該數位便箋相關聯；針對該數位便箋，識別該第一彩色區域及該第二彩色區域；判定由該數位便箋之一軸與一條線所形成之一夾角，該條線連接該第一彩色區域之一特徵與該第二彩色區域之一特徵；基於該已判定夾角，旋轉該數位便箋；接收使用者輸入，該使用者輸入指示該數位便箋之一或多種視覺特性之一修改；回應於該使用者輸入，編輯該數位便箋之該一或多種視覺特性；以及輸出包括該一或多種視覺特性之該數位便箋之一已修改版以用於顯示。
TW103135785A 2013-10-16 2014-10-15 用於建立及操作軟體便箋之方法、運算裝置及系統、以及非暫時性電腦可讀取儲存媒體 TWI658400B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361891442P 2013-10-16 2013-10-16
US61/891,442 2013-10-16

Publications (2)

Publication Number Publication Date
TW201531921A TW201531921A (zh) 2015-08-16
TWI658400B true TWI658400B (zh) 2019-05-01

Family

ID=52828639

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108110050A TWI691854B (zh) 2013-10-16 2014-10-15 用於建立及操作軟體便箋之方法及運算裝置
TW103135785A TWI658400B (zh) 2013-10-16 2014-10-15 用於建立及操作軟體便箋之方法、運算裝置及系統、以及非暫時性電腦可讀取儲存媒體

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108110050A TWI691854B (zh) 2013-10-16 2014-10-15 用於建立及操作軟體便箋之方法及運算裝置

Country Status (3)

Country Link
EP (2) EP3058515B1 (zh)
TW (2) TWI691854B (zh)
WO (1) WO2015057802A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI601022B (zh) * 2016-02-01 2017-10-01 南臺科技大學 得獎記錄之雲端管理暨分析系統
TWI634872B (zh) * 2017-03-29 2018-09-11 佳世達科技股份有限公司 超音波影像之品質改善方法
CN109669710B (zh) * 2018-11-30 2022-02-01 维沃移动通信有限公司 便签处理方法及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090307607A1 (en) * 2008-06-10 2009-12-10 Microsoft Corporation Digital Notes
US20110293179A1 (en) * 2010-05-31 2011-12-01 Mert Dikmen Systems and methods for illumination correction of an image
US20130022330A1 (en) * 2011-07-18 2013-01-24 Fuji Xerox Co., Ltd. Systems and methods of capturing and organizing annotated content on a mobile device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583946A (en) * 1993-09-30 1996-12-10 Apple Computer, Inc. Method and apparatus for recognizing gestures on a computer system
WO2004107257A1 (ja) * 2003-05-30 2004-12-09 Fujitsu Limited 帳票処理プログラム、方法及び装置
US8264499B1 (en) * 2009-06-02 2012-09-11 Sprint Communications Company L.P. Enhancing viewability of information presented on a mobile device
EP2981931B1 (en) * 2013-04-02 2021-03-03 3M Innovative Properties Company Systems and methods for managing notes
CN105144198B (zh) * 2013-04-02 2021-09-14 3M创新有限公司 用于便笺识别的系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090307607A1 (en) * 2008-06-10 2009-12-10 Microsoft Corporation Digital Notes
US20110293179A1 (en) * 2010-05-31 2011-12-01 Mert Dikmen Systems and methods for illumination correction of an image
US20130022330A1 (en) * 2011-07-18 2013-01-24 Fuji Xerox Co., Ltd. Systems and methods of capturing and organizing annotated content on a mobile device

Also Published As

Publication number Publication date
EP3058515B1 (en) 2024-01-31
TW201923623A (zh) 2019-06-16
TW201531921A (zh) 2015-08-16
EP4336332A2 (en) 2024-03-13
EP3058515A4 (en) 2017-11-15
EP3058515A1 (en) 2016-08-24
TWI691854B (zh) 2020-04-21
EP4336332A3 (en) 2024-04-03
WO2015057802A1 (en) 2015-04-23

Similar Documents

Publication Publication Date Title
US10325389B2 (en) Editing digital notes representing physical notes
TWI638273B (zh) 用於重疊實體便箋之便箋辨識
US10698560B2 (en) Organizing digital notes on a user interface
TWI653571B (zh) 用於處理數位便箋之方法、電腦系統、非暫時性電腦可讀取媒體及計算裝置
US9600718B2 (en) Note recognition and association based on grouping indicators
US9292186B2 (en) Note capture and recognition with manual assist
US20150220800A1 (en) Note capture, recognition, and management with hints on a user interface
TWI658400B (zh) 用於建立及操作軟體便箋之方法、運算裝置及系統、以及非暫時性電腦可讀取儲存媒體

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees