TWI643134B - 建立並操作表示實體便箋的軟體便箋之方法、電腦系統、非暫時性電腦可讀取媒體及運算裝置 - Google Patents

建立並操作表示實體便箋的軟體便箋之方法、電腦系統、非暫時性電腦可讀取媒體及運算裝置 Download PDF

Info

Publication number
TWI643134B
TWI643134B TW103135732A TW103135732A TWI643134B TW I643134 B TWI643134 B TW I643134B TW 103135732 A TW103135732 A TW 103135732A TW 103135732 A TW103135732 A TW 103135732A TW I643134 B TWI643134 B TW I643134B
Authority
TW
Taiwan
Prior art keywords
notes
note
digital
input image
physical
Prior art date
Application number
TW103135732A
Other languages
English (en)
Other versions
TW201531959A (zh
Inventor
黛安 瑞多特 渥克
克莉絲汀 艾琳 摩倫
大衛 毛利斯 瑪里
古魯帕賽德 索瑪桑德朗
威廉 維克特 貝斯提安斯
麥克 洛斯典
理查 詹姆士 摩爾
羅蘭 普瑞森
波吐斯 艾利森
林內斯 艾克蘭
中山丞
Original Assignee
３Ｍ新設資產公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ３Ｍ新設資產公司 filed Critical ３Ｍ新設資產公司
Publication of TW201531959A publication Critical patent/TW201531959A/zh
Application granted granted Critical
Publication of TWI643134B publication Critical patent/TWI643134B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本發明揭示用於建立並操作表示實體便箋之軟體便箋的技術。描述一種運算裝置，其包括一處理器及一影像收集模組，該影像收集模組可在該處理器上執行並經組態以接收具有複數個實體便箋之一環境之一輸入影像。一可在該處理器上執行之影像處理引擎係經組態以識別在該輸入影像中之該複數個實體便箋，並且對該等實體便箋之每一者產生一對應數位便箋。該影像處理引擎係進一步經組態以識別在該輸入影像中該複數個所識別便箋之一或多個群組之一指示且依據該指示將該複數個數位便箋分群。

Description

建立並操作表示實體便箋的軟體便箋之方法、電腦系 統、非暫時性電腦可讀取媒體及運算裝置
本申請案主張2013年10月16日申請之美國臨時申請案第61/891,647號之權益，其全部內容係以引用方式併入本文中。
本揭露係關於便箋內容擷取、辨識、提取及/或管理的工具與系統。
紙質便箋已廣泛運用於記錄、分享以及溝通意見與資訊。舉例來說，在協作會議期間(例如，腦力激盪會議)，參與者將意見寫在Post-It®便利貼、白板或紙上，然後彼此分享。此外，人們經常從早到晚用便箋來記下不想忘記的資訊或內容。舉其他實例，人們常會使用便箋作為提醒將來要採取之行動或會發生之事件，諸如撥一通電話，修訂一份文件，或是填寫時間表。
舉例來說，在許多情況下，參與協作會議的人們會將資訊寫在紙質便箋上，諸如Post-it®便利貼。紙質Post-it®便利貼可方便從一背膠紙質Post-it®便利貼的便條本(dispenser pad)移開，並貼至各種表面，諸如白板、文件、桌面、電話或類似物。可在自便條本取下紙質Post-it®便利貼或貼至其目標表面之前或之後將資訊寫在紙質Post-it®便利貼上。紙質Post-it®便利貼可輕易從一表面移至另一表 面，諸如在文件之間或是在文件與桌面之間，便利貼可覆疊文件的邊緣或邊界、可分層，而且也可連同便利貼所貼至的物件一起移動。
現有軟體程式允許電腦使用者以數位形式產生軟體式便箋，並且在運算環境中使用數位便箋。舉例來說，電腦使用者可建立數位便箋並將該等數位便箋「貼」至電子文件、桌面、或是運算環境所呈現的電子工作空間。電腦使用者可操作便箋，容許建立、刪除、編輯、儲存、以及選擇性檢視便箋。電腦使用者可藉由自文件剪下便箋、將便箋儲存於剪貼簿、並接著將便箋貼至相同文件的另一區或貼至不同文件，以在一文件內、或在數文件及/或桌面之間移動此便箋。按照這種方式，軟體程式提供虛擬表示之便箋，並且容許個人以類似於其可能每日使用之實體便箋的方式使用數位便箋。
一般而言，本揭露描述用於建立並操作表示實體便箋之軟體便箋的技術。
在一實例中，一種方法包含：以一運算裝置接收具有複數個實體便箋之一環境的一輸入影像；利用該運算裝置處理該輸入影像以識別該輸入影像中的該複數個實體便箋；以該運算裝置產生對應於該輸入影像中所識別之該複數個便箋的複數個數位便箋，其中該複數個數位便箋包括該輸入影像中之該複數個便箋所表示的資訊；以該運算裝置識別在該輸入影像中所識別之該複數個實體便箋之一或多個群組之一指示；以該運算裝置依據該一或多個群組之該指示將該複數 個數位便箋分群；以及以該運算裝置顯示該複數個數位便箋之該一或多個群組。
在另一實例中，一運算裝置包含：一處理器；一影像收集模組，其可在該處理器上執行並經組態以接收具有複數個實體便箋之一環境之一輸入影像；以及一影像處理引擎，其可在該處理器上執行並經組態以識別該輸入影像中之該複數個實體便箋，以及針對該等實體便箋之每一者產生一對應數位便箋。該影像處理引擎係進一步經組態以識別該輸入影像中該複數個所識別便箋之一或多個群組之一指示及依據該指示將該複數個數位便箋分群。
以下在附圖及說明中提出本揭露之一或多項實例之細節。從說明與圖式以及申請專利範圍中將明白本揭露之其他特徵、目的與優點。
10‧‧‧便箋辨識環境
12‧‧‧雲端伺服器
14‧‧‧電腦系統
15‧‧‧行動裝置
16‧‧‧行動裝置
18‧‧‧影像擷取裝置
20‧‧‧工作空間；腦力激盪會議
22‧‧‧便箋
24‧‧‧輸入影像
26‧‧‧使用者
28‧‧‧呈現裝置
64‧‧‧作業系統
68‧‧‧資料儲存裝置
70‧‧‧可程式化處理器
72‧‧‧傳輸器
74‧‧‧接收器
76‧‧‧I/O
77‧‧‧使用者應用程式
78‧‧‧便箋管理應用程式
79‧‧‧圖形使用者介面(GUI)
82‧‧‧影像處理引擎
86‧‧‧便箋識別模組
88‧‧‧數位便箋產生模組
90‧‧‧影像通訊模組
94‧‧‧資料庫
95‧‧‧影像處理應用程式介面(API)
96‧‧‧影像編輯器
97‧‧‧影像；輸入影像
98‧‧‧使用者介面
99‧‧‧數位便箋
100‧‧‧便箋辨識程序
102‧‧‧步驟
104‧‧‧步驟
106‧‧‧步驟
108‧‧‧步驟
110‧‧‧步驟
120‧‧‧便箋辨識技術
122‧‧‧顏色辨識演算法
123‧‧‧形狀辨識演算法
124‧‧‧圖樣辨識演算法
125‧‧‧便箋
126‧‧‧便箋
127‧‧‧便箋
128‧‧‧便箋
130‧‧‧便箋辨識程序
132‧‧‧步驟
134‧‧‧步驟
136‧‧‧步驟
138‧‧‧步驟
200‧‧‧技術
202B‧‧‧便箋
204B‧‧‧便箋
206B‧‧‧便箋
210‧‧‧技術
211‧‧‧便箋
212‧‧‧便箋
213‧‧‧便箋
214‧‧‧便箋
215‧‧‧便箋
216‧‧‧便箋
217‧‧‧便箋
220‧‧‧技術
221‧‧‧便箋
222‧‧‧便箋
223‧‧‧便箋
224‧‧‧便箋
230‧‧‧技術
231‧‧‧便箋
232‧‧‧便箋
300‧‧‧技術
302A‧‧‧重疊便箋；便箋
302B‧‧‧重疊便箋；便箋
302C‧‧‧重疊便箋；便箋
302D‧‧‧塊面
304‧‧‧關聯模板
304A‧‧‧關聯轉角
306‧‧‧關聯模板
306C‧‧‧關聯轉角
308‧‧‧關聯模板
308B‧‧‧關聯轉角
308C‧‧‧關聯轉角
310‧‧‧關聯模板
310A‧‧‧關聯轉角
310B‧‧‧關聯轉角
311‧‧‧標記
312A‧‧‧區段；便箋區段
312B‧‧‧區段；便箋區段
312C‧‧‧區段；便箋區段
314‧‧‧尖峰
320‧‧‧步驟
322‧‧‧步驟
324‧‧‧步驟
326‧‧‧步驟
328‧‧‧步驟
330‧‧‧步驟
332‧‧‧步驟
400‧‧‧圖形使用者介面
402‧‧‧記號偵測控制
404‧‧‧標記
406‧‧‧記號偵測控制
500‧‧‧圖形使用者介面
502‧‧‧第一部分(區域)
504‧‧‧第二部分(區域)
506‧‧‧數位便箋
507‧‧‧數位便箋
508‧‧‧數位便箋
510‧‧‧使用者介面
512‧‧‧第一部分(區域)
514‧‧‧第二部分(區域)
516‧‧‧數位便箋
518‧‧‧數位便箋
530‧‧‧程序
532‧‧‧步驟
534‧‧‧步驟
536‧‧‧步驟
538‧‧‧步驟
540‧‧‧步驟
542‧‧‧步驟
544‧‧‧步驟
600‧‧‧技術
602‧‧‧距離
604‧‧‧便箋
610‧‧‧技術
612‧‧‧圈
614‧‧‧便箋
620‧‧‧技術
622‧‧‧線條
624‧‧‧便箋
圖1係一表示圖，其繪示一使用者使用一行動裝置上之影像擷取裝置擷取具有便箋之工作空間之影像之一實例。
圖2係一方塊圖，其繪示行動裝置之一實例。
圖3係一方塊圖，其繪示用以處理輸入影像之使用者應用程式之一實例。
圖4係一流程圖，其繪示用於將實體便箋轉換成數位便箋並將數位便箋儲存於資料儲存裝置之技術之一實例。
圖5係一方塊圖，其繪示便箋辨識技術之一實例，此便箋辨識技術可使用多個便箋辨識模組以辨識便箋並提取便箋的內容。
圖6A及圖6B係一流程圖，其繪示便箋辨識技術之另一實例。
圖7A至圖7D係示意圖，其等繪示便箋重疊於另一便箋之邊界之實例。
圖8A及圖8B係繪示一技術之一實例之示意圖，此技術係用於以重疊便箋之不同顏色為基礎偵測重疊便箋並予以分段、以及提取一組內容作為便箋區段。
圖9A及圖9B係繪示一技術之另一實例之示意圖，此技術係用於以重疊便箋之不同顏色為基礎偵測重疊便箋並予以分段、以及提取一組內容作為便箋區段。
圖10係繪示一技術之另一實例之示意圖，此技術係用於以重疊便箋之不同顏色為基礎偵測重疊便箋並予以分段、以及提取一組內容作為便箋區段。
圖11係繪示一技術之另一實例之示意圖，此技術係用於以重疊便箋之不同顏色為基礎偵測重疊便箋並予以分段、以及提取一組內容作為便箋區段。
圖12A至圖12F及圖13係繪示一例示性技術之例示性態樣之示意圖，此例示性技術係用於在便箋顏色相同時將複數個重疊便箋分段，並且提取一組內容作為便箋區段。
圖14係一流程圖，其繪示圖12A至圖12F及圖13所繪示之例示性技術。
圖15及圖16繪示一藉由圖形使用者介面覆疊於影像上之一記號偵測切換(marker detection toggle)的實例。
圖17及圖18繪示從圖形使用者介面之一或多個部分選取並移除數位便箋之一實例。
圖19及圖20繪示從圖形使用者介面之一部分選取數位便箋並予以新增至圖形使用者介面之第二部分之一實例。
圖21係一流程圖，其繪示用於透過圖形使用者介面選取、分群，並顯示數位便箋之一例示性技術。
圖22係一示意圖，其繪示用於偵測一數位便箋群組，並透過圖形使用者介面顯示已分群數位便箋之一例示性技術。
圖23係一示意圖，其繪示用於偵測一數位便箋群組，並透過圖形使用者介面顯示已分群數位便箋之另一例示性技術。
圖24係一示意圖，其繪示用於偵測數位便箋的階層順序，並透過圖形使用者介面按順序顯示數位便箋之一例示性技術。
本揭露描述用於建立並操作表示實體便箋之軟體便箋的技術。舉例來說，所述的技術係用於辨識在一實體環境內存在的實體便箋，自實體便箋擷取資訊並建立該等實體便箋的對應數位表示，在本文中稱之為數位便箋或軟體式便箋。此外，本揭露之至少某些態樣係關於用於管理多個便箋的技術，諸如儲存、擷取、編輯該等數位便箋，分類並分群該等數位便箋，或類似技術。
一般而言，便箋可包括實體便箋及數位便箋。實體便箋一般是指具有一般邊界及可辨識內容之實體物件。實體便箋可包括人們書寫、繪圖或藉由其他輸入類型所造成的物件，例如紙、白板，或其他可接受該等輸入的物件。舉例來說，實體便箋可包括手寫Post-It®便利貼、紙或投影片，具有圖畫、海報與標誌的白板。在某些情況中，可用數位技術產生實體便箋，例如在可列印Post-It®便利貼或列印文件上列印。在某些情況中，一物件可包括數個實體便箋。例如，可將數個意見寫在單張海報紙或白板的不同區域上。在某些實施例中，為促進辨識這些便箋，可將標記(例如線條、形狀、顏色、符號、記號或貼紙)施用至便箋的邊緣。實體便箋可以是二維或三維。實體便箋可具有不同形狀及尺寸。舉例來說，實體便箋可以是7.62×7.62cm(3×3吋)便箋；實體便箋可以是66.04×99.06cm(26×39吋)海報；以及實體便箋可以是三角形金屬標誌。在某些情況中，實體便箋具有已知形狀及/或尺寸。在某些情況中，實體便箋可具有符合標準(例如legal、A3、A4)以及其他尺寸標準的已知形狀及/或尺寸，並且已知形狀可不限於幾何形狀，例如星形、圓形、矩形，或類似形狀。在其他情況中，實體便箋可具有非標準尺寸及/或不規則形狀。
數位便箋一般是指具有資訊及/或意見的數位物件。可使用數位輸入產生數位便箋。數位輸入可包括(例如)鍵盤、觸控螢幕、數位相機、數位錄製裝置、觸控筆、數位筆，或類似物。在某些情況中，數位便箋可為實體便箋之表示。
在某些情況中，數位便箋可表示協作空間中使用的實體便箋。協作空間一般係指容許超過一人進行諸如互相分享意見及想法之類腦力激盪的一聚會區。除聚會區外，協作空間也可表示虛擬空間，容許一群人進行諸如遠端分享意見及想法之類的腦力激盪。協作空間可稱為工作空間、或類似者。
圖1繪示一便箋辨識環境10之一實例。在圖1的實例中，環境10包括一行動裝置15，用來從一工作空間20擷取並辨識一或多個便箋22。如本文中所述，行動裝置15為一或多個軟體應用程式提供一執行環境，如所述，其可有效地從大量實體便箋(例如從工作空間20收集到的便箋22)擷取並提取便箋內容。在此實例中，便箋22可以是具有多位參與者之協作腦力激盪會議的結果。如所述，行動裝置15及其所執行的軟體可實現多種便箋相關操作，包括自動建立表示工作空間20之實體便箋22的數位便箋。
在某些實例中，工作空間20之複數個實體便箋22可包含顏色不同之便箋。在其他實例中，工作空間20之複數個實體便箋22可包含至少一包括基準標記之便箋，該等基準標記係例如便箋右上角及左下角的標記。在其他實例中，工作空間20之複數個實體便箋22可包含至少一便箋，其具有一用於便箋主體之顏色及另一用於便箋邊線之顏色。在其他實例中，工作空間20之複數個實體便箋22中之數便箋可配置成令其重疊，例如配置成堆疊型重疊關係。在其他實例中，工作空間20之複數個實體便箋22中的數便箋可相鄰配置。
在此實例性實施方案中，行動裝置15包括(除了其他元件之外)影像擷取裝置18及一呈現裝置28。此外，雖然圖1並未顯示，行動裝置15可包括一或多個處理器、微處理器、內部記憶體及/或資料儲存裝置以及其他電路，用來執行軟體或韌體以提供本文所述的功能。
一般而言，影像擷取裝置18是一相機或其他元件，其經組態以擷取表示工作空間20及置於其內的便箋22之影像資料。換句話說，影像資料擷取一環境(例如工作空間20)的視覺表示，其具有複數個視覺便箋。雖然是當作行動裝置15的相機討論，影像擷取裝置18可包含能夠擷取影像資料的其他元件，例如錄影機、紅外線相機、CCD(電荷耦合裝置)陣列、雷射掃描器，或類似物。此外，擷取影像資料可包括至少一影像、視訊、一連串影像(即，在一時段內及/或以一順序拍攝的多個影像)、大量影像，或類似物，且輸入影像一詞是用來指稱各種影像資料的實例。
呈現裝置28可包括(但不限於)電子式可定址顯示器，例如一液晶顯示器(LCD)或用於與行動裝置28一起使用的其他類型顯示裝置。在某些實施方案中，行動裝置15產生要以各種格式在呈現裝置28上顯示的內容，例如，以行及/或列分群的清單、流程圖，或類似物。在某些情況中，行動裝置15可傳達顯示資訊以供其他裝置呈現，例如平板電腦、投影機、電子看板，或其他外部裝置。
如本文所述，行動裝置15以及在其上執行的軟體，提供用於建立並操作表示實體便箋22之數位便箋之一平台。舉例來說， 一般而言，行動裝置15經組態以處理由影像擷取裝置18所產生的影像資料，以偵測並辨識置於工作空間20內的實體便箋22之至少一者。在某些實例中，行動裝置15經組態以辨識便箋，此係藉由判定該(等)便箋之一般邊界。行動裝置15在辨識便箋之後，提取一或多個便箋之至少一者之內容，其中該內容係便箋22之視覺資訊。如後文詳述，行動裝置15可實施應用於自動偵測及辨識實體便箋22並且提取與各實體便箋相關聯之資訊、內容或其他特性的技術。舉例來說，行動裝置15可容許使用者26微調控制行動裝置15所用以偵測並辨識實體便箋22的技術。舉一實例，行動裝置15可容許使用者26在記號式偵測技術(一或多個便箋22在其中於便箋表面上包括實體基標)或非記號式技術(未在其中使用基標)之間選擇。
此外，行動裝置15為使用者26提供一改進的電子環境，用於產生並操作表示實體便箋22之對應數位便箋，包括移除便箋中之背景或其他影像相關假影。另舉一例，行動裝置15可提供機制，容許使用者26輕易增加數位便箋至表示與工作空間20相關之腦力激盪活動的一組數位便箋，及/或從該組數位便箋刪除數位便箋。在某些實例性實施方案中，行動裝置15提供功能，藉此使用者26能夠記錄並管理多群組便箋22之間的關係。
在某些實例性實施方案中，行動裝置15提供功能，藉此使用者26能將數位便箋匯出至其他系統，例如以雲端為基礎的儲存庫(例如，雲端伺服器12)或其他運算裝置(例如，電腦系統14或行動裝置16)。
在圖1的實例中，行動裝置15繪製為一行動電話。不過，在其他實例中，行動裝置15可以是一平板電腦、個人數位助理(PDA)、膝上型電腦、媒體播放器、電子書閱讀器、穿戴運算裝置(例如，手錶、眼鏡、手套)，或適合用於執行本文所述技術的任何其他類型的行動或非行動運算裝置。
圖2繪示一方塊圖，其說明依據本文所述技術操作之一行動裝置的實例。為舉例之目的，會參照圖1之行動裝置15描述圖2的行動裝置。
在此實例中，行動裝置15包括各種硬體元件，該等硬體元件提供用於該裝置之操作的核心功能。例如，行動裝置15包括一或多個可程式化處理器70，其經組態以依據可執行指令(即，程式碼)操作，通常是儲存在一電腦可讀取媒體或資料儲存裝置68中，諸如靜態隨機存取記憶體(SRAM)裝置或快閃記憶體裝置。I/O 76可包括一或多個裝置，諸如一鍵盤、相機鍵、電源按鈕、音量按鈕、首頁按鈕、返回按鈕、選單按鈕，或如圖1所述的呈現裝置28。傳輸器72及接收器74經由如圖1所述的一無線通訊介面(例如但不限於高頻射頻(RF)信號)提供與其他裝置(諸如雲端伺服器12、電腦系統14，或如圖1所述的其他行動裝置16)的無線通訊。行動裝置15可包括額外的離散數位邏輯或類比電路，未顯示於圖2中。
一般而言，作業系統64在處理器70上執行並提供用於一或多個使用者應用程式77(通常稱為「app」)之一作業環境，包括便箋管理應用程式78。例如，使用者應用程式77包含儲存在電腦可 讀儲存裝置內(例如，資料儲存裝置68)的可執行程式碼以供處理器70執行。另舉其他實例，使用者應用程式77可包含韌體或在某些實例中可實施在離散邏輯中。
操作時，行動裝置15接收輸入影像資料並依據本文所述的技術處理該輸入影像資料。例如，影像擷取裝置18可擷取具有複數個便箋之環境的一輸入影像，例如圖1之具有便箋22的工作空間20。另舉一例，行動裝置15可經由接收器74從外部來源(諸如雲端伺服器15、電腦系統14，或行動裝置16)接收影像資料。一般而言，行動裝置15將影像資料儲存在資料儲存裝置68內，以供便箋管理應用程式78及/或其他使用者應用程式77存取並處理。
如圖2所示，使用者應用程式77可引動作業系統64的核心功能，以輸出一圖形使用者介面(GUI)79，用於呈現資訊給一行動裝置的使用者。如後文詳述，便箋管理應用程式78可建構並控制GUI 79，以提供一改進的電子環境，用於產生並操作表示實體便箋22的對應數位便箋。例如，便箋管理應用程式78可建構GUI 79以包括一機制，容許使用者26輕易增加數位便箋至由影像資料所辨識出的經定義組數位便箋及/或從該等經定義組數位便箋刪除數位便箋。在某些實例性實施方案中，便箋管理應用程式78提供功能，藉此使用者26能夠藉由GUI 79記錄並管理數位便箋群組之間的關係。
圖3係一方塊圖，其繪示依據本文所述技術操作之便箋管理應用程式78的一個例示性實施方案。雖然所述為在一行動裝置 15上執行的一使用者應用程式77，本文所述實例可被實施在任何運算裝置上，諸如雲端伺服器12、電腦系統14，或其他行動裝置。
在此實例中，使用者應用程式78包括影像處理引擎82，其提供影像處理及物件辨識功能。影像處理引擎82可包括影像通訊模組90、便箋識別模組86以及數位便箋產生模組88。此外，影像處理引擎82包括影像處理應用程式介面(API)95，其提供一影像操作功能函式庫，例如影像定限、遮罩、過濾、邊緣偵測及類似者，供影像處理引擎82的其他元件使用。
一般而言，可在資料儲存裝置68中儲存影像資料。在此實例中，便箋管理應用程式78將影像97儲存在資料儲存裝置68內。各影像97可包含針對具有複數個實體影像之環境(例如圖1的工作空間20)的像素資料。
如本文中所述，便箋識別模組86處理影像97並識別(即，辨識)在影像中的複數個實體便箋。可由便箋識別模組86使用記號及/或無記號偵測程序來處理輸入影像。數位便箋產生模組88產生對應於影像97中所辨識實體便箋之數位便箋99。舉例來說，各個數位便箋99對應於輸入影像97中所識別的實體便箋之一。在此程序期間，數位便箋產生模組88可更新資料庫94以包括數位便箋記錄，並且可將自如便箋識別模組86所偵測輸入影像內之實體便箋之邊界擷取的資訊(例如內容)儲存在資料庫中。此外，數位便箋產生模組88可將元資料儲存在資料庫94中，元資料使數位便箋相關聯而成為一或多群組數位便箋。
影像通訊模組90控制行動裝置15與外部裝置(例如雲端伺服器12、電腦系統14、行動裝置16，或影像擷取裝置18)之間的影像資料通訊。舉例來說，在某些實例中，影像通訊模組90可容許使用者傳達環境之已處理或未處理影像97及/或數位便箋，以及從其所提取的相關聯資訊，包括出自資料庫68的元資料。在某些實例中，影像通訊模組90匯出此資料至一壓縮檔，可藉由FTP、HTTP、電子郵件、藍牙或其他機制通訊。
在圖1的實例中，便箋管理應用程式78包括使用者介面98，其建構並控制GUI 79(圖2)。如後文所述，在某些實例中，使用者介面98可輸出以供顯示覆疊有複數個數位便箋99之一輸入影像97，其中各數位便箋覆疊在一對應實體便箋的位置。此外，使用者介面98可顯示已被使用者指定的一群組數位便箋99。舉例來說，此組數位便箋99可以係在一特殊輸入影像97中辨識的數位便箋子集。使用者介面98可在GUI 79的第二部分上顯示此指定群組(組)的數位便箋，並容許使用者26輕易從該指定群組增加或移出數位便箋99。
在某些例示性實施方案中，使用者介面98提供影像編輯器96，容許使用者編輯覆疊之影像及/或數位便箋。在另一實例中，數位便箋產生模組88可包括從輸入影像強化提取資訊之一或多個程序。
用於偵測並辨識實體便箋之便箋管理應用程式78的額外實例細節係描述於下列美國專利申請案中：於2013年7月9日申請 的美國專利申請案第61/844140號，名稱為「SYSTEMS AND METHODS FOR NOTE RECOGNITION AND MANAGEMENT USING COLOR CLASSIFICATION」；於2013年7月9日申請的美國專利申請案第61/844152號，名稱為「SYSTEMS AND METHODS FOR NOTE CONTENT EXTRACTION AND MANAGEMENT USING SEGMENTED NOTES」；以及於2013年7月9日申請的美國專利申請案第61/844176號，名稱為「SYSTEMS AND METHODS FOR NOTE CONTENT EXTRACTION AND MANAGEMENT BY SEGMENTING NOTES」，該等申請案之各者的全部內容皆以引用方式併入本文中。
圖4係一流程圖，其繪示一便箋辨識程序100之實例，如可藉由行動裝置15之便箋管理應用程式78實施者。一開始，便箋管理應用程式78之便箋識別模組86透過影像獲取來擷取複數個便箋之輸入影像(102)。在某些實例中，便箋係實體便箋，而且一次擷取超過一個便箋更有效率。接下來，便箋識別模組86自輸入影像辨識複數個便箋中之一者(104)。舉例來說，便箋識別模組86可使用顏色偵測模組、形狀偵測模組、以及圖樣偵測模組來辨識便箋特徵，並且隨後測定便箋之一般邊界。
數位便箋產生模組86提取複數個便箋之一者的內容以建立子影像(106)。在某些實例中，數位便箋產生模組86可在提取內容之前，對至少部分輸入影像應用影像轉換。在某些其他實例中，數位便箋產生模組86可應用影像強化或另一影像處理技術(例如移除下 層工作空間之背景或變更複數個便箋中各便箋之顏色)以改善所提取內容或子影像之品質(108)。在又其他實例中，數位便箋產生模組86可自所提取內容或子影像進一步辨識出文字及圖形。數位便箋產生模組86將強化之所提取內容或子影像儲存至行動裝置15之資料儲存裝置68，並且可將數位便箋傳達至雲端伺服器12或其他電腦系統14(110)。此時，系統可建立表示所辨識實體便箋之一對應者的一各自數位便箋。系統可使從一給定實體便箋之視覺表示提取的內容與表示該實體便箋之對應數位便箋相關聯。可在行動裝置15之電腦可讀取儲存裝置內，儲存用於使可程式化處理器執行程序100之程式碼或其他可執行指令。
圖5係一流程圖，其繪示便箋辨識技術120之實例，便箋識別模組86可在其中使用多個偵測模組以辨識便箋並提取便箋之內容。在某些實例中，偵測模組可包括顏色偵測模組、形狀偵測模組、以及圖樣偵測模組。在一實例中，顏色偵測模組可使用諸如RGB(紅色、綠色及藍色)、LAB(例如Hunter 1948 L,a,b色空間、CIE 1976(L*,a*,b*)色空間)、CMYK(青色、洋紅色、黃色及定位色(key)(黑色))、HSV(色相、飽和度及明度)等色空間，用於識別對應於便箋125、126、127、128之關注區域以進行顏色辨識122。在形狀偵測模組及圖樣偵測模組之其他實例中，便箋125、126、127、128係分別就其形狀並因存在由形狀辨識演算法123(例如霍夫轉換、形狀脈絡等)及圖樣辨識演算法124(例如支援向量機、交互關聯、模板匹配等)所偵測之獨特圖樣而予以進一步區別。這些演算法122、 123、124可協助過濾出輸入影像中的非所要物件或便箋125、126、127、128之其他內容來源，並且僅留下那些對應於便箋125、126、127、128之關注區域。在另一實例中，電腦系統可經組態以執行任何變化形式之技術120。在另一實例中，含有用於供可程式化處理器執行之指令的非暫時性電腦可讀取媒體可執行任何變化形式之技術120。
圖6A及圖6B同為一繪示便箋辨識程序130之另一實例之流程圖。一開始，程序130透過如圖1至圖3所述之影像獲取，擷取輸入影像，例如腦力激盪會議20之複數個便箋22之輸入影像24(132)。在某些實例中，便箋係實體便箋，而且一次擷取超過一個便箋更有效率。接下來，程序130從輸入影像辨識出如圖1所述的複數個便箋22中使用者(諸如圖1之使用者26)可選擇之一或多個便箋(134)。舉例來說，程序130可使用顏色偵測模組、形狀偵測模組、以及圖樣偵測模組辨識便箋特徵，並且隨後測定如圖5所述的便箋之邊界。接下來，數位便箋產生模組86提取複數個便箋22中各便箋之內容以建立子影像(136)。在某些實例中，數位便箋產生模組86可在提取內容之前對至少部分輸入影像應用影像轉換(未顯示於圖6A及圖6B)。在某些其他實例中，數位便箋產生模組86可應用影像強化或其他影像處理技術(諸如移除工作空間之影像的背景或強化與各數位便箋相關聯的像素資料(例如銳化))，以改善所提取內容或子影像之品質(136)。在圖6B之實例中，數位便箋產生模組86已回應於使用者輸入而將數位便箋從綠色變為白色以增加可讀性(136)。可在行動裝置15 之電腦可讀取儲存裝置內，儲存用於使可程式化處理器執行程序130之程式碼或其他可執行指令。
數位便箋產生模組86可自所提取內容或子影像進一步辨識出文字及圖形(未顯示於圖6A及圖6B)。數位便箋產生模組86將強化之所提取內容或子影像儲存至行動裝置15之資料儲存裝置68，並且可隨後將原來的影像資料及/或含所提取資訊及元資料之數位便箋，傳達至如圖1至圖3所述之雲端伺服器12或電腦系統14(138)。
圖7A至圖7D係示意圖，其繪示重疊於另一便箋之邊界之至少一實體便箋的實例。圖7A係一示意圖，其繪示如參照圖1所述工作空間20上重疊之不同顏色之複數個相鄰便箋22的實例。圖7B係一示意圖，其繪示如參照圖1所述工作空間20上重疊之在各便箋右上角及左下角含標記之一種顏色之複數個便箋22的實例。圖7C係一示意圖，其繪示如參照圖1所述工作空間20上堆疊型重疊關係中複數個便箋22之實例，各便箋22具有一用於主體之顏色及另一用於邊線之顏色。圖7D係一示意圖，其繪示如參照圖1所述複數個相鄰便箋22之另一實例，該等相鄰便箋22重疊於另一或多個便箋22之邊界。圖7A至圖7D繪示重疊便箋之某些實例。然而，可以其他組合方式使用便箋22而建立重疊便箋之其他實例。
如後文詳述，具有顏色與便箋主體不同之邊線的實體便箋提供一種基標之形式，其可用於實體便箋之顏色分段及偵測。在某些實例中，可選擇邊線顏色作為基標以與背景顏色有明顯分色，例如 有別於便箋背景(主體)顏色之白色或黑色邊線顏色。舉進一步實例來說，可選擇顏色互補之邊線顏色及主體顏色，以便提供明顯的分色，例如在黃色便箋上使用青色邊線或其他基標，藉以提供有助於識別實體便箋之高色比。
在其他實例中，可使用一種僅可由影像處理引擎所見之隱形墨水建構基標。另舉一例，可使用反光材料在便箋上作為基標，該反光材料可對來自成像裝置之閃光發生反應。
圖8A係一示意圖，其繪示一用於藉由使用顏色分類演算法來偵測且分段重疊及/或相鄰便箋之例示性技術200。在某些情況中，如果視L覺表示並不是單一影像，則係從視覺表示取得輸入影像(未顯示於圖8A)。舉例來說，視覺表示係一組影像，且所取得輸入影像係該組影像之至少部分的一聚集。另舉一例，視覺表示係一視訊，且所取得輸入影像係數個或全部視訊框的組合。
在行動裝置15、雲端伺服器12、或電腦系統14上執行的便箋管理應用程式78，在接收如圖1至圖3所述之輸入影像時，使用顏色偵測模組(其可為便箋識別模組86之一組件)來識別複數個重疊實體便箋。顏色偵測模組可將輸入影像轉換成期望的色空間(未顯示於圖8A)。一例示性可應用的色空間包括(但並不限於)RGB(紅色、綠色及藍色)、LAB(例如，Hunter 1948 L,a,b色空間，CIE 1976(L*,a*,b*)色空間、CMYK(青色、洋紅、黃色與定位色(黑色))、HSV(色相、飽和度及明度)、HSL(色相、飽和度及亮度)、HSI(色相、飽和度及強度)、sRGB(標準紅色、綠色及藍色)色空 間。接下來，顏色偵測模組可將一或多種分類函數應用於輸入影像中各像素之色值(未顯示於圖8A)。可使用可選的訓練步驟運算分類函數。用於顏色偵測模組之分類演算法可為(例如)線性判別分析、二次分類器、高斯混合模型、促進式決策樹、支援向量機，或類似演算法。
有些分類器的本質是生成式，而其他分類器則是判別式。一般來說，生成式分類器為各級別(我們的例子中就是顏色)產生一個別模型，且查詢的像素/像素群組值被給定機率評分以表示其是否屬於該級別。另一方面，判別式分類器模型化兩個或更多級別之間邊界(分別是2級及多級分類)。生成式模型對尚未模型化的新級別(顏色)提供更簡單的通則性，而判別式模型必須針對每個現有級別(顏色)予以重新訓練。生成式及判別式分類器有許多實例係描述於Christopher M.Bishop於2006年發表之「Pattern Recognition and Machine Learning(Information Science and Statistics)」(Springer-Verlag New York,Inc.，Secaucus,NJ,USA)，該文獻的全部內容以引用方式併入本文中。生成式模型的一些實例係單純貝氏分類器(naïve Bayes classifier)、高斯混合模型及使用高斯或其他先前的其他機率性貝氏模型，以及字典學習，如描述於：Michal Aharon、Michael Elad及Alfred Bruckstein於2006年發表之「K-SVD：An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation」(EEE Transactions on Signal Processing 54(11)：4311-4322)，該文獻的全部內容以引用方式併入本文中。判別式分類模型的某些實例係 神經網路、支援向量機、決策樹、線式及二次判別分類、邏輯迴歸。其他實例的分類法既非生成式又非判別式，例如最近鄰域分類演算法。此外，上述分類模型任一項的效能可藉由組合上述多個分類模型之例項的總體學習演算法而改進。總體學習可實施為引導總計法(Bagging)、推進法(Boosting)及其變化型。
使用分類演算法產生指示影像中各像素色彩級別之指示符(未顯示於圖8A)。一色彩級別包括一特定範圍的波長，或可以是參照至所關注之色彩級別旁邊的任何其他彩色之「其他」色彩級別。舉例來說，一色彩級別可以係洋紅色、黃色、藍色、橘色等。舉例來說，指示符可以由數字、代碼、符號、文數字符記、色值、灰階值或類似物予以表示。在另一實例中，技術200亦可使用如圖5所述之形狀偵測模組及圖樣偵測模組。
圖8B係一示意圖，其繪示可根據指示符測定便箋202B、204B、206B或便箋區段之邊界之技術200的實例。在一實例中，具有相同指示符的緊鄰像素被分組成一區域，且可判定該區域的邊界。在某些情況中，判定邊界之前，使用影像處理原則進一步處理指示符，例如，雜訊濾波、形態斷開或類似者。在某些實例中，一便箋或便箋區段之形狀及/或尺寸係預定，其可被用來判定及/或過濾便箋202B、204B、206B或便箋區段之一般邊界。可使用邊界將該(等)便箋202B、204B、206B或該(等)便箋區段之內容予以分段並提取以產生已分段數位便箋。在另一實例中，技術200亦可在一圖形使用者介面之一第一部分上顯示包括用以取代複數個重疊便箋之複數個已 分段數位便箋的輸入影像，並且在圖形使用者介面之一第二部分上顯示複數個數位便箋。
圖9A及圖9B係示意圖，其將技術200之另一實例繪示為技術210，其中便箋211至217或便箋區段在一或多個位置重疊並具有彩色邊界、邊線、或彩色標記而非具有素色。在技術210之一實例中，可將如圖8A所述之顏色偵測模組用於識別邊界、邊線、或標記(如圖9B所示)，並且進一步提取該(等)便箋211至217或便箋區段之內容(如圖9A所示)。
圖10係一示意圖，其將技術200之另一實例繪示為技術220，其中便箋221至224或便箋區段在一或多個位置重疊並具有彩色邊界、邊線、或彩色標記而非具有素色。在技術220之一實例中，可將如圖8A所述之顏色偵測模組用於識別邊界、邊線、或標記(如圖10所示)，並且進一步提取該(等)便箋222至224或便箋區段之內容(如圖10所示)。
圖11係一示意圖，其將技術200之另一實例繪示為技術230，其中便箋231、232或便箋區段在一或多個位置重疊並具有彩色邊界、邊線、或彩色標記而非具有素色。在技術230之一實例中，可將如圖8A所述之顏色偵測模組用於識別邊界、邊線、或標記(如圖11所示)，並且進一步提取該(等)便箋231、232或便箋區段之內容(如圖11所示)。
在另一實例中，電腦系統可經組態以執行任何變化形式之技術200、210、220、230。在另一實例中，含有用於供可程式化處 理器執行之指令的非暫時性電腦可讀取媒體可執行任何變化形式之技術200、210、220、230。
圖12A至圖12F及圖13係繪示例示性技術300的例示性態樣之示意圖，例示性技術300係用於在便箋顏色相同時將複數個重疊便箋分段並提取一組內容用於便箋區段，而圖14係一繪示例示性技術300之流程圖。雲端伺服器12、電腦系統14、行動裝置15、16、及/或影像處理引擎82在接收如圖1至圖3所述之輸入影像時，識別複數個重疊便箋302A至302C之一塊面(mass)，並且判定重疊便箋302A至302C的顏色是否相同。
在圖12A中，重疊便箋302A至302C的顏色相同，並且使用如圖8A所述及如圖12B所示的顏色偵測模組予以分段(圖14之320)。選擇性地，可在顏色偵測模組分析期間，填充複數個重疊便箋302A至302C之塊面(mass)(圖14之322)，如圖12C中顯示為塊面302D。使用關聯模板304、306、308、310偵測複數個便箋302A至302C之塊面之直角轉角(圖14之324)。關聯模板304、306、308、310之尖峰314係偏心而置，並且係用於測定如圖12E所示複數個便箋302A至302C之塊面之轉角(圖14之326)。使用沿著至少一部分邊界具有應用於一或多個轉角之標記311並具有對應關聯尖峰之複數個便箋302A至302C之塊面之轉角，以用於測定關聯轉角304A、310A、310B、308B、308C與306C以及如圖12F所示複數個便箋302A至302C之塊面中之各便箋之定向(圖14之328)。在另一實例中，技術300可選擇性地包括根據複數個便箋302A至302C之塊 面中各便箋之定向，對複數個便箋302A至302C之塊面執行幾何校正及裁切技術。在另一實例中，標記可為沿著便箋之邊界之不同顏色邊線，例如白色邊線。在另一實例中，技術300可進一步包括藉由將一或多個標記311與資料庫中的標記作比較而測定輸入影像中之複數個便箋之至少一者是否在複數個便箋302A至302C之塊面中包括一或多個標記311。
在圖12A至圖12F及圖13中，輸入影像的確含有一或多個標記311，故技術300可包括利用具有顏色偵測模組之記號偵測模組來測定各便箋區段之邊界。在圖13中，可根據關聯轉角304A、310A、310B、308B、308C、以及306C，測定塊面之區段312A至312C之邊界(圖14之330)。在某些情況中，記號偵測模組可測定標記311之相對位置，相對位置可用於測定複數個便箋區段312A至312C之邊界。可使用測定之邊界，從複數個便箋區段312A至312C提取塊面之便箋區段312A至312C之內容(圖14之332)。在某些情況中，從一對應便箋區段提取各內容項目。在另一實例中，便箋區段312A至312C之提取之內容係用於產生對應於輸入影像中所識別複數個重疊便箋中各便箋之邊界的複數個數位便箋，而且該複數個數位便箋包括藉由輸入影像中之複數個便箋區段312A至312C所表示之資訊。在另一實例中，便箋區段312A至312C之提取之內容係用於產生對應於輸入影像中所識別複數個重疊便箋中各便箋之邊界的複數個已分段數位便箋，而且該複數個已分段數位便箋包括藉由輸入影像中之複數個便箋區段312A至312C所表示之資訊。按照這種方式，系統可 建立表示所辨識實體便箋之一對應者的一或多個各自數位便箋。舉一實例，可建立一記錄以包含複數個資料庫欄位，包括用於儲存實體便箋之各彩色區段之特定內容的欄位。系統可使從一給定實體便箋之視覺表示提取的內容與表示該實體便箋之對應數位便箋相關聯。更進一步，系統可使從各彩色區段提取的內容項目與各彩色區段的數位表示相關聯。舉例來說，系統可更新資料庫內各別記錄的欄位，以儲存不同便箋或區段的內容項目之各別者。
圖15及圖16繪示一藉由便箋管理應用程式18所呈現之例示性圖形使用者介面400。在此實例中，圖形使用者介面400包括記號偵測控制402、406，其選擇性容許使用者啟用或停用標記式便箋偵測模組或非記號式偵測模組。
在一實例中，如圖15所繪示，使用者(諸如圖1之使用者26)先啟動記號偵測控制402才指示便箋管理應用程式18擷取或以其他方式處理輸入影像。使用者26藉由啟動記號偵測觸變器402而利用記號偵測模組，以根據與便箋相關聯之基準記號，指示便箋管理應用程式78之影像處理引擎82將複數個已偵測重疊實體便箋分段。使用者可在擷取工作空間之輸入影像之前啟動記號偵測控制402，或可在擷取工作空間之後但在處理輸入影像之前啟動記號偵測控制402，以根據基準記號利用記號偵測模組將複數個重疊便箋分段。在此實例中，輸入影像中之便箋含有標記404，其可為條碼、色碼、顏色、矩陣碼、色塊、不同顏色邊線、或類似物。
一般而言，記號偵測模組使用一或多個標記404以測定便箋之邊界。在某些情況中，便箋於輸入影像中可能為傾斜的(未顯示於圖15及圖16)。在某些其他情況中，所取得的輸入影像可能會有圖形失真。記號偵測模組可將標記404或一部分標記404之已測定邊界，用於測定需要對輸入影像所做的影像轉換及校正以獲得便箋內容。
在另一情況中，如圖16所繪示，使用者可選擇停用記號偵測控制406以在便箋辨識技術中不包括記號偵測模組。便箋管理模組78之影像處理引擎82在回應時，可調用任一或多種非記號式便箋偵測演算法，例如根據輸入影像中複數個便箋之周邊所定義之形狀來識別複數個實體便箋、根據與複數個便箋之背景顏色相關聯的色空間來識別複數個便箋、及/或根據圖樣辨識演算法來識別複數個便箋。
為舉例說明，係將記號偵測控制402、406表示成具有開啟狀態及關閉狀態之切換UI組件，但也可使用其他UI組件，例如單選按鈕(radio button)、下拉式清單及類似者。
圖17及圖18繪示一實例，行動裝置15之便箋管理應用程式78在其中提供功能，使用者26藉此功能管理一組與工作空間(例如圖1之工作空間20)相關聯之數位便箋。舉例來說，便箋管理應用程式78產生GUI 79以包括輸入控制，其容許使用者26選擇性包括或排除輸入影像中所辨識之便箋，藉以控制是哪些實體便箋具有一組或一群數位便箋中對應之數位便箋。
在圖17所繪示的實例中，行動裝置包括具有第一部分(區域)502及第二部分(區域)504之圖形使用者介面500。便箋管理應用程式78在圖形使用者介面500之第一部分502內顯示從工作空間所擷取之輸入影像，其中輸入影像通常提供具有複數個實體便箋之工作空間的視覺表示。便箋管理應用程式78在第二部分504內顯示從如便箋管理應用程式78所辨識輸入影像內之實體便箋所產生之一組數位影像。
此外，便箋管理應用程式78可在圖形使用者介面500之第一部分502上，顯示數位便箋及覆疊於原始輸入影像上與其相關聯之強化子影像，其中複數個數位便箋之每一者皆係取代便箋管理應用程式所辨識之對應實體便箋而呈現。這可(例如)協助使用者使數位便箋與其在工作空間中之各別實體便箋相關聯。
可藉由使用者輸入，選擇圖形使用者介面之第一部分502及第二部分504上複數個數位便箋506、507之各便箋，以供從該組數位便箋中刪除。如圖17及圖18之間所繪示，可將圖形使用者介面之第二部分中選擇的數位便箋506、507從圖形使用者介面之第二部分中刪除508，並且保留於圖形使用者介面之第一部分中。在另一實例中，可將選取的數位便箋506、507從圖形使用者介面之第一部分及第二部分兩者中刪除。在另一實例中，可將選取的數位便箋506、507從圖形使用者介面之第一部分中刪除，並且保留於圖形使用者介面之第二部分中。
圖19及圖20繪示行動裝置15所呈現之例示性使用者介面510，其具有第一部分(區域)512及第二部分(區域)514，容許使用者選取並新增數位便箋以供包括於一組建立自實體便箋之數位便箋內，該等實體便箋係辨識自給定工作空間。如圖19及圖20之間所繪示，可將圖形使用者介面之第一部分512中選取的數位便箋516新增至圖形使用者介面之第二部分514中所呈現的該組數位便箋518。換句話說，使用者可選取工作空間之影像上所覆疊數位便箋之一或多者，並且指定要將該等便箋包括於圖形使用者介面之第二部分中所呈現之特定組數位便箋中。
圖21係一流程圖，其繪示便箋管理應用程式78在回應於使用者輸入而選擇圖形使用者介面之第一部分或圖形使用者介面之第二部分中之複數個數位便箋並將所選取複數個數位便箋分群時之例示性操作。在程序530的一實例中，在如圖1至圖3所述之運算裝置、行動裝置15、雲端伺服器12、或電腦系統14上執行的便箋管理應用程式78接收一輸入影像(532)。接下來，運算裝置係經組態以識別輸入影像中之複數個便箋(534)。運算裝置在識別輸入影像中之複數個便箋時，產生對應於輸入影像中所識別複數個便箋之複數個數位便箋(536)。運算裝置在產生複數個數位便箋之後，係經組態以顯示輸入影像，其包括覆疊於其上取代圖形使用者介面之第一部分上所識別複數個便箋之複數個數位便箋(538)。運算裝置亦在顯示第一部分時，經組態以顯示圖形使用者介面之第二部分上一組使用者定義之數位便箋(540)。接下來，運算裝置係經組態以接收使用者輸入，以藉由圖形使 用者介面選取複數個數位便箋中之至少某些(542)。運算裝置亦在接收用以選擇複數個數位便箋之使用者輸入之後，經組態以接收用於將所選取複數個數位便箋分群以形成一或多個群組之使用者輸入(544)。在另一實例中，該一或多個群組可包括階層順序。
圖22至圖24係示意圖，其繪示技術實例，在運算裝置(例如行動裝置15)上執行的便箋管理應用程式78在其中偵測便箋，並且根據一或多個所偵測之分群指示符將便箋自動分群。便箋管理應用程式78在接收如圖1至圖3所述之輸入影像時，識別輸入影像中之複數個實體便箋並產生複數個數位便箋。
在圖22所述之例示性技術600中，便箋管理應用程式78處理工作空間20之輸入影像，其在此實例中包括依距離分成群組之複數個便箋。在此實例中，便箋管理應用程式78根據各辨識之便箋與行動裝置15所測定之臨限距離之間的距離602，識別一或多個群組之指示。亦即，便箋管理應用程式78可根據群集(clusters)，測定輸入影像內的實體便箋群集，並且以邏輯方式令數位便箋與數位便箋群組相關聯。在某些實例中，便箋管理應用程式78可運算與輸入影像內之物件相關聯之位置資料之2D網格或3D陣列，並且為各辨識之實體便箋，測定便箋在2D或3D空間內之絕對位置及邊界，藉以運算出工作空間之完整表示。便箋管理應用程式78可根據這項資訊，測定虛擬空間內各實體便箋之間的最小距離，並且根據此等距離，測定對應於實體便箋之對應數位便箋之分群。在其他實例中，便箋管理應用程式78的分群測定可根據臨限值，其可為臨限距離或臨限比率，此係由使用 者預定或由行動裝置15計算。臨限比率之使用容許便箋管理應用程式78藉由會議參與者解讀便箋之自然分群，而無需訓練使用者關於置放便箋的絕對距離以定義獨特群組。在此實例中，便箋管理應用程式78比較最靠近之便箋之間的距離比率以建立自然分群。
圖23係一示意圖，其繪示另一例示性技術610，便箋管理應用程式78在其中根據如行動裝置15在輸入影像內所偵測工作空間內複數個便箋周圍實體繪製的圈612，測定一或多個群組之指示。
圖24係一示意圖，其繪示另一例示性技術620，便箋管理應用程式78在其中根據工作空間內實體繪製的一或多條線條622，測定一或多個群組之指示，以便連接各實體便箋並且建立階層順序，如由行動裝置15在輸入影像內所偵測到者。在另一實例中，一或多個圈612及一或多條線條622可為Post-It® Roll及/或Scotch®彩色膠帶或其他物料。
在某些實例中，便箋管理應用程式78可經組態以偵測群組指示符之模板。舉例來說，若使用者將具有已知設計之一印刷模板置放在牆壁上，則便箋管理應用程式78可自動建立實體便箋相對於印刷模板之位置。在一實例中，模板可以是行事曆，並且便箋可表示置於行事曆上之工作或事件。便箋管理應用程式78在處理含模板及複數個實體便箋之工作空間的影像時，根據便箋在模板內之位置，判定發生於特定日期的工作/事件。模板可予以印製並貼附於牆壁，或單純地投射到壁面上。
此外，雖然是舉例描述對於輸入影像內所偵測實體群組指示符之偵測，仍可將本技術應用於使用者在與行動裝置或其他裝置之存在感應式(presence-sensitive)顯示器互動時，以手勢或以其他方式輸入之一或多個群組指示符之偵測。
在某些實例中，技術600、610、620可包括使用多個偵測模組以辨識便箋並提取複數個便箋之內容，例如，如圖5所述之顏色偵測模組、形狀偵測模組、以及圖樣偵測模組。在顏色偵測模組之一實例中，技術可包括使用諸如RGB、HSV、CIELAB等色空間識別對應於便箋之關注區域以供色彩辨識。在形狀偵測模組及圖樣偵測模組之其他實例中，便箋係分別就其形狀並因存在由形狀辨識演算法(例如霍夫轉換、形狀脈絡等)及圖樣辨識演算法(例如支援向量機、交互關聯、模板匹配等)所偵測之獨特圖樣而予以進一步區別。這些演算法協助濾除輸入影像或其他便箋內容來源中非所要的物件，並僅留下對應於便箋的關注區域。
在某些實例中，技術600、610、620可進一步包括諸如雲端伺服器12、電腦系統14、及/或行動裝置15、16之運算裝置，其經組態以聚集複數個便箋之內容及群組指示，並且根據如圖22至圖24所示便箋604、614、624之分群或順序來顯示複數個便箋。在另一實例中，電腦系統可經組態以執行任何變化形式之技術600、610、620。在另一實例中，含有用於供可程式化處理器執行之指令之非暫時性電腦可讀取媒體可執行任何變化形式之技術600、610、620。
實例1：一種方法，其包含：以一運算裝置接收具有複數個實體便箋之一環境之一輸入影像；利用該運算裝置處理該輸入影像，以識別該輸入影像中之該複數個實體便箋；以該運算裝置產生複數個數位便箋，該複數個數位便箋對應於該輸入影像中所識別之該複數個便箋，其中該複數個數位便箋包括該輸入影像中之該複數個便箋所表示之資訊；以該運算裝置識別在該輸入影像中所識別之該複數個實體便箋之一或多個群組之一指示；以該運算裝置根據該一或多個群組之該指示將該複數個數位便箋分群；以及以該運算裝置顯示該複數個數位便箋之該一或多個群組。
實例2：如實例1之方法，其中識別該一或多個群組之該指示包含：根據該輸入影像中之該複數個便箋間之距離與一臨限值的比較來判定該等指示，其中該臨限值表示一絕對臨限距離或在相同群組內之便箋間之一距離相對於不同群組之便箋之一距離之一臨限比。
實例3：如實例1至2中任一項之方法，其中識別該一或多個群組之該指示進一步包括：偵測在該輸入影像中該複數個所識別便箋周圍之一圈(loop)以判定所對應的複數個數位便箋之該一或多個群組，其中在該所偵測圈內之該複數個所識別便箋指示該對應的複數個數位便箋屬於一共同群組，且其中在該一或多個所偵測圈外之該複數個所識別便箋指示該對應的複數個數位便箋屬於不同群組。
實例4：如實例1至3中任一項之方法，其中該一或多個群組之該指示進一步包括：偵測在該輸入影像中該複數個所識別便 箋之間之一或多條線條以判定在該對應的複數個數位便箋之間的一階層順序。
實例5：如實例3至4中任一項之方法，其中該一或多個所偵測圈及該一或多個所偵測線條包括由以下組成之一群組中之一或多者：一Post-it® Roll；以及Scotch®彩色膠帶。
實例6：如實例1至5中任一項之方法，其中該一或多個群組之該指示進一步包括：偵測在該輸入影像中該複數個所識別便箋之間之一或多個尺寸以判定在該對應的複數個數位便箋之間的一階層順序。
實例7：如實例6之方法，其中該一或多個所偵測尺寸包括由以下組成之一群組中之一或多者：一Post-it®會議掛板(easel pad)；一Post-it®大型便利貼；以及一Post-it®便利貼。
實例8：如實例1至7中任一項之方法，其中該一或多個群組之該指示進一步包括：偵測在該輸入影像中該複數個所識別便箋之下之一模板以判定該對應的複數個數位便箋之該一或多個群組。
實例9：如實例8之方法，其中該模板係一印刷模板，其中根據在該印刷模板上該複數個所識別便箋之位置將該對應的複數個數位便箋分群。
實例10：如實例9之方法，其中該印刷模板包括一行事曆。
實例11：如實例9之方法，其中該模板係一投影模板，其中根據在該投影模板上該複數個所識別便箋之該位置將該對應的複數個數位便箋分群。
實例12：如實例11之方法，其中該投影模板包括一行事曆。
實例13：一種電腦系統，其經組態以執行如實例1至12中任一項之方法。
實例14：一種非暫時性電腦可讀取媒體，其包含用於使一可程式化處理器執行如實例1至12中任一項之方法之指令。
實例15：一種運算裝置，其包含：一處理器；一影像收集模組，其可在該處理器上執行並經組態以接收具有複數個實體便箋之一環境之一輸入影像；以及一影像處理引擎，其可在該處理器上執行並經組態以識別該輸入影像中該複數個實體便箋，以及針對該等實體便箋之每一者產生一對應數位便箋，其中該影像處理引擎經組態以識別該輸入影像中複數個所識別便箋之一或多個群組之一指示且依據該指示將該複數個數位便箋分群。
實例16：如實例15之裝置，其中該影像處理引擎係經組態以在一圖形使用者介面之第一部分上顯示包括取代該所識別之複數個便箋之該複數個經分群之數位便箋之該輸入影像，以及在該圖形使用者介面之一第二部分上顯示該複數個經分群之數位便箋。
實例17：如實例16之裝置，其中該影像收集模組包括一經組態以擷取該輸入影像之一影像擷取裝置。
實例18：如實例15至17中任一項之裝置，其中該影像收集模組包括一經組態以接收該輸入影像之通訊介面。
實例19：如實例15至18中任一項之裝置，其中該通訊介面包括一經組態以接收該輸入影像之無線通訊裝置。
實例20：如實例15至19中任一項之裝置，其中該通訊介面包括一經組態以接收該輸入影像之有線通訊裝置。
實例21：如實例15至20中任一項之裝置，其中該影像處理引擎係進一步經組態以將該輸入影像中之該複數個所識別便箋之間之複數個距離與一臨限值作比較以判定該對應的複數個數位便箋之該一或多個群組，且其中高於該臨限值之該複數個距離指示該對應的複數個數位便箋屬於不同群組，且其中低於該臨限值之該距離指示該對應的複數個數位便箋屬於一共同群組。
實例22：如實例15至21中任一項之裝置，其中該影像處理引擎係進一步經組態以偵測該輸入影像中該複數個所識別便箋周圍之一圈以判定該對應的複數個數位便箋之該一或多個群組，其中在該所偵測圈內之該複數個所識別便箋指示該對應的複數個數位便箋屬於一共同群組，且其中在該一或多個所偵測圈外之該複數個所識別便箋指示該對應的複數個數位便箋屬於不同群組。
實例23：如實例15至22中任一項之裝置，其中該影像處理引擎係進一步經組態以偵測在該輸入影像中該複數個所識別便箋之間之一或多條線條以判定在該對應的複數個數位便箋之間的一階層順序。
實例24：如實例22至23中任一項之裝置，其中該一或多個所偵測圈及該一或多個所偵測線條包括由以下組成之一群組中之一或多者：一Post-it® Roll；以及Scotch®彩色膠帶。
實例25：如實例15至24中任一項之裝置，其中該一或多個群組之該指示進一步包括偵測在該輸入影像中該複數個所識別便箋之間之一或多個尺寸以判定在該對應的複數個數位便箋之間的一階層順序。
實例26：如實例25之裝置，其中該一或多個所偵測尺寸包括由以下組成之一群組中之一或多者：一Post-it®會議掛板；一Post-it®大型便利貼；以及一Post-it®便利貼。
實例27：如實例15至26中任一項之裝置，其中該影像處理引擎係進一步經組態以偵測在該輸入影像中該複數個所識別便箋之下之一模板以判定該對應的複數個數位便箋之該一或多個群組。
實例28：如實例27之裝置，其中該模板係一印刷模板，其中根據在該印刷模板上該複數個所識別便箋之位置將該對應的複數個數位便箋分群。
實例29：如實例28之裝置，其中該印刷模板包括一行事曆。
實例30：如實例28之裝置，其中該模板係一投影模板，其中根據在該投影模板上該複數個所識別便箋之該位置將該對應的複數個數位便箋分群。
實例31：如實例30之裝置，其中該投影模板包括一行事曆。
本揭露中所述的技術至少部分可在硬體、軟體、韌體、或任何其組合中實施。舉例來說，所述技術之各種態樣(包括所揭示之行動裝置15、16、雲端12、及/或電腦系統14)可予以在一或多個處理器中實施，包括一或多個微處理器、數位信號處理器(DSP)、特定應用積體電路(ASIC)、現場可程式化閘陣列(FPGA)、或任何其他均等之積體或離散邏輯電路系統、以及任何此類元件之組合。
可在相同裝置內或在不同裝置內實施此類硬體、軟體、以及韌體以支持本揭露中所述的各種技術。此外，可將任何所述單元、模組或元件一起或分開實施成離散但可交互運作之邏輯裝置。將不同特徵描述成模組或單元係意欲強調不同功能態樣，且不必然隱喻必須藉由不同硬體、韌體、或軟體元件才能實現此類模組或單元。反而，與一或多個模組或單元相關聯之功能可藉由不同硬體、韌體、或軟體元件予以執行，或予以整合於共同或不同的硬體、韌體、或軟體元件內。
亦可將本揭露中所述的技術體現或編碼於含有指令之電腦可讀取媒體中，例如暫時性或非暫時性電腦可讀取儲存媒體。嵌入或編碼於電腦可讀取媒體(包括電腦可讀取儲存媒體)之指令可使一或多個可程式化處理器、或其他處理器(如控制系統中所包括的一或多個處理器)實施本文中所述技術之一或多者，例如在藉由一或多個處理器執行電腦可讀取媒體中所包括或編碼之指令時。非暫時性電腦 可讀取儲存媒體可包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)，電子式可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、硬碟、光碟唯讀記憶體(CD-ROM)、軟碟、磁帶卡、磁性媒體、光學媒體、或其他電腦可讀取媒體。在某些實例中，製品可包含一或多個電腦可讀取儲存媒體。
已描述本揭露之各種實例。這些與其他實例都在下列申請專利範圍的範疇之內。

Claims (9)

  1. 一種建立並操作(manipulating)表示實體便箋的軟體便箋(software notes)之方法，其包含：以一運算裝置接收具有複數個實體便箋之一環境之一輸入影像；利用該運算裝置處理該輸入影像，以識別該輸入影像中之該複數個實體便箋；以該運算裝置產生複數個數位便箋，該複數個數位便箋對應於該輸入影像中所識別之該複數個實體便箋，其中該複數個數位便箋包括該輸入影像中之該複數個實體便箋所表示之資訊；藉由該運算裝置及基於該複數個實體便箋之間的距離與一臨限值(threshold value)比較，識別在該輸入影像中所識別之該複數個實體便箋之一或多個群組之一指示(indication)；以該運算裝置根據該一或多個群組之該指示將該複數個數位便箋分群(grouping)；以及以該運算裝置顯示該複數個數位便箋之該一或多個群組。
  2. 如請求項1之方法，其中該臨限值表示一絕對臨限距離或在相同群組內之便箋間之一距離相對於不同群組之便箋之一距離之一臨限比。
  3. 如請求項1至2中任一項之方法，其中識別該一或多個群組之該指示進一步包括偵測該輸入影像中該複數個所識別實體便箋周圍之一圈以判定該對應的複數個數位便箋之該一或多個群組，其中在該所偵測圈內之該複數個所識別實體便箋指示該對應的複數個數位便箋屬於一共同群組，且其中在該一或多個所偵測圈外之該複數個所識別實體便箋指示該對應的複數個數位便箋屬於不同群組。
  4. 如請求項1至2中任一項之方法，其中該一或多個群組之該指示進一步包括偵測在該輸入影像中該複數個所識別實體便箋之間之一或多條線條，以判定在該對應的複數個數位便箋之間的一階層順序。
  5. 一種電腦系統，其經組態以執行如請求項1至4中任一項之方法。
  6. 一種非暫時性電腦可讀取媒體，其包含用於使一可程式化處理器執行如請求項1至4中任一項之方法之指令。
  7. 一種運算裝置，其包含：一處理器；一影像收集模組，其可在該處理器上執行並經組態以接收具有複數個實體便箋之一環境之一輸入影像；以及一影像處理引擎，其可在該處理器上執行並經組態以識別在該輸入影像中之該複數個實體便箋，且對該等實體便箋之每一者，產生一對應數位便箋，其中該影像處理引擎係經組態以識別該輸入影像中該複數個所識別實體便箋之一或多個群組之一指示，且依據該指示，將該複數個數位便箋分群，其中該影像處理引擎經組態以顯示該輸入影像，該輸入影像包含在一圖像使用者介面的一第一部分上取代經識別的該複數個實體便箋之該複數個經分群的數位便箋，及在該圖像使用者介面的一第二部份上之該複數個經分群的數位便箋。
  8. 如請求項7之裝置，其中該影像處理引擎係進一步經組態以將該輸入影像中該複數個所識別實體便箋之間之複數個距離與一臨限值作比較，以判定該對應的複數個數位便箋之該一或多個群組，且其中高於該臨限值之該複數個距離指示該對應的複數個數位便箋屬於不同群組，且其中低於該臨限值之該距離指示該對應的複數個 數位便箋屬於一共同群組。
  9. 如請求項7或8之裝置，其中該影像處理引擎係進一步經組態以偵測該輸入影像中該複數個所識別實體便箋周圍之一圈以判定該對應的複數個數位便箋之該一或多個群組，其中在該所偵測圈內之該複數個所識別實體便箋指示該對應的複數個數位便箋屬於一共同群組，且其中在該一或多個所偵測圈外之該複數個所識別實體便箋指示該對應的複數個數位便箋屬於不同群組。
TW103135732A 2013-10-16 2014-10-15 建立並操作表示實體便箋的軟體便箋之方法、電腦系統、非暫時性電腦可讀取媒體及運算裝置 TWI643134B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361891647P 2013-10-16 2013-10-16
US61/891,647 2013-10-16

Publications (2)

Publication Number Publication Date
TW201531959A TW201531959A (zh) 2015-08-16
TWI643134B true TWI643134B (zh) 2018-12-01

Family

ID=52809731

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103135732A TWI643134B (zh) 2013-10-16 2014-10-15 建立並操作表示實體便箋的軟體便箋之方法、電腦系統、非暫時性電腦可讀取媒體及運算裝置

Country Status (4)

Country Link
US (2) US9047509B2 (zh)
EP (1) EP3058511A4 (zh)
TW (1) TWI643134B (zh)
WO (1) WO2015057778A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727357B2 (en) * 2019-07-31 2023-08-15 True Client Pro Data structures, graphical user interfaces, and computer-implemented processes for automation of project management
TWI651640B (zh) * 2013-10-16 2019-02-21 ３Ｍ新設資產公司 在使用者介面上組織數位便箋
US9888207B2 (en) 2014-03-17 2018-02-06 Microsoft Technology Licensing, Llc Automatic camera selection
US10284813B2 (en) 2014-03-17 2019-05-07 Microsoft Technology Licensing, Llc Automatic camera selection
US9749585B2 (en) * 2014-03-17 2017-08-29 Microsoft Technology Licensing, Llc Highlighting unread messages
US10178346B2 (en) 2014-03-17 2019-01-08 Microsoft Technology Licensing, Llc Highlighting unread messages
US10228775B2 (en) * 2016-01-22 2019-03-12 Microsoft Technology Licensing, Llc Cross application digital ink repository
US10713304B2 (en) * 2016-01-26 2020-07-14 International Business Machines Corporation Entity arrangement by shape input
US10248874B2 (en) * 2016-11-22 2019-04-02 Ford Global Technologies, Llc Brake light detection
US10635945B2 (en) 2018-06-28 2020-04-28 Schneider Electric Systems Usa, Inc. Machine learning analysis of piping and instrumentation diagrams
JP7356263B2 (ja) * 2019-05-29 2023-10-04 シャープ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
US11651332B2 (en) * 2020-04-28 2023-05-16 International Business Machines Corporation Distributed collaborative environment using physical notes
USD918944S1 (en) 2020-05-01 2021-05-11 3M Innovative Properties Company Display screen with transitional graphical user interface
US11907899B2 (en) * 2020-10-12 2024-02-20 Insight Direct Usa, Inc. Counting a number of objects in an image
CN112257712B (zh) * 2020-10-29 2024-02-27 湖南星汉数智科技有限公司 一种火车票图像摆正方法、装置、计算机装置及计算机可读存储介质
USD981449S1 (en) 2022-10-26 2023-03-21 Meta Platforms, Inc. Display screen or portion thereof with an animated graphical user interface
USD981450S1 (en) 2022-10-26 2023-03-21 Meta Platforms, Inc. Display screen or portion thereof with a graphical user interface

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200521859A (en) * 2003-12-19 2005-07-01 Constance Technology Co Ltd A system for displaying an original script uses a touch pad
TW200849109A (en) * 2007-02-15 2008-12-16 Stewart Carl Note capture device

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5898434A (en) 1991-05-15 1999-04-27 Apple Computer, Inc. User interface system having programmable user interface elements
US5465165A (en) 1991-06-11 1995-11-07 Canon Kabushiki Kaisha Image processing system
FR2681454B1 (fr) 1991-09-16 1995-08-18 Aerospatiale Procede et dispositif de traitement d'informations alphanumeriques et graphiques pour la constitution d'une banque de donnees.
US5583946A (en) * 1993-09-30 1996-12-10 Apple Computer, Inc. Method and apparatus for recognizing gestures on a computer system
US6650761B1 (en) 1999-05-19 2003-11-18 Digimarc Corporation Watermarked business cards and methods
EP1025517A1 (en) 1997-10-27 2000-08-09 Massachusetts Institute Of Technology Image search and retrieval system
US6351559B1 (en) 1998-12-22 2002-02-26 Matsushita Electric Corporation Of America User-enclosed region extraction from scanned document images
US7406214B2 (en) 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US7760905B2 (en) 1999-06-29 2010-07-20 Digimarc Corporation Wireless mobile phone with content processing
US7421285B1 (en) 1999-06-04 2008-09-02 Ip Holdings, Inc. Method for providing gastronomic information and instruction with an internet server using mobile communication or computing devices and intelligent appliances
EP1182861A3 (en) 2000-08-17 2003-04-16 Eastman Kodak Company Method, apparatus and system for organizing captured digital images
US7343415B2 (en) 2001-03-29 2008-03-11 3M Innovative Properties Company Display of software notes indicating that content from a content provider site is available for display
US7573598B2 (en) 2002-01-16 2009-08-11 Infoprint Solutions Company, Llc Method and apparatus for selectively copying documents with handwritten notations
US7072512B2 (en) 2002-07-23 2006-07-04 Microsoft Corporation Segmentation of digital video and images into continuous tone and palettized regions
US20040017400A1 (en) 2002-07-26 2004-01-29 Ly Eric Thichvi Method for project planning
US8429174B2 (en) 2003-01-25 2013-04-23 Purdue Research Foundation Methods, systems, and data structures for performing searches on three dimensional objects
US7992853B2 (en) 2003-06-07 2011-08-09 Opex Corporation Method and apparatus for processing mail to obtain image data of contents
US20050091578A1 (en) 2003-10-24 2005-04-28 Microsoft Corporation Electronic sticky notes
US7561310B2 (en) 2003-12-17 2009-07-14 Market Hatch Co., Inc. Method and apparatus for digital scanning and archiving
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
JP2006059075A (ja) 2004-08-19 2006-03-02 Fuji Xerox Co Ltd 文書処理装置およびプログラム
US20060077468A1 (en) 2004-10-12 2006-04-13 Xerox Corporation System and method for smart color halftoning
JP4895340B2 (ja) 2005-03-31 2012-03-14 キヤノン株式会社 情報処理装置およびその方法
US8732570B2 (en) 2005-09-08 2014-05-20 Ricoh Co. Ltd. Non-symbolic data system for the automated completion of forms
US8024653B2 (en) 2005-11-14 2011-09-20 Make Sence, Inc. Techniques for creating computer generated notes
US20110285123A1 (en) 2006-01-23 2011-11-24 Cynthia Sue Hasko Wittke Pre-Printed Sticky Notes and Methods of Use
US7471209B2 (en) 2006-02-02 2008-12-30 Intuit Inc. RFID whiteboard
JP4663013B2 (ja) 2006-06-29 2011-03-30 富士通株式会社 色類別方法、色認識方法及び色認識装置
EP2178031B1 (en) 2006-07-19 2013-01-09 B-Core Inc. Optical code recognition apparatus, optical code and recognition method.
US7873213B2 (en) 2006-09-26 2011-01-18 Sharp Laboratories Of America, Inc. Systems and methods for color-deficient image enhancement
AU2006252025B2 (en) 2006-12-13 2012-10-04 Canon Kabushiki Kaisha Recognition of parameterised shapes from document images
JP2009020813A (ja) 2007-07-13 2009-01-29 Three M Innovative Properties Co タグおよびそれを用いた物品認識システム
CN101809631B (zh) 2007-09-27 2012-07-25 光荣株式会社 纸张处理装置
US20090086269A1 (en) 2007-09-28 2009-04-02 Kyocera Mita Corporation Image Forming Apparatus and Image Forming System
US8069173B2 (en) 2007-11-12 2011-11-29 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same, information processing method, and computer program
WO2009072466A1 (ja) * 2007-12-03 2009-06-11 National University Corporation Hokkaido University 画像分類装置および画像分類プログラム
JP5129648B2 (ja) 2008-05-13 2013-01-30 株式会社Ｐｆｕ 画像読取装置およびマーク検出方法
US8543926B2 (en) 2008-06-10 2013-09-24 Microsoft Corporation Managing item access in a collaborative workspace
US9191238B2 (en) 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8070061B2 (en) 2008-10-21 2011-12-06 Habraken G Wouter Card credential method and system
US8096477B2 (en) 2009-01-27 2012-01-17 Catch, Inc. Semantic note taking system
WO2011004612A1 (ja) 2009-07-10 2011-01-13 パナソニック株式会社 マーカ表示制御装置、集積回路、及び、マーカ表示制御方法
JP5212334B2 (ja) 2009-10-22 2013-06-19 コニカミノルタホールディングス株式会社 会議支援システム
EP2323069A2 (en) 2009-11-17 2011-05-18 Samsung Electronics Co., Ltd. Method, device and system for content based image categorization field
WO2011090486A1 (en) 2010-01-22 2011-07-28 Hewlett-Packard Development Company, L.P. I/o control systems and methods
US8558913B2 (en) 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
US8600167B2 (en) 2010-05-21 2013-12-03 Hand Held Products, Inc. System for capturing a document in an image signal
US9406132B2 (en) 2010-07-16 2016-08-02 Qualcomm Incorporated Vision-based quality metric for three dimensional video
US8542889B2 (en) 2010-10-19 2013-09-24 Apple Inc. Systems, methods, and computer-readable media for capturing a signature for use in a document
WO2012070930A1 (en) 2010-11-24 2012-05-31 Greenflower Intercode Holding B.V. User -friendly method and system for compiling a unique sample code for a digital sample with the help of a user - interface
US9858552B2 (en) 2011-06-15 2018-01-02 Sap Ag Systems and methods for augmenting physical media from multiple locations
US8917412B2 (en) 2011-06-16 2014-12-23 Ricoh Company, Ltd. System, apparatus and method for consumption management
US8380040B2 (en) 2011-07-18 2013-02-19 Fuji Xerox Co., Ltd. Systems and methods of capturing and organizing annotated content on a mobile device
US8935265B2 (en) 2011-08-30 2015-01-13 Abbyy Development Llc Document journaling
US8655068B1 (en) 2011-10-07 2014-02-18 LI Creative Technologies, Inc. Color correction system
CN104145474A (zh) 2011-12-07 2014-11-12 英特尔公司 引导式图像拍摄
JP5783031B2 (ja) 2011-12-22 2015-09-24 コニカミノルタ株式会社 画像形成システム及びプログラム
US20130227476A1 (en) 2012-02-24 2013-08-29 Nokia Corporation Method, apparatus and computer program product for management of information on a graphic user interface
US20130258122A1 (en) 2012-03-27 2013-10-03 Research In Motion Limited Method and device for motion enhanced image capture
US8687104B2 (en) 2012-03-27 2014-04-01 Amazon Technologies, Inc. User-guided object identification
US10681304B2 (en) 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
US8953876B2 (en) 2012-08-22 2015-02-10 Facebook, Inc. Creation of a color profile of an image
WO2014152997A2 (en) 2013-03-14 2014-09-25 Sticky Storm, LLC Software-based tool for digital idea collection, organization, and collaboration
EP2981932B1 (en) * 2013-04-02 2018-11-14 3M Innovative Properties Company Systems and methods for note recognition
US9563696B2 (en) * 2013-04-02 2017-02-07 3M Innovative Properties Company Systems and methods for managing notes
US20140331187A1 (en) * 2013-05-03 2014-11-06 Barnesandnoble.Com Llc Grouping objects on a computing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200521859A (en) * 2003-12-19 2005-07-01 Constance Technology Co Ltd A system for displaying an original script uses a touch pad
TW200849109A (en) * 2007-02-15 2008-12-16 Stewart Carl Note capture device

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Tele-Board: Enabling Efficient Collaboration In Digital Design Spaces" by Raja Gumienny etc. 2011/06/08
"The Designers'Outpost:A Tangible interface for Collaborative Web Site Design" by Mark W. Newman etc. 2001/11/11
"The Designers'Outpost:A Tangible interface for Collaborative Web Site Design" by Mark W. Newman etc. 2001/11/11 "Tele-Board: Enabling Efficient Collaboration In Digital Design Spaces" by Raja Gumienny etc. 2011/06/08 *

Also Published As

Publication number Publication date
US20150213310A1 (en) 2015-07-30
WO2015057778A1 (en) 2015-04-23
EP3058511A1 (en) 2016-08-24
TW201531959A (zh) 2015-08-16
US9047509B2 (en) 2015-06-02
US9600718B2 (en) 2017-03-21
US20150104107A1 (en) 2015-04-16
EP3058511A4 (en) 2017-11-08

Similar Documents

Publication Publication Date Title
TWI643134B (zh) 建立並操作表示實體便箋的軟體便箋之方法、電腦系統、非暫時性電腦可讀取媒體及運算裝置
TWI638273B (zh) 用於重疊實體便箋之便箋辨識
TWI653571B (zh) 用於處理數位便箋之方法、電腦系統、非暫時性電腦可讀取媒體及計算裝置
US10698560B2 (en) Organizing digital notes on a user interface
US10325389B2 (en) Editing digital notes representing physical notes
TWI659354B (zh) 具有處理器之運算裝置及在其上實施擷取及辨識便箋之方法
TWI637325B (zh) 使用多顏色通道無記號偵測之便箋辨識與管理
TW201546699A (zh) 運用使用者介面上之提示的便箋擷取、辨識及管理
TWI691854B (zh) 用於建立及操作軟體便箋之方法及運算裝置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees