TWI638273B - 用於重疊實體便箋之便箋辨識 - Google Patents

用於重疊實體便箋之便箋辨識 Download PDF

Info

Publication number
TWI638273B
TWI638273B TW103135757A TW103135757A TWI638273B TW I638273 B TWI638273 B TW I638273B TW 103135757 A TW103135757 A TW 103135757A TW 103135757 A TW103135757 A TW 103135757A TW I638273 B TWI638273 B TW I638273B
Authority
TW
Taiwan
Prior art keywords
notes
input image
note
overlapping
physical
Prior art date
Application number
TW103135757A
Other languages
English (en)
Other versions
TW201528008A (zh
Inventor
古魯帕賽德 索瑪桑德朗
克莉絲汀 艾琳 摩倫
瑞維尚克 席維林根
理查 詹姆士 摩爾
大衛 毛利斯 瑪里
波吐斯 艾利森
麥克 洛斯典
羅蘭 普瑞森
Original Assignee
３Ｍ新設資產公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ３Ｍ新設資產公司 filed Critical ３Ｍ新設資產公司
Publication of TW201528008A publication Critical patent/TW201528008A/zh
Application granted granted Critical
Publication of TWI638273B publication Critical patent/TWI638273B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/08—Annexed information, e.g. attachments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H04L51/066—Format adaptation, e.g. format conversion or compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文揭示用於建立並操作表示實體便箋之軟體便箋的技術。一種運算裝置包括處理器、影像收集模組(係藉由處理器執行並組態以接收具有複數個重疊實體便箋之環境的輸入影像)、以及影像處理引擎(係藉由處理器執行並組態成利用運算裝置處理輸入影像以識別輸入影像中之複數個重疊實體便箋)。影像處理引擎測定輸入影像中複數個重疊實體便箋中各便箋之邊界，並且產生複數個對應於輸入影像中所識別各重疊實體便箋已測定邊界之數位便箋。

Description

用於重疊實體便箋之便箋辨識
本揭露係關於便箋內容擷取、辨識、提取及/或管理的工具與系統。
本申請案主張2013年10月16日所申請美國臨時申請案第61/891,444號之優先權，該文獻的全部內容以引用方式併入本文中。
紙質便箋(note)已廣泛運用於記錄、分享、以及溝通意見與資訊。舉例來說，在協作會議期間(例如，腦力激盪會議)，參與者將意見寫在Post-It®便利貼、白板或紙上，然後彼此分享。此外，人們從早到晚經常用便箋來記下想記的資訊或內容。又例如，人們常會使用便箋作為提醒將來的活動或事情，諸如撥一通電話、修訂一份文件或是填寫時間表。
舉例來說，在許多情況下，參與協作會議的人們會將資訊寫在紙質便箋上，例如Post-it®便利貼。紙質Post-it®便利貼可方便從一背膠紙質Post-it®便利貼的便條本(dispenser pad)移開，並貼至各種表面，諸如白板、文件、桌面、電話或類似物。可在紙質Post-it®便利貼自其便條本取下或貼至其目標表面之前或之後，將資訊 寫在紙質Post-it®便利貼。紙質Post-it®便利貼可輕易從一表面移至另一表面，諸如在文件之間或是在文件與桌面之間，便利貼可覆疊文件的邊緣或邊界、可分層，而且也可連同便利貼所貼至的物件一起移動。
現有的軟體程式允許電腦使用者以數位形式產生軟體式的便箋，並且在運算環境裡使用數位便箋。舉例來說，電腦使用者可建立數位便箋並將其「貼」至電子文件、桌面、或是電腦環境所呈現的電子工作空間。電腦使用者可使用便箋，容許建立、刪除、編輯、儲存、以及選擇性檢視便箋。電腦使用者可在文件裡、或在文件及/或桌面之間移動便箋，該便箋係自文件裁剪下來儲存於剪貼簿，接著將便箋貼至相同文件的另一區或不同文件。按照這種方式，軟體程式提供便箋的虛擬表像，並且容許個人以類似於其可能使用之實體便箋的方式使用數位便箋。
一般而言，本揭露描述用於建立並操作實體便箋之軟體便箋表像的技術。
在一個實例中，一種方法包含藉由運算裝置接收具有複數個重疊實體便箋之環境的輸入影像、利用運算裝置處理輸入影像以識別輸入影像中之各重疊實體便箋、藉由運算裝置測定輸入影像中各重疊實體便箋之邊界、以及藉由運算裝置產生對應於輸入影像所識別各重疊實體便箋已測定邊界之複數個數位便箋。
在另一實例中，非暫時性電腦可讀取的媒體包含指令(用以使可程式化處理器藉由運算裝置接收具有複數個重疊實體便箋的環境輸入影像)、利用運算裝置處理輸入影像以識別輸入影像中之各重疊實體便箋(包括測定輸入影像中各重疊實體便箋之邊界)以及複數個數位便箋(藉由運算裝置對應於輸入影像中所識別各重疊實體便箋已測定之邊界所產生的)。
在另一實例中，運算裝置包含處理器、影像收集模組(係藉由處理器執行並組態成用以接收具有複數個重疊實體便箋之環境的輸入影像)、以及影像處理引擎，係藉由處理器執行並組態成利用運算裝置處理輸入影像以識別輸入影像中之複數個重疊實體便箋、測定輸入影像裡複數個重疊實體便箋中各便箋之邊界，以及產生對應於輸入影像中所識別各重疊實體便箋已測定邊界之複數個數位便箋。
在另一實例中，一種方法包含藉由運算裝置接收具有複數個實體便箋的環境的輸入影像、經由圖形使用者介面藉由運算裝置顯示輸入影像(包括記號偵測控制)，以及藉由運算裝置接收使用者輸入用以致能或禁能記號偵測控制，回應使用者致能記號偵測控制之選擇，藉由運算裝置處理輸入影像(利用記號型偵測模組以識別輸入影像之複數個實體便箋)，其中記號型偵測模組偵測各實體便箋相關聯之一或多個基準件(fiducial)記號(其表示各自實體便箋之尺寸及形狀)，回應使用者禁能記號偵測控制之選擇，藉由運算裝置處理輸入影像(利用非記號式偵測模組來識別輸入影像中之複數個實體便箋)、以及藉由運算裝置產生對應於輸入影像中所識別複數個便箋之 複數個數位便箋，其中該等複數個數位便箋包括由輸入影像中之複數個便箋所表示之訊息。
在另一實例中，運算裝置包含處理器、影像收集模組(在處理器上執行，並係組態成用以接收具有複數個實體便箋的環境之輸入影像)、影像處理引擎(在處理器上執行，並係組態成用以識別影像收集模組所接收輸入影像中之複數個便箋，且產生對應於輸入影像中所識別複數個便箋之複數個數位便箋)、以及使用者介面模組(在處理器上執行，並為了顯示而經組態以輸出輸入影像，此輸入影像包括圖形使用者介面第一部分上之記號偵測控制與複數個數位便箋、以及圖形使用者介面第二部分上之複數個數位便箋)，其中影像處理引擎係回應使用者致能記號偵測控制之選擇，組態成用以處理輸入影像(利用記號型偵測模組識別輸入影像中之複數個實體便箋)，其中記號型偵測模組偵測與各實體便箋相關聯之一或多個基準件記號(其表示各自實體便箋之尺寸及形狀)，其中影像處理引擎係回應使用者禁能記號偵測控制之選擇，組態成用以處理輸入影像(利用非記號式偵測模組識別輸入影像中之複數個實體便箋)。
在另一實例中，一種方法包含藉由運算裝置接收具有複數個實質相鄰實體便箋之環境的輸入影像。本方法進一步包含利用運算裝置處理輸入影像識別輸入影像中之各實質相鄰實體便箋，並且回應測定輸入影像之複數個實質相鄰實體便箋包含實質類似之背景及有別於背景之邊框顏色，應用顏色程序來將實質相鄰的實體便箋分段。 本方法包括藉由運算裝置產生對應於已分段的實質相鄰實體便箋之複數個已分段數位便箋。
以下在附圖及說明中提出本揭露之一或多項實例之細節。從說明與圖式以及申請專利範圍中將明白本揭露之其他特徵、目的與優點。
10‧‧‧便箋辨識環境
12‧‧‧雲端伺服器
14‧‧‧電腦系統
15‧‧‧行動裝置
16‧‧‧行動裝置
18‧‧‧影像擷取裝置
20‧‧‧工作空間
22‧‧‧便箋
24‧‧‧輸入影像
26‧‧‧使用者
28‧‧‧演示裝置
64‧‧‧作業系統
68‧‧‧資料儲存裝置
70‧‧‧處理器
72‧‧‧傳輸器
74‧‧‧接收器
76‧‧‧I/O
77‧‧‧使用者應用程式
78‧‧‧便箋管理應用程式
79‧‧‧圖形使用者介面
82‧‧‧影像處理引擎
86‧‧‧便箋識別模組
88‧‧‧數位便箋產生模組
90‧‧‧影像通訊模組
94‧‧‧資料庫
95‧‧‧影像處理應用程式介面
96‧‧‧影像編輯器
97‧‧‧影像
98‧‧‧使用者介面
99‧‧‧數位便箋
100‧‧‧便箋辨識程序
102‧‧‧步驟
104‧‧‧步驟
106‧‧‧步驟
108‧‧‧步驟
110‧‧‧步驟
120‧‧‧便箋辨識技術
122‧‧‧顏色辨識
123‧‧‧形狀辨識演算法
124‧‧‧圖型辨識演算法
125‧‧‧便箋
126‧‧‧便箋
127‧‧‧便箋
128‧‧‧便箋
130‧‧‧便箋辨識程序
132‧‧‧步驟
134‧‧‧步驟
136‧‧‧步驟
138‧‧‧步驟
200‧‧‧技術
202B‧‧‧便箋之邊界
204B‧‧‧便箋之邊界
206B‧‧‧便箋之邊界
210‧‧‧技術
211‧‧‧便箋
212‧‧‧便箋
213‧‧‧便箋
214‧‧‧便箋
215‧‧‧便箋
216‧‧‧便箋
217‧‧‧便箋
220‧‧‧技術
221‧‧‧便箋
222‧‧‧便箋
223‧‧‧便箋
224‧‧‧便箋
230‧‧‧技術
231‧‧‧便箋
232‧‧‧便箋
300‧‧‧技術
302A‧‧‧重疊便箋
302B‧‧‧重疊便箋
302C‧‧‧重疊便箋
302D‧‧‧塊面
304‧‧‧關聯模板
304A‧‧‧關聯轉角
306‧‧‧關聯模板
306C‧‧‧關聯轉角
308‧‧‧關聯模板
308B‧‧‧關聯轉角
308C‧‧‧關聯轉角
310‧‧‧關聯模板
310A‧‧‧關聯轉角
310B‧‧‧關聯轉角
311‧‧‧標記
312A‧‧‧區段
312B‧‧‧區段
312C‧‧‧區段
314‧‧‧尖峰
320‧‧‧步驟
322‧‧‧步驟
324‧‧‧步驟
326‧‧‧步驟
328‧‧‧步驟
330‧‧‧步驟
332‧‧‧步驟
400‧‧‧圖形使用者介面
402‧‧‧記號偵測控制
404‧‧‧標記
406‧‧‧記號偵測控制
500‧‧‧圖形使用者介面
502‧‧‧第一部分(區域)
504‧‧‧第二部分(區域)
506‧‧‧數位便箋
507‧‧‧數位便箋
508‧‧‧刪除
510‧‧‧使用者介面
512‧‧‧第一部分(區域)
514‧‧‧第二部分(區域)
516‧‧‧數位便箋
518‧‧‧數位便箋
530‧‧‧程序
532‧‧‧步驟
534‧‧‧步驟
536‧‧‧步驟
538‧‧‧步驟
540‧‧‧步驟
542‧‧‧步驟
544‧‧‧步驟
600‧‧‧技術
602‧‧‧距離
604‧‧‧便箋
610‧‧‧技術
612‧‧‧環路
614‧‧‧便箋
620‧‧‧技術
622‧‧‧線條
624‧‧‧便箋
圖1係一代表圖，其說明一使用者使用一行動裝置上之影像擷取裝置擷取具有便箋之工作空間之影像的一個實例。
圖2係一方塊圖，其繪示行動裝置之一實例。
圖3係一方塊圖，其繪示用以處理輸入影像之使用者應用程式之一實例。
圖4係一流程圖，其繪示用於將實體便箋轉換成數位便箋並將數位便箋儲存於資料儲存裝置之技術之一實例。
圖5係一方塊圖，其繪示便箋辨識技術之一實例，此便箋辨識技術可使用多個便箋辨識模組以辨識便箋並提取便箋的內容。
圖6A及圖6B係一流程圖，其繪示便箋辨識技術之另一實例。
圖7A至圖7D係示意圖，其等繪示便箋重疊於另一便箋之邊界之實例。
圖8A及圖8B係繪示一技術之一實例之示意圖，此技術係用於以重疊便箋之不同顏色為基礎偵測重疊便箋並予以分段、以及提取一組內容作為便箋區段。
圖9A及圖9B係繪示一技術之另一實例之示意圖，此技術係用於以重疊便箋之不同顏色為基礎偵測重疊便箋並予以分段、以及提取一組內容作為便箋區段。
圖10係繪示一技術之另一實例之示意圖，此技術係用於以重疊便箋之不同顏色為基礎偵測重疊便箋並予以分段、以及提取一組內容作為便箋區段。
圖11係繪示一技術之另一實例之示意圖，此技術係用於以重疊便箋之不同顏色為基礎偵測重疊便箋並予以分段、以及提取一組內容作為便箋區段。
圖12A至圖12F及圖13係繪示一例示性技術之例示性態樣之示意圖，此例示性技術係用於在便箋顏色相同時將複數個重疊便箋分段，並且提取一組內容作為便箋區段。
圖14係一流程圖，其繪示圖12A至圖12F及圖13所繪示之例示性技術。
圖15及圖16繪示一藉由圖形使用者介面覆疊於影像上之一記號偵測切換的實例。
圖17及圖18繪示從圖形使用者介面之一或多個部分選取並移除數位便箋之一實例。
圖19及圖20繪示從圖形使用者介面之一部分選取數位便箋並予以新增至圖形使用者介面之第二部分之一實例。
圖21係一流程圖，其繪示用於透過圖形使用者介面選取、分群，並顯示數位便箋之一例示性技術。
圖22係一示意圖，其繪示用於偵測一數位便箋群組，並透過圖形使用者介面顯示已分群數位便箋之一例示性技術。
圖23係一示意圖，其繪示用於偵測一數位便箋群組，並透過圖形使用者介面顯示已分群數位便箋之另一例示性技術。
圖24係一示意圖，其繪示用於偵測數位便箋的階層順序，並透過圖形使用者介面按順序顯示數位便箋之一例示性技術。
本揭露描述用於建立並操作代表實體便箋之軟體便箋的技術。舉例來說，所述的技術係用於辨識在一實體環境內存在的實體便箋，自實體便箋擷取資訊並建立該等實體便箋的對應數位表示，在本文中稱之為數位便箋或以軟體為基礎的便箋。此外，本揭露之至少某些態樣係關於用於管理多個便箋的技術，諸如儲存、取得、編輯該等數位便箋，分類並分群該等數位便箋，或類似技術。
一般而言，便箋可包括實體便箋及數位便箋。實體便箋一般是指具有一般邊界及可辨識內容之實體物件。實體便箋可包括人們書寫、繪圖或藉由其他輸入類型所造成的物件，例如紙、白板，或其他可接受該等輸入的物件。舉例來說，實體便箋可包括手寫Post-It®便利貼、紙、或投影片，具有圖畫、海報、與標誌的白板。在某些情況中，可用數位技術產生實體便箋，例如在可列印Post-It®便利貼或列印文件上列印。在某些情況中，一物件可包括數個實體便箋。舉例來說，可將數個意見寫在單張海報紙或白板的不同區域上。在某些實施例中，為促進辨識這些便箋，可將標記(例如線條、形狀、顏 色、符號、記號或貼紙)應用至便箋的邊緣。實體便箋可以是二維或三維。實體便箋可具有不同形狀及尺寸。舉例來說，實體便箋可以是7.62×7.62cm(3×3吋)便箋；實體便箋可以是66.04×99.06cm(26×39吋)海報；以及實體便箋可以是三角形金屬標誌。在某些情況中，實體便箋具有已知形狀及/或尺寸。在某些情況中，實體便箋可具有符合標準(例如legal、A3、A4)以及其他尺寸標準的已知形狀及/或尺寸，並且已知形狀可不限於幾何形狀，例如星形、圓形、矩形，或類似形狀。在其他情況中，實體便箋可具有非標準尺寸及/或不規則形狀。
數位便箋一般是指具有資訊及/或意見的數位物件。可使用數位輸入產生數位便箋。數位輸入可包括(例如)鍵盤、觸控螢幕、數位相機、數位錄製裝置、觸控筆、數位筆，或類似物。在某些情況中，數位便箋可為實體便箋之表示。
在某些情況中，數位便箋可表示協作空間中使用的實體便箋。協作空間一般係指容許超過一人進行諸如互相分享意見及想法之類腦力激盪的一聚會區。除聚會區外，協作空間也可表示虛擬空間，容許一群人進行諸如遠端分享意見及想法之類的腦力激盪。協作空間可稱為工作空間、或類似者。
圖1繪示一便箋辨識環境10之一實例。在圖1的實例中，環境10包括一行動裝置15，用來從一工作空間20擷取並辨識一或多個便箋22。如本文中所述，行動裝置15為一或多個軟體應用程式提供一執行環境，如所述，其可有效地從大量實體便箋(例如從工 作空間20收集到的便箋22)擷取並提取便箋內容。在此實例中，便箋22可以是具有多位參與者之協作腦力激盪會議的結果。如所述，行動裝置15及其所執行的軟體可實現多種便箋相關操作，包括自動建立表示工作空間20之實體便箋22的數位便箋。
在某些實例中，工作空間20之複數個實體便箋22可包含顏色不同之便箋。在其他實例中，工作空間20之複數個實體便箋22可包含至少一包括基準標記之便箋，此基準標記係例如便箋右上角及左下角的標記。在其他實例中，工作空間20之複數個實體便箋22可包含至少一便箋，其具有一用於便箋主體之顏色及另一用於便箋邊線之顏色。在其他實例中，出自工作空間20之複數個實體便箋22的便箋可配置成令其重疊，例如配置成堆疊型重疊關係。在其他實例中，出自工作空間20之複數個實體便箋22的便箋可相鄰配置。
在此實例性實施方案中，行動裝置15包括(除了其他元件之外)影像擷取裝置18及一演示裝置28。此外，雖然圖1並未顯示，行動裝置15可包括一或多個處理器、微處理器、內部記憶體及/或資料儲存裝置以及其他電路，用來執行軟體或韌體以提供本文所述的功能。
一般而言，影像擷取裝置18是一相機或其他元件，其經組態以擷取表示工作空間20及置於其內的便箋22之影像資料。換句話說，影像資料擷取一環境(例如工作空間20)的視覺表示，其具有複數個視覺便箋。雖然是當作行動裝置15的相機討論，影像擷取裝置18可包含能夠擷取影像資料的其他元件，例如錄影機、紅外線相 機、CCD(電荷耦合裝置)陣列、雷射掃描器，或類似物。此外，擷取影像資料可包括至少影像、視訊、一連串的影像(即在一時段內及/或以一順序拍攝的多個影像)、大量的影像，或類似物，且輸入影像一詞是用來指稱各種影像資料的實例。
演示裝置28可包括(但不限於)電子式可定址顯示器，例如一液晶顯示器(LCD)或用於與行動裝置28一起使用的其他類型顯示裝置。在某些實施方案中，行動裝置15產生要以各種格式在演示裝置28上顯示內容，例如，以行及/或列分組的清單、流程圖，或類似物。在某些情況中，行動裝置15可傳達顯示資訊以供其他裝置呈現，例如平板電腦、投影機、電子看板，或其他外部裝置。
如本文所述，行動裝置15以及在其上執行的軟體，提供用於建立並操作表示實體便箋22之數位便箋之一平台。舉例來說，一般而言，行動裝置15經組態以處理由影像擷取裝置18所產生的影像資料，以偵測並辨識置於工作空間20內的實體便箋22之至少一者。在某些實例中，行動裝置15經組態以辨識便箋，此係藉由判定該(等)便箋之一般邊界。行動裝置15在辨識便箋之後，提取一或多個便箋之至少一者之內容，其中該內容係便箋22之視覺資訊。如後文詳述，行動裝置15可實應用於自動偵測及辨識實體便箋22並且提取與各實體便箋相關聯之資訊、內容或其他特性的技術。舉例來說，行動裝置15可容許使用者26微調控制行動裝置15所用以偵測並辨識實體便箋22的技術。舉一實例，行動裝置15可容許使用者26在記號式偵 測技術(一或多個便箋22在其中於便箋表面上包括實體基標)或非記號式技術(未在其中使用基標)之間選擇。
此外，行動裝置15為使用者26提供一改進的電子環境，用於產生並操作表示實體便箋22之對應數位便箋，包括移除便箋中之背景或其他影像相關人造為物。另舉一例，行動裝置15可具有允許使用者26對一組數位便箋輕易地增加及/或刪除數位便箋的機制，代表了與工作空間20相關的腦力激盪活動。在某些實例性實施方案中，行動裝置15提供功能，藉此使用者26能夠記錄並管理多群組便箋22之間的關係。
在某些實例性實施方案中，行動裝置15提供功能，藉此使用者26能將數位便箋匯出至其他系統，例如以雲端為基礎的儲存庫(例如，雲端伺服器12)或其他運算裝置(例如，電腦系統14或行動裝置16)。
在圖1的實例中，行動裝置15繪製為一行動電話。不過，在其他實例中，行動裝置15可以是一平板電腦、個人數位助理(PDA)、膝上型電腦、媒體播放器、電子書閱讀器、穿戴運算裝置(例如，手錶、眼鏡、手套)，或適合用於執行本文所述技術的任何其他類型的可移動或不可移動運算裝置。
圖2繪示一方塊圖，其說明依據本文所述技術操作之一行動裝置的實例。為舉例之目的，會參照圖1之行動裝置15描述圖2的行動裝置。
在此實例中，行動裝置15包括各種硬體元件，該等硬體元件提供用於該裝置之操作的核心功能。例如，行動裝置15包括一或多個可程式化處理器70，其經組態以依據可執行指令(即，程式碼)操作，通常是儲存在一電腦可讀取媒體或資料儲存裝置68中，諸如靜態隨機存取記憶體(SRAM)裝置或快閃記憶體裝置。I/O 76可包括一或多個裝置，諸如一鍵盤、相機鍵、電源按鈕、音量按鈕、首頁按鈕、返回按鈕、選單按鈕，或如圖1所述的演示裝置28。傳輸器72及接收器74經由如圖1所述的一無線通訊介面(例如但不限於高頻射頻(RF)信號)提供與其他裝置(諸如雲端伺服器12、電腦系統14，或如圖1所述的其他行動裝置16)的無線通訊。行動裝置15可包括額外的離散數位邏輯或類比電路，未顯示於圖2中。
一般而言，作業系統64在處理器70上執行並提供用於一或多個使用者應用程式77(通常稱為「app」)之一作業環境，包括便箋管理應用程式78。例如，使用者應用程式77包含儲存在電腦可讀儲存裝置內(例如，資料儲存裝置68)的可執行程式碼以供處理器70執行。另舉其他實例，使用者應用程式77可包含韌體或在某些實例中可實施在離散邏輯中。
操作時，行動裝置15接收輸入影像資料並依據本文所述的技術處理該輸入影像資料。例如，影像擷取裝置18可擷取具有複數個便箋之環境的一輸入影像，例如圖1之具有便箋22的工作空間20。另舉一例，行動裝置15可經由接收器74從外部來源(諸如雲端伺服器15、電腦系統14，或行動裝置16)接收影像資料。一般而 言，行動裝置15儲存影像資料於資料儲存裝置68中，以供便箋管理應用程式78及/或其他使用者應用程式77存取並處理。
如圖2所示，使用者應用程式77可引動作業系統64的核心功能，以輸出一圖形使用者介面(GUI)79，用於呈現資訊給一行動裝置的使用者。如後文詳述，便箋管理應用程式78可建構並控制GUI 79，以提供一改進的電子環境，用於產生並操作表示實體便箋22的對應數位便箋。例如，便箋管理應用程式78可建構GUI 79以包括一機制，該機制允許使用者26對從影像資料所辨識出經定義的組數位便箋，輕易地增加及/或刪除數位便箋。在某些實例性實施方案中，便箋管理應用程式78提供功能，藉此使用者26能夠藉由GUI 79記錄並管理數位便箋群組之間的關係。
圖3係一方塊圖，其繪示依據本文所述技術操作之便箋管理應用程式78的一個例示性實施方案。雖然所述為在一行動裝置15上執行的一使用者應用程式77，本文所述實例可被實施在任何運算裝置上，諸如雲端伺服器12、電腦系統14，或其他行動裝置。
在此實例中，使用者應用程式78包括影像處理引擎82，其提供影像處理及物件辨識功能。影像處理引擎82可包括影像通訊模組90、便箋識別模組86以及數位便箋產生模組88。此外，影像處理引擎82包括影像處理應用程式介面(API)95，其提供一影像操作功能函式庫，例如影像定限(thresholding)、遮罩、過濾、邊緣偵測及類似功能，供影像處理引擎82的其他元件使用。
一般而言，可在資料儲存裝置68中儲存影像資料。在此實例中，便箋管理應用程式78將影像97儲存在資料儲存裝置68內。各影像97可包含針對具有複數個實體影像之環境(例如圖1的工作空間20)的像素資料。
如本文中所述，便箋識別模組86處理影像97並識別(即，辨識)在影像中的複數個實體便箋。可由便箋識別模組86使用記號及/或非記號偵測程序來處理輸入影像。數位便箋產生模組88產生對應於影像97中所辨識實體便箋之數位便箋99。舉例來說，各個數位便箋99對應於輸入影像97中所識別的實體便箋之一。在此程序期間，數位便箋產生模組88可更新資料庫94以包括數位便箋記錄，並且可將自如便箋識別模組86所偵測輸入影像內之實體便箋之邊界擷取的資訊(例如內容)儲存在資料庫中。此外，數位便箋產生模組88可將中繼資料儲存在資料庫94中，中繼資料使數位便箋相關聯而成為一或多群組數位便箋。
影像通訊模組90控制行動裝置15與外部裝置(例如雲端伺服器12、電腦系統14、行動裝置16，或影像擷取裝置18)之間的影像資料通訊。舉例來說，在某些實例中，影像通訊模組90可容許使用者傳達環境之已處理或未處理影像97及/或數位便箋，以及從其所提取的相關聯資訊，包括出自資料庫68的中繼資料。在某些實例中，影像通訊模組90匯出此資料至一壓縮檔，可藉由FTP、HTTP、電子郵件、藍牙或其他機制通訊。
在圖1的實例中，便箋管理應用程式78包括使用者介面98，其建構並控制GUI 79(圖2)。如後文所述，在某些實例中，使用者介面98可輸出以供顯示覆疊有複數個數位便箋99之一輸入影像97，其中各數位便箋覆疊在一對應實體便箋的位置。此外，使用者介面98可顯示已被使用者指定的一群組數位便箋99。舉例來說，此組數位便箋99可以係在一特殊輸入影像97中辨識的數位便箋子集。使用者介面98可在GUI 79的第二部分上顯示此指定群組(組)的數位便箋，並容許使用者26輕易從該指定群組增加或移出數位便箋99。
在某些例示性實施方案中，使用者介面98提供影像編輯器96，容許使用者編輯覆疊之影像及/或數位便箋。在另一實例中，數位便箋產生模組88可包括從輸入影像強化提取資訊之一或多個程序。
用於偵測並辨識實體便箋之便箋管理應用程式78的額外實例細節係描述於下列美國專利申請案中：於2013年7月9日申請的美國專利申請案第61/844140號，名稱為「使用顏色分類用於便箋辨識及管理的系統與方法」(SYSTEMS AND METHODS FOR NOTE RECOGNITION AND MANAGEMENT USING COLOR CLASSIFICATION)；於2013年7月9日申請的美國專利申請案第61/844152號，名稱為「使用分段便箋用於便箋內容提取及管理的系統與方法」(SYSTEMS AND METHODS FOR NOTE CONTENT EXTRACTION AND MANAGEMENT USING SEGMENTED NOTES)；以及於2013年7月9日申請的美國專利申請案第61/844176號，名稱為「藉由分段便箋而用於便箋內容提取及管理的系統與方法」(SYSTEMS AND METHODS FOR NOTE CONTENT EXTRACTION AND MANAGEMENT BY SEGMENTING NOTES)，該等申請案之各者的全部內容皆以引用方式併入本文中。
圖4係一流程圖，其繪示一便箋辨識程序100之實例，如可藉由行動裝置15之便箋管理應用程式78實施者。一開始，便箋管理應用程式78之便箋識別模組86透過影像獲取來擷取複數個便箋之輸入影像(102)。在某些實例中，便箋係實體便箋，而且一次擷取超過一個便箋更有效率。接下來，便箋識別模組86自輸入影像辨識複數個便箋中之一者(104)。舉例來說，便箋識別模組86可使用顏色偵測模組、形狀偵測模組、以及圖樣偵測模組來辨識便箋特徵，並且隨後測定便箋之一般邊界。
數位便箋產生模組86提取複數個便箋之一者的內容以建立子影像(106)。在某些實例中，數位便箋產生模組86可在提取內容之前，對至少部分輸入影像應用影像轉換。在某些其他實例中，數位便箋產生模組86可應用影像強化或另一影像處理技術(例如移除下層工作空間之背景或變更複數個便箋中各便箋之顏色)以改善所提取內容或子影像之品質(108)。在又其他實例中，數位便箋產生模組86可自所提取內容或子影像進一步辨識出文字及圖形。數位便箋產生模組86將強化之所提取內容或子影像儲存至行動裝置15之資料儲存裝置68，並且可將數位便箋傳達至雲端伺服器12或其他電腦系統14 (110)。此時，系統可建立表示所辨識實體便箋之一對應者的一各自數位便箋。系統可使從一給定實體便箋之視覺表示提取的內容與表示該實體便箋之對應數位便箋相關聯。可在行動裝置15之電腦可讀取儲存裝置內，儲存用於使可程式化處理器執行程序100之程式碼或其他可執行指令。
圖5係一流程圖，其繪示便箋辨識技術120之實例，便箋識別模組86可在其中使用多個偵測模組以辨識便箋並提取便箋之內容。在某些實例中，偵測模組可包括顏色偵測模組、形狀偵測模組、以及圖樣偵測模組。在一實例中，顏色偵測模組可使用諸如RGB(紅色、綠色及藍色)、LAB(例如Hunter 1948 L,a,b色彩空間、CIE 1976(L*,a*,b*)色彩空間)、CMYK(青、洋紅、黃及定位色(key)(黑色))、HSV(色相、飽和度及明度)等色彩空間(color space)，用於識別對應於便箋125、126、127、128之關注區域以進行顏色辨識122。在形狀偵測模組及圖樣偵測模組之其他實例中，便箋125、126、127、128係分別就其形狀並因存在由形狀辨識演算法123(例如霍夫轉換、形狀脈絡等)及圖樣辨識演算法124(例如支援向量機(support vector machine)、交互關聯(cross-correlation)、模板匹配(template matching)等)所偵測之獨特圖樣而予以進一步區別。這些演算法122、123、124可協助過濾出輸入影像中的非所要物件或便箋125、126、127、128之其他內容來源，並且僅留下那些對應於便箋125、126、127、128之關注區域。在另一實例中，電腦系統可經組態以執行任何變化形式之技術120。在另一實例中，含有用於供可 程式化處理器執行之指令的非暫時性電腦可讀取媒體可執行任何變化形式之技術120。
圖6A及圖6B同為一繪示便箋辨識程序130之另一實例之流程圖。一開始，程序130透過如圖1至圖3所述之影像獲取，擷取輸入影像，例如腦力激盪會議20之複數個便箋22之輸入影像24(132)。在某些實例中，便箋係實體便箋，而且一次擷取超過一個便箋更有效率。接下來，程序130從輸入影像辨識出如圖1所述的複數個便箋22中使用者(諸如圖1之使用者26)可選擇之一或多個便箋(134)。舉例來說，程序130可使用顏色偵測模組、形狀偵測模組、以及圖樣偵測模組辨識便箋特徵，並且隨後測定如圖5所述的便箋之邊界。接下來，數位便箋產生模組86提取複數個便箋22中各便箋之內容以建立子影像(136)。在某些實例中，數位便箋產生模組86可在提取內容之前對至少部分輸入影像應用影像轉換(未顯示於圖6A及6B)。在某些其他實例中，數位便箋產生模組86可應用影像強化或其他影像處理技術(諸如移除工作空間之影像的背景或強化與各數位便箋相關聯的像素資料(例如銳化))，以改善所提取內容或子影像之品質(136)。在圖6B之實例中，數位便箋產生模組86已回應於使用者輸入而將數位便箋從綠色變為白色以增加可讀性(136)。可在行動裝置15之電腦可讀取儲存裝置內，儲存用於使可程式化處理器執行程序130之程式碼或其他可執行指令。
數位便箋產生模組86可自所提取內容或子影像進一步辨識出文字及圖形(未顯示於圖6A及6B)。數位便箋產生模組86 將強化之所提取內容或子影像儲存至行動裝置15之資料儲存裝置68，並且可隨後將原來的影像資料及/或含所提取資訊及元資料之數位便箋，傳達至如圖1至圖3所述之雲端伺服器12或電腦系統14(138)。
圖7A至圖7D係示意圖，其繪示重疊於另一便箋之邊界之至少一實體便箋的實例。圖7A係一示意圖，其繪示如參照圖1所述工作空間20上重疊之不同顏色之複數個相鄰便箋22的實例。圖7B係一示意圖，其繪示如參照圖1所述工作空間20上重疊之在各便箋右上角及左下角含標記之一種顏色之複數個便箋22的實例。圖7C係一示意圖，其繪示如參照圖1所述工作空間20上堆疊型重疊關係中複數個便箋22之實例，各便箋22具有一用於主體之顏色及另一用於邊線之顏色。圖7D係一示意圖，其繪示如參照圖1所述複數個相鄰便箋22之另一實例，該等相鄰便箋22重疊於另一或多個便箋22之邊界。圖7A至圖7D繪示重疊便箋之某些實例。然而，可以其他組合方式使用便箋22而建立重疊便箋之其他實例。
如後文詳述，具有顏色與便箋主體不同之邊線的實體便箋提供一種基標之形式，其可用於實體便箋之顏色分段及偵測。在某些實例中，可選擇邊框顏色作為基標以與背景顏色有明顯分色，例如有別於便箋背景(主體)顏色之白色或黑色邊框顏色。舉進一步實例來說，可選擇顏色互補之邊框顏色及主體顏色，以便提供明顯的分色，例如在黃色便箋上使用青色邊線或其他基標，藉以提供有助於識別實體便箋之高色彩對比。
在其他實例中，可使用一種僅可由影像處理引擎所見之隱形墨水建構基標。另舉一例，可使用反光材料在便箋上作為基標，該反光材料可對來自成像裝置之閃光發生反應。
圖8A係一示意圖，其繪示一用於藉由使用顏色分類演算法來偵測且分段重疊及/或相鄰便箋之例示性技術200。在某些情況中，如果視覺表示並不是單一影像，則係從視覺表示取得輸入影像(未顯示於圖8A)。舉例來說，視覺表示係一組影像，且所取得輸入影像係該組影像之至少部分的一聚集。另舉一例，視覺表示係一視訊，且所取得輸入影像係數個或全部視訊框的組合。
在行動裝置15、雲端伺服器12、或電腦系統14上執行的便箋管理應用程式78，在接收如圖1至圖3所述之輸入影像時，使用顏色偵測模組(其可為便箋識別模組86之一組件)來識別複數個重疊實體便箋。顏色偵測模組可將輸入影像轉換成期望的色彩空間(未顯示於圖8A)。一例示性可應用的色彩空間包括(但並不限於)RGB(紅色、綠色及藍色)、LAB(例如，Hunter 1948 L,a,b色彩空間，CIE 1976(L*,a*,b*)色彩空間、CMYK(青色、洋紅、黃色與定位色(黑色))、HSV(色相、飽和度及明度)、HSL(色相、飽和度及亮度)、HSI(色相、飽和度及強度)、sRGB(標準紅色、綠色及藍色)色彩空間。接下來，顏色偵測模組可將一或多種分類函數應用於輸入影像中各像素之色值(未顯示於圖8A)。可使用可選的訓練步驟運算分類函數。用於顏色偵測模組之分類演算法可為(例如)線性判 別分析、二次分類器、高斯混合模型、促進式決策樹、支援向量機，或類似演算法。
有些分類器的本質是生成式，而其他分類器則是判別式。一般來說，關於不管是否屬於該類別，生成式分類器對各類別(我們的例子中就是顏色)產生一個別模型且給定查詢的像素/像素群組值一概率分數。另一方面，判別式分類器模型化兩個或更多級別之間邊界(分別是2級及多級分類)。生成式模型對尚未模型化的新級別(顏色)提供更簡單的通則性，而判別式模型必須針對每個現有級別(顏色)予以重新訓練。生成式分類器有許多實例係描述於Christopher M.Bishop於2006年發表之「Pattern Recognition and Machine Learning(Information Science and Statistics)」(Springer-Verlag New York,Inc.，Secaucus,NJ,USA)，該文獻的全部內容以引用方式併入本文中。生成式模型的一些實例係單純貝氏分類器(naïve Bayes classifier)、高斯混合模型及使用高斯或其他先前的其他機率性貝氏模型，以及字典學習，如描述於：Michal Aharon、Michael Elad及Alfred Bruckstein於2006年發表之「K-SVD：An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation」(IEEE Transactions on Signal Processing 54(11)：4311-4322)，該文獻的全部內容以引用方式併入本文中。判別式分類模型的某些實例係自然網路、支援向量機、決策樹、線式及二次判別分類、邏輯迴歸。其他實例的分類法既非生成式又非判別式，例如最近鄰域分類演算法。此外，上述分類模型任一項的效能可藉由組合 上述多個分類模型之例項的總體學習演算法而改進。集成學習法(Ensemble learning)可由總計法(Bagging)、推進法(Boosting)及其變化型加以實施。
使用分類演算法產生指示影像中各像素色彩級別之指示符(未顯示於圖8A)。一色彩級別包括一特定範圍的波長，或可以是參照至所關注之色彩級別旁邊的任何其他彩色之「其他」色彩級別。舉例來說，色彩的分類可為洋紅色、黃色、藍色、橘色等。舉例來說，指示符可以由數字、代碼、符號、文數字符記、色彩值、灰階值或類似物予以表示。在另一實例中，技術200亦可使用如圖5所述之形狀偵測模組及圖型偵測模組。
圖8B係一示意圖，其繪示一基於指示符之技術200的實例，可以測定便箋202B、204B、206B或便箋區段之邊界。在一實例中，具有相同指示符的緊鄰像素被分組成一區域，且可判定該區域的邊界。在某些情況中，判定邊界之前，利用影像處理原理進一步處理指示符，例如，雜訊濾除技術、形態開閉式(morphological opening)技術或類似技術。在某些實例中，一便箋或便箋區段之形狀及/或尺寸係預定，其可被用來判定及/或濾除便箋202B、204B、206B或便箋區段之一般邊界。可使用該邊界，將便箋202B、204B、206B或其便箋區段之內容予以分段並提取以產生已分段數位便箋。在另一實例中，技術200亦可在一圖形使用者介面之一第一部分上顯示包括用以取代複數個重疊便箋之複數個已分段數位便箋的輸入影像，並且在圖形使用者介面之一第二部分上顯示複數個數位便箋。
圖9A及圖9B係示意圖，其將技術200之另一實例繪示為技術210，其中便箋211至217或便箋區段在一或多個位置重疊並具有彩色邊界、邊線、或彩色標記而非具有素色。在技術210之一實例中，可將如圖8A所述之顏色偵測模組用於識別邊界、邊線、或標記(如圖9B所示)，並且進一步提取該(等)便箋211至217或便箋區段之內容(如圖9A所示)。
圖10係一示意圖，其將技術200之另一實例繪示為技術220，其中便箋221至224或便箋區段在一或多個位置重疊並具有彩色邊界、邊線、或彩色標記而非具有素色。在技術220之一實例中，可將如圖8A所述之顏色偵測模組用於識別邊界、邊線、或標記(如圖10所示)，並且進一步提取該(等)便箋222至224或便箋區段之內容(如圖10所示)。
圖11係一示意圖，其將技術200之另一實例繪示為技術230，其中便箋231、232或便箋區段在一或多個位置重疊並具有彩色邊界、邊線、或彩色標記而非具有素色。在技術230之一實例中，可將如圖8A所述之顏色偵測模組用於識別邊界、邊線、或標記(如圖11所示)，並且進一步提取該(等)便箋231至232或便箋區段之內容(如圖11所示)。
在另一實例中，電腦系統可經組態以執行任何變化形式之技術200、210、220、230。在另一實例中，含有用於供可程式化處理器執行之指令的非暫時性電腦可讀取媒體可執行任何變化形式之技術200、210、220、230。
圖12A至圖12F及圖13係繪示例示性技術300的例示性態樣之示意圖，例示性技術300係用於在便箋顏色相同時將複數個重疊便箋分段並提取一組內容用於便箋區段，而圖14係一繪示例示性技術300之流程圖。雲端伺服器12、電腦系統14、行動裝置15、16、及/或影像處理引擎82在接收如圖1至圖3所述之輸入影像時，識別大量複數個重疊便箋302A至302C，並且判定重疊便箋302A至302C的顏色是否相同。
在圖12A中，重疊便箋302A至302C的顏色相同，並且使用如圖8A所述及如圖12B所示的顏色偵測模組予以分段(圖14之320)。選擇性地，可在顏色偵測模組分析期間，填充複數個重疊便箋302A至302C之塊面(mass)(圖14之322)，如圖12C中顯示為塊面302D。複數個便箋302A至302C之塊面之直角轉角係使用關聯模板304、306、308、310(圖14之324)予以偵測。關聯模板304、306、308、310之尖峰314係偏心而置，並且係用於測定如圖12E所示複數個便箋302A至302C之塊面之轉角(圖14之326)。使用沿著至少一部分邊界具有應用於一或多個轉角之標記311並具有對應關聯尖峰之複數個便箋302A至302C之塊面之轉角，以用於測定關聯轉角304A、310A、310B、308B、308C與306C以及如圖12F所示複數個便箋302A至302C之塊面中之各便箋之定向(圖14之328)。在另一實例中，技術300可選擇性地包括根據複數個便箋302A至302C之塊面中各便箋之定向，對複數個便箋302A至302C之塊面執行幾何校正及裁切技術。在另一實例中，標記可為沿著便箋 之邊界之不同顏色邊線，例如白色邊線。在另一實例中，技術300可進一步包括藉由將一或多個標記311與資料庫中的標記作比較而測定輸入影像中之複數個便箋之至少一者是否在複數個便箋302A至302C之塊面中包括一或多個標記311。
在圖12A至圖12F及圖13中，輸入影像的確含有一或多個標記311，故技術300可包括利用具有顏色偵測模組之記號偵測模組來測定各便箋區段之邊界。在圖13中，可根據關聯轉角304A、310A、310B、308B、308C、以及306C，測定塊面之區段312A至312C之邊界(圖14之330)。在某些情況中，記號偵測模組可測定標記311之相對位置，相對位置可用於測定複數個便箋區段312A至312C之邊界。可使用測定之邊界，從複數個便箋區段312A至312C提取塊面之便箋區段312A至312C之內容(圖14之332)。在某些情況中，從一對應便箋區段提取各內容項目。在另一實例中，便箋區段312A至312C之提取之內容係用於產生對應於輸入影像中所識別複數個重疊便箋中各便箋之邊界的複數個數位便箋，而且該複數個數位便箋包括藉由輸入影像中之複數個便箋區段312A至312C所表示之資訊。在另一實例中，便箋區段312A至312C之提取之內容係用於產生對應於輸入影像中所識別複數個重疊便箋中各便箋之邊界的複數個已分段數位便箋，而且該複數個已分段數位便箋包括藉由輸入影像中之複數個便箋區段312A至312C所表示之資訊。按照這種方式，系統可建立表示所辨識實體便箋之一對應者的一或多個各自數位便箋。舉一實例，可建立記錄以含有複數個資料庫欄位，包括用於儲存該實體便 箋之各顏色區段之特定內容的欄位。系統可使從一給定實體便箋之視覺表示提取的內容與表示該實體便箋之對應數位便箋相關聯。更進一步，系統可使從各彩色區段提取的內容項目與各彩色區段的數位表示相關聯。舉例來說，系統可更新資料庫內各別記錄的欄位，以儲存不同便箋或區段的內容項目之各別者。
圖15及圖16繪示一藉由便箋管理應用程式18所呈現之例示性圖形使用者介面400。在此實例中，圖形使用者介面400包括記號偵測控制402、406，其選擇性容許使用者致能或禁能標記式便箋偵測模組或非記號式偵測模組。
在一實例中，如圖15所繪示，使用者(諸如圖1之使用者26)先啟動記號偵測控制402才指示便箋管理應用程式18擷取或以其他方式處理輸入影像。使用者26藉由啟動記號偵測切換402而利用記號偵測模組，以根據與便箋相關聯之基準記號，指示便箋管理應用程式78之影像處理引擎82將複數個已偵測重疊實體便箋分段。使用者可在擷取工作空間之輸入影像之前啟動記號偵測控制402，或可在擷取工作空間之後但在處理輸入影像之前啟動記號偵測控制402，以根據基準記號利用記號偵測模組將複數個重疊便箋分段。在此實例中，輸入影像中之便箋含有標記404，其可為條碼、色碼、顏色、矩陣碼、色塊、不同顏色邊線、或類似物。
一般而言，記號偵測模組使用一或多個標記404以測定便箋之邊界。在某些情況中，便箋於輸入影像中可能為傾斜的(未顯示於圖15及圖16)。在某些其他情況中，所取得的輸入影像可能會 有圖形失真。記號偵測模組可將標記404或一部分標記404之已測定邊界，用於測定需要對輸入影像所做的影像轉換及校正以獲得便箋內容。
在另一情況中，如圖16所繪示，使用者可選擇禁能記號偵測控制406以在便箋辨識技術中不包括記號偵測模組。便箋管理模組78之影像處理引擎82在回應時，可調用任一或多種非記號式便箋偵測演算法，例如根據輸入影像中複數個便箋之周邊所定義之形狀來識別複數個實體便箋、根據與複數個便箋之背景顏色相關聯的色彩空間來識別複數個便箋、及/或根據圖樣辨識演算法來識別複數個便箋。
為舉例說明，係將記號偵測控制402、406表示成具有開啟狀態及關閉狀態之切換UI組件，但也可使用其他UI組件，例如選項按鈕、下拉式清單及類似者。
圖17及圖18繪示一實例，行動裝置15之便箋管理應用程式78在其中提供功能，使用者26藉此功能管理一組與工作空間(例如圖1之工作空間20)相關聯之數位便箋。舉例來說，便箋管理應用程式78產生GUI 79以包括輸入控制，其容許使用者26選擇性包括或排除輸入影像中所辨識之便箋，藉以控制是哪些實體便箋具有一組或一群數位便箋中對應之數位便箋。
在圖17所繪示的實例中，行動裝置包括具有第一部分(區域)502及第二部分(區域)504之圖形使用者介面500。便箋管理應用程式78在圖形使用者介面500之第一部分502內顯示從工作空 間所擷取之輸入影像，其中輸入影像通常提供具有複數個實體便箋之工作空間的視覺表示。便箋管理應用程式78在第二部分504內顯示從如便箋管理應用程式78所辨識輸入影像內之實體便箋所產生之一組數位影像。
此外，便箋管理應用程式78可在圖形使用者介面500之第一部分502上，顯示數位便箋及覆疊於原始輸入影像上與其相關聯之強化子影像，其中複數個數位便箋之每一者皆係取代便箋管理應用程式所辨識之對應實體便箋而呈現。這可(例如)協助使用者使數位便箋與其在工作空間中之各別實體便箋相關聯。
可藉由使用者輸入，選擇圖形使用者介面之第一部分502及第二部分504上複數個數位便箋506、507之各便箋，以供從該組數位便箋中刪除。如圖17及圖18之間所繪示，可將圖形使用者介面之第二部分中選擇的數位便箋506、507從圖形使用者介面之第二部分中刪除508，並且保留於圖形使用者介面之第一部分中。在另一實例中，可將選取的數位便箋506、507從圖形使用者介面之第一部分及第二部分兩者中刪除。在另一實例中，可將選取的數位便箋506、507從圖形使用者介面之第一部分中刪除，並且保留於圖形使用者介面之第二部分中。
圖19及圖20繪示行動裝置15所呈現之例示性使用者介面510，其具有第一部分(區域)512及第二部分(區域)514，容許使用者選取並新增數位便箋以供包括於一組建立自實體便箋之數位便箋內，該等實體便箋係辨識自給定工作空間。如圖19及圖20之間 所繪示，可將圖形使用者介面之第一部分512中選取的數位便箋516新增至圖形使用者介面之第二部分514中所呈現的該組數位便箋518。換句話說，使用者可選取工作空間之影像上所覆疊數位便箋之一或多者，並且指定要將該等便箋包括於圖形使用者介面之第二部分中所呈現之特定組數位便箋中。
圖21係一流程圖，其繪示便箋管理應用程式78在回應於使用者輸入而選擇圖形使用者介面之第一部分或圖形使用者介面之第二部分中之複數個數位便箋並將所選取複數個數位便箋分群時之例示性操作。在程序530的一實例中，在如圖1至圖3所述之運算裝置、行動裝置15、雲端伺服器12、或電腦系統14上執行的便箋管理應用程式78接收一輸入影像(532)。接下來，運算裝置係經組態以識別輸入影像中之複數個便箋(534)。運算裝置在識別輸入影像中之複數個便箋時，產生對應於輸入影像中所識別複數個便箋之複數個數位便箋(536)。運算裝置在產生複數個數位便箋之後，係經組態以顯示輸入影像，其包括覆疊於其上取代圖形使用者介面之第一部分上所識別複數個便箋之複數個數位便箋(538)。運算裝置亦在顯示第一部分時，經組態以顯示圖形使用者介面之第二部分上一組使用者定義之數位便箋(540)。接下來，運算裝置係經組態以接收使用者輸入，以藉由圖形使用者介面選取複數個數位便箋中之至少某些(542)。運算裝置亦在接收用以選擇複數個數位便箋之使用者輸入之後，經組態以接收用於將所選取複數個數位便箋分群以形成一或多個群組之使用者輸入(544)。在另一實例中，該一或多個群組可包括階層順序。
圖22至圖24係示意圖，其繪示技術實例，在運算裝置(例如行動裝置15)上執行的便箋管理應用程式78在其中偵測便箋，並且根據一或多個所偵測之分群指示符將便箋自動分群。便箋管理應用程式78在接收如圖1至圖3所述之輸入影像時，識別輸入影像中之複數個實體便箋並產生複數個數位便箋。
在圖22所述之例示性技術600中，便箋管理應用程式78處理工作空間20之輸入影像，其在此實例中包括依距離分成群組之複數個便箋。在此實例中，便箋管理應用程式78根據各辨識之便箋與行動裝置15所測定之臨限距離之間的距離602，識別一或多個群組之指示。亦即，便箋管理應用程式78可根據叢集(clusters)，測定輸入影像內的實體便箋叢集，並且以邏輯方式令數位便箋與數位便箋群組相關聯。在某些實例中，便箋管理應用程式78可運算與輸入影像內之物件相關聯之位置資料之2D網格或3D陣列，並且為各辨識之實體便箋，測定便箋在2D或3D空間內之絕對位置及邊界，藉以運算出工作空間之完整表示。便箋管理應用程式78可根據這項資訊，測定虛擬空間內各實體便箋之間的最小距離，並且根據此等距離，測定對應於實體便箋之對應數位便箋之分群。在其他實例中，便箋管理應用程式78的分群測定可根據臨限值，其可為臨限距離或臨限比率，此係由使用者預定或由行動裝置15計算。臨限比率之使用容許便箋管理應用程式78藉由會議參與者解讀便箋之自然分群，而無需訓練使用者關於置放便箋的絕對距離以定義獨特群組。在此實例中，便箋管理應用程式78比較最靠近之便箋之間的距離比率以建立自然分群。
圖23係一示意圖，其繪示另一例示性技術610，便箋管理應用程式78在其中根據如行動裝置15在輸入影像內所偵測工作空間內複數個便箋周圍實體繪製的圈612，測定一或多個群組之指示。
圖24係一示意圖，其繪示另一例示性技術620，便箋管理應用程式78在其中根據工作空間內實體繪製的一或多條線條622，測定一或多個群組之指示，以便連接各實體便箋並且建立階層順序，如由行動裝置15在輸入影像內所偵測到者。在另一實例中，一或多個圈612及一或多條線條622可為Post-It® Roll及/或Scotch®彩色膠帶或其他物料。
在某些實例中，便箋管理應用程式78可經組態以偵測群組指示符之模板。舉例來說，若使用者將具有已知設計之一印刷模板置放在牆壁上，則便箋管理應用程式78可自動建立實體便箋相對於印刷模板之位置。在一實例中，模板可以是行事曆，並且便箋可表示置於行事曆上之工作或事件。便箋管理應用程式78在處理含模板及複數個實體便箋之工作空間的影像時，根據便箋在模板內之位置，判定發生於特定日期的工作/事件。模板可予以印製並貼附於牆壁，或單純地投射到壁面上。
此外，雖然是舉例描述對於輸入影像內所偵測實體群組指示符之偵測，仍可將本技術應用於使用者在與行動裝置或其他裝置之存在感應式(presence-sensitive)顯示器互動時，以手勢或以其他方式輸入之一或多個群組指示符之偵測。
在某些實例中，技術600、610、620可包括使用多個偵測模組以辨識便箋並提取複數個便箋之內容，例如，如圖5所述之顏色偵測模組、形狀偵測模組、以及圖樣偵測模組。在顏色偵測模組之一實例中，技術可包括使用諸如RGB、HSV、CIELAB等色彩空間識別對應於便箋之關注區域以供色彩辨識。在形狀偵測模組及圖樣偵測模組之其他實例中，便箋係分別就其形狀並因存在由形狀辨識演算法(例如霍夫轉換、形狀脈絡等)及圖型辨識演算法(例如支援向量機、交互關聯、模板比對等)所偵測之獨特圖樣而予以進一步區別。這些演算法協助濾除輸入影像或其他便箋內容來源中非所要的物件，並僅留下對應於便箋的關注區域。
在某些實例中，技術600、610、620可進一步包括諸如雲端伺服器12、電腦系統14、及/或行動裝置15、16之運算裝置，其經組態以聚集複數個便箋之內容及群組指示，並且根據如圖22至圖24所示便箋604、614、624之分群或順序來顯示複數個便箋。在另一實例中，電腦系統可經組態以執行任何變化形式之技術600、610、620。在另一實例中，含有用於供可程式化處理器執行之指令之非暫時性電腦可讀取媒體可執行任何變化形式之技術600、610、620。
實例1：一種方法，其包含：藉由一運算裝置接收一環境之一輸入影像，該環境具有複數個重疊實體便箋；利用該運算裝置處理該輸入影像以識別該輸入影像中各該重疊實體便箋，包括測定該輸入影像中各該重疊實體便箋之一邊界；以及藉由該運算裝置產生複 數個對應於該輸入影像中所識別各該重疊實體便箋之該已測定邊界之數位便箋。
實例2：如實例1之方法，其進一步包含：藉由該運算裝置測定該輸入影像中之該複數個重疊實體便箋是否包含一實質上類似之背景顏色；一旦測定出該複數個重疊實體便箋包括一或多個具有不同背景顏色之實體便箋，藉由該運算裝置應用一顏色分段程序以分段該等重疊實體便箋；以及藉由該運算裝置產生複數個對應於該已分段重疊實體便箋之已分段數位便箋。
實例3：如實例1之方法，其進一步包含：藉由該運算裝置測定該輸入影像中之該複數個重疊實體便箋是否包含一實質上類似之背景顏色以及一有別於該背景顏色之邊框顏色；在測定出該複數個重疊實體便箋包括一或多個具有一邊框顏色之實體便箋後，藉由該運算裝置應用一顏色分段程序以分段該等重疊實體便箋；以及藉由該運算裝置產生複數個對應於該已分段重疊實體便箋之已分段數位便箋。
實例4：如實例1至3中任一項之方法，其進一步包含：藉由該運算裝置在一圖形使用者介面之一第一部分上顯示包括該複數個已分段數位便箋之輸入影像，該複數個已分段數位便箋取代該複數個重疊實體便箋；以及藉由該運算裝置在該圖形使用者介面之一第二部分上顯示該複數個已分段數位便箋。
實例5：如實例1或3中任一之方法，其進一步包含：藉由該運算裝置測定該輸入影像中之該複數個重疊實體便箋是否包含 一實質上類似之背景顏色；一旦測定出該複數個重疊實體便箋包括具有一實質上類似之背景顏色的實體便箋，藉由該運算裝置，使用一記號偵測模組測定該輸入影像中該重疊實體便箋之至少一者是否包括一或多個基準件記號；基於該輸入影像中該重疊實體便箋之至少一者包括一或多個基準件記號之該測定，偵測表示該便箋之尺寸及形狀之一或多個基準件記號；藉由該運算裝置並基於該基準件記號，測定該複數個重疊實體便箋中各該實體便箋之邊界；藉由該運算裝置並基於該所測定邊界，分段該複數個重疊實體便箋中各該實體便箋；藉由該運算裝置產生複數個對應於該複數個已分段實體便箋之已分段數位便箋；藉由該運算裝置在一圖形使用者介面之一第一部分上顯示包括該複數個已分段數位便箋之輸入影像，該複數個已分段數位便箋取代該複數個重疊實體便箋；以及藉由該運算裝置，在該圖形使用者介面之一第二部分上顯示該複數個已分段數位便箋。
實例6：如實例1至5中任一之方法，其中藉由該運算裝置識別該複數個重疊實體便箋包括識別該複數個重疊實體便箋中各便箋之尺寸及形狀。
實例7：如實例1至6中任一之方法，其中藉由該運算裝置識別該複數個重疊實體便箋包括根據與該複數個便箋之背景顏色相關聯之色彩空間識別該複數個實體便箋。
實例8：如實例1至7中任一之方法，其中藉由該運算裝置識別該複數個重疊實體便箋包括根據一圖型辨識演算法識別該複數個便箋。
實例9：如實例8之方法，其中該圖型辨識演算法包括由以下組成之一群組中至少一者：一支援向量機；一交互關聯；以及一模板比對。
實例10：一種電腦系統，該電腦系統係組態成用以執行如實例1至9中任一之方法。
實例11：一種非暫時性電腦可讀取媒體，其包含用於使一可程式化處理器執行如實例1至9中任一項之方法之指令。
實例12：一種運算裝置，其包含：一處理器；一影像收集模組，該影像收集模組藉由該處理器執行並組態成用以接收一環境之一輸入影像，該環境具有複數個重疊實體便箋；以及一影像處理引擎，該影像處理引擎藉由該處理器執行並組態成利用該運算裝置處理該輸入影像，以識別該輸入影像中之該複數個重疊實體便箋、測定該輸入影像中該複數個重疊實體便箋中各便箋之一邊界，以及產生複數個對應於該輸入影像中所識別各該重疊實體便箋之該已測定邊界之數位便箋。
實例13：如實例12之裝置，其中該影像收集模組包括一經組態以擷取該輸入影像之影像擷取裝置。
實例14：如實例12至13中任一之裝置，其中該影像收集模組包括一經組態以接收該輸入影像之通訊介面。
實例15：如實例14之裝置，其中該通訊介面包括一經組態以接收該輸入影像之無線通訊裝置。
實例16：如實例14至15中任一項之裝置，其中該通訊介面包括一經組態以接收該輸入影像之有線通訊裝置。
實例17：如實例12至16中任一之裝置，其中該影像處理引擎進一步經組態，以：測定該輸入影像中之該複數個重疊實體便箋是否包含一實質上類似之背景顏色；一旦測定出該複數個重疊實體便箋包括二或更多個具有不同背景顏色之實體便箋，應用顏色分段程序以分段該複數個重疊實體便箋中之各實體便箋；以及產生複數個對應於該複數個已分段便箋之已分段數位便箋。
實例18：如實例12至16中任一之裝置，其中該影像處理引擎進一步經組態，以：測定該輸入影像中之該複數個重疊實體便箋是否包含一實質上類似之背景顏色及一不同的邊框顏色；一旦測定出該複數個重疊實體便箋包括二或更多個具有不同邊框顏色之實體便箋，應用顏色分段程序以分段該複數個重疊實體便箋中之各實體便箋；以及產生複數個對應於該複數個已分段便箋之已分段數位便箋。
實例19：如實例12至18中任一之裝置，其中該影像處理引擎進一步經組態，以：在一圖形使用者介面之一第一部分上顯示包括該複數個已分段數位便箋之輸入影像，該複數個已分段數位便箋取代該複數個重疊實體便箋；以及在該圖形使用者介面之一第二部分上顯示該複數個已分段數位便箋。
實例20：如實例12或19中任一之裝置，其中該影像處理引擎進一步經組態，以：測定該輸入影像中之該複數個重疊實體便箋是否包含一實質上類似之背景顏色；一旦測定出該複數個重疊實 體便箋包括具有一實質上類似之背景顏色的實體便箋，使用一記號偵測模組測定該輸入影像中該複數個實體便箋之至少一者是否包括一或多個基準件記號；基於該基準件記號，測定該複數個重疊實體便箋中各實體便箋之該邊界；基於該已測定邊界，分段該複數個重疊實體便箋中之各該實體便箋；產生複數個對應於該複數個已分段實體便箋之已分段數位便箋；在一圖形使用者介面之一第一部分上顯示包含該複數個已分段數位便箋之輸入影像，該複數個已分段數位便箋取代該複數個重疊實體便箋；以及在該圖形使用者介面之一第二部分上顯示該複數個已分段數位便箋。
實例21：如實例12至20中任一之裝置，其中識別該複數個重疊實體便箋包括識別該複數個重疊實體便箋中各便箋之尺寸及形狀。
實例22：如實例12至21中任一之裝置，其中識別該複數個重疊實體便箋包括根據與該複數個便箋之背景顏色相關聯之色彩空間識別該複數個便箋。
實例23：如實例12至22中任一之裝置，其中識別該複數個重疊實體便箋包括根據一圖型辨識演算法識別該複數個便箋。
實例24：如實例23之方法，其中該圖型辨識演算法包括由以下組成之一群組中至少一者：一支援向量機；一交互關聯；以及一模板比對。
實例25：一種方法，其包含：藉由運算裝置接收具有複數個實體便箋之一環境之一輸入影像；經由一圖形使用者介面以該 運算裝置顯示包括一記號偵測控制之該輸入影像；以及藉由該運算裝置接收使用者輸入選擇來致能或禁能該記號偵測控制；回應使用者致能該記號偵測控制之選擇，藉由該運算裝置處理該輸入影像(將一記號型偵測模組用於識別該輸入影像中之該複數個實體便箋)，其中該記號型偵測模組偵測與各該實體便箋相關聯之一或多個基準件記號(其表示該各自實體便箋之尺寸及形狀)；回應使用者禁能該記號偵測控制之選擇，藉由該運算裝置處理該輸入影像(將一非記號式偵測模組用於識別該輸入影像中之該複數個實體便箋)；以及藉由該運算裝置產生複數個數位便箋，該複數個數位便箋對應於該輸入影像中所識別之該複數個便箋，其中該複數個數位便箋包括該輸入影像中之該複數個便箋所表示之資訊。
實例26：如實例25之方法，其中該輸入影像包括由一群組之至少一組成；一數位影像；一數位視訊；以及一連續數位視訊掃描。
實例27：如實例25至26中任一之方法，其進一步包含藉由該運算裝置擷取該輸入影像。
實例28：如實例25至26中任一之方法，其進一步包含藉由該運算裝置自一外部運算裝置接收該輸入影像。
實例29：如實例25至28中任一之方法，其中使用一非記號式模組處理該輸入影像以識別該輸入影像中之該複數個便箋，包括基於藉由該輸入影像中該複數個便箋之周邊所定義之形狀，識別該複數個便箋之至少一者。
實例30：如實例25至29中任一之方法，其中使用一非記號式模組處理該輸入影像以識別該輸入影像中之該複數個便箋，包括根據與該複數個便箋之背景顏色相關聯之色彩空間識別該複數個便箋。
實例31：如實例25至30中任一之方法，其中使用一非記號式模組處理該輸入影像以識別該輸入影像中之該複數個便箋，包括根據一圖型辨識演算法識別該複數個便箋。
實例32：如實例25至31中任一之方法，其中該圖形使用者介面中之該記號偵測控制係覆疊於該圖形使用者介面之一第一部分中的該輸入影像上，以及其中該圖形使用者介面之該第二部分包括一擷取鍵。
實例33：如實例25至32中任一之方法，其中該圖形使用者介面中之該記號偵測控制包括一組態成用以表示該一或多個基準件記號的符號。
實例34：如實例25至33中任一之方法，其進一步包含回應一使用者雙態觸變(toggle)輸入，變更該圖形使用者介面中該記號偵測控制之顏色。
實例35：一種電腦系統，其經組態以執行如實例25至34中任一之方法。
實例36：一種非暫時性電腦可讀取媒體，其包含用於使一可程式化處理器執行如實例25至34中任一之方法之指令。
實例37：一種運算裝置，其包含：一處理器；一影像收集模組，其在該處理器上執行，並且經組態以接收具有複數個實體便箋之一環境之一輸入影像；一影像處理引擎，其在該處理器上執行，並且經組態以識別該影像收集模組所接收之該輸入影像的複數個便箋，並且產生對應於該輸入影像中所識別該複數個便箋之複數個數位便箋；以及使用者介面模組(在處理器上執行，並為了顯示而經組態以輸出包括圖形使用者介面第一部分上之記號偵測控制與複數個數位便箋之輸入影像、以及圖形使用者介面第二部分上之複數個數位便箋)，其中影像處理引擎係回應使用者致能記號偵測控制之選擇，組態成用以處理輸入影像(利用記號型偵測模組識別輸入影像中之複數個實體便箋)，其中記號型偵測模組偵測與各實體便箋相關聯之一或多個基準件記號(其表示各自實體便箋之尺寸及形狀)，其中影像處理引擎係回應使用者禁能記號偵測控制之選擇，組態成用以處理輸入影像(利用非記號式偵測模組識別輸入影像中之複數個實體便箋)。
實例38：如實例37之裝置，其中該影像收集模組係組態成用以擷取該輸入影像。
實例39：如實例37之裝置，其中該影像收集模組係組態成用以從一外部運算裝置接收該輸入影像。
實例40：如實例37至39中任一之裝置，其中該輸入影像包括由一群組之至少一組成：一數位影像；一數位視訊；以及一連續數位視訊掃描。
實例41：如實例37至40中任一之裝置，其中該運算裝置根基於該輸入影像中該複數個便箋之周邊所定義之形狀，識別該複數個便箋之至少一者。
實例42：如實例37至41中任一之裝置，其中識別該輸入影像中之該複數個便箋，包括根據與該複數個便箋之背景顏色相關聯之色彩空間，識別該複數個便箋。
實例43：如實例37至42中任一之裝置，其中識別該輸入影像中之該複數個便箋包括根據一圖型辨識演算法，識別該複數個便箋。
實例44：如實例37至43中任一之裝置，其中該運算裝置在圖形使用者介面之第一部分對輸入影像在圖形使用者介面上覆疊該記號偵測控制，且其中該運算裝置在該圖形使用者介面之該第二部分上呈現一擷取鍵。
實例45：如實例37至44中任一之裝置，其中該圖形使用者介面中之該記號偵測控制包括一組態成用以表示該一或多個基準件記號的符號。
實例46：一種方法，其包含：藉由一運算裝置接收具有複數個實體便箋之一環境之一輸入影像，其中各該實體便箋包含背景顏色以及一與該便箋之該背景顏色不同之邊框顏色；在該輸入影像上應用一顏色分段程序，基於各該實體便箋之該背景顏色及邊框顏色，藉由分段該實體便箋，以識別該輸入影像中該實體便箋之邊界； 以及藉由運算裝置產生複數個對應於已分段實質上相鄰實體便箋之已分段數位便箋。
實例47：如實例46之方法，其中該複數個實體便箋之二或更多個為實質上相鄰之實體便箋。
實例48：如實例46之方法，其中該複數個實體便箋之二或更多個之該邊界係至少部分重疊。
本揭露中所闡述的技術至少部分可實施成硬體、軟體、韌體、或其任何組合。舉例來說，所述技術之各種態樣(包括所揭示之行動裝置15、16、雲端12、及/或電腦系統14)可予以在一或多個處理器中實施，包括一或多個微處理器、數位信號處理器(DSP)、特定應用積體電路(ASIC)、現場可程式化閘陣列(FPGA)、或任何其他均等之積體或離散邏輯電路系統、以及任何此類元件之組合。
可在相同裝置內或在不同裝置內實施此類硬體、軟體、以及韌體以支持本揭露中所述的各種技術。此外，可將任何所述單元、模組或元件一起或分開實施成離散但可交互運作之邏輯裝置。將不同特徵描述成模組或單元係意欲強調不同功能態樣，且不必然隱喻必須藉由不同硬體、韌體、或軟體元件才能實現此類模組或單元。反而，與一或多個模組或單元相關聯之功能可藉由不同硬體、韌體、或軟體元件予以執行，或予以整合於共同或不同的硬體、韌體、或軟體元件內。
亦可將本揭露中所述的技術體現或編碼於含有指令之電腦可讀取媒體中，例如暫時性或非暫時性電腦可讀取儲存媒體。嵌入 或編碼於電腦可讀取媒體(包括電腦可讀取儲存媒體)之指令可使一或多個可程式化處理器、或其他處理器(如：控制系統中所包括的一或多個處理器)實施本文中所述技術之一或多者，例如在藉由一或多個處理器執行電腦可讀取媒體中所包括或編碼之指令時。非暫時性電腦可讀取儲存媒體可包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、電子式可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、硬碟、光碟唯讀記憶體(CD-ROM)、軟碟、磁帶卡、磁性媒體、光學媒體、或其他電腦可讀取媒體。在某些實例中，製品可包含一或多個電腦可讀取儲存媒體。
已描述本揭露之各種實例。這些與其他實例都在下列申請專利範圍的範疇之內。

Claims (9)

  1. 一種方法，其包含：藉由一運算裝置接收一環境之一輸入影像，該環境具有複數個重疊實體便箋；利用該運算裝置處理該輸入影像以識別該輸入影像中各該等重疊實體便箋，其包括測定該輸入影像中各該等重疊實體便箋之一邊界，其中測定各該等重疊實體便箋之該等邊界包含：將該輸入影像之若干像素分類至複數個色彩級別(color classes)之一者，其中不同背景顏色之各者對應於該複數個色彩級別之一各自色彩級別；將具有相同色彩級別之相鄰像素分群(grouping)成若干區域，每個區域對應於該輸入影像中該複數個重疊實體便箋之一便箋；及基於該等區域之該等邊界測定(determining)該輸入影像中各該等重疊實體便箋之該等邊界；以及藉由該運算裝置產生複數個對應於該輸入影像中所識別各該重疊實體便箋之該所測定邊界之數位便箋。
  2. 如請求項1之方法，其進一步包含：藉由該運算裝置測定該輸入影像中之該複數個重疊實體便箋是否包含一實質上類似之背景顏色；一旦測定出該複數個重疊實體便箋包括一或多個具有不同背景顏色之實體便箋，藉由該運算裝置應用一顏色分段程序以分段該等重疊實體便箋；以及藉由該運算裝置產生複數個對應於該等已分段重疊實體便箋之已分段數位便箋。
  3. 如請求項1之方法，其進一步包含：藉由該運算裝置測定該輸入影像中之該複數個重疊實體便箋是否包含一實質上類似之背景顏色以及一有別於該背景顏色之邊框顏色；在測定出該複數個重疊實體便箋包括一或多個具有一邊框顏色之實體便箋時，藉由該運算裝置應用一顏色分段程序以分段該等重疊實體便箋；以及藉由該運算裝置產生複數個對應於該等已分段重疊實體便箋之已分段數位便箋。
  4. 如請求項1或3中任一項之方法，其進一步包含：藉由該運算裝置測定該輸入影像中之該複數個重疊實體便箋是否包含一實質上類似之背景顏色；一旦測定出該複數個重疊實體便箋包括具有一實質上類似之背景顏色的實體便箋，藉由該運算裝置，使用一記號偵測模組測定該輸入影像中該等重疊實體便箋之至少一者是否包括一或多個基準件記號；基於該輸入影像中該等重疊實體便箋之至少一者包括一或多個基準件記號之該測定，偵測表示該便箋之尺寸及形狀之一或多個基準件記號；藉由該運算裝置並基於該等基準件記號，測定該複數個重疊實體便箋中各該實體便箋之該邊界；藉由該運算裝置並基於該等所測定邊界，分段該複數個重疊實體便箋中各該實體便箋；藉由該運算裝置產生複數個對應於該複數個已分段實體便箋之已分段數位便箋；藉由該運算裝置在一圖形使用者介面之一第一部分上顯示包括該複數個已分段數位便箋之該輸入影像，該複數個已分段數位便箋取代該複數個重疊實體便箋；以及藉由該運算裝置在該圖形使用者介面之一第二部分上顯示該複數個已分段數位便箋。
  5. 一種運算裝置，其包含：一處理器；一影像收集模組，該影像收集模組可藉由該處理器執行並經組態成用以接收一環境之一輸入影像，該環境具有複數個重疊實體便箋；以及一影像處理引擎，該影像處理引擎可藉由該處理器執行並經組態成利用該運算裝置處理該輸入影像，以識別該輸入影像中之該複數個重疊實體便箋、測定該輸入影像中該複數個重疊實體便箋中各便箋之一邊界，以及產生複數個對應於該輸入影像中所識別各該重疊實體便箋之該所測定邊界之數位便箋，其中，為了測定各該等重疊實體便箋之該等邊界，該影像處理引擎可藉由該處理器執行以：將該輸入影像之若干像素分類至複數個色彩級別之一者，其中不同背景顏色之各者對應於該複數個色彩級別之一各自色彩級別；將具有相同色彩級別之相鄰像素分群成若干區域，每個區域對應於該輸入影像中該複數個重疊實體便箋之一便箋；及基於該等區域之該等邊界測定該輸入影像中各該等重疊實體便箋之該等邊界。
  6. 如請求項5之裝置，其中該影像處理引擎進一步經組態以：測定該輸入影像中之該複數個重疊實體便箋是否包含一實質上類似之背景顏色；一旦測定出該複數個重疊實體便箋包括二或更多個具有不同背景顏色之實體便箋，應用一顏色分段程序以分段該複數個重疊實體便箋中之各實體便箋；以及產生複數個對應於該複數個已分段便箋之已分段數位便箋。
  7. 如請求項5或6之裝置，其中該影像處理引擎進一步經組態以：測定該輸入影像中之該複數個重疊實體便箋是否包含一實質上類似之背景顏色及一不同的邊框顏色；一旦測定出該複數個重疊實體便箋包括二或更多個具有不同邊框顏色之實體便箋，應用一顏色分段程序以分段該複數個重疊實體便箋中之各實體便箋；以及產生複數個對應於該複數個已分段便箋之已分段數位便箋。
  8. 如請求項5或6之裝置，其中該影像處理引擎進一步經組態以：在一圖形使用者介面之一第一部分上顯示包括該複數個已分段數位便箋之該輸入影像，該複數個已分段數位便箋取代該複數個重疊實體便箋；以及在該圖形使用者介面之一第二部分上顯示該複數個已分段數位便箋。
  9. 如請求項5或6之裝置，其中該影像處理引擎進一步經組態以：一旦測定出該複數個重疊實體便箋包括具有一實質上類似之背景顏色的實體便箋，使用一記號偵測模組測定該輸入影像中該複數個實體便箋之至少一者是否包括一或多個基準件記號；基於該輸入影像中該複數個便箋之至少一者包括一或多個基準件記號之該測定，偵測表示該便箋之尺寸及形狀之一或多個基準件記號；基於該等基準件記號，測定該複數個重疊實體便箋中各實體便箋之該邊界；基於該等所測定邊界，分段該複數個重疊實體便箋中之各該實體便箋；產生複數個對應於該複數個已分段實體便箋之已分段數位便箋；在一圖形使用者介面之一第一部分上顯示包括該複數個已分段數位便箋之該輸入影像，該複數個已分段數位便箋取代該複數個重疊實體便箋；以及在該圖形使用者介面之一第二部分上顯示該複數個已分段數位便箋。
TW103135757A 2013-10-16 2014-10-15 用於重疊實體便箋之便箋辨識 TWI638273B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361891444P 2013-10-16 2013-10-16
US61/891,444 2013-10-16

Publications (2)

Publication Number Publication Date
TW201528008A TW201528008A (zh) 2015-07-16
TWI638273B true TWI638273B (zh) 2018-10-11

Family

ID=52810724

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103135757A TWI638273B (zh) 2013-10-16 2014-10-15 用於重疊實體便箋之便箋辨識

Country Status (4)

Country Link
US (2) US9412174B2 (zh)
EP (2) EP3058509A4 (zh)
TW (1) TWI638273B (zh)
WO (1) WO2015057781A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI739474B (zh) * 2020-06-11 2021-09-11 宏正自動科技股份有限公司 影像處理裝置、影像處理系統及影像處理方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD748653S1 (en) * 2013-05-10 2016-02-02 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD749100S1 (en) * 2013-05-10 2016-02-09 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD748654S1 (en) * 2013-05-10 2016-02-02 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD748652S1 (en) * 2013-05-10 2016-02-02 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
EP3058512B1 (en) * 2013-10-16 2022-06-01 3M Innovative Properties Company Organizing digital notes on a user interface
WO2016099527A1 (en) * 2014-12-19 2016-06-23 Hewlett-Packard Development Company, L.P. Determine image capture position information based on a quasi-periodic pattern
USD793425S1 (en) * 2016-02-11 2017-08-01 Sears Brands, L.L.C. Display screen or portion thereof with graphical user interface
USD793426S1 (en) * 2016-02-11 2017-08-01 Sears Brands, L.L.C. Display screen or portion thereof with graphical user interface
USD791816S1 (en) * 2016-02-11 2017-07-11 Sears Brands, L.L.C. Display screen or portion thereof with transitional graphical user interface
US10579908B2 (en) * 2017-12-15 2020-03-03 Google Llc Machine-learning based technique for fast image enhancement
USD937294S1 (en) * 2019-02-18 2021-11-30 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US10976983B2 (en) 2019-03-26 2021-04-13 International Business Machines Corporation Smart collaboration across multiple locations
US11367048B2 (en) * 2019-06-10 2022-06-21 Sap Se Automated creation of digital affinity diagrams
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
CN112347823B (zh) * 2019-08-09 2024-05-03 中国石油天然气股份有限公司 沉积相边界识别方法及装置
CN110781877B (zh) * 2019-10-28 2024-01-23 京东方科技集团股份有限公司 一种图像识别方法、设备及存储介质
US11651332B2 (en) * 2020-04-28 2023-05-16 International Business Machines Corporation Distributed collaborative environment using physical notes
USD918944S1 (en) 2020-05-01 2021-05-11 3M Innovative Properties Company Display screen with transitional graphical user interface
CN112949589A (zh) * 2021-03-31 2021-06-11 深圳市商汤科技有限公司 目标检测方法、装置、设备及计算机可读存储介质
EP4327296A1 (en) * 2021-04-23 2024-02-28 3M Innovative Properties Company Systems and methods for managing digital notes for project planning
JP2024518324A (ja) * 2021-04-30 2024-05-01 スリーエム イノベイティブ プロパティズ カンパニー デジタル記録を管理するコラボレーションシステム及び方法
US11704009B2 (en) * 2021-10-15 2023-07-18 Google Llc Video conference virtual whiteboard

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6839466B2 (en) * 1999-10-04 2005-01-04 Xerox Corporation Detecting overlapping images in an automatic image segmentation device with the presence of severe bleeding
US6956587B1 (en) * 2003-10-30 2005-10-18 Microsoft Corporation Method of automatically cropping and adjusting scanned images
US20130215297A1 (en) * 2010-09-21 2013-08-22 King Jim Co., Ltd. Image Processing System and Imaging Object Used for Same

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5898434A (en) 1991-05-15 1999-04-27 Apple Computer, Inc. User interface system having programmable user interface elements
US5465165A (en) 1991-06-11 1995-11-07 Canon Kabushiki Kaisha Image processing system
FR2681454B1 (fr) 1991-09-16 1995-08-18 Aerospatiale Procede et dispositif de traitement d'informations alphanumeriques et graphiques pour la constitution d'une banque de donnees.
CA2181342A1 (en) * 1994-01-27 1995-08-03 David T. Berquist Software notes
US5608853A (en) 1995-01-19 1997-03-04 Microsoft Corporation System and method for graphics scaling and localized color enhancement
US6650761B1 (en) 1999-05-19 2003-11-18 Digimarc Corporation Watermarked business cards and methods
US6388654B1 (en) * 1997-10-03 2002-05-14 Tegrity, Inc. Method and apparatus for processing, displaying and communicating images
US6463426B1 (en) 1997-10-27 2002-10-08 Massachusetts Institute Of Technology Information search and retrieval system
US6351559B1 (en) 1998-12-22 2002-02-26 Matsushita Electric Corporation Of America User-enclosed region extraction from scanned document images
US7406214B2 (en) 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US7760905B2 (en) 1999-06-29 2010-07-20 Digimarc Corporation Wireless mobile phone with content processing
US7421285B1 (en) 1999-06-04 2008-09-02 Ip Holdings, Inc. Method for providing gastronomic information and instruction with an internet server using mobile communication or computing devices and intelligent appliances
US6486894B1 (en) 1999-11-18 2002-11-26 International Business Machines Corporation Contrasting graphical user interface pointer
EP1182861A3 (en) 2000-08-17 2003-04-16 Eastman Kodak Company Method, apparatus and system for organizing captured digital images
DE10048562C1 (de) 2000-09-30 2002-04-25 Sicherungsgeraetebau Gmbh Leckanzeigeeinrichtung für doppelwandige Rohrleitungssysteme und Behälteranlagen
US7343415B2 (en) 2001-03-29 2008-03-11 3M Innovative Properties Company Display of software notes indicating that content from a content provider site is available for display
US7372470B2 (en) 2001-11-29 2008-05-13 Lg Electronics Inc. System and method for transmitting and displaying messages in a mobile terminal
US6922485B2 (en) * 2001-12-06 2005-07-26 Nec Corporation Method of image segmentation for object-based image retrieval
US7573598B2 (en) 2002-01-16 2009-08-11 Infoprint Solutions Company, Llc Method and apparatus for selectively copying documents with handwritten notations
US7072512B2 (en) 2002-07-23 2006-07-04 Microsoft Corporation Segmentation of digital video and images into continuous tone and palettized regions
US20040017400A1 (en) 2002-07-26 2004-01-29 Ly Eric Thichvi Method for project planning
US8429174B2 (en) 2003-01-25 2013-04-23 Purdue Research Foundation Methods, systems, and data structures for performing searches on three dimensional objects
US7992853B2 (en) 2003-06-07 2011-08-09 Opex Corporation Method and apparatus for processing mail to obtain image data of contents
US20050091578A1 (en) 2003-10-24 2005-04-28 Microsoft Corporation Electronic sticky notes
US7561310B2 (en) 2003-12-17 2009-07-14 Market Hatch Co., Inc. Method and apparatus for digital scanning and archiving
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
JP2006059075A (ja) 2004-08-19 2006-03-02 Fuji Xerox Co Ltd 文書処理装置およびプログラム
US20060077468A1 (en) 2004-10-12 2006-04-13 Xerox Corporation System and method for smart color halftoning
JP4895340B2 (ja) 2005-03-31 2012-03-14 キヤノン株式会社 情報処理装置およびその方法
US8732570B2 (en) 2005-09-08 2014-05-20 Ricoh Co. Ltd. Non-symbolic data system for the automated completion of forms
US8024653B2 (en) 2005-11-14 2011-09-20 Make Sence, Inc. Techniques for creating computer generated notes
US20110285123A1 (en) 2006-01-23 2011-11-24 Cynthia Sue Hasko Wittke Pre-Printed Sticky Notes and Methods of Use
US7471209B2 (en) 2006-02-02 2008-12-30 Intuit Inc. RFID whiteboard
JP4663013B2 (ja) 2006-06-29 2011-03-30 富士通株式会社 色類別方法、色認識方法及び色認識装置
BRPI0714333A2 (pt) 2006-07-19 2013-05-07 B Core Inc sÍmbolo àtico, artigo ao qual o sÍmbolo àtico estÁ fixado, mÉtodo para fixar o sÍmbolo àtico ao artigo, mÉtodo de decodificaÇço de sÍmbolo àtico, dispositivo relativo, e programa relativo
US7706592B2 (en) * 2006-09-20 2010-04-27 Primax Electronics Ltd. Method for detecting a boundary of a monetary banknote within an image
US7873213B2 (en) 2006-09-26 2011-01-18 Sharp Laboratories Of America, Inc. Systems and methods for color-deficient image enhancement
US7970206B2 (en) 2006-12-13 2011-06-28 Adobe Systems Incorporated Method and system for dynamic, luminance-based color contrasting in a region of interest in a graphic image
AU2006252025B2 (en) * 2006-12-13 2012-10-04 Canon Kabushiki Kaisha Recognition of parameterised shapes from document images
JP2009020813A (ja) 2007-07-13 2009-01-29 Three M Innovative Properties Co タグおよびそれを用いた物品認識システム
WO2009040922A1 (ja) 2007-09-27 2009-04-02 Glory Ltd. 紙葉類処理装置
US20090086269A1 (en) 2007-09-28 2009-04-02 Kyocera Mita Corporation Image Forming Apparatus and Image Forming System
US8069173B2 (en) 2007-11-12 2011-11-29 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same, information processing method, and computer program
US8286068B2 (en) 2008-04-25 2012-10-09 Microsoft Corporation Linking digital and paper documents
JP5129648B2 (ja) 2008-05-13 2013-01-30 株式会社Ｐｆｕ 画像読取装置およびマーク検出方法
US20090307607A1 (en) 2008-06-10 2009-12-10 Microsoft Corporation Digital Notes
US8543926B2 (en) 2008-06-10 2013-09-24 Microsoft Corporation Managing item access in a collaborative workspace
US9191238B2 (en) 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8070061B2 (en) 2008-10-21 2011-12-06 Habraken G Wouter Card credential method and system
US8096477B2 (en) 2009-01-27 2012-01-17 Catch, Inc. Semantic note taking system
US8264499B1 (en) 2009-06-02 2012-09-11 Sprint Communications Company L.P. Enhancing viewability of information presented on a mobile device
US9626094B2 (en) * 2009-06-26 2017-04-18 Kyocera Corporation Communication device and electronic device
JPWO2011004612A1 (ja) 2009-07-10 2012-12-20 パナソニック株式会社 マーカ表示制御装置、集積回路、及び、マーカ表示制御方法
JP5212334B2 (ja) 2009-10-22 2013-06-19 コニカミノルタホールディングス株式会社 会議支援システム
EP2323069A2 (en) 2009-11-17 2011-05-18 Samsung Electronics Co., Ltd. Method, device and system for content based image categorization field
US8558913B2 (en) 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
US8600167B2 (en) 2010-05-21 2013-12-03 Hand Held Products, Inc. System for capturing a document in an image signal
US9008457B2 (en) 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
US9406132B2 (en) 2010-07-16 2016-08-02 Qualcomm Incorporated Vision-based quality metric for three dimensional video
US20120042288A1 (en) * 2010-08-16 2012-02-16 Fuji Xerox Co., Ltd. Systems and methods for interactions with documents across paper and computers
US8542889B2 (en) 2010-10-19 2013-09-24 Apple Inc. Systems, methods, and computer-readable media for capturing a signature for use in a document
WO2012070930A1 (en) 2010-11-24 2012-05-31 Greenflower Intercode Holding B.V. User -friendly method and system for compiling a unique sample code for a digital sample with the help of a user - interface
US8699815B2 (en) 2011-05-31 2014-04-15 Adobe Systems Incorporated Methods and apparatus for improved display of foreground elements
US9858552B2 (en) 2011-06-15 2018-01-02 Sap Ag Systems and methods for augmenting physical media from multiple locations
US8917412B2 (en) 2011-06-16 2014-12-23 Ricoh Company, Ltd. System, apparatus and method for consumption management
US8380040B2 (en) 2011-07-18 2013-02-19 Fuji Xerox Co., Ltd. Systems and methods of capturing and organizing annotated content on a mobile device
US8935265B2 (en) 2011-08-30 2015-01-13 Abbyy Development Llc Document journaling
US8655068B1 (en) 2011-10-07 2014-02-18 LI Creative Technologies, Inc. Color correction system
WO2013085512A1 (en) 2011-12-07 2013-06-13 Intel Corporation Guided image capture
JP5783031B2 (ja) 2011-12-22 2015-09-24 コニカミノルタ株式会社 画像形成システム及びプログラム
US20130227476A1 (en) 2012-02-24 2013-08-29 Nokia Corporation Method, apparatus and computer program product for management of information on a graphic user interface
US8687104B2 (en) 2012-03-27 2014-04-01 Amazon Technologies, Inc. User-guided object identification
US20130258122A1 (en) 2012-03-27 2013-10-03 Research In Motion Limited Method and device for motion enhanced image capture
US10681304B2 (en) 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
US8953876B2 (en) 2012-08-22 2015-02-10 Facebook, Inc. Creation of a color profile of an image
US8996616B2 (en) * 2012-08-29 2015-03-31 Google Inc. Cross-linking from composite images to the full-size version
JP6171319B2 (ja) 2012-12-10 2017-08-02 株式会社リコー 情報処理装置、情報処理方法、情報処理システム及びプログラム
US20140282077A1 (en) * 2013-03-14 2014-09-18 Sticky Storm, LLC Software-based tool for digital idea collection, organization, and collaboration
US9773231B2 (en) 2013-05-29 2017-09-26 Evernote Corporation Content associations and sharing for scheduled events
EP3020000B1 (en) 2013-07-09 2022-04-27 3M Innovative Properties Company Systems and methods for note content extraction and management using segmented notes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6839466B2 (en) * 1999-10-04 2005-01-04 Xerox Corporation Detecting overlapping images in an automatic image segmentation device with the presence of severe bleeding
US6956587B1 (en) * 2003-10-30 2005-10-18 Microsoft Corporation Method of automatically cropping and adjusting scanned images
US20130215297A1 (en) * 2010-09-21 2013-08-22 King Jim Co., Ltd. Image Processing System and Imaging Object Used for Same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
https://blog.evernote.com/blog/2013/09/26/evernote-and-post-itr-notes-partner-to-give-your-favorite-paper-product-a-digital-life/, "Evernote Gives Iconic Post-it® Notes a Digital Life", Posted by Andrew Sinkov on 26 Sep 2013 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI739474B (zh) * 2020-06-11 2021-09-11 宏正自動科技股份有限公司 影像處理裝置、影像處理系統及影像處理方法

Also Published As

Publication number Publication date
TW201528008A (zh) 2015-07-16
EP3058509A1 (en) 2016-08-24
EP3644224B1 (en) 2023-09-27
WO2015057781A1 (en) 2015-04-23
EP3058509A4 (en) 2017-08-09
US10296789B2 (en) 2019-05-21
US9412174B2 (en) 2016-08-09
EP3644224A1 (en) 2020-04-29
US20160328857A1 (en) 2016-11-10
US20150106699A1 (en) 2015-04-16

Similar Documents

Publication Publication Date Title
TWI638273B (zh) 用於重疊實體便箋之便箋辨識
TWI643134B (zh) 建立並操作表示實體便箋的軟體便箋之方法、電腦系統、非暫時性電腦可讀取媒體及運算裝置
TWI653571B (zh) 用於處理數位便箋之方法、電腦系統、非暫時性電腦可讀取媒體及計算裝置
US10325389B2 (en) Editing digital notes representing physical notes
US8891862B1 (en) Note recognition and management using color classification
TWI659354B (zh) 具有處理器之運算裝置及在其上實施擷取及辨識便箋之方法
TWI637325B (zh) 使用多顏色通道無記號偵測之便箋辨識與管理
TWI691854B (zh) 用於建立及操作軟體便箋之方法及運算裝置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees