TW201546699A - 運用使用者介面上之提示的便箋擷取、辨識及管理 - Google Patents

運用使用者介面上之提示的便箋擷取、辨識及管理 Download PDF

Info

Publication number
TW201546699A
TW201546699A TW104103317A TW104103317A TW201546699A TW 201546699 A TW201546699 A TW 201546699A TW 104103317 A TW104103317 A TW 104103317A TW 104103317 A TW104103317 A TW 104103317A TW 201546699 A TW201546699 A TW 201546699A
Authority
TW
Taiwan
Prior art keywords
note
notes
image
prompt
group
Prior art date
Application number
TW104103317A
Other languages
English (en)
Inventor
David Maurice Mahli
Richard James Moore
Linus Akerlund
Cristin Erin Moran
Pontus Axelsson
Roland Persson
Michael Rotstein
Guruprasad Somasundaram
Original Assignee
3M Innovative Properties Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3M Innovative Properties Co filed Critical 3M Innovative Properties Co
Publication of TW201546699A publication Critical patent/TW201546699A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本揭露的至少一些態樣特徵為一種運算裝置，該運算裝置具有用以擷取一或多個便箋之視覺表示的一影像擷取裝置。該運算裝置經組態成用以產生關於影像擷取的提示並經由一使用者介面呈現該提示。

Description

運用使用者介面上之提示的便箋擷取、辨識及管理 【相關申請案之交互參照】
本申請案主張於2014年元月31日申請之美國專利臨時申請案第61/934,414號的權利，該案之全部內容皆以引用方式併入本文中。
本揭露是關於便箋內容擷取、辨識、提取及/或管理工具與系統。
紙質便箋已廣泛運用於記錄、分享以及溝通構想與資訊。舉例來說，在協作會議期間(例如，腦力激盪會議)，參與者將構想寫在Post-It®便利貼、白板或紙上，然後彼此分享。此外，人們經常從早到晚用便箋來記下不想忘記的資訊或內容。舉其他實例，人們常會用便箋作為將來要採取行動或會發生之事件的提醒物，諸如撥一通電話，修訂一份文件，或是填寫時間表。
舉例來說，在許多情況下，參與協作會議的人們會將資訊寫在以紙質便箋上，諸如Post-it®便利貼。紙質Post-it®便利貼可方便從一背膠紙質Post-it®便利貼的便條本(dispenser pad)移開，並貼 至各種表面，諸如白板、文件、桌面、電話或類似項。可在紙質Post-it®便利貼離開其便條本或貼至其目標表面之前或之後將資訊寫在紙質Post-it®便利貼上。紙質Post-it®便利貼可輕易從一表面移至另一表面，諸如在文件之間或是在文件與桌面之間，便利貼可覆疊文件的邊緣或邊界，可分層，而且可以連同便利貼所貼至的物件一起移動。
目前已有軟體程式容許電腦使用者建立以軟體為基礎的數位形式便箋，並在一運算環境中運用該數位便箋。舉例來說，電腦使用者可建立一個數位便箋並將該數位便箋「貼」至一電子文件、桌面或是運算環境所呈現的電子工作空間。電腦使用者可操縱這些便箋，以建立、刪除、編輯、儲存並且選擇性地檢視這些便箋。電腦使用者可藉由從一文件剪下便箋，將該便箋儲存在剪貼簿內然後再將該便箋貼放於相同文件的另一區域中或是貼放於不同文件處，以便在文件內或是在文件及/或桌面之間移動便箋。依此方式，軟體程式可提供便箋的虛擬表示，並且讓人們能夠按照與日常使用實體便箋相類似的方式來運用數位便箋。
本揭露的至少一些態樣為一種具有一處理器之運算裝置，該運算裝置包括：一影像收集模組，其經組態成用以擷取複數個實體便箋的一視覺表示，該影像收集模組包含一影像擷取裝置；一便箋識別模組，其係藉由該處理器所實施，並經組態成用以辨識該視覺表示中之該複數個實體便箋之一或多者，且產生對應於該等經辨識實體便箋之各者的一數位便箋，其中該便箋識別模組進一步經組態成用 以評估該視覺表示的品質並產生與該所評估品質相關聯的一提示；以及一使用者介面，其經組態成用以在該使用者介面之一第一部分處顯示該視覺表示，而且在該使用者介面之一第二部分處顯示該提示。
本揭露的至少一些態樣為一種藉由用一運算裝置擷取且辨識便箋之方法，該運算裝置具有一記憶體、一影像擷取裝置、一處理器及一使用者介面。該方法包含：藉由該影像擷取裝置，擷取複數個實體便箋的一視覺表示；藉由該處理器，辨識該視覺表示中之該複數個實體便箋之一或多者的該等實體便箋；藉由該處理器，評估該視覺表示的品質；產生與該視覺表示之該所評估品質相關聯的一提示；以及在該使用者介面之一第一部分處顯示該視覺表示，而且在該使用者介面之一第二部分處顯示該提示。
10‧‧‧便箋辨識環境實例
12‧‧‧雲端伺服器
14‧‧‧電腦系統
15‧‧‧行動裝置
16‧‧‧行動裝置
18‧‧‧影像擷取裝置
20‧‧‧工作空間
22‧‧‧便箋
26‧‧‧使用者
28‧‧‧呈現裝置
51A‧‧‧數位便箋的視覺表示
51B‧‧‧將便箋新增至群組影像
52A‧‧‧接收使用者輸入
52B‧‧‧經修改群組表示
53A‧‧‧接收使用者輸入
53B‧‧‧群組影像
54A‧‧‧複數個便箋
54B‧‧‧所擷取影像
54C‧‧‧所回應使用者輸入
54D‧‧‧群組影像內的視覺表示對齊
64‧‧‧作業系統
68‧‧‧資料儲存裝置
70‧‧‧可程式化處理器
72‧‧‧傳輸器
73‧‧‧運動偵測單元
74‧‧‧接收器
75‧‧‧感測器
76‧‧‧輸入/輸出(I/O)
77‧‧‧使用者應用程式
78‧‧‧便箋管理應用程式
79‧‧‧圖形使用者介面(GUI)
82‧‧‧影像處理引擎
86‧‧‧便箋識別模組
88‧‧‧數位便箋產生模組
90‧‧‧影像通訊模組
94‧‧‧資料庫
95‧‧‧影像處理應用程式設計介面(API)
96‧‧‧影像編輯器
97‧‧‧影像
98‧‧‧使用者介面
99‧‧‧數位便箋
100‧‧‧便箋辨識程序
102‧‧‧步驟
104‧‧‧步驟
106‧‧‧步驟
108‧‧‧步驟
110‧‧‧步驟
121‧‧‧群組影像
122‧‧‧群組影像
123‧‧‧便箋的原始位置處
124‧‧‧鄰近於群組影像的位置
125‧‧‧格線位置
126‧‧‧群組影像的原始邊界
127‧‧‧擴展位置
131‧‧‧邊界位置
132‧‧‧群組影像內的位置
133‧‧‧經修改群組表示
141‧‧‧鄰近便箋之視覺表示的位置
142‧‧‧鄰近便箋之視覺表示的位置
143‧‧‧群組影像
150‧‧‧支撐結構
152‧‧‧複數個便箋
154‧‧‧數位便箋
156‧‧‧群組影像
158A‧‧‧自由形式群組影像
158B‧‧‧相合群組影像
158C‧‧‧個別視覺表示貼齊格線的群組影像
158D‧‧‧自動版面配置方式產生的群組影像
159‧‧‧數位便箋
160A‧‧‧布告板影像
160B‧‧‧布告板影像
160C‧‧‧布告板影像
162‧‧‧群組影像
164‧‧‧群組影像
166‧‧‧手動
168‧‧‧手動
170‧‧‧布告板影像
210‧‧‧第一GUI
212‧‧‧第二GUI
214‧‧‧第三GUI
220‧‧‧所識別便箋指示項
222‧‧‧位置
224‧‧‧位置
226‧‧‧遺漏便箋
230‧‧‧經識別便箋
232‧‧‧影像
234‧‧‧影像
236‧‧‧影像
238‧‧‧影像
239‧‧‧影像
242‧‧‧位置空隙
244‧‧‧位置空隙
246‧‧‧位置空隙
248‧‧‧位置空隙
249‧‧‧位置空隙
530‧‧‧便箋管理應用程式例示性操作程序
532‧‧‧步驟
534‧‧‧步驟
536‧‧‧步驟
538‧‧‧步驟
540‧‧‧步驟
542‧‧‧步驟
544‧‧‧步驟
550‧‧‧便箋管理應用程式例示性便箋關聯程序
552‧‧‧步驟
554‧‧‧步驟
556‧‧‧步驟
558‧‧‧步驟
560‧‧‧步驟
562‧‧‧步驟
564‧‧‧步驟
600‧‧‧便箋管理應用程式例示性程序
601‧‧‧步驟
602‧‧‧步驟
604‧‧‧步驟
606‧‧‧步驟
608‧‧‧步驟
610‧‧‧步驟
612‧‧‧步驟
620‧‧‧例示性提示產生程序
622‧‧‧步驟
624‧‧‧步驟
626‧‧‧步驟
628‧‧‧步驟
630‧‧‧步驟
632‧‧‧步驟
701‧‧‧GUI之部分
702‧‧‧GUI之部分
703‧‧‧格線
705‧‧‧便箋
706A‧‧‧GUI
706B‧‧‧GUI
706C‧‧‧GUI
706D‧‧‧GUI
707A‧‧‧影像集組
707B‧‧‧影像集組
707C‧‧‧影像集組
707D‧‧‧影像集組
800‧‧‧手動輔助程序
842‧‧‧步驟
844‧‧‧步驟
846‧‧‧步驟
848‧‧‧步驟
850‧‧‧步驟
810‧‧‧步驟
812‧‧‧關注區域
820‧‧‧步驟
822‧‧‧步驟
824‧‧‧步驟
826‧‧‧步驟
830‧‧‧步驟
832‧‧‧步驟
860‧‧‧例示性行進方法程序
862‧‧‧步驟
864‧‧‧步驟
866‧‧‧步驟
868‧‧‧步驟
870‧‧‧步驟
871‧‧‧步驟
872‧‧‧步驟
874‧‧‧步驟
876‧‧‧步驟
所附圖式納入本說明書，並與本發明之描述、解釋以及優點與原則一起構成本說明書的一部分。在圖式中：圖1為繪示便箋辨識環境實例的概念圖。
圖2為繪示能夠進行便箋管理之行動裝置實例的方塊圖。
圖3為繪示便箋管理應用程式之例示性實施方案的方塊圖。
圖4A為繪示例示性便箋辨識程序的概念圖。
圖4B為繪示便箋管理應用程式之例示性操作的概念圖。
圖4C為繪示例示性便箋關聯程序的概念圖。
圖5A至圖5G為繪示便箋關聯程序之例示性操作的概念圖。
圖6A為繪示用於提供提示以獲更佳便箋擷取之便箋管理應用程式之例示性程序而的概念圖。
圖6B為繪示在便箋擷取程序期間產生並呈現提示之例示性提示產生程序的概念圖。
圖7A至圖7F為繪示提示產生程序之實例的概念圖。
圖8A為繪示手動輔助程序之實例的概念圖。
圖8B為繪示用於手動輔助之選擇性操作的概念圖。
圖8C繪示例示性行進方法(marching method)的流程圖。
圖9為繪示使用手動輔助程序之實例的概念圖。
圖10A至圖10E為繪示可基於啟發性教學用作為評分之不同位置空隙實例的概念圖。
本揭露描述用於建立並操縱表示實體便箋之軟體便箋的技術。舉例來說，所述的技術係用於辨識在實體環境內存在的實體便箋，自實體便箋擷取資訊並建立該等實體便箋的對應數位表示，在本文中稱之為數位便箋或以軟體為基礎的便箋。此外，本揭露的至少一些態樣係關於用於管理多個便箋的技術，諸如儲存、取得、編輯、分類並分組數位便箋，或類似技術。本揭露的至少一些態樣是針對於藉由提示及手動輔助以擷取便箋的技術。
一般而言，便箋可包含實體便箋及數位便箋。實體便箋通常是指具有大致邊界與可辨識內容的實體物件。實體便箋可包括人們書寫、繪圖或藉由其他輸入類型所造成的物件，例如紙、白板，或 其他可接受輸入的物件。舉例來說，實體便箋可包含手寫Post-It®便利貼、紙張或投影片、具有圖畫、海報與標誌的白板。在某些情況中，可用數位技術來產生實體便箋，例如列印在可印刷Post-It®便利貼或是所列印文件上。而在某些情況中，一物件可包括多個實體便箋。例如，可將多項構想寫在單一張海報紙或者白板的分開區域上。在某些實施例中，為促進辨識這些便箋，可將標記(例如，線條、形狀、顏色、符號、記號或貼紙)應用至便箋的邊緣。實體便箋可為二維或三維。實體便箋可具有各種形狀與尺寸。例如，實體便箋可為7.62×7.62cm(3×3吋)便箋；實體便箋可為66.04×99.06cm(26×39吋)的海報；及實體便箋可為三角形的金屬標記。實體便箋亦可為一白板或紙質海報上具有書寫及/或繪圖之一部分。在某些情況中，實體便箋具有已知的形狀及/或尺寸。在某些情況中，實體便箋可具有符合標準(例如，美式法律文件尺寸(legal)、A3、A4及其他尺寸標準)的已知形狀及/或尺寸，並且已知形狀可不限於幾何形狀，例如星形、圓形、矩形，或類似形狀。在其他情況中，實體便箋可具有非標準尺寸及/或不規則形狀。
數位便箋一般是指具有資訊、資料、文字、影像及/或想法的數位物件。可使用運算裝置及/或數位輸入產生數位便箋。運算裝置可產生數位便箋來作為實體便箋的數位表示。例如，可將實體便箋的內容表示為數位便箋中的影像。舉另一實例，可藉由相對應之數位便箋中的文字來表示實體便箋之內容的至少部分。數位輸入可包含 例如鍵盤、觸控螢幕、數位相機、數位記錄裝置、觸控筆、數位筆或類似項。
在某些實例中，數位便箋可表示在協作空間中所使用的實體便箋。協作空間一般是指一聚集區，讓許多人能夠腦力激盪，諸如彼此分享構想與想法。協作空間亦可表示虛擬空間，讓一群人除了在聚集區之外還能遠端分享構想與想法。協作空間可稱為工作空間或類似項。
圖1為繪示一便箋辨識環境實例10的概念圖。在圖1的實例中，環境10包括一行動裝置15，用來從工作空間20擷取並辨識一或多個便箋22。如本文中所述，行動裝置15為一或多個軟體應用程式提供執行環境，如所述，其可有效地從大量實體便箋(例如，從工作空間20而來的便箋22之集合)擷取並提取便箋內容。在此實例中，便箋22可為具有多位參與者之協作腦力激盪會議的結果。如所述，行動裝置15及其所執行的軟體可實現多種便箋相關操作，包括自動建立表示工作空間20之實體便箋22的數位便箋。
在某些情況中，工作空間20的複數個實體便箋22可包含不同顏色的便箋。在其他實例中，工作空間20的複數個實體便箋22可包含包括基準標記(諸如位於便箋右上角與左下角處的標記)的至少一便箋。在其他實例中，工作空間20的複數個實體便箋22可包含便箋本體具有一色彩且便箋邊界具有另一色彩的至少一便箋。在其他實例中，可將來自工作空間20之複數個實體便箋22的便箋加以排 列使得便箋重疊，諸如依堆疊重疊關係排列而重疊。在其他實例中，來自工作空間20之複數個實體便箋22的便箋可相鄰地排列。
在例示性實施方案中，行動裝置15包括(除了其他元件之外)影像擷取裝置18及一呈現裝置28。此外，雖然圖1中未展示，但是行動裝置15可包括一或多個處理器、微處理器、內部記憶體及/或資料儲存裝置以及其他的電子電路，藉以執行軟體或韌體以提供本文所述的功能。
一般而言，影像擷取裝置18為一相機或其他元件，其經組態以擷取表示工作空間20及置於其內的便箋22之影像資料。換言之，影像資料擷取具有複數個視覺便箋之一環境(例如，工作空間20)的視覺表示。即，相機能夠擷取一影像，該影像描繪具有複數個實體便箋之場景的視覺表示，實體便箋之各者於其上具有預定邊界與可辨識內容。雖然是當作行動裝置15的相機討論，影像擷取裝置18可包含能夠擷取影像資料的其他元件，例如錄影機、紅外線相機、CCD(電荷耦合裝置)陣列、雷射掃描器或類似項。此外，所擷取的影像資料可包含影像、視訊、一連串影像(即，在一時段內及/或以一順序拍攝的多個影像)、大量影像或類似項，且本文中使用之輸入影像一詞是用來指稱各種例示性類型影像資料。
呈現裝置28可包括(但不限於)電子式可定址顯示器，例如液晶顯示器(LCD)或用於與行動裝置15一起使用的其他類型顯示裝置。在某些實施方案中，行動裝置15產生要以各種格式在呈現裝置28上顯示的內容，例如，以行及/或列分組的清單、流程圖或類 似項。在某些情況中，行動裝置15可傳達顯示資訊以供其他裝置呈現，例如平板電腦、投影機、電子看板，或其他外部裝置。
如本文所述，行動裝置15、以及在其上執行的軟體，提供用於建立並操縱表示實體便箋22之數位便箋之一平台。舉例而言，一般而言，行動裝置15經組態以處理由影像擷取裝置18所產生的影像資料，以偵測並辨識置於工作空間20內的實體便箋22之至少一者。在某些實例中，行動裝置15經組態成用以藉由判定(多個)便箋的大致邊界來辨識該(等)便箋。在辨識出便箋之後，行動裝置15提取一或多個便箋之至少一者的內容，其中該內容為便箋22的視覺資訊。
如下文進一步描述，行動裝置15可實施用於自動偵測並辨識實體便箋22以及提取資訊、內容或與各實體便箋相關聯之其他特性的技術。舉例而言，行動裝置15可容許使用者26微調控制由行動裝置15用來偵測並辨識實體便箋22的技術。舉例而言，行動裝置15可容許使用者26在以記號為基礎的偵測技術與非記號為基礎的技術之間選擇，其中在以記號為基礎的偵測技術的一或多個便箋22包括在便箋之表面上的一實體基準標記，在非記號為基礎的技術中則不使用基準標記。
此外，行動裝置15可為使用者26提供改進的電子環境，用於產生並操縱表示實體便箋22的對應數位便箋，包含自便箋移除背景或其他的影像相關假影。在一些其他情況下，在數位便箋保留來自便箋的背景或其他影像相關假影。舉另一實例，行動裝置15可提 供一些機制，容許使用者26輕易增加數位便箋至表示與工作空間20相關聯之腦力激盪活動的一組數位便箋，及/或從該組數位便箋刪除數位便箋。在某些例示性實施方案中，行動裝置15可提供讓使用者26能夠記錄並管理多群組便箋22之間之關係的功能。
在某些例示性實施方案中，行動裝置15提供讓使用者26能將數位便箋匯出至其他系統的功能，例如匯出至以雲端為基礎的儲存庫(例如，雲端伺服器12)或其他運算裝置(例如，電腦系統14或行動裝置16)。
在圖1實例中，行動裝置15圖解闡釋為一行動電話。然在其他實例中，行動裝置15可為平板電腦、個人數位助理(PDA)、膝上型電腦、媒體播放器、電子書閱讀器、可穿戴運算裝置(例如，手錶、眼鏡、手套)，或適合用於執行本文所述技術的任何其他類型的行動或非行動運算裝置。
圖2為繪示依據本文所述技術操作之行動裝置實例的方塊圖。為舉例之目的，會參照圖1之行動裝置15描述圖2的行動裝置。
在本實例中，行動裝置15包括提供用於裝置之操作的核心功能之各種硬體元件。例如，行動裝置15包括一或多個可程式化處理器70，此等處理器經組態成用以依據可執行指令(即，程式碼)操作，通常是儲存在電腦可讀取媒體或資料儲存裝置68中，諸如靜態、隨機存取記憶體(SRAM)裝置或快閃記憶體裝置。輸入/輸出(I/O)76可包含一或多個裝置，諸如鍵盤、相機按鍵、電源按鈕、音量按 鈕、首頁按鈕、返回按鈕、選單按鈕，或如圖1所述的呈現裝置28。傳輸器72與接收器74經由如圖1所述的無線通訊介面(例如，但不限於高頻射頻(RF)信號)提供與其他裝置(諸如如圖1所述的雲端伺服器12、電腦系統14或其他行動裝置16)的無線通訊。行動裝置15可包括圖2中未展示出的額外離散數位邏輯或類比電路。
一般而言，作業系統64在處理器70上執行，並且提供用於一或多個使用者應用程式77(通常稱為「app」)之操作環境，包括便箋管理應用程式78。例如，使用者應用程式77包含儲存在電腦可讀儲存裝置內(例如，資料儲存裝置68)的可執行程式碼以供處理器70執行。舉另一實例，使用者應用程式77可包含韌體或在某些實例中可實施在離散邏輯中。
操作上，行動裝置15接收輸入影像資料並依據本文所述的技術處理輸入影像資料。例如，影像擷取裝置18可擷取具有複數個便箋之環境的輸入影像，諸如圖1之具有便箋22的工作空間20。可擷取具有複數個便箋之環境。舉另一實例，行動裝置15可經由接收器74接收來自外部來源(諸如雲端伺服器15、電腦系統14，或行動裝置16)的影像資料。一般而言，行動裝置15將影像資料儲存在資料儲存裝置68中，以供便箋管理應用程式78及/或其他使用者應用程式77存取並處理。
如圖2所示，使用者應用程式77可調用作業系統64的核心功能，以輸出一圖形使用者介面(GUI)79，用於呈現資訊給行動裝置的使用者。如下文詳述，便箋管理應用程式78可建構並控制GUI 79，以提供用於產生並操縱表示實體便箋22的相對應數位便箋的改進電子環境。例如，便箋管理應用程式78可建構GUI 79以包括一機制，容許使用者26輕易增加數位便箋至自影像資料所辨識出的經定義組數位便箋及/或從該等經定義組數位便箋刪除數位便箋。在某些例示性實施方案中，便箋管理應用程式78可提供使用者26能夠藉以透過GUI 79來記錄並管理多組數位便箋間之關係的功能。
行動裝置15可選擇性地包括一運動偵測單元73，藉以偵測行動裝置15及/或影像擷取裝置18的移動。運動偵測單元73可包括各種感測器，例如運動感測器、加速度計、陀螺儀及類似項。在某些情況中，行動裝置15可提供定向、速度、距離或是其他的相對移動資料。這些資料可由便箋管理應用程式78加以運用及處理。在一實施例中，便箋管理應用程式78可使用移動資料以在GUI 79上產生給使用者的操作提示(例如，「保持靜止以得到更佳結果」等)。
行動裝置15可選擇性地包括感測器75以偵測並收集環境資料。例如，感測器75可包括光學感測器以偵測並接收有關照明條件的資料。可將此等資料提供給便箋管理應用程式78以調整影像擷取裝置18的設定(例如，啟用閃光燈等)及/或產生操作提示(例如，「使用閃光燈以得到更佳結果」等)。亦可使用一些外部來源(例如，外部的閃光燈裝置、控制行動裝置出射的照明的應用程式或類似項)來改變照明條件。感測器75亦可包括加速度計以判定當進行擷取時存在的晃動程度或是使用者引發的移動，並且可顯示諸如「握穩」或「使用點選並按住擷取」的提示以減輕此效應。此外，在即時視訊串 流上可運用最佳化引擎以供偵測實體便箋。若所偵測便箋的尺寸小於一預定臨限值，則會要求使用者移動更靠近實體便箋。
圖3為繪示依據本文所述技術操作之便箋管理應用程式78例示性實施方案的方塊圖。雖然所述為在行動裝置15上執行的使用者應用程式77，但是本文所述實例可實施在任何運算裝置上，諸如雲端伺服器12、電腦系統14或其他行動裝置。
在本實例中，使用者應用程式78包括影像處理引擎82，其提供影像處理及物件辨識功能。影像處理引擎82可包括影像通訊模組90、便箋識別模組86及數位便箋產生模組88。此外，影像處理引擎82包括影像處理應用程式設計介面(API)95，其提供一影像操縱功能函式庫，例如影像定限、遮罩、過濾、邊緣偵測及類似項，供影像處理引擎82的其他元件使用。
一般而言，影像資料可儲存在資料儲存裝置68中。在本實例中，便箋管理應用程式78將影像97儲存在資料儲存裝置68內。各個影像97可包括針對具有複數個實體影像之環境(例如，圖1的工作空間20)的像素資料。影像97之各者亦稱為視覺表示，而且可包含一或多個靜態影像、動畫影像、一連串影像、視訊或類似項。
如本文所述，便箋識別模組86處理影像97，並且識別(即，辨識)在影像中的複數個實體便箋。可由便箋識別模組86使用記號及/或無記號偵測程序來處理輸入影像。數位便箋產生模組88產生對應於影像97中所辨識出之實體便箋的數位便箋99。例如，數位便箋99之各者對應於輸入影像97中所識別的實體便箋之一。在辨識 程序期間，數位便箋產生模組88可更新資料庫94以包括一數位便箋記錄，而且可將自如便箋識別模組86所偵測而判定之實體便箋邊界內的輸入影像所擷取資訊(例如，內容)儲存在資料庫中，包含(但不限於)：內容、邊界、色彩、尺寸、基準標記或是其等的任何組合。此外，數位便箋產生模組88可將中繼資料儲存在資料庫94中，中繼資料使數位便箋相關聯而成為一或多群組數位便箋。
影像通訊模組90控制行動裝置15與外部裝置(諸如雲端伺服器12、電腦系統14、行動裝置16或影像擷取裝置18)之間的影像資料通訊。在某些實例中，影像通訊模組90可容許使用者傳達環境及/或數位便的已處理或未處理箋影像97，以及從其所提取的相關聯資訊，包括來自資料庫68的中繼資料。在某些實例中，影像通訊模組90可匯出此資料至一壓縮檔，其可藉由FTP、HTTP、電子郵件、藍牙或其他機制通訊。
在圖3的實例中，便箋管理應用程式78包括可建構並控制GUI 79(圖2)的使用者介面98。如下文所述，在某些實例中，使用者介面98可輸出以供顯示覆疊有指示複數個數位便箋99之指示項的一輸入影像97，其中各數位便箋之指示項覆疊在一對應實體便箋的位置。此外，使用者介面98可顯示已由使用者所標定的數位便箋99之視覺表示群組。在某些情況中，數位便箋的視覺表示(或稱為指示數位便箋的指示項)可為具有或不具有相對應便箋之便箋內容的幾何形狀，而該幾何形狀可為標準化形狀或對應於便箋之實際形狀的形狀。在某些實施方案中，指示數位便箋的指示項可包括便箋隅角的視 覺索引。此群組數位便箋99可為例如在一特定輸入影像97中辨識的數位便箋子集。舉另一實例，一群組數位便箋99包含經由使用者操作而與同一群組相關聯的便箋。使用者介面98可在GUI 79的第二部分上此指定群組(組)的數位便箋，並接受使用者輸入26以讓使用者能夠輕易從指定群組增加或移除數位便箋99。在某些情況中，使用者介面98可在GUI 79的第二部分上顯示操作提示，使得使用者能夠依照操作提示而達成更佳的擷取及辨識結果。在某些情況中，圖形使用者介面79可包含觸敏裝置以接受使用者輸入。在一些其他情況下，使用者介面79可包含一個以上顯示器。
在某些例示性實施方案中，使用者介面98提供讓使用者能夠編輯疊覆影像及/或數位便箋的影像編輯器96。在另一實例中，數位便箋產生模組88可包括一或多個處理程序，其增強自輸入影像提取的資訊。
用於偵測並辨識實體便箋之便箋管理應用程式78的額外實例細節描述於下列專利申請案中：2013年7月9日申請的美國專利申請案61/844140號，標題為「SYSTEMS AND METHODS FOR NOTE RECOGNITION AND MANAGEMENT USING COLOR CLASSIFICATION」；於2013年7月9日申請的美國專利申請案61/844152號，標題為「SYSTEMS AND METHODS FOR NOTE CONTENT EXTRACTION AND MANAGEMENT USING SEGMENTED NOTES」；以及於2013年7月9日申請的美國專利申請案61/844176號，標題為「SYSTEMS AND METHODS FOR NOTE CONTENT EXTRACTION AND MANAGEMENT BY SEGMENTING NOTES」；於2013年10月16日申請的美國專利申請案61/891647號，標題為「NOTE RECOGNITION AND ASSOCIATION BASED ON GROUPING INDICATORS」；於2013年10月16日申請的美國專利申請案61/891444號，標題為「NOTE RECOGNITION FOR OVERLAPPING PHYSICAL NOTES」；以及於2013年10月16日申請的美國專利申請案61/891442號，標題為「ADDING,DELETING DIGITAL NOTES FROM A GROUP OF DIGITAL NOTES」；該等申請案之各者的全部內容皆以引用方式併入本文中。
圖4A為繪示例示性便箋辨識程序100的概念圖，此程序可由行動裝置15的便箋管理應用程式78實施。最初，便箋管理應用程式78的便箋識別模組86透過影像獲取以擷取複數個便箋的輸入影像(102)。在某些實例中，便箋為實體便箋，並且一次擷取一個以上便箋會更有效率。接著，便箋識別模組86自輸入影像辨識複數個便箋之一者(104)。例如，便箋識別模組86可使用色彩偵測模組、形狀偵測模組與圖案偵測模組來辨識便箋特徵，並且後續判定便箋的大致邊界。
數位便箋產生模組88提取複數個便箋之一者的內容以建立子影像(106)。在某些實例中，數位便箋產生模組88在提取內容之前可先將影像轉變作業應用於輸入影像的至少一部分。在某些其他實例中，數位便箋產生模組88可應用影像增強或其他影像處理技術，諸如移除基礎工作空間的背景或改變複數個便箋中之各便箋的色彩， 藉以改善所提取容或子影像的品質(108)。在又某些其他實例中，數位便箋產生模組88可自所提取的內容或子影像進一步辨識出文字及圖式。數位便箋產生模組88將經增強的所提取內容或子影像儲存至行動裝置15的資料儲存裝置68，並且可將數位便箋傳送至雲端伺服器12或其他電腦系統14(110)。此時，系統可建立代表所辨識實體便箋之相對應者的個別數位便箋。系統可使自給定實體便箋之視覺表示所提取出的內容關聯於代表實體便箋的一相對應數位便箋。可將用以致使一可程式化處理器執行程序100的程式碼或其他可執行指令儲存在行動裝置15的電腦可讀取儲存裝置內。
圖4B為繪示，當回應於使用者輸入而在圖形使用者介面之第一部分或圖形使用者介面之第二部分內選擇複數個數位便箋並且將所選的複數個數位便箋分組時，便箋管理應用程式78之例示性操作的概念圖。在程序530的一實例中，於如圖1至圖3所示之運算裝置、行動裝置15、雲端伺服器12或電腦系統14上執行的便箋管理應用程式78接收一輸入影像(532)。接著，運算裝置經組態成用以識別輸入影像中的複數個便箋(534)。當識別出輸入影像中的複數個便箋時，運算裝置產生對應於在輸入影像中所識別出之複數個便箋的複數個數位便箋(536)。在產生複數個數位便箋後，運算裝置經組態以在圖形使用者介面之第一部分上顯示輸入影像，該輸入影像包括覆疊於其上取代所識別複數個便箋的複數個數位便箋(538)。選擇性地，在當顯示第一部分時，運算裝置亦可組態設定以在圖形使用者介面之第二部分上顯示複數個數位便箋(540)。接著，運算裝置經組態成用以接收一 使用者輸入，以憑藉圖形使用者介面來選擇複數個數位便箋中之至少一些者(542)。在接收到使用者輸入以選擇複數個數位便箋中之一些者之後，運算裝置亦經組態成用以接收使用者輸入，藉此分組所選定的複數個數位便箋以形成一或多個群組(544)。
在某些實例中，一或多個群組可包含階層式次序。例如，層級1內的群組(例如，群組11、群組12、群組13等)位於最高層級處。層級2內的群組(例如，群組21、群組22、群組23等)位於低於層級1內之群組的層級處，並且可相關聯於層級1內的群組(例如，群組11包含群組21及群組22；群組12包含群組23)。層級3內的群組(例如，群組31、群組32、群組33等)位於低於層級2內之群組的層級處，並且可相關聯於層級2內的群組(例如，群組21包含群組31、群組32及群組33)。群組31包括節點1、節點2及節點3；並且群組32包括節點4、節點5及節點6。在上述實例中，節點1相關聯於群組31、群組21及群組11；同時節點4相關聯於群組32、群組21及群組11。
圖4C為繪示，當回應於使用者輸入而將一便箋自一群組移動至另一群組時，便箋管理應用程式78之例示性便箋關聯程序550的概念圖。在程序550的一實施例中，運行於一運算裝置上的便箋管理應用程式78維持數位便箋之第一群組與數位便箋之第二群組(552)。接著，運算裝置呈現代表數位便箋之第一群組的第一群組影像以及代表數位便箋之第二群組的第二群組影像(554)。群組影像通常具有指示一群組的邊界及群組名稱。GUI可接受使用者輸入以建立群組 的名稱。GUI亦可具有特定的背景色彩以指示群組。替代地，可將一群組中之各便箋的邊界著色有一顏色，而將屬於另一群組之便箋的邊界著色有一不同顏色。在某些實施方案中，群組影像可包括群組中之所有數位便箋的視覺表示。而在一些其他實施方案中，群組影像則是包括群組中之一些者的視覺表示。在某些實例中，群組影像具有格線格式，其中數位便箋的視覺表示是依格線方式所排列。
運算裝置在圖形使用者介面上顯示第一群組影像及第二群組影像(556)。運算裝置進一步接收指示第一群組影像內之第一部分的第一使用者輸入以及說明第二群組影像內之第二部分的第二使用者輸入(558)。可經由圖形使用者介面接收使用者輸入。在某些實例中，圖形使用者介面包含具有一觸敏區域的觸敏裝置，而此區域經組態成用以偵測鄰近於觸敏區域之刺激的位置資訊。運算裝置基於第一位置識別出數位便箋之第一群組中的數位便箋(560)。然後運算裝置藉由從第一群組中移出經識別數位便箋以修改第一群組(562)；並且藉由將經識別數位便箋新增至第二群組中以修改第二群組(564)。
在變更這些便箋群組之後，運算裝置可呈現表示經修改第一群組的一經修改第一群組影像以及表示經修改第二群組的一經修改第二群組影像。在某些實例中，經識別數位便箋呈現在鄰近經修改第二群組影像中之第二位置處。此外，經修改第一群組影像的尺寸可因群組中減少一成員而縮小，且經修改第二群組影像的尺寸則可因群組中增納一或多個成員而放大。
圖5A至圖5G為繪示便箋關聯程序550之一些例示性操作的概念圖。在圖5A中，群組影像121包括群組1內之數位便箋(便箋1、便箋2、便箋3、便箋4)的視覺表示，並且群組影像122包括數位便箋(便箋5、便箋6、便箋7、便箋8)的視覺表示，如由51A所示。圖形使用者介面79在鄰近於便箋4之原始位置的123處接收一使用者輸入。圖形使用者介面79在鄰近於群組影像122的124處進一步接收一使用者輸入。運算裝置基於在123處的使用者輸入識別便箋4，自群組1移除便箋4，並且將便箋4新增至群組2。在本實例中，群組影像121及122具有格線格式。運算裝置在鄰近於位置124的格線位置125處將便箋4進一步新增至群組影像122，如51B所示。在某些實例中，可產生一群組影像中之數位便箋的相對位置且予儲存在非暫存電腦可讀取媒體中，例如在與數位便箋相關聯的資料中。在某些實例中，群組影像122具有位於126處的原始邊界，並且擴展至位置127以供容納額外的便箋4。在某些實施方案中，運算裝置可將便箋複製至群組2，而不是將便箋自群組1移動至群組2。
圖5B為繪示例示性群組併合程序的概念圖。圖形使用者介面在鄰近群組影像121之邊界的位置131處接收一使用者輸入，然後在群組影像122內之一位置132處接收一使用者輸入，如52A中所示。運算裝置可將兩個數位便箋群組(群組1及群組2)併合成單一群組。經修改群組的表示可例如由52B內的133所示。
圖5C為繪示例示性群組建立程序的概念圖。圖形使用者介面在鄰近便箋2之視覺表示的位置141處接收使用者輸入，並且 稍後在鄰近便箋1之視覺表示的位置142處接收使用者輸入，如53A所示。運算裝置可建立包括對應於便箋1及便箋2之數位便箋的一群組1。群組1的群組影像可如53B中的143所示。
圖5D為繪示另一例示性群組建立程序的概念圖。54A繪示經貼附於一支撐結構150的複數個便箋152。54B為呈現在圖形使用者介面79上的54A之所擷取影像。舉一實例，可建立一群組(例如，群組1)以包含代表在此單一影像中所擷取之便箋152的所有數位便箋154。此外，一群組影像156內之數位便箋的視覺表示可維持其等在原始擷取影像中的空間位置，如54B所示，藉以有助於使用者例如回憶便箋在協作環境中的外觀。保持原始空間位置可協助判定在單一擷取影像中是否有一個以上的便箋群組。回應於如54C所示的使用者輸入，圖形使用者介面79能夠在GUI上提供群組的操作選項，例如對齊、重新命名、刪除、新增及類似項。例如，使用者可選擇「對齊」選項，並且在群組影像156中對齊數位便箋154的視覺表示。
圖5E繪示一些對齊選項。158A為一自由形式群組影像，這表示實體便箋的空間位置。運算裝置可自動地，或是回應於使用者輸入，產生具有不同便箋對齊及排列的群組影像。例如，158B為相合(fitted)群組影像；158C為其中數位便箋159的個別視覺表示貼齊格線的群組影像；並且158D一例如藉由自動版面配置方式所產生的群組影像。在某些實例中，於158B的群組影像中，數位便箋在格線內的空間位置可對應於實體便箋的空間位置。
圖5F繪示布告板影像的實例。布告板(又稱為工作表或表單)指稱包括群組(例如，群組1、群組2、群組3、群組4及群組5)的第二層級群組。布告板影像170包括這些所含群組的群組影像。在某些實例中，可藉由單一擷取影像(例如，靜態影像、一連串影像、視訊剪輯等)以建立布告板。在這些實例中，群組可為基於便箋的空間位置、分組指示符、便箋屬性或類似項所形成。
圖5G繪示一布告板影像內之群組影像的對齊。布告板影像160A包括群組影像162及群組影像164。回應於使用者輸入，例如使用者自手冊166及168選擇，可在GUI 79上呈現一布告板影像160B(部分視圖)，其中群組影像162與群組影像164在左方上為水平對齊；或者在GUI 79上可呈現一部分布告板影像160C(部分視圖)，其中群組影像162與群組影像164在底部處為垂直對齊。
在某些實例中，在便箋上「點兩下」可建立便箋的新複本，並可予按一下且拖曳至新的群組。而在群組上點兩下則可建立群組的複本。在某些實例中，亦可藉由觸碰並拖曳群組邊界以包含新的便箋來達成分組。替代地，可在觸敏裝置上藉由按一下並拖曳一邊界長方形，或者是使用刺激物(諸如手指、觸控筆等)繞於(多個)便箋而畫出一迴圈/圓形，以建立一群組。在某些實施方案中，新的便箋可經擷取並呈現在GUI上，同時可將新便箋新增至現有群組，例如藉由後續將繞於新便箋的迴圈/圓形/長方形連接至群組影像。
在某些實例中，當接收到使用者輸入後，可藉一或多個便箋建立一群組。例如，可將一便箋從一群組影像拖出，並且運算裝 置可針對便箋建立一新群組。舉另一實例，回應於使用者輸入，可在一群組影像中選定複數個便箋並從群組影像拖出，而且運算裝置可針對該複數個便箋建立新群組。在某些其他實例中，則可基於各擷取來建立群組。例如，運算裝置可擷取具有四個便箋的一靜態影像，然後建立包含該四個便箋的一群組。舉另一實例，運算裝置可擷取含20個便箋的序列影像或視訊剪輯，然後建立具有該20個便箋的一群組。在另其他實例中，運算裝置可擷取四個影像，其中各個影像具有數個便箋的視覺表示，接著建立對應於該四個影像之內容的四個群組。一便箋亦可經擷取且保持單獨，並不與其他的便箋組合。替代地，可將一便箋自一群組移除且變成單獨便箋。
圖6A為繪示運行於一運算裝置上提供提示以獲更佳便箋擷取之便箋管理應用程式78之例示性程序600的概念圖。可例如在便箋識別模組86中實施提示產生程序。首先，便箋管理應用程式78開始運行(601)。感測器(例如，影像感測器、光線感測器、運動感測器等)被設定或啟動(602)。感測器可與位於運算裝置內執行便箋管理應用程式78的一或多個處理器電性連通。例如，感測器包括光線感測器以測量明亮度。若明亮度低於一預定臨限值，則會顯示警示訊息。
在某些實例中，感測器經整合於運算裝置。例如，智慧型手機具有相機及加速度計。接著，運算裝置呈現便箋的視覺表示與提示以獲得更佳的便箋擷取(604)。在一些實施例中，影像擷取裝置經設定為一視訊模式並且擷取視訊圖框，其中分析視訊圖框的至少一子集。在一些其他的實施例中，可擷取(多個)靜態影像以供分析。
基於這項分析，可產生並呈現有關於便箋擷取程序的提示給使用者，包含例如影像擷取裝置到實體便箋的距離、影像擷取裝置的對準、影像擷取裝置的運動、照明條件及類似項。舉另一實例，當提供點選並按住功能時，可提供「按住以進行擷取」提示。在某些實例中，便箋的視覺表示與提示可呈現在圖形使用者介面的不同部分處。在某些其他實例中，提示可包含音訊及/或視覺資訊。例如，可提供提示為音訊訊息。舉另一實例，提示可包含一或多個文字訊息、靜態影像、動畫影像與其他的視覺資訊。在某些實例中，可依即時方式產生並呈現提示給使用者(例如，在視訊擷取的5秒內呈現)。
影像擷取裝置(例如，相機)可藉由或無需使用者輸入以設定成某一模式(606)。例如，影像擷取裝置可包括一正常模式以擷取影像(諸如靜態影像或一連串影像)。舉另一實例，影像擷取裝置可包括一連拍(burst)模式，其中例如當使用者點選並按住擷取按鍵不放時，可擷取許多影像且選定最佳影像。又再另一實例中，影像擷取裝置包括一點選並按住模式，即在擷取單一影像之前點選且按住擷取按鍵達一段時間。
在擷取到輸入影像後，運算裝置可對影像進行後處理(608)。例如，運算裝置可基於諸如清晰度、色彩範圍、曝光時間及/或類似項的準則從多個快速連續地擷取的影像中選擇最佳影像。運算裝置可藉由組合來自多個感測器(例如陀螺儀與加速度計)的資訊，使用感測器融合技術而能夠獲得裝置在擷取影像時的總運動。運動資訊可用以在由便箋辨識步驟進行處理之前先減少所擷取影像內的運動模 糊度。有些裝置可另外具有在影像感測器中的內建運動補償。在進入辨識步驟之前，所擷取影像可先例如藉由對色彩通道與其他此類技術的範圍進行正規化以予進一步後處理。這些程序可仰賴於來自擷取的中繼資料，諸如ISO值、焦點設定等。
在一些實施例中，從各種感測器及/或影像擷取裝置所擷取到的中繼資料612可運用於便箋識別與提取。中繼資料包含例如曝光時間、亮度、關注焦點、ISO速度及類似項。此資料可用以在便箋偵測及增強作業上獲致更佳結果。例如，可使用影像的亮度來判定影像中某一範圍的實際色彩。舉另一實例，關注焦點可運用於雜訊降低演算法。運算裝置可使用經後處理或未經後處理的輸入影像，連同或無中繼資料，以進一步辨識並增強便箋而且建立相對應之數位便箋(610)。
圖6B為繪示在便箋擷取程序期間產生並呈現提示之例示性提示產生程序620的概念圖。首先，運算裝置擷取一或多個實體便箋的視覺表示(622)。視覺表示可呈靜態影像、一連串影像或視訊的格式。然後，運算裝置辨識視覺表示中之一或多個實體便箋之一者(624)，而且產生對應於所辨識便箋的數位便箋(626)。在某些實例中，運算裝置可使用速度最佳化偵測演算法以產生數位便箋。例如，數位便箋可僅包括實體便箋的近似邊界。運算裝置評估視覺表示的品質(628)，並且產生與品質相關聯的一提示(630)。運算裝置可經由使用者介面呈現提示(632)。在一些實施例中，提示產生程序可持續運行以分析擷取條件並提供即時回饋給使用者。
圖7A至圖7F為繪示提示產生程序620之實例的概念圖。在圖7A中，呈現個關於影像擷取裝置與便箋間之一距離的提示。在某些實例中，於獲取程序程序期間，藉由有限高速版本的便箋提取引擎來處理來自相機獲取視野之視訊呈現之圖框，以判定視野內之便箋的尺寸。若尺寸過小，則會要求使用者移動以更靠近便箋。一般而言，便箋愈遠離相機，這些便箋在所擷取圖片中的外觀就會看似愈小，故而得到較低品質的結果。在圖7A所示的實例中，便箋的視覺表示是呈現在GUI 79之部分701中，而提示則是呈現在GUI 79之部分702中。在某些實例中，部分701與702可重疊。在某些其他實例中，部分702可位於GUI 79之部分701之內。
現參照圖7B，提示可為便箋705的視覺表示，指示待在GUI 79上顯示的臨限值或所欲尺寸。提示呈現在部分702內，而此部分為部分701的一部分。便箋705的視覺表示可為例如具有異於背景之不同色彩的靜態影像、便箋的動畫影像或類似項。
在圖7C中呈現出有關於照明條件的提示。若當拍照時光線不足，則圖片可能有雜訊而且色彩將會不夠生動。在某些實例中，評估影像擷取裝置的影像感測器設定並且產生關於照明條件的提示。例如，為輔助使用者在拍照時能夠得到足夠照明，當取景器處於作用中時可檢查自動設定的ISO(國際標準組織)值。若ISO值高於一預定臨限值，則會要求使用者運用閃光燈或開燈。在某些實施方案中，閃光燈的自動控制可繫結至此提示。亦可評核影像擷取裝置的其他設定以判定照明條件。例如，當所擷取影像及/或擷取影像內之特定 物件(例如，便箋)的色彩不匹配於所指定色彩時，可可評核色彩設定。在一些實施例中，可分析所擷取視覺表示(例如，靜態影像、視訊圖框等)的雜訊位準，並且基於此分析來產生有關照明條件的提示。
在圖7D中，部分702中呈現出關於運動的提示。若當拍照時移動相機，則圖片會變得模糊。為避免此一問題，可使用運動偵測器(例如，加速度計、陀螺儀等)以判定裝置移動的程度。例如，可使用加速度計資料來判定擷取裝置是否被移動。可比較絕對加速度值與一臨限值或是其他分類技術，以判定相機是否足夠穩定以獲得高品質便箋提取的影像。若所偵測到運動過大，則會例如要求使用者在當進行擷取時握住電話不動。
在獲取程序程序期間，藉由有限高速版本的便箋提取引擎來處理來自相機獲取視野之視訊呈現的圖框，以判定視野中的便箋尺寸，並且若便箋尺寸(像素數量)低於為獲取高品質數位便箋所判定的臨限值，則會告知使用者。可顯示向使用者告知便箋尺寸太小的訊息而建議使用者移動更靠近。由於處理器速度在未來可望增快，因此可預見全便箋提取引擎能夠處理全解析度影像圖框，而且將結果即時地呈現給使用者並告知如何改善便箋獲取的品質。
在圖7E中，一格線703疊覆於便箋的視覺表示上以協助影像擷取裝置的對齊。在所闡釋實例中，格線703經繪製於相機取景器的頂部，藉以協助使用者能夠依相對於被擷取便箋為良好的角度握住相機。在某些實施方案中，可實施一軟體鎖定禁制擷取，這會要 求在執行影像擷取之前應先達到適當的擷取條件，例如適當的光線位準、運動及距離。例如，若所偵測便箋尺寸低於一預定臨限值，則會阻止進行擷取。
在一些實施例中，可依動畫方式呈現一提示。動畫提示的一實例可如圖7F所示，這是採用一系列的GUI 79、706A、706B、706C及706D。影像集組707A、707B、707C與707D是表示在GUI 79之部分702中所呈現的動畫提示。回應於使用者輸入，例如使用者按住快門按鍵不放以表示進行「點選並按住」特徵而呈現此提示。一影像擷取裝置可具備「點選並按住」特徵，這會要求使用者按下擷取按鈕圖示並且按壓不放保持數秒鐘，通常是2至3秒。在按住期間，使用者介面可提供如所繪示之動畫提示，令使用者知曉現正進行點選並按住獲取，同時向使用者提供需保持按壓擷取按鍵多久的回饋。
在一些實施例中，運行於一運算裝置上的便箋管理應用程式78可將手動輔助特徵併入在例如便箋識別模組86中，讓使用者能夠協助識別遺漏的便箋。圖8A為繪示手動輔助程序800之實例的概念圖。首先，運算裝置接收具有複數個便箋的輸入影像(842)。運算裝置識別輸入影像中之複數個便箋的至少一部分，並且例如使用便箋識別模組86以產生數位便箋(844)。各個數位便箋對應於輸入影像中所識別出的一便箋。而在某些情況中，在自動識別程序的程序期間可能會遺漏一或多個便箋。運算裝置透過GUI顯示經疊覆有指示所識別便箋之指示項的輸入影像(846)。這些指示項可包含與所識別便箋相關聯的標記、標籤、隅角、邊界及/或其他視覺指示器。
運算裝置進一步接收表示在輸入影像中一關注點處之位置的使用者輸入(848)。使用者輸入係關於尚未被識別出之實體便箋(又稱為實體遺漏便箋)的位置。然後，運算裝置依據位置以識別出輸入影像中的遺漏實體便箋(850)，並且產生對應於遺漏實體便箋的額外數位便箋。在某些情況中，使用者輸入可指示實體便箋的大致邊界，使得運算裝置能夠基於使用者輸入來識別實體便箋。在這些情況下，使用者輸入可為例如輸入影像中實體便箋之邊界的外框、輸入影像中實體便箋的一或多個隅角或類似項。舉一實例，輸入影像擷取一白板或一大張紙片上的內容，使用者介面接收定義一實體便箋的一關注區域(例如，手寫文字、繪圖等之區域)之兩個對置隅角的使用者輸入，同時運算裝置可判定實體便箋的大致邊界而且建立表示實體便箋的數位便箋。舉另一實例，使用者介面接收表示輸入影像中之位置的使用者輸入；使用者介面可於鄰近於位置處呈現預定義幾何形狀；使用者介面經組態成用以接受使用者輸入來調整幾何形狀的邊界藉以匹配於定義一實體便箋的關注區域，而且運算裝置可判定實體便箋的幾何邊界並建立表示實體便箋的數位便箋。
手動輔助程序800內的各項步驟可包含數項選擇性操作，如圖8B中所示。例如，運算裝置可計算原始便箋的最小、最大及平均面積並且基於這些資料來判定關注區域(812)作為準備(810)。在偵測步驟(820)中，可運用不同方式的組合來識別便箋，並且提取便箋內容。例如，運算裝置可在關注點處找到回應於使用者輸入而已移除的原始便箋(822)。舉另一實例，運算裝置可使用色彩區段化方式來判 定一候選便箋(824)。色彩區段化是指基於色彩在一影像中的分布情況以將影像劃分成相異區域的一組技術。在色彩區段化中，可依據色彩值及鄰近度將影像中的像素加以分組。色彩區段化方法可如下列文章所詳述，例如：Boykov,Yuri及Gareth Funka-Lea「Graph cuts and efficient ND image segmentation」(International Journal of Computer Vision 70.2(2006)，第109至131頁)；Felzenszwalb,Pedro F.及Daniel P.Huttenlocher「Efficient graph-based image segmentation」(International Journal of Computer Vision 59.2(2004)，第167至181頁)。再舉其他實例，運算裝置可使用行進方法來判定一候選便箋(826)。下文中將詳細說明行進方法。在某些情況中，運算裝置可經由不同的程序以識別多個候選項，並且選定最佳候選項以產生相對應之數位便箋(830)。在一些實施例中，運算裝置可使用一種評分系統來評估候選項。評分系統可包含候選項之各種屬性的評分，例如對於尺寸、形狀、位置及類似項的評分。
圖8C為繪示例示性行進方法860的概念圖。首先，運算裝置基於所識別便箋計算一關注區域(862)。在某些情況中，關注區域可為經識別便箋之區域的最大區域。運算裝置可選擇性地按比例縮小輸入影像(864)，藉以達到例如更快的處理速度。運算裝置可將輸入影像轉換成所欲色彩空間(866)。可應用的色彩空間包括(但並不限於)RGB(紅色、綠色及藍色)、LAB(例如，Hunter 1948 L,a,b色彩空間，CIE 1976(L*,a*,b*)色彩空間、CMYK(青色、洋紅色、黃色與定位色(黑色))、HSV(色調、飽和度及值)、HSL(色調、飽和 度及亮度)、HSI(色調、飽和度及強度)、sRGB(標準紅色、綠色及藍色)色彩空間。運算裝置計算關注區域的中間色彩(868)。在某些情況中，運算裝置使用一較小區域，例如使用所識別便箋區域的最小區域，來計算中間色彩。沿行進方法的各個方向上對評估各點，直到到達一或多個邊緣點處(870)。
在一些實施例中，行進方法會使用八個方向來行進。對於沿一方向上輸入影像的各個點處，運算裝置可計算該點處與中間色彩之間的色彩差(871)。比較此色彩距離與一預定臨限值(872)。若色彩距離是在預定臨限值之內，則該點處是在候選便箋內(874)，並且評估沿相同方向上的下一點(871)。若色彩差超過預定臨限值，則該點處為一邊緣點(876)，並且運算裝置開始評估沿下一方向上的點(870)。在某些情況中，對於這八個方向上的各者，會對大於預定義臨限值的色彩距離檢查最大點數。若沿一方向上並無點處超過臨限值，則對於方向沒有找到邊緣點。在對於這八個方向中至少在三者上發現邊緣點的情況下，給定所偵測邊緣點則可逼近一形狀。發現愈多的邊緣點，逼近結果就會愈佳。在某些情況中，相較於發現較少數量之邊緣點的候選項，可將較佳評分指定給發現較多數量之邊緣點的候選項。
在一些實施例中，評分系統可使用組合評分來評估候選便箋。例如，候選便箋的總評分可為其尺寸之評分、關於其是否為一經移除便箋之評分、縱橫比之評分及其他評分的總和。在某些情況中，候選便箋的總評分可為其個別評分的加權總和。
圖9為繪示由電腦所呈現以供協助運用手動輔助程序之例示性使用者介面的概念圖。第一GUI 210展示經疊覆有所識別便箋之指示項220的輸入影像。第二GUI 212可為，回應於例如在位置222處之點兩下動作的使用者輸入，輸入影像的關注放大部分。第二GUI 212在位置224處接收另一使用者輸入。基於位置224，即可識別出一遺漏便箋226並且在第三GUI 214中予以指示。
圖10A至圖10E為繪示可基於啟發性教學用作為評分之不同位置空隙實例的概念圖。在本實例中，啟發性教學可為假使一便箋被較多的經識別便箋環繞則可擁有較高的評分。基於啟發性教學，被影像232內之經識別便箋230所環繞的位置空隙242具有最高評分，而這就表示具有遺漏便箋之最高可能性的一位置。在影像234中具有較少環繞經識別便箋230的位置空隙244的評分低於位置空隙242的評分。影像236內的位置空隙246的評分低於位置空隙244的評分，而其中影像238內的位置空隙248的評分低於位置空隙246的評分。影像239內的位置空隙249具有最低評分。亦可採用其他的啟發性教學(例如，色彩一致性啟發性教學)以作為評分的基礎。
實例1。一種具有一處理器之運算裝置，該運算裝置包含：一影像收集模組，其經組態成用以擷取複數個實體便箋的一視覺表示，該影像收集模組包含一影像擷取裝置；一便箋識別模組，其係藉由該處理器所實施，並經組態成用以辨識該視覺表示中之該複數個實體便箋之一或多者，且產生對應於該等經辨識實體便箋之各者的一數位便箋，其中該便箋識別模組進一步經組態成用以評估該視覺表示 的品質並產生與該所評估品質相關聯的一提示；以及一使用者介面，其經組態成用以在該使用者介面之一第一部分處顯示該視覺表示，而且在該使用者介面之一第二部分處顯示該提示。
實例2。如請求項1之運算裝置，其中該提示包括一操作提示，該操作提示提供擷取該一或多個實體便箋之一第二視覺表示的一建議。
實例3。如請求項1或2之運算裝置，其中該等數位便箋之各者包括該相對應之經辨識實體便箋的一個別影像，其中該便箋識別模組經組態成用以，回應於該便箋識別模組判定該等影像之至少一者的一尺寸小於一預定臨限值尺寸，產生該提示以提供關於該影像擷取裝置與該複數個實體便箋間之一距離的一建議。
實例4。如請求項1至3中任一項之運算裝置，其中該便箋識別模組經組態成用以，回應於該便箋識別模組評估該影像擷取裝置之一影像感測設定，產生該提示以提供關於一照明條件的一建議。
實例5。如請求項1至4中任一項之運算裝置，其進一步包含：一運動偵測單元，其經組態成用以偵測該影像擷取裝置的移動，並且將指示該所偵測移動的移動資料提供至該便箋識別模組，其中該便箋識別模組經組態成用以，回應於接收到該移動資料，產生該提示以提供關於該影像擷取裝置之該移動的一建議。
實例6。如請求項1至5任一項之運算裝置，其中該使用者介面進一步經組態成用以顯示覆疊於該視覺表示上的一格線。
實例7。如請求項1至6任一項之運算裝置，其中該提示包含一文字訊息、一靜態影像、一動畫影像或一連串影像的至少一者。
實例8。一種藉由用一運算裝置擷取且辨識便箋之方法，該運算裝置具有一記憶體、一影像擷取裝置、一處理器及一使用者介面，該方法包含：藉由該影像擷取裝置，擷取複數個實體便箋的一視覺表示；藉由該處理器，辨識該視覺表示中之該複數個實體便箋之一或多者；藉由該處理器，評估該視覺表示的品質；產生與該視覺表示之該所評估品質相關聯的一提示；以及在該使用者介面之一第一部分處顯示該視覺表示，而且在該使用者介面之一第二部分處顯示該提示。
實例9。如請求項8之方法，其中產生該提示包含產生一操作提示，該操作提示提供擷取該一或多個實體便箋之一第二視覺表示的一建議。
實例10。如請求項8或9之方法，其進一步包含：藉由該處理器，產生代表該等個別經辨識實體便箋之各者的一相對應數位便箋。
實例11。如請求項10之方法，其進一步包含：藉由該處理器，評估該等數位便箋之至少一者的品質。
實例12。如請求項8至11任一項之方法，其進一步包含：藉由該處理器，評估該視覺表示中之該等經辨識實體便箋之一或多者的一尺寸，且其中產生該提示包含，回應於該處理器判定該等經 辨識實體便箋之至少一者的該尺寸小於一預定臨限值尺寸，產生該提示以提供關於該影像擷取裝置與該複數個實體便箋間之一距離的一建議。
實例13。如請求項8至12任一項之方法，其進一步包含：藉由該處理器，評估該影像擷取裝置的一或多個影像感測設定，其中產生該提示包含，基於評估該一或多個影像感測設定，產生該提示以提供關於一照明條件的一建議。
實例14。如請求項8至13任一項之方法，其進一步包含：藉由一運動感測器，偵測該影像擷取裝置的移動；以及提供指示該所偵測移動的移動資料，其中產生該提示包含：回應於接收到該移動資料，產生該提示以提供關於該影像擷取裝置之該移動的一建議。
實例15。如請求項8至14任一項之方法，其進一步包含：在該使用者介面上顯示覆疊於該視覺表示上的一格線。
實例16。如請求項8至15任一項之方法，其中該提示包含一文字訊息、一靜態影像、一動畫影像或一連串影像的至少一者。
實例17。如請求項8至16任一項之方法，其中該使用者介面之該第一部分與該使用者介面之該第二部分相分離。
實例18。如請求項8至17任一項之方法，其中該使用者介面之該第一部分與該使用者介面之該第二部分相重疊。
實例19。如請求項8至18任一項之方法，其中該提示指示該影像擷取裝置之一擷取進度。
本發明不應被認為是限於本文所描述的特定實例及實施例，而應認為此等實施例是要詳細描述以促進本發明不同態様的解說。反而，應理解為本發明含括本發明的所有態様，包括屬於如隨附申請專利範圍所定義之本發明之精神及範疇的各種修改、等效程序，以及可替換的裝置。
79‧‧‧圖形使用者介面(GUI)
701‧‧‧GUI之部分
702‧‧‧GUI之部分

Claims (19)

  1. 一種具有一處理器之運算裝置，該運算裝置包含：一影像收集模組，其經組態成用以擷取複數個實體便箋的視覺表示，該影像收集模組包含一影像擷取裝置；一便箋識別模組，其係藉由該處理器所實施，並經組態成用以辨識該視覺表示中之該複數個實體便箋之一或多者，且產生對應於該等經辨識實體便箋之各者的一數位便箋，其中該便箋識別模組進一步經組態成用以評估該視覺表示的品質並且產生與該所評估品質相關聯的一提示；以及一使用者介面，其經組態成用以在該使用者介面之一第一部分處顯示該視覺表示，而且在該使用者介面之一第二部分處顯示該提示。
  2. 如請求項1之運算裝置，其中該提示包括一操作提示，該操作提示提供擷取該複數個實體便箋之一第二視覺表示的一建議。
  3. 如請求項1之運算裝置，其中該等數位便箋之各者包括該相對應之經辨識實體便箋的一個別影像，其中該便箋識別模組經組態成用以，回應於該便箋識別模組判定該等影像之至少一者的一尺寸小於一預定臨限值尺寸，產生該提示以提供關於該影像擷取裝置與該複數個實體便箋間之一距離的一建議。
  4. 如請求項1之運算裝置，其中該便箋識別模組經組態成用以，回應於該便箋識別模組評估該影像擷取裝置之一影像感測設定，產生該提示以提供關於一照明條件的一建議。
  5. 如請求項1之運算裝置，其進一步包含： 一運動偵測單元，其經組態成用以偵測該影像擷取裝置的移動，並且將指示該所偵測移動的移動資料提供至該便箋識別模組，其中該便箋識別模組經組態成用以，回應於接收到該移動資料，產生該提示以提供關於該影像擷取裝置之該移動的一建議。
  6. 如請求項1之運算裝置，其中該使用者介面進一步經組態成用以顯示覆疊於該視覺表示上的一格線。
  7. 如請求項1至6中任一項之運算裝置，其中該提示包含一文字訊息、一靜態影像、一動畫影像或一連串影像的至少一者。
  8. 一種藉由用一運算裝置擷取且辨識便箋之方法，該運算裝置具有一記憶體、一影像擷取裝置、一處理器及一使用者介面，該方法包含：藉由該影像擷取裝置，擷取複數個實體便箋的一視覺表示；藉由該處理器，辨識該視覺表示中之複數個實體便箋之一或多者；藉由該處理器，評估該視覺表示的品質；產生與該視覺表示之該所評估品質相關聯的一提示；以及在該使用者介面之一第一部分處顯示該視覺表示，並且在該使用者介面之一第二部分處顯示該提示。
  9. 如請求項8之方法，其中產生該提示包含產生一操作提示，該操作提示提供擷取該一或多個實體便箋之一第二視覺表示的一建議。
  10. 如請求項8之方法，其進一步包含：藉由該處理器，產生代表該等個別經辨識實體便箋之各者的一相對應數位便箋。
  11. 如請求項10之方法，其進一步包含：藉由該處理器，評估該等數位便箋之至少一者的品質。
  12. 如請求項8之方法，其進一步包含： 藉由該處理器，評估該視覺表示中之該等經辨識實體便箋之一或多者的一尺寸，以及其中產生該提示包含，回應於該處理器判定該等經辨識實體便箋之至少一者的該尺寸小於一預定臨限值尺寸，產生該提示以提供關於該影像擷取裝置與該複數個實體便箋間之一距離的一建議。
  13. 如請求項8之方法，其進一步包含：藉由該處理器，評估該影像擷取裝置的一或多個影像感測設定，其中產生該提示包含，基於評估該一或多個影像感測設定，產生該提示以提供關於一照明條件的一建議。
  14. 如請求項8之方法，其進一步包含：藉由一運動感測器，偵測該影像擷取裝置的移動；以及提供指示該所偵測移動的移動資料，其中產生該提示包含：回應於接收到該移動資料，產生該提示以提供關於該影像擷取裝置之該移動的一建議。
  15. 如請求項8之方法，其進一步包含：在該使用者介面上顯示覆疊於該視覺表示上的一格線。
  16. 如請求項8之方法，其中該提示包含一文字訊息、一靜態影像、一動畫影像或一連串影像的至少一者。
  17. 如請求項8之方法，其中該使用者介面之該第一部分與該使用者介面之該第二部分相分離。
  18. 如請求項8之方法，其中該使用者介面之該第一部分與該使用者介面之該第二部分相重疊。
  19. 如請求項8至18中任一項之方法，其中該提示指示該影像擷取裝置之一擷取進度。
TW104103317A 2014-01-31 2015-01-30 運用使用者介面上之提示的便箋擷取、辨識及管理 TW201546699A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201461934414P 2014-01-31 2014-01-31

Publications (1)

Publication Number Publication Date
TW201546699A true TW201546699A (zh) 2015-12-16

Family

ID=53755100

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104103317A TW201546699A (zh) 2014-01-31 2015-01-30 運用使用者介面上之提示的便箋擷取、辨識及管理

Country Status (3)

Country Link
US (1) US20150220800A1 (zh)
TW (1) TW201546699A (zh)
WO (1) WO2015116799A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI638563B (zh) * 2017-05-19 2018-10-11 虹光精密工業股份有限公司 影像擷取方法及應用其之影像擷取裝置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2928174B1 (en) * 2014-03-31 2023-01-04 Open Text S.A. A method and device for capturing a document
US9910644B2 (en) * 2015-03-03 2018-03-06 Microsoft Technology Licensing, Llc Integrated note-taking functionality for computing system entities
US9922016B2 (en) 2016-05-06 2018-03-20 Ricoh Company, Ltd. Virtual sticky generation
US9934431B2 (en) * 2016-07-27 2018-04-03 Konica Minolta Laboratory U.S.A., Inc. Producing a flowchart object from an image
EP3688982A4 (en) * 2017-09-27 2021-12-29 Dolby Laboratories Licensing Corporation Processing video including a physical writing surface
JP7356263B2 (ja) * 2019-05-29 2023-10-04 シャープ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059075A (ja) * 2004-08-19 2006-03-02 Fuji Xerox Co Ltd 文書処理装置およびプログラム
US7698644B2 (en) * 2005-04-26 2010-04-13 Cisco Technology, Inc. System and method for displaying sticky notes on a phone
JP5073281B2 (ja) * 2006-12-12 2012-11-14 株式会社Ｐｆｕ 付箋表示処理装置および付箋表示処理方法
US9648287B2 (en) * 2007-02-15 2017-05-09 Stewart Carl Note capture device
US8391602B2 (en) * 2010-04-08 2013-03-05 University Of Calcutta Character recognition
US8600167B2 (en) * 2010-05-21 2013-12-03 Hand Held Products, Inc. System for capturing a document in an image signal
CA2822244C (en) * 2010-12-27 2017-02-28 Joseph R. Ferrantelli Mobile postural screening method and system
US8635549B2 (en) * 2011-02-10 2014-01-21 Microsoft Corporation Directly assigning desktop backgrounds
US9858552B2 (en) * 2011-06-15 2018-01-02 Sap Ag Systems and methods for augmenting physical media from multiple locations
US8903201B2 (en) * 2011-12-12 2014-12-02 Symbol Technologies, Inc. Method and apparatus for enhanced document capture

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI638563B (zh) * 2017-05-19 2018-10-11 虹光精密工業股份有限公司 影像擷取方法及應用其之影像擷取裝置
US10484560B2 (en) 2017-05-19 2019-11-19 Avision Inc. Image capturing method capable of arranging a plurality of region images and image capturing device using the same

Also Published As

Publication number Publication date
WO2015116799A1 (en) 2015-08-06
US20150220800A1 (en) 2015-08-06

Similar Documents

Publication Publication Date Title
US10698560B2 (en) Organizing digital notes on a user interface
TWI659354B (zh) 具有處理器之運算裝置及在其上實施擷取及辨識便箋之方法
US9600718B2 (en) Note recognition and association based on grouping indicators
US10296789B2 (en) Note recognition for overlapping physical notes
US10325389B2 (en) Editing digital notes representing physical notes
TW201546699A (zh) 運用使用者介面上之提示的便箋擷取、辨識及管理
EP3058514B1 (en) Adding/deleting digital notes from a group
TWI691854B (zh) 用於建立及操作軟體便箋之方法及運算裝置
CN114363521B (zh) 图像处理方法、装置及电子设备