TWI651640B - 在使用者介面上組織數位便箋 - Google Patents

在使用者介面上組織數位便箋 Download PDF

Info

Publication number
TWI651640B
TWI651640B TW103135756A TW103135756A TWI651640B TW I651640 B TWI651640 B TW I651640B TW 103135756 A TW103135756 A TW 103135756A TW 103135756 A TW103135756 A TW 103135756A TW I651640 B TWI651640 B TW I651640B
Authority
TW
Taiwan
Prior art keywords
group
note
notes
digital
physical
Prior art date
Application number
TW103135756A
Other languages
English (en)
Other versions
TW201531918A (zh
Inventor
波吐斯 艾利森
基爾 威廉 英格禮旭
大衛 毛利斯 瑪里
麥克 洛斯典
理查 詹姆士 摩爾
古魯帕賽德 索瑪桑德朗
克莉絲汀 艾琳 摩倫
黛安 瑞多特 渥克
羅蘭 普瑞森
林內斯 艾克蘭
Original Assignee
３Ｍ新設資產公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ３Ｍ新設資產公司 filed Critical ３Ｍ新設資產公司
Publication of TW201531918A publication Critical patent/TW201531918A/zh
Application granted granted Critical
Publication of TWI651640B publication Critical patent/TWI651640B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/08—Annexed information, e.g. attachments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Abstract

本揭露之至少某些態樣其特徵在於一運算裝置，該運算裝置係組態成用以在使用者介面上顯示數位便箋之視覺表示、以及表示一或多個群組之一或多個群組影像，其中各群組皆可包括一或多個數位便箋。該運算裝置係進一步組態成經由使用者介面以接收一或多個使用者輸入，並且基於已接收使用者輸入以變更群組之組成。

Description

在使用者介面上組織數位便箋 【相關申請案之交互參照】
本申請案主張下列文獻的優先權：2013年10月16日申請之美國臨時申請案第61/891,647號；2013年10月16日申請之美國臨時申請案第61/891,442號；以及2014年1月31日申請之美國臨時申請案第61/934,392號，各該文獻的全部內容以引用方式併入本文中。
本揭露係關於便箋內容擷取、辨識、提取及/或管理的工具與系統。
紙質便箋(note)已廣泛運用於記錄、分享以及溝通意見與資訊。舉例來說，在協作會議期間(例如，腦力激盪會議)，參與者將意見寫在Post-It®便利貼、白板或紙上，然後彼此分享。此外，人們經常從早到晚用便箋來記下不想忘記的資訊或內容。舉其他實例，人們常會使用便箋作為提醒將來要採取之行動或會發生之事件，諸如撥一通電話，修訂一份文件，或是填寫時間表。
舉例來說，在許多情況下，參與協作會議的人們會將資訊寫在紙質便箋上，諸如Post-it®便利貼。紙質Post-it®便利貼可方便從一背膠紙質Post-it®便利貼的便條本(dispenser pad)移開，並 貼至各種表面，諸如白板、文件、桌面、電話或類似者。可在紙質Post-it®便利貼離開其便條本或貼至其目標表面之前或之後將資訊寫在紙質Post-it®便利貼上。紙質Post-it®便利貼可輕易從一表面移至另一表面，諸如在文件之間或是在文件與桌面之間，便利貼可覆疊文件的邊緣或邊界、可分層，而且也可連同便利貼所貼至的物件一起移動。
現有軟體程式允許電腦使用者以數位形式產生基於軟體之便箋，並且在運算環境裡使用數位便箋。舉例來說，電腦使用者可建立數位便箋並將其「貼」至電子文件、桌面、或是運算環境所呈現的電子工作空間。電腦使用者可操作便箋，容許建立、刪除、編輯、儲存、以及選擇性檢視便箋。電腦使用者可藉由自文件裁剪便箋、將便箋儲存於剪貼簿、並接著將便箋貼至相同文件另一區或不同文件，而在文件裡、或在文件及/或桌面之間移動此便箋。按照這種方式，軟體程式提供便箋之虛擬表示，並且容許個人以類似於其可能日用之實體便箋的方式使用數位便箋。
本揭露之至少某些態樣其特徵在於一運算裝置，該運算裝置包含：一便箋管理應用程式，係組態成用以維護一第一組數位便箋及一第二組數位便箋；一影像顯現模組，係組態成用以顯現一表示該第一組數位便箋之第一群組影像、以及一表示該第二組數位便箋之第二群組影像；以及一使用者介面，係組態成用以顯示該第一群組影像及該第二群組影像。該使用者介面係進一步組態成用以接收一指示 一在該第一群組影像內之第一位置的第一使用者輸入、以及一指示一在該第二群組影像內之第二位置的第二使用者輸入。該便箋管理應用程式係進一步組態成回應接收該第一使用者輸入及該第二使用者輸入，以基於該第一位置在該第一組數位便箋中識別一數位便箋、藉由將該已識別數位便箋從該第一組移除以修改該第一組、以及藉由將該已識別數位便箋新增至該第二組以修改該第二組。
本揭露之至少某些態樣其特徵在於一運算裝置，該運算裝置包含：一便箋管理應用程式，係組態成用以維護一第一組數位便箋及一第二組數位便箋；一影像顯現模組，係組態成用以顯現一表示該第一組數位便箋之第一群組影像、以及一表示該第二組數位便箋之第二群組影像；以及一使用者介面，係組態成用以顯示該第一群組影像及該第二群組影像。該使用者介面係進一步組態成用以接收一指示一鄰近該第一群組影像邊界之第一位置的第一使用者輸入、以及一指示一在該第二群組影像內之第二位置的第二使用者輸入。該便箋管理應用程式係進一步組態成回應接收該第一使用者輸入及該第二使用者輸入，以藉由將該第一組中之該等數位便箋新增至該第二組以修改該第二組數位便箋。
本揭露之至少某些態樣其特徵在於一運算裝置，該運算裝置包含：一便箋管理應用程式，係組態成用以維護一第一數位便箋及一第二數位便箋；一影像顯現模組，係組態成用以顯現該第一數位便箋之一視覺表示及該第二數位便箋之一視覺表示；以及一使用者介面，係組態成用以顯示該第一數位便箋之該視覺表示及該第二數位便 箋之該視覺表示。該使用者介面係進一步組態成用以接收一第一使用者輸入(其指示一鄰近該第一數位便箋之該視覺表示的第一位置)及一第二使用者輸入(其指示一鄰近該第二數位便箋之該視覺表示的第二位置)。該便箋管理應用程式係進一步組態成回應接收該第一使用者輸入與該第二使用者輸入，而建立包括該第一數位便箋及該第二數位便箋之數位便箋之一組。
本揭露之至少某些態樣其特徵在於一種利用一運算裝置管理數位便箋之方法，該運算裝置具有一記憶體、一處理器以及一使用者介面。本方法包括下列步驟：藉由該運算裝置維護一第一組數位便箋及一第二組數位便箋；藉由該運算裝置顯現一表示該第一組數位便箋之第一群組影像及一表示該第二組數位便箋之第二群組影像；藉由該運算裝置並且於該使用者介面顯示該第一群組影像及該第二群組影像；藉由該運算裝置，接收一指示一在該第一群組影像內之第一位置的第一使用者輸入、以及一指示一在該第二群組影像內之第二位置的第二使用者輸入；藉由該運算裝置並且至少部分基於該第一使用者輸入及該第二使用者輸入，基於該第一位置識別該第一組數位便箋中之一數位便箋；藉由將該已識別數位便箋從該第一組移除以修改該第一組；以及藉由將該已識別數位便箋新增至該第二組以修改該第二組。
10‧‧‧便箋辨識環境
12‧‧‧雲端伺服器
14‧‧‧電腦系統
15‧‧‧行動裝置/移動偵測單元
16‧‧‧行動裝置
18‧‧‧影像擷取裝置
20‧‧‧工作空間
22‧‧‧便箋
26‧‧‧使用者/使用者輸入
28‧‧‧呈現裝置
51A‧‧‧視覺表示(運算裝置)
51B‧‧‧視覺表示(運算裝置)
52A‧‧‧圖形使用者介面
52B‧‧‧已修改群組之表示
53A‧‧‧圖形使用者介面
53B‧‧‧運算裝置
54A‧‧‧複數個便箋
54B‧‧‧數位便箋之視覺表示
54C‧‧‧回應使用者輸入
64‧‧‧作業系統
68‧‧‧資料儲存裝置
70‧‧‧處理器
72‧‧‧傳輸器
73‧‧‧移動偵測單元
74‧‧‧接受器
75‧‧‧感測器
76‧‧‧I/O
77‧‧‧使用者應用程式
78‧‧‧便箋管理應用程式
79‧‧‧圖形使用者介面
82‧‧‧影像處理引擎
86‧‧‧便箋識別模組
88‧‧‧數位便箋產生模組
90‧‧‧影像通訊模組
94‧‧‧資料庫
95‧‧‧影像處理應用程式介面
96‧‧‧影像編輯器
97‧‧‧影像
98‧‧‧使用者介面
99‧‧‧數位便箋
100‧‧‧便箋辨識程序
102‧‧‧步驟
104‧‧‧步驟
106‧‧‧步驟
108‧‧‧步驟
110‧‧‧步驟
121‧‧‧群組影像
122‧‧‧群組影像
123‧‧‧使用者輸入
124‧‧‧使用者輸入
125‧‧‧網格位置
126‧‧‧群組影像邊界
127‧‧‧群組影像邊界；位置
131‧‧‧(使用者輸入)位置
132‧‧‧(使用者輸入)位置
133‧‧‧已修改群組之表示
141‧‧‧(使用者輸入)位置
142‧‧‧(使用者輸入)位置
143‧‧‧群組影像
150‧‧‧撐體架構
152‧‧‧便箋
154‧‧‧數位便箋
156‧‧‧群組影像
158A‧‧‧自由形式群組影像
158B‧‧‧擬合的群組影像
158C‧‧‧群組影像
158D‧‧‧群組影像
159‧‧‧數位便箋
160A‧‧‧板影像
160B‧‧‧板影像
160C‧‧‧板影像
162‧‧‧群組影像
164‧‧‧群組影像
166‧‧‧手動
168‧‧‧手動
170‧‧‧板影像
211(210)‧‧‧第一GUI
212‧‧‧第二GUI
214‧‧‧第三GUI
220‧‧‧指示
222‧‧‧(點兩下)位置
224‧‧‧(使用者輸入)位置
226‧‧‧遺漏之便箋
230‧‧‧已識別便箋
232‧‧‧影像
234‧‧‧影像
236‧‧‧影像
238‧‧‧影像
239‧‧‧影像
242‧‧‧位置空隙
244‧‧‧位置空隙
246‧‧‧位置空隙
248‧‧‧位置空隙
249‧‧‧位置空隙
530‧‧‧程序
532‧‧‧步驟
534‧‧‧步驟
536‧‧‧步驟
538‧‧‧步驟
540‧‧‧步驟
542‧‧‧步驟
544‧‧‧步驟
550‧‧‧便箋關聯程序
552‧‧‧步驟
554‧‧‧步驟
556‧‧‧步驟
558‧‧‧步驟
560‧‧‧步驟
562‧‧‧步驟
564‧‧‧步驟
600‧‧‧程序
601‧‧‧開始執行
602‧‧‧設定或起動
604‧‧‧呈現
606‧‧‧特定模式
608‧‧‧影像後處理
610‧‧‧辨識並強化
612‧‧‧中繼資料
620‧‧‧提示產生程序
622‧‧‧步驟
624‧‧‧步驟
626‧‧‧步驟
628‧‧‧步驟
630‧‧‧步驟
632‧‧‧步驟
701‧‧‧部分
702‧‧‧部分
703‧‧‧網格
705‧‧‧便箋
706A‧‧‧圖形使用者介面
706B‧‧‧圖形使用者介面
706C‧‧‧圖形使用者介面
706D‧‧‧圖形使用者介面
707A‧‧‧影像
707B‧‧‧影像
707C‧‧‧影像
707D‧‧‧影像
800‧‧‧手動輔助程序
810‧‧‧步驟
812‧‧‧步驟
820‧‧‧步驟
822‧‧‧步驟
824‧‧‧步驟
826‧‧‧步驟
830‧‧‧步驟
832‧‧‧步驟
842‧‧‧步驟
844‧‧‧步驟
846‧‧‧步驟
848‧‧‧步驟
850‧‧‧步驟
860‧‧‧行進法
862‧‧‧步驟
864‧‧‧步驟
866‧‧‧步驟
868‧‧‧步驟
870‧‧‧步驟
871‧‧‧步驟
872‧‧‧步驟
874‧‧‧步驟
876‧‧‧步驟
隨附圖式併入並構成本說明書之一部分，且與詳細說明一起釋明本發明之優勢與理論。在圖式中， 圖1係一示意圖，其說明便箋辨識環境之一實例。
圖2係一方塊圖，其說明有便箋管理功能之行動裝置之一實例。
圖3係一方塊圖，其說明便箋管理應用程式之一個實例性實施方案。
圖4A係一示意圖，其說明一實例性便箋辨識程序。
圖4B係一示意圖，其說明便箋管理應用程式之實例性操作。
圖4C係一示意圖，其說明一實例性便箋關聯程序。
圖5A至5G係示意圖，其說明該便箋關聯程序之實例性操作。
圖6A係一示意圖，其說明為得到較好之便箋擷取而提供提示之便箋管理應用程式之一實例性程序。
圖6B係一示意圖，其說明用以在便箋擷取期間產生並呈現提示之實例性提示產生程序。
圖7A至7F係示意圖，其說明該提示產生程序之實例。
圖8A係一示意圖，其說明手動輔助程序之一實例。
圖8B係一示意圖，其說明用於手動輔助之選擇性操作。
圖8C係一示意圖，其說明一實例性行進法。
圖9係一示意圖，其說明使用手動輔助程序之一實例。
圖10A至10E係示意圖，其說明可基於經驗法則當作計分之位置空隙的不同實例。
本發明描述用於建立並操作表示實體便箋之軟體便箋的技術。舉例來說，所述的技術係用於辨識在一實體環境內存在的實體 便箋，自實體便箋擷取資訊並建立該等實體便箋的對應數位表示，在本文中稱之為數位便箋或以軟體為基礎的便箋。此外，本揭露之至少某些態樣係關於用於管理多個便箋的技術，諸如儲存、檢索、編輯、將該等數位便箋分類及/或分組、或類似技術。本揭露之至少某些態樣係針對用於以提示及手動輔助擷取便箋之技術。
一般而言，便箋可包括實體便箋及數位便箋。實體便箋一般是指具有大致邊界及可辨識內容之實體物件。實體便箋可包括人們書寫、繪圖或藉由其他輸入類型所造成的物件，例如紙、白板，或其他可接受該等輸入的物件。舉例來說，實體便箋可包括手寫Post-It®便利貼、紙或膠片，具有圖畫、海報與標誌的白板。在某些情況中，可用數位技術產生實體便箋，例如在可列印Post-It®便利貼或列印文件上列印。在某些情況中，一物件可包括數個實體便箋。舉例來說，可將數個意見寫在單張海報紙或白板的不同區域上。在某些實施方案中，為促進辨識這些便箋，可將標記(例如線條、形狀、顏色、符號、記號或貼紙)施用至便箋的邊緣。實體便箋可以是二維或三維。實體便箋可具有不同形狀及尺寸。舉例來說，實體便箋可以是7.62 x 7.62cm(3 x 3吋)便箋；實體便箋可以是66.04 x 99.06cm(26 x 39吋)海報；以及實體便箋可以是三角形金屬標誌。實體便箋也可為具有書寫及/或繪圖之白板或海報紙之一部分。在某些情況中，實體便箋具有已知的形狀及/或尺寸。在某些情況中，實體便箋可具有符合諸如legal、A3、A4之標準與其他尺寸標準的已知形狀及/或尺寸，以及可不受限於諸如星形、圓形、矩形、或類似者之幾何形狀的 已知形狀。在其他情況中，實體便箋可具有非標準尺寸及/或不規則形狀。
數位便箋一般是指具有資訊、資料、文字、影像及/或意見之數位物件。數位便箋可使用運算裝置及/或數位輸入產生。運算裝置可將數位便箋產生成實體便箋之數位表示。舉例來說，可將實體便箋之內容表示成數位便箋中之影像。另舉一例，實體便箋之至少部分內容可藉由對應數位便箋中的文字表示。數位輸入可包括(例如)鍵盤、觸控螢幕、數位相機、數位錄製裝置、觸控筆、數位筆、或類似者。
在某些情況中，數位便箋可表示協作空間中使用的實體便箋。協作空間一般係指容許超過一人進行腦力激盪(諸如互相分享意見及想法)的聚集區。除聚集區外，協作空間也可表示容許一群人進行腦力激盪(諸如遠端分享意見及想法)的虛擬空間。協作空間可稱為工作空間、或類似者。
圖1係一示意圖，其說明便箋辨識環境10之一實例。在圖1的實例中，環境10包括一用以從一工作空間20擷取並辨識一或多個便箋22的行動裝置15。如本文中所述，行動裝置15為一或多個軟體應用程式提供一執行環境，如所述，其可有效地從大量實體便箋(例如從工作空間20收集到的便箋22)擷取並提取便箋內容。在此實例中，便箋22可以是具有多位參與者之協作腦力激盪會議的結果。如所述，行動裝置15及執行於其上的軟體可實施多種便箋相關操作，包括自動建立表示工作空間20之實體便箋22的數位便箋。
在某些實例中，工作空間20之複數個實體便箋22可包含顏色不同之便箋。在其他實例中，工作空間20之複數個實體便箋22可包含至少一包括基準標記之便箋，此基準標記係例如便箋右上及左下角的標記。在其他實例中，工作空間20之複數個實體便箋22可包含至少一便箋，此便箋具有一用於便箋主體之顏色及另一用於便箋邊線之顏色。在其他實例中，出自工作空間20之複數個實體便箋22的便箋可排列成令其重疊，例如以堆疊型重疊關係排列。在其他實例中，出自工作空間20之複數個實體便箋22的便箋可相鄰排列。
在此實例性實施方案中，行動裝置15包括(除了其他元件之外)一影像擷取裝置18及一呈現裝置28。此外，行動裝置15雖然未在圖1顯示，仍可包括一或多個用以執行軟體或韌體以提供本文所述功能之處理器、微處理器、內部記憶體及/或資料儲存裝置以及其他電路。
一般而言，影像擷取裝置18是相機或其他元件，其經組態以擷取表示工作空間20及置於其內的便箋22之影像資料。換句話說，影像資料會擷取一具有複數個視覺便箋之環境(例如工作空間20)的視覺表示。亦即，相機可擷取繪示一場景(具有複數個實體便箋)之視覺表示的影像，各實體便箋皆具有已預定義邊界及其上的可辨識內容。影像擷取裝置18雖然是當作行動裝置15的相機討論，仍可包含能夠擷取影像資料的其他元件，例如錄影機、紅外線相機、CCD(電荷耦合裝置)陣列、雷射掃描器、或類似者。此外，所擷取之影像資料可包括影像、視訊、一連串影像(即，在一時段內及/或以 一順序拍攝的多個影像)、影像集、或類似者之至少一者，且輸入影像一詞在本文中是用來指稱各種範例類型的影像資料。
呈現裝置28可包括(但不限於)電子式可定址顯示器，例如液晶顯示器(LCD)或用於與行動裝置15一起使用的其他類型顯示裝置。在某些實施方案中，行動裝置15產生針對便箋要以各種格式在呈現裝置28上顯示的內容，格式例如，以行及/或列分組的清單、流程圖、或類似者。在某些情況中，行動裝置15可傳達顯示資訊以供其他裝置呈現，例如平板電腦、投影機、電子看板或其他外部裝置。
如本文所述，行動裝置15以及其上執行的軟體，提供用於建立並操作表示實體便箋22之數位便箋之平台。舉例來說，一般而言，行動裝置15係組態成用以處理由影像擷取裝置18所產生的影像資料，以偵測並辨識至少一置於工作空間20內的實體便箋22。在某些實例中，行動裝置15係組態成藉由判定便箋之大致邊界來辨識便箋。辨識出一便箋後，行動裝置15提取該一或多個便箋之至少一者的內容，其中該內容係便箋22的視覺資訊。如後文進一步描述，行動裝置15可實施用於自動偵測並辨識實體便箋22以及提取資訊、內容或與各實體便箋相關聯之其他特性的技術。舉例來說，行動裝置15可容許使用者26微調控制行動裝置15用來偵測並辨識實體便箋22的技術。舉一個實例，行動裝置15可容許使用者26在多個基於記號之偵測技術(其中一或多個便箋22於便箋表面上包括實體基準標記)或多個基於非記號之技術(其中未使用基準標記)之間選擇。
此外，行動裝置15可提供使用者26用於產生並操作表示實體便箋22之對應數位便箋的改良型電子環境，包括將背景或其他影像相關人工產物從便箋移除。在某些其他例子中，由便箋而來之背景或其他影像相關人工產物係保留在數位便箋中。另舉一例，行動裝置15可提供機制，容許使用者26將數位便箋輕易新增至表示與工作空間20相關聯之腦力激盪活動的一組數位便箋，及/或從該組數位便箋刪除數位便箋。在某些實例性實施方案中，行動裝置15提供功能，使用者26能夠藉此記錄並管理多組便箋22之間的關係。
在某些實例性實施方案中，行動裝置15提供功能，使用者26能藉此將數位便箋匯出至其他系統，例如以雲端為基礎的儲存庫(例如，雲端伺服器12)或其他運算裝置(例如，電腦系統14或行動裝置16)。
在圖1的實例中，行動裝置15係說明為一行動電話。不過，在其他實例中，行動裝置15可以是平板電腦、個人數位助理器(PDA)、膝上型電腦、媒體播放器、電子書閱讀器、穿戴式運算裝置(例如，手錶、眼鏡、手套)，或適合用於執行本文所述技術之任何其他類型的可移動或不可移動運算裝置。
圖2係一方塊圖，其說明依據本文所述技術操作之行動裝置之一實例。為舉例之目的，將參照圖1之行動裝置15描述圖2的行動裝置。
在此實例中，行動裝置15包括各種硬體元件，該等硬體元件提供用於操作該裝置的核心功能。例如，行動裝置15包括一或 多個組態成用以依據可執行指令(即，程式碼)操作之可程式化處理器70，可執行指令通常是儲存在一電腦可讀取媒體或資料儲存裝置68中，例如靜態隨機存取記憶體(SRAM)裝置或快閃記憶體裝置。I/O 76可包括一或多個裝置，諸如鍵盤、相機鍵、電源按鈕、音量按鈕、首頁按鈕、返回按鈕、選單按鈕，或如圖1所述的呈現裝置28。傳輸器72及接收器74經由如圖1所述的無線通訊介面(例如但不限於高頻射頻(RF)信號)，與其他裝置(諸如雲端伺服器12、電腦系統14，或如圖1所述的其他行動裝置16)進行無線通訊。行動裝置15可包括另外的離散數位邏輯或類比電路(未顯示於圖2中)。
一般而言，作業系統64在處理器70上執行並提供用於一或多個使用者應用程式77(通常稱為「app」)之作業環境，包括便箋管理應用程式78。例如，使用者應用程式77可包含儲存在電腦可讀取儲存裝置內(例如，資料儲存裝置68)的可執行程式碼以供處理器70執行。另舉其他實例，使用者應用程式77可包含韌體或在某些實例裡可在離散邏輯中實施。
操作時，行動裝置15接收輸入影像資料並依據本文所述的技術處理該輸入影像資料。例如，影像擷取裝置18可擷取具有複數個便箋之環境的輸入影像，例如圖1之具有便箋22的工作空間20。另舉一例，行動裝置15可經由接收器74從外部來源(諸如雲端伺服器15、電腦系統14、或行動裝置16)接收影像資料。一般而言，行動裝置15將影像資料儲存在資料儲存裝置68內，以供便箋管理應用程式78及/或其他使用者應用程式77存取並處理。
如圖2所示，使用者應用程式77可引動作業系統64的核心功能，以輸出一用於呈現資訊給一行動裝置使用者之圖形使用者介面(GUI)79。如後文詳述，便箋管理應用程式78可建構並控制GUI 79以提供一改良型電子環境，以用於產生並操作表示實體便箋22的對應數位便箋。例如，便箋管理應用程式78可建構GUI 79以包括一機制，容許使用者26輕易將數位便箋新增至由影像資料所辨識出的經定義組數位便箋及/或從經定義組數位便箋刪除數位便箋。在某些實例性實施方案中，便箋管理應用程式78提供功能，使用者26藉此能夠藉由GUI 79記錄並管理多組數位便箋之間的關係。
行動裝置15可選擇性地包括用以偵測行動裝置15及/或影像擷取裝置18移動的移動偵測單元73。移動偵測單元73可包括各種感測器，例如動作感測器、加速計、迴轉儀、及類似者。在某些情況中，移動偵測單元15可提供位向、速率、距離或其他相關移動資料。此類資料可由便箋管理應用程式78使用並且處理。在一實施例中，便箋管理應用程式78可在GUI 79上將移動資料用於產生一操作提示(例如「保持不動以得到更好的結果」等)予使用者。
行動裝置15可選擇性地包括用以偵測並收集環境資料之感測器75。舉例來說，感測器75可包括用以偵測並收集照明狀況有關資料之光學感測器。可將此類資料提供予便箋管理應用程式78，用以調整影像擷取裝置18之設定(例如開啟閃光燈等)及/或產生操作提示(例如「使用閃光燈以得到更好的結果」等)。亦可將某些外部來源(例如外部閃光燈裝置)、控制來自行動裝置之照明的應用程 式、或類似者用於變更照明狀況。感測器75亦可包括一加速計，用以測定擷取時搖晃或使用者所引發動作的程度，且可指示諸如「保持穩定」或「使用輕觸並按住擷取」之提示以減輕這種效應。此外，最佳化引擎作用在視頻直播串流上以偵測實體便箋。若偵測到之便箋的尺寸小於預先決定之臨限，則敦促使用者更靠近實體便箋移動。
圖3係一方塊圖，其說明依據本文所述技術操作之便箋管理應用程式78的一個實例性實施方案。雖然所述者為在行動裝置15上執行的使用者應用程式77，仍可將本文所述實例實施於任何運算裝置上，例如雲端伺服器12、電腦系統14、或其他行動裝置。
在此實例中，使用者應用程式78包括提供影像處理及物件辨識功能之影像處理引擎82。影像處理引擎82可包括影像通訊模組90、便箋識別模組86以及數位便箋產生模組88。此外，影像處理引擎82包括影像處理應用程式介面(API)95，其提供一影像操作功能程式館，例如影像定限、遮罩、過濾、邊緣偵測及類似者，以供影像處理引擎82的其他元件使用。
一般而言，可在資料儲存裝置68中儲存影像資料。在此實例中，便箋管理應用程式78將影像97儲存在資料儲存裝置68內。各影像97可針對具有複數個實體影像之環境(例如圖1的工作空間20)包含像素資料。各影像97亦稱為視覺表示，可包括一或多個靜態影像、動畫影像、一連串影像、視訊、或類似者。
如本文中所述，便箋識別模組86處理影像97並識別(即辨識)影像中的複數個實體便箋。可使用記號及/或非記號偵測程 序由便箋識別模組86來處理輸入影像。數位便箋產生模組88產生對應於影像97中所辨識實體便箋之數位便箋99。舉例來說，各數位便箋99對應於輸入影像97中所識別的實體便箋之一。數位便箋產生模組88在辨識程序期間，可更新資料庫94以包括數位便箋記錄，並可在資料庫內儲存資訊，此資訊係擷取自輸入影像中的實體便箋，如藉由便箋識別模組86所偵測到者，包括(但不限於)：內容、邊界、顏色、尺寸、形狀、基準標記、或任何上述者之組合。此外，數位便箋產生模組88可在資料庫94內儲存將數位便箋相關聯成一或多組數位便箋的中繼資料(metadata)。
影像通訊模組90控制行動裝置15與外部裝置(例如雲端伺服器12、電腦系統14、行動裝置16、或影像擷取裝置18)之間影像資料的傳遞。舉例來說，在某些實例中，影像通訊模組90可容許使用者傳遞環境及/或數位便箋之已處理或未處理影像97，以及從其所提取出的相關聯資訊，包括出自資料庫68的中繼資料。在某些實例中，影像通訊模組90將此資料匯出成一可藉由FTP、HTTP、電子郵件、藍牙或其他機制傳遞之壓縮檔。
在圖3的實例中，便箋管理應用程式78包括使用者介面98，其建構並控制GUI 79(圖2)。如後文所述，使用者介面98在某些實例中，可為了顯示而輸出一與指示複數個數位便箋99之指示覆疊的輸入影像97，其中各數位便箋指示係覆疊取代對應之實體便箋。此外，使用者介面98可顯示一組已由使用者指定之數位便箋99之視覺表示。在某些情況中，數位便箋之視覺表示(或稱為指出數位 便箋之指示)可為有或無對應便箋之便箋內容的幾何形狀，其中這幾何形狀可為標準化形狀或對應於便箋實際形狀之形狀。在某些實施方案中，指出數位便箋之指示可包括便箋角落之視覺標記。舉例來說，此組數位便箋99可為特定輸入影像97中所辨識數位便箋之支組。另舉一例，一組數位便箋99包括經由使用者操作而與相同群組相關聯之便箋。使用者介面98可在GUI 79之第二部分上顯示此指定群組(組)之數位便箋，並且接受使用者輸入26以容許使用者對指定之群組輕易新增或移除數位便箋99。在某些情況中，使用者介面98可在GUI 79的第二部分上顯示操作提示，使得使用者可遵循操作提示達到更好的便箋擷取及辨識結果。在某些情況中，圖形使用者介面79可包括一用以接受使用者輸入之觸敏式裝置。在某些其他例子中，使用者介面79可包括超過一個顯示器。
在某些實例性實施方案中，使用者介面98提供影像編輯器96，容許使用者編輯覆疊之影像及/或數位便箋。在另一實例中，數位便箋產生模組88可包括強化從輸入影像所提取資訊之一或多個程序。
下列文獻描述用於偵測並辨識實體便箋之便箋管理應用程式78之另外實例性細節：2013年7月9日所申請名稱為「SYSTEMS AND METHODS FOR NOTE RECOGNITION AND MANAGEMENT USING COLOR CLASSIFICATION」之美國專利申請案第61/844140號、2013年7月9日所申請名稱為「SYSTEMS AND METHODS FOR NOTE CONTENT EXTRACTION AND MANAGEMENT USING SEGMENTED NOTES」之美國專利申請案第61/844152號、以及2013年7月9日所申請名稱為「SYSTEMS AND METHODS FOR NOTE CONTENT EXTRACTION AND MANAGEMENT BY SEGMENTING NOTES」之美國專利申請案第61/844176號、2013年10月16日所申請名稱為「NOTE RECOGNITION AND ASSOCIATION BASED ON GROUPING INDICATORS」之美國專利申請案第61/891647號、2013年10月16日所申請名稱為「NOTE RECOGNITION FOR OVERLAPPING PHYSICAL NOTES」之美國專利申請案第61/891444號、以及2013年10月16日所申請名稱為「ADDING,DELETING DIGITAL NOTES FROM A GROUP OF DIGITAL NOTES」之美國專利申請案第61/891442號，各該文獻的全部內容以引用方式併入本文中。
圖4A係一示意圖，其說明一實例性便箋辨識程序100，如可藉由行動裝置15之便箋管理應用程式78實施者。一開始，便箋管理應用程式78之便箋識別模組86透過影像擷取(102)，擷取複數個便箋之輸入影像。在某些實例中，便箋係實體便箋，而且一次擷取超過一個便箋更有效率。接下來，便箋識別模組86從輸入影像(104)辨識複數個便箋中之一者。舉例來說，便箋識別模組86可使用顏色偵測模組、形狀偵測模組、以及圖型偵測模組辨識便箋特徵，並且隨後測定該便箋之大致邊界。
數位便箋產生模組88提取複數個便箋之該者的內容以建立子影像(106)。在某些實例中，數位便箋產生模組88可在提取內 容之前，將影像轉換施用於至少部分輸入影像。在某些其他實例中，數位便箋產生模組88可將影像強化或另一影像處理技術(例如移除下層工作空間之背景或變更複數個便箋中各便箋之顏色)施用於改善所提取內容或子影像之品質(108)。在又其他實例中，數位便箋產生模組88可進一步辨識來自所提取內容或子影像的文字及圖。數位便箋產生模組88將強化之所提取內容或子影像儲存至行動裝置15之資料儲存裝置68，並且可將數位便箋轉移至雲端伺服器12或其他電腦系統14(110)。此時，系統可建立表示所辨識實體便箋之一對應者的一各自數位便箋。系統可使從一給定實體便箋之視覺表示提取的內容與表示該實體便箋之對應數位便箋相關聯。可在行動裝置15之電腦可讀取儲存裝置內，儲存用於使可程式化處理器執行程序100之程式碼或其他可執行指令。
圖4B係一示意圖，其說明便箋管理應用程式78在回應使用者輸入，而選擇圖形使用者介面第一部分或圖形使用者介面第二部分中之複數個數位便箋並將所選擇複數個數位便箋分組時的實例性操作。在程序530的一個實例中，如圖1至3所述之運算裝置、行動裝置15、雲端伺服器12、或電腦系統14上執行的便箋管理應用程式78接收輸入影像(532)。接下來，將運算裝置組態成用以識別輸入影像中之複數個便箋(534)。一旦識別出輸入影像中之複數個便箋時，運算裝置即產生對應於輸入影像中所識別複數個便箋之複數個數位便箋(536)。在產生複數個數位便箋之後，運算裝置係組態成用以在圖形使用者介面的第一部分上顯示該輸入影像，並且該輸入影像包括覆疊 於其上取代所識別複數個便箋之複數個數位便箋(538)。選擇性地，在顯示第一部分時，運算裝置亦係組態成用以在圖形使用者介面之第二部分上顯示複數個數位便箋(540)。接下來，運算裝置係組態成用以接收使用者輸入，以藉由圖形使用者介面選擇複數個數位便箋之至少某些者(542)。在接收用以選擇複數個數位便箋之某些者的使用者輸入之後，運算裝置係亦組態成接收用於將所選擇複數個數位便箋分組以形成一或多個群組之使用者輸入(544)。
在某些情況中，這一或多個群組可包括階層順序。舉例來說，階(層)1中之群組(例如群組11、群組12、群組13等)係處於最高階(層)。階(層)2中之群組(例如群組21、群組22、群組23等)係處於一位於階(層)1之群組下面的階(層)，並且可與階(層)1中的群組相關聯(例如群組11包括群組21及群組22；群組12包括群組23)。階(層)3中之群組(例如群組31、群組32、群組33等)係處於一位於階(層)2之群組下面的階(層)，並且可與階(層)2中的群組相關聯(例如群組21包括群組31、群組32、以及群組33)。群組31包括便箋1、便箋2、以及便箋3；以及群組32包括便箋4、便箋5、以及便箋6。在以上的實例中，便箋1與群組31、群組21、以及群組11相關聯；並且便箋4與群組32、群組21、以及群組11相關聯。
圖4C係一示意圖，其說明便箋管理應用程式78在回應使用者輸入而將一便箋從一群組移至另一群組時之實例性便箋關聯程序550。在程序550的一個實施例中，電腦裝置上執行的便箋管理 應用程式78維護第一組數位便箋及第二組數位便箋(552)。其次，運算裝置顯現(render)表示第一組數位便箋之第一群組影像及表示第二組數位便箋之第二群組影像(554)。群組影像通常具有指示群組之邊界及群組之名稱。GUI接受使用者輸入以建立群組之名稱。亦可有用以指示群組之特定背景顏色。或者，群組中各便箋之邊線可用一種顏色予以著色，並且屬於另一群組之便箋之邊線可用不同的顏色予以著色。在某些實施方案中，群組影像可包括該群組中所有數位便箋之視覺表示。在某些其他實施方案中，群組影像可包括該群組中某些數位便箋之視覺表示。在某些情況中，群組影像具有網格(grid)格式，其中數位便箋之視覺表示係排列於網格中。
運算裝置在圖形使用者介面上顯示第一群組影像及第二群組影像(556)。運算裝置進一步接收指示在該第一群組影像內之第一位置的第一使用者輸入、以及指示在該第二群組影像內之第二位置的第二使用者輸入(558)。可經由圖形使用者介面接收使用者輸入。在某些情況中，圖形使用者介面包括具有觸敏區之觸敏式裝置，該觸敏區係組態成用以偵測鄰近觸敏區之刺激的位置資訊。運算裝置基於第一位置在第一組數位便箋中識別一數位便箋(560)。接著，運算裝置藉由將已識別數位便箋從第一組移除以修改該第一組(562)；並且藉由將該已識別數位便箋新增至第二組以修改該第二組(564)。
在變更便箋群組之後，運算裝置可顯現表示已修改第一組之已修改第一群組影像、以及表示已修改第二組之已修改第二群組影像。在某些情況中，已識別數位便箋係在已修改第二群組影像內鄰 近第二位置處顯現。此外，可為了該群組中少一個構件而縮減已修改第一群組影像之尺寸，並且可放大已修改第二群組影像之尺寸以在該群組中多容納一個構件。
圖5A至5G係示意圖，其說明便箋關聯程序550之某些實例性操作。在圖5A中，群組影像121包括群組1中數位便箋(便箋1、便箋2、便箋3、便箋4)之視覺表示，並且群組影像122包括數位便箋(便箋5、便箋6、便箋7、便箋8)之視覺表示，如51A所示。圖形使用者介面79於鄰近便箋4原來位置之123處接收使用者輸入。圖形使用者介面79於鄰近群組影像122之124處進一步接收使用者輸入。運算裝置基於123處之使用者輸入，識別便箋4、將便箋4從群組1移除、以及將便箋4新增至群組2。在此實例中，群組影像121及122具有網格格式。運算裝置進一步於鄰近位置124之網格位置125處將便箋4新增至群組影像122，如51B所示。在某些情況中，群組影像中數位便箋的相對位置係產生並儲存在非暫時性電腦可讀取媒體中，例如與數位便箋相關聯之資料中。在某些情況中，群組影像122具有一位於126的原始邊界，並且係擴展至位置127以容納額外的便箋4。在某些實施方案中，運算裝置可將便箋複製到群組2，而非將便箋從群組1移動到群組2。
圖5B係一示意圖，其說明合併群組之實例性程序。圖形使用者介面在鄰近群組影像121之邊界的位置131接收使用者輸入，並且之後在群組影像122內之位置132接收使用者輸入，如52A 所述。運算裝置可將這兩組數位便箋(群組1及群組2)合併成一個群組。已修改群組之表示係(例如)在52B中顯示為133。
圖5C係一示意圖，其說明群組建立之實例性程序。圖形使用者介面在鄰近便箋2之視覺表示的位置141接收使用者輸入，並且之後在鄰近便箋1之視覺表示的位置142接收使用者輸入，如53A所述。運算裝置可建立群組1，其包括對應於便箋1及便箋2之數位便箋。群組1之群組影像在53B中係圖示為143。
圖5D係一示意圖，其說明群組建立之另一實例性程序。54A說明貼至一支撐結構150之複數個便箋152。54B係圖形使用者介面79上所呈現54A之已擷取影像。舉一實例，可建立一群組(例如群組1)以包括表示在此單一影像中擷取之便箋152的所有數位便箋154。群組影像156內數位便箋的視覺表示可進一步如54B所示維持其在原始已擷取影像中的空間位置，(例如)以幫助使用者記住便箋在協作環境中的樣子。保持原來的空間位置可幫助判定單一已擷取影像中是否有超過一組便箋。當圖形使用者介面79如54C所示在回應使用者輸入時，可在GUI上提供群組之操作選項，例如對齊、重新命名、刪除、新增、及類似者。舉例來說，使用者可選擇「對齊」選項，令數位便箋154的視覺表示在群組影像156中對齊。
圖5E說明某些對齊選項。158A係自由形式群組影像，其表示實體便箋的空間位置。運算裝置可用自動方式或回應使用者輸入，以產生具有不同便箋對齊及排列之群組影像。舉例來說，158B係一擬合的群組影像；158C係一群組影像，其中數位便箋159之個別視 覺表示係與網格貼齊；並且158D係一(例如)藉由自動版面配置產生之群組影像。在某些情況中，於158B之群組影像中，數位便箋在網格內之空間位置可對應於實體便箋之空間位置。
圖5F說明板影像之一實例。板亦稱為工作表(worksheet或sheet)，係指包括多個群組(例如群組1、群組2、群組3、群組4、以及群組5)之第二層群組。板影像170包括所含群組之群組影像。在某些情況中，可用單一已擷取影像(例如靜態影像、一連串影像、視訊短片等)來建立板。在此類情況中，可基於便箋之空間位置、分組指示器、便箋屬性、或類似者形成群組。
圖5G說明群組影像在板影像中的對齊。板影像160A包括群組影像162及群組影像164。可回應使用者輸入(例如由使用者選自手動166及168)在GUI 79上呈現板影像160B(部分檢視)，其中群組影像162及164在左方具有水平對齊；或可在GUI 79上呈現部分板影像160C(部分檢視)，其中群組影像162及164在底部具有垂直對齊。
在某些情況中，於便箋上「點兩下」可建立新的便箋複本，可將其點選並拖曳至新群組。在群組上點兩下可建立群組之複本。在某些情況中，分組亦可藉由觸碰並拖曳群組邊界以包括新便箋而達成。或者，可藉由在觸敏式裝置上使用刺激(例如手指、觸控筆等)點選並在便箋周圍拖曳矩形邊框或繪製環路/圓圈以建立群組。在某些實施方案中，在GUI上擷取並呈現新便箋，並且可(例如)藉由 將新便箋周圍後續的環路/圓圈/矩形連接至群組影像，將新便箋新增至現有群組。
在某些情況中，一旦接收到使用者輸入，即可建立具有一或多個便箋之群組。舉例來說，可將便箋從群組影像拖出，且運算裝置可為此便箋建立新群組。另舉一例，可回應使用者輸入，在群組影像中選擇複數個便箋，並將其從群組影像拖出，且運算裝置可為這複數個便箋產生一新群組。在某些其他情況中，可基於各擷取動作建立群組。舉例來說，運算裝置可擷取一個具有四個便箋的靜態影像，並接著建立具有四個便箋之群組。另舉一例，運算裝置可擷取具有二十個便箋的一連串影像或視訊短片，並接著建立具有二十個便箋之群組。在又另一實例中，運算裝置可擷取四個影像(其中各影像具有數個便箋之視覺表示)，並接著建立四個群組(其對應於這四個影像之內容)。亦可擷取一個便箋並將其單獨留著，而未與其他便箋組合。或者，可將一個便箋從群組移出，並且變成單獨的便箋。
圖6A係一示意圖，其說明便箋管理應用程式78之一實例性程序600，該程序係在運算裝置上執行，並且為了較佳便箋擷取而提供提示。提示產生程序可藉由在(例如)便箋識別模組86上實施。首先，便箋管理應用程式78開始執行(601)。設定或起動感測器(例如感像器、感光器、動作感測器等)(602)。感測器以電子方式與執行便箋管理應用程式78之運算裝置中的一或多個處理器通訊。舉例來說，感測器包括用以測量發光度之感光器。若發光度低於預先決定之臨限，則顯示警示訊息。
在某些情況中，將感測器與運算裝置整合。舉例來說，智慧型手機具有相機及加速計。接下來，運算裝置為了較佳便箋擷取而呈現便箋之視覺表示及提示(604)。在某些實施例中，將影像擷取裝置設為視訊模式並且擷取視訊框，其中分析出視訊框之至少一支組。在某些其他實施例中，可擷取靜態影像以供分析。
可基於分析，產生並呈現便箋擷取程序有關提示予使用者，包括(例如)影像擷取裝置與實體便箋之距離、影像擷取裝置之對齊、影像擷取裝置之動作、照明狀況及類似者。另舉一例，在有提供輕觸並按住功能時，可提供「按住以擷取」之提示。在某些情況中，便箋及提示之視覺表示係呈現於圖形使用者介面之不同部分。在某些其他情況中，提示可包括聲(音)及/或視覺資訊。舉例來說，可將提示提供為聲(音)訊息。另舉一例，提示可包括一或多個文字訊息、靜態影像、動畫影像、以及其他視覺資訊。在某些情況中，以即時方式產生並呈現提示予使用者(例如在視訊擷取的5秒內呈現)。
可將影像擷取裝置(例如相機)設定成有或無使用者輸入之特定模式(606)。舉例來說，影像擷取裝置可包括用以擷取影像(例如靜態影像或影像序列)之正常模式。另舉一例，影像擷取裝置可包括連拍模式，其中在(例如)使用者輕觸並按住擷取鍵時會擷取許多影像並選出最好的影像。在又另一實例中，於在擷取單一影像之前，在輕觸並按住擷取鍵一段時間時，影像擷取裝置會包括輕觸並按住模式。
在擷取輸入影像之後，運算裝置可進行影像後處理(608)。舉例來說，運算裝置可基於諸如影像銳度、顏色範圍、曝光時間、及/或類似者之準則，從以快速接續方式擷取之數個影像選出最好的影像。運算裝置可藉由組合來自數個感測器(例如迴轉儀及加速計)之資訊來使用感測器融合技術，從而可在擷取影像時獲得該裝置之全部動作。在已擷取影像由便箋辨識步驟處理之前，動作資訊可用於降低其動作模糊。某些裝置可在影像感測器中另外具有內建式動作補償。可(例如)藉由正規化顏色通道的範圍及其他此類技術，在進入辨識步驟之前，進一步對已擷取影像進行後處理。這些程序可依靠來自擷取之中繼資料，例如ISO值、對焦設定等。
在某些實施例中，檢索自各種感測器及/或影像擷取裝置的中繼資料612係用於便箋識別及提取。中繼資料包括(例如)曝光時間、亮度、關注對焦點、ISO速度、及類似者。可將中繼資料用於達到更好的便箋偵測及強化結果。舉例來說，可將影像之亮度用於判定影像之一區域的實際顏色。另舉一例，可將關注對焦點用作為雜訊消減演算法之輸入。運算裝置進一步使用可有或可無後處理之輸入影像，並且利用或不利用中繼資料，來辨識並強化便箋且建立對應數位便箋(610)。
圖6B係一示意圖，其說明用以在便箋擷取期間產生並呈現提示之實例性提示產生程序620。首先，運算裝置擷取一或多個實體便箋之視覺表示(622)。該視覺表示之格式可為靜態影像、一連串影像、或視訊。運算裝置接著辨識視覺表示中一或多個實體便箋之一 者(624)，並且產生一對應於該已辨識便箋之數位便箋(626)。在某些情況中，運算裝置可將速率最佳化偵測演算法用於產生數位便箋。舉例來說，數位便箋可僅含有概略之實體便箋邊界。運算裝置評估視覺表示之品質(628)並且產生與該品質相關聯之提示(630)。運算裝置可經由使用者介面呈現提示(632)。在某些實施例中，可連續執行提示產生程序以分析擷取狀況並提供使用者實況反饋。
圖7A至7F係示意圖，其說明提示產生程序620之實例。在圖7A中，呈現的是影像擷取裝置與便箋之距離的相關提示。在某些情況中，在擷取程序期間，來自相機擷取視域之視訊呈現的框係由有限高速版本之便箋提取引擎處理，以判定便箋在該視域中的尺寸。若尺寸太小，則敦促使用者更靠近便箋移動。一般而言，便箋離相機愈遠，其在已擷取照片中看起來愈小，得到的品質結果更低。在圖7A所述的實例中，係在GUI 79之部分701中呈現便箋之視覺表示，並且在GUI 79之部分702中呈現提示。在某些情況中，部分701及702可重疊。在某些其他情況中，部分702可位於GUI 79之部分701內。
參照圖7B，提示可為便箋705之視覺表示，其指示待顯示於GUI 79上之臨限或所欲尺寸。此提示係呈現於部分702(其為部分701之一部分)中。便箋705之視覺表示可(例如)為顏色與背景不同之靜態影像、便箋之動畫影像、或類似者。
在圖7C中，呈現的是與照明狀況有關的提示。若在拍攝照片時沒有足夠的光，則照片會有雜訊(noisy)且顏色較不逼真。在 某些情況中，係評估影像擷取裝置之影像感測設定，並且產生與照明狀況有關的提示。舉例來說，為了輔助使用者有充分照明拍攝照片，在觀景窗啟用時會檢驗自動設定之ISO(國際標準化組織)值。若ISO值高於預先決定之臨限，則敦促使用者使用閃光燈或開燈。在某些實施方案中，閃光燈之自動控制可繫結至此提示。亦可評定影像擷取裝置之其他設定以決定照明狀況。舉例來說，若已擷取影像及/或特定物件(例如便箋)在擷取影像中之顏色未匹配指定之顏色，則可評定顏色設定。在某些實施例中，可分析已擷取視覺表示(例如靜態影像、視訊畫面等)之雜訊位準，並且可基於此分析產生與照明狀況有關的提示。
在圖7D中，在部分702中呈現與動作有關的提示。若相機在拍攝照片時正在移動，則照片會模糊。為了避免這種情形，係將動作偵測器(例如加速計、迴轉儀等)用於測定裝置正在移動的程度。舉例來說，可使用加速計資料判定擷取裝置是否有在移動。可將絕對加速值與臨限或其他分類技術比較，以判定相機是否平穩到足以獲取高品質便箋提取之影像。若偵測到的動作太大，則敦促使用者在(例如)擷取時拿穩電話。
在擷取程序期間，來自相機擷取視域之視訊呈現的框係由有限高速版之便箋提取引擎處理以判定便箋在視域中的尺寸，並且通知使用者便箋尺寸(像素數)是否有低於針對獲取高品質數位便箋所決定之臨限。告知使用者便箋過小的訊息會顯示並隨附請使用者更靠近的建議。由於處理器速率在未來會提升，可預見的是，全便箋提 取引擎可在全解析度影像框上執行，並且結果會即時呈現給使用者並隨附要如何改善便箋擷取品質的有關建議。
在圖7E中，網格703與便箋之視覺表示覆疊以幫助影像擷取裝置對齊。在所示實例中，係在相機觀景窗上方繪示網格703以幫助使用者依照與擷取便箋有關的良好角度握住相機。在某些實施方案中，可實施軟體閉鎖禁止擷取，其需要在執行影像擷取之前達到恰當的擷取條件，例如恰當之光量、動作及距離。舉例來說，若偵測到之便箋尺寸低於預先決定之臨限，將會封鎖擷取。
在某些實施例中，可將提示呈現為動畫。在圖7F中使用一系列GUI 79、706A、706B、706C及706D說明動畫提示之一實例。在GUI 79之部分702中呈現一組表示動畫提示之影像707A、707B、707C及707D。可回應使用者輸入(例如使用者按住快門鍵)呈現這個提示以指示「輕觸並輕觸並按住」功能之進行。影像擷取裝置可具有「輕觸並按住」功能，其要求使用者按壓擷取鍵圖示並將其按住數秒(通常是2至3秒)。在按住期間，使用者介面可提供如示之動畫提示，以讓使用者知道輕觸並按住擷取正在進行，並且提供關於使用者仍需保持按壓擷取鍵多久之反饋。
在某些實施例中，運算裝置上執行的便箋管理應用程式78可(例如)在便箋識別模組86中結合手動輔助功能，其容許使用者幫助識別遺漏之便箋。圖8A係一示意圖，其說明一實例性手動輔助程序800。首先，運算裝置接收具有複數個便箋之輸入影像(842)。運算裝置識別輸入影像中複數個便箋之至少某些者，並且(例如)使 用便箋識別模組86產生數位便箋(844)。各數位便箋皆對應於輸入影像中已識別之便箋。在某些情況中，可能在自動識別程序期間遺漏一或多個便箋。運算裝置經由GUI顯示以指出已識別便箋之指示覆疊的輸入影像(846)。此指示可包括標記、標號、角落、邊界、及/或其他與已識別便箋相關聯之視覺指示器。
運算裝置進一步接收指示一位置為輸入影像中關注點之使用者輸入(848)。使用者輸入係關於尚未識別之便箋(亦稱為遺漏之便箋)的位置。接著，運算裝置基於此位置識別出輸入影像中遺漏之便箋(850)，並且產生與此遺漏之便箋對應之另外的數位便箋。在某些情況中，使用者輸入可指示便箋之大致邊界，使得運算裝置可基於使用者輸入來識別便箋。在此類情況中，使用者輸入可為(例如)輸入影像中便箋之邊界外形、輸入影像中便箋之一或多個角落、或類似者。舉一個實例，輸入影像擷取白板或大紙張上的內容，使用者介面接收定義實體便箋之關注區(例如手寫文字、繪圖等區域)兩相對角落的使用者輸入，而運算裝置可判定實體便箋之大致邊界並建立表示實體便箋之數位便箋。另舉一例，使用者介面接收指示輸入影像中之位置的使用者輸入；使用者介面可鄰近該位置呈現預先定義的幾何形狀；使用者介面係組態成用以接受用以調整該幾何形狀邊界之使用者輸入以匹配定義實體便箋之關注區，以及運算裝置可判定實體便箋之大致邊界並建立表示實體便箋之數位便箋。
手動輔助程序800中的各步驟皆可包括數個選擇性操作，如圖8B所示。舉例來說，運算裝置可計算原始便箋之最小、最 大及平均面積，並且基於這些資料決定關注區(812)作為準備(810)。可在偵測步驟中使用不同作法之組合(820)以識別便箋並提取便箋內容。舉例來說，運算裝置可於關注點找尋已回應使用者輸入而遭到移除的原始便箋(822)。另舉一例，運算裝置可將顏色分段法用於判定候選便箋(824)。顏色分段係指基於顏色在影像中分布的方式用於將影像劃分成不同區域的一組技術。在顏色分段中，係根據色值及鄰近度將影像中的像素分組。顏色分段法的詳細描述請參閱(例如)下列技術論文：International Journal of Computer Vision 70.2(2006)第109至131頁由Boykov、Yuri及Gareth Funka-Lea所著之Graph cuts and efficient ND image segmentation；International Journal of Computer Vision 59.2(2004)第167至181頁由Felzenszwalb、Pedro F.及Daniel P.Huttenlocher所著之Efficient graph-based image segmentation。又另舉一例，運算裝置可將行進法用於判定候選便箋(826)。行進法(marching method)係在下文中詳細描述。在某些情況中，運算裝置可經由不同程序識別數個候選者，並且選擇最好的候選者以產生對應數位便箋(830)。在某些實施例中，運算裝置可將計分系統用於評估候選者。計分系統可包括候選者各種屬性之評分，例如尺寸、形狀、位置及類似者之評分。
圖8C係一示意圖，其說明一實例性行進法860。首先，運算裝置基於已識別便箋來運算出關注區(862)。在某些情況中，關注區可為已識別便箋區域中的最大區域。選擇性地，運算裝置進行輸入影像之尺度縮小(864)(例如)以達到更快的處理速率。運算裝置 可將輸入影像轉換成所欲之色彩空間(866)。可應用的色彩空間包括(但並不限於)RGB(紅色、綠色及藍色)、LAB(例如，Hunter 1948 L,a,b色彩空間，CIE 1976(L*,a*,b*)色彩空間、CMYK(青色、洋紅色、黃色與定位色(黑色))、HSV(色調、飽和度及值)、HSL(色調、飽和度及亮度)、HSI(色調、飽和度及強度)、sRGB(標準紅色、綠色及藍色)色彩空間。運算裝置運算出用於關注區之中間色(868)。在某些情況中，運算裝置使用較小區域來運算出中間色，例如使用已識別便箋區域中的最小區域。沿著行進法之各方向，得以評估點直到已達一或多個邊緣點為止(870)。
在某些實施例中，行進法將八個方向用於行進。針對沿著一個方向之各點輸入影像，運算裝置會運算該點與中間色之色差(871)。將顏色距離與預先決定之臨限作比較(872)。若顏色距離在預先決定之臨限內，則這點係在候選便箋內(874)，並且沿著相同方向評估下一點(871)。若色差超出預先決定之臨限，則此點為邊緣點(876)，並且運算裝置開始沿著下一個方向評估點(870)。在某些情況中，對於八個方向之每一者，可針對大於預先定義之臨限的顏色距離核對最大點數。若沿著一方向沒有點超出臨限，則那方向尚未找到邊緣點。在八個方向中有至少三個方向找到邊緣點的例子中，可考量偵測到之邊緣點來近似一形狀。找到的邊緣點愈多，則近似愈好。在某些情況中，相較於已找到邊緣點較少之候選者，將把較好的評分賦予已找到邊緣點數較大的候選者。
在某些實施例中，計分系統可將組合評分用於評估候選便箋。舉例來說，候選便箋之總評分可為其尺寸之評分，關於其是否為已移除便箋之評分、高寬比之評分、以及其他評分的總和。在某些情況中，候選便箋之總評分可為其個別評分之加權總和。
圖9係一示意圖，其說明使用手動輔助程序之一實例。第一GUI 211顯示以已識別便箋之指示220覆疊之輸入影像。第二GUI 212可為回應使用者輸入(例如位置222之點兩下動作)之輸入影像放大關注部分。第二GUI 212於位置224接收另一使用者輸入。基於位置224，在第三GUI 214中識別並指示遺漏之便箋226。
圖10A至10E係示意圖，其說明可基於經驗法則(heuristic)用作為計分之位置空隙的不同實例。在此實例中，經驗法則可為當便箋被較多已識別便箋圍繞時則會具有較高評分。基於該經驗法則，影像232中由已識別便箋230圍繞的位置空隙242具有最高評分，指示便箋遺漏可能性最高的位置。影像234中較少已識別便箋230圍繞的位置空隙244具有低於242的評分。影像236中的位置空隙246具有低於244之評分，其中影像238中的位置空隙248具有低於246之評分。影像239中的位置空隙249具有最低的評分。也可將其他經驗法則(例如顏色一致性經驗法則)當成用於計分的基準。
實例1。一種具有一處理器之運算裝置，該運算裝置包含：一由該處理器實施之便箋管理應用程式，係組態成用以維護一第一組數位便箋及一第二組數位便箋；一由該處理器實施之影像顯現模組，係組態成用以顯現一表示該第一組數位便箋之第一群組影像、以 及一表示該第二組數位便箋之第二群組影像；以及一使用者介面，係組態成用以顯示該第一群組影像及該第二群組影像，其中該使用者介面係進一步組態成用以接收一指示在該第一群組影像內之一第一位置的第一使用者輸入、以及一指示在該第二群組影像內之一第二位置的第二使用者輸入，並且其中該便箋管理應用程式係進一步組態成回應接收該第一使用者輸入及該第二使用者輸入，以：基於該第一位置在該第一組數位便箋中識別一數位便箋、藉由將該已識別數位便箋從該第一組移除以修改該第一組、以及藉由將該已識別數位便箋新增至該第二組以修改該第二組。
實例2。如實例1之運算裝置，其中該影像顯現模組係進一步組態成用以顯現一表示該已修改第一組之已修改第一群組影像。
實例3。如實例1或2之運算裝置，其中該影像顯現模組係進一步組態成用以顯現一表示該已修改第二組之已修改第二群組影像。
實例4。如實例1至3中任一者之運算裝置，其中在該第一及該第二群組影像之至少一者中表示之該等數位便箋係以一網格格式排列。
實例5。如實例3之運算裝置，其中該影像顯現模組係進一步組態成用以在該已修改第二群組影像內鄰近該第二位置處顯現該已識別數位便箋。
實例6。如實例2之運算裝置，其中該已修改第二群組影像之一尺寸係相對於該第二群組影像之一尺寸放大。
實例7。如實例3之運算裝置，其中該已修改第二群組影像之一尺寸係相對於該第二群組影像之一尺寸放大。
實例8。如實例1至7中任一者之運算裝置，其中該使用者介面包括一觸敏式裝置。
實例9。一種具有一處理器之運算裝置，該運算裝置包含：一由該處理器實施之便箋管理應用程式，係組態成用以維護一第一組數位便箋及一第二組數位便箋；一由該處理器實施之影像顯現模組，係組態成用以顯現一表示該第一組數位便箋之第一群組影像、以及一表示該第二組數位便箋之第二群組影像；以及一使用者介面，其係組態成用以顯示該第一群組影像及該第二群組影像，其中該使用者介面係進一步組態成用以接收一指示鄰近該第一群組影像內之一邊界之第一位置的第一使用者輸入、以及一指示在該第二群組影像內之一第二位置的第二使用者輸入，並且其中該便箋管理應用程式係進一步組態成回應接收該第一使用者輸入及該第二使用者輸入，以藉由將該第一組中之數位便箋新增至該第二組來修改該第二組數位便箋。
實例10。如實例9之運算裝置，其中該影像顯現模組係進一步組態成用以顯現一表示該已修改第二組數位便箋之已修改第二群組影像。
實例11。如實例9或10之運算裝置，其中該使用者介面包含一觸敏式裝置。
實例12。一種具有一處理器之運算裝置，該運算裝置包含：一由該處理器實施之便箋管理應用程式，係組態成用以維護一第一數位便箋及一第二數位便箋；一由該處理器實施之影像顯現模組，係組態成用以顯現該第一數位便箋之一視覺表示及該第二數位便箋之一視覺表示；以及一使用者介面，該使用者介面係組態成用以顯示該第一數位便箋之該視覺表示及該第二數位便箋之該視覺表示，其中該使用者介面係進一步組態成用以接收一第一使用者輸入及一第二使用者輸入，該第一使用者輸入係指示一鄰近該第一數位便箋之該視覺表示的第一位置而該第二使用者輸入係指示一鄰近該第二數位便箋之該視覺表示的第二位置，其中該便箋管理應用程式係進一步組態成回應接收該第一使用者輸入及該第二使用者輸入，而建立包括該第一數位便箋與該第二數位便箋之一組。
實例13。如實例12之運算裝置，其中該影像顯現模組係進一步組態成用以顯現一表示該組之群組影像，並且其中該使用介面係進一步組態成用以顯示該群組影像。
實例14。如實例12或13之運算裝置，其中該使用者介面包含一觸敏式裝置。
實例15。一種利用一運算裝置管理數位便箋之方法，該運算裝置具有一記憶體、一處理器及一使用者介面，該方法包含：藉由該運算裝置維護一第一組數位便箋及一第二組數位便箋；藉由該運算裝置顯現一表示該第一組數位便箋之第一群組影像及一表示該第二組數位便箋之第二群組影像；藉由該運算裝置並且於該使用者介面 顯示該第一群組影像及該第二群組影像；藉由該運算裝置，接收一指示一在該第一群組影像內之第一位置的第一使用者輸入、以及一指示一在該第二群組影像內之第二位置的第二使用者輸入；藉由該運算裝置並且至少部分基於該第一使用者輸入及該第二使用者輸入，基於該第一位置識別該第一組數位便箋中之一數位便箋；藉由將該已識別數位便箋從該第一組移除以修改該第一組；以及藉由將該已識別數位便箋新增至該第二組以修改該第二組。
實例16。如實例15之方法，其進一步包含：顯現一表示該已修改第一組之已修改第一群組影像。
實例17。如實例15或16之方法，其進一步包含：顯現一表示該已修改第二組之已修改第二群組影像。
實例18。如實例17之方法，其中該已識別數位便箋係在該已修改第二群組影像內鄰近該第二位置處顯現。
實例19。如實例15至18中任一者之方法，其中在該第一及該第二群組影像之至少一者中表示之該等數位便箋係以一網格格式排列。
實例20。如實例16之方法，其中該已修改第一群組影像之一尺寸係相對於該第一群組影像21之一尺寸縮減。如實例17之方法，其中該已修改第二群組影像之一尺寸係相對於該第二群組影像之一尺寸放大。
本發明不應被認為是限於本文所描述的特定實例及實施例，而應認為此等實施例是要詳細描述以促進本發明不同態様的解 說。反而，應理解為本發明含括本發明的所有態様，包括合乎如附屬申請專利範圍所定義之本發明之精神及範疇的各種修改、等效程序，以及可替換的裝置。

Claims (25)

  1. 一種具有一處理器之運算裝置，該運算裝置包含：由該處理器實施之一便箋(note)管理應用程式，該便箋管理應用程式經組態以產生一第一組(group)數位便箋及產生一第二組數位便箋；其中該第一組數位便箋中之至少一第一數位便箋及至少一第二數位便箋係提取(extracted)自由該處理器所控制之一影像擷取(captured)裝置所擷取之一第一場景(scene)之一單一影像，其中該第一場景包含第一複數個實體便箋，該第一複數個實體便箋中該等實體便箋之每一者包括一可單獨移動的實體物件且具有可辨識內容於其上，其中該第一數位便箋對應於該第一複數個實體便箋中之一第一實體便箋，其中該第一實體便箋包含一重疊部分(overlapping portion)，該重疊部分與該第一複數個實體便箋中之一第二實體便箋之一重疊部分相重疊，以屏障(occlude)該第二實體便箋上之該可辨識內容之至少一部分，其中該第一實體便箋之該重疊部分與該第二實體便箋之該重疊部分具有相同色彩，且其中該第二數位便箋對應於該第二實體便箋；其中該第二組數位便箋中之該等數位便箋係提取自由該影像擷取裝置所擷取之一第二場景之一單一影像，其中該第二場景不同於該第一場景，且其中該第二場景包含第二複數個實體便箋，該第二複數個實體便箋中該等實體便箋之每一者包括一可單獨移動的實體物件且具有可辨識內容於其上；由該處理器實施之一影像顯現(renderin)模組，係組態成用以顯現表示該第一組數位便箋之一第一群組影像、以及表示該第二組數位便箋之一第二群組影像；一硬體顯示器，其經組態以顯示該第一群組影像及該第二群組影像；及一硬體使用者輸入裝置，其經組態以接收指示在該第一群組影像內之一第一位置的一第一使用者輸入、以及指示在該第二群組影像內之一第二位置的一第二使用者輸入，且其中該便箋管理應用程式經進一步組態以回應於接收該第一使用者輸入與該第二使用者輸入而執行以下步驟：基於該第一位置識別該第一組數位便箋中之一數位便箋，藉由將該已識別數位便箋從該第一組移除以修改該第一組，以及藉由將該已識別數位便箋新增至該第二組以修改該第二組。
  2. 如請求項1之運算裝置，其中該影像顯現模組係進一步組態成用以顯現表示該已修改第一組之一已修改第一群組影像。
  3. 如請求項2之運算裝置，其中該已修改第一群組影像之一尺寸係相對於該第一群組影像之一尺寸縮減。
  4. 如請求項1之運算裝置，其中該影像顯現模組係進一步組態成用以顯現表示該已修改第二組之一已修改第二群組影像。
  5. 如請求項4之運算裝置，其中該影像顯現模組進一步經組態以顯現該已修改第二群組影像中之該已識別數位便箋。
  6. 如請求項4之運算裝置，其中該已修改第二群組影像之一尺寸係相對於該第二群組影像之一尺寸放大。
  7. 如請求項1之運算裝置，其中表示在該第一群組影像及該第二群組影像之至少一者中之該等數位便箋係以一網格格式(grid format)排列。
  8. 如請求項1之運算裝置，其中該硬體使用者輸入裝置包括一觸敏式裝置。
  9. 如請求項1之運算裝置，其進一步包含：由該處理器實施之一便箋識別模組，該便箋識別模組經組態以辨識該第一複數個實體便箋之一或多者以及產生對應於該等已辨識實體便箋之每一者之一數位便箋，其中該已產生數位便箋之每一者包含相對應之該已辨識實體便箋之一各別影像。
  10. 一種具有一處理器之運算裝置，該運算裝置包含：由該處理器實施之一便箋管理應用程式，該便箋管理應用程式經組態以產生一第一組數位便箋及產生一第二組數位便箋，其中該第一組數位便箋中之至少一第一數位便箋及至少一第二數位便箋係提取自由該處理器所控制之一影像擷取裝置所擷取之一第一場景之一單一影像，其中該第一場景包含第一複數個實體便箋，該第一複數個實體便箋中該等實體便箋之每一者包括一可單獨移動的實體物件且具有可辨識內容於其上，其中該第一數位便箋對應於該第一複數個實體便箋中之一第一實體便箋，其中該第一實體便箋包含一重疊部分，該重疊部分與該第一複數個實體便箋中之一第二實體便箋之一重疊部分相重疊，以屏障該第二實體便箋上之該可辨識內容之至少一部分，其中該第一實體便箋之該重疊部分與該第二實體便箋之該重疊部分具有相同色彩，且其中該第二數位便箋對應於該第二實體便箋，其中該第二組數位便箋中之該等數位便箋係提取自由該影像擷取裝置所擷取之一第二場景之一單一影像，其中該第二場景不同於該第一場景，且其中該第二場景包含一第二複數個實體便箋，該第二複數個實體便箋中該等實體便箋之每一者包括一可單獨移動的實體物件且具有可辨識內容於其上；由該處理器實施之一影像顯現模組，該影像顯現模組係組態成用以顯現表示該第一組數位便箋之一第一群組影像及表示該第二組數位便箋之一第二群組影像；及一使用者介面，其包含一硬體顯示器，該硬體顯示器經組態以顯示該第一群組影像及該第二群組影像，其中該使用者介面進一步包括一硬體使用者輸入裝置，該硬體使用者輸入裝置經組態以在該第一群組影像之一邊緣上或在該第一群組影像內接收指示一第一位置的一第一使用者輸入以及在該第二群組影像之一邊緣(boundary)上或在該第二群組影像內接收指示一第二位置的一第二使用者輸入，且其中該便箋管理應用程式經進一步組態以回應於接收該第一使用者輸入與該第二使用者輸入而藉由將該第一組中之該等數位便箋新增至該第二組以修改該第二組數位便箋。
  11. 如請求項10之運算裝置，其中該影像顯現模組係進一步組態以顯現表示該已修改第二組數位便箋之一已修改第二群組影像。
  12. 如請求項10之運算裝置，其中該硬體使用者輸入裝置包括一觸敏式裝置。
  13. 如請求項10之運算裝置，其進一步包含：由該處理器實施之一便箋識別模組，該便箋識別模組經組態以辨識(recognize)該第一複數個實體便箋之一或多者以及產生對應於該等已辨識實體便箋之每一者之一數位便箋，其中該等已產生數位便箋之每一者包含相對應之該已辨識實體便箋之一各別影像。
  14. 一種具有一處理器之運算裝置，該運算裝置包含：由該處理器實施之一便箋管理應用程式，該便箋管理應用程式經組態以產生包含一第一數位便箋之一第一組數位便箋及產生包含一第二數位便箋之一第二組數位便箋，其中該第一組數位便箋中之至少一第一數位便箋及至少一第二數位便箋係提取自由該處理器所控制之一影像擷取裝置所擷取之一第一場景之一單一影像，其中該第一場景包含第一複數個實體便箋，該第一複數個實體便箋中該等實體便箋之每一者包括一可單獨移動的實體物件且具有可辨識內容於其上，其中該第一數位便箋對應於該第一複數個實體便箋中之一第一實體便箋，其中該第一實體便箋包含一重疊部分，該重疊部分與該第一複數個實體便箋中之一第二實體便箋之一重疊部分相重疊，以屏障該第二實體便箋上之該可辨識內容之至少一部分，其中該第一實體便箋之該重疊部分與該第二實體便箋之該重疊部分具有相同色彩，且其中該第二數位便箋對應於該第二實體便箋，其中該第二組數位便箋中之該等數位便箋係提取自由該影像擷取裝置所擷取之一第二場景之一單一影像，其中該第二場景不同於該第一場景，且其中該第二場景包含第二複數個實體便箋，該第二複數個實體便箋中該等實體便箋之每一者包括一可單獨移動的實體物件且具有可辨識內容於其上；由該處理器實施之一影像顯現模組，係組態成用以顯現該第一數位便箋之一視覺表示及表示該第二數位便箋之一視覺表示；及一使用者介面，其包含一硬體顯示器，該硬體顯示器經組態以顯示該第一數位便箋之該視覺表示及該第二數位便箋之該視覺表示，其中該使用者介面進一步包括一硬體使用者輸入裝置，該硬體使用者輸入裝置經組態以接收指示該第一數位便箋之該視覺表示中之一第一位置之一第一使用者輸入以及接收指示充分靠近該第二數位便箋之該視覺表示而該第一數位便箋之該視覺表示與該第二數位便箋之該視覺表示相重疊之一第二位置之一第二使用者輸入，其中該便箋管理應用程式經進一步組態以回應於接收該第一使用者輸入與該第二使用者輸入而產生包含該第一數位便箋及該第二數位便箋之一第三組。
  15. 如請求項14之運算裝置，其中該影像顯現模組經進一步組態以顯現表示該第三組之一群組影像，且其中該硬體顯示器經進一步組態以顯示該群組影像.
  16. 如請求項14之運算裝置，其中該硬體使用者輸入裝置包括一觸敏式裝置。
  17. 如請求項14之運算裝置，其進一步包含：由該處理器實施之一便箋識別模組，該便箋識別模組經組態以辨識該第一複數個實體便箋之一或多者以及產生對應於該等已辨識實體便箋之每一者之一數位便箋，其中該等已產生數位便箋之每一者包含相對應之該已辨識實體便箋之一各別影像。
  18. 一種利用一硬體運算裝置管理數位便箋之方法，該方法包含：藉由該運算裝置產生一第一組數位便箋及一第二組數位便箋，其中該第一組數位便箋中之至少一第一數位便箋及至少一第二數位便箋係提取自由該處理器所控制之一影像擷取裝置所擷取之一第一場景之一單一影像，其中該第一場景包含第一複數個實體便箋，該第一複數個實體便箋中該等實體便箋之每一者包括一可單獨移動的實體物件且具有可辨識內容於其上，其中該第一數位便箋對應於該第一複數個實體便箋中之一第一實體便箋，其中該第一實體便箋包含一重疊部分，該重疊部分與該第一複數個實體便箋中之一第二實體便箋之一重疊部分相重疊，以屏障該第二實體便箋上之該可辨識內容之至少一部分，其中該第一實體便箋之該重疊部分與該第二實體便箋之該重疊部分具有相同色彩，且其中該第二數位便箋對應於該第二實體便箋，其中該第二組數位便箋中之該等數位便箋係提取自由該影像擷取裝置所擷取之一第二場景之一單一影像，其中該第二場景不同於該第一場景，且其中該第二場景包含第二複數個實體便箋，該第二複數個實體便箋中該等實體便箋之每一者包括一可單獨移動的實體物件且具有可辨識內容於其上；藉由該運算裝置顯現表示該第一組數位便箋之一第一群組影像及表示該第二組數位便箋之一第二群組影像；藉由該運算裝置之一硬體顯示器顯示該第一群組影像及該第二群組影像；藉由該運算裝置之一硬體使用者輸入裝置在該第一群組影像內接收指示一第一位置的一第一使用者輸入以及在該第二群組影像內接收指示一第二位置的一第二使用者輸入；藉由該運算裝置且至少部分基於該第一使用者輸入及該第二使用者輸入，而基於該第一位置識別該第一組數位便箋中之一數位便箋；藉由自該第一組移除該已識別數位便箋而修改該第一組；及藉由將該已識別數位便箋新增至該第二組以修改該第二組。
  19. 如請求項18之方法，其進一步包含：顯現表示該已修改第一組之一已修改第一群組影像。
  20. 如請求項19之方法，其中該已修改第一群組影像之一尺寸係相對於該第一群組影像之一尺寸縮減。
  21. 如請求項18之方法，其進一步包含：顯現表示該已修改第二組之一已修改第二群組影像。
  22. 如請求項21之方法，其中該已識別數位便箋係在該已修改第二群組影像內顯現。
  23. 如請求項21之方法，其中該已修改第二群組影像之一尺寸係相對於該第二群組影像之一尺寸放大。
  24. 如請求項18之方法，其中表示在該第一及該第二群組影像之至少一者中之該等數位便箋係以一網格格式排列。
  25. 如請求項18之方法，其進一步包含：藉由該運算裝置辨識該第一複數個實體便箋之一或多者；及產生對應於該等已辨識實體便箋之每一者之一數位便箋，其中該等已產生數位便箋之每一者包含相對應之該已辨識實體便箋之一各別影像。
TW103135756A 2013-10-16 2014-10-15 在使用者介面上組織數位便箋 TWI651640B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361891442P 2013-10-16 2013-10-16
US201361891647P 2013-10-16 2013-10-16
US61/891,647 2013-10-16
US61/891,442 2013-10-16
US201461934392P 2014-01-31 2014-01-31
US61/934,392 2014-01-31

Publications (2)

Publication Number Publication Date
TW201531918A TW201531918A (zh) 2015-08-16
TWI651640B true TWI651640B (zh) 2019-02-21

Family

ID=52810753

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103135756A TWI651640B (zh) 2013-10-16 2014-10-15 在使用者介面上組織數位便箋

Country Status (4)

Country Link
US (2) US10175845B2 (zh)
EP (1) EP3058512B1 (zh)
TW (1) TWI651640B (zh)
WO (1) WO2015057804A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10175845B2 (en) * 2013-10-16 2019-01-08 3M Innovative Properties Company Organizing digital notes on a user interface
US10534528B2 (en) 2013-12-31 2020-01-14 Barnes & Noble College Booksellers, Llc Digital flash card techniques
USD745040S1 (en) * 2014-01-29 2015-12-08 3M Innovative Properties Company Display screen or portion thereof with animated graphical user interface
US9874995B2 (en) * 2014-06-25 2018-01-23 Oracle International Corporation Maintaining context for maximize interactions on grid-based visualizations
US9927963B2 (en) * 2014-07-17 2018-03-27 Barnes & Noble College Booksellers, Llc Digital flash cards including links to digital content
USD774051S1 (en) 2014-11-24 2016-12-13 Td Ameritrade Ip Company, Inc. Display screen or portion thereof with animated graphical user interface
USD776132S1 (en) 2015-06-09 2017-01-10 Microsoft Corporation Display screen with animated graphical user interface
USD765135S1 (en) * 2015-06-09 2016-08-30 Microsoft Corporation Display screen with animated graphical user interface
USD814493S1 (en) * 2016-06-30 2018-04-03 Snap Inc. Display screen or portion thereof with a graphical user interface
JP6766779B2 (ja) * 2017-08-25 2020-10-14 オムロン株式会社 ユーザインタフェース開発支援装置、ユーザインタフェース開発支援方法、および、ユーザインタフェース開発支援プログラム
USD924928S1 (en) * 2017-09-21 2021-07-13 Beijing Kingsoft Internet Security Software Co., Ltd. Mobile communication terminal display screen with a transitional graphical user interface
USD865811S1 (en) * 2018-03-08 2019-11-05 Capital One Services, Llc Display screen with animated graphical user interface
USD880509S1 (en) * 2018-03-16 2020-04-07 Magic Leap, Inc. Display panel or portion thereof with a transitional mixed reality graphical user interface
USD880510S1 (en) * 2018-03-29 2020-04-07 Facebook Technologies, Llc Display device with animated graphical user interface
US10705714B2 (en) * 2018-09-25 2020-07-07 Smartsheet Inc. Systems and methods for generating a card view interface on a mobile computing device
US11249627B2 (en) 2019-04-08 2022-02-15 Microsoft Technology Licensing, Llc Dynamic whiteboard regions
US11250208B2 (en) 2019-04-08 2022-02-15 Microsoft Technology Licensing, Llc Dynamic whiteboard templates
JP7329957B2 (ja) * 2019-04-25 2023-08-21 東芝テック株式会社 仮想オブジェクト表示装置、及びプログラム
US11592979B2 (en) * 2020-01-08 2023-02-28 Microsoft Technology Licensing, Llc Dynamic data relationships in whiteboard regions
US11651332B2 (en) * 2020-04-28 2023-05-16 International Business Machines Corporation Distributed collaborative environment using physical notes
WO2021220213A1 (en) * 2020-05-01 2021-11-04 3M Innovative Properties Company Systems and methods for managing digital notes
USD918944S1 (en) 2020-05-01 2021-05-11 3M Innovative Properties Company Display screen with transitional graphical user interface
JP2023536574A (ja) * 2020-07-29 2023-08-28 スリーエム イノベイティブ プロパティズ カンパニー デジタル記録を管理するシステム及び方法
EP4331184A1 (en) * 2021-04-30 2024-03-06 3M Innovative Properties Company Systems and methods for managing digital notes for collaboration
TWI806058B (zh) * 2021-05-26 2023-06-21 中華電信股份有限公司 生成服務內個人捷徑之方法及電腦可讀媒介
US11704009B2 (en) * 2021-10-15 2023-07-18 Google Llc Video conference virtual whiteboard

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200849940A (en) * 2007-06-08 2008-12-16 Wistron Neweb Corp Method and related device for making memorandum in mobile communications device
US20110069017A1 (en) * 2009-09-22 2011-03-24 Victor B Michael Device, Method, and Graphical User Interface for Manipulating User Interface Objects
CN102105876A (zh) * 2008-07-25 2011-06-22 日本电气株式会社 电子粘签系统
TWM457245U (zh) * 2013-03-13 2013-07-11 Univ Southern Taiwan Sci & Tec 雲端數位便利貼編輯系統

Family Cites Families (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4724166A (en) * 1984-03-09 1988-02-09 Grand Rapids Label Company Label assemblies and method of making same
US5142662A (en) * 1986-03-03 1992-08-25 Bell & Howell Company Electronic publishing system
US5060135A (en) * 1988-09-16 1991-10-22 Wang Laboratories, Inc. Apparatus for manipulating documents in a data processing system utilizing reduced images of sheets of information which are movable
US5146552A (en) * 1990-02-28 1992-09-08 International Business Machines Corporation Method for associating annotation with electronically published material
US5140677A (en) * 1990-05-11 1992-08-18 International Business Machines Corporation Computer user interface with window title bar mini-icons
US5367623A (en) * 1990-09-25 1994-11-22 Sharp Kabushiki Kaisha Information processing apparatus capable of opening two or more windows on screen, one window containing a page and other windows containing supplemental information
US5202828A (en) * 1991-05-15 1993-04-13 Apple Computer, Inc. User interface system having programmable user interface elements
US5898434A (en) 1991-05-15 1999-04-27 Apple Computer, Inc. User interface system having programmable user interface elements
EP0518619B1 (en) 1991-06-11 2000-05-03 Canon Kabushiki Kaisha Image processing system with plural memory devices
FR2681454B1 (fr) 1991-09-16 1995-08-18 Aerospatiale Procede et dispositif de traitement d'informations alphanumeriques et graphiques pour la constitution d'une banque de donnees.
US5398310A (en) * 1992-04-13 1995-03-14 Apple Computer, Incorporated Pointing gesture based computer note pad paging and scrolling interface
DE69333694T2 (de) 1992-09-11 2005-10-20 Canon K.K. Verfahren und Anordnung zur Bildverarbeitung
US5463725A (en) * 1992-12-31 1995-10-31 International Business Machines Corp. Data processing system graphical user interface which emulates printed material
US5559942A (en) * 1993-05-10 1996-09-24 Apple Computer, Inc. Method and apparatus for providing a note for an application program
US5603053A (en) * 1993-05-10 1997-02-11 Apple Computer, Inc. System for entering data into an active application currently running in the foreground by selecting an input icon in a palette representing input utility
US5583946A (en) * 1993-09-30 1996-12-10 Apple Computer, Inc. Method and apparatus for recognizing gestures on a computer system
US5592608A (en) * 1993-10-15 1997-01-07 Xerox Corporation Interactively producing indices into image and gesture-based data using unrecognized graphical objects
US5623681A (en) * 1993-11-19 1997-04-22 Waverley Holdings, Inc. Method and apparatus for synchronizing, displaying and manipulating text and image documents
US6877137B1 (en) * 1998-04-09 2005-04-05 Rose Blush Software Llc System, method and computer program product for mediating notes and note sub-notes linked or otherwise associated with stored or networked web pages
US5623679A (en) * 1993-11-19 1997-04-22 Waverley Holdings, Inc. System and method for creating and manipulating notes each containing multiple sub-notes, and linking the sub-notes to portions of data objects
US5546474A (en) 1993-12-21 1996-08-13 Hewlett-Packard Company Detection of photo regions in digital images
US5689666A (en) * 1994-01-27 1997-11-18 3M Method for handling obscured items on computer displays
US6947571B1 (en) 1999-05-19 2005-09-20 Digimarc Corporation Cell phones with optical capabilities, and related applications
US5852436A (en) * 1994-06-30 1998-12-22 Microsoft Corporation Notes facility for receiving notes while the computer system is in a screen mode
US5528290A (en) * 1994-09-09 1996-06-18 Xerox Corporation Device for transcribing images on a board using a camera based board scanner
US5608853A (en) 1995-01-19 1997-03-04 Microsoft Corporation System and method for graphics scaling and localized color enhancement
US5825360A (en) * 1995-04-07 1998-10-20 Apple Computer, Inc. Method for arranging windows in a computer workspace
US5587560A (en) * 1995-04-10 1996-12-24 At&T Global Information Solutions Company Portable handwritten data capture device and method of using
US6650761B1 (en) 1999-05-19 2003-11-18 Digimarc Corporation Watermarked business cards and methods
US5774579A (en) * 1995-08-11 1998-06-30 Canon Kabushiki Kaisha Block selection system in which overlapping blocks are decomposed
US6111586A (en) * 1996-03-15 2000-08-29 Fujitsu Limited Electronic photo album editing apparatus
JPH10240220A (ja) * 1997-03-03 1998-09-11 Toshiba Corp 注釈表示機能を持つ情報処理機器
US6301586B1 (en) * 1997-10-06 2001-10-09 Canon Kabushiki Kaisha System for managing multimedia objects
AU1365699A (en) 1997-10-27 1999-05-17 Imagen Incorporated Image search and retrieval system
US6223190B1 (en) * 1998-04-13 2001-04-24 Flashpoint Technology, Inc. Method and system for producing an internet page description file on a digital imaging device
JP4035228B2 (ja) 1998-05-11 2008-01-16 キヤノン株式会社 画像処理方法及び画像処理装置
US6766494B1 (en) * 1998-06-15 2004-07-20 Fuji Xerox Co., Ltd. Method and system for creating ad-hoc links from free-form ink
JP3546705B2 (ja) * 1998-07-10 2004-07-28 インターナショナル・ビジネス・マシーンズ・コーポレーション アプリケーション・ウインドウにアノテーション・データを対応付ける方法及び装置、システム、アプリケーション・ウインドウへのアノテーション・データの対応付けを制御するプログラムを格納した記憶媒体
US6289362B1 (en) * 1998-09-01 2001-09-11 Aidministrator Nederland B.V. System and method for generating, transferring and using an annotated universal address
WO2000016541A1 (en) * 1998-09-15 2000-03-23 Microsoft Corporation Annotation creation and notification via electronic mail
US6956593B1 (en) * 1998-09-15 2005-10-18 Microsoft Corporation User interface for creating, viewing and temporally positioning annotations for media content
US6351559B1 (en) 1998-12-22 2002-02-26 Matsushita Electric Corporation Of America User-enclosed region extraction from scanned document images
US6487569B1 (en) * 1999-01-05 2002-11-26 Microsoft Corporation Method and apparatus for organizing notes on a limited resource computing device
US6323287B1 (en) * 1999-03-12 2001-11-27 Arch Specialty Chemicals, Inc. Hydroxy-amino thermally cured undercoat for 193 NM lithography
US6687878B1 (en) * 1999-03-15 2004-02-03 Real Time Image Ltd. Synchronizing/updating local client notes with annotations previously made by other clients in a notes database
US7406214B2 (en) 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US7760905B2 (en) 1999-06-29 2010-07-20 Digimarc Corporation Wireless mobile phone with content processing
US7421285B1 (en) 1999-06-04 2008-09-02 Ip Holdings, Inc. Method for providing gastronomic information and instruction with an internet server using mobile communication or computing devices and intelligent appliances
US6504956B1 (en) * 1999-10-05 2003-01-07 Ecrio Inc. Method and apparatus for digitally capturing handwritten notes
US6486894B1 (en) 1999-11-18 2002-11-26 International Business Machines Corporation Contrasting graphical user interface pointer
EP3367268A1 (en) * 2000-02-22 2018-08-29 Nokia Technologies Oy Spatially coding and displaying information
AU2001245426A1 (en) * 2000-03-03 2001-09-17 Lawrence R. Jones Picture communications system and associated network services
US6675213B1 (en) * 2000-03-29 2004-01-06 Robert J. Schmonsees Electronic note taking from network web pages
US6697838B1 (en) * 2000-05-03 2004-02-24 Software Leader, Llc Method and system for annotating information resources in connection with browsing, in both connected and disconnected states
EP1182861A3 (en) 2000-08-17 2003-04-16 Eastman Kodak Company Method, apparatus and system for organizing captured digital images
SE522866C2 (sv) * 2000-12-28 2004-03-16 Adi Anani Sätt och system för interpretering av betraktat objekt
US20020099552A1 (en) * 2001-01-25 2002-07-25 Darryl Rubin Annotating electronic information with audio clips
US7343415B2 (en) 2001-03-29 2008-03-11 3M Innovative Properties Company Display of software notes indicating that content from a content provider site is available for display
US20040194021A1 (en) * 2001-09-14 2004-09-30 Fuji Xerox Co., Ltd. Systems and methods for sharing high value annotations
US7372470B2 (en) 2001-11-29 2008-05-13 Lg Electronics Inc. System and method for transmitting and displaying messages in a mobile terminal
US7573598B2 (en) 2002-01-16 2009-08-11 Infoprint Solutions Company, Llc Method and apparatus for selectively copying documents with handwritten notations
JP2004001315A (ja) * 2002-05-31 2004-01-08 Ricoh Co Ltd 情報処理装置、情報処理方法、及び情報処理プログラム
FR2841487B1 (fr) * 2002-06-26 2004-08-20 Solystic Procede de detection de plis simples et de plis en prise multiple dans une installation de tri postal
US7254270B2 (en) 2002-07-09 2007-08-07 Hewlett-Packard Development Company, L.P. System and method for bounding and classifying regions within a graphical image
US7072512B2 (en) 2002-07-23 2006-07-04 Microsoft Corporation Segmentation of digital video and images into continuous tone and palettized regions
US7065249B2 (en) * 2002-07-25 2006-06-20 Microsoft Corp. System and method for image editing
US20040017400A1 (en) 2002-07-26 2004-01-29 Ly Eric Thichvi Method for project planning
US7346705B2 (en) * 2002-08-28 2008-03-18 Apple Inc. Method of synchronising three or more electronic devices and a computer system for implementing that method
US20050078190A1 (en) * 2002-10-23 2005-04-14 Bloom Daniel M. System and method for associating information with captured images
WO2004068300A2 (en) 2003-01-25 2004-08-12 Purdue Research Foundation Methods, systems, and data structures for performing searches on three dimensional objects
US7119816B2 (en) * 2003-03-31 2006-10-10 Microsoft Corp. System and method for whiteboard scanning to obtain a high resolution image
US7992853B2 (en) 2003-06-07 2011-08-09 Opex Corporation Method and apparatus for processing mail to obtain image data of contents
US7457464B2 (en) * 2003-08-29 2008-11-25 Hewlett-Packard Development Company, L.P. Rendering of substitute for detected indicia
US20050054381A1 (en) * 2003-09-05 2005-03-10 Samsung Electronics Co., Ltd. Proactive user interface
JP2005108230A (ja) * 2003-09-25 2005-04-21 Ricoh Co Ltd オーディオ／ビデオコンテンツ認識・処理機能内蔵印刷システム
US20050091578A1 (en) 2003-10-24 2005-04-28 Microsoft Corporation Electronic sticky notes
US7561310B2 (en) 2003-12-17 2009-07-14 Market Hatch Co., Inc. Method and apparatus for digital scanning and archiving
US20070044028A1 (en) * 2004-04-01 2007-02-22 Dunn Michael H Virtual flip chart method and apparatus
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US7948448B2 (en) * 2004-04-01 2011-05-24 Polyvision Corporation Portable presentation system and methods for use therewith
US7590310B2 (en) * 2004-05-05 2009-09-15 Facet Technology Corp. Methods and apparatus for automated true object-based image analysis and retrieval
JP2006059075A (ja) 2004-08-19 2006-03-02 Fuji Xerox Co Ltd 文書処理装置およびプログラム
US20060077468A1 (en) 2004-10-12 2006-04-13 Xerox Corporation System and method for smart color halftoning
JP4895340B2 (ja) 2005-03-31 2012-03-14 キヤノン株式会社 情報処理装置およびその方法
US7698644B2 (en) * 2005-04-26 2010-04-13 Cisco Technology, Inc. System and method for displaying sticky notes on a phone
US7554576B2 (en) * 2005-06-20 2009-06-30 Ricoh Company, Ltd. Information capture and recording system for controlling capture devices
CN101213487B (zh) * 2005-06-30 2010-06-16 株式会社理光 投影图像显示装置
US8732570B2 (en) 2005-09-08 2014-05-20 Ricoh Co. Ltd. Non-symbolic data system for the automated completion of forms
US8024653B2 (en) 2005-11-14 2011-09-20 Make Sence, Inc. Techniques for creating computer generated notes
US7663620B2 (en) * 2005-12-05 2010-02-16 Microsoft Corporation Accessing 2D graphic content using axonometric layer views
US20130125046A1 (en) 2006-01-06 2013-05-16 Adobe Systems Incorporated Dynamic non-interruptive visual image isolation
US20070162864A1 (en) * 2006-01-10 2007-07-12 International Business Machines Corp. User-directed repartitioning of content on tab-based interfaces
US20070174766A1 (en) * 2006-01-20 2007-07-26 Microsoft Corporation Hidden document data removal
US20110285123A1 (en) 2006-01-23 2011-11-24 Cynthia Sue Hasko Wittke Pre-Printed Sticky Notes and Methods of Use
US7471209B2 (en) 2006-02-02 2008-12-30 Intuit Inc. RFID whiteboard
JP4663013B2 (ja) 2006-06-29 2011-03-30 富士通株式会社 色類別方法、色認識方法及び色認識装置
EP2178031B1 (en) 2006-07-19 2013-01-09 B-Core Inc. Optical code recognition apparatus, optical code and recognition method.
US7593017B2 (en) 2006-08-15 2009-09-22 3M Innovative Properties Company Display simulator
KR101443404B1 (ko) * 2006-09-15 2014-10-02 구글 인코포레이티드 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이
US7873213B2 (en) 2006-09-26 2011-01-18 Sharp Laboratories Of America, Inc. Systems and methods for color-deficient image enhancement
JP5073281B2 (ja) * 2006-12-12 2012-11-14 株式会社Ｐｆｕ 付箋表示処理装置および付箋表示処理方法
AU2006252025B2 (en) 2006-12-13 2012-10-04 Canon Kabushiki Kaisha Recognition of parameterised shapes from document images
US7970206B2 (en) 2006-12-13 2011-06-28 Adobe Systems Incorporated Method and system for dynamic, luminance-based color contrasting in a region of interest in a graphic image
US9648287B2 (en) * 2007-02-15 2017-05-09 Stewart Carl Note capture device
US8346023B2 (en) * 2007-04-22 2013-01-01 Bo-In Lin User control of computer peripheral apparatuses to perform tasks according to user input image file
JP2009020813A (ja) 2007-07-13 2009-01-29 Three M Innovative Properties Co タグおよびそれを用いた物品認識システム
WO2009040922A1 (ja) 2007-09-27 2009-04-02 Glory Ltd. 紙葉類処理装置
US20090086269A1 (en) 2007-09-28 2009-04-02 Kyocera Mita Corporation Image Forming Apparatus and Image Forming System
US8069173B2 (en) 2007-11-12 2011-11-29 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same, information processing method, and computer program
US20090234721A1 (en) * 2007-12-21 2009-09-17 Bigelow David H Persistent collaborative on-line meeting space
US20090214134A1 (en) * 2008-02-27 2009-08-27 Motorola, Inc. System and method for image data extraction and assembly in digital cameras
JP5129648B2 (ja) 2008-05-13 2013-01-30 株式会社Ｐｆｕ 画像読取装置およびマーク検出方法
US20090307607A1 (en) 2008-06-10 2009-12-10 Microsoft Corporation Digital Notes
US8543926B2 (en) 2008-06-10 2013-09-24 Microsoft Corporation Managing item access in a collaborative workspace
US9191238B2 (en) 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
KR101531504B1 (ko) * 2008-08-26 2015-06-26 엘지전자 주식회사 이동단말기 및 그 제어 방법
US8070061B2 (en) 2008-10-21 2011-12-06 Habraken G Wouter Card credential method and system
US8024667B2 (en) * 2008-10-24 2011-09-20 Microsoft Corporation In-document floating object re-ordering
EP2189926B1 (en) * 2008-11-21 2012-09-19 beyo GmbH Method for providing camera-based services using a portable communication device of a user and portable communication device of a user
US20100162151A1 (en) * 2008-12-19 2010-06-24 Microsoft Corporation Techniques for organizing information on a computing device using movable objects
US8806354B1 (en) * 2008-12-26 2014-08-12 Avaya Inc. Method and apparatus for implementing an electronic white board
US8096477B2 (en) 2009-01-27 2012-01-17 Catch, Inc. Semantic note taking system
US8264499B1 (en) 2009-06-02 2012-09-11 Sprint Communications Company L.P. Enhancing viewability of information presented on a mobile device
US8588528B2 (en) 2009-06-23 2013-11-19 K-Nfb Reading Technology, Inc. Systems and methods for displaying scanned images with overlaid text
WO2011004612A1 (ja) 2009-07-10 2011-01-13 パナソニック株式会社 マーカ表示制御装置、集積回路、及び、マーカ表示制御方法
JP5027905B2 (ja) * 2009-09-30 2012-09-19 楽天株式会社 情報表示装置、情報表示方法、情報表示プログラム、記録媒体及び情報表示システム
US8374646B2 (en) 2009-10-05 2013-02-12 Sony Corporation Mobile device visual input system and methods
JP5212334B2 (ja) 2009-10-22 2013-06-19 コニカミノルタホールディングス株式会社 会議支援システム
US8718365B1 (en) * 2009-10-29 2014-05-06 Google Inc. Text recognition for textually sparse images
EP2323069A2 (en) 2009-11-17 2011-05-18 Samsung Electronics Co., Ltd. Method, device and system for content based image categorization field
US8558913B2 (en) 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
US20110205370A1 (en) * 2010-02-19 2011-08-25 Research In Motion Limited Method, device and system for image capture, processing and storage
US8600167B2 (en) 2010-05-21 2013-12-03 Hand Held Products, Inc. System for capturing a document in an image signal
US9008457B2 (en) 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
US9406132B2 (en) 2010-07-16 2016-08-02 Qualcomm Incorporated Vision-based quality metric for three dimensional video
US8773468B1 (en) * 2010-08-27 2014-07-08 Disney Enterprises, Inc. System and method for intuitive manipulation of the layering order of graphics objects
US8542889B2 (en) 2010-10-19 2013-09-24 Apple Inc. Systems, methods, and computer-readable media for capturing a signature for use in a document
WO2012070930A1 (en) 2010-11-24 2012-05-31 Greenflower Intercode Holding B.V. User -friendly method and system for compiling a unique sample code for a digital sample with the help of a user - interface
US9588673B2 (en) * 2011-03-31 2017-03-07 Smart Technologies Ulc Method for manipulating a graphical object and an interactive input system employing the same
US8699815B2 (en) 2011-05-31 2014-04-15 Adobe Systems Incorporated Methods and apparatus for improved display of foreground elements
US20120314031A1 (en) 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
US8443277B2 (en) * 2011-06-13 2013-05-14 Spanlocal News, Inc. Digital content enhancement platform
US9858552B2 (en) * 2011-06-15 2018-01-02 Sap Ag Systems and methods for augmenting physical media from multiple locations
US8917412B2 (en) 2011-06-16 2014-12-23 Ricoh Company, Ltd. System, apparatus and method for consumption management
US8380040B2 (en) 2011-07-18 2013-02-19 Fuji Xerox Co., Ltd. Systems and methods of capturing and organizing annotated content on a mobile device
US8935265B2 (en) 2011-08-30 2015-01-13 Abbyy Development Llc Document journaling
US9544158B2 (en) * 2011-10-05 2017-01-10 Microsoft Technology Licensing, Llc Workspace collaboration via a wall-type computing device
US8655068B1 (en) 2011-10-07 2014-02-18 LI Creative Technologies, Inc. Color correction system
US9460095B2 (en) * 2011-11-28 2016-10-04 Microsoft Technology Licensing, Llc Quick capture of to-do items
WO2013085512A1 (en) 2011-12-07 2013-06-13 Intel Corporation Guided image capture
JP5783031B2 (ja) 2011-12-22 2015-09-24 コニカミノルタ株式会社 画像形成システム及びプログラム
JP6105627B2 (ja) * 2012-01-09 2017-03-29 クアルコム，インコーポレイテッド Ｏｃｒキャッシュ更新
WO2013104053A1 (en) * 2012-01-11 2013-07-18 Smart Technologies Ulc Method of displaying input during a collaboration session and interactive board employing same
US20130227476A1 (en) 2012-02-24 2013-08-29 Nokia Corporation Method, apparatus and computer program product for management of information on a graphic user interface
US20130258122A1 (en) 2012-03-27 2013-10-03 Research In Motion Limited Method and device for motion enhanced image capture
US8687104B2 (en) 2012-03-27 2014-04-01 Amazon Technologies, Inc. User-guided object identification
US10681304B2 (en) 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
WO2014028245A2 (en) * 2012-08-17 2014-02-20 Evernote Corporation Using surfaces with printed patterns for image and data processing
KR102009928B1 (ko) 2012-08-20 2019-08-12 삼성전자 주식회사 협업 구현 방법 및 장치
US8953876B2 (en) 2012-08-22 2015-02-10 Facebook, Inc. Creation of a color profile of an image
US9530232B2 (en) * 2012-09-04 2016-12-27 Qualcomm Incorporated Augmented reality surface segmentation
JP5920135B2 (ja) * 2012-09-18 2016-05-18 富士ゼロックス株式会社 画像処理装置及びプログラム
US9047508B2 (en) * 2012-11-07 2015-06-02 Xerox Corporation System and method for identifying and acting upon handwritten action items
JP6171319B2 (ja) 2012-12-10 2017-08-02 株式会社リコー 情報処理装置、情報処理方法、情報処理システム及びプログラム
US20140218372A1 (en) * 2013-02-05 2014-08-07 Apple Inc. Intelligent digital assistant in a desktop environment
US9436665B2 (en) * 2013-02-28 2016-09-06 Thomson Reuters Global Resources Synchronizing annotations between printed documents and electronic documents
US8984288B1 (en) * 2013-03-14 2015-03-17 MircoStrategy Incorporated Electronic signing of content
WO2014152997A2 (en) 2013-03-14 2014-09-25 Sticky Storm, LLC Software-based tool for digital idea collection, organization, and collaboration
US9070036B2 (en) 2013-04-02 2015-06-30 3M Innovative Properties Company Systems and methods for note recognition
US9563696B2 (en) 2013-04-02 2017-02-07 3M Innovative Properties Company Systems and methods for managing notes
CA2849560A1 (en) * 2013-04-22 2014-10-22 Pierre Hamel Optical character recognition of text in an image according to a prioritized processing sequence
US9773231B2 (en) 2013-05-29 2017-09-26 Evernote Corporation Content associations and sharing for scheduled events
US10108586B2 (en) * 2013-06-15 2018-10-23 Microsoft Technology Licensing, Llc Previews of electronic notes
US9794435B1 (en) * 2013-08-30 2017-10-17 Ca, Inc. System and method for arranging scanned images
US8819617B1 (en) * 2013-09-19 2014-08-26 Fmr Llc System and method for providing access to data in a plurality of software development systems
JP6232906B2 (ja) * 2013-10-09 2017-11-22 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US20150104778A1 (en) * 2013-10-11 2015-04-16 Chi-Chang Liu System and method for computer based mentorship
US10175845B2 (en) * 2013-10-16 2019-01-08 3M Innovative Properties Company Organizing digital notes on a user interface
TWI653571B (zh) * 2013-10-16 2019-03-11 ３Ｍ新設資產公司 用於處理數位便箋之方法、電腦系統、非暫時性電腦可讀取媒體及計算裝置
TWI638273B (zh) * 2013-10-16 2018-10-11 ３Ｍ新設資產公司 用於重疊實體便箋之便箋辨識
US9274693B2 (en) * 2013-10-16 2016-03-01 3M Innovative Properties Company Editing digital notes representing physical notes
EP3058511A4 (en) * 2013-10-16 2017-11-08 3M Innovative Properties Company Note recognition and association based on grouping
JP6123631B2 (ja) * 2013-10-28 2017-05-10 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200849940A (en) * 2007-06-08 2008-12-16 Wistron Neweb Corp Method and related device for making memorandum in mobile communications device
CN102105876A (zh) * 2008-07-25 2011-06-22 日本电气株式会社 电子粘签系统
US20110069017A1 (en) * 2009-09-22 2011-03-24 Victor B Michael Device, Method, and Graphical User Interface for Manipulating User Interface Objects
TWM457245U (zh) * 2013-03-13 2013-07-11 Univ Southern Taiwan Sci & Tec 雲端數位便利貼編輯系統

Also Published As

Publication number Publication date
EP3058512A1 (en) 2016-08-24
WO2015057804A1 (en) 2015-04-23
EP3058512A4 (en) 2017-10-04
US20150106760A1 (en) 2015-04-16
US20180129363A1 (en) 2018-05-10
EP3058512B1 (en) 2022-06-01
US10175845B2 (en) 2019-01-08
US10698560B2 (en) 2020-06-30
TW201531918A (zh) 2015-08-16

Similar Documents

Publication Publication Date Title
TWI651640B (zh) 在使用者介面上組織數位便箋
TWI659354B (zh) 具有處理器之運算裝置及在其上實施擷取及辨識便箋之方法
US9600718B2 (en) Note recognition and association based on grouping indicators
US10296789B2 (en) Note recognition for overlapping physical notes
US10325389B2 (en) Editing digital notes representing physical notes
EP3058514B1 (en) Adding/deleting digital notes from a group
US20150220800A1 (en) Note capture, recognition, and management with hints on a user interface
TWI658400B (zh) 用於建立及操作軟體便箋之方法、運算裝置及系統、以及非暫時性電腦可讀取儲存媒體

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees