TW201610712A - 處理影像以識別用於插入到文件的物件 - Google Patents

處理影像以識別用於插入到文件的物件 Download PDF

Info

Publication number
TW201610712A
TW201610712A TW104118364A TW104118364A TW201610712A TW 201610712 A TW201610712 A TW 201610712A TW 104118364 A TW104118364 A TW 104118364A TW 104118364 A TW104118364 A TW 104118364A TW 201610712 A TW201610712 A TW 201610712A
Authority
TW
Taiwan
Prior art keywords
image
file
chart
type
control item
Prior art date
Application number
TW104118364A
Other languages
English (en)
Inventor
福格馬修
Original Assignee
微軟技術授權有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 微軟技術授權有限責任公司 filed Critical 微軟技術授權有限責任公司
Publication of TW201610712A publication Critical patent/TW201610712A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Character Input (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

影像被處理以識別用於插入到一文件的物件。影像係從資料儲存庫中獲取或擷取。影像被處理以識別在該影像的一部分內的與一文件類型相關聯的物件。物件類型包含：圖表、表格、形狀，及其它諸多項目。該影像的該部分被轉換為物件。控制項被提供以將該物件輸出至與該文件類型相關聯的該文件。

Description

處理影像以識別用於插入到文件的物件
此發明係關於：處理影像以識別用於插入到文件的物件。
人們藉由使用者介面與電腦應用程式進行互動。雖然具有聲音、觸覺，及類似的形式的使用者介面係可獲得使用的，透過顯示裝置的視覺使用者介面係最常見的使用者介面形式。隨著用於計算裝置的較快速的和較小的電子產品的發展、具有較小的尺寸的裝置(例如手持電腦、智慧型手機、平板裝置，及可比擬的裝置)已經變得常見。此些裝置執行各種不同的應用程式(範圍從通訊應用程式至複雜的分析工具)。許多此類的應用程式透過一顯示器來顯示內容和促進使用者提供與應用程式的操作相關聯的輸入。
提供此[發明內容]以利用簡化的形式作出選擇性觀念的介紹，該等觀念進一步地被描述在後文的[實施方式]中。此[發明內容]無意於排他性地識別：所請求的申請 標的之關鍵特徵或必要特徵，及無意用於輔助決定所請求的申請標的之範疇。
實施例係關於：處理影像以識別用於插入到一文件的物件。在一些示例實施例中，影像應用程式可獲取一影像。影像可被處理以識別在該影像的一部分內的與一文件類型相關聯的物件。該影像的該部分可被轉換為物件。控制項可被提供以將該物件輸出至與該文件類型相關聯的該文件。
此些和其他的特徵和優點將從後續的[實施方式]的閱讀和相關聯的圖式的檢閱中而為明顯的。應理解到：前文的一般性描述和後續的[實施方式]二者係解釋性的，及並不限制：如同所請求者的態樣。
100‧‧‧示意圖
102‧‧‧螢幕
106‧‧‧裝置
108‧‧‧攝像機組件
110‧‧‧影像應用程式
112‧‧‧影像
114‧‧‧基於觸碰的動作
116‧‧‧使用者
200‧‧‧示意圖
202‧‧‧影像應用程式
204‧‧‧影像
206‧‧‧控制項
208‧‧‧輸出控制項
210‧‧‧表格
300‧‧‧示意圖
302‧‧‧影像應用程式
304‧‧‧影像
308‧‧‧輸出控制項
310‧‧‧圖表
400‧‧‧示意圖
402‧‧‧影像應用程式
404‧‧‧影像
408‧‧‧輸出控制項
410‧‧‧物件
412‧‧‧中介資料
510‧‧‧網路
511‧‧‧桌上型電腦
512‧‧‧膝上型電腦
513‧‧‧智慧型手機
514‧‧‧伺服器
516‧‧‧伺服器
518‧‧‧資料庫伺服器
519‧‧‧資料儲存庫
600‧‧‧計算裝置
602‧‧‧基本組態
604‧‧‧處理器
606‧‧‧系統記憶體
608‧‧‧記憶體匯流排
612‧‧‧階快取記憶體
614‧‧‧處理器核心
616‧‧‧暫存器
618‧‧‧記憶體控制器
620‧‧‧作業系統
622‧‧‧影像應用程式
624‧‧‧程式資料
628‧‧‧影像資料
630‧‧‧匯流排/介面控制器
632‧‧‧資料儲存裝置
634‧‧‧儲存介面匯流排
636‧‧‧可移除的儲存裝置
638‧‧‧不可移除的儲存裝置
640‧‧‧介面匯流排
642‧‧‧輸出裝置
644‧‧‧周邊介面
648‧‧‧圖形處理單元
650‧‧‧音訊處理單元
652‧‧‧A/V埠
654‧‧‧串列介面控制器
656‧‧‧平行介面控制器
658‧‧‧I/O埠
660‧‧‧網路控制器
662‧‧‧計算裝置
664‧‧‧通訊埠
700‧‧‧程序
710‧‧‧操作
720‧‧‧操作
730‧‧‧操作
740‧‧‧操作
第1圖係根據實施例的一概念圖，該概念圖示例說明：用以處理影像而識別用於插入到一文件的物件的一架構的組件。
第2圖根據實施例來示例說明：處理影像以將一表格識別為在該影像內的用於插入到一文件的一物件的一示例。
第3圖根據實施例來示例說明：處理影像以將一圖表識別為在該影像內的用於插入到一文件的一物件的一示例。
第4圖根據實施例來示例說明：處理影像以識別在該影像內的用於插入到一文件的一物件的一示例。
第5圖係一簡化的網路環境，在該網路環境中根據實施例的系統可被實施。
第6圖示例說明：一般性目的之計算裝置，該一般性目的之計算裝置可經組態以處理影像以識別用於插入到一文件的物件；及第7圖根據實施例來示例說明：用於一程序的一邏輯流程圖，該程序用以處理影像以識別用於插入到一文件的物件。
如同於前文中簡短地描述者，影像可藉由影像應用程式來處理以識別用於插入到一文件的物件。影像應用程式可獲取一影像。影像可被處理以識別在該影像的一部分內的與一文件類型相關聯的物件。該影像的該部分可被轉換為物件。控制項可被提供以將該物件輸出至與該文件類型相關聯的該文件。
在後續的[實施方式]中，對在此形成一部分的隨附的圖式進行參照，及在該等圖式中特定的實施例或示例藉由示例說明的方式來顯示。可組合此些態樣、可利用其他的態樣，以及可作出結構的改變，而不偏離本揭露的精神或範疇。後續的[實施方式]因而並不被視為：具有限 制性的意義，及本發明的範疇係由隨附的申請專利範圍與其等效者所界定。
雖然實施例將利用程式模組的一般性的上下文來描述，該等程式模組與在於計算裝置上的作業系統上執行的應用程式相結合地來執行，彼些習知技藝者將識別到：態樣亦可與其他的程式模組相組合地來實施。
一般而言，程式模組包含：常式、程式、組件、資料結構，及執行特定的任務或實施特定的抽象資料型別的其他類型的結構。再者，彼些習知技術者將理解到：實施例可與其他的電腦系統組態(包含手持裝置、多處理器系統、基於微處理器的或可程式化的消費性電子、小型電腦、大型電腦，及可比擬的計算裝置)共同地被實施。實施例亦可被實施在分散式的計算環境，在該分散式的計算環境中任務係藉由遠端處理裝置來執行，該等遠端處理裝置係經由通訊網路來鏈結。在分散式的計算環境中，程式模組可位在本地端記憶體儲存裝置和遠端記憶體儲存裝置二者中。
實施例可被實施為電腦-實施的程序(方法)、計算系統，或被實施為製造物品(例如電腦程式產品或電腦可讀取媒體)。電腦程式產品可為：可由電腦系統讀取和對電腦程式(包含用於使得電腦或計算系統執行示例程序(多個)的指令)進行編碼的電腦儲存媒體。電腦可讀取儲存媒體係一電腦可讀取記憶體裝置。電腦可讀取儲存媒體可(例 如)藉由揮發性電腦記憶體、非揮發性記憶體、硬碟機，及快閃驅動器中的一或多個來實施。
在此說明書全文中，詞彙「平台(platform)」可為：用以處理影像而識別用於插入到一文件的物件的軟體和硬體組件之組合。平台的示例包含(但不限於)：透過複數個伺服器來執行的主控的服務、在單一的計算裝置上執行的應用程式，及可比擬的系統。詞彙「伺服器(server)」一般性地意指為：典型地在網路環境中執行一或多個軟體程式的計算裝置。然而，伺服器亦可被實施為：在被視為於網路上的伺服器的一或多個計算裝置上執行的虛擬伺服器(軟體程式)。關於此些技術和示例實施例的更多的細節可在後續的描述中被發現。
第1圖係根據實施例的一概念圖，該概念圖示例說明：用以處理影像而識別用於插入到一文件的物件的一架構的組件。
在示意圖100中，影像應用程式110可獲取螢幕102的影像112。螢幕可顯示：各種圖形(例如文字、形狀、結構化文字、圖表，等諸項目)。可替代性地，影像應用程式110亦可獲取數位和非數位表面的影像112。圖形可為：電腦產生的或手寫的。影像應用程式110可在裝置106中被執行。裝置106可為一行動計算裝置(例如：平板電腦、筆記型電腦、智慧型手機，等諸裝置)。影像應用程式可回應於使用者動作(例如基於觸碰的動作114)來獲取影像112。影像112可藉由裝置106的攝像機組件108來獲取。 攝像機組件108可包含：數個部件(例如鏡頭、影像感測器，等諸部件)。影像應用程式110可基於環境設定(例如可獲得使用的亮度或使用者所提供的設定)來組態設定(例如亮度調整、快門速度，及類似者)以產生一最佳影像。
影像112可被處理以識別：在影像112的一部分內的一物件。影像應用程式110可處理影像112。可替代性地，影像識別模組可處理影像。影像識別模組可為影像應用程式110的本地端的組件。可替代性地，影像識別模組可為一遠端組件，該遠端組件可對於不受限制的處理能力進行存取(相較於對於在裝置106處的影像應用程式110而言為可獲得使用的可能的受限制的處理能力)。
影像112的該部分可被識別為：圖表、表格、形狀，及類似的物件。一或多個控制項可被提供以將該物件輸出到具有與該物件相關聯的類型的一文件(例如：基於文字的文件、試算表文件、呈現文件，及其他類似文件)。
影像應用程式110可提供使用者介面(UI)以允許使用者116經由可包含基於觸碰的動作114、基於鍵盤的輸入、基於滑鼠的輸入等諸多輸入的輸入方式與影像應用程式110進行互動。基於觸碰的動作114可包含：許多手勢(例如觸碰動作、滑動動作，等諸動作)。
雖然在第1圖中的示例系統已經利用包含影像應用程式110、影像112，及物件的特定的組件來描述，然而實施例並不被限制為此些組件或系統組態，及可利用使用較少的或額外的組件的其他的系統組態來實施。
第2圖根據實施例來示例說明：處理影像以將一表格識別為在該影像內的用於插入到一文件的一物件的一示例。
在示意圖200中，影像應用程式202可處理影像204以將表格210識別為一物件。可回應於在獲取控制項206上的使用者動作來獲取影像204。回應於獲取控制項206的啟動，影像應用程式可執行操作以藉由與影像應用程式202相關聯的裝置的攝像機模組來獲取影像204。所獲取的影像204可藉由影像識別模組來處理，該影像識別模組包含：擴增的光學字元辨識(optical character recognition,OCR)能力。基於文字的資料(例如表格210)藉由擴增的OCR分析而被識別為在影像204的一部分內的具有表列的格式(tabular format)或表格格式(table format)的物件。表列的格式可包含：可使用定界字元(例如：欄標字元、換行字元，等諸字元)來分開的基於文字的資料的結構。表格格式可包含：在由數個行和數個列所劃分的單元格(cell)中的基於文字的資料的結構。可替代性地，現有的影像可藉由另一控制項回應於使用者動作或回應於與影像應用程式202相關聯的自動化的程序來進行處理。可從本地端的儲存庫或從遠端的儲存庫(例如內容提供者)擷取現有的影像。現有的影像可藉由擴增的OCR分析來進行處理以識別表格210。
用以將表格210作為物件來輸出的輸出控制項208可利用試算表文件的圖示來呈現。輸出控制項208可向 與影像應用程式202進行互動的使用者告知：影像204的一部分可被識別為表格210。輸出控制項208的圖示可向使用者通知：表格210可為可獲得使用的而用以輸出到一文件(例如試算表文件)。影像應用程式202可將操作包含在輸出控制項208中以回應於控制項的啟動而將表格210輸出到一文件(例如試算表文件)。
在一示例情境中，影像應用程式202可從表格中產生一圖表。圖表的類型和圖表的設定(例如標題、軸標籤)可由影像應用程式202從表格的元件(例如表格標題、行標題、列標題，及類似者)中來自動地決定。可提供另一輸出控制項，該另一輸出控制項包含回應於該另一輸出控制項的啟動而將圖表和表格輸出到文件(例如試算表文件)的操作。
在另一示例情境中，影像應用程式202可呈現用以將表格210作為一圖表來輸出的另一輸出控制項。影像應用程式可偵測該另一輸出控制項的啟動。一提示可被顯示以查詢用以輸出的圖表的類型。該提示可查詢圖表標題、軸標籤、格式化資訊等諸項目，以獲取用以將圖表格式化的設定。圖表的類型的一示例可包含：圓形分格統計圖表(pie chart)、條形統計圖表、分佈圖表、線圖表、面積圖表，等諸圖表。亦可向使用者提示輸入關於對於圖表類型的選擇的設定。該圖表可基於圖表的類型和被提供以將圖表格式化的其他的設定來產生。圖表和表格210可被輸出至試算表文件。
在另一示例情境中，如同前文所描述者，影像應用程式202可從影像204的一部分中產生表格210。此外，圖表亦可從影像204的另一部分或另一影像中被識別出。影像的其他的部分可被轉換為圖表。可偵測表格210與圖表之間的關係。表格210和圖表可基於該關係(例如表格210的資料集合的子集合與圖表之間的相關性)來鏈結。一或多個控制項可被提供以將表格210和圖表輸出到一試算表文件。
第3圖根據實施例來示例說明：處理影像以將一圖表識別為在該影像內的用於插入到一文件的一物件的一示例。
在示意圖300中，影像應用程式302可處理影像304以將圖表310識別為來自影像304的一部分的一物件。圖表310的類型可藉由將影像304的該部分與習知的圖表類型(例如：線圖表、圓形分格統計圖表、面積圖表、條形統計圖表，等諸圖表)作比較來偵測。輸出控制項308可利用具有與圖表的類型相關聯的一內嵌的圖形的文件的圖示來呈現。在一示例情境中，回應於：偵測到圖表類型係一圓形分格統計圖表，圓形分格統計圖表的圖形可被內嵌至文件圖示中。該圖示可被呈現為輸出控制項308。操作可被包含在輸出控制項308中以回應於輸出控制項308的啟動而將圖表310輸出到試算表文件。
在另一示例情境中，圖表310可被處理以產生具有與圖表的元件相關聯的數值的一表格。影像應用程式 302可偵測與圖表310的每一元件(例如圓形分格統計圖表的楔形、條形統計圖表的個別的直條，等諸元件)相關聯的數值。該等數值可與來自圖表310的標籤相關聯。標籤和數值可被插入到一表格。操作可被包含在輸出控制項308中以回應於控制項的啟動將圖表310和表格輸出到一文件(例如試算表文件)。
影像304亦可利用圖表類型的一集合來處理以將影像304的該部分與多個圖表類型中之一者相匹配。與該部分相匹配的圖表類型(例如圓形分格統計圖表)可被使用以將影像304的該部分轉換為圖表310。圖表類型可提供組態資訊(例如圖表的元件的放置，等諸事項)以允許影像應用程式將影像304的該部分轉換為圖表310。輸出控制項308可利用與圖表類型相關聯的圖示來呈現。此外，一操作可被包含在輸出控制項308中以回應於輸出控制項308的啟動將圖表310輸出到文件(例如試算表文件)。
雖然試算表文件被使用以作為一示例文件類型以將物件(例如從影像中被識別出的圖表和表格)輸出，然而示例情境並不被限制為試算表文件。所識別的物件亦可基於使用者組態或自動化的設定而被輸出至其他的文件類型(例如：基於文字的文件、呈現文件，等諸文件)。
第4圖根據實施例來示例說明：處理一影像以識別在該影像內的用於插入到一文件的一物件的一示例。
在示意圖400中，影像應用程式402可利用影像藝術的一集合來處理影像404以將影像404的一部分與影 像藝術中的一者相匹配。在一示例情境中，可將影像404與車輛影像藝術的一集合作比較。在將影像404的該部分與影像藝術作匹配之後，影像404的該部分可被轉換為物件410。關於影像藝術的中介資料412可被插入到物件410以提供關於物件410的資訊。一示例可包含：提供關於被識別為物件410的車輛的規格的一集合。此外，輸出控制項408可被產生以包含具有物件410的小圖形的圖示。輸出控制項408可包含一操作以回應於輸出控制項408的啟動而將物件410輸出到一文件。
在另一示例中，一組形狀可被使用以識別在影像404中的物件。該等形狀中的一者可與影像404的一部分相匹配。該部分可基於該匹配的形狀被轉換為物件410。在一示例情境中，影像的該部分可與圓形相匹配。影像的該部分可基於作為針對於物件410的模型的該圓形被轉換為物件410。
雖然數個示例被提供(在該等示例中一物件從一影像中被識別出)，示例情境並不被限制為：從一影像中識別出一物件。具有不同類型的多個物件可從一影像中被識別出來和被輸出到具有不同類型的多個文件。
處理一影像以識別用於插入到一文件的物件的技術效果可包含：增進與來自在受到觀看螢幕限制的環境(例如行動裝置)中的影像的資料集合進行互動的互動式的物件的產生。
在第2圖至第4圖中的示例情境和架構係利用特定的組件、資料類型，及組態來顯示。實施例並不被限制為：根據此些示例組態的系統。處理一影像以識別用於插入到一文件的物件可被實施在於應用程式和使用者介面中利用較少的或額外的組件的組態中。此外，被顯示在第2圖和第4圖中的示例架構和組件以及該等組件的子組件可使用在此描述的原理和利用採用其他的數值的類似的方式來實施。
第5圖係一示例網路環境，在該網路環境中可實施實施例。經組態以處理影像而識別用於插入到一文件的物件的影像應用程式，可藉由透過一或多個伺服器514來執行的軟體(例如主控的服務)來實施。平台可透過網路(多個)510與在個別的計算裝置(例如智慧型手機513、膝上型電腦512，或桌上型電腦511(「客戶端裝置(client device)」))上的客戶端應用程式進行通訊。
在客戶端裝置511-513的任何者上執行的客戶端應用程式可透過由伺服器514執行的(或在個別的伺服器516上執行的)應用程式(多個)來促進通訊。影像應用程式可從一影像的一部分中識別一物件(例如圖表、表格，等諸事項)。該部分可被轉換為物件和被輸出至與該物件的類型相關聯的一文件。影像應用程式可直接地或藉由資料庫伺服器518將與影像相關聯的資料儲存在資料儲存庫(多個)519中。
網路(多個)510可包含：伺服器、客戶端、Internet服務提供者，及通訊媒體的任何的拓撲。根據實施例的系統可具有靜態或動態的拓撲。網路(多個)510可包含：安全的網路(例如企業網路)、不安全的網路(例如無線的開放式網路)，或Internet。網路(多個)510亦可透過其他的網路(例如公眾交換電話網路(Public Switched Telephone Network(PSTN)或蜂巢式行動網路)來協調通訊。此外，網路(多個)510可包含：短距離無線網路(例如Bluetooth或類似者)。網路(多個)510提供：在於此描述的節點之間的通訊。藉由示例的方式(而非限制)，網路(多個)510可包含：無線媒體(例如聲音、RF、紅外線，及其他的無線媒體)。
計算裝置、應用程式、資料來源，及資料分配系統的許多其他的組態可被利用以處理影像以識別用於插入到一文件的物件。此外，在第5圖中討論的網路環境僅是為了達到示例說明的目的。實施例並不被限制為示例應用程式、模組，或程序。
第6圖示例說明：一般性目的之計算裝置，該一般性目的之計算裝置可經配置以處理影像而識別用於插入到一文件的物件(其中根據在此描述的至少一些實施例來排置)。
舉例而言，計算裝置600可被使用以處理影像而識別用於插入到一文件的物件。在基本組態602的一示例中，計算裝置600可包含：一或多個處理器604和系統記 憶體606。記憶體匯流排608可被使用於在處理器604與系統記憶體606之間的通訊。基本組態602可藉由在內部的虛線內的彼些組件被示例說明在第6圖中。
取決於所欲的組態，處理器604可具有任何的類型(包含(但不限於)：微處理器(μP)、微控制器(μC)、數位訊號處理器(DSP)，或其任何組合)。處理器604可包含：一或更多個階的快取(例如階快取記憶體612)、處理器核心614，及暫存器616。處理器核心614可包含：算術邏輯單元(arithmetic logic unit(ALU))、浮點單元(floating point unit(FPU))、數位訊號處理核心(DSP Core)，或其任何的組合。記憶體控制器618亦可與處理器604共同地被使用，或在一些實施中，記憶體控制器618可為：處理器604的內部的部分。
取決於所欲的組態，系統記憶體606可具有任何的類型(包含(但不限於)：揮發性記憶體(例如RAM)、非揮發性記憶體(例如ROM、快閃記憶體等等)，或其任何的組合)。系統記憶體606可包含：作業系統620、影像應用程式622，及程式資料624。影像應用程式622可處理影像以識別用於插入到一文件的物件。程式資料624可包含：影像資料628，或類似者(如同在此所描述者)。影像資料628可包含：可被輸出至一文件的物件。
計算裝置600可具有額外的特徵或功能，及額外的介面以促進在基本組態602與任何的所欲的裝置和介面之間的通訊。舉例而言，匯流排/介面控制器630可被使 用以藉由儲存介面匯流排634來促進：在基本組態602與一或多個資料儲存裝置632之間的通訊。資料儲存裝置632可為一或多個可移除的儲存裝置636、一或多個不可移除的儲存裝置638，或其組合。可移除的儲存裝置和不可移除的儲存裝置的示例可包含(舉數個例子來說)：磁碟裝置(例如軟碟驅動器和硬碟驅動器(HDD))、光碟驅動器(例如緊密碟片(CD)驅動器或數位影音光碟(DVD)驅動器)、固態驅動器(solid state drives,SSD))，及磁帶驅動器。示例電腦儲存媒體可包含：利用用於儲存資訊(例如電腦可讀取指令、資料結構、程式模組，或其他的資料)的任何的方法或技術來實施的可揮發性媒體和不可發揮性媒體、可移除的媒體，及不可移除的媒體。
系統記憶體606、可移除的儲存裝置636，及不可移除的儲存裝置638可為：電腦儲存媒體的示例。電腦儲存媒體可包含(但不限於)：RAM、ROM、EEPROM、快閃記憶體或其他的記憶體技術、CD-ROM、數位影音光碟(DVD)、固態驅動器，或其他的光學儲存、磁性卡匣、磁帶、磁碟儲存或其他的磁性儲存裝置，或可被使用以儲存所欲的資訊和可由計算裝置600存取的任何其他的媒體。任何此類的電腦儲存媒體可為計算裝置600的部分。
計算裝置600亦可包含：一介面匯流排640，該介面匯流排用於促進：透過匯流排/介面控制器630從各種介面裝置(例如一或多個輸出裝置642、一或多個周邊介面644，及一或多個通訊裝置666)向基本組態602所進行的 通訊。示例輸出裝置642中的一些者可包含：圖形處理單元648和音訊處理單元650，該圖形處理單元648和該音訊處理單元650可經組態以藉由一或多個A/V埠652向各種外部裝置(例如顯示器或揚聲器)進行傳訊。一或多個示例周邊介面644可包含：串列介面控制器654(或平行介面控制器656)，該串列介面控制器654(或該平行介面控制器656)可經組態以藉由一或多個I/O埠658與外部裝置(例如輸入裝置(例如鍵盤、滑鼠、筆、聲音輸入裝置、觸碰輸入裝置等等)或其他的周邊裝置(例如印表機、掃描器等等))進行通訊。示例通訊裝置666可包含：網路控制器660，該網路控制器660可經排置以促進：透過網路通訊鏈結且藉由一或多個通訊埠664與一或多個其他的計算裝置662進行通訊。一或多個其他的計算裝置662可包含：伺服器、客戶端設備，及可比擬的裝置。
網路通訊鏈結可為通訊媒體的一示例。通訊媒體可藉由電腦可讀取指令、資料結構、程式模組，或在一調變的資料訊號(例如載波或其他的傳輸機制)中的其他的資料來體現，及可包含：任何的資訊傳遞媒體。一「調變的資料訊號(modulated data signal)」可為具有一或多個調變的資料訊號的特性集的訊號或以此方式改變以將資訊編碼在該訊號中。藉由示例的方式(而非限制)，通訊媒體可包含：有限媒體(例如有限網路或直接線路連接)，及無線媒體(例如聲音、無線電頻率(RF)、微波、紅外線(IR)，及其他的無線媒體)。詞彙「電腦可讀取媒體 (computer-readable media)」(如同在此使用者)可包含：儲存媒體和通訊媒體二者。
計算裝置600可被實施為：一般性目的伺服器(或特殊化的伺服器)、大型電腦，或包含前述功能的任何者的類似的電腦的一部分。計算裝置600亦可被實施為一個人電腦(包含膝上型電腦組態和非膝上型電腦組態二者)。
示例實施例亦可包含：處理一影像以識別用於插入到一文件的物件。此些方法可利用任何數目的方式(包含在此描述的結構)來實施。此一方式可藉由機器操作來進行(其中使用具有在本揭露中描述的類型的裝置)。另一可選擇的方式可針對於與執行該等操作中的一些操作的一或多個人類操作員相結合來執行的該等方法的個別的操作中的一或多個，而其他的操作可由機器來執行。此些人類操作員並不需要彼此間共同地位於同一處，但是每一人類操作員可與執行程式的一部分的一機器位於同一處。在其他的示例中，人類互動可(例如)藉由可為機器自動化的預先選定的準則而為自動化的。
第7圖根據實施例來示例說明一邏輯流程圖，該邏輯流程圖用於：用以處理影像以識別用於插入到一文件的物件的程序。程序700可被實施在影像應用程式上。
程序700開始於操作710，其中影像可被獲取。在操作720處，影像可被處理以識別在該影像的一部分內的與一文件類型相關聯的一物件。在操作730處，該部分 可被轉換為物件。在操作740處，一控制項可被提供以將該物件輸出到與文件類型相關聯的一文件中。
被包含在程序700中的操作係為了達到示例說明的目的。根據實施例的影像應用程式可藉由利用較少的或額外的步驟，以及使用在此描述的原理且採行不同的次序的操作的類似的程序來實施。
根據一些示例，可描述：一種在一計算裝置上被執行以處理影像而識別用於插入到一文件的物件的方法。該方法可包含以下步驟：獲取該影像、處理該影像以識別在該影像的一部分內的與一文件類型相關聯的該物件、將該部分轉換為物件，及提供一控制項以將物件輸出到與該文件類型相關聯的該文件。
根據其他的示例，該方法可進一步包含以下步驟：藉由包含擴增的光學字元辨識(OCR)的影像識別模組來處理該影像以將基於文字的資料識別為在該部分內的具有一表列的格式的物件。表格可被識別為物件。該控制項可利用包含來自下列所述者的一集合中的一者的該文件的一圖示來呈現：試算表文件、基於文字的文件，及呈現文件。一操作可被包含在控制項中以回應於控制項的啟動而將該表格輸出到作為該文件的一試算表文件。圖表可從表格產生，以及包含一操作的另一控制項可被呈現以回應於該另一控制項的啟動而將該圖表和該表格輸出到作為該文件的一試算表文件。
根據另外的示例，該方法可進一步包含以下步驟：呈現另一控制項以將該表格作為一圖表輸出、偵測到該另一控制項的啟動、顯示一提示以查詢該圖表的類型、接收包含圖表的類型的一輸入、基於圖表的類型而從該表格產生該圖表，及將該圖表和該表格輸出到作為該文件的一試算表文件。圖表可被識別為物件。圖表的類型可被識別，該控制項可利用與圖表的類型相關聯的一內嵌的圖形的該文件的一圖示來呈現，及一操作可被包含在該控制項中以回應於控制項的啟動而將該圖表輸出到作為該文件的一試算表文件。該圖表可被處理以產生具有與圖表的元件相關聯的數值的表格，及一操作可被包含在控制項中以回應於控制項的啟動而將該圖表和該表格輸出到作為該文件的一試算表文件。
根據一些示例，可描述：用以對一影像物件進行處理以轉換為用於插入到一文件的一元件的計算裝置。計算裝置可包含：一顯示器、一記憶體、耦接至該記憶體的一處理器。處理器可經組態以與被儲存在記憶體中的指令相結合來執行影像應用程式。影像應用程式可經組態以獲取影像、藉由影像識別模組處理該影像以識別在該影像的一部分內的與一文件類型相關聯的一物件、將該部分轉換為該物件，及在顯示器上提供一控制項以將該物件輸出到與該文件類型相關聯的該文件。
根據其他的示例，影像應用程式進一步經組態以回應於一獲取動作以使用攝像機模組來獲取該影像。影 像可利用擴增的光學字元辨識(OCR)來進行處理以將基於文字的資料識別為具有包含來自下列所述者的一集合中的一者的一結構化的格式的該物件：在該部分內的一表列的格式，及一表格格式。
根據另外的示例，影像應用程式進一步地經組態以利用圖表類型的一集合來處理該影像以將該部分與該圖表類型的一者相匹配、基於該圖表類型而將該部分轉換作為該物件的一圖表、利用該圖表類型的一圖示來呈現該控制項，及將一操作包含在該控制項中以回應於控制項的啟動而將該圖表輸出到作為該文件的一試算表文件。影像可利用影像藝術的一集合來處理以將該部分與該影像藝術中的一者相匹配和基於該影像藝術將該部分轉換為該物件。
根據一些示例，電腦可讀取記憶體裝置具有儲存於其上而用以對於一影像物件進行處理以轉換為用以插入到一文件的一元件的指令。該等指令可包含：類似於前文所描述的方法的動作。該等指令亦可包含：基於該物件來偵測該文件類型，其中該文件類型包含來自下列所述者的一集合中的一者：文字文件、試算表文件，及呈現文件。
前文的說明書、示例，及資料提供實施例的組合的製造和使用之完整的描述。雖然已經利用特定於結構化特徵及/或方法步驟的語言來描述申請標的，應理解到：界定在隨附的申請專利範圍中的申請標的並不必然地被限制為：前文所描述的特定的特徵或步驟。而是，前文所描 述的特定的特徵和步驟被揭示為：實施申請專利範圍和實施例的示例形式。
200‧‧‧示意圖
202‧‧‧影像應用程式
204‧‧‧影像
206‧‧‧控制項
208‧‧‧輸出控制項
210‧‧‧表格

Claims (20)

  1. 一種在一計算裝置上被執行以處理一影像而識別用於插入到一文件的一物件的方法，該方法包含以下步驟：獲取該影像；處理該影像以識別在該影像的一部分內的與一文件類型相關聯的該物件；將該部分轉換為該物件；及提供一控制項以將該物件輸出到與該文件類型相關聯的該文件。
  2. 如請求項1所述之方法，進一步包含以下步驟：藉由包含擴增的光學字元辨識(optical character recognition,OCR)的一影像識別模組來處理該影像，以將基於文字的資料識別為在該部分內的具有一表列的格式的該物件。
  3. 如請求項1所述之方法，進一步包含以下步驟：將一表格識別為該物件。
  4. 如請求項3所述之方法，進一步包含以下步驟：利用包含來自下列所述者的一集合中的一者的 該文件的一圖示來呈現該控制項：一試算表文件、一基於文字的文件，及一呈現文件。
  5. 如請求項3所述之方法，進一步包含以下步驟：將一操作包含在該控制項中以回應於該控制項的一啟動而將該表格輸出到作為該文件的一試算表文件。
  6. 如請求項3所述之方法，進一步包含以下步驟：從該表格中產生一圖表；及呈現另一控制項，該另一控制項包含一操作以回應於該另一控制項的一啟動而將該圖表和該表格輸出到作為該文件的一試算表文件。
  7. 如請求項3所述之方法，進一步包含以下步驟：呈現另一控制項以將該表格作為一圖表輸出；偵測到該另一控制項的一啟動；顯示一提示以查詢該圖表的一類型；及接收包含該圖表的該類型的一輸入。
  8. 如請求項7所述之方法，進一步包含以下步驟：基於該圖表的該類型從該表格產生該圖表；及 將該圖表和該表格輸出到作為該文件的一試算表文件。
  9. 如請求項1所述之方法，進一步包含以下步驟：將一圖表識別為該物件。
  10. 如請求項9所述之方法，進一步包含以下步驟：偵測該圖表的一類型；利用具有與該圖表的該類型相關聯的一內嵌的圖形的該文件的一圖示來呈現該控制項；及將一操作包含在該控制項中以回應於該控制項的一啟動而將該圖表輸出到作為該文件的一試算表文件。
  11. 如請求項9所述之方法，進一步包含以下步驟：處理該圖表以產生具有與該圖表的元件相關聯的數值的一表格；及將一操作包含在該控制項中以回應於該控制項的一啟動而將該圖表和該表格輸出到作為該文件的一試算表文件。
  12. 一種對一影像物件進行處理以轉換為用以插入到一文件的一元件的計算裝置，該計算裝置 包含：一顯示器；一記憶體；一處理器，該處理器被耦接至該記憶體和該顯示器，該處理器與被儲存在該記憶體中的指令相結合來執行一影像應用程式，其中該影像應用程式經組態以進行以下步驟：獲取一影像；藉由一影像識別模組來處理該影像以識別在該影像的一部分內的與一文件類型相關聯的一物件；將該部分轉換為該物件；及在該顯示器上提供一控制項以將該物件輸出到與該文件類型相關聯的該文件。
  13. 如請求項12所述之計算裝置，其中該影像應用程式進一步經組態以進行以下步驟：回應於一獲取動作，使用一攝像機模組來獲取該影像。
  14. 如請求項12所述之計算裝置，其中該影像應用程式進一步經組態以進行以下步驟：利用擴增的光學字元辨識(optical character recognition,OCR)來處理該影 像，以將基於文字的資料識別為具有包含來自下列所述者的一集合中的一者的一結構化的格式的該物件：在該部分內的一表列的格式，及一表格格式。
  15. 如請求項12所述之計算裝置，其中該影像應用程式進一步經組態以進行以下步驟：利用圖表類型的一集合來處理該影像以將該部分與該等圖表類型中的一者相匹配；及基於該圖表類型將該部分轉換為作為該物件的一圖表。
  16. 如請求項15所述之計算裝置，其中該影像應用程式進一步經組態以進行以下步驟：利用該圖表類型的一圖示來呈現該控制項；及將一操作包含在該控制項中以回應於該控制項的一啟動而將該圖表輸出到作為該文件的一試算表文件。
  17. 如請求項12所述之計算裝置，其中該影像應用程式進一步經組態以進行以下步驟：利用影像藝術的一集合來處理該影像以將該部分與該影像藝術中的一者相匹配；及基於該影像藝術將該部分轉換為該物件。
  18. 一種具有儲存於其上而用以對一影像物件進行處理而轉換為用以插入到一文件的一元件 的指令的電腦可讀取記憶體裝置，該等指令包含：獲取一影像；藉由一影像識別模組來處理該影像以識別在該影像的一部分內的與一文件類型相關聯的一物件；基於該文件類型將該部分轉換為該物件；及提供一控制項以將該物件輸出到與該文件類型相關聯的該文件。
  19. 如請求項18所述之電腦可讀取記憶體裝置，其中該等指令進一步包含：基於該物件來偵測該文件類型，其中該文件類型包含來自下列所述者的一集合中的一者：一基於文字的文件、一試算表文件，及一呈現文件。
  20. 如請求項18所述之電腦可讀取記憶體裝置，其中該等指令進一步包含：將一表格識別為該物件；呈現另一控制項以將該表格作為一圖表輸出；偵測該另一控制項的一啟動；顯示一提示以查詢該圖表的一類型；接收包含該圖表的該類型的一輸入；基於該類型將該表格轉換為該圖表；及將該圖表和該表格輸出到作為該文件的一試算表文件。
TW104118364A 2014-07-28 2015-06-05 處理影像以識別用於插入到文件的物件 TW201610712A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/445,030 US20160026613A1 (en) 2014-07-28 2014-07-28 Processing image to identify object for insertion into document

Publications (1)

Publication Number Publication Date
TW201610712A true TW201610712A (zh) 2016-03-16

Family

ID=53801173

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104118364A TW201610712A (zh) 2014-07-28 2015-06-05 處理影像以識別用於插入到文件的物件

Country Status (3)

Country Link
US (1) US20160026613A1 (zh)
TW (1) TW201610712A (zh)
WO (1) WO2016018682A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713428B2 (en) 2015-11-02 2020-07-14 Microsoft Technology Licensing, Llc Images associated with cells in spreadsheets
US9990349B2 (en) 2015-11-02 2018-06-05 Microsoft Technology Licensing, Llc Streaming data associated with cells in spreadsheets
US20180128832A1 (en) * 2016-11-09 2018-05-10 Richard-Allan Scientific Company Proteogenomic analysis system and methods
KR102576826B1 (ko) * 2021-12-09 2023-09-11 주식회사 한글과컴퓨터 전자 문서에 삽입되는 이미지 개체 내에 포함된 개인 정보를 식별할 수 있는 전자 단말 장치 및 그 동작 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680479A (en) * 1992-04-24 1997-10-21 Canon Kabushiki Kaisha Method and apparatus for character recognition
US5774661A (en) * 1995-04-18 1998-06-30 Network Imaging Corporation Rule engine interface for a visual workflow builder
US5870093A (en) * 1996-06-12 1999-02-09 Media Cybernetics, L.P. System and method supporting likeness determination using a GUI to simplify image analysis
US6751780B1 (en) * 1998-10-01 2004-06-15 Hewlett-Packard Development Company, L.P. User interface for initiating the export of an optimized scanned document using drag and drop
KR20010103394A (ko) * 2000-05-10 2001-11-23 박정관 신분증 인식 기술을 이용한 고객 정보 관리 시스템 및 방법
US6883138B2 (en) * 2001-08-08 2005-04-19 Xerox Corporation Methods and systems for generating enhanced thumbnails usable for document navigation
GB2427111A (en) * 2005-06-10 2006-12-13 Ibm Modification of chart representation of tabular data using an interactive legend
US7522176B2 (en) * 2006-11-14 2009-04-21 Microsoft Corporation Dynamically generating mini-graphs to represent style and template icons
JP5361574B2 (ja) * 2009-07-01 2013-12-04 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN101639760A (zh) * 2009-08-27 2010-02-03 上海合合信息科技发展有限公司 联系信息输入方法及系统
US9042653B2 (en) * 2011-01-24 2015-05-26 Microsoft Technology Licensing, Llc Associating captured image data with a spreadsheet

Also Published As

Publication number Publication date
WO2016018682A1 (en) 2016-02-04
US20160026613A1 (en) 2016-01-28

Similar Documents

Publication Publication Date Title
US11003349B2 (en) Actionable content displayed on a touch screen
US10275022B2 (en) Audio-visual interaction with user devices
CN106484266B (zh) 一种文本处理方法及装置
US9886430B2 (en) Entity based content selection
US20160026858A1 (en) Image based search to identify objects in documents
CN105190644B (zh) 用于使用触摸控制的基于图像的搜索的技术
US20150149925A1 (en) Emoticon generation using user images and gestures
TW201606630A (zh) 在表單式視圖中呈現試算表的資料集
US9477883B2 (en) Method of operating handwritten data and electronic device supporting same
WO2016091095A1 (zh) 基于终端界面触控操作进行搜索的方法及系统
WO2014093407A2 (en) Appending content with annotation
US20160078865A1 (en) Information Processing Method And Electronic Device
WO2022156606A1 (zh) 信息处理方法、装置及电子设备
TW201610712A (zh) 處理影像以識別用於插入到文件的物件
TW201502862A (zh) 經由基於互動性的視覺分析以轉換視覺化資料
EP3910496A1 (en) Search method and device
US10970476B2 (en) Augmenting digital ink strokes
TW201523421A (zh) 決定用於擷取的文章之圖像
US20140053076A1 (en) Remote Use of Local Computing Components
WO2016101768A1 (zh) 终端以及基于触摸操作的搜索方法和装置
CN112287131A (zh) 信息交互方法、信息交互装置
US9389778B2 (en) Image capturing method of touch display module and electronic device
CN112306360A (zh) 用于学习机的人机交互方法和装置
US20160139783A1 (en) Detecting sidebar in document