TWM457241U - 結合擴增實境的圖像文字辨識系統 - Google Patents

結合擴增實境的圖像文字辨識系統 Download PDF

Info

Publication number
TWM457241U
TWM457241U TW101222831U TW101222831U TWM457241U TW M457241 U TWM457241 U TW M457241U TW 101222831 U TW101222831 U TW 101222831U TW 101222831 U TW101222831 U TW 101222831U TW M457241 U TWM457241 U TW M457241U
Authority
TW
Taiwan
Prior art keywords
image
augmented reality
text
database
recognition
Prior art date
Application number
TW101222831U
Other languages
English (en)
Inventor
Chun-Nan Li
qi-yuan Li
ren-fu Zhang
Original Assignee
Ya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ya Technology Co Ltd filed Critical Ya Technology Co Ltd
Priority to TW101222831U priority Critical patent/TWM457241U/zh
Publication of TWM457241U publication Critical patent/TWM457241U/zh

Links

Landscapes

  • Character Discrimination (AREA)
  • Processing Or Creating Images (AREA)

Description

結合擴增實境的圖像文字辨識系統
本新型係關於一種結合擴增實境的圖像文字辨識系統，主要是結合光學字元辨識與擴增實境技術，讓使用者在進行字元辨識時，能得到比以往更多元的資訊，而不再侷限於僅獲取文字資訊。擴增實境(Augmented Reality,AR)是一種從虛擬實境(Virtual Reality,VR)中所衍生之技術，前者(AR)主要是將虛擬物件可以在現實生活中具現化，以達成虛實合一之境界；而後者(VR)則是創造一個完全的虛擬環境，而無摻雜現實之物件於其中。光學字元辨識(OCR)通常是對書面文件進行文字辨 識，亦可對各種物件上的文字進行辨識。辨識率則視該文件是否乾淨或字元是否清晰而定，當掃描該圖像文字後，將對該文字進行影像處理，再將辨識後的字元與文字資料庫進行比對，最後就會得到相對應的文字。
本專利係透過行動載具中的光學字元辨識單元(OCR)即可在本地將文字影像轉換為文字字元，掃描或編輯任何影像中的文字、標點符號、空格以及行尾，以達到即時(Real Time)的文字轉換，不必將掃描後的影像先傳輸至遠端或雲端伺服器進行文字資料庫的查詢與比對動作，可以避免因無線傳輸所可能發生系統不穩定，而導致無法比對文字資料庫的問題發生。文字辨識執行時是以偵測明暗度的方式來決定字元外形，然後藉由與文字資料庫所事先建立的字集完成相互匹配。
在現今資訊繁雜的時代，許多民眾對於資訊的獲取不再侷限於本國文字，而是會透過國外的報章媒體取得更多元的資訊，因此當民眾看到一些艱澀的外國文字時，就必須靠查閱字典以取得該字詞的意思。而字典的使用，隨著科技的推演，亦逐漸從早期的翻閱字典或使用電腦鍵入(Key-in)的方式輸入到電腦中查詢，而當翻譯筆發明後，使得光學字源辨識技術更進一步的被應用於即時翻譯。再者，當智慧型手機(Smartphone)在我們生活中普及後，更多的人是使用手機的鏡頭對準要查詢的字 進行查閱，使得資訊的獲得比以往更加輕鬆簡單。
如中華民國專利號I333365、239754與M413920說明傳統的影像與文字辨識系統，皆是應用前端的無線通訊裝置擷取圖片或影像後，經由無線網路傳送至後端伺服器進行辨識翻譯後，再將結果回傳至前端的通訊裝置，這樣的做法將會因需要傳送圖片將占據較大的傳輸頻寬以及較長的時間，同時目前所使用的技術都僅在於獲取文字上的解釋，而當有些文字的字義過於艱深難懂時，文字解釋的效果可能不比以圖片說明來得容易。例如，當一個人從未接觸過飛機，若是當他對著airplane(飛機)進行解讀時，則可能無法理解這是何物，此時若是再附上飛機的圖片或是影像進行輔助解釋時，將可獲得事半功倍之效。
鑒於改進上述辨識後僅能取得文字資訊的技術之不足，本新型的主要目的係提供一種結合擴增實境的圖像文字辨識系統，該系統係由行動載具(100)及雲端伺服器(200)所組成。其中行動載具(100)包括一攝像鏡頭(101)負責擷取物件上文字影像使用；一擴增實境影像處理模組(102)負責將擴增實境影像及查詢比對後之文字顯示在螢幕上；一光學字元辨識模組(103)係將攝像鏡頭(101)所截取的文字影像進行解析辨識，並與文字辨識資料庫(105)進行查詢辨識後的字元，在文字辨識的過 程中，使用者可以自行決定需要辨識文字的語言轉換種類；一無線傳輸模組(104)是負責與雲端伺服器(200)連結，用於更新行動載具文字辨識資料庫(105)的字詞，與傳輸擴增實境影像資料庫(202)的圖像內容；一文字辨識資料庫(105)係存放各個文字解釋及字意之資料庫，亦負責與光學字元辨識模組(103)進行連結，提供該模組與資料庫進行查詢辨識後的字元；一螢幕顯示模組(106)係顯示光學字元辨識模組(103)辨識後的文字，以及擴增實境影像處理模組(102)處理後圖像資訊。
雲端伺服器(200)係存放本系統所需使用之圖像資訊，並可提供做為行動載具端(100)文字辨識資料庫(105)的內容更新。其中無線傳輸模組(201)係與行動載具(100)互作無線傳輸連結，使得行動載具可從雲端伺服器取得相關的文字及影像資訊；一擴增實境影像資料庫(202)係存放擴增實境影像資訊，做為文字辨識後的圖像輔助學習，對於圖像內容的新增或修改均可在此完成。
為詳細說明本新型之方法及可達成之功效與效果，茲舉以下可行實施例配合附圖詳細說明，俾利方便深入瞭解。
關於本新型的系統架構圖(如圖一)說明係含有一行動載具(100)及雲端伺服器(200)。其中行動載具(100)係包括一攝像鏡頭(101)、一擴增實境影像處理模組(102)、一光學字元辨識模 組(103)、一無線傳輸模組(104)、一文字辨識資料庫(105)與一螢幕顯示模組(106)；雲端資料庫(200)則包含一無線傳輸模組(201)及一擴增實境影像資料庫(202)。對於圖像文字的辨識完全可在本地行動載具端完成，不需利用無線連網的方式將圖像傳送至遠端伺服器或雲端伺服器進行圖像辨識後，再將結果回傳至行動載具，可避免因無線傳輸網路品質不良導致文字辨識無法進行的窘境。
請參閱圖二(系統應用流程圖)說明當使用者遇到想要查詢的圖像文字時，則可透過攝像鏡頭(101)對準目標文字，並藉由光學字元辨識模組(103)的辨識，此時移動裝置上將會顯示欲轉換的文字種類(如英文-中文翻譯、日文-中文翻譯等)，於取得該文字的字元後，再與文字辨識資料庫(105)進行比對，此時系統會再給使用者操作提示，詢問是否欲加入文字辨識所附加的圖像，如果選擇Yes後，則可透過無線傳輸模組(104)與(201)進行傳送與接收，由使用者選擇是否欲加入透過擴增實境影像資料庫(202)所配對完成的圖像資料，然後透過擴增實境影像處理模組(102)將比對後的文字詞意與相關的影像，以擴增實境的方式同時呈現在螢幕顯示模組(106)中；如果使用者選擇No時，則透過擴增實境影像處理模組(102)將比對後的文字詞意，直接以擴增實境的方式呈現在螢幕顯示模組(106)中。
圖三(結合字元辨識及擴增實境應用示意圖)說明當文字辨識資料庫(105)已事先建立dock是鴨子的文字解釋，並在擴增實境影像資料庫(106)也同時已建立鴨子的圖像檔案時，誠如圖三所呈現，當一行動載具(100)的攝像鏡頭(101)對準一段文字”Dock is an animal”時，而鏡頭範圍係以圓形虛線線條表示，此時鏡頭僅拍攝到”Dock”一字時，行動載具將透過光學字元辨識模組(103)的辨識並經過解析，至文字辨識資料庫(105)中搜尋”dock”一字，因系統事先已建立”dock”是”鴨子”的詞意解釋，因此當使用者也選定需要加入附加的文字圖像時，系統將會至雲端伺服器的擴增實境影像資料庫(202)抓取”dock”相對應的”鴨子”圖像，最後再透過擴增實境影像處理模組(102)將鴨子的文字以及鴨子的圖像一併顯示於螢幕顯示模組(106)。
以上所述之實施範例僅係為說明本新型之技術思想及特點，其目的在使熟習此項技藝之人士能夠瞭解本新型之內容並據以實施，當不能以之限定本創新之專利範圍，即大凡依本新型所揭示之精神所做之均等變化或修飾，仍應涵蓋在本新型之專利範圍內。
100‧‧‧行動載具
101‧‧‧攝像鏡頭
102‧‧‧擴增實境影像處理模組
103‧‧‧光學字元辨識模組
104‧‧‧無線傳輸模組
105‧‧‧文字辨識資料庫
106‧‧‧螢幕顯示模組
200‧‧‧雲端伺服器
201‧‧‧無線傳輸模組
202‧‧‧擴增實境影像資料庫
第一圖 系統架構圖
第二圖 系統應用流程圖
第三圖 結合字元辨識及擴增實境應用示意圖
100‧‧‧行動載具
101‧‧‧攝像鏡頭
102‧‧‧擴增實境影像處理模組
103‧‧‧光學字元辨識模組
104‧‧‧無線傳輸模組
105‧‧‧文字辨識資料庫
106‧‧‧螢幕顯示模組
200‧‧‧雲端伺服器
201‧‧‧無線傳輸模組
202‧‧‧擴增實境影像資料庫

Claims (6)

  1. 一種結合擴增實境的圖像文字辨識系統，該系統包括：一行動載具(100)包含一攝像鏡頭(101)、一擴增實境影像處理模組(102)、一光學字元辨識模組(103)、一無線傳輸模組(104)、一文字辨識資料庫(105)及一螢幕顯示模組(106)，其中攝像鏡頭(101)係負責擷取物件上文字影像，擴增實境影像處理模組(102)係負責將擴增實境影像及查詢比對後之文字顯示在螢幕上，一光學字元辨識模組(103)係將攝像鏡頭(101)所截取的文字影像進行解析辨識，並與文字辨識資料庫(105)進行查詢與比對字元的解釋與說明，無線傳輸模組(104)是負責與 雲端伺服器(200)連結，用於更新行動載具文字辨識資料庫(105)的字詞，與傳輸擴增實境影像資料庫(202)的圖像內容；一雲端伺服器(200)包含一無線傳輸模組(201)與一擴增實境影像資料庫(202)，其中擴增實境影像資料庫係存放擴增實境影像資訊，以做為文字辨識後的圖像輔助學習，對於圖像內容的新增或修改均可在此完成，然後再藉由無線傳輸模組(201)將圖像回傳至行動載具並在螢幕上呈現。
  2. 如申請專利範圍第1項所述之結合擴增實境的圖像文字辨識系統，其中文字的辨識的內容將不限於各種文字的互相辨識與轉換，例如可為英文-中文、日文-中文等各國語言文字。
  3. 如申請專利範圍第1項所述之結合擴增實境的圖像文字辨識系統，其中行動載具(100)可為搭載攝影鏡頭及WiFi/3G之智慧型手機或平板電腦。
  4. 如申請專利範圍第1項所述之結合擴增實境的圖像文字辨識系統，其中擴增實境影像處理模組(102)係將文字詞意及影像運用擴增實境技術將其呈現於螢幕顯示模組(106)。
  5. 如申請專利範圍第1項所述之結合擴增實境的圖像文字辨識系統，其中光學字元辨識模組(103)係將攝像鏡頭(101)所擷取之文字影像進行解析辨識，並透過文字辨識資料庫(105)之連結以查詢相對應之解釋與翻譯。
  6. 如申請專利範圍第1項所述之結合擴增實境的圖像文字辨識系統，其中雲端伺服器(200)係存放影像與圖片資料檔案，並提供行動載具(100)進行圖像下載，以節省行動載具儲存影像圖片所需可能占用龐大記憶體空間的問題。
TW101222831U 2012-11-26 2012-11-26 結合擴增實境的圖像文字辨識系統 TWM457241U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW101222831U TWM457241U (zh) 2012-11-26 2012-11-26 結合擴增實境的圖像文字辨識系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101222831U TWM457241U (zh) 2012-11-26 2012-11-26 結合擴增實境的圖像文字辨識系統

Publications (1)

Publication Number Publication Date
TWM457241U true TWM457241U (zh) 2013-07-11

Family

ID=49227762

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101222831U TWM457241U (zh) 2012-11-26 2012-11-26 結合擴增實境的圖像文字辨識系統

Country Status (1)

Country Link
TW (1) TWM457241U (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI503785B (zh) * 2013-12-02 2015-10-11 Chunghwa Telecom Co Ltd 擴增實境系統、其應用方法以及包含擴增實境應用程式之非暫時性電腦可讀取媒體
US9195896B2 (en) 2013-07-10 2015-11-24 Tencent Technology (Shenzhen) Company Limited Methods and systems for image recognition
TWI553542B (zh) * 2014-12-08 2016-10-11 英業達股份有限公司 表情圖像推薦系統及其方法
CN106155267A (zh) * 2014-08-14 2016-11-23 蔡曜隆 扩增实境平台系统
TWI633498B (zh) * 2015-07-10 2018-08-21 日商樂天股份有限公司 Image processing device, image processing method, and program product

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9195896B2 (en) 2013-07-10 2015-11-24 Tencent Technology (Shenzhen) Company Limited Methods and systems for image recognition
TWI503785B (zh) * 2013-12-02 2015-10-11 Chunghwa Telecom Co Ltd 擴增實境系統、其應用方法以及包含擴增實境應用程式之非暫時性電腦可讀取媒體
CN106155267A (zh) * 2014-08-14 2016-11-23 蔡曜隆 扩增实境平台系统
CN106155267B (zh) * 2014-08-14 2019-06-04 蔡曜隆 扩增实境平台系统
TWI553542B (zh) * 2014-12-08 2016-10-11 英業達股份有限公司 表情圖像推薦系統及其方法
TWI633498B (zh) * 2015-07-10 2018-08-21 日商樂天股份有限公司 Image processing device, image processing method, and program product

Similar Documents

Publication Publication Date Title
US11270099B2 (en) Method and apparatus for generating facial feature
WO2020155763A1 (zh) Ocr识别方法及其电子设备
US9953216B2 (en) Systems and methods for performing actions in response to user gestures in captured images
US9785627B2 (en) Automated form fill-in via form retrieval
JP6479266B1 (ja) デジタル文書のインテリジェントな特定および提示
WO2017087568A1 (en) A digital image capturing device system and method
US20150302242A1 (en) Method of processing content and electronic device using the same
TWI470549B (zh) A method of using an image recognition guide to install an application, and an electronic device
TWM457241U (zh) 結合擴增實境的圖像文字辨識系統
US8718374B2 (en) Method and apparatus for accessing an electronic resource based upon a hand-drawn indicator
US9396211B2 (en) Method and device for providing information using barcode
US20150138077A1 (en) Display system and display controll device
CN109697242A (zh) 拍照搜题方法、装置、存储介质和计算设备
CN103123750A (zh) 结合语言学习功能的数字相框及其显示方法
WO2023051384A1 (zh) 显示方法、信息发送方法和电子设备
US20110294522A1 (en) Character recognizing system and method for the same
KR20200098933A (ko) 펜 타입 텍스트 번역 장치 및 방법
US20190303664A1 (en) Method and system for using whiteboard changes as interactive directives for vectorization software
CN103700289A (zh) 一种扫描查询方法及其装置
CN110580352A (zh) 一种汉字与行书的互通互识技术方法
CN110580359A (zh) 一种汉字与阿拉伯语的互通互识技术方法
WO2021120420A1 (zh) 阅读辅助方法、装置及电子设备
JP6902764B1 (ja) メタデータ抽出プログラム
CN110580343A (zh) 一种汉字与乌尔都语的互通互识技术方法
US20240160299A1 (en) An electronic input writing device for digital creation and a method for operating the same

Legal Events

Date Code Title Description
MM4K Annulment or lapse of a utility model due to non-payment of fees