TW201729164A - 擴增實境影像產生系統及其應用 - Google Patents

擴增實境影像產生系統及其應用 Download PDF

Info

Publication number
TW201729164A
TW201729164A TW105104114A TW105104114A TW201729164A TW 201729164 A TW201729164 A TW 201729164A TW 105104114 A TW105104114 A TW 105104114A TW 105104114 A TW105104114 A TW 105104114A TW 201729164 A TW201729164 A TW 201729164A
Authority
TW
Taiwan
Prior art keywords
module
image
augmented reality
reality image
display mode
Prior art date
Application number
TW105104114A
Other languages
English (en)
Other versions
TWI576787B (zh
Inventor
黃宇軒
Original Assignee
黃宇軒
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 黃宇軒 filed Critical 黃宇軒
Priority to TW105104114A priority Critical patent/TWI576787B/zh
Priority to US15/420,122 priority patent/US20170227754A1/en
Application granted granted Critical
Publication of TWI576787B publication Critical patent/TWI576787B/zh
Publication of TW201729164A publication Critical patent/TW201729164A/zh
Priority to US16/428,180 priority patent/US10890751B2/en

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G09B25/08—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes of scenic effects, e.g. trees, rocks, water surfaces
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

本發明揭露一種擴增實境(AR)影像產生系統及其應用，所述系統包含處理模組及數位顯微模組。數位顯微模組具有多個攝影單元，處理模組則用以追蹤、偵測並解析使用者操控動作以產生控制訊號，以及接收、處理數位顯微模組所擷取之包含對象物之瞬間影像，以產生虛擬物件並據以產生擴增實境影像。若使用者觸發例如對於對象物之顯示模式切換或即時導引或分享之開啟或關閉之互動應用，處理模組更用以產生疊合、顯示瞬間影像與所述互動應用或對象物相關聯之介面、圖像、物件、影片及/或資訊之擴增實境影像，以供該使用者繼續操作。

Description

擴增實境影像產生系統及其應用
本發明係涉及一種使用者與待顯微物體間互動之系統及其應用，尤指涉及一種產生、操控待顯微物體之擴增實境影像之系統及其應用。
隨著電腦系統運算及處理能力提高，以及系統使用者對於輸出入資料或影像的視覺化、直觀操作、品質、反應或傳輸時間與互動性等諸多要求的增加，許多影像多媒體資料之呈現已由平面或靜態，轉為藉由立體、動態的虛擬或擴增實境(Augmented Reality,AR)影像來實現。擴增實境是由虛擬實境(Virtual Reality,VR)所衍生出來的影像技術，兩者最大的差異在於，虛擬實境為一種創造虛擬環境來模擬真實的世界，而擴增實境則是將實際上並不存在現場的物件或景象，透過將虛擬物件在現實生活中加以具現化，顯示於指定的真實空間，換言之，就是以真實的世界為基礎，去擴增虛擬資訊，藉由將「現實的環境影像」及「電腦虛擬影像」互相結合的技術，使得使用者可藉由擴增實境進行相關資訊之取得、能夠親眼看到自己在實際環境中操作虛擬立體物件的情形。因此，若能在擴增實境技術運用上，增加較多互動性且降低延遲(latency)或對準錯誤(alignment error)，對於系統使用者的學習與使用動機提升將更有助益。
目前，就已知的擴增實境影像互動相關應用的方法，包含有標記/識別標籤(marker)及無標記，以及光學穿透(optical see-through)及影像穿透(video see-through)的擴增實境技術或分類方式。所謂的有標記/識別標籤(marker)的擴增實境技術，是提供電腦可辨認的識別標籤，例如通常被使用的互動卡片，依據擴增實境的應用及功能不同來設計互動卡片的內容，使用者可使用攝影機或手機為媒介來讀取互動卡片所載之資訊，進而將相對應的擴增實境影像疊加到顯示器裡的現實世界中，亦即顯示器會將擴增實境之三維影像顯示在互動卡片上。但是，為了正確辨識互動卡片的內容，所述卡片的外觀和尺寸需符合特定條件，例如外型採用矩形、需包含連續邊界(一般使用全黑或全白的邊框)，或者邊框內的標記圖像不能具備旋轉性或對稱性等，因此會受限於互動卡片；無標記技術的擴增實境技術則是將預先建立的特定靜態圖片儲存於特徵資料庫中，當在顯示器或影像畫面中偵測到特定靜態圖片時，即可將相對應的擴增特徵作為虛擬物件疊加到畫面上。然而，上述兩種先前技術皆有其限制，無法對於原始資料屬於動態或多媒體者提供擴增實境效果，缺乏視覺立體感。
至於所謂的光學穿透技術，是利用半透明的反射鏡呈現真實環境、影像或物件，並以反射於所述半透明的反射鏡呈現虛擬環境或物件，而影像穿透技術則是將虛擬環境影像或物件，疊合到由照相機或攝影機捕捉到的真實環境的影像序列(sequence)上。使用前者的優點是顯示給使用者觀看真實環境的影像時沒有顯示延遲，但是會因為真實與虛擬不同步而產生對準錯誤及顯示延遲，而且光度會因為半透明的反射鏡而減低；至於後者在顯示時期(display-timing)不會有非同步，所以沒有對準錯誤及顯示延 遲，但是擴增實境影像在顯示給使用者或觀看者時會發生顯示延遲。
此外，對於需要藉由傳統電子式或光學式等顯微鏡裝置來觀測、學習或操作待顯微物的使用者而言，如果需要查閱書籍或參考資料或紀錄觀測與操作結果，往往需要頻繁、被迫中斷而離開顯微鏡頭或機台，而且未必能夠快速尋得所需參考資料，或許還必須開啟其他電腦裝置或搜尋網頁或資料庫，才能獲得所需的非平面、非靜態的多媒體資料，並且傳統顯微鏡裝置缺乏分享、評量、警示、雙向即時互動導引、遠端控制與影像串流等機制，使用不便、無效率、不符合使用者需求，而且缺乏圖形或影像等視覺效果及介面不友善、不直觀，缺乏互動與分享機制也會抑制或難以創造學習動機、限制應用領域。然而，縱使期望利用非傳統的或習知的三種光學式、立體、手術顯微鏡裝置來進行上述活動，惟至今仍未見到針對待觀測、學習或操作的對象物是需要經由顯微操作的真實微形物體而非模擬或訓練假體、模型(例如為訓練白內障或眼球手術而使用的假眼或動物眼球等)，且能利用該領域原先使用的器械(例如撕囊鑷、剪刀或電燒器等)而非模擬操作物件操作，又不會產生環境或操作機台受生物活體組織血水浸濕、汙染且能降低特別找尋或訂購所述生物活體組織材料之費用、能正確辨識器械外型、減少運算端複雜度、產生品質良好的雙眼立體視覺擴增實境影像之技術解決方案。
本發明之一主要目的係在於，提供一種擴增實境影像產生系統，以有效改善傳統顯微鏡裝置缺乏互動及擴增實境影像技術，而不符合、無法滿足對於待顯微物觀測、學習與雙向互動需求之問題。
本發明之另一主要目的係在於，提供一種擴增實境影像產生方法，以有效擴展擴增實境產生方法及其應用領域。
本發明之又一主要目的係在於，提供一種應用一影像穿透技術之顯微手術教學或訓練系統，以有效拓展擴增實境技術之應用領域及互動性。
本發明之再一主要目的係在於，提供一種應用一影像穿透技術之電子元件組裝訓練與檢測系統，以有效拓展擴增實境技術之應用領域及互動性。
本發明之再一主要目的係在於，提供一種應用一影像穿透技術之物體顯微觀察與互動系統，以有效拓展擴增實境技術之應用領域及互動性。
本發明之再一主要目的係在於，提供一種儲存一程式碼或一韌體之機器可讀媒體，以有效移植或整合至跨平台裝置執行與使用。
本發明之再一主要目的係在於，提供一種電腦程式產品，以有效提供擴增實境產生軟體或應用程式供執行與使用。
本發明之再一主要目的係在於，提供一種單晶片(SOC)系統，以有效改善系統建置成本、簡化控制流程及實現系統體積微型化。
本發明之再一主要目的係在於，提供一種數位顯微模組，以有效整合顯微與處理技術相關裝置而實現模組化與系統化。
為達以上之目的，本發明所提供之擴增實境影像產生系統，包含處理模組及多個攝影單元的數位顯微模組以根據控制訊號擷取對象物瞬間影像，傳送至該處理模組，其中，對象物係體積或質量上適於經由顯 微及匯聚處理以利觀察與互動操作之微型物體。處理模組追蹤或偵測並解析使用者之操控動作以產生相對應之控制訊號、接收因應於操控動作或控制訊號所擷取包含至少一對象物及/或其中至少一操作或特徵區域之狀態之一瞬間影像、處理該瞬間影像以產生至少一虛擬物件，以及產生疊合虛擬物件之擴增實境影像。其中，若操控動作包含觸發了包含對於對象物顯示模式切換或即時導引或分享之啟閉的互動應用，處理模組產生經透明化、實體化或動態化部分或全部的對象物及/或改變後的操作或特徵區域的狀態的瞬間影像、及/或經疊合、調用及/或顯示與互動應用及對象物相關聯的介面、圖像、物件、影片及/或資訊前、後之該擴增實境影像。因此，使用者可藉由擴增實境技術進行相關資訊之取得，並且因為能夠親眼看到自己在實際環境中操作虛擬立體物件的情形，可以產生身歷其境的真實感與良好的使用者經驗，可以有效提高互動、學習與使用動機。
於本發明上述實施例中，數位顯微模組可以具有匯聚模組，其中可組配匯聚控制器單元及反射鏡單元，使匯聚控制器單元因應於控制訊號或一自動調整規則，調整反射鏡單元與些攝影單元在擷取瞬間影像的相對或幾何關係，以消除觀察者近距觀看微細事物時的匯聚不足所導致的模糊困擾與相關問題。
承上所述，於本發明上述實施例中，擴增實境影像產生系統還可包含光源模組以主要提供拍攝對象物時的環境照明、單晶片微控制器介面模組可根據控制訊號致動數位顯微模組、顯示模組可為頭戴式顯示器、立體視覺顯示器或平面顯示器以顯示擴增實境影像，且電腦主機或可攜式電子裝置與顯示模組可組配為近端、遠端或雲端之架構進行控制與互 動。在其他實施例中，所述系統還可包含操作平台及定位模組，以供數位顯微模組結合並因應於控制訊號而於一操作空間中至少一軸向雙向移動。在此一提，操控動作可以是使用者藉由一模擬操作物件、一手部或對象物平時即可被施用的、真實的手術或實驗實際器械來操作而進出所述的操作空間中，或者是接近、接觸、離開、操作、插置或固接部分或全部的對象物，以及改變的操作或特徵區域之狀態，或是藉由組配或耦接於處理模組的使用者操控介面選擇或施用所述操控動作。使用者操控介面模組可以是係一腳踏板裝置、一手動操控桿裝置、一手持或頭戴或穿戴輸出入介面裝置或一行動通訊裝置，且尚可組配對於於數位顯微模組之操作參數調整物件及/或顯示模式切換物件，以供該使用者調整該數位顯微模組之焦距、縮放倍率、移動距離、旋轉角度或光源參數之數值，以及提供使用者選擇不同與多樣的擴增實境影像顯示或排列方式，例如單一顯示、並列顯示及陣列式(array)顯示模式。並且，在其他實施例中，處理模組更用以對於瞬間影像進行影像特徵追蹤、色彩偵測或動作偵測，以取得虛擬物件或決定是否觸發或已觸發互動應用，搭配評量模組及/或誤差警示模組，可以在使用者操作的擴增實境影像符合或不符合一預設規範時，相應產生或輸出一評價結果、一未對準反應或互動應用的觸發操作提示。另外，也可以搭配學習回饋或社群分享模組，以供使用者儲存、編輯、傳輸或分享擴增實境影像、評價結果、未對準反應或觸發操作提示。
為達以上之目的，本發明所提供之擴增實境影像產生方法，係用以提供對於體積或質量上為微型且適於經由顯微及匯聚處理之一對象物之觀察或互動操作，包含以下步驟：追蹤或偵測並解析一使用者之一操 控動作以產生相對應之該控制訊號，其中該操控動作至少包含觸發一互動應用，且若該互動應用至少包含對於該對象物之一顯示模式之切換或一即時導引或分享之啟閉，更包含：產生經透明化或實體化部分或全部之對象物及/或改變後至少一操作或特徵區域之狀態之瞬間影像、及/或經疊合與調用及/或顯示與互動應用及對象物相關聯之一介面、圖像、物件及/或資訊前、後之擴增實境影像、接收因應於操控動作或控制訊號所擷取包含至少對象物及/或至少一操作或特徵區域之狀態之一瞬間影像、以及處理瞬間影像以產生至少一虛擬物件及疊合虛擬物件之擴增實境影像。
於本發明實施例中，操控動作可包含例如操作一使用者操控介面模組、一模擬操作物件、一手部或對象物之一手術或實驗實際器械進入或移出操作空間中，以及接近、接觸或暫時離開對象物及改變至少一操作或特徵區域之狀態，或是調整數位顯微模組焦距、縮放倍率、移動距離、旋轉角度或光源參數之數值及顯示模式切換。此外，也可以是顯示擴增實境影像至顯示模組，其中顯示模組係組配為頭戴式顯示器、立體視覺顯示器或平面顯示器，使用者可以即時觀看操作虛擬物件的情形，並可藉由偵測使用者進行的手勢或移出入操作空間的趨勢，預測並暫時移除或透明化部分影像，避免對於使用者或操作者的動作與視線的干擾，增進觀察、學習與實作的效果與順暢度。
為達以上之目的，本發明所提供之應用一影像穿透技術之顯微手術教學或訓練系統，係至少配置有前述之擴增實境影像產生系統，或用以執行以實現如前述之操作方法，其中，對象物係生物體微型且真實之一本體或一組織，或模擬用之一標本或一假體模型，例如蝴蝶等昆蟲的活 動觀察，或者對於靜態的標本或歷史文物賦予動態化(例如疊合播放標本蝴蝶或化石拍動翅膀或旋轉的動畫或影片選項與內容)的擴增實境影像處理，使其栩栩如生，並藉由數位顯微模組擷取瞬間影像的影像穿透技術，供處理模組處理以產生虛擬物件並疊合後同步輸出至顯示模組，得以獲致消除對準錯誤及降低延遲的技術效果。
於本發明實施例中，對象物可以是動物或人類之一眼部、腦部、皮膚或骨骼之本體、組織、標本或假體模型，且若對象物是眼部之本體、組織、標本或假體模型，且顯微手術包括一白內障、視網膜、黃斑部或眼角膜手術時，模擬操作物件可以是具有提示機制之探棒裝置，或是醫師們平日在手術或實驗中實際操作的慣用器械，例如撕囊鑷、剪刀或電燒器等，如此可以讓訓練與實際操作更貼近，有效增加醫師訓練的經驗值與操作相關手術與研究的能力。
為達以上之目的，本發明所提供之應用一影像穿透技術之電子元件組裝訓練與檢測系統，係至少配置有前述擴增實境影像產生系統，或用以執行以實現如前述操作方法，對象物係可供使用者插置或固接一電子元件之一電路板、一載體或一電子裝置，且影像穿透技術係藉由數位顯微模組擷取包含對象物及/或其中至少一操作或特徵區域之狀態之瞬間影像，供處理模組處理以產生虛擬物件及疊合後同步輸出至顯示模組以消除一對準錯誤及顯示延遲。於本發明上述實施例中，操作物件係具有提示機制之探棒裝置，手術或實驗實際器械包含焊槍或或鑷子等實際工具或器械。
為達以上之目的，本發明所提供之應用一影像穿透技術之物體顯微觀察與互動系統，係至少配置有前述擴增實境影像產生系統，或用 以執行以實現如前述操作方法，對象物係選自適於顯微操作之微型生物、植物體、礦物、有機物、無機物、化學元素或化合物，且影像穿透技術係藉由數位顯微模組擷取包含對象物及/或其中至少一操作或特徵區域之狀態之瞬間影像，供處理模組處理以產生虛擬物件及疊合後同步輸出至顯示模組以消除對準錯誤及降低延遲。
於本發明上述實施例中，若操控動作包含觸發互動應用時，處理模組更用以產生至少包含經透明化或實體化部分或全部之對象物之瞬間影像及/或經疊合、調用及/或顯示與互動應用及對象物相關聯之一介面、圖像、物件及/或資訊後之擴增實境影像；若操控動作係包含顯示模式之切換之觸發互動應用時，顯示模式為一單一顯示模式、一並列式顯示模式或一陣列式顯示模式，處理模組更用以根據使用者選擇之單一顯示模式、並列式顯示模式或陣列式顯示模式，產生經透明化或實體化部分或全部之對象物及/或經疊合、顯示與對象物相關聯之一介面、圖像、物件及/或資訊後之擴增實境影像，以產生以單一、複數相同或相異之對象物同時顯示或排列之擴增實境影像。
為達以上之目的，本發明再提供一種儲存一程式碼或一韌體之機器可讀媒體，其中程式碼或韌體係經載入或組譯以控制或驅動如前述系統，或用以執行以實現如前述操作方法，程式碼至少包含：一處理程式碼，係用以模擬或實現處理模組；以及一數位顯微程式碼，係用以模擬或實現數位顯微模組，並傳送瞬間影像資料至處理程式碼。
為達以上之目的，本發明再提供一種電腦程式產品，係用以使用或安裝於前述系統，或用以執行如前述操作方法，包含：一處理副程 式，係用以模擬或實現處理模組；以及一數位顯微副程式，係接受處理副程式之呼叫及傳來之對應於控制訊號之參數，以模擬或實現數位顯微模組，並回傳瞬間影像資料至處理副程式。
為達以上之目的，本發明再提供一種單晶片(SOC)系統，係至少包含處理模組，以模擬如前述系統，或實現前述操作方法。
為達以上之目的，本發明再提供一種數位顯微模組，係用以耦接或電性連接於如前述系統之處理模組或其所組配、電性連接或耦接之電腦主機或可攜式電子裝置，或用以實現前述操作方法。數位顯微模組至少包含攝影單元，以因應於操控動作或根據處理模組產生之控制訊號擷取包含至少對象物及/或其中至少一操作或特徵區域之狀態之瞬間影像，傳送至處理模組，其中，對象物係體積或質量上適於經由顯微及匯聚處理以利觀察與互動操作之微型物體。
於本發明上述實施例中，數位顯微模組更包含：匯聚模組、定位模組、使用者操控介面模組及顯示模組。匯聚模組之至少一部分係一分光元件，以供些攝影單元各自取得穿透、反射於分光元件後之對象物及/或操作或特徵區域之狀態之瞬間影像；或者，更包含：一分光元件，係分離組配於匯聚模組與些攝影單元之間，以供攝影單元各自取得匯聚模組反射後穿透、再反射於分光元件之對象物及/或操作或特徵區域之狀態之瞬間影像。
1‧‧‧擴增實境影像產生系統
11‧‧‧電腦主機或可攜式電子裝置
121~125‧‧‧對象物
13‧‧‧定位模組
131‧‧‧操作平台
132‧‧‧數位顯微模組
133‧‧‧X軸
14‧‧‧單晶片微控制器介面模組
151、152‧‧‧使用者操控介面模組
16‧‧‧網路
171、172‧‧‧顯示模組
181‧‧‧模擬操作物件
182‧‧‧手部
191、192、1003‧‧‧擴增實境影像
22‧‧‧顯示模式切換物件
231、232‧‧‧攝影單元
24‧‧‧光源模組
241‧‧‧LED
31‧‧‧匯聚模組
311‧‧‧反射鏡單元
400‧‧‧使用者眼睛
411‧‧‧反射鏡單元第一面
412‧‧‧反射鏡單元第二面
421‧‧‧光線或影像訊號
422、424~426‧‧‧光線或影像
423‧‧‧虛擬物件
61~64‧‧‧操作參數調整物件
70‧‧‧操控動作或指令解析
71‧‧‧數位顯微模組焦距、移動距離或旋轉角度調整
72‧‧‧光源參數調整
73‧‧‧縮放倍率調整
74‧‧‧特徵追蹤
75‧‧‧色彩偵測
76‧‧‧動作偵測
77‧‧‧互動應用
78‧‧‧評量模組
79‧‧‧誤差警示模組
81‧‧‧選單
821~823‧‧‧操作或特徵區域
T1~T4‧‧‧時間點或區間
922、923、924、1002‧‧‧操作或特徵區域
1001‧‧‧假眼
1004‧‧‧撕囊鑷
圖1為根據本發明擴增實境影像產生系統一實施例之系統功能方塊圖。
圖2為根據本發明擴增實境影像產生系統一實施例之顯微影像匯聚原理之示意圖。
圖3為根據本發明擴增實境影像產生系統一實施例之數位顯微模組及光源模組之組成架構圖。
圖4A為根據本發明擴增實境影像產生系統一實施例之數位顯微模組、定位模組及光源模組之組成架構圖。
圖4B、4C分別為根據本發明擴增實境影像產生系統反射鏡單元不同實施例之部分元件架構及分光操作示意圖。
圖4D~4F分別為根據本發明數位顯微模組之匯聚模組與分光元件不同實施例之部分元件架構及分光操作示意圖。
圖5為根據本發明擴增實境影像產生系統一實施例之數位顯微模組、匯聚模組、定位模組及光源模組之組成架構圖。
圖6A、6B分別為根據本發明一實施例擴增實境影像產生系統一實施例之使用者操控介面、模擬操作物件之組成架構圖。
圖7為根據本發明擴增實境影像產生系統一實施例之處理模組功能執行流程圖。
圖8A~8D分別為根據本發明應用一影像穿透技術之顯微手術之教學或訓練系統不同實施例之擴增實境影像示意圖。
圖9A、9B分別為根據本發明應用一影像穿透技術之電子元件組裝訓練與檢測系統不同實施例之擴增實境影像示意圖。
圖10A、10B分別為根據本發明應用一影像穿透技術之物體顯微觀察與互動系統不同實施例之擴增實境影像示意圖。
請參閱圖1，其係根據本發明擴增實境影像產生系統一實施例之系統功能方塊圖。如圖1所示，在此實施例中，擴增實境影像產生系統1具有組配或耦接於電腦主機或可攜式電子裝置11的處理模組(未示於圖中)、定位模組13、操作平台131、數位顯微模組132、單晶片微控制器介面模組14、使用者操控介面模組151與152、顯示模組171與172。其中，電腦主機或可攜式電子裝置11與顯示模組171可電性連接或配置為近端架構，以顯示擴增實境影像191，亦可與顯示模組172透過網路16電性連接或配置為遠端或雲端架構，以顯示擴增實境影像192，從而實現遠端傳輸、控制、分享等應用方式；顯示模組171與172可以是頭戴式顯示器、立體視覺顯示器或平面顯示器，用以顯示擴增實境影像或立體影像，並且顯示模組172亦揭示其可搭配具有運算能力的終端或伺服器主機，進行本發明所述系統之遠端控制；單晶片微控制器介面模組14與處理模組，或是內建所述處理模組的電腦主機或可攜式電子裝置11，可以整合組配或互相耦接，也可以組配或互相耦接於處理模組與數位顯微模組132之間，以根據來自電腦主機或可攜式電子裝置11或單晶片微控制器介面模組14發送的控制訊號，致動所述數位顯微模組132。操作平台131、數位顯微模組132、定位模組13可以進一步單獨或與顯示模組171共同組配，其中，操作平台131可提供使用者置放適於顯微操作的微型生物的真實本體、組織、模擬用標本或假體模型，或是可供使用者插置或固接電子元件的電路板、載體或電子裝置，以作為待觀察、待操作的對象物121，在此係一個蝴蝶；可利用實體、耐重材質構成支架的定位模組13，供數位顯微模組132結合，且可因應於來自電腦主機或可攜式電 子裝置11或單晶片微控制器介面模組14發送的控制訊號，驅動微機電與馬達控制等機構，從而能令數位顯微模組132於與操作平台131所界定之操作空間中(即以操作操作平台131上表面為原點，向例如三維直角座標之X軸133、Y軸、Z軸各軸向延伸所成空間)的至少一軸向(例如X軸133)分別進行雙向移動、定位。
請再次參閱圖1，並併予參閱圖2~4C。圖2為根據本發明擴增實境影像產生系統一實施例之顯微影像匯聚原理之示意圖，圖3為根據本發明擴增實境影像產生系統一實施例之數位顯微模組及光源模組之組成架構圖，圖4A為根據本發明擴增實境影像產生系統一實施例之數位顯微模組、定位模組及光源模組之組成架構圖，且圖4B、4C分別為根據本發明擴增實境影像產生系統反射鏡單元不同實施例之部分元件架構及分光操作示意圖。如圖2所示，圖2左方是顯示左右眼觀察例如螞蟻等微型生物而成像時，將會發生的interpupillary distance問題與現象，可以藉由匯聚處理逐漸或自動規則而調整單側或雙側的相機擷取視線，最終形成圖2右方示意圖所顯示的，從而消除了前述模糊與不合觀看需求的問題。因此在圖1、3、4A所示實施例中，數位顯微模組132除了經組配而至少包含兩個攝影單元231與232，以根據控制訊號擷取體積或質量上適於經由顯微及匯聚處理以利觀察與互動操作之微型物體及/或所述物體上的操作或特徵區域之狀態(例如因應於互動應用所生之互動影像內容改變，此將留待實施方式後續段落再予說明，在此不予贅述)之一瞬間影像，並傳送至處理模組之外，其尚可更包含匯聚模組31以實現前述匯聚操作。
承上實施例續述，且請併予參閱圖5，其係根據本發明擴增 實境影像產生系統一實施例之數位顯微模組、匯聚模組、定位模組及光源模組之組成架構圖。其中，圖4A所示實施例中匯聚模組31係經組配且具有一匯聚控制器單元(已集成、組配為控制電路及其受控樞轉元件，故未予直接標號)及一反射鏡單元311(在此實施為V形，每一邊面向反射光的面可依分光需求及應用，設計或組配為不同或相同材質或作用)，其中，匯聚控制器單元因應於控制訊號而調整反射鏡單元311與攝影單元231與232擷取瞬間影像之相對或幾何關係以實現匯聚操作之結果，光源模組24係由例如LED 241所環形組配而中心鏤空，以供光線反射或保持瞬間影像之擷取光路之通暢，故所述光源模組24在此實施例中，係經組配以提供向對象物之中心點投射而反射至反射鏡單元311(在此實施為V形，且背面為鏡面)進行分光與折射至攝影單元231與232之光線，所述光線大致上不會在對象物上產生陰影或遮蔽。另外，在圖4B、4C所示實施例中，反射鏡單元311的第一面411與第二面412可分別更組配或鍍膜為鏡面，其差異在於光線或影像訊號421經過不同路徑或距離的反射、與折射或傳送後的光線或影像422、424，可能會產生所擷取瞬間影像在使用者眼睛400觀看時，感覺較為模糊或清晰之結果。
承上所述，且併請參閱圖6A、6B、7，其中，圖6A、6B分別為根據本發明一實施例擴增實境影像產生系統一實施例之使用者操控介面、模擬操作物件之組成架構圖，圖7則為根據本發明擴增實境影像產生系統一實施例之處理模組功能執行流程圖。在前述及本實施例中，處理模組可經組配以追蹤、偵測並解析70使用者的透過組配或耦接於處理模組之使用者操控介面151所選擇或施用的操控動作或指令，以產生相對應之控制訊號至例如光源模組24或定位模組133、接收因應於操控動作或控制訊號由數 位顯微模組132所擷取、傳送過來的包含對象物及/或操作或特徵區域之狀態之瞬間影像、處理後產生疊合所產生虛擬物件之擴增實境影像191與192，送至例如顯示模組171顯示。其中，操控動作係使用者藉由模擬操作物件181、手部182或對象物之手術或實驗實際器械(未示於圖中)進入或移出操作空間中、及/或接近、接觸、離開、操作、插置或固接部分或全部之對象物及/或改變至少一操作或特徵區域之狀態。若操控動作包含觸發一互動應用77，且其中互動應用77至少包含對於對象物之顯示模式之切換或即時導引或分享之啟閉，處理模組更用以產生經透明化或實體化部分或全部之對象物及/或改變後至少一操作或特徵區域之狀態之瞬間影像、及/或經疊合、調用及/或顯示與互動應用77及對象物相關聯之一介面、圖像、物件及/或資訊後之擴增實境影像。處理模組更可用以對於由數位顯微模組132所擷取的瞬間影像進行影像特徵追蹤74、色彩偵測75或動作偵測76，以取得虛擬物件，或用以對於瞬間影像進行判斷，以決定是否觸發或已觸發該互動應用。或者，處理模組更可包含一評量模組78及/或一誤差警示模組79，係經組配以於處理模組所產生之擴增實境影像符合或不符合一預設規範時，相應產生或輸出評價結果、未對準反應或互動應用之觸發操作提示，例如發出聲、光、語音或以視訊顯示。處理模組更可包含一學習回饋或社群分享模組(未示於圖中)，係經組配以供使用者儲存、編輯、傳輸或分享擴增實境影像、評價結果、未對準反應或觸發操作提示。
承上實施例，使用者操控介面模組151可以是腳踏板裝置，或者可以是手動操控桿裝置、手持輸出入介面裝置或行動通訊裝置。如圖6A所示，使用者操控介面模組151更組配有數位顯微模組132之操作參數調 整物件61~64及顯示模式切換物件22。其中，操作參數調整物件61~64係經組配以供使用者調整數位顯微模組132之焦距、移動距離或旋轉角度71、光源參數72、縮放倍率73之數值，顯示模式切換物件22係經組配以供使用者選擇單一、複數相同或相異之對象物122~125同時顯示或排列之擴增實境影像，且顯示模式係選自一單一顯示模式(顯示如圖6B所示)、一並列式顯示模式(未示於圖中，但類似於圖8C取其中兩個來顯示)及一陣列式(array)顯示模式(請先參閱圖8C所示)。
請參閱圖4D~4F，其係分別為根據本發明數位顯微模組之匯聚模組與分光元件不同實施例之部分元件架構及分光操作示意圖。攝影單元231~233之放置位置，可因應於不同的匯聚模組31、反射鏡單元311、312視應用、需求而組配或鍍膜為鏡面之設計而調整，且由經過不同路徑或距離的反射、折射與傳送的光線或影像425、426及配合圖2所示匯聚操作及原理可知，擷取瞬間影像(在此實施例為例如螞蟻的微型物體)的系統或模組架構的設計與組配，對於後續產生的擴增實境影像之品質將有模糊與清晰之品質差異。
請再參閱圖7，其可用以說明本發明擴增實境影像產生方法之一實施例之部分內容，然並不應僅以其所揭示之內容作為本發明所述方法之限制或限縮解釋。在此實施例中，擴增實境影像產生方法係用以提供對於體積或質量上為微型且適於經由顯微及匯聚處理之一對象物之觀察或互動操作，包含以下步驟：追蹤或偵測並解析一使用者之一操控動作以產生相對應之控制訊號，其中操控動作至少包含觸發一互動應用，且若互動應用至少包含對於對象物之一顯示模式之切換或一即時導引或分享之啟 閉，更包含：產生經透明化或實體化部分或全部之對象物及/或改變後至少一操作或特徵區域之狀態之瞬間影像、及/或經疊合與調用及/或顯示與互動應用及對象物相關聯之一介面、圖像、物件及/或資訊後之擴增實境影像；接收因應於操控動作或控制訊號所擷取包含至少對象物121及/或至少一操作或特徵區域之狀態之一瞬間影像，以及處理瞬間影像以產生至少一虛擬物件及包含虛擬物件之一擴增實境影像。其中，操控動作更包含：操作一使用者操控介面模組151、一模擬操作物件181、一手部182或對象物之手術或實驗實際器械進入或移出操作空間中、及/或接近、接觸、離開、操作、插置或固接部分或全部之對象物及/或改變至少一操作或特徵區域之狀態，以及調整一數位顯微模組之焦距、縮放倍率、移動距離、旋轉角度或光源參數之數值，如圖7之71~73所示。若互動應用係顯示模式之切換，更包含：切換顯示模式為一單一顯示模式、一並列式顯示模式或一陣列式顯示模式，以產生以單一、複數相同或相異之對象物同時顯示或排列之擴增實境影像，以及顯示擴增實境影像至一顯示模組，其中顯示模組係組配為頭戴式顯示器、立體視覺顯示器或平面顯示器。
由於本發明之系統、模組與方法等，也可以藉由程式碼或一韌體實施，因此本發明之儲存一程式碼或一韌體之機器可讀媒體，其中程式碼或韌體係經載入或組譯以控制或驅動本發明所述系統，或用以執行以實現所述本發明操作方法，因此前述實施例及相應圖式之說明應已充分揭露，且能提供獲得理解並據以實現，故在此不再贅述。惟在本發明儲存一程式碼或一韌體之機器可讀媒體之一實施例中，程式碼至少可包含一處理程式碼，係用以模擬或實現處理模組，以及數位顯微程式碼，係用以模擬 或實現數位顯微模組，並傳送瞬間影像資料至處理程式碼。
由於本發明也可以藉由電腦程式產品實施，因此本發明之電腦程式產品，係用以使用或安裝於前述系統，或用以執行如所述操作方法，因此前述實施例及相應圖式之說明應已充分揭露，且能提供獲得理解並據以實現，故在此不再贅述。惟在本發明之電腦程式產品之一實施例中，所述電腦程式產品可包含：一處理副程式，係用以模擬或實現處理模組；以及一數位顯微副程式，係接受處理副程式之呼叫及傳來之對應於控制訊號之參數，以模擬或實現數位顯微模組，並回傳瞬間影像資料至處理副程式。
由於本發明之單晶片(SOC)系統，係至少包含一處理模組以模擬所述系統之處理模組，或實現所述操作方法，因此應可由前述實施例及相應圖式之充分揭露、說明得到理解且能據以實現，在此不再贅述。
請參閱圖8A~8D，其係分別為根據本發明應用一影像穿透技術之物體顯微觀察與互動系統不同實施例之擴增實境影像示意圖。在此實施例中，所述物體顯微觀察與互動系統，係至少配置有前述擴增實境影像產生系統，或用以執行以實現如前述操作方法，對象物係選自適於顯微操作之微型生物、植物體、礦物、有機物、無機物、化學元素或化合物，例如本實施例中的對象物蝴蝶122~125，且影像穿透技術係藉由數位顯微模組擷取包含對象物及/或其中至少一操作或特徵區域821~823之狀態之瞬間影像，供處理模組處理以產生虛擬物件，例如請參閱圖8A圖最右圖上方所示選單符號及疊合於蝴蝶影像上的蝴蝶幼蟲虛擬物件、圖8B的選單、資訊、陣列顯示模式、快照、分享至社群等圖像或物件，疊合後可同步輸出至顯示模組以消除一對準錯誤及顯示延遲，且可增進使用或觀看者對於本實施 例中蝴蝶的生態過程的視覺化或動態化的豐富學習經驗。此外，如圖8C所示，對象物121及操作或特徵區域之狀態之瞬間影像被擷取後，在陣列顯示模式下，與對象物121相關的資訊(例如類似或相同或不同的生物學分類的蝴蝶，可以併存、顯示於操作平台上供觀察與操作)，選單亦可併予疊合產生與顯示或被暫時隱藏供後續調用執行。
另外，承上實施例並如圖8D所示，例如為標本或靜物的對象物121(在此例如蝴蝶)，可以依本發明，據以產生出擴增實境影像；詳言之，其係以擷取對象物之即時影像，作為3D動畫的貼圖素材，以使觀察者產生真實標本或靜物發生動態的錯覺，所以在時間軸由時間點或區間T1往T4之後推進時，可以連續呈現對象物121的狀態的動畫或影片，即在此係可示意為撲動翅膀或飛近或遠離觀看者致使尺寸變化等影像或動畫的呈現效果，也可以示意為依時間推進，待顯微觀察的微型生物可變為同種類或不同種類，故本發明係具有多元應用及饒富趣味與跨域學習助益。
請參閱圖9A、9B，其係分別為根據本發明應用一影像穿透技術之電子元件組裝訓練與檢測系統不同實施例之擴增實境影像示意圖。本發明所述電子元件組裝訓練與檢測系統，係至少配置有前述擴增實境影像產生系統，或用以執行以實現如前述之操作方法，對象物係可供使用者插置或固接電子元件之電路板、載體或電子裝置，且影像穿透技術係藉由數位顯微模組擷取包含對象物及/或其中至少一操作或特徵區域之狀態之瞬間影像，供處理模組處理以產生虛擬物件及疊合後同步輸出至顯示模組，以消除一對準錯誤及顯示延遲。其中，如圖9A所示，對象物在此為一顆IC，具有多個pin腳，各腳位可收發不同輸出入或控制訊號內容，因此，藉由本 發明實施例可知，與此IC相關的介面、圖像、資訊及選單可併予疊合產生與顯示在一虛擬實境影像上供使用者或觀看者操作或調用，無須另行或頻繁離開所述系統尋求所需參考資訊，以致被迫中斷觀察與學習進程。
承上所述，圖9B所示實施例中，對象物為可供插置或固接電子元件的電路板，所述數位顯微模組擷取包含對象物及/或其中至少一操作或特徵區域922~924之狀態之瞬間影像，即擷取了真實環境的電路板影像，以及操作或特徵區域922~924中的待插接或待焊固電子元件焊點/孔洞之狀態改變前後之影像後，所有的虛擬物件在使用者未開始實際插接電子元件前，都將全部呈現；然後，隨著使用者操控動作開始進行，將根據操作者由時間點或區間T1~T3的操控動作，分別獲得包含所有待插接到此電路板上的電阻、電容、IC等虛擬物件的例如電阻值或顏色的相關資訊與擴增實境影像、操作者手持IC接近操作或特徵區域923時，該區域虛擬物件會自動消失，此對照於此時仍然可見虛擬物件顯現於操作或特徵區域924中的擴增實境影像、以及實際組裝後的包含真實與虛擬物件的擴增實境影像，即可見其差異。在此一提，在本發明其他實施例中，所述系統尚可處理為了避免操作者觀看受阻或受限或實作上的干擾，由處理模組在偵測到操作者手部部分或逐漸出現在擷取影像或操作或特徵區域中的動作趨勢或擷取到相關影像時，可以產生與圖9B中T2不同的擴增實境影像，即例如因應所述手持IC接近操作或特徵區域923時的狀態前後變化，或以其他條件，作為暫時禁能機制，暫時移除、透明化或禁能該即時導引或分享之啟閉及所產生相對應之該擴增實境影像，或者相對應產生不疊加該虛擬物件之該擴增實境影像，以避免干擾該使用者之操作，即移除或透明化、禁能或關閉某些即時 導引或分享之啟閉功能及相關互動導引介面與資訊內容，使得操作者不會受到干擾，並且尚可依據本發明其他實施例中提供的評量或警示或分享模組與機制，因此不僅可滿足消除對準錯誤及延遲之需求，更可獲致客製化及資訊技術在輔助學習與工商業上應用的效益。
請參閱圖10A、10B，其係分別為根據本發明應用一影像穿透技術之顯微手術之教學或訓練系統不同實施例之擴增實境影像示意圖。在此實施例中，所述顯微手術之教學或訓練系統，係至少配置有前述之擴增實境影像產生系統，或用以執行以實現前述之操作方法，對象物係生物體微型且真實之一本體或一組織，或模擬用之一標本或一假體模型。在此實施例中，對象物係動物或人類之一眼部、腦部、皮膚或骨骼之本體、組織、標本或假體模型，且為眼部之本體、組織、標本或假體模型，所述顯微手術包括但不限於白內障、視網膜、黃斑部或眼角膜手術。在此實施例中，例如具有假眼1001，處理模組至少依據對象物假眼1001與操作或特徵區域1002(即眼珠週緣邊框加上眼睛上方的斑紋區塊)之狀態，產生可作為白內障手術撕囊標記或即時導引的虛擬物件1003，則操作者可以利用具有提示機制之探棒裝置或手術或實驗實際器械，例如撕囊鑷1004或剪刀、電燒器等，借助本發明所述系統依據疊合所產生的擴增實境影像進行撕囊之教學或訓練系統。
以上所述實施例僅為舉例，並非以此限制本發明實施之範圍；舉凡在不脫離本發明精神與範圍下所作之簡單或等效變化與修飾，皆應仍屬涵蓋於本發明專利之範圍。
1‧‧‧擴增實境影像產生系統
11‧‧‧電腦主機或可攜式電子裝置
121‧‧‧對象物
13‧‧‧定位模組
131‧‧‧操作平台
132‧‧‧數位顯微模組
133‧‧‧X軸
14‧‧‧單晶片微控制器介面模組
151、152‧‧‧使用者操控介面模組
16‧‧‧網路
171、172‧‧‧顯示模組
191、192‧‧‧擴增實境影像

Claims (28)

  1. 一種擴增實境影像產生系統，包含：一處理模組，係經組配以追蹤或偵測並解析一使用者之一操控動作以產生相對應之一控制訊號、接收因應於該操控動作或該控制訊號所擷取包含至少一對象物及/或其中至少一操作或特徵區域之狀態之一瞬間影像、處理該瞬間影像以產生至少一虛擬物件及疊合該虛擬物件之一擴增實境影像；其中，若該操控動作包含觸發一互動應用，且其中該互動應用至少包含對於該對象物之一顯示模式之切換或一即時導引或分享之啟閉，該處理模組更用以產生經透明化、實體化或動態化部分或全部之該對象物及/或改變後至少一該操作或特徵區域之狀態之該瞬間影像、及/或經疊合、調用及/或顯示與該互動應用及該對象物相關聯之一介面、圖像、物件、影片及/或資訊前、後之該擴增實境影像；以及一數位顯微模組，係經組配而至少包含複數攝影單元，用以根據該控制訊號擷取該瞬間影像，並傳送至該處理模組，其中，該對象物係體積或質量上適於經由顯微及匯聚處理以利觀察與互動操作之微型物體。
  2. 如申請專利範圍第1項之擴增實境影像產生系統，該數位顯微模組更包含：一匯聚模組，係經組配而更包含一匯聚控制器單元及一反射鏡單元，其中，該匯聚控制器單元因應於該控制訊號或一自動調整規則而調整該反射鏡單元與該些攝影單元擷取該瞬間影像之相對或幾何關係。
  3. 如申請專利範圍第2項之擴增實境影像產生系統，更包含：一光源模組，係經組配以提供向該對象物之中心點投射而反射至該反射鏡單元進行分光與折射至該些攝影單元之一光線，其中，該光線大致上不會在該對象物上產生陰影或遮蔽。
  4. 如申請專利範圍第1項之擴增實境影像產生系統，更包括：一單晶片微控制器介面模組，係經組配或耦接於該處理模組中或該處理模組與該數位顯微模組之間，以根據該控制訊號致動該數位顯微模組。
  5. 如申請專利範圍第1項之擴增實境影像產生系統，更包含：一顯示模組，係組配為頭戴式顯示器、立體視覺顯示器或平面顯示器以顯示該擴增實境影像，且係電性連接或配置於該處理模組所組配或耦接之一電腦主機或可攜式電子裝置，其中該電腦主機或可攜式電子裝置與該顯示模組，係經組配為近端、遠端或雲端之架構。
  6. 如申請專利範圍第5項之擴增實境影像產生系統，更包含：一操作平台，係經組配以供該使用者置放該對象物；以及一定位模組，係經組配以供該數位顯微模組結合，並因應於該控制訊號而於與該操作平台所界定之一操作空間中之至少一軸向雙向移動；其中，該操控動作係該使用者藉由一模擬操作物件、一手部或該對象物之一手術或實驗實際器械進入或移出該操作空間中、及/或接近、接觸、離開、操作、插置或固接部分或全部之該對象物及/或改變至少一該操作或特徵區域之狀態。
  7. 如申請專利範圍第1項之擴增實境影像產生系統，更包含：一使用者操控介面，係經組配或耦接於該處理模組，以供該使用者選擇或施用該操控動作，其中，該操控動作更包含：根據一暫時禁能機制暫時移除、透明化或禁能該即時導引或分享之啟閉及所產生相對應之該擴增實境影像，或者相對應產生不疊加該虛擬物件之該擴增實境影像，以避免干擾該使用者之操作。
  8. 如申請專利範圍第7項之擴增實境影像產生系統，該使用者操控介面模 組係一腳踏板裝置、一手動操控桿裝置、一手持或頭戴或穿戴輸出入介面裝置或一行動通訊裝置，且更組配有該數位顯微模組之一操作參數調整物件及/或一顯示模式切換物件。
  9. 如申請專利範圍第8項之擴增實境影像產生系統，該操作參數調整物件係經組配以供該使用者調整該數位顯微模組之焦距、縮放倍率、移動距離、旋轉角度或光源參數之數值。
  10. 如申請專利範圍第7項之擴增實境影像產生系統，該顯示模式切換物件係經組配以供該使用者選擇單一、複數相同或相異之該對象物同時顯示或排列之該擴增實境影像，且該顯示模式係選自一單一顯示模式、一並列式顯示模式及一陣列式(array)顯示模式所成群組其中之一。
  11. 如申請專利範圍第1項之擴增實境影像產生系統，該處理模組更用以對於該瞬間影像進行影像特徵追蹤、色彩偵測或動作偵測，以取得該虛擬物件或決定是否觸發或已觸發該互動應用。
  12. 如申請專利範圍第1項之擴增實境影像產生系統，更包含：一評量模組及/或一誤差警示模組，係經組配以於該處理模組所產生之該擴增實境影像符合或不符合一預設規範時，相應產生或輸出一評價結果、一未對準反應或該互動應用之一觸發操作提示。
  13. 如申請專利範圍第12項之擴增實境影像產生系統，更包含：一學習回饋或社群分享模組，係經組配以供該使用者儲存、編輯、傳輸或分享該擴增實境影像、該評價結果、該未對準反應或該觸發操作提示。
  14. 一種擴增實境影像產生方法，係用以提供對於體積或質量上為微型且適於經由顯微及匯聚處理之一對象物之觀察或互動操作，包含以下步驟：追蹤或偵測並解析一使用者之一操控動作以產生相對應之該控制訊 號，其中該操控動作至少包含觸發一互動應用，且若該互動應用至少包含對於該對象物之一顯示模式之切換或一即時導引或分享之啟閉，更包含：產生經透明化、實體化或動態化部分或全部之該對象物及/或改變後至少一該操作或特徵區域之狀態之該瞬間影像、及/或經疊合與調用及/或顯示與該互動應用及該對象物相關聯之一介面、圖像、物件、影片及/或資訊前、後之該擴增實境影像；接收因應於該操控動作或該控制訊號所擷取包含至少該對象物及/或至少一該操作或特徵區域之狀態之一瞬間影像；以及處理該瞬間影像以產生至少一虛擬物件及疊合該虛擬物件之一擴增實境影像。
  15. 如申請專利範圍第14項之操作方法，該操控動作更包含：操作一使用者操控介面模組、一模擬操作物件、一手部或該對象物之一手術或實驗實際器械進入或移出該操作空間中、及/或接近、接觸、離開、操作、插置或固接部分或全部之該對象物及/或改變至少一該操作或特徵區域之狀態；及/或根據一暫時禁能機制暫時移除、透明化或禁能該即時導引或分享之啟閉及所產生相對應之該擴增實境影像，或者相對應產生不疊加該虛擬物件之該擴增實境影像，以避免干擾該使用者之操作；以及調整一數位顯微模組之焦距、縮放倍率、移動距離、旋轉角度或光源參數之數值。
  16. 如申請專利範圍第14項之操作方法，若該互動應用係該顯示模式之切換，更包含：切換該顯示模式為一單一顯示模式、一並列式顯示模式或一陣列式 顯示模式，以產生以單一、複數相同或相異之該對象物同時顯示或排列之該擴增實境影像；以及顯示該擴增實境影像至一顯示模組，其中該顯示模組係組配為頭戴式顯示器、立體視覺顯示器或平面顯示器。
  17. 一種應用一影像穿透技術之顯微手術之教學或訓練系統，係至少配置有申請專利範圍第1至13項任一項所述之擴增實境影像產生系統，或用以執行以實現如申請專利範圍第14至16項任一項所述之操作方法，其中，該對象物係生物體微型且真實之一本體或一組織，或模擬用之一標本或一假體模型，且該影像穿透技術係藉由該數位顯微模組擷取包含該對象物及/或其中至少一操作或特徵區域之狀態之該瞬間影像，供該處理模組處理以產生該虛擬物件，疊合後同步輸出至該顯示模組以消除對準錯誤或降低延遲。
  18. 一種應用一影像穿透技術之電子元件組裝訓練與檢測系統，係至少配置有申請專利範圍第1至13項任一項所述之擴增實境影像產生系統，或用以執行以實現如申請專利範圍第14至16項任一項所述之操作方法，該對象物係可供該使用者插置或固接一電子元件之一電路板、一載體或一電子裝置，且該影像穿透技術係藉由該數位顯微模組擷取包含該對象物及/或其中至少一操作或特徵區域之狀態之該瞬間影像，供該處理模組處理以產生該虛擬物件，疊合後同步輸出至該顯示模組以消除對準錯誤或降低延遲。
  19. 一種應用一影像穿透技術之物體顯微觀察與互動系統，係至少配置有申請專利範圍第1至13項任一項所述之擴增實境影像產生系統，或用以執行以實現如申請專利範圍第14至16項任一項所述之操作方法，該對象物係選自適於顯微操作之微型生物、植物體、礦物、有機物、無機物、 化學元素或化合物，且該影像穿透技術係藉由該數位顯微模組擷取包含該對象物及/或其中至少一操作或特徵區域之狀態之該瞬間影像，供該處理模組處理以產生該虛擬物件及疊合後同步輸出至該顯示模組以消除對準錯誤或降低延遲。
  20. 如申請專利範圍第19項之物體顯微觀察與互動系統，若該操控動作包含觸發該互動應用時，該處理模組更用以產生至少包含經透明化或實體化或動態化部分或全部之該對象物之該瞬間影像及/或經疊合、調用及/或顯示與該互動應用及該對象物相關聯之一介面、圖像、物件、影片及/或資訊後之該擴增實境影像。
  21. 如申請專利範圍第19項之物體顯微觀察與互動系統，其中若該操控動作係包含該顯示模式之切換之觸發該互動應用時，該顯示模式為一單一顯示模式、一並列式顯示模式或一陣列式顯示模式，該處理模組更用以根據該使用者選擇之該單一顯示模式、該並列式顯示模式或該陣列式顯示模式，產生經透明化或實體化部分或全部之該對象物及/或經疊合、顯示與該對象物相關聯之一介面、圖像、物件及/或資訊前、後之該擴增實境影像，以產生以單一、複數相同或相異之該對象物同時顯示或排列之該擴增實境影像。
  22. 一種儲存一程式碼或一韌體之機器可讀媒體，其中該程式碼或該韌體係經載入或組譯以控制或驅動如申請專利範圍第1至13項任一項所述之系統，或用以執行以實現如申請專利範圍第14至16項任一項所述之操作方法，該程式碼至少包含：一處理程式碼，係用以模擬或實現該處理模組；以及一數位顯微程式碼，係用以模擬或實現該數位顯微模組，並傳送該瞬間影像資料至該處理程式碼。
  23. 一種電腦程式產品，係用以使用或安裝於申請專利範圍第1至13項任一項所述之系統，或用以執行如申請專利範圍第14至16項任一項所述之操作方法，包含：一處理副程式，係用以模擬或實現該處理模組；以及一數位顯微副程式，係接受該處理副程式之呼叫及傳來之對應於該控制訊號之參數，以模擬或實現該數位顯微模組，並回傳該瞬間影像資料至該處理副程式。
  24. 一種單晶片(SOC)系統，係至少包含一處理模組，以模擬如申請專利範圍第1至13項任一項所述之系統之該處理模組，或實現範圍第14至16項任一項所述之操作方法。
  25. 一種數位顯微模組，係用以耦接或電性連接於如申請專利範圍第1至13項所述之系統之該處理模組或其所組配、電性連接或耦接之該電腦主機或該可攜式電子裝置，或用以實現範圍第14至16項任一項所述之操作方法，該數位顯微模組至少包含該些攝影單元，以因應於該操控動作或根據該處理模組產生之該控制訊號擷取包含至少該對象物及/或其中至少一操作或特徵區域之狀態之該瞬間影像，傳送至該處理模組，其中，該對象物係體積或質量上適於經由顯微及匯聚處理以利觀察與互動操作之微型物體。
  26. 如申請專利範圍第25項之數位顯微模組，更包含：該匯聚模組、該定位模組、該使用者操控介面模組及/或該顯示模組。
  27. 如申請專利範圍第25項之數位顯微模組，該匯聚模組之至少一部分係一分光元件，以供該些攝影單元各自取得穿透、反射於該分光元件後之該對象物及/或該操作或特徵區域之狀態之該瞬間影像。
  28. 如申請專利範圍第25項之數位顯微模組，更包含： 一分光元件，係分離組配於該匯聚模組與該些攝影單元之間，以供該些攝影單元各自取得該匯聚模組反射後穿透、再反射於該分光元件之該對象物及/或該操作或特徵區域之狀態之該瞬間影像。
TW105104114A 2016-02-05 2016-02-05 擴增實境影像產生系統及其應用 TWI576787B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW105104114A TWI576787B (zh) 2016-02-05 2016-02-05 擴增實境影像產生系統及其應用
US15/420,122 US20170227754A1 (en) 2016-02-05 2017-01-31 Systems and applications for generating augmented reality images
US16/428,180 US10890751B2 (en) 2016-02-05 2019-05-31 Systems and applications for generating augmented reality images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105104114A TWI576787B (zh) 2016-02-05 2016-02-05 擴增實境影像產生系統及其應用

Publications (2)

Publication Number Publication Date
TWI576787B TWI576787B (zh) 2017-04-01
TW201729164A true TW201729164A (zh) 2017-08-16

Family

ID=59241128

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105104114A TWI576787B (zh) 2016-02-05 2016-02-05 擴增實境影像產生系統及其應用

Country Status (2)

Country Link
US (1) US20170227754A1 (zh)
TW (1) TWI576787B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109545003A (zh) * 2018-12-24 2019-03-29 北京卡路里信息技术有限公司 一种显示方法、装置、终端设备及存储介质
CN110197601A (zh) * 2019-04-24 2019-09-03 薄涛 混合现实眼镜、移动终端以及教学系统、方法和介质
TWI711016B (zh) * 2019-04-17 2020-11-21 亞東技術學院 具即時互動與記憶回饋的實境教學與測驗之系統

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016106993A1 (de) * 2016-04-15 2017-10-19 Carl Zeiss Microscopy Gmbh Steuer- und Konfiguriereinheit sowie Verfahren zum Steuern und Konfigurieren eines Mikroskops
CN108682352B (zh) * 2017-05-09 2021-03-23 苏州乐轩科技有限公司 混合现实组件及产生混合现实的方法
TWI671621B (zh) * 2017-05-24 2019-09-11 仁寶電腦工業股份有限公司 電子裝置與主機底座
CN107907987A (zh) * 2017-12-26 2018-04-13 深圳科创广泰技术有限公司 基于混合现实的3d显微镜
US11566993B2 (en) 2018-01-24 2023-01-31 University Of Connecticut Automated cell identification using shearing interferometry
US11269294B2 (en) 2018-02-15 2022-03-08 University Of Connecticut Portable common path shearing interferometry-based holographic microscopy system with augmented reality visualization
TWI687904B (zh) * 2018-02-22 2020-03-11 亞東技術學院 互動式訓練及檢測裝置
EP3561795B1 (en) * 2018-04-23 2023-04-05 Yu-Hsuan Huang Augmented reality training system
CN110610632A (zh) * 2018-06-15 2019-12-24 刘军 血管介入手术虚拟体内导航系统
WO2020036782A2 (en) 2018-08-10 2020-02-20 University Of Connecticut Methods and systems for object recognition in low illumination conditions
KR102091217B1 (ko) * 2018-12-12 2020-03-19 주식회사 하이쓰리디 모바일 증강현실 영상 편집 시스템
US11200691B2 (en) 2019-05-31 2021-12-14 University Of Connecticut System and method for optical sensing, visualization, and detection in turbid water using multi-dimensional integral imaging
CN110673325A (zh) * 2019-09-25 2020-01-10 腾讯科技（深圳）有限公司 显微镜系统、智能医疗设备、自动对焦方法和存储介质
CN111552076B (zh) * 2020-05-13 2022-05-06 歌尔科技有限公司 一种图像显示方法、ar眼镜及存储介质
US11357594B2 (en) 2020-08-07 2022-06-14 Johnson & Johnson Surgical Vision, Inc. Jig assembled on stereoscopic surgical microscope for applying augmented reality techniques to surgical procedures
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US20220104896A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Interactive information overlay on multiple surgical displays
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996013743A1 (de) * 1994-10-26 1996-05-09 Leica Ag Mikroskop, insbesondere operationsmikroskop
US6147797A (en) * 1998-01-20 2000-11-14 Ki Technology Co., Ltd. Image processing system for use with a microscope employing a digital camera
US6636354B1 (en) * 1999-12-29 2003-10-21 Intel Corporation Microscope device for a computer system
EP1408703A3 (en) * 2002-10-10 2004-10-13 Fuji Photo Optical Co., Ltd. Electronic stereoscopic imaging system
DE10332468B4 (de) * 2003-07-16 2005-05-25 Leica Microsystems Wetzlar Gmbh Mikroskop und Verfahren zur Bedienung eines Mikroskops
US20060028717A1 (en) * 2004-08-04 2006-02-09 Dunn Steven M Network memory microscope
US8390675B1 (en) * 2005-10-21 2013-03-05 Thomas Paul Riederer Stereoscopic camera and system
DE102008028482B4 (de) * 2008-06-13 2021-11-25 Carl Zeiss Meditec Ag Optisches Beobachtungsgerät mit Mehrkanal-Dateneinblendung und Verfahren zum Einblenden von elektronischen Einblendbildern in ein optisches Beobachtungsgerät
JP5259264B2 (ja) * 2008-06-16 2013-08-07 オリンパス株式会社 画像データ処理装置、該プログラム、及び該方法
FR2950274B1 (fr) * 2009-09-18 2011-09-02 Solystic Machine de tri postal avec un dispositif de recirculation d'articles comprenant une bande a tasseaux
WO2011125067A1 (en) * 2010-04-04 2011-10-13 Ram Srikanth Mirlay Dual objective 3-d stereomicroscope
WO2012007957A1 (en) * 2010-07-13 2012-01-19 Ram Srikanth Mirlay Variable three-dimensional camera assembly for still photography
US9418292B2 (en) * 2011-10-04 2016-08-16 Here Global B.V. Methods, apparatuses, and computer program products for restricting overlay of an augmentation
KR101197617B1 (ko) * 2012-02-27 2012-11-07 (주)코셈 증강 현실을 이용한 전자현미경 시스템
JP6024293B2 (ja) * 2012-08-28 2016-11-16 ソニー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
US9378407B2 (en) * 2012-09-11 2016-06-28 Neogenomics Laboratories, Inc. Automated fish reader using learning machines
US20150084990A1 (en) * 2013-04-07 2015-03-26 Laor Consulting Llc Augmented reality medical procedure aid
CN103340686B (zh) * 2013-07-01 2016-06-29 上海昌宁医疗科技有限公司 一种通用外科手术立体显微摄像演示装置
EP2919067B1 (en) * 2014-03-12 2017-10-18 Ram Srikanth Mirlay Multi-planar camera apparatus
TWM482797U (zh) * 2014-03-17 2014-07-21 ji-zhong Lin 能顯示三維影像的擴增實境系統
KR101476820B1 (ko) * 2014-04-07 2014-12-29 주식회사 썸텍 3ｄ 비디오 현미경 장치
GB201501157D0 (en) * 2015-01-23 2015-03-11 Scopis Gmbh Instrument guidance system for sinus surgery
GB201420352D0 (en) * 2014-11-17 2014-12-31 Vision Eng Stereoscopic viewing apparatus
WO2016130424A1 (en) * 2015-02-09 2016-08-18 The Arizona Board Of Regents Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
KR20160147452A (ko) * 2015-06-15 2016-12-23 한국전자통신연구원 디지털 광학 기기를 위한 가상현실 기반의 디지털 광학 컨텐츠 제공 방법 및 이를 이용한 장치
CN107710756B (zh) * 2015-06-24 2021-01-19 索尼奥林巴斯医疗解决方案公司 医用立体观察装置、医用立体观察方法以及程序
TWM528481U (zh) * 2016-02-05 2016-09-11 黃宇軒 擴增實境影像產生系統及其應用
IL251134B (en) * 2016-05-17 2018-03-29 Sheena Haim A system and method for monitoring and managing laboratory procedures
US11262572B2 (en) * 2016-06-21 2022-03-01 Mel Science Limited Augmented reality visual rendering device
CN109414168A (zh) * 2016-07-12 2019-03-01 诺华股份有限公司 手术显微镜中的光学和数字可视化
JP6824748B2 (ja) * 2017-01-05 2021-02-03 オリンパス株式会社 顕微鏡パラメータの設定方法および観察方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109545003A (zh) * 2018-12-24 2019-03-29 北京卡路里信息技术有限公司 一种显示方法、装置、终端设备及存储介质
TWI711016B (zh) * 2019-04-17 2020-11-21 亞東技術學院 具即時互動與記憶回饋的實境教學與測驗之系統
CN110197601A (zh) * 2019-04-24 2019-09-03 薄涛 混合现实眼镜、移动终端以及教学系统、方法和介质

Also Published As

Publication number Publication date
TWI576787B (zh) 2017-04-01
US20170227754A1 (en) 2017-08-10

Similar Documents

Publication Publication Date Title
TWI576787B (zh) 擴增實境影像產生系統及其應用
JP7411133B2 (ja) 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
EP3979050A1 (en) Sensory eyewear
US20130154913A1 (en) Systems and methods for a gaze and gesture interface
CN106125921B (zh) 3d映射环境中的凝视检测
US20140184550A1 (en) System and Method for Using Eye Gaze Information to Enhance Interactions
TWM528481U (zh) 擴增實境影像產生系統及其應用
US10890751B2 (en) Systems and applications for generating augmented reality images
Nilsson et al. Hands Free Interaction with Virtual Information in a Real Environment: Eye Gaze as an Interaction Tool in an Augmented Reality System.
Zhang et al. A hybrid 2D–3D tangible interface combining a smartphone and controller for virtual reality
Shin et al. Incorporating real-world object into virtual reality: using mobile device input with augmented virtuality
Hopf et al. Novel autostereoscopic single-user displays with user interaction
Kaswan et al. AI‐Based AR/VR Models in Biomedical Sustainable Industry 4.0
US20190064920A1 (en) Controlling and configuring unit and method for controlling and configuring a microscope
VanWaardhuizen et al. Table top augmented reality system for conceptual design and prototyping
Leithinger Grasping information and collaborating through shape displays
Kim Tangible user interface for CAVE based on augmented reality technique
신종규 Integration of Reality and Virtual Environment: Using Augmented Virtuality with Mobile Device Input
Pavlopoulou et al. A Mixed Reality application for Object detection with audiovisual feedback through MS HoloLenses
Müller Challenges in Information Representation with Augmented Reality for Procedural Task Support
WO2024039666A1 (en) Devices, methods, and graphical user interfaces for improving accessibility of interactions with three-dimensional environments
CN117043720A (zh) 用于与环境中的对象进行交互的方法
CN115705093A (zh) 知识域的可视化
Eschey Camera, AR and TUI based smart surfaces
Sharma Augmented tools with transparent displays