TWI731430B - 資訊顯示方法與資訊顯示系統 - Google Patents

資訊顯示方法與資訊顯示系統 Download PDF

Info

Publication number
TWI731430B
TWI731430B TW108136025A TW108136025A TWI731430B TW I731430 B TWI731430 B TW I731430B TW 108136025 A TW108136025 A TW 108136025A TW 108136025 A TW108136025 A TW 108136025A TW I731430 B TWI731430 B TW I731430B
Authority
TW
Taiwan
Prior art keywords
totem
image
image data
information
viewer
Prior art date
Application number
TW108136025A
Other languages
English (en)
Other versions
TW202115555A (zh
Inventor
張若蘭
王必先
張志嘉
林郁欣
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW108136025A priority Critical patent/TWI731430B/zh
Priority to US16/737,902 priority patent/US11467400B2/en
Priority to CN202010026195.2A priority patent/CN112614231A/zh
Publication of TW202115555A publication Critical patent/TW202115555A/zh
Application granted granted Critical
Publication of TWI731430B publication Critical patent/TWI731430B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種資訊顯示方法與資訊顯示系統。資訊顯示方法適用於包括第一影像擷取裝置與透明顯示器的資訊顯示系統,所述方法包括下列步驟。藉由第一影像擷取裝置拍攝呈現於實體物件上的圖騰而獲取圖騰影像,其中實體物件位於透明顯示器的一側。依據圖騰影像獲取透明顯示器與圖騰之間的相對位置資訊。依據相對位置資訊取得擴增影像資料。藉由透明顯示器顯示擴增影像資料,其中擴增影像資料包括基於實體物件而擴增的虛擬物件。

Description

資訊顯示方法與資訊顯示系統
本揭露是有關於一種資訊顯示方法與資訊顯示系統。
透明顯示器依其技術原理,可分為穿透式透明顯示器與投影式透明顯示器。透明顯示器具有透明、輕薄等特性,可將顯示器上顯示的虛擬影像與現實世界的場景結合,賦予使用者一種直觀且直覺的視覺體驗。透明顯示器可導入車用抬頭顯示器、自動販賣機、商品櫥窗、博物館展品導覽、觀光車輛導覽、醫療產業等應用中。觀看者不僅可透過透明顯示器觀看到實體物件,同時也可在透明顯示器上看到疊合在實體物件上或顯示在其周圍的虛擬資訊。藉由透明顯示器將虛擬資訊投射到現實世界中,可增加使用者對於周遭環境的認知與理解。
由於透明顯示器上顯示的虛擬資訊是基於實體物件而擴增,因而虛擬資訊與實體物件的疊合度將直接影響觀看者的觀看體驗。舉例而言,若透明顯示器將包括第一實體物件之相關資訊的虛擬資訊疊合顯示於第二實體物件的周圍或上方,將導致觀看者產生誤解。尤其是,在透明顯示器可動態移動的情況下,透明顯示器與實體物件之間的相對位置、旋轉幅度、傾斜角度等等幾何位置關係無法精準確認,因而導致虛擬資訊無法準確地顯示於適當位置,從而造成透明顯示器上所呈現的虛擬資訊難以與實體物件精準地疊合。
本揭露一實施例提供一種資訊顯示方法,適用於包括第一影像擷取裝置與透明顯示器的資訊顯示系統,所述方法包括下列步驟。藉由第一影像擷取裝置拍攝呈現於實體物件上的圖騰而獲取圖騰影像,其中實體物件位於透明顯示器的一側。依據圖騰影像獲取透明顯示器與圖騰之間的相對位置資訊。依據相對位置資訊取得擴增影像資料。藉由透明顯示器顯示擴增影像資料,其中擴增影像資料包括基於實體物件而擴增的虛擬物件。
本揭露一實施例提供一種資訊顯示系統,其包括至少一圖騰、透明顯示器、第一影像擷取裝置以及處理裝置。第一影像擷取裝置拍攝呈現於實體物件上的圖騰而獲取圖騰影像,其中實體物件位於透明顯示器的一側。處理裝置耦接透明顯示器與第一影像擷取裝置,處理裝置經配置以執行以下步驟:依據圖騰影像獲取透明顯示器與圖騰之間的相對位置資訊;依據相對位置資訊取得擴增影像資料;以及藉由透明顯示器顯示擴增影像資料,其中擴增影像資料包括基於實體物件而擴增的一虛擬物件。
為讓本揭露能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本揭露的部份實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本揭露的一部份,並未揭示所有本揭露的可實施方式。更確切的說,這些實施例只是本揭露中的資訊顯示方法以及資訊顯示系統的範例。
圖1是依照本揭露一實施例的資訊顯示系統的示意圖。請參照圖1,資訊顯示系統10包括至少一圖騰P1,透明顯示器110、第一影像擷取裝置120與處理裝置130。處理裝置130耦接透明顯示器110與第一影像擷取裝置120。
圖騰P1可印製於一可黏貼式載體上或顯示於一電子紙上,而呈現有圖騰P1的可黏貼式載體或電子紙可位於實體物件Obj_r1的一預設位置上。圖騰P1具有多個特徵點(例如角點C1),以利後續用於辨識圖騰P1與透明顯示器110之間的相對位置資訊。於本揭露一實施例中,圖騰P1可包括一個以上的一維條碼、二維條碼或其他可辨識圖樣,但本揭露對此不限制。
透明顯示器110是具有一定程度的光線穿透性的顯示器,人類使用者觀看時能夠呈現出顯示器相對於觀看者另一側的景物,例如是薄膜電晶體液晶顯示器(Thin film transistor liquid crystal display,TFT-LCD)、場色序(Field sequential color)顯示器、主動式有機發光顯示器(Active matrix organic light emitting display,AMOLED)、電濕潤顯示器等穿透式透明顯示器,或者是投影式透明顯示器。
第一影像擷取裝置120適於執行影像感測功能。於本揭露的一實施例中,第一影像擷取裝置120可包括鏡頭以及感光元件,用以朝呈現於實體物件Obj_r1上的圖騰P1拍攝圖騰影像。感光元件用以感測進入透鏡的光線強度,進而產生影像。感光元件可以例如是電荷耦合元件(charge coupled device,CCD)、互補性氧化金屬半導體(complementary metal-oxide semiconductor,CMOS)元件或其他元件,本揭露不在此設限。於本揭露一實施例中,第一影像擷取裝置120設置於透明顯示器110上,因而第一影像擷取裝置120於三維空間中的位置與拍攝方向將隨著透明顯示器110的移動而改變。
處理裝置130包括一個或多個處理器(以下以處理器131為代表進行說明)以及一個或多個儲存裝置(以下以儲存裝置132為代表進行說明)。處理裝置130可由電腦主機、伺服器或具有資料運算能力的計算機裝置來實現。此外,處理裝置130可由一台或多台電子裝置實現,本揭露對此不限制。
處理器131例如是中央處理單元(central processing unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(digital signal processor,DSP)、可程式化控制器、特殊應用積體電路(application specific integrated circuits,ASIC)、可程式化邏輯裝置(programmable logic device,PLD)或其他類似裝置或這些裝置的組合。處理器131用以執行儲存裝置132所記錄的指令或程式。
儲存裝置132可以是任何型態的固定式或可移動式隨機存取記憶體(random access memory,RAM)、唯讀記憶體(read-only memory,ROM)、快閃記憶體(flash memory)或類似元件或上述元件的組合。儲存裝置132用以儲存影像資料與可供處理器131存取並執行的程式或指令。
以下實施例中將搭配顯示系統10的各元件來說明資訊顯示方法系統與資訊顯示方法的實施細節。
圖2是依照本揭露一實施例的資訊顯示系統的情境示意圖。請參照圖2,於本揭露一實施例中,第一影像擷取裝置120可例如固定設置於透明顯示器110上側的中間,並用以朝透明顯示器110後方的實體物件Obj_r1進行影像感測功能,但本揭露不限制於此。於其他實施例中,第一影像擷取裝置120可設置於透明顯示器110的左側、右側或下側。此外,透明顯示器110設置於觀看者U1與實體物件Obj_r1之間。基此,觀看者U1可透過透明顯示器110觀看到實體物件Obj_r1,並可同時觀看到由透明顯示器110所顯示之包括虛擬物件Obj_v1的擴增影像資料。
如圖2所示,實體物件Obj_r1上呈現有至少一圖騰P1,第一影像擷取裝置120朝圖騰P1拍攝圖騰影像。在第一影像擷取裝置120擷取圖騰影像之後,處理裝置130可分析圖騰影像中的圖騰資訊來計算出圖騰P1與透明顯示器110之間的相對位置資訊,並依據相對位置資訊取得對應的擴增影像資料。
具體而言,隨著透明顯示器110的位置或擺放角度發生改變,圖騰P1與透明顯示器110之間的相對位置資訊將對應改變。對應的,響應於圖騰P1與透明顯示器110之間的相對位置資訊改變,透明顯示器110也將調整擴增影像資料中虛擬物件Obj_v1的顯示位置。換言之,透明顯示器110之顯示畫面中虛擬物件Obj_v1的顯示位置是依據圖騰P1與透明顯示器110之間的相對位置資訊而決定。藉此,觀看者U1觀看透明顯示器110時,透明顯示器110所顯示的虛擬物件Obj_v1可疊合於實體物件Obj_r1上,從而提昇觀看者的觀看體驗。
圖3是依照本揭露一實施例的資訊顯示方法的流程圖。圖3所述的方法流程可結合圖1所示的資訊顯示系統10來實現。請同時參照圖1、圖2及圖3。
於步驟S310,藉由第一影像擷取裝置120拍攝呈現於實體物件Obj_r1上的圖騰P1而獲取圖騰影像。如圖2所示,實體物件Obj_r1位於透明顯示器110後側,而觀看者U1位於透明顯示器110的前側。第一影像擷取裝置120的擷取方向朝向透明顯示器110的後側。於步驟S320,藉由處理裝置130依據圖騰影像獲取透明顯示器110與圖騰P1之間的相對位置資訊。於此,透明顯示器110與圖騰P1之間的相對位置資訊可包括距離資訊、角度資訊或座標資訊等等。
需特別說明的是,圖騰P1的實際尺寸可依據第一影像擷取裝置120的解析度而設計。圖騰P1可以貼附於實體物件Obj_r1上,圖騰P1的載體表面可能因而不平整,導致計算出具有誤差的相對位置資訊。若能縮小圖騰P1的實際尺寸,可降低圖騰P1的載體表面的變形程度,因而提昇相對位置資訊的計算準確度。然而,若圖騰P1的實際尺寸過小,也將導致圖騰影像中圖騰特徵不足而無法準確計算相對位置資訊。於本揭露的一實施例中,圖騰P1的實際尺寸可依據第一影像擷取裝置120的解析度而設計,以有效降低圖騰P1的載體表面的變形程度並避免圖騰特徵不足的狀況。
接著,於步驟S330,藉由處理裝置130依據相對位置資訊取得擴增影像資料。於此,處理裝置130可依據相對位置資訊運算出擴增影像資料,或者依據相對位置資訊自影像資料庫取出事前建立的擴增影像資料。進一步而言,透過依據相對位置資訊對一基礎影像進行幾何轉換,處理裝置130可獲取對應至不同相對位置資訊的擴增影像資料。上述幾何轉換可包括縮放處理、旋轉處理、平移處理、仿射轉換或其他幾何映射轉換等等。於步驟S340,藉由透明顯示器110顯示擴增影像資料。擴增影像資料包括基於實體物件Obj_r1而擴增的虛擬物件Obj_v1。由此可知,透明顯示器110所顯示的擴增影像資料是依據透明顯示器110與圖騰P1之間的相對位置資訊而決定的。
於一醫療應用情境中,實體物件Obj_r1可為一人體,而觀看者U1可為醫護人員。圖騰P1可例如是貼附於人體的預設部位上。透明顯示器110可顯示醫療相關資訊,像是器官資訊或手術資訊等等。在需要透明顯示器110提供人體的醫療相關資訊時,醫護人員可將透明顯示器110擺設於自身與實體物件Obj_r1之間,透過透明顯示器110同時觀看人體與基於此人體擴增的虛擬物件Obj_v1。在不需要透明顯示器110提供人體的醫療相關資訊時,醫護人員可將透明顯示器110移開。由此可見,醫護人員可能於臨床教學或手術過程中來回移動透明顯示器110。於本揭露一實施例中,處理裝置130可依據透明顯示器110與圖騰P1之間的相對位置資訊決定擴增影像資料,即便透明顯示器110動態移動,但基於人體擴增的虛擬物件Obj_v1依然可與人體疊合。舉例而言,假設虛擬物件Obj_v1為心臟圖資,即便透明顯示器110被來回移動,醫護人員還是可以看到透明顯示器110所顯示的心臟圖資疊合於人體的心臟部位處。
圖4是依照本揭露一實施例的資訊顯示方法的流程圖。圖4所述的方法流程可結合圖1所示的資訊顯示系統10來實現。於圖4的實施例中,相對位置資訊可包括圖騰P1於影像座標系的影像座標、圖騰P1相距第一影像擷取裝置120的深度值與圖騰P1的旋轉角度。
請同時參照圖1及圖4,於步驟S410,藉由第一影像擷取裝置120拍攝呈現於實體物件Obj_r1上的圖騰P1而獲取圖騰影像。需說明的是,於本揭露一實施例中,處理裝置130可對圖騰影像進行影像校正,以校正可能發生鏡頭變形的圖騰影像,致使處理裝置130可依據經校正的圖騰影像計算出更準確的相對位置資訊。於此,取得相對位置資訊的步驟S420可包括子步驟S421~S422。於步驟S421,藉由處理裝置130依據圖騰影像計算圖騰P1於影像座標系的影像座標與圖騰P1相距第一影像擷取裝置120的深度值。
具體而言,圖騰P1的實際尺寸資訊是已知的,透過比對圖騰P1於圖騰影像上的成像尺寸資訊與圖騰P1的實際尺寸資訊,處理裝置130可估測出圖騰P1與第一影像擷取裝置120之間的距離(即深度值)。圖騰P1的實際尺寸資訊與成像尺寸資訊可以是圖騰P1之某兩個影像特徵點之間的長度資訊,但本揭露不限制於此。於本揭露一實施例中,處理裝置130可依據第一影像擷取裝置120的內部參數(intrinsic parameter)、圖騰P1的實際尺寸資訊,以及圖騰P1於圖騰影像上的成像尺寸資訊來計算深度值。第一影像擷取裝置120的內部參數可包括第一影像擷取裝置120的焦距資訊,而第一影像擷取裝置120的內部參數可經由相機校正程序而獲取。
請參照圖5,圖5為依據本揭露一實施例的計算深度值的示意圖。基於相似三角形的原理,圖騰P1的實際尺寸資訊L1與深度值Z1之間的比例等比於圖騰P1的成像尺寸資訊L2與焦距資訊f1之間的比例。基此,在處理裝置130得知圖騰P1的實際尺寸資訊L1、焦距資訊f1與圖騰P1的成像尺寸資訊L2的情況下,處理裝置130可依據公式(1)取得圖騰P1相距於第一影像擷取裝置120的深度值Z1。 L2=f1*(L1/Z1)              公式(1)
於本揭露一實施例中,處理裝置130可直接依據圖騰P1於圖騰影像中的成像位置(例如特定圖騰特徵的像素座標)獲取圖騰P1於影像座標系的影像座標,即成像平面上的二維影像座標。或者,於本揭露一實施例中,處理裝置130可依據圖騰P1的世界座標與第一影像擷取裝置120的內部參數計算出圖騰P1於影像座標系的影像座標。詳細而言,在圖騰P1於世界座標系(world coordinate system)的世界座標已經藉由相機校正程序而標定為(X w,Y w,Z w)的情況下,處理裝置130可基於第一影像擷取裝置120的內部參數矩陣
Figure 02_image002
計算出圖騰P1投影於成像平面的二維影像座標。於一實施詳細而言,處理裝置130可依據公式(2)與公式(3)獲取圖騰P1投影於成像平面的影像座標(x,y)。 x=(f x*X w/Z w)+u 0公式(2) y=(f y*Y w/Z w)+v 0公式(3)
接著,於步驟S422,藉由處理裝置130依據圖騰影像計算圖騰P1的旋轉角度。圖騰P1的旋轉角度可視為呈現圖騰P1之載體表面的法線方向,而上述法線方向可由三軸旋轉角度量定義。於本揭露一實施例中,處理裝置130可依據圖騰P1的多個影像特徵點於圖騰影像上呈現的幾何關係計算出圖騰P1的旋轉角度。以圖騰P1為矩形為例,處理裝置130可依據圖騰P1的兩個實際邊長與對應的成像邊長計算出圖騰P1之表面的法線方向(即圖騰P1的旋轉角度)。
於本揭露一實施例中,處理裝置130則可依據第一影像擷取裝置120的相機參數計算出圖騰P1的旋轉角度。詳細而言,依據公式(4),處理裝置130可依據圖騰P1的世界座標(X w,Y w,Z w)、圖騰P1的影像座標(x,y),以及第一影像擷取裝置120的內部參數計算出第一影像擷取裝置120的外部參數矩陣。於此,圖騰P1的世界座標(X w,Y w,Z w)與第一影像擷取裝置120的內部參數可經由先前執行的相機校正程序而獲取。詳細而言,在圖騰P1於世界座標系的世界座標已經透過相機校正程序定位為(X w,Y w,Z w)的情況下,處理裝置130可基於第一影像擷取裝置120的內部參數矩陣與圖騰P的影像座標(x,y)計算出第一影像擷取裝置120的外部參數矩陣。於此,內部參數矩陣與外部參數矩陣用以描述影像座標系與世界座標系之間的轉換關係。
Figure 02_image004
公式(4) 其中,
Figure 02_image002
為第一影像擷取裝置120的內部參數矩陣,而
Figure 02_image006
=[R|t]為第一影像擷取裝置120的外部參數矩陣。外部參數矩陣包括旋轉矩陣(rotation matrix)R與平移向量(translation vector)t。第一影像擷取裝置120的外部參數矩陣可用以表示第一影像擷取裝置120於世界座標系中的位置與拍攝方向。
接著,處理裝置130可依據第一影像擷取裝置120的外部參數矩陣計算出旋轉角度。處理裝置130可基於公式(5)而依據外部參數矩陣中的旋轉矩陣R計算出三軸旋轉角度量(ϕ,θ,ψ),即圖騰P1的旋轉角度。其中,ϕ為對應於Z軸的旋轉角度量;θ為對應於Y軸的旋轉角度量;ψ為對應於X軸的旋轉角度量。
Figure 02_image008
公式(5)
在依據圖騰影像獲取相對位置資訊之後,於步驟S430,藉由處理裝置130依據影像座標、深度值與旋轉角度獲取擴增影像資料。由此可知,顯示的擴增影像資料是依據影像座標、深度值與旋轉角度對基礎影像資料進行幾何轉換而產生。於此,基礎影像資料對應至基準影像座標、基準深度值以及基準旋轉角度。擴增影像資料是依據基準影像座標與影像座標之間的座標差異、基準深度值與深度值之間的深度差異以及基準旋轉角度與旋轉角度之間的角度差異對基礎影像資料進行幾何轉換而產生。詳細而言,處理裝置130可依據座標差異對基礎影像資料進行平移處理;處理裝置130可依據深度差異對基礎影像資料進行縮放處理;處理裝置130可依據旋轉角度差異對基礎影像資料進行旋轉處理或仿射轉換。需說明的是,擴增影像資料可依據前述幾何轉換進行即時運算而即時產生。或者,擴增影像資料可依據前述幾何轉換進行事先運算而記錄於影像資料庫中。因此,處理裝置130可依據偵測的影像座標、深度值、旋轉角度自影像資料庫中挑選出對應的擴增影像資料。於步驟S440,藉由透明顯示器110顯示擴增影像資料於觀看者U1與實體物件Obj_r1之間。
於本揭露一實施例中,對基礎影像資料進行幾何轉換的操作可事先執行而建立一影像資料庫。也就是說,影像資料庫中儲存有對應至不同的預設影像座標、不同的預設深度值以及不同的預設旋轉角度的擴增影像資料。基此,處理裝置130可依據基於圖騰影像所產生之影像座標、深度值以及旋轉角度查詢影像資料庫而挑選出對應的擴增影像資料,以達到即時顯示的效果。以下將列舉實施例說明如何定義基礎影像所對應的基準影像座標、基準深度值以及基準旋轉角度以及如何建立可供處理裝置130進行即時查詢的影像資料庫。
圖6是依照本揭露一實施例的資訊顯示方法之相機校正程序的流程圖。圖6所述的方法流程可結合圖1所示的資訊顯示系統10來實現。請同時參照圖1與圖6。
首先,於步驟S610,藉由第一影像擷取裝置120拍攝呈現於實體物件Obj_r1上的圖騰P1而獲取校正圖騰影像。接著,於步驟S620,處理裝置130基於校正圖騰影像定義關聯於基礎影像資料的基準影像座標、基準深度值與基準旋轉角度。詳細而言,處理裝置130可依據如圖5所示的原理計算出圖騰P1與第一影像擷取裝置120之間的基準深度。此外,處理裝置130可分別定義基準影像座標與基準旋轉角度為對應的預設值。例如,處理裝置130可定義基準影像座標(x b,y b)為(0,0)並定義基準旋轉角度(ϕ bbb)為(0,0,0)。在定義基準影像座標(x b,y b)與基準旋轉角度(ϕ bbb)為預設值的情況下,處理裝置130可基於公式(4)標定圖騰P1的世界座標。
接著,於步驟S630,處理裝置130依據關聯於基礎影像資料的基準深度值、基準影像座標(x b,y b)與基準旋轉角度(ϕ bbb)建立影像資料庫。於此,處理裝置130可依據經定義的基準深度值、基準影像座標(x b,y b)與基準旋轉角度(ϕ bbb)以及多個預設深度值、多個預設影像座標、多個預設旋轉角度對基礎影像進行幾何變換而產生相對應的擴增影像資料,從而建立可供日後查詢的影像資料庫。如同前述,處理裝置130可依據多個預設深度值與基準深度值之間的深度差異、多個預設影像座標與基準影像座標之間的座標差異、多個預設旋轉角度與基準旋轉角度之間的角度差異建立記錄有多張預存擴增影像的影像資料庫。換言之,影像資料庫中的每張預存擴增影像可對應至預設深度值其中之一、預設影像座標其中之一以及多個預設旋轉角度其中之一。基此,處理裝置130可依據偵測的深度值、影像座標,以及旋轉角度而自預存擴增影像挑選出可與實體物件Obj_r1疊合的擴增影像資料。
於步驟S640,處理裝置130判斷基礎影像與實體物件Obj_r1之間的疊合程度是否符合特定條件。於本揭露一實施例中,第一影像擷取裝置120可朝實體物件拍攝一實體物件影像,處理裝置130對該實體物件影像進行影像辨識而找出需要疊合虛擬物件的疊合區域。接著,處理裝置130計算基礎影像中虛擬物件與實體物件影像之疊合區域之間的疊合程度百分比,並判斷此數值化的疊合程度百分比是否大於疊合門檻值。若步驟S640判斷為否,觀看者U1可調整透明顯示器110的擺放位置與擺放角度,並回到步驟S610而重新建立影像資料庫。若步驟S640判斷為是,處理器130結束相機校正程序。相機校正程序可執行於如圖3與圖4所示之流程之前。藉由執行相機校正程序,處理裝置130可獲取基礎影像所對應的基準影像座標、基準深度值、基準旋轉角度,並據以建立儲存有對應至不同的預設影像座標、不同的預設深度值以及不同的預設旋轉角度的預存擴增影像的影像資料庫。
於本揭露一實施例中,圖騰P1更可以包含虛擬物件資訊。基此,處理裝置130可依據圖騰影像辨識圖騰P1而獲取圖騰所對應之虛擬物件資訊,並依據虛擬物件資訊與相對位置資訊自影像資料庫選取擴增影像資料。舉例而言,假設圖騰P1為包括多個黑色方塊與白色方塊的二維條碼,圖騰P1為基於虛擬物件資訊進行編碼而產生。對應的,處理裝置130可分析圖騰P1並進行解碼而取得對應的虛擬物件資訊,致使透明顯示器110可顯示對應的擴增影像資料。虛擬物件資訊可以是物件名稱或物件ID等等。舉例而言,處理裝置130可辨識圖騰P1而獲得知圖騰P1所對應的虛擬物件資訊為「心臟」,處理裝置130可依據相對位置資訊與虛擬物件資訊自影像資料庫取得呈現有心臟資訊的擴增影像資料。由此可知,圖騰P1所夾帶的虛擬物件資訊可用以決定透明顯示器110所顯示的資訊內容。由此可知,若實體物件Obj_r1上的圖騰P1更換為另一圖騰,透明顯示器110將顯示另一圖騰所對應的虛擬物件。
值得一提的是,除了圖騰P1的圖騰特徵可用以決定顯示內容,於本揭露一實施例中,處理裝置130更可依據圖騰P1附著於實體物件Obj_r1上的附著位置來決定顯示內容。也就是說,處理裝置130可依據圖騰影像辨識圖騰P1的附著位置而獲取圖騰所對應之虛擬物件資訊,並依據虛擬物件資訊與相對位置資訊自影像資料庫選取擴增影像資料。舉例而言,當處理裝置130判斷P1附著於實體物件Obj_r1上的第一附著位置(例如鄰近第一對肋骨的地方)時,處理裝置130可依據第一附著位置所對應的虛擬物件資訊(例如「第一對肋骨」)挑選出擴增影像資料,而透明顯示器110也將顯示包括第一對肋骨的擴增影像資料。當處理裝置130判斷P1附著於實體物件Obj_r1上的第二附著位置(例如鄰近第五對肋骨的地方)時,處理裝置130可依據第二附著位置所對應的虛擬物件資訊(例如「第五對肋骨」)挑選出擴增影像資料,而透明顯示器110也將顯示包括第五對肋骨的擴增影像資料。
上述實施例是以一個圖騰為範例進行說明,但本揭露並不限制於此。於本揭露一實施例中,實體物件Obj_r1上也可呈現多個圖騰。以下列舉實施例說明。圖7是依照本揭露一實施例的資訊顯示系統的示意圖。請參照圖7,資訊顯示系統20包括第一圖騰P1_1與第二圖騰P1_2、透明顯示器110、第一影像擷取裝置120與處理裝置130。處理裝置130耦接透明顯示器110與第一影像擷取裝置120。透明顯示器110、第一影像擷取裝置120與處理裝置130的操作與功能相似於圖1實施例,於此不再贅述。需特別說明的是,資訊顯示系統20包括兩個圖騰(即第一圖騰P1_1與第二圖騰P1_2)。
圖8是依照本揭露一實施例的資訊顯示方法的流程圖。圖8所述的方法流程可結合圖7所示的資訊顯示系統20來實現。請同時參照圖7及圖8。
於步驟S810,藉由第一影像擷取裝置120拍攝呈現於實體物件Obj_r1上的第一圖騰P1_1與第二圖騰P1_2而獲取圖騰影像。於步驟S820,藉由處理裝置130依據圖騰影像獲取透明顯示器110與第一圖騰P1_1之間的第一相對位置資訊與透明顯示器110與第二圖騰P1_2之間的第二相對位置資訊。第一相對位置資訊與第二相對位置資訊的計算方式可如同前述說明,於此不再贅述。於步驟S830,藉由處理裝置130依據圖騰影像辨識第一圖騰P1_1與第二圖騰P1_2,以取得第一圖騰P1_1所對應之第一虛擬物件資訊與第二圖騰P1_2所對應之第二虛擬物件資訊。舉例而言,第一虛擬物件資訊可為「心臟」,而第二虛擬物件資訊可為「胃」。
於步驟S840,藉由處理裝置130依據第一虛擬物件資訊與關聯於第一圖騰P1_1的第一相對位置資訊自影像資料庫選取第一子擴增影像資料。於步驟S850,藉由處理裝置130依據第二虛擬物件資訊與關聯於第二圖騰P1_2的第二相對位置資訊自影像資料庫選取第二子擴增影像資料。具體而言,於本揭露一實施例中,影像資料庫具有分別對應至不同的多個虛擬物件的子分類資料庫。因此,當處理裝置130取得第一圖騰P1_1所對應之第一虛擬物件資訊時,處理裝置130可依據基於第一圖騰P1_1的相對位置資訊而自關聯於第一虛擬物件的第一子分類資料庫挑選出第一子擴增影像資料。當處理裝置130取得第二圖騰P1_2所對應之第二虛擬物件資訊時,處理裝置130可依據基於第二圖騰P1_1的相對位置資訊而自關聯於第二虛擬物件的第二子分類資料庫挑選出第二子擴增影像資料。接著,於步驟S860,藉由透明顯示器110顯示第一子擴增影像資料或/與第二子擴增影像資料。
圖9A至9C是依照本揭露一實施例的資訊顯示系統的情境示意圖。請先參照圖9A,假設實體物件Obj_r1上僅呈現有第一圖騰P1_1,處理裝置130將計算第一圖騰P1_1與透明顯示器110之間的相對位置關係,並辨識第一圖騰P1_1所對應的第一虛擬物件資訊為「心臟」。於是,透明顯示器110將顯示具有心臟資訊的第一子擴增影像資料。具體而言,透明顯示器110將顯示基於實體物件Obj_r1而擴增的第一虛擬物件Obj_v11(即心臟影像),且觀看者可以經由透明顯示器110看到第一虛擬物件Obj_v11疊合於實體物件Obj_r1上。
請再參照圖9B,假設實體物件Obj_r1上僅呈現有第二圖騰P1_2,則處理裝置130將計算第二圖騰P1_2與透明顯示器110之間的相對位置關係,並辨識第二圖騰P1_2所對應的第二虛擬物件資訊為「胃」。於是,透明顯示器110將顯示具有胃資訊的第二子擴增影像資料。具體而言,透明顯示器110將顯示基於實體物件Obj_r1而擴增的第二虛擬物件Obj_v12(即胃影像),且觀看者可以經由透明顯示器110看到第二虛擬物件Obj_v12疊合於實體物件Obj_r1上。
請再參照圖9C,假設實體物件Obj_r1上同時呈現有第一圖騰P1_1與第二圖騰P1_2,則處理裝置130將分別計算第二圖騰P1_2與透明顯示器110之間的第二相對位置關係以及第一圖騰P1_1與透明顯示器110之間的第一相對位置關係。處理裝置130更辨識第一圖騰P1_1所對應的第一虛擬物件資訊為「心臟」,且辨識第二圖騰P1_2所對應的第二虛擬物件資訊為「胃」。於是,處理裝置130疊合第一子擴增影像資料與第二子擴增影像資料產生疊合擴增影像資料。透明顯示器110將顯示具有心臟資訊與胃資訊的疊合擴增影像資料。具體而言,透明顯示器110將同時顯示基於實體物件Obj_r1而擴增的第一虛擬物件Obj_v11(即心臟影像)以及第二虛擬物件Obj_v12(即胃影像),且觀看者可以經由透明顯示器110看到第一虛擬物件Obj_v11與第二虛擬物件Obj_v12疊合於實體物件Obj_r1上。
值得一提的是,於本揭露一實施例中,透明顯示器所顯示的擴增影像內容或是否顯示擴增影像資料是可依據觀看者的視線與觀看者身上的識別資訊而決定。以下將列舉實施例以說明之。
圖10是依照本揭露一實施例的資訊顯示系統的示意圖。請參照圖10,資訊顯示系統30包括第一圖騰P1_1與第二圖騰P1_2、觀看者圖騰P2_1、觀看者圖騰P2_2、透明顯示器110、第一影像擷取裝置120、第二影像擷取裝置140與處理裝置130。處理裝置130耦接透明顯示器110、第一影像擷取裝置120與第二影像擷取裝置140。第一圖騰P1_1、第二圖騰P1_2、透明顯示器110、第一影像擷取裝置120與處理裝置130的操作與功能相似於圖1與圖7之實施例,於此不再贅述。需特別說明的是,資訊顯示系統30包括兩個影像擷取裝置(即第一影像擷取裝置120與第二影像擷取裝置140)。
觀看者圖騰P2_1與觀看者圖騰P2_2可分別位於觀看者U1與觀看者U2身上。觀看者圖騰P2_1與觀看者圖騰P2_2可包括一維條碼、二維條碼或其他可辨識圖樣。觀看者圖騰P2_1與觀看者圖騰P2_2可分別作為觀看者U1與觀看者U2的識別資訊。換言之,觀看者圖騰P2_1包括觀看者U1的觀看者資訊,而觀看者圖騰P2_2包括觀看者U2的觀看者資訊。
第二影像擷取裝置140適於執行影像感測功能。第二影像擷取裝置140可包括鏡頭以及感光元件,用以朝透明顯示器110的觀看者U1拍攝觀看者影像。於本揭露一實施例中,第一影像擷取裝置120係拍攝位於透明顯示器110後方的景物(可包括實體物件Obj_r1、第一圖騰P1_1、第二圖騰P1_2),而第二影像擷取裝置140係拍攝位於透明顯示器110前方的景物(可包括觀看者U1或/與觀看者U2)。
圖11是依照本揭露一實施例的資訊顯示方法的流程圖。圖11所述的方法流程可結合圖10所示的資訊顯示系統30來實現。請同時參照圖10及圖11。
於步驟S1110,藉由第一影像擷取裝置120拍攝呈現於實體物件Obj_r1上的第一圖騰P1_1與第二圖騰P1_2而獲取圖騰影像。於步驟S1120,藉由處理裝置130依據圖騰影像獲取透明顯示器110與第一圖騰P1_1之間的第一相對位置資訊與透明顯示器110與第二圖騰P1_2之間的第二相對位置資訊。第一相對位置資訊與第二相對位置資訊的計算方式可如同前述說明,於此不再贅述。於步驟S1130,藉由處理裝置130依據圖騰影像辨識第一圖騰P1_1與第二圖騰P1_2,以取得第一圖騰P1_1所對應之第一虛擬物件資訊與第二圖騰P1_2所對應之第二虛擬物件資訊。於步驟S1140,藉由第二影像擷取裝置140拍攝呈現於觀看者U1上的觀看者圖騰P2_1而獲取觀看者影像。於步驟S1150,藉由處理裝置130依據觀看者影像辨識觀看者圖騰P2_1而獲取觀看者圖騰P2_1所對應的觀看者資訊,觀看者資訊例如為觀看者ID等等。
於步驟S1160,藉由處理裝置130依據觀看者資訊、第一虛擬物件資訊與第二虛擬物件資訊判斷觀看者圖騰P2_1是否匹配於第一圖騰P1_1或第二圖騰P1_2而產生匹配結果。於步驟S1170,藉由處理裝置130依據匹配結果決定是否顯示第一子擴增影像資料與第二子擴增影像資料。具體而言,依據觀看者資訊、第一虛擬物件資訊與第二虛擬物件資訊,處理裝置130可判斷觀看者U1是否具備觀看具有第一虛擬物件資訊之第一虛擬物件與具有第二虛擬物件資訊之第二虛擬物件的權限,從而判斷觀看者圖騰P2_1是否匹配於第一圖騰P1_1及/或第二圖騰P1_2。
換句話說,若觀看者圖騰P2_1匹配於第一圖騰P1_1,代表觀看者U1具備觀看具有第一虛擬物件資訊之第一虛擬物件的權限,因而處理裝置130依據匹配結果決定顯示關聯於第一圖騰P1_1且包括第一虛擬物件的第一子擴增影像資料。此外,若觀看者圖騰P2_1匹配於第二圖騰P1_2,代表觀看者U1具備觀看具有第二虛擬物件資訊之第二虛擬物件的權限,因而處理裝置130依據匹配結果決定顯示關聯於第二圖騰P1_2且包括第二虛擬物件的第二子擴增影像資料。
上述實施例係以透明顯示器110介於觀看者U1與實體物件Obj_r1之間而以觀看者圖騰P2_1的匹配為範例進行說明。然而,當透明顯示器110介於觀看者U2與實體物件Obj_r1之間時步驟S1140~步驟S1170同樣可針對觀看者U2與其觀看者圖騰P2_2而執行。由此可知,在多觀看者使用透明顯示器110的情境中,透明顯示器110的顯示內容可依據正在使用透明顯示器110的當前觀看者而決定。當透明顯示器110自觀察者U1的面前移動至觀察者U2的面前,透明顯示器110不僅可依據相對位置資訊使當前顯示的虛擬物件可疊合於實體物件上,更可依據透明顯示器110前方的當前觀看者決定顯示哪些虛擬物件。
圖12是依照本揭露一實施例的資訊顯示方法的流程圖。圖12所述的方法流程可結合圖10所示的資訊顯示系統30來實現。請同時參照圖10及圖12。
於步驟S1210,藉由第一影像擷取裝置120拍攝呈現於實體物件Obj_r1上的第一圖騰P1_1與第二圖騰P1_2而獲取圖騰影像。於步驟S1220,藉由處理裝置130依據圖騰影像獲取透明顯示器110與第一圖騰P1_1之間的第一相對位置資訊與透明顯示器110與第二圖騰P1_2之間的第二相對位置資訊。第一相對位置資訊與第二相對位置資訊的計算方式可如同前述說明,於此不再贅述。於步驟S1230,藉由處理裝置130依據圖騰影像辨識第一圖騰P1_1與第二圖騰P1_2,以取得第一圖騰P1_1所對應之第一虛擬物件資訊與該第二圖騰P1_2所對應之第二虛擬物件資訊。於步驟S1240,藉由第二影像擷取裝置140拍攝呈現於觀看者U1上的觀看者圖騰P2_1而獲取觀看者影像。
於步驟S1250,藉由處理裝置130依據觀看者影像預估觀看者U1的視線向量。具體而言,處理裝置130可依據觀看者影像中的眼部資訊、臉部資訊與頭部姿態資訊等等預估觀看者U1的視線向量。於步驟S1260,藉由處理裝置130依據視線向量決定是否顯示擴增影像資料。於本揭露一實施例中,處理裝置130可判斷視線向量的延伸是否可穿越透明顯示器110的顯示平面,以決定是否顯示擴增影像資料。
於本揭露一實施例中,處理裝置130可判斷視線向量是否可匹配於第一圖騰P1_1的法線方向或第二圖騰P1_2的法線方向。具體而言,當觀看者U1看向第一圖騰P1_1或其鄰近區域時,第一圖騰P1_1的法線方向將大致上相反於觀看者U1的視線向量的方向。基此,處理裝置130可依據第一圖騰P1_1的法線方向的三軸旋轉角度與視線向量的三軸旋轉角度判斷視線向量是否可匹配於第一圖騰P1_1的法線方向。若視線向量可匹配於第一圖騰P1_1的法線方向,處理裝置130將決定顯示關聯於第一圖騰P1_1的第一子擴增資料。若視線向量可匹配於第二圖騰P1_2的法線方向,處理裝置130將決定顯示關聯於第二圖騰P1_2的第二子擴增資料。第一圖騰P1_1的法線方向可為前述實施例之第一圖騰P1_1與透明顯示器110之間的相對位置資訊中的旋轉角度。
圖13A與13B是依照本揭露一實施例的依據視線向量決定顯示內容的情境示意圖。請先參照圖13A,當處理裝置130判斷第一圖騰P1_1的法線方向D1匹配於視線向量E1,處理裝置130控制透明顯示器110顯示關聯於第一圖騰P1_1的第一虛擬物件Obj_v11,且包括第一虛擬物件Obj_v11的擴增影像資料是依據透明顯示器110與第一圖騰P1_1之間的相對位置資訊而取得。請再參照圖13B,假設觀察者U1改變觀看方向,視線向量E1改變為視線向量E2。當處理裝置130判斷第二圖騰P1_2的法線方向D2匹配於視線向量E2,處理裝置130控制透明顯示器110顯示關聯於第二圖騰P1_2的第二虛擬物件Obj_v12,且包括第一虛擬物件Obj_v12的擴增影像資料是依據透明顯示器110與第二圖騰P1_2之間的相對位置資訊而取得。
需特別說明的是,圖10、圖11與圖12係以第一影像擷取裝置120朝第一圖騰P1_1與第二圖騰P1_2擷取圖騰影像且第二影像擷取裝置140朝觀看者U1、U2擷取觀看者影像進行說明。亦即,前述實施例係以不同的影像擷取裝置朝透明顯示器110的兩側分別擷取圖騰影像與觀看者影像為實施方式進行說明,然而,本揭露並不限制於此。於本揭露的一實施例中,可透過可翻轉式影像擷取裝置朝透明顯示器110的兩側分別擷取圖騰影像與觀看者影像。詳細而言,於本揭露的一實施例中,第一影像擷取裝置120具有可翻轉功能,第一影像擷取裝置120的鏡頭可經由翻轉180度而朝透明顯示器110的兩側擷取圖騰影像與觀看者影像。
於本揭露實施例中,可根據位於實體物件上的圖騰的深度值、影像座標以及旋轉角度決定透明顯示器所顯示的擴增影像資料。藉此,當觀看者觀看透明顯示器時,即便透明顯示器動態移動,但透明顯示器上的虛擬物件與透明顯示器後方的實體物件可達到良好的疊合,以達成舒適的觀看體驗。
雖然本揭露已以實施例揭露如上,然其並非用以限定本揭露,任何所屬技術領域中具有通常知識者,在不脫離本揭露的精神和範圍內,當可作些許的更動與潤飾,故本揭露的保護範圍當視後附的申請專利範圍及其均等範圍所界定者為準。
10、20、30:資訊顯示系統 110:透明顯示器 120:第一影像擷取裝置 130:處理裝置 131:處理器 132:儲存裝置 P1:圖騰 C1:角點 Obj_v1:虛擬物件 Obj_r1:實體物件 U1、U2:觀看者 P1_1:第一圖騰 P1_2:第二圖騰 Obj_v11:第一虛擬物件 Obj_v12:第二虛擬物件 140:第二影像擷取裝置 P2_1、P2_2:觀看者圖騰 D1、D2:法線方向 E1、E2:視線向量 S310~S340、S410~S440、S610~S640、S810~S860、S1110~S1170、S1210~S1260:步驟
圖1是依照本揭露一實施例的資訊顯示系統的示意圖。 圖2是依照本揭露一實施例的資訊顯示系統的情境示意圖。 圖3是依照本揭露一實施例的資訊顯示方法的流程圖。 圖4是依照本揭露一實施例的資訊顯示方法的流程圖。 圖5為依據本揭露一實施例的計算深度值的示意圖。 圖6是依照本揭露一實施例的資訊顯示方法之相機校正程序的流程圖。 圖7是依照本揭露一實施例的資訊顯示系統的示意圖。 圖8是依照本揭露一實施例的種資訊顯示方法的流程圖。 圖9A至9C是依照本揭露一實施例的資訊顯示系統的情境示意圖。 圖10是依照本揭露一實施例的資訊顯示系統的示意圖。 圖11是依照本揭露一實施例的資訊顯示方法的流程圖。 圖12是依照本揭露一實施例的資訊顯示方法的流程圖。 圖13A與13B是依照本揭露一實施例的依據視線向量決定顯示內容的情境示意圖。
S310~S340:步驟

Claims (20)

  1. 一種資訊顯示方法,適用於包括一第一影像擷取裝置與一透明顯示器的一資訊顯示系統,所述方法包括:藉由該第一影像擷取裝置拍攝呈現於一實體物件上的至少一圖騰而獲取一圖騰影像,其中該實體物件位於該透明顯示器的一側;依據該圖騰影像辨識該至少一圖騰而獲取該至少一圖騰所對應之虛擬物件資訊;依據該圖騰影像獲取該透明顯示器與該至少一圖騰之間的相對位置資訊;依據該虛擬物件資訊與該相對位置資訊取得一擴增影像資料;以及藉由該透明顯示器顯示該擴增影像資料,其中該擴增影像資料包括基於該實體物件而擴增的一虛擬物件。
  2. 如申請專利範圍第1項所述之資訊顯示方法,其中依據該圖騰影像獲取該透明顯示器與該至少一圖騰之間的相對位置資訊的步驟包括:依據該圖騰影像計算該至少一圖騰於影像座標系的影像座標與該至少一圖騰相距該第一影像擷取裝置的一深度值;以及依據該圖騰影像計算該至少一圖騰的旋轉角度,其中該相對位置資訊包括該影像座標、該深度值與該旋轉角度。
  3. 如申請專利範圍第2項所述之資訊顯示方法,其中依據該圖騰影像計算該至少一圖騰於該影像座標系的該影像座標與該至少一圖騰相距該第一影像擷取裝置的該深度值的步驟包括:依據該第一影像擷取裝置的內部參數、該至少一圖騰的實際尺寸資訊,以及該至少一圖騰於該圖騰影像上的成像尺寸資訊來計算該深度值;以及依據該至少一圖騰的世界座標與該第一影像擷取裝置的內部參數計算出該至少一圖騰於該影像座標系的該影像座標,其中依據該圖騰影像計算該至少一圖騰的該旋轉角度的步驟包括:依據該至少一圖騰的該世界座標、該影像座標,以及該第一影像擷取裝置的內部參數計算出該第一影像擷取裝置的外部參數矩陣;以及依據該外部參數矩陣計算出該旋轉角度。
  4. 如申請專利範圍第2項所述之資訊顯示方法,其中依據該相對位置資訊取得該擴增影像資料的步驟包括:依據該影像座標、該深度值與該旋轉角度獲取該擴增影像資料,其中該擴增影像資料是依據該影像座標、該深度值與該旋轉角度對一基礎影像資料進行幾何轉換而產生;以及藉由該透明顯示器顯示該擴增影像資料於一觀看者與該實體物件之間,其中該觀看者位於該透明顯示器的另一側。
  5. 如申請專利範圍第4項所述之資訊顯示方法,其中在藉由該第一影像擷取裝置拍攝呈現於該實體物件上的該至少一圖騰而獲取該圖騰影像的步驟之前,所述方法更包括:藉由該第一影像擷取裝置拍攝呈現於該實體物件上的該至少一圖騰而獲取一校正圖騰影像;以及基於該校正圖騰影像定義關聯於該基礎影像資料的一基準影像座標、一基準深度值與一基準旋轉角度,其中該擴增影像資料是依據該基準影像座標與該影像座標之間的座標差異、該基準深度值與該深度值之間的深度差異,以及該基準旋轉角度與該旋轉角度之間的角度差異對該基礎影像資料進行幾何轉換而產生。
  6. 如申請專利範圍第1項所述之資訊顯示方法,所述方法更包括:依據該虛擬物件資訊與該相對位置資訊自一影像資料庫選取該擴增影像資料。
  7. 如申請專利範圍第6項所述之資訊顯示方法,其中該至少一圖騰包括第一圖騰與第二圖騰,而依據該圖騰影像辨識該至少一圖騰而獲取該圖騰所對應之該虛擬物件資訊的步驟包括:依據該圖騰影像辨識該第一圖騰與該第二圖騰,以取得該第一圖騰所對應之第一虛擬物件資訊與該第二圖騰所對應之第二虛擬物件資訊, 其中依據該相對位置資訊取得該擴增影像資料的步驟更包括:依據該第一虛擬物件資訊與關聯於該第一圖騰的第一相對位置資訊自該影像資料庫選取第一子擴增影像資料;以及依據該第二虛擬物件資訊與關聯於該第二圖騰的第二相對位置資訊自該影像資料庫選取第二子擴增影像資料。
  8. 如申請專利範圍第7項所述之資訊顯示方法,其中藉由該透明顯示器顯示該擴增影像資料的步驟包括:疊合該第一子擴增影像資料與該第二子擴增影像資料產生疊合擴增影像資料,並藉由該透明顯示器顯示該疊合擴增影像資料。
  9. 如申請專利範圍第6項所述之資訊顯示方法,其中該資訊顯示系統更包括一第二影像擷取裝置,而所述方法更包括:藉由該第二影像擷取裝置拍攝呈現於一觀看者上的觀看者圖騰而獲取一觀看者影像;依據該觀看者影像辨識該觀看者圖騰而獲取該觀看者圖騰所對應的觀看者資訊;依據該觀看者資訊、該第一虛擬物件資訊與該第二虛擬物件資訊判斷該觀看者圖騰是否匹配於該第一圖騰或該第二圖騰而產生一匹配結果,其中藉由該透明顯示器顯示該擴增影像資料的步驟包括:依據該匹配結果決定是否顯示該第一子擴增影像資料與該第二子擴增影像資料。
  10. 如申請專利範圍第1項所述之資訊顯示方法,其中該資訊顯示系統更包括一第二影像擷取裝置,而所述方法更包括:藉由該第二影像擷取裝置拍攝一觀看者而獲取一觀看者影像;以及依據該觀看者影像預估該觀看者的視線向量,其中藉由該透明顯示器顯示該擴增影像資料的步驟包括:依據該視線向量決定是否顯示該擴增影像資料。
  11. 一種資訊顯示系統,包括:至少一圖騰,呈現於一實體物件上;一透明顯示器;一第一影像擷取裝置,拍攝呈現於該實體物件上的該至少一圖騰而獲取一圖騰影像,其中該實體物件位於該透明顯示器的一側;以及一處理裝置,耦接該透明顯示器與該第一影像擷取裝置,該處理裝置經配置以執行以下步驟:依據該圖騰影像辨識該至少一圖騰而獲取該至少一圖騰所對應之虛擬物件資訊;依據該圖騰影像獲取該透明顯示器與該至少一圖騰之間的相對位置資訊;依據該虛擬物件資訊與該相對位置資訊取得一擴增影像資料;以及 藉由該透明顯示器顯示該擴增影像資料,其中該擴增影像資料包括基於該實體物件而擴增的一虛擬物件。
  12. 如申請專利範圍第11項所述之資訊顯示系統,其中該處理裝置經配置以執行以下步驟:依據該圖騰影像計算該至少一圖騰於影像座標系的影像座標與該至少一圖騰相距該第一影像擷取裝置的一深度值;以及依據該圖騰影像計算該至少一圖騰的旋轉角度,其中該相對位置資訊包括該影像座標、該深度值與該旋轉角度。
  13. 如申請專利範圍第12項所述之資訊顯示系統,其中該處理裝置經配置以執行以下步驟:依據該第一影像擷取裝置的內部參數、該至少一圖騰的實際尺寸資訊,以及該至少一圖騰於該圖騰影像上的成像尺寸資訊來計算該深度值;依據該至少一圖騰的世界座標與該第一影像擷取裝置的內部參數計算出該至少一圖騰於該影像座標系的該影像座標;依據該至少一圖騰的該世界座標、該影像座標,以及該第一影像擷取裝置的內部參數計算出該第一影像擷取裝置的外部參數矩陣;以及依據該外部參數矩陣計算出該旋轉角度。
  14. 如申請專利範圍第11項所述之資訊顯示系統,其中該處理裝置經配置以執行以下步驟: 依據該影像座標、該深度值與該旋轉角度獲取該擴增影像資料,其中該擴增影像資料是依據該影像座標、該深度值與該旋轉角度對一基礎影像資料進行幾何轉換而產生,其中該透明顯示器顯示該擴增影像資料於一觀看者與該實體物件之間,其中該觀看者位於該透明顯示器的另一側。
  15. 如申請專利範圍第14項所述之資訊顯示系統,其中該處理裝置經配置以執行以下步驟:藉由該第一影像擷取裝置拍攝呈現於該實體物件上的該至少一圖騰而獲取一校正圖騰影像;以及基於該校正圖騰影像定義關聯於該基礎影像資料的一基準影像座標、一基準深度值與一基準旋轉角度,其中該擴增影像資料是依據該基準影像座標與該影像座標之間的座標差異、該基準深度值與該深度值之間的深度差異,以及該基準旋轉角度與該旋轉角度之間的角度差異對該基礎影像資料進行幾何轉換而產生。
  16. 如申請專利範圍第11項所述之資訊顯示系統,其中該處理裝置經配置以執行以下步驟:依據該虛擬物件資訊與該相對位置資訊自一影像資料庫選取該擴增影像資料。
  17. 如申請專利範圍第16項所述之資訊顯示系統,其中該至少一圖騰包括第一圖騰與第二圖騰,而該處理裝置經配置以執行以下步驟: 依據該圖騰影像辨識該第一圖騰與該第二圖騰,以取得該第一圖騰所對應之第一虛擬物件資訊與該第二圖騰所對應之第二虛擬物件資訊;依據該第一虛擬物件資訊與關聯於該第一圖騰的第一相對位置資訊自該影像資料庫選取第一子擴增影像資料;以及依據該第二虛擬物件資訊與關聯於該第二圖騰的第二相對位置資訊自該影像資料庫選取第二子擴增影像資料。
  18. 如申請專利範圍第17項所述之資訊顯示系統,其中該處理裝置經配置以執行以下步驟:疊合該第一子擴增影像資料與該第二子擴增影像資料產生疊合擴增影像資料,並藉由該透明顯示器顯示該疊合擴增影像資料。
  19. 如申請專利範圍第16項所述之資訊顯示系統,更包括一第二影像擷取裝置,拍攝呈現於一觀看者上的觀看者圖騰而獲取一觀看者影像,其中該處理裝置經配置以執行以下步驟:依據該觀看者影像辨識該觀看者圖騰而獲取該觀看者圖騰所對應的觀看者資訊;依據該觀看者資訊、該第一虛擬物件資訊與該第二虛擬物件資訊判斷該觀看者圖騰是否匹配於該第一圖騰或該第二圖騰而產生一匹配結果;以及依據該匹配結果決定是否顯示該第一子擴增影像資料與該第一子擴增影像資料。
  20. 如申請專利範圍第11項所述之資訊顯示系統,更包括一第二影像擷取裝置,拍攝呈現於一觀看者上的觀看者圖騰而獲取一觀看者影像,其中該處理裝置經配置以執行以下步驟:依據該觀看者影像預估該觀看者的視線向量;以及依據該視線向量決定是否顯示該擴增影像資料。
TW108136025A 2019-10-04 2019-10-04 資訊顯示方法與資訊顯示系統 TWI731430B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108136025A TWI731430B (zh) 2019-10-04 2019-10-04 資訊顯示方法與資訊顯示系統
US16/737,902 US11467400B2 (en) 2019-10-04 2020-01-09 Information display method and information display system
CN202010026195.2A CN112614231A (zh) 2019-10-04 2020-01-10 信息显示方法与信息显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108136025A TWI731430B (zh) 2019-10-04 2019-10-04 資訊顯示方法與資訊顯示系統

Publications (2)

Publication Number Publication Date
TW202115555A TW202115555A (zh) 2021-04-16
TWI731430B true TWI731430B (zh) 2021-06-21

Family

ID=75224338

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108136025A TWI731430B (zh) 2019-10-04 2019-10-04 資訊顯示方法與資訊顯示系統

Country Status (3)

Country Link
US (1) US11467400B2 (zh)
CN (1) CN112614231A (zh)
TW (1) TWI731430B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI720869B (zh) * 2020-04-15 2021-03-01 致伸科技股份有限公司 相機模組之對位方法
US11967268B1 (en) * 2022-11-07 2024-04-23 Qualcomm Incorporated Systems and methods of secure imaging

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206583A1 (en) * 1996-10-02 2005-09-22 Lemelson Jerome H Selectively controllable heads-up display system
TWM490880U (zh) * 2014-09-01 2014-12-01 Univ Southern Taiwan Sci & Tec 血管顯像之穿透式顯示裝置
CN106725571A (zh) * 2014-01-15 2017-05-31 三星电子株式会社 医学图像提供设备及其医学图像处理方法
TW201724031A (zh) * 2015-12-23 2017-07-01 財團法人工業技術研究院 擴增實境方法、系統及電腦可讀取非暫態儲存媒介

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8708822B2 (en) 2005-09-01 2014-04-29 Nintendo Co., Ltd. Information processing system and program
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP4679661B1 (ja) * 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
US9146669B2 (en) 2009-12-29 2015-09-29 Bizmodeline Co., Ltd. Password processing method and apparatus
US10067568B2 (en) * 2012-02-28 2018-09-04 Qualcomm Incorporated Augmented reality writing system and method thereof
US9814426B2 (en) 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
US9892489B1 (en) * 2013-08-20 2018-02-13 Rockwell Collins, Inc. System for and method of providing a virtual cockpit, control panel, or dashboard using augmented reality
TWI530909B (zh) 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法
TWI570664B (zh) 2015-03-10 2017-02-11 Next Animation Studio Ltd The expansion of real-world information processing methods, the expansion of real processing modules, Data integration method and data integration module
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社meleap 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
US10788791B2 (en) 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object
US20170323374A1 (en) 2016-05-06 2017-11-09 Seok Hyun Park Augmented reality image analysis methods for the virtual fashion items worn
TWI651657B (zh) * 2016-10-21 2019-02-21 財團法人資訊工業策進會 擴增實境系統與方法
CN108227914B (zh) * 2016-12-12 2021-03-05 财团法人工业技术研究院 透明显示装置、使用其的控制方法及其控制器
JP6624646B2 (ja) * 2017-02-08 2019-12-25 ソフトバンク株式会社 情報提示システム、情報提示方法及び情報提示プログラム
CN106980368B (zh) * 2017-02-28 2024-05-28 深圳市未来感知科技有限公司 一种基于视觉计算及惯性测量单元的虚拟现实交互设备
TWM561801U (zh) 2017-11-15 2018-06-11 Join Link International Technology Co Ltd 車用虛擬影像顯示系統
CN108008817B (zh) 2017-12-01 2020-08-04 西安维度视界科技有限公司 一种实现虚实融合的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206583A1 (en) * 1996-10-02 2005-09-22 Lemelson Jerome H Selectively controllable heads-up display system
CN106725571A (zh) * 2014-01-15 2017-05-31 三星电子株式会社 医学图像提供设备及其医学图像处理方法
TWM490880U (zh) * 2014-09-01 2014-12-01 Univ Southern Taiwan Sci & Tec 血管顯像之穿透式顯示裝置
TW201724031A (zh) * 2015-12-23 2017-07-01 財團法人工業技術研究院 擴增實境方法、系統及電腦可讀取非暫態儲存媒介

Also Published As

Publication number Publication date
TW202115555A (zh) 2021-04-16
US20210103143A1 (en) 2021-04-08
CN112614231A (zh) 2021-04-06
US11467400B2 (en) 2022-10-11

Similar Documents

Publication Publication Date Title
EP3614340B1 (en) Methods and devices for acquiring 3d face, and computer readable storage media
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
US8355565B1 (en) Producing high quality depth maps
CN106846409B (zh) 鱼眼相机的标定方法及装置
US11455746B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
US20200286300A1 (en) Electronic device and method for adjusting size of three-dimensional object in augmented reality
WO2017217411A1 (ja) 画像処理装置、画像処理方法、及び記憶媒体
CN106815869B (zh) 鱼眼相机的光心确定方法及装置
WO2017076106A1 (zh) 图像的拼接方法和装置
EP2328125A1 (en) Image splicing method and device
KR20160116075A (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US9996960B2 (en) Augmented reality system and method
WO2022218161A1 (zh) 用于目标匹配的方法、装置、设备及存储介质
US11568555B2 (en) Dense depth computations aided by sparse feature matching
CN113538587A (zh) 一种相机坐标变换方法、终端以及存储介质
TWI731430B (zh) 資訊顯示方法與資訊顯示系統
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
CN109785225B (zh) 一种用于图像矫正的方法和装置
CN113379815A (zh) 基于rgb相机与激光传感器的三维重建方法、装置及服务器
US11030732B2 (en) Information processing device, information processing system, and image processing method for generating a sum picture by adding pixel values of multiple pictures
CN110832851B (zh) 图像处理装置、图像变换方法
JP7074546B2 (ja) 画像処理装置および方法
JP6388744B1 (ja) 測距装置および測距方法
TWI526045B (zh) 立體影像的調整方法與影像處理裝置
CN113344830B (zh) 基于多张单通道温度图片的融合方法和装置