TWI761976B - 互動系統 - Google Patents

互動系統 Download PDF

Info

Publication number
TWI761976B
TWI761976B TW109134072A TW109134072A TWI761976B TW I761976 B TWI761976 B TW I761976B TW 109134072 A TW109134072 A TW 109134072A TW 109134072 A TW109134072 A TW 109134072A TW I761976 B TWI761976 B TW I761976B
Authority
TW
Taiwan
Prior art keywords
display device
image information
image display
dimensional
electronic device
Prior art date
Application number
TW109134072A
Other languages
English (en)
Other versions
TW202215203A (zh
Inventor
楊鈞翔
丁志宏
張凱傑
余德彰
林文綺
Original Assignee
幻景啟動股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 幻景啟動股份有限公司 filed Critical 幻景啟動股份有限公司
Priority to TW109134072A priority Critical patent/TWI761976B/zh
Priority to US17/204,049 priority patent/US11416110B2/en
Publication of TW202215203A publication Critical patent/TW202215203A/zh
Application granted granted Critical
Publication of TWI761976B publication Critical patent/TWI761976B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明公開一種互動系統。互動系統包括電子裝置、一第一影像顯示裝置以及一第二影像顯示裝置。電子裝置傳送第一影像資訊至第一影像顯示裝置進行顯示。電子裝置傳送第二影像資訊至第二影像顯示裝置進行顯示。第二影像資訊通過第二影像顯示裝置，在第二影像顯示裝置的一側的空間中顯示一三維的第二影像資訊。三維的第二影像資訊至少與一物體進行互動。

Description

互動系統
本發明涉及一種互動系統，特別是涉及一種直接與三維影像資訊進行互動的互動系統。
在目前擴增實境（Augmented Reality）或是虛擬實境（Virtual Reality）的領域，多數都需要利用使用者的身心感官與電子裝置進行物理性的互動，而不是直觀的利用道具或是手部與三維的影像資訊進行互動。
因此，如何提供一種可以讓使用者直接與三維影像資訊進行互動的互動系統，已成為該項事業所欲解決的重要課題之一。
本發明所要解決的技術問題在於，針對現有技術的不足提供一種互動系統，包括：一電子裝置，包括一控制器、一儲存模組、一連接模組，一通訊模組；一第一影像顯示裝置，電性連接所述電子裝置，所述第一影像顯示裝置是一二維影像顯示裝置，用於顯示一二維影像資訊；以及一第二影像顯示裝置，連接所述電子裝置，所述第二影像顯示裝置是一三維影像顯示裝置；其中，所述電子裝置設置有一程序，所述程序至少提供一第一影像資訊以及一第二影像資訊，所述控制器傳送所述第一影像資訊至所述第一影像顯示裝置進行顯示，所述控制器傳送所述第二影像資訊至所述第二影像顯示裝置進行顯示，所述第二影像資訊通過所述第二影像顯示裝置，在所述第二影像顯示裝置的一側的空間中顯示所述第二影像資訊的三維影像資訊；其中，第二影像資訊的三維影像資訊至少與一物體進行互動。
本發明還公開了一種互動系統，包括：一電子裝置，包括一控制器、一儲存模組以及一連接模組；一三維影像顯示裝置，所述電子裝置的所述連接模組連接所述三維影像顯示裝置；以及一感測器，設置在所述電子裝置或是所述顯示裝置上，用於偵測一物體的多個物體三維座標值；其中，所述電子裝置設置有一程序，所述程序儲存在所述儲存模組中或由雲端傳送，所述程序至少提供一影像資訊，所述控制器傳送所述影像資訊至所述顯示裝置進行顯示，所述控制器傳送所述影像資訊至所述三維顯示裝置進行顯示，所述影像資訊通過所述三維影像顯示裝置，在所述影像顯示裝置的一側的空間中顯示一三維影像資訊；其中，所述三維影像資訊至少與所述物體進行互動；其中，所述感測器將所述多個物體三維座標值傳送到所述控制器，所述控制器根據所述多個物體三維座標值以及所述三維的第二影像資訊的所述三維影像資訊的多個第一三維座標值，決定所述三維影像資訊的多個第二三維座標值；其中，所述三維影像資訊的所述多個第二三維座標值決定所述三維影像資訊與所述物體互動時的一動作。
本發明的其中一有益效果在於，本發明所提供的互動系統可以讓使用者直觀地與三維影像資訊進行互動而產生相對應的動作與變化，無須穿戴各類型擴增實境的電子裝置。
為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。
以下是通過特定的具體實施例來說明本發明所公開有關“互動系統”的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不背離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。
[第一實施例]
請參閱圖1、圖2A、圖2B、圖3，圖1是本發明第一實施例的互動系統的示意圖。圖2A是本發明第一實施例的互動系統的功能方塊圖。圖2B是本發明第一實施例的互動系統的另一功能方塊圖。圖3是本發明第一實施例的互動系統的另一示意圖。
請參閱圖1，互動系統SYS1包括一電子裝置1、一第一影像顯示裝置2以及一第二影像顯示裝置3。電子裝置1是一電腦系統，包括一控制器11、一儲存模組12以及一連接模組13。
第一影像顯示裝置2電性連接電子裝置1。第一影像顯示裝置2是一二維影像顯示裝置，用於顯示一二維影像資訊。第二影像顯示裝置3連接電子裝置1。第二影像顯示裝置3是一三維影像顯示裝置。在本實施例中，第二影像顯示裝置3可以通過有線通訊方式或是無線通訊方式與電子裝置1進行連接。第二影像顯示裝置3可以利用一Wi-Fi通訊單元、一藍牙通訊單元、一紫蜂通訊單元（Zigbee）、一LoRa通訊單元、一Sigfox通訊單元或是一NB-IoT通訊單元與電子裝置1進行通訊連接。
電子裝置1還包括一通訊模組14。電子裝置1可以利用通訊模組14連接第一影像顯示裝置2以及第二影像顯示裝置3。通訊模組14可以是一有線通訊模組或是一無線通訊模組。當通訊模組14是一無線通訊模組時，通訊模組14可以是一Wi-Fi通訊模組、一藍牙通訊模組、一紫蜂通訊模組（Zigbee）、一LoRa通訊模組、一Sigfox通訊模組或是一NB-IoT通訊模組。
控制器11是一中央處理器（CPU）、一圖形處理器（GPU）、特殊應用積體電路（ASIC）或是一微處理器（MCU）。儲存模組12是一快閃記憶體、一唯讀記憶體、一可規化唯讀記憶體、一電可改寫唯讀記憶體、一可擦可規化唯讀記憶體或是一電可擦可規化唯讀記憶體。
電子裝置1設置有一程序，程序至少提供一第一影像資訊G1以及一第二影像資訊G2。此外，程序也可以由雲端伺服器提供給電子裝置1。控制器11傳送第一影像資訊G1至第一影像顯示裝置2進行顯示。控制器1傳送第二影像資訊G2至第二影像顯示裝置3進行顯示。第二影像資訊G1通過第二影像顯示裝置3，在第二影像顯示裝置3的一側的空間中顯示一三維的第二影像資訊G2。其中，三維的第二影像資訊G2至少與一物體進行互動。例如：使用者的手部、使用者的手指、使用者的手掌、工具、玩具或是道具等。在其他實施例中，第一影像顯示裝置2也可以用於顯示三維影像資訊。
此外，互動系統SYS1還包括一感測器7。在本實施例中，感測器7設置在電子裝置1、第一影像顯示裝置2或是第二影像顯示裝置3上，用於偵測一物體的一物體三維座標值。在本實施例中，感測器7是一影像擷取單元（CCD）。感測器7還可以包括一視線追蹤功能，以追蹤人類或是動物的視線。
感測器7會將至少一物體三維座標值傳送到控制器11。控制器11根據至少一物體三維座標值以及三維的第二影像資訊G2的三維的第二影像資訊的多個第一三維座標值，決定三維的第二影像資訊G2的多個第二三維座標值。也就是，感測器7會偵測物體的物體三維座標值，並與三維的第二影像資訊G2的多個第一三維座標值一同比對判斷，以決定三維的第二影像資訊G2的多個第二三維座標值。此時，三維的第二影像資訊G2的多個第一三維座標值與三維的第二影像資訊G2的多個第二三維座標值相同或是不相同。
當三維的第二影像資訊G2的多個第一三維座標值與三維的第二影像資訊G2的多個第二三維座標值是不相同時，三維的第二影像資訊G2是產生與原先的三維的第二影像資訊G2不同的動作。
如圖1所示，第一影像顯示裝置2、第二影像顯示裝置3是與電子裝置1分開設置。在圖1中，電子裝置1是一桌上型電腦。第一影像顯示裝置2是一液晶顯示器、一微型發光二極體顯示（MicroLED DISPLAY）或是一有機發光二極體顯示器（OLED DISPLAY）。
請參閱圖2B，在其他實施例中，互動系統SYS2還可以包括一麥克風MP、一揚聲器SP、以及一連接裝置CON。電子裝置1的控制器11電性連接儲存模組12、連接模組13以及通訊模組14。電子裝置1的連接模組13連接連接裝置CON。連接裝置CON連接麥克風MP、揚聲器SP、第二影像顯示裝置3以及感測器7。
在本實施例中，連接裝置CON、麥克風MP、揚聲器SP、第二影像顯示裝置3以及感測器7可以設置在同一裝置中。
麥克風MP是用於接收一音頻資訊。當麥克風MP接收到一控制音頻資訊時，麥克風MP會通過連接裝置CON以及連接裝置13傳送控制音頻訊號到控制器11以進行分析。控制器11會進一步分析控制音頻資訊中的控制要求訊號，例如旋轉、坐下、跳躍。接著，控制器11會根據控制要求訊號進一步控制顯示在第二影像顯示裝置3的三維的第二影像資訊G2的動作。如此一來，使用者可以通過聲音與三維的第二影像資訊G2進行互動。此外，控制器11則可以傳送對應三維的第二影像資訊G2的互動音頻資訊到揚聲器SP以進行播放，提升使用者更全面的互動體驗。
如圖3所示，第一影像顯示裝置2則是設置在電子裝置1的一側，第二影像顯示裝置3設置在電子裝置1上。在圖3中，電子裝置1是一筆記型電腦。也就是，電子裝置1是一雙螢幕的筆記型電腦。
在本實施例中，互動系統SYS1的第一影像資訊G1以及第二影像資訊G2是可拼接的兩個影像資訊，例如不同區域的地圖。不過，第一影像資訊G1以及第二影像資訊G2也可以只是內容上相關聯的兩個影像資訊，例如圖3中的第二影像資訊G2是一虛擬鍵盤，而第一影像資訊G1則是音符跳躍影像。此外，在本實施例中，第二影像資訊G2還可以是一彈珠，第一影像資訊G1則是彈珠檯的彈跳路徑。
請參閱圖4，圖4是本發明第二影像顯示裝置的結構示意圖。
第二影像顯示裝置3包括一平面顯示模組31、一透鏡陣列層32以及一微結構層33。
平面顯示模組31具有一顯示面311。平面顯示模組31用於提供二維的第二影像資訊G2，通過透鏡陣列層32以及微結構層33進行顯示一三維的第二影像資訊G2。
透鏡陣列層32設置於平面顯示模組31的顯示面311上，接收二維的第二影像資訊G2的光線進行調整，透鏡陣列層32包含多個透鏡321。透鏡陣列層32用於調控光場。
微結構層33設置於透鏡陣列層32上。微結構層33包括多個微結構。微結構層33用於調變光線角度方向。微結構層33接收穿透透鏡陣列層32的光線進行調整，以使第二影像顯示裝置3顯示漂浮在第二影像顯示裝置3一側的空間中的三維影像資訊。
透鏡陣列層32的透鏡321符合造鏡者公式：1/f=(n-1)(1/R1+1/R2)，其中R1和R2分別為透鏡321兩邊的曲率半徑，f是透鏡焦距，n是透鏡折射率。
此外，微結構層33是一動態光學元件層。也就是，微結構層33具有一微結構功能模式以及一無微結構功能模式。微結構層33 可以根據一控制訊號進行調整為微結構功能模式以及無微結構功能模式。當微結構層33切換為微結構功能模式時，能用於調變光線角度方向。當微結構層33切換為無微結構功能模式時，則第二影像顯示裝置3用於顯示二維影像資訊，不會顯示漂浮在第二影像顯示裝置3一側的空間中的三維影像資訊。微結構層33是一液晶透鏡陣列層（Liquid Lens Layer），包括多個微結構液晶透鏡，透鏡陣列層也是一液晶透鏡陣列層（Liquid Lens Layer），包括多個光學調整液晶透鏡。也就是，第二影像顯示裝置3是一至少包括兩層液晶透鏡陣列層的顯示裝置，在其他實施例中，第二影像顯示裝置3可以包括更多層液晶透鏡陣列層進行光線調整。再者，在其他實施例中，第二影像顯示裝置3可以在不同區域設置不同數量的第二影像顯示裝置3進行光線調整。此外，透鏡陣列層32包括一第一結構透鏡陣列層（圖未示）以及一第二結構透鏡陣列層（圖未示）。第一結構透鏡陣列層（圖未示）具有透鏡結構，能用於調控光場，第二結構透鏡陣列層（圖未示）則不具有透鏡結構。
請參閱圖5、圖6以及圖7，圖5是第二影像顯示裝置顯示一第二影像資訊的示意圖。圖6是第二影像資訊與一物體互動的示意圖。圖7是第二影像資訊與一物體互動的另一示意圖。
三維的第二影像資訊G2是一寵物狗。圖6中的第二影像資訊G2的多個第一三維座標值G2C1-G2C3可以通過感測器7進行偵測，或是由控制器11直接由第二影像資訊G2的資料中取得。
此外，圖6中的手指的多個三維座標值FC1-FC3，也可以由感測器7偵測得到。此外，手指的多個三維座標值FC1-FC3是在一段時間中的多個三維座標值。
電子裝置1的控制器11可以根據手指的多個三維座標值FC1-FC3以及第二影像資訊G2的多個第一三維座標值G2C1-G2C3，進行決定第二影像資訊G2的第二三維座標值G2C1’-G2C3’，進而決定第二影像資訊G2的動作或是形變狀態。
請參閱圖8以及圖9，圖8與圖9是第二影像資訊與一物體互動的示意圖。
三維的第二影像資訊G2-1- G2-3是一組打地鼠的影像，使用者可以利用道具Tool，對多個三維的第二影像資訊G2-1-G2-3進行打擊。此時，電子裝置1的控制器11可以根據道具Tool的多個三維座標值TC1-TC3以及三維的第二影像資訊G2-1的多個第一三維座標值G2-1C1-G2-1C3進行計算，以決定第二影像資訊G2-1的動作以及第二影像資訊G2-1的多個第二三維座標值G2-1C1’ -G2-1C3’。
請參閱圖10以及圖11，圖10是第二影像資訊根據第一實體以及第二實體顯示的示意圖。圖11是第二影像資訊根據第一實體以及第二實體顯示的示意圖。
在圖10以及圖11中，當第一實體SB1以及第二實體SB2設置在第二影像顯示裝置3上，第二影像資訊G2才會顯示在第二影像顯示裝置3的上方。也就是，第二影像資訊G2是與第一實體SB1以及第二實體SB2有關連性。感測器7可以偵測第一實體SB1以及第二實體SB2的設置位置，才通知電子裝置1或是第二影像顯示裝置3，以提供第二影像資訊G2。電子裝置1或是第二影像顯示裝置3可以通過電子標籤（RFID）、光感應、電容感應、電壓感應、雷達感應等方式對第一實體SB1以及第二實體SB2的電子標籤RD1-RD3的偵測。感測器7也可以是電子標籤感測器、光感測器、電容感測器、電壓感測器或是雷達感測器。
再者，第一實體SB1以及第二實體SB2的數量以及形式可以根據實際需求進行調整，在本發明中不做限制。此外，可以根據第一實體SB1以及第二實體SB2的擺放位置不同，而顯示不同的第二影像資訊G2。而且，電子裝置1或是第二影像顯示裝置3可以控制第二影像資訊G2可以在第一活動區域AA1或是其他活動區域進行活動。也就是，第二影像資訊G2可以通過一故事方式與第一實體SB1以及第二實體SB2進行互動。
[第二實施例]
請參閱圖12，圖12是本發明第二實施例的互動系統的示意圖。互動系統SYS2可以只包括電子裝置1以及三維影像顯示裝置3’。在本實施例中，電子裝置1與三維影像顯示裝置3’的結構與功能與先前實施例中的電子裝置1以及第二影像顯示裝置3相同，在此不做限制。
電子裝置1可以提供一影像資訊給三維影像顯示裝置3’，進行三維影像資訊的顯示，並利用一物體與所顯示的浮空三維影像資訊進行互動。類似地，互動系統SYS2還包括一感測器7，可以設置在電子裝置1或是三維影像顯示裝置3’。
類似地，互動系統SYS3還可以包括一麥克風MP、一揚聲器SP。電子裝置1的連接模組13連接麥克風MP、揚聲器SP、三維影像顯示裝置3’以及感測器7。
類似地，在本實施例中，麥克風MP、揚聲器SP、三維影像顯示裝置3’以及感測器7可以設置在同一裝置中。
麥克風MP是用於接收一音頻資訊。當麥克風MP接收到一控制音頻資訊時，麥克風MP會通過連接裝置CON以及連接裝置13傳送控制音頻訊號到控制器11以進行分析。控制器11會進一步分析控制音頻資訊中的控制要求訊號，例如旋轉、坐下、跳躍。接著，控制器11會根據控制要求訊號進一步控制顯示在第二影像顯示裝置3的三維的第二影像資訊G2的動作。如此一來，使用者可以通過聲音與三維的第二影像資訊G2進行互動。此外，控制器11則可以傳送對應三維的第二影像資訊G2的互動音頻資訊到揚聲器SP以進行播放，提升使用者更全面的互動體驗。
請參閱圖13、圖14以及圖15，圖13是本發明第二實施例的互動系統的另一示意圖。圖14是本發明第二實施例的互動系統的另一示意圖。圖15是本發明第二實施例的互動系統的另一示意圖。
圖13的第一電子裝置ED1是一筆記型電腦。圖14的第二電子裝置ED2則是一智能手機。圖15的第三電子裝置ED3則是一平板電腦。也就是，圖13至圖15中不同的第一電子裝置ED1、第二電子裝置ED2以及第三電子裝置ED3可以連接本發明的三維影像顯示裝置3’，以顯示三維影像資訊。
在其他實施例中，電子裝置ED1-ED3也可以與三維影像顯示裝置3’設置在同一殼體中，或是共同設置為一電子裝置，在本實施例中不做限制。
[第三實施例]
請參閱圖16以及圖17，圖16是本發明第三實施例的互動系統的示意圖。圖17是本發明第三實施例的互動系統的另一示意圖。
請參閱圖16，三維影像顯示裝置3’還可以包括一電子束感測器37’，當使用者手部與浮空的三維影像資訊進行互動的時候，可以發出一道電子束到使用者手部，以與使用者手部互動。
請參閱圖17，使用者可以穿戴上一電子互動手套，包括多個觸感元件（圖未示），電子互動手套ECL與三維影像顯示裝置3’通訊連接，可以接收三維影像顯示裝置3’、電子裝置ED3或是伺服器（圖未示）的控制訊號。
也就是，當使用者戴上電子互動手套ECL與三維影像顯示裝置3’顯示的浮空的三維影像資訊進行互動的時候，三維影像顯示裝置3’、電子裝置ED3或是伺服器（圖未示）可以根據使用者與浮空的三維影像資訊互動的狀態，提供多個控制訊號給電子互動手套ECL的多個觸覺反饋元件（圖未示），以提供多種不同的觸覺感受給使用者。在本實施例中，觸覺反饋元件（圖未示）是一壓電元件。
[實施例的有益效果]
本發明的其中一有益效果在於，本發明所提供的互動系統可以讓使用者直觀地與三維影像資訊進行互動而產生相對應的動作與變化，無須穿戴各類型擴增實境的電子裝置。
以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。
SYS1, SYS2:互動系統 1:電子裝置 2:第一影像顯示裝置 3:第二影像顯示裝置 3’:三維影像顯示裝置 7:感測器 11:控制器 12:儲存模組 13:連接模組 G2-1C1-G2-1C3, G2-1C1’-G2-1C3’, TC1-TC3, G2C1-G2C3, G2C1’-G2C3’, FC1-FC3: 三維座標值 31:平面顯示模組 32:透鏡陣列層 33:微結構層 311:顯示面 321:透鏡 14:通訊模組 MP:麥克風 SP:揚聲器 CON:連接模組 G1:第一影像資訊 G2, G2-1, G2-2, G2-3:第二影像資訊 Tool:道具 AA1:第一活動區域 SB1:第一實體 SB2:第二實體 RD1, RD2, RD3:電子標籤 ED1:第一電子裝置 ED2:第二電子裝置 ED3:第三電子裝置 37’:電子束感測器
圖1是本發明第一實施例的互動系統的示意圖。
圖2A是本發明第一實施例的互動系統的功能方塊圖。
圖2B是本發明第一實施例的互動系統的另一功能方塊圖。
圖3是本發明第一實施例的互動系統的另一示意圖。
圖4是本發明第二影像顯示裝置的結構示意圖。
圖5是第二影像顯示裝置顯示一第二影像資訊的示意圖。
圖6是第二影像資訊與一物體互動的示意圖。
圖7是第二影像資訊與一物體互動的另一示意圖。
圖8是第二影像資訊與一物體互動的另一示意圖。
圖9是第二影像資訊與一物體互動的另一示意圖。
圖10是第二影像資訊根據第一實體以及第二實體顯示的示意圖。
圖11是第二影像資訊根據第一實體以及第二實體顯示的示意圖。
圖12是本發明第二實施例的互動系統的示意圖。
圖13是本發明第二實施例的互動系統的另一示意圖。
圖14是本發明第二實施例的互動系統的另一示意圖。
圖15是本發明第二實施例的互動系統的另一示意圖。
圖16是本發明第三實施例的互動系統的示意圖。
圖17是本發明第三實施例的互動系統的另一示意圖。
SYS1:互動系統 1:電子裝置 2:第一影像顯示裝置 3:第二影像顯示裝置 7:感測器

Claims (14)

  1. 一種互動系統，包括：一電子裝置，包括一控制器、一儲存模組、一連接模組；一第一影像顯示裝置，電性連接所述電子裝置，所述第一影像顯示裝置是一二維影像顯示裝置，用於顯示一二維影像資訊；以及一第二影像顯示裝置，連接所述電子裝置，所述第二影像顯示裝置是一三維影像顯示裝置；其中，所述電子裝置設置有一程序，所述程序至少提供一第一影像資訊以及一第二影像資訊，所述控制器傳送所述第一影像資訊至所述第一影像顯示裝置進行顯示，所述控制器傳送所述第二影像資訊至所述第二影像顯示裝置進行顯示，所述第二影像資訊通過所述第二影像顯示裝置，在所述第二影像顯示裝置的一側的空間中顯示所述第二影像資訊的三維影像資訊；其中，所述三維的第二影像資訊至少與一物體進行互動；其中，所述第二影像顯示裝置包括：一平面顯示模組；一透鏡陣列層；以及一微結構層；其中，所述平面顯示模組具有一顯示面，所述平面顯示模組提供至少一影像資訊，通過所述透鏡陣列層以及所述微結構層進行顯示，所述透鏡陣列層設置於所述平面顯示模組的顯示面上，接收所述影像資訊的光線進行調整，所述透鏡陣列層包含多個透鏡，所述透鏡陣列層用於調控光場，所述微結構層設置於所述透鏡陣列層上，所述微結構層包括多個微結構，所述微結構層用於調變光線角度方向，所述微結構層接收穿透所述透鏡陣列層的光線進行調整，以使所述第二影像顯示裝置顯示漂浮在 所述第二影像顯示裝置一側的空間中的三維影像資訊。
  2. 如請求項1所述的互動系統，還包括：一感測器，設置在所述電子裝置、所述第一影像顯示裝置或是所述第二影像顯示裝置上，用於偵測所述物體的至少一物體三維座標值，所述感測器將所述至少一物體三為座標值傳送到所述控制器，所述控制器根據所述至少一物體三維座標值以及所述三維的第二影像資訊的多個第一三維座標值，決定所述三維的第二影像資訊的多個第二三維座標值。
  3. 如請求項2所述的互動系統，其中，所述第一影像顯示裝置設置在所述電子裝置的一側，所述第二影像顯示裝置設置在所述電子裝置上。
  4. 如請求項1所述的互動系統，其中，其中所述透鏡陣列層的所述透鏡符合造鏡者公式：1/f=(n-1)(1/R1+1/R2)，其中R1和R2分別為所述透鏡兩邊的曲率半徑，f是透鏡焦距，n是透鏡折射率。
  5. 如請求項4所述的互動系統，其中，所述微結構層是一動態光學元件層，所述微結構層具有一微結構功能模式以及一無微結構功能模式，當所述微結構層切換為所述微結構功能模式時，能用於調變光線角度方向。
  6. 如請求項5所述的互動系統，其中，所述微結構層是一液晶透鏡陣列層，包括多個微結構液晶透鏡，所述透鏡陣列層是一液晶透鏡陣列層，包括多個光學調整液晶透鏡。
  7. 如請求項6所述的互動系統，其中，所述透鏡陣列層包括一第一結構透鏡陣列層以及一第二結構透鏡陣列層，所述第一結構透鏡陣列層具有透鏡結構，能用於調控光場，所述第二結構透鏡陣列層則不具有透鏡結構。
  8. 如請求項1所述的互動系統，其中，所述第二影像顯示裝置還包括一電子束感測器，所述電子裝置或是所述第二影像顯示裝置根據所述三維的第二影像資訊與所述物體的互動狀況，以使所述電子束感測器提供一電子束至所述物體。
  9. 如請求項1所述的互動系統，其中，所述電子裝置或是所述第二影像顯示裝置提供多個控制訊號至所述物體的一電子互動手套，以使所述電子互動手套的多個觸覺反饋元件進行動作。
  10. 一種互動系統，包括：一電子裝置，包括一控制器、一儲存模組以及一連接模組；一三維影像顯示裝置，所述電子裝置的所述連接模組連接所述三維影像顯示裝置；以及一感測器，設置在所述電子裝置或是所述三維影像顯示裝置上，用於偵測一物體的多個物體三維座標值；其中，所述電子裝置設置有一程序，所述程序儲存在所述儲存模組中，所述程序至少提供一影像資訊，所述控制器傳送所述影像資訊至所述三維影像顯示裝置進行顯示，所述控制器傳送所述影像資訊至所述三維顯示裝置進行顯示，所述影像資訊通過所述三維影像顯示裝置，在所述三維影像顯示裝置的一側的空間中顯示一三維影像資訊；其中，所述三維影像資訊至少與所述物體進行互動；其中，所述感測器將所述多個物體三維座標值傳送到所述控制器，所述控制器根據所述多個物體三維座標值以及所述第二影像資訊的三維影像資訊的多個第一三維座標值，決定所述三維影像資訊的多個第二三維座標值；其中，所述三維影像資訊的所述多個第二三維座標值決定所述三維影像資訊與所述物體互動時的一動作；其中，所述第二影像顯示裝置包括： 一平面顯示模組；一透鏡陣列層；以及一微結構層；其中，所述平面顯示模組具有一顯示面，所述平面顯示模組提供至少一影像資訊，通過所述透鏡陣列層以及所述微結構層進行顯示，所述透鏡陣列層設置於所述平面顯示模組的顯示面上，接收所述影像資訊的光線進行調整，所述透鏡陣列層包含多個透鏡，所述透鏡陣列層用於調控光場，所述微結構層設置於所述透鏡陣列層上，所述微結構層包括多個微結構，所述微結構層用於調變光線角度方向，所述微結構層接收穿透所述透鏡陣列層的光線進行調整，以使所述第二影像顯示裝置顯示漂浮在所述第二影像顯示裝置一側的空間中的三維影像資訊。
  11. 如請求項10所述的互動系統，其中，所述三維影像顯示裝置還包括一電子束感測器，所述電子裝置或是所述三維影像顯示裝置根據所述三維影像資訊與所述物體的互動狀況，以使所述電子束感測器提供一電子束至所述物體。
  12. 如請求項10所述的互動系統，其中，所述電子裝置或是所述三維影像顯示裝置提供多個控制訊號至設置在所述物體上的一電子互動裝置，以使所述電子互動裝置的多個觸覺反饋元件進行動作。
  13. 一種互動系統，包括：一電子裝置，包括一控制器、一儲存模組、一連接模組；一第一影像顯示裝置，電性連接所述電子裝置，所述第一影像顯示裝置是一二維影像顯示裝置，用於顯示一二維影像資訊；一第二影像顯示裝置，連接所述電子裝置，所述第二影像顯示裝置是一三維影像顯示裝置；以及一感測器，設置在所述電子裝置、所述第一影像顯示裝置或是 所述第二影像顯示裝置上，用於偵測所述物體的至少一物體三維座標值；其中，所述電子裝置設置有一程序，所述程序至少提供一第一影像資訊以及一第二影像資訊，所述控制器傳送所述第一影像資訊至所述第一影像顯示裝置進行顯示，所述控制器傳送所述第二影像資訊至所述第二影像顯示裝置進行顯示，所述第二影像資訊通過所述第二影像顯示裝置，在所述第二影像顯示裝置的一側的空間中顯示所述第二影像資訊的三維影像資訊；其中，所述三維的第二影像資訊至少與一物體進行互動；其中，當所述感測器感測到至少一實體設置在所述第二影像顯示裝置上，所述控制器則根據所述至少一實體而顯示所述三維的第二影像資訊。
  14. 一種互動系統，包括：一電子裝置，包括一控制器、一儲存模組以及一連接模組；一三維影像顯示裝置，所述電子裝置的所述連接模組連接所述三維影像顯示裝置；以及一感測器，設置在所述電子裝置或是所述三維影像顯示裝置上，用於偵測一物體的多個物體三維座標值；其中，所述電子裝置設置有一程序，所述程序儲存在所述儲存模組中，所述程序至少提供一影像資訊，所述控制器傳送所述影像資訊至所述三維影像顯示裝置進行顯示，所述控制器傳送所述影像資訊至所述三維顯示裝置進行顯示，所述影像資訊通過所述三維影像顯示裝置，在所述三維影像顯示裝置的一側的空間中顯示一三維影像資訊；其中，所述三維影像資訊至少與所述物體進行互動；其中，所述感測器將所述多個物體三維座標值傳送到所述控制器，所述控制器根據所述多個物體三維座標值以及所述第二影 像資訊的三維影像資訊的多個第一三維座標值，決定所述三維影像資訊的多個第二三維座標值；其中，所述三維影像資訊的所述多個第二三維座標值決定所述三維影像資訊與所述物體互動時的一動作；其中，當所述感測器感測到至少一實體設置在所述三維影像顯示裝置上，所述三維影像顯示裝置則根據所述至少一實體而顯示所述三維的第二影像資訊。
TW109134072A 2020-09-30 2020-09-30 互動系統 TWI761976B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109134072A TWI761976B (zh) 2020-09-30 2020-09-30 互動系統
US17/204,049 US11416110B2 (en) 2020-09-30 2021-03-17 Interactive system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109134072A TWI761976B (zh) 2020-09-30 2020-09-30 互動系統

Publications (2)

Publication Number Publication Date
TW202215203A TW202215203A (zh) 2022-04-16
TWI761976B true TWI761976B (zh) 2022-04-21

Family

ID=80822451

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109134072A TWI761976B (zh) 2020-09-30 2020-09-30 互動系統

Country Status (2)

Country Link
US (1) US11416110B2 (zh)
TW (1) TWI761976B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200821899A (en) * 2006-11-15 2008-05-16 Inventec Appliances Corp Interaction system and method
TW201344501A (zh) * 2012-04-18 2013-11-01 Au Optronics Corp 三度空間互動系統
TW201617785A (zh) * 2014-11-04 2016-05-16 Univ Kun Shan 互動式立體影像展示系統
TWI700516B (zh) * 2019-06-10 2020-08-01 幻景啟動股份有限公司 互動式立體顯示裝置與互動感應方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040021681A1 (en) * 2002-07-30 2004-02-05 Liao Chin-Hua Arthur Dual-touch-screen mobile computer
US20060013462A1 (en) * 2004-07-15 2006-01-19 Navid Sadikali Image display system and method
JP2006053629A (ja) * 2004-08-10 2006-02-23 Toshiba Corp 電子機器、制御方法及び制御プログラム
JP5801656B2 (ja) * 2011-09-01 2015-10-28 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US20140075377A1 (en) * 2012-09-10 2014-03-13 Samsung Electronics Co. Ltd. Method for connecting mobile terminal and external display and apparatus implementing the same
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
IL293873B2 (en) * 2015-10-20 2024-03-01 Magic Leap Inc Selection of virtual objects in three-dimensional space
TWI634350B (zh) * 2016-08-10 2018-09-01 群睿股份有限公司 影像顯示方法
US10271043B2 (en) * 2016-11-18 2019-04-23 Zspace, Inc. 3D user interface—360-degree visualization of 2D webpage content
KR20180079904A (ko) * 2017-01-03 2018-07-11 삼성전자주식회사 전자 장치 및 그의 표시 방법
US20210299879A1 (en) * 2018-10-27 2021-09-30 Gilbert Pinter Machine vision systems, illumination sources for use in machine vision systems, and components for use in the illumination sources
US20200290513A1 (en) * 2019-03-13 2020-09-17 Light Field Lab, Inc. Light field display system for vehicle augmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200821899A (en) * 2006-11-15 2008-05-16 Inventec Appliances Corp Interaction system and method
TW201344501A (zh) * 2012-04-18 2013-11-01 Au Optronics Corp 三度空間互動系統
TW201617785A (zh) * 2014-11-04 2016-05-16 Univ Kun Shan 互動式立體影像展示系統
TWI700516B (zh) * 2019-06-10 2020-08-01 幻景啟動股份有限公司 互動式立體顯示裝置與互動感應方法

Also Published As

Publication number Publication date
US11416110B2 (en) 2022-08-16
US20220100349A1 (en) 2022-03-31
TW202215203A (zh) 2022-04-16

Similar Documents

Publication Publication Date Title
US10478717B2 (en) Augmented reality and physical games
CN108475120B (zh) 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
US10514780B2 (en) Input device
US20200387290A1 (en) Method and apparatus for a three dimensional interface
KR102256677B1 (ko) 플렉서블 표시장치 및 이의 영상 표시방법
JP6535819B2 (ja) 仮想現実環境におけるナビゲーション用制御システム
JP2022540315A (ja) 人工現実環境において周辺デバイスを使用する仮想ユーザインターフェース
US20100128112A1 (en) Immersive display system for interacting with three-dimensional content
US10509489B2 (en) Systems and related methods for facilitating pen input in a virtual reality environment
US20180373325A1 (en) Haptic dimensions in a variable gaze orientation virtual environment
JP2016219008A (ja) ユーザ・インターフェースと対話するユーザに触覚効果を与えるためのシステムおよび方法
Nam et al. Review of capacitive touchscreen technologies: Overview, research trends, and machine learning approaches
US10540023B2 (en) User interface devices for virtual reality system
US11720175B1 (en) Spatially offset haptic feedback
JP3245276U (ja) 浮遊立体画像表示システム
US11620790B2 (en) Generating a 3D model of a fingertip for visual touch detection
TWI761976B (zh) 互動系統
Shen et al. Fluid Reality: High-Resolution, Untethered Haptic Gloves using Electroosmotic Pump Arrays
CN114374831A (zh) 互动系统
Bogue Sensors for interfacing with consumer electronics
US11687166B2 (en) Image processing system and image processing device
Vimali et al. Hand gesture recognition control for computers using Arduino
US20240103626A1 (en) Haptic ring
CN114827566B (zh) 浮空三维影像显示系统
US20230333645A1 (en) Method and device for processing user input for multiple devices