TWI735882B - 互動式投影系統和互動式投影方法 - Google Patents
互動式投影系統和互動式投影方法 Download PDFInfo
- Publication number
- TWI735882B TWI735882B TW108117476A TW108117476A TWI735882B TW I735882 B TWI735882 B TW I735882B TW 108117476 A TW108117476 A TW 108117476A TW 108117476 A TW108117476 A TW 108117476A TW I735882 B TWI735882 B TW I735882B
- Authority
- TW
- Taiwan
- Prior art keywords
- handheld device
- virtual image
- virtual
- processing module
- image
- Prior art date
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000004044 response Effects 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims description 89
- 230000008859 change Effects 0.000 claims description 29
- 238000006073 displacement reaction Methods 0.000 claims description 14
- 230000003993 interaction Effects 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 4
- 241000252229 Carassius auratus Species 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000005286 illumination Methods 0.000 description 4
- 241000251468 Actinopterygii Species 0.000 description 3
- 238000010411 cooking Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000699800 Cricetinae Species 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Projection Apparatus (AREA)
Abstract
提供一種互動式投影系統和互動式投影方法。互動式投影方法包括：使投影機產生虛擬畫布；使用深度攝影機偵測對應於虛擬場景的手持裝置；以及響應於深度攝影機偵測到手持裝置而在虛擬畫布上投影出對應於虛擬場景的第一虛擬圖像，並且在手持裝置上投影出對應於虛擬場景的第二虛擬圖像，其中第二虛擬圖像與第一虛擬圖像不同。互動式投影系統可偵測手持裝置以在手持裝置上投影出不同於虛擬場景的虛擬圖像，提供使用者更生動、趣味、沉浸式的使用者體驗。
Description
本發明是有關於一種投影系統和投影方法，且特別是有關於一種互動式投影系統和互動式投影方法。
隨著科技的發展，能與使用者互動的互動式投影機越來越普及。互動式投影機可以捕捉使用者的動作，從而使得使用者可以與互動式投影機所投影的虛擬場景進行互動。如何通過互動式投影機提供使用者更多樣化的互動體驗，是本領域技術人員致力的目標之一。
本發明提供一種互動式投影系統和互動式投影方法。
本發明的互動式投影系統，包括手持裝置以及投影機。手持裝置對應於虛擬場景。投影機包括光源模組、投影鏡頭模組、深度攝影機、儲存媒體以及處理模組。光源模組提供照明光束。投影鏡頭模組將照明光束轉換為影像光束，並投影影像光束以產生虛擬畫布。深度攝影機偵測手持裝置。儲存媒體儲存關聯於虛擬場景的資料庫。處理模組耦接光源模組、投影鏡頭模組、深度攝影機以及儲存媒體，其中處理模組響應於深度攝影機偵測到手持裝置而存取資料庫，藉以通過投影鏡頭模組在虛擬畫布上投影出對應於虛擬場景的第一虛擬圖像，並且在手持裝置上投影出對應於虛擬場景的第二虛擬圖像，其中第二虛擬圖像與第一虛擬圖像不同。
在本發明的一實施例中，上述的處理模組根據手持裝置的位移以及轉動的至少其中之一刷新第一虛擬圖像以及第二虛擬圖像。
在本發明的一實施例中，上述的處理模組響應於手持裝置的深度值變化而放大或縮小第二虛擬圖像。
在本發明的一實施例中，上述的處理模組響應於手持裝置的深度值變化超過第一閾值而放大或縮小第二虛擬圖像。
在本發明的一實施例中，上述的處理模組響應於手持裝置的轉動而調整第二虛擬圖像的形狀。
在本發明的一實施例中，上述的處理模組響應於手持裝置的轉動超過第二閾值而調整第二圖像的形狀。
在本發明的一實施例中，上述的處理模組響應於虛擬畫布的第一深度值以及手持裝置的第二深度值的差異小於第三閾值而使第一虛擬圖像與第二虛擬圖像互動。
在本發明的一實施例中，上述的處理模組響應於手持裝置發生轉動而根據第一互動模式刷新第一虛擬圖像以及第二虛擬圖像，並且處理模組響應於手持裝置未發生轉動而根據不同於第一互動模式的第二互動模式刷新第一虛擬圖像以及第二虛擬圖像。
在本發明的一實施例中，上述的第一虛擬圖像包括虛擬物件，並且處理模組基於第一互動模式而將虛擬物件從第一虛擬圖像轉移到第二虛擬圖像。
本發明的互動式投影方法，包括：使投影機產生虛擬畫布；使用深度攝影機偵測對應於虛擬場景的手持裝置；以及響應於深度攝影機偵測到手持裝置而在虛擬畫布上投影出對應於虛擬場景的第一虛擬圖像，並且在手持裝置上投影出對應於虛擬場景的第二虛擬圖像，其中第二虛擬圖像與第一虛擬圖像不同。
在本發明的一實施例中，上述的互動式投影方法，更包括：根據手持裝置的位移以及轉動的至少其中之一刷新第一虛擬圖像以及第二虛擬圖像。
在本發明的一實施例中，上述的互動式投影方法，更包括：響應於手持裝置的深度值變化而放大或縮小第二虛擬圖像。
在本發明的一實施例中，上述的互動式投影方法，更包括：響應於手持裝置的深度值變化超過第一閾值而放大或縮小第二虛擬圖像。
在本發明的一實施例中，上述的互動式投影方法，更包括：響應於手持裝置的轉動而調整第二虛擬圖像的形狀。
在本發明的一實施例中，上述的互動式投影方法，更包括：響應於手持裝置的轉動超過第二閾值而調整第二圖像的形狀。
在本發明的一實施例中，上述的互動式投影方法，更包括：響應於虛擬畫布的第一深度值以及手持裝置的第二深度值的差異小於第三閾值而使第一虛擬圖像與第二虛擬圖像互動。
在本發明的一實施例中，上述的互動式投影方法，更包括：響應於手持裝置發生轉動而根據第一互動模式刷新第一虛擬圖像以及第二虛擬圖像；以及響應於手持裝置未發生轉動而根據不同於第一互動模式的第二互動模式刷新第一虛擬圖像以及第二虛擬圖像。
在本發明的一實施例中，上述的第一虛擬圖像包括虛擬物件，並且互動式投影方法更包括：基於第一互動模式而將虛擬物件從第一虛擬圖像轉移到第二虛擬圖像。
基於上述，相較於傳統的互動式投影機，本發明的互動式投影系統能為使用者提供更多類型的虛擬場景，並且使用者能通過手持裝置來與虛擬場景互動。在互動式投影機營造的虛擬場景中，使用者可以通過手持裝置進行諸如撈金魚、炒菜或打地鼠等活動。使用者使用相同的硬體設備即可體驗到多樣的虛擬場景。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。
圖1根據本發明的實施例繪示互動式投影系統10的功能方塊圖。參照圖1，互動式投影系統10包括投影機100以及手持裝置200。投影機100包括處理模組110、光源模組120、投影鏡頭模組130、深度攝影機140以及儲存媒體150。
處理模組110耦接光源模組120、投影鏡頭模組130、深度攝影機140以及儲存媒體150。處理模組110例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微控制單元（micro control unit，MCU）、微處理器（microprocessor）、數位信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC）、圖形處理器（graphics processing unit，GPU）、算數邏輯單元（arithmetic logic unit，ALU）或其他類似元件或上述元件的組合。
光源模組120提供照明光束。投影鏡頭模組130受控於處理模組110而將來自光源模組120的照明光束轉換為影像光束，並投影影像光束至一投影面以產生如圖3B所示的虛擬畫布300。處理模組110可配置光源模組120和投影鏡頭模組130以在虛擬畫布300上投影出虛擬場景或虛擬物件。
深度攝影機140例如是紅外線（infrared radiation，IR）攝影機，但本發明並不限制於此。在本實施例中，深度攝影機140用以偵測出現在投影鏡頭模組130所投影之影像光束的路徑上的手持裝置200，並且處理模組110可響應於偵測到手持裝置200而通過投影鏡頭模組130所投影的影像光束建立虛擬場景。深度攝影機140還可以偵測手持裝置200的深度值、位移或轉動等資訊。處理模組110可根據手持裝置200的深度值、位移或轉動刷新（refresh）投影鏡頭模組130所投影的影像光束。如此，使用者可以通過手持裝置200來與虛擬畫布300上的虛擬場景或虛擬物件互動。
儲存媒體150例如是任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或類似元件或上述元件的組合。在本實施例中，儲存媒體150儲存關聯於多種不同的虛擬場景的資料庫。
手持裝置200是具有可被投影圖像的表面之物件。舉例來說，手持裝置200的外觀可與乒乓球拍類似。在一些實施例中，手持裝置200對應於特定的虛擬場景。處理模組110可通過深度攝影機140辨識出手持裝置200並且判斷手持裝置200所對應的虛擬場景。接著，處理模組110可從儲存媒體150中的資料庫存取對應於手持裝置200的虛擬場景。處理模組110可響應於辨識出手持裝置200而通過投影鏡頭模組130所投影的影像光束建立對應於手持裝置200的虛擬場景。
舉例來說，若手持裝置200的表面印製有漁網的圖案，則處理模組110可通過深度攝影機140辨識出手持裝置200所對應的虛擬場景為金魚池。若手持裝置200的表面印製有鏟子的圖案，則處理模組110可通過深度攝影機140辨識出手持裝置200所對應的虛擬場景為花園。
在一些實施例中，互動式投影系統10更包括耦接於處理模組110的揚聲器160。在處理模組110建立完對應於手持裝置200的虛擬場景後，揚聲器160可以撥出與該虛擬場景相關的音效。
圖2根據本發明的實施例繪示由互動式投影系統10判斷虛擬場景的流程圖。在步驟S201中，處理模組110通過深度攝影機140偵測和辨識手持裝置200，並且判斷手持裝置200對應的虛擬場景。舉例來說，處理模組110可根據手持裝置200表面上的印刷圖案、手持裝置200的形狀或手持裝置200上的標籤（例如：射頻識別碼（RF ID）或QR碼）來判斷手持裝置200對應的虛擬場景。
在步驟S202中，處理模組110判斷儲存媒體150中的資料庫是否儲存了與手持裝置200相對應的虛擬場景的資訊。若所述資料庫未儲存與手持裝置200相對應的虛擬場景的資訊，則進入步驟S203。若所述資料庫儲存了與手持裝置200相對應的虛擬場景的資訊，則進入步驟S204。在步驟S203中，處理模組110判斷不建立對應於手持裝置200的虛擬場景。在步驟S204中，處理模組110判斷建立對應於手持裝置200的虛擬場景。
圖3A根據本發明的實施例繪示建立虛擬場景的流程圖，其中圖3A中的步驟可由如圖1所示的互動式投影系統10實施。在處理模組110判斷完與手持裝置200相對應的虛擬場景後，在步驟S301中，處理模組110通過投影鏡頭模組130在虛擬畫布300上投影出對應於虛擬場景的第一虛擬圖像310，其中第一虛擬圖像310可包括一或多個虛擬物件。此時，位於投影鏡頭模組130所投影之影像光束的路徑上的手持裝置200上也被投影了第一虛擬圖像310。
以圖3B為例，圖3B根據本發明的實施例繪示投影第一虛擬圖像310的示意圖。舉例來說，若處理模組110通過深度攝影機140辨識出與手持裝置200相對應的虛擬場景是金魚池，則處理模組110可通過投影鏡頭模組130在虛擬畫布300上投影出顯示為金魚池的第一虛擬圖像310，其中第一虛擬圖像310可包括顯示為金魚的虛擬物件311。此時，手持裝置200上也被投影了顯示為金魚池的第一虛擬圖像310。舉另一例來說，若處理模組110通過深度攝影機140辨識出與手持裝置200相對應的虛擬場景是花園，則處理模組110可通過投影鏡頭模組130在虛擬畫布300上投影出顯示為土壤的第一虛擬圖像310，其中第一虛擬圖像310可包括顯示為秧苗的虛擬物件311。此時，手持裝置200上也被投影了顯示為土壤的第一虛擬圖像310。
回到圖3A，在步驟S302中，處理模組110通過深度攝影機140偵測手持裝置200的三維座標，其中所述三維座標可包括手持裝置200的深度值。
在步驟S303中，處理模組110根據手持裝置200的三維座標而通過投影鏡頭模組130在手持裝置200上投影出對應於虛擬場景且不同於第一虛擬圖像310的第二虛擬圖像320，如圖3C所示。圖3C根據本發明的實施例繪示投影第二虛擬圖像320的示意圖。參照圖3B和3C，如圖3B所示的投影在手持裝置200上的第一虛擬圖像310將被如圖3C所示的第二虛擬圖像320取代。舉例來說，假設對應於手持裝置200的虛擬場景為金魚池，則處理模組110可通過投影鏡頭模組130在手持裝置200上投影出顯示為漁網的第二虛擬圖像320。
回到圖3A，在步驟S304中，處理模組110根據手持裝置200的位移或轉動來刷新第一虛擬圖像310及/或第二虛擬圖像320。舉例來說，處理模組110可通過如圖4A或5A所揭露的方法來刷新第一虛擬圖像310及/或第二虛擬圖像320。
圖4A根據本發明的實施例繪示刷新第二虛擬圖像320的流程圖，其中圖4A中的步驟可由如圖1所示的互動式投影系統10實施。在步驟S401中，處理模組110通過深度攝影機140偵測手持裝置200的位移，其中位移例如是水平的位移或垂直的位移。圖4B根據本發明的實施例繪示手持裝置200水平地移動的示意圖。在圖4B中，手持裝置200在水平的二維平面HP上移動，其中在二維平面HP上的每一點的深度值相同。圖4C根據本發明的實施例繪示手持裝置200垂直地移動的示意圖。在圖4C中，當手持裝置200垂直地移動時，深度攝影機140所量測的手持裝置200的深度值將會變化。在本實施例中，手持裝置200的深度值越高，代表手持裝置200越接近虛擬畫布300。手持裝置200的深度值越低，代表手持裝置200越遠離虛擬畫布300。
在一些實施例中，手持裝置200上可印製定位點以輔助處理模組110偵測手持裝置200的位移。以圖4C為例，若處理模組110通過深度攝影機140所偵測到手持裝置200上的定位點210變大，代表手持裝置200正向著投影鏡頭模組140移動並且遠離虛擬畫布300（即：手持裝置200的深度值降低）。換句話說，處理模組110可根據定位點210的尺寸變化來判斷手持裝置200的深度值變化。
回到圖4A，在步驟S402中，處理模組110判斷手持裝置200的深度值變化是否高於深度值閾值。若手持裝置200的深度值變化高於深度值閾值，則進入步驟S403。若手持裝置200的深度值變化未高於深度值閾值，則進入步驟S404。由於處理模組110會根據手持裝置200的深度值的變化來刷新投影在手持裝置200上的第二虛擬圖像320，因此，當持有手持裝置200的使用者無法穩定地操作手持裝置200而使得手持裝置200的深度值不斷地變化時，第二虛擬圖像320的刷新頻率將有可能過高。深度值閾值可經配置以使第二虛擬圖像320具有適當的刷新頻率。舉例來說，深度值閾值可配置為0.5公分。如此，處理模組110只有在手持裝置200的深度值的變化超過0.5公分時才判斷根據深度值變化刷新第二虛擬圖像320。
在步驟S403中，處理模組110根據手持裝置200的深度值變化而放大或縮小第二虛擬圖像320。以圖4C為例，處理模組110可以在手持裝置200的深度值變小時（即：手持裝置200向投影鏡頭模組130移動並且遠離虛擬畫布300），將投影在手持裝置200上的第二虛擬圖像320放大。若第二虛擬圖像320中存在虛擬物件311，則虛擬物件311也會一併被放大。另一方面，處理模組110可以在手持裝置200的深度值變大時（即：手持裝置200向虛擬畫布300移動並且遠離投影鏡頭模組130），將投影在手持裝置200上的第二虛擬圖像320縮小。若第二虛擬圖像320中存在虛擬物件311，則虛擬物件311也會一併被縮小。
回到圖4A，在步驟S404中，處理模組110通過深度攝影機140偵測手持裝置200的轉動。舉例來說，處理模組110可根據手持裝置200在二維平面HP2上的投影面積變化判斷手持裝置200是否轉動。圖4D根據本發明的實施例繪示手持裝置200轉動的示意圖。處理模組110可根據手持裝置200在二維平面HP上的投影面積從投影面積A1改變為投影面積A2而判斷手持裝置200發生轉動以及判斷出手持裝置200轉動的角度。圖4E根據本發明的實施例繪示具有定位點210的手持裝置200的示意圖。在一些實施例中，定位點210可用以輔助處理模組110判斷手持裝置200的轉動。舉例來說，處理模組110可通過深度攝影機140偵測定位點210的座標變化，從而根據定位點210的座標變化判斷手持裝置200轉動的角度。
回到圖4A，在步驟S405中，處理模組110判斷手持裝置200的轉動變化是否高於轉動閾值。若手持裝置200的轉動變化高於轉動閾值，則進入S406。若手持裝置200的轉動變化未高於轉動閾值，則進入S407。由於處理模組110會根據手持裝置200的轉動角度來刷新投影在手持裝置200上的第二虛擬圖像320，因此，當持有手持裝置200的使用者無法穩定地操作手持裝置200而使得手持裝置200不斷地轉動時，第二虛擬圖像320的刷新頻率將有可能過高。轉動閾值可經配置以使第二虛擬圖像320具有適當的刷新頻率。舉例來說，轉動閾值可配置為15度。如此，處理模組110只有在手持裝置200的轉動角度的變化超過15度時才判斷根據轉動角度刷新第二虛擬圖像320。
在步驟S406中，處理模組110根據手持裝置200的轉動調整第二虛擬圖像320的形狀。以圖4D為例，處理模組110可以在手持裝置200轉動後將投影在手持裝置200上的虛擬圖像由第二虛擬圖像320調整為適用於轉動後的手持裝置200的第三虛擬圖像321。舉例來說，若第二虛擬圖像320為漁網，則第三虛擬圖像321可以是傾斜的漁網。
回到圖4A，在步驟S407中，處理模組110刷新投影在手持裝置200上的第二虛擬圖像320。具體來說，處理模組110可根據步驟S403和步驟S406的執行結果來更新第二虛擬圖像320（例如：使第二虛擬圖像320放大、縮小或改變形狀），並且將更新後的第二虛擬圖像320投影至手持裝置200。
值得注意的是，步驟S401至步驟S407的執行順序並不限於如圖4A所示的流程。舉例來說，步驟S404至步驟S406可先於步驟S401至步驟S403被執行，本發明並不限制於此。
圖5A根據本發明的實施例繪示使第一虛擬圖像310與第二虛擬圖像320互動的流程圖，其中圖5A中的步驟可由如圖1所示的互動式投影系統10實施。在步驟S501中，處理模組110通過深度攝影機140偵測手持裝置200的位移和轉動。
在步驟S502中，處理模組110判斷虛擬畫布300的深度值與手持裝置200的深度值的差異是否小於深度值差異閾值。若虛擬畫布300的深度值與手持裝置200的深度值的差異小於深度值差異閾值，則進入步驟S504。若虛擬畫布300的深度值與手持裝置200的深度值的差異未小於深度值差異閾值，則進入步驟S503。
在步驟S503中，處理模組110不使投影在虛擬畫布300上的第一虛擬圖像310與投影在手持裝置200上的第二虛擬圖像320互動。
舉例來說，若第一虛擬圖像310為金魚池且第二虛擬圖像320為漁網，則第一虛擬圖像310的深度值與第二虛擬圖像320的深度值的差異過大代表漁網並沒有與金魚池的水面接觸。因此，處理模組110會將第一虛擬圖像310以及第二虛擬圖像320配置為不相互互動。相對來說，虛擬畫布300的深度值與手持裝置200的深度值的差異小於深度值差異閾值代表漁網與金魚池的水面接觸。因此，處理模組110會將第一虛擬圖像310以及第二虛擬圖像320配置為相互互動。
在步驟S504中，處理模組110判斷手持裝置200的轉動變化是否高於轉動閾值。若手持裝置200的轉動變化高於轉動閾值，則進入S505。若手持裝置200的轉動變化未高於轉動閾值，則進入S506。
在步驟S505中，處理模組110根據第一互動模式刷新第一虛擬圖像310以及第二虛擬圖像320。在步驟S506中，處理模組110根據第二互動模式刷新第一虛擬圖像310以及第二虛擬圖像320，其中第二互動模式不同於第一互動模式。簡單來說，手持裝置200被轉動時手持裝置200與虛擬畫布300的互動模式不同於手持裝置200未被轉動時手持裝置200與虛擬畫布300的互動模式。
圖5B根據本發明的實施例繪示相互互動後的第一虛擬圖像310以及第二虛擬圖像320的示意圖。如圖5B所示，在使用者啟動投影機100後，投影機100可以投影特定的虛擬場景供使用者遊玩。例如，在深度攝影機140偵測到手持裝置後，由於此時的手持裝置係為漁網造型，故投影機100根據漁網造型的手持裝置而可以對應的在虛擬畫布300投影出像是金魚池的第一虛擬圖像310。金魚池之中可具有像是金魚等類型的虛擬物件。投影機100並可在手持裝置200上投影出像是漁網的圖像。持有手持裝置200的使用者就像是拿著漁網一般。使用者可以將手持裝置200移向被投影成金魚池的虛擬畫布300。虛擬畫布300中的虛擬物件可以與手持裝置200產生互動。例如，轉動手持裝置200並向金魚移動時，金魚可被手持裝置200撈起。此外，虛擬畫布300中的第一虛擬圖像310也可與手持裝置200產生互動。例如，當手持裝置200水平移動時，手持裝置200可在金魚池的水面上產生漣漪。據此，互動式投影系統10提供使用者沉浸式的使用者體驗。
具體來說，假設投影在虛擬畫布300上的第一虛擬圖像310為金魚池，並且投影在手持裝置200上的第二虛擬圖像320為漁網。第一互動模式代表漁網能夠撈起金魚的互動模式，並且第二互動模式代表漁網不能夠撈起金魚的互動模式。當處理模組110執行第一互動模式時，若手持裝置200（即：漁網）十分接近第一虛擬圖像310（即：金魚池）中的虛擬物件311（即：金魚），則處理模組110可將虛擬物件311從第一虛擬圖像310轉移到第二虛擬圖像320。因此，虛擬物件311看起來就像是被手持裝置200自虛擬畫布300撈起。當處理模組110執行第二互動模式時，就算手持裝置200十分接近第一虛擬圖像310中的虛擬物件311，處理模組110也不會將虛擬物件311從第一虛擬圖像310轉移到第二虛擬圖像320。手持裝置200僅能在第一虛擬圖像310上產生漣漪（ripple）。
除了像是撈金魚的遊玩體驗之外，互動式投影系統10還可以提供使用者諸如炒菜或打地鼠等不同類型的遊玩體驗，本發明並不限制於此。
圖6根據本發明的實施例繪示互動式投影方法的流程圖，其中圖6中的步驟可由如圖1所示的互動式投影系統10實施。在步驟S601中，使投影機產生虛擬畫布。在步驟S602中，使用深度攝影機偵測對應於虛擬場景的手持裝置。在步驟S603中，響應於深度攝影機偵測到手持裝置而在虛擬畫布上投影出對應於虛擬場景的第一虛擬圖像，並且在手持裝置上投影出對應於虛擬場景的第二虛擬圖像，其中所述第二虛擬圖像與所述第一虛擬圖像不同。
綜上所述，本發明的互動式投影系統可偵測手持裝置，並且分別在虛擬畫布以及手持裝置上投影出不同的虛擬圖像。互動式投影系統可以響應於手持裝置的位移或轉動來使虛擬畫布上的虛擬圖像已及手持裝置上的虛擬圖像互動。透過本發明的互動式投影系統，投影機能為使用者提供更多類型的虛擬場景，並且使用者能以更多樣化的方式與虛擬場景互動。
用於本發明的所揭示實施例的詳細描述中的元件、動作或指令不應解釋為對本發明來說為絕對關鍵或必要的，除非明確地如此描述。而且，如本文中所使用，不定冠詞“一”可以包含大於一個項目。如果打算指僅一個項目，那麼將使用術語“單一”或類似語言。此外，如本文中所使用，在多個項目及/或多個項目種類的列表之前的術語“中的任一者”希望包含所述項目及/或項目種類個別地或結合其他項目及/或其他項目種類“中的任一者”、“中的任何組合”、“中的任何多個”及/或“中的多個的任何組合”。此外，如本文中所使用，術語“集合”意圖包含任何數目的項，包含零個。此外，如本文中所使用，術語“數目”意圖包含任何數目，包含零。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10‧‧‧互動式投影系統
100‧‧‧投影機
110‧‧‧處理模組
120‧‧‧光源模組
130‧‧‧投影鏡頭模組
140‧‧‧深度攝影機
150‧‧‧儲存媒體
160‧‧‧揚聲器
200‧‧‧手持裝置
210‧‧‧定位點
300‧‧‧虛擬畫布
310‧‧‧第一虛擬圖像
311‧‧‧虛擬物件
320‧‧‧第二虛擬圖像
321‧‧‧第三虛擬圖像
A1、A2‧‧‧投影面積
S201、S202、S203、S204、S301、S302、S303、S304、S401、S402、S403、S404、S405、S406、S407、S501、S502、S503、S504、S505、S506、S601、S602、S603‧‧‧步驟
圖1根據本發明的實施例繪示互動式投影系統的功能方塊圖。
圖2根據本發明的實施例繪示由互動式投影系統判斷虛擬場景的流程圖。
圖3A根據本發明的實施例繪示建立虛擬場景的流程圖。
圖3B根據本發明的實施例繪示投影第一虛擬圖像的示意圖。
圖3C根據本發明的實施例繪示投影第二虛擬圖像的示意圖。
圖4A根據本發明的實施例繪示刷新第二虛擬圖像的流程圖。
圖4B根據本發明的實施例繪示手持裝置水平地移動的示意圖。
圖4C根據本發明的實施例繪示手持裝置垂直地移動的示意圖。
圖4D根據本發明的實施例繪示手持裝置轉動的示意圖。
圖4E根據本發明的實施例繪示具有定位點的手持裝置的示意圖。
圖5A根據本發明的實施例繪示使第一虛擬圖像與第二虛擬圖像互動的流程圖。
圖5B根據本發明的實施例繪示相互互動後的第一虛擬圖像以及第二虛擬圖像的示意圖。
圖6根據本發明的實施例繪示互動式投影方法的流程圖。
S601、S602、S603‧‧‧步驟
Claims (14)
- 一種互動式投影系統，包括：手持裝置，對應於虛擬場景；以及投影機，包括：光源模組，提供照明光束；投影鏡頭模組，將所述照明光束轉換為影像光束，並投影所述影像光束以產生虛擬畫布；深度攝影機，偵測所述手持裝置；儲存媒體，儲存關聯於所述虛擬場景的資料庫；以及處理模組，耦接所述光源模組、所述投影鏡頭模組、所述深度攝影機以及所述儲存媒體，其中所述處理模組響應於所述深度攝影機偵測到所述手持裝置而存取所述資料庫，藉以通過所述投影鏡頭模組在所述虛擬畫布上投影出對應於所述虛擬場景的第一虛擬圖像，並且在所述手持裝置上投影出對應於所述虛擬場景的第二虛擬圖像，其中所述第二虛擬圖像與所述第一虛擬圖像不同，其中所述處理模組響應於所述手持裝置發生轉動而根據第一互動模式刷新所述第一虛擬圖像以及所述第二虛擬圖像，並且響應於所述手持裝置未發生轉動而根據不同於所述第一互動模式的第二互動模式刷新所述第一虛擬圖像以及所述第二虛擬圖像，其中所述第一虛擬圖像包括虛擬物件，其中所述處理模組基於所述第一互動模式而將所述虛擬物 件從所述第一虛擬圖像轉移到所述第二虛擬圖像。
- 如申請專利範圍第1項所述的互動式投影系統，其中所述處理模組根據所述手持裝置的位移刷新所述第一虛擬圖像以及所述第二虛擬圖像。
- 如申請專利範圍第2項所述的互動式投影系統，其中所述處理模組響應於所述手持裝置的深度值變化而放大或縮小所述第二虛擬圖像。
- 如申請專利範圍第3項所述的互動式投影系統，其中所述處理模組響應於所述手持裝置的所述深度值變化超過第一閾值而放大或縮小所述第二虛擬圖像。
- 如申請專利範圍第2項所述的互動式投影系統，其中所述處理模組響應於所述手持裝置的所述轉動而調整所述第二虛擬圖像的形狀。
- 如申請專利範圍第5項所述的互動式投影系統，其中所述處理模組響應於所述手持裝置的所述轉動超過第二閾值而調整所述第二圖像的所述形狀。
- 如申請專利範圍第2項所述的互動式投影系統，其中所述處理模組響應於所述虛擬畫布的第一深度值以及所述手持裝置的第二深度值的差異小於第三閾值而使所述第一虛擬圖像與所述第二虛擬圖像互動。
- 一種互動式投影方法，包括：使投影機產生虛擬畫布； 使用深度攝影機偵測對應於虛擬場景的手持裝置；響應於所述深度攝影機偵測到所述手持裝置而在所述虛擬畫布上投影出對應於所述虛擬場景的第一虛擬圖像，並且在所述手持裝置上投影出對應於所述虛擬場景的第二虛擬圖像，其中所述第一虛擬圖像包括虛擬物件且所述第二虛擬圖像與所述第一虛擬圖像不同；響應於所述手持裝置發生轉動而根據第一互動模式刷新所述第一虛擬圖像以及所述第二虛擬圖像並基於所述第一互動模式而將所述虛擬物件從所述第一虛擬圖像轉移到所述第二虛擬圖像；以及響應於所述手持裝置未發生轉動而根據不同於所述第一互動模式的第二互動模式刷新所述第一虛擬圖像以及所述第二虛擬圖像。
- 如申請專利範圍第8項所述的互動式投影方法，更包括：根據所述手持裝置的位移刷新所述第一虛擬圖像以及所述第二虛擬圖像。
- 如申請專利範圍第9項所述的互動式投影方法，更包括：響應於所述手持裝置的深度值變化而放大或縮小所述第二虛擬圖像。
- 如申請專利範圍第10項所述的互動式投影方法，更包括： 響應於所述手持裝置的所述深度值變化超過第一閾值而放大或縮小所述第二虛擬圖像。
- 如申請專利範圍第9項所述的互動式投影方法，更包括：響應於所述手持裝置的所述轉動而調整所述第二虛擬圖像的形狀。
- 如申請專利範圍第12項所述的互動式投影方法，更包括：響應於所述手持裝置的所述轉動超過第二閾值而調整所述第二圖像的所述形狀。
- 如申請專利範圍第9項所述的互動式投影方法，更包括：響應於所述虛擬畫布的第一深度值以及所述手持裝置的第二深度值的差異小於第三閾值而使所述第一虛擬圖像與所述第二虛擬圖像互動。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862674577P | 2018-05-21 | 2018-05-21 | |
| US62/674,577 | 2018-05-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202004427A TW202004427A (zh) | 2020-01-16 |
| TWI735882B true TWI735882B (zh) | 2021-08-11 |
Family
ID=68622422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108117476A TWI735882B (zh) | 2018-05-21 | 2019-05-21 | 互動式投影系統和互動式投影方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10921935B2 (zh) |
| CN (1) | CN110507983A (zh) |
| TW (1) | TWI735882B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114827561B (zh) * | 2022-03-07 | 2023-03-28 | 成都极米科技股份有限公司 | 投影控制方法、装置、计算机设备和计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150179147A1 (en) * | 2013-12-20 | 2015-06-25 | Qualcomm Incorporated | Trimming content for projection onto a target |
| CN107846582A (zh) * | 2017-11-21 | 2018-03-27 | 深圳市至高乐商业管理有限公司 | 一种投影沙池的图像处理方法和系统 |
| CN107925739A (zh) * | 2015-09-02 | 2018-04-17 | 株式会社万代南梦宫娱乐 | 投影系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9569001B2 (en) * | 2009-02-03 | 2017-02-14 | Massachusetts Institute Of Technology | Wearable gestural interface |
| CN201899867U (zh) * | 2010-09-29 | 2011-07-20 | 上海科睿展览展示工程科技有限公司 | 一种模拟游戏系统 |
| US9329469B2 (en) * | 2011-02-17 | 2016-05-03 | Microsoft Technology Licensing, Llc | Providing an interactive experience using a 3D depth camera and a 3D projector |
| US8902158B2 (en) * | 2011-10-21 | 2014-12-02 | Disney Enterprises, Inc. | Multi-user interaction with handheld projectors |
| US10657694B2 (en) * | 2012-10-15 | 2020-05-19 | Tangible Play, Inc. | Activity surface detection, display and enhancement of a virtual scene |
| US11003305B2 (en) * | 2016-11-18 | 2021-05-11 | Zspace, Inc. | 3D user interface |
| JP2019057903A (ja) * | 2016-12-28 | 2019-04-11 | 株式会社リコー | 画像処理装置、撮影システム、画像処理方法、及びプログラム |
| CN106897688B (zh) * | 2017-02-21 | 2020-12-08 | 杭州易现先进科技有限公司 | 交互式投影装置、控制交互式投影的方法和可读存储介质 |
| US10911512B2 (en) * | 2017-09-05 | 2021-02-02 | Amazon Technologies, Inc. | Personalized content streams using aligned encoded content segments |
| US10339718B1 (en) * | 2017-12-29 | 2019-07-02 | Verizon Patent And Licensing Inc. | Methods and systems for projecting augmented reality content |
-
2019
- 2019-05-21 US US16/417,653 patent/US10921935B2/en active Active
- 2019-05-21 CN CN201910426178.5A patent/CN110507983A/zh active Pending
- 2019-05-21 TW TW108117476A patent/TWI735882B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150179147A1 (en) * | 2013-12-20 | 2015-06-25 | Qualcomm Incorporated | Trimming content for projection onto a target |
| CN105830439A (zh) * | 2013-12-20 | 2016-08-03 | 高通股份有限公司 | 微调用于投影到目标上的内容 |
| CN107925739A (zh) * | 2015-09-02 | 2018-04-17 | 株式会社万代南梦宫娱乐 | 投影系统 |
| CN107846582A (zh) * | 2017-11-21 | 2018-03-27 | 深圳市至高乐商业管理有限公司 | 一种投影沙池的图像处理方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200257406A1 (en) | 2020-08-13 |
| CN110507983A (zh) | 2019-11-29 |
| US10921935B2 (en) | 2021-02-16 |
| TW202004427A (zh) | 2020-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230415030A1 (en) | Virtualization of Tangible Interface Objects | |
| US8872854B1 (en) | Methods for real-time navigation and display of virtual worlds | |
| US10373342B1 (en) | Content generation in an immersive environment | |
| TWI442311B (zh) | 在遊戲中使用三維環境模型 | |
| RU2745828C1 (ru) | Способ и система для автоматизированного предохранения от столкновений и сохранения композиции камеры | |
| WO2019200719A1 (zh) | 三维人脸模型生成方法、装置及电子设备 | |
| WO2019200718A1 (zh) | 图像处理方法、装置及电子设备 | |
| US20120264514A1 (en) | Electronic device and three-dimensional effect simulation method | |
| US20130285919A1 (en) | Interactive video system | |
| JP6318279B1 (ja) | 情報処理方法、装置、及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
| TWI735882B (zh) | 互動式投影系統和互動式投影方法 | |
| TWI736083B (zh) | 動作預測的方法及系統 | |
| TW201528052A (zh) | 互動系統和互動方法 | |
| US20240070973A1 (en) | Augmented reality wall with combined viewer and camera tracking | |
| US20240163527A1 (en) | Video generation method and apparatus, computer device, and storage medium | |
| JP2018102364A (ja) | 情報処理方法、装置、及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
| WO2019241712A1 (en) | Augmented reality wall with combined viewer and camera tracking | |
| JP2018102378A (ja) | 情報処理方法、装置、及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
| JP6902461B2 (ja) | 情報処理方法、装置、及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
| JP6263293B1 (ja) | 情報処理方法、装置、及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
| TWI794512B (zh) | 用於擴增實境之系統及設備及用於使用一即時顯示器實現拍攝之方法 | |
| US10740958B2 (en) | Augmented reality background for use in live-action motion picture filming | |
| JP2018102987A (ja) | 情報処理方法、装置、及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
| US10936124B2 (en) | Interactive projection system and interactive projection method | |
| WO2016057997A1 (en) | Support based 3d navigation |