TWI757941B - 影像處理系統以及影像處理裝置 - Google Patents

影像處理系統以及影像處理裝置 Download PDF

Info

Publication number
TWI757941B
TWI757941B TW109137783A TW109137783A TWI757941B TW I757941 B TWI757941 B TW I757941B TW 109137783 A TW109137783 A TW 109137783A TW 109137783 A TW109137783 A TW 109137783A TW I757941 B TWI757941 B TW I757941B
Authority
TW
Taiwan
Prior art keywords
image information
image processing
project
processing device
image
Prior art date
Application number
TW109137783A
Other languages
English (en)
Other versions
TW202217517A (zh
Inventor
楊鈞翔
丁志宏
張凱傑
林大凱
李昱賢
Original Assignee
幻景啟動股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 幻景啟動股份有限公司 filed Critical 幻景啟動股份有限公司
Priority to TW109137783A priority Critical patent/TWI757941B/zh
Priority to US17/204,020 priority patent/US11687166B2/en
Application granted granted Critical
Publication of TWI757941B publication Critical patent/TWI757941B/zh
Publication of TW202217517A publication Critical patent/TW202217517A/zh

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0062Stacked lens arrays, i.e. refractive surfaces arranged in at least two planes, without structurally separate optical elements in-between
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本發明公開一種影像處理系統。影像處理系統包括一電子裝置以及一影像處理裝置。影像處理裝置連接電子裝置。影像處理裝置顯示一浮空的三維輸入裝置影像資訊。影像處理裝置通過三維輸入裝置影像資訊與一物體進行互動以產生多個控制訊號,並傳送多個控制訊號至電子裝置。

Description

影像處理系統以及影像處理裝置
本發明涉及一種影像處理系統以及影像處理裝置,特別是涉及一種可以直觀地處理影像資訊的影像處理系統以及影像處理裝置。
目前的影像處理系統,只能從顯示裝置上進行判斷設計結果。若是處理得影像資訊是產品模型甚至室內設計,雖然可以在螢幕上做各種角度的翻轉,不過仍然不及直接顯示在使用者的眼前來的直觀。
因此,提供一種能夠直觀地處理以及顯示影像資訊的影像處理系統,已成為該項事業所欲解決的重要課題之一。
本發明所要解決的技術問題在於,針對現有技術的不足提供一種影像處理系統,包括:一電子裝置;一影像處理裝置,連接所述電子裝置;其中,所述影像處理裝置顯示一浮空的三維輸入裝置影像資訊,所述影像處理裝置通過所述三維輸入裝置影像資訊與一物體進行互動以產生多個控制訊號,並傳送所述多個控制訊號至所述電子裝置。
本發明的其中一有益效果在於,本發明所提供的影像處理系統以及影像處理裝置,除了可以完成一般在電腦上的影像處理程序之外,還可以直接地將二維或是三維的影像資訊顯示在影像處理裝置的上方空間。使用者可以直接與顯示的三維影像資訊進行互動,利用手勢、音頻資訊對三維影像資訊進行控制與調整。
為使能更進一步瞭解本發明的特徵及技術內容,請參閱以下有關本發明的詳細說明與圖式,然而所提供的圖式僅用於提供參考與說明,並非用來對本發明加以限制。
以下是通過特定的具體實施例來說明本發明所公開有關“影像處理系統”的實施方式,本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用,本說明書中的各項細節也可基於不同觀點與應用,在不背離本發明的構思下進行各種修改與變更。另外,本發明的附圖僅為簡單示意說明,並非依實際尺寸的描繪,事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容,但所公開的內容並非用以限制本發明的保護範圍。另外,本文中所使用的術語“或”,應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。
[第一實施例]
參閱圖1以及圖2,圖1是本發明第一實施例的影像處理系統的示意圖。 圖2是本發明第一實施例的影像處理系統的功能方塊圖。
影像處理系統SYS1包括一電子裝置1以及一影像處理裝置2。影像處理裝置2連接電子裝置1。電子裝置1是一桌上型電腦、一筆記型電腦、一平板電腦、一智能手機、一穿戴式電子裝置或是一伺服器。在本實施例中,電子裝置1是一筆記型電腦。
在本實施例中,電子裝置1以及影像處理裝置2可以分別包括一有線通訊模組或是一無線通訊模組,用於進行通訊連接。
影像處理裝置2可以用於顯示二維影像資訊或是顯示三維影像資訊。當影像處理裝置2用於顯示二維影像資訊時,使用者可以通過直視影像處理裝置2的上側平面進行觀看,或是顯示在影像處理裝置2的上方,如圖1所示,以二維影像資訊的方式顯示在影像處理裝置2的上方。當影像處理裝置2用於顯示三維影像資訊時,三維影像資訊則會通過光場原理,顯示在影像處理裝置2上側的空間中。也就是,在本實施例中,影像處理裝置2所顯示的三維影像資訊是懸浮在影像處理裝置2的上方空間中。使用者可以用手或是其他道具、工具與影像處理裝置2顯示的懸浮的三維影像資訊進行互動。使用者可以與三維影像資訊做直接的互動。而不需要通過穿戴式的顯示裝置,與顯示裝置中的虛擬影像進行互動。
在本實施例中,影像處理裝置2是顯示一浮空的三維輸入裝置影像資訊ING。影像處理裝置2可以通過三維輸入裝置影像資訊ING1與一物體OB進行互動以產生多個控制訊號,並傳送多個控制訊號至電子裝置1。
電子裝置1包括一第一控制器11、一第一儲存模組12、一第一顯示模組13、一第一通訊模組14以及一第一連接模組15。
第一控制器11連接一第一儲存模組12、一第一顯示模組13、一第一通訊模組14以及一第一連接模組15。影像處理裝置2則是包括一第二控制器21、一第二儲存模組22、一第二顯示模組23、一第二通訊模組24以及一第二連接模組25。第二控制器21電性連接第二儲存模組22、第二顯示模組23、第二通訊模組24。
請參閱圖3,圖3是本發明第一實施例的影像處理裝置的結構示意圖。第二顯示模組23包括一平面顯示模組231、一透鏡陣列層232以及一微結構層233。平面顯示模組231具有一顯示面2311。平面顯示模組231用於提供二維的影像資訊,通過透鏡陣列層232以及微結構層233進行顯示一三維的影像資訊。透鏡陣列層232設置於平面顯示模組231的顯示面2311上,接收二維的影像資訊的光線進行調整,透鏡陣列層232包含多個透鏡2321。透鏡陣列層232用於調控光場。
微結構層233設置於透鏡陣列層232上。微結構層233包括多個微結構。微結構層233用於調變光線角度方向。微結構層33接收穿透透鏡陣列層232的光線進行調整,以使第二影像顯示裝置3顯示漂浮在第二顯示模組23一側的空間中的三維影像資訊。
透鏡陣列層232的透鏡2321符合造鏡者公式:1/f=(n-1)(1/R1+1/R2),其中R1和R2分別為透鏡2321兩邊的曲率半徑,f是透鏡焦距,n是透鏡折射率。
此外,微結構層233是一動態光學元件層。也就是,微結構層233具有一微結構功能模式以及一無微結構功能模式。微結構層233 可以根據一控制訊號進行調整為微結構功能模式以及無微結構功能模式。當微結構層233切換為微結構功能模式時,能用於調變光線角度方向。當微結構層233切換為無微結構功能模式時,則第二影像顯示裝置23用於顯示二維影像資訊,不會顯示漂浮在第二影像顯示裝置3一側的空間中的三維影像資訊。微結構層233是一液晶透鏡陣列層(Liquid Lens Layer),包括多個微結構液晶透鏡,透鏡陣列層也是一液晶透鏡陣列層(Liquid Lens Layer),包括多個光學調整液晶透鏡。也就是,第二影像顯示裝置23是一至少包括兩層液晶透鏡陣列層的顯示裝置,在其他實施例中,第二影像顯示裝置3可以包括更多層液晶透鏡陣列層進行光線調整。再者,在其他實施例中,第二影像顯示裝置23可以在不同區域設置不同數量的第二影像顯示裝置3進行光線調整。此外,透鏡陣列層232包括一第一結構透鏡陣列層(圖未示)以及一第二結構透鏡陣列層(圖未示)。第一結構透鏡陣列層(圖未示)具有透鏡結構,能用於調控光場,第二結構透鏡陣列層(圖未示)則不具有透鏡結構。
請參閱圖4,圖4是本發明第一實施例的影像處理系統提供另一三維輸入裝置影像資訊的示意圖。
在本實施例中,當影像處理裝置2顯示一三維輸入裝置影像資訊ING1時,影像處理裝置2還可以顯示一切換鍵影像資訊SWG。影像處理裝置2可以通過使用者或是物體OB與切換鍵影像資訊SWG進行互動,而產生切換訊號。影像處理裝置2會將切換訊號傳送至電子裝置1,電子裝置1則根據切換訊號而顯示另一個三維輸入裝置影像資訊ING1,例如:三維的鍵盤裝置影像資訊。
請參閱圖5、圖 6、圖7以及圖8,圖5是本發明第一實施例的影像處理系統顯示專案影像資訊的示意圖。圖6是本發明第一實施例的影像處理系統顯示專案影像資訊,而且專案影像資訊與一物體進行互動的示意圖。圖7是本發明第一實施例的影像處理系統將專案影像資訊以爆炸圖進行顯示的示意圖。圖8是本發明的專案影像資訊與物體互動的示意圖。
在本實施例中,影像處理系統SYS1還包括一感測器3,設置在電子裝置1或是影像處理裝置2上。感測器3也可以獨立設置。感測器3是一可見光影像擷取單元、一熱成像影像擷取單元、一紅外線影像擷取單元或是一超聲波偵測單元。感測器3是用於擷取物體OB的多個三維座標值CV2以及專案影像資訊PG1的多個三維座標值CV1。
物體OB是一使用者的手部、一道具或是一工具。也就是,使用者可以直接用自己的四肢或是筆型道具等,直接跟三維影像資訊進行接觸。
此外,影像處理系統SYS1還包括一麥克風MP以及一揚聲器SP,麥克風MP以及揚聲器SP連接電子裝置1以及影像處理裝置2。使用者可以利用音頻控制訊號,通過麥克風MP以及揚聲器SP,對第一維輸入裝置影像資訊ING1進行控制與互動。
三維輸入裝置影像資訊ING1是一滑鼠裝置影像資訊、一鍵盤影像資訊、一觸控板裝置影像資訊或是一手寫板裝置影像資訊。
影像處理裝置2可以通過三維輸入裝置影像資訊ING1與物體OB的互動,產生多個控制訊號,並傳送多個控制訊號給電子裝置1。
使用者可以利用手部對三維輸入裝置影像資訊ING1進行點按,感測器3則會偵測使用者的手部的多個三維座標值CV2,例如手指指尖的座標值、手指關節的座標值,以判斷使用者的手部(物體OB)與三維輸入裝置影像資訊ING1的互動狀況。當使用者點按三維輸入裝置影像資訊ING1的左鍵或是右鍵時,感測器3偵測到使用者的右手食指做了點按動作,感測器3就會將使用者的右手食指的座標值變化率提供給影像處理裝置2,以進行判斷並根據使用者的右手食指的座標值變化率,對應地提供一點按控制訊號(click control signal)給電子裝置1。
電子裝置1中則是設置一第一程式。第一程式可以是一3D繪圖程式或是一遊戲程式。電子裝置1根據影像處理裝置2傳送的所述多個控制訊號,對第一程式進行調控,例如,對第一程式中的一專案進行調整或是控制。
假設第一程式是一3D繪圖程式,而三維輸入裝置影像資訊ING1則是一滑鼠裝置影像資訊。使用者就可以利用點擊或是移動三維輸入裝置影像資訊ING對3D繪圖程式中的專案進行調整或是控制。
當第一程式中的專案是對二維影像資訊或是三維影像資訊進行建構或是繪製時,第一程式中的專案的專案影像資訊PG1-2D可以通過影像處理裝置2進行顯示。也就是,影像處理裝置2可以作為第一程式中的專案的專案影像資訊PG1-2D的顯示裝置。由於影像處理裝置2可以顯示三維影像資訊以及二維影像資訊,第一程式中的專案影像資訊PG1-2D(在電子裝置1上顯示的影像資訊)可以直接地以三維形式或是二維形式顯示在影像處理裝置2的上方空間之中。
此外,使用者與影像處理裝置2的專案影像資訊PG1也可以進行互動。首先,使用者可以通過不同手勢對專案影像資訊PG1進行放大縮小的動作。例如,放大拇指與食指之間距離,將專案影像資訊PG1進行放大。或是縮小拇指與食指之間距離,將專案影像資訊PG1進行縮小。此外,使用者也可以利用兩隻手分別拉住三維的專案影像資訊PG1不同的兩個角落,做較為明顯的放大動作或是縮小動作。
再者,使用者也可以利用手勢對專案影像資訊PG1進行各種角度旋轉。 例如向左180度旋轉、向上180度旋轉、向右45度旋轉等。如圖5以及圖6所示。
此外,當專案影像資訊PG1包括多個專案子影像資訊PG1-1-PG1-2時,物體OB的多個三維座標值CV2就可以與多個專案子影像資訊PG1-1-PG1-2的其中之一的多個第一三維座標值進行互動,以決定多個專案子影像資訊的其中之一的多個第二三維座標值。
如圖7所示,當專案影像資訊PG1包括多個專案子影像資訊PG1-1-PG1-2時,而且多個專案子影像資訊PG1-1-PG1-2彼此之間可以分離。使用者可以利用手部或是道具讓多個專案子影像資訊PG1-1-PG1-2以分離方式進行顯示,例如三維形式的爆炸圖。使用者也可以通過拆解的方式對專案影像資訊PG1對專案子影像資訊PG1-1或是專案影像資訊PG1-2進行單獨處理。
使用者可以利用與移動實際物件的方式,選取多個專案子影像資訊PG1-1-PG1-2的其中之一並進行移動,以讓多個專案子影像資訊PG1-1-PG1-2的其中之一的三維座標值產生變化,從多個第一三維座標值移動到多個第二三維座標值。此外,多個專案子影像資訊PG1-1-PG1-2的其中之一的多個第一三維座標值不同於對應的多個第二三維座標值。
此外,請參閱圖8,使用者也可以將專案影像資訊PG1、專案子影像資訊PG1-1或是專案子影像資訊PG1-2進行放大、縮小、或是進一步調整形狀的調整動作。而且,使用者與三維的專案影像資訊PG1進行互動而做的調整結果,也可以儲存在電子裝置1的第一程式的專案之中。
在本實施例中,第一控制器11以及第二控制器21可以是一中央處理器(CPU)、一特殊應用積體電路(ASIC)、一圖像處理器(GPU)或是一微處理器(MCU)。第一儲存模組12以及第二儲存模組22則是一快閃記憶體、一唯讀記憶體、一可規化唯讀記憶體、一電可改寫唯讀記憶體、一可擦可規化唯讀記憶體或是一電可擦可規化唯讀記憶體。
第一通訊模組14以及第二通訊模組24可以分別包括一有線通訊單元(圖未示)以及一無線通訊單元(圖未示)。第一通訊模組14以及第二通訊模組24各自的有線通訊單元(圖未示)也可以獨立設置以與伺服器9進行通信連接,接收伺服器9的控制訊號或是伺服器9資料庫(圖未示)中的資料。第一通訊模組14以及第二通訊模組24的無線通訊單元(圖未示)則可以是一Wi-Fi通訊單元、一藍牙通訊單元、一紫蜂通訊單元(Zigbee)、一LoRa通訊單元、一Sigfox通訊單元或是一NB-IoT通訊單元。在本實施例中,感測器3是一影像擷取單元(CCD)。第一顯示模組13以及第二顯示模組23可以是一液晶顯示器、一微型發光二極體顯示(MicroLED DISPLAY)或是一有機發光二極體顯示器(OLED DISPLAY)。第一連接模組15可以是一type-A USB連接器、一Lightning連接器、一type-C USB連接器或是一micro-USB連接器。
此外,在本實施例中,二維影像資訊或是三維影像資訊可以在電子裝置1、影像處理裝置2或是伺服器9中進行計算,在本發明中不做限制。在伺服器9上進行計算,則是通過遠端的伺服器9進行雲端運算後,再將二維的影像資訊或是三維的影像資訊傳送到電子裝置1或是影像處理裝置2。
[第二實施例]
請參閱圖9、圖10以及圖11,圖9是本發明第二實施例的一專案影像資訊與一物體進行即時互動的示意圖。圖10是本發明第二實施例的一專案影像資訊與一物體進行即時互動的另一示意圖。圖11是本發明第二實施例的一專案影像資訊與一物體進行即時互動的另一示意圖。
在本實施例中,電子裝置1以及影像處理裝置2可以將一陶土影像資訊TG在影像處理裝置2的一側進行顯示。電子裝置1上可以顯示一二維的陶土影像資訊TG-2D。影像處理裝置2則可以顯示三維的陶土影像資訊TG。電子裝置1或是影像處理裝置2可以根據製作陶器或是瓷器的方式將陶土影像資訊TG進行轉動。也就是讓陶土影像資訊TG(三維的專案影像資訊)依據一個預定角速度進行轉動。預定角速度可以根據使用者需求在製作過程進行調整。
如圖9所示,使用者可以利用雙手,與陶土影像資訊TG進行互動,以使陶土影像資訊TG產生形變,以產生一形變後的的陶土影像資訊TG,也就是形變後的三維專案影像資訊。也就是,使用者可以利用本實施例的影像處理系統,與陶土影像資訊TG通過手部互動,以完成一個手工製作的模型。
在本實施例中,陶土影像資訊TG的形變狀態是根據陶土本身的剛性、黏稠度等特性,以及使用者手部的姿勢所決定。
進一步地說,在本實施例中,電子裝置1以及影像處理裝置2會根據陶土影像資訊TG的多個表面座標值與使用者手指表面的多個座標值進行計算,並根據使用者手指表面的座標值或是使用者手部表面的座標值的變化程度(每秒的座標變化率)以及陶土影像資訊TG旋轉時的角速度,以計算陶土影像資訊TG的相對應變化。
在本實施例中,電子裝置1或是影像處理裝置2可以利用一感測器26,偵測物體OB(使用者手部)的一預定偵測點的座標值,例如使用者的食指、電子互動手套ECL的至少一個預定座標值、筆型互動元件PT的筆尖的預定座標值。感測器3會持續記錄物體OB的預定偵測點在一預定時間內的一移動軌跡。感測器3會傳送物體OB的預定偵測點在預定時間內的移動軌跡的多個座標值給電子裝置1的控制器(圖未示)或是影像處理裝置2的控制器(圖未示)。電子裝置1的控制器(圖未示)或是影像處理裝置2的控制器(圖未示)則會通過第二顯示模組將移動軌跡與陶土影像資訊TG上進一步顯示。也就是,使用者可以利用影像處理裝置2直接對陶土影像資訊TG進行互動,甚至示繪製出設置在陶土影像資訊TG表面上的線條、平面構圖或是立體構圖。
使用者還可以利用筆型互動元件或是電子互動手套在影像處理裝置2的一側的空間中繪製出多個軌跡。再將這些軌跡進行移動、調整或是連接,再將這些軌跡設置在陶土影像資訊TG的表面。
此外,影像處理裝置2中的第二程式,包括多個功能處理程序,對應多個三維功能按鈕FBN。多個三維功能按鈕FBN則是通過第二顯示模組23”,與陶土影像資訊相同地顯示在影像處理裝置2的一側的空間中。
使用者可以選擇多個三維功能按鈕FBN的其中一個,例如,著色、放大、調整材質等,對陶土影像資訊TG進行部分區域或是全部區域的處理。
也就是,使用者可以選擇性的對多個軌跡形成的平面區域、立體區域或是全部區域進行處理。
此外,影像處理裝置2可以通過通訊模組(圖未示)與一伺服器(圖未示)進行通訊連接。伺服器(圖未示)可以承擔大量的三維專案影像資訊3DG的多個軌跡的計算。也就是,在本實施例中,二維的影像資訊以及三維的影像資訊的運算可以由影像處理裝置2進行處理,也可以通過遠端的伺服器(圖未示)進行雲端運算,再將計算後的二維的影像資訊以及三維的影像資訊傳送到影像處理裝置2。
請參閱圖12至圖14,影像處理系統SYS1可以如圖12至圖14所示,電子裝置1是一智能手機MD,連接影像處理裝置2。此外,電子裝置1還可以包括:一平板電腦、一桌上型電腦或是一智能手錶。再者,使用者可以如圖12至圖14利用手指OB、筆型互動元件PT、電子互動手套ECL等方式與影像處理裝置2的三維影像資訊進行互動、調控。
[第三實施例]
請參閱圖15、圖16以及圖17,圖15是本發明第三實施例的影像處理裝置的示意圖。圖16是本發明第三實施例的影像處理裝置的功能方塊圖。圖17是本發明第三實施例的影像處理裝置的另一示意圖。
請參閱圖15以及圖16,影像處理裝置2’包括一第二控制器21’、一第二儲存模組22’、一第二顯示模組23’、一第二通訊模組24’以及一第二連接模組25’。第二控制器21’電性連接第二儲存模組22’、第二顯示模組23’、第二通訊模組24’以及第二連接模組25’。
第二顯示模組23’可以顯示一二維影像資訊以及一三維影像資訊。
在本實施例中,第二控制器21’可以是一中央處理器(CPU)、一特殊應用積體電路(ASIC)、一圖像處理器(GPU)或是一微處理器(MCU)。
第二儲存模組22’則是一快閃記憶體、一唯讀記憶體、一可規化唯讀記憶體、一電可改寫唯讀記憶體、一可擦可規化唯讀記憶體或是一電可擦可規化唯讀記憶體。
第二通訊模組24’可以分別包括一有線通訊單元(圖未示)以及一無線通訊單元(圖未示)。第二通訊模組24’的有線通訊單元(圖未示)也可以獨立設置。第二通訊模組24’的無線通訊單元(圖未示)則可以是一Wi-Fi通訊單元、一藍牙通訊單元、一紫蜂通訊單元(Zigbee)、一LoRa通訊單元、一Sigfox通訊單元或是一NB-IoT通訊單元。在本實施例中,感測器3是一影像擷取單元(CCD)。第二顯示模組23’可以是一液晶顯示器、一微型發光二極體顯示(MicroLED DISPLAY)或是一有機發光二極體顯示器(OLED DISPLAY)。
第二連接模組25’可以是一type-A USB連接器、一Lightning連接器、一type-C USB連接器或是一micro-USB連接器。
此外,第二顯示模組23’還包括一觸控處理單元(圖未示),可以接收多個觸控訊號。
再者,影像處理裝置2’中設置一第二程式。第二程式是一影像處理程式,用於處理二維影像資訊或是三維影像資訊。
首先,使用者可以利用觸控方式或是連接第二連接模組25’的外部輸入裝置(滑鼠裝置、鍵盤裝置、觸控筆、繪圖板等),對影像處理裝置2’的第二程式進行控制以處理影像資訊。
此外,影像處理裝置2’可以顯示對應第二程式中處理影像資訊的多個處理按鍵的二維影像資訊或是三維影像資訊。此外,影像處理裝置2’還可以將顯示第二程式處理的專案影像資訊PG’的三維影像資訊。
如圖16所示,專案影像資訊PG’是一三維影像資訊。在本實施例中,當專案影像資訊PG’通過以影像處理裝置2’以三維影像資訊的方式顯示時,使用者可以利用手部或是道具,以調整專案影像資訊PG’的內容。此時,使用者調整專案影像資訊PG’的內容,專案影像資訊PG’的調整內容會同時儲存在影像處理裝置2’的第二儲存模組22’中。影像處理裝置2’可以通過第二通訊模組24’傳送專案影像資訊PG’的資料到一伺服器9。
在本實施例中,影像處理裝置2’還可以包括一麥克風MP以及一揚聲器SP。麥克風MP以及揚聲器SP連接影像處理裝置2’。
使用者可以利用音頻控制訊號,通過麥克風MP以及揚聲器SP,對影像處理裝置2’的二維影像資訊或是三維影像資訊進行控制與互動。
此外,影像處理裝置2’可以通過通訊模組(圖未示)與一伺服器(圖未示)進行通訊連接。伺服器(圖未示)可以承擔大量的三維專案影像資訊的計算。也就是,在本實施例中,二維的影像資訊以及三維的影像資訊的運算可以由影像處理裝置2’進行處理,也可以通過遠端的伺服器(圖未示)進行雲端運算,再將計算後的二維的影像資訊以及三維的影像資訊傳送到影像處理裝置2’。
[第四實施例]
請參閱圖18、圖19、圖20、圖21以及圖22, 圖18是本發明第四實施例的影像處理裝置的示意圖。圖19是本發明第四實施例的影像處理裝置的另一示意圖。圖20是本發明第四實施例的影像處理裝置的另一示意圖。圖21是本發明第四實施例的影像處理裝置的另一示意圖。圖22是本發明第四實施例的影像處理裝置的功能方塊圖。
在本實施例中,影像處理裝置2”包括一第二控制器21”、一第二儲存模組22”、一第二顯示模組23”、一第二通訊模組24”、一第二連接模組25”以及一感測器26”。第二控制器21”電性連接第二儲存模組22”、第二顯示模組23”、第二通訊模組24”以及第二連接模組25”以及感測器26”。
第二顯示模組23”可以顯示一二維影像資訊以及一三維影像資訊。
在本實施例中,第二控制器21”可以是一中央處理器(CPU)、一特殊應用積體電路(ASIC)、一圖像處理器(GPU)或是一微處理器(MCU)。
第二儲存模組22”則是一快閃記憶體、一唯讀記憶體、一可規化唯讀記憶體、一電可改寫唯讀記憶體、一可擦可規化唯讀記憶體或是一電可擦可規化唯讀記憶體。
第二通訊模組24”可以分別包括一有線通訊單元(圖未示)以及一無線通訊單元(圖未示)。第二通訊模組24”的有線通訊單元(圖未示)也可以獨立設置。第二通訊模組24”的無線通訊單元(圖未示)則可以是一Wi-Fi通訊單元、一藍牙通訊單元、一紫蜂通訊單元(Zigbee)、一LoRa通訊單元、一Sigfox通訊單元或是一NB-IoT通訊單元。在本實施例中,感測器26”是一影像擷取單元(CCD)。第二顯示模組23”可以是一液晶顯示器、一微型發光二極體顯示(MicroLED DISPLAY)或是一有機發光二極體顯示器(OLED DISPLAY)。
第二連接模組25”可以是一type-A USB連接器、一Lightning連接器、一type-C USB連接器或是一micro-USB連接器。
在本實施例中,影像處理裝置2”還可以包括一麥克風MP以及一揚聲器SP。麥克風MP以及揚聲器SP連接影像處理裝置2”。使用者可以利用音頻控制訊號,通過麥克風MP以及揚聲器SP,對影像處理裝置2”的二維影像資訊或是三維影像資訊進行控制與互動。
再者,影像處理裝置2”中設置一第二程式。第二程式是一影像處理程式,用於處理二維影像資訊或是三維影像資訊。
在本實施例中,感測器26”用於偵測物體OB(使用者手部)的一預定偵測點的座標值,例如使用者的食指、電子互動手套ECL的至少一個預定座標值、筆型互動元件PT的筆尖的預定座標值。感測器26”會持續記錄物體OB的預定偵測點在一預定時間內的一移動軌跡。感測器26”會傳送物體OB的預定偵測點在預定時間內的移動軌跡的多個座標值給第二控制器2”。第二控制器2”則會通過第二顯示模組23”將移動軌跡PH1顯示在影像處理裝置2”一側的空間中。也就是,使用者可以利用影像處理裝置2”直接繪製出設置在空間中的線條、平面以及立體構圖。
使用者可以利用手部OB、筆型互動元件PT、電子互動手套ECL在影像處理裝置2”的一側的空間中繪製出多個軌跡PH1-PHN。再將這些軌跡進行移動、調整或是連接,以建立一個三維專案影像資訊3DG。
此外,影像處理裝置2”中的第二程式,包括多個功能處理程序,對應多個三維功能按鈕FBN。多個三維功能按鈕FBN則是通過第二顯示模組23”,與三維專案影像資訊3DG相同地顯示在影像處理裝置2”的一側的空間中。
使用者可以選擇多個三維功能按鈕FBN的其中一個,例如,著色、放大、調整材質等,對三維專案影像資訊3DG進行部分區域或是全部區域的處理。
也就是,使用者可以選擇性的對多個軌跡形成的平面區域、立體區域或是全部區域進行處理。類似先前實施例,三維專案影像資訊3DG可以以爆炸圖的方式,在影像處理裝置2”的一側的空間中進行顯示。
此外,影像處理裝置2”可以通過第二通訊模組24”與一伺服器(圖未示)進行通訊連接。伺服器(圖未示)可以承擔大量的三維專案影像資訊3DG的多個軌跡的計算。在本實施例中,二維的影像資訊以及三維的影像資訊的運算可以由影像處理裝置2”進行處理,也可以通過遠端的伺服器(圖未示)進行雲端運算,再將計算後的二維的影像資訊以及三維的影像資訊傳送到影像處理裝置2”。
[實施例的有益效果]
本發明的其中一有益效果在於,本發明所提供的影像處理系統以及影像處理裝置,除了可以完成一般在電腦上的影像處理程序之外,還可以直接地將二維或是三維的影像資訊顯示在影像處理裝置的上方空間。使用者可以直接與顯示的三維影像資訊進行互動,利用手勢、音頻資訊對三維影像資訊進行控制與調整。
以上所公開的內容僅為本發明的優選可行實施例,並非因此侷限本發明的申請專利範圍,所以凡是運用本發明說明書及圖式內容所做的等效技術變化,均包含於本發明的申請專利範圍內。
SYS1:影像處理系統 1:電子裝置 2:影像處理裝置 3:感測器 9:伺服器 CV1, CV2:三維座標值 ING1:三維輸入裝置影像資訊 PG1-2D, PG1:專案影像資訊 OB:物體 11:第一控制器 12:第一儲存模組 13:第一顯示模組 14:第一通訊模組 15:第一連接模組 21, 21’, 21”:第二控制器 22, 22’, 22”:第二儲存模組 23, 23’, 23”:第二顯示模組 24, 24’, 24”:第二通訊模組 25”:第二連接模組 26”:感測器 SP:揚聲器 MP:麥克風 231:平面顯示模組 232:透鏡陣列層 233:微結構層 2321:透鏡 2311:顯示面 SWG:切換鍵影像資訊 TG-2D:二維的陶土影像資訊 TG:陶土影像資訊 2’, 2”:影像處理裝置 25’:第二連接模組 PG’:專案影像資訊 PG1-1, PG1-2:專案子影像資訊 FBN:三維功能按鈕 3DG:三維專案影像資訊 PT:筆型互動元件 PH1-PHN:軌跡 MD:智能手機 ECL:電子互動手套
圖1是本發明第一實施例的影像處理系統的示意圖。
圖2是本發明第一實施例的影像處理系統的功能方塊圖。
圖3是本發明第一實施例的影像處理裝置的結構示意圖。
圖4是本發明第一實施例的影像處理系統提供另一三維輸入裝置影像資訊的示意圖。
圖5是本發明第一實施例的影像處理系統顯示專案影像資訊的示意圖。
圖6是本發明第一實施例的影像處理系統顯示專案影像資訊,而且專案影像資訊與一物體進行互動的示意圖。
圖7是本發明第一實施例的影像處理系統將專案影像資訊以爆炸圖進行顯示的示意圖。
圖8是本發明的專案影像資訊與物體互動的示意圖。
圖9是本發明第二實施例的一專案影像資訊與一物體進行即時互動的示意圖。
圖10是本發明第二實施例的一專案影像資訊與一物體進行即時互動的另一示意圖。
圖11是本發明第二實施例的一專案影像資訊與一物體進行即時互動的另一示意圖。
圖12至圖14分別是本發明第二實施例的影像處理系統的另一示意圖。
圖15是本發明第三實施例的影像處理裝置的示意圖。
圖16是本發明第三實施例的影像處理裝置的功能方塊圖。
圖17是本發明第三實施例的影像處理裝置的另一示意圖。
圖18是本發明第四實施例的影像處理裝置的示意圖。
圖19是本發明第四實施例的影像處理裝置的另一示意圖。
圖20是本發明第四實施例的影像處理裝置的另一示意圖。
圖21是本發明第四實施例的影像處理裝置的另一示意圖。
圖22是本發明第四實施例的影像處理裝置的功能方塊圖。
SYS1:影像處理系統
1:電子裝置
2:影像處理裝置
3:感測器
9:伺服器
CV1,CV2:三維座標值
ING1:三維輸入裝置影像資訊
PG1-2D:專案影像資訊
ING1:三維輸入裝置影像資訊
OB:物體
SWG:切換鍵影像資訊

Claims (8)

  1. 一種影像處理系統,包括:一電子裝置;以及一影像處理裝置,連接所述電子裝置;其中,所述影像處理裝置顯示一浮空的三維輸入裝置影像資訊,所述影像處理裝置通過所述三維輸入裝置影像資訊與一物體進行互動以產生多個控制訊號,並傳送所述多個控制訊號至所述電子裝置;其中,所述電子裝置設置一第一程式,所述電子裝置根據所述影像處理裝置傳送的所述多個控制訊號,對所述第一程式中的一專案進行調控;其中,所述電子裝置通過所述影像處理裝置顯示所述第一程式的所述專案的一專案影像資訊,所述專案影像資訊是一浮空三維影像資訊,所述物體與與所述專案影像資訊進行互動以調整所述專案影像資訊的多個動作;其中,當所述物體與所述專案影像資訊進行互動時,所述影像處理裝置偵測所述物體的至少一預定偵測點的多個座標值,並記錄所述多個座標值為一軌跡,並根據所述物體的多個所述軌跡與所述專案影像資訊的互動狀態,產生多個互動控制訊號並提供給所述電子裝置,所述電子裝置根據所述多個互動控制訊號對所述第一程式的一部分或是全部的顯示在所述影像處理裝置上方的所述專案影像資訊進行調整或是調控。
  2. 如請求項1所述的影像處理系統,其中,所述影像處理裝置還顯示至少一切換鍵影像資訊,所述影像處理裝置通過所述至少一切換鍵影像資訊與所述物體的互動,以產生一切換訊號,以顯示另一三維輸入裝置影像資訊。
  3. 如請求項2所述的影像處理系統,其中,所述三維輸入裝置 影像資訊包括一滑鼠裝置影像資訊、一數字鍵盤影像資訊、一觸控板裝置影像資訊或是一手寫板裝置影像資訊。
  4. 如請求項3所述的影像處理系統,其中,所述專案影像資訊包括多個專案子影像資訊,所述物體的多個三維座標值與所述多個專案子影像資訊的其中之一的多個第一三維座標值決定所述多個專案子影像資訊的其中之一的多個第二三維座標值。
  5. 如請求項4所述的影像處理系統,其中所述多個專案子影像資訊的其中之一的所述多個第二三維座標值不同於所述多個專案子影像資訊的其中之一的所述多個第一三維座標值。
  6. 如請求項5所述的影像處理系統,其中,所述影像處理裝置顯示所述專案影像資訊的一三維專案影像資訊在所述影像處理裝置的的一側,所述三維專案影像資訊依據一預定角速度進行轉動,所述物體與轉動的所述三維專案影像資訊進行互動,以使所述三維專案影像資訊發生一形變,產生形變後的所述三維專案影像資訊。
  7. 一種影像處理裝置,包括:一控制器;一顯示模組,電性連接所述控制器;一感測器;以及一通訊模組,所述通訊模組電性連接所述顯示模組、所述感測器以及所述控制器;其中,所述感測器偵測一物體的至少一預定偵測點的多個座標值,並記錄所述多個座標值為一軌跡;其中,當所述顯示模組並沒有顯示任何浮空影像資訊時,所述感測器偵測並記錄所述物體的多個軌跡,所述控制器利用所述顯示模組以顯示所述物體的所述多個軌跡在所述影像處理裝置的一側的空間中,以形成一三維專案影像資訊; 其中,所述感測器偵測所述物體與所述三維專案影像資訊的一互動動作,以調整所述三維專案影像資訊。
  8. 如請求項7所述的影像處理裝置,還包括一儲存模組,電性連接所述控制器,所述儲存模組中設置一程式,所述影像處理裝置的所述顯示模組顯示對應所述程式的多個功能程序的多個功能按鈕在所述影像處理裝置的一側的空間中,所述物體與所述多個功能按鈕進行互動,以對所述三維專案影像資訊進行調整。
TW109137783A 2020-10-30 2020-10-30 影像處理系統以及影像處理裝置 TWI757941B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109137783A TWI757941B (zh) 2020-10-30 2020-10-30 影像處理系統以及影像處理裝置
US17/204,020 US11687166B2 (en) 2020-10-30 2021-03-17 Image processing system and image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109137783A TWI757941B (zh) 2020-10-30 2020-10-30 影像處理系統以及影像處理裝置

Publications (2)

Publication Number Publication Date
TWI757941B true TWI757941B (zh) 2022-03-11
TW202217517A TW202217517A (zh) 2022-05-01

Family

ID=81379947

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109137783A TWI757941B (zh) 2020-10-30 2020-10-30 影像處理系統以及影像處理裝置

Country Status (2)

Country Link
US (1) US11687166B2 (zh)
TW (1) TWI757941B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201218041A (en) * 2010-10-18 2012-05-01 Ind Tech Res Inst Virtual touch control system
TW201303368A (zh) * 2011-07-10 2013-01-16 Ind Tech Res Inst 顯示裝置
TW201342135A (zh) * 2011-12-27 2013-10-16 Intel Corp 行動裝置的全三維互動
TW201427388A (zh) * 2012-12-22 2014-07-01 Ind Tech Res Inst 影像互動系統、手指位置的偵測方法、立體顯示系統以及立體顯示器的控制方法
TWM485448U (zh) * 2014-01-03 2014-09-01 Egismos Technology Corp 影像式虛擬互動裝置
TW201500968A (zh) * 2013-06-21 2015-01-01 Utechzone Co Ltd 三維互動系統及其互動感測方法
TW201523513A (zh) * 2013-12-10 2015-06-16 Metal Ind Res & Dev Ct 虛擬影像定位方法及其裝置
TW201626166A (zh) * 2014-09-30 2016-07-16 惠普發展公司有限責任合夥企業 以手勢爲基礎之三維影像操控技術
TW201706777A (zh) * 2015-08-11 2017-02-16 李卓澔 互動投影裝置
TWI585617B (zh) * 2016-08-31 2017-06-01 宅妝股份有限公司 互動方法及系統
US20180213213A1 (en) * 2013-12-25 2018-07-26 3Di Llc Stereoscopic display
TW202017367A (zh) * 2018-10-01 2020-05-01 美商雷亞有限公司 全像實境系統、多視像顯示器以及其方法
TWI700516B (zh) * 2019-06-10 2020-08-01 幻景啟動股份有限公司 互動式立體顯示裝置與互動感應方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643672B2 (en) * 2004-10-21 2010-01-05 Kazunari Era Image processing apparatus, image pickup device and program therefor
US10739937B2 (en) * 2017-06-15 2020-08-11 Abantech LLC Intelligent fusion middleware for spatially-aware or spatially-dependent hardware devices and systems
US11614793B2 (en) * 2018-02-28 2023-03-28 Logitech Europe S.A. Precision tracking of user interaction with a virtual input device
JP7056423B2 (ja) * 2018-07-10 2022-04-19 オムロン株式会社 入力装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201218041A (en) * 2010-10-18 2012-05-01 Ind Tech Res Inst Virtual touch control system
TW201303368A (zh) * 2011-07-10 2013-01-16 Ind Tech Res Inst 顯示裝置
TW201342135A (zh) * 2011-12-27 2013-10-16 Intel Corp 行動裝置的全三維互動
TW201427388A (zh) * 2012-12-22 2014-07-01 Ind Tech Res Inst 影像互動系統、手指位置的偵測方法、立體顯示系統以及立體顯示器的控制方法
TW201500968A (zh) * 2013-06-21 2015-01-01 Utechzone Co Ltd 三維互動系統及其互動感測方法
TW201523513A (zh) * 2013-12-10 2015-06-16 Metal Ind Res & Dev Ct 虛擬影像定位方法及其裝置
US20180213213A1 (en) * 2013-12-25 2018-07-26 3Di Llc Stereoscopic display
TWM485448U (zh) * 2014-01-03 2014-09-01 Egismos Technology Corp 影像式虛擬互動裝置
TW201626166A (zh) * 2014-09-30 2016-07-16 惠普發展公司有限責任合夥企業 以手勢爲基礎之三維影像操控技術
TW201706777A (zh) * 2015-08-11 2017-02-16 李卓澔 互動投影裝置
TWI585617B (zh) * 2016-08-31 2017-06-01 宅妝股份有限公司 互動方法及系統
TW202017367A (zh) * 2018-10-01 2020-05-01 美商雷亞有限公司 全像實境系統、多視像顯示器以及其方法
TWI700516B (zh) * 2019-06-10 2020-08-01 幻景啟動股份有限公司 互動式立體顯示裝置與互動感應方法

Also Published As

Publication number Publication date
TW202217517A (zh) 2022-05-01
US11687166B2 (en) 2023-06-27
US20220137711A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
US20220084279A1 (en) Methods for manipulating objects in an environment
Sridhar et al. Watchsense: On-and above-skin input sensing through a wearable depth sensor
US11016631B2 (en) Method and apparatus for ego-centric 3D human computer interface
KR20230170086A (ko) 가상 및 그래픽 엘리먼트들을 애니메이팅하고 제어하기 위한 손 제스처
EP3090331B1 (en) Systems with techniques for user interface control
US20200310561A1 (en) Input device for use in 2d and 3d environments
CN114080585A (zh) 在人工现实环境中使用外围设备的虚拟用户界面
US20100128112A1 (en) Immersive display system for interacting with three-dimensional content
US11922590B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11853527B2 (en) Devices, methods, and graphical user interfaces for providing computer-generated experiences
US20130257736A1 (en) Gesture sensing apparatus, electronic system having gesture input function, and gesture determining method
JP7382994B2 (ja) 仮想現実システム内の仮想コントローラの位置および向きの追跡
US20100053151A1 (en) In-line mediation for manipulating three-dimensional content on a display device
TW201405414A (zh) 以組合資料爲基礎之虛擬手
KR20140100547A (ko) 모바일 장치상의 풀 3d 상호작용
Yau et al. How subtle can it get? a trimodal study of ring-sized interfaces for one-handed drone control
Menzner et al. Above surface interaction for multiscale navigation in mobile virtual reality
Zhang et al. A novel human-3DTV interaction system based on free hand gestures and a touch-based virtual interface
TWI757941B (zh) 影像處理系統以及影像處理裝置
CN114489315B (zh) 图像处理系统以及图像处理装置
Babic et al. Understanding and creating spatial interactions with distant displays enabled by unmodified off-the-shelf smartphones
Mendes Manipulation of 3d objects in immersive virtual environments
US20190377423A1 (en) User interface controlled by hand gestures above a desktop or a keyboard
Ducher Interaction with augmented reality
TWI761976B (zh) 互動系統