TWI444851B - 三度空間互動系統及三度空間互動方法 - Google Patents

三度空間互動系統及三度空間互動方法 Download PDF

Info

Publication number
TWI444851B
TWI444851B TW101113732A TW101113732A TWI444851B TW I444851 B TWI444851 B TW I444851B TW 101113732 A TW101113732 A TW 101113732A TW 101113732 A TW101113732 A TW 101113732A TW I444851 B TWI444851 B TW I444851B
Authority
TW
Taiwan
Prior art keywords
image data
dimensional
change
spatial interaction
interaction system
Prior art date
Application number
TW101113732A
Other languages
English (en)
Other versions
TW201344501A (zh
Inventor
Shih I Huang
Jui Tzu Hua
Original Assignee
Au Optronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Au Optronics Corp filed Critical Au Optronics Corp
Priority to TW101113732A priority Critical patent/TWI444851B/zh
Priority to CN2012102087960A priority patent/CN102799264A/zh
Priority to US13/610,881 priority patent/US20130278494A1/en
Publication of TW201344501A publication Critical patent/TW201344501A/zh
Application granted granted Critical
Publication of TWI444851B publication Critical patent/TWI444851B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

三度空間互動系統及三度空間互動方法
本發明係關於一種三度空間互動系統，尤指一種可根據物件於三度空間的三個軸向之位置隨時間之變化產生影像資料之三度空間互動系統。
液晶顯示裝置(Liquid Crystal Display，LCD)因具有外型輕薄、省電以及無輻射等優點，目前已被普遍地應用於多媒體播放器、行動電話、個人數位助理(PDA)、電腦顯示器(monitor)、或平面電視等電子產品上。此外，利用液晶顯示裝置進行觸控感應式的輸入運作也漸成流行，亦即，越來越多電子產品使用具感應機制之液晶顯示裝置作為其輸入介面。
觸控面板因具有方便的操控性而被廣泛地運用在電子產品中，如手機、平板電腦及桌上型顯示器。此外，利用觸控面板作為使用者操作電子產品間的介面，可讓使用者直接透過接觸觸控面板達到操控電子產品的目的，而不需透過鍵盤或滑鼠，達到節省空間的目的。
然而，在使用者無法近距離接觸面板的情況下，或是觸控面板尺寸過大的情況下(例如超過42吋的面板)，上述透過使用者接觸面板來對應用程式進行操控的方式對使用者來說十分不便，且操作的幅度及應用的範圍仍然相當地侷限。隨著3D影像的流行，上述透過觸控進行影像操控的方法無法滿足目前對3D影像操作上的需求。
本發明之一實施例係關於一種三度空間互動系統，包含至少一影像擷取裝置、處理器及顯示器。該至少一影像擷取裝置係用以感測物件於三度空間的三個軸向之位置隨時間之變化，該處理器係用以根據該物件於該三個軸向的位置隨時間之變化產生影像資料，該顯示器係用以播放該影像資料。
本發明之另一實施例係關於一種三度空間互動系統，包含至少一影像擷取裝置、深度感應器、處理器及顯示器。該影像擷取裝置及該深度感應器係用以感測物件於三度空間的三個軸向之位置隨時間之變化，該處理器係用以根據該物件於該三個軸向的位置隨時間之變化產生影像資料，該顯示器係用以播放該影像資料。
本發明之另一實施例係關於種三度空間互動方法，包含感測物件於三度空間的三個軸向之位置隨時間之變化，根據該物件於該三個軸向的位置隨時間之變化產生影像資料，及顯示器播放該影像資料。
透過本發明諸實施例所提供的裝置及方法，三度空間互動系統可在不使用鍵盤、滑鼠或對顯示器進行觸控的情況下，根據物件在三度空間的位置隨時間之變化來產生對應的影像資料，並可透過物件對影像資料進行三維的操作，而不侷限於二維的操作。三度空間互動系統可進一步透過力回饋套件對物件施以對應於影像資料的力道，以增加互動效果。
請參考第1圖，第1圖係為本發明第一實施例三度空間互動系統100之示意圖。如第1圖所示，三度空間互動系統100包含影像擷取裝置10及20、處理器30及顯示器40。影像擷取裝置10、20係用以感測物件50於三度空間的x、y、z三個軸向之位置隨時間之變化，處理器30係用以根據物件50於x、y、z三個軸向的位置隨時間之變化產生影像資料60，而顯示器40係用以播放影像資料60。x、y、z三個軸向係互相垂直，且影像資料60可以是二維的影像資料，也可以是三維的影像資料。
物件50泛指各種物體，通常是使用者的手部、腳部、頭部等便於用來進行三度空間互動之部位。影像擷取裝置10、20可以是攝影鏡頭，或是任何具有影像擷取功能之裝置。透過二個影像擷取裝置10、20的設置，物件50相對於三度空間互動系統100之間的三維位置便可以被偵測出來。處理器30可以是個人電腦、筆記型電腦、電視遊樂器或是智慧型手機等具有運算功能之裝置。
舉例來說，當使用者在使用三度空間互動系統100進行具有3D互動效果的遊戲時，一旦使用者進入影像擷取裝置10、20的可偵測範圍內，影像擷取裝置10、20會根據使用者的手部(也可以是頭部或腳部等)的動作產生三維訊號，處理器30再根據三維訊號產生二維或三維的影像資料60，並將影像資料60傳至顯示器40。顯示器40會根據影像資料60顯示具有二維或三維效果的影像。此外，影像資料60亦可包含使用者的手部(或頭部、腳部)的位置資訊，而使三度空間互動系統100可於顯示器上顯示虛擬的使用者手部(或頭部、腳部)，且所顯示具有虛擬的使用者手部(或頭部、腳部)的影像可根據實際上使用者手部(或頭部、腳部)的位置隨時間之變化作對應的變化，因此使用者可以透過顯示器40的顯示畫面得知其手部(或頭部、腳部)移動的方向，或該往何處移動。
雖然在第一實施例中，為方便舉例說明，三度空間互動系統100係設置為包含二影像擷取裝置10及20，然而本發明並不限於此，三度空間互動系統100亦可只包含單一影像擷取裝置，或是包含更多的影像擷取裝置。
請參考第2圖，第2圖係為本發明第一實施例使用者210使用三度空間互動系統100依序產生影像資料60、62之示意圖。如第2圖所示，當使用者210使用三度空間互動系統100進行足球遊戲時，由於使用者210於x、y、z三個軸向之位置隨時間之變化會被影像擷取裝置10、20所測得，因此處理器30可據以依序產生對應的影像資料60、62，並將影像資料60、62透過顯示器40來顯示。影像資料60係先被產生，在影像資料60中，係呈現出一顆成像於顯示器40之內的虛擬足球230逐漸朝使用者210接近，而最後成像於顯示器40之外的情境(scenario)。當虛擬足球230已成像於顯示器40之外並且靠近使用者210時，若此時使用者210以腳部212對虛擬足球230作踢擊的動作，影像擷取裝置10、20將感測到腳部212於x、y、z三個軸向之位置隨時間之變化，使處理器30判斷虛擬足球230係為被踢擊的狀態，而根據虛擬足球230被踢擊的情形來產生影像資料62。在影像資料62中，係呈現出成像於顯示器40之外的虛擬足球230，以遠離使用者210的方向朝顯示器40內接近，而最後成像於顯示器40之內的情境，而虛擬足球230自顯示器40之外進入顯示器40之內的方向及速度也可根據腳部212對虛擬足球230踢擊動作的不同而有所不同。此外，在影像資料60、62中亦可包含腳部212的位置資訊，而使三度空間互動系統100可於顯示器上顯示虛擬的使用者腳部，且所顯示之虛擬的使用者腳部可根據腳部212的位置隨時間之變化作對應的變化，因此使用者可以準確得知其腳部踢擊的方向，並得知是否踢中虛擬足球230。
請參考第3圖，第3圖係為本發明第二實施例三度空間互動系統300之示意圖。如第3圖所示，三度空間互動系統300包含影像擷取裝置10、深度感應器80、處理器30及顯示器40。影像擷取裝置10及深度感應器80係用以感測物件50於三度空間的x、y、z三個軸向之位置隨時間之變化。處理器30係用以根據物件50於x、y、z三個軸向的位置隨時間之變化產生影像資料60。顯示器40係用以播放影像資料60。三度空間互動系統300與三度空間互動系統100的差別係在於，三度空間互動系統300係透過影像擷取裝置10及深度感應器80來感測物件50於三度空間的x、y、z三個軸向之位置隨時間之變化。深度感應器80係為透過計算發射訊號與收到反射訊號之間的時間差，來偵測物體距離深度感應器80的遠近之裝置，例如紅外線裝置。同樣地，透過使用影像擷取裝置10及深度感應器80，物件50相對於三度空間互動系統100之間的三維位置便可以被偵測出來。
請參考第4圖，第4圖係為本發明第三實施例三度空間互動系統400之示意圖。三度空間互動系統400與三度空間互動系統100的差別係在於，三度空間互動系統400另包含力回饋套件70，用以對物件50施予壓力。力回饋套件70可以是手套、頭盔或腳套等感應裝置，用來根據三度空間互動系統400的程式功能，以震動、搖動或壓力的方式讓使用者感受到各種力道。例如使用者使用三度空間互動系統400操作如第2圖所述之足球遊戲時，當使用者210的腳部212係配戴具有力回饋功能的腳套，便可以在使用者210以腳部212踢擊虛擬足球230時，藉由腳套發出震動及壓力以對使用者210的腳部212產生力道，且腳套可根據腳部212於x、y、z三個軸向之位置隨時間之變化的不同，對應產生不同大小的震動及壓力強度。
請參考第5圖，第5圖係為本發明第四實施例三度空間互動系統500之示意圖。三度空間互動系統500與三度空間互動系統300的差別係在於，三度空間互動系統500另包含力回饋套件70，用以對物件50施予壓力。同樣地，當使用者使用三度空間互動系統500操作如第2圖所述之足球遊戲時，若使用者210的腳步212係配戴具有力回饋功能的腳套，便可以在使用者210以腳部212踢擊虛擬足球230時，藉由腳套發出震動及壓力以對使用者210的腳部212產生力道，且腳套可根據腳部212於x、y、z三個軸向之位置隨時間之變化的不同，對應產生不同大小的震動及壓力強度。
透過本發明諸實施例所提供的裝置及方法，三度空間互動系統100、300、400及500可在不使用鍵盤、滑鼠或對顯示器40進行觸控的情況下，根據物件50在三度空間的位置隨時間之變化來產生對應的影像資料60，並可透過物件50對影像資料60進行三維的操作，而不侷限於二維的操作。三度空間互動系統400、500可進一步透過力回饋套件70對物件50施以對應於影像資料60的力道，以增加互動效果。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100、300、400、500．．．三度空間互動系統
10、20．．．影像擷取裝置
30．．．處理器
40．．．顯示器
50．．．物件
60、62．．．影像資料
70．．．力回饋套件
80．．．深度感應器
210．．．使用者
212．．．腳部
230．．．虛擬足球
x、y、z．．．軸向
第1圖係為本發明第一實施例三度空間互動系統之示意圖。
第2圖係為本發明第一實施例使用者使用三度空間互動系統產生影像資料之示意圖。
第3圖係為本發明第二實施例三度空間互動系統之示意圖。
第4圖係為本發明第三實施例三度空間互動系統之示意圖。
第5圖係為本發明第四實施例三度空間互動系統之示意圖。
100‧‧‧三度空間互動系統
10、20‧‧‧影像擷取裝置
30‧‧‧處理器
40‧‧‧顯示器
50‧‧‧物件
60‧‧‧影像資料
x、y、z‧‧‧軸向

Claims (11)

  1. 一種三度空間互動系統，包含：至少一影像擷取裝置，用以感測一物件於三度空間的三個軸向之位置隨時間之變化；一處理器，用以根據該物件於該三個軸向的位置隨時間之變化產生至少一影像資料；及一顯示器，用以播放該至少一影像資料。
  2. 一種三度空間互動系統，包含：至少一影像擷取裝置及至少一深度感應器，用以感測一物件於三度空間的三個軸向之位置隨時間之變化；一處理器，用以根據該物件於該三個軸向的位置隨時間之變化產生至少一影像資料；及一顯示器，用以播放該至少一影像資料。
  3. 如請求項1或2所述之三度空間互動系統，另包含至少一力回饋套件，用以對該物件施予壓力。
  4. 如請求項1或2所述之三度空間互動系統，其中該三個軸向互相垂直。
  5. 一種三度空間互動方法，包含：感測一物件於三度空間的三個軸向之位置隨時間之變化；根據該物件於該三個軸向的位置隨時間之變化產生至少一影像資料；及播放該至少一影像資料。
  6. 如請求項5所述之方法，其中該三個軸向互相垂直。
  7. 如請求項5所述之方法，其中感測該物件於該三個軸向之位置隨時間之變化係為使用至少一影像擷取裝置感測該物件於該三個軸向之位置隨時間之變化。
  8. 如請求項5所述之方法，其中感測該物件於該三個軸向之位置隨時間之變化係為使用至少一影像擷取裝置及至少一深度感應器感測該物件於該三個軸向之位置隨時間之變化。
  9. 如請求項5所述之方法，其中根據該物件於該三個軸向的位置隨時間之變化產生該至少一影像資料係為根據該物件於該三個軸向的位置隨時間之變化產生至少一二維影像資料，且該播放該至少一影像資料係為播放該至少一二維影像資料。
  10. 如請求項5所述之方法，其中根據該物件於該三個軸向的位置隨時間之變化產生該至少一影像資料係為根據該物件於該三個軸向的位置隨時間之變化產生至少一三維影像資料，且該播放該至少一影像資料係為播放該至少一三維影像資料。
  11. 如請求項5所述之方法，另包含對該物件施予壓力。
TW101113732A 2012-04-18 2012-04-18 三度空間互動系統及三度空間互動方法 TWI444851B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW101113732A TWI444851B (zh) 2012-04-18 2012-04-18 三度空間互動系統及三度空間互動方法
CN2012102087960A CN102799264A (zh) 2012-04-18 2012-06-19 三度空间互动系统
US13/610,881 US20130278494A1 (en) 2012-04-18 2012-09-12 Three-dimensional interactive system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101113732A TWI444851B (zh) 2012-04-18 2012-04-18 三度空間互動系統及三度空間互動方法

Publications (2)

Publication Number Publication Date
TW201344501A TW201344501A (zh) 2013-11-01
TWI444851B true TWI444851B (zh) 2014-07-11

Family

ID=47198388

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101113732A TWI444851B (zh) 2012-04-18 2012-04-18 三度空間互動系統及三度空間互動方法

Country Status (3)

Country Link
US (1) US20130278494A1 (zh)
CN (1) CN102799264A (zh)
TW (1) TWI444851B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905808A (zh) * 2012-12-27 2014-07-02 北京三星通信技术研究有限公司 用于三维显示和交互的设备和方法
KR102201733B1 (ko) * 2013-09-30 2021-01-12 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CN105279354B (zh) * 2014-06-27 2018-03-27 冠捷投资有限公司 用户可融入剧情的情境建构系统
TW201610750A (zh) * 2014-09-03 2016-03-16 Liquid3D Solutions Ltd 可與３ｄ影像互動之手勢控制系統
US11040262B2 (en) 2019-06-21 2021-06-22 Matthew Moran Sports ball training or simulating device
US11938390B2 (en) 2019-06-21 2024-03-26 Matthew Moran Sports ball training or simulating device
US11409358B2 (en) * 2019-09-12 2022-08-09 New York University System and method for reconstructing a VR avatar with full body pose
TWI761976B (zh) * 2020-09-30 2022-04-21 幻景啟動股份有限公司 互動系統

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7973773B2 (en) * 1995-06-29 2011-07-05 Pryor Timothy R Multipoint, virtual control, and force based touch screen applications
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
CN101281422B (zh) * 2007-04-02 2012-02-08 原相科技股份有限公司 以对象为基础三维信息产生装置与方法及使用的互动系统
CN101751116A (zh) * 2008-12-04 2010-06-23 纬创资通股份有限公司 交互式立体影像显示方法及其相关立体显示装置
CN102023700B (zh) * 2009-09-23 2012-06-06 吴健康 一种三维人机交互系统
US8352643B2 (en) * 2010-09-30 2013-01-08 Immersion Corporation Haptically enhanced interactivity with interactive content

Also Published As

Publication number Publication date
CN102799264A (zh) 2012-11-28
US20130278494A1 (en) 2013-10-24
TW201344501A (zh) 2013-11-01

Similar Documents

Publication Publication Date Title
TWI444851B (zh) 三度空間互動系統及三度空間互動方法
US11221730B2 (en) Input device for VR/AR applications
US9423876B2 (en) Omni-spatial gesture input
US9575562B2 (en) User interface systems and methods for managing multiple regions
TWI464640B (zh) 手勢感測裝置及具有手勢輸入功能的電子系統
Riener Gestural interaction in vehicular applications
US20120208639A1 (en) Remote control with motion sensitive devices
EP2538309A2 (en) Remote control with motion sensitive devices
US11054896B1 (en) Displaying virtual interaction objects to a user on a reference plane
Zizka et al. SpeckleSense: fast, precise, low-cost and compact motion sensing using laser speckle
US20170177077A1 (en) Three-dimension interactive system and method for virtual reality
US20160104322A1 (en) Apparatus for generating a display control signal and a method thereof
US9122346B2 (en) Methods for input-output calibration and image rendering
US9201519B2 (en) Three-dimensional pointing using one camera and three aligned lights
Cui et al. Mid-air interaction with optical tracking for 3D modeling
US9310851B2 (en) Three-dimensional (3D) human-computer interaction system using computer mouse as a 3D pointing device and an operation method thereof
TW201439813A (zh) 顯示設備及其控制系統和方法
US9678583B2 (en) 2D and 3D pointing device based on a passive lights detection operation method using one camera
Dupré et al. TriPad: Touch Input in AR on Ordinary Surfaces with Hand Tracking Only
TWI414980B (zh) 虛擬觸控裝置與相關方法
TW201913298A (zh) 可顯示實體輸入裝置即時影像之虛擬實境系統及其控制方法
GB2533777A (en) Coherent touchless interaction with steroscopic 3D images
US9465483B2 (en) Methods for input-output calibration and image rendering
Soleimani et al. Converting every surface to touchscreen
Nguyen 3DTouch: Towards a Wearable 3D Input Device for 3D Applications

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees