TWI530858B - 一種立體交互系統和立體交互方法 - Google Patents

一種立體交互系統和立體交互方法 Download PDF

Info

Publication number
TWI530858B
TWI530858B TW101139929A TW101139929A TWI530858B TW I530858 B TWI530858 B TW I530858B TW 101139929 A TW101139929 A TW 101139929A TW 101139929 A TW101139929 A TW 101139929A TW I530858 B TWI530858 B TW I530858B
Authority
TW
Taiwan
Prior art keywords
unit
operating rod
dimensional position
operating
bar
Prior art date
Application number
TW101139929A
Other languages
English (en)
Other versions
TW201319925A (zh
Inventor
宋磊
劉寧
戈張
Original Assignee
深圳超多維光電子有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN2011103435961A external-priority patent/CN102426486B/zh
Priority claimed from CN2011103433059A external-priority patent/CN102508561B/zh
Priority claimed from CN2011103439303A external-priority patent/CN102508563B/zh
Priority claimed from CN2011103435980A external-priority patent/CN102508562B/zh
Application filed by 深圳超多維光電子有限公司 filed Critical 深圳超多維光電子有限公司
Publication of TW201319925A publication Critical patent/TW201319925A/zh
Application granted granted Critical
Publication of TWI530858B publication Critical patent/TWI530858B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

一種立體交互系統和立體交互方法
本發明涉及立體交互技術，尤其涉及一種立體交互系統和立體交互方法。
目前的人機交互式系統的各種解決方案大都是基於2D顯示的基礎之上的，也就是說，用戶操作所帶來的直接顯示效果是以2D來展現的。更進一步，採用陰影，近大遠小等透視效果來近似模擬一種立體的感覺。
隨著3D顯示技術的發展，這種基於2D的顯示介面將帶來一系列的不符合常理的操作結果。因為3D帶給操作者的直觀顯示效果是，所有的操作介面是凸出，或者，凹進屏幕的。目前比較普遍的觸摸屏的手指或者操作筆都只能在屏幕上進行二維的操作，對於真正的3D操作介面，浮在空中或者凹進屏幕的介面，這種傳統的方式都會讓操作者感覺並沒有真正觸摸到實際的介面。
雖然目前的虛擬現實(VR)技術中有利用數據手套等去對在空間中的物體進行操作的技術。但是這種技術的實現複雜，比如需要精度很高的數據手套，能夠對整個虛擬空間建模的計算機系統，有時候還需要特殊的顯示頭盔才能屏蔽實際環境對虛擬環境的干擾。相應地，使用者使用不便，成本也相當昂貴。因此在很多設備特別是移動設備上並不適合使用。
本發明要解決的技術問題是提供一種結合立體顯示來模擬立體交互時使用的操作棒。
為了解決上述問題，本發明提供了一種立體交互系統，其中，包括被操作設備和操作棒；所述被操作設備包括可顯示被操作單元的立體圖像的感應屏幕、交互控制裝置、用於實現交互控制裝置與操作棒之間訊息交互的通信裝置，以及圖像處理裝置；所述交互控制裝置包括：第一位置確定單元，用於根據實時獲取的操作棒接觸部的三維位置訊息確定操作棒接觸部的三維位置；虛擬碰觸檢測單元，用於根據操作棒接觸部的三維位置和所顯示的被操作單元表面的三維位置，實時判斷操作棒是否與被操作單元發生虛擬碰觸，如是，激活圖像處理裝置中的視差調整單元；所述圖像處理裝置包括：深度計算單元，用於根據被操作單元的立體圖像的視差確定被操作單元表面相對於感應屏幕的深度，並通知虛擬碰觸檢測單元；及視差調整單元，用於通過對被操作單元的立體圖像的視差調整，模擬被操作單元被按壓時的深度變化。
較佳地，所述操作棒包括：定位單元，用於實時檢測操作棒在空間中的位置和/或姿態，並將檢測到的三維位置訊息傳送給通信單元發送；通信單元，用於實現操作棒與被操作設備之間的訊息交互；所述第一位置確定單元實時獲取的操作棒接觸部的三維位置訊息是所述操作棒中的定位單元發送的。
較佳地，所述定位單元包括作運動軌迹檢測的傳感器，和/或作方位角檢測的傳感器，該運動軌迹的初始位置設置為操作棒初始狀態下在以顯示屏幕所在平面為基準的參照系中的相對位置。
較佳地，還包括：定位輔助裝置，用於實時感知操作棒相對於感應屏幕的三維位置，並將感知到的三維位置的訊息發送給所述第一位置確定單元。
較佳地，所述第一位置確定單元根據實時獲取的操作棒接觸部的三維位置訊息確定操作棒接觸部的三維位置，包括：至少在所述操作棒不碰觸所述感應屏幕時，根據接收的操作棒接觸部的三維坐標訊息得到所述操作棒接觸部的三維位置；或者，根據接收的操作棒上另一部位的三維坐標訊息、操作棒的方位角訊息及接觸部到該另一部位的固有距離計算得到所述操作棒接觸部的三維位置。
較佳地，所述交互控制裝置還包括：實際碰觸檢測單元，用於在檢測到操作棒碰觸屏幕後，將檢測到的碰觸位置通知第一位置確定單元；所述第一位置確定單元根據實時獲取的操作棒接觸部的三維位置訊息確定操作棒接觸部的三維位置，包括：在所述操作棒碰觸所述感應屏幕時，根據操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置計算得到所述操作棒接觸部的三維位置。
較佳地，所述第一位置確定單元計算所述操作棒接觸部的三維位置使用的所述操作棒頭部的縮進長度，是根據操作棒或定位輔助裝置發送的該操作棒的三維位置和姿態的訊息確定操作棒接觸部的深度和操作棒與感應屏幕的夾角，然後計算得到所述操作棒頭部的縮進長度。
較佳地，所述視差調整單元通過對被操作單元的立體圖像的視差調整，模擬被操作單元被按壓時的深度變化，包括：將實時獲取的操作棒接觸部相對於屏幕的深度作為被操作單元表面的深度，並根據該深度來調整被操作單元在立體圖像上的視差。
較佳地，所述虛擬碰觸檢測單元在判斷操作棒碰觸到被操作單元之後，還根據被操作單元表面的深度變化，判斷操作棒是否完成了對被操作單元的點擊操作，如是，則生成對該被操作單元的點擊命令。
較佳地，所述操作棒包括：力反饋單元，用於根據所述通信單元接收的力反饋指令，執行模擬力反饋的動作；通信單元，用於實現操作棒與被操作設備之間的訊息交互；所述虛擬碰觸檢測單元實時判斷操作棒碰觸到被操作單元時，還通過所述通信裝置向所述操作棒發送力反饋指令。
較佳地，所述操作棒包括一可伸縮頭部；所述交互控制裝置還包括：第二位置確定單元，用於根據實時獲取的操作棒縮進部分的三維位置訊息和操作棒與感應屏幕的碰觸位置，得到操作棒縮進部分的虛擬三維位置；實際碰觸檢測單元，用於在檢測到操作棒碰觸感應屏幕時，激活圖像處理裝置中的圖像繪製單元，並將操作棒和感應屏幕的碰觸位置通知第二位置確定單元；所述圖像處理裝置還包括：圖像繪製單元，用於根據操作棒縮進部分的虛擬三維位置，實時繪製操作棒縮進部分的立體圖像，並將繪製的該立體圖像顯示在所述感應屏幕上。
較佳地，所述第二位置確定單元根據實時獲取的操作棒縮進部分的三維位置訊息計算出操作棒縮進部分的虛擬三維位置，包括：根據實時獲取的操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分上至少一點的 虛擬三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。
較佳地，所述第二位置確定單元計算操作棒縮進部分的虛擬三維位置時使用的操作棒頭部的縮進長度按以下方式得到：根據接收的該操作棒的三維位置和姿態的訊息確定操作棒接觸部的深度和操作棒與感應屏幕的夾角，然後計算得到所述操作棒頭部的縮進長度。
較佳地，所述操作棒包括：可伸縮頭部；伸縮感應單元，用於實時檢測操作棒可伸縮頭部的縮進長度並將檢測到的縮進長度的訊息傳送給通信單元發送；通信單元，用於實現操作棒與被操作設備之間的訊息交互。
較佳地，所述可伸縮頭部包括操作棒頭和抵頂於該操作棒頭和伸縮感應裝置之間的彈性部件；所述伸縮感應單元採用壓力傳感的方式實現，用於感應所述彈性部件的壓力，轉化為相應的電信號並傳送給通信單元發送。
較佳地，所述操作棒包括可伸縮頭部；所述感應屏幕表面增設了一壓力感應裝置，用於檢測操作棒與感應屏幕碰觸時的壓力並將檢測結果發送到交互控制裝置，該壓力與操作棒頭部的縮進長度對應。
較佳地，所述位置確定單元根據實時獲取的操作棒縮進部分的三維位置訊息計算出操作棒縮進部分的虛擬三維位置，包括：根據實時接收的操作棒的三維位置訊息，得到或計算出操作棒接觸部的三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。
較佳地，所述圖像繪製單元實時繪製的操作棒縮進部分的圖像是立體圖像，該立體圖像是將設定或跟踪得到的用戶觀看屏幕時 左、右眼的三維位置作為左、右相機，將感應屏幕作為零視差面，繪製出所述操作棒縮進部分的左圖像和右圖像。
較佳地，所述被操作設備為智能手機或平板電腦。
較佳地，所述操作棒的頭部遠離外殼的一端為一尖端，該尖端構成了所述操作棒接觸部。
為了解決上述問題，本發明還提供了一種操作棒，包括外殼，其中，還包括：以可伸縮的方式與所述外殼連接的可伸縮頭部；通信單元，用於實現操作棒與被操作設備之間的訊息交互；及定位單元，用於實時檢測操作棒在空間中的位置和/或姿態，並將檢測到的三維位置訊息傳送給通信單元發送。
較佳地，還包括：伸縮感應單元，用於實時檢測操作棒可伸縮頭部的縮進長度並將檢測到的縮進長度的訊息傳送給通信單元發送。
較佳地，還包括：力反饋單元，用於根據所述通信單元接收的力反饋指令，執行模擬力反饋的動作。
為了解決上述問題，本發明還提供了一種立體交互方法，用於在被操作設備上通過立體顯示模擬操作棒伸入感應屏幕的操作，該立體交互方法包括：檢測操作棒是否碰觸所述感應屏幕；操作棒碰觸所述感應屏幕時，根據實時獲取的操作棒縮進部分的三維位置訊息和操作棒與感應屏幕的碰觸位置，計算出所述操作棒縮進部分的虛擬三維位置；根據操作棒縮進部分的虛擬三維位置，實時繪製操作棒縮進部分的圖像，並將繪製的該圖像顯示在所述感應屏幕上。
為了解決上述問題，本發明還提供了一種立體交互方法，用於 在被操作設備上模擬操作棒對感應屏幕上立體顯示的被操作單元的操作，該立體交互方法包括：根據被操作單元的立體圖像的視差確定被操作單元表面相對於屏幕的深度；根據實時獲取的操作棒接觸部的三維位置訊息確定操作棒接觸部的三維位置，比較操作棒接觸部的三維位置和所顯示的被操作單元表面的三維位置，實時判斷操作棒是否與被操作單元發生虛擬碰觸；如判斷操作棒碰觸到被操作單元，通過對被操作單元的立體圖像的視差調整，模擬被操作單元被按壓時的深度變化。
上述方案使用一種特殊的操作棒結合相應的具有立體顯示功能的被操作設備，實現了結合立體顯示來表現的一種立體交互，讓用戶感覺到更多的真實感，所感受的操作棒與被操作單元的交互更加符合實際。
為使本發明的目的、技術方案和優點更加清楚明白，下文中將結合圖式對本發明的實施例進行詳細說明。需要說明的是，在不衝突的情況下，本申請中的實施例及實施例中的特徵可以相互任意組合。
實施例一
如第1圖和第2圖所示，本發明的立體交互系統包括操作棒和被操作設備，該被操作設備包括可進行立體顯示的感應屏幕，如為智能手機、平板電腦等。感應屏幕(以下簡稱為屏幕)上立體顯示的可操作單元(以按鈕為例，也可以是按鍵或其他圖標)在用戶看來，可能是凸出和凹入屏幕的。對於顯示為凸出屏幕的被操作單元 進行觸控操作時，為了讓用戶感覺到更多的真實感，在操作棒的頭部達到被操作單元表面，即發生虛擬碰觸時，可以模擬該被操作單元被按壓時的視覺變化，同時還可以給用戶一定的力反饋，使用戶所感受的操作棒對被操作單元的觸控更加符合實際。而對於顯示為凹入屏幕的被操作單元進行觸控操作時，操作棒的頭部達到被操作單元表面之前就會接觸到屏幕，為了讓用戶感覺到更多的真實感，可以將操作棒的頭部設計為可伸縮的，繪製操作棒的縮進部分並在屏幕上立體顯示，同時計算該頭部不伸縮時的三維位置，來判斷是否會發生虛擬碰觸，發生虛擬碰觸後可以採用上述相同的方式進行被操作單元的隨動顯示和力反饋處理。
文中，三維位置訊息可以是三維位置或者任何用於計算三維位置的訊息如姿態、縮進長度等。三維位置可以用三維坐標表示如x,y,z坐標或用長度和方位角表示的極坐標。表示三維位置的坐標可以感應屏幕所在平面為參照系來確定，即是相對於感應屏幕的相對坐標。以智能手機為例，可以但不限於將屏幕的中點或某個端點作為坐標原點，垂直於屏幕的方向為Z軸，屏幕所在的平面為XY坐標軸表示的平面。
請參照第3a圖示出的結構示意圖和第3b圖示出的各單元連接的示意圖，該操作棒包括外殼101、可伸縮頭部102、通信單元103、定位單元104、力反饋單元105和伸縮感應單元106，其中：外殼101可以是便於握持的任何形狀，如筆狀等；可伸縮頭部102以可伸縮的方式與外殼101連接，可以採用現有的各種結構。文中將可伸縮頭部用於碰觸被操作單元的部位稱之為接觸部，較佳地，可伸縮頭部102遠離外殼的一端設計為一尖端，將該尖端作為操作棒的接觸部，也可以稱之為操作棒的觸點。
通信單元103與定位單元104、力反饋單元105和伸縮感應單 元106電連接，用於實現操作棒與被操作設備之間的訊息交互。可以採用無線通信方式如藍牙，無線USB等，也可以採用有線通信方式，如I2C，USB等。
定位單元104，用於實時檢測操作棒在空間中的位置和姿態，並將檢測到的三維位置訊息傳送給通信單元103發送。該定位單元可以包括作運動軌迹檢測的傳感器和作姿態檢測的傳感器。例如，現有的一些移動設備如iphone上，採用陀螺儀傳感器得到運動軌迹數據(可作為操作棒在空間中的位置訊息)，同時採用加速度傳感器來得到方位角數據(可作為操作棒的姿態訊息)。該運動軌迹的初始位置可以設置為操作棒初始狀態下定位單元(或其他部位)在參照系中的相對位置。定位單元檢測到的三維位置訊息可以是操作棒的三維位置和姿態的訊息，根據該訊息計算出的操作棒接觸部的三維位置或中間結果等。定位單元也可以採用地磁傳感器來實現。
力反饋單元105，用於根據通信單元接收的力反饋指令，執行模擬力反饋的動作。例如，可以採用電子機械裝置作為力反饋單元，在收到力反饋指令後，模擬一個真實按鈕被按壓的震動，使得操作者能夠身歷其境的感受到3D介面的操作，以產生沉浸感。該電子機械模塊可以是電動震動馬達，人造肌肉膜或者是其他的模擬震動裝置。
伸縮感應單元106，用於實時檢測操作棒頭部的縮進長度(即可伸縮頭部的縮進距離)並將檢測到的縮進長度的訊息傳送給通信單元103發送。本實施例的伸縮感應單元採用壓力傳感的方式實現，相應地，可伸縮頭部102包括操作棒頭和抵頂於該伸縮感應單元和操作棒頭之間的彈性部件如彈簧，當可伸縮頭部的縮進長度變化時，該彈性部件對伸縮感應單元105的壓力產生變化，伸縮感應單元105可以將壓力轉化為相應的電信號並傳送給通信單元103發 送。這樣，根據該電信號的大小即可以確定操作棒頭部的縮進長度。需要說明的是，伸縮感應裝置的結構並不局限於此，可以有很多種的實現方式，如光電檢測等。
上述操作棒還可以包括如電池、充電裝置等輔助裝置，這裏不再一一介紹。
如第4圖所示，被操作設備包括感應屏幕10、通信裝置20和交互控制裝置30。其中：感應屏幕10，可顯示被操作單元的立體圖像。文中也簡寫為屏幕。
通信裝置20，用於實現交互控制裝置與操作棒之間的訊息交互。
交互控制裝置30，包括：第一位置確定單元301，用於根據實時獲取的操作棒接觸部的三維位置訊息確定操作棒接觸部的三維位置。在所述操作棒不接觸屏幕時，可以根據接收的操作棒接觸部的三維坐標訊息得到；或者，根據接收的操作棒上另一部位的三維坐標訊息、操作棒的方位角訊息及接觸部到該另一部位的固有距離計算得到。在操作棒接觸屏幕時，可根據操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置計算得到，其中，操作棒頭部的縮進長度又可以根據操作棒發來的縮進長度的訊息確定。需要說明的是，操作棒碰觸屏幕前，操作棒接觸部的三維位置是實際位置，操作棒碰觸屏幕後，操作棒接觸部的三維位置是虛擬位置，文中其他地方不再特別說明。
虛擬碰觸檢測單元302，用於根據操作棒接觸部的三維位置和所顯示的被操作單元表面的三維位置，實時判斷操作棒是否與被操作單元發生虛擬碰觸，如是，激活圖像處理裝置中的視差調整單元， 並可通過通信裝置向操作棒發送力反饋指令。此外，還可以根據被操作單元表面的深度變化，判斷操作棒是否完成了對被操作單元的點擊操作，如是，則生成對該被操作單元的點擊命令。
實際碰觸檢測單元303，用於在檢測到操作棒接觸感應屏幕時，激活圖像處理裝置中的圖像繪製單元，並將操作棒和感應屏幕的碰觸位置通知第一位置確定單元和第二位置確定單元。
第二位置確定單元304，用於根據操作棒接觸部的三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。
實時獲取的操作棒縮進部分的三維位置訊息和操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分的虛擬三維位置。例如，根據實時獲取的操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分上至少一點(如接觸部)的虛擬三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。其中，接觸部的虛擬三維位置也可以根據實時獲取的操作棒的三維位置和姿態的訊息得到或計算得到；操作棒頭部的縮進長度根據操作棒發來的縮進長度的訊息確定。
圖像處理裝置40，又包括：深度計算單元401，用於根據被操作單元的立體圖像的視差確定被操作單元表面相對於屏幕的深度，並通知虛擬碰觸檢測單元。
視差調整單元402，用於通過對被操作單元的立體圖像的視差調整，模擬被操作單元被按壓時的深度變化。例如，將實時獲取的操作棒接觸部相對於屏幕的深度作為被操作單元表面的深度，並根據該深度來調整被操作單元在立體圖像上的視差。
圖像繪製單元403，用於根據操作棒縮進部分的虛擬三維位 置，實時繪製操作棒縮進部分的圖像，並將繪製的該圖像顯示在感應屏幕上。較佳地，繪製的是立體圖像，例如，將設定或跟踪得到的用戶觀看屏幕時左、右眼的三維位置作為左、右相機，將感應屏幕作為零視差面，繪製出所述操作棒縮進部分的左圖像和右圖像。
上述圖像處理裝置可能還需要對要顯示的立體圖像進行其他的圖像處理，這裏只對與本實施例相關的單元進行說明。
下面介紹一下操作棒對在屏幕上立體顯示的被操作單元的觸碰操作的處理流程，如第5圖所示，包括：步驟310，根據被操作單元的立體圖像的視差確定被操作單元表面相對於屏幕的深度；本實施例是通過立體圖像中左圖像和右圖像的視差形成立體顯示效果。第6a圖和第6b圖分別是具有視差d的像素點P在立體顯示時表現為凹入和凸出屏幕的示意圖，其中，視差d是像素點P在立體圖像的左圖像和右圖像上的坐標之差，根據像素點的視差d以及用戶左、右眼的三維位置，就可以很容易的計算出像素點P相對於屏幕的深度即垂直距離。被操作單元相對屏幕凸出時深度可以取正，凹入時可以取負，或者相反。
用戶左、右眼的間距和觀看位置可以參照本領域的經驗值設定，這裏不再詳細討論。如果有頭部跟踪裝置，也可以使用跟踪檢測到的左、右眼的三維位置來動態地計算視差，更為精確。
由於被操作單元表面在屏幕上的位置是已知的，本步驟確定被操作單元表面相對屏幕的深度後，已得到被操作單元表面的三維位置。
步驟320，根據實時獲取的操作棒接觸部的三維位置訊息確定操作棒接觸部的三維位置；操作棒發送的操作棒接觸部的三維位置訊息可以是操作棒接觸 部在空間中的三維坐標，也可以是可推算出該三維坐標的其他訊息。在操作棒不接觸屏幕時，操作棒接觸部的三維位置可以根據接收的操作棒接觸部的三維坐標訊息得到，或者，根據接收的操作棒上另一部位的三維坐標訊息、操作棒的方位角訊息(如操作棒與屏幕的夾角和操作棒在屏幕上的投影與X軸或Y軸的夾角)及接觸部到該另一部位的固有距離計算得到。該計算可以在操作棒的定位單元中完成，也可以在被操作設備中完成。
操作棒接觸屏幕時，也可以採用上段的方式確定操作棒接觸部的三維位置。由於操作棒接觸屏幕後，有操作棒與屏幕的碰觸位置和操作棒頭部的縮進長度等參數可以使用，因此可以根據操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置計算操作棒接觸部的三維位置，結果更為準確。其中，操作棒頭部的縮進長度可以根據所述操作棒發來的縮進長度的訊息確定。
步驟330，根據操作棒接觸部的三維位置和所顯示的被操作單元表面的三維位置，判斷操作棒是否與被操作單元發生虛擬碰觸，如是，執行步驟340，否則，返回步驟320；一般地，在操作棒接觸部的三維位置與被操作單元表面的三維位置重合或穿越時認為兩者發生虛擬碰觸。
步驟340，通過對被操作單元的立體圖像的視差調整模擬被操作單元表面被按壓時的深度變化，並向操作棒發送力反饋指令。
本步驟中，還可以根據被操作單元表面的深度變化，判斷操作棒是否完成了對被操作單元的點擊操作(有些按鈕被壓下一定位置後才視為選中)，如是，則生成對該被操作單元的點擊命令。
本步驟中，可以將實時獲取的操作棒接觸部相對於屏幕的深度作為被操作單元表面的深度，並根據該深度來調整被操作單元在立體圖像上的視差，如對左圖像和/或左圖像上的該被操作單元的像素 點坐標進行平移處理。顯示出的被操作單元即可模擬出被操作單元被按壓時的深度變化。在另一實施例中，如果縮進長度較小，可以簡化中間過程的顯示，直接顯示被操作單元被按下到停止位置時的立體圖像。在又一實施例中，還可以逐次顯示被操作單元被按下到停止位置及中間的若干位置的立體圖像。
請參照第7圖，是通過立體顯示模擬操作棒伸入感應屏幕的操作的處理流程圖，包括：步驟410，檢測操作棒是否碰觸屏幕，如是，執行步驟420，否則繼續檢測；步驟420，根據實時獲取的操作棒縮進部分的三維位置訊息及操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分的虛擬三維位置；計算操作棒縮進部分的虛擬三維位置時，可以根據實時獲取的操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分上至少一點(如接觸部)的虛擬三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。也可以根據實時接收的操作棒的三維位置訊息，得到或計算出操作棒接觸部的三維位置，結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。其中，操作棒頭部的縮進長度可以根據所述操作棒發來的縮進長度的訊息確定。
步驟430，根據操作棒縮進部分的虛擬三維位置，實時繪製操作棒縮進部分的立體圖像，將繪製的該立體圖像顯示在屏幕上。
在繪製時，可以將設定或跟踪得到的用戶觀看屏幕時左、右眼的三維位置作為左、右相機，將感應屏幕作為零視差面，即可分別繪製出該縮進部分的左右圖像。完成本步驟之後，屏幕將顯示操作 棒縮進部分的立體圖像，使得用戶看上去好象操作棒真的探進了屏幕一樣，增强了用戶立體交互時的真實感。
從上述方案可以看出，本實施例實現了結合立體顯示來表現的一種觸控操作。為了讓用戶感覺到更多的真實感，以及所感受的操作棒與屏幕的交互更加符合實際，在操作棒中設置了對操作棒進行運動檢測的定位單元，可以實時檢測操作棒的位置和姿態。請再參照第1圖所示，對於顯示為凸出屏幕的按鍵，在操作棒還沒有接觸屏幕但人眼感覺已接觸屏幕時，通過虛擬碰觸檢測獲知並改變該按鍵的顯示，使得其好象真的被按下一樣，同時可以通過力反饋單元給於用戶觸感。而對於顯示為凹入屏幕的按鍵，請再參照第2圖，在操作棒已接觸屏幕但人眼感覺還沒有接觸按鍵時，操作棒頭部可以隨著操作者的動作而自動進行縮進，並向終端設備發送縮進長度的訊息，終端設備繪製出該縮進部分的立體圖像並在屏幕上顯示，用戶感覺好象該操作棒真的伸入屏幕去點擊按鍵一樣，同時當操作棒做出其他動作時，比如左右移動，虛擬操作棒也將同時移動。伸入屏幕後可以通過虛擬碰觸檢測得知操作棒點中了按鍵，然後可以對被操作單元進行視差調整和力反饋的處理。
作為本實施例一個簡化後的變例，可以取消與力反饋有關內容，不在操作棒中設置力反饋單元，也不在被操作設備中進行相關處理。其他實施例同此。
在某種應用場景下，只涉及對顯示為凸出屏幕的被操作單元的操作，則針對該應用場景的實施例可以在本實施例的基礎上加以簡化，可以取消與伸縮操作相關的裝置和處理，如操作棒中的伸縮頭和伸縮感應單元可以取消，被操作設備的圖像處理裝置中的第二位置確定單元、圖像繪製單元可以取消，並且可以取消計算縮進長度、繪製虛擬操作棒等的處理。
在某種應用場景下，只涉及對顯示為凹入屏幕的被操作單元的操作，則針對該應用場景的實施例可以在本實施例的基礎上加以簡化，操作棒中的定位單元可以取消作運動軌迹檢測的傳感器，因為只需要借助於操作棒的姿態、縮進長度和感應屏幕與操作棒的碰觸位置，即可完成虛擬碰觸檢測。
實施例二
與實施例一不同的是，本實施例的立體交互並不涉及操作棒對在屏幕上立體顯示的被操作單元的觸碰操作，而只涉及通過立體顯示模擬操作棒伸入感應屏幕的操作的處理。因此可以在實施例一的基礎上進行一些簡化。
操作棒的結構可以與實施例一的操作棒相同。也可以作一些簡化，例如，定位單元可以只包括作姿態檢測的傳感器。
被操作設備同樣包括感應屏幕、通信裝置和圖像處理裝置。感應屏幕和通信裝置與實施例一相同。
交互控制裝置包括：實際碰觸檢測單元，用於在檢測到操作棒接觸感應屏幕時，激活圖像處理裝置中的圖像繪製單元，並將操作棒和感應屏幕的碰觸位置通知位置確定單元。
位置確定單元，用於根據實時獲取的操作棒縮進部分的三維位置訊息和操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分的虛擬三維位置。例如，根據實時獲取的操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分上至少一點(如接觸部)的虛擬三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。其中，接觸部的虛擬三維位置也可以根據實時獲取的操作棒的三維位置和姿態的訊息得到或計算得到；操作棒 頭部的縮進長度根據操作棒發來的縮進長度的訊息確定。
圖像處理裝置包括：圖像繪製單元，同實施例一中的圖像繪製單元，用於根據操作棒縮進部分的虛擬三維位置，實時繪製操作棒縮進部分的立體圖像，並將繪製的該立體圖像顯示在感應屏幕上。
本實施例通過立體顯示模擬操作棒伸入感應屏幕的操作的處理流程同實施例一。
實施例三
本實施例與實施例一基本相同，區別在於對操作棒的三維位置的檢測上。本實施例中，操作棒中沒有用於檢測位置和姿態的定位單元，需要使用其他的定位輔助裝置共同定位操作棒在空間中的三維坐標。
該定位輔助裝置用於感知操作棒相對於感應屏幕的三維位置並將感知到的三維位置訊息發送給被操作設備，其方式可以但不限於是：
(a)跟踪裝置，如攝像機(camera)，通過該攝像機對操作棒進行跟踪識別，確定操作棒的三維位置訊息並發送給，該三維位置訊息可以包括操作棒接觸部或其他部件的三維位置和操作棒的方位角的訊息。
(b)紅外感應裝置，操作棒和被操作的設備上都要有這種裝置，一個作為發生裝置，一個作為接受裝置，由被操作設備或操作棒計算得到操作棒的三維位置訊息。
上述定位輔助裝置可以直接向被操作設備的交互控制裝置發送三維位置訊息，也可以先發送到被操作單元的通信裝置，由該通信裝置提供給該交互控制裝置。
本實施例對操作棒的三維位置的檢測也可以用於實施例一的變 例和實施例二。在最簡單的一種方式下，操作棒不具有可縮進頭部和伸縮感應機構、定位單元和力反饋單元，就如同普通的書寫筆一樣。操作棒的位置和姿態由定位輔助裝置進行檢測，在立體交互時只需要模擬對凸出屏幕的被操作單元的觸控操作，因此被操作設備上與操作棒縮進部分相關的定位和繪製的單元和處理均可以省略。
實施例四
本實施例與實施例一基本相同，區別在於操作棒中不設置縮進感應單元。對於操作棒碰觸屏幕後的縮進長度，通過另一方式進行計算。
如第8圖所示，本實施例在被操作設備的感應屏幕10的表面增加了一層特殊的壓力感應裝置101。例如，該壓力感應裝置可以是一種特殊的電容屏，當操作棒接觸到該電容屏後，該電容屏會隨著操作棒的壓力變化而發生電場的改變，這種電場的改變被檢測出來後，可以發送到交互控制裝置。因為壓力與操作棒頭部的縮進長度具有對應關係，感知屏幕的電容電壓的變化就可以計算出操作棒頭部的縮進長度。進而確定操作棒接觸部的三維位置。也即，操作棒頭部的縮進長度也可以根據感應屏幕上的壓力感應裝置的檢測結果計算得到。
本實施例對操作棒的縮進長度的檢測也可以用於實施例一的變例和實施例二。
實施例五
本實施例與實施例一基本相同，區別在於操作棒中不設置縮進感應單元。對於操作棒碰觸屏幕後的操作棒接觸部的三維位置，通過另一方式進行計算。
因為沒有縮進感應單元，因此本實施例操作棒碰觸屏幕後不能獲取檢測到的操作棒頭部的縮進長度的訊息。不過，由於操作棒中 的定位單元可以實時檢測到操作棒的位置和姿態，因此，可以根據定位單元的檢測結果來推算縮進長度。
根據定位單元檢測的操作棒的三維位置和姿態的訊息，可以得到操作棒接觸部的深度及操作棒與感應屏幕的夾角，根據該深度和夾角即可計算出操作棒頭部的縮進長度。得到該縮進長度後，結合操作棒的方位角及操作棒與感應屏幕的碰觸位置可計算出操作棒接觸部的三維位置。這種方式將定位單元的數據與實際碰觸位置的數據結合起來，可以保證定位精度，可以避免操作棒斷開等不良顯示效果的出現。
本實施例對操作棒的縮進長度的檢測也可以用於實施例一的變例。容易理解，本實施例定位單元實時檢測到的操作棒的三維位置和姿態的訊息也可以利用實施例二中的輔助裝置來提供。
本領域普通技術人員可以理解上述方法中的全部或部分步驟可通過程序來指令相關硬件完成，所述程序可以存儲於計算機可讀存儲介質中，如只讀存儲器、磁盤或光盤等。可選地，上述實施例的全部或部分步驟也可以使用一個或多個集成電路來實現，相應地，上述實施例中的各模塊/單元可以採用硬件的形式實現，也可以採用軟體功能模塊的形式實現。本發明不限制於任何特定形式的硬件和軟體的結合。
以上所述僅為本發明的較佳實施例而已，並不用於限制本發明，對於本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
10‧‧‧感應屏幕
20‧‧‧通信裝置
30‧‧‧交互控制裝置
301‧‧‧第一位置確定單元
302‧‧‧虛擬碰觸檢測單元
303‧‧‧實際碰觸檢測單元
304‧‧‧第二位置確定單元
40‧‧‧圖像處理裝置
102‧‧‧可伸縮頭部
103‧‧‧通信單元
104‧‧‧定位單元
105‧‧‧力反饋單元
106‧‧‧伸縮感應單元
310‧‧‧步驟
320‧‧‧步驟
330‧‧‧步驟
401‧‧‧深度計算單元
402‧‧‧視差調整單元
403‧‧‧圖像繪製單元
101‧‧‧外殼
340‧‧‧步驟
410‧‧‧步驟
420‧‧‧步驟
430‧‧‧步驟
第1圖是本發明實施例對凸出屏幕的按鈕的觸控操作的示意圖；第2圖是本發明實施例對凹入屏幕的按鈕的觸控操作的示意圖；第3a圖是本發明實施例一操作棒的結構示意圖；第3b圖是本發明實施例一操作棒中各單元的連接示意圖；第4圖是本發明實施例一被操作設備的結構示意圖；第5圖是本發明實施例一對在屏幕上立體顯示的被操作單元的觸碰操作的處理流程圖；第6a圖和第6b圖是像素點的視差與深度的關係的示意圖；第7圖是本發明實施例一通過立體顯示模擬操作棒伸入感應屏幕的操作的處理流程圖；第8圖是通過屏幕上的壓力感應裝置檢測操作棒的縮進長度的示意圖。
10‧‧‧感應屏幕
20‧‧‧通信裝置
30‧‧‧交互控制裝置
301‧‧‧第一位置確定單元
302‧‧‧虛擬碰觸檢測單元
303‧‧‧實際碰觸檢測單元
304‧‧‧第二位置確定單元
40‧‧‧圖像處理裝置
401‧‧‧深度計算單元
402‧‧‧視差調整單元
403‧‧‧圖像繪製單元

Claims (21)

  1. 一種立體交互系統，其中，包括被操作設備和操作棒；所述被操作設備包括可顯示被操作單元的立體圖像的感應屏幕、交互控制裝置、用於實現交互控制裝置與操作棒之間訊息交互的通信裝置，以及圖像處理裝置；所述交互控制裝置包括：第一位置確定單元，用於根據實時獲取的操作棒接觸部的三維位置訊息確定操作棒接觸部的三維位置；虛擬碰觸檢測單元，用於根據操作棒接觸部的三維位置和所顯示的被操作單元表面的三維位置，實時判斷操作棒是否與被操作單元發生虛擬碰觸，如是，激活圖像處理裝置中的視差調整單元；所述圖像處理裝置包括：深度計算單元，用於根據被操作單元的立體圖像的視差確定被操作單元表面相對於感應屏幕的深度，並通知虛擬碰觸檢測單元；及視差調整單元，用於通過對被操作單元的立體圖像的視差調整，模擬被操作單元被按壓時的深度變化；及所述操作棒包括：定位單元，用於實時檢測操作棒在空間中的位置和/或姿態，並將檢測到的三維位置訊息傳送給通信單元發送；通信單元，用於實現操作棒與被操作設備之間的訊息交互；所述第一位置確定單元實時獲取的操作棒接觸部的三維位置訊息是所述操作棒中的定位單元發送的，其中操作棒接觸部的三維位置與被操作單元表面的三維位置重合或穿越時認為兩者發生虛擬碰觸。
  2. 如申請專利範圍第1項所述的立體交互系統，其中：所述定位單元包括作運動軌迹檢測的傳感器，和/或作方位角檢測的傳感器，該運動軌迹的初始位置設置為操作棒初始狀態下在以 顯示屏幕所在平面為基準的參照系中的相對位置。
  3. 如申請專利範圍第1項所述的立體交互系統，其中：還包括：定位輔助裝置，用於實時感知操作棒相對於感應屏幕的三維位置，並將感知到的三維位置的訊息發送給所述第一位置確定單元。
  4. 如申請專利範圍第1或2或3項所述的立體交互系統，其中：所述第一位置確定單元根據實時獲取的操作棒接觸部的三維位置訊息確定操作棒接觸部的三維位置，包括：至少在所述操作棒不碰觸所述感應屏幕時，根據接收的操作棒接觸部的三維坐標訊息得到所述操作棒接觸部的三維位置；或者，根據接收的操作棒上另一部位的三維坐標訊息、操作棒的方位角訊息及接觸部到該另一部位的固有距離計算得到所述操作棒接觸部的三維位置。
  5. 如申請專利範圍第1或2或3項所述的立體交互系統，其中：所述交互控制裝置還包括：實際碰觸檢測單元，用於在檢測到操作棒碰觸屏幕後，將檢測到的碰觸位置通知第一位置確定單元；所述第一位置確定單元根據實時獲取的操作棒接觸部的三維位置訊息確定操作棒接觸部的三維位置，包括：在所述操作棒碰觸所述感應屏幕時，根據操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置計算得到所述操作棒接觸部的三維位置。
  6. 如申請專利範圍第5項所述的立體交互系統，其中：所述第一位置確定單元計算所述操作棒接觸部的三維位置使用的所述操作棒頭部的縮進長度，是根據操作棒或定位輔助裝置發送的該操作棒的三維位置和姿態的訊息確定操作棒接觸部的深度和操作棒與感應屏幕的夾角，然後計算得到所述操作棒頭部的縮進長度。
  7. 如申請專利範圍第1項所述的立體交互系統，其中： 所述視差調整單元通過對被操作單元的立體圖像的視差調整，模擬被操作單元被按壓時的深度變化，包括：將實時獲取的操作棒接觸部相對於屏幕的深度作為被操作單元表面的深度，並根據該深度來調整被操作單元在立體圖像上的視差。
  8. 如申請專利範圍第1項所述的立體交互系統，其中：所述虛擬碰觸檢測單元在判斷操作棒碰觸到被操作單元之後，還根據被操作單元表面的深度變化，判斷操作棒是否完成了對被操作單元的點擊操作，如是，則生成對該被操作單元的點擊命令。
  9. 如申請專利範圍第1項所述的立體交互系統，其中：所述操作棒包括：力反饋單元，用於根據所述通信單元接收的力反饋指令，執行模擬力反饋的動作；通信單元，用於實現操作棒與被操作設備之間的訊息交互；所述虛擬碰觸檢測單元實時判斷操作棒碰觸到被操作單元時，還通過所述通信裝置向所述操作棒發送力反饋指令。
  10. 如申請專利範圍第1或2或3項所述的立體交互系統，其中：所述操作棒包括一可伸縮頭部；所述交互控制裝置還包括：第二位置確定單元，用於根據實時獲取的操作棒縮進部分的三維位置訊息和操作棒與感應屏幕的碰觸位置，得到操作棒縮進部分的虛擬三維位置；實際碰觸檢測單元，用於在檢測到操作棒碰觸感應屏幕時，激活圖像處理裝置中的圖像繪製單元，並將操作棒和感應屏幕的碰觸位置通知第二位置確定單元；所述圖像處理裝置還包括：圖像繪製單元，用於根據操作棒縮進部分的虛擬三維位置，實 時繪製操作棒縮進部分的立體圖像，並將繪製的該立體圖像顯示在所述感應屏幕上。
  11. 如申請專利範圍第10項所述的立體交互系統，其中：所述第二位置確定單元根據實時獲取的操作棒縮進部分的三維位置訊息計算出操作棒縮進部分的虛擬三維位置，包括：根據實時獲取的操作棒頭部的縮進長度、操作棒的方位角及操作棒與感應屏幕的碰觸位置，計算出操作棒縮進部分上至少一點的虛擬三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。
  12. 如申請專利範圍第11項所述的立體交互系統，其中：所述第二位置確定單元計算操作棒縮進部分的虛擬三維位置時使用的操作棒頭部的縮進長度按以下方式得到：根據接收的該操作棒的三維位置和姿態的訊息確定操作棒接觸部的深度和操作棒與感應屏幕的夾角，然後計算得到所述操作棒頭部的縮進長度。
  13. 如申請專利範圍第1項所述的立體交互系統，其中：所述操作棒包括：可伸縮頭部；伸縮感應單元，用於實時檢測操作棒可伸縮頭部的縮進長度並將檢測到的縮進長度的訊息傳送給通信單元發送；通信單元，用於實現操作棒與被操作設備之間的訊息交互。
  14. 如申請專利範圍第13項所述的立體交互系統，其中：所述可伸縮頭部包括操作棒頭和抵頂於該操作棒頭和伸縮感應裝置之間的彈性部件；所述伸縮感應單元採用壓力傳感的方式實現，用於感應所述彈性部件的壓力，轉化為相應的電信號並傳送給通信單元發送。
  15. 如申請專利範圍第1項所述的立體交互系統，其中： 所述操作棒包括可伸縮頭部；所述感應屏幕表面增設了一壓力感應裝置，用於檢測操作棒與感應屏幕碰觸時的壓力並將檢測結果發送到交互控制裝置，該壓力與操作棒頭部的縮進長度對應。
  16. 如申請專利範圍第10項所述的立體交互系統，其中：所述位置確定單元根據實時獲取的操作棒縮進部分的三維位置訊息計算出操作棒縮進部分的虛擬三維位置，包括：根據實時接收的操作棒的三維位置訊息，得到或計算出操作棒接觸部的三維位置，再結合操作棒與感應屏幕的碰觸位置和操作棒可伸縮頭部的模型，計算出操作棒縮進部分的虛擬三維位置。
  17. 如申請專利範圍第10項所述的立體交互系統，其中：所述圖像繪製單元實時繪製的操作棒縮進部分的圖像是立體圖像，該立體圖像是將設定或跟踪得到的用戶觀看屏幕時左、右眼的三維位置作為左、右相機，將感應屏幕作為零視差面，繪製出所述操作棒縮進部分的左圖像和右圖像。
  18. 如申請專利範圍第1項所述的立體交互系統，其中：所述被操作設備為智能手機或平板電腦。
  19. 如申請專利範圍第1或9或13項所述的立體交互系統，其中：所述操作棒的頭部遠離外殼的一端為一尖端，該尖端構成了所述操作棒接觸部。
  20. 一種立體交互方法，用於在被操作設備上通過立體顯示模擬操作棒伸入感應屏幕的操作，該立體交互方法包括：檢測操作棒是否碰觸所述感應屏幕，其中操作棒的定位單元實時檢測操作棒在空間中的位置和/或姿態並將檢測到的三維位置訊息傳送給通信單元發送至被操作設備，操作棒接觸部的三維位置與被操作單元表面的三維位置重合或穿越時認為兩者發生虛擬碰觸； 操作棒碰觸所述感應屏幕時，根據實時獲取的操作棒縮進部分的三維位置訊息和操作棒與感應屏幕的碰觸位置，計算出所述操作棒縮進部分的虛擬三維位置；根據操作棒縮進部分的虛擬三維位置，實時繪製操作棒縮進部分的圖像，並將繪製的該圖像顯示在所述感應屏幕上。
  21. 一種立體交互方法，用於在被操作設備上模擬操作棒對感應屏幕上立體顯示的被操作單元的操作，該立體交互方法包括：根據被操作單元的立體圖像的視差確定被操作單元表面相對於屏幕的深度；根據實時獲取的操作棒接觸部的三維位置訊息確定操作棒接觸部的三維位置，其中操作棒的定位單元實時檢測操作棒在空間中的位置和/或姿態並將檢測到的三維位置訊息傳送給通信單元發送至被操作設備；比較操作棒接觸部的三維位置和所顯示的被操作單元表面的三維位置，實時判斷操作棒是否與被操作單元發生虛擬碰觸，其中操作棒接觸部的三維位置與被操作單元表面的三維位置重合或穿越時認為兩者發生虛擬碰觸；如判斷操作棒碰觸到被操作單元，通過對被操作單元的立體圖像的視差調整，模擬被操作單元被按壓時的深度變化。
TW101139929A 2011-11-03 2012-10-29 一種立體交互系統和立體交互方法 TWI530858B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN2011103435961A CN102426486B (zh) 2011-11-03 2011-11-03 一种立体交互方法及被操作设备
CN2011103433059A CN102508561B (zh) 2011-11-03 2011-11-03 一种操作棒
CN2011103439303A CN102508563B (zh) 2011-11-03 2011-11-03 一种立体交互方法以及被操作设备
CN2011103435980A CN102508562B (zh) 2011-11-03 2011-11-03 一种立体交互系统

Publications (2)

Publication Number Publication Date
TW201319925A TW201319925A (zh) 2013-05-16
TWI530858B true TWI530858B (zh) 2016-04-21

Family

ID=47290626

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101139929A TWI530858B (zh) 2011-11-03 2012-10-29 一種立體交互系統和立體交互方法

Country Status (5)

Country Link
US (1) US20130117717A1 (zh)
EP (1) EP2590060A1 (zh)
JP (1) JP2013097805A (zh)
KR (1) KR101518727B1 (zh)
TW (1) TWI530858B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9081195B2 (en) * 2012-08-13 2015-07-14 Innolux Corporation Three-dimensional image display apparatus and three-dimensional image processing method
WO2014126407A1 (en) * 2013-02-15 2014-08-21 Samsung Electronics Co., Ltd. User terminal and method of displaying image thereof
US10019130B2 (en) 2013-04-21 2018-07-10 Zspace, Inc. Zero parallax drawing within a three dimensional display
US10083288B2 (en) * 2014-03-25 2018-09-25 Sony Corporation and Sony Mobile Communications, Inc. Electronic device with parallaxing unlock screen and method
KR102336445B1 (ko) * 2014-12-01 2021-12-07 삼성전자주식회사 디바이스를 제어하는 방법, 시스템 및 그 디바이스
KR101807512B1 (ko) 2015-02-05 2018-01-18 한국전자통신연구원 맵핑형 3차원 상호작용 장치 및 방법
KR102449838B1 (ko) 2015-09-01 2022-09-30 삼성전자주식회사 사용자의 인터랙션에 기초하여 3차원 오브젝트를 처리하는 방법 및 장치
CN105872518A (zh) * 2015-12-28 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟现实调整视差的方法及装置
DE202016103403U1 (de) * 2016-06-28 2017-09-29 Stabilo International Gmbh Federnder Batteriekontakt mit Sensorschutz
WO2021029256A1 (ja) * 2019-08-13 2021-02-18 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0675693A (ja) * 1992-08-25 1994-03-18 Toshiba Corp ３次元ポインティング装置
JP2003085590A (ja) * 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体
CN101308442B (zh) * 2004-10-12 2012-04-04 日本电信电话株式会社 三维指示方法和三维指示装置
JP2008242894A (ja) * 2007-03-28 2008-10-09 Sega Corp スタイラスペン，及びこれを用いたコンピュータシミュレーション装置
KR100980202B1 (ko) 2008-10-30 2010-09-07 한양대학교 산학협력단 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법
JP5563250B2 (ja) * 2009-06-30 2014-07-30 株式会社ジャパンディスプレイ 立体画像表示装置
JP2011087848A (ja) * 2009-10-26 2011-05-06 Mega Chips Corp ゲーム装置
US20110115751A1 (en) * 2009-11-19 2011-05-19 Sony Ericsson Mobile Communications Ab Hand-held input device, system comprising the input device and an electronic device and method for controlling the same
JP5446769B2 (ja) * 2009-11-20 2014-03-19 富士通モバイルコミュニケーションズ株式会社 ３次元入力表示装置
CN102822784A (zh) * 2010-03-31 2012-12-12 诺基亚公司 用于虚拟触笔的装置、方法和计算机程序
US8826184B2 (en) * 2010-04-05 2014-09-02 Lg Electronics Inc. Mobile terminal and image display controlling method thereof
US20120005624A1 (en) * 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
JP2013084096A (ja) * 2011-10-07 2013-05-09 Sharp Corp 情報処理装置

Also Published As

Publication number Publication date
TW201319925A (zh) 2013-05-16
US20130117717A1 (en) 2013-05-09
KR20130049152A (ko) 2013-05-13
EP2590060A1 (en) 2013-05-08
JP2013097805A (ja) 2013-05-20
KR101518727B1 (ko) 2015-05-08

Similar Documents

Publication Publication Date Title
TWI530858B (zh) 一種立體交互系統和立體交互方法
CN102426486B (zh) 一种立体交互方法及被操作设备
EP2755194B1 (en) 3d virtual training system and method
CN102508562B (zh) 一种立体交互系统
TWI476633B (zh) 傳輸觸覺資訊的系統和方法
KR101381928B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
US20150220158A1 (en) Methods and Apparatus for Mapping of Arbitrary Human Motion Within an Arbitrary Space Bounded by a User&#39;s Range of Motion
CN102779000B (zh) 一种用户交互系统和方法
WO2016120804A1 (en) Method and system for receiving gesture input via virtual control objects
CN103744518B (zh) 立体交互方法及其显示装置和系统
CN109313502B (zh) 利用选择装置的敲击事件定位
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
KR101441882B1 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
US20150033157A1 (en) 3d displaying apparatus and the method thereof
CN102508561B (zh) 一种操作棒
JP6065908B2 (ja) 立体画像表示装置、そのカーソル表示方法及びコンピュータプログラム
CN111161396B (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
CN102508563B (zh) 一种立体交互方法以及被操作设备
TWI486815B (zh) 顯示設備及其控制系統和方法
KR101321274B1 (ko) 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치
CN106066689B (zh) 基于ar或vr系统的人机交互方法和装置
CN110968248B (zh) 生成用于视觉触摸检测的指尖的3d模型
CN114816088A (zh) 线上教学方法、电子设备和通信系统
CN114647304A (zh) 一种混合现实交互方法、装置、设备及存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees