TWI825367B - 實現懸浮觸控的方法、3d顯示設備和3d終端 - Google Patents

實現懸浮觸控的方法、3d顯示設備和3d終端 Download PDF

Info

Publication number
TWI825367B
TWI825367B TW109142959A TW109142959A TWI825367B TW I825367 B TWI825367 B TW I825367B TW 109142959 A TW109142959 A TW 109142959A TW 109142959 A TW109142959 A TW 109142959A TW I825367 B TWI825367 B TW I825367B
Authority
TW
Taiwan
Prior art keywords
touch
viewpoint
display screen
display
floating
Prior art date
Application number
TW109142959A
Other languages
English (en)
Other versions
TW202122990A (zh
Inventor
刁鴻浩
玲溪 黃
Original Assignee
新加坡商視覺技術創投私人有限公司
大陸商北京芯海視界三維科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新加坡商視覺技術創投私人有限公司, 大陸商北京芯海視界三維科技有限公司 filed Critical 新加坡商視覺技術創投私人有限公司
Publication of TW202122990A publication Critical patent/TW202122990A/zh
Application granted granted Critical
Publication of TWI825367B publication Critical patent/TWI825367B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0439—Pixel structures
    • G09G2300/0452—Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

本發明關於3D圖像領域，公開了一種實現懸浮觸控的方法，包括：控制多視點3D顯示幕顯示3D觸控對象，以及獲取使用者相對多視點3D顯示幕的懸浮觸控位置；和當懸浮觸控位置與3D觸控對象的顯示位置相匹配時，生成觸控觸發資訊。本發明中的懸浮觸控技術，區別於2D觸控，能夠在3D空間中實現位置匹配生成觸控觸發資訊。本發明還公開一種實現懸浮觸控的3D顯示設備和3D終端、電腦可讀儲存介質、電腦程式產品。

Description

實現懸浮觸控的方法、3D顯示設備和3D終端
本發明關於3D顯示技術，例如關於基於多視點3D顯示幕實現懸浮觸控的方法、3D顯示設備和3D終端。
顯示觸控技術為使用者提供了便捷、高效的資訊輸入，使得使用者能夠高效地進行資訊互動，在3D顯示中進行觸控資訊採集尤為必要，能夠提升使用者對的身臨其境的感受，還能進一步提升使用者資訊輸入、資訊互動的效率，現有的3D顯示採集觸控點的方式和常規2D採集觸控點的方式一致，在顯示面板上設置金屬線，感測到電容或者電壓變化之後或者觸控點的位置，此種的方式造成顯示是3D效果，但是觸控仍然是在2D平面內檢測，造成感官不統一的問題，嚴重影響了使用者的資訊輸入，資訊交互的效率。
本背景技術僅為了便於瞭解本領域的相關技術，並不視作對現有技術的承認。
為了對披露的實施例的一些方面有基本的理解，下面給出了一些實施例的概述，其不是要確定關鍵／重要組成元素或描繪發明的保護範圍，而是作為後面的詳細說明的序言。
本發明實施例意圖提供一種實現懸浮觸控的方法、3D顯示設備和3D終端、電腦可讀儲存介質、電腦程式產品，意圖實現觸控和顯示感官統一。
在一個方案中，提供了一種實現懸浮觸控的方法，包括：控制多視點3D顯示幕顯示3D觸控對象，以及獲取使用者相對多視點3D顯示幕的懸浮觸控位置；和當懸浮觸控位置與3D觸控對象的顯示位置相匹配時，生成觸控觸發資訊。
在一些實施例中，多視點3D顯示幕包括多個複合子圖元，多個複合子圖元中的每個複合子圖元包括對應多個視點的多個子圖元；控制多視點3D顯示幕顯示3D觸控對象包括：根據使用者的眼部所在視點，基於3D信號動態渲染多視點3D顯示幕中的複合子圖元中的子圖元，以向使用者以3D效果顯示3D觸控對象。
在一些實施例中，獲取使用者相對多視點3D顯示幕的懸浮觸控位置包括：採集使用者的使用者圖像；根據使用者圖像獲取使用者的觸控媒介相對多視點3D顯示幕的空間位置；其中，觸控媒介包括使用者的手指或者觸控筆。
在一些實施例中，3D觸控對象的顯示位置包括3D觸控對象的景深和平面位置。
在一些實施例中，當懸浮觸控位置與3D觸控對象的顯示位置相匹配時，生成觸控觸發資訊包括：當懸浮觸控位置與3D觸控對象的平面位置相匹配，且懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深相匹配時，生成觸控觸發資訊，其中，觸控觸發資訊包括與懸浮觸控位置相匹配的3D觸控對象。
在一些實施例中，當懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深相匹配時，生成觸控觸發資訊包括：當懸浮觸控位置相對多視點3D顯示幕的間距小於3D觸控對象的景深時，生成觸控觸發資訊；或者，當懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深的差值在閾值範圍內時，生成觸控觸發資訊；或者，當懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深的差值在閾值範圍內，且懸浮觸控位置相對多視點3D顯示幕的間距小於3D觸控對象的景深時，生成觸控觸發資訊。
在另一方案中，提供了一種實現懸浮觸控的3D顯示設備，包括：多視點3D顯示幕；3D處理裝置，被配置為控制多視點3D顯示幕顯示3D觸控對象；圖像採集裝置，被配置為採集使用者圖像；懸浮觸控位置生成裝置，被配置為根據使用者圖像獲取使用者相對多視點3D顯示幕的懸浮觸控位置；和觸控檢測裝置，被配置為當懸浮觸控位置與3D觸控對象的顯示位置匹配時，生成觸控觸發資訊。
在一些實施例中，懸浮觸控位置生成裝置被配置為根據使用者圖像獲取使用者的觸控媒介相對多視點3D顯示幕的空間位置，其中，觸控媒介包括使用者的手指或者觸控筆。
在一些實施例中，多視點3D顯示幕包括多個複合子圖元，多個複合子圖元中的每個複合子圖元包括對應多個視點的多個子圖元； 3D處理裝置被配置為根據使用者的眼部所在視點，基於3D信號動態渲染多視點3D顯示幕中的複合子圖元中的子圖元。
在一些實施例中，還包括眼部定位裝置，被配置為獲取使用者的眼部所在視點。
在一些實施例中，3D觸控對象的顯示位置包括3D觸控對象的景深和平面位置；觸控檢測裝置被配置為當懸浮觸控位置與3D觸控對象的平面位置相匹配，且懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深相匹配時，生成觸控觸發資訊；其中，觸控觸發資訊包括與懸浮觸控位置匹配的3D觸控對象。
在一些實施例中，觸控檢測裝置被配置為：當懸浮觸控位置相對多視點3D顯示幕的間距小於3D觸控對象的景深時，生成觸控觸發資訊；或者，當懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深的差值在閾值範圍內時，生成觸控觸發資訊；或者，當懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深的差值在閾值範圍內，且懸浮觸控位置相對多視點3D顯示幕的間距小於3D觸控對象的景深時，生成觸控觸發資訊。
在另一方案中，提供了一種實現懸浮觸控的3D終端，包括：處理器；和儲存有程式指令的記憶體；處理器被配置為在執行程式指令時，執行如上文描述的實現懸浮觸控的方法。
本發明實施例提供的電腦可讀儲存介質，儲存有電腦可執行指令，上述電腦可執行指令設置為執行上述的實現懸浮觸控的方法。
本發明實施例提供的電腦程式產品，包括儲存在電腦可讀儲存介質上的電腦程式，上述電腦程式包括程式指令，當該程式指令被電腦執行時，使上述電腦執行上述的實現懸浮觸控的方法。
本發明中的懸浮觸控技術，區別於2D觸控，能夠在3D空間中實現位置匹配生成觸控觸發資訊。
以上的總體描述和下文中的描述僅是示例性和解釋性的，不用於限制本發明。
為了能夠更加詳盡地瞭解本發明實施例的特點與技術內容，下面結合附圖對本發明實施例的實現進行詳細闡述，所附附圖僅供參考說明之用，並非用來限定本發明實施例。
在本發明的一些實施例中，如圖1A至圖1D所示，提供了一種3D顯示設備，包括多視點3D顯示幕100（例如：多視點裸眼3D顯示幕），多視點3D顯示幕包括顯示面板110和設置在顯示面板110上的光柵120，顯示面中板110上設有m×n個複合圖元CP並因此限定出m×n的顯示解析度；複合圖元CP包括多個複合子圖元CSP，各複合子圖元CSP由對應於i個視點的i個同色子圖元SP構成，i≥3。多視點3D顯示幕100能夠根據視點資訊生成與視點資訊對應的圖像，渲染與視點資訊對應的複合圖元CP中的多個子圖元SP，整體觀看效果上，顯示出與視點資訊對應的圖像。例如，使用者的左眼在視點3，右眼在視點6；對應地，多視點顯示幕100中的所有的複合圖元CP中的對應視點3的子圖元共同對應左眼圖像中的各個圖元點進行渲染，對應視點6的子圖元共同對應右眼圖像中的各個圖元點進行渲染，從而讓使用者觀看到3D顯示效果。
本發明實施例中的多視點3D顯示幕100中的光柵120將子圖元SP的光線投射到空間中的不同位置，眼部處於不同的空間位置能夠看到複合圖元CP中不同的子圖元SP發出的光。
本發明的實施例中多視點3D顯示幕100在顯示觸控場景中，顯示包含有觸控對象的3D顯示畫面，觸控對象的顯示效果也為3D效果，通常，觸控對象的顯示深度值是參考顯示平面來定義的，所以可以通過檢測使用者的懸浮觸控位置獲取到懸浮觸控位置相對顯示平面的空間位置，從而獲知懸浮觸控位置是否與觸控對象匹配上，如果匹配，則觸發觸控對象所綁定的事件，例如生成，OnClick（button num）事件，事件例如可為打開某個檔、關閉某個檔、支付某個訂單、發送某個資訊等等，本發明實施例中的獲取的觸控觸發資訊可以與使用者設定的功能綁定，需要說明的是，本發明中生成的觸控觸發資訊除了生成觸發事件外，還可生成觸發時懸浮觸控位置的空間位置、平面位置、之後一段時間的軌跡等等。
在本發明的一些實施例中，提供了一種3D顯示設備1000，也可運用到上述的生成觸控觸發資訊的過程中，實現懸浮觸控，其包括：多視點3D顯示幕100，包括m×n個複合圖元CP並因此限定出m×n的顯示解析度；用於接收3D信號的視頻幀的信號介面140，其中，3D信號的視頻幀包含具有m×n解析度的兩幅圖像或者包含具有2m×n或m×2n解析度的複合圖像；和3D處理裝置130。
在一些實施例中，3D處理裝置與多視點3D顯示幕通信連接。
在一些實施例中，3D處理裝置與多視點3D顯示幕的驅動裝置通信連接。
在一些實施例中，每個複合圖元CP包括多個複合子圖元CSP，各複合子圖元由對應於i個視點的i個同色子圖元構成，其中i≥3。
在一些實施例中，3D處理裝置130配置為基於兩幅圖像之一渲染各複合子圖元中至少一個子圖元並基於兩幅圖像中另一幅渲染各複合子圖元中至少另一個子圖元。
在另外的一些實施例中，3D處理裝置130配置為基於複合圖像渲染各複合子圖元中至少兩個子圖元。
圖1A示出了本發明實施例提供的3D顯示設備1000的結構示意圖。參考圖1A，在本發明實施例中提供了一種3D顯示設備1000，其可包括多視點3D顯示幕100、3D處理裝置130和用於接收3D信號的視頻幀的信號介面140。本發明中的3D顯示設備1000能夠運用到實現懸浮觸控的方法中，被配置為顯示3D觸控對象。
在圖1A所示的實施例中，多視點3D顯示幕100可包括m×n個複合圖元並因此限定出m×n的顯示解析度。如圖1A所示，多視點3D顯示幕100包括m列n行個複合圖元CP並因此限定出m×n的顯示解析度。
在一些實施例中，每個複合圖元CP包括多個複合子圖元，各複合子圖元由對應於i個視點的i個同色子圖元構成，i≥3。在圖1A所示的實施例中，i=6，但可以想到i為其他數值。在所示的實施例中，多視點3D顯示器可相應地具有i（i=6）個視點（V1-V6），但可以想到可以相應地具有更多或更少個視點。
結合參考圖1A和圖4A，在所示的實施例中，每個複合圖元包括三個複合子圖元，並且每個複合子圖元由對應於6視點（i=6）的6個同色子圖元構成。三個複合子圖元分別對應於三種顏色，即紅（R）、綠（G）和藍（B）。也就是說，每個複合圖元的三個複合子圖元分別具有6個紅色、6個綠色或6個藍色的子圖元。
在圖1A和圖4A所示的實施例中，複合圖元400中的複合子圖元410、420、430呈單列佈置。各複合子圖元410、420、430包括呈單行形式的子圖元411、421、431。但可以想到，複合圖元中的複合子圖元不同排布方式或複合子圖元中的子圖元的不同排布形式。
如圖4B所示，各複合子圖元440、450、460呈單行佈置，並且分別包括呈單列形式的子圖元441、451、461。
如圖4C所示，複合圖元400中的三個複合子圖元470、480、490例如呈“品”字狀佈置。在圖4C所示的實施例中，各複合子圖元470、480、490中的子圖元471、481、491可呈陣列形式（3×2）。
在一些實施例中，例如圖1A-1C所示，3D顯示設備1000可設置有單個3D處理裝置130。該單個3D處理裝置130同時處理對多視點3D顯示幕100的各複合圖元的各複合子圖元的渲染，多視點3D顯示幕可以是大尺寸多視點3D顯示幕。
在另一些實施例中，例如圖6所示，3D顯示設備1000可設置有至少兩個3D處理裝置130，它們並行、串列或串並行結合地處理對多視點3D顯示幕100的各複合圖元的各複合子圖元的渲染，多視點3D顯示幕可以是大尺寸多視點3D顯示幕。
本領域技術人員將明白，上述至少兩個3D處理裝置可以有其他的方式分配且並行處理例如大尺寸的多視點3D顯示幕100的多行多列複合圖元或複合子圖元，這落入本發明的範圍內。
在一些實施例中，3D處理裝置130還可以選擇性地包括暫存器131，以便緩存所接收到的視頻幀。
在一些實施例中，3D處理裝置130為FPGA或ASIC晶片或FPGA或ASIC晶片組。
繼續參考圖1A，3D顯示設備1000還可包括通過信號介面140通信連接至3D處理裝置130的處理器101。在本文所示的一些實施例中，處理器101被包括在電腦或智慧終端機、如移動終端中或作為其處理器單元。但是可以想到，在一些實施例中，處理器101可以設置在3D顯示設備的外部，例如3D顯示設備可以為帶有3D處理裝置的多視點3D顯示器，例如非智慧的3D電視或者非智慧的影院顯示幕。
為簡單起見，下文中的3D顯示設備的示例性實施例內部包括處理器。進而，信號介面140構造為連接處理器101和3D處理裝置130的內部介面。在本發明的一些實施例中，作為3D顯示設備1000的內部介面的信號介面140可以為MIPI、mini-MIPI介面、LVDS介面、min-LVDS介面或Display Port介面。在一些實施例中，如圖1A所示，3D顯示設備1000的處理器101還可包括寄存器122。寄存器122可用於暫存指令、數據和地址。
在一些實施例中，3D顯示設備1000還可包括用於即時獲取眼部定位資料的眼部定位裝置或眼部定位資料介面，從而3D處理裝置130可以基於眼部定位資料渲染複合圖元（複合子圖元）中的相應子圖元。例如圖1B所示的實施例中，3D顯示設備1000還包括通信連接至3D處理裝置130的眼部定位裝置150,由此3D處理裝置130可以直接接收眼部定位資料。在圖1C所示的實施例中，眼部定位裝置（未示出）例如可以直接連接處理器101，而3D處理裝置130經由眼部定位資料介面151從處理器101獲得眼部定位資料。在另一些實施例中，眼部定位裝置可同時連接處理器和3D處理裝置，這一方面3D處理裝置130可以直接從眼部定位裝置獲取眼部定位資料，另一方面可以使得眼部定位裝置獲取的資訊可以被處理器處理。
在一些實施例中，3D顯示設備1000還可包括圖像採集裝置，用於採集使用者的使用者圖像，例如面部圖像，使得3D處理裝置130可以將採集的面部圖像特徵與授權的面部圖像特徵進行匹配，判斷是否滿足條件。
結合參考圖1A至圖1C和圖5A至圖5E，描述本發明一些實施例的3D顯示設備內的3D信號的傳輸和顯示。在所示的實施例中，多視點3D顯示幕100可以限定出6個視點V1-V6，使用者的眼部在各視點（空間位置）可看到多視點3D顯示幕100的顯示面板中各複合圖元的複合子圖元中相應的子圖元的顯示。使用者的雙眼在不同的視點看到的兩個不同畫面形成視差，在大腦中合成3D畫面。
在本發明的一些實施例中，3D處理裝置130通過例如作為內部介面的信號介面140從處理器101接收例如為解壓縮的3D信號的視頻幀。各視頻幀可包含具有m×n圖像解析度的兩幅圖像或者包含具有2m×n或m×2n圖像解析度的複合圖像，或者由其構成。
在一些實施例中，兩幅圖像或複合圖像可以包括不同類型的圖像以及可以呈各種排布形式。
如圖5A所示，3D信號的視頻幀包含並列格式的具有m×n圖像解析度的兩幅圖像501、502或由其構成。在一些實施例中，兩幅圖像可以分別為左眼視差圖像和右眼視差圖像。在一些實施例中，兩幅圖像可以分別為渲染色彩圖像和景深圖像。
如圖5B所示，3D信號的視頻幀包含上下格式的具有m×n圖像解析度的兩幅圖像503、504或由其構成。在一些實施例中，兩幅圖像可以分別為左眼視差圖像和右眼視差圖像。在一些實施例中，兩幅圖像可以分別為渲染色彩圖像和景深圖像。
如圖5C所示，3D信號的視頻幀包含左右交織格式的具有2m×n圖像解析度的複合圖像505。在一些實施例中，複合圖像可以為左右交織的左眼和右眼視差複合圖像、左右交織的渲染色彩和景深複合圖像。
如圖5D所示，3D信號的視頻幀包含上下交織格式的具有m×2n圖像解析度的複合圖像506。在一些實施例中，複合圖像可以為上下交織的左眼和右眼視差複合圖像。在一些實施例中，複合圖像可以為上下交織的渲染色彩和景深的複合圖像。
如圖5E所示，3D信號的視頻幀包含棋盤格式的具有2m×n圖像解析度的複合圖像507。在一些實施例中，複合圖像可以為棋盤格式的左眼和右眼視差複合圖像。在一些實施例中，複合圖像可以為棋盤格式的渲染色彩圖像和景深圖像。
本領域技術人員將明白，附圖所示的實施例僅是示意性的，3D信號的視頻幀所包含的兩幅圖像或複合圖像可以包括其他類型的圖像以及可以呈其他排布形式，這落入本發明的範圍內。
在一些實施例中，m×n的解析度可以為全高清（FHD）以上的解析度，包括但不限於，1920×1080、1920×1200、2048×1280、2560×1440、3840×2160等。
在一些實施例中，3D處理裝置130在接收到包括兩幅圖像的視頻幀後，基於兩幅圖像之一渲染各複合子圖元中至少一個子圖元並基於兩幅圖像中另一幅渲染各複合子圖元中至少另一個子圖元。類似地，在一些實施例中，3D處理裝置在接收到包括複合圖像的視頻幀後，基於複合圖像渲染各複合子圖元中至少兩個子圖元。例如，根據複合圖像中的第一圖像（部分）渲染至少一個子圖元，根據第二圖像（部分）渲染至少另一個子圖元。
在一些實施例中，這例如是基於眼部定位資料來動態渲染。
作為解釋而非限制地，由於在本發明實施例中的3D處理裝置130通過例如構造為內部介面的信號介面140接收到的視頻幀資料包含的兩幅圖像，各圖像的解析度（或複合圖像解析度的一半）與按照視點劃分的複合圖元（其包括按照視點劃分的複合子圖元）相對應。一方面，由於視點資訊與傳輸過程無關，這能夠實現處理計算量小且解析度不受損失的3D顯示；另一方面，由於複合圖元（複合子圖元）對應於視點設置，顯示幕的渲染能夠以“點對點”的方式實現，大大降低了計算量。相比之下，常規的3D顯示器的圖像或視頻的傳輸和顯示仍以2D顯示面板為基礎，不僅存在解析度下降和渲染計算量劇增的問題，還可能存在多次格式調整和圖像或視頻顯示適配的問題。
在一些實施例中，處理器101的寄存器122可用於接收有關多視點3D顯示幕100的顯示要求的資訊，該資訊典型地為與i個視點無關地且與多視點3D顯示幕100的m×n解析度相關的資訊，以便處理器101向多視點3D顯示幕100發送符合其顯示要求的3D信號的視頻幀。該資訊例如可以為用於初始建立視頻傳輸發送的資料包。
因此，在傳輸3D信號的視頻幀時，處理器101無需考慮與多視點3D顯示幕100的i個視點相關的資訊（i≥3）。而是，處理器101憑藉寄存器122接收到的與大尺寸多視點3D顯示幕100的m×n解析度相關的資訊就能夠向多視點3D顯示幕100發送符合其要求的3D信號的視頻幀。
在一些實施例中，3D顯示設備1000還可以包括轉碼器，配置為對壓縮的3D信號解壓縮和編解碼並將解壓縮的3D信號經信號介面140發送至3D處理裝置130。
在一些實施例中，3D顯示設備1000的處理器101從記憶體讀取或從3D顯示設備1000以外、例如通過外部介面接收3D信號的視頻幀，然後經由信號介面140將讀取到的或接收到的3D信號的視頻幀傳輸到3D處理裝置130。
在一些實施例中，3D顯示設備1000還包括格式調整器（未示出），其例如集成在處理器101中，構造為轉碼器或者作為GPU的一部分，用於預處理3D信號的視頻幀，以使其包含的兩幅圖像具有m×n的解析度或者使其包含的複合圖像具有2m×n或m×2n的解析度。
在另一方案中，還提供了一種3D顯示系統，包括處理器單元和上述的3D顯示設備，處理器單元與3D顯示設備通信連接。
在一些實施例中，3D顯示系統構造為具有處理器單元的智慧電視或者影院的智慧影屏。
多視點3D顯示幕100用於顯示三維（3D）圖像或視頻等。多視點3D顯示幕100包括顯示面板。顯示面板可以採用液晶顯示幕(LCD)，有機發光二極體(OLED)，有源矩陣有機發光二極體或主動矩陣有機發光二極體(AMOLED)，柔性發光二極體(FLED)，Mini-LED，Micro-LED，Micro-OLED，量子點發光二極體(QLED)等。
在一些實施例中，眼部定位裝置150通信連接至3D處理裝置130，從而3D處理裝置130可以基於眼部定位資料渲染複合圖元（複合子圖元）中的相應子圖元。在一些實施例中，眼部定位裝置150還可連接處理器，例如旁路連接處理器。
參考圖2A，示意了多視點3D顯示幕100顯示3D觸控對象，3D觸控對象例如為3D顯示效果的按鍵。當使用者的手指或其他觸控媒介的空間位置與3D顯示效果的按鍵的顯示位置匹配時，生成觸控觸發資訊，表示使用者觸碰了3D顯示效果的按鍵。
本發明中使用者無需像2D觸控中那樣必須要與顯示面板或者觸控面板抵近到一定距離內，才會生成觸控觸發信號，而是在相對多視點3D顯示幕的空間位置上與3D觸控對象的顯示位置匹配時，即可生成觸控觸發信號，實現了懸浮觸控。提升了操作感受，實現了顯示與觸控的感官統一。
參考圖2B所示，本發明的實施例提供了一種實現懸浮觸控的方法，包括如下。
S100、控制多視點3D顯示幕顯示3D觸控對象；多視點3D顯示幕包括多個複合子圖元，各個複合子圖元包括對應視點的子圖元，根據使用者眼部所在視點，基於3D信號動態渲染多視點3D顯示幕中的複合子圖元中的子圖元，根據3D圖像信號渲染對應3D觸控對象的子圖元，給使用者呈現出3D顯示效果。本發明中，採用多視點3D顯示幕進行顯示和觸控檢測，能夠為不同的使用者提供的對應其視點的顯示效果，還能對不同的使用者提供觸控觸發資訊的功能，實現多個使用者進行觸控操作。
S200、獲取使用者相對多視點3D顯示幕的懸浮觸控位置。
作為解釋而非限制性地，可以通過採集使用者圖像獲取使用者相對多視點3D顯示幕的懸浮觸控位置；本發明中採用圖像檢測獲取懸浮觸控位置，採集的圖像為3D顯示幕的顯示方向上的圖像，一般地，步驟S100中，會對使用者眼部進行檢測，從而實現3D顯示效果，即，使用者相對3D顯示幕為可檢測到的，如果能夠檢測到使用者的眼部從而實現3D，則，使用者需要在3D顯示幕的顯示區域中，如圖2C，當使用者處在顯示區域SZ中時，多視點3D顯示幕100朝向使用者的方向為顯示方向，這時，採集顯示方向上的或者顯示區域中的圖像獲取到使用者圖像。
本發明對懸浮觸控位置的檢測，可以通過對使用者的手指的空間位置進行檢測來獲取懸浮觸控位置，一般地，如果使用者持有觸摸筆，通過圖像對觸摸筆進行空間位置檢測獲取懸浮觸控位置，使用者還可能持有其他物品，如帶有特定圖像的物體，例如，端部是圓球的指揮棒，端部是三角錐的指揮棒等，本發明可以通過圖像進行模式匹配獲取圖像中用於觸摸的物體或者身體部位的圖像中位置，然後通過雙目視覺3D成像原理獲取用於觸摸的物體或者身體部位的空間位置，由於採集圖像的裝置的座標系與多視點3D顯示幕的座標系固定，通過簡單的換算即能獲知懸浮觸控位置相對多視點3D顯示幕空間位置。上述用於觸摸的物體或者身體部位即為使用者的觸控媒介。
需要說明的是，上述獲取空間位置的方式，除了雙目視覺3D成像原理來獲取，還可採用結構光攝影頭獲取空間位置，圖像採集裝置的採集方向一般與多視點3D顯示幕100的顯示方向一致。
在進行圖像檢測時，可以進行全圖像的匹配，也可在觸控媒介高概率出現的區域進行檢測，例如，已經預知了3D觸控對象的顯示位置，則採集圖像時，可著重採集顯示位置周邊的區域，進行識別獲取觸控媒介的空間位置資訊。
本發明中，採集圖像除了可以識別觸控媒介獲取懸浮觸控位置外，還可進行觸控許可權控制，從使用者圖像中提取出身份標識，如使用者臉部，與授權的臉部進行匹配，匹配通過後再進行懸浮觸控位置識別，從而能夠保證未授權使用者不能觸控3D觸控對象。
S300、當懸浮觸控位置與3D觸控對象的顯示位置匹配時，生成觸控觸發資訊。將懸浮觸控位置與3D觸控對象的顯示位置進行匹配，當滿足預設的條件時，生成觸控觸發資訊。顯示位置包括顯示的平面位置資訊，如，在顯示幕100中的二維座標資訊，還包括景深，一般地，3D觸控對象的景深的起點位於多視點3D顯示幕的顯示平面上，在圖2A中，景深DOF讓使用者看到的感受即為，3D觸控對象（按鍵），在位於離多視點3D顯示幕100與景深DOF相同的距離處顯示3D觸控對象，自然地，使用者需要觸碰時，將會把觸控媒介向3D觸控對象的顯示位置靠近，當位置之間小於一定閾值時生成觸控觸發資訊。
本發明中，多視點3D顯示幕100顯示的3D圖像中，會對每個3D觸控對象設置ID號，當生成觸控觸發資訊時，觸控觸發資訊可以攜帶上述的ID號，便於後續的交互和資訊輸入的標識。
本發明中，還可包括預先標定的步驟，將圖像採集裝置的座標系與顯示幕100的顯示座標系進行標定，確定兩個座標系之間的轉換參數。
本發明的一些實施例中，可以採用直角座標系來表達空間位置，例如，3D觸控對象的顯示位置包括3D觸控對象的景深DOF和平面位置（x，y）。當然，也可採用極座標的方式進行表達。在位置匹配時，考慮各個座標的差值，滿足一定條件時，生成觸控觸發資訊。
在一些實施例中，步驟S300中： 當懸浮觸控位置與3D觸控對象的平面位置匹配，且懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深匹配時，生成觸控觸發資訊，其中，觸控觸發資訊包括與懸浮觸控位置匹配的3D觸控對象。被觸碰的3D觸控對象的標記資訊將會被附加到觸控觸發資訊中，從而告知外部介面哪個觸控對象被觸碰，從而實現使用者資訊輸入的功能。本發明實施例通過景深與間距值進行匹配生成觸控觸發資訊。參考圖2A，本發明的一些實施例中懸浮觸控位置可為手指末端的位置，相對多視點3D顯示幕的間距D，與景深DOF匹配（即差值在一定範圍內）時，生成觸控觸發資訊。本發明實施例中，平面位置的匹配過程，可以通過座標的距離值進行匹配，即，距離值小於閾值時，匹配通過，大於閾值時，未匹配。還可通過各個座標差值都小於閾值時，認定為平面位置匹配，當有其中一個座標差值大於閾值時，認定平面位置未匹配。
在一些實施例中，步驟S300中： 當懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深匹配時，生成觸控觸發資訊包括：當懸浮觸控位置相對多視點3D顯示幕的間距小於3D觸控對象的景深時，生成觸控觸發資訊；當懸浮觸控位置越過了3D觸控對象時，生成觸控觸發資訊。
在一些實施例中，步驟S300中： 當懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深匹配時，生成觸控觸發資訊包括：當懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深的差值在閾值範圍內時，生成觸控觸發資訊。
在一些實施例中，步驟S300中： 當懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深匹配時，生成觸控觸發資訊包括：當懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深的差值在閾值範圍內，且懸浮觸控位置相對多視點3D顯示幕的間距小於3D觸控對象的景深時，生成觸控觸發資訊。
一般地，如果間距小於景深時，生成觸控觸發資訊後，可在一定時間段內針對觸控媒介進行鎖定狀態，即不會再產生觸控觸發資訊。也可以即時檢測懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深的關係，如果一旦生成觸控觸發資訊後，間距一直小於景深，或者間距與景深的差值一直在閾值範圍內，則不再生成觸控觸發資訊。如果中間出現了間距大於景深或者間距與景深的差值超過了閾值範圍，則解鎖定狀態，從而實現有效檢測觸碰觸發。
在一些實施例中，步驟S300中： 當懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深匹配時，生成觸控觸發資訊包括：當懸浮觸控位置相對多視點3D顯示幕的當前間距小於3D觸控對象的景深，且上一檢測週期中懸浮觸控位置相對多視點3D顯示幕的間距大於3D觸控對象的景深時，生成觸控觸發資訊；本發明中週期性地獲取懸浮觸控位置的空間位置，通過判斷懸浮觸控位置從間距大於景深跳變到間距小於景深時，生成觸控觸發資訊，避免出現，一直觸發的情況的發生。
本發明實施例中的生成的觸控觸發資訊將用來指示接下來的事件發生，如，檔打開，檔關閉，訂單支付，頁面跳轉等，具體地，使用者可根據使用者進行設定。
在一些實施例中，針對同樣的3D觸控對象，所帶來的事件可以設置不同，例如，可以將某些事件與使用者綁定，識別出使用者的身份特徵之後，獲取到使用者的觸控觸發資訊後，執行與使用者綁定的事件。例如，針對A使用者觸控3D按鍵所對應發生的事件為調整按鍵顏色為紅色，針對B使用者，觸控3D按鍵所對應發生的事件為調整按鍵顏色為綠色。由於，本發明中按鍵的圖像顯示採用了多視點3D顯示幕，可以針對不同的視點顯示不同的顏色、圖案，從而能夠保證使用者A與使用者B能夠同時進行輸入與交互，實現了資訊輸入的高效與可靠。
本發明中的方法能夠在離顯示幕100一段距離的位置獲取使用者的懸浮觸控位置，當懸浮觸控位置和顯示幕100的間距與3D觸控對象的景深匹配時，能夠生成觸控觸發資訊，從而實現懸浮觸控。
參見圖3，本發明的另一些實施例中提供了一種實現懸浮觸控的3D顯示設備2000，包括： 如上述實施例中的多視點3D顯示幕100； 如上述實施例中的3D處理裝置130，配置為控制多視點3D顯示幕100顯示3D觸控對象； 圖像採集裝置210，配置為採集多使用者圖像； 懸浮觸控位置生成裝置220，配置為根據使用者圖像獲取使用者相對多視點3D顯示幕100的懸浮觸控位置；和 觸控檢測裝置230，配置為當懸浮觸控位置與3D觸控對象的顯示位置匹配時，生成觸控觸發資訊。
懸浮觸控位置生成裝置220配置為根據使用者圖像獲取使用者的觸控媒介相對多視點3D顯示幕的空間位置，其中，觸控媒介包括使用者的手指或者觸控筆。通過圖像檢測獲取具體的位置資訊，可以採用雙攝影頭進行檢測，也可採用結構光攝影頭進行檢測，檢測時，可以全面副圖像進行匹配檢測，也可以在3D觸控對象的顯示位置周圍進行匹配檢測，以提升處理效率。
本發明中的懸浮觸控位置生成裝置220與觸控檢測裝置230可以集成在一起，也可以分開設置。
本發明實施例中可以將觸控檢測裝置230集成到3D處理裝置130中，或者集成設置在一起。這樣能減小資料傳輸的距離，提高檢測的即時性。3D顯示處理130將3D觸控對象的顯示位置發送給觸控檢測裝置230。
多視點3D顯示幕100包括多個複合子圖元，各個複合子圖元包括對應視點的子圖元； 3D處理裝置130配置為根據使用者眼部所在視點，基於3D信號動態渲染多視點3D顯示幕100中的複合子圖元CSP中的子圖元SP。
本發明的實施例中，3D顯示設備2000還包括眼部定位裝置150，被配置為獲取使用者眼部所在視點。眼部定位裝置150將使用者眼部所在視點發送給3D處理裝置130，使3D處理裝置130根據使用者所在視點進行3D顯示。
在一些實施例中，3D觸控對象的顯示位置包括3D觸控對象的景深和平面位置； 觸控檢測裝置230配置為當懸浮觸控位置與3D觸控對象的平面位置匹配，且懸浮觸控位置相對多視點3D顯示幕100的間距與3D觸控對象的景深匹配時，生成觸控觸發資訊，其中，觸控觸發資訊包括與懸浮觸控位置匹配的3D觸控對象。
當觸控檢測裝置230在確定懸浮觸控位置與3D觸控對象的平面位置匹配之後，進行景深與間距之間的關係，在一些實施例中，觸控檢測裝置230配置為： 當懸浮觸控位置相對多視點3D顯示幕100的間距小於3D觸控對象的景深時，生成觸控觸發資訊。
在一些實施例中，觸控檢測裝置230配置為： 當懸浮觸控位置相對多視點3D顯示幕的當前間距小於3D觸控對象的景深，且上一檢測週期中懸浮觸控位置相對多視點3D顯示幕的間距大於3D觸控對象的景深時，生成觸控觸發資訊。
在一些實施例中，觸控檢測裝置230配置為： 當懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深的差值在閾值範圍內時，生成觸控觸發資訊。
在一些實施例中，觸控檢測裝置230配置為： 當懸浮觸控位置相對多視點3D顯示幕的間距與3D觸控對象的景深的差值在閾值範圍內，且懸浮觸控位置相對多視點3D顯示幕的間距小於3D觸控對象的景深時，生成觸控觸發資訊。
本發明中的實現懸浮觸控的多視點3D顯示設備2000能夠在距離顯示設備一定距離內通過拍攝使用者的觸控媒介的圖像，獲取觸控媒介相對顯示設備的空間位置，將空間位置與3D觸控對象的顯示位置進行匹配，匹配通過後生成帶有被觸碰的3D觸控對象的觸控觸發資訊。
本發明中的顯示設備，能夠實現多視點3D顯示，供不同的使用者觀看3D觸控對象，並供這些使用者實現懸浮觸控，進一步地，在相同的3D觸控對象下，針對不同的使用者，實現不同的事件生成，供不同的使用者實現同步的資訊輸入和資訊交互。在一些實施例中本發明中的3D顯示設備2000還能針對使用者的臉部圖像進行身份之別，鑒權之後，才會進行觸控檢測。
本發明實施例提供了一種實現懸浮觸控的3D終端，其結構如圖7所示，包括： 處理器700和記憶體701，還可以包括通信介面702和匯流排703。其中，處理器700、通信介面702、記憶體701可以通過匯流排703完成相互間的通信。通信介面702可以用於資訊傳輸。處理器700可以調用記憶體701中的邏輯指令，以執行上述實施例的實現懸浮觸控的方法。
此外，上述的記憶體701中的邏輯指令可以通過軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存介質中。
記憶體701作為一種電腦可讀儲存介質，可用於儲存軟體程式、電腦可執行程式，如本發明實施例中的方法對應的程式指令/模組。處理器700通過運行儲存在記憶體701中的程式指令/模組，從而執行功能應用以及資料處理，即實現上述方法實施例中的實現懸浮觸控的方法。
記憶體701可包括儲存程式區和儲存資料區，其中，儲存程式區可儲存作業系統、至少一個功能所需的應用程式；儲存資料區可儲存根據終端設備的使用所創建的資料等。此外，記憶體701可以包括高速隨機存取記憶體，還可以包括非易失性記憶體。
本發明實施例提供了一種產品，例如，電腦、手機，包括了上述的實現懸浮觸控的3D終端。
本發明實施例提供了一種電腦可讀儲存介質，儲存有電腦可執行指令，該電腦可執行指令設置為執行上述實現懸浮觸控的方法。
本發明實施例提供了一種電腦程式產品，包括儲存在電腦可讀儲存介質上的電腦程式，該電腦程式包括程式指令，當該程式指令被電腦執行時，使上述電腦執行上述實現懸浮觸控的方法。
本發明實施例的技術方案可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括一個或多個指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）執行本發明實施例的方法的全部或部分步驟。而前述的儲存介質可以是非暫態儲存介質，包括：U盤、移動硬碟、唯讀記憶體、隨機存取記憶體、磁碟或者光碟等多種可以儲存程式碼的介質。上述的電腦可讀儲存介質可以是暫態電腦可讀儲存介質，也可以是非暫態電腦可讀儲存介質。
以上描述和附圖充分地示出了本發明的實施例，以使本領域技術人員能夠實踐它們。其他實施例可以包括結構的、邏輯的、電氣的、過程的以及其他的改變。實施例僅代表可能的變化。除非明確要求，否則單獨的部件和功能是可選的，並且操作的順序可以變化。一些實施例的部分和特徵可以被包括在或替換其他實施例的部分和特徵。本發明實施例的範圍包括申請專利範圍的整個範圍，以及申請專利範圍的所有可獲得的等同物。當用於本發明中時，雖然術語“第一”、“第二”等可能會在本發明中使用以描述各元件，但這些元件不應受到這些術語的限制。這些術語僅用於將一個元件與另一個元件區別開。比如，在不改變描述的含義的情況下，第一元件可以叫做第二元件，並且同樣第，第二元件可以叫做第一元件，只要所有出現的“第一元件”一致重命名並且所有出現的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本發明中使用的用詞僅用於描述實施例並且不用於限制申請專利範圍。
本文中，每個實施例重點說明的可以是與其他實施例的不同之處，各個實施例之間相同相似部分可以互相參見。對於實施例公開的方法、產品等而言，如果其與實施例公開的方法部分相對應，那麼相關之處可以參見方法部分的描述。
本領域技術人員可以意識到，結合本文中所公開的實施例描述的各示例的單元及演算法步驟，能夠以電子硬體、或者電腦軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體方式來執行，可以取決於技術方案的特定應用和設計約束條件。本領域技術人員可以對每個特定的應用來使用不同方法以實現所描述的功能，但是這種實現不應認為超出本發明實施例的範圍。本領域技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統、裝置和單元的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。
本文所披露的實施例中，所揭露的方法、產品（包括但不限於裝置、設備等），可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，單元的劃分，可以僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另外，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例。另外，在本發明實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
附圖中的流程圖和方塊圖顯示了根據本發明實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或代碼的一部分，上述模組、程式段或代碼的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這可以依所涉及的功能而定。在附圖中的流程圖和方塊圖所對應的描述中，不同的方塊所對應的操作或步驟也可以以不同於描述中所披露的順序發生，有時不同的操作或步驟之間不存在特定的順序。例如，兩個連續的操作或步驟實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這可以依所涉及的功能而定。方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
1000:3D顯示設備 100:多視點3D顯示幕 CP:複合圖元 CSP:複合子圖元 SP:子圖元 101:處理器 110:顯示面板 120:光柵 122:寄存器 130:3D處理裝置 131:暫存器 140:信號介面 150:眼部定位裝置 151:眼部定位資料介面 D:懸浮觸控位置相對多視點3D顯示幕的間距 DOF:景深 SZ:顯示區域 2000:3D顯示設備 210:圖像採集裝置 220:懸浮觸控位置生成裝置 230:觸控檢測裝置 400:複合圖元 410,420,430,440,450,460,470,480,490:複合子圖元 411,421,431,441,451,461,471,481,491:子圖元 501,502:並列格式的圖像 503,504:上下格式的圖像 505,506,507:複合圖像 700:處理器 701:記憶體 702:通信介面 703:匯流排 S100,S200,S300:步驟
一個或多個實施例通過與之對應的附圖進行示例性說明，這些示例性說明和附圖並不構成對實施例的限定，附圖中具有相同參考數位標號的元件示為類似的元件，附圖不構成比例限制，並且其中： 圖1A至圖1D是根據本發明實施例的3D顯示設備的結構示意圖； 圖2A是根據本發明實施例的使用者進行懸浮觸控的示意圖； 圖2B是根據本發明實施例的實現懸浮觸控的方法流程示意圖； 圖2C是根據本發明實施例的在實現懸浮觸控過程中顯示幕顯示區域示意圖； 圖3是根據本發明實施例的3D顯示設備的結構示意圖； 圖4A至圖4C是根據本發明實施例的複合圖元的示意圖； 圖5A至圖5E是根據本發明實施例的3D信號的視頻幀所包含圖像的格式及內容的示意圖； 圖6是本發明實施例提供的設置至少兩個3D處理裝置的示意圖； 圖7是根據本發明實施例的實現懸浮觸控的3D終端的電腦結構示意圖。
S100,S200,S300:步驟

Claims (12)

  1. 一種實現懸浮觸控的方法，包括：控制多視點3D顯示幕顯示3D觸控對象，以及獲取使用者相對所述多視點3D顯示幕的懸浮觸控位置；和當所述懸浮觸控位置與所述3D觸控對象的顯示位置相匹配時，生成觸控觸發資訊，其中，所述3D觸控對象的顯示位置包括所述3D觸控對象的景深和平面位置，其中當所述懸浮觸控位置與所述3D觸控對象的平面位置相匹配，且所述懸浮觸控位置相對所述多視點3D顯示幕的間距與所述3D觸控對象的景深相匹配時，生成觸控觸發資訊，以及其中，所述多視點3D顯示幕包括多個複合子圖元，所述多個複合子圖元中的每個複合子圖元包括對應多個視點的多個子圖元；所述控制多視點3D顯示幕顯示3D觸控對象包括：根據所述使用者的眼部所在視點，基於3D信號動態渲染所述多視點3D顯示幕中的複合子圖元中的子圖元，以向所述使用者以3D效果顯示所述3D觸控對象。
  2. 根據請求項1所述的方法，其中，獲取所述使用者相對所述多視點3D顯示幕的懸浮觸控位置包括：採集所述使用者的使用者圖像；根據所述使用者圖像獲取所述使用者的觸控媒介相對所述多視點3D顯示幕的空間位置； 其中，所述觸控媒介包括所述使用者的手指或者觸控筆。
  3. 根據請求項1所述的方法，其中，所述觸控觸發資訊包括與所述懸浮觸控位置相匹配的3D觸控對象。
  4. 根據請求項3所述的方法，其中，所述懸浮觸控位置相對所述多視點3D顯示幕的間距與所述3D觸控對象的景深相匹配包括：所述懸浮觸控位置相對所述多視點3D顯示幕的間距小於所述3D觸控對象的景深時；或者，所述懸浮觸控位置相對所述多視點3D顯示幕的間距與所述3D觸控對象的景深的差值在閾值範圍內；或者，所述懸浮觸控位置相對所述多視點3D顯示幕的間距與所述3D觸控對象的景深的差值在閾值範圍內，且所述懸浮觸控位置相對所述多視點3D顯示幕的間距小於所述3D觸控對象的景深。
  5. 一種實現懸浮觸控的3D顯示設備，包括：多視點3D顯示幕；3D處理裝置，被配置為控制所述多視點3D顯示幕顯示3D觸控對象；圖像採集裝置，被配置為採集使用者圖像；懸浮觸控位置生成裝置，被配置為根據所述使用者圖像獲取使用者相對所述多視點3D顯示幕的懸浮觸控位置；和 觸控檢測裝置，被配置為當所述懸浮觸控位置與所述3D觸控對象的顯示位置匹配時，生成觸控觸發資訊，其中，所述3D觸控對象的顯示位置包括所述3D觸控對象的景深和平面位置，其中當所述懸浮觸控位置與所述3D觸控對象的平面位置相匹配，且所述懸浮觸控位置相對所述多視點3D顯示幕的間距與所述3D觸控對象的景深相匹配時，生成觸控觸發資訊，其中，所述多視點3D顯示幕包括多個複合子圖元，所述多個複合子圖元中的每個複合子圖元包括對應多個視點的多個子圖元；所述3D處理裝置被配置為根據所述使用者的眼部所在視點，基於3D信號動態渲染所述多視點3D顯示幕中的複合子圖元中的子圖元。
  6. 根據請求項5所述的3D顯示設備，其中，所述懸浮觸控位置生成裝置被配置為根據所述使用者圖像獲取所述使用者的觸控媒介相對所述多視點3D顯示幕的空間位置；其中，所述觸控媒介包括所述使用者的手指或者觸控筆。
  7. 根據請求項5所述的3D顯示設備，還包括眼部定位裝置，被配置為獲取所述使用者的眼部所在視點。
  8. 根據請求項5所述的3D顯示設備， 其中，所述觸控觸發資訊包括與所述懸浮觸控位置匹配的3D觸控對象。
  9. 根據請求項8所述的3D顯示設備，其中，所述懸浮觸控位置相對所述多視點3D顯示幕的間距與所述3D觸控對象的景深相匹配，包括：所述懸浮觸控位置相對所述多視點3D顯示幕的間距小於所述3D觸控對象的景深；或者，所述懸浮觸控位置相對所述多視點3D顯示幕的間距與所述3D觸控對象的景深的差值在閾值範圍內；或者，所述懸浮觸控位置相對所述多視點3D顯示幕的間距與所述3D觸控對象的景深的差值在閾值範圍內，且所述懸浮觸控位置相對所述多視點3D顯示幕的間距小於所述3D觸控對象的景深。
  10. 一種實現懸浮觸控的3D終端，包括：處理器；和儲存有程式指令的記憶體；所述處理器被配置為在執行所述程式指令時，執行如請求項1至4任一項所述的方法。
  11. 一種電腦可讀儲存介質，儲存有電腦可執行指令，所述電腦可執行指令設置為執行如請求項1至4任一項所述的方法。
  12. 一種電腦程式產品，包括儲存在電腦可讀儲存介質上的電腦程式，所述電腦程式包括程式指令，當該程式指令被電腦執行時，使所述電腦執行如請求項1至4 任一項所述的方法。
TW109142959A 2019-12-05 2020-12-04 實現懸浮觸控的方法、3d顯示設備和3d終端 TWI825367B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911231145.1A CN112925430A (zh) 2019-12-05 2019-12-05 实现悬浮触控的方法、3d显示设备和3d终端
CN201911231145.1 2019-12-05

Publications (2)

Publication Number Publication Date
TW202122990A TW202122990A (zh) 2021-06-16
TWI825367B true TWI825367B (zh) 2023-12-11

Family

ID=76160799

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109142959A TWI825367B (zh) 2019-12-05 2020-12-04 實現懸浮觸控的方法、3d顯示設備和3d終端

Country Status (5)

Country Link
US (1) US20220413619A1 (zh)
EP (1) EP4068061A4 (zh)
CN (1) CN112925430A (zh)
TW (1) TWI825367B (zh)
WO (1) WO2021110030A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201317847A (zh) * 2011-10-21 2013-05-01 Chimei Innolux Corp 觸控系統及其匹配方法
TW201514767A (zh) * 2013-07-19 2015-04-16 Microchip Tech Inc 人機介面裝置及方法
TW201606616A (zh) * 2014-07-10 2016-02-16 微晶片科技德國公司 用於手勢偵測及觸控偵測之方法及系統
CN105867597A (zh) * 2014-12-31 2016-08-17 深圳创锐思科技有限公司 3d交互方法及3d显示设备
TW201640281A (zh) * 2015-02-13 2016-11-16 微軟技術授權有限責任公司 有形三維光顯示器
US20190265841A1 (en) * 2017-03-10 2019-08-29 Boe Technology Group Co., Ltd. 3d touch interaction device, touch interaction method thereof, and display device
TW201937851A (zh) * 2018-03-01 2019-09-16 美商微晶片科技公司 用於非觸碰式手勢偵測及懸停與觸碰偵測的方法與系統
CN110456903A (zh) * 2018-11-09 2019-11-15 网易（杭州）网络有限公司 三维绘画方法、装置、存储介质、处理器及终端

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750746B (zh) * 2008-12-05 2014-05-07 财团法人工业技术研究院 立体影像显示器
JP2011081480A (ja) * 2009-10-05 2011-04-21 Seiko Epson Corp 画像入力システム
JPWO2012176431A1 (ja) * 2011-06-20 2015-02-23 パナソニック株式会社 多視点画像生成装置、多視点画像生成方法
CN102253713B (zh) * 2011-06-23 2016-10-12 康佳集团股份有限公司 面向三维立体影像显示系统
CN102572484B (zh) * 2012-01-20 2014-04-09 深圳超多维光电子有限公司 立体显示控制方法、立体显示控制装置和立体显示系统
KR20130093369A (ko) * 2012-02-14 2013-08-22 삼성디스플레이 주식회사 표시 장치 및 이를 이용한 입체 영상 표시 방법
CN102802014B (zh) * 2012-08-01 2015-03-11 冠捷显示科技（厦门）有限公司 一种多人跟踪功能的裸眼立体显示器
CN102866508A (zh) * 2012-10-12 2013-01-09 福州大学 可实现2d/3d切换的led裸眼立体显示装置及制作方法
US9916009B2 (en) * 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10359883B2 (en) * 2014-12-26 2019-07-23 Nikon Corporation Detection device, electronic apparatus, detection method and program
US10152154B2 (en) * 2015-01-22 2018-12-11 Superd Technology Co., Ltd. 3D interaction method and display device
CN106502376A (zh) * 2015-09-08 2017-03-15 天津三星电子有限公司 一种3d触控操作方法、电子设备及3d眼镜
CN105319775B (zh) * 2015-12-03 2018-11-30 京东方科技集团股份有限公司 一种三维显示装置及其驱动方法
CN106324848B (zh) * 2016-10-31 2019-08-23 昆山国显光电有限公司 显示面板及其实现悬浮触控和裸眼3d的方法
CN110448895A (zh) * 2018-09-29 2019-11-15 网易（杭州）网络有限公司 游戏中的信息处理方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201317847A (zh) * 2011-10-21 2013-05-01 Chimei Innolux Corp 觸控系統及其匹配方法
TW201514767A (zh) * 2013-07-19 2015-04-16 Microchip Tech Inc 人機介面裝置及方法
TW201606616A (zh) * 2014-07-10 2016-02-16 微晶片科技德國公司 用於手勢偵測及觸控偵測之方法及系統
CN105867597A (zh) * 2014-12-31 2016-08-17 深圳创锐思科技有限公司 3d交互方法及3d显示设备
TW201640281A (zh) * 2015-02-13 2016-11-16 微軟技術授權有限責任公司 有形三維光顯示器
US20190265841A1 (en) * 2017-03-10 2019-08-29 Boe Technology Group Co., Ltd. 3d touch interaction device, touch interaction method thereof, and display device
TW201937851A (zh) * 2018-03-01 2019-09-16 美商微晶片科技公司 用於非觸碰式手勢偵測及懸停與觸碰偵測的方法與系統
CN110456903A (zh) * 2018-11-09 2019-11-15 网易（杭州）网络有限公司 三维绘画方法、装置、存储介质、处理器及终端

Also Published As

Publication number Publication date
TW202122990A (zh) 2021-06-16
EP4068061A1 (en) 2022-10-05
EP4068061A4 (en) 2024-01-10
WO2021110030A1 (zh) 2021-06-10
CN112925430A (zh) 2021-06-08
US20220413619A1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
US9549174B1 (en) Head tracked stereoscopic display system that uses light field type data
JP4903888B2 (ja) 画像表示装置、画像表示方法、および画像補正方法
CN211128024U (zh) 3d显示设备
TWI788739B (zh) 3d顯示設備、3d圖像顯示方法
TWI772997B (zh) 多視點3d顯示屏、多視點3d顯示設備
WO2013108285A1 (ja) 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
CN116982086A (zh) 先进立体渲染
JP6963399B2 (ja) プログラム、記録媒体、画像生成装置、画像生成方法
US11019323B2 (en) Apparatus and method for 3D like camera system in a handheld mobile wireless device
US9767580B2 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
TWI825367B (zh) 實現懸浮觸控的方法、3d顯示設備和3d終端
JP6591667B2 (ja) 画像処理システム、画像処理装置、及びプログラム
TWI463863B (zh) 影像處理方法
KR101228916B1 (ko) 멀티 비젼의 3차원 영상 표시 장치 및 방법
CN114513646A (zh) 一种三维虚拟场景中全景视频的生成方法及设备
CN112929643B (zh) 3d显示设备、方法及终端
JP2016218366A (ja) 情報処理装置、出力制御装置、情報処理システム、および動画データ出力方法
JP5222407B2 (ja) 画像表示装置、画像表示方法、および画像補正方法
TW202123686A (zh) 多視角３ｄ顯示裝置和３ｄ影像顯示方法
JP5520772B2 (ja) 立体画像の表示システム及び表示方法
JP2012133179A (ja) 立体視装置、及び立体視装置の制御方法
WO2021110037A1 (zh) 实现3d图像显示的方法、3d显示设备
KR20070089554A (ko) 입체 영상 처리 장치
JP2014230027A (ja) 画像表示装置に表示する画像を制御する装置、方法及びプログラム
CN115278200A (zh) 处理装置及显示器件