TWI796039B - 互動投影輸入輸出設備 - Google Patents

互動投影輸入輸出設備 Download PDF

Info

Publication number
TWI796039B
TWI796039B TW110146142A TW110146142A TWI796039B TW I796039 B TWI796039 B TW I796039B TW 110146142 A TW110146142 A TW 110146142A TW 110146142 A TW110146142 A TW 110146142A TW I796039 B TWI796039 B TW I796039B
Authority
TW
Taiwan
Prior art keywords
projection
external device
manipulation
coordinated
user
Prior art date
Application number
TW110146142A
Other languages
English (en)
Other versions
TW202225918A (zh
Inventor
高勇
Original Assignee
高勇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高勇 filed Critical 高勇
Publication of TW202225918A publication Critical patent/TW202225918A/zh
Application granted granted Critical
Publication of TWI796039B publication Critical patent/TWI796039B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申請涉及一種互動投影輸入輸出設備，包括：投影模組，用於使來自外部設備的投影內容，顯示於投影畫面中對應於所述外部設備的投影區域；協同操控捕獲模組，用於確定用戶協同操控行為對應的用戶協同操控點在第一坐標系中的第一坐標；協同指令生成模組，用於根據用戶協同操控點的第一坐標以及投影區域在第一坐標系中的區域位置資訊生成位置資訊指令；無線傳輸模組，用於接收外部設備發送的投影資訊，以及，將位置資訊指令發送至外部設備，從而對外部設備進行協同操控。

Description

互動投影輸入輸出設備
本申請涉及互動投影系統，尤其涉及互動投影輸入輸出設備。
互動投影系統結合了混合虛擬實境技術與動感捕捉技術，是虛擬實境技術進一步發展的結果，其核心技術是基於紅外影像採集與紅外雷射定位的智慧識別與控制系統。具言之，通過紅外攝像機捕捉即時的視頻數據，將數據傳送到影像處理單元，通過特定算法在視頻數據流進行動態背景建模，從背景中分離目標，確定目標的位置資訊，並將位置資訊轉換為控制訊號，以基於控制訊號實現對電腦及其他智慧多媒體系統的控制。
例如採用嵌入式的雷射投影技術，使觸控投影設備能夠投射出虛擬鍵盤，將虛擬投影設備連接PC端並在PC端裝上軟體即可通過虛擬鍵盤對PC端進行操縱，從而替代傳統鍵盤。但在相關技術中，虛擬鍵盤或者虛擬滑鼠均無法傳輸絕對坐標，即無法實現虛擬觸控螢幕；並且傳統觸控投影設備自帶CPU和作業系統，不屬嚴格意義上的週邊設備，當其控制其他外部智慧設備時，需要確保外部智慧設備中安裝有專門的APP或軟體，因此傳統觸控投影設備無法實現通用的、跨系統和設備的協同控制。
為克服相關技術中存在的問題，本申請提供了一種互動投影輸入輸出設備。
所述互動投影輸入輸出設備，包括：投影模組，用於使來自外部設備的投影內容，顯示於投影畫面中對應於所述外部設備的投影區域；協同操控捕獲模組，用於形成對應於所述投影區域的協同操控捕獲範圍，在所述協同操控捕獲範圍內建立第一坐標系，捕獲發生在所述協同操控捕獲範圍內的用戶協同操控行為，以及確定所述用戶協同操控行為對應的用戶協同操控點在所述第一坐標系中的第一坐標；協同指令生成模組，用於根據所述用戶協同操控點的第一坐標以及所述投影區域在所述第一坐標系中的區域位置資訊，獲得所述用戶協同操控點與所述投影區域的相對位置關係，並根據所述相對位置關係生成位置資訊指令；無線傳輸模組，用於通過下行無線連接接收所述外部設備發送的投影資訊，所述投影資訊包括所述投影內容，以及將所述位置資訊指令通過所述上行無線連接發送至所述外部設備，使所述外部設備的作業系統調用底層驅動程式執行所述位置資訊指令，以實現響應於所述用戶協同操控行為的控制操作，從而對所述外部設備進行協同操控。
本申請的實施例提供的技術方案可以包括以下有益效果：
在本申請的實施例中，外部設備的擬顯示的螢幕畫面、投影模組形成的投影區域與協同操控捕獲模組形成的協同操控範圍三者相互關聯，將捕獲得到的用戶協同操控點的絕對坐標通過協同指令生成模組生成外部設備的作業系統可識別的位置資訊指令，並通過無線傳輸模組發送至所述外部設備，從而相當於形成虛擬無線觸控螢幕遠端控制外部設備；由於協同指令生成模組根據用戶協同操控點與投影區域的相對位置關係生成位置資訊指令，而外部設備可以在底層驅動程式的幫助下響應該位置資訊指令對應的控制操作，因此能夠對外部設備進行協同控制，而無需在外部設備安裝APP或軟體。
這裡將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數位表示相同或相似的要素。以下示例性實施例中所描述的實施方式並不代表與本申請相一致的所有實施方式。相反，它們僅是與如所附權利要求書中所詳述的、本申請的一些方面相一致的裝置和方法的例子。
在本申請使用的術語是僅僅出於描述特定實施例的目的，而非旨在限制本申請。在本申請和所附申請專利範圍中所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式，除非上下文清楚地表示其他含義。還應當理解，本文中使用的術語“和/或”是指並包含一個或多個相關聯的列出項目的任何或所有可能組合。
應當理解，儘管在本申請可能採用術語第一、第二、第三等來描述各種資訊，但這些資訊不應限於這些術語。這些術語僅用來將同一類型的資訊彼此區分開。例如，在不脫離本申請範圍的情況下，第一資訊也可以被稱為第二資訊，類似地，第二資訊也可以被稱為第一資訊。取決於語境，如在此所使用的詞語“如果”可以被解釋成為“在……時”或“當……時”或“響應於確定”。
接下來對本申請實施例進行詳細說明。
圖1時本申請根據一示例性實施例示出的一種系統架構圖，如圖1所示，該系統架構包括互動投影輸入輸出設備10以及外部設備20，其中，互動投影輸入輸出設備10與外部設備20之間建立有無線連接，外部設備20可以通過該無線連接將包括投影資訊在內的數據資訊傳輸至互動投影輸入輸出設備10，互動投影輸入輸出設備10也可以通過該無線連接將包括位置資訊指令在內的數據資訊傳輸至外部設備20。
圖2是本申請根據一示例性實施例示出的一種互動投影輸入輸出設備10的方塊圖，如圖2所示，該互動投影輸入輸出設備10包括以下模組：
投影模組110，用於使來自外部設備20的投影內容，顯示於投影畫面中對應於所述外部設備20的投影區域。本申請涉及的投影內容，是指投影資訊中的畫面內容資訊，是視頻幀中對應於像素矩陣的資訊。本申請實施例涉及的投影模組，包括投影功能組件1101以及投影控制器1102，其中所述投影功能組件1101包括投影透鏡、LED光源、DMD（Digital Micromirror Device，數位微鏡器件）、DMD驅動晶片，用於實現基本的投影功能。本申請實施例涉及的投影畫面，可以是固態半導體發光材料配合光學系統和/或機械微系統以及散熱系統組合成的LED投影、雷射投影、液體投影、量子（光子）投影等在實體平面、實體表面、甚至空中（沒有實體底面）的虛擬畫面。以實體平面為例，當投影模組將LED光源通過透鏡投射至實體平面時，會自動調節焦距，以在實體平面上清晰成像，該實體平面上的成像畫面即投影畫面。本申請實施例涉及的投影區域是指在投影畫面中用於顯示投影內容的部分或全部畫面區域，通常情況下，投影區域通過投影控制器1102為投影內容分配適配於投影內容的微鏡片群從而確定投影畫面中的投影區域，並將投影內容投射至投影區域上，在一種實施例中，投影控制器1102可以根據投影資訊中的視頻尺寸自動確定投影區域的位置、大小及尺寸，例如在投影畫面上為該投影內容分配盡可能最大且具有相同視頻尺寸的投影區域，或者任意視頻尺寸、任意大小和位置的投影區域，本申請實施例對此不做限制。
協同操控捕獲模組120，指的是沒有安裝有作業系統和CPU的主機板的設備模組，用於形成對應於所述投影區域的協同操控捕獲範圍，在所述協同操控捕獲範圍內建立第一坐標系；捕獲發生在所述協同操控捕獲範圍內的用戶協同操控行為；以及，確定所述用戶協同操控行為對應的在所述協同操控捕獲範圍內的用戶協同操控點於第一坐標系的第一坐標，將所述第一坐標發送至協同指令生成模組130。
圖3是本申請根據一示例性實施例示出的另一種互動投影輸入輸出設備10的方塊圖，如圖3所示，本申請實施例涉及的協同操控捕獲模組120，可以僅包括協同操控探測器1201，通過設置所述協同操控探測器1201形成對應於所述投影區域的協同操控捕獲範圍，所述協同操控探測器1201用於：根據探測得到的環境實體訊號捕獲發生在所述協同操控捕獲範圍內的用戶協同操控行為；以及，確定所述用戶協同操控行為對應的在所述協同操控捕獲範圍內的用戶協同操控點在第一坐標系中的第一坐標，例如當協同操控探測器1201為熱訊號探測器時，可以通過熱訊號探測器在所述投影畫面上形成溫度探測範圍，所述溫度探測範圍對應於所述投影區域，在所述溫度探測範圍的第一坐標系下，根據所述溫度探測範圍內的溫差變化，識別並確定所述用戶協同操控行為對應的用戶協同操控點的第一坐標；當協同操控探測器1201為音頻訊號探測器時，可以通過音頻訊號探測器在所述投影畫面上形成超聲波探測範圍，所述超聲波探測範圍對應於所述投影區域，在所述超聲波探測範圍的第一坐標系下，根據所述超聲波探測範圍內的超聲波擾動，識別並確定所述用戶協同操控行為對應的用戶協同操控點的第一坐標。
或者，本申請實施例涉及的協同操控捕獲模組，可以包括偵測訊號發生器1202以及協同操控探測器1201，其中，所述偵測訊號發生器1202，用於通過發出偵測訊號形成對應於所述投影區域的協同操控捕獲範圍；所述協同操控探測器1201，用於通過探測偵測訊號捕獲發生在所述協同操控捕獲範圍內的用戶協同操控行為；以及，確定所述用戶協同操控行為對應的在所述協同操控捕獲範圍內的用戶協同操控點在第一坐標系中的第一坐標，例如當偵測訊號發生器1202為光學訊號發生器且協同操控探測器1201為光學訊號探測器時，可以通過光學訊號發生器在所述投影畫面上形成光膜，所述光膜對應於所述投影區域，根據光學訊號探測器捕獲所述光膜上因用戶協同操控行為形成的光斑位置，根據所述光斑位置，在所述光膜的第一坐標系下確定所述用戶協同操控行為對應的用戶協同操控點的第一坐標；或，可以通過光學訊號發生器在所述投影畫面上形成雷射點陣，所述雷射點陣對應於所述投影區域，根據TOF時間飛行器或結構光探測器捕獲所述雷射點陣中因用戶協同操控行為形成的協同操控物體的空間位置，根據所述空間位置，在所述雷射點陣的第一坐標系下確定所述用戶協同操控行為對應的用戶協同操控點的第一坐標。
本身請實施例涉及的協同操控捕獲範圍與外部設備20的投影區域存在對應關係，該對應關係可以包括：協同操控捕獲範圍至少覆蓋所述投影區域，在這種場景下，用戶可以直接在投影區域上進行協同操控操作，因此用戶可以在由協同操控捕獲範圍與投影區域所構成的虛擬觸控螢幕上，利用傳統觸控螢幕的協同操控習慣，獲得與傳統觸控螢幕類似的協同操控交互體驗。上述對應關係還可以包括：協同操控捕獲範圍與投影區域相互分離，例如在立體投影協同操控場景下，投影區域處於一個三維空間內部，而投影協同操控捕獲範圍可以與該三維空間不相干，獨立處於另一個三維空間中或二位平面上，在這種場景下，用戶不需要直接觸摸投影區域中的元素，而是通過在投影協同操控捕獲範圍對應的其他空間或平面上進行協同操控操作，從而使得用戶獲得適應於立體投影協同操控場景下的協同操控交互體驗。
本申請實施例涉及的第一坐標系，是指協同操控捕獲模組的坐標系，具體是指協同操控探測器1201在將探測獲得的探測結果進行空間表示時所定義的坐標系，在該第一坐標系下，能夠通過獲取用於表徵用戶協同操控行為發生位置從而獲取用戶協同操控點的第一坐標，在一個實施例中，本申請涉及的第一坐標系為絕對坐標系，第一坐標為該絕對坐標系下的絕對坐標。本申請實施例中，可以在捕獲到由用戶協同操控行為所產生的一系列實體訊號後，通過影像識別技術定位得到用戶協同操控點的坐標資訊，相關技術中對此有詳細的記載，這裡不再贅述。
協同指令生成模組130，用於根據所述用戶協同操控點的第一坐標以及所述投影區域在所述第一坐標系中的區域位置資訊，獲得所述用戶協同操控點與所述投影區域的相對位置關係，並根據所述相對位置關係生成所述外部設備20的作業系統可識別的位置資訊指令，將所述位置資訊指令發送至無線傳輸模組140。
可選的，本申請實施例涉及的協同指令生成模組130，指的是除安裝有作業系統和CPU的主機板以外的輸入輸出硬體設備模組，包括專用積體電路晶片，例如ASIC（Application Specific Integrated Circuit，特殊應用積體電路）、DSP晶片、FPGA（Field Programmable Gate Array, 現場可程式邏輯閘陣列）等，所述專用積體電路晶片上包括通過燒錄形成的硬體計算電路，所述硬體計算電路用於實現根據所述用戶協同操控點的第一坐標以及所述投影區域在所述第一坐標系中的區域位置資訊，獲得所述用戶協同操控點與所述投影區域的相對位置關係，並根據所述相對位置關係生成所述外部設備20的作業系統可識別的位置資訊指令。本申請實施例中，由於協同指令生成模組130的功能是通過專用積體電路晶片上燒錄形成的硬體計算電路來實現，對重複性任務的適配性較高，因此相較于成本接近的傳統CPU加作業系統的通用計算機系統具有更高的執行效率，並且在達到相同計算效率的情況下相較於通用計算機系統具有更低的能耗，由於散熱更少，因此可以採用無風扇設計，節省了為解決散熱問題而產生的額外成本。
本申請實施例中的所述投影區域在所述第一坐標系中的區域位置資訊，可以通過以下兩種方式獲得：其一，通過所述投影控制器1102獲得，當投影控制器1102分配相應的投影區域後，在自身坐標系下確定所述投影區域的初始區域位置資訊，然後與協同操控捕獲模組統一坐標系，例如可以將互動投影輸入輸出設備10的設備結構設計成能夠保持投影模組坐標系與協同操控捕獲模組的空間相對關係不變或不影響坐標系統一的結構類型從而統一坐標系，或提供一個或多個額外設置的校驗點以供投影模組與協同操控捕捉模組統一各自的坐標系，或通過各自的探測器測距原理將各自的坐標系都統一到現實尺寸的坐標系同時預先規定好公共的參考原點，通過上述方法均可實現投影模組與協同操控捕捉模組各自坐標系的統一，此時在兩個模組中獲得的位置資訊可以彼此互通，並且可以指示正確的位置關係，投影控制器1102將自身坐標系下的所述投影區域的初始區域位置資訊傳遞至協同指令生成模組130，從而能夠與協同指令生成模組130從協同操控捕捉模組獲得的用戶協同操控點的第一坐標形成正確的相對位置關係；
其二，無需統一坐標系，協同操控捕獲模組中的協同操控探測器1201在捕獲所述用戶協同操控行為對應的用戶協同操控點在所述協同操控捕獲範圍內的第一坐標後，進一步識別並捕獲所述投影區域在所述第一坐標系中的區域位置資訊，並將所述用戶協同操控點的第一坐標以及所述區域位置資訊一同發給協同指令生成模組130，由於探測的結果均是在協同操控捕獲模組完成，因此自然可以獲得正確的相對位置關係。
本申請實施例中，所述用戶協同操控點與所述投影區域的相對位置關係是指用戶協同操控點相對於投影區域內部的相對位置，例如當投影區域為矩形時，可以將所述相對位置標識成“左下頂點：(a,b)”的形式，其中a和b均為0至1區間中的實數，用以表示以投影區域的左下頂點為參考原點，左下頂點到右下頂點為x軸方向，左下頂點到左上頂點為y軸方向，用戶協同操控點離左下頂點在x軸方向的距離為投影區域x軸方向總長度的a倍，離左下頂點在y軸方向的距離為投影區域y軸方向總長度的b倍，即可以將(a,b)看作是用戶協同操控點的第一坐標在投影區域內的正規化坐標。通過該相對位置關係，即可在任意其他同類型的區域中生成具有相同位置關係的點的第二坐標，該第二坐標是通過所述其他同類型區域的第二坐標系所確定，例如只需要確定作為第二坐標系的外部設備20螢幕坐標系的資訊，即可通過該相對位置關係生成所述外部設備20擬顯示的虛擬協同操控點的第二坐標，以使得所述虛擬協同操控點與所述外部設備20螢幕滿足所述相對位置關係。需要指出的是，外部設備20本身可以不具備螢幕，但這並不影響對虛擬協同操控點的確定，相當於外部設備20可以利用擬顯示資訊構成的虛擬螢幕，確定螢幕坐標系，從而進一步確定虛擬協同操控點的第二坐標，在本實施中，第二坐標系具體為外部設備20的螢幕坐標系，第二坐標具體為在該螢幕坐標系下的絕對坐標。
本申請實施例中，協同指令生成模組130可以通過從無線傳輸模組140獲取的畫面頂點坐標和螢幕解析度中任一資訊確定外部設備20的坐標系資訊，例如當通過畫面頂點坐標確定時，可以將具有(0,0)坐標的畫面頂點確定為坐標原點，將從坐標原點朝向坐標為(m,0)畫面頂點的方向確定為x軸，從坐標原點朝向坐標為(0,n)畫面頂點的方向確定為y軸，其中m和n均為正整數，由此確定外部設備20的螢幕坐標系；或者，當通過螢幕解析度確定時，根據螢幕解析度m×n直接得到外部設備20螢幕的區域屬性，生成相應的畫面頂點(0,0)、(m,0)、(0,n)和(m,n)並建立外部設備20的螢幕坐標系。根據確定的螢幕坐標系，將外部設備20螢幕x軸方向的總長度乘以所述相對位置關係(a,b)中的a，獲得外部設備20擬顯示的虛擬協同操控點的第二坐標的橫坐標，將外部設備20螢幕y軸方向的總長度乘以所述相對位置關係(a,b)中的b，獲得外部設備20擬顯示的虛擬協同操控點的第二坐標的縱坐標，即所述虛擬協同操控點的第二坐標為(m×a,n×b)，然後根據所述第二坐標生成用於在所述虛擬協同操控點處實施相應控制操作的位置資訊指令，另外，所述偏心距離用於修正所述虛擬協同操控點的第二坐標。
本申請實施例中，協同指令生成模組130可以通過從無線傳輸模組140獲取的作業系統類型來生成適配於所述作業系統類型的位置資訊指令，從而保證根據所述相對位置關係生成的位置資訊指令能夠適配於外部設備20作業系統類型，使所述外部設備20的作業系統調用底層驅動程式執行所述位置資訊指令，以實現響應於所述用戶協同操控行為的控制操作。本申請實施例涉及的位置資訊指令，包括滑鼠、鍵盤、觸控板和觸控螢幕驅動指令，或是可以觸發相應驅動指令的坐標資訊，需要指出的是，本申請涉及的坐標資訊並不一定是指傳統坐標系下的坐標資訊，任意可以包含目標對象的絕對位置或相對位置的資訊，都應視作本申請所涉及的坐標資訊，本申請對位置資訊指令所包含的坐標資訊的表現形式不做任何限制。本申請實施例涉及的底層驅動程式是指包括滑鼠、鍵盤、觸控板和觸控螢幕的驅動程式，與應用程式不同，底層驅動程式是一種可以使計算機和設備通訊的特殊程式，可以說相當於硬體的介面，作業系統只能通過這個介面，才能控制硬體設備的工作，假如某設備的驅動程式未能正確安裝，便不能正常工作，在本申請實施例中，位置資訊指令直接通過無線連接發送給外部設備20 的作業系統，從而使外部設備20通過作業系統直接調用底層驅動程式從而響應該位置資訊指令，而不需要經過應用層的無線連接，由於互動投影輸入輸出設備10沒有作業系統，因此無任何應用程式，而外部設備20也不需要安裝任何APP或軟體，通過底層的無線連接直接實現對外部設備20的協同操控。本申請實施例涉及的控制操作是指包括按鍵、游標移動、拖動、滑動等滑鼠、鍵盤、觸控板和觸控螢幕能夠實現的操作，由於本申請涉及的互動投影輸入輸出設備10只是將位置資訊指令發送至外部設備20，而對於該位置資訊指令的響應以及進一步的操作效果均在外部設備20側完成，相當於互動投影輸入輸出設備10只是將生成的位置資訊指令中攜帶的虛擬協同操控點的第二坐標資訊傳輸給外部設備20，然後由外部設備20的作業系統轉化為具體的觸控驅動指令，因此可以將本申請涉及的互動投影輸入輸出設備10看做是一個能夠替代滑鼠、鍵盤、觸控板和觸控螢幕的外設設備。
圖4為本申請根據一示例性實施例示出的一種應用場景圖，如圖4所示，以對其中的外部設備20進行協同控制為例，來對本申請實施例中協同指令生成模組130將第一坐標轉換成第二坐標的過程進行詳細說明。協同指令生成模組130獲取用戶協同操控點S的第一坐標為(x5,x6)，以及區域位置資訊包含的投影區域的四個頂點的坐標資訊，分別為N(x1,y1)、M(x2,y2)、Q (x3,y3)和P(x4,y4)，根據前述原理計算用戶協同操控點與所述投影區域的相對位置關係，以點N為參考原點為例，該相對位置關係可表示成“N(x1,y1)：((x5-x1)/(x2-x1),(y5-y1)/(y4-y1))”，根據該相對位置關係結合獲取到的畫面頂點坐標和螢幕解析度中任一資訊即可確定外部設備20的坐標系資訊，例如畫面頂點坐標分別為n(x'1,y'1)、m(x'2,y'2)、q(x'3,y'3)和p(x'4,y'4)，通常情況下，y'1、y'2、x'4的值為0，因此可以確定外部設備20螢幕的第二坐標系，即點n為參考原點，點n至點m方向為x軸，點n至點p方向為y軸，從而確定虛擬協同操控點s的第二坐標(x'5,y'5)具體為((x5-x1)×(x'2-x'1)/(x2-x1),(y5-y1)×(y'4-y'1)/(y4-y1))。最後，協同指令生成模組130根據該第二坐標以及歷史第二坐標即時確定該第二坐標適配於外部設備20作業系統下的控制邏輯，根據該控制邏輯以及相應的指令格式生成外部設備20作業系統下的位置資訊指令，該位置資訊指令中直接包含了外部設備20作業系統可調用相應觸控底層驅動程式執行的觸控驅動指令；在另一個實施例中，協同指令生成模組130可以在確定虛擬協同操控點s的第二坐標(x'5,y'5)後，直接將該第二坐標資訊作為位置資訊指令發送給外部設備20，從而使外部設備20的作業系統根據相應的藍牙協議將收到的位置資訊指令中包含的第二坐標資訊自動轉化為自身作業系統下具體的觸控驅動指令，因此在該實施例中，協同指令生成模組130不再需要完成將第二坐標轉換為外部設備20作業系統下的觸控驅動指令的操作。
無線傳輸模組140，用於與所述外部設備20建立上行無線連接和下行無線連接，通過所述下行無線連接接收所述外部設備20發送的投影資訊，所述投影資訊包括所述投影內容；以及，將所述位置資訊指令通過所述上行無線連接發送至所述外部設備20，使所述外部設備20的作業系統調用底層驅動程式執行所述位置資訊指令，以實現響應於所述用戶協同操控行為的控制操作，從而對所述外部設備20進行控制。
本申請實施例涉及的無線連接，包括但不限於：路由器、藍牙、NFC（Near Field Communication，近場通訊）、UWB（Ultra Wide Band，超寬頻）、zigbee、Lifi（Light Fidelity，可見光無線通訊）、NB-IOT（Narrow Band Internet of Things,窄頻物聯網）、eMTC（enhanced Machine-Type Communication，增強型機器類型通訊）、LoRa（Long Range Radio，遠距離無線電）、tuner（射頻協調）、GNSS（Global Navigation Satellite System，全球導航衛星系統）、LNB（Low Noise Block，低噪聲下變頻器）、蜂窩3G、蜂窩4G、蜂窩5G、蜂窩6G、Wifi（Wireless Fidelity，無線網路通訊技術）、5G、6G、無線USB或自身無線熱點，例如，所述無線傳輸模組與所述外部設備建立的所述下行無線連接採用的通訊協議類型包括：路由器、藍牙、NFC、UWB、zigbee、Lifi、NB-IOT、eMTC、LoRa、tuner、GNSS、LNB、蜂窩3G、蜂窩4G、蜂窩5G、蜂窩6G、Wifi、5G、6G或自身無線熱點；所述無線傳輸模組與所述外部設備建立的所述上行無線連接採用的通訊協議類型包括：藍牙、BLE（（Bluetooth Low Energy，低功耗藍牙）、NFC、路由器、Wifi、NB-IOT、eMTC、LoRa、tuner、GNSS、LNB、Z-Wave、蜂窩3G、蜂窩4G、蜂窩5G、蜂窩6G、NFC、路由器、Wifi、5G、6G或無線USB。並且本申請實施例中無線傳輸模組140與某一外部設備20建立的無線連接可以為一個也可以為多個，當所述無線連接的數量為多個時，多個無線連接的類型可以相同也可以不同，例如無線傳輸模組140通過上行的Wifi連接接收所述外部設備20發送的投影資訊，同時通過同一個Wifi連接或另一個Wifi無線連接將所述位置資訊指令通過所述無線連接發送至所述外部設備20，此時上行無線連接與下行無線連接為同一連接，或同一類型的連接；或者，無線傳輸模組140通過上行的Wifi連接接收所述外部設備20發送的投影資訊，並通過藍牙連接將所述位置資訊指令通過所述無線連接發送至所述外部設備20，此時上行無線連接與下行無線連接為不同連接且連接類型也不同，由此實現通過藍牙連接傳輸絕對坐標以控制外部設備20，由於傳輸的第一坐標是絕對坐標而非相對坐標，因此可以實現對外部觸控螢幕的反向控制。
本申請實施例涉及的投影資訊，除了上述的投影內容之外，還可以包括：畫面頂點坐標、螢幕解析度、水平垂直螢幕方位、碼流、幀率、作業系統類型、視頻尺寸等中的一個或多個，本申請並不對此進行限制。其中，所述碼流和所述幀率用於配合計算螢幕解析度和水平垂直螢幕方位，例如當無線傳輸模組140需要將螢幕解析度和水平垂直螢幕傳輸至協同指令生成模組130時，可以利用碼流和碼率計算得到相應的螢幕解析度和水平垂直螢幕方位的資訊，然後將該資訊傳輸至生成模組130，也可以直接將碼流和碼率傳輸至協同指令生成模組130，以使協同指令生成模組130根據接收到的碼流和碼率自行計算獲得螢幕解析度和水平垂直螢幕方位的資訊。
在本申請的實施例中，外部設備20的螢幕畫面、投影模組形成的投影區域與協同操控捕獲模組形成的協同操控範圍三者相互關聯，將捕獲得到的用戶協同操控點的第一坐標通過協同指令生成模組130生成外部設備20的作業系統可識別的位置資訊指令，並通過無線傳輸模組140發送至所述外部設備20，從而相當於形成虛擬無線觸控螢幕遠端控制外部設備20；由於協同指令生成模組130根據用戶協同操控點與投影區域的相對位置關係生成位置資訊指令，而外部設備20可以在底層驅動程式的幫助下響應該簡述驅動指令對應的控制操作，因此能夠對外部設備20進行協同控制，而無需在外部設備20安裝APP或軟體；
進一步的，協同指令生成模組130還可以根據用戶協同操控點與投影區域的相對位置關係以及外部設備20的螢幕解析度生成位置資訊指令，進而能夠對任意螢幕解析度或任意螢幕尺寸的外部設備20進行協同控制；
進一步的，協同指令生成模組130還可以根據用戶協同操控點與投影區域的相對位置關係、外部設備20的螢幕解析度以及作業系統類型生成位置資訊指令，因此能夠對任意作業系統、任意螢幕解析度或任意螢幕尺寸的外部設備20進行協同控制。
可選的，所述投影模組110包括視力保護濾鏡，所述視力保護濾鏡包括視力保護濾鏡鏡片或視力保護濾鏡膜，例如在投影模組110的投影透鏡所構成的光路中，加入奈米藍光濾鏡，降低波長410至460奈米的高能藍光密度，同時保證不影響藍光在RGB各組色彩的比例關係，從而不會引起投影畫面的色彩失真，因此可以在保證畫面清晰真實的基礎上降低高能藍光對人體造成的傷害；進一步的，還可以在投影透鏡所構成的光路中加入石英或合成材料的低通濾光鏡，進一步降低頻閃效應對人眼造成的影響，提高用戶的觀看體驗。由於兒童接收到的藍光輻射是成年人的兩倍左右，所以在本實施例中，通過加入視力保護濾鏡鏡片或視力保護濾鏡鏡片膜，使得互動投影輸入輸出設備10能更好地適用于兒童教育場景，盡可能地減少兒童在觀看投影畫面時對其視力健康所造成的不利影響。
可選的，所述投影控制器1102還可以用於響應於接收到的所述協同指令生成模組130識別出對應於投影調整功能的手勢操作時發出的投影調整指令，並根據所述投影調整指令調整所述投影區域的位置、角度和/或大小。本申請實施例中，協同指令生成模組130還用於根據多組用戶協同操控點的第一坐標識別用戶的手勢操作，當識別出對應於投影調整功能的手勢操作時，向投影模組發出投影調整指令，以使投影模組中的投影控制器1102根據所述投影調整指令重新分配相應的投影區域，從而調整所述投影區域的位置、角度和/或大小。
本申請實施例中，用戶可以通過對應於投影調整功能的手勢操作來調整所述投影區域的位置、角度和/或大小，優化了用戶的操作體驗。
可選的，所述投影控制器1102還可以用於根據所述投影內容包含的光學電子資訊，進行有利於保護視力的光譜矯正，例如減少藍光在光譜中所占的比例，從而在不影響畫面清晰度的前提下盡可能地減少對視力健康所造成的不利影響。
可選的，協同指令生成模組130可以根據所述水平垂直螢幕方位用於指示所述協同指令生成模組130調整所述相對位置關係。由於水平垂直螢幕方位會改變投影區域的形狀，其效果相當於將外部設備20的螢幕解析度倒換，例如螢幕解析度m×n被轉換成n×m，而外部螢幕坐標系卻不因水平垂直螢幕方位而變化，此時根據投影區域的區域位置資訊與用戶協同操控點的第一坐標計算得到的相對位置關係，將無法在螢幕坐標系下生成正確的虛擬協同操控點的第二坐標，因此需要根據水平垂直螢幕方位對原相對位置關係進行調整，以使調整後的相對位置關係能夠在螢幕坐標系下生成正確的虛擬協同操控點的第二坐標。
本申請實施例中，由於協同指令生成模組130考慮了水平垂直螢幕方位對計算虛擬協同操控點第二坐標的影響，從而在外部設備20改變水平垂直螢幕方位的情況下，依然能夠通過該互動投影輸入輸出設備10形成的虛擬無線觸控螢幕對外部設備20進行正確的協同控制。
可選的，所述無線傳輸模組140還用於：
將自身產品身份資訊發送至所述外部設備20，以使所述外部設備20搜索相應的底層驅動程式；
接收所述外部設備20在未搜索到所述底層驅動程式的情況下返回的驅動下載請求，並將對應於所述驅動下載請求的底層驅動程式發送至所述外部設備20，以使所述外部設備20安裝所述協同操控底層驅動程式並基於所述底層驅動程式執行所述位置資訊指令。
本申請實施例中，當外部設備20未安裝用於執行位置資訊指令的底層驅動程式時，可以將互動投影輸入輸出設備10中預先存儲的對應於驅動下載請求的底層驅動程式發送至外部設備20，以使外部設備20安裝該底層驅動程式，從而在外部設備20起初無法識別位置資訊指令的情況下，依然能夠通過下載安裝相應的底層驅動程式從而響應該互動投影輸入輸出設備10的協同控制。
圖5是本申請根據一示例性實施例示出的再一種互動投影輸入輸出設備10的方塊圖。如圖5所示，在圖2所示實施例的基礎上，該互動投影輸入輸出設備10還可以包括：
攝像模組150，用於採集影像資訊，例如通過攝像頭獲取環境中的影像資訊；
音頻模組160，用於採集音頻資訊，以及對所述無線傳輸模組140從所述外部設備20接收的音頻資訊進行播放，例如通過麥克風採集環境中的音頻資訊，並將所述無線傳輸模組140從所述外部設備20接收的音頻資訊通過音響進行播放。
本申請實施例中，除了攝像模組150和音頻模組160，還可以為互動投影輸入輸出設備10增加了更多的外設，例如重力傳感器、GPS定位晶片等，從而本申請涉及的互動投影輸入輸出設備10能夠具有更強的功能性，例如當外部設備20為雲端設備時，不僅可以通過投影顯示雲端設備輸出的擬顯示的螢幕內容，還能通過攝像模組150和音頻模組160與雲端設備進行更多的資訊交互，以實現攝像、錄音等更豐富的場景功能。
可選的，本申請提供的互動投影輸入輸出設備10也可以整合在其他任何硬體設備或產品中，例如可以整合在眼鏡中，此時投影模組110可以將投影畫面直接投影至人眼的視網膜，也可以投影至眼鏡鏡片上，或是投影至空中，同時，協同操控捕捉模組120能夠捕獲協同操控捕獲範圍內用戶的手勢或追蹤眼球在空中的“觸控”操作行為，從而在協同指令生成模組130生成對應的位置資訊指令，並通過無線傳輸模組140將該位置資訊指令傳輸至外部設備20，實現對外部設備20例如智慧手機或雲端主機的協同操控。
可選的，當所述外部設備20的數量為多個時，所述投影模組具體用於：將來自多個外部設備20的投影內容分別投射至所述投影畫面上對應於各個外部設備20的投影區域。在本申請實施例中，投影控制器1102能夠根據多個投影資訊的視頻尺寸資訊，對各個投影區域進行自適應調整，從而實現最優化佈局。
所述協同指令生成模組130具體用於：根據所述用戶協同操控點的第一坐標與各個投影區域在第一坐標系中的區域位置資訊，確定所述用戶協同操控點所在的特定投影區域，並獲得所述用戶協同操控點與所述特定投影區域的相對位置關係，根據所述相對位置關係生成針對所述特定投影區域對應的特定外部設備20的作業系統可識別的位置資訊指令。本申請實施例中，確定用戶協同操控點所在的特定投影區域具體通過以下方式實現：根據各個投影區域的區域位置資訊得到相應投影區域的四個頂點坐標，當用戶協同操控點的第一坐標落入某個投影區域四個頂點坐標內部時，將該個投影區域確定為所述特定投影區域。
所述無線傳輸模組140具體用於：與所述多個外部設備20分別建立相應的無線連接，通過各個無線連接接收所述多個外部設備20的投影資訊，所述投影資訊包括所述投影內容；以及，接收所述協同指令生成模組130傳來的針對所述特定外部設備20的位置資訊指令，將所述位置資訊指令通過所述特定外部設備20對應的無線連接發送至所述特定外部設備20，使所述特定外部設備20的作業系統調用底層驅動程式執行所述位置資訊指令，以實現響應於所述用戶協同操控行為的控制操作，從而對所述外部設備20進行控制。
本申請實施例中，無線傳輸模組140會給成功建立無線連接的外部設備20分配一個標記，以此獲得外部設備20、無線連接與標記三者之間的對應關係，將該對應關係發送至協同指令生成模組130，以使協同指令生成模組130在確定出特定投影區域，並進一步確定該特定投影區域對應的特定外部設備20後，根據該對應關係，在生成位置資訊指令是打上對應於所述特定外部設備20的標記，並將標記後的位置資訊指令發送至無線傳輸模組140，無線傳輸模組140根據對應關係，將標記後的位置資訊指令的標記去除，並通過對應於該標記的無線連接發送至對應的特定外部設備20。
如圖6所示，以對該應用場景圖中的智慧手機A、智慧手機B、智慧平板、筆記型電腦進行協同控制為例，來對本申請實施例進行詳細說明。
無線傳輸模組140首先會與上述多個外部設備20分別建立相應的無線連接，通過各個無線連接接收所述多個外部設備20的投影資訊，並將解析出的投影內容和視頻尺寸發送至投影模組，同時會建立外部設備20、無線連接與標記三者之間的對應關係，例如智慧手機A的對應關係為“0x0001-192.168.1.2-23”，其中“0x0001”為智慧手機A的內部設備碼，“192.168.1.2”為智慧手機A的網路地址，用於找到與智慧手機A建立的網路連接，“23”為對應于智慧手機A的標記，同理也會建立智慧手機B、筆記型電腦與智慧平板的對應關係，並將這些對應關係發送至協同指令生成模組130。
投影控制器1102能夠根據從無線傳輸模組140獲得的多個投影資訊的視頻尺寸資訊，對各個投影區域進行自適應調整，從而實現如圖6投影畫面中所示的各個投影區域的最優化佈局，投影將上述多個外部設備20的投影內容分別投射至投影畫面上對應於各個外部設備20的投影區域，其中，智慧手機A對應投影區域A，智慧手機B對應投影區域B，筆記型電腦對應投影區域C，智慧平板對應投影區域D。
協同指令生成模組130根據各個投影區域的區域位置資訊，獲得各個投影區域的區域頂點坐標，假設用戶協同操控點的第一坐標落在投影區域A的頂點坐標內，即可以確定用戶正試圖協同控制投影區域A所對應的智慧手機A，於是協同指令生成模組130會根據用戶協同操控點的第一坐標以及投影區域A的頂點坐標獲得用戶協同操控點與投影區域A的相對位置關係，假設計算得到的相對關係為“左下頂點：(0.25,0.8)”，代表以左下頂點為參考原點，用戶協同操控點相對於投影區域在x軸方向的長寬比例為0.25，在y軸方向上所占的長寬比例為0.8。則可以根據該相對位置關係生成智慧手機A在其螢幕坐標系下的虛擬協同操控點的第二坐標，假設智慧手機A的螢幕解析度為450×800，因此可以求出虛擬協同操控點的第二坐標為(112.5,640)，根據該第二坐標生成的智慧手機A的Android作業系統可識別的位置資訊指令，並根據無線傳輸模組140發送的對應關係打上智慧手機A對應的標記“23”發給無線傳輸模組140。
最後無線傳輸模組140會接收協同指令生成模組130傳來帶上“23”標記的位置資訊指令，通過搜尋對應關係找到該標記對應的外部設備20為智慧手機A，並將位置資訊指令的標記去除後通過與智慧手機A建立的無線連接發送至智慧手機A，使智慧手機A的作業系統調用底層驅動程式執行該位置資訊指令，以實現響應於所述用戶協同操控行為的控制操作，從而對所述外部設備20進行控制。
本申請實施例中，能夠在多個外部設備20同時與互動投影輸入輸出設備10進行無線連接時，根據在投影畫面上多個投影區域形成的多個虛擬無線觸控螢幕同時控制多個外部設備20。
可選的，在上述說明書實施例的基礎上，所述協同指令生成模組130還用於：當識別出對應於文件分享功能的手勢操作時，通過所述手勢操作的起點確定分享方外部設備以及分享文件處於所述分享方外部設備螢幕的位置資訊，通過所述手勢操作的滑動方向或終點確定被分享方外部設備，並生成文件分享位置資訊指令，所述文件分享位置資訊指令用於將分享文件從分享方外部設備分享至被分享方外部設備；
所述無線傳輸模組140還用於將所述文件分享位置資訊指令發送至所述分享方外部設備，使所述分享方外部設備：通過與所述被分享方外部設備建立的無線連接，將所述分享文件發送至所述被分享方外部設備；或，通過與所述無線傳輸模組140建立的無線連接，將所述分享文件發送至所述無線傳輸模組140，以使所述無線傳輸模組140根據與所述被分享方外部設備建立的無線連接，將接收到的所述分享文件發送至所述被分享方外部設備。
本申請實施例中，上述分享位置資訊指令為預先定義好的鍵鼠宏，該鍵鼠宏可以由用戶自定義創建或系統預存，協同指令生成模組130可根據多組用戶協同操控點的第一坐標識別用戶協同操控行為對應的手勢操作，當識別出對應於文件分享的手勢操作時，通過所述手勢操作的起點確定分享方外部設備以及分享文件處於所述分享方外部設備螢幕的位置資訊，通過所述手勢操作的滑動方向或終點確定被分享方外部設備，並調用適用於當前文件分享場景的鍵鼠宏，並將該鍵鼠宏發送至無線傳輸模組140，並指示無線傳輸模組140將該鍵鼠宏發送至分享方外部設備，由於鍵鼠宏本質上即為一串位置資訊指令，因此分享方外部設備在收到該鍵鼠宏後，依然會在作業系統調用底層驅動程式執行該鍵鼠宏，從而實現在當前場景下將分享文件按照鍵鼠宏的操作流程分享至被分享方外部設備的控制操作，完成對外部設備20的控制。
例如當無線連接為藍牙連接時，所述鍵鼠宏對應的操作流程為：分享方外部設備長按分享文件所處的螢幕位置，然後等待預定時間後，在彈出的選擇欄中選擇通過藍牙發送，從而將分享文件發送至互動投影輸入輸出設備10的無線傳輸模組140，自此鍵鼠宏流程結束，另外，在外部設備20執行鍵鼠宏的過程中，無線傳輸模組140將會屏蔽發送至該外部設備20的位置資訊指令。當無線傳輸模組140接收到分享方外部設備發來的分享文件後，會繼續將該分享文件發送給根據手勢操作確定的被分享方外部設備，自此完成對指定分享文件的文件分享。在另一實施例中，如果分享方外部設備已經與被分享方外部設備建立了無線連接，則可以調用並發送相應的鍵鼠宏至分享方外部設備，使分享方外部設備執行通過與被分享方外部設備建立的無線連接將分享文件發送至所述被分享方外部設備的控制操作，完成對指定分享文件的文件分享。
如圖6所示，以該應用場景圖中的智慧平板分享文件至筆記型電腦為例，來對本申請實施例進行詳細說明。在該應用場景下，智慧平板的投影內容投射在投影區域D，筆記型電腦的投影內容投射在投影區域C，當協同指令生成模組130識別出對應於文件分享功能的手勢操作時，由於所述手勢操作的起點坐標落在投影區域D中，因此可以確定分享方外部設備為投影區域D對應的智慧平板，按照前述的方法，根據該起點坐標落在投影區域D中的相對位置關係獲得智慧平板螢幕坐標系下分享文件的第二坐標，由於所述手勢操作的滑動方向是朝向投影區域C，或終點落在投影區域C，因此可以確定被分享方外部設備為投影區域C對應的筆記型電腦。
調用在該場景下用戶預先定義好的鍵鼠宏，該鍵鼠宏由智慧平板的作業系統可識別的一組位置資訊指令構成，其中，分享文件的第二坐標被作為變量調整該鍵鼠宏，以使該鍵鼠宏能夠在智慧平板上選中所述投影區域D上的起點坐標所對應的分享文件，然後再給調整後的鍵鼠宏打上智慧平板對應的標記，最後發送至無線傳輸模組140。
無線傳輸模組140根據該鍵鼠宏上的標記，將該鍵鼠宏通過與智慧平板建立的無線連接發送給智慧平板，並且在接收到智慧平板發來的分享文件之前，屏蔽發送至智慧平板的位置資訊指令。智慧平板在收到該鍵鼠宏後，其作業系統調用底層驅動程式執行該鍵鼠宏，例如在自身螢幕坐標系下分享文件的第二坐標處長按預設時間後，在彈出的選擇欄中選擇通過與互動投影輸入輸出設備10建立的無線連接進行傳輸，從而將分享文件發送至互動投影輸入輸出設備10的無線傳輸模組140。無線傳輸模組140在接收到智慧平板發來的分享文件後，結束位置資訊指令的屏蔽，並繼續執行文件分享功能的後續步驟，將該分享文件通過與筆記型電腦建立的無線連接發送給筆記型電腦，從而完成對指定分享文件的文件分享。
本申請實施例中，可以在互動投影輸入輸出設備10與多個外部設備20建立無線連接的場景下，完成對指定分享文件的快速分享，提高了用戶分享文件的效率，增加了用戶在多外部設備20交互控制場景下的互動性。
下面以所述互動投影輸入輸出設備10對iOS作業系統的智慧手機A、Andriod作業系統的智慧平板、Windows作業系統的桌上型電腦和Mac作業系統的筆記型電腦進行協同控制的過程對本申請實施例涉及的互動投影輸入輸出設備10的功能進行詳細說明。請參考圖7，上述協同控制場景可以基於智慧手機、智慧平板、桌上型電腦、筆記型電腦和互動投影輸入輸出設備10之間的相互配合實現，該流程包括以下步驟：
無線傳輸模組140同時與智慧手機，智慧平板，桌上型電腦和筆記型電腦建立WiFi熱點連接，並通過建立的WiFi熱點連接接收相應外部設備20發送的投影資訊，將投影資訊傳遞到投影系統；同時向附近的外部設備20發送藍牙配對請求，上述外部設備20在接受該藍牙配對連接請求後分別與無線傳輸模組140建立藍牙連接，根據預製的加密算法實現無線傳輸模組140與外部設備20之間資訊的加密傳輸，互相傳送Encryption Information（加密資訊）、Product Identity Information（產品身份資訊）、Version Identity Information（版本身份資訊）、Identity Address Information（身份地址資訊）等資訊，以使智慧手機，智慧平板，桌上型電腦和筆記型電腦均根據無線傳輸模組140提供的Product Identity Information搜索自身作業系統是否包含適配的底層驅動程式，結果智慧手機、智慧平板和筆記型電腦均成功搜索到適配的底層驅動程式，而桌上型電腦未檢測到適配的驅動請求，因此桌上型電腦會向無線傳輸模組140發出驅動下載請求，當無線傳輸模組140收到該驅動下載請求後，會將對應的底層驅動程式發送至桌上型電腦，從而使得桌上型電腦安裝該底層驅動程式，以便後續能夠響應位置資訊指令。
投影模組中的投影控制器1102接收無線傳輸模組140傳來的包括上述四個外部設備20的投影資訊，解析各自外部設備20的投影資訊，獲得對應多個外部設備20的畫面頂點坐標、畫面視頻尺寸、螢幕解析度、水平垂直螢幕方位、投影內容、碼流、幀率等資訊，根據上述資訊中視頻尺寸以及投影內容為相應的外部設備20分配投影區域，並在與協同操控捕獲模組統一坐標系後，生成投影區域的頂點坐標，以智慧平板為例，首先投影模組的投影方位與協同操控捕獲模組的捕獲方位相對固定，因此可以保證投影模組與協同操控捕獲模組處於同一坐標系下，由於智慧平板的畫面視頻尺寸為16:9，因此可以控制DMD（Digital Micromirror Device，數位微鏡器件）為其分配一個具有合適大小和位置且尺寸為16:9的投影區域2，其中，為了獲得投影區域2，投影控制器1102需要在DMD矩陣中為該投影區域分配相應的微鏡片群，使得微鏡片群的數量控制投影區域2的大小，微鏡片群的形態和位置控制投影區域2的尺寸和位置，投影內容在DMD的控制下，通過投影透鏡投射在投影畫面中，該投影畫面中包括為該智慧平板分配的投影區域2，形成投影畫面後，投影控制器1102根據此時的成像焦距以及為生成該投影區域2而使用的微鏡片的位置和數量，生成該投影區域2的頂點坐標，將投影區域2的頂點坐標發送至協同指令生成模組130。
同理，為其他外部設備20分配投影區域並將相應的投影內容投影在各自的投影區域上，最終投影畫面上會形成四個互不重疊的投影區域1、投影區域2、投影區域3和投影區域4，並將代表各自投影區域的區域位置資訊的頂點坐標發送至協同指令生成模組130，同時將多個外部設備20的畫面頂點坐標、螢幕解析度、水平垂直螢幕也發送至協同指令生成模組130；在另一實施例中，由於投影模組無需與協同操控捕獲模組統一坐標系，因此不需要計算和發送投影區域的頂點坐標。
協同操控捕獲模組包括偵測訊號發生器1202和協同操控探測器1201，在本申請實施例中，偵測訊號發生器1202具體為紅外雷射發射器，協同操控探測器1201具體為紅外攝像頭，其中，紅外雷射發射器可以產生緊貼投影畫面所在平面約0.5mm至5mm的雷射虛擬協同操控膜；紅外攝像頭置於協同操控平面上方（通常置於投影透鏡同側的），用於拍攝紅外影像，當紅外影像上包含用戶在雷射虛擬協同操控膜協同操控形成的光斑時，根據該光斑在紅外影像上的位置、形狀以及影像識別相關技術確定用戶協同操控點在影像坐標系下的坐標，並進一步根據拍攝焦距獲得用戶協同操控點在與投影模組相同的第一坐標系下的第一坐標，將該第一坐標發送至協同指令生成模組130；在另一說明書實施例中，協同操控捕獲模組無需與投影模組統一坐標系，而是將影像坐標系確定為第一坐標系，並在紅外影像上識別出用戶協同操控點後，進一步識別出用戶協同操控點所在的投影區域，同時確定用戶協同操控點以及該投影區域四個頂點在影像坐標系下的坐標，將這些坐標均發送至協同指令生成模組130，其中四個頂點的坐標用於表徵該投影區域的區域位置資訊。
協同指令生成模組130根據所述用戶協同操控點的第一坐標以及所述投影區域在所述第一坐標系中的區域位置資訊，獲得所述用戶協同操控點與所述投影區域的相對位置關係，具體而言，所述相對位置關係為用戶協同操控點相對於投影區域在x軸方向和y軸方向上所占的長寬比例，例如，假設智慧平板對應的投影區域2的四個頂點坐標分別為(1600,1100)、(2400,1100)、(1600,1550)、(2400,1550)，而用戶協同操控點的第一坐標為(2000,1235)，首先由於該第一坐標落在投影區域2四個頂點的內部，因此可以確定當前是在對投影區域2對應的智慧手機2進行協同控制，然後需要求出該用戶協同操控點相對於投影區域2的相對位置關係：以左下頂點(1600,1100)為參考原點，計算用戶協同操控點在x軸方向相對於投影區域所占的比例，為協同操控點在x軸方向相對於參考原點的距離與投影區域的在x方向的總長度的商，即(2000-1600)/(2400-1600)=0.5，計算用戶協同操控點在y軸方向相對於投影區域所占的比例，為協同操控點在y軸方向相對於參考原點的距離與投影區域的在y方向的總長度的商，即(1235-1100)/(1550-1100)=0.3，因此上述相對位置關係可以表示成“左下頂點：(0.5,0.3)”。
進一步的，由於智慧平板的水平垂直螢幕為橫屏，因此需要對上述相對位置關係進行調整，對於以左下頂點為參考原點的情況下，具體而言是將“左下頂點：(a,b)”調整成“左下頂點：(b,1-a)”，因此“左下頂點：(0.5,0.3)”被調整成“左下頂點：(0.3,0.5)”，進一步的，根據智慧平板的畫面頂點坐標或螢幕解析度，生成智慧平板擬顯示的虛擬協同操控點的第二坐標，假設智慧平板的畫面頂點分別為(0,0)、(1080,0)、(0,1920)、(1080,1920)，其中(0,0)為左下頂點，則可以通過調整後的相對位置關係，計算虛擬協同操控點在智慧平板螢幕坐標系下的第二坐標，其中，所述橫坐標值為螢幕x軸總像素乘以相對位置關係中的x值，即(1080-0)×0.3=324，所述縱坐標值為螢幕y軸總像素乘以相對位置關係中的y值，即(1920-0)×0.5=960，最終得到該虛擬協同操控點在智慧平板螢幕坐標系下的第二坐標為(324,960)。
由於智慧平板的作業系統為Android，因此能夠根據該第二坐標以及歷史第二坐標即時確定該第二坐標適配於Android作業系統下的控制邏輯，根據該控制邏輯以及相應的指令格式生成Android作業系統下的位置資訊指令，最後將該位置資訊指令打上對應于智慧平板的標記並傳遞至無線傳輸模組140，所述標記用於指示無線傳輸模組140將該位置資訊指令發送至智慧平板。
無線傳輸模組140接收該協同指令生成模組130傳來的位置資訊指令，根據該位置資訊指令攜帶的標記確定將該位置資訊指令發送至智慧平板，於是根據預先與智慧手機建立的藍牙連接，將該位置資訊指令的標記去掉後，發送至智慧平板，使智慧平板接收到該位置資訊指令後，在作業系統調用相應的觸控底層驅動程式執行該位置資訊指令，以實現響應於所述虛擬協同操控點的控制操作，從而對所述外部設備20進行控制。
以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的模組可以是或者也可以不是實體上分開的，作為模組顯示的部件可以是或者也可以不是實體模組，即可以位於一個地方，或者也可以分佈到多個網路模組上。可以根據實際的需要選擇其中的部分或者全部模組來實現本申請方案的目的。本領域普通技術人員在不付出創造性勞動的情況下，即可以理解並實施。
上述對本申請特定實施例進行了描述。其它實施例在所附權利要求書的範圍內。在一些情況下，在申請專利範圍中記載的動作或步驟可以按照不同於實施例中的順序來執行並且仍然可以實現期望的結果。另外，在附圖中描繪的過程不一定要求示出的特定順序或者連續順序才能實現期望的結果。在某些實施方式中，多任務處理和並行處理也是可以的或者可能是有利的。
本領域技術人員在考慮說明書及實踐這裡申請的發明後，將容易想到本申請的其它實施方案。本申請旨在涵蓋本申請的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本申請的一般性原理並包括本申請未申請的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本申請的真正範圍和精神由下面的申請專利範圍指出。
應當理解的是，本申請並不局限於上面已經描述並在附圖中示出的精確結構，並且可以在不脫離其範圍進行各種修改和改變。本申請的範圍僅由所附的申請專利範圍來限制。
以上所述僅為本申請的較佳實施例而已，並不用以限制本申請，凡在本申請的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本申請保護的範圍之內。
10:互動投影輸入輸出設備 20:外部設備 110:投影模組 1101:投影功能組件 1102:投影控制器 120:協同操控捕獲模組 1201:協同操控探測器 1202:偵測訊號發生器 130:協同指令生成模組 140:無線傳輸模組 150:攝像模組 160:音頻模組
圖1是本申請根據一示例性實施例示出的一種系統架構圖。 圖2是本申請根據一示例性實施例示出的一種互動投影輸入輸出設備的方塊圖。 圖3是本申請根據一示例性實施例示出的另一種互動投影輸入輸出設備的方塊圖。 圖4是本申請根據一示例性實施例示出的一種應用場景圖。 圖5是本申請根據一示例性實施例示出的再一種互動投影輸入輸出設備的方塊圖。 圖6是本申請根據一示例性實施例示出的另一種應用場景圖。 圖7是本申請根據一示例性實施例示出的再一種應用場景圖。
10:互動投影輸入輸出設備
110:投影模組
1101:投影功能組件
1102:投影控制器
120:協同操控捕獲模組
1201:協同操控探測器
1202:偵測訊號發生器
130:協同指令生成模組
140:無線傳輸模組

Claims (15)

  1. 一種互動投影輸入輸出設備，其特徵在於，包括：投影模組，用於使來自外部設備的投影內容，顯示於投影畫面中對應於所述外部設備的投影區域；協同操控捕獲模組，用於形成對應於所述投影區域的協同操控捕獲範圍；在所述協同操控捕獲範圍內建立第一坐標系；捕獲發生在所述協同操控捕獲範圍內的用戶協同操控行為；以及，確定所述用戶協同操控行為對應的用戶協同操控點在所述第一坐標系中的第一坐標；協同指令生成模組，用於根據所述用戶協同操控點的第一坐標以及所述投影區域在所述第一坐標系中的區域位置資訊，獲得所述用戶協同操控點與所述投影區域的相對位置關係，根據所述相對位置關係，生成所述外部設備擬顯示的虛擬協同操控點的第二坐標，以使所述虛擬協同操控點與所述外部設備的螢幕之間滿足所述相對位置關係，並根據所述第二坐標生成所述外部設備的作業系統可識別的用於在所述虛擬協同操控點處實施控制操作的位置資訊指令；無線傳輸模組，用於通過下行無線連接接收所述外部設備發送的投影資訊，所述 投影資訊包括所述投影內容；以及，將所述位置資訊指令通過上行無線連接發送至所述外部設備，使所述外部設備的作業系統調用底層驅動程式執行所述位置資訊指令，以實現響應於所述用戶協同操控行為的控制操作，從而對所述外部設備進行協同操控。
  2. 如請求項1所述的設備，其特徵在於，所述投影模組包括：投影功能組件，用於投射所述投影內容；投影控制器，用於響應於接收到所述協同指令生成模組發出的投影調整指令，調整所述投影區域的位置、角度和/或大小；以及，根據所述投影內容包含的光學電子資訊，進行有利於保護視力的光譜矯正。
  3. 如請求項1所述的設備，其特徵在於，所述協同操控捕獲模組包括協同操控探測器，通過設置所述協同操控探測器形成對應於所述投影區域的協同操控捕獲範圍，所述協同操控探測器用於：根據探測得到的環境實體訊號捕獲發生在所述協同操控捕獲範圍內的用戶協同操控行為；確定所述用戶協同操控行為對應的用戶協同操控點在所述第一坐標系中的第一坐標；以及，識別並捕獲所述投影區域在所述第一坐標系中的區域位置資 訊。
  4. 如請求項1所述的設備，其特徵在於，所述協同操控捕獲模組包括：偵測訊號發生器，用於通過發出偵測訊號形成對應於所述投影區域的協同操控捕獲範圍；以及協同操控探測器，用於通過探測所述偵測訊號捕獲發生在所述協同操控捕獲範圍內的用戶協同操控行為；確定所述用戶協同操控行為對應的用戶協同操控點在所述第一坐標系中的第一坐標；以及，識別並捕獲所述投影區域在所述第一坐標系中的區域位置資訊。
  5. 如請求項1所述的設備，其特徵在於，所述協同指令生成模組包括專用集成電路晶片，所述專用集成電路晶片上包括通過燒錄形成的硬體計算電路。
  6. 如請求項1所述的設備，其特徵在於，所述投影資訊還包括下述至少之一：畫面頂點坐標、偏心距離、螢幕解析度、水平垂直螢幕、碼流、幀率、作業系統類型；其中，所述水平垂直螢幕用於指示所述協同指令生成模組調整所述相對位置關係；所述畫面頂點坐標或所述螢幕解析度用於指示所述協同指令生成模組生成所述位置資訊指令； 所述碼流和所述幀率用於配合計算所述螢幕解析度和所述水平垂直螢幕；所述偏心距離用於修正所述虛擬協同操控點的第二坐標；所述作業系統類型用於指示所述協同指令生成模組根據所述相對位置關係生成適配於所述作業系統類型的位置資訊指令。
  7. 如請求項1所述的設備，其特徵在於，所述外部設備的數量為多個，所述投影模組具體用於：將來自多個所述外部設備的投影內容分別投射至所述投影畫面上對應於各個所述外部設備的投影區域；所述協同指令生成模組具體用於：根據所述用戶協同操控點的第一坐標與各個所述投影區域在所述第一坐標系中的區域位置資訊，確定所述用戶協同操控點所在的特定投影區域，並根據所述用戶協同操控點與所述特定投影區域的相對位置關係，生成針對所述特定投影區域對應的特定外部設備的位置資訊指令；所述無線傳輸模組具體用於：通過與所述多個外部設備分別建立的無線連接，接收所述多個外部設備的投影資訊，所述投影資訊包括所述投影內容；以及，將所述協同指令生成模組傳來的針對所述特定外部設備的位 置資訊指令，發送至所述特定外部設備。
  8. 如請求項7所述的設備，其特徵在於，當識別出對應於文件分享功能的手勢操作時，所述協同指令生成模組還用於：通過所述手勢操作的起點確定分享方外部設備以及分享文件處於所述分享方外部設備擬顯示的位置資訊，通過所述手勢操作的滑動方向或終點確定被分享方外部設備，並生成文件分享位置資訊指令，所述文件分享位置資訊指令用於將分享文件從所述分享方外部設備分享至所述被分享方外部設備。
  9. 如請求項8所述的設備，其特徵在於，所述無線傳輸模組還用於：將所述文件分享位置資訊指令發送至所述分享方外部設備，使所述分享方外部設備通過與所述被分享方外部設備建立的無線連接，將所述分享文件發送至所述被分享方外部設備。
  10. 如請求項8所述的設備，其特徵在於，所述無線傳輸模組還用於：將所述文件分享位置資訊指令發送至所述分享方外部設備，使所述分享方外部設備通過與所述無線傳輸模組建立的無線連接，將所述分享文件發送至所述無線傳輸模組，以使所述無線傳輸模組根據與所述被分享方外部設備建立的無線連接，將接收到的所 述分享文件發送至所述被分享方外部設備。
  11. 如請求項1所述的設備，其特徵在於，所述無線傳輸模組與所述外部設備建立的所述下行無線連接包括以下任意一種或多種：路由器、藍牙、NFC、UWB、zigbee、Lifi、Wifi、NB-IOT、eMTC、LoRa、tuner、GNSS、LNB、蜂窩3G、蜂窩4G、蜂窩5G、蜂窩6G或自身無線熱點。
  12. 如請求項1所述的設備，其特徵在於，所述無線傳輸模組與所述外部設備建立的所述上行無線連接包括以下任意一種或多種：藍牙、BLE、NFC、路由器、Wifi、NB-IOT、eMTC、LoRa、tuner、GNSS、LNB、Z-Wave、蜂窩3G、蜂窩4G、蜂窩5G、蜂窩6G或無線USB。
  13. 如請求項1所述的設備，其特徵在於，所述互動投影輸入輸出設備還包括：攝像模組，用於採集影像資訊；音頻模組，用於採集音頻資訊，以及對所述無線傳輸模組從所述外部設備接收的音頻資訊進行播放。
  14. 如請求項1所述的設備，其特徵在於，所述投影模組包括視力保護濾鏡，所述視力保護濾鏡包括視力保護濾鏡鏡片或視力保護濾鏡膜，用於降低有害視力的高能藍光密度和/或降低頻閃效應。
  15. 如請求項1所述的設備，其特徵在於，所述設備集成在眼鏡中； 所述投影模組用於將所述投影畫面投影至人眼的視網膜、眼鏡鏡片上或空中。
TW110146142A 2020-12-16 2021-12-09 互動投影輸入輸出設備 TWI796039B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011488192.7A CN114708403A (zh) 2020-12-16 2020-12-16 一种互动投影输入输出设备
CN202011488192.7 2020-12-16

Publications (2)

Publication Number Publication Date
TW202225918A TW202225918A (zh) 2022-07-01
TWI796039B true TWI796039B (zh) 2023-03-11

Family

ID=82060043

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110146142A TWI796039B (zh) 2020-12-16 2021-12-09 互動投影輸入輸出設備

Country Status (5)

Country Link
US (1) US20230297312A1 (zh)
EP (1) EP4266258A4 (zh)
CN (1) CN114708403A (zh)
TW (1) TWI796039B (zh)
WO (1) WO2022127634A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110442366B (zh) * 2019-08-09 2021-06-15 广州视源电子科技股份有限公司 一种传屏处理方法、装置、设备和存储介质
CN116048341B (zh) * 2022-07-28 2023-09-15 荣耀终端有限公司 一种多屏协同方法及电子设备
CN118118640B (zh) * 2024-04-19 2024-07-16 深圳市智岩科技有限公司 激光投影成像精度控制方法及其装置、设备、介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107632744A (zh) * 2017-09-09 2018-01-26 深圳大学 一种桌面交互投影系统及控制方法
TW201812609A (zh) * 2016-08-31 2018-04-01 宅妝股份有限公司 以虛擬實境／擴增實境為基礎並結合即時通訊服務的檔案分享系統及方法
TW201939291A (zh) * 2018-03-19 2019-10-01 仁寶電腦工業股份有限公司 電子裝置及其運作方法
CN111047925A (zh) * 2019-12-06 2020-04-21 山东大学 基于房间式互动投影的动作学习系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8625183B2 (en) * 2008-03-07 2014-01-07 Javid Khan Three dimensional holographic volumetric display
US20090254953A1 (en) * 2008-04-02 2009-10-08 Chung-Hung Lin Wireless video and audio broadcasting device
US9996972B1 (en) * 2011-06-10 2018-06-12 Amazon Technologies, Inc. User/object interactions in an augmented reality environment
TWI466083B (zh) * 2012-07-05 2014-12-21 Novatek Microelectronics Corp 多分支介面平面顯示器
WO2015111778A1 (ko) * 2014-01-27 2015-07-30 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어방법
JP2017004354A (ja) * 2015-06-12 2017-01-05 富士通株式会社 表示制御方法、表示制御プログラム、情報処理端末、及びウェアラブルデバイス
US10558288B2 (en) * 2016-07-07 2020-02-11 Samsung Display Co., Ltd. Multi-touch display panel and method of controlling the same
CN106371586B (zh) * 2016-08-24 2018-10-26 同济大学 一种互动区域可调的增强现实实现方法
US10636342B2 (en) * 2017-03-31 2020-04-28 Wuhan China Star Optoelectronics Technology Co., Ltd Active-matrix organic emissive diode (AMOLED) display panel for reducing blue ray energy in display images, driving method thereof, and driving device thereof
TWI714163B (zh) * 2019-07-11 2020-12-21 緯創資通股份有限公司 控制投影內容的方法及電子裝置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201812609A (zh) * 2016-08-31 2018-04-01 宅妝股份有限公司 以虛擬實境／擴增實境為基礎並結合即時通訊服務的檔案分享系統及方法
CN107632744A (zh) * 2017-09-09 2018-01-26 深圳大学 一种桌面交互投影系统及控制方法
TW201939291A (zh) * 2018-03-19 2019-10-01 仁寶電腦工業股份有限公司 電子裝置及其運作方法
CN111047925A (zh) * 2019-12-06 2020-04-21 山东大学 基于房间式互动投影的动作学习系统及方法

Also Published As

Publication number Publication date
EP4266258A1 (en) 2023-10-25
US20230297312A1 (en) 2023-09-21
EP4266258A4 (en) 2024-04-17
CN114708403A (zh) 2022-07-05
WO2022127634A1 (zh) 2022-06-23
TW202225918A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
TWI796039B (zh) 互動投影輸入輸出設備
US11947781B2 (en) Automatically adjusting a layout of a visual element on a to-be-generated interface and quickly generating an interface
US11494003B1 (en) Gesture keyboard method and apparatus
US11757675B2 (en) Facilitating portable, reusable, and sharable internet of things (IoT)-based services and resources
JP2023512410A (ja) 接続リソースを使用したユーザデバイスアプリケーションの投影、制御、および管理
TWI755762B (zh) 目標跟蹤方法、智慧移動設備和儲存介質
JP2015526927A (ja) カメラ・パラメータのコンテキスト駆動型調整
US20130257813A1 (en) Projection system and automatic calibration method thereof
WO2016082670A1 (zh) 一种智能投影灯泡及其互动和智能投影方法
WO2018121193A1 (zh) Vr设备的控制方法、装置及遥控器
WO2022088974A1 (zh) 一种遥控方法、电子设备及系统
US20230126025A1 (en) Context-sensitive remote eyewear controller
WO2020248924A1 (zh) 显示设备及扫描外部蓝牙设备的方法
US20170102784A1 (en) Display system, projector, and control method for display system
CN112905132B (zh) 投屏方法及设备
KR102374428B1 (ko) 그래픽 센서, 이동 단말 및 그래픽 촬영 방법
WO2016157920A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111953952B (zh) 投影设备及投影控制方法
EP3842907A1 (en) Mobile device and control method for mobile device
US20110285624A1 (en) Screen positioning system and method based on light source type
CN112995539B (zh) 一种移动终端及图像处理方法
Chiou et al. Interactive projection system for dual mobile projector devices
US10609350B1 (en) Multiple frequency band image display system
US20230195264A1 (en) Projection system
US20170193869A1 (en) Method and electronic device for projected image processing