TW201546698A - 自動辨識游標所在螢幕之方法 - Google Patents

自動辨識游標所在螢幕之方法 Download PDF

Info

Publication number
TW201546698A
TW201546698A TW103120081A TW103120081A TW201546698A TW 201546698 A TW201546698 A TW 201546698A TW 103120081 A TW103120081 A TW 103120081A TW 103120081 A TW103120081 A TW 103120081A TW 201546698 A TW201546698 A TW 201546698A
Authority
TW
Taiwan
Prior art keywords
image
screen
upper edge
cursor
remote management
Prior art date
Application number
TW103120081A
Other languages
English (en)
Other versions
TWI497400B (zh
Inventor
Yi-Li Liu
Yue Zhuo
Original Assignee
Aten Int Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aten Int Co Ltd filed Critical Aten Int Co Ltd
Priority to TW103120081A priority Critical patent/TWI497400B/zh
Priority to CN201510130127.XA priority patent/CN105183269B/zh
Application granted granted Critical
Publication of TWI497400B publication Critical patent/TWI497400B/zh
Publication of TW201546698A publication Critical patent/TW201546698A/zh

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

自動辨識游標所在螢幕之方法具有以下步驟:依據第一影像之垂直解析度及第二影像之垂直解析度的總和產生一垂直移動量;以遠端管理裝置使目標電腦之游標依據垂直移動量在第一螢幕或第二螢幕上移動至上緣區域;以遠端管理裝置分別擷取第一螢幕及第二螢幕在上緣區域之影像,以得到第一上緣圖像及第二上緣圖像;以遠端管理裝置使游標向第一方向水平移動一距離;擷取第一螢幕在上緣區域之影像,以得到第三上緣圖像;對第一上緣圖像及第三上緣圖像進行圖像辨識,以識別第三上緣圖像相對於第一上緣圖像是否有變化。

Description

自動辨識游標所在螢幕之方法
本發明係關於一種自動辨識游標所在螢幕之方法;具體而言,本發明係關於一種用於多螢幕之遠端系統中自動辨識游標所在螢幕之方法。
多電腦切換器(Keyboard-Video-Mouse Switch;KVM Switch)使得使用者可以單一組鍵盤、螢幕及滑鼠來管控多台目標電腦。此組鍵盤、螢幕及滑鼠係經由多電腦切換器連接至多台目標電腦。經由多電腦切換器,螢幕及滑鼠發出的訊號可以傳至其中一台被選定的目標電腦,並且此台目標電腦也可以經由多電腦切換器輸出影像至此螢幕。如此可以節省空間、能源及硬體成本。多電腦切換器適用於數據中心、電腦機房、一般個人以及工廠生產線的機台設備。
另外,請參閱第一A圖,一具備網路介面的多電腦切換器15可稱為網路型多電腦切換器(IP-based KVM Switch),其更進一步使得一中控電腦30(一般為桌上型或膝上型電腦)之使用者U可以透過網路管理多台位於遠端的被控電腦(或稱為目標電腦)20以及觀看目標電腦經由網路傳來的畫面。此網路型多電腦切換器係模擬成一組與目標電腦直接連接的鍵 盤、螢幕及滑鼠,並且將目標電腦輸出的畫面捕捉後經由網路回傳給中控電腦30。舉例來說,如此一來,位於甲地的使用者便可透過網路型多電腦切換器由遠端管理位於乙地機房當中的伺服器,彷彿如同在乙地直接操控目標電腦一般。並且,網路型多電腦切換器的使用者通常不只一位,不同的使用者可藉由位於不同網路位置的中控電腦30先後操控同一台目標電腦20。
如第一B圖所示,網路型多電腦切換器在使用上存在一個所謂「滑鼠不同步」的問題,亦即中控電腦30的使用者在操作目標電腦時會在其操作畫面(實際畫面)40上看到兩個游標追逐的情況。因為中控電腦30本身會產生一個游標(下稱「第一游標」),而目標電腦也會產生另外一個游標(下稱「第二游標」),當目標電腦的畫面(遠端畫面)23被網路型多電腦切換器捕捉然後傳回中控電腦的時候,便會因為遠端畫面23與近端畫面33的疊加而造成使用者同時看到「第一游標」31與「第二游標」21,並且這兩個游標位於不同位置的情況。有時候「第一游標」31與「第二游標」21可能相距甚遠,因為如前所述網路型多電腦切換器的使用者通常不只一位,不同的使用者可藉由位於不同網路位置的中控電腦30先後操控同一台目標電腦20,因此對於目前的使用者而言,當切換到某一目標電腦20的時候,「第二游標」21的起始位置係停留在前一個使用者最後離開的位置。亦即目前的使用者在開始操作目標電腦20前並無法決定「第二游標」21的起始位置。因此,如果不解決所謂「滑鼠不同步」的問題,將會對當前的使用者造成精確操作上的困擾,因為使用者將會不曉得要以哪一個游標在操作畫面上進行定位及點選。
如第一C圖所示,網路型多電腦切換器為了解決上述「滑鼠不同步」的問題,便要進行所謂「滑鼠同步」的過程,亦即必須先將「第 一游標」31及「第二游標」21均移動到同一位置,例如均移動到螢幕的左上角(35,25),然後再開放「第一游標」31給使用者使用。但是因為網路型多電腦切換器對於目標電腦來說只是一組鍵盤、螢幕及滑鼠,因此網路型多電腦切換器並無法由目標電腦之作業系統直接取得游標的座標等訊息。並且在某些作業系統的滑鼠座標下,因為網路型多電腦切換器在任意時刻(包含同步前)都不曉得在「第二游標」21落在螢幕上的哪個位置,所以網路型多電腦切換器這時候並不知道要給滑鼠多少的移動量才能將「第二游標」21移動到螢幕的左上角。為了確保「第二游標」21能被移動到螢幕的左上角,網路型多電腦切換器下達給「第二游標」21的移動量其實是螢幕垂直解析度Yy與水平解析度Yx的總合,亦即在垂直方向及水平方向可能的最大移動距離的向量合。然而,目前的網路型多電腦切換器僅支援單一螢幕,在目標電腦支援多螢幕的架構下,因為網路型多電腦切換器不但不曉得「第二游標」21落在哪一台螢幕上,網路型多電腦切換器更不曉得「第二游標」21落在哪一台螢幕上的哪個位置,所以其並無法有效地將「第一游標」31及「第二游標」21均移動到某一螢幕上的同一位置,亦即傳統的網路型多電腦切換器並無法有效地自動進行所謂的「滑鼠同步」。因此,針對目標電腦支援多螢幕的架構,對於上述「滑鼠不同步」的問題實有必要提出一套有效的解決方式。
本發明之一目的係在於提供一種自動辨識游標所在螢幕之方法,使遠端游標與近端游標的同步更有效率。
在一實施例中,本發明提供一種在支援多螢幕之遠端管理系統中自動辨識游標所在之螢幕的方法,包含下列步驟:(A)提供一遠端管理 系統,該遠端管理系統至少包含一遠端管理裝置,該遠端管理裝置具有一第一影像輸入埠及一第二影像輸入埠,其中該第一影像輸入埠對應於一第一螢幕且該第二影像輸入埠對應於一第二螢幕;(B)使一目標電腦可輸出一第一影像至該第一影像輸入埠及輸出一第二影像至該第二影像輸入埠,並在該第一螢幕或該第二螢幕上產生一游標;(C)使該遠端管理裝置可經由網路被一中控電腦所控制;(D)以該遠端管理裝置分別擷取該目標電腦所輸出之該第一影像及該第二影像,並分別在該中控電腦之一中控螢幕產生一第一縮圖影像及一第二縮圖影像,其中該第一縮圖影像對應於該第一影像且該第二縮圖影像對應於該第二影像;(E)依據該第一影像之垂直解析度及該第二影像之垂直解析度的總和產生一垂直移動量;(F)以該遠端管理裝置使該目標電腦之該游標依據該垂直移動量在該第一螢幕或該第二螢幕上移動至一上緣區域;(G)以該遠端管理裝置分別擷取該第一螢幕及該第二螢幕在該上緣區域之影像,以得到一第一上緣圖像及一第二上緣圖像;(H)以該遠端管理裝置使該游標向一第一方向水平移動一距離;(I)擷取該第一螢幕在該上緣區域之影像,以得到一第三上緣圖像;(J)對該第一上緣圖像及該第三上緣圖像進行圖像辨識,以識別該第三上緣圖像相對於該第一上緣圖像是否有變化。
在一實施例中,本發明提供一種在支援多螢幕之遠端管理系統中自動辨識游標所在之螢幕的方法,包含下列步驟:(A)提供一遠端管理系統,該遠端管理系統至少包含一遠端管理裝置,該遠端管理裝置具有一第一影像輸入埠及一第二影像輸入埠,其中該第一影像輸入埠對應於一第一螢幕且該第二影像輸入埠對應於一第二螢幕;(B)使一目標電腦可輸出一第一影像至該第一影像輸入埠及輸出一第二影像至該第二影像輸入埠,並在該第一螢幕或該第二螢幕上產生一游標;(C)使該遠端管理裝置可經由網 路被一中控電腦所控制;(D)以該遠端管理裝置分別擷取該目標電腦所輸出之該第一影像及該第二影像,並分別在該中控電腦之一中控螢幕產生一第一縮圖影像及一第二縮圖影像,其中該第一縮圖影像對應於該第一影像且該第二縮圖影像對應於該第二影像;(E)依據該第一影像之水平解析度及該第二影像之水平解析度的總和產生一水平移動量;(F)以該遠端管理裝置使該目標電腦之該游標依據該水平移動量在該第一螢幕或該第二螢幕上移動至一上緣區域;(G)以該遠端管理裝置分別擷取該第一螢幕及該第二螢幕在該上緣區域之影像,以得到一第一上緣圖像及一第二上緣圖像;(H)以該遠端管理裝置使該游標向一第一方向垂直移動一距離;(I)擷取該第一螢幕在該上緣區域之影像,以得到一第三上緣圖像;(J)對該第一上緣圖像及該第三上緣圖像進行圖像辨識,以識別該第三上緣圖像相對於該第一上緣圖像是否有變化。
在一實施例中,本發明提供一種在支援多螢幕之遠端管理系統中自動辨識游標所在之螢幕的方法,包含下列步驟:(A)提供一遠端管理系統,該遠端管理系統至少包含一遠端管理裝置,該遠端管理裝置具有一第一影像輸入埠及一第二影像輸入埠,其中該第一影像輸入埠對應於一第一螢幕且該第二影像輸入埠對應於一第二螢幕;(B)使一目標電腦可輸出一第一影像至該第一影像輸入埠及輸出一第二影像至該第二影像輸入埠,並在該第一螢幕或該第二螢幕上產生一游標;(C)使該遠端管理裝置可經由網路被一中控電腦所控制,進而使對該中控電腦之控制被轉換為對該目標電腦之控制;(D)以該遠端管理裝置分別擷取該目標電腦所輸出之該第一影像及該第二影像,以在該中控電腦之一中控螢幕產生一映射影像;(E)依據該第一影像之解析度及該第二影像之解析度的總和產生一移動量;(F)以該遠端管理裝置使該目標電腦之該游標依據該移動量在該第一螢幕或該第二螢 幕上移動至一邊緣區域;(G)以該遠端管理裝置分別擷取該第一螢幕及該第二螢幕之影像,以得到一第一邊緣圖像及一第二邊緣圖像;(H)以該遠端管理裝置使該游標向一第一方向水平移動一距離;(I)擷取該第一螢幕在該邊緣區域之影像,以得到一第三邊緣圖像;(J)對該第一邊緣圖像及該第三邊緣圖像進行圖像辨識,以識別該第三邊緣圖像相對於該第一邊緣圖像是否有變化。藉由本發明之自動辨識游標所在螢幕的方法,可藉圖像辨識得知游標所在螢幕,進而提高滑鼠同步的效率。
100‧‧‧遠端管理系統
110‧‧‧中控電腦
111-1‧‧‧第三螢幕
111-2‧‧‧第四螢幕
120‧‧‧目標電腦
121-1‧‧‧第一螢幕
121-2‧‧‧第二螢幕
121-3‧‧‧第三螢幕
121-4‧‧‧第四螢幕
123‧‧‧遠端畫面
125b-1‧‧‧上方邊界
125b-2‧‧‧下方邊界
125b-3‧‧‧左方邊界
125b-4‧‧‧右方邊界
125c-1‧‧‧左上角
125c-2‧‧‧左下角
125c-3‧‧‧右上角
125c-4‧‧‧右下角
125u‧‧‧上緣區域
125d‧‧‧下緣區域
125l‧‧‧左緣區域
125r‧‧‧右緣區域
127‧‧‧游標
200‧‧‧遠端管理裝置
210‧‧‧電腦介面
210a‧‧‧電腦連接埠
220‧‧‧網路介面
250‧‧‧影像處理模組
260‧‧‧中央處理器
500‧‧‧電腦介面模組
510‧‧‧第一RS-485收發器
520‧‧‧第二RS-485收發器
530‧‧‧差動驅動器
540‧‧‧差動接收器
600‧‧‧五類線
dx1‧‧‧第一水平方向
第一A圖係習知具有多螢幕顯示裝置的遠端管理系統的示意圖;第一B圖係滑鼠不同步之示意圖;第一C圖係習知解決滑鼠不同步之示意圖;第二A圖係本發明具有多螢幕顯示裝置的遠端管理系統的實施例示意圖;第二B圖及第二C圖係本發明具有多螢幕顯示裝置的遠端管理系統的另一實施例示意圖;第三A-1至第三A-2圖為自動辨識游標所在螢幕之一實施例流程圖;第三A-3至第三A-4圖為自動辨識游標所在螢幕之另一實施例流程圖;第三B圖為移動游標至邊緣區域之實施例示意圖;第三C圖為移動游標至邊緣區域後沿第一水平方向移動之實施例示意圖;第三D圖為在多螢幕系統下移動游標至邊緣區域之實施例示意圖;第三E圖至第三G圖為在多螢幕系統下移動游標至邊緣區域之不同實施例示意圖;第三H-1至第三H-2圖為自動辨識游標所在螢幕之另一實施例流程圖。
本發明揭露一種支援多螢幕之遠端管理系統。此遠端管理系統至少包含一遠端管理裝置。此此遠端管理系統使一中控電腦可透過網路控制一目標電腦。在一較佳實施例中,此遠端管理裝置可為一網路型多電腦切換器,此網路型多電腦切換器可管理一或多台目標電腦。此遠端管理裝置可以對同一台目標電腦模擬出兩台或兩台以上的螢幕,以便使同一台目標電腦可以對此遠端管理裝置輸出兩路或兩路以上的影像訊號。因為本發明之遠端管理系統支援多螢幕,因此本發明之遠端管理系統可將某台目標電腦對多個螢幕輸出的影像映射至網路另一端的中控電腦,亦即在該中控電腦的一或多個螢幕上產生一映射影像。
此多台虛擬螢幕主要係對應至遠端管理裝置當中用以擷取目標電腦輸出之影像訊號的記憶體或其他緩衝儲存裝置。並且此多台虛擬螢幕會對應至中控電腦端的一或多個螢幕,例如,當遠端管理裝置模擬成兩個螢幕時,這兩個虛擬螢幕可對應至中控電腦的單一螢幕,或是分別對應至不同的兩個螢幕。另外,為了進行「滑鼠同步」或是其他功能,本發明首先會將目標電腦之游標的所在螢幕及所在位置找出來。例如,假設本發明之遠端管理系統可模擬出一第一螢幕及一第二螢幕,本發明之遠端管理系統將可辨識出目標電腦之游標是落在第一螢幕還是第二螢幕上。若假設游標係落在第一螢幕上,本發明尚可識別出游標落在第一螢幕上的具體位置。
請參閱第二A圖,本發明提供一種遠端管理系統100,本發明之遠端管理系統100至少包含一遠端管理裝置200。此遠端管理裝置200的一端經由網路耦接至一中控電腦110,此遠端管理裝置200的另一端則是 經由適當的介面耦接至一目標電腦120。如此,作為橋樑的遠端管理裝置200會使得此中控電腦110可經由網路控制該目標電腦120,亦即此目標電腦120會對來自中控電腦110之操作指令產生反應。此中控電腦110具有一或多組螢幕及游標控制裝置,例如鍵盤及滑鼠。另外,此遠端管理裝置200可模擬成一或多組螢幕、鍵盤及滑鼠,或是其他裝置(如圖二A虛線框所繪示,遠端管理裝置200係模擬成鍵盤、滑鼠及具有第一螢幕121-1與第二螢幕121-2之多螢幕系統)。當模擬出多組螢幕時,此目標電腦120會對此遠端管理裝置200輸出多組影像訊號,以及接收一組鍵盤及滑鼠訊號。另外,中控電腦110之一或多組螢幕、鍵盤及滑鼠會映射至此遠端管理裝置200所模擬出之一或多組螢幕、鍵盤及滑鼠(例如,中控電腦110的第三螢幕111-1與第四螢幕111-2分別對應遠端管理裝置200所模擬出之第一螢幕121-1與第二螢幕121-2)。因此,經由此遠端管理系統100,使用者對於鍵盤及滑鼠的操作會被轉換為對於目標電腦120的操作。值得注意的是,中控電腦110所使用螢幕的數量可與遠端管理裝置200所模擬之螢幕的數量相同或是不同。中控電腦110所使用螢幕的數量可為單一個實體螢幕或是與虛擬螢幕具有相同的數量。
請參閱第二B圖,此遠端管理裝置200具有一電腦介面210、一網路介面220及一影像處理模組250,其中電腦介面210係用以連接至少一目標電腦120;網路介面220則經由網路耦接至一中控電腦110,使得中控電腦110與此遠端管理裝置200之間可依據適當的網路通訊協議(例如TCP/IP協議組)進行通訊以交換數據。此影像處理模組250主要係用以擷取目標電腦120輸出之影像訊號(類比或數位),以及進行後續的影像處理。在影像處理過程中可能包含色彩深度的調整、影像座標的轉換、影像壓縮及編碼等步驟。影像處理模組250可能也包含將差動影像訊號還原為 單端影像訊號,以及依據上述步驟將原始的影像訊號轉換為數位影像數據的功能。
在一較佳實施例當中,此遠端管理裝置200之電腦介面210具有一或多個可連接目標電腦120之電腦連接埠210a。在一較佳實施例中,此遠端管理裝置200之每一電腦連接埠210a更可具有一影像輸入埠、一鍵盤/滑鼠輸出埠。其中影像輸入埠係用以連接目標電腦120之影像輸出埠;鍵盤/滑鼠輸出埠係用以連接目標電腦120之鍵盤/滑鼠輸入埠。此鍵盤/滑鼠輸入埠或鍵盤/滑鼠輸出埠可為USB介面、PS/2介面或其他任何適當介面。並且,對於遠端管理裝置200而言,每個電腦連接埠210a的影像輸入埠及鍵盤/滑鼠輸出埠可整合在單一個連接器當中。
仍請參閱第二B圖,在另一較佳實施例中,此電腦介面210之電腦連接埠210a並未直接連接至一目標電腦,其係經由一電腦介面模組(Computer Interface Module;CIM)500耦接至另一目標電腦120。在這種情況下,此電腦介面210之電腦連接埠210a具有至少一個RJ-45連接器,使得此電腦介面可透過一五類線(CAT-5 Cable)600與電腦介面模組之RJ-45連接器連接。亦即此五類線的一端係連接至電腦介面之RJ-45連接器,另一端則連接至電腦介面模組500之RJ-45連接器。此電腦介面模組500的功能包含模擬鍵盤、螢幕及滑鼠,以及對影像訊號的處理以延伸影像訊號可傳遞的距離。為了模擬出鍵盤及滑鼠,此電腦介面模組500內部具有可依據鍵盤及滑鼠相關協議進行通訊的控制器,例如USB裝置控制器或PS/2控制器等。為了模擬出螢幕,此電腦介面模組500內部具有可儲存EDID之記憶體,例如EEPROM。
請參閱第二C圖,此電腦介面模組500係用以延伸遠端管理裝置200與目標電腦120之間的距離,例如可高達1000英呎。此電腦介 面模組500具有一第一RS-485收發器(Transceiver)510以及一差動驅動器(Differential Driver)530。相對應的,在遠端管理裝置200這端的電腦介面210則具有一第二RS-485收發器(Transceiver)520以及一差動接收器(Differential Receiver)540。其中,第一RS-485收發器510係用以依據RS-485協議接收來自遠端管理裝置200之控制訊號及數據,例如鍵盤/滑鼠訊號。差動驅動器530係用以將目標電腦120輸出之單端影像訊號(例如RGB訊號及伴隨之同步訊號)轉換為三組差動影像訊號,以便藉由五類線600(或其他類似的纜線)當中的三對絞線對傳輸至遠端管理裝置200。
另外,差動接收器540係對應於前述差動驅動器530,用以接收來自目標電腦120之三組差動影像訊號,並將其還原為原本的單端影像訊號。電腦介面210之第二RS-485收發器520係對應於電腦介面模組500之第一RS-485收發器510,用以依據RS-485協議與電腦介面模組500交換數據,以便將中控電腦100之鍵盤/滑鼠等訊號傳送給目標電腦120。電腦介面模組500亦可稱為轉換器(Adapter)、伺服器介面模組(Server Interface Module;SIM)或是電腦控制模組(Computer Access Module;CAM)。
仍請參閱第二C圖,此遠端管理裝置200更可包含一中央處理器260,且第二RS-485收發器520及一差動驅動器540可為前述電腦介面210的一部分。中央處理器260的功能至少包含將影像處理模組250耦接至網路介面220,以及將網路介面220耦接至第二RS-485收發器520。此中央處理器260主要係用以將來自影像處理模組250的數位影像數據包裝成網路封包及解析來自中控電腦110有關於鍵盤或滑鼠的網路封包,然後再將其中有關鍵盤或滑鼠的操作訊息經由第二RS-485收發器520傳送給對應的第一RS-485收發器510。此中央處理器260更可作為網路介面220進行網路通訊時所牽涉相關網路協議的上層。若以OSI模型為例說明,當 此網路介面220係作為實體層及鏈結(Data Link)層時,此中央處理器260便可作為網路層、傳輸層、會議層、表現層以及應用層。若以DoD模型為例說明,當此網路介面220係作為連結層時,此中央處理器260便可作為網路層、傳輸層以及應用層。中央處理器260的上述功能可改以控制器、特殊用途積體電路(ASIC)或是FPGA來實現。
當中控電腦110的使用者在中控電腦這端經由鍵盤/滑鼠或其他控制裝置對目標電腦120進行操作時,中控電腦110會將鍵盤/滑鼠所輸出的控制訊號依據適當的網路通訊協議轉換為網路封包,以便可經由網路傳送至遠端管理裝置200。並且,遠端管理裝置200可經由其網路介面220接收中控電腦100所傳來的網路封包,然後再將網路封包當中所包含的控制訊號解析後轉換為目標電腦可讀的標準格式,例如標準的USB訊號或PS/2訊號,彷彿如同由中控電腦110之鍵盤/滑鼠所直接發出給目標電腦120一般。亦即遠端管理裝置200可將中控電腦110傳來之網路封包還原為原本的控制訊號後輸出至目標電腦120,以便進而控制目標電腦120。
另一方面,目標電腦120因應於中控電腦110之控制訊號所輸出之影像訊號(例如VGA訊號)會被影像處理模組250擷取成為多個連續的影像幀(Frame),然後在經過適當的影像處理後轉換為網路封包,並將網路封包經由網路及依據適當的網路通訊協議回傳給中控電腦110。此擷取可能包含將類比影像訊號轉換為數位影像數據的過程,例如將類比訊號當中的RGB成分分別轉換為0至255的像素值(Pixel Value)後以二進位的方式儲存於記憶體中。並且上述的影像處理過程也可能包含影像壓縮或編碼的步驟,其係在將影像幀轉換為網路封包前進行。
另外,更詳細地說,影像處理模組250會將影像幀再劃分為多個區塊,並且比較前後兩張連續影像幀的所有區塊以判斷哪些區塊有變 化,哪些區塊沒有變化。為了減少在網路上傳遞的數據量,影像幀當中有變化之區塊的數據才會被進行影像壓縮及轉換為網路封包。值得注意的是,雖然在第二C圖中僅顯示一台目標電腦120,但是實際上此影像處理模組250可能包含多個影像處理通道,以便一次可處理多路來自不同或相同目標電腦的影像訊號。並且在電腦介面210與影像處理模組250之間可能更具有一切換模組(未顯示),以便由多台目標電腦當中選出一或多台目標電腦同時進行上述的影像處理。此切換模組可能是由多個矩陣式切換電路所構成之架構。
當中控電腦110將所接收有關於影像數據的網路封包被還原為適當的影像訊號(其可能與來源端的影像訊號格式相同或不同)後,中控電腦110的使用者便可由網路的一端看見目標電腦120所輸出之影像,並進而控制此目標電腦120,彷彿如同直接控制目標電腦120一般。此還原可能包含將數位訊號轉換為類比訊號及影像解壓縮或解碼之過程。
本發明揭露一種在支援多螢幕之遠端管理系統中自動辨識游標所在之螢幕的方法,此多螢幕的應用可能包含延伸桌面功能。此游標係指目標電腦所產生的游標(前述的第二游標),並非中控電腦所產生的游標(前述的第一游標)。此第二游標會因為遠端管理裝置對目標電腦進行影像擷取的關係也被顯示在中控電腦之螢幕上。在本發明中螢幕的數量並無限制,但為便於說明起見,以下僅以兩個螢幕為例進行說明。
請參閱第三A-1圖及第三A-2圖,本發明之方法至少包含步驟301至步驟312。其中,步驟301係提供一遠端管理系統,此遠端管理系統使得一目標電腦可經由網路被一中控電腦所控制。該遠端管理系統至少包含一遠端管理裝置以及一執行於中控電腦上之一程式(一般稱為Viewer),此程式主要係作為前述影像相關數據網路封包的還原及重組用 途,使得中控電腦可在其螢幕上顯示對應於目標電腦之影像。更詳細地說,中控電腦與遠端管理裝置之間係經由網路相互耦接;遠端管理裝置與目標電腦之間則以非網路網路的方式相互耦接。該遠端管理裝置可模擬成一或多組鍵盤、滑鼠及螢幕,並且該遠端管理裝置更對該目標電腦提供一網路介面,作為該目標電腦與該中控電腦之間的網路通訊介面,使得該目標電腦與該中控電腦可經由網路交換與影像及鍵盤/滑鼠相關的數據。亦即該目標電腦可經由該遠端管理系統輸出影像訊號至該中控電腦,以及該中控電腦可經由該遠端管理系統輸出鍵盤/滑鼠相關的指令至該目標電腦。但是該遠端管理裝置並非連接於該目標電腦之網路連接埠,而是連接於該目標電腦之影像輸出埠及鍵盤/滑鼠輸入埠。亦即,該目標電腦並非透過其本身的網路介面卡與該中控電腦交換與影像及鍵盤/滑鼠相關的數據。
更詳細地說,該遠端管理裝置具有一第一影像輸入埠及一第二影像輸入埠,且該遠端管理裝置係模擬成一第一螢幕及一第二螢幕,其中該第一影像輸入埠對應於第一螢幕且該第二影像輸入埠對應於該第二螢幕。此第一影像輸入埠及一第二影像輸入埠均對應至前述的影像處理模組,並且該遠端管理裝置之內部的主要架構已如前第二A圖至第二C圖之相關說明所述。
步驟302係將該遠端管理裝置連接至一目標電腦,使該目標電腦可輸出一第一影像至該第一影像輸入埠及輸出一第二影像至該第二影像輸入埠。其中該第一影像具有一第一解析度且該第二影像具有一第二解析度。該第一解析度更包含一第一垂直解析度及一第一水平解析度;該第二解析度更包含一第二垂直解析度及一第二水平解析度。更詳細地說,該遠端管理裝置會依據前述說明將該第一影像轉換為一第一影像數據及將該第二影像轉換為一第二影像數據後儲存於相關的記憶體中。
另外,該目標電腦會在該第一螢幕或該第二螢幕上產生一游標,在延伸桌面的應用下,該游標可在該第一螢幕及該第二螢幕之間游移,亦即該游標可穿過該第一螢幕之邊界然後進入該第二螢幕當中;或者是,該游標可穿過該第二螢幕之邊界然後進入該第一螢幕當中。在延伸桌面的應用下,該第一螢幕及該第二螢幕的其中之一係為主要螢幕,另一係為次要螢幕。一開始使用該延伸桌面時,使用者可在主要螢幕開啟一應用程式,然後將代表該應用程式之視窗拖曳至次要螢幕,當該目標電腦下次開機時,此應用程式之視窗便會直接出現在該次要螢幕上。
更詳細地說,步驟302係將目標電腦之第一影像輸出埠以纜線連接至該遠端管理裝置之第一影像輸入埠,以及將目標電腦之第二影像輸出埠以另一纜線連接至該遠端管理裝置之第二影像輸入埠。並且此步驟更可包含將遠端管理裝置之鍵盤/滑鼠輸出埠以纜線連接至目標電腦之鍵盤/滑鼠輸入埠。為了延伸距離,在遠端管理裝置與目標電腦之間可能具有前述的電腦介面模組,並且該目標電腦係透過兩個不同的電腦介面模組分別耦接該遠端管理裝置。在實際使用上,為了使該遠端管理裝置能分辨其所接收之多組影像係來自同一台目標電腦或是來自於不同的目標電腦,以及不同影像來源與中控電腦端實體螢幕(中控螢幕)的對應關係,使用者可能必須對該遠端管理裝置進行某種程度的設定。
步驟303係使該遠端管理裝置可經由網路被該中控電腦所控制。中控電腦之使用者可經由一網路瀏覽器所提供之操作介面對該遠端管理裝置進行設定及後續的操作,其設定可包含設定影像品質;其操作包含選定某台目標電腦以及在不同的目標電腦之間切換。另外,在選定某台目標電腦之後,除了可在中控電腦之螢幕上看到對應於目標電腦之影像外,中控電腦之使用者對中控電腦之鍵盤/滑鼠的操作也會被遠端管理系統 轉換為對於目標電腦的操作。
請參閱第三A-3圖及第三A-4圖。更詳細地說,其中該步驟303更包含步驟303-1至步驟303-3。步驟303-1係在該中控電腦上開啟一網頁瀏覽器(Web Brower);步驟303-2係經由該網頁瀏覽器輸入該遠端管理裝置之網路地址以顯示一登入畫面;步驟303-3係經由該登入畫面登入該遠端管理裝置,以進行後續對該遠端管理裝置之操作。例如對該遠端管理裝置進行設定(Configuration)。當該遠端管理裝置連接多台目標電腦時,中控電腦之使用者更可經由適當的人機介面選擇其中一台目標電腦進行後續操作。其人機介面包含由網頁瀏覽器所形成之螢幕顯示選單(OSD),此螢幕顯示選單可能會列出多個代表不同目標電腦的埠編號及埠名稱以供選擇,並且此螢幕顯示選單也可能會顯示這些目標電腦的狀態,例如在線(On-Line)或是離線(Off-Line),其中離線狀態表示該台目標電腦並未開機。
另外,該中控電腦並連接至實體之一第三螢幕及一第四螢幕,其中該第三螢幕係對應於遠端管理裝置之第一影像輸入埠,該第四螢幕對應係於遠端管理裝置之第二影像輸入埠。亦即該第三螢幕係對應於該第一螢幕;該第四螢幕係對應於該第二螢幕。經由前述(步驟302)之設定可以具體實現上述對應關係。以下主要係以此種架構(多個虛擬螢幕對多個實體螢幕)進行說明,但是在另一較佳實施例中,該中控電腦可僅連接至單一個實體螢幕(多個虛擬螢幕對單一個實體螢幕)。亦即對應於前述第一螢幕之第一影像及對應於第二螢幕之第二影像可透過該遠端管理系統以縮圖或是重疊的方式呈現在同一個實體螢幕(中控螢幕)上。亦即本發明之遠端管理系統可將某台目標電腦對多個螢幕輸出的影像映射至網路另一端的中控電腦,以在該中控電腦的一或多個螢幕上產生一映射影像。
步驟304係以該遠端管理裝置分別擷取該目標電腦所輸出 之該第一影像及該第二影像,以在相關的記憶體或其他緩衝儲存裝置當中儲存對應於該些影像之像素值(Pixel Value),進而建立連續的影像幀。在經過適當的影像處理、壓縮或編碼之後,遠端管理裝置便可將目標電腦被擷取之畫面的相關影像數據透過網路傳送給中控電腦,進而在該第三螢幕及第四螢幕(或單一實體螢幕)上顯示。因此,使用者會覺得彷彿如同直接操作目標電腦一般。
請同時參閱第三A-1圖、第三D圖及第三E圖,步驟305係依據該第一影像之垂直解析度及該第二影像之垂直解析度的總和產生一垂直移動量Y,此垂直移動量Y將會是游標在第一螢幕及第二螢幕之垂直方向所可能的最大實際移動距離。亦即,如果此第一影像的垂直解析度係為Y1;此第二影像的垂直解析度係為Y2,則此垂直移動量Y等於Y1+Y2。並且,如果在此遠端管理系統中將螢幕數量設定為四個,則此垂直移動量Y將為Y1+Y2+Y3+Y4。亦即,此垂直移動量Y等於Y1+Y2+Y3+...+YN,其中N為目標電腦所輸出之多路影像的數量,亦即遠端管理裝置對於同一台目標電腦所提供之影像輸入埠的數量,亦即遠端管理裝置對於同一台目標電腦所模擬之螢幕的數量。或者是,在另一較佳實施例中亦可依據所有模擬螢幕之輸入影像的水平解析度的總和產生一水平移動量X。亦即X等於X1+X2+X3+...+XN。此水平移動量X將會是游標在水平方向所可能的最大實際移動量。
步驟306係以該遠端管理裝置使該目標電腦之該游標依據該垂直移動量在該第一螢幕或該第二螢幕上移動至一「上緣區域」或一「下緣區域」。更詳細地說,因為在本發明中該遠端管理裝置係對該目標電腦模擬成一滑鼠及其他裝置,因此該遠端管理裝置可主動對目標電腦發出一游標移動指令,此游標移動指令的內容包含此移動量,使該目標電腦之游標 依據該垂直移動量在某一螢幕上移動至一「上緣區域」或一「下緣區域」。目標電腦的作業系統會因應於此游標移動指令而產生圖像上的變化(其顯示卡之顯示記憶體的內容會有所更新),進而反應在目標電腦輸出給遠端管理裝置之第一或第二影像訊號上。並且,不管一開始(進行滑鼠同步之前)游標落在哪一台螢幕的哪個位置,依據此垂直或水平移動量都可以保證游標會被移動並停留在其中某台螢幕的「邊緣區域」。
如第三B圖所示,遠端管理裝置於目標電腦輸出的畫面中(遠端畫面)123產生游標127,並依據垂直或水平移動量將游標127移動至邊緣區域。在本發明中此「邊緣區域」可包含「上緣區域」125u、「下緣區域」125d、「右緣區域」125r及「左緣區域」125l等四個區域。以垂直方向為例,因為游標127在螢幕上的實際可移動距離不可能大於此垂直移動量,所以依據此垂直移動量來移動游標127可以保證游標127會被移動至並停留在某一螢幕的「上緣區域」125u或「下緣區域」125d。同理,若依據此水平移動量來移動游標127,將可以保證游標127會被移動並停留在其中某一螢幕的「右緣區域」125r或是「左緣區域」125l。第三B圖亦顯示出左上角125c-1、左下角125-2、右上角125c-3、右下角125c-4、上方邊界125b-1、下方邊界125b-2、左方邊界125b-3以及右方邊界125b-4。
請參閱第三D圖至第三G圖,其係舉例說明在本發明中無論多個螢幕的數量為何,以及其彼此之間的相對擺放位置如何,依據上述說明所計算出的垂直或水平移動量都可以保證游標會被移動並停留在其中某台螢幕的「邊緣區域」。
以第三D圖為例,若第二螢幕121-2係疊加於第一螢幕121-1之上,且一開始游標127係落在第一螢幕121-1上,依據上述的垂直移動量將可將游標127以Y=Y1+Y2由第一螢幕121-1移動至第二螢幕121-2之「上 緣區域」125u。以第三E圖為例,若第一螢幕121-1與第二螢幕121-2彼此係為左右相鄰並列的關係,且一開始游標127係落在第一螢幕121-1上,依據上述的垂直移動量將可將游標127以Y=Y1+Y2由第一螢幕121-1移動至其「上緣區域」125u。雖然此移動量大Y於游標實際可以移動的距離(小於Y1+Y2),但是游標仍然會停留在第一螢幕121-1之「上緣區域」125u。
再以第三F圖為例,若遠端管理系統支援四個螢幕,分別為第一螢幕121-1、第二螢幕121-2、第三螢幕121-3及第四螢幕121-4,且這四個螢幕的相對位置如圖所示約略成一矩陣形狀。假設一開始游標127係落在第四螢幕121-4上,依據上述的垂直移動量將可將游標127以Y=Y1+Y2+Y3+Y4由第四螢幕121-4移動至第三螢幕121-3之「上緣區域」125u。雖然此移動量大Y於游標實際可以移動的距離(小於Y3+Y4),但是游標仍然會停留在第一螢幕121-3之「上緣區域」125u。
再更以第三G圖為例,若遠端管理系統支援四個螢幕,分別為第一螢幕121-1、第二螢幕121-2、第三螢幕121-3及第四螢幕121-4,且這四個螢幕的相對位置如圖所示係成一不規則擺設。假設一開始游標127係落在第一螢幕121-1上,依據上述的垂直移動量將可將游標127以Y=Y1+Y2+Y3+Y4由第一螢幕121-1移動至第三螢幕121-3之「上緣區域」125u。雖然此移動量大Y於游標實際可以移動的距離(小於Y1+Y2+Y3),但是游標仍然會停留在第三螢幕121-3之「上緣區域」125u。
另一方面,因為一般螢幕的外觀比例(Aspect Ratio)都是垂直方向窄而水平方向寬,因此游標在垂直方向的移動距離通常會小於水平方向的移動距離,在垂直方向移動可獲得較佳的移動效率。另外,因為在某些作業系統下,當游標移動到螢幕的下方邊界或右方邊界後會被隱藏或部分隱藏,因此本發明以下係以垂直方向及「上緣區域」為較佳實施例進行 說明,但本領域具有通常知識者可認知的是本發明並不欲以此為限。對於在螢幕的下方邊界或右方邊界不會隱藏游標的作業系統而言,本發明在識別游標所在螢幕的過程中,在垂直方向亦可將游標移動至「下緣區域」;在水平方向亦可將游標移動至「右緣區域」或「左緣區域」。
請同時參閱第三A-1圖及第三C圖,步驟307係分別擷取該第一螢幕及該第二螢幕在該「上緣區域」之圖像,以得到一第一上緣圖像及一第二上緣圖像。或者是說,遠端管理裝置係分別擷取該第一螢幕及該第二螢幕的全屏影像,但是遠端管理裝置僅對第一螢幕及該第二螢幕對應於「上緣區域」的影像數據進行後續的影像比較分析(圖像識別)。此「上緣區域」或「下緣區域」的寬度係為該第一螢幕相對於該第一影像的水平解析度,或是第二螢幕相對於該第二影像的水平解析度,且「上緣區域」或「下緣區域」的高度至少為此游標的高度。一般而言,一個游標的高度及寬度約為32個像素乘上32個像素,但實際上游標的外觀及尺寸大小可經由作業系統的設定而改變,因此本發明在此僅係舉例說明,並非欲以此為限。因為第一影像的解析度與第二影像的解析度可能相同或是不同,因此第一螢幕的「上緣區域」或「下緣區域」與第二螢幕的「上緣區域」或「下緣區域」在尺寸大小上也可能相同或是不同。
請同時參閱第三A-1圖及第三C圖,步驟308係使該游標127在該「上緣區域」中沿一第一水平方向dx1移動一距離。此第一水平方向可為右方或是左方,此距離較佳約為一個游標的寬度,例如32個像素。
請參閱第三A-1圖,步驟309係擷取該第一螢幕在該「上緣區域」之影像,以得到一第三上緣圖像。或者是說,遠端管理裝置係擷取該第一螢幕之全屏影像,但是遠端管理裝置僅對第一螢幕對應於「上緣區域」的影像數據進行後續的影像比較分析(圖像識別)。步驟310係對該 第一上緣圖像及該第三上緣圖像進行圖像辨識,以識別該第三上緣圖像相對於該第一上緣圖像是否有變化。若在步驟310中判斷有變化,則可確定該游標係落在該第一螢幕上;若在步驟310中判斷無變化,則可確定該游標並非落在該第一螢幕上或是有其他種情況。
請參閱第三A-2圖,因為實際上一開始遠端管理系統並不知道游標是落在第一螢幕還是第二螢幕上,因此本步驟係先嘗試觀察其中某一螢幕(例如第一螢幕)在步驟309後是否有產生圖像上的變化。如果該被觀察的螢幕有圖像上的變化,因為此變化係肇因於游標的移動,因此可以判斷第一螢幕對於前述的游標移動指令有所反應,因此步驟310可以判斷游標係落在第一螢幕上。如果沒有圖像上的變化,將可以判斷游標並非落在第一螢幕上,或是游標雖然是落在第一螢幕上但因其他原因而造成圖像無變化(造成此種情況的原因及因應方法將詳述於後)。
若在步驟310中判斷第一螢幕前後兩次擷取的圖像並無變化,則執行步驟311及步驟312。其中步驟311係擷取該第二螢幕在該「上緣區域」之影像,以得到一第四上緣圖像。因為在步驟310中已經判斷第一螢幕對於游標移動指令並無反應,因此游標落在第二螢幕上的機率相當大。因為對第二螢幕擷取第四上緣圖像的方式與前述擷取第一螢幕之圖像的方式相同,在此不再予以贅述。步驟312係對該第二上緣圖像及該第四上緣圖像進行圖像辨識,以判斷該第四上緣圖像相對於該第二上緣圖像是否有變化。
請同時參閱第三A-2圖及第三B圖,若在步驟312中識別出第四上緣圖像相對於第二上緣圖像有變化產生,則可確定該游標係落在該第二螢幕上;若在步驟310及步驟312中兩螢幕均判斷無變化,則可確定該游標係落在該第一螢幕或該第二螢幕之某一角落區域(但不包含左上角 125c-1)。亦即,該游標127在步驟306後可能被移動到該第一螢幕或該第二螢幕之右上角125c-3、右下角125c-4或是左下角125c-2而被作業系統隱藏起來,因此第一螢幕或該第二螢幕對於步驟308都不會產生可視的反應,所以在步驟310及步驟312中均無法看到第一或第二螢幕有前後兩張圖像上的變化。
請參閱第三H-1圖及第三H-2圖,若遇到以上這樣的情況,則進行以下步驟。首先進行步驟308-1。步驟308-1與步驟308類似,但是步驟308-1係使該游標在該「上緣區域」中沿一第二水平方向移動一距離,且第二水平方向與第一水平方向相反。亦即,若步驟308係使游標朝向右方移動,則步驟308-1係使游標朝向左方移動。接著進行步驟309-1及步驟310-1。步驟309-1與步驟309類似,步驟309-1係擷取該第一螢幕在該「上緣區域」之影像,以得到一第五上緣圖像;步驟310-1與步驟310類似,步驟310-1係對該第一上緣圖像及該第五上緣圖像進行圖像辨識,以判斷該第五上緣圖像相對於該第一上緣圖像是否有變化。
若在步驟310-1中判斷有變化,則可確定該游標係落在該第一螢幕上;若在步驟310-1中判斷無變化,則可確定該游標並非落在該第一螢幕上,亦即游標係落在第二螢幕上。
基於前述的說明可知,在進行滑鼠同步之前本發明將可以辨識出目標電腦所產生之游標係落在第一螢幕還是第二螢幕上,以及此游標在其所在螢幕上的位置。因為本發明也可辨識出此游標在其所在螢幕上的位置,因此本發明將不再需要如習知技術般係給予目標電腦一個螢幕解析度對角線上的最大值以確保游標一定會移動到螢幕的左上角,本發明將依據多螢幕間之相對擺放位置給目標電腦一個適當的移動量以將目標電腦之游標(第二游標)移動至中控電腦之游標(第一游標)當時所在的位置,以便進 行滑鼠同步,而此中控電腦之游標所在的位置通常不是螢幕的左上角。或者是,本發明也可將中控電腦之游標(第一游標移動)至目標電腦之游標(第二游標)當時所在的位置。在進行滑鼠同步之後,遠端管理系統便會將游標控制裝置的使用權釋放給中控電腦的使用者,中控電腦的使用者便可以精確地操控目標電腦所產生之游標。
值得注意的是,本發明之遠端管理裝置亦可以非網路之方式實體連接一組中控裝置,例如一組螢幕、鍵盤及滑鼠。此組中控裝置可稱為遠端管理裝置之近端中控裝置;此螢幕可稱為遠端管理裝置之近端螢幕,使用者亦可以透過遠端管理裝置以此近端中控裝置對該目標電腦進行操作。本發明依據上述說明對於目標電腦之游標移動或是中控電腦對於目標電腦之操作所產生的影像上的變化亦會顯示在此近端螢幕上(例由將游標移動到邊緣區域的過程),但是此變化可能會因為速度過快的關係而使人眼不易或是無法察覺。
雖然本發明的技術內容已經以較佳實施例揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神所作些許之更動與潤飾,皆應涵蓋於本發明的範疇內,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (17)

  1. 一種在支援多螢幕之遠端管理系統中自動辨識游標所在之螢幕的方法,至少包含下列步驟:(A)提供一遠端管理系統,該遠端管理系統至少包含一遠端管理裝置,該遠端管理裝置具有一第一影像輸入埠及一第二影像輸入埠,其中該第一影像輸入埠對應於一第一螢幕且該第二影像輸入埠對應於一第二螢幕;(B)使一目標電腦可輸出一第一影像至該第一影像輸入埠及輸出一第二影像至該第二影像輸入埠,並在該第一螢幕或該第二螢幕上產生一游標;(C)使該遠端管理裝置可經由網路被一中控電腦所控制;(D)以該遠端管理裝置分別擷取該目標電腦所輸出之該第一影像及該第二影像,並分別在該中控電腦之一中控螢幕產生一第一縮圖影像及一第二縮圖影像,其中該第一縮圖影像對應於該第一影像且該第二縮圖影像對應於該第二影像;(E)依據該第一影像之垂直解析度及該第二影像之垂直解析度的總和產生一垂直移動量;(F)以該遠端管理裝置使該目標電腦之該游標依據該垂直移動量在該第一螢幕或該第二螢幕上移動至一上緣區域;(G)以該遠端管理裝置分別擷取該第一螢幕及該第二螢幕在該上緣區域之影像,以得到一第一上緣圖像及一第二上緣圖像;(H)以該遠端管理裝置使該游標向一第一方向水平移動一距離;(I)擷取該第一螢幕在該上緣區域之影像,以得到一第三上緣圖像;(J)對該第一上緣圖像及該第三上緣圖像進行圖像辨識,以識別該第三上緣圖像相對於該第一上緣圖像是否有變化。
  2. 如申請專利範圍第1項所述之方法,其中若在該步驟(J)識別出該第三上緣圖像相對於該第一上緣圖像有變化,則判斷該游標係落在該第一螢幕上。
  3. 如申請專利範圍第1項所述之方法,其中若在該步驟(J)識別出該第三上緣圖像相對於該第一上緣圖像並無變化,則進行步驟(K),該步驟(K)至少包含:(K-1)擷取該第二螢幕在該上緣區域之影像,以得到一第四上緣圖像;(K-2)對該第二上緣圖像及該第四上緣圖像進行圖像辨識,以識別該第四上緣圖像相對於該第二上緣圖像是否有變化。
  4. 如申請專利範圍第3項所述之方法,其中若在該步驟(K-2)識別出該第四上緣圖像相對於該第二上緣圖像有變化,則判斷該游標係落在該第二螢幕上。
  5. 如申請專利範圍第3項所述之方法,其中若在該步驟(K-2)識別出該第四上緣圖像相對於該第二上緣圖像並無變化,則進行步驟(L),該步驟(L)至少包含:(L-1)以該遠端管理系統使該游標向一第二方向水平移動一距離;(L-2)擷取該第一螢幕在該上緣區域之影像,以得到一第五上緣圖像;(L-3)對該第一上緣圖像及該第五上緣圖像進行圖像辨識,以識別該第五上緣圖像相對於該第一上緣圖像是否有變化。
  6. 如申請專利範圍第5項所述之方法,其中若在該步驟(L-3)識別出該第五上緣圖像相對於該第一上緣圖像有變化,則判斷該游標係落在該第一螢幕 上。
  7. 如申請專利範圍第5項所述之方法,其中若在該步驟(L-3)識別出該第五上緣圖像相對於該第一上緣圖像無變化,則判斷該游標係落在該第二螢幕上。
  8. 一種在支援多螢幕之遠端管理系統中自動辨識游標所在之螢幕的方法,至少包含下列步驟:(A)提供一遠端管理系統,該遠端管理系統至少包含一遠端管理裝置,該遠端管理裝置具有一第一影像輸入埠及一第二影像輸入埠,其中該第一影像輸入埠對應於一第一螢幕且該第二影像輸入埠對應於一第二螢幕;(B)使一目標電腦可輸出一第一影像至該第一影像輸入埠及輸出一第二影像至該第二影像輸入埠,並在該第一螢幕或該第二螢幕上產生一游標;(C)使該遠端管理裝置可經由網路被一中控電腦所控制;(D)以該遠端管理裝置分別擷取該目標電腦所輸出之該第一影像及該第二影像,並分別在該中控電腦之一中控螢幕產生一第一縮圖影像及一第二縮圖影像,其中該第一縮圖影像對應於該第一影像且該第二縮圖影像對應於該第二影像;(E)依據該第一影像之水平解析度及該第二影像之水平解析度的總和產生一水平移動量;(F)以該遠端管理裝置使該目標電腦之該游標依據該水平移動量在該第一螢幕或該第二螢幕上移動至一上緣區域;(G)以該遠端管理裝置分別擷取該第一螢幕及該第二螢幕在該上緣區域之影像,以得到一第一上緣圖像及一第二上緣圖像; (H)以該遠端管理裝置使該游標向一第一方向垂直移動一距離;(I)擷取該第一螢幕在該上緣區域之影像,以得到一第三上緣圖像;(J)對該第一上緣圖像及該第三上緣圖像進行圖像辨識,以識別該第三上緣圖像相對於該第一上緣圖像是否有變化。
  9. 如申請專利範圍第8項所述之方法,其中若在該步驟(J)識別出該第三上緣圖像相對於該第一上緣圖像有變化,則判斷該游標係落在該第一螢幕上。
  10. 如申請專利範圍第8項所述之方法,其中若在該步驟(J)識別出該第三上緣圖像相對於該第一上緣圖像並無變化,則進行步驟(K),該步驟(K)至少包含:(K-1)擷取該第二螢幕在該上緣區域之影像,以得到一第四上緣圖像;(K-2)對該第二上緣圖像及該第四上緣圖像進行圖像辨識,以識別該第四上緣圖像相對於該第二上緣圖像是否有變化。
  11. 如申請專利範圍第10項所述之方法,其中若在該步驟(K-2)識別出該第四上緣圖像相對於該第二上緣圖像有變化,則判斷該游標係落在該第二螢幕上。
  12. 如申請專利範圍第10項所述之方法,其中若在該步驟(K-2)識別出該第四上緣圖像相對於該第二上緣圖像並無變化,則進行步驟(L),該步驟(L)至少包含:(L-1)以該遠端管理系統使該游標向一第二方向垂直移動一距離;(L-2)擷取該第一螢幕在該上緣區域之影像,以得到一第五上緣圖像; (L-3)對該第一上緣圖像及該第五上緣圖像進行圖像辨識,以識別該第五上緣圖像相對於該第一上緣圖像是否有變化。
  13. 如申請專利範圍第12項所述之方法,其中若在該步驟(L-3)識別出該第五上緣圖像相對於該第一上緣圖像有變化,則判斷該游標係落在該第一螢幕上。
  14. 如申請專利範圍第12項所述之方法,其中若在該步驟(L-3)識別出該第五上緣圖像相對於該第一上緣圖像無變化,則判斷該游標係落在該第二螢幕上。
  15. 一種在支援多螢幕之遠端管理系統中自動辨識游標所在之螢幕的方法,至少包含下列步驟:(A)提供一遠端管理系統,該遠端管理系統至少包含一遠端管理裝置,該遠端管理裝置具有一第一影像輸入埠及一第二影像輸入埠,其中該第一影像輸入埠對應於一第一螢幕且該第二影像輸入埠對應於一第二螢幕;(B)使一目標電腦可輸出一第一影像至該第一影像輸入埠及輸出一第二影像至該第二影像輸入埠,並在該第一螢幕或該第二螢幕上產生一游標;(C)使該遠端管理裝置可經由網路被一中控電腦所控制,進而使對該中控電腦之控制被轉換為對該目標電腦之控制;(D)以該遠端管理裝置分別擷取該目標電腦所輸出之該第一影像及該第二影像,以在該中控電腦之一中控螢幕產生一映射影像;(E)依據該第一影像之解析度及該第二影像之解析度的總和產生一移動量;(F)以該遠端管理裝置使該目標電腦之該游標依據該移動量在該第一螢幕 或該第二螢幕上移動至一邊緣區域;(G)以該遠端管理裝置分別擷取該第一螢幕及該第二螢幕之影像,以得到一第一邊緣圖像及一第二邊緣圖像;(H)以該遠端管理裝置使該游標向一第一方向水平移動一距離;(I)擷取該第一螢幕在該邊緣區域之影像,以得到一第三邊緣圖像;(J)對該第一邊緣圖像及該第三邊緣圖像進行圖像辨識,以識別該第三邊緣圖像相對於該第一邊緣圖像是否有變化。
  16. 如申請專利範圍第15項所述之方法,其中若在該步驟(J)識別出該第三邊緣圖像相對於該第一邊緣圖像有變化,則判斷該游標係落在該第一螢幕上。
  17. 如申請專利範圍第15項所述之方法,其中若在該步驟(J)識別出該第三邊緣圖像相對於該第一邊緣圖像並無變化,則進行步驟(K),該步驟(K)至少包含:(K-1)擷取該第二螢幕在該邊緣區域之影像,以得到一第四邊緣圖像;(K-2)對該第二邊緣圖像及該第四邊緣圖像進行圖像辨識,以識別該第四邊緣圖像相對於該第二邊緣圖像是否有變化。
TW103120081A 2014-06-10 2014-06-10 自動辨識游標所在螢幕之方法 TWI497400B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103120081A TWI497400B (zh) 2014-06-10 2014-06-10 自動辨識游標所在螢幕之方法
CN201510130127.XA CN105183269B (zh) 2014-06-10 2015-03-24 自动辨识游标所在屏幕的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103120081A TWI497400B (zh) 2014-06-10 2014-06-10 自動辨識游標所在螢幕之方法

Publications (2)

Publication Number Publication Date
TWI497400B TWI497400B (zh) 2015-08-21
TW201546698A true TW201546698A (zh) 2015-12-16

Family

ID=54343359

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103120081A TWI497400B (zh) 2014-06-10 2014-06-10 自動辨識游標所在螢幕之方法

Country Status (2)

Country Link
CN (1) CN105183269B (zh)
TW (1) TWI497400B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI650638B (zh) * 2017-08-17 2019-02-11 凌華科技股份有限公司 架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組
TWI693535B (zh) * 2019-03-11 2020-05-11 凌華科技股份有限公司 滑鼠游標影像偵測比對與回饋狀態判斷方法
TWI731531B (zh) * 2019-12-27 2021-06-21 宏碁股份有限公司 電腦系統及其顯示控制方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI660290B (zh) * 2017-12-29 2019-05-21 宏正自動科技股份有限公司 資源分享裝置及其控制方法
CN110955340B (zh) * 2018-09-26 2023-04-07 致伸科技股份有限公司 游标控制系统以及游标控制方法
CN110968210A (zh) * 2018-09-28 2020-04-07 宏正自动科技股份有限公司 切换装置与切换系统及其适用的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060288314A1 (en) * 2005-06-15 2006-12-21 Microsoft Corporation Facilitating cursor interaction with display objects
US7441063B2 (en) * 2005-12-14 2008-10-21 Aten International Co., Ltd. KVM system for controlling computers and method thereof
JP5127366B2 (ja) * 2007-08-29 2013-01-23 富士通コンポーネント株式会社 情報処理装置、kvmスイッチ、サーバ及び制御プログラム
TW200939071A (en) * 2008-03-14 2009-09-16 June On Co Ltd Computer switcher containing consolidated manipulation of bridging framework and multi-screen mouse-navigating type
CN102117187B (zh) * 2009-12-31 2014-05-21 华为技术有限公司 远程连接时显示多个区域屏幕的方法、装置和系统
TWI476602B (zh) * 2011-12-30 2015-03-11 Aten Int Co Ltd 遠端管理系統及遠端管理方法
WO2014101213A1 (zh) * 2012-12-31 2014-07-03 华为技术有限公司 鼠标同步的方法、装置和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI650638B (zh) * 2017-08-17 2019-02-11 凌華科技股份有限公司 架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組
TWI693535B (zh) * 2019-03-11 2020-05-11 凌華科技股份有限公司 滑鼠游標影像偵測比對與回饋狀態判斷方法
TWI731531B (zh) * 2019-12-27 2021-06-21 宏碁股份有限公司 電腦系統及其顯示控制方法

Also Published As

Publication number Publication date
TWI497400B (zh) 2015-08-21
CN105183269B (zh) 2018-03-30
CN105183269A (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
TWI497400B (zh) 自動辨識游標所在螢幕之方法
US20200348900A1 (en) Method of providing annotation track on the content displayed on an interactive whiteboard, computing device and non-transitory readable storage medium
CN111601120A (zh) 一种无线传屏显示系统与显示方法
TWI363979B (en) Kvm system with gui for controlling computers and method thereof
WO2021204296A1 (zh) 三维模型远程展示方法、第一终端、电子设备及存储介质
CN109002269B (zh) 一种单键鼠控制多终端的方法、客户端及系统
CN104731546B (zh) 抓取高分辨率图像在大屏幕上显示的方法及系统
CN105210394A (zh) 用于共享显示器的多用户控制和流媒体传输的系统和方法
US20170185269A1 (en) Display management solution
CN110990089A (zh) 一种基于idv的双屏双桌面智能系统及方法
CN110099224B (zh) 预监显示方法、装置及系统、计算机设备及存储介质
CN108196780B (zh) 一种大屏幕显示终端触摸控制方法与系统
CN106134184A (zh) 信息终端、系统、控制方法和记录介质
CN204272298U (zh) 多路扩展式多屏幕拼接器
CN114007022A (zh) 视频源切换方法、装置和led显示屏控制系统
TWI649655B (zh) 遠端管理方法
CN101383142B (zh) 视频呈现系统中重叠图像的设备和方法
CN110692036B (zh) 演示服务器、数据中继方法和用于生成虚拟指针的方法
TW202114398A (zh) 影像傳輸裝置、具有遠端畫面擷取功能的影像顯示系統及遠端畫面影像擷取方法
CN104796655B (zh) Pc桌面显示之上的协同视频电话叠加
KR102270764B1 (ko) 비디오 월 시스템
CN1327397C (zh) 影像重叠显示系统及方法
CN112764643A (zh) 一种远程操控多屏计算机的方法、系统、设备及存储介质
CN108920117B (zh) 一种跨终端的多屏显示方法、客户端及系统
CN103853470A (zh) 数据处理和显示方法、装置及系统