TWI444836B - 用於遠端工作空間分享的方法及設備 - Google Patents

用於遠端工作空間分享的方法及設備 Download PDF

Info

Publication number
TWI444836B
TWI444836B TW097103561A TW97103561A TWI444836B TW I444836 B TWI444836 B TW I444836B TW 097103561 A TW097103561 A TW 097103561A TW 97103561 A TW97103561 A TW 97103561A TW I444836 B TWI444836 B TW I444836B
Authority
TW
Taiwan
Prior art keywords
image
display
range
foreground
user
Prior art date
Application number
TW097103561A
Other languages
English (en)
Other versions
TW200841183A (en
Inventor
Ankur Agarwal
Antonio Criminisi
William Buxton
Andrew Blake
Andrew Fitzgibbon
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of TW200841183A publication Critical patent/TW200841183A/zh
Application granted granted Critical
Publication of TWI444836B publication Critical patent/TWI444836B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Description

用於遠端工作空間分享的方法及設備
本發明是關於遠端工作空間分享。
現有用於遠端工作空間分享的系統通常可讓一在一實體位置處的第一使用者能夠在一工作空間之內執行一任務,像是編輯一文件,而同時讓一或更多的遠端使用者檢視由該第一使用者對該工作成果所進行的變化。然後,一遠端使用者可對該工作成果進行改變等等,藉以進行遠端協力作業。一般說來,一次僅一單一使用者能夠利用該系統以對該工作成果進行變更。此外,由一單一使用者對該共同工作成果所作的變動經常是突然地出現在由其他使用者所使用的顯示器上。因此,使用者感受到其互動並不自然,並且通常是無效率。在按一該等使用者熟悉於面對面溝通之方式以對繪圖、文件或其他工作成果方面支援流利互動的能力上,此等遠端協力工具經常是笨拙且有所侷限。
例如,該等遠端協力工具已知為可讓位在不同地理位置處之使用者能夠在一通訊網路上對一共同工作成果進行工作。不過,通常這些會要求一第一使用者進行一特定系列的使用者動作,藉此讓其他人士能夠控制該第一使用者的分享程式或桌上型電腦。一旦如此進行之後,該第一使用者可能會自一位在另一位置處的第二使用者收到一請求訊息。該第二使用者可請求控制該第一使用者的分享程 式。接著該第一使用者進行使用者動作,藉以將控制權釋出給該第二使用者。為將控制權傳返至該第一使用者,會需要進行一類似的動作序列。因此,為讓協力工作能夠進行,需要進行耗時且複雜的使用者輸入,藉以在多個使用者之間傳通控制權。此非使用者友善,並因此協力工作會受到影響。
像是共享白板的遠端協力軟體應用程式亦為已知。然而,在此處之缺點為,其會於所共享之白板或是其他的工作成果上突然的出現動作,使得該系統難以使用。例如,假設兩個位於不同位置處的使用者正在利用一分享白板工具以腦力思考一構想。該白板可在該螢幕的廣大部分上顯示多個文字項目。若一使用者在一區域裡加上一微小項目,則這會突然地出現在共用白板顯示器上,並且可能不會被所有的使用者偵測到。新增該文字的使用者知曉此文字可預期出現在何處,然而其他的使用者則否。若該使用者正在看望別處或是並未出現,則當出現該突然變化時,該使用者會難以找到該修改項目。
後文呈現一經簡化之揭示概述,藉此對讀者供以基本瞭解。本概述並非本揭示之廣泛總論,同時並非為以識別本發明之關鍵/機要性要素或界定出本發明之範疇。其唯一目的係為按一簡化形式呈現本揭之部分概念,而作為後文中所列述之更詳細說明的序言。
現有的遠端工作空間分享系統難以使用。例如,由一單一使用者對一共同工作成果所作的變動經常是突然地出現在由其他使用者所檢視的顯示畫面上。因此,使用者感受到其互動並不自然,並且通常是無效率。一共同工作成果之顯示影像是接收自一位在一第一位置處的攝影機。這些影像亦可含有關於位在該顯示器與該攝影機間之物體,像是正在一平板PC上編輯一文件之使用者手部,的資訊。這些影像可經合併於該分享工作成果的影像,並且顯示於遠端位置處。然後可見到有關遠端使用者動作的進展資訊,並且有助於使用者之間的協力調解。可利用深度資訊以影響合併該等影像的處理程序。
藉由併同考量隨附圖式而參照於後載詳細說明,當更佳瞭解後將更能隨即知曉多項伴隨特性。
後文中關聯於該等隨附圖式所提供之詳細說明係為以敘述本文範例,而並非是為以代表其中可建構或運用本文範例的唯一形式。該說明列述該範例之功能,以及為以建構及操作該範例的步驟序列。然而,可藉由不同範例獲致相同或等同的功能及序列。
本揭範例在此雖如在一分享白板系統中所實作般而描述及說明,然該所述系統係經提供作為一範例而非限制。熟諳本項技藝之人士將能瞭解,本揭範例適用於廣泛各種不同類型之遠端協力系統中的應用項目。
第1圖係一用於遠端工作空間分享之視訊系統的略圖,即如在Tang及Minneman於1990年「Conference on Computer Human Interaction」會議講義第313-320頁之「VideoDraw:A Video Interface for Collaborative Drawing」乙文中所描述者。兩位使用者10、12,各者擁有一視訊顯示螢幕14、16,而該等使用者能夠於其上利用乾擦筆進行繪畫。在各個使用者位置處設置有一視訊攝影機17、18,此者捕捉該視訊顯示螢幕的影像,以及任何由該使用者在該螢幕上所作出之筆繪標記的影像。此外,該視訊攝影機捕捉該使用者之手部、繪筆以及該使用者手部和繪筆之移動的影像。該視訊攝影機亦捕捉關聯於該等在該視訊顯示螢幕上之繪筆標記而作出的手部姿勢。
一來自位於該等使用者位置其一者處之視訊攝影機17的信號會被傳送至位於另一使用者位置處的視訊顯示器16,並反是。此一排置可建立一合成分享繪圖表面,其中該等協力者可觀看到彼此的標記,以及關聯於該等標記所作出的手部姿勢。例如,該使用者10可在該視訊顯示螢幕14處觀看,而其本身的筆繪標記則是被重疊於另一使用者12之筆繪標記及手部姿勢的視訊表現上。
第1圖的排列可讓人能夠觀看到該遠端使用者的手部姿勢,而可輔助該使用者調解其互動情況。然而,該顯示器通常是使用不易、受到模糊及不佳解析度的影響,並且在每個位置處都需要相當地類似的良好照明條件。此外,並無可觸及的終端工作成果,並且對於像是編輯文件的較 緻密詳細工作而言,在顯示螢幕上使用乾擦筆會顯得紊亂且並不實用。
利用分段化(segmentation)的範例
在一第一範例裡係參照於第2圖以描述一遠端工作空間分享系統。在此,各個使用者具備一平板PC 200、201或是其他具有一觸控螢幕顯示器的電腦,而該者係按任何適當方式而經連接至一通訊網路202。該通訊網路202可為一企業內網路、一企業網路、網際網路或者任何其他適當類型的通訊網路。在該通訊網路之內的一節點提供一協力工作應用程式204,該者可存取一記憶體,而在此儲存有一分享工作成果203。該協力工作應用程式可為任何適當類型者,像是一分享白板系統、一分享文件編輯系統、一分享繪圖系統、一電腦遊戲或其他應用程式。在各個使用者位置處設置有一視訊攝影機205、206,此者可捕捉一使用者之平板PC顯示器的視訊影像,以及在該顯示器附近之一範圍207、208內而該攝影機可見的任何物體,像是使用者的手部、針筆(stylus)、咖啡杯、繪筆或其他物體。
在該協力工作應用程式204之操作過程中,在該平板PC顯示器200、201處會顯示出該分享工作成果203(第5A圖的區塊50)。每次任一使用者對該分享工作成果作出變更,即在該通訊網路節點處更新該分享工作成果的記錄(第5A圖的區塊51),並且更新在該使用者位置處的顯示畫面。可在每次出現一特定使用者動作時,像是一滑鼠點 按或是其他的使用者動作,進行此更新。
第5B圖說明一利用第5A圖之遠端工作空間分享系統的範例方法。一位在該通訊網路協力工作應用程式204處或是位在一末端使用者之平板PC 200、201(或其他適當位置)處的處理器可存取一該分享工作成果203之影像56,以及一由該等視訊攝影機205、206其一者所收到的影像52。該處理器將由該等視訊攝影機之一者所收到的影像52加以分段化(區塊53),藉此獲得一前景影像。例如,該前景影像可為一握持一針筆的使用者手部。可利用任何適當的分段化演算法以達到該分段化。該處理器取用該前景影像,並且該分享工作成果的影像56,同時按任何適當方式而藉由合併該等影像以組合(區塊54)一輸出影像55。底下說明可利用之合併處理的方法範例。接著,可在一遠端使用者顯示器處呈現該合成輸出影像55。
在一範例裡,可利用該分享工作成果之影像的知識,並且將此比較於由該視訊攝影機所捕捉到的影像,俾完成分段化作業。可藉由此一比較處理程序以識別出被例如使用者手部所堵塞的分享工作成果範圍。按此方式,前景範圍可自被該視訊攝影機所捕捉到的影像而分段化。
在其他的具體實施例裡,可藉由利用根據對比分析、邊緣偵測、物體辨識技術等等之影像處理分段化演算法來達成分段化作業。
藉由分段化以獲得該前景影像,所獲之輸出影像可較為清晰並且較易於瞭解第1圖的視訊白板顯示。在該其他 位置處僅僅顯示出在該遠端位置處所捕捉到的部份影像,而不是在該其他位置處重疊該遠端位置的一完整影像。藉由僅擷取該前景,可保留能夠用以輔助調解使用者互動的資訊,而無須會增加不必要複雜度的其他背景資訊。此外,比起第1圖系統需要在該等使用者位置之間傳送較少資訊,如此可節省通訊資源並改善處理時間。
在一些具體實施例裡,可在等使用者位置處進行分段化及組合的處理,而在其他的具體實施例裡,可在該通訊網路內的位置進行部份或所有的這些處理。
利用深度資訊的範例
在另一具體實施例裡,可運用第2圖系統以實作一利用深度資訊的遠端工作空間分享方法。在此情況下,該等視訊攝影機205、206為單視(mono)攝影機(亦即並非立體攝影機)。深度資訊係利用在這些自攝影機所捕捉到影像之內的線索,像是堵塞(occlusion)、陰影、紋理梯度、在視訊序列內之視框間的流動資訊或是其他資訊,而從這些影像所獲得。現參照於第6圖以說明一範例方法。可在任何適當位置處,像是一使用者位置或該通訊網路202內的一節點,進行此方法。自一使用者顯示器的視訊攝影機和一在該顯示器附近而該視訊攝影機為可見之範圍的其中一者收到一影像(區塊60)。可利用任何適當的深度估計演算法以估計一在該視訊攝影機可見之範圍內的至少一物體距該使用者顯示器(區塊61)的相對深度。然後,根據所估計深 度,自該分享工作成果的影像以及該物體的影像組合出一輸出影像(區塊62)。例如,合併該等兩個影像之方式可為利用一與該估計深度相關聯之加權處理,或者是藉由透明性及/或模糊化而按與該估計深度相關聯的量值而施加,即如後文中所進一步詳述者。可例如對一視訊串流之各視框重複第6圖的方法。藉由按此方式即時地執行該處理,可載送有關於使用者手部移動及姿勢的資訊,俾有助於協力互動。
藉由利用深度資訊來影響如何構成該輸出影像,即可輔助利用該遠端工作空間分享系統的協力工作。可將更多資訊提供給使用者,這可讓該等使用者能夠預期遠端使用者動作並且調解其協力作業。由於可向使用者提供他們能夠預期並預測到在自然協力作業互動中會作出之遠端使用者動作的資訊,因此可減少在先前系統中所體驗到的顯示畫面突然變化。同時,無須利用即如在一些早先系統情況下所採行的請求及釋放協定。所提供之框架可模仿在兩位以上彼此近坐且共同工作之人士間進行的社交互動;而又可讓該等人士能夠便利地遠地相離。並且,可供以將真實物體無瑕地整合於虛擬者。
藉由按此方式提供遠端工作空間分享,可在相同時刻將位於不同位置處的使用者設置在其個別的工作成果顯示之前。此為相較於面對面協力作業而言更佳的改良結果,其中一次僅有一人能夠在一文件或是其他工作成果之前直接地工作。
利用立體裝置的範例
在另一範例裡,是在各個使用者位置處使用立體視訊攝影機,即如第3圖所示。在第2圖的視訊攝影機205、206處是利用立體視訊攝影機300、301,而其他方面該設備則是按類似方式所排置。例如,可將該立體視訊攝影機放置於頭部上方或是另一適當位置處。利用來自該立體視訊攝影機300、301的資訊,即可利用立體演算法以估計出物體在該視訊攝影機及該使用者顯示器之間的的相對深度。然後,可利用此相對深度以影響組合該輸出影像的方式。例如,可令一遠端使用者手部的影像在當靠近一顯示螢幕時更為尖銳且不透明,而在當遠離於一顯示螢幕時則為模糊化且透明。
第7A圖係一在一遠端工作空間分享系統中使用立體資訊之方法的略圖。可例如利用第3圖之視訊攝影機300以捕捉一立體影像組對(區塊70)。這些影像為位在一使用者位置而顯示一分享工作成果的顯示器200上。此外,任何位在該視訊攝影機300及該顯示器200間之一範圍207內的物體皆會成像。可對在該立體組對內的各個影像進行分段化,藉以將該影像分段化至一對應於該顯示器的背景範圍及一前景範圍之內(區塊71)。可如前述利用任何適當的分段化演算法。可根據一經施用於該立體組對之前景範圍的立體比對處理,估計出該前景範圍距該顯示器的相對深度(區塊72)。可利用任何適當的立體比對處理。該相對 深度可包含一在該前景範圍上的平均相對深度、一中間相對深度,或任何其他適當的單一相對深度值。或另者,該相對深度值可為運用在該前景範圍之內的各個影像構件,或是任何適當的影像構件組合。
可根據所估計之相對深度資訊,自該等前景影像構件及該顯示影像組合出一輸出影像(區塊73)。然後,在一遠端顯示器處呈現該輸出影像(區塊74)。
可利用任何適當的立體比對處理程序,像是一密集立體比對演算法或是其他適當演算法。在一些具體實施例裡,是利用一現參照於第7B圖而說明的方法。
接收到一立體組對(區塊75),並且在這些立體影像之一者內將該前景分段化(區塊76)。然後,跨於該影像上遞增地轉譯將該前景(區塊77)。在各位置處,執行一自該立體組對而聯於其他影像之相關聯,或是一對該其他影像的減去(區塊78)。按此方式,可將為以產生一最佳相關聯、減去或其他功能結果而所需之前景位移或轉譯(區塊79)識別如該相對深度的一估計值。這可提供一種用以估計該相對深度而具計算成本低廉性且快速的方法。藉由利用此類型之方法,即可供以按即時方式或一大致等同於該視訊視框速率的速率進行處理,使得末端使用者能夠感知到該等前景影像範圍的平滑移動顯示。此外,可在一末端使用者之電腦上於背景下進行該處理,並且在該電腦上耗佔低度的中央處理單元(CPU)負載。
利用三個以上使用者位置的範例
前述範例係參照於兩個使用者位置而說明。然而,亦有可能如第4圖所示般是利用三個以上的使用者位置。例如,在一第一使用者位置處提供有一顯示器403,此者可為一電腦螢幕、平板PC螢幕或其他適當的顯示器。在該位置處亦提供一立體視訊攝影機300,此者係經放置以捕捉該顯示器403之一視訊影像串流。可選擇性地提供一第二顯示器404,藉以顯示出一或更多遠端使用者的視訊會議影像。可選擇性地提供一第二視訊攝影機400,以捕捉一位於該位置處之使用者的視訊影像串流。
在一遠離於該第一位置的第二位置處提供有類似設備,包含顯示器406、立體視訊攝影機301、視訊會議顯示器405及視訊攝影機402。
在一遠離於該等第一及第二位置的第三位置處提供有類似設備,包含顯示器408、立體視訊攝影機302、視訊會議顯示器407及視訊攝影機401。
位於各個使用者位置處的設備係與一通訊網路410相通聯,此者含有一協力工作應用程式412。該等立體視訊攝影機300、301、302及該等顯示器403、406、408是如前述般用以提供遠端工作空間分享。可利用不同的顏色、紋理或其他表現以供區別位在不同使用者位置的前景影像。按此方式,可在一單一使用者顯示器上呈現來自一個以上遠端位置處的前景影像。或另者,可實作一選擇處理程序,此者僅選擇一前景影像以供在任一時間顯示於一給 定使用者位置處。例如,此選擇處理可為利用對於該等使用者位置之經預先組態設定的先前資訊而運作,或者是藉由根據哪一使用者位置目前正對該工作成果進行變更而選擇。
在各個使用者位置處之設備亦可選擇性地含括一用於一視訊會議的顯示器404、405、407,此者可如業界眾知般顯示出遠端使用者之一或更多者的影像。這可對末端使用者提供視覺線索,而有助於協力工作處理程序。例如,若出現一活動暫停,則該視訊會議顯示器可表示這是因為該等遠端使用者之一或更多者離開該顯示器。該等視訊攝影機400、402、401捕捉末端使用者的影像,而用於此一視訊會議處理程序。
組合處理程序
即如前述,該組合處理程序可包含根據相對深度資訊而將模糊及/或透明度加入至該前景範圍內。或另者,可利用其他的圖形效果以訊知在距該工作空間的某一距離處出現一手部或其他物體。在一範例裡,待予施加於該前景之透明度的量值係直接地正比於該前景影像的平均差異。然而,這並非重點,任何適當關係皆可利用。
在另一範例裡,可利用下列等式以表示該影像組合處理程序:I=αS+(1-α)H 其中I表示輸出影像,H表示前景影像,S表示經呈現於該螢幕上之分享工作成果的影像,並且α表示待予施加之透明度的量值(其中α等同於一相對深度值(像是差異),而經比例調整於零到1之間)。
在另一範例裡,可利用下列等式以表示該影像組合處理程序:I=α(d)S+(1-α(d))x(G(d)而迴旋運算於H)其中I表示輸出影像,H表示前景影像,S表示經呈現於該螢幕上之分享工作成果的影像,d表示一相對深度值(像是差異),而α表示待予施加之透明度的量值。G表示一模糊化函數,像是高斯或類似函數。例如,當差異很大時,所施用的高斯函數係經排置以具有一較寬廣曲線,因而可施以更多的糢糊化。
即如前述,可對一視訊串流的各個視框進行該等方法。亦可施用時間過濾處理,藉以提高遠端工作空間分享系統的強固性。
遠端遊戲遊玩範例
在一範例裡,可於一遠端工作空間分享系統裡,像是第2、3圖之202及第4圖之410的通訊網路,在任何適當位置處提供一用於遠端遊戲遊玩的應用程式。在一特定範 例裡,該遊戲為一種二人桌上遊戲,像是GO。然而,這並非重點,任何適當電腦遊戲皆可提供。
假設此等位於彼此遠離之位置處的二人正在玩GO。在該平板PC或其他顯示器200、201處顯示出一GO桌板的電子顯示畫面,並且由玩家將真實GO棋子放置在螢幕上。該遠端工作空間分享系統可按前述方式運作,因此該遠端玩家之棋子的電子影像顯示在該螢幕上。同時,亦會將使用該顯示設備之玩家的真實GO棋子放置在該顯示螢幕上。按此方式,可一起使用真實及虛擬物體。遊玩體驗可獲改善,這是因為玩家能夠利用即如在面對面遊戲中所作出的真實遊玩片段。一旦其中一玩家開始移動其手部以作出動作,則該遠端玩家可利用前述方法而看見。可獲用手部姿勢及其他有助於正常的一對一互動的移動,即使其一玩家是位在遠離於另一者處亦然。如此可改善遊玩體驗。
示範性操作環境
第8圖係一示範性作業環境的略圖。一用於一遠端工作空間分享系統之設備800包含一輸入801,此者可具任何適當類型並經排置以接收包含影像在內的資訊。例如,這些可為來自一視訊攝影機、一立體視訊攝影機的影像,用以呈現於一包含一分享工作成果表現之顯示器上的影像等等。亦提供有一輸出802;再次地,此者可具任何適當類型,並經排置以輸出一影像而用以呈現在一位於一使用者位置處的顯示器上。該輸入801及該輸出802可為對一 通訊網路之鏈結,或者為對顯示器、攝影機或是其他影像取得設備的直接鏈結。
該設備800包含一具任何適當類型的處理器803,像是一電腦。提供有一作業系統804,以及一用以實作如本揭所述之遠端工作空間分享方法的應用程式805。該作業系統804可為具任何適當類型者,即如該應用程式805。可選擇性地提供一使用者介面806,以讓一使用者能夠控制該設備800。
該名詞「電腦」在此是用以指稱任何具有處理能力以使得該者能夠執行指令的裝置。熟諳本項技藝之人士將能瞭解該等處理能力係經併入在許多不同裝置之內,並因此該名詞「電腦」包含PC、伺服器、行動電話、個人數位助理及許多其他裝置。
在此所述方法可在一儲存媒體上按機器可讀取形式而由軟體執行。該軟體可為適合於在平行處理器或一序列處理器上執行,使得能夠按任何適當次序,或同時地,執行該等方法步驟。
此應用程式可確認到該軟體可為一有價值、可個別商購的貨品。所欲之目的係為涵蓋運行於或控制「基本型(Dumb)」或標準硬體,藉以執行該等所欲功能的軟體。所欲者亦為涵蓋「描述」或定義該硬體組態之軟體,像是即如設計矽晶片,或者是對通用可程式化晶片進行組態設定時,所使用之HDL(硬體描述語言),藉以執行所欲功能的軟體。
熟諳本項技藝之人士將可知曉用以儲存程式指令之儲存裝置可跨於一網路上而散佈。例如,一遠端電腦可儲存一經描述為軟體的處理程序範例。一本地或終端電腦可存取該遠端電腦,並且下載部分或所有的軟體以運行該程式。或另者,該本地電腦可視需要而下載該軟體之片段,或者是在本地終端處執行部份的軟體指令,而有些部份則是在遠端電腦(或電腦網路)處執行。熟諳本項技藝之人士亦將可瞭解到,藉由運用熟諳本項技藝之人士所眾知的傳統技術,可由一專屬電路,像是一DSP、可程式化邏輯陣列等等,來執行該等軟體指令的全部或一局部。
可將本文中所給定之任何範圍或裝置數值加以延展或替換,而不致喪失所尋求的效果,即如熟諳本項技藝之人士所顯知者。
將能瞭解前述益處及優點可為關聯於一具體實施例,或者可為關聯於多項具體實施例。亦將進一步瞭解對「一」項目之參照是指該等項目的一或更多者。
可按任何適當次序,或若為適當則可同時地,進行該等所述方法之步驟。
將能瞭解前述一較佳具體實施例的說明僅係為範例方式所提供,並且可由熟諳本項技藝之人士進行各種修改。前揭規格、範例及資料提供本發明示範性具體實施例之結構與使用方式的完整描述。雖既已按某程度之特定性,或是參照於一或更多的個別具體實施例,以描述本發明的各式具體實施例,然熟諳本項技藝之人士確可對本揭具體實 施例進行無數替換,而不致悖離本發明之精神或範圍。
10‧‧‧使用者
12‧‧‧使用者
14‧‧‧視訊顯示螢幕
16‧‧‧視訊顯示螢幕
17‧‧‧視訊攝影機
18‧‧‧視訊攝影機
19‧‧‧信號
20‧‧‧信號
200‧‧‧平板PC/具一觸控螢幕顯示器的電腦
201‧‧‧平板PC/具一觸控螢幕顯示器的電腦
202‧‧‧通訊網路
203‧‧‧分享工作成果
204‧‧‧協力工作應用程式
205‧‧‧視訊攝影機
206‧‧‧視訊攝影機
207‧‧‧顯示器附近之範圍
208‧‧‧顯示器附近之範圍
300‧‧‧立體視訊攝影機
301‧‧‧立體視訊攝影機
400‧‧‧第二視訊攝影機
401‧‧‧視訊攝影機
402‧‧‧視訊攝影機
403‧‧‧顯示器
404‧‧‧第二顯示器
405‧‧‧視訊會議顯示器
406‧‧‧顯示器
407‧‧‧視訊會議顯示器
408‧‧‧顯示器
410‧‧‧通訊網路
412‧‧‧協力工作應用程式
800‧‧‧設備
801‧‧‧輸入
802‧‧‧輸出
803‧‧‧處理器
804‧‧‧作業系統
805‧‧‧應用程式
806‧‧‧使用者介面
經閱讀隨附圖式所通曉而將即可自後載詳細說明更佳地瞭解本說明,其中:第1圖係一僅利用視訊顯示螢幕之遠端工作空間分享系統的略圖;第2圖係一利用協力工作應用程式及視訊攝影機之遠端工作空間分享系統的略圖;第3圖係一利用協力工作應用程式及立體視訊攝影機之遠端工作空間分享系統的略圖;第4圖係一另一遠端工作空間分享系統之略圖;第5A圖係一顯示一分享工作成果之方法的略圖;第5B圖係一利用分段化組合一輸出影像之方法的略圖;第6圖係一組合一輸出影像以運用於一遠端工作空間分享系統之方法的略圖;第7A圖係一用於一遠端工作空間分享系統之方法的略圖;第7B圖係一估計相對深度資訊之方法的略圖;第8圖係一示範性作業環境的略圖。
類似參考編號是用以標註隨附圖式中的相仿部分。
200‧‧‧平板PC
201‧‧‧平板PC
202‧‧‧通訊網路
203‧‧‧分享工作成果
204‧‧‧協力工作應用程式
207‧‧‧顯示器附近之範圍
208‧‧‧顯示器附近之範圍
300‧‧‧立體視訊攝影機
301‧‧‧立體視訊攝影機

Claims (18)

  1. 一種用於遠端工作空間分享的方法,其中包含:接收至少一影像,該至少一影像係屬一分享工作成果之一顯示器以及該顯示器附近之一範圍;估計在距該顯示器起該範圍內之至少一物體的一相對深度;以及自該分享工作成果的一影像和該所接收影像中對應於該至少一物體的範圍組合出一輸出影像,該輸出影像係根據該所估計相對深度而構成。
  2. 如申請專利範圍第1項所述之方法,其中進一步包含接收該顯示器及該顯示器附近之該範圍的影像之視訊串流,並且對該視訊串流之各個視框按一速率進行該估計步驟及該組合步驟,該速率至少等於該視訊串流的視框速率。
  3. 如申請專利範圍第1項所述之方法,該方法進一步包含在一遠端顯示器處呈現該輸出影像。
  4. 如申請專利範圍第1項所述之方法,該方法進一步包含劃分該所接收影像為一背景範圍以及一前景範圍,該背景範圍對應於該顯示器,該前景範圍對應於位在該顯示器附近處之任何物體。
  5. 如申請專利範圍第1項所述之方法,該方法包含接收一立體影像組對,該立體影像組對係屬該顯示器及該顯示器附近之該範圍。
  6. 如申請專利範圍第5項所述之方法,其中估計該相對深度之步驟包含利用一立體比對處理程序。
  7. 如申請專利範圍第5項所述之方法,該方法包含劃分在該立體影像組對內的各影像成為一背景範圍以及一前景範圍,該背景範圍對應於該顯示器,該前景範圍對應於位在該顯示器附近處之任何物體,並且僅在該等前景範圍上利用一立體比對處理程序。
  8. 如申請專利範圍第1項所述之方法,其中組合該輸出影像之步驟包含利用一透明度量值,該透明度量值有關於該所估計相對深度。
  9. 如申請專利範圍第1項所述之方法,其中組合該輸出影像之步驟包含利用一糢糊化量值,該模糊化量值有關於該所估計相對深度。
  10. 一種用於遠端工作空間分享的方法,該方法包含下列步驟: 在一第一顯示器處顯示一分享工作成果之一影像;接收至少一立體影像組對,該至少一立體影像組對係屬該第一顯示器以及該第一顯示器附近之一範圍;劃分該至少一立體影像組對的一影像俾獲得一前景影像;藉由擴及該前景影像之相關立體影像上遞增地轉譯該前景影像,來估計該前景影像距該第一顯示器的一相對深度;以及根據該所估計相對深度,自該分享工作成果之一影像及該前景影像組合出一輸出影像。
  11. 如申請專利範圍第10項所述之方法,該方法進一步包含在一第二顯示器處顯示一遠端使用者的影像,該第二顯示器係經放置於靠近該第一顯示器處並經排置以在與該遠端使用者使用一協力工作應用程式過程中顯示該遠端使用者的影像。
  12. 一種用於遠端工作空間分享的設備,包含:一輸入器,該輸入器經排置以接收至少一影像,該至少一影像係屬一分享工作成果之一顯示器及該顯示器附近之一範圍;一處理器,該處理器經排置以估計在距該顯示器起該範圍內之至少一物體的一相對深度;以及 其中該處理器係經進一步排置以自該分享工作成果的一影像和該所接收影像中對應於該至少一物體之範圍組合出一輸出影像,該輸出影像係根據該所估計相對深度而構成。
  13. 如申請專利範圍第12項所述之設備,其中該輸入器包含一視訊攝影機。
  14. 如申請專利範圍第12項所述之設備,其中該輸入器包含一立體視訊攝影機。
  15. 如申請專利範圍第13項所述之設備,其中該處理器係經排置以對由該視訊攝影機所收到之一視訊串流的各個視框按一速率執行該估計步驟及該組合步驟,該速率至少等於該視訊串流之視框速率。
  16. 如申請專利範圍第12項所述之設備,其中該處理器係經進一步排置以劃分該所接收影像為一背景範圍以及一前景範圍,該背景範圍對應於該顯示器,該前景範圍對應於位在該顯示器附近處之任何物體。
  17. 如申請專利範圍第14項所述之設備,其中該處理器係經進一步排置以利用一立體比對處理程序來估計該相對深 度。
  18. 如申請專利範圍第12項所述之設備,其中該處理器係經進一步排置以利用一透明度量值來組合該輸出影像,該透明度量值有關於該所估計相對深度。
TW097103561A 2007-01-30 2008-01-30 用於遠端工作空間分享的方法及設備 TWI444836B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/669,107 US8125510B2 (en) 2007-01-30 2007-01-30 Remote workspace sharing

Publications (2)

Publication Number Publication Date
TW200841183A TW200841183A (en) 2008-10-16
TWI444836B true TWI444836B (zh) 2014-07-11

Family

ID=39669359

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097103561A TWI444836B (zh) 2007-01-30 2008-01-30 用於遠端工作空間分享的方法及設備

Country Status (5)

Country Link
US (2) US8125510B2 (zh)
EP (1) EP2122546B1 (zh)
CL (1) CL2008000233A1 (zh)
TW (1) TWI444836B (zh)
WO (1) WO2008095051A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8125510B2 (en) 2007-01-30 2012-02-28 Ankur Agarwal Remote workspace sharing
US8108770B2 (en) * 2007-08-27 2012-01-31 Yahoo! Inc. Secure inter-module communication mechanism
JP5035852B2 (ja) * 2008-07-11 2012-09-26 シャープ株式会社 通信端末、制御方法、および制御プログラム
US8390718B2 (en) * 2009-01-28 2013-03-05 Hewlett-Packard Development Company, L.P. Methods and systems for performing visual collaboration between remotely situated participants
US8570423B2 (en) * 2009-01-28 2013-10-29 Hewlett-Packard Development Company, L.P. Systems for performing visual collaboration between remotely situated participants
US8164617B2 (en) * 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
CN101534411B (zh) * 2009-04-08 2012-12-12 华为终端有限公司 一种基于图像的视讯会议控制方法、终端及系统
WO2010141023A1 (en) * 2009-06-04 2010-12-09 Hewlett-Packard Development Company, L.P. Video conference
US8436887B2 (en) * 2009-11-13 2013-05-07 Samsung Electronics Co., Ltd. Mobile terminal, display apparatus and control method thereof
US20110246340A1 (en) * 2010-04-02 2011-10-06 Tracelink, Inc. Method and system for collaborative execution of business processes
US8713454B2 (en) * 2010-06-25 2014-04-29 Verizon Patent And Licensing Inc. Method and apparatus for sharing virtual workspaces
JP5012968B2 (ja) * 2010-07-15 2012-08-29 コニカミノルタビジネステクノロジーズ株式会社 会議システム
US8649592B2 (en) * 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
US8996974B2 (en) * 2010-10-04 2015-03-31 Hewlett-Packard Development Company, L.P. Enhancing video presentation systems
US9294722B2 (en) 2010-10-19 2016-03-22 Microsoft Technology Licensing, Llc Optimized telepresence using mobile device gestures
CA2722460A1 (en) * 2010-11-26 2012-05-26 Centre De Recherche Informatique De Montreal Screen sharing and video conferencing system and method
US20120154255A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Computing device having plural display parts for presenting plural spaces
US20120154511A1 (en) * 2010-12-20 2012-06-21 Shi-Ping Hsu Systems and methods for providing geographically distributed creative design
JP5776201B2 (ja) * 2011-02-10 2015-09-09 ソニー株式会社 情報処理装置、情報共有方法、プログラム及び端末装置
US9086798B2 (en) 2011-03-07 2015-07-21 Ricoh Company, Ltd. Associating information on a whiteboard with a user
US8881231B2 (en) 2011-03-07 2014-11-04 Ricoh Company, Ltd. Automatically performing an action upon a login
US9716858B2 (en) 2011-03-07 2017-07-25 Ricoh Company, Ltd. Automated selection and switching of displayed information
US8698873B2 (en) * 2011-03-07 2014-04-15 Ricoh Company, Ltd. Video conferencing with shared drawing
US9053455B2 (en) 2011-03-07 2015-06-09 Ricoh Company, Ltd. Providing position information in a collaborative environment
US8773499B2 (en) * 2011-06-24 2014-07-08 Microsoft Corporation Automatic video framing
TWI504270B (zh) 2011-10-12 2015-10-11 Egalax Empia Technology Inc 視訊通信即時螢幕互動裝置、方法及系統
US9077846B2 (en) * 2012-02-06 2015-07-07 Microsoft Technology Licensing, Llc Integrated interactive space
US9049482B2 (en) * 2012-02-19 2015-06-02 Udacity, Inc. System and method for combining computer-based educational content recording and video-based educational content recording
EP2658250A1 (en) * 2012-04-26 2013-10-30 Sony Mobile Communications AB Screen camera
US8982175B2 (en) * 2012-09-28 2015-03-17 Tangome, Inc. Integrating a video with an interactive activity
US9235342B2 (en) 2012-11-28 2016-01-12 International Business Machines Corporation Selective sharing of displayed content in a view presented on a touchscreen of a processing system
KR101427377B1 (ko) * 2013-02-27 2014-08-08 (주)모션블루 미러월드 기반 체감형 디지털 보드 게임 서비스 제공 방법 및 장치
US20170039867A1 (en) * 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
US9489114B2 (en) * 2013-06-24 2016-11-08 Microsoft Technology Licensing, Llc Showing interactions as they occur on a whiteboard
US9445154B2 (en) * 2013-07-08 2016-09-13 Glance Networks, Inc. Method for demonstrating interaction with a touch sensitive screen via video
US10817842B2 (en) 2013-08-30 2020-10-27 Drumwave Inc. Systems and methods for providing a collective post
US10261741B2 (en) 2015-02-09 2019-04-16 Prysm, Inc Content sharing with consistent aspect ratios
US9449414B1 (en) 2015-03-05 2016-09-20 Microsoft Technology Licensing, Llc Collaborative presentation system
JP6300113B2 (ja) * 2015-06-25 2018-03-28 パナソニックIpマネジメント株式会社 情報表示システム及び情報表示端末
CN110324559B (zh) * 2018-03-28 2021-11-30 北京富纳特创新科技有限公司 视频通信装置及方法
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4974173A (en) * 1987-12-02 1990-11-27 Xerox Corporation Small-scale workspace representations indicating activities by other users
US5107443A (en) * 1988-09-07 1992-04-21 Xerox Corporation Private regions within a shared workspace
US5444476A (en) * 1992-12-11 1995-08-22 The Regents Of The University Of Michigan System and method for teleinteraction
US6049334A (en) * 1993-12-20 2000-04-11 International Business Machines Corporation Method and system for graphically indicating the activity of a plurality of users within a shared data collection
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US5990932A (en) * 1997-12-22 1999-11-23 Northern Telecom, Limited Collaborative shared space
AU6516698A (en) 1998-03-29 1999-10-18 3Dv Systems Ltd. Teleconferencing system
FR2779257B1 (fr) 1998-05-27 2000-08-11 France Telecom Procede de detection de la profondeur relative entre objets dans une image a partir d'un couple d'images
US6668273B1 (en) * 1999-11-18 2003-12-23 Raindance Communications, Inc. System and method for application viewing through collaborative web browsing session
US6731308B1 (en) * 2000-03-09 2004-05-04 Sun Microsystems, Inc. Mechanism for reciprocal awareness of intent to initiate and end interaction among remote users
US6963334B1 (en) * 2000-04-12 2005-11-08 Mediaone Group, Inc. Smart collaborative whiteboard integrated with telephone or IP network
US6426755B1 (en) * 2000-05-16 2002-07-30 Sun Microsystems, Inc. Graphics system using sample tags for blur
US6554433B1 (en) * 2000-06-30 2003-04-29 Intel Corporation Office workspace having a multi-surface projection and a multi-camera system
US6956614B1 (en) * 2000-11-22 2005-10-18 Bath Iron Works Apparatus and method for using a wearable computer in collaborative applications
US7081892B2 (en) * 2002-04-09 2006-07-25 Sony Computer Entertainment America Inc. Image with depth of field using z-buffer image data and alpha blending
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
CN1213605C (zh) * 2002-08-07 2005-08-03 华为技术有限公司 在视讯终端中传递pc桌面的方法和装置
US7224847B2 (en) * 2003-02-24 2007-05-29 Microsoft Corp. System and method for real-time whiteboard streaming
KR20030059782A (ko) 2003-06-24 2003-07-10 (주)주앤아이시스템 멀티미디어 영상회의 기반 실시간 공동작업을 위한 cad문서회의 기능구현 및 그 방법
US20050017968A1 (en) * 2003-07-21 2005-01-27 Stephan Wurmlin Differential stream of point samples for real-time 3D video
US7092002B2 (en) * 2003-09-19 2006-08-15 Applied Minds, Inc. Systems and method for enhancing teleconferencing collaboration
US20050138566A1 (en) * 2003-12-17 2005-06-23 International Business Machines Corporation User interface, method, system and program product for managing collaboration data
US7496229B2 (en) * 2004-02-17 2009-02-24 Microsoft Corp. System and method for visual echo cancellation in a projector-camera-whiteboard system
US20060010125A1 (en) * 2004-05-21 2006-01-12 Bea Systems, Inc. Systems and methods for collaborative shared workspaces
KR100776649B1 (ko) 2004-12-06 2007-11-19 한국전자통신연구원 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
KR100748719B1 (ko) 2005-07-14 2007-08-13 연세대학교 산학협력단 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
JP4997783B2 (ja) * 2006-02-15 2012-08-08 富士ゼロックス株式会社 電子会議システム、電子会議支援プログラム、電子会議制御装置、情報端末機器、電子会議支援方法
US8970680B2 (en) * 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
US8125510B2 (en) 2007-01-30 2012-02-28 Ankur Agarwal Remote workspace sharing

Also Published As

Publication number Publication date
CL2008000233A1 (es) 2009-03-13
EP2122546B1 (en) 2022-07-06
EP2122546A4 (en) 2011-01-26
US20080184124A1 (en) 2008-07-31
US20120162354A1 (en) 2012-06-28
US8125510B2 (en) 2012-02-28
US8514264B2 (en) 2013-08-20
WO2008095051A1 (en) 2008-08-07
EP2122546A1 (en) 2009-11-25
TW200841183A (en) 2008-10-16

Similar Documents

Publication Publication Date Title
TWI444836B (zh) 用於遠端工作空間分享的方法及設備
Lv et al. Touch-less interactive augmented reality game on vision-based wearable device
CN112243583B (zh) 多端点混合现实会议
CN104081307B (zh) 图像处理装置、图像处理方法和程序
CN106165404B (zh) 支持增强现实的交互和协作的系统和方法
Wang et al. Distanciar: Authoring site-specific augmented reality experiences for remote environments
Park et al. Design evaluation of information appliances using augmented reality-based tangible interaction
Henze et al. Evaluation of an off-screen visualization for magic lens and dynamic peephole interfaces
JP7483979B2 (ja) 多次元反応型映像を再生する方法及び装置
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
Tan et al. Virtual reality based immersive telepresence system for remote conversation and collaboration
CN107831890A (zh) 基于ar的人机交互方法、装置及设备
Nóbrega et al. Design your room: adding virtual objects to a real indoor scenario
Narducci et al. Enabling consistent hand-based interaction in mixed reality by occlusions handling
Meneses Viveros et al. Kinect©, as interaction device with a tiled display
Barnkow et al. Semiautomatic and user-centered orientation of digital artifacts on multi-touch tabletops
Sorokin et al. 3D Scene Reconstruction and Digitization Method for Mixed Reality Systems
Li et al. Interactive system research based on animation visual effects
CN106951162B (zh) 一种信息处理方法及电子设备
Bhowmik et al. I1. 3: Invited Paper: Immersive Applications based on Depth‐Imaging and 3D‐Sensing Technology
Wieland Designing and Evaluating Interactions for Handheld AR
Lv et al. Preprint Touch-less Interactive Augmented Reality Game on Vision Based Wearable Device
Lukosch et al. Workshop on Collaborative Mixed Reality Environments (CoMiRE) Summary
Bhowmik et al. Advances in 3D‐Sensing Technologies and Applications
Hagihara et al. Proposal of a Real-Time Video Avatar Generation Method for Metaverse Environment

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees