TW201742447A - 互動式視訊會議 - Google Patents

互動式視訊會議 Download PDF

Info

Publication number
TW201742447A
TW201742447A TW106112611A TW106112611A TW201742447A TW 201742447 A TW201742447 A TW 201742447A TW 106112611 A TW106112611 A TW 106112611A TW 106112611 A TW106112611 A TW 106112611A TW 201742447 A TW201742447 A TW 201742447A
Authority
TW
Taiwan
Prior art keywords
roi
local
remote
ptzf
video
Prior art date
Application number
TW106112611A
Other languages
English (en)
Other versions
TWI630825B (zh
Inventor
奧日格 歐伊曼
尚皮爾 加卡隆
伊凡 福克斯
Original Assignee
英特爾股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾股份有限公司 filed Critical 英特爾股份有限公司
Publication of TW201742447A publication Critical patent/TW201742447A/zh
Application granted granted Critical
Publication of TWI630825B publication Critical patent/TWI630825B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4053—Arrangements for multi-party communication, e.g. for conferences without floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1106—Call signalling protocols; H.323 and related
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4046—Arrangements for multi-party communication, e.g. for conferences with distributed floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

揭示用於可操作以與遠端使用者設備執行視訊會議的本地使用者設備(UE)之技術。本地UE界定遠端UE的相機之視野內的感興趣區域(ROI)。本地UE將ROI映射至一或更多平移、傾斜、縮放及聚焦(PTZF)命令。本地UE將一或更多PTZF命令發送至遠端UE，其中，遠端UE配置成根據一或更多PTZF命令而辨識ROI。本地UE從遠端UE接收ROI內經編碼的視訊。經編碼的視訊包含具有增加的縮放程度且實質上維持界定的品質程度之ROI內的區域，以使ROI內的經編碼的視訊能夠呈現及顯示於本地UE。

Description

互動式視訊會議
本發明係關於互動式視訊會議。
包含串流及會談服務等多媒體服務的成長是演進至新行動寬頻技術及標準的關鍵推手。數位視訊內容在行動裝置中消費愈來愈多。在日常生活中，有許多視訊應用在行動裝置上被廣泛地使用。舉例而言，線上視訊串流包含例如YouTube及Hulu等受歡迎的服務。視訊記錄及視訊會議包含例如Skype和Google Hangout。在2011年，YouTube擁有超過1兆次的觀看。10%的觀看是經由行動電話或平板電腦存取的。隨著愈來愈多的智慧型電話、平板電腦、及其它行動計算裝置被購買，它們在視訊記錄及視訊會議上的使用將急遽成長。隨著消費者對多媒體服務如此高度的需求加上多媒體壓縮及無線網路基礎設施的發展，令人感興趣的是強化未來的蜂巢式及行動寬頻系統以及傳送高體驗品質(QoE)給消費者之多媒體服務能力，藉以確保在任何地點、任何時間、以任何裝置和技術，無 所不在地存取視訊內容及服務。
128‧‧‧遠端使用者設備
148‧‧‧本地使用者設備
150‧‧‧感興趣區域
220‧‧‧本地使用者設備
240‧‧‧使用者介面
250‧‧‧感興趣區域
310‧‧‧使用者介面
330‧‧‧感興趣區域
402‧‧‧遠端使用者設備
404‧‧‧本地使用者設備
900‧‧‧本地使用者設備
950‧‧‧遠端使用者設備
配合以舉例說明方式一起顯示揭示的特點之附圖，從下述詳細說明，本揭示的特點及優點將為明顯的；以及，其中：圖1顯示根據實施例之支援感興趣區域(ROI)縮放特點的IMS(MTSI)式視訊會議系統上的多媒體通話服務；圖2顯示根據實施例之使用者介面，其會產生平移(pan)、傾斜(tilt)、縮放及聚焦(PTZF)命令和經由遠端相機控制(FECC)協定而發出PTZF命令的訊號；圖3顯示根據實施例之用於將使用者界定的感興趣區域(ROI)映射至一或更多平移、傾斜、縮放及聚焦(PTZF)命令之技術；圖4是流程圖，顯示根據實施例之遠端使用者設備(UE)與本地UE之間的通訊，用於啟始IMS(MTSI)式視訊會議應用上多媒體通話服務之感興趣區域(ROI)縮放特點；圖5A顯示根據實施例之對話描述協定(SDP)的提議(offer)訊息，其標示根據即時傳輸協定(RTP)標頭擴充技術之強化的遠端相機控制(FECC)協定能力；圖5B顯示根據實施例之對話描述協定(SDP)答覆(answer)訊息，其接受根據即時傳輸協定(RTP)標頭 擴充技術之強化的遠端相機控制(FECC)協定能力；圖6A顯示根據實施例之對話描述協定(SDP)提議訊息，其標示根據即時傳輸控制協定(RTCP)回饋技術之強化的遠端相機控制(FECC)協定能力；圖6B顯示根據實施例之對話描述協定(SDP)答覆訊息，其接受根據即時傳輸控制協定(RTCP)回饋技術之強化的遠端相機控制(FECC)協定能力；圖7顯示根據實施例之可操作以與遠端UE執行視訊會議的本地使用者設備(UE)之功能；圖8顯示根據實施例之具有指令的至少一非暫時機器可讀取的儲存媒體之流程圖，用於操作支援互動式縮放之本地使用者設備(UE)處的視訊會議應用；圖9顯示根據實施例之可操作以執行與遠端UE的視訊會議之本地使用者設備(UE)的功能；圖10顯示根據實施例之可操作以執行與本地UE的視訊會議之遠端使用者設備(UE)的功能；及圖11顯示根據實施例之無線裝置(例如UE)圖。
現在將說明所示之舉例說明的實施例，並於此使用具體語言以說明其。然而，並非要藉此限定本發明的範圍。
【發明內容及實施方式】
在揭示及說明本發明之前，須瞭解本發明不侷限於此處所揭示的特定結構、製程步驟、或是材料，而是如同習於相關技藝者所認知般，可以延伸至其均等性。也應瞭 解，此處使用的術語僅為了說明特定實例而不是限定性的。在不同圖中相同的代號代表相同的元件。流程圖中及處理中提供的號數是在說明步驟及操作時為了清楚起見，並不一定表示特定次序或順序。
舉例說明的實施例
於下提供技術實施例的初始概述，然後更詳細地說明特定技術實施例。此初始概述是要幫助讀者更快速地瞭解技術，而不是要鑑別技術的持點或基本特點，也不是要限定主張的標的之範圍。
說明用於操作支援互動式縮放特點之本地使用者設備(UE)處的視訊會議應用之技術。在本地UE的本地使用者使用視訊會議應用而與在遠端UE的遠端使用者通訊。本地使用者經由本地UE的顯示螢幕上的視訊會議應用而觀看場景，其可選取場景內的區域。此區域被稱為遠端UE視野內的感興趣區域(ROI)。當本地使用者希望ROI內的內容更詳細呈現時，本地使用者可以選取ROI。本地使用者可以使用互動式縮放特點，從場景的視訊饋送動態地切換至場景內的選取區(亦即ROI)。ROI被映射至一或更多平移、傾斜、縮放及聚焦(PTZF)命令。換言之，PTZF命令描述或特徵化本地UE的本地使用者選取的ROI。本地UE經由即時傳輸控制協定(RTCP)回饋訊息、或者替代地使用即時傳輸協定(RTP)標頭擴充，而將PTZF命令傳送給遠端UE。遠端UE會處理PTZF命令 以辨識ROI。遠端UE可以拍攝ROI內的視訊。此外，遠端UE可以編碼ROI內的視訊。經編碼的視訊包含ROI內的區域以及排除ROI外面的區域。遠端UE將經編碼的視訊傳送給本地UE。經編碼的視訊包含ROI內的區域，該ROI內的區域具有增加的縮放程度並實質地維持界定的品質程度。換言之，遠端UE提供ROI內的經編碼的視訊以使經編碼的視訊能夠在本地UE播放。藉由遠端UE僅傳送選取的場景區(亦即ROI)給本地UE，以及將非選取的場景區排除傳輸，視訊會議應用可以有效率地使用可供利用的頻寬。
已開發很多多媒體標準，以使多媒體能夠對行動計算裝置傳輸、或是在行動計算裝置之間傳輸。舉例而言，在串流視訊時，第3代夥伴專案(3GPP)已開發技術規範(TS)26.234(例如發行版11.0.0)，其說明根據應求或實況內容之單播串流即時串流協定(RTSP)之封包切換串流服務(PSS)。此外，在3GPP 26.247(例如發行版11.0.0)中說明包含HTTP上漸進下載及動態適應串流(DASH)之超文件傳送協定(HTTP)式串流服務。3GPP式多媒體廣播及多播服務(MBMS)規格TS 26.346(例如發行版11.0.0)指明多播/廣播內容散佈之串流及下載技術。如此，例如使用者設備(UE)等DASH/PSS/MBMS式行動計算裝置可以在UE裝置處解碼及呈現串流視訊。在所有這些規格中強制3GPP TS 26.244中的3GP檔案格式之支援(例如，發行版11.0.0)，以支援檔案下 載及HTTP式串流使用情形。
在3GPP TS 26.114(例如11.0.0)中，提供視訊會議等視訊會談通訊的標準之一實例。此標準說明在IMS上的多媒體電話服務(MTSI)，其允許在網際網路協定(IP)多媒體子系統(IMS)式網路上遞送進階的多媒體會談服務及內容。在3GPP TS 26.140(例如發行版11.0.0)中，將IMS標準化。3GPP TS 26.140說明媒體操作及互動，包含媒體控制、媒體編解碼、及媒體和控制資料的傳輸。3GPP TS 26.140也能夠使用提供3GP檔案格式支援之多媒體共享服務(MMS)來共享視訊。
如下更詳細說明般，MTSI呼叫可以使用呼叫對話控制功能(CSCF)機制，以將涉及呼叫(例如視訊會議應用)的UE之間的控制平面發訊重新安排路徑。在控制平面中，應用伺服器(AS)存在以及提供補充服務，例如呼叫保留或恢復、呼叫遞送及多方呼叫、等等。
MTSI式傳送器UE終端可以拍攝及記錄視訊，然後在3GPP網路上將視訊傳送給MTSI式接收器UE終端。接收器UE終端接著解碼及呈現視訊。在MTSI中，對話初始協定(SIP)作為應用層控制協定以建立、修改及終止會談的多媒體對話，例如視訊會議、網際網路通話呼叫、等等。在發送及接收終端之間的對話描述協定(SDP)式發訊在媒體相關能力協商中允許提議/答覆考慮，包含編解碼、位元率、解析度等等。MTSI中媒體的傳輸是根據UDP/IP上的即時傳輸協定(RTP)(由IETF RFC 3550指定)。
拍攝裝置的解析度，因此是壓縮的視訊，正快速地增加。舉例而言，使用最近的高效能視訊編碼(HEVC)標準，可以傳輸4K內容並將其儲存為操作產品的一部份。具有4k-by-2k解析度的相機現正廣泛使用。已展示8k-by-4k的解析度之實況串流視訊。以像素的觀點而言，解析度未來可能增加。隨著這些很高解析度的內容，視訊串流的新用途現在是可能的，例如，互動式縮放特點。
目前出現在市場上的交談視訊服務，例如MTSI，以頻寬、空間解析度、定向、等等的觀點而言，能夠達成視訊動態適應。但是，這些交談視訊服務無法使使用者動態地切換至被串流的視訊中使用者選取的區域，以及使此使用者選取的區域之編碼最佳化。結果，在視訊呼叫中使用互動式縮放特點期間可取得的視訊解析度會受限。雖然，接收器應用可以放大感興趣區域(ROI)以及裁剪掉不要的視訊部份(例如，回應來自使用者介面的命令)，但是，目前系統的一限制是，在沒有任何來自接收端的ROI發訊時，發送端將仍然編碼及傳送整個視訊框。
在一實施例中，從MTSI接收器至MTSI發送器之ROI資訊發訊使得MTSI發送器能夠遞送更高品質的串流。對於視訊的ROI部份之編碼，MTSI發送器完全地或是多數地使用協商的位元率。為了達成此點，執行二方向上的發訊。MTSI發送器發送訊息給MTSI接收器以表示能力，以及，MTSI接收器發送訊息給MTSI發送器以表 示所需的ROI。
圖1顯示舉例說明的IMS上多媒體通話服務(MTSI)式視訊會議系統，其支援感興趣區域(ROI)縮放特點。與遠端使用者設備(UE)128(例如，行動電話、平板電腦、桌上型電腦、或其它適當裝置)相關連的使用者(例如使用者A)以及與本地UE 148相關的另一使用者(例如使用者B)正在開視訊會議。換言之，遠端UE 128及本地UE 148正在進行雙向視訊會議應用160。使用者A可以接近遠端UE 128(例如在遠端UE 128的前方)以及使用者B可以接近本地UE 148(例如在本地UE 148的前方)。遠端UE 128及本地UE 148均包含相機，當視訊會議應用160正進行時，能夠讓使用者看到彼此。遠端UE 128包含遠端相機，本地UE 148包含本地相機。遠端UE 128包含相機、及顯示幕，相機會在操作期間拍攝使用者A的影像，顯示幕在操作期間會顯示使用者B的影像給使用者A。類似地，本地UE 148包含相機、及顯示幕，相機會在操作期間拍攝使用者B的影像，顯示幕在操作期間會顯示使用者A的影像給使用者B。換言之，使用者A可以經由遠端UE 128上的顯示幕而觀看使用者B，以及，使用者B可以經由本地UE 148上的顯示幕而觀看使用者A。
在一實施例中，視訊會議應用160是在MTSI式的交談視訊系統上。換言之，視訊會議應用160在3GPP式多媒體通話服務上操作，3GPP式多媒體通話服務是將遠端 UE 128與本地UE 148彼此連接及連接至電話網路。
遠端UE 128經由無線電存取網路(RAN)126、服務一般封包無線電服務(GPRS)支援節點(SGSN)124、及/或閘道GPRS支援節點(GGSN)122，而連接至核心網路。遠端UE 128經由代理呼叫對話控制功能(P-CSCF)120來發送及接收資料。P-CSCF 120依據服務呼叫對話控制功能(S-CSCF)114而發送及接收資料。在某些實施例中，S-CSCF 114從應用伺服器(AS)112發送及接收資料，應用伺服器(AS)112提供補充服務，例如呼叫保留/恢復、呼叫遞送及多方呼叫、等等。在本實施例中，RAN 126、SGSN 124、GGSN 122、P-CSCF 120、S-CSCF 114及AS 112可以與操作者A 110相關連。S-CSCF 114可以從核心網路的其它方發送及接收資料。舉例而言，與操作者A 110相關連的S-CSCF 114可以與詢問CSCF(I-CSCF)136通訊，詢問CSCF(I-CSCF)136是與操作者B 130相關連的。
本地UE 148可以經由它自己的無線電存取網路(RAN)146、服務一般封包無線電服務(GPRS)支援節點(SGSN)144、及/或閘道GPRS支援節點(GGSN)142，而連接至核心網路。本地UE 148經由代理呼叫對話控制功能(P-CSCF)140來發送及接收資料。P-CSCF 140依據服務呼叫對話控制功能(S-CSCF)134而發送及接收資料。在某些實施例中，I-CSCF 134從應用伺服器(AS)132發送及接收資料，應用伺服器(AS)132提供 補充服務，例如呼叫保留/恢復、呼叫遞送及多方呼叫、等等。S-CSCF 114及S-CSCF 134均可以與詢問CSCF(I-CSCF)136通訊。換言之，操作者A 110經由S-CSCF 114與I-CSCF 136之間的通訊而與操作者B 130通訊。I-CSCF 136可以讀寫家庭用戶伺服器(HSS)138及/或用戶區域功能(SLF)138。在本實施例中，RAN 146、SGSN 144、GGSN 142、P-CSCF 140、HSS/SLF 138、I-CSCF 136、S-CSCF 134、及AS 132與操作者B 130相關連。
在一配置中，視訊會議應用160支援縮放特點。舉例而言，本地UE 148可以縮放遠端相機(亦即，與遠端UE 128相關連的相機)的視野中的特定特點或地點。在本地UE 148，使用者B界定遠端UE 128的視野內的感興趣區域(ROI)150。關於非限定的實施例，在遠端UE 128處，使用者A觀看遠端UE 128的顯示螢幕上使用者B的頭。在本地UE 148，使用者B觀看本地UE 148的顯示螢幕上使用者A的頭及驅體。使用者B希望強化觀看使用者A(例如，使用者B希望放大使用者的臉部)。使用者B界定在本地UE 148之ROI 150，以致於ROI 150包含使用者A的臉部。使用例如圖形使用者介面，在本地UE 148處界定ROI 150。換言之，使用者B使用例如電腦滑鼠或觸控螢幕等輸入裝置以選取區域。ROI 150包含遠端相機的視野內其它適當的區域。舉例而言，使用者B界定ROI 150以包含使用者A的軀體、使用者A後方的樹、等 等。關於其它實施例，ROI 150包含本地UE 148的顯示螢幕的右上區(對應於遠端相機的適當視野)、顯示螢幕的左下區、等等。
在一實施例中，使用者B將ROI 150界定為具有遠端相機的視野內任意的大小及地點。在另一實施例中，當ROI 150被界定時，遠端UE 128可維持不動，以致於選擇ROI 150時不會移動或是改變遠端相機的視野。在又另一實施例中，使用者B隨意選取新的ROI 150。此外，使用者A(在遠端UE 128)也選取類似的ROI以在使用者B上(在本地UE 148)放大。
如下述更詳細說明般，ROI 150映射至一或更多平移、傾斜、縮放及聚焦(PTZF)命令。PTZF命令特徵化或描述使用者B選取的ROI 150。在一實施例中，使用PTZF命令序列或系列來描述ROI 150。PTZF命令又定義於H.281/H.224協定中。與使用特定座標相反地，PTZF命令是特徵化ROI 150的替代解決之道。描述ROI 150的PTZF命令從本地UE 148送至遠端UE 128。如下述更詳細說明般，描述ROI 150的PTZF命令可以使用即時傳輸控制協定(RTCP)回饋訊息來通訊。在替代解決之道中，描述ROI 150的PTZF命令嵌入於拍攝到的本地視訊(亦即，在本地UE 148拍攝到的視訊)中的至少一即時傳輸協定(RTP)標頭擴充中。RTCP回饋訊息或RTP標頭擴充可以指引UE 128拍攝ROI 150內的視訊。
在某些實施例中，遠端UE 128可拍攝僅包含ROI 150及排除ROI 150外面的區域之視訊。關於非限定實施例，RTP標頭擴充或RTCP回饋訊息(包含描述ROI 150的PTZF命令)可以指示遠端UE 128拍攝使用者A的下巴上的創傷。換言之，遠端UE的相機可以僅拍攝使用者A的下巴上的創傷，而不拍攝圍繞使用者A的下巴之其它區域。
一旦拍攝到根據ROI 150的視訊時，遠端UE 128會使用例如相當低壓縮的編碼設計以將視訊編碼。因此，視訊提供ROI 150相當的特寫及詳細畫面，並實質地維持界定的品質程度。由於先前被用以將整個視野編碼之資源現在僅被用以編碼ROI 150，所以，遠端UE 128以低損失編碼設計而將視訊(具有ROI 150)編碼。遠端UE 128將經過編碼的視訊(僅具有ROI)傳送給本地UE 148。由於在傳送經編碼的視訊(僅具有ROI)時遠端UE 128消耗實質上相同數量的頻寬，所以，相較於遠端相機(與遠端UE 128相關)的整個視野，經編碼的視訊可以具有實質上相當高的品質。換言之，ROI的經編碼的視訊相當清楚且無粒狀或模糊。關於此點，此處揭示的技術優於先前技術，在先前技術中，使用者(例如使用者B)手動地放大顯示於顯示螢幕上的框，這會導致降低的品質程度。在目前的解決之道中，遠端UE 128可以協商的解析度只編碼ROI 150而非編碼整個拍攝到的框，這將在本地UE 148處導致更高的整體解析度以及更佳的使用者感受。
關於非限定的實施例，遠端UE 128將使用者A的下 巴上的創傷之視訊編碼。遠端UE 128可以使用相當低壓縮的編碼設計，以致於可以用相當大的解析度及清晰度來觀看使用者A的下巴。換言之，已編碼的視訊可以是使用者的下巴之放大呈現，但仍然維持相當高品質的程度(例如非顆粒的)。此外，使用整個頻寬以傳送使用者A的下巴之經編碼的視訊，這會造成相當清楚及詳細的使用者A的下巴呈現。相較於使用者A的所有臉部被包含作為經編碼的視訊之情形，此呈現提供增加之使用者A臉部的的細節。
在替代配置中，遠端UE 128可以拍攝包含遠端相機(與遠端UE 128相關連)的全視野之視訊。但是，遠端UE 128僅將包含ROI 150的視訊部份編碼。此外，遠端UE 128傳送僅包含ROI 150及排除ROI 150之外面的區域之經編碼的視訊。
本地UE 148從遠端UE 128接收經編碼的視訊，其中，經編碼的視訊包含ROI 150內的區域及排除ROI 150外面的區域。本地UE 148在與本地UE 148相關連的顯示螢幕上呈現及顯示經編碼的視訊。關於非限定實施例，坐在本地UE 148之前的使用者B觀看使用者A的下巴上的創傷之詳細及特寫呈現。使用者B隨時可以倒回至先前的使用者A的畫面，例如，使用者B還原縮放及倒回至觀看本地UE 148的顯示螢幕上使用者A的整個臉及驅體。
國際電信聯盟(ITU)電信標準化組(ITU-T)之即時傳輸協定(RTP)式多媒體服務的遠端相機控制係定義 於使用堆疊網際網路協定(IP)/用戶資料報協定(UDP)/RTP/H.224/H.281之ITU-T規格H.224/H.281中及網際網路工程工作小組(IETF)請求評估(RFC)4573中。
在遠端相機控制(FECC)協定中，如同ITU-T H.281所標準化般，可藉由PTZF-平移、傾斜、縮放及聚焦命令的發訊，達成感興趣區域(ROI)的標示及對特定ROI的縮放。舉例而言，START ACTION訊息的訊息格式如下：
START ACTION訊息包含用於平移(P)之向右(R)的第一值及向左(L)的第二值。START ACTION訊息包含用於傾斜(T)之向上(U)的第一值及向下(D)的第二值START ACTION訊息包含用於縮放(Z)之放大(I)的第一值、及縮小(O)的第二值。START ACTION訊息包含用於聚焦(F)的清晰(I)的第一值、及模糊(O)的第二值。
FECC協定依靠H.224上的ITU-T H.281。因此，可經由載送H.224框之RTP封包而將ROI資訊發訊。FECC是H.224框的內部以及由H.224封包的客戶ID欄位識別。此外，RFC 4573界定用以支援使用H.224的遠端相 機控制協定之對話描述協定(SDP)參數的語法及語意。SDP提議/答覆允許協商二MTSI客戶端之間的能力。
在3GPP MTSI的情形中，相機固定至裝置(例如平板電腦或智慧型手機)及未具有真正被獨立控制的能力。對於不具有平移/傾斜能力的固定相機，平移命令映射至左/右移動/位移(translation)，以及，傾斜命令可以映射至二維(2D)影像平面上之上/下移動/位移。如此，PTZ命令的結合允許縮放任意的感興趣區域。這些功能稱為vPTZ(虛擬PTZ)。藉由改變相機的輸入緩衝器，可以模仿相機動作，舉例而言，當平移或傾斜施加至整個影像時，未作出修改。當相機變焦時，可選取較小的長方形區，然後，藉由位移選取的長方形而接受傾斜及平移。
在一實施例中，從可能具有不佳頻寬之動態變化的鏈結特徵之行動通訊環境中的潛候期觀點而言，為了ROI發訊而直接使用FECC協定是不利的。FECC是漸進協定，其使用接收器(例如使用者選取ROI之本地UE)所作之PTZF命令連續傳輸直到使用者取得具有所需的ROI串流為止。換言之，發送器(例如編碼發生處的遠端UE)不具有確切的ROI資訊。此外，接收器(例如，產生ROI資訊之設有使用者介面的本地UE)不知道發送器(例如遠端UE)在處理收到的PTZF命令時將使用的步階尺寸。步階尺寸表示導因於給定的P和T命令之上/下及左/右位移的像素數目。步階尺寸也標示Z命令傳輸後發生的縮放量。這些不確定因素必然需要使用FECC協定以發送 PTZF命令序列直到具有所需ROI之串流被收到為止。
關於非限定的實施例，可使用13個PTZF命令來說明ROI。換言之，13個PTZF命令說明在接收器(或是本地UE)處由使用者選取的ROI。13個PTZF命令從接收器(例如本地UE)發送至發送器(例如遠端UE)。在傳統的技術中，發送13個PTZF命令的時間量是根據往返時間(RTT)及發出新PTZF命令之使用者介面延遲(UI_delay)。關於非限定實施例，往返時間是300毫秒(ms)，使用者介面延遲是100ms。因此，發送13個PTZF命令的時間量(亦即潛候期)侷限於13 x UI_delay+RTT(或1.6秒)與13 x RTT(或3.9秒)之間。換言之，在此實施例中，當發送PTZF命令序列時的潛候期是在1.6秒與3.9秒之間。因此，當使用傳統技術時，使用者觀看對應於請求的ROI之串流而感受到的潛候期可以大到3.9秒，這造成不佳的使用者感受。
此處揭示的新穎技術擴充先前的FECC協定，以致於視訊接收器(例如本地UE)以單一RTP封包(亦即在單一傳輸中)發送成組的多個PTZF命令序列給視訊發送器或遠端終端(例如遠端UE)。在替代的解決之道中，視訊接收器以單一RTCP封包發送成組的多個PTZF命令序列給視訊發送器。多個PTZF命令在視訊發送器處被序列地執行，這允許視訊發送器藉由訊息的往返交換而快速地收歛至所需ROI。此擴充的FECC協定版本稱為強化的FECC(eFECC)。換言之，強化的FECC支援可以標示視 訊接收器(例如本地UE)配置成在單一傳輸中發送PTZF命令序列，以及，視訊發送器(例如遠端UE)配置成處理PTZF命令序列、根據PTZF命令而辨識ROI、以及據以編碼ROI內的視訊。
在先前的實例中，當使用先前技術時，發送13個PTZF命令的時間量是在1.6秒與3.9秒之間。藉由使用強化的FECC，發送相同的13個PTZF命令的時間量降低。使用者為觀看對應於請求的ROI之串流而感受的潛候期由UI_delay+RTT決定。在本實施例中，UI_delay是300ms及RTT是100ms，因此，潛候期是400ms(或是0.4秒)。在行動設定中盲目使用以往的FECC協定會造成在觀看對應於請求的ROI之串流之前，使用者感受到的潛候期到令人無法忍受的程度。藉由使用強化的FECC，可以降低潛候期數量。
圖2顯示舉例說明的使用者介面240，其會產生平移、傾斜、縮放及聚焦(PTZF)命令及經由遠端相機控制(FECC)協定而將PTZF命令發訊。使用者介面240是在本地使用者設備(UE)220中。本地UE 220的第一使用者210與第二使用者230進行視訊會議。第二使用者230使用遠端UE(未顯示於圖2中)，以與第一使用者210執行視訊會議。因此，第一使用者210經由正在本地UE 220上運行的視訊會議應用而觀看第二使用者230。第一使用者210經由本地UE 220上的使用者介面240而選取感興趣區域(ROI)250。舉例而言，第一使用者210選 取第二使用者臉部的區域。由第一使用者210選取的此區標示為ROI 250。根據ROI 250的選取，本地UE 220產生PTZF命令序列。本地UE 220發送PTZF命令序列給遠端UE。遠端UE根據PTZF命令序列而辨識ROI 250。遠端UE僅發送包含ROI 250之經編碼的視訊。因此，本地UE 220的使用者介面240很詳細地顯示ROI 250給第一使用者210。
圖3顯示用於映射使用者界定的感興趣區域(ROI)330至一或更多平移、傾斜、縮放及聚焦(PTZF)命令之舉例說明的技術。使用者介面310顯示遠端使用者320。使用者介面310與本地使用者設備(UE)相關連及遠端使用者320與遠端UE相關連。在一實施例中，與本地UE相關連的本地使用者是以1080p及協商的解析度1920x1080而與遠端使用者320進行視訊會議。本地UE的本地使用者希望放大遠端使用者的臉部。換言之，本地UE的本地使用者要遠端使用者的臉部填充使用者介面310的增加部份以及具有更多細節(亦即，更大的縮放程度)。在此情形中，本地使用者經由本地UE上的使用者介面310而選取感興趣區域(ROI)330。舉例而言，本地使用者選取ROI 330以包圍遠端使用者的臉部。
如圖3所示，使用者介面310在X方向及Y方向上分割成選定數目的磚。ROI 330的使用者選取被轉譯成要從本地UE發送至遠端UE之PTZF命令的序列。在一實施例中，Z命令造成X及Y二個維度上約90%的中心縮 放，此可從X及Y維度上省略約10%的原始影像。P命令造成以中心磚340為中心而左/右移動經過磚，以及，各P命令的步階為1/4的x磚尺寸。T命令造成以中心磚340為中心而上/下移動經過磚，以及各T命令的步階為1/4的y磚尺寸。
如圖3所示，使用者界定的ROI 330與(1080,1560)的X座標及(540,810)的Y座標相關連。使用者介面310的左下角是(0,0)之X及Y座標原點。為了使用PTZF命令序列呈現ROI 330，使用至少八個縮放命令(如圖3的實心箭頭所示)以取得中心磚340。在以X(720,1200)及Y(405,675)之X-Y座標縮放之後，使用八個縮放命令取得中心磚340，以及，對應的中心磚340具有480 x 270的尺寸。換言之，中心磚340具有480個像素的X磚尺寸以及270個像素的Y磚尺寸。此外，使用至少二個向上的方向上的命令及至少三個向右方的向上的命令以取得ROI 330(如圖3中的虛線箭頭所示)。因此，總共使用13個PTZF命令以描述或特徵化ROI 330。PTZF命令從本地UE發送至遠端UE。遠端UE根據PTZF命令而分辨ROI 330，以及據此而提供ROI 330內的視訊給本地UE。
圖4是舉例說明的流程圖，顯示遠端使用者設備(UE)402與本地UE 404之間的通訊，用於啟始IMS(MTSI)式視訊會議應用上多媒體通話服務之感興趣區域(ROI)縮放特點。在一實施例中，遠端UE 402稱為 發送客戶端及本地UE 404稱為接收客戶端。遠端UE 402及本地UE 404均執行視訊會議應用，允許與遠端UE 402相關連的遠端使用者以及與本地UE 404相關連的本地使用者相通訊。
在遠端UE 402與本地UE 404之間的對話描述協定(SDP)式發訊在用於強化的遠端相機控制(FECC)協定支援之媒體有關的能力協商中允許提議/答覆考量。強化的FECC協定支援標示本地UE 404(或接收器)的能力，所述能力是以單一即時傳輸控制協定(RTCP)回饋訊息及/或以使用RTP標頭擴充機制之單一即時傳輸協定(RTP)封包，發送成組的使用H.281/H.224 FECC協定之平移、傾斜、縮放及聚焦(PTZF)命令序列。此外，強化的FECC協定支援標示遠端UE 402(或發送器)的能力，所述能力是處理PTZF命令序列、根據PTZF命令以辨識感興趣區域(ROI)、以及據此將ROI內的視訊編碼。
遠端UE 402發送SDP提議訊息給本地UE 404。如早先所述般，SDP提議訊息標示遠端UE 404支援強化的FECC協定。本地UE 404從遠端UE 402接收SDP提議訊息，以及，回應地，發送接受強化的FECC協定能力之SDP答覆訊息。
在一配置中，遠端UE 402發送步階尺寸給本地UE 404。換言之，步階尺寸包含於本地UE 404及遠端UE 402的發訊中。本地UE 404最初不知道遠端UE 402在處 理收到的PTZF命令時將使用的步階尺寸。因此，遠端UE 402發送步階尺寸給本地UE 404。遠端UE 402將步階尺寸作為專用的RTP標頭擴充屬性發送。步階尺寸標示導因於給定的P及T命令之上/下及左/右位移的像素數目。步階尺寸也標示傳送Z命令後發生的縮放量。結果，本地UE 404可以決定PTZF命令將在遠端UE 402如何被處理，以及，本地UE 404據此選取PTZF命令。
本地UE 404根據先前從遠端UE 402收到的步階尺寸而導出PTZF命令序列。PTZF命令對應於使用者界定的感興趣區域(ROI)。換言之，ROI由本地UE 404的本地使用者界定。本地UE 404將PTZF命令序列發訊給遠端UE 402。在一配置中，PTZF命令序列可在單一傳輸中從本地UE 404發送至遠端UE 402。換言之，多個PTZF命令群組在一起且同時發送給遠端UE 402。舉例而言，在單一RTCP封包中，發送PTZF命令序列。或者，將PTZF命令序列作為單一RTP封包中的RTP標頭擴充發送。使用用於逆向視訊串流的RTP標頭擴充，本地UE 404傳輸PTZF命令給遠端UE 402。
遠端UE 402從本地UE 404接收PTZF命令序列。遠端UE 402根據PTZF命令序列而分辨ROI。由於PTZF命令在單一傳送中被群組在一起，所以，遠端UE 402可以快速地處理PTZF命令以及以低潛候期遞送對應於所需ROI之串流。遠端UE 402拍攝僅包含ROI及排除ROI外面的區域之視訊。遠端UE 402編碼僅包含ROI的視訊。 遠端UE 402發送經編碼的視訊給本地UE 404。在一實施例中，遠端UE 402也標示用於順向視訊串流的RTP標頭擴充中真正傳送的ROI。本地UE 404接收包含ROI的經編碼的視訊以及在本地UE 404播放視訊。
當使用RTP標頭擴充訊息以將PTZF命令(例如ROI資訊)從本地UE 404發訊至遠端UE 402時，支援強化的FECC特點(如早先所述)之MTSI客戶端在SDP訊息中提供強化的FECC，用於含有視訊之所有媒體串流。藉由包含a=extmap屬性，而提供強化的FECC，a=extmap屬性標示相關的媒體線範圍之下強化的FECC一致資源名稱(URN)。舉例而言，強化的FECC URN設定為urn：3gpp：efecc。包含此URN的媒體線之實例為a=extmap：7 urn：3gpp：efecc。在媒體線的上述實例中，號數7由1與14範圍中的任何數目取代。
當使用RTCP訊息，將PTZF命令(例如ROI資訊)從本地UE 404發訊給遠端UE 402時，支援強化的FECC特點之MTSI客戶端以SDP訊息供應eFECC，用於所有含有視訊的媒體串流。藉由包含具有相關媒體線範圍之下新穎的eFECC型式之a=rtcp-fb屬性，而提供強化的FECC特點。舉例而言，配合RTCP回饋技術之eFECC型式以下述參數表示3gpp：efecc。使用通配酬載型式("*")以標示RTCP回饋屬性強化的FECC施加至所有酬載型式。假使支援數個型式的ROI回饋及/或相同的ROI回饋被指定用於酬載型式的子集合，則使用數個"a=rtcp-fb"線。根據 RTCP回饋技術而發訊媒體有關的eFECC之此屬性的使用實例是a=rtcp-fb：* 3gpp-efecc。
RTCP回饋技術涉及立即回饋及早期RTCP模式等二者中PTZF命令的發訊(例如ROI資訊)。用於eFECC之新穎的RTCP回饋型式包含：3gpp-efecc的值名稱、強化的遠端相機控制之長名稱、以及第3代夥伴專案(3GPP)技術規格(TS)26.114的參考。
取決於SDP能力協商期間客戶端如何協商支援特點，而雙向地或單向地支援強化的FECC能力。對於具有不對稱能力的終端(例如，處理PTZF命令或ROI資訊的能力但不偵測/發訊ROI資訊)，可以使用"sendonly"及"recvonly"屬性。終端係以足夠清楚之方式，表達它們在各方向上的能力，以致於訊號都以達到它們都表達有用的資訊之程度而僅在各方向上發送及由接收方處理。
強化的FECC特點包含PTZF命令序列中接收使用者(與遠端UE 402相關連)的目前ROI之發訊。PTZF命令的發訊根據H.281/H.224協定。PTZF命令發送給遠端UE 402(例如發送器)，以致於遠端UE 402最佳化地編碼及傳送拍攝到的ROI內的視訊。當強化的FECC被成功地協商時，其可由MTSI客戶端發訊。PTZF命令序列的發訊以使用RTP標頭擴充之單一RTP封包、或是單一RTCP訊息上分組的方式發生。
當使用RTCP回饋訊息時，本地UE 404(亦即接收終端)包含對應於正被傳送至遠端UE 402(亦即發送 端)之RTCP回饋訊息中接收使用者的目前ROI資訊之PTZF命令序列。當使用RTP標頭擴充時，本地UE 404(亦即，接收終端)包含對應於正被傳送至遠端UE 402(亦即發送端)之RTP封包中接收使用者的目前ROI資訊之PTZF命令序列。這些RTP封包載送可用於MTSI中的雙向視訊通訊之反向視訊串流。
圖5A顯示舉例說明之對話描述協定(SDP)提議訊息。SDP提議訊息會從遠端使用者設備(UE)傳輸至本地UE。SDP提議訊息可根據即時傳輸協定(RTP)標頭擴充技術。SDP提議訊息標示在遠端UE之強化的遠端相機控制(FECC)協定能力。特別地，強化的FECC協定能力可以標示下述遠端UE的能力：處理自本地UE接收的平移、傾斜、縮放及聚焦(PTZF)命令序列、從PTZF命令序列辨識感興趣區域(ROI)、及據此而將ROI內的視訊編碼。舉例而言，SDP提議訊息包含"a=extmap"及"4 urn：3gpp：efecc"之相關連值。
圖5B顯示舉例說明之對話描述協定(SDP)答覆訊息。SDP答覆訊息從本地使用者設備(UE)傳輸至遠端UE。SDP答覆訊息是根據即時傳輸協定(RTP)標頭擴充技術。SDP答覆訊息接受遠端UE之強化的遠端相機控制(FECC)協定能力。舉例而言，SDP答覆訊息包含"a=extmap"及"4 urn：3gpp：efecc"之相關連值。
圖6A顯示舉例說明之對話描述協定(SDP)提議訊息。SDP提議訊息從遠端使用者設備(UE)傳輸至本地 UE。SDP提議訊息是根據即時傳輸控制協定(RTCP)回饋技術。SDP提議訊息標示在遠端UE之強化的遠端相機控制(FECC)協定能力。特別地，強化的FECC協定能力可以標示下述遠端UE的能力：處理自本地UE接收的平移、傾斜、縮放及聚焦(PTZF)命令序列、從PTZF命令序列辨識感興趣區域(ROI)、及據此而將ROI內的視訊編碼。舉例而言，SDP提議訊息包含"a=rtcp-fb"及"3gpp：efecc"之相關連值。
圖6B顯示舉例說明之對話描述協定(SDP)答覆訊息。SDP答覆訊息從本地使用者設備(UE)傳輸至遠端UE。SDP答覆訊息是根據即時傳輸控制協定(RTCP)回饋技術。SDP答覆訊息接受遠端UE之強化的遠端相機控制(FECC)協定能力。舉例而言，SDP答覆訊息包含"a=extmap"及"4 urn：3gpp：efecc"之相關連值。
如圖7中的流程圖所示，另一實施例提供可操作以與遠端UE執行視訊會議的本地使用者設備(UE)之功能700。功能可以實施成為方法，或者，功能可以作為機器上的指令執行，其中，指令包含在至少一電腦可讀取的媒體或一非暫時的機器可讀取的媒體上。本地UE具有一或更多處理器，配置成如區塊710中般，在本地UE界定遠端UE的相機之視野內的感興趣區域(ROI)。如區塊720中般，一或更多處理器配置成將ROI映射至一或更多平移、傾斜、縮放及聚焦(PTZF)命令。如區塊730中般，一或更多處理器配置成將一或更多PTZF命令從本地 UE發送至遠端UE，其中，遠端UE配置成根據一或更多PTZF命令而辨識ROI。如區塊740中般，一或更多處理器配置成從遠端UE接收經編碼之ROI內的視訊，經編碼的視訊包含ROI內的區域及排除ROI外面的區域，經編碼的視訊包含具有增加的縮放程度且實質上維持界定的品質程度之ROI內的區域，以使ROI內的經編碼的視訊呈現及顯示於本地UE。
在一配置中，第一處理器執行區塊710及720中的作業。第一處理器可為單一處理器，或者替代地第一處理器包括一或更多分別的處理器。在一配置中，第二處理器執行區域730及740中的作業。第二處理器的一實施例是基頻帶處理器。
在一實施例中，一或更多PTZF命令是根據國際電信聯盟(ITU)H.281/H.224協定。在另一實施例中，一或更多處理器配置成在單一傳輸中發送一或更多PTZF命令給遠端UE。在又另一實施例中，由與本地UE互動的使用者選取ROI。此外，一或更多處理器配置成使用即時傳輸控制協定(RTCP)回饋訊息以將一或更多PTZF命令發送給遠端UE。
在一實施例中，一或更多處理器配置成：將一或更多PTZF命令嵌入於至少一即時傳輸協定(RTP)標頭擴充中；以及，將拍攝到的本地視訊發送給遠端UE，拍攝到的本地視訊包含具有一或更多PTZF命令之RTP標頭擴充。在另一實施例中，一或更多處理器又配置成從遠端 UE接收一或更多步階尺寸，所述一或更多步階尺寸是在遠端UE處被用以處理從本地UE發送的一或更多PTZF命令。
在一實施例中，一或更多步階尺寸被作為專用的即時傳輸協定(RTP)標頭擴充屬性發訊。在另一實施例中，使用遠端UE的固定的非移動相機以拍攝經編碼的視訊。在又另一實施例中，根據遠端相機控制(FECC)協定，將一或更多PTZF命令發送至遠端UE。此外，一或更多處理器又配置成從遠端UE接收對話描述協定(SDP)提議訊息，SDP提議訊息標示遠端UE支援用於接收一或更多PTZF命令之強化的遠端相機控制(FECC)協定。
在一實施例中，一或更多處理器又配置成發送對話描述協定(SDP)答覆訊息，確認本地UE支援用於發送一或更多PTZF命令之強化的遠端相機控制(FECC)協定。在另一實施例中，一或更多處理器配置成發送一或更多PTZF命令給遠端UE，其中，遠端UE配置成拍攝對應於一或更多PTZF命令之ROI內的視訊以及僅將ROI內的視訊編碼。在又另一實施例中，一或更多處理器又配置成與支援ROI式互動縮放特點之遠端UE操作視訊會議應用。
圖8的流程圖中所示的另一實施例提供具有指令嵌入於上之至少一非暫時的的機器可讀取的媒體的功能800，功能800用於在支援互動式縮放特點之本地使用者設備(UE)操作視訊會議應用。如區塊810中所示般，指令當被執行時會促使本地UE使用本地UE的至少一處理器 以執行辨識遠端UE的相機視野內使用者界定的感興趣區域(ROI)。如區塊820中所示般，指令當被執行時會促使本地UE使用本地UE的至少一處理器以執行映射ROI至一或更多平移、傾斜、縮放及聚焦(PTZF)命令。如區塊830中所示般，指令當被執行時會促使本地UE使用本地UE的至少一處理器以執行將一或更多PTZF命令從本地UE發送至遠端UE，其中，遠端UE配置成根據一或更多PTZF命令而辨識ROI。如區塊840中所示般，指令當被執行時會促使本地UE使用本地UE的至少一處理器以執行從遠端UE接收經編碼的ROI內的視訊，經編碼的視訊包含ROI內的區域及排除ROI外面的區域，經編碼的視訊包含具有增加的縮放程度且實質上維持界定的品質程度之ROI內的區域。如區塊850中所示般，指令當被執行時會促使本地UE使用本地UE的至少一處理器以執行提供ROI內的經編碼視訊用於在本地UE呈現及顯示。
在一實施例中，一或更多PTZF命令是根據國際電信聯盟(ITU)H.281/H.224協定。在另一實施例中，至少一或更多非暫時的機器可讀取的儲存器又包括指令，指令當由本地UE的至少一處理器執行時會促使UE執行在單一傳輸中發送一或更多PTZF命令給遠端UE。在又另一實施例中，至少一或更多非暫時的機器可讀取的儲存器又包括指令，指令當由本地UE的至少一處理器執行時會促使本地UE使用即時傳輸控制協定(RTCP)回饋訊息以執行將一或更多PTZF命令發送給遠端UE。
在一實施例中，至少一或更多非暫時的機器可讀取的儲存器又包括指令，指令當由本地UE的至少一處理器執行時會促使本地UE執行下述：將一或更多PTZF命令嵌入於至少一即時傳輸協定(RTP)標頭擴充中；以及，將拍攝到的本地視訊發送給遠端UE，拍攝到的本地視訊包含具有一或更多PTZF命令之RTP標頭擴充。在另一實施例中，至少一或更多非暫時的機器可讀取的儲存器又包括指令，指令當由本地UE的至少一處理器執行時會促使本地UE執行從遠端UE接收一或更多步階尺寸，所述一或更多步階尺寸是在遠端UE處被用以處理從本地UE發送的一或更多PTZF命令，其中，一或更多步階尺寸被當作專用的即時傳輸協定(RTP)標頭擴充屬性發訊。此外，根據遠端相機控制(FECC)協定，將一或更多PTZF命令發送至遠端UE。
如圖9中的流程圖所示，另一實施例提供可操作以與遠端UE 950執行視訊會議的本地使用者設備(UE)900之功能。本地UE 900包含感興趣區域(ROI)模組910，配置成辨識遠端UE 950的相機之視野內使用者界定的ROI。本地UE 900包含映射模組920，配置成將ROI映射至一或更多平移、傾斜、縮放及聚焦(PTZF)命令，一或更多PTZF命令係根據國際電信聯盟(ITU)H.281/H.224協定而界定的。本地UE 900包含通訊模組930，配置成：一或更多PTZF命令可在單一傳輸中從本地UE發送至遠端UE 950，其中，遠端UE配置成根據一 或更多PTZF命令而辨識ROI；以及，從遠端UE接收經編碼之ROI內的視訊，經編碼的視訊包含ROI內的區域及排除ROI外面的區域，經編碼的視訊包含具有增加的縮放程度且實質上維持界定的品質程度之ROI內的區域。本地UE 900包含顯示模組940，配置成提供ROI內的經編碼的視訊以在本地UE呈現及顯示。
在一實施例中，通訊模組930又配置成：從遠端UE 950接收對話描述協定(SDP)提議訊息，SDP提議訊息標示遠端UE支援用於接收一或更多PTZF命令之強化的遠端相機控制(FECC)協定；以及，發送對話描述協定(SDP)答覆訊息，確認本地UE支援用於發送一或更多PTZF命令之強化的遠端相機控制(FECC)協定。
在一實施例中，通訊模組930又配置成發送一或更多PTZF命令給遠端UE 950，其中，遠端UE配置成拍攝對應於一或更多PTZF命令之ROI內的視訊以及僅將ROI內的視訊編碼。在另一實施例中，通訊模組930又配置成使用即時傳輸控制協定(RTCP)回饋訊息以發送一或更多PTZF命令給遠端UE。
如圖10中的流程圖所示，另一實施例提供可操作以與本地UE執行視訊會議的遠端使用者設備(UE)之功能1000。功能可以實施成為方法，或者，功能可以作為機器上的指令執行，其中，指令包含在至少一電腦可讀取的媒體或一非暫時的機器可讀取的媒體上。遠端UE具有一或更多處理器，配置成如區塊1010中般，從本地UE接收 一或更多平移、傾斜、縮放及聚焦(PTZF)命令。如區塊1020中般，一或更多處理器配置成在遠端UE根據一或更多PTZF命令而辨識感興趣區域(ROI)，ROI是在遠端UE的相機之視野內。如區塊1030中般，一或更多處理器配置成產生經編碼的ROI內視訊，經編碼的視訊包含在ROI內的區域及排除ROI外面的區域，經編碼的視訊包含具有增加的縮放程度且實質上維持界定的品質程度之ROI內的區域。如區塊1040中般，一或更多處理器配置成發送ROI內的經編碼的視訊給本地UE以使本地UE能夠呈現及顯示ROI內的經編碼的視訊。
在一配置中，第一處理器執行區塊1010、1020及1030中的作業。第一處理器可為單一處理器，或者替代地，第一處理器包括一或更多分別的處理器。在一配置中，第二處理器執行區域1040中的作業。第二處理器的一實施例是基頻帶處理器。
在一實施例中，一或更多PTZF命令是根據國際電信聯盟(ITU)H.281/H.224協定。在另一實施例中，一或更多處理器配置成接收在單一傳輸中來自本地UE的一或更多PTZF命令。在又另一實施例中，一或更多處理器配置成使用即時傳輸控制協定(RTCP)回饋訊息以接收來自本地UE的一或更多PTZF命令。此外，一或更多處理器又配置成發送一或更多步階尺寸給本地UE，所述一或更多步階尺寸是在遠端UE處被用以處理一或更多PTZF命令，其中，一或更多步階尺寸被當作專用的即時傳輸協定 (RTP)標頭擴充屬性發訊。
圖11提供例如使用者設備(UE)、行動台(MS)、行動無線裝置、行動通訊裝置、平板電腦、手機、或其它型式的無線通訊裝置等無線裝置之實例。無線裝置包含一或更多天線，配置成與例如基地台(BS)、演進節點B(eNB)、基頻帶單元(BBU)、遠端無線電頭端(RRH)、遠端無線電設備(RRE)、中繼站(RS)、無線電設備(RE)、遠端無線電單元(RRU)、中央處理模組(CPM)、或其它型式的無線廣域網路(WWAN)接取點等節點或傳輸站通訊。無線裝置配置成使用包含3GPP LTE、WiMAX、高速封包接取(HSPA)、藍芽、及WiFi中至少之一無線通訊標準來通訊。無線裝置使用用於各別無線通訊標準的分別天線或用於多個無線通訊標準的共用天線。無線裝置在無線區域網路(WLAN)、無線個人區域網路(WPAN)、及/或WWAN中通訊。
圖11也提供可用於音頻輸入及來自無線裝置的輸出之麥克風和一或更多揚聲器。顯示幕可為液晶顯示器(LCD)幕、或例如有機發光二極體(OLED)顯示器等其它型式的顯示幕。顯示幕可配置成觸控顯示幕。觸控顯示幕可使用電容式、電阻式、或另一型式的觸控幕技術。應用處理器及圖形處理器耦合至內部記憶體以提供處理和顯示能力。非依電性記憶體埠也用以提供資料輸入/輸出選項給使用者。非依電性記憶體埠也用以擴充無線裝置的記憶體能力。鍵盤可與無線裝置整合或是無線地連接至無 線裝置以提供額外的使用者輸入。也可使用觸控顯示幕提供虛擬鍵盤。
各式各樣的技術或是其某些態樣或部份可以採取具體實施於例如軟碟、光碟唯讀記憶體(CD-ROM)、硬碟、非暫時電腦可讀取的儲存媒體、或任何其它機器可讀取的儲存媒體等實體媒體中的程式碼(亦即，指令)的形式，其中，當程式碼由例如電腦等機器載入及執行時，機器成為用於實施各式各樣的技術之設備。電路包含硬體、韌體、程式碼、可執行碼、電腦指令、及/或軟體。非暫時電腦可讀取的儲存媒體可為未包含訊號之電腦可讀取的儲存媒體。在程式碼於可編程電腦上執行的情形中，計算裝置包含處理器、可由處理器讀取的儲存媒體(包含依電性及非依電性記憶體及/或儲存元件)、至少一輸入裝置、及至少一輸出裝置。依電性及非依電性記憶體及/或儲存元件可為隨機存取記憶體(RAM)、可抹拭可編程唯讀記憶體(EPROM)、快閃驅動器、光學驅動器、磁碟機、固態狀態驅動器、或用於儲存電子資料的其它媒體。節點及無線裝置也包含收發器模組(亦即，收發器)、計數器模組(亦即，計數器)、處理模組(亦即處理器)、及/或時脈模組(亦即時脈)或時計模組(亦即時計)。可實施或利用此處所述的各式各樣的技術之一或更多程式可以使用應用程式介面(API)、可再使用的控制、等等。這些程式可以以高階程序或物件導向程式語言實施以與電腦系統通訊。但是，假使需要時，程式可以以組合語言或機 器語言實施。在任何情形中，語言可為編譯或解譯的語言、且與硬體實施相結合。
如同此處所使用般，處理器一詞包含一般用途處理器、例如VLSI、FPGA等專用處理器、或其它型式的專用處理器、以及收發器中用以發送、接收、及處理無線通訊的基頻帶處理器。
應瞭解，本說明書中所述的很多功能單元標示成模組，以更特別強調它們的實施獨立性。舉例而言，組件可實施成硬體電路，包括客製化超大型積體(VLSI)電路或閘陣列、例如邏輯晶片等現成半導體、電晶體、或其它離散的組件。模組也可由例如現場可編程閘陣列、可編程陣列邏輯、可編程邏輯裝置等等可編程硬體裝置來實施。
在一實施例中，可以使用多個硬體電路或多個處理器來實施本說明書中所述的功能單元。舉例而言，第一硬體電路或第一處理器可以用以執行處理作業，且第二硬體電路或第二處理器(例如，收發器)可用以與其它實體通訊。第一硬體電路及第二硬體電路可以整合成單一硬體電路，或者替代地，第一硬體電路及第二硬體電路可以是分開的硬體電路。
模組也可由各式處理器執行的軟體來實施。舉例而言，經過識別之可執行碼的模組包括一或更多可組織成例如物件、程序、或函數之電腦指令的實體或邏輯區。然而，經過識別的模組之可執行碼無需實體地設置在一起，但是可以包括儲存在不同位置中的相異指令，當它們邏輯 上接合在一起時，包括模組及達成所述模組之目的。
事實上，可執行碼的模組可為單一指令、或是很多指令、以及甚至分佈於數個不同的碼段中、不同的程式中、及遍及數個記憶體裝置。類似地，此處在模組內可以辨識及顯示操作資料，操作資料可以以任何適當形式具體實施及在任何適當型式的資料結構內組織。操作資料可以被收集成單一資料集，或是散佈於不同位置，包含在不同儲存裝置上，以及，操作資料可以至少部份地存在僅作為系統或網路上的電子訊號。模組可以是被動的或主動的，包含可操作以執行所需功能的代理器。
在本說明書中述及「實例」或是「舉例而言」是意指配合實例所述的特定特點、結構、或特徵包含在本發明的至少一實施例中。因此，在本說明書中不同處出現「在實例中」或是「舉例而言」等文字時，並非都意指相同實施例。
如此處所使用般，為了方便起見，在共同清單中呈現眾多項目、結構元件、構成元件、及/或材料。但是，這些清單應被解釋為宛如清單的各構件被個別地識別為分別的及獨特的構件。因此，除非另外指明，否則此清單的個別構件不應僅根據它們呈現在共同組中即被解釋為相同清單的任何其它構件的實質上等同構件。此外，此處述明本發明的各式實施例及實例、與其各種組件的替代。須瞭解，這些實施例、實例、及替代不應解釋為是彼此實質上等同的，而是被視為分別的及獨立自主的本發明之代表。
此外，在一或更多實施例中，所述的特點、結構、或特徵可以以任何適當的方式結合。在下述說明中，提供眾多具體細節，例如佈局實例、距離、網路實例、等等，以助於完整瞭解本發明的實施例。但是，習於相關技藝者將瞭解，沒有這些具體細節之一或更多、或是以其它方法、組件、佈局、等等，仍可實施本發明。在其它情形中，未詳細地顯示或說明習知的結構、材料、或操作，以免模糊本發明的態樣。
雖然前述實例在一或更多特定應用中說明本發明的原理，但是，在不悖離本發明的原理及概念之下以及沒有創新的機能下，習於此技藝者將清楚知道對實施的形式、使用及細節作出很多修改。因此，本發明的範圍僅由後附申請專利範圍限定。
110‧‧‧操作者A
112‧‧‧AS
114‧‧‧S-CSCF
120‧‧‧P-CSCF
122‧‧‧GSGN
124‧‧‧SGSN
126‧‧‧RAN
128‧‧‧遠端使用者設備
130‧‧‧操作者B
132‧‧‧AS
134‧‧‧S-CSCF
136‧‧‧I-CSCF
138‧‧‧HSS/SLF
140‧‧‧P-CSCF
142‧‧‧GGSN
144‧‧‧SGSN
146‧‧‧RAN
148‧‧‧本地使用者設備
150‧‧‧感興趣區域
160‧‧‧視訊會議應用

Claims (20)

  1. 一種在網際網路協定(IP)多媒體子系統(IMS)(MTSI)接收器上的多媒體電話服務的裝置，可操作以支援與MTSI發送器的感興趣區域(ROI)發訊，該裝置包含一或更多處理器及記憶體，其配置成：在該MTSI接收器界定請求的感興趣區域(ROI)；在該MTSI接收器將該請求的ROI映射至一或更多平移、傾斜、縮放及聚焦(PTZF)命令；在該記憶體中儲存被映射至該請求的ROI的該一或更多PTZF命令；透過即時傳輸協定(RTP)封包發出該一或更多PTZF命令的訊號用於傳輸至該MTSI發送器，該一或更多PTZF命令呈現該請求的ROI；以及在該MTSI接收器解碼從該MTSI發送器接收到的經編碼的視訊，其中該經編碼的視訊是在該請求的ROI之內。
  2. 如申請專利範圍第1項之裝置，又包含收發器，其配置成：將該一或更多PTZF命令透過該RTP封包發送至該MTSI發送器；以及從該MTSI發送器接收該經編碼的視訊。
  3. 如申請專利範圍第1項之裝置，其中，該一或更多PTZF命令是根據國際電信聯盟(ITU)H.281協定，其支援相機移動用於平移、傾斜、縮放及聚焦(PTZF)。
  4. 如申請專利範圍第1項之裝置，其中：當該MTSI發送器包括固定的非移動相機時，平移命令被映射至在影像平面上的左或右移動或位移(translation)；或當該MTSI發送器包括固定的非移動相機時，傾斜命令被映射至在該影像平面上的上或下移動或位移。
  5. 如申請專利範圍第1項之裝置，其中，根據遠端相機控制(FECC)協定，將該一或更多PTZF命令發訊至該MTSI發送器。
  6. 如申請專利範圍第1項之裝置，其中，透過該RTP封包將該一或更多PTZF命令發訊至該MTSI發送器用於傳輸，該RTP封包使用堆疊網際網路協定(IP)/用戶資料報協定(UDP)/RTP/H.224/H.281載送H.224框。
  7. 如申請專利範圍第1項之裝置，其中，該一或更多PTZF命令使得該MTSI接收器能夠縮放任意的ROI。
  8. 一種非暫時的機器可讀取的儲存媒體，具有複數指令嵌入於上，用於在支援互動式縮放特點之本地客戶操作視訊會議應用，該等指令當被一或更多處理器執行時會促使該本地客戶執行下述：界定在與遠端客戶相關連的相機視野內的感興趣區域(ROI)；將該ROI映射至一或更多平移、傾斜、縮放及聚焦(PTZF)命令；處理該一或更多PTZF命令用於透過即時傳輸協定 (RTP)封包從該本地客戶傳輸到該遠端客戶；解碼從該遠端客戶接收到的該ROI內的經編碼的視訊，該經編碼的視訊包含該ROI內的區域及排除該ROI外面的區域；以及提供該ROI內的該經編碼的視訊用於在該本地客戶呈現及顯示。
  9. 如申請專利範圍第8項之非暫時的機器可讀取的儲存媒體，其中，該一或更多PTZF命令是根據國際電信聯盟(ITU)H.281/H.224協定。
  10. 如申請專利範圍第8項之非暫時的機器可讀取的儲存媒體，又包括複數指令，該等指令當由該一或更多處理器執行時會促使該本地客戶執行下述：處理該一或更多PTZF命令用於在單一傳輸中遞送至該遠端客戶。
  11. 如申請專利範圍第8項之非暫時的機器可讀取的儲存媒體，又包括複數指令，該等指令當由該一或更多處理器執行時會促使該本地客戶執行下述：依據接收到的使用者輸入界定該ROI。
  12. 如申請專利範圍第8項之非暫時的機器可讀取的儲存媒體，其中，根據遠端相機控制(FECC)協定，將該一或更多PTZF命令發送至該遠端客戶。
  13. 如申請專利範圍第8項之非暫時的機器可讀取的儲存媒體，又包括複數指令，該等指令當由該一或更多處理器執行時會促使該本地客戶執行下述：依據被提供給該本地客戶的使用者選擇界定該ROI。
  14. 如申請專利範圍第8項之非暫時的機器可讀取的儲存媒體，又包括複數指令，該等指令當由該一或更多處理器執行時會促使該本地客戶執行下述：與支援ROI式互動縮放特點之遠端客戶操作視訊會議應用。
  15. 一種遠端使用者設備(UE)的裝置，可操作以與本地UE執行視訊會議，該裝置包含一或更多處理器，其配置成：在該遠端UE處理透過即時傳輸協定(RTP)封包從該本地UE接收到的一或更多平移、傾斜、縮放及聚焦(PTZF)命令；在該遠端UE根據該一或更多PTZF命令而辨識感興趣區域(ROI)，該ROI是在該遠端UE的相機視野內；編碼在該ROI內的視訊，該經編碼的視訊包括在該ROI內的區域及排除該ROI外面的區域；以及在該遠端UE處理該ROI內的該經編碼的視訊用於傳輸給該本地UE。
  16. 如申請專利範圍第15項之裝置，又包含記憶體，其配置成儲存該一或更多PTZF命令以及對應於該一或更多PTZF命令的該ROI。
  17. 如申請專利範圍第15項之裝置，其中，該一或更多PTZF命令是根據國際電信聯盟(ITU)H.281/H.224協定。
  18. 如申請專利範圍第15項之裝置，其中，該一或更多處理器配置成處理在單一傳輸中從該本地UE接收到的 該一或更多PTZF命令。
  19. 如申請專利範圍第15項之裝置，又包含固定的非移動相機，其配置成拍攝該ROI內的該經編碼的視訊，其中，當該遠端UE包括該固定的非移動相機時，平移命令被映射至在影像平面上的左或右移動或位移，或當該遠端UE包括該固定的非移動相機時，傾斜命令被映射至在該影像平面上的上或下移動或位移。
  20. 如申請專利範圍第15項之裝置，其中，根據遠端相機控制(FECC)協定，從該本地UE接收該一或更多PTZF命令。
TW106112611A 2014-10-02 2015-08-31 互動式視訊會議 TWI630825B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201462059025P 2014-10-02 2014-10-02
US62/059,025 2014-10-02
US14/704,437 2015-05-05
US14/704,437 US9516220B2 (en) 2014-10-02 2015-05-05 Interactive video conferencing
??PCT/US15/44351 2015-08-07
PCT/US2015/044351 WO2016053477A1 (en) 2014-10-02 2015-08-07 Interactive video conferencing

Publications (2)

Publication Number Publication Date
TW201742447A true TW201742447A (zh) 2017-12-01
TWI630825B TWI630825B (zh) 2018-07-21

Family

ID=53879849

Family Applications (2)

Application Number Title Priority Date Filing Date
TW106112611A TWI630825B (zh) 2014-10-02 2015-08-31 互動式視訊會議
TW104128649A TWI590664B (zh) 2014-10-02 2015-08-31 互動式視訊會議

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW104128649A TWI590664B (zh) 2014-10-02 2015-08-31 互動式視訊會議

Country Status (7)

Country Link
US (4) US9516220B2 (zh)
EP (1) EP3202137B1 (zh)
JP (3) JP6359764B2 (zh)
KR (2) KR101936944B1 (zh)
CN (1) CN106797448A (zh)
TW (2) TWI630825B (zh)
WO (1) WO2016053477A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105144768B (zh) 2013-04-26 2019-05-21 英特尔Ip公司 频谱共享情境中的共享频谱重新分配
US9386275B2 (en) * 2014-01-06 2016-07-05 Intel IP Corporation Interactive video conferencing
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
US10021346B2 (en) 2014-12-05 2018-07-10 Intel IP Corporation Interactive video conferencing
US9706107B2 (en) * 2015-07-13 2017-07-11 Avaya Inc. Camera view control using unique nametags and gestures
US10257284B2 (en) * 2015-12-30 2019-04-09 Samsung Electronics Co., Ltd. Broadcasting local function templates to proximate mobile computing devices
KR20170091913A (ko) * 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치
US20170237986A1 (en) * 2016-02-11 2017-08-17 Samsung Electronics Co., Ltd. Video encoding method and electronic device adapted thereto
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
KR102540459B1 (ko) * 2016-12-22 2023-06-05 한화비전 주식회사 Rtp/rtsp 표준을 따르는 서버와 클라이언트에서 실시간 영상 스트리밍 방법
CN110178368B (zh) 2017-01-31 2021-12-14 惠普发展公司，有限责任合伙企业 基于所接收的信息的视频变焦控制
GB2560029A (en) * 2017-02-28 2018-08-29 Nicholas Mcardell Roger A system and a method for switching focus and a connector
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
US10523820B2 (en) 2017-06-02 2019-12-31 Apple Inc. High-quality audio/visual conferencing
WO2019035007A1 (en) 2017-08-15 2019-02-21 American Well Corporation APPARATUS AND METHODS FOR REMOTE CAMERA CONTROL WITH INTENTION BASED COMMANDS AND AUTOMATIC LEARNING VISION STATUS MANAGEMENT
KR102044242B1 (ko) * 2017-12-27 2019-11-13 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말 및 서버
US20190215729A1 (en) * 2018-03-15 2019-07-11 Intel Corporation Session description protocol mechanisms for signaling radio access network capabilities in multimedia telephony sessions
US10887514B2 (en) * 2018-12-21 2021-01-05 Fuji Xerox Co., Ltd. System and method of providing gaze and awareness for ultra wide and 360 cameras
KR102282963B1 (ko) 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
US11848023B2 (en) * 2019-06-10 2023-12-19 Google Llc Audio noise reduction
US20200329088A1 (en) * 2019-07-26 2020-10-15 Intel Corporation Viewport indication during streaming of volumetric point cloud content
KR102311603B1 (ko) 2019-10-01 2021-10-13 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
CN114615362B (zh) * 2020-12-09 2023-07-11 华为技术有限公司 相机控制方法、装置和存储介质
WO2023122511A1 (en) * 2021-12-21 2023-06-29 Canon U.S.A., Inc. Apparatus and method for controlling an online meeting
US11900677B2 (en) 2022-02-25 2024-02-13 Cisco Technology, Inc. User-selected multi-view videoconferencing

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496607B1 (en) 1998-06-26 2002-12-17 Sarnoff Corporation Method and apparatus for region-based allocation of processing resources and control of input image formation
CA2425411A1 (en) 2000-10-09 2002-04-18 Ses Astra S.A. Internet broadcast system
US7321384B1 (en) * 2003-06-03 2008-01-22 Cisco Technology, Inc. Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference
US7119829B2 (en) 2003-07-31 2006-10-10 Dreamworks Animation Llc Virtual conference room
WO2005071921A1 (en) 2003-12-23 2005-08-04 Nokia Corporation Image data transfer sessions
EP1701546A4 (en) 2004-04-23 2010-09-15 Sumitomo Electric Industries CODING METHOD AND DECODING METHOD FOR MOVABLE IMAGE DATA, FINAL DEVICE FOR CARRYING OUT THE METHOD AND BIDIRECTIONAL INTERACTIVE SYSTEM
US8427538B2 (en) 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
JP4093226B2 (ja) * 2004-11-08 2008-06-04 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US8768084B2 (en) 2005-03-01 2014-07-01 Qualcomm Incorporated Region-of-interest coding in video telephony using RHO domain bit allocation
US8693537B2 (en) 2005-03-01 2014-04-08 Qualcomm Incorporated Region-of-interest coding with background skipping for video telephony
CN101167365A (zh) 2005-03-09 2008-04-23 高通股份有限公司 用于视频电话的感兴趣区域处理
US8019175B2 (en) 2005-03-09 2011-09-13 Qualcomm Incorporated Region-of-interest processing for video telephony
US8977063B2 (en) 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
CN101156453B (zh) * 2005-04-05 2012-07-18 汤姆森许可贸易公司 局部调整量化阶的方法和编码图像序列的方法和设备
RU2377736C2 (ru) 2005-04-13 2009-12-27 Нокиа Корпорейшн Кодирование, хранение и передача информации о масштабируемости
US8019170B2 (en) 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
EP1952638B1 (en) 2005-10-12 2020-05-13 InterDigital VC Holdings, Inc. Region of interest h.264 scalable video coding
US20090317282A1 (en) 2006-07-06 2009-12-24 Lotus Alloy Co., Ltd. Method for manufacturing porous body
US20080095228A1 (en) 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
JP2008259000A (ja) 2007-04-06 2008-10-23 Sony Corp テレビ会議装置、制御方法、およびプログラム
US8446454B2 (en) 2007-05-21 2013-05-21 Polycom, Inc. Dynamic adaption of a continuous presence videoconferencing layout based on video content
US8289371B2 (en) 2007-05-21 2012-10-16 Polycom, Inc. Smart cropping of video images in a videoconferencing session
FR2918520A1 (fr) 2007-07-03 2009-01-09 Canon Kk Procede et dispositif de transmission video
KR101421587B1 (ko) 2007-08-23 2014-07-22 삼성전자주식회사 무선 영상 전화 단말간의 선호 영상 규격을 결정하는 방법및 장치
CN101453639B (zh) 2007-11-29 2012-05-30 展讯通信（上海）有限公司 支持roi区域的多路视频流的编码、解码方法和系统
US8570359B2 (en) 2008-08-04 2013-10-29 Microsoft Corporation Video region of interest features
CN101404726B (zh) * 2008-10-20 2012-05-02 华为终端有限公司 一种远端摄像机的控制方法、系统和装置
US20100118111A1 (en) 2008-11-10 2010-05-13 Nokia Corporation Method and apparatus for remote camera control indications in video conferencing
US8532414B2 (en) 2009-03-17 2013-09-10 Utc Fire & Security Corporation Region-of-interest video quality enhancement for object recognition
NO332170B1 (no) * 2009-10-14 2012-07-16 Cisco Systems Int Sarl Anordning og fremgangsmate for kamerakontroll
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
US8451994B2 (en) 2010-04-07 2013-05-28 Apple Inc. Switching cameras during a video conference of a multi-camera mobile device
CN102215373B (zh) * 2010-04-07 2014-12-24 苹果公司 会议中的显示调整
US8718245B2 (en) * 2011-02-16 2014-05-06 Justin Kahn Methods and systems for online counseling sessions and clinics
US8970653B2 (en) * 2011-06-16 2015-03-03 Vtel Products Corporation, Inc. Video conference control system and method
US9258344B2 (en) 2011-08-01 2016-02-09 Intel Corporation Multi-hop single sign-on (SSO) for identity provider (IdP) roaming/proxy
US9584819B2 (en) 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9042247B2 (en) 2011-12-06 2015-05-26 Wi-Lan Labs, Inc. Systems and methods for preserving application identification information on handover in a communication network
US9413941B2 (en) 2011-12-20 2016-08-09 Motorola Solutions, Inc. Methods and apparatus to compensate for overshoot of a desired field of vision by a remotely-controlled image capture device
US8854958B2 (en) 2011-12-22 2014-10-07 Cygnus Broadband, Inc. Congestion induced video scaling
US9213605B2 (en) 2012-01-23 2015-12-15 Intel Corporation IP multimedia subsystem and method for MBMS file repair using HTTP servers
EP2621171A1 (en) 2012-01-27 2013-07-31 Alcatel Lucent System and method for sharing videos
GB2499200B (en) 2012-02-07 2014-12-17 Canon Kk Method and device for transitioning between an image of a first video sequence and an image for a second video sequence
CN103384319B (zh) * 2012-05-04 2018-06-15 中兴通讯股份有限公司 双流视频会议终端的图像缩放方法和系统
EP3672227B1 (en) 2012-07-20 2022-05-04 BlackBerry Limited Dynamic region of interest adaptation and image capture device providing same
US8935246B2 (en) 2012-08-08 2015-01-13 Google Inc. Identifying textual terms in response to a visual query
US8963988B2 (en) 2012-09-14 2015-02-24 Tangome, Inc. Camera manipulation during a video conference
US10771801B2 (en) 2012-09-14 2020-09-08 Texas Instruments Incorporated Region of interest (ROI) request and inquiry in a video chain
TWI669952B (zh) 2012-09-18 2019-08-21 美商Ｖｉｄ衡器股份有限公司 使用圖塊及圖塊組的感興趣區域視訊編碼的方法及裝置
CN103686056B (zh) * 2012-09-24 2017-07-28 鸿富锦精密工业（深圳）有限公司 会议终端及该会议终端的视频处理方法
WO2014113197A1 (en) 2013-01-17 2014-07-24 Intel IP Corporation Presence service using ims based dash service
US9160515B2 (en) 2013-04-04 2015-10-13 Intel IP Corporation User equipment and methods for handover enhancement using scaled time-to-trigger and time-of-stay
CN104113766B (zh) 2013-04-16 2018-01-02 华为技术有限公司 一种媒体流的传输带宽的调整方法及相关装置
CN105144768B (zh) 2013-04-26 2019-05-21 英特尔Ip公司 频谱共享情境中的共享频谱重新分配
WO2015056179A1 (en) 2013-10-15 2015-04-23 Nokia Technologies Oy Video encoding and decoding using syntax element
US9762533B2 (en) 2013-12-20 2017-09-12 Futurewei Technologies, Inc. Method of IMS (SIP network) webRTC optimized P2P communication
US9386275B2 (en) 2014-01-06 2016-07-05 Intel IP Corporation Interactive video conferencing
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
US10021346B2 (en) 2014-12-05 2018-07-10 Intel IP Corporation Interactive video conferencing

Also Published As

Publication number Publication date
US9832369B2 (en) 2017-11-28
KR20170049512A (ko) 2017-05-10
CN106797448A (zh) 2017-05-31
KR101936944B1 (ko) 2019-01-10
KR20190006069A (ko) 2019-01-16
TWI590664B (zh) 2017-07-01
US20190037131A1 (en) 2019-01-31
US20180054563A1 (en) 2018-02-22
TWI630825B (zh) 2018-07-21
TW201633776A (zh) 2016-09-16
US20160100099A1 (en) 2016-04-07
EP3202137B1 (en) 2021-09-22
JP2021052415A (ja) 2021-04-01
JP6359764B2 (ja) 2018-07-18
WO2016053477A1 (en) 2016-04-07
EP3202137A1 (en) 2017-08-09
BR112017004323A2 (pt) 2017-12-05
JP2018186518A (ja) 2018-11-22
KR102211546B1 (ko) 2021-02-02
JP7114684B2 (ja) 2022-08-08
US10148868B2 (en) 2018-12-04
US9516220B2 (en) 2016-12-06
JP2017536713A (ja) 2017-12-07
US10791261B2 (en) 2020-09-29
US20170085782A1 (en) 2017-03-23

Similar Documents

Publication Publication Date Title
TWI590664B (zh) 互動式視訊會議
US10165226B2 (en) Interactive video conferencing
US10491861B2 (en) Interactive video conferencing
EP3094063B1 (en) Interactive zooming in video conferencing
BR112017004323B1 (pt) Videoconferência interativa