TWI872679B - 用於視訊會議的斷線處理方法及會議裝置 - Google Patents
用於視訊會議的斷線處理方法及會議裝置 Download PDFInfo
- Publication number
- TWI872679B TWI872679B TW112133525A TW112133525A TWI872679B TW I872679 B TWI872679 B TW I872679B TW 112133525 A TW112133525 A TW 112133525A TW 112133525 A TW112133525 A TW 112133525A TW I872679 B TWI872679 B TW I872679B
- Authority
- TW
- Taiwan
- Prior art keywords
- video
- disconnection
- conference device
- information
- time
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 7
- 238000004891 communication Methods 0.000 claims description 24
- 238000003672 processing method Methods 0.000 claims description 20
- 238000011084 recovery Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 36
- 230000000007 visual effect Effects 0.000 description 9
- 238000007667 floating Methods 0.000 description 8
- 239000012634 fragment Substances 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 102100031699 Choline transporter-like protein 1 Human genes 0.000 description 4
- 102100035954 Choline transporter-like protein 2 Human genes 0.000 description 4
- 102100039497 Choline transporter-like protein 3 Human genes 0.000 description 4
- 101000940912 Homo sapiens Choline transporter-like protein 1 Proteins 0.000 description 4
- 101000948115 Homo sapiens Choline transporter-like protein 2 Proteins 0.000 description 4
- 101000889279 Homo sapiens Choline transporter-like protein 3 Proteins 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 101150101057 PBA1 gene Proteins 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 101000689199 Homo sapiens Src-like-adapter Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 2
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 2
- 102100024519 Src-like-adapter Human genes 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本發明提供一種用於視訊會議的斷線處理方法及會議裝置。錄製視訊會議的視訊串流,以產生錄影資料;偵測會議裝置的連線狀態,其中這連線狀態為斷線狀態及上線狀態中的一者;取得會議裝置的連線狀態為斷線狀態的斷線期間資訊;自錄影資料取得斷線期間資訊對應的錄影片段;以及提供這錄影片段。藉此,可輔助會議行進。
Description
本發明是有關於一種視訊會議技術,且特別是有關於一種用於視訊會議的斷線處理方法及會議裝置。
視訊會議可讓不同位置或空間中的人進行對話並觀看對方的影像,且會議相關設備、協定及/或應用程式也發展相當成熟。值得注意的是,現有的視訊會議中的簡報者無法得知其他與會者實際觀看到畫面的狀況或實際聽到聲音的狀況。例如,當某位與會者斷線、或網路連線品質不佳時,簡報者卻仍繼續簡報。此時,需要有人告知簡報者暫停簡報,從而打斷簡報流程,進而影響簡報的品質。
本發明提供一種用於視訊會議的斷線處理方法及會議裝置,回放斷線期間的畫面,以確保簡報流程的品質。
本發明實施例的用於視訊會議的斷線處理方法包括(但不僅限於)下列步驟:錄製視訊會議的視訊串流,以產生錄影資料;偵測會議裝置的連線狀態,其中這連線狀態為斷線狀態及上線狀態中的一者;取得會議裝置的連線狀態為斷線狀態的斷線期間資訊;自錄影資料取得斷線期間資訊對應的錄影片段;以及提供這錄影片段。
本發明實施例的會議裝置包括(但不僅限於)通訊收發器、顯示器、儲存器及處理器。顯示器用以顯示影像。儲存器用以儲存程式碼。處理器耦接通訊收發器、顯示器及儲存器。處理器經配置用以:錄製視訊會議的視訊串流,以產生錄影資料;透過通訊收發器偵測第一會議裝置的連線狀態,其中這連線狀態為斷線狀態及上線狀態中的一者;取得第一會議裝置的連線狀態為斷線狀態的斷線期間資訊;自錄影資料取得斷線期間資訊對應的錄影片段;以及提供這錄影片段。
本發明實施例的會議裝置包括(但不僅限於)通訊收發器、顯示器、儲存器及處理器。顯示器用以顯示影像。儲存器用以儲存程式碼。處理器耦接通訊收發器、顯示器及儲存器。處理器經配置用以:當偵測連線狀態由斷線狀態轉變成上線狀態時,透過通訊收發器取得錄影片段,其中這錄影片段是取自在斷線狀態至上線狀態的斷線期間資訊針對視訊會議的視訊串流所錄製的錄影資料;以及透過顯示器提供錄影片段。
基於上述,本發明實施例的用於視訊會議的斷線處理方
法及會議裝置可偵測斷線期間資訊,並提供這斷線期間資訊對應的錄影片段。藉此,簡報者能得知與會人員斷線前所看到及/或聽到的會議進度,進而輔助會議進行。也就是說,簡報者能快速地確認斷線的與會人員所沒有看到及/或聽到的會議內容。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
1:視訊會議系統
10、20、30:會議裝置
11:麥克風
12:顯示器
13:通訊收發器
14:儲存器
15:處理器
16:影像擷取裝置
50:雲端伺服器
S210~S250、S710~S730、S1010~S1020、S1210~S1220、S1410~S1440、S1510~S1520:步驟
VC:視訊會議程式
AT、AT1~AT3:與會者
PRS、PRL:即時影像
AI:運作狀態
CS、CTL1、CTL2、CTL3:連線狀態
BL:斷線期間
OL:上線期間
RC:錄影片段
PUI1~PUI4:錄影回放介面
POB:錄影回放選項
SLB:簡報頁面的選項
U1:代表視覺資訊
BL1:斷線期間資訊
SLI1:簡報頁面資訊
PBA1:影像顯示區域
SLA1:簡報頁面
U2:人員區
CTLA:狀態時序區
RVA、RVA1、RVA2:錄影片段區
WD:警示圖示
RC1~RC3:次片段
BL1~BL3:斷線期間
ISC:整合片段
DP:斷線重疊參數
UL:片段區間上限
LTI1、LTI2:結尾時間
IT1:起始時間
TP1:時間區間
圖1是依據本發明一實施例的視訊會議系統的元件方塊圖。
圖2是依據本發明一實施例的用於視訊會議的斷線處理方法的流程圖。
圖3是依據本發明一實施例的視訊會議程式的介面的示意圖。
圖4是依據本發明一實施例的運作狀態的示意圖。
圖5是依據本發明一實施例的連線狀態的時序圖。
圖6是依據本發明一實施例的錄影片段與時序的示意圖。
圖7A是依據本發明一實施例的提供錄影片段的示意圖。
圖7B是依據本發明一實施例的錄影回放介面的示意圖。
圖7C是依據本發明一實施例的播放介面的示意圖。
圖7D是依據本發明一實施例的斷線處理方法-頁面資訊決定的示意圖。
圖7E是依據本發明一實施例的頁面回放介面的示意圖。
圖8是依據本發明一實施例的錄影回放介面的示意圖。
圖9A是依據本發明另一實施例的錄影回放介面的示意圖。
圖9B是依據本發明再一實施例的錄影回放介面的示意圖。
圖10是依據本發明一實施例的回放提示的流程圖。
圖11是依據本發明一實施例的錄影回放介面的示意圖。
圖12是依據本發明一實施例的片段整合的流程圖。
圖13是依據本發明一實施例的錄影片段整合的示意圖。
圖14是依據本發明一實施例的整合片段的長度決定的流程圖。
圖15是依據本發明一實施例的用於視訊會議的斷線處理方法的流程圖。
圖16A是依據本發明一實施例的浮動視窗的示意圖。
圖16B是依據本發明另一實施例的多浮動視窗的示意圖。
圖1是依據本發明一實施例的視訊會議系統1的元件方塊圖。請參照圖1,視訊會議系統1包括(但不僅限於)多台會議裝置10~30及雲端伺服器50。
會議裝置10可以是行動電話、網路電話、平板電腦、桌上型電腦、筆記型電腦、智能助理裝置、智能家電、車載系統、穿戴式裝置或其他電子裝置。
會議裝置10包括(但不僅限於)麥克風11、顯示器12、通
訊收發器13、儲存器14、處理器15及影像擷取裝置16。
麥克風11可以是動圈式(dynamic)、電容式(Condenser)、或駐極體電容(Electret Condenser)等類型的麥克風。麥克風11也可以是其他可接收聲波(例如,人聲、環境聲、機器運作聲等)而轉換為聲音訊號的電子元件、類比至數位轉換器、濾波器、及音訊處理器之組合。在一實施例中,麥克風11用以對發話者收音/錄音,以取得語音訊號。
顯示器12可以是LCD、LED顯示器或OLED顯示器。在一實施例中,顯示器12用以顯示影像。例如,使用者介面、影片或圖片。
通訊收發器13例如是支援乙太網路(Ethernet)、光纖網路、或電纜等有線網路的收發器(其可能包括(但不僅限於)連接介面、訊號轉換器、通訊協定處理晶片等元件),也可能是支援Wi-Fi、第四代(4G)、第五代(5G)或更後世代行動網路等無線網路的收發器(其可能包括(但不僅限於)天線、數位至類比/類比至數位轉換器、通訊協定處理晶片等元件)。在一實施例中,通訊收發器13用以經由網路(例如,網際網路、區域網路或其他類型網路)傳送或接收資料。例如,通訊收發器13傳送視訊串流至雲端伺服器50,或接收來自雲端伺服器50的錄影片段。
儲存器14可以是任何型態的固定或可移動隨機存取記憶體(Radom Access Memory,RAM)、唯讀記憶體(Read Only Memory,ROM)、快閃記憶體(flash memory)、傳統硬碟(Hard Disk Drive,
HDD)、固態硬碟(Solid-State Drive,SSD)或類似元件。在一實施例中,儲存器14用以儲存程式碼、軟體模組、組態配置、資料(例如,視訊串流、連線狀態、斷線期間資訊或錄影片段)或檔案。
處理器15耦接麥克風11、顯示器12、通訊收發器13及儲存器14。處理器15可以是中央處理單元(Central Processing Unit,CPU)、圖形處理單元(Graphic Processing unit,GPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor,DSP)、可程式化控制器、現場可程式化邏輯閘陣列(Field Programmable Gate Array,FPGA)、特殊應用積體電路(Application-Specific Integrated Circuit,ASIC)或其他類似元件或上述元件的組合。在一實施例中,處理器15經配置用以執行會議裝置10的所有或部份作業,且可載入並執行儲存器14所儲存的每一軟體模組、程式碼、檔案及資料。
影像擷取裝置16耦接處理器15。影像擷取裝置16可以是相機、攝影機、網路攝影機、監視器或其他錄影裝置。在一實施例中,影像擷取裝置16用以錄影,並產生影像資料(包括(連續的)多張影像,或稱視訊串流)。
須說明的是,其他會議裝置20、30的實施態樣、元件及功能可參酌前述針對會議裝置10的說明,於此不再贅述。
雲端伺服器50可以是桌上型電腦、筆記型電腦、伺服器設備、電腦工作站或其他電子裝置。
在一實施例中,雲端伺服器50可轉送會議裝置10~30的
資料到另一會議裝置10~30。
在一實施例中,連接會議裝置10~30分別連線到多台雲端伺服器50,且這些雲端伺服器50都可連線到一台主控伺服器。
下文中,將搭配視訊會議系統1中的每一項裝置、元件及模組說明本發明實施例所述之方法。本方法的每一個流程可依照實施情形而隨之調整,且並不僅限於此。
圖2是依據本發明一實施例的用於視訊會議的斷線處理方法的流程圖。請參照圖2,假設會議裝置10為簡報者的會議裝置。處理器15錄製視訊會議的視訊串流,以產生錄影資料(步驟S210)。具體而言,處理器15可執行視訊會議程式。視訊會議程式可以是Teams、Webex、Zoom、Meet或其他視訊會議程式。任一台會議裝置10、20、30可建立線上的視訊會議。視訊會議開始之後,每一會議裝置10、20、30所裝載的視訊會議程式可將麥克風11所取得的語音訊號及/或影像擷取裝置16所取得的影像資料經由網路傳送至其他會議管理裝置。在一實施例中,會議管理伺服器(圖未示)可分配語音訊號及/或影像資訊至特定會議裝置10、20、30。
圖3是依據本發明一實施例的視訊會議程式的介面的示意圖。請參照圖3,多位與會者AT參與這視訊會議。視訊會議程式VC的介面可顯示這些與會者AT的影像資料、圖片或代表視覺影像(例如,虛擬化身(avatar))。此外,會議程式VC的介面可顯示簡報者/主講者的即時影像PRS、PRL。即時影像PRL的影像區域
可佔據介面的大部分空間,但其大小不以圖中所示為限。簡報者/主講者的影像內容也可縮小成即時影像PRS,且即時影像PRS和與會者AT的影像資料、圖片或代表視覺影像並列。即時影像PRL還能整合諸如簡報、圖片、三維物件或其他媒體內容。
除了將影像資料即時傳送出去,處理器15還將影像擷取裝置16所產生的視訊串流(包括多張連續影像)轉換成錄影資料。錄影資料的視訊編碼及格式可依據應用及設計需求而決定,本發明實施例不加以限制。例如,H.264、VP9或H.265。
請參照圖2,處理器15偵測一個或多個會議裝置10、20、30的連線狀態(步驟S220)。具體而言,連線狀態為斷線狀態及上線狀態中的一者。斷線狀態在一實施例中,處理器15可自視訊會議程式取得視訊會議程式進行視訊會議的運作狀態。運作狀態可以是連線狀態、運行時間、網路速度、網路品質、聲音(播放)品質及/或收音品質。
例如,圖4是依據本發明一實施例的運作狀態的示意圖。請參照圖4,運作狀態AI為針對不同與會者的顯示名稱、使用者名稱、所在地區、網路策略、目錄狀態(或稱連線狀態CS)、語音會議狀態及電話系統狀態。其中,連線狀態CS為「線上」代表上線狀態。另一方面,連線狀態CS為「中斷」或「斷線」代表斷線狀態。
在一實施例中,視訊會議程式可提供應用程式介面(Application Programming Interface,API),且這應用程式介面可取
得視訊會議程式進行視訊會議的運作狀態。
在另一實施例中,視訊會議程式可儲存與運作狀態,並授權給特定裝置存取。例如,會議裝置10可自資料庫存取運作狀態。
在一實施例中,雲端伺服器50也可取得會議裝置10~30的運作狀態。例如,對應API提供或自資料庫存取。
請參照圖2,處理器15取得會議裝置10、20、30的連線狀態為斷線狀態的斷線期間資訊(步驟S230)。具體而言,斷線期間資訊包括連線狀態為斷線狀態的斷線期間。斷線期間是由斷線狀態的起始時間及結尾時間所定義。當偵測到任一會議裝置10、20、30為斷線狀態時,處理器15可啟動計時器。計時器計時到連線狀態由斷線狀態轉變成上線狀態。處理器15即可統計計時器所記錄時間的長度,並據以決定斷線期間資訊。
例如,圖5是依據本發明一實施例的連線狀態CTL1、CTL2、CTL3的時序圖。請參照圖5,會議裝置10、20、30的連線狀態CTL1、CTL2、CTL3中的虛線段代表斷線期間BL,且實線段代表上線期間OL。
在一實施例中,處理器15可依據多個會議裝置10、20、30的連線狀態產生與會者連線資訊。與會者連線資訊記錄每一會議裝置10、20、30的連線狀態為斷線狀態的斷線期間(包括起始時間及結尾時間)。
請參照圖2,處理器15自錄影資料取得斷線期間資訊對應的錄影片段(步驟S240)。在一實施例中,處理器15可取得斷線
期間資訊中的起始時間及結尾時間的視訊串流,並將這視訊串流轉換成錄影片段。在另一實施例中,處理器15可依據斷線期間資訊裁切錄影資料,並取得錄影資料中僅針對斷線期間的錄影片段。
例如,圖6是依據本發明一實施例的錄影片段與時序的示意圖。請參照圖6,連線狀態CTL1有一段斷線期間BL,因此處理器15產生對應於這斷線期間BL的錄影片段RC。同理可知,處理器15可分別產生對應於連線狀態CTL2的三個斷線期間BL的錄影片段RC、以及對應於連線狀態CTL3的兩個斷線期間BL的錄影片段RC。每一錄影片段RC是對應斷線期間BL內的視訊串流。
在一實施例中,處理器15可提前錄影片段的起始時間。也就是說,錄影片段還包括在斷線期間的起始時間開始之前的一段延長期間的視訊串流。依據不同應用及設計需求,延長期間可以是5、10或15秒。
在一實施例中,處理器15可對錄影片段對應的語音資料進行語音轉文字(Speech-to-Text,STT)作業,以產生這語音資料對應的文字內容。在一實施例中,處理器15可合成錄影片段與文字內容。在另一實施例中,處理器15可將文字內容轉換成字幕檔案。字幕檔案中的每一段話對應於錄影片段中的一個語音片段。
在一實施例中,雲端伺服器50可依據會議裝置10所提供的錄影資料產生錄影片段。其運作可參酌上述說明,於此不再贅
述。
請參照圖2,處理器15提供錄影片段(步驟S250)。具體而言,處理器15可透過通訊收發器13經由網路傳送對應於斷線期間資訊的錄影片段給其他會議裝置20、30。而其他會議裝置20、30的恢復連線(即,其連線狀態由斷線狀態轉變成上線狀態)時,可收到這錄影片段,並可透過其顯示器12播放這錄影片段。此外,處理器15也可透過自己的顯示器12提供錄影片段。
例如,圖7A是依據本發明一實施例的提供錄影片段的示意圖。請參照圖7A,顯示器12可顯示錄影回放介面PUI1。錄影回放介面PUI1為浮動視窗。錄影回放介面PUI1呈現錄影片段回放的錄影回放選項POB和簡報頁面的選項SLB。須說明的是,在其他實施例中,錄影回放介面PUI1也可與視訊會議程式VC的介面整合在一起。
圖7B是依據本發明一實施例的錄影回放介面的示意圖。請參照圖7B,錄影回放介面PUI1還可呈現與會者的身份資訊(例如,代表視覺資訊U1、名稱及職級)、斷線期間資訊BL1及與會者在斷線期間資訊BL1對應的簡報頁面資訊SLI1(例如,頁次及頁數)。
圖7C是依據本發明一實施例的播放介面的示意圖。請參照圖7C,當處理器15偵測到輸入裝置(圖未示,例如,滑鼠、鍵盤或觸控螢幕)接收使用者選擇圖7A或圖7B的錄影回放選項POB的操作(即,錄影回放選項POB受選擇)時,可呈現影片播放介面。
這介面包括影像顯示區域PBA1,且可在影像顯示區域PBA1中播放斷線期間資訊對應的錄影片段。此外,這介面還可呈現如圖7B所示的代表視覺資訊U1、斷線期間資訊BL1或其他資訊。
在一實施例中,若雲端伺服器50產生錄影片段,則由雲端伺服器50提供錄影片段。其運作可參酌上述說明,於此不再贅述。
圖7D是依據本發明一實施例的斷線處理方法-頁面資訊決定的示意圖。請參照圖7D,處理器15可偵測錄影資料對應的簡報頁面,以產生這錄影資料的影像與對應簡報頁面的時間關係(步驟S710)。具體而言,這時間關係為一個簡報頁面在錄影資料中的時間區間。在一實施例中,處理器15可透過影像辨識技術在影像串流中的每一影像中辨識簡報頁面(例如,辨識頁碼),決定每一簡報頁面在影像串流中的首張影像及末張影像,並決定首張影像及末張影像之間的時間區間。例如,第26頁簡報,於簡報的會議時間00:15:00~00:15:35。在另一實施例中,處理器15可透過語音辨識技術辨識錄影資料對應的語音資料中的文字內容,透過影像辨識技術在影像串流中的每一影像中辨識簡報頁面的影像內容,並依據這文字內容及影像內容的比對結果決定每一簡報頁面對應的時間區間。例如,文字內容為第五頁,且影像內容包括第五頁的頁碼;文字內容為第一主題,且影像內容包括第一主題。
請參照圖7D,處理器15可依據時間關係取得斷線期間資訊對應的頁面資訊(步驟S720)。具體而言,這頁面資訊包括該
錄影片段對應的簡報頁面(的頁次)。處理器15可比對斷線期間資訊及時間關係,並決定斷線期間資訊對應的斷線期間在這時間關係中所對應的簡報頁面。也就是,其對應的時間期間與斷線期間資訊對應的斷線期間重疊的簡報頁面。
在一實施例中,雲端伺服器50可偵測錄影資料對應的簡報頁面。其運作可參酌上述說明,於此不再贅述。
處理器15可提供頁面資訊(步驟S730)。具體而言,處理器15可透過通訊收發器13經由網路傳送對應於斷線期間資訊的頁面資訊給其他會議裝置20、30。而其他會議裝置20、30的恢復連線(即,其連線狀態由斷線狀態轉變成上線狀態)時,可收到這頁面資訊,並可透過其顯示器12播放這頁面資訊對應的簡報頁面。此外,處理器15也可透過自己的顯示器12提供頁面資訊。
圖7E是依據本發明一實施例的頁面回放介面的示意圖。請參照圖7B及圖7E,當輸入裝置(圖未示,例如,滑鼠、鍵盤或觸控螢幕)接收使用者選擇圖7A或圖7B的錄影回放選項POB的操作時,可透過顯示器12呈現影片播放介面。在這介面PUI1中,可呈現斷線期間資訊對應的簡報頁面SLA1(即,頁面資訊對應的簡報頁面縮圖)。例如,第26及27頁的簡報頁面的縮圖。此外,這介面還可呈現如圖7B所示的代表視覺資訊U1、斷線期間資訊BL1或其他資訊。
在一實施例中,若雲端伺服器50偵測頁面資訊,則由雲端伺服器50提供頁面資訊。其運作可參酌上述說明,於此不再贅
述。
本發明實施例還有提供其他介面。
例如,圖8是依據本發明一實施例的錄影回放介面PUI2的示意圖。請參照圖8,錄影回放介面PUI2包括人員區U2、狀態時序區CTLA、錄影片段區RVA。人員區U2用於呈現與會者資訊(例如,代表視覺影像、名稱或職稱)。狀態時序區CTLA呈現如圖5所示的連線狀態的時序圖。錄影片段區RVA用於呈現斷線期間資訊對應的錄影片段RC。
此外,還可增加多螢幕提供對應介面。
例如,顯示器12呈現圖7A所示的錄影回放介面PUI1,而另一台顯示器12呈現圖8所示的錄影回放介面PUI2。
又例如,圖9A是依據本發明另一實施例的錄影回放介面的示意圖。請參照圖9A,顯示器12可呈現錄影回放介面PUI2。錄影回放介面PUI2包括人員區U2、狀態時序區CTLA、錄影片段區RVA1。人員區U2用於呈現與會者資訊(例如,代表視覺影像、名稱或職稱)。狀態時序區CTLA呈現如圖5所示的連線狀態的時序圖。錄影片段區RVA1用於呈現斷線期間資訊對應的錄影片段RC。
圖9B是依據本發明再一實施例的錄影回放介面的示意圖。請參照圖9B,另一台顯示器12(例如以直立顯示)可呈現錄影回放介面PUI3。錄影回放介面PUI3包括人員區U2及錄影片段區RVA2。人員區U2用於呈現與會者資訊(例如,代表視覺影像、名
稱或職稱)。錄影片段區RVA2用於呈現斷線期間資訊對應的錄影片段RC。須說明的是,所介面的大小受限,可呈現最接近當前時間的錄影片段RC,但不以此為限。
圖10是依據本發明一實施例的回放提示的流程圖。請參照圖10,當處理器15判斷斷線期間超過警示門檻值時(步驟S1010),處理器15可透過顯示器12提供錄影回放介面,並在錄影回放介面中對應於其連線狀態為斷線狀態的會議裝置的識別資訊呈現警示圖示(步驟S1020)。警示門檻值是容許斷線的其間上限。警示門檻值例如是10秒、30秒或1分鐘,但不以此為限。只要斷線期間超過容許斷線的其間上限,即需要通知簡報者或其他與會者。錄影回放介面可以是前述圖7B的錄影回放介面PUI1或圖8至圖9B所示的錄影回放介面PUI2。
此外,圖9A及圖9B的人員區U2還針對當前連線狀態為斷線狀態的與會者提示警示圖示WD。如圖所示為驚嘆號。
處理器15可依據錄影資料的影像與對應簡報頁面的時間關係分割錄影片段,以產生一個或多個次片段。每一次片段對應於一張簡報頁面。也就是說,針對其時間區間與斷線期間資訊對應的斷線期間重疊的每一簡報頁面,自錄影片段中分割出僅對應於這一張簡報頁面的次片段。
例如,圖11是依據本發明一實施例的錄影回放介面的示意圖。請參照圖11,錄影回放介面呈現多個次片段RC1、RC2、RC3。次片段RC1、RC2、RC3屬於某一個或多個錄影片段。每一
次片段RC1、RC2、RC3分別對應於第25頁、第26頁及第27頁簡報頁面。
圖12是依據本發明一實施例的片段整合的流程圖。請參照圖12,處理器15可取得另一會議裝置30的連線狀態為斷線狀態的另一斷線期間資訊(步驟S1210)。具體而言,某一個會議裝置20的斷線期間資訊的斷線期間至少部分重疊於另一個會議裝置30的斷線期間資訊的斷線期間。例如,會議裝置20的斷線期間為00:15:00~00:17:35,且會議裝置30的斷線期間為00:16:00~00:18:25。因此,兩會議裝置20、30在00:16:00~00:17:35之間都是處於斷線狀態。
處理器15可依據斷線期間資訊及另一斷線期間資訊整合會議裝置20的錄影片段及另一會議裝置30的錄影片段,以產生整合片段(步驟S1220)。具體而言,簡報者可能難以即時瀏覽如圖8所示多個錄影片段RC,更可能影響簡報進度。因此,可將有重疊的斷線期間對應的錄影片段整合在一起。
圖13是依據本發明一實施例的錄影片段整合的示意圖。請參照圖13,與會者AT1的斷線期間資訊對應的斷線期間BL1部分重疊於與會者AT2的斷線期間資訊對應的斷線期間BL2及與會者AT3的斷線期間資訊對應的斷線期間BL3。因此,與會者AT1、AT2、AT3的斷線期間資訊對應的錄影片段可整合成整合片段ISC。
在一實施例中,處理器15可將斷線期間資訊及另一斷線期間資訊中的最早斷線時間作為整合片段的起始時間。最早斷線
時間是指兩個或更多個斷線期間資訊中的起始時間中的最早時間。也就是說,整合片段的起始時間是這些斷線期間資訊中的最早時間。以圖13為例,整合片段ISC的起始時間是斷線期間資訊對應的斷線期間BL2的起始時間IT1。
在一實施例中,處理器15可依據斷線期間資訊及另一斷線期間資訊中的最晚上線回復時間決定整合片段的結尾時間。最晚上線回復時間是指兩個或更多個斷線期間資訊中的結尾時間中的最晚時間。也就是說,整合片段的結束始時間是依據這些斷線期間資訊中的最晚時間。以圖13為例,整合片段ISC的結尾時間是斷線期間資訊對應的斷線期間BL2的結尾時間LTI1。
圖14是依據本發明一實施例的整合片段的長度決定的流程圖。請參照圖14,處理器15可偵測到在斷線重疊參數內有多個會議裝置20、30斷線(即,其連線狀態為斷線狀態)(步驟S1410)。斷線重疊參數例如是5秒、10秒或30秒,但不以此為限。以圖13為例,當偵測到與會者AT2的會議裝置20處於斷線狀態時(其時間點為起始期間IT1),處理器15判斷斷線重疊參數DP(以10秒為例)內與會者AT1及與會者AT2的會議裝置30都處於斷線狀態。
請參照圖14,處理器15可比較斷線期間資訊及另一斷線期間資訊中的最早斷線時間與最晚上線回復時間之間的時間區間與片段區間上限(步驟S1420)。片段區間上限例如是1分鐘、5分鐘或10分鐘。
當斷線期間資訊及另一斷線期間資訊中的最早斷線時間
與最晚上線回復時間之間的時間區間未小於片段區間上限時,處理器15可依據片段區間上限決定整合片段的結尾時間(步驟S1430)。例如,處理器15決定整合片段的時間長度為片段區間上限。整合片段的起始時間加上片段區間上限的時間即為結尾時間。
另一方面,當線期間資訊及另一斷線期間資訊中的最早斷線時間與最晚上線回復時間之間的時間區間小於片段區間上限時,處理器15可將最晚上線回復時間作為結尾時間(步驟S1440)。也就是說,多個斷線期間資訊中的最晚上線回復時間為結尾時間。
以圖13為例,片段區間上限UL為1分鐘。由於與會者AT2的斷線期間資訊對應的結尾時間LTI1晚於與會者AT3的斷線期間資訊對應的結尾時間LTI2。因此,結尾時間LTI1為這些斷線期間資訊中的最晚上線回復時間。此外,起始時間IT1為這些斷線期間資訊中的最早斷線時間。最早斷線時間及最晚上線回復時間之間的時間區間TP1大於片段區間上限UL。因此,整合片段ISC的結尾時間為由起始時間IT1加上片段區間上限UL的加總。
須說明的是,若沒有上片段區間上限UL的限制,則最晚上線回復時間也可直接作為整合片段ISC的結尾時間。
在一實施例中,雲端伺服器50可產生整合片段。其運作可參酌上述說明,於此不再贅述。
圖15是依據本發明一實施例的用於視訊會議的斷線處理方法的流程圖。請參照圖15,假設會議裝置20為與會者(非簡報者)的會議裝置。當會議裝置20的處理器15偵測其連線狀態由斷
線狀態轉變成上線狀態時,透過通訊收發器13取得錄影片段(步驟S1510)。具體而言,如前述實施例說明,錄影片段是取自在斷線狀態至上線狀態的斷線期間針對視訊會議的視訊串流所錄製的錄影資料。當會議裝置20恢復連線時,可進一步接收到一個或多個錄影片段。
處理器15可透過顯示器12提供錄影片段(步驟S1520)。具體而言,顯示器12可透過介面呈現錄影片段,以供使用者瀏覽。
例如,圖16A是依據本發明一實施例的浮動視窗的示意圖。請參照圖16A,顯示器12可顯示錄影回放介面PUI2。錄影回放介面PUI2為浮動視窗。錄影回放介面PUI2呈現錄影片段回放的錄影回放選項POB和簡報頁面的選項SLB。須說明的是,在其他實施例中,錄影回放介面PUI2也可與視訊會議程式VC的介面整合在一起。
圖16B是依據本發明另一實施例的多浮動視窗的示意圖。請參照圖16B,顯示器12可顯示多個錄影回放介面PUI4。錄影回放介面PUI4為浮動視窗。錄影回放介面PUI4呈現錄影片段回放的錄影回放選項POB和簡報頁面的選項SLB。每一浮動視窗對應的錄影回放介面PUI4對應於一張簡報頁面。藉此,當視訊會議結束時,與會者可選擇性回放這些簡報頁面的錄影片段。
在一實施例中,錄影片段可整合語音資料對應的文字內容。在一實施例中,錄影片段與搭配包括文字內容的字幕檔案一同播放。在一實施例中,處理器15可透過通訊收發器13取得頁面
資訊,並透過顯示器12提供頁面資訊。如圖7E所示,顯示器12可呈現頁面資訊對應的簡報頁面縮圖。
綜上所述,在本發明實施例的用於視訊會議的斷線處理方法及會議裝置中,在視訊會議的過程中,錄製視訊串流。當偵測到會議裝置處於斷線狀態時,可提示斷線期間資訊對應的錄影片段及簡報的頁面資訊。藉此,簡報者可快速得知與會者斷線時或斷線前的會議進度。此外,當與會者的會議裝置重新連線之後,也可提供斷線期間資訊對應的錄影片段及簡報的頁面資訊給與會者觀看。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S210~S250:步驟
Claims (19)
- 一種用於視訊會議的斷線處理方法,包括:錄製一視訊會議的一視訊串流,以產生一錄影資料;偵測一會議裝置的一連線狀態,其中該連線狀態為一斷線狀態及一上線狀態中的一者;取得該會議裝置的該連線狀態為該斷線狀態的一斷線期間資訊;自該錄影資料取得該斷線期間資訊對應的一錄影片段;提供該錄影片段;取得另一會議裝置的連線狀態為該斷線狀態的另一斷線期間資訊,其中該斷線期間資訊的斷線期間至少部分重疊於該另一斷線期間資訊的斷線期間;以及依據該斷線期間資訊及該另一斷線期間資訊整合該會議裝置的錄影片段及該另一會議裝置的錄影片段,以產生一整合片段。
- 如請求項1所述的用於視訊會議的斷線處理方法,更包括:偵測該錄影資料對應的簡報頁面,以產生該錄影資料的影像與對應簡報頁面的一時間關係,其中該時間關係為一該簡報頁面在該錄影資料中的時間區間;依據該時間關係取得該斷線期間資訊對應的一頁面資訊,其中該頁面資訊包括該錄影片段對應的簡報頁面;以及提供該頁面資訊。
- 如請求項1所述的用於視訊會議的斷線處理方法,更包括:提供一錄影回放介面,其中該錄影回放介面包括一錄影回放選項;以及當偵測到該錄影回放選項受選擇時,在該錄影回放介面中的一影像顯示區域中播放該錄影片段。
- 如請求項1所述的用於視訊會議的斷線處理方法,更包括:提供一錄影回放介面;以及在該錄影回放介面顯示該斷線期間資訊、一頁面資訊及該頁面資訊對應的簡報頁面縮圖中的至少一者,其中該頁面資訊包括該錄影片段對應的簡報頁面。
- 如請求項1所述的用於視訊會議的斷線處理方法,其中整合該會議裝置的錄影片段及該另一會議裝置的錄影片段的步驟包括:將該斷線期間資訊及該另一斷線期間資訊中的一最早斷線時間作為該整合片段的一起始時間。
- 如請求項1所述的用於視訊會議的斷線處理方法,其中整合該會議裝置的錄影片段及該另一會議裝置的錄影片段的步驟包括:依據該斷線期間資訊及該另一斷線期間資訊中的一最晚上線回復時間決定該整合片段的一結尾時間。
- 如請求項6所述的用於視訊會議的斷線處理方法,其中決定該整合片段的該結尾時間的步驟包括:當該斷線期間資訊及該另一斷線期間資訊中的一最早斷線時間與該最晚上線回復時間的一時間區間未小於一片段區間上限時,依據該片段區間上限決定該結尾時間;以及當該最早斷線時間及該最晚上線回復時間的該時間區間小於該片段區間上限時,將該最晚上線回復時間作為該結尾時間。
- 如請求項3或4述的用於視訊會議的斷線處理方法,其中提供該錄影回放介面的步驟包括:當該斷線期間超過一警示門檻值時,提供該錄影回放介面,並在該錄影回放介面中對應於該會議裝置的識別資訊呈現一警示圖示。
- 如請求項2述的用於視訊會議的斷線處理方法,更包括:依據該時間關係分割該錄影片段,以產生至少一次片段,其中每一該次片段對應於一該簡報頁面。
- 一種會議裝置,包括:一通訊收發器;一顯示器,用以顯示一影像;一儲存器,用以儲存一程式碼;以及一處理器,耦接該通訊收發器、該顯示器及該儲存器,並經配置用以: 錄製一視訊會議的一視訊串流,以產生一錄影資料;透過該通訊收發器偵測第一會議裝置的一連線狀態,其中該連線狀態為一斷線狀態及一上線狀態中的一者;取得該第一會議裝置的該連線狀態為該斷線狀態的一斷線期間資訊;自該錄影資料取得該斷線期間資訊對應的一錄影片段;透過該顯示器提供該錄影片段;取得一第二會議裝置的連線狀態為該斷線狀態的另一斷線期間資訊,其中該斷線期間資訊的斷線期間至少部分重疊於該另一斷線期間資訊的斷線期間;以及依據該斷線期間資訊及該另一斷線期間資訊整合該第一會議裝置的錄影片段及該第二會議裝置的錄影片段,以產生一整合片段。
- 如請求項10所述的會議裝置,其中該處理器更用以:偵測該錄影資料對應的簡報頁面,以產生該錄影資料的影像與對應簡報頁面的一時間關係,其中該時間關係為一該簡報頁面在該錄影資料中的時間區間;依據該時間關係取得該斷線期間資訊對應的一頁面資訊,其中該頁面資訊包括該錄影片段對應的簡報頁面;以及透過該顯示器提供該頁面資訊。
- 如請求項10所述的會議裝置,其中該處理器更用以:透過該顯示器提供一錄影回放介面,其中該錄影回放介面包括一錄影回放選項;以及當偵測到該錄影回放選項受選擇時,透過該顯示器在該錄影回放介面中的一錄影區域中播放該錄影片段。
- 如請求項10所述的會議裝置,其中該處理器更用以:透過該顯示器提供一錄影回放介面;以及透過該顯示器在該錄影回放介面顯示該斷線期間資訊、一頁面資訊及該頁面資訊對應的簡報頁面縮圖中的至少一者,其中該頁面資訊包括該錄影片段對應的簡報頁面。
- 如請求項10所述的會議裝置,其中該處理器更用以:將該斷線期間資訊及該另一斷線期間資訊中的一最早斷線時間作為該整合片段的一起始時間。
- 如請求項10所述的會議裝置,其中該處理器更用以:依據該斷線期間資訊及該另一斷線期間資訊中的一最晚上線回復時間決定該整合片段的一結尾時間。
- 如請求項15所述的會議裝置,其中該處理器更用以: 當該斷線期間資訊及該另一斷線期間資訊中的一最早斷線時間與該最晚上線回復時間的一時間區間未小於一片段區間上限時,依據該片段區間上限決定該結尾時間;以及當該最早斷線時間及該最晚上線回復時間的該時間區間小於該片段區間上限時,將該最晚上線回復時間作為該結尾時間。
- 如請求項12或13述的會議裝置,其中該處理器更用以:當該斷線期間超過一警示門檻值時,透過該顯示器提供該錄影回放介面,並在該錄影回放介面中對應於該第一會議裝置的識別資訊呈現一警示圖示。
- 如請求項11述的會議裝置,其中該處理器更用以:依據該時間關係分割該錄影片段,以產生至少一次片段,其中每一該次片段對應於一該簡報頁面。
- 一種會議裝置,包括:一通訊收發器;一顯示器,用以顯示一影像;一儲存器,用以儲存一程式碼;以及一處理器,耦接該通訊收發器、該顯示器及該儲存器,並經配置用以:當偵測一連線狀態由一斷線狀態轉變成一上線狀態時,透過該通訊收發器取得一錄影片段,其中該錄影片段是取自在該斷線 狀態至該上線狀態的一斷線期間針對一視訊會議的一視訊串流所錄製的錄影資料;透過該顯示器提供該錄影片段;以及透過該顯示器提供一整合片段,其中該整合片段是依據一斷線期間資訊及一另一斷線期間資訊整合該第一會議裝置的錄影片段及該第二會議裝置的錄影片段所產生的,該斷線期間資訊對應於該會議裝置的該連線狀態為該斷線狀態,且該另一斷線期間對應於一第二會議裝置的連線狀態為該斷線狀態。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202263407133P | 2022-09-15 | 2022-09-15 | |
| US63/407,133 | 2022-09-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202415059A TW202415059A (zh) | 2024-04-01 |
| TWI872679B true TWI872679B (zh) | 2025-02-11 |
Family
ID=91622416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112133525A TWI872679B (zh) | 2022-09-15 | 2023-09-04 | 用於視訊會議的斷線處理方法及會議裝置 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI872679B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130321562A1 (en) * | 2012-05-30 | 2013-12-05 | Ricoh Company, Ltd. | Information processing apparatus, conference system, and storage medium |
| CN114189704A (zh) * | 2021-12-08 | 2022-03-15 | 北京有竹居网络技术有限公司 | 一种视频生成方法、装置、计算机设备及存储介质 |
-
2023
- 2023-09-04 TW TW112133525A patent/TWI872679B/zh active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130321562A1 (en) * | 2012-05-30 | 2013-12-05 | Ricoh Company, Ltd. | Information processing apparatus, conference system, and storage medium |
| CN114189704A (zh) * | 2021-12-08 | 2022-03-15 | 北京有竹居网络技术有限公司 | 一种视频生成方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202415059A (zh) | 2024-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112291627B (zh) | 一种视频编辑方法、装置、移动终端和存储介质 | |
| US20160099023A1 (en) | Automatic generation of compilation videos | |
| US9955134B2 (en) | System and methods for simultaneously capturing audio and image data for digital playback | |
| KR20160098949A (ko) | 동영상 생성 방법, 장치 및 컴퓨터 프로그램 | |
| US20140194152A1 (en) | Mixed media communication | |
| CN104023176B (zh) | 处理音频和图像信息的方法、装置和终端设备 | |
| US12003882B2 (en) | Information processing devices, methods, and computer-readable medium for performing information processing to output video content using video from multiple video sources including one or more pan-tilt-zoom (PTZ)-enabled network cameras | |
| CN110740290A (zh) | 监控录像预览方法及装置 | |
| CN104185064B (zh) | 媒体文件标识方法和装置 | |
| CN105208262A (zh) | 网络摄影数据管理系统与方法 | |
| TWI872679B (zh) | 用於視訊會議的斷線處理方法及會議裝置 | |
| TWI465929B (zh) | 分配合作式電腦編輯系統 | |
| CN108882004A (zh) | 视频录制方法、装置、设备及存储介质 | |
| JP2016063477A (ja) | 会議システム、情報処理方法、及びプログラム | |
| US20230262200A1 (en) | Display system, display method, and non-transitory recording medium | |
| US12243563B2 (en) | Voice-controlled content creation | |
| KR102492014B1 (ko) | 다중 채널 네트워크의 컨텐츠 관리 방법, 장치 및 시스템 | |
| TWI581626B (zh) | 影音自動處理系統及方法 | |
| CN114257770A (zh) | 对课堂教学录制电脑画面的方法、电子设备和存储介质 | |
| JP2012156726A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN115174845A (zh) | 一种针对视频会议中特殊行为动作的特写拍摄方法及装置 | |
| JP7718454B2 (ja) | 情報処理システム、テキスト静止画表示システム、テキスト静止画表示方法、プログラム | |
| CN111107296A (zh) | 音频数据采集方法、装置、电子设备及可读存储介质 | |
| CN112954483B (zh) | 数据传输方法、系统及非易失性存储介质 | |
| JP2024041262A (ja) | 動画再生装置及びプログラム |