TWI602437B - 視訊與音訊處理裝置及其視訊會議系統 - Google Patents

視訊與音訊處理裝置及其視訊會議系統 Download PDF

Info

Publication number
TWI602437B
TWI602437B TW105100653A TW105100653A TWI602437B TW I602437 B TWI602437 B TW I602437B TW 105100653 A TW105100653 A TW 105100653A TW 105100653 A TW105100653 A TW 105100653A TW I602437 B TWI602437 B TW I602437B
Authority
TW
Taiwan
Prior art keywords
video
audio
data
audio data
integrated
Prior art date
Application number
TW105100653A
Other languages
English (en)
Other versions
TW201626791A (zh
Inventor
詹婕妤
翁明哲
Original Assignee
仁寶電腦工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 仁寶電腦工業股份有限公司 filed Critical 仁寶電腦工業股份有限公司
Publication of TW201626791A publication Critical patent/TW201626791A/zh
Application granted granted Critical
Publication of TWI602437B publication Critical patent/TWI602437B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

視訊與音訊處理裝置及其視訊會議系統
本發明是有關於一種視訊與音訊處理的技術，且特別是有關於一種視訊與音訊處理裝置及其視訊會議系統。
隨著電子科技以及通訊網路不斷地發展，視訊的硬體設備、軟體技術及操作功能已大幅提昇。現今的視訊可隨時提供多個使用者透過例如是電腦、智慧型手機、平板電腦等電子裝置進行同步連線，以讓使用者之間在進行語音通話時，更可以透過螢幕看到其它使用者的動態影像，從而增強交流的真實感以及臨場感。基此，視訊會議已應用於商業溝通上，藉此企業得以進行跨地域的內外部溝通。
然而，一般在進行多人對多人的視訊會議時，往往會因為視訊設備的鏡頭廣角或是麥克風的收音範圍不足而導致所有人必須緊靠在視訊設備，進而影響到了視訊會議的品質與效率。
有鑑於此，本發明提供一種視訊與音訊處理裝置及其視訊會議系統，其可提供具有主講者聚焦效果的多人視訊會議。
本發明提出一種視訊與音訊處理裝置，包括通訊電路、影像擷取裝置、收音裝置、記憶體以及處理器。通訊電路用以連線至另一視訊與音訊處理裝置。影像擷取裝置用以擷取影像訊號。收音裝置用以擷取聲音訊號。記憶體用以儲存檔案資料。處理器耦接通訊電路、影像擷取裝置、收音裝置以及記憶體，並且用以執行下列步驟。首先，自影像擷取裝置以及收音裝置分別接收第一影像訊號以及第一聲音訊號，以產生第一視訊資料以及第一音訊資料。接著，判斷第一音訊資料是否符合至少一傳輸條件。若是，透過通訊電路將第一音訊資料以及第一視訊資料傳送至另一視訊與音訊處理裝置。若否，透過通訊電路僅將第一音訊資料傳送至另一視訊與音訊處理裝置。
在本發明的一實施例中，視訊與音訊處理裝置更包括螢幕以及播音裝置。螢幕用以顯示畫面，而播音裝置用以播放聲音。處理器更耦接螢幕以及播音裝置，並且用以透過通訊電路自另一視訊與音訊處理裝置接收遠端視訊資料以及遠端音訊資料，以及分別透過螢幕以及播音裝置播放遠端視訊資料以及遠端音訊資料。
在本發明的一實施例中，第一音訊資料包括音訊頻率，而處理器用以判斷音訊頻率是否符合人聲頻率。
在本發明的一實施例中，第一音訊資料更包括收音裝置的收音音量，而處理器更用以判斷收音音量是否大於音量門檻值。
在本發明的一實施例中，第一音訊資料更包括收音裝置的收音雜訊比，而處理器更用以判斷該收音雜訊比是否大於雜訊比門檻值。
本發明提出一種視訊與音訊處理裝置，包括通訊電路、影像擷取裝置、收音裝置、記憶體以及處理器。通訊電路用以連線至另一視訊與音訊處理裝置。影像擷取裝置用以擷取影像訊號。收音裝置用以擷取聲音訊號。記憶體用以儲存檔案資料。處理器接螢幕、通訊電路、影像擷取裝置、收音裝置、播音裝置以及記憶體，並且用以執行下列步驟。首先，取得至少一筆候選視訊資料以及多筆待整合音訊資料，其中各筆候選視訊資料對應於其中一筆所述待整合音訊資料。接著，根據各筆候選視訊資料所對應的待整合音訊資料，選擇其中一筆候選視訊資料，以產生篩選後的視訊資料，並且整合各筆待整合音訊資料，以產生整合後的音訊資料。透過通訊電路將整合後的音訊資料以及篩選後的視訊資料傳送至遠端裝置。
在本發明的一實施例中，處理器更用以透過通訊電路自遠端裝置接收遠端視訊資料以及遠端音訊資料，並且透過通訊電路傳輸遠端視訊資料以及遠端音訊資料至各個其它視訊與音訊處理裝置。
在本發明的一實施例中，視訊與音訊處理裝置更包括螢幕以及播音裝置。螢幕用以顯示畫面，而播音裝置用以播放所接收的聲音資料。處理器更耦接螢幕以及播音裝置，並且用以分別透過螢幕以及播音裝置播放遠端視訊資料以及遠端音訊資料。
在本發明的一實施例中，各筆待整合音訊資料包括收音音量，而處理器用以選擇具有最大收音音量的待整合音訊資料所對應的候選視訊資料做為篩選後的視訊資料。
在本發明的一實施例中，各筆待整合音訊資料包括收音雜訊比，而處理器用以選擇具有最大收音雜訊比的待整合音訊資料所對應的候選視訊資料做為篩選後的視訊資料。
在本發明的一實施例中，各所述待整合音訊資料包括收音時間，而處理器用以選擇具有最長收音時間的待整合音訊資料所對應的候選視訊資料做為篩選後的視訊資料。
在本發明的一實施例中，各所述待整合音訊資料包括收音時間，而處理器用以選擇收音時間大於時間門檻值的音訊資料所對應的候選視訊資料做為篩選後的視訊資料。
在本發明的一實施例中，處理器用以針對各筆待整合音訊資料進行混音處理以及/或除噪處理，以產生整合後的音訊資料。
在本發明的一實施例中，處理器更用以執行下列步驟。自影像擷取裝置以及收音裝置分別接收第二影像訊號以及第二聲音訊號，以產生第二視訊資料以及第二音訊資料。接著，判斷第二音訊資料是否符合至少一傳輸條件。若是，分別設定第二視訊資料以及第二音訊資料為其中一筆候選視訊資料以及其中一筆待整合音訊資料。若否，僅設定第二音訊資料為其中一筆待整合音訊資料。
在本發明的一實施例中，第二音訊資料包括音訊頻率，而處理器用以判斷音訊頻率是否符合人聲頻率。
在本發明的一實施例中，第二音訊資料更包括收音裝置的收音音量，而處理器更用以判斷收音音量是否大於音量門檻值。
在本發明的一實施例中，第二音訊資料更包括收音裝置的收音雜訊比，而處理器更用以判斷收音音量是否大於音量門檻值。
本發明提出一種視訊與音訊處理裝置，包括至少一客戶端裝置以及可連線於客戶端裝置與遠端裝置的主機裝置。各個客戶端裝置將分別產生客戶端視訊資料以及客戶端音訊資料。主機裝置將取得至少一筆候選視訊資料以及多筆待整合音訊資料，根據待整合音訊資料選擇其中一筆候選視訊資料，以產生篩選後的視訊資料，並且整合各筆待整合音訊資料，以及將整合後的音訊資料以及篩選後的視訊資料傳送至遠端裝置，其中待整合音訊資料包括客戶端音訊資料以及主機音訊資料，候選視訊資料包括至少其中一筆客戶端視訊資料以及主機視訊資料，各筆候選視訊資料對應於其中一筆所述音訊資料。
在本發明的一實施例中，對於各個客戶端裝置將判斷客戶端音訊資料是否符合至少一傳輸條件，若是，客戶端裝置將客戶端音訊資料以及客戶端視訊資料傳送至主機裝置，若否，客戶端裝置僅將客戶端音訊資料傳送至主機裝置。
在本發明的一實施例中，主機裝置更自遠端裝置接收遠端視訊資料以及遠端音訊資料，並且傳送遠端視訊資料以及遠端音訊資料至各所述客戶端裝置。
基於上述，本發明所提出的視訊與音訊處理裝置及其視訊會議系統，主機裝置除了將整合本地端所產生的各筆音訊資料並且傳送整合後的音訊資料至遠端裝置外，更根據各筆音訊資料的聲音參數來傳送其中一筆視訊資料至遠端裝置，以使本地端在具有多個視訊會議參與者的前提下，遠端裝置的使用者視覺仍可聚焦於本地端的主講者上，以提升視訊會議的品質與效率。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的裝置以及系統的範例。
圖1A繪示依據本發明一實施例之視訊會議系統的示意圖。
請參照圖1A，視訊會議系統100包括客戶端裝置110A～110D以及主機裝置120，其中主機裝置120可分別連線至客戶端裝置110A～110D以及遠端裝置130。客戶端裝置110A～110D以及主機裝置120為本地端裝置，而客戶端裝置110A～110D可以是利用區域網路與主機裝置120進行無線連線，或者是直接與主機裝置120進行有線連結。此外，主機裝置120可以是利用網際網路與遠端裝置130進行連線。必須說明的是，視訊會議系統100中的客戶端裝置110A～110D僅是為了方便說明實作方式。在其它的實施例中，視訊會議系統100更可提供任意數量的客戶端裝置來與主機裝置120進行連線，本發明不在此設限。
圖1B繪示依據本發明一實施例之客戶端裝置的示意圖。
請參照圖1B，客戶端裝置110A～110D皆包括螢幕111、通訊電路112、影像擷取裝置113、播音裝置114、收音裝置115、記憶體116以及處理器117。在本實施例中，客戶端裝置110A～110D例如是個人電腦、筆記型電腦、智慧型手機、平板電腦、個人數位助理等具有音訊與視訊處理功能的電子裝置，然而本發明不以此為限。為了方便說明，以下僅將針對客戶端裝置110A來進行描述。
螢幕111用以顯示客戶端裝置110A輸出的畫面而提供給使用者觀看。在本實施例中，螢幕111例如是外接或是內建於客戶端裝置110A的液晶顯示器（Liquid Crystal Display，LCD）、發光二極體（Light-Emitting Diode，LED）顯示器、場發射顯示器（Field Emission Display，FED）或其他種類的顯示器。
通訊電路112用以透過通訊網路與其它裝置連結，其可以例如是支援WiMAX通訊協定、Wi-Fi通訊協定、3G通訊協定、4G通訊協定等無線網路連線，ADSL寬頻或光纖網路等有線網路連線的元件，然而本發明不在此設限。
影像擷取裝置113用以擷取其前方的影像，其可以是採用電荷耦合元件（charge coupled device, CCD）、互補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件或其他元件鏡頭的照相機。影像擷取裝置113可以是內建於客戶端裝置110A，亦可以是外接於客戶端裝置110A的網路攝影機、數位相機、單眼相機、數位攝影機等。
播音裝置114用以播放聲音，其包括喇叭。收音裝置115用以接收聲音，其包括麥克風。播音裝置114以及收音裝置115可以是內建於客戶端裝置110A，亦可以是外接於客戶端裝置110A。此外，當播音裝置114以及收音裝置115外接於客戶端裝置110A時，更可以整合為例如是耳機麥克風等單一裝置。
記憶體116用以儲存檔案資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合。
處理器117 耦接於螢幕111、通訊電路112、影像擷取裝置113、播音裝置114、收音裝置115以及記憶體116，其係用以控制以及整合此些元件之間的作動。處理器117可以例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合。
除此之外，在一實施例中，客戶端裝置110A亦可以是僅由通訊電路112、影像擷取裝置113、收音裝置115、記憶體116以及處理器117所組成的電子裝置，並且可外接於包括螢幕111以及播音裝置114的另一電子裝置（例如是電視）。
圖1C繪示依據本發明一實施例之主機裝置的示意圖。
請參照圖1C，主機裝置120包括螢幕121、通訊電路122、影像擷取裝置123、播音裝置124、收音裝置125、記憶體126以及處理器127。在本實施例中，主機裝置120亦可以例如是個人電腦、筆記型電腦、智慧型手機、平板電腦、個人數位助理等具有音訊與視訊處理功能的電子裝置，然而本發明不以此為限。螢幕121、通訊電路122、影像擷取裝置123、播音裝置124、收音裝置125、記憶體126以及處理器127分別類似於圖1B中客戶端裝置110A～110D的螢幕111、通訊電路112、影像擷取裝置113、播音裝置114、收音裝置115、記憶體116以及處理器117，其相關說明請參照前述段落，於此不再贅述。
在本實施例中，視訊會議系統100的多個本地端裝置（即客戶端裝置110A～110D以及主機裝置120）與遠端裝置130進行視訊會議時，各個客戶端裝置110A～110D會將所產生的客戶端音訊資料傳送至主機裝置120，更會利用客戶端音訊資料決定是否進一步將所產生的客戶端視訊資料傳送至主機裝置120。主機裝置120本身亦會產生主機音訊資料以及主機視訊資料。之後，主機裝置120會整合音訊資料以及篩選視訊資料，並且將整合後的音訊資料以及篩選後的視訊資料傳送到遠端裝置130，據以實現具有主講者聚焦效果的視訊會議。以下將分別說明客戶端裝置110A～110D以及主機裝置120進行音訊與視訊處理的具體方式。
圖2繪示依據本發明一實施例之音訊與視訊處理方法的流程圖。本實施例的方法適用於圖1B的客戶端裝置110A～110D，以下即搭配客戶端裝置110A中的各個元件說明其音訊與視訊處理方法之詳細步驟，而客戶端裝置110B～110D可依此類推。然而，就以實作上而言，本實施例的方法亦適用於僅包括以通訊電路112、影像擷取裝置113、收音裝置115、記憶體116以及處理器117所組成的電子裝置，本發明不在此設限。
請同時參照圖1B以及圖2，首先，客戶端裝置110A的處理器117將自影像擷取裝置113以及收音裝置115分別接收第一影像訊號以及第一聲音訊號，以產生第一視訊資料以及第一音訊資料（步驟S202）。在此，第一影像訊號為影像擷取裝置113所擷取到客戶端裝置110A的使用者的動態影像，而第一聲音訊號為收音裝置115所擷取到客戶端裝置110A的周遭環境聲音。處理器117可將影像擷取裝置113以及收音裝置115所擷取到的第一影像訊號以及第一聲音訊號進行數位轉換，以產生第一視訊資料以及第一音訊資料。此外，處理器117亦可選擇性地壓縮第一視訊資料，以因應後續網路傳輸頻寬的不同需求，本發明不在此設限。
接著，處理器117將判斷第一音訊資料是否符合至少一傳輸條件（步驟S204），以藉由第一音訊資料的聲音參數來判定收音裝置114所擷取到的第一聲音訊號是否為客戶端裝置110A的使用者的說話聲以及判定客戶端裝置110A的使用者是否為視訊會議的可能主講者，從而判定第一音訊資料是否符合傳輸條件。在此的聲音參數可以是收音頻率、收音音量以及收音雜訊比等參數。
具體來說，在一實施例中，由於第一聲音訊號為收音裝置115所擷取到的周遭環境聲音，因此處理器117會先判斷第一音訊資料的收音頻率是否符合人聲頻率。若是符合，則處理器117直接判定客戶端裝置110A的使用者為視訊會議的可能主講者。　舉例而言，男性說話聲的頻率範圍為85～180Hz，女性說話聲的頻率範圍為165～255Hz，而處理器117可判斷第一音訊資料的收音頻率是否落入於此些區間內，藉以判定第一音訊資料是否對應於人聲。當第一音訊資料的收音頻率確實對應於人聲時，則處理器117將判定其符合傳輸條件。
在一實施例中，處理器117在判定出第一音訊資料對應於人聲後，更會判斷第一音訊資料的收音音量是否大於預設的音量門檻值來判定客戶端裝置110A的使用者是否為視訊會議的可能主講者。一般而言，平常一般人說話的音量為60dB左右，而音量門檻值可以例如是預設為55dB，以預留容許偵測誤差範圍。此外，處理器117亦可根據隨時根據視訊會議的周圍環境或者是客戶端裝置110A的使用者的手動調整來更改預設的音量門檻值。當第一音訊資料的收音頻率確實對應於人聲並且第一音訊資料的收音音量大於音量門檻值時，則處理器117將判定其符合傳輸條件。
在一實施例中，類似於收音音量的概念，處理器117在判定出第一音訊資料對應於人聲後，更會利用第一音訊資料的第一音訊資料的收音雜訊比是否大於預設的雜訊比門檻值來判定客戶端裝置110A的使用者是否為視訊會議的可能主講者，其中雜訊比門檻值可以例如是預設為55dB。此外，處理器117亦可根據隨時根據客戶端裝置110A的周圍環境或者是客戶端裝置110A的使用者的手動調整來更改預設的雜訊比門檻值。當第一音訊資料的收音頻率確實對應於人聲並且第一音訊資料的雜訊比門檻值大於雜訊比門檻值時，則處理器117將判定其符合傳輸條件。
在一實施例中，處理器117亦可同時利用第一音訊資料的收音頻率、收音音量以及收音雜訊比來判定客戶端裝置110A的使用者是否為視訊會議的可能主講者。當第一音訊資料的收音頻率確實對應於人聲、第一音訊資料的收音音量大於音量門檻值並且第一音訊資料的雜訊比門檻值大於雜訊比門檻值時，則處理器117將判定其符合傳輸條件。
接著，當處理器117判定第一音訊資料符合傳輸條件時，則代表客戶端裝置110A的使用者為視訊會議的可能主講者，因此處理器117將透過通訊電路112傳送第一音訊資料以及第一視訊資料至主機裝置120（步驟S206）。另一方面，當處理器117判定第一音訊資料不符合任何傳輸條件時，則代表客戶端裝置110A的使用者並非為視訊會議的可能主講者，因此處理器117僅將透過通訊電路112傳送第一音訊資料至主機裝置120（步驟S208），以減少本地端資料量的傳輸。必須先說明的是，在此傳送至主機裝置120的第一視訊資料僅為後續將傳送至遠端裝置130的其中一筆候選視訊資料，也就是說主機裝置120仍會在多筆候選視訊資料中篩選出其中一筆來傳送至遠端裝置130。此外，傳送至主機裝置120的第一音訊資料亦會在後續與其它音訊資料進行整合。詳細細節將於稍後進行說明。
主機裝置120除了將接收客戶端裝置110A～110D的音訊資料以及任何可能的視訊資料之外，本身亦會產生音訊資料以及視訊資料。詳細來說，圖3繪示依據本發明一實施例之音訊與視訊處理方法的流程圖。本實施例的方法適用於圖1C的主機裝置120，以下即搭配主機裝置120中的各個元件說明其音訊與視訊處理方法之詳細步驟。然而，就以實作上而言，本實施例的方法亦適用於僅包括以通訊電路122、影像擷取裝置123、收音裝置125、記憶體126以及處理器127所組成的電子裝置，本發明不在此設限。
請同時參照圖1C以及圖3，首先，主機裝置120的處理器127將自影像擷取裝置123以及收音裝置125接收第二影像訊號以及第二聲音訊號，以分別產生第二視訊資料以及第二音訊資料（步驟S302），並且處理器127將判斷第二音訊資料是否符合至少一傳輸條件（步驟S304）。在此主機裝置120的處理器127執行步驟S302以及步驟S304的方式類似於客戶端裝置110A～110D執行步驟S202以及步驟S204的方式，相關說明請參照前述段落，於此不再贅述。
不同於圖2的實施例，由於主機裝置120本身將於稍後進行音訊資料的整合以及視訊資料的篩選，因此當處理器127判定第二音訊資料符合傳輸條件時，亦即主機裝置120的使用者為視訊會議的可能主講者，處理器127將第二視訊資料設定為其中一筆候選視訊資料以及將第二音訊資料設定為其中一筆待整合音訊資料（步驟S306）。另一方面，當處理器127判定第二音訊資料不符合任何傳輸條件時，僅會將第二音訊資料設定為其中一筆待整合音訊資料（步驟S308），亦即主機裝置120的使用者並非為視訊會議的可能主講者。
主機裝置120在取得本身以及客戶端裝置110A～110D所有待整合的音訊資料以及候選視訊資料後，將會分別進行整合以及篩選，以做為傳送至遠端裝置130的傳輸資料。詳細來說，圖4繪示依據本發明一實施例之音訊與視訊處理方法的流程圖。本實施例的方法適用於圖1C的主機裝置120，以下即搭配主機裝置120中的各個元件說明其音訊與視訊處理方法之詳細步驟。
請同時參照圖1C以及圖4，首先，主機裝置120的處理器127將取得至少一筆候選視訊資料以及多筆待整合音訊資料（步驟S402）。在此的候選視訊資料以及待整合音訊資料即為客戶端裝置110A～110D在執行完圖2的流程以及主機裝置120在執行完圖3的流程後所取得的資料。
接著，處理器127將根據各筆待整合音訊資料，自所有候選視訊資料中選擇其中之一者，以產生篩選後的視訊資料（步驟S404）。詳細來說，候選視訊資料僅為視訊會議中的可能主講者的視訊資料，處理器127將比較所有候選視訊資料所對應的待整合音訊資料（亦即，與候選視訊資料相同來源裝置的待整合音訊資料），以進一步地選出將傳送至遠端裝置130的視訊資料。由於所有候選視訊資料所對應的待整合音訊資料已符合人聲頻率，因此處理器127將根據所有對應的待整合音訊資料的聲音參數來選擇所欲傳送的視訊資料。在此的聲音參數可以是收音時間、收音音量以及收音雜訊比等參數。
在一實施例中，處理器127將選擇所有候選視訊資料所對應的待整合音訊資料之中具有最長收音時間者來做為篩選後的視訊資料。此實施例是則是直接將先說話的使用者視為視訊會議當下的主講者。
在一實施例中，處理器127將選擇所有候選視訊資料所對應的待整合音訊資料之中收音時間大於時間門檻值者來做為篩選後的視訊資料，其中時間門檻值可以例如是0.5秒。此實施例是考量到多個使用者搶話的情形，因此處理器127僅將收音時間大於時間門檻值所對應的使用者視為視訊會議當下的主講者，以避免在後續遠端裝置130在極短的時間內不斷地切換顯示不同裝置使用者的視訊畫面。
在一實施例中，處理器127將選擇所有候選視訊資料所對應的待整合音訊資料之中具有最大收音音量者來做為篩選後的視訊資料。此實施例則是考量到其它候選視訊資料所對應的使用者可能在進行私下討論，而並非為視訊會議的主講者。
在一實施例中，類似於收音音量的概念，處理器127將選擇所有候選視訊資料所對應的待整合音訊資料之中具有最大收音雜訊比者來做為篩選後的視訊資料。
在一實施例中，處理器127亦可利用收音時間、收音音量以及收音雜訊比的不同組合來做為選擇依據，以使篩選後的結果更為精確。
在一實施例中，當僅有單一筆候選視訊資料時，處理器127可直接將其設定為篩選後的視訊資料。在又另一實施例中，當沒有任何候選視訊資料時，即代表本地端的使用者並未發言，處理器127可持續地傳送前個時點的主講人的視訊資料來做為篩選後的視訊資料。
另一方面，處理器127亦會一併整合所有待整合音訊資料，以產生整合後的音訊資料（步驟S406）。詳細來說，處理器127可針對所有待整合音訊資料進行混音處理（Audio Mixing）以及/或除噪處理（Audio Denoising），以使整合後的音訊資料具有更好的品質。
之後，處理器127將透過通訊電路112傳輸整合後的音訊資料以及篩選後的視訊資料至遠端裝置130（步驟S408）。換句話說，遠端裝置130自主機裝置120所接收的音訊資料以及視訊資料為本地端整合後的聲音以及主講者的視訊畫面，從而達到具有主講者聚焦效果的視訊會議。
附帶說明的是，主機裝置120同時將一併透過通訊電路122自遠端裝置130接收遠端視訊資料以及遠端音訊資料，並且分別透過螢幕121以及播音裝置124播放遠端視訊資料以及遠端音訊資料。此外，主機裝置120亦會傳送遠端視訊資料以及遠端音訊資料至客戶端裝置110A～110D，而客戶端裝置110A～110D將透過螢幕111以及播音裝置114播放遠端視訊資料以及遠端音訊資料。
圖5A繪示依據本發明一實施例之音訊與視訊處理方法的流程圖來說明圖1A的視訊會議系統100的應用情境。圖5B繪示圖5A的應用情境示意圖。
請同時參照圖1A以及圖5A，首先，視訊會議系統100的主機裝置120將取得至少一筆候選視訊資料以及多筆待整合音訊資料（步驟S502）。在此的候選視訊資料為本地端的裝置使用者當中可能為主講者的視訊畫面，而待整合音訊資料為本地端的裝置使用者的說話聲。接著，主機裝置120將根據候選視訊資料所對應的待整合音訊資料來判斷本地端的主講者（步驟S504），以產生主講者的視訊資料（步驟S506）。另一方面，主機裝置120會將待整合音訊資料進行混音處理以及/或除噪處理（步驟S508），以產生整合後的音訊資料（步驟S510）。之後，主機裝置120會將主講者的視訊資料以及整合後的音訊資料傳送至遠端裝置（步驟S512）。在此步驟S502～S512的細節請參照前述實施例的相關說明，於此不再贅述。
請再參照圖5B，在本實施例中，客戶端裝置110A～110B分別利用網路LAN與主機裝置120進行連線，而主機裝置120利用網路WAN與遠端裝置130進行連線。假設主機裝置120在圖5A中判定客戶端裝置110A的使用者C1為主講者後，會將使用者C1的視訊資料傳送至遠端裝置130。此外，主機裝置120亦會將使用者C1、C2以及H的音訊資料VC1、VC2與VH所整合出的音訊資料M傳送至遠端裝置130，而遠端裝置130將播放使用者C1的視訊畫面以及使用者C1、C2與H的聲音。此外，主機裝置120亦會接收並且傳送遠端裝置130的使用者R的視訊資料以及音訊資料VC1至客戶端裝置110A～110B，而客戶端裝置110A～110B以及主機裝置120將同時播放使用者R的視訊畫面以及聲音。
綜上所述，本發明所提出的視訊與音訊處理裝置及其視訊會議系統，主機裝置除了將整合本地端所產生的各筆音訊資料並且傳送整合後的音訊資料至遠端裝置外，更根據各筆音訊資料的聲音參數來傳送其中一筆視訊資料至遠端裝置，以使本地端在具有多個視訊會議參與者的前提下，遠端裝置的使用者視覺仍可聚焦於本地端的主講者上，以提升視訊會議的品質與效率。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧視訊會議系統
110A～110D‧‧‧客戶端裝置
120‧‧‧主機裝置
130‧‧‧遠端裝置
111、121‧‧‧螢幕
112、122‧‧‧通訊電路
113、123‧‧‧影像擷取裝置
114、124‧‧‧播音裝置
115、125‧‧‧收音裝置
116、126‧‧‧記憶體
117、127‧‧‧處理器
S202～S208、S302～S308、S402～S408、S502～S512‧‧‧音訊與視訊處理方法的流程
C1、C2、H、R‧‧‧使用者
VC1、VC2、VH、VR、M‧‧‧音訊資料
LAN、WAN‧‧‧網路
圖1A繪示依據本發明一實施例之視訊會議系統的示意圖。 圖1B繪示依據本發明一實施例之客戶端裝置的示意圖。 圖1C繪示依據本發明一實施例之主機裝置的示意圖。 圖2繪示依據本發明一實施例之音訊與視訊處理方法的流程圖。 圖3繪示依據本發明一實施例之音訊與視訊處理方法的流程圖。 圖4繪示依據本發明一實施例之音訊與視訊處理方法的流程圖。 圖5A繪示依據本發明一實施例之音訊與視訊處理方法的流程圖。 圖5B繪示圖5A的應用情境示意圖。
100‧‧‧視訊會議系統
110A~110D‧‧‧客戶端裝置
120‧‧‧主機裝置
130‧‧‧遠端裝置

Claims (20)

  1. 一種視訊與音訊處理裝置，包括：通訊電路，用以連線至另一視訊與音訊處理裝置；影像擷取裝置，用以擷取影像訊號；收音裝置，用以擷取聲音訊號；記憶體，用以儲存檔案資料；以及處理器，耦接該通訊電路、該影像擷取裝置、該收音裝置以及該記憶體，用以執行下列步驟：自該影像擷取裝置以及該收音裝置分別接收第一影像訊號以及第一聲音訊號，以產生第一視訊資料以及第一音訊資料；判斷該第一音訊資料的聲音參數是否符合收音標準；若是，透過該通訊電路傳送該第一音訊資料以及該第一視訊資料至該另一視訊與音訊處理裝置；以及若否，透過該通訊電路僅傳送該第一音訊資料至該另一視訊與音訊處理裝置。
  2. 如申請專利範圍第1項所述的視訊與音訊處理裝置，更包括：螢幕，用以顯示畫面；以及播音裝置，用以播放聲音；其中該處理器更耦接該螢幕以及該播音裝置，並且用以執行下列步驟： 透過該通訊電路自該另一視訊與音訊處理裝置接收遠端視訊資料以及遠端音訊資料；以及分別透過該螢幕以及該播音裝置播放該遠端視訊資料以及該遠端音訊資料。
  3. 如申請專利範圍第1項所述的視訊與音訊處理裝置，其中該第一音訊資料包括音訊頻率，而該處理器用以判斷該第一音訊資料的該聲音參數是否符合該收音標準的步驟包括：判斷該音訊頻率是否符合人聲頻率。
  4. 如申請專利範圍第3項所述的視訊與音訊處理裝置，其中該第一音訊資料更包括該收音裝置的收音音量，而該處理器用以判斷該第一音訊資料的該聲音參數是否符合該收音標準的步驟更包括：判斷該收音音量是否大於音量門檻值。
  5. 如申請專利範圍第3項所述的視訊與音訊處理裝置，其中該第一音訊資料更包括該收音裝置的收音雜訊比，而該處理器用以判斷該第一音訊資料的該聲音參數是否符合該收音標準的步驟更包括：判斷該收音雜訊比是否大於雜訊比門檻值。
  6. 一種視訊與音訊處理裝置，包括：通訊電路，用以連接至至少一其它視訊與音訊處理裝置以及遠端裝置；影像擷取裝置，用以擷取影像訊號； 收音裝置，用以擷取聲音訊號；記憶體，用以儲存檔案資料；以及處理器，耦接該通訊電路、該影像擷取裝置、該收音裝置以及該記憶體，用以執行下列步驟：取得至少一筆候選視訊資料以及多筆待整合音訊資料，其中各所述候選視訊資料對應於其中一筆所述待整合音訊資料；根據各所述候選視訊資料所對應的該待整合音訊資料，選擇其中一筆所述候選視訊資料，以產生篩選後的視訊資料；整合所述待整合音訊資料，以產生整合後的音訊資料；以及透過該通訊電路傳輸該整合後的音訊資料以及該篩選後的視訊資料至該遠端裝置。
  7. 如申請專利範圍第6項所述的視訊與音訊處理裝置，其中該處理器更用以執行下列步驟：透過該通訊電路自該遠端裝置接收遠端視訊資料以及遠端音訊資料；以及透過該通訊電路傳輸該遠端視訊資料以及該遠端音訊資料至各所述其它視訊與音訊處理裝置。
  8. 如申請專利範圍第7項所述的視訊與音訊處理裝置，更包括：螢幕，用以顯示畫面；以及播音裝置，用以播放聲音； 其中該處理器更耦接至該螢幕以及該播音裝置，並且用以執行下列步驟：分別透過該螢幕以及該播音裝置播放該遠端視訊資料以及該遠端音訊資料。
  9. 如申請專利範圍第6項所述的視訊與音訊處理裝置，其中各所述待整合音訊資料包括收音音量，而該處理器根據各所述候選視訊資料所對應的該待整合音訊資料，選擇其中一筆所述候選視訊資料，以產生該篩選後的視訊資料的步驟包括：選擇具有最大收音音量的該待整合音訊資料所對應的該候選視訊資料做為該篩選後的視訊資料。
  10. 如申請專利範圍第6項所述的視訊與音訊處理裝置，其中各所述待整合音訊資料包括收音雜訊比，而該處理器根據各所述候選視訊資料所對應的該待整合音訊資料，選擇其中一筆所述候選視訊資料，以產生該篩選後的視訊資料的步驟包括：選擇具有最大收音雜訊比的該待整合音訊資料所對應的該候選視訊資料做為該篩選後的視訊資料。
  11. 如申請專利範圍第6項所述的視訊與音訊處理裝置，其中各所述待整合音訊資料包括收音時間，而該處理器根據各所述候選視訊資料所對應的該待整合音訊資料，選擇其中一筆所述候選視訊資料，以產生該篩選後的視訊資料的步驟包括：選擇具有最長收音時間的該待整合音訊資料所對應的該候選視訊資料做為該篩選後的視訊資料。
  12. 如申請專利範圍第6項所述的視訊與音訊處理裝置，其中各所述待整合音訊資料包括收音時間，而該處理器根據各所述音訊資料，選擇所述候選視訊資料其中之一者，以產生該篩選後的視訊資料的步驟包括：選擇收音時間大於時間門檻值的該音訊資料所對應的該候選視訊資料做為該篩選後的視訊資料。
  13. 如申請專利範圍第6項所述的視訊與音訊處理裝置，其中該處理器用以整合所述待整合音訊資料，以產生整合後的音訊資料的步驟包括：針對所述待整合音訊資料進行混音處理以及/或除噪處理，以產生該整合後的音訊資料。
  14. 如申請專利範圍第6項所述的視訊與音訊處理裝置，其中該處理器更用以執行下列步驟：自該影像擷取裝置以及該收音裝置分別接收第二影像訊號以及第二聲音訊號，以產生第二視訊資料以及第二音訊資料；判斷該第二音訊資料的聲音參數是否符合傳輸標準；若是，分別設定該第二視訊資料以及該第二音訊資料為其中一筆所述候選視訊資料以及其中一筆所述待整合音訊資料；以及若否，僅設定該第二音訊資料為其中一筆所述待整合音訊資料。
  15. 如申請專利範圍第14項所述的視訊與音訊處理裝置，其中該第二音訊資料包括音訊頻率，而該處理器用以判斷該第二音訊資料的該聲音參數是否符合該傳輸標準的步驟包括：判斷該音訊頻率是否符合人聲頻率。
  16. 如申請專利範圍第14項所述的視訊與音訊處理裝置，其中該第二音訊資料更包括該收音裝置的收音音量，而該處理器用以判斷該第二音訊資料的該聲音參數是否符合該傳輸標準的步驟包括：判斷該收音音量是否大於音量門檻值。
  17. 如申請專利範圍第14項所述的視訊與音訊處理裝置，其中該音訊資料更包括該收音裝置的收音雜訊比，而該處理器用以判斷該第二音訊資料的該聲音參數是否符合該傳輸標準的步驟更包括：判斷該收音雜訊比是否大於收音雜訊比門檻值。
  18. 一種視訊會議系統，包括：至少一客戶端裝置，其中各所述客戶端裝置分別產生客戶端視訊資料以及客戶端音訊資料；以及主機裝置，連線於各所述客戶端裝置以及遠端裝置，其中該主機裝置取得至少一筆候選視訊資料以及多筆待整合音訊資料，根據各所述待整合音訊資料，選擇其中一筆所述候選視訊資料，以產生篩選後的視訊資料，整合所述待整合音訊資料，以產生整合後的音訊資料，傳輸該整合後的音訊資料以及該篩選後的視訊 資料至該遠端裝置，其中所述待整合音訊資料包括所述客戶端音訊資料以及該主機音訊資料，所述候選視訊資料包括至少其中一筆所述客戶端視訊資料以及主機視訊資料，各所述候選視訊資料對應於其中一筆所述音訊資料。
  19. 如申請專利範圍第18項所述的視訊會議系統，其中對於各所述客戶端裝置：該客戶端裝置判斷該客戶端音訊資料的聲音參數是否符合收音標準；若是，該客戶端裝置傳送該客戶端音訊資料以及該客戶端視訊資料至該主機裝置；以及若否，該客戶端裝置僅傳送該客戶端音訊資料至該主機裝置。
  20. 如申請專利範圍第18項所述的視訊會議系統，其中該主機裝置更自該遠端裝置接收遠端視訊資料以及遠端音訊資料並且傳送該遠端視訊資料以及該遠端音訊資料至各所述客戶端裝置。
TW105100653A 2015-01-12 2016-01-11 視訊與音訊處理裝置及其視訊會議系統 TWI602437B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201562102533P 2015-01-12 2015-01-12

Publications (2)

Publication Number Publication Date
TW201626791A TW201626791A (zh) 2016-07-16
TWI602437B true TWI602437B (zh) 2017-10-11

Family

ID=56368432

Family Applications (2)

Application Number Title Priority Date Filing Date
TW105100653A TWI602437B (zh) 2015-01-12 2016-01-11 視訊與音訊處理裝置及其視訊會議系統
TW105100654A TWI595786B (zh) 2015-01-12 2016-01-11 基於時間戳記的音訊與視訊處理方法及其系統

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW105100654A TWI595786B (zh) 2015-01-12 2016-01-11 基於時間戳記的音訊與視訊處理方法及其系統

Country Status (3)

Country Link
US (2) US9762857B2 (zh)
CN (2) CN106027589B (zh)
TW (2) TWI602437B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10177958B2 (en) * 2017-02-07 2019-01-08 Da Sheng Inc. Method for synchronously taking audio and video in order to proceed one-to-multi multimedia stream
CN107040746B (zh) * 2017-03-31 2019-11-15 北京奇艺世纪科技有限公司 基于语音控制的多人视频聊天方法及装置
US20180302454A1 (en) * 2017-04-05 2018-10-18 Interlock Concepts Inc. Audio visual integration device
CN107018370B (zh) * 2017-04-14 2020-06-30 威盛电子股份有限公司 用于视频墙的显示方法及其系统
CN109756744B (zh) * 2017-11-02 2022-04-12 腾讯科技（深圳）有限公司 数据处理方法、电子设备及计算机存储介质
CN107978317A (zh) * 2017-12-18 2018-05-01 北京百度网讯科技有限公司 会议纪要合成方法、系统及终端设备
US10735882B2 (en) * 2018-05-31 2020-08-04 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
US10887646B2 (en) * 2018-08-17 2021-01-05 Kiswe Mobile Inc. Live streaming with multiple remote commentators
WO2020252409A1 (en) * 2019-06-13 2020-12-17 Mersive Technologies, Inc. Bridging video conference room system and associated methods
US11019219B1 (en) * 2019-11-25 2021-05-25 Google Llc Detecting and flagging acoustic problems in video conferencing
CN111210819B (zh) * 2019-12-31 2023-11-21 联想(北京)有限公司 信息处理方法、装置和电子设备
TWI762980B (zh) * 2020-07-29 2022-05-01 瑞昱半導體股份有限公司 數位串流錯誤檢查方法與電路系統
US11553577B2 (en) 2021-04-30 2023-01-10 Shenzhen Linklite Smart Lighting Co., Ltd System and method for achieving synchronized audio and image control of lighting
US11330229B1 (en) 2021-09-28 2022-05-10 Atlassian Pty Ltd. Apparatuses, computer-implemented methods, and computer program products for generating a collaborative contextual summary interface in association with an audio-video conferencing interface service
CN114071052B (zh) * 2021-11-11 2023-06-16 华能招标有限公司 远程评标视频会议过程中的视频流传输方法及监管系统
US11722536B2 (en) 2021-12-27 2023-08-08 Atlassian Pty Ltd. Apparatuses, computer-implemented methods, and computer program products for managing a shared dynamic collaborative presentation progression interface in association with an audio-video conferencing interface service
TWI825928B (zh) * 2022-08-18 2023-12-11 瑞昱半導體股份有限公司 訊號補償裝置以及用來動態地補償訊號的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090213940A1 (en) * 2008-02-26 2009-08-27 Richwave Technology Corp. Error Resilient Video Transmission Using Instantaneous Receiver Feedback and Channel Quality Adaptive Packet Retransmission
US20120050456A1 (en) * 2010-08-27 2012-03-01 Cisco Technology, Inc. System and method for producing a performance via video conferencing in a network environment
TW201223283A (en) * 2010-11-25 2012-06-01 Facevsion Technology Inc Data management methods for video conferencing, and data management devices and machine readable medium thereof
CN103096024A (zh) * 2011-10-27 2013-05-08 宝利通公司 作为视频会议外围设备的便携式设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7768558B1 (en) * 2000-09-29 2010-08-03 Hewlett-Packard Development Company, L.P. Digital still camera with remaining picture count indication
US7336678B2 (en) * 2002-07-31 2008-02-26 Intel Corporation State-based jitter buffer and method of operation
TW589892B (en) 2003-03-12 2004-06-01 Asustek Comp Inc Instant video conferencing method, system and storage medium implemented in web game using A/V synchronization technology
EP1553784A1 (en) * 2004-01-06 2005-07-13 Deutsche Thomson-Brandt Gmbh Method and apparatus for performing synchronised audio and video presentation
JP2006041884A (ja) * 2004-07-27 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US20060244818A1 (en) * 2005-04-28 2006-11-02 Comotiv Systems, Inc. Web-based conferencing system
US7643513B2 (en) * 2005-11-30 2010-01-05 Broadcom Corporation Method and system for audio and video transport
US7822811B2 (en) * 2006-06-16 2010-10-26 Microsoft Corporation Performance enhancements for video conferencing
US8856371B2 (en) * 2006-08-07 2014-10-07 Oovoo Llc Video conferencing over IP networks
US8554551B2 (en) * 2008-01-28 2013-10-08 Qualcomm Incorporated Systems, methods, and apparatus for context replacement by audio level
US20090210789A1 (en) 2008-02-14 2009-08-20 Microsoft Corporation Techniques to generate a visual composition for a multimedia conference event
CN101442654B (zh) * 2008-12-26 2012-05-23 华为终端有限公司 视频通信中视频对象切换的方法、装置及系统
US20110102671A1 (en) * 2009-10-29 2011-05-05 Apple Inc. Picture in Picture Video Display for Low Power Device
US8428959B2 (en) 2010-01-29 2013-04-23 Polycom, Inc. Audio packet loss concealment by transform interpolation
US8395653B2 (en) * 2010-05-18 2013-03-12 Polycom, Inc. Videoconferencing endpoint having multiple voice-tracking cameras
US8760488B2 (en) * 2010-10-22 2014-06-24 Litl Llc Video integration
JP2013118468A (ja) * 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
US9312829B2 (en) * 2012-04-12 2016-04-12 Dts Llc System for adjusting loudness of audio signals in real time
EP2879047A3 (en) * 2013-11-28 2015-12-16 LG Electronics Inc. Mobile terminal and controlling method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090213940A1 (en) * 2008-02-26 2009-08-27 Richwave Technology Corp. Error Resilient Video Transmission Using Instantaneous Receiver Feedback and Channel Quality Adaptive Packet Retransmission
US20120050456A1 (en) * 2010-08-27 2012-03-01 Cisco Technology, Inc. System and method for producing a performance via video conferencing in a network environment
TW201223283A (en) * 2010-11-25 2012-06-01 Facevsion Technology Inc Data management methods for video conferencing, and data management devices and machine readable medium thereof
CN103096024A (zh) * 2011-10-27 2013-05-08 宝利通公司 作为视频会议外围设备的便携式设备

Also Published As

Publication number Publication date
CN105791895A (zh) 2016-07-20
TW201626791A (zh) 2016-07-16
US20160205351A1 (en) 2016-07-14
TW201637438A (zh) 2016-10-16
CN106027589B (zh) 2019-08-13
US20160205349A1 (en) 2016-07-14
US9602769B2 (en) 2017-03-21
TWI595786B (zh) 2017-08-11
US9762857B2 (en) 2017-09-12
CN105791895B (zh) 2019-10-08
CN106027589A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
TWI602437B (zh) 視訊與音訊處理裝置及其視訊會議系統
US8289363B2 (en) Video conferencing
US8730297B2 (en) System and method for providing camera functions in a video environment
US9024997B2 (en) Virtual presence via mobile
CN102761702B (zh) 用于移动通信设备中的图像重叠的方法以及成像系统
US9338394B2 (en) System and method for providing enhanced audio in a video environment
WO2016112698A1 (zh) 屏幕投射方法、装置及系统
US10523820B2 (en) High-quality audio/visual conferencing
WO2015070558A1 (zh) 一种控制视频拍摄的方法和装置
JP2014090387A (ja) 情報処理装置、会議システムおよびプログラム
KR20180048982A (ko) 비디오 통신용 장치
JP6179179B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2006235307A (ja) 表示装置および同装置の表示制御方法
WO2011050682A1 (zh) 一种实现可视电话的方法和装置
CN105247854A (zh) 用于将外部设备关联到视频会议会话的方法和系统
CN102202206B (zh) 通信设备
US20190306462A1 (en) Image processing apparatus, videoconference system, image processing method, and recording medium
CN114531564A (zh) 处理方法及电子设备
JP2020058014A (ja) 映像処理装置、ビデオ会議システム、映像処理方法、およびプログラム
JP2008311910A (ja) 通信装置および会議システム
JP7095356B2 (ja) 通信端末及び会議システム
JP2017092850A (ja) 撮像装置、撮像方法および会議端末装置
JP2006339869A (ja) 映像信号と音響信号の統合装置
JP6500366B2 (ja) 管理装置、端末装置、伝送システム、伝送方法およびプログラム
CN111541856A (zh) 一种视讯与音讯处理装置及其视讯会议系统