TWI381737B - 數位影音擷取裝置與其方法 - Google Patents

數位影音擷取裝置與其方法 Download PDF

Info

Publication number
TWI381737B
TWI381737B TW098102072A TW98102072A TWI381737B TW I381737 B TWI381737 B TW I381737B TW 098102072 A TW098102072 A TW 098102072A TW 98102072 A TW98102072 A TW 98102072A TW I381737 B TWI381737 B TW I381737B
Authority
TW
Taiwan
Prior art keywords
video stream
video
packet
transmission unit
header
Prior art date
Application number
TW098102072A
Other languages
English (en)
Other versions
TW201029469A (en
Inventor
Yu Min Chen
Chun Chiao Wang
Original Assignee
Quanta Comp Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanta Comp Inc filed Critical Quanta Comp Inc
Priority to TW098102072A priority Critical patent/TWI381737B/zh
Priority to US12/604,581 priority patent/US8019917B2/en
Publication of TW201029469A publication Critical patent/TW201029469A/zh
Application granted granted Critical
Publication of TWI381737B publication Critical patent/TWI381737B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

數位影音擷取裝置與其方法
本發明是有關於一種數位影音擷取裝置與其方法，且特別是有關於一種能輸出未壓縮視訊串流與壓縮後視訊串流之數位影音擷取裝置與其方法。
現行的USB Video class(又稱為Universal Serial Bus Video device Class or UVC)影音產品在不需要安裝任何的驅動程式下，即可以在Windows XP SP2之後的版本或是Vista系統下隨插即用。諸如此類的產品包括數位網路攝影機(webcam)、數位相機、類比影像轉換器、電視棒及靜態影像相機等。網路攝影機是最早支援UVC標準的，且其使用廣泛且又市場數量龐大。
隨著內建數位網路攝影機已成為筆記型電腦的標準配備，更多市場應用導向也隨之被開發，如利用內建數位網路攝影機的筆記型電腦或個人電腦等來進行數位家庭應用、視訊會議等。而在這一類型的應用上，視訊串流(video streaming)是不可或缺的。如以視訊會議為例，通常會用到兩種格式的視訊串流：一類是經壓縮過的訊號(如MPEG)，其用來在網路上傳輸；另一類則是未經壓縮過的訊號(如YUV格式)，其可用來直接在本地端播放。
第1圖顯示進行視訊會議時，顯示於顯示單元(如NB或PC的螢幕)上的畫面示意圖。如第1圖所示，在進行視訊會議時，在顯示單元上會顯示出本地端畫面110與遠端畫面120。其中，本地端畫面110是由內建數位網路攝影機所輸出的未壓縮視訊串流，以在本地端電腦的顯示單元上播放；而遠端畫面120則是由遠端所輸出的壓縮後訊號透過本地端電腦解壓縮，以播放於顯示單元上。
傳統數位網路攝影機的缺點在於，其只能支援一路的視訊傳輸，比如，由傳統數位網路攝影機所輸出的視訊串流都是未經壓縮的。所以，在進行視訊會議時，本地端電腦需要進行的壓縮/解壓縮操作至少有：將本地端的數位網路攝影機所輸出的未壓縮視訊串流由本地電腦壓縮後，透過網路送至遠端電腦；將遠端電腦所傳來的壓縮過訊號由本地電腦解壓縮以進行播放。可是，這樣會造成本地電腦在壓縮或解壓縮操作上的負擔過重。
故而，本發明提出一種新的數位影音擷取架構，其將傳統支援USB UVC即時性傳輸的單一路架構，以分時多工的概念，改良成僅使用單一個USB數位影音擷取元件(如USB數位網路攝影機)，卻可分時輸出兩路即時影音串流傳輸(也就是，可傳輸壓縮後影音串流與未壓縮影音串流)。本地端電腦因同時獲得兩種格式，所以可以減少本地端電腦執行壓縮與解壓縮的負載。
此外，本發明所提出的新USB數位影音擷取架構可自動補上UVC定義的檔頭。如此，要用於視訊會議或數位家庭時，就變得較容易實現。
本發明係有關於一種影音擷取裝置與其方法，以分時多工的概念，僅使用單一個USB數位影音擷取元件，卻可分時多工輸出壓縮後影音串流與未壓縮影音串流。故而，本地端電腦因同時獲得兩種格式，所以可以減少本地端電腦執行壓縮與解壓縮的負載。
本發明係有關於一種影音擷取裝置與其方法，其可自動補上符合UVC定義的檔頭，可以降低微控制器的負擔，避免即時性資料的遺失。如此，要用於視訊會議或數位家庭時，就變得較容易實現。
根據本發明之一方面，提出一種影音擷取裝置，包括：一訊號源，用以擷取一外部影像以產生一第一輸入視訊信號；一影音處理器，接收並壓縮該訊號源所產生的該第一輸入視訊信號，以產生一第二輸入視訊信號；一第一影音串流處理器，接收由該訊號源所產生的該第一輸入視訊信號，並補上一第一檔頭於該第一輸入視訊信號以產生一第一視訊串流；一第二影音串流處理器，接收由該影音處理器所產生的該第二輸入視訊信號，並補上一第二檔頭於該第二輸入視訊信號以產生一第二視訊串流；一微控制器，用以產生一命令至該第一與該第二影音串流處理器；以及一傳輸單元，耦接於該第一與該第二影音串流處理器，該傳輸單元以分時多工的方式將該第一影音串流處理器所產生的該第一視訊串流與該第二影音串流處理器所產生的該第二視訊串流傳輸至一外部裝置。其中，該第一與該第二影音串流處理器以一互鎖機制互相溝通，以避免該第一與該第二影音串流處理器同時輸出該第一與第二視訊串流至該傳輸單元。
根據本發明之另一方面，提出一種數位影音擷取方法，包括：擷取一外部影像以產生一第一輸入視訊信號；接收並壓縮該第一輸入視訊信號，以產生一第二輸入視訊信號；接收該第一輸入視訊信號，並補上一第一檔頭於該第一輸入視訊信號以產生一第一視訊串流；接收該第二輸入視訊信號，並補上一第二檔頭於該第二輸入視訊信號以產生一第二視訊串流；以分時多工的方式將該第一視訊串流與該第二視訊串流傳輸至一外部裝置；在分時多工傳輸時，執行一互鎖機制，以避免同時傳輸該第一與第二視訊串流至該外部裝置。
為讓本發明之上述內容能更明顯易懂，下文特舉實施例，並配合所附圖式，作詳細說明如下：
在本發明實施例所提出的新USB數位影/音擷取架構中，以分時多工的概念，即可支援兩路影音串流的即時性傳輸(也就是，可傳輸壓縮後影音串流與未壓縮影音串流)。本地端電腦因同時獲得兩種格式，所以可以減少本地端電腦執行壓縮與解壓縮的負載。
此外，本發明實施例所提出的新USB數位影音擷取架構可自動補上UVC定義的檔頭。如此，要用於視訊會議或數位家庭時，就變得較容易實現。
在底下，視訊串流包括影像資料及/或聲音資料。第2A圖至第2C圖顯示視訊串流的一個微資料框(micro-frame)的示意圖。如第2A圖~第2C圖所示，一個微資料框包括起始封包(start of frame，SOF)210、檔頭(payload header)220與數個即時性傳輸資料封包231~233。其中，在每個微資料框中，檔頭220都必須被更新，並且檔頭220要位於第一個即時性傳輸資料封包的開頭。一般而言，UVC檔頭包含下列資訊：串流是否屬同一視頻框(Video frame)、串流是否為拍照模式、串流是否為視頻框結尾(End of video frame)和視訊串流時間…等等。資料封包231~233則包括影/音資料。
在傳統上，由數位網路攝影機內部的微控制器(Micro Controller)負責填入檔頭。在一個USB的微資料框內，通常微控制器需要完成下列操作：1.收集檔頭所需資訊，例如：時間標籤(Timestamp)…等；2.將這次微資料框內的影音資料拷貝至存放檔頭的記憶體內，且影音資料的存放位置要在檔頭的存放位置之後；3.控制數位網路攝影機輸出依序檔頭與影音資料；以及4.確認數位網路攝影機已完成資料的輸出。
上述操作在每個微資料框內(也就是在每125百萬分之一秒(μ second)內)必須重複一次。當微控制器的處理速度不夠，或是微控制器器有其他任務必須同時執行時，可能無法在時限內完成上述操作。當來不及完成上述操作時，將造成影音資料的遺失，無法達成即時(real-time)影音傳輸。
故而，在本發明實施例所提出的硬體架構中，由其他部份(非微控制器)來自動更新或取得部分檔頭資訊，並在傳輸微資料框時，由其他部份(非微控制器)負責先輸出檔頭後輸出影音資料。所以，微控制器將大量減少執行即時串流傳輸所需的任務，使整個系統更有效率，也避免影像資料的遺失。
請參考第3圖，其顯示根據本發明實施例的支援USB與UVC的數位影音擷取裝置的方塊示意圖。如第3圖所示，數位影音擷取裝置300包括：訊號源310、影音處理器315、VSA(影音串流處理器，video stream adapter)320、VSA 325、AHB(advanced high performance bridge，高效能匯流排橋接器)330、微控制器335、資料匯流排340、命令匯流排345、USB裝置控制器350與USB實體層355。USB裝置控制器350至少包括DMA(Direct Memory Access，直接記憶體存取)351。
數位影音擷取裝置300可同時支援兩路符合USB(Universal Serial Bus)及UVC(Universal Video Class)的視訊串流，但卻可只透過一組USB裝置控制器來將這兩路視訊串流傳輸給後端的PC 360。此外，更可動態改變兩路所需要的頻寬，以分別支援USB即時性傳輸(isochronous transfer)的最大頻寬到24.576MB/sec。更甚者，數位影音擷取裝置300可自動補上符合UVC格式的檔頭。
訊號源310內的影像感光元件可擷取外部影像，以產生視訊信號。訊號源310所產生的視訊信號會分別進入到VSA 320與VSA 325。其中，進入到VSA 320的那一路視訊信號未經壓縮處理。而進入到VSA 325的另一路視訊信號則經過影音處理器315的影像處理(比如壓縮成H.264格式)再輸入到VSA 325。
影音處理器315用以將訊號源310所產生的視訊信號壓縮，並將壓縮後的視訊信號送至VSA 325。
在VSA 320接收到未壓縮視訊信號與VSA 325接收到壓縮後視訊信號時，VSA 320與325會將之編成視訊串流。此外，VSA 320與325會根據微控制器335所傳來的參數，自動補上符合UVC格式的檔頭，並主動透過資料匯流排340去設定USB裝置控制器350中的DMA 351，以利用分時多工的方式將這兩路視訊串流傳到PC 360。
在本實施例中，一次只能讓VSA 320與325之一透過USB裝置控制器350來傳送資料給PC 360。所以，藉由互鎖機制與互鎖信號IL來控制一次只能讓VSA 320與325之一來傳送資料。也就是說，當VSA 320在傳輸一個微資料框的未壓縮視訊串流給PC 360時，VSA 325必需等待；反之，當VSA 325在傳輸一個微資料框的壓縮後視訊串流給PC 360時，VSA 320必需等待。
由VSA 320傳給PC 360的未壓縮視訊串流可直接在PC 360上播放；而由VSA 325傳給PC 360的壓縮後視訊串流則可由PC 360傳送給遠端電腦，以播放於遠端電腦上。
AHB 330乃是介於兩種不同傳輸速度的匯流排之間，以當其中的橋接器。微控制器 335對命令匯流排345做寫入命令，並透過AHB 330來設定USB裝置控制器350，以支援UVC即時性的資料傳輸。
命令匯流排345用以傳輸指令、參數、命令等，而資料匯流排340則用以傳輸影/音資料。故而，可以將需要高速傳輸的USB即時性資料流與較不需要高速傳輸的命令分開傳輸於兩條內部匯流排。如此，除了可以保證視訊資料流的正確性，更可以兼顧微控制器335在處理命令的時效性。
USB裝置控制器350用以將由VSA 320傳來的未壓縮視訊串流與由VSA 325傳來的壓縮後視訊串流以分時多工方式傳送至PC 360。此外，當USB裝置控制器350傳輸完一個資料封包後，會通知VSA 320或325，以向VSA 320或325拿取下一個封包並送至DMA 351。也就是說，VSA 320或325一次會傳輸一個資料封包(及其檔頭，如果此資料封包是該微資料框內的第一個資料封包的話)至DMA 351。
USB實體層355乃是介於USB裝置控制器350與PC 360間的介面。
接著，請參考第4圖來了解根據本發明實施例的VSA的架構。在本實施例中，VSA 320與325具有相同或幾乎相似的架構。在此以VSA 320為例做說明。
如第4圖所示，VSA 320包括：多工器(MUX)410、計數器415、控制器420、DMA設定單元425、封包暫存區430、檔頭暫存區435、參數暫存區440、USB事件控制單元445、MUX450、AHB僕裝置455、AHB僕裝置460與AHB主裝置465。
參數暫存區440用以暫存參數。由微控制器335所傳來的參數會透過命令匯流排345與AHB僕裝置460而寫入至參數暫存區440。在此，參數比如包括：封包大小等。
計數器415用以計數通過多工器410的資料量。根據由微控制器335所傳來而存於參數暫存區440內的參數，當計數器415計數到通過多工器410的資料量已到達一個封包的大小時，計數器415會將這些資料打包成一個封包，並存於封包暫存區430內。
此外，在將資料打包成一個封包時，計數器415會通知控制器420開始編組符合UVC定義的檔頭的一部份並儲存於檔頭暫存區(header area)435。在此階段，所編組的檔頭的一部份包括：串流是否屬同一視頻框，串流是否為拍照模式，串流是否為視頻框結尾等。接著，計數器415會排列即時性資料封包的順序(如第2A圖~第2C圖所示)。
當已有至少一個封包暫存於封包暫存區430時，VSA 320內的DMA設定單元425要通知DMA 351進行資料的傳輸。可是，在開始利用DMA 351傳輸資料之前，必需先透過互鎖機制來確認目前的資料匯流排340與DMA 351是否被另一個VSA所使用。如果目前的資料匯流排340與DMA 351正被另一個VSA所使用的話，則要等到另一個VSA(如VSA 325)完成一個微資料框的傳輸(亦即釋放出使用權)時，VSA 320才能進行資料傳輸。互鎖機制將於底下詳述之。
USB事件控制單元445會偵測每一個即時性資料封包是否傳輸完畢。比如，當DMA 351完成一個即時性資料封包的傳輸時，USB裝置控制器350會透過資料匯流排340而回傳一個脈衝信號給USB事件控制單元445。當接收到此回傳脈衝信號後，USB事件控制單元445會通知DMA設定單元425，由DMA設定單元溝通於DMA 351，以使得存在封包暫存器430內的下一個資料封包透過多工器450、AHB僕裝置455與資料匯流排340而送至DMA 351。
多工器450會根據由其他元件的控制信號，而決定要輸出資料封包或是輸出檔頭，以使得檔頭與資料封包的輸出順序會符合第2A圖~第2C圖所示。
當AHB主裝置465設定完成後，USB裝置控制器350內的DMA 351會透過AHB僕裝置455來抓取存放在封包暫存區430內的即時性傳輸資料封包。而在抓取資料的同時，控制器420會根據當時視訊串流所傳輸的格式，補上UVC定義的檔頭的另一部份，比如補上視訊串流時間。如此一來，視訊串流的傳輸就完成。
DMA設定單元425會透過AHB主裝置465而溝通於DMA 351並設定DMA 351。請參考第5圖來了解DMA設定單元425如何設定DMA 351。另外，互鎖機制乃是由DMA設定單元425來執行。
AHB僕裝置455、460與AHB主裝置465乃是介於VSA與其他元件間的介面。特別是，AHB僕裝置455乃是介於VSA與DMA 351間的介面；AHB僕裝置460乃是介於VSA與微控制器335間的介面；以及AHB主裝置465乃是介於VSA與DMA 351間的介面。
請注意，在第4圖中，VSA 320接收由訊號源310所傳來的未壓縮視訊串流。如果是VSA 325的話，則其接收由影音處理器315所傳來的壓縮後視訊串流。
在本實施例的影音擷取裝置內有兩個VSA並存，但只有一套USB裝置控制器350。所以在設定DMA 351時，必須利用互鎖機制使VSA 320與VSA 325的即時性封包(Isochronous packet)的傳輸不被中斷，並在確定USB頻寬足夠的情況下，將VSA 320與VSA 325使用USB裝置控制器350的時間錯開(亦即分時多工傳輸)。互鎖機制的流程如第5圖所示。底下以VSA 320為例說明，VSA 325的流程相同。
一開始，DMA設定單元425為閒置狀態510A。當DMA設定單元425接受到USB傳輸命令的同時，會進入到DMA確認狀態520A，以確認DMA的狀態是否為忙碌。
當DMA為忙碌(亦即，另一個VSA(VSA 325)正透過DMA 351傳輸資料)，則狀態要回到閒置狀態510A。如果DMA 351是備妥(ready)狀態，則流程進入到寫入狀態530A。
在寫入狀態530A中，DMA設定單元425可將封包的一些相關參數(比如，封包大小、封包編號與封包的儲存位址等)寫入至DMA 351。
之後，進入致能狀態540A，以啟動DMA 351，將存於封包暫存區430內的資料封包取出並傳輸給PC 360。而且，在進入寫入狀態530A時，DMA設定單元425會發出互鎖訊號IL給VSA 325，使得VSA 325內的DMA設定單元維持在閒置狀態，不能使用DMA 351來傳輸資料。如此，可以避免在資料匯流排上同時有兩路視訊串流的出現而導致即時性視訊串流的遺失。當一個微資料框的傳輸完成後，流程會由致能狀態540A進入至閒置狀態510A，如此，才能將資料匯流排340的使用權給另一個VSA使用。也就是說，必需等到VSA 320將未經壓縮的一個微資料框傳輸完成後，才能讓VSA 325傳輸壓縮後的一個微資料框。狀態510B~540B相同於狀態510A~540A，故其細節不再重述。
在USB 2.0高速(High Speed)規範下，一秒內要傳輸8000個微資料框，而一個微資料框最多可以傳三個即時性傳輸資料封包，每個即時性傳輸封包最大的大小為1024位元組(Bytes)。因此每一個即時性傳輸的端點(endpoint)頻寬最大可以達到24.576MB/sec。而在USB規範中，在24.576MB/sec的傳輸頻寬下，最大可支援兩個即時性傳輸端點(Isochronous Endpoint)，也就是兩個即時性傳輸端點的最大頻寬總和為49.152MB/s。
本發明實施例在使用模式上，可以分以下三種情況，如下表所示。在第一種使用模式下，只傳輸未壓縮的視訊資料流(YUYV格式)，最大頻寬為24.576MB/sec。在此速度下，已可以支援VGA(640X480)的視訊畫面到每秒30張以上(頻寬約為18.423MB/sec)。
在第二種使用模式下，只傳輸壓縮過的視訊資料流，一樣可以達到最大頻寬24.576MB/sec。但因為是傳輸壓縮過的視訊資料流，故在成本考量上，以8MB/sec的頻寬來傳輸。以H.264編碼格式來說，在8MB/sec的頻寬下可以支援Full-HD(1920×1080)每秒30張的速度，壓縮率以12倍估計(頻寬約為7.776MB/sec)，未來可配合應用層面再作動態調整。
在第三種使用模式下，則是兩個VSA(比如，VSA 320與VSA 325)都使用，在分時多工架構設計下，最大可以分別支援傳輸24.576MB/sec及24.576MB/sec。同樣地，因為是傳輸壓縮過的視訊資料流，故在成本考量上，以8MB/sec的頻寬來傳輸VSA 325所傳來的壓縮後資料。
故而，由上述說明可知，在本發明實施例中，將傳統支援USB UVC即時性傳輸一路的架構，改良成利用單一個USB裝置，卻可同時支援兩路即時性傳輸。此外，本實施例利用VSA來自動補上符合UVC(Universal video class)的檔頭，而不是由微控制器補上檔頭，所以可以降低微控制器的負擔，避免即時性資料的遺失。另外，本實施例可同時支援兩種不同格式的視訊串流或是影音串流時，當應用於視訊會議或數位家庭時，不需安裝驅動程式即可使用，更可降低硬體需求、減輕負擔，提高使用上的便利。
綜上所述，雖然本發明已以一實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
110．．．本地端畫面
120．．．遠端畫面
210．．．起始封包
220．．．檔頭
231~233．．．資料封包
300．．．數位影音擷取裝置
310．．．訊號源
315．．．影音處理器
320、325．．．VSA
330．．．高效能匯流排橋接器
335．．．微控制器
340．．．資料匯流排
345．．．命令匯流排
350．．．USB裝置控制器
355．．．USB實體層
351．．．DMA
360．．．PC
410、450．．．多工器
415．．．計數器
420．．．控制器
425．．．DMA設定單元
430．．．封包暫存區
435．．．檔頭暫存區
440．．．參數暫存區
445．．．USB事件控制單元
455、460．．．AHB僕裝置
465．．．AHB主裝置
510A~540B．．．狀態
第1圖顯示進行視訊會議時，顯示於顯示單元上的畫面示意圖。
第2A圖至第2C圖顯示視訊串流的一個微資料框(micro-frame)的示意圖。
第3圖顯示根據本發明實施例的支援USB與UVC的數位影音擷取裝置的方塊示意圖。
第4圖顯示根據本發明實施例的VSA的架構。
第5圖顯示互鎖機制的狀態圖。
300．．．數位影音擷取裝置
310．．．訊號源
315．．．影音處理器
320、325．．．VSA
330．．．高效能匯流排橋接器
335．．．微控制器
340．．．資料匯流排
345．．．命令匯流排
350．．．USB裝置控制器
355．．．USB實體層
351．．．DMA
360．．．PC

Claims (19)

  1. 一種影音擷取裝置，包括：一訊號源，用以擷取一外部影像以產生一第一輸入視訊信號；一影音處理器，接收並壓縮該訊號源所產生的該第一輸入視訊信號，以產生一第二輸入視訊信號；一第一影音串流處理器，接收由該訊號源所產生的該第一輸入視訊信號，並補上一第一檔頭於該第一輸入視訊信號以產生一第一視訊串流；一第二影音串流處理器，接收由該影音處理器所產生的該第二輸入視訊信號，並補上一第二檔頭於該第二輸入視訊信號以產生一第二視訊串流；一微控制器，用以產生一命令至該第一與該第二影音串流處理器；以及一傳輸單元，耦接於該第一與該第二影音串流處理器，該傳輸單元以分時多工的方式將該第一影音串流處理器所產生的該第一視訊串流與該第二影音串流處理器所產生的該第二視訊串流傳輸至一外部裝置；其中，該第一與該第二影音串流處理器以一互鎖機制互相溝通，以避免該第一與該第二影音串流處理器同時輸出該第一與第二視訊串流至該傳輸單元。
  2. 如申請專利範圍第1項所述之影音擷取裝置，更包括：一內部資料匯流排，耦接至該影音處理器、該第一與第二影音串流處理器、以及該傳輸單元；一內部命令匯流排，耦接至該微控制器；以及一匯流排橋接器，耦接於該內部資料匯流排與內部命令匯流排之間；其中，該微控制器對該內部命令匯流排做一寫入命令並透過該匯流排橋接器來設定該傳輸單元，以支援即時性資料傳輸。
  3. 如申請專利範圍第1項所述之影音擷取裝置，其中，當該傳輸單元傳輸完一個資料封包後，其會通知該第一或該第二影音串流處理器，以拿取下一個資料封包。
  4. 如申請專利範圍第2項所述之影音擷取裝置，其中，該第一影音串流處理器包括：一第一多工器，接收由該訊號源所傳來的該第一輸入視訊信號；一計數器，耦接至該第一多工器，其用以計數通過該第一多工器的該第一輸入視訊信號；一封包暫存區，耦接至該第一多工器；一檔頭暫存區，耦接至該第一多工器；以及一參數暫存區，耦接至該檔頭暫存區，其接收由該微控制器所傳來的一參數；其中，根據存於該參數暫存區內的該參數，當該計數器計數到通過該第一多工器的該第一輸入視訊信號已到達一既定量時，該計數器會將該第一輸入視訊信號打包成一封包，並存於該封包暫存區內。
  5. 如申請專利範圍第4項所述之影音擷取裝置，其中，該第一影音串流處理器更包括：一控制器，耦接至該計數器；其中，在該計數器打包該封包時，該計數器通知該控制器開始編組該第一檔頭的一第一部份並儲存於該檔頭暫存區。
  6. 如申請專利範圍第5項所述之影音擷取裝置，其中，該第一影音串流處理器更包括：一設定單元，耦接至該控制器；其中，當該封包暫存於該封包暫存區時，該設定單元通知該傳輸單元進行資料傳輸；在該傳輸單元開始傳輸資料之前，必需先透過該互鎖機制來確認該內部資料匯流排與該傳輸單元是否被該第二影音串流處理器所使用，如果是的話，則等到該第二影音串流處理器釋放出使用權後，該設定單元才能進行資料傳輸。
  7. 如申請專利範圍第6項所述之影音擷取裝置，其中，該第一影音串流處理器更包括：一事件控制單元，耦接至該參數暫存區；以及一第二多工器，耦接至該封包暫存區與該檔頭暫存區；其中，該事件控制單元會偵測該封包是否傳輸完畢，並通知該設定單元，由該設定單元溝通於該傳輸單元，以使得存在該封包暫存器內的下一個封包透過該第二多工器與該內部資料匯流排而送至該傳輸單元；該第二多工器依序輸出暫存於該封包暫存區內的該封包或是暫存於該檔頭暫存區內的該第一檔頭；以及當該傳輸單元抓取存放在該封包暫存區內的該封包時，該控制器會補上該第一檔頭的一第二部份。
  8. 如申請專利範圍第7項所述之影音擷取裝置，其中，該第一影音串流處理器更包括：一第一橋接器僕裝置，耦接於該第二多工器與該傳輸單元之間；一第二橋接器僕裝置，耦接於該參數暫存區與該微控制器之間；以及一橋接器主裝置，耦接於該設定單元與該傳輸單元之間。
  9. 如申請專利範圍第5項所述之影音擷取裝置，其中，該第一檔頭的該第一部份包括：該第一視訊串流是否屬同一視頻框，該第一視訊串流是否為拍照模式，該第一視訊串流是否為視頻框結尾。
  10. 如申請專利範圍第7項所述之影音擷取裝置，其中，該第一檔頭的該第二部份包括：一視訊串流時間。
  11. 如申請專利範圍第6項所述之影音擷取裝置，其中，該第一影音串流處理器內的該設定單元執行該互鎖機制，其中，該設定單元的一初始狀態為一閒置狀態；當該設定單元接受到一傳輸命令時，該設定單元進入到一確認狀態，以確認該傳輸單元的狀態，當該傳輸單元忙碌時，則回到該閒置狀態，如果該傳輸單元是一備妥狀態，則該設定單元進入到一寫入狀態；在該寫入狀態中，該設定單元將一封包相關參數寫入至該傳輸單元，之後，進入一致能狀態，以啟動該傳輸單元；以及在進入該寫入狀態時，該設定單元發出一互鎖訊號給該第二影音串流處理器，以避免該第二影音串流處理器使用該傳輸單元來傳輸資料。
  12. 一種數位影音擷取方法，包括：擷取一外部影像以產生一第一輸入視訊信號；接收並壓縮該第一輸入視訊信號，以產生一第二輸入視訊信號；使用一第一影音串流處理器接收該第一輸入視訊信號，並補上一第一檔頭於該第一輸入視訊信號以產生一第一視訊串流；使用一第二影音串流處理器接收該第二輸入視訊信號，並補上一第二檔頭於該第二輸入視訊信號以產生一第二視訊串流；以分時多工的方式將該第一視訊串流與該第二視訊串流傳輸至一外部裝置；在分時多工傳輸時，該第一與該第二影音串流處理器執行一互鎖機制，以避免同時傳輸該第一與第二視訊串流至該外部裝置。
  13. 如申請專利範圍第12項所述之方法，更包括：計數該第一輸入視訊信號的一資料流量；根據一參數，當該第一輸入視訊信號的該資料流量到達一既定量時，將該第一輸入視訊信號打包成該第一視訊 串流的一封包並暫存。
  14. 如申請專利範圍第13項所述之方法，更包括：當打包該第一視訊串流的該封包時，開始編組該第一檔頭的一第一部份並暫存。
  15. 如申請專利範圍第14項所述之方法，更包括：當該第一視訊串流的該封包已被打包完畢且暫存時，傳輸該第一視訊串流的該封包至該外部裝置；在開始傳輸該第一視訊串流的該封包之前，必需先透過該互鎖機制來確認該第二視訊串流的一微資料框是否正傳輸至該外部裝置；如果是，則等到該第二視訊串流的該微資料框傳輸完，才能傳輸該第一視訊串流的該封包。
  16. 如申請專利範圍第15項所述之方法，更包括：偵測該第一視訊串流的該封包是否傳輸完畢；將該第一視訊串流的下一封包送至該外部裝置；依序輸出該第一檔頭與該第一視訊串流的該些封包；以及補上該第一檔頭的一第二部份。
  17. 如申請專利範圍第16項所述之方法，其中，該第一檔頭的該第一部份包括：該第一視訊串流是否屬同一視頻框，該第一視訊串流是否為拍照模式，該第一視訊串流是否為視頻框結尾。
  18. 如申請專利範圍第16項所述之方法，其中，該第一檔頭的該第二部份包括：一視訊串流時間。
  19. 如申請專利範圍第16項所述之方法，其中，執 行該互鎖機制之該步驟包括：設定一初始狀態為一閒置狀態；當接受到一傳輸命令時，進入到一確認狀態，以確認一傳輸單元的狀態，當該傳輸單元忙碌時，則回到該閒置狀態，如果該傳輸單元是一備妥狀態，則進入到一寫入狀態；在該寫入狀態中，將一封包相關參數寫入至該傳輸單元；進入一致能狀態，以啟動該傳輸單元；以及在進入該寫入狀態時，發出一互鎖訊號，以暫時阻止該第二視訊串流傳輸至該傳輸單元。
TW098102072A 2009-01-20 2009-01-20 數位影音擷取裝置與其方法 TWI381737B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098102072A TWI381737B (zh) 2009-01-20 2009-01-20 數位影音擷取裝置與其方法
US12/604,581 US8019917B2 (en) 2009-01-20 2009-10-23 Digital video/audio capture device and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098102072A TWI381737B (zh) 2009-01-20 2009-01-20 數位影音擷取裝置與其方法

Publications (2)

Publication Number Publication Date
TW201029469A TW201029469A (en) 2010-08-01
TWI381737B true TWI381737B (zh) 2013-01-01

Family

ID=42337848

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098102072A TWI381737B (zh) 2009-01-20 2009-01-20 數位影音擷取裝置與其方法

Country Status (2)

Country Link
US (1) US8019917B2 (zh)
TW (1) TWI381737B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102005227B1 (ko) * 2013-03-12 2019-07-30 삼성전자 주식회사 데이터 처리 시스템과 이의 동작 방법
US9973638B2 (en) 2016-01-26 2018-05-15 Qsc, Llc Peripheral bus video communication using internet protocol
CN108200387A (zh) * 2017-12-26 2018-06-22 深圳进化动力数码科技有限公司 一种文件的传输方法、系统及相机
CN109101454B (zh) * 2018-07-03 2020-09-29 建荣半导体（深圳）有限公司 一种自定义的usbcam调试接口的通信方法、系统及电子设备
CN114731339B (zh) * 2020-02-18 2024-01-30 华为技术有限公司 信息传输方法以及相关设备
CN114339112B (zh) * 2020-09-30 2023-10-20 华为终端有限公司 视频通话的方法、电子设备及系统
CN112492348A (zh) * 2020-10-20 2021-03-12 广州视源电子科技股份有限公司 多码流处理及输出方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903261A (en) * 1996-06-20 1999-05-11 Data Translation, Inc. Computer based video system
US6404980B1 (en) * 1997-12-15 2002-06-11 Matsushita Electric Industrial Co., Ltd. Optical disc, optical disc recording apparatus, and optical disc recording method for facilitating dubbing, storage medium for strong optical disc recording program for facilitating dubbing, optical disc reproducing apparatus, and optical disc reproducing method
US20020126987A1 (en) * 1997-08-29 2002-09-12 Akira Kamiya Still picture player
US6914903B1 (en) * 1999-08-06 2005-07-05 Matsushita Electric Industrial Co., Ltd. Apparatus and method for transmitting or receiving an uncompressed packet followed by compressed packets
US20060232808A1 (en) * 2005-04-13 2006-10-19 George Lyons Imaging module, interface, and method handling multiple simultaneous data types

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903261A (en) * 1996-06-20 1999-05-11 Data Translation, Inc. Computer based video system
US20020126987A1 (en) * 1997-08-29 2002-09-12 Akira Kamiya Still picture player
US6404980B1 (en) * 1997-12-15 2002-06-11 Matsushita Electric Industrial Co., Ltd. Optical disc, optical disc recording apparatus, and optical disc recording method for facilitating dubbing, storage medium for strong optical disc recording program for facilitating dubbing, optical disc reproducing apparatus, and optical disc reproducing method
US6914903B1 (en) * 1999-08-06 2005-07-05 Matsushita Electric Industrial Co., Ltd. Apparatus and method for transmitting or receiving an uncompressed packet followed by compressed packets
US20060232808A1 (en) * 2005-04-13 2006-10-19 George Lyons Imaging module, interface, and method handling multiple simultaneous data types

Also Published As

Publication number Publication date
US8019917B2 (en) 2011-09-13
US20100185795A1 (en) 2010-07-22
TW201029469A (en) 2010-08-01

Similar Documents

Publication Publication Date Title
TWI381737B (zh) 數位影音擷取裝置與其方法
US9665332B2 (en) Display controller, screen transfer device, and screen transfer method
CA2446513C (en) Communication protocol for controlling transfer of temporal data over a bus between devices in synchronization with a periodic reference signal
US9497358B2 (en) Video latency reduction
CN102665135A (zh) 一种嵌入式屏幕传输系统及其操作方法
WO2012079453A1 (zh) 视频数据处理系统及方法、cpu、gpu和视频监控系统
JP2014138269A (ja) 動画像多重化装置及び動画像多重化方法、ならびに多重化動画像復号装置及び多重化動画像復号方法
US20070127523A1 (en) Enhanced display systems with DVC connectivity
BRPI0809354A2 (pt) Transmissão de dados de vídeo através de conexão usb
EP1414015B1 (en) Video bus for a video decoding system
WO2024051674A1 (zh) 图像处理电路和电子设备
JP2002300578A (ja) 映像伝送装置
KR100690619B1 (ko) ＤＴＶＬｉｎｋ 방식의 프레임 데이터 전송 방법
KR101710011B1 (ko) 영상 데이터 전송 및 수신 방법 및 장치
CN101815192B (zh) 数字影音撷取装置及其方法
TWI486055B (zh) 影像訊號傳送裝置、接收裝置、傳輸系統及其方法
US9693011B2 (en) Upgraded image streaming to legacy and upgraded displays
CN115278323A (zh) 一种显示设备、智能设备和数据处理方法
CN114339070A (zh) 一种基于MPSoC的多路图像处理显示交互系统
CN114339349A (zh) 一种显示设备、数据传输方法及存储介质
Huang et al. Design and Implementation of Ultra-Low Delay Video Codec System Based on ZYNQ
KR100623710B1 (ko) 하드웨어 리소스를 공유하여 복수의 동영상 콘텐츠를처리하는 방법
CN104660871A (zh) 一种基于嵌入式混合硬件架构的录播一体机
WO2024017125A1 (zh) 一种信号传输方法及装置
KR100914919B1 (ko) 영상 부호화기용 비디오 입력 장치