TW201029469A - Digital video/audio capture device and method thereof - Google Patents

Digital video/audio capture device and method thereof Download PDF

Info

Publication number
TW201029469A
TW201029469A TW098102072A TW98102072A TW201029469A TW 201029469 A TW201029469 A TW 201029469A TW 098102072 A TW098102072 A TW 098102072A TW 98102072 A TW98102072 A TW 98102072A TW 201029469 A TW201029469 A TW 201029469A
Authority
TW
Taiwan
Prior art keywords
video
video stream
packet
transmission unit
signal
Prior art date
Application number
TW098102072A
Other languages
English (en)
Other versions
TWI381737B (zh
Inventor
Yu-Min Chen
Chun-Chiao Wang
Original Assignee
Quanta Comp Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanta Comp Inc filed Critical Quanta Comp Inc
Priority to TW098102072A priority Critical patent/TWI381737B/zh
Priority to US12/604,581 priority patent/US8019917B2/en
Publication of TW201029469A publication Critical patent/TW201029469A/zh
Application granted granted Critical
Publication of TWI381737B publication Critical patent/TWI381737B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

201029469 六、發明說明： 【發明所屬之技術領域】 本發明是有關於一種數位影音擷取裝置與其方法，且 特別是有關於一種能輸出未壓縮視訊串流與壓縮後視訊 串流之數位影音擷取裝置與其方法。 【先前技術】 現行的 USB Video class(又稱為 universal Serial • Bus Video device Class or UVC)影音產品在不需要安裝 任何的驅動程式下’即可以在Windows XP SP2之後的版 本或是Vista系統下隨插即用。諸如此類的產品包括數位 網路攝影機(webcam)、數位相機、類比影像轉換器、電視 棒及靜態衫像相機等。網路攝影機是最早支援u vc標準 的’且其使用廣泛且又市場數量龐大。 隨著内建數位網路攝影機已成為筆記型電腦的標準 配備，更多市場應用導向也隨之被開發，如利用内建數位 • 網路攝影機的筆記型電腦或個人電腦等來進行數位家庭 應用、視訊會議等。而在這一類型的應用上，視訊串流 (video streaming)是不可或缺的。如以視訊會議為例，通 系會用到兩種格式的視訊串流：一類是經壓縮 號（如 MPEG)’其用來在網路上傳輸；另一類則是未經壓縮過的 訊號(如YUV格式），其可用來直接在本地端播放。 第1圖顯示進行視訊會議時，顯示於顯示單元(如NB 或PC的螢幕）上的畫面示意圖。如第]圖所示，在進行視 訊會議時，在顯示單元上會顯示出本地端畫面110與遠端 3 201029469 .
ιν/yzi^A 畫面120。其中，本地端畫面11()是由内建數位網路攝影 機所輸出的未壓縮視訊串流，以在本地端電腦的顯示單元 上播放；而遠端畫面120則是由遠端所輸出的壓縮後訊號 透過本地端電腦解壓縮，以播放於顯示單元上。 傳統數位網路攝影機的缺點在於，其只能支援一路的 視訊傳輸，比如，由傳統數位網路攝影機所輸出的視訊串 流都是未經壓縮的。所以，在進行視訊會議時，本地端電 腦需要進打的壓縮/解壓縮操作至少有：將本地端的數位網 路攝影機所輸出的未壓縮視訊串流由本地電腦壓縮後，透 過網路送至遠端電腦；將遠端電腦所傳來的壓縮過訊號由 本地電腦解壓縮以進行播放。可是，這樣會造成本地電腦 在壓縮或解壓縮操作上的負擔過重。 故而’本發明提出-種新的數位影音搁取架構，其將 傳統支援USB UVC即時性傳輪的單—路架構，以分時多 工的概念’改良成僅使用單一個USB數位影音擷取元件 (如USB數位網路攝影機），卻可分時輸出兩路即時影音串 流傳輸(也就是，可傳輸壓縮後影音串流與未壓縮影音_ 流）。本地端電腦因同時獲得兩種格式，所以可以減少本地〇 端電腦執行壓縮與解壓縮的負載。 此外’本發明所提出的新USB數位影音擷取架構可 自動補上UVC定A的购。如此，要料視訊會議或數 位家庭時，就變得較容易實現。 【發明内容】 本發明係有關於一種影音擷取裝置與其方法，以分時 4 201029469 多工的概念，僅使用單一個USB數位影音擷取元件，卻 可分時多工輸出壓縮後影音串流與未壓縮影音串流。故 而，本地端電腦因同時獲得兩種格式，所以可以減少本地 端電腦執行壓縮與解壓縮的負載。 本發明係有關於一種影音擷取裝置與其方法，其可自 動補上符合UVC定義的檔頭，可以降低微控制器的負擔， 避免即時性資料的遺失。如此，要用於視訊會議或數位家 庭時，就變得較容易實現。 φ 根據本發明之一方面，提出一種影音擷取裝置，包 括：一訊號源，用以擷取一外部影像以產生一第一輸入視 訊信號；一影音處理器，接收並壓縮該訊號源所產生的該 第一輸入視訊信號，以產生一第二輸入視訊信號；一第一 影音串流處理器，接收由該訊號源所產生的該第一輸入視 訊信號，並補上一第一檔頭於該第一輸入視訊信號以產生 一第一視訊串流；一第二影音串流處理器，接收由該影音 處理器所產生的該第二輸入視訊信號，並補上一第二檔頭 ❹ 於該第二輸入視訊信號以產生一第二視訊串流；一微控制 器，用以產生一命令至該第一與該第二影音串流處理器； 以及一傳輸單元，耦接於該第一與該第二影音串流處理 器，該傳輸單元以分時多工的方式將該第一影音串流處理 器所產生的該第一視訊串流與該第二影音串流處理器所 產生的該第二視訊串流傳輸至一外部裝置。其中，該第一 與該第二影音串流處理器以一互鎖機制互相溝通，以避免 該第一與該第二影音串流處理器同時輸出該第一與第二 視訊串流至該傳輸單元。 5 201029469
1W5219FA 根據本發明之另一方面，提出一種數位影音操取方 法’包括.操取一外部影像以產生一第一輸入視訊信號； 接收並壓縮該第一輸入視訊信號，以產生一第二輸入視訊 信號；接收該第一輸入視訊信號，並補上一第一檐頭於該 第一輸入視訊號以產生一第一視訊串流；接收該第二輸 入視訊彳§號’並補上一第一樓頭於該第二輸入視訊信號以 產生一第二視訊串流；以分時多工的方式將該第一視訊串 流與該第二視訊串流傳輸至一外部裝置；在分時多工傳輸 時’執行一互鎖機制’以避免同時傳輸該第一與第二視訊 串流至該外部裝置。 為讓本發明之上述内容能更明顯易懂，下文特舉實施 例，並配合所附圖式，作詳細說明如下： 【實施方式】 在本發明實施例所提出的新USB數位影/音擷取架構 中，以分時多工的概念’即可支援兩路影音串流的即時性 傳輸(也就是’可傳輸壓縮後影音串流與未壓縮影音串 流）。本地端電腦因同時獲得兩種格式，所以可以減少本地 端電腦執行壓縮與解壓縮的負載。 此外，本發明實施例所提出的新USB數位影音擷取 架構可自動補上UVC疋義的槽頭。如此，要用於視訊會 議或數位家庭時，就變得較容易實現。 θ 在底下，視訊串流包括影像資料及/或聲音資料。第 2 Α圖至第2C圖顯不視訊串流的一個微資料框 (micro-frame)的示意圖。如第2A圖〜第2c圖所示，一個 201029469 * ** «/A. I ^ L· Λ \ 微資料框包括起始封包（start of frame，SOF)210、檔頭 (payload header)220與數個即時性傳輸資料封包 231〜233。其中，在每個微資料框中，檔頭220都必須被 更新’並且檔頭220要位於第一個即時性傳輸資料封包的 開頭。一般而言，UVC檔頭包含下列資訊：串流是否屬同 一視頻框(Video frame)、串流是否為拍照模式、串流是否 為視頻框結尾（End of video frame)和視訊串流時間…等 等。資料封包231〜233則包括影/音資料。 • 在傳統上，由數位網路攝影機内部的微控制器（Micro
Controller)負責填入檔頭。在一個USB的微資料框内，通 常微控制器需要完成下列操作：1.收集檔頭所需資訊，例 如：時間標籤（Timestamp)…等；2.將這次微資料框内的 影音資料拷貝至存放檔頭的記憶體内’且影音資料的存放 位置要在檔頭的存放位置之後；3·控制數位網路攝影機輸 出依序檔頭與影音資料；以及4.確認數位網路攝影機已完 成資料的輸出。 ⑩ 上述操作在每個微資料框内（也就是在每125百萬分 之一秒（/X second)内）必須重複一次。當微控制器的處理速 度不夠’或是微控制器器有其他任務必須同時執行時，可 能無法在時限内完成上述操作。當來不及完成上述操作 時’將造成影音資料的遺失，無法達成即時(realtime)影 音傳輸。 故而，在本發明實施例所提出的硬體架構中，由其他 部份（非微控制器）來自動更新或取得部分檔頭資訊，並在 傳輸微資料框時，由其他部份(#微控制器）負責先輸出檔 7 201029469
TW52iyPA 頭後輸出影音資料。所以，微控制器將大量減少執行即時 串流傳輸所需的任務，使整個系統更有效率，也避免影像 資料的遺失。 請參考第3圖，其顯示根據本發明實施例的支援USB 與UVC的數位影音擷取裝置的方塊示意圖。如第3圖所 示，數位影音擷取裝置300包括：訊號源310、影音處理 器315、VSA (影音串流處理器，video stream adapter)320、VSA325、AHB(advanced high performance bridge,高效能匯流排橋接器）33〇、微控制器335、資料 匯流排340、命令匯流排345、USB裝置控制器350與 USB實體層355。USB裝置控制器350至少包括DMA (Direct Memory Access，直接記憶體存取）351。 數位影音擷取裝置300可同時支援兩路符合 USB(Universal Serial Bus)及 UVC(Universal Video
Class)的視訊串流，但卻可只透過一組USB裝置控制器來 將這兩路視訊串流傳輸給後端的PC 360。此外，更可動 態改變兩路所需要的頻寬，以分別支援USB即時性傳輸 (isochronous transfer)的最大頻寬到 24_576MB/sec。更 甚者’數位影音擷取裝置300可自動補上符合UVC格式 的檔頭。 訊號源310内的影像感光元件可擷取外部影像，以產 生視訊信號。訊號源310所產生的視訊信號會分別進入到 VSA320與VSA325。其中，進入到VSA320的那一路 視訊信號未經壓縮處理。而進入到VSA 325的另一路視訊 信號則經過影音處理器315的影像處理（比如愿縮成 201029469 H.264格式）再輸入到VSA 325。 影音處理器315用以將訊號源310所產生的視訊信號 壓縮’並將壓縮後的視訊信號送至VSA 325。 在VSA 320接收到未壓縮視訊信號與VSA 325接收 到壓縮後視訊信號時，VSA 320與325會將之編成視訊串 流。此外，VSA 320與325會根據微控制器335所傳來的 參數’自動補上符合UVC格式的檔頭，並主動透過資料 匯流排340去設定USB裝置控制器350中的DMA 351， • 以利用分時多工的方式將這兩路視訊串流傳到PC 360。 在本實施例中，一次只能讓VSA 320與325之一透 過USB裝置控制器350來傳送資料給PC 360。所以，藉 由互鎖機制與互鎖信號IL來控制一次只能讓VSA 320與 325之一來傳送資料。也就是說，當VSA 320在傳輸一個 微資料框的未壓縮視訊串流給PC 360時，VSA 325必需 等待；反之，當VSA 325在傳輸一個微資料框的壓縮後視 訊串流給PC 360時，VSA 320必需等待。 ❹ 由VSA 320傳給PC 360的未壓縮視訊串流可直接在 PC 360上播放；而由VSA 325傳給PC 360的壓縮後視 訊串流則可由PC 360傳送給遠端電腦，以播放於遠端電 腦上。 AHB 330乃是介於兩種不同傳輸速度的匯流排之 間，以當其中的橋接器。微控制器335對命令匯流排345 做寫入命令，並透過AHB 330來設定USB裝置控制器 350，以支援UVC即時性的資料傳輸。 命令匯流排345用以傳輸指令、參數、命令等，而資 9 201029469 I W3ZIVm 料匯流排340則用以傳輸影/音資料。故而，可以將需要 高速傳輸的USB即時性資料流與較不需要高速傳輸的命 令分開傳輸於兩條内部匯流排。如此，除了可以保證視訊 資料流的正確性，更可以兼顧微控制器335在處理命令的 時效性。 USB裝置控制器350用以將由VSA 320傳來的未壓 縮視訊串流與由VSA 325傳來的壓縮後視訊串流以分時 多工方式傳送至PC 360。此外，當USB裝置控制器350 傳輸完一個資料封包後，會通知VSA 320或325，以向 VSA 320或325拿取下一個封包並送至DMA 351。也就 是說’ VSA 320或325 —次會傳輸一個資料封包（及其檔 頭，如果此資料封包是該微資料框内的第一個資料封包的 話）至 DMA 351。 USB實體層355乃是介於USB裝置控制器350與 PC 360間的介面。 接著，請參考第4圖來了解根據本發明實施例的VSA 的架構。在本實施例中，VSA 320與325具有相同或幾乎 相似的架構。在此以VSA 320為例做說明。 如第4圖所示，VSA 320包括：多工器（MUX)410、 計數器415、控制器420 ' DMA設定單元425、封包暫存 區430、檔頭暫存區435、參數暫存區440、USB事件控 制單元445、MUX 450、AHB僕裝置455、AHB僕裝置 460與AHB主裝置465。 參數暫存區440用以暫存參數。由微控制器335所傳 來的參數會透過命令匯流排345與AHB僕裝置460而寫 201029469 入至參數暫存區44〇。 ^ 在此參數比如包括：封包大小等。 由微控制器335 == = 2器410的資料量。根據 it!計數到通過多工器410的資料量已到達-個 包，並广日、’梢器415會將這些資料打包成-個封 包並存於封包暫存區430内。
4械ί外’在將料打包成—個封包時，計數11 415會通 420開始編組符合UVC ^義的槽頭的—部份並 2於檔頭暫存區（head⑽邮35。在此階段所編組 支㈣的—部份包括：串流是否屬同—視頻框，串流是否 為拍照模式，串流是否為視頻框結尾等。接著，計數器415 會排=即時性資料封包的順序(如第2A圖〜第2C圖所示）。 田已有至少一個封包暫存於封包暫存區43〇時，VSA 320内的DMA設定單元425要通知DMA 351進行資料的 傳輸。可是，在開始利用DMA351傳輸資料之前，必需 先透過互鎖機制來確認目前的資料匯流排34〇與DMA 351是否被另一個VSA所使用。如果目前的資料匯流排 340與DMA 351正被另一個VSA所使用的話，則要等到 另一個VSA(如VSA 325)完成一個微資料框的傳輸（亦即 釋放出使用權）時，VSA 320才能進行資料傳輸。互鎖機 制將於底下詳述之。 USB事件控制單元445會偵測每一個即時性資料封 包是否傳輸完畢。比如，當DMA 351完成一個即時性資 料封包的傳輸時，USB裝置控制器350會透過資料匯流排 340而回傳一個脈衝信號給USB事件控制單元445。當接 201029469
i v^yzi^A 收到此回傳脈衝信號後，USB事件控制單元445會通知 DMA設定單元425，由DMA設定單元溝通於DMA 351， 以使得存在封包暫存器430内的下一個資料封包透過多工 器450、AHB僕裝置455與資料匯流排340而送至DMA 351 ° 多工器450會根據由其他元件的控制信號，而決定要 輸出資料封包或是輸出槽頭，以使得檔頭與資料封包的輸 出順序會符合第2A圖〜第2C圖所示。 當AHB主裝置465設定完成後，USB裝置控制器350 〇 内的DMA351會透過AHB僕裝置455來抓取存放在封包 暫存區430内的即時性傳輸資料封包。而在抓取資料的同 時，控制器420會根據當時視訊串流所傳輸的格式，補上 UVC定義的檔頭的另一部份，比如補上視訊串流時間。如 此一來，視訊串流的傳輸就完成。 DMA設定單元425會透過AHB主裝置465而溝通於 DMA 351並設定DMA 351。請參考第5圖來了解DMA設 定單元425如何設定DMA 351。另外，互鎖機制乃是由 〇 DMA設定單元425來執行。 AHB僕裝置455、460與AHB主裝置465乃是介於 VSA與其他元件間的介面。特別是，AHB僕裝置455乃 是介於VSA與DMA 351間的介面；AHB僕裝置460乃是 介於VSA與微控制器335間的介面；以及AHB主裝置 465乃是介於VSA與DMA 351間的介面。 請注意，在第4圖中，VSA320接收由訊號源310所 傳來的未壓縮視訊串流。如果是VSA 325的話，則其接收 12 201029469 由影音處理器315所傳來的壓縮後視訊串流。 在本實施例的影音操取裝置内有兩個VSA並存，但 只有一套USB裝置控制器350。所以在設定DMA351時， 必須利用互鎖機制使VSA 320與VSA 325的即時性封包 (Isochronous packet)的傳輸不被中斷，並在確定USB頻 寬足夠的情況下，將VSA 320與VSA 325使用USB裝置 控制器350的時間錯開（亦即分時多工傳輸）。互鎖機制的 流程如第5圖所示。底下以VSA 320為例說明，VSA 325 φ 的流程相同。 一開始，DMA設定單元425為閒置狀態510A。當 DMA設定單元425接受到USB傳輸命令的同時，會進入 到DMA確認狀態520A，以確認DMA的狀態是否為忙碌。 當DMA為忙碌（亦即，另一個VSA(VSA325)正透過 DMA 351傳輸資料），則狀態要回到閒置狀態510A。如果 DMA 351是備妥(ready)狀態，則流程進入到寫入狀態 530A。 ® 在寫入狀態530A中，DMA設定單元425可將封包的 一些相關參數（比如，封包大小、封包編號與封包的儲存位 址等）寫入至DMA 351。 之後，進入致能狀態540A，以啟動DMA 351，將存 於封包暫存區430内的資料封包取出並傳輸給PC 360。 而且，在進入寫入狀態530A時，DMA設定單元425會發 出互鎖訊號IL給VSA 325，使得VSA 325内的DMA設 定單元維持在閒置狀態，不能使用DMA 351來傳輸資料。 如此’可以避免在資料匯流排上同時有兩路視訊串流的出 13 201029469 i W3ziyr/\ 現而導致即時性視訊串流的遺失。當一個微資料框的傳輸 完成後，流程會由致能狀態540A進入至閒置狀態510A， 如此，才能將資料匯流排340的使用權給另一個VSA使 用。也就是說’必需等到VSA 320將未經壓縮的一個微資 料框傳輸完成後’才能讓VS A 325傳輸壓縮後的一個微資 料框。狀態510B〜540B相同於狀態510A〜540A，故其細 節不再重述。 在USB 2.0高速(High Speed〉規範下，一秒内要傳輸 8000個微資料框，而一個微資料框最多可以傳三個即時 性傳輸資料封包’每個即時性傳輸封包最大的大小為Ί〇24 位元組（Bytes)。因此每一個即時性傳輸的端點（endp〇丨 頻寬最大可以達到24.576MB/sec。而在USB規範中，在 24.576MB/sec的傳輸頻寬下，最大可支援兩個即時性傳 輪端點（Isochronous Endpoint)，也就是兩個即時性傳輸端 點的最大頻寬總和為49.152MB/S。 本發明實施例在使用模式上，可以分以下三種情況， 如下表所示。在第一種使用模式下，只傳輸未壓縮的視訊 資料流(YUYV格式），最大頻寬為24.576MB/sec。在此速 度下’已可以支援VGA(640X480>的視訊畫面到每秒30 張以上（頻寬約為18.423MB/sec)。 在第二種使用模式下，只傳輸壓縮過的視訊資料流， 一樣可以達到最大頻寬24.576MB/sec。但因為是傳輸壓 縮過的視訊資料流，故在成本考量上，以8MB/sec的頻寬 來傳輸。以H.264編碼格式來說，在8MB/sec的頻寬下 可以支援Fun-HD(1920x1080)每秒30張的速度，壓縮率 201029469 以12倍估計（頻寬約為7.776MB/sec)’未來可配合應用層 面再作動態調整。 在第三種使用模式下，則是兩個VSA(比如，VSA320 與VSA 325)都使用，在分時多工架構設計下，最大可以 分別支援傳輸24.576MB/sec及24.576MB/sec。同樣地， 因為是傳輸壓縮過的視訊資料流，故在成本考量上，以 8MB/sec的頻寬來傳輸VSA325所傳來的壓縮後資料。 使用模式 最大可支援頻寬 預估使用頻寬 未壓縮之視訊串流 24.576MB/sec 24.576MB/sec 壓縮後視訊串流 24.576MB/sec 8 MB/sec 未壓縮之視訊串流+ 24.576MB/sec+ 24.576MB/sec+ 壓縮後視訊串流 24_576MB/sec 8 MB/sec 故而’由上述說明可知，在本發明實施例中，將傳統 支援USB UVC即時性傳輸一路的架構，改良成利用單一 ❹ 個USB裝置，卻可同時支援兩路即時性傳輸。此外，本 實施例利用VSA來自動補上符合L)VC(Universal video class)的檔頭，而不是由微控制器補上權頭，所以可以降 低微控制器的負擔，避免即時性資料的遺失。另外，本實 施例可同時支援兩種不同格式的視訊串流或是影音串流 時’當應用於視訊會議或數位家庭時，不需安裝驅動程式 即可使用’更可降低硬體需求、減輕負擔，提高使用上的 便利。 綜上所述’雖然本發明已以一實施例揭露如上，然其 15 201029469
1 WDZIVKA 並非用以限定本發明。本發明所屬技術領域中具有通常知 識者’在不脫離本發明之精神和範圍内，當可作各種之更 動與潤飾。因此，本發明之保護範圍當視後附之申請專利 範圍所界定者為準。 【圖式簡單說明】 第1圖顯示進行視訊會議時，顯示於顯示單元上的畫 面示意圖。 第2A圖至第2C圖顯示視訊串流的一個微資料框 (micro-frame)的示意圖。 第3圖顯示根據本發明實施例的支援USB與UVC的 數位影音擷取裝置的方塊示意圖。 第4圖顯示根據本發明實施例的VSA的架構。 第5圖顯示互鎖機制的狀態圖。 【主要元件符號說明】 110 :本地端畫面 120 :遠端晝面 210 :起始封包 220 :檔頭 231〜233 :資料封包 300 :數位影音搁取裝置 310 .訊號源 315 :影音處理器
320、325 : VSA 330:高效能匯流排橋接器 201029469 335 :微控制器 340 :資料匯流排 345 ··命令匯流排 350 : USB裝置控制器 355 : USB實體層
351 ： DMA 360 : PC 410、450 :多工器 丨 415 :計數器 420 :控制器 425 : DMA設定單元 430 :封包暫存區 435 :檔頭暫存區 440 :參數暫存區 445 : USB事件控制單元 455、460 : AHB 僕裝置 ❹ 465 : AHB主裝置 510A〜540B :狀態 17

Claims (1)

  1. 201029469 TW5219FA 七、申請專利範圍： 1. 一種影音擷取裝置，包括： 一訊號源，用以擷取一外部影像以產生一第一輸入視 訊信號， 一影音處理器，接收並壓縮該訊號源所產生的該第一 輸入視訊信號，以產生一第二輸入視訊信號； 一第一影音串流處理器，接收由該訊號源所產生的該 第一輸入視訊信號，並補上一第一檔頭於該第一輸入視訊 信號以產生一第一視訊串流； 一第二影音串流處理器，接收由該影音處理器所產生 的該第二輸入視訊信號，並補上一第二檔頭於該第二輸入 視訊信號以產生一第二視訊串流； 一微控制器，用以產生一命令至該第一與該第二影音 串流處理器；以及 一傳輸單元，耦接於該第一與該第二影音串流處理 器，該傳輸單元以分時多工的方式將該第一影音串流處理 器所產生的該第一視訊串流與該第二影音串流處理器所 產生的該第二視訊串流傳輸至一外部裝置； 其中，該第一與該第二影音串流處理器以一互鎖機制 互相溝通，以避免該第一與該第二影音串流處理器同時輸 出該第一與第二視訊串流至該傳輸單元。 2. 如申請專利範圍第1項所述之影音擷取裝置，更 包括： 一内部資料匯流排，耦接至該影音處理器、該第一與 第二影音串流處理器、以及該傳輸單元； 18 201029469 一内部命令匯流排，耦接至該微控制器；以及 一匯流排橋接器，耦接於該内部資料匯流排與内部命 令匯流排之間； 其中，該微控制器對該内部命令匯流排做一寫入命令 並透過該匯流排橋接器來設定該傳輸單元，以支援即時性 資料傳輸。 3_如申請專利範圍第1項所述之影音擷取裝置，其 中，當該傳輸單元傳輸完一個資料封包後，其會通知該第 φ —或該第二影音串流處理器，以拿取下一個資料封包。 4. 如申請專利範圍第2項所述之影音擷取裝置，其 中，該第一影音串流處理器包括： 一第一多工器，接收由該訊號源所傳來的該第一輸入 視訊信號； 一計數器，耦接至該第一多工器，其用以計數通過該 第一多工器的該第一輸入視訊信號； 一封包暫存區，耦接至該第一多工器； ⑩ 一檔頭暫存區，耦接至該第一多工器；以及 一參數暫存區，耦接至該檔頭暫存區，其接收由該微 控制器所傳來的一參數； 其中，根據存於該參數暫存區内的該參數，當該計數 器計數到通過該第一多工器的該第一輸入視訊信號已到 達一既定量時，該計數器會將該第一輸入視訊信號打包成 一封包，並存於該封包暫存區内。 5. 如申請專利範圍第4項所述之影音擷取裝置，其 中，該第一影音串流處理器更包括： 19 201029469 TW521VPA 一控制器，耦接至該計數器； 其中，在該計數器打包該封 制器開始編組該第—檔頭通知該控 暫存區。 拉頭的一第一部份並儲存於該槽頭 中：第如:請Λ利範圍第5項所述之影音擷取裝置，立 中，該第一衫音串流處理器更包括： «•又疋單元，耦接至該控制器； 、其中’當該封包暫存於該封包暫存區時，該―― 通知該傳輸單元進行資料傳輸； “叹疋早7G 在該傳輪單元開始傳輸資料之前， 機制來確認該内部資料匯需^過該互鎖 二影音串流處理器所使用，如果曰2早疋疋否被該第 音串流處理器釋放出使用權= 第 傳輪。 權设I又疋早疋才能進行 7.如申請專利範項所述之影音 該第一影音串流處理器更包括： 裝置 接至該參數暫存區;以及 °耦接至該封包暫存區與該檔頭暫存 並通知該設定單元，包是轉輸完畢， :得存在該封包暫存器内一:封::該傳輸單元’以 該内第ZT排…該二:… #包或是暫存於該樓^出^存於該封包暫存區内的 暫存區⑽卿—_，·以及 ❹ 中 區 影 料 其 〇 20 201029469 當該傳輸單元抓取存放在該封包暫存區内的該封包 時，該控制器會補上該第一檔頭的一第二部份。 8. 如申請專利範圍第7項所述之影音擷取裝置，其 中，該第一影音串流處理器更包括： 一第一橋接器僕裝置，耦接於該第二多工器與該傳輸 單元之間； 一第二橋接器僕裝置，耦接於該參數暫存區與該微控 制器之間；以及 H 一橋接器主裝置，耦接於該設定單元與該傳輸單元之 間。 9. 如申請專利範圍第5項所述之影音擷取裝置，其 中，該第一檔頭的該第一部份包括：該第一視訊串流是否 屬同一視頻框，該第一視訊串流是否為拍照模式，該第一 視訊串流是否為視頻框結尾。 10. 如申請專利範圍第7項所述之影音擷取裝置，其 中，該第一檔頭的該第二部份包括：一視訊串流時間。 ❿ 11.如申請專利範圍第6項所述之影音擷取裝置，其 中，該第一影音串流處理器内的該設定單元執行該互鎖機 制， 其中， 該設定單元的一初始狀態為一閒置狀態； 當該設定單元接受到一傳輸命令時，該設定單元進入 到一確認狀態，以確認該傳輸單元的狀態，當該傳輸單元 忙碌時，則回到該閒置狀態，如果該傳輸單元是一備妥狀 態，則該設定單元進入到一寫入狀態； 21 201029469 i w^iy^A 在該寫入狀態中，該設定單元將一封包相關參數寫入 至該傳輸單元，之後，進入一致能狀態，以啟動該傳輸單 元；以及 在進入該寫入狀態時，該設定單元發出一互鎖訊號給 該第二影音串流處理器，以避免該第二影音串流處理器使 用該傳輸單元來傳輸資料。 12. —種數位影音擷取方法，包括： 擷取一外部影像以產生一第一輸入視訊信號； 接收並壓縮該第一輸入視訊信號，以產生一第二輸入 視訊信號； 接收該第一輸入視訊信號，並補上一第一檔頭於該第 一輸入視訊信號以產生一第一視訊串流； 接收該第二輸入視訊信號，並補上一第二檔頭於該第 二輸入視訊信號以產生一第二視訊串流； 以分時多工的方式將該第一視訊串流與該第二視訊 串流傳輸至一外部裝置； 在分時多工傳輸時，執行一互鎖機制，以避免同時傳 輸該第一與第二視訊串流至該外部裝置。 13. 如申請專利範圍第12項所述之方法，更包括： 計數該第一輸入視訊信號的一資料流量； 根據一參數，當該第一輸入視訊信號的該資料流量到 達一既定量時，將該第一輸入視訊信號打包成該第一視訊 串流的一封包並暫存。 14. 如申請專利範圍第13項所述之方法，更包括： 當打包該第一視訊串流的該封包時，開始編組該第一 201029469 丨 檔頭的一第一部份並暫存。 以=所述之方法，更包括: 時，傳輸該第一;封包已被打包完畢且暫存 在開始傳輸包至該外部裝置； 過該互鎖機制來確二二訊流：該封包之前，必需先透 正傳輸至科部^視訊串流的—微諸框是否 ►完，才ίΓ幹二:到該第二視訊串流的該微資料框傳輸 _ 輪該苐—視訊串流的該封包。 :貞6測ίΓ:專利範圍第15項所述之方法，更包括： 胳访=、視矾串流的該封包是否傳輸完畢； § 視訊串流的下一封包送至該外部裝置； 包；輪出該第—槽頭與該第一視訊串流的該些封 補上該第一檔頭的一第二部份。 第-二ϋ申請專利範圍第16項所述之方法，其中，該 ㈣』該第—部份包括：該第—視訊串流是否屬同一 4Α忒第一現訊串流是否為拍照模式，該第一視訊串 流疋否為視頻框結尾。 18·如申請專利範圍第16項所述之方法，其中，該 一權頭的該第二部份包括：-視訊串流時間。 一上19.如申請專利範圍第16項所述之方法，其中，執 行"亥互鎖機制之該步驟包括： 設定一初始狀態為一閒置狀態； 當接受到一傳輪命令時，進入到一確認狀態，以確認 23 201029469 l w^ziv^A 一傳輸單元的狀態，當該傳輸單元忙碌時，則回到該閒置 狀態，如果該傳輸單元是一備妥狀態，則進入到一寫入狀 態； 在該寫入狀態中，將一封包相關參數寫入至該傳輸單 元； 進入一致能狀態，以啟動該傳輸單元；以及 在進入該寫入狀態時，發出一互鎖訊號，以暫時阻止 該第二視訊串流傳輸至該傳輸單元。
    24
TW098102072A 2009-01-20 2009-01-20 數位影音擷取裝置與其方法 TWI381737B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098102072A TWI381737B (zh) 2009-01-20 2009-01-20 數位影音擷取裝置與其方法
US12/604,581 US8019917B2 (en) 2009-01-20 2009-10-23 Digital video/audio capture device and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098102072A TWI381737B (zh) 2009-01-20 2009-01-20 數位影音擷取裝置與其方法

Publications (2)

Publication Number Publication Date
TW201029469A true TW201029469A (en) 2010-08-01
TWI381737B TWI381737B (zh) 2013-01-01

Family

ID=42337848

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098102072A TWI381737B (zh) 2009-01-20 2009-01-20 數位影音擷取裝置與其方法

Country Status (2)

Country Link
US (1) US8019917B2 (zh)
TW (1) TWI381737B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108200387A (zh) * 2017-12-26 2018-06-22 深圳进化动力数码科技有限公司 一种文件的传输方法、系统及相机

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102005227B1 (ko) * 2013-03-12 2019-07-30 삼성전자 주식회사 데이터 처리 시스템과 이의 동작 방법
US9973638B2 (en) 2016-01-26 2018-05-15 Qsc, Llc Peripheral bus video communication using internet protocol
CN109101454B (zh) * 2018-07-03 2020-09-29 建荣半导体（深圳）有限公司 一种自定义的usbcam调试接口的通信方法、系统及电子设备
EP4106285A4 (en) * 2020-02-18 2023-03-29 Huawei Technologies Co., Ltd. INFORMATION TRANSMISSION METHOD AND RELATED DEVICE
CN114339112B (zh) * 2020-09-30 2023-10-20 华为终端有限公司 视频通话的方法、电子设备及系统
CN112492348A (zh) * 2020-10-20 2021-03-12 广州视源电子科技股份有限公司 多码流处理及输出方法、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903261A (en) * 1996-06-20 1999-05-11 Data Translation, Inc. Computer based video system
US6546184B2 (en) * 1997-08-29 2003-04-08 Matsushita Electric Industrial Co., Ltd Still picture player
ID23654A (id) * 1997-12-15 2000-05-11 Matsushita Electric Ind Co Ltd Disk optik, apparatus rekam disk optik, dan metode rekam disk optik untuk mempermudah dubbing, media simpanan untuk menyimpan program rekam disk optik untuk mempermudah dubbing, apparatus reproduksi disk optik, dan metode reproduksi disk optik
EP1081910B1 (en) * 1999-08-06 2005-08-31 Matsushita Electric Industrial Co., Ltd. Data transmission and reception apparatus
US7589779B2 (en) * 2005-04-13 2009-09-15 Seiko Epson Corporation Imaging module, interface, and method handling multiple simultaneous data types

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108200387A (zh) * 2017-12-26 2018-06-22 深圳进化动力数码科技有限公司 一种文件的传输方法、系统及相机

Also Published As

Publication number Publication date
US8019917B2 (en) 2011-09-13
US20100185795A1 (en) 2010-07-22
TWI381737B (zh) 2013-01-01

Similar Documents

Publication Publication Date Title
JP6465946B2 (ja) 分散型ビデオ表示用のシステム、制御装置及び制御方法
TW201029469A (en) Digital video/audio capture device and method thereof
CA2446513C (en) Communication protocol for controlling transfer of temporal data over a bus between devices in synchronization with a periodic reference signal
US6356968B1 (en) Apparatus and method for transparent USB-to-1394 bridging and video delivery between a host computer system and a remote peripheral device
US9361259B2 (en) Integrated circuit with multipurpose processing and for video/audio processing optimization
EP1088448B1 (en) A method of and apparatus for partitioning, scaling and displaying video and/or graphics across several display devices
AU685098B2 (en) Video peripheral for a computer
JP5753889B2 (ja) 同期化されたオーディオデータ、及びビデオデータを伝送するためのインタフェース
US8922713B1 (en) Audio and video synchronization
TWI486782B (zh) 可動態設定傳輸組態的傳輸系統及其控制方法
WO2012079453A1 (zh) 视频数据处理系统及方法、cpu、gpu和视频监控系统
JP2003534575A (ja) Ｄｍａを用いたグラフィックスバスに接続されデジタルビデオ記憶インターフェイスを備えるｒａｍｄａｃｉｃを含むグラフィックスサブシステム
EP1465401A2 (en) Transferring data from a digital imaging apparatus
JP6038046B2 (ja) パケット通信ネットワークを介して伝送されるコンテンツをストリーミングするためのクロックリカバリ機構
CN101174254B (zh) 数字摄像机
US7725610B2 (en) Data processing apparatus that transmits and receives moving image data to and from an external device through a transmission path
EP1414015B1 (en) Video bus for a video decoding system
JP2003501892A (ja) 電子ネットワークにおけるコンテクストを切り換える装置及び方法
JP3034492B2 (ja) デジタルａ／ｖデータ転送装置及び転送方法
CN101815192B (zh) 数字影音撷取装置及其方法
KR100690619B1 (ko) ＤＴＶＬｉｎｋ 방식의 프레임 데이터 전송 방법
CN113596546B (zh) 一种多流节目的播放方法及显示设备
CN115278323A (zh) 一种显示设备、智能设备和数据处理方法
KR100776943B1 (ko) 고성능 비디오 캡쳐 카드 및 다채널 비디오 캡쳐 방법
Huang et al. Design and Implementation of Ultra-Low Delay Video Codec System Based on ZYNQ