TWI810720B - 用於使用展頻直接序列調製傳輸視訊媒體的編碼器和解碼器電路 - Google Patents

用於使用展頻直接序列調製傳輸視訊媒體的編碼器和解碼器電路 Download PDF

Info

Publication number
TWI810720B
TWI810720B TW110143382A TW110143382A TWI810720B TW I810720 B TWI810720 B TW I810720B TW 110143382 A TW110143382 A TW 110143382A TW 110143382 A TW110143382 A TW 110143382A TW I810720 B TWI810720 B TW I810720B
Authority
TW
Taiwan
Prior art keywords
samples
differential voltage
voltage value
sample
video
Prior art date
Application number
TW110143382A
Other languages
English (en)
Other versions
TW202226821A (zh
Inventor
羅伯特 史蒂芬 哈尼鮑爾
羅伯特 J 克拉克
Original Assignee
美商Hyphy 美國公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商Hyphy 美國公司 filed Critical 美商Hyphy 美國公司
Publication of TW202226821A publication Critical patent/TW202226821A/zh
Application granted granted Critical
Publication of TWI810720B publication Critical patent/TWI810720B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/69Spread spectrum techniques
    • H04B1/707Spread spectrum techniques using direct sequence modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/615Signal processing at physical level

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本發明一般涉及視訊或其他媒體傳送,更特別地,涉及用於使用展頻直接序列(SSDS)調製在視訊源和視訊接收端之間的傳輸的視訊媒體的編碼和解碼。

Description

用於使用展頻直接序列調製傳輸視訊媒體的編碼器和解碼器電路
相關申請案的交叉引用
本申請要求於2020年11月25日提交的美國臨時申請 No. 63/118,320 的優先權,兩者名稱均為“Encoder and Decoder Circuits for the Transmission of Video Media Using Spread Spectrum Direct Sequence Modulation(用於使用展頻直接序列調製傳輸視訊媒體的編碼器和解碼器電路)”,並且兩者出於所有目的整體併入本文。
本發明一般涉及視訊和/或其他媒體傳送,更特別地,涉及用於使用分碼多重存取(CDMA)和展頻直接序列(SSDS)調製在視訊源和視訊接收端(video sink)之間的傳輸的視訊媒體的編碼和解碼。
高解析度視訊通常以多種不同格式產生,包括“720p”、“1080i”、“1080p”和最近的“4K”。對於這些格式,“i”指的是隔行掃描,“p”指的是逐行掃描。
使用上面列出的任何格式傳輸的視訊資料量是巨大的。對於“720p”,傳輸速率為 1280 水平線乘 720 垂直線或每訊框大約 921,600 個像素,典型刷新速率為每秒 50 或 60 訊框。1080i 的傳輸需要傳輸 1920 水平線乘 540 垂直線,或每場 1,036,800 個像素,每訊框由兩個隔行掃描場組成,刷新速率範圍為每秒 12.5 到 60 場。1080p 的傳輸涉及 1920 水平線乘 1080 垂直線,或每訊框 2,073,600 個像素,並且通常刷新速率範圍為每秒 30 到 60 訊框。4K 視訊傳輸涉及每訊框 3840 水平線乘 2160 垂直線,通常刷新速率為每秒 30 或 60 訊框。
鑒於傳輸視訊所需的大量頻寬,通常使用各種類型的視訊壓縮,諸如MPEG、AVC和HEVC。視訊壓縮的問題包括有限的互通性、增加的實施成本、增加的時延和降低的影像保真度。因此,與未壓縮或視覺無損視訊相比,在顯示壓縮視訊時,圖片品質一定程度會下降。
上述問題的嚴重性在不久的將來只會變得更加嚴重。消費者電子公司現在正在向市場推出8K相機和顯示器。8K設備的訊框大小為 7,680 條水平線和 4,320 條垂直線,或每訊框 33,177,600 像素,並且刷新速率通常為每秒 120 或 240 訊框。因此,8K 視訊的傳輸將使已經存在的一系列挑戰變得更加糟糕。
因此需要一種能夠傳輸未經壓縮的高品質、高解析度視訊的視訊傳輸器。
本發明針對使用基於展頻直接序列(SSDS)調製的分碼多重存取(CDMA)通道共用在視訊源和視訊接收端之間傳輸的視訊媒體的編碼和解碼電路。
在一個非排他性實施例中,描述了用於將一組相互正交的SSDS碼應用於視訊資料的編碼器電路和方法,其中 (“L”) 是限定為在 CDMA 碼本中使用的碼的長度的參數。該方法和編碼器電路涉及(a)建構包括第一電壓值和第二電壓值的N個樣本的視訊向量,N個樣本分別從表示多個像素的多組樣本得出,(b)使用每個來自其對應代碼的L 個SSDS碼片調製用於視訊向量中的N 個樣本的第一電壓值和第二電壓值中的每一個,調製中的每一個涉及分別取決於L個對應SSDS碼片的狀態而條件性地反轉或不反轉N個樣本的第一電壓值和第二電壓值,(c)產生L個差分電位準輸出訊號的序列,每個來自於條件性地被反轉或不被反轉的N個樣本的經調製的第一電壓值和第二電壓值的累加。
在另一個非排他性實施例中,描述了用於應用同一組相互正交的SSDS碼來將L個差分電位準訊號解碼為N個樣本的解碼電路和方法。該方法和電路包括(a)接收一系列L個差分電位準訊號,(b)將每個接收到的差分電位準訊號提供至N個解碼器電路,(c)將來自對應代碼的N個展頻直接序列(SSDS)碼片分別提供至N個解碼器電路,N個SSDS碼片中的每一個具有第一狀態或第二狀態,(d)對於N個解碼器電路中的每一個,取決於提供至N個解碼器電路的每一個的SSDS碼片分別是否具有第一狀態或第二狀態,藉由條件性地反轉或不反轉差分電位準訊號來解調,(e)對於N個解碼器電路中的每一個,在第一儲存位置和第二儲存位置處累積反轉或不反轉差分電位準訊號;(f)在L個解調步驟(d)和(e)之後,提供N個重建樣本,分別從儲存在N個解碼器電路中的每一個的第一儲存位置和第二儲存位置處的經反轉或未經反轉的差分電位準訊號中得出的N個樣本。
在又一非排他性實施例中,描述了一種解碼器電路和方法,用於藉由產生藉由對儲存在佈置於第一組中的(L)個存放裝置上的平均電壓值進行平均得出的平均電壓值,對使用SSDS編碼進行編碼的視訊媒體的(L)個訊號進行解碼以產生樣本視訊訊號,其中該(L)個電壓值是該(L)個訊號分別與(L)個SSDS碼片值進行相乘而得出的。
以下描述列舉了本文揭露的本發明的各個方面和實施例。沒有特定實施例旨在限定本發明的範圍。相反,實施例提供了包括在要求保護的發明範圍內的各種裝置和方法的非限制性示例。該描述將從本領域普通技術人員的角度來閱讀。因此,不一定包括普通技術人員熟知的資訊。 分碼多重存取( CDMA
分碼多重存取(CDMA)是眾所周知的通道存取協定,通常用於包括蜂巢在內的無線電通訊技術。CDMA是多址存取的示例,其中幾個發射器可以經由單個通訊通道同時發送資訊。在電信應用中,CDMA 允許多個使用者共用給定的頻帶,而不受其他使用者的干擾。 CDMA 採用展頻直接序列 (SSDS),這種編碼依賴於唯一的正交碼來編碼每個使用者的資料。藉由使用唯一代碼,可以將多個使用者的傳輸合併發送,而不會在使用者之間產生干擾。在接收側,每個使用者使用相同的唯一碼或正交碼來解調傳輸,分別恢復每個使用者的資料。 展頻直接序列( SSDS )調製
SSDS是一種調製技術,藉由該技術,特定頻寬中的訊號(例如,一系列電或電磁值)使用正交碼被有意地擴展,從而產生具有更寬頻寬的訊號。然後經由傳輸介質傳輸更寬頻寬的訊號。在接收側,使用與發送側調製相同的正交碼來解調寬頻寬訊號。結果,恢復了原始的電或電磁訊號。
本發明涉及用於使用基於展頻直接序列(SSDS)調製的分碼多重存取(CDMA)通道共用來編碼和解碼在視訊源和視訊接收端之間傳輸的視訊媒體的電路。在操作期間,從視訊源接收包含顏色值和像素相關資訊的按時間排序的視訊樣本串流,並為視訊接收端重建。如下文更詳細描述的,從視訊源接收的輸入視訊樣本的數量和內容取決於在源處操作的顏色空間。無論使用哪種顏色空間,每個視訊樣本都表示指定顏色空間中的感測或測量的光量。當接收到輸入視訊樣本串流時,輸入視訊樣本被重複(1)藉由根據預定排列將輸入視訊樣本分配到編碼器輸入向量中來“分佈”,以及(2)藉由應用基於SSDS的 CDMA 調製到多個編碼器輸入向量中的每一個,應用正交碼,進行編碼,以產生具有類雜訊特性的多個複合EM訊號。(3)然後,EM 訊號經由傳輸介質傳輸,諸如 HDMI 電纜。在接收側,(4)傳入的 EM 訊號藉由應用基於SSDS的 CMDA 解調進行解碼,應用相同的正交碼,將樣本重建為輸出向量,然後(5)使用預定排列的逆,藉由將重建的視訊樣本從輸出向量分配到輸出串流“收集”輸出向量。結果,包含顏色和像素相關資訊的按時間排序的原始視訊樣本串流從視訊源傳遞到視訊接收端。
參考圖1,示出了根據本發明的非排他性實施例的示出使用基於展頻直接序列(SSDS)的 CDMA 調製將電磁(EM)視訊訊號從數位視訊源傳輸到數位視訊接收端的系統 10。
在下面的討論中,描述了通常如何捕獲數位視訊資料的過程。捕獲後,數位視訊資料可以傳輸到視訊顯示器以進行近乎即時的消耗。另一方面,可以將捕獲的視訊資料儲存起來以供以後以時移模式消耗。在任一情況下,本文建議使用基於SSDS的CDMA調製將數位視訊資料從視訊源(或存放裝置)傳輸到視訊接收端以供顯示(或儲存)。 視訊捕獲
視訊源12包括影像感測器陣列16、一或更多類比數位轉換器18、影像訊號處理器(ISP 20)和負責產生視訊樣本串流22的視訊流化器21。視訊源12也可以可選地連接到視訊媒體存放裝置24。存放裝置可以接近影像感測器陣列16的位置,也可以是遠端的。
在各種實施例中,視訊源12可以是能夠捕獲成像資訊的任何設備,諸如但不限於攝影機、紅外線成像設備、超音波成像設備、核磁共振影像(MRI)設備、電腦斷層掃描,或幾乎任何其他類型的能夠產生視訊資訊的成像設備。
影像感測器16是能夠產生與測量的光量成比例的電子訊號的任何設備。例如,在非排他性實施例中,影像感測器是光電二極體的平面陣列。每個光電二極體表示平面陣列中的像素樣本位置。平面陣列中的光電二極體的數量可以有很大的變化,並且取決於影像感測器 16 的尺寸。例如,“4K”成像感測器包括 3840 條水平線乘以 1080 條垂直線的光電二極體陣列,或者總共4,147,200 個光電二極體。8K成像感測器將有 7,680 條水平線和 4,320 條垂直線,或每訊框 3,317,7600 個像素。應當理解,4K和8K僅僅是解析度的示例,並且影像感測器16可以是任何尺寸,包括小於480、480、720、1080、4K、8K。陣列中光電二極體的數量當然會相應變化。
在操作期間,影像感測器16以給定的刷新速率連續地重複感測間隔。在每個感測間隔期間,陣列中的每個光電二極體為每個像素位置產生電壓,該電壓與光電二極體產生的光子數量成反比。結果,光電二極體陣列產生一組電壓,這些電壓共同表示訊框。由於影像感測器以給定的畫面播放速率不斷刷新,因此連續不斷地產生多組電壓,每組電壓表示訊框。
對於每個像素位置,光電二極體設置在電容器和地之間。就在感測間隔之前,電容器被預充電。感測時,光電二極體會產生與接收到的光量成正比的電流。當感測到幾乎沒有光時,幾乎沒有電容器通過光電二極體對地放電。相反,如果感測到大量光,則電容器上的大部分電壓都會放電。因此,曝光間隔後電容器上剩餘的電壓與感測的光的量成反比。
對於許多數位影像感測器陣列16,通常存在一行類比數位轉換器(“ADC”)18,每列具有一個ADC。在給定的訊框間隔期間,對陣列16的所有行進行取樣,通常從上到下一個接一個,在本文中有時稱為“行優先”順序。對於每個樣本,ADC 18將感測到的電壓轉換為陣列中每一列的像素位置的數位值。當陣列16的所有行都已被取樣時,訊框就完成了。上述過程在逐訊框的基礎上以行優先順序重複。最終結果是一串數位值,每個數位值表示訊框中的像素位置。同樣,影像感測器的尺寸和刷新速率是每訊框數位值數量的決定性因素。例如,4K 或8K數位影像感測器每訊框將分別測量 8,294,400 或 33,177,600 個數位樣本。
用於表示每個樣本的位數可以廣泛地變化。例如,每個電壓可以由類比數位轉換器18轉換成8位或10位的值。應當理解,此處列出的這些位值僅是說明性的,用於表示像素電壓值的位元的數量可以多於或少於8或10。
影像感測器陣列16可以是單色的或彩色的。在單色的情況下,由ADC 18產生的數位值僅表示一種顏色。對於彩色的,通常應用眾所周知的顏色技術,諸如拜耳濾波。利用拜耳濾波,單個光電二極體16選擇性地覆蓋有預定顏色(例如,紅色(R)或藍色(B)或綠色(G))的濾波器。在替代實施例中,可以使用CYGM(青色、黃色、綠色和品紅色)或CMY(青色、品紅色和黃色)濾波。無論使用哪種類型的濾波器,都會在每個樣本位置測量濾波的光的量。
ISP 20被佈置為對從ADC 18接收的數位值串進行內插。藉由內插,ISP 20獲取包含在用於每個像素測量及其幾何鄰域的數位值中的資訊,並定義對應的像素的顏色的估計。為了在特定顏色空間(有很多)中輸出全彩影像,ISP 20 在每個位置會插入“缺失”顏色值。也就是說,給定每個像素的單色測量值,ISP 會藉由演算法估計“缺失”的顏色值,以創建例如像素的 RGB 或 YCbCr 表示。ISP 20因此為給定訊框的給定像素產生一組樣本22,每組樣本22表示訊框內給定像素位置的顏色值(如測量的和/或內插的)。
給定的一組樣本22的內容可以變化,因為有許多方式來表示顏色。在不同的實施例中,包含在每組樣本22中的資訊因此可以變化。通常,RGB 被認為是全彩色,而其他空間,諸如 YCbCr是全彩色的近似值,更小而難以傳輸。RGB 提供三種顏色值。對於 YCbCr,Y 是亮度分量,Cb 和 Cr 分別是藍差和紅差色度值。YCbCr 顏色空間由關聯的 RGB 顏色空間的數學座標變換定義。在另一種表示顏色的方式中,可以使用“交替”方法。例如,每隔一個像素由其量度(Y)值表示,而交替像素由 Cb(藍色)或 Cr(紅色)值表示。因此,在各種實施例中,每組樣本22包括平行傳輸的一些數位“S”個樣本值。對於 RGB,每組樣本 22 的樣本數為 S = 3,而對於 YCbCr,S = 2。
作為回應,視訊流化器 21 產生一系列按時間排序的樣本集22。通常,每個樣本集 22 輸出整體表示陣列 16 上的一個像素位置的光測量值。樣本的值和/或數量由每個像素位置的ISP 產生,這取決於 ISP 的實現,尤其是應用的顏色空間。
視訊流化器21的輸出是按時間排序的樣本集22的連續串流,每個樣本從左到右,以行優先順序,訊框接訊框表示行中的像素,只要陣列16正在感應。然後,在傳輸之後,由視訊接收端14處理樣本集串流22,以重建由影像陣列感測器16逐訊框感測的影像。
在另一個可選實施例中,樣本集22的串流可以儲存在存放裝置24中。以這種方式,樣本集22的串流可以在視訊串流最初被影像感測器16捕獲之後的任何時間被傳輸。例如,可以在一個時間間隔期間捕獲樣本集22的串流,然後逐訊框傳輸到視訊接收端14以供在稍後的某個時間點顯示和/或儲存在儲存單元24中以傳輸到視訊接收端14。按照這種方式,視訊源12捕獲的視訊可在視訊接收端14上進行時移顯示。
在影像捕獲和顯示的上下文中使用 SSVT 的一個優勢在於,影像在本質上容易出錯的感測器上測量,並顯示在本質上嘈雜的 LED 陣列上,並由極其複雜和穩健的人類視覺系統查看。因此,視訊的通訊要求與諸如試算表和電子郵件等傳統數位工件的通訊要求有很大不同,後者需要位元完美的傳輸。然而,傳統的視訊傳輸將視訊訊號視為另一種(數位)文檔。然而,使用 SSVT,視訊訊號以電氣穩健的方式傳輸。 SSVT 的優點之一是在接收器的 EM 訊號測量中出現的任何未補償誤差在重建影像中表現為廣譜時間和空間雜訊。這種白色雜訊比傳統位元序列傳輸產生的空白螢幕、重複影像和塊狀壓縮偽影更適合人類認知。 傳輸
圖1進一步包括發送側的發送重計時器26和展頻視訊傳輸(SSVT)發射器(TX)28。如以下更詳細解釋的,重計時器26負責解碼或暴露來自由視訊流化器21產生的串流中的每個樣本集22的顏色分量資訊(例如,RGB值)。SSVT 28然後負責用於(a)使用預定排列將樣本集 22 分佈到多個編碼器輸入向量中的一個,以及(b)對多個編碼器輸入向量中的每一個應用SSDS調製,以及(c)使用基於SSDS的多個輸入向量編碼CDMA編碼以產生EM電位準訊號序列,以及(d)然後藉由多個EM路徑或傳輸介質,諸如HDMI電纜向視訊接收端14傳輸EM電位準訊號序列。
在接收側,提供SSVT接收器(RX) 30、重計時器32和視訊接收端14。 SSVT接收器(RX)30和重計時器32的功能是重計時器26和SSVT發射器28在發送側的互補。也就是說,SSVT接收器RX 30 (a)從傳輸介質的多個EM路徑接收EM電位準訊號序列,(b)藉由應用基於SSDS的CDMA解調來解碼每個序列以在多個輸出向量中重建視訊樣本(c)使用用於將輸入樣本分佈到發送側的輸入向量中的相同排列,將來自多個輸出向量的樣本收集到樣本集22的原始串流的重建中。重計時器32然後將重建的輸出樣本變換成適合由視訊接收端14顯示或儲存在接收側以在時移模式下顯示的格式。每個樣本集22中的輸出樣本值S的數量由視訊源應用的顏色空間確定。對於 RGB,S=3,並且對於 YCbCr,S=2。在其他情況下,每個樣本集 22 中的樣本值 S 可以小於二(即,僅一(1)或多於三(3)。
如本文所述,SSDS調製和解調在類比或電磁(“EM”)域中執行。如以下更詳細解釋的,輸入樣本集22的串流以第一時脈速率(pix-clk)分佈以根據預定排列創建編碼器輸入向量。然後將基於SSDS的 CDMA 調製應用於每個編碼器輸入向量,從而為每個編碼器輸入向量產生編碼的“EM”訊號。然後,EM 訊號藉由以第二時脈速率(SSVT_clk) 平行傳輸進行傳輸。對編碼器輸入向量中的每個樣本應用擴展(SSDS)可提供電氣彈性,但會犧牲每個樣本的頻寬。然而,藉由調製一組相互正交的代碼並同時傳輸所有得到的 EM 訊號 (CDMA),可以恢復部分或全部丟失的頻寬。
圖2A是藉由傳輸介質34連接的SSVT發射器28和SSVT接收器30的邏輯框圖。SSVT發射器28包括分配器40和多個編碼器42。SSVT接收器30包括多個解碼器44和收集器46。
在發送側,SSVT接收器30的分配器40被佈置為接收在樣本22的輸入集合中暴露的顏色資訊(例如,R、G和B值)。作為回應,分配器40獲取一組輸入樣本22的暴露的顏色資訊,並根據預定義的排列建構多個編碼器輸入向量。在圖2A中所示的非排他性實施例中,有四個編碼器輸入向量(V 0、V 1、V 2和V 3),一個分別用於傳輸介質34上的四個EM路徑中的每一個。在多個實施例中,傳輸介質34可以是諸如HDMI、光纖或無線的電纜。多個編碼器42之一被分別分配給四個向量V 0、V 1、V 2和V 3之一。每個編碼器42負責對包含在相應編碼器輸入向量中的樣本值進行編碼,並產生經由傳輸介質34上的並行路徑之一發送的EM訊號。
在所示的此特定實施例中,有四個EM路徑,並且四個編碼器42每個分別為四個路徑中的每一個產生EM訊號。然而,應當理解,本發明決不應當限於四種途徑。相反,傳輸介質34上的路徑的數量可以廣泛地從一到多於一的任何數量,包括多於四。 排列示例
參考圖2B,示出了由分配器40實施的用於建構四個向量V 0、V 1、V 2和V 3的一種可能排列的圖。每個向量包括N個顏色資訊樣本。
在此非排他性實施例中,樣本集22的暴露顏色資訊分別是“RGB”。在此示例中,樣本集22的暴露的RGB樣本從左到右被分配給向量V 0、V 1、V 2和V 3。換言之,最左邊樣本的“R”、“G”和“B”值以及下一個樣本集22的“R”訊號被分配給向量V 0,而下一個樣本 22 的下一個(從左到右)“G”、“B”、“R”和“G”值被分配給向量 V 1,下一個(從左到右)“B”、“R”、“G”和“B”值分配給向量 V 2,下一個(從左到右)“R”、“G”、“R”和“R”值分配給向量 V 3。一旦第四向量V 3被分配了它的訊號,就重複上述過程,直到四個向量V 0、V 1、V 2和V 3中的每一個都具有N個樣本。在多個實施例中,N個樣本的數量可以廣泛地變化。
作為示例,考慮非排他性實施例N= 60。在這種情況下,四個向量 V 0、V 1、V 2和 V 3中包括的N個樣本的總數為 240 (60 x 4 = 240)。四個編碼器輸入向量 V 0、V 1、V 2和 V 3在完全建立時包括 80 個不同樣本集 22 (240/3 = 80) 的樣本(其中 S = 3)。換句話說: ● 向量 V 0包括樣本 P 0、N 0到 P 0、N N-1; ● 向量 V 1包括樣本 P 1、N 0到 P 1、N N-1; ● 向量 V 2包括樣本 P 2、N 0到 P 2、N N-1;以及 ● 向量 V 3包括樣本 P 3、N 0到 P 3、N N-1
應當理解,以上示例僅僅是說明性的並且在任何方面都不應被解釋為限制性的。樣本的數量N可以多於或少於60個。此外,應當理解,(a)每個樣本集22的暴露的顏色資訊可以是任何顏色資訊(例如,Y、C、Cr、Cb等)並且不限於 RGB。
傳輸介質34上的EM路徑的數量也可以廣泛地變化。因此,向量V的數量和編碼器42的數量也可以從僅一個或大於一的任何數量廣泛變化。
還應該理解,用於建構向量的排列方案,無論數量如何,都是任意的。可以使用任何排列方案,僅限於在發送側使用的任何排列方案也用於接收側的任何排列方案。
參考圖3,示出了SSVT發射器28的邏輯框圖。分配器-編碼器 40 包括組裝組 50、分級組 52、呈現組 54 和訊框控制器 56。編碼器塊 60 包括類比數位轉換器(DAC) 62和四個編碼器 42的組,一個對於傳輸介質 34 上的每個 EM 路徑。
分配器40被佈置成一個接一個地接收集合樣本22的串流的暴露的顏色資訊(例如,RGB)。作為回應,組裝組50根據樣本集22的輸入串流的暴露的顏色資訊(例如RGB)建構四個向量V 0、V 1、V 2和V 3。當接收到樣本集22時,根據預定排列它們被儲存在組裝組50。同樣,當建構每個包含N個樣本的向量時,分配器40可以使用任何數量的不同排列。
分級組52促進四個向量V 0、V 1、V 2和V 3中的每一個的N個樣本從重計時器26使用的第一時鐘頻率或域到用於編碼的第二時鐘頻率或域的交叉以及在傳輸介質34上傳輸所產生的EM電位準訊號。如先前在上面的示例中討論的N=60和S=3,恰好表示80組RGB樣本的樣本包含在四個編碼器輸入向量V 0、V 1、V 2和 V 3中。
在多個實施例中,第一時鐘頻率可以更快、更慢或與第二時鐘頻率相同。第一時鐘頻率 f_pix 由視訊源 12 選擇的視訊格式確定。第二時鐘頻率 f_ssvt 是 f_pix、傳輸介質 34 中 EM 路徑的數量 P、每個輸入/輸出樣本集中的樣本數量 S以及 SSVT 變換參數 N(輸入/輸出向量位置的數量)和 L(每個SSDS代碼的長度)的函數,其中f_ssvt = (f_pix * S * L) / (P * N)。藉由這種安排,輸入時鐘 (pix_clk) 以一種速率振盪,SSVT 時鐘 (ssvt_clk) 以不同的速率振盪。它們可以相同或不同。擴散的出現是因為N個輸入樣本(單個顏色分量)被分配給輸入向量;然後編碼器在準備下一個輸入向量的同時執行前向變換(基於SSDS的 CDMA)。
呈現組54將四個編碼器輸入向量V 0、V 1、V 2和V 3中的每一個的N個樣本(N 0到N -1)提供給編碼器塊60。
控制器56控制組裝組50、分級組52和呈現組54的操作和定時。具體地,控制器負責在建構四個編碼器輸入向量 V 0、V 1、V 2和 V 3時定義所使用的排列和樣本的數量N。控制器56還負責協調從第一時鐘頻率到第二時鐘頻率的時鐘域交叉,如分級組52所執行的那樣。控制器56進一步負責協調呈現組54向編碼器塊60提供四個編碼器輸入向量V 0、V 1、V 2和V 3的每一個的N(N 0到N -1)個樣本的時機。
在編碼器塊 60 內,提供了多個類比數位轉換器(DAC) 62,每個數模轉換器被佈置為接收共同分配給四個編碼器輸入向量 V 0、V 1、V 2和 V 3的P*N樣本(P0, N 0到P 3, N N-1)之一。每個 DAC 62 從數位域轉換其接收到的樣本成電壓訊號的差分對,其量與其輸入的數位值成正比。在非排他性實施例中,DAC 62的輸出範圍從最大電壓到最小電壓。
分別為四個編碼器輸入向量V 0、V 1、V 2和V 3提供四個編碼器42。每個編碼器42接收其編碼器輸入向量的N個樣本(N 0到N -1)中的每一個的差分訊號對,使用正交SSVT“碼片”調製N個差分電壓訊號對中的每一個,累積調製值然後產生差分EM電位準輸出訊號。由於在此示例中存在四個編碼器42,因此存在經由傳輸介質34同時傳輸的EM電位準訊號(Level 0到Level 1)。
定序器電路65協調DAC 62和編碼器42的操作時機。定序器電路65負責控制DAC 62和編碼器42的時鐘。如下文詳細描述的,定序器電路65還負責產生兩個時鐘相位訊號“clk 1”和“clk 2”,它們負責控制編碼器42的操作。
參考圖4,示出了用於輸入向量V之一的編碼器42的電路圖。編碼器電路42包括多個乘法器級70和包括差分放大器74的累加器級72。
每個乘法器級70被佈置為在第一(+)和第二(-)終端處分別接收來自DAC66之一的差分樣本訊號對(+Sample N-1/-Sample N-1到+Sample 0/-Sample 0)。每個乘法器級70還包括用於接收展頻直接序列(SSDS)“碼片”的終端、逆變器72、開關組S1-S1、S2-S2和S3-S3、由clk 1和clk驅動的開關組、第一電壓軌上的第一存放裝置C1和第二電壓軌上的第二存放裝置C2。
在操作期間,每個乘法器級70根據接收的SSDS碼片的值,藉由條件性地乘以(+1)或(-1)來調製其接收的類比訊號差分對。如果SSDS碼片為 (+1),則當 clk 1 具有有效狀態時,開關對 S1-S1 和 S3-S3 閉合,而開關對 S2-S2 保持打開狀態。結果,+/-樣本的差分對都被分別儲存在存放裝置C1和C2上而沒有任何反轉(即,乘以+1)。另一方面,如果SSDS碼片為(-1),則發生上述的補數。換言之,開關對 S1-S1 打開,而開關對 S2-S2 和 S3-S3 在 clk 1 具有有效狀態時閉合。結果,差分樣本對被反轉(乘以 -1)並分別儲存在 C1 和 C2 上。
累加器級 72 操作以在所有乘法器級 70 的存放裝置 C1 和 C2 上累加電荷。當 clk 1 過渡為非有效狀態且 clk 2 過渡為有效狀態時,所有 clk 1 控制開關(S4-S4)閉合並且 clk 2 控制開關 (S5-S5, S6-S6) 打開。結果,所有乘法器級70的第一存放裝置C1上的所有電荷被放大器78放大並累積在差分放大器74的第一輸入上,而所有乘法器級70的第二存放裝置C2上的所有電荷由放大器78放大並累積在差分放大器74的第二輸入上。作為回應,差分放大器74產生一對差分電磁(EM)電位準訊號。
對所有四個向量V 0、V 1、V 2和V 3執行上述過程。此外,只要 SSVT 發射器 28 接收到樣本集 22 的串流,就不斷重複上述過程。作為回應,四個差分 EM 輸出電位準訊號串流經由傳輸介質34被發送到 SSVT 接收器 30。 接收器
在接收側,SSVT RX 30負責將經由傳輸介質34接收的四個差分EM電位準輸出訊號串流解碼回適合顯示的格式。一旦採用合適的格式,包含在樣本22中的視訊內容(例如,訊號S)可以逐訊框呈現在視訊顯示器上。結果,視訊源12的視訊捕獲可以由視訊接收端14重新創建。可替代地,可以儲存解碼的視訊資訊以供稍後以時移模式顯示。
SSVT RX 30在發送側執行SSVT TX 28的逆操作。 SSVT RX 30使用四個解碼器80和收集器46。解碼器80將四個差分EM電位準輸出訊號重建為四個解碼器輸出向量。然後,收集器 46 將解碼器輸出向量的樣本分配給樣本集22的原始串流,每個包括與串流中該位置處的原始S個樣本相對應的S個重建樣本。
參考圖5A,示出了視訊接收端14的SSVT RX 30、重計時器32和視訊顯示器85的詳細框圖。 P解碼器80(標記為0到P-1)被佈置為分別接收差分EM電位準訊號Level 0到Level P-1。作為回應,每個解碼器80產生N個差分對重建樣本(Sample 0到Sample N-1)。在有四個解碼器80(P=4)的情況下,分別建構四個向量V 0、V 1、V 2和V 3
重建組82分別在每個解碼間隔結束時對四個解碼器輸出向量V 0、V 1、V 2和V 3中的每一個進行取樣並保持N個重建樣本(Sample 0到Sample N-1)的差分對中的每一個。分別為四個向量V 0、V 1、V 2和V 3中的每一個的N個樣本(Sample 0到Sample N-1)中的每一個提供類比數位轉換器(ADC)84。每個 ADC 將其接收到的差分電壓訊號對轉換為相應的數位值,從而分別為四個向量 V 0、V 1、V 2和 V 3中的每一個產生數位樣本(Sample N-1到 Sample 0)。 ADC 以時脈速率 = f_ssvt /L運行。
收集器46包括分級組86和拆分組88。分級組86接收四個解碼器輸出向量V 0、V 1、V 2和V 3中的每一個的所有重建樣本(N n-1到N 0)。拆分組88(a)使用與在發送側使用的相同排列方案,將四個解碼器輸出向量V 0、V 1、V 2和V 3中的每一個的樣本(Sample N-1到Sample 0)拆分為樣本集22的串流(例如,在此示例中,“對於RGB像素S=3”)的暴露的顏色資訊(例如,S訊號),並且(b)將重建樣本從第二時鐘域交叉回到第一時鐘域。然後將重建樣本集22的串流提供至重計時器32,重計時器32重新格式化視訊訊號。重計時器32的輸出因此是按時間排序的樣本集22的序列的再創造。視訊接收端14包括DAC 103組和視訊顯示器85。DAC 103組負責將在數位域中的樣本22轉換回到類比域。在一個實施例中,為顯示器85中的每一行提供DAC 103。一旦樣本22被轉換為模擬域,它們就以眾所周知的方式顯示在視訊顯示器85上。
SSVT RX 30還包括通道對準器87和收集器控制器89,其從每個解碼器80接收定框資訊和孔徑資訊。作為回應,收集器控制器89協調分級組86和/或拆分組 88 的時機以確保提供至拆分組的所有樣本都來自 SSVT TX 28 發送電位準訊號的公共時間間隔。結果,(a) 組 88 的拆分可能延遲到所有樣本被接收並且(b)傳輸介質34的單個通道不必都具有相同的長度,因為拆分組88補償了任何時機差。
圖6是四個編碼器80之一的邏輯圖。編碼器80包括差分放大器92和取樣及保持電路94,其被佈置為接收、取樣及保持經由傳輸介質34接收的四個差分EM電位準訊號之一。然後將樣本的EM電位準訊號提供至N個解碼器軌道電路96(N n-1到N 0)中的每一個。定序器控制器98向分別應用於發送側的N個解碼器軌道電路96中的每一個提供相同的SSDS碼片。結果,樣本輸出(N n-1到N 0)被提供至重建組82。同樣,在發送側使用的相同SSDS碼片被每個解碼器軌道電路96使用。結果,解調的樣本N n-1到 N 0與發送側調製之前相同。
收集器控制器89負責跟蹤任何排列並確保拆分組88應用與在發送側建構向量V 0、V 1、V 2和V 3時使用的相同排列。
每個解碼器80的收集器控制器89還產生多個控制訊號,包括選通訊訊號、組的末端(eob)訊號、孔徑訊號和定框訊號。選通訊訊號被提供至ADC 84並且指示給定重建組內容的模數轉換過程何時可以開始的時機。eob訊號被提供至重建組82並且表示分級組86完全充滿樣本的時機。當這種情況發生時,eob 訊號起效,預期下一組重建樣本(N n-1到N 0),清除解碼器軌道96和分級組86。孔徑控制訊號被提供至取樣及保持電路94,定框訊號被提供至通道對準器87和收集器控制器89。 替代實施例
在上述實施例中,ADC 84將解碼的樣本轉換至數位域中,並且視訊接收端14中的ADC 103將有序的樣本集22在顯示之前轉換回類比域。
如圖5B中所示,示出了替代實施例,其中來自重建組82的樣本輸出保持在模擬域中,因此消除了對ADC 103和其他元件的需要。藉由此實施例,可選地消除ADC 84、拆分組88和重計時器32。相反,類比樣本輸出被提供至分級儲存組86,分級儲存組86對在發送側建構向量V 0到V 3時使用的樣本執行相同的排列。分級組86的樣本輸出然後用於藉由可選的電位準轉換器(未示出)直接驅動視訊接收端的顯示器85。由於不同類型的顯示器需要不同的電壓來驅動它們的顯示面板,因此可以根據需要使用電位準轉換器來縮放分級組的視訊樣本輸出的電壓。如本領域已知的,可以使用任何合適的電位準轉換器,諸如鎖存器類型或逆變器類型。
對於此實施例,收集器控制器89執行若干功能。收集器控制器98負責保持續跟蹤並向分級組86提供要使用的正確排列選擇。收集器控制器89還可以向顯示器85提供增益和伽馬值。增益確定應用了多少放大並且伽馬曲線將光通量與感知亮度相關聯,這使人類對光通量的光學感知線性化。定框訊號表示在顯示器85上建構視訊訊框的時機。反轉訊號可以可選地用於控制電位準轉換器以反轉或不反轉視訊樣本輸出,這可能是某些類型的顯示面板,諸如OLED所需要的。如果使用電位準轉換器,則電位準轉換器的輸出通常被鎖存。在這樣的實施例中,可以使用鎖存訊號來控制任何移位元視訊樣本輸出訊號的電位準的鎖存和釋放的時機。最後,閘極驅動器控制訊號用於通常用於驅動許多顯示器的水平行的閘極驅動器電路。
參考圖7,示出了表示性解碼器軌道電路96的示意圖。解碼器軌道電路96包括乘法器部分100和累加器部分102。乘法器部分100包括第一對開關S1-S1、第二對開關S2-S2、第三對開關S3-S3和分別位於第一(正)和第二(負)電源軌線上的一對電容器 C1-C1。累加器部分102包括附加的電晶體對S4-S4、S5-S5、S6-S6和S7-S7、運算放大器104以及分別在第一(正)和第二(負)電源軌線上的一對電容器C F和C F
對於每個解調週期,在第一電位準輸入(電位準+)端和第二電位準輸入(電位準-)端處接收差分EM電位準訊號對。根據接收到的SSDS碼片的值,差分EM電位準訊號對在乘法器部分100中藉由乘以(1)或負(-1)條件性地反轉來解調。
如果SSDS碼片具有(+1)的值,則當 clk 1 啟動時,電晶體對 S1-S1 和 S3-S3 閉合,而 S2-S2 保持打開。結果,第一電位準輸入(電位準+)端和第二電位準輸入(電位準-)的電壓值分別傳遞到正負軌上的兩個電容器C1和C1上並由其儲存。換句話說,輸入值乘以(+1)並且不會發生反轉。
如果SSDS碼片的值為-1,則當clk 1啟動時,S1-S1開關都關閉,而開關S2-S2和S3-S3都打開。結果,在正或第一(+)端和負或第二(-)端處接收的電壓值被交換。換句話說,在第一或正端提供的輸入電壓值被引導並儲存在下負軌上的電容器 C1 上,而在第二或(-)端上提供的電壓值被切換至並儲存在正上軌上的電容器 C1 上。在輸入端接收到的電壓值由此被反轉或乘以(-1)。
當 clk 1 過渡為不啟動時,C1 和 C1 上的累積電荷保持不變。當 clk 2 過渡為啟動,然後電晶體對 S4-S4 打開,而電晶體對 S5-S5 和 S6-S6 閉合。然後將上軌或正軌上的電容器C1和下軌或負軌上的C1上的累積電荷提供至運算放大器104的差分輸入。運算放大器104的輸出是在發送側進行編碼之前的原始+/-樣本對。
當 Clk 2 啟動時,兩個電容器 C1 和 C1 上的累積電荷也被傳遞到上軌或正軌和下軌或負軌上的電容器 CF 和 CF。在每個解調週期中,上軌和下軌上的電容器 C1 和 C1 上的電荷分別累積到上軌和下軌上的兩個電容器 CF 和 CF 上。當 clk 1 和 eob 訊號都有效時,電晶體對 S7-S7 都閉合,使電容器 CF 和 CF 中的每一個的極板短路。結果,積累的電荷被去除,兩個電容器CF和CF被復位並為下一個解調週期做好準備。
由於每個解碼器80具有N個解碼器軌道電路96,N個解碼或原始+/-樣本對在每個解調週期被重新創建。然後將這些N+/- 樣本對提供至重建組 82、ADC 84,然後是收集器 46,包括分級組 86 和拆分組 88,最後是重計時器 32。結果,原始樣本集22用其原始顏色內容資訊(例如,對於RGB,S=3)重新創建,並準備好在視訊接收端14的顯示器85上顯示。
解碼器軌道96在連續L個週期上重建輸入電位準樣本,用該軌道代碼的連續SSDS碼片解調每個連續輸入電位準。每個L次解調的結果在回饋電容器 CF 上累加。當 eob 在 clk1 對應於解碼週期的第一個解調週期期間生效時,CF 在 eob 之後被清除,以便它可以從零伏或其他一些復位電壓開始再次累積。在多個非排他性實施例中,L的值是預定參數。通常,參數L越高,SSDS過程增益越大,並且SSVT訊號在傳輸介質34上傳輸的電彈性越好。另一方面,參數L越高,SSVT調製的應用所需的頻率就越高,由於傳輸介質34引起的插入損耗,這可能會損害訊號品質。
用四個解碼器80中的每一個反復重複上述解調迴圈。最終結果是恢復按時間排序的樣本集22的原始串,每個樣本具有它們的原始顏色內容資訊(即,樣本集 S )。如本領域已知的,樣本集22隨後被處理並顯示在視訊接收端14的顯示器85上。可替代地,可以將恢復的樣本集22儲存在接收側,以便以時移模式顯示。 無源乘法累加器解碼器
在替代實施例中,無源乘法累加器解碼器可以可選地用於解碼器塊80中,如關於圖5A所描述的。如下文詳細描述的,無源乘法累加器處理經由傳輸介質34接收的視訊媒體樣本的(L)差分對組,其中(L)是用於對傳輸前的媒體進行編碼的SSDS碼的長度。此解碼器是無源的,因為在解碼過程中不使用有源元件,諸如放大器。此解碼器還具有乘法累加器的特徵,因為在解碼過程中,(L)個差分樣本對的乘積結果及其對應的 SSDS碼片值被累加或儲存在多個存放裝置(例如電容器)上。
參考圖8,示出了無源乘法累加器編碼器120。根據一個實施例,無源乘法累加器編碼器120包括碼片乘法器級122、第一儲存組A,包括(+)組(L)電容器和(-)組(L)電容器,以及第一對電容器129。
在可選實施例中,還提供了具有正(+)輸入端和負輸入端(-)的差分放大器124。在此實施例中,負(-)輸入端藉由第一電容器129選擇性地耦接到(+)組電容器(L),而正(+)輸入端藉由第二個電容器129選擇性地耦接到(-)組(L)電容器。
還分別提供了位於耦接在差分放大器124的(+/-)輸出和(-/+)輸入之間的回饋路徑上的一對復位元件128。藉由在 (+/-) 輸出和 (-/+)輸入之間提供負反饋,可以設置差分放大器124的增益。在非排他性實施例中,每個復位元件128包括電容器和開關(未示出)。
碼片乘法器級122被配置為經由傳輸介質34順序地接收已經由編碼器28使用如前所述的展頻直接序列(SSDS)編碼編碼的視訊媒體樣本的差分對。碼片乘法器級122還被配置為接收由用於分別由編碼器28對樣本的差分對進行編碼的相互正交的SSDS碼指定的SSDS碼片值。在非排他性實施例中,通道對準器87負責將正確的SSDS碼片值分別應用於每個接收到的差分對樣本。
在操作期間,利用樣本時鐘Fssvt的每個時鐘週期接收一個差分對樣本。回應於每個接收到的差分對樣本,碼片乘法器級 122 執行以下操作: (1)將與編碼時使用的相互正交的SSDS碼相同的SSDS碼片值應用於接收到的差分對樣本; (2)將差分對樣本與應用的碼片值相乘。根據給定差分對樣本的應用碼片值的狀態,乘數為(+1)或(-1)。如果碼片值是第一狀態(例如,“1”),則乘數是(+1)。如果碼片值為第二狀態(例如,“0”),則乘數為(-1);以及 (3)在儲存塊A中分別儲存與(+)和(-)對電容器相乘的乘積結果相稱的電壓電荷。當碼片值為(+1)時,則儲存電荷而不進行任何反轉。如果碼片值為(-1),則電荷在儲存前首先反轉。
隨著視訊媒體的(L)個差分訊號對被順序接收,對每個樣本重複上述過程。結果,(+)和(-)組中的(L)電容器被順序寫入並儲存分別與接收到的(L)差分樣本的乘積相稱的電荷。
一旦已經接收到(L)個差分樣本並且儲存組A的(+)和(-)電容器組的所有(L)個電容器已經儲存了乘積結果,無源乘法累加器編碼器120操作以產生解碼的差分視訊媒體樣本輸出(即Sample P-1, N-1+, Sample P-1, N-1-)。這是藉由生效“平均”控制訊號來實現的,這會導致: (1)中斷電容器組 A 中乘積電荷的儲存; (2)儲存組A中的所有(L)個(+)電容器上的電荷一起短路,導致累積的電荷被“轉儲”到耦接到差分放大器124的負(-)輸入端的第一電容器129上。藉由轉儲所有(+)電容器上的累積電荷,在第一電容器129上實現“平均”電壓;以及 (3) 儲存組 A 中所有(L)個 (-) 電容器上的電荷一起短路,導致累積的電荷“轉儲”到耦接到差分放大器124的正 (+) 端的第二電容器 129 上。藉由轉儲所有(-)電容器上的累積電荷,在第二電容器129上實現“平均”電壓。
藉由簡單地將儲存組A中的所有(+)電容器和所有(-)電容器短路在一起,在電容器對129上分別提供了(L)個輸入差分樣本的累積電荷的平均值。因此,平均基本上是“免費”執行的,這意味著相關過程是在沒有任何有源元件(例如,沒有放大器)的情況下被動完成的。
解碼的差分視訊媒體樣本因此由分別耦接到差分放大器124的正端和負端的第一電容器129和第二電容器129上累積的平均電壓之間的差來表示。差分放大器124用於放大正負端之間的電壓差,同時抑制兩者之間的任何公共電壓。如圖5A或圖5B所示,利用附加電流增益,解碼的差分視訊媒體樣本更適合驅動重建組82。
差分放大器124的頻率不需要以用於對輸入的(L)個差分樣本進行取樣的相同頻率Fssvt操作。由於對每(L)個輸入樣本執行平均操作,差分放大器124的頻率只需Fssvt/L。藉由降低差分放大器124的速度/穩定時間要求,降低了執行該功能所需的功率。
提供用於差分放大器124的復位電路128以在每個Fssvt/L週期將差分放大器的(+/-)輸入處的電容器129上的電壓初始化或復位為零伏或某個其他復位電壓值。在每次平均操作之前沒有復位的情況下,差分放大器124將充當積分器並且隨著時間累積它接收到的差分電壓輸入,而不是簡單地放大它接收到的用於單個平均操作的差分輸入。
對於上述實施例,儲存組A不能用於在平均操作期間儲存用於輸入差分樣本的乘積電荷。因此,可能會導致處理延遲。
在替代實施例中,無源乘法累加器編碼器120還可以可選地包括第二儲存組B,其包括(L)組(+)和(-)電容器、第二差分放大器126、第二組電容器129,一對復位電路128和多工器130。第二儲存組B、差分放大器126、第二組電容器129和復位電路128都與如上所述的它們的對應物基本上相同地操作。因此,為簡潔起見,此處不提供這些元件的詳細說明。
在操作期間,交替使用兩個儲存組A和B。一個是樣本,另一個是平均,反之亦然。藉由在另一組進行平均時使用一個組進行取樣,處理延遲至少以兩種方式減少。首先,可以不間斷地接收、相乘和儲存多組輸入(L)差分訊號對。其次,平均操作之後差分放大器的任何速度/穩定時間要求都被有效地否定了,因為一個組總是在樣本,而另一組在平均,反之亦然。
為了實現具有兩個儲存組A和B的無源乘法累加器編碼器120的實施例,需要幾個控制訊號。這些控制訊號包括: (1) 提供至儲存組 A 的樣本/平均控制訊號,同時提供至儲存組 B 的互補平均/樣本訊號。由於這兩個控制訊號是互補的,所以一個儲存組將總是對當前輸入的(L)差分訊號集合進行取樣,而與另一個儲存組相關的差分放大器正在平均,反之亦然;以及 (2)將組選擇控制訊號提供至多工器130。因此,當一個儲存組正在樣本和儲存時,多工器130選擇正在平均的另一儲存組的差分放大器輸出(124或126)。藉由使組選擇控制訊號過渡為與樣本/平均控制訊號的過渡一致,多工器130的輸出總是被選擇以挑選正在平均的電容器組。結果,只要碼片乘法器級122正在接收輸入的差分輸入訊號,就連續產生解碼的差分視訊媒體樣本。
參考圖9,示出了說明無源乘法累加器編碼器120的兩組實施例的操作的交替性質的時機圖。
如圖所示,兩個電容器組A和B在樣本和平均之間交替。從左到右,電容器組A最初取樣,然後平均並將結果輸出到差分放大器124的電容器129,然後再次取樣。同時,電容器組 B 執行補充,這意味著它最初對結果進行平均並將結果輸出到差分放大器 126,然後進行取樣,然後對結果進行平均並將結果輸出到差分放大器 126。藉由過渡Fssvt 的每(L)個時鐘週期的平均/控制訊號的狀態來不斷重複這種交替模式。結果,連續產生多個輸出、解碼、差分、視訊媒體樣本。
參考圖10,示出了示例性儲存組140(例如,A或B)和控制邏輯。使用L=128的上述示例,儲存組140將包括128個級,在圖1至(L)中標記。每個級包括第一對開關(S1-S1)、第二對開關(S2-S2)以及互補電容器C(+)和C(-)。
每個級還被配置為接收來自控制邏輯單元148的輸出,其用於控制第一對開關S1-S1的打開/閉合。在非排他性實施例中,控制邏輯單元148包括長度為(L)位的迴圈移位暫存器,其將單個“1”位分別迴圈到(L)級周圍。“1”位在任何時間點的位置選擇(L)級中的一個用於對給定的差分對輸入的乘積進行取樣。藉由迴圈“1”位以與(L)個Fssvt時鐘週期基本一致,(L)個樣本分別在(L)個級上收集。在多個替代實施例中,單個“1”位的脈衝寬度可以與Fssvt時鐘的脈衝寬度相同或稍小。藉由使用較小的脈衝寬度,可以避免或減輕部分導通的相鄰級(L)的樣本電容器之間的任何重疊。
每個級還具有輸入端,該輸入端子被配置為接收電容器組 A 的樣本/平均控制訊號,或電容器組 B 的互補平均/樣本控制訊號。對於兩個組,此控制訊號用於控制第二組開關S2-S2的打開/閉合。
在樣本期間,電容器組A的樣本/平均值(或電容器組B的平均值/樣本)訊號保持在樣本狀態。結果,開關S2-S2保持打開。
在樣本期間,控制邏輯單元148順序地迴圈分別用於級(L)至(1)的單個“1”位。結果,每個 Fssvt 時鐘週期只選擇一個級。對於選定的級,開關 S1-S1 閉合,允許接收與當前接收到的差分對樣本的乘積結果相稱的電荷值,並將其分別儲存在選定的級的 C(+) 和 C(-) 電容器上。
藉由迴圈藉由所有(L)級,與接收的(L)個輸入差分訊號對樣本的乘積相稱的電荷分別在(L)個Fssvt時鐘週期上儲存在(L)級上。一旦所有(L)級都累積了它們的電荷,就可以準備好執行平均操作了。
為了啟動平均操作,儲存組A的樣本/平均訊號(或儲存組B的平均/樣本訊號)過渡到平均狀態並且控制邏輯單元148停止“1”位的迴圈。結果,所有(L)級的開關S1-S1打開,所有(L)級的開關S2-S2閉合。因此,所有(L)級的互補電容器C(+)和C(-)上的電荷分別被“轉儲”(即平均)到對應差分放大器的(-)和(+)端處的電容器129上。
注意,在“轉儲”/平均過程中,可以將另一個電容器(之前初始化為沒有電荷)連接到L個電容器的集合以傳送一部分結果(該比例取決於額外電容器的大小與L電容器的總和)到額外電容器。這種技術提供了將結果傳遞到相應差分放大器輸入的手段,124 用於組A或 126 用於組B。
儘管如上所述的儲存組A和B是對稱的並且都包括(L)級,但是應該理解這絕不是必需的。相反,A 和 B 儲存組不需要是完整的副本。只需要有足夠的重複來滿足可以處理連續的差分輸入樣本串流的要求。例如,一個或兩個儲存組的級數可以少於(L)個。在替代實施例中,僅需要複製多個儲存組中的少量級。潛在複製級的數量只需要足以確保完成對輸出放大器的輸入電容器129的平均操作。即使它們共用記憶元件,一個儲存組的結果(由放大器)的輸出也可以在下一個儲存組的樣本期間完成,因為輸出放大器在評估完成後“獨立”。
此外,每個儲存組不一定需要相應的差分放大器。在替代實施例中,可以多工從多個儲存組到給定差分放大器的輸入,從而減少所需的差分放大器的數量。
無源乘法累加器解碼器120的各種上述實施例本質上是用於如圖5A和圖5B所示的解碼器塊80中的N個解碼器的“插入式”替代。如前所述,每個解碼器塊80提供有N個解碼器電路(N 0到N -1)。N個解碼器電路中的每一個被配置為順序地接收差分電位準樣本(+/-電位準訊號)。當接收到差分電位準訊號時,N個無源乘法累加器解碼器電路120中的每一個應用與用於對發送端的電位準位置(P)和樣本位置(N)進行編碼的相互正交的SSDS碼相同的唯一SSDS碼。結果,每個無源乘法累加器解碼器電路120為其給定的 P 和N位置產生樣本的差分對。換言之,對於(P)個解碼器80中的每一個的所有N個解碼器電路,產生從(樣本0 +,樣本0 -到樣本 P-1, N-1+,樣本 P-1, N-1-)的差分樣本的完整集合並提供至重建組82,如圖5A和圖5B所示。在關於圖5A和圖5B以及本文關於圖8描述的非排他性實施例中,N是64個通道並且SSDS碼的長度是L=128。
多種編碼器和解碼器的上述討論是關於差分訊號來描述的。然而,應該注意的是,這絕不是要求。在多種替代實施例中,編碼器和解碼器也可以被配置為操作和處理非差分訊號(即,單個訊號)。 結論
本實施例應該被認為是說明性的而不是限制性的,並且本發明不限於本文給出的細節,而是可以在所附申請專利範圍的範圍和等同物內進行修正。
12:視訊源 14:視訊接收端 16:影像感測器陣列 18:類比數位轉換器(“ADC”) 20:影像訊號處理器(ISP) 21:視訊流化器 22:視訊樣本串流、樣本集 24:存放裝置、儲存單元 26、32:重計時器 28:展頻視訊傳輸(SSVT)發射器(TX) 30:SSVT接收器(RX) 34:傳輸介質 40:分配器、分配器-編碼器 42:編碼器 44:解碼器 46:收集器 50:組裝組 52、86:分級組 54:呈現組 56:訊框控制器 60:編碼器塊 62、103:類比數位轉換器(DAC) 65:定序器電路 70:乘法器級 72:累加器級、逆變器 74、92、124、126:差分放大器 78:放大器 80:解碼器塊 82:重建組 84:類比數位轉換器(ADC) 85:顯示器 87:通道對準器 88:拆分組 89:收集器控制器 94:取樣及保持電路 96:解碼器軌道電路 98:控制器 100:乘法器部分 102:累加器部分 104:運算放大器 120:無源乘法累加器解碼器 122:碼片乘法器級 128:復位元件 130:多工器 148:控制邏輯單元 C1:存放裝置 C1-C1、C F:電容器 clk 1、clk 2:時鐘相位訊號 S1-S1、S2-S2、S3-S3、S4-S4、S5-S5、S6-S6、S7-S7:開關組 SSDS:展頻直接序列
本發明及其優點可以藉由參考以下結合附圖進行的描述得到最好的理解,其中: 圖1是示出根據本發明的非排他性實施例的使用基於展頻直接序列(SSDS)的CDMA調製(展頻視訊傳輸(SSVT))將電磁(EM)視訊訊號從數位視訊源傳輸到數位視訊接收端的系統圖。 圖2A是根據本發明的非排他性實施例的經由傳輸電纜連線的展頻視訊傳輸(SSVT)發射器和SSVT接收器的邏輯框圖。 圖2B是根據本發明的非排他性實施例的視訊訊號排列成向量的一種可能的示意圖,這些向量在傳輸前進行調製。 圖3是根據本發明的非排他性實施例的SSVT發射器中使用的編碼器-分配器的邏輯框圖。 圖4是根據本發明非排他性實施例的SSVT編碼器的電路圖。 圖5A是說明根據本發明的非排他性實施例的用於將P個接收到的EM電位準訊號的差分對解調回HDMI訊號的接收器元件的邏輯框圖。 圖5B是說明根據本發明的另一個非排他性實施例的用於將P個接收到的EM電位準訊號的差分對解調回HDMI訊號的另一個接收器元件的邏輯框圖。 圖6是根據本發明的非排他性實施例的用於解調EM電位準訊號的一對差分對的N個解碼器軌道的邏輯圖。 圖7是根據本發明的非排他性實施例的表示性解碼器軌道電路的電路圖。 圖8是根據本發明的另一個非排他性實施例的用於解碼SSDS編碼的媒體訊號的另一個解碼器電路的電路圖。 圖9是根據本發明的非排他性實施例的示出圖8的解碼器電路的操作的時機圖。 圖10示出了根據本發明的非排他性實施例的在圖8的解碼器電路中使用的儲存組和控制邏輯。 在附圖中,有時使用相同的附圖標記來表示相同的結構元件。 還應該理解,圖中的描述是圖解的而不是按比例的。
28:展頻視訊傳輸(SSVT)發射器(TX)
40:分配器、分配器-編碼器
42:編碼器
50:組裝組
52:分級組
54:呈現組
56:訊框控制器
60:編碼器塊
62:類比數位轉換器(DAC)
65:定序器電路

Claims (22)

  1. 一種使用展頻直接序列(SSDS)碼對視訊資料的樣本進行編碼的方法,該方法包括:(a)建構包括N個樣本的一視訊輸入向量,每個樣本具有一第一差分電壓值和一第二差分電壓值,該N個樣本是從來自視訊源的表示多個像素的視訊資料的樣本流得出的,其中N>=2;(b)分別使用N個SSDS碼中的一個的一第一SSDS碼片調製該視訊輸入向量的該N個樣本中的每一個的該第一差分電壓值和第二差分電壓值中的每一個,該N個SSDS碼中的每一個調製該N個樣本中的一個,該調製中的每一個涉及取決於該第一SSDS碼片的狀態而條件性地反轉或不反轉該N個樣本的該第一差分電壓值和第二差分電壓值;以及(c)從條件性地被反轉或不被反轉的該N個樣本的該經調製的第一差分電壓值和第二差分電壓值的累加,產生一對差分輸出訊號。
  2. 如請求項1所述的方法,進一步包括反覆運算(b)到(c),每個反覆運算使用該N個SSDS碼中的每一個的第j個碼片,j從1到L反覆運算,其中L>=N>=2,其中產生的一對差分輸出訊號表示該N個樣本的編碼形式。
  3. 如請求項1所述的方法,其中,該視訊樣本流包括多組樣本,每組樣本分別包括用於該多個像素的一顏色資訊。
  4. 如請求項3所述的方法,其中,該顏色資訊包括以下中的一個或多個:(a)紅色(R)值;(b)藍色(B)值; (c)綠色(G)值;(d)亮度值(Y);(e)色度(C)值;(f)藍差色度(Cb)值;(g)紅差色度(Cr)值;或者(h)(a)至(g)的任何組合。
  5. 如請求項1所述的方法,其中調製進一步包括,如果用於該該N個樣本中的每一樣本的相應SSDS碼片分別具有第一狀態或第二狀態,則將該N個樣本的該第一差分電壓值和該第二差分電壓值與(+1)或(-1)相乘。
  6. 如請求項5所述的方法,進一步包括對於該N個樣本中的每一個,將該相乘後的第一差分電壓值和第二差分電壓值分別儲存在一第一存放裝置和一第二存放裝置上。
  7. 如請求項6所述的方法,進一步包括從分別儲存在該第一存放裝置和該第二存放裝置上的該N個樣本的該經調製的第一差分電壓值和第二差分電壓值的累加,產生該一對差分輸出訊號。
  8. 如請求項1所述的方法,其中,該一對差分輸出訊號是電磁訊號。
  9. 如請求項1所述的方法,進一步包括經由傳輸介質將該一對差分輸出訊號傳輸到視訊接收端。
  10. 如請求項1所述的方法,進一步包括:在第一時鐘訊號的第一有效狀態期間執行該調製,以及在第二時鐘訊號的第二有效狀態期間執行該產生。
  11. 一種使用展頻直接序列(SSDS)碼對視訊資料的樣本進行編碼的編碼器,該編碼器包括:數量為N的多個乘法器電路,其中N>=2,該乘法器電路中的每一個被配置為:(a)接收來自視訊樣本流的樣本,每個樣本包括一第一差分電壓值和一第二差分電壓值;(b)藉由取決於N個SSDS碼中的一個的一第一SSDS碼片的狀態而條件性地反轉或不反轉該第一差分電壓值和第二差分電壓值,對該樣本的該第一差分電壓值和第二差分電壓值進行調製,該N個SSDS碼中每一個調製該N個樣本中的一個;以及(c)分別將該樣本的經調製的第一差分電壓值和第二差分電壓值儲存在第一存放裝置和第二存放裝置上;以及一累加器電路,被配置為從分別儲存在N個乘法器電路的第一存放裝置和第二存放裝置上的經調製的第一差分電壓值和第二差分電壓值的累加,產生一對差分輸出訊號。
  12. 如請求項11所述的編碼器,其中每個乘法器電路進一步包括一第一輸入端子和一第二輸入端子,該第一輸入端子和第二輸入端子被配置為分別接收該樣本的該第一差分電壓值和第二差分電壓值。
  13. 如請求項11所述的編碼器,其中每個乘法器電路進一步包括一開關網路,該開關網路被配置為如下條件性地儲存該樣本的該第一差分電壓值和該第二差分電壓值: (a)如果該第一SSDS碼片具有第一狀態,將該樣本的該第一差分電壓值和該第二差分電壓值分別儲存在該第一存放裝置和第二存放裝置上;或者(b)如果該第一SSDS碼片具有第二狀態,將該樣本的該第一差分電壓值和該第二差分電壓值分別儲存在該第二存放裝置和第一存放裝置上。
  14. 如請求項13所述的編碼器,其中,該開關網路包括:一第一組開關,其選擇性地將第一輸入端子和第二輸入端子分別連接到該第一存放裝置和第二存放裝置;以及一第二組開關,其選擇性地將該第一輸入端子和該第二輸入端子分別連接到該第二存放裝置和該第一存放裝置。
  15. 如請求項14所述的編碼器,其中,該第一組開關和該第二組開關彼此互補,使得當該第一組開關閉合時,該第二組開關打開,反之亦然。
  16. 如請求項15所述的編碼器,其中,該第一SSDS碼片的狀態確定該第一組開關和該第二組開關分別何時打開或閉合。
  17. 如請求項11所述的編碼器,其中該第一存放裝置和第二存放裝置分別是每個乘法器電路的第一電容器和第二電容器。
  18. 如請求項11所述的編碼器,其中,該累加器電路包括N個運算放大器,該N個運算放大器被配置為分別接收儲存在與該N個乘法器電路相關聯的第一存放裝置和第二存放裝置上的經調製的第一差分電壓值和第二差分電壓值。
  19. 如請求項11所述的編碼器,進一步被配置為使得該N個乘法器電路中的每一個在第一時鐘訊號的第一有效狀態期間執行該調製,並且該累加器電路在第二時鐘訊號的第二有效狀態期間執行該累加。
  20. 如請求項11所述的編碼器,其中該N個樣本限定包含用於一個或多個樣本的顏色資訊的輸入視訊向量。
  21. 如請求項20所述的編碼器,其中用於該一個或多個樣本的顏色資訊包括以下之一:(a)紅色(R)值;(b)藍色(B)值;(c)綠色(G)值;(d)亮度值(Y);(e)色度(C)值;(f)藍差色度(Cb)值;(g)紅差色度(Cr)值;或者(h)(a)至(g)的任何組合。
  22. 如請求項11所述的編碼器,其中每個乘法器電路在第一時鐘訊號的第一有效狀態期間對該第一差分電壓值和該第二差分電壓值進行調製,以及其中該累加器電路在第二時鐘訊號的第二有效狀態期間產生該一對差分輸出訊號。
TW110143382A 2020-11-25 2021-11-22 用於使用展頻直接序列調製傳輸視訊媒體的編碼器和解碼器電路 TWI810720B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063118320P 2020-11-25 2020-11-25
US63/118,320 2020-11-25

Publications (2)

Publication Number Publication Date
TW202226821A TW202226821A (zh) 2022-07-01
TWI810720B true TWI810720B (zh) 2023-08-01

Family

ID=81756241

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110143382A TWI810720B (zh) 2020-11-25 2021-11-22 用於使用展頻直接序列調製傳輸視訊媒體的編碼器和解碼器電路

Country Status (3)

Country Link
EP (1) EP4186239A1 (zh)
TW (1) TWI810720B (zh)
WO (1) WO2022115312A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140086314A1 (en) * 2012-09-26 2014-03-27 Magnum Semiconductor, Inc. Apparatuses and methods for optimizing rate-distortion of syntax elements
CN110663194A (zh) * 2017-03-20 2020-01-07 Hyphy美国有限公司 整合自适应压缩的媒体接口

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793759A (en) * 1995-08-25 1998-08-11 Terayon Corporation Apparatus and method for digital data transmission over video cable using orthogonal cyclic codes
US6456607B2 (en) * 1996-10-16 2002-09-24 Canon Kabushiki Kaisha Apparatus and method for transmitting an image signal modulated with a spreading code
US6018547A (en) * 1998-01-09 2000-01-25 Bsd Broadband, N.V. Method and apparatus for increasing spectral efficiency of CDMA systems using direct sequence spread spectrum signals
JP2001144653A (ja) * 1999-08-27 2001-05-25 Ibiden Sangyo Kk 有線スペクトラム拡散通信装置および通信方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140086314A1 (en) * 2012-09-26 2014-03-27 Magnum Semiconductor, Inc. Apparatuses and methods for optimizing rate-distortion of syntax elements
CN110663194A (zh) * 2017-03-20 2020-01-07 Hyphy美国有限公司 整合自适应压缩的媒体接口
US20200014419A1 (en) * 2017-03-20 2020-01-09 Hyphy Usa Inc. Media interfaces incorporating adaptive compression

Also Published As

Publication number Publication date
TW202226821A (zh) 2022-07-01
EP4186239A1 (en) 2023-05-31
WO2022115312A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
US11716114B2 (en) Encoder and decoder circuits for the transmission of video media using spread spectrum direct sequence modulation
US20230223981A1 (en) Wireless transmission of samples encoded using spread spectrum video transport
US9686503B2 (en) Camera system, video processing apparatus, and camera apparatus
US6538696B2 (en) Image sensing apparatus using a non-interlace or progressive scanning type image sensing device
US20100328485A1 (en) Imaging device, imaging module, electronic still camera, and electronic movie camera
US20200382728A1 (en) High-dynamic image sensor
US8081247B2 (en) Partial row readout for image sensor
JP4905279B2 (ja) 撮像回路および撮像装置
WO2012147523A1 (ja) 撮像装置及び画像生成方法
EP1766966A1 (en) Image sensor for still or video photography
JPWO2007094403A1 (ja) 撮像装置
TWI810720B (zh) 用於使用展頻直接序列調製傳輸視訊媒體的編碼器和解碼器電路
US11997415B2 (en) Sampled analog storage system
US20060008154A1 (en) Video compression and decompression to virtually quadruple image resolution
TW202418817A (zh) 使用展頻直接序列調製傳輸視訊媒體的解碼器電路
KR20230073135A (ko) 확산 스펙트럼 직접 시퀀스 변조를 사용하는 비디오 미디어 전송을 위한 인코더 및 디코더 회로
JP4083437B2 (ja) 撮像装置
JP3932006B2 (ja) 撮像装置
JP2000308076A (ja) 撮像装置
JP3925479B2 (ja) 撮像装置
TW202343428A (zh) 具有時序控制器的展頻視訊傳輸整合
JP2000261817A (ja) 撮像装置
JP2000050288A (ja) 映像信号処理方法および撮像装置
GB2564081A (en) Video transmission
JPH09271029A (ja) 単板式カラーカメラおよび色信号の分離方法