TW202329698A - 展頻視訊傳輸儲存系統 - Google Patents

展頻視訊傳輸儲存系統 Download PDF

Info

Publication number
TW202329698A
TW202329698A TW111130816A TW111130816A TW202329698A TW 202329698 A TW202329698 A TW 202329698A TW 111130816 A TW111130816 A TW 111130816A TW 111130816 A TW111130816 A TW 111130816A TW 202329698 A TW202329698 A TW 202329698A
Authority
TW
Taiwan
Prior art keywords
samples
analog
output
levels
storage array
Prior art date
Application number
TW111130816A
Other languages
English (en)
Inventor
羅伯特 漢內鮑爾
Original Assignee
美商Hyphy 美國公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商Hyphy 美國公司 filed Critical 美商Hyphy 美國公司
Publication of TW202329698A publication Critical patent/TW202329698A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/69Spread spectrum techniques
    • H04B1/707Spread spectrum techniques using direct sequence modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J13/00Code division multiplex systems
    • H04J13/0007Code type
    • H04J13/004Orthogonal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J13/00Code division multiplex systems
    • H04J13/0077Multicode, e.g. multiple codes assigned to one user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/10Adaptations for transmission by electrical cable

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

數位或類比樣本從視訊源發送到視訊儲存子系統,視訊儲存子系統將樣本編碼為類比位準,將類比位準儲存一段時間,將類比位準解碼回數位樣本,然後將數位樣本發送到視訊匯點以用於顯示,N個樣本被編碼成L個類比位準以進行儲存。儲存子系統可以位於視訊源處、視訊匯點處或兩者之間的任何位置。儲存子系統可以位於電磁通路上,L個編碼的類比位準藉由電磁通路從視訊源作為類比訊號被傳輸。L個編碼的類比位準被寫入儲存裝置,然後從儲存裝置中被讀取並藉由電磁通路朝著視訊匯點被重傳。儲存子系統還可以與將樣本編碼成類比位準以供儲存的發送器整合,或者可以與儲存類比位準、然後將類比位準解碼回樣本的接收器整合。儲存陣列中的哨兵軌道偵測衰減或偏移,然後對其進行補償。

Description

展頻視訊傳輸儲存系統
相關申請案的交叉引用
本申請要求於2021年8月17日提交的標題為“Method and Apparatus for Pulsital Data Storage Systems”的美國臨時專利申請No.63/234,157和2022年3月23日提交的標題為“Encoder Circuit with Memory Array for Spread Spectrum Video Transport”的美國臨時專利申請No.63/322,811的優先權,兩者均藉由引用併入本文。
本申請藉由引用併入了於2018年3月19日提交的現在為美國專利No.10,158,396的美國申請No.15/925,123(HYFYP001)、於2019年9月17日提交的美國申請No.16/494,901(HYFYP002)、於2021年8月12日提交的美國申請No.63/232,486(HYFYP003P)、於2022年8月2日提交的美國申請No.17/879,499(HYFYP003)、於2022年3月4日提交的美國申請No.17/686,790(HYFYP04AX1)、於2022年6月28日提交的美國申請No.17/851,821(HYFYP007)、於2021年11月16日提交的美國申請No.63/280,017(HYFYP009P2),以及於2022年3月8日提交的美國申請No.63/317,746(HYFYP013P2)。
本發明一般而言涉及視訊傳輸。更具體而言,本發明涉及儲存已編碼的視訊樣本。
電磁傳播通路(EM路徑)賦能量能夠作為訊號從發送端子跨物理空間或介質傳播到接收端子。用於媒體訊號通訊的EM路徑一般以以下三種類型之一可用:線對(電纜)、自由空間(無線)和光波導(光纖)。
各種類型的EM路徑覆蓋不同的空間範圍。舉例來說,這種佈置包括積體電路包裝內、相機的底盤內、智慧型電話、平板電腦或電腦內、裝備穿戴者的身體內或周圍、顯示單元內、構造的圍繞人的環境內(諸如在房間或車輛內)、在建築物內或整個建築物內或在校園內以及在任何這些範圍之間的空間。一些EM路徑在超過數十公里的距離上傳播媒體訊號,從而實現電信。
電磁訊號(EM訊號)是由其振幅隨時間改變的電磁能表示的變數。EM訊號可以被表徵為在時間和振幅兩個維度上獨立的連續或離散變數。系統設計者可以將時間維度視為連續或離散變數。在連續的時間中,指派給變數的相繼值之間的間隔受到可能測量時間的解析度的限制。在離散(或取樣的)時間中,指派給變數的相繼值之間的時間是預先確定的(例如,藉由測量者區分不同測量的能力),並且平均取樣間隔的倒數是EM訊號的“取樣速率”。
系統設計者還可以將振幅視為連續的或離散的。在連續的振幅中,EM訊號值的可能振幅的數量受到可能測量接收到的能量的解析度的限制。即,振幅可以在振幅上限與振幅下限之間變化。在離散或量化的振幅中,EM訊號值在最小值與最大值之間的可能振幅的數量是預先確定的。不同可能振幅的數量的底數為2的對數是量化的EM訊號的動態範圍的“位元數”。
這兩個屬性有四種分類組合,因此有四種不同類型的EM訊號:“類比”訊號是連續時間、連續振幅的EM訊號;“數位”訊號是離散時間、離散振幅的EM訊號;“取樣的類比”訊號是離散時間、連續振幅的EM訊號;“神經元”(或“神經學(neurolog)”)訊號是連續時間、離散振幅的EM訊號。
在間隔期間,EM訊號的某個部分在發送器和接收器之間運輸,同時藉由EM路徑傳播;即,藉由任何EM通路的能量傳播的速率可以是有限的。
由於諸如衰減、阻抗失配引起的反射以及來自其他訊號的干擾之類的現象,在接收端子處對EM訊號進行的測量肯定與對應發送端子處可用的位準不同的意義上,每條EM路徑降級傳播藉由它的EM訊號。因此,每條物理EM路徑都是不完美的電磁傳播通路。在接收端子處進行的測量總是出現與藉由EM路徑與接收端子配對的發送端子可用的對應位準相關的誤差。任何給定的EM路徑的品質由在藉由EM路徑傳播之後在接收端子處測得的位準與在發送器處可用的位準進行比較來表徵。
焦平面亮度隨位置的改變可以作為影像感測器中的電壓來測量。每個測得的亮度會受到來自不同源的隨機雜訊的影響。顯示平面亮度的多個位置可以由顯示面板中的電壓產生。每個產生的亮度也受到來自其他不同源的隨機雜訊的影響。
常規的視訊儲存子系統將每個電壓截斷為具有預定位元深度的符號。這種粗略的近似值的每一位都隨著時間的推移而被保存下來,並在訪問時在儲存子系統輸出處正確地被複製。因為常規的視訊儲存解決方案充分利用為儲存文檔而創建的機構,其中完整性要求精確地複製文檔的每個字元,所以需要精確保存每個符號(和每個位元)。此外,常規儲存子系統中的儲存單元會老化並且資料會丟失。
另外,鑒於傳輸視訊所需的大量頻寬,通常使用各種類型的數位視訊壓縮,諸如MPEG、AVC和HEVC。視訊壓縮的問題包括有限的互通性、增加的實現成本、增加的時延和降低的影像保真度。因此,與未壓縮或視覺無損視訊相比,在顯示壓縮視訊時,一定程度的圖片品質會降級。
因此,常規的視訊儲存子系統要求以數位形式(即,二進位數字位元)儲存視訊資料,從而導致諸如所需能量和儲存的增加、壓縮的使用、儲存單元的降級等缺點,所有這些都增加視訊儲存子系統的成本、尺寸和能量使用,並增加所使用的視訊傳輸的複雜性。
因此需要一種能夠儲存高品質、高清晰度視訊的視訊儲存子系統,該視訊儲存子系統更具彈性、使用更少的能量並且因此需要更少的空間。
為了實現上述目的,並且根據本發明的目的,揭露了一種視訊儲存子系統,它比常規的儲存子系統更具彈性、使用更少的能量並且需要更少的空間來儲存資訊的樣本,並且不要求壓縮。
在影像儲存的上下文中使用展頻視訊傳輸(SSVT)技術的一個優點是影像本身固有地是嘈雜的並且在固有地易出錯的感測器上捕獲並顯示在固有地嘈雜的顯示器上,然後由極其複雜和穩健的人類視覺系統查看。因此,視訊的通訊要求與常規數位內容(諸如試算表、軟體、文檔、電子郵件等)的通訊要求大不相同,常規的數位內容要求位元完美和無錯傳輸。在先前技術中,常規的視訊傳輸和儲存就像任何其他種類的數位文檔一樣對待視訊訊號,以及與該數字表示相關聯的嚴格要求。但是,利用SSVT,視訊訊號以電學穩健和高效的方式被傳輸和儲存。SSVT的優點之一是在接收器處的EM訊號中發生的任何未補償的誤差在重建的影像中表現為廣譜時間和空間雜訊。這種白色雜訊比由於常規的位序列傳輸中的誤差產生的空白螢幕、重複影像和塊狀壓縮偽影更適合人類認知。
此外,使用本文提供的SSVT編碼以便將類比樣本儲存在儲存陣列中長期為儲存的樣本提供更大的彈性,使它們更能抵抗由於洩漏引起的訊號下降。
另一個優點是儲存裝置的資訊密度的增加。舉例來說,考慮儲存十位元值的先前技術數位樣本;這意味著每個樣本要求十個儲存單元,而對於本發明,要儲存在陣列中的每個類比位準只要求相當於單個儲存單元。
在SSVT系統中,取樣的類比值的組(下文中稱為樣本)被一起編碼並儲存在一起。在此,N的值表示儲存在一起的樣本的數量,L是編碼向量的長度並且也與用於儲存N個樣本的儲存位置的數量對應。N個樣本中的每個樣本依次被編碼或散佈在L個儲存位置上,從而降低了作為類比值跨許多“L”個位置儲存的資訊的能量密度。這些散佈的N個樣本被加在一起並儲存在L個位置中。L個位置中的每個位置都包含N個樣本中的每個樣本的類比值的1/L。雖然散佈降低了給定訊號的能量或資訊密度,但散佈也增加了它的彈性。它減少了L個儲存單元中任何給定單元中的任何給定錯誤的影響。資訊密度的這種損失可以藉由以下事實來彌補:散佈編碼對於N個樣本值中的每一個都是不同的並且經過精心設計以確保與其共用位置的每個相鄰編碼的樣本的正交性。
即使N個數位或類比樣本將由儲存在陣列內的L個類比樣本表示,並且L≥ N≥ 2,L的值將接近於N,並且通常不超過N的值的兩倍或三倍;L不太可能是N的值的十倍。L的值相對於樣本數N越高,彈性增加。
由於儲存是類比值而不是離散的二進位值,因此對於10位元系統將需要10個儲存單元,而SSVT系統僅要求儲存位置之一。這意味著,對於接近N的值的L值,當使用本發明將類比樣本儲存在儲存陣列中時,在儲存該值的動作期間使用的功率節省至少為十倍,更不用說所需的儲存面積的減少。每個儲存單元的能量節省甚至更大,因為雖然隨著儲存單元的內容改變,二進位數字位元的數位表示可能需要在0V和1.8V之間擺動,但對於本發明的儲存單元中的類比值在0V和1V的極值之間反復擺動是不常見的。並且,每次需要將儲存單元驅動到花費一定量功率的特定值時,就需要流過一定量的電流來為那個儲存單元充電;因此,儲存陣列中類比位準的儲存進一步減少了儲存陣列的能量使用,因為它將始終使用更少的電流和更少的儲存單元(並且消耗更少的功率)以儲存相同數量的先前技術資訊。
另外,將視訊樣本儲存到新穎的儲存子系統中允許儲存完整的視訊(事件、紀錄片、電影等),然後可以直接從那個儲存子系統資料流、重播或傳輸這些視訊,以便在顯示單元(諸如行動電話、平板電腦、電腦、電視、看板、記分牌等)上顯示。本發明也適用於視訊樣本以外的樣本。
在第一實施例中,數位樣本從視訊源發送到視訊儲存子系統,視訊儲存子系統將樣本編碼為類比位準,將類比位準儲存一段時間,將類比位準解碼回數位樣本,然後將數位樣本發送到視訊匯點(sink)以進行顯示。
在第二實施例中,樣本從視訊源發送到視訊儲存子系統,視訊儲存子系統將樣本編碼為類比位準,將類比位準儲存一段時間,將類比位準解碼回樣本並將樣本返回到視訊源以用於稍後傳輸到視訊匯點以進行顯示。
在第三實施例中,樣本從視訊匯點設備發送到視訊儲存子系統,視訊儲存子系統將樣本編碼為類比位準,將類比位準儲存一段時間,將類比位準解碼回樣本並將樣本返回到視訊匯點以用於顯示。當樣本到達視訊匯點設備並在從儲存裝置中檢索然後在視訊匯點處顯示之前儲存一段時間時,這個實施例是有用的。
在第四實施例中,樣本從視訊源發送到與視訊儲存子系統整合的發送器,視訊儲存子系統將樣本編碼為類比位準,將類比位準儲存一段時間,然後藉由傳輸介質朝著視訊匯點串列發送編碼的類比位準以供最終解碼和顯示。
在第五實施例中,視訊儲存子系統藉由傳輸介質接收已由發送器和至少一個編碼器編碼的類比位準,將類比位準儲存一段時間,然後藉由傳輸介質朝著視訊匯點序列傳輸類比位準以供最終解碼和顯示。
在第六實施例中,視訊儲存子系統藉由傳輸介質接收已由發送器和至少一個編碼器編碼的類比位準,將類比位準儲存一段時間,使用至少一個解碼器和接收器將類比位準解碼成視訊樣本,並將樣本發送到視訊匯點以進行顯示。
在第七實施例中,視訊儲存子系統直接從視訊源(例如,靜態相機、攝影機等)的感測器接收類比電壓而不需要任何ADC,將類比位準儲存一段時間,將類比位準解碼為原始樣本,然後將樣本(例如,作為影像、照片或視訊)顯示在相機等的顯示器上。
在第八實施例中,類比電壓樣本直接從視訊源(例如,靜態相機、攝影機等)的感測器發送到SSVT發送器而無需源或發送器處的任何ADC;然後將SSVT訊號發送到接收器,然後接收器將SSVT訊號解碼為標準二進位表示(使用一個或多個ADC),從而有效地將ADC移動到遠端位置。圖1示出了這個實施例99,其中類比電壓的序列作為N個類比樣本的相繼組直接呈現給發送器28的一個或多個編碼器。於是,編碼是類比編碼。類比樣本可以源自感測器16或儲存裝置98(從儲存裝置98到發送器28的路徑未明確示出)。在這個實施例中,不需要ISP 20、流傳輸器21或重計時器26。介質34上的SSVT訊號(或其解碼的形式)然後可以儲存在儲存裝置100b、100c、100d處或如本文該的實施例96處。
我們認識到,視訊I/O裝備的隨機性質和人類視覺認知所表現出的對白色雜訊的內在彈性共同創造了對視訊儲存的要求,這些要求不必與對都要求二進位數字位元的儲存的字元儲存、文檔儲存、資料儲存等的嚴格要求相同。
視訊儲存子系統只需要儲存值(包括視訊樣本和電氣位準),這些值受制於由於AI/ML系統和人類視覺認知的容忍度,每個輸出值是可以在儲存子系統的能量/體積預算內實現的輸入值的適合用途的近似值的要求。
我們進一步認識到,儲存子系統中的實值近似增加了密度,而過程增益增加了彈性。將視訊樣本和電氣位準近似為儲存的電壓、電荷、電流等,而不是精確維持k位元抽取的常規儲存要求,將能量密度提高至少十倍。例如,我們的近似視訊儲存子系統不是像在先前技術中那樣花費大量資源來精確地保存各個位元,而是在每個樣本中儲存更多資訊,而作為簡單電容器上的電壓/電荷的能量/密度(面積)要少得多。
另外,將要儲存在記憶體中的值的組表示為具有過程增益的正交編碼的向量將彈性增加了向量長度的平方根的至少一倍。 媒體訊號
媒體訊號是一種特殊類型的EM訊號。媒體訊號是樣本的有序序列。媒體訊號可以由物理測量設備(例如麥克風、影像感測器或視訊引擎,例如圖形處理器)產生。影像或視訊顯示矩陣的輸入也是媒體訊號。
視訊訊號是一類重要的媒體訊號。作為實施例,媒體訊號在適當的情況下被認為是視訊訊號。視訊訊號有許多可用的電子格式。視訊由影像的有序序列組成,每個影像進而描述顏色值的二維陣列。顏色值可以在不同的顏色空間中表示,並且每訊框的解析度和畫面播放速率都變化。大多數視訊訊號可以被表示為顏色值的一維清單,即,樣本的有序序列。在某些揭露的實施例中,這些樣本是數位視訊系統中的量化的值和取樣的類比視訊系統中的連續值。
媒體訊號片段是來自媒體訊號的樣本的有序序列的有限連續子序列。媒體片段的示例包括靜止影像(例如,.JPG、.BMP)和電影(例如,.MP4、.AVI)。媒體訊號源(諸如攝影機)產生任意長但有限的媒體訊號片段序列。應當注意的是,片段本質上是最終的,而媒體訊號不是。視訊訊號源自影像感測器,作為光強度測量的訊框的序列。樣本測量的每一行都是片段(線),並且每一訊框是片段。 媒體訊號片段的物理基礎
媒體片段的物理實施例的常見示例包括跨電容器的陣列的電壓,如在影像感測器和液晶顯示器中,以及如在動態電腦記憶體的內容中;紙上的墨水;或藉由二極體的陣列的電流,如在直接LED顯示幕上。媒體訊號片段也可以被體現為行進穿過自由空間的波形或作為電纜或光纖中的訊號。媒體訊號片段的最熟悉的物理實施例在空間上是緊湊的。影像的熟悉實施例的示例,影像是一種特別重要的媒體訊號片段,包括保持在相機的影像感測器中的電容器中的電壓的集合、提供給直接LED顯示器的LED陣列的發射器驅動電流的集合以及在電子裝置的訊框緩衝記憶體中表示影像的位元的集合。 媒體訊號通訊
媒體訊號通訊是物理過程,其藉由電磁傳播從一個或多個輸入媒體訊號在物理實施例之間、從一個地方到另一個地方重複地變換樣本集合。媒體訊號通訊系統由媒體訊號產生設備(“源”)和媒體訊號消耗設備(“匯點”)組成,它們藉由跨一條或多條EM路徑的電磁傳播來交換能量。大部分能量被分配以將表示輸入媒體訊號的EM訊號從源輸送到匯點。分配相對適中的更多能量以在源和匯點之間輸送控制和狀態資訊。為了清晰,關於視訊在系統中移動的方向,就媒體訊號通訊的方向而言,源被認為是匯點的“上游”或“上坡”。
源藉由將一個或多個輸入媒體訊號片段重複變換成可以用於相關聯的EM路徑的一個或多個EM訊號的間隔來變換一個或多個輸入媒體訊號。匯點藉由從跨相關聯的EM路徑傳播的一個或多個EM訊號的間隔重複重建一個或多個輸出媒體訊號片段來重建一個或多個輸出媒體訊號。雖然本揭露將電纜稱為EM路徑的示例性實施例,但應理解的是,所揭露的原理同樣適用於所有其他EM路徑,諸如無線、光纖等。 帶有儲存子系統的SSVT系統
本發明針對在儲存陣列中儲存類比樣本。以下描述使用採用展頻視訊傳輸技術在視訊源和視訊匯點之間傳輸和儲存的視訊樣本的示例。雖然在本描述中將像素電壓用作一種類型的樣本,但這種儲存技術可以與表示各種其他樣本(諸如來自感測器的訊號,諸如LIDAR值、聲音值、觸覺值、氣溶膠值等)中的任何一種的電壓一起使用,並且在轉換成電壓以供儲存之前,樣本可以表示除電壓以外的值(諸如電流等)。
圖1是系統10的框圖,示出了電磁(EM)訊號從視訊源到視訊匯點的傳輸和儲存。一旦被捕獲,視訊資料通常就會被傳輸到視訊顯示器以進行近乎即時的消費。使用本發明的實施例,所捕獲的視訊資料被儲存以供以後以時移模式傳輸和消費。基於SSVT的調變被用於儲存來自視訊源的視訊資料,這些資料可以儲存在源處、視訊匯點處或兩者之間的任何位置。
在一個實施例中,使用藉由介質34的傳輸。從視訊源接收包含顏色值和像素相關資訊的按時間排序的視訊樣本的流,將其儲存、傳輸並且稍後為視訊匯點重建。如下文更詳細描述的,從視訊源接收的輸入視訊樣本的數量和內容取決於在源處操作的顏色空間、設備的框架格式和畫面播放速率。無論使用哪種顏色空間,每個視訊樣本都表示在給定像素位置的指定的顏色空間中測得的光的量。當接收到輸入視訊樣本的流時,輸入視訊樣本被重複地:藉由根據預定置換將輸入視訊樣本指派到編碼器輸入向量中來“分發”,藉由對多個編碼器輸入向量中的每個輸入向量應用基於SSVT的調變進行編碼,應用正交碼,並產生多個複合EM訊號作為可以儲存在儲存陣列中的具有類似雜訊的特性的類比輸出位準。然後藉由傳輸介質(諸如HDMI電纜)傳輸EM訊號。在接收側,傳入的EM訊號藉由應用基於SSVT的解調、應用相同的正交碼以將類比輸出位準重建為輸出向量進行解碼。然後藉由使用預定置換的逆將來自輸出向量的重建的視訊樣本指派給輸出流來“收集”輸出向量。因此,包含顏色和像素相關資訊的按時間排序的原始視訊樣本流從視訊源輸送到視訊匯點,並在兩者之間進行儲存。在另一個實施例中,使用藉由常規數位傳輸器93的傳輸。
視訊源12包括影像感測器陣列16、可能的一個或多個類比數位轉換器18、影像訊號處理器(ISP 20)和負責產生視訊樣本22的流的視訊流傳輸器21。視訊源12是能夠捕獲成像資訊的任何設備,諸如但不限於視訊相機、紅外成像設備、超音波成像設備、磁共振成像(MRI)設備、電腦斷層掃描器、或幾乎任何其他類型的能夠產生視訊資訊的成像設備。
影像感測器16是能夠產生與入射光的量成比例的電子訊號的任何設備,諸如光電二極體的平面陣列。每個光電二極體表示平面陣列中的像素位置。平面陣列中光電二極體的數量可以廣泛變化並且取決於影像感測器16的尺寸。影像感測器16可以是任何尺寸。因此,光電二極體的陣列產生電壓的集合,這些電壓共同表示訊框。隨著影像感測器以給定的畫面播放速率不斷刷新,電壓的多個集合(每個集合表示一訊框)連續一個接一個地被產生。
對於許多數位影像感測器陣列16,通常存在一行類比數位轉換器(“ADC”)18,每列具有一個ADC。在給定的訊框間隔期間,對陣列16的所有行進行取樣,通常從上到下一行接一行,有時在本文中稱為“行優先”次序。對於每個樣本,ADC 18將感測到的電壓轉換成用於陣列中每一列的像素位置的數位值。當陣列16的所有行都已被取樣時,一訊框就完成了。上述過程在逐訊框的基礎上以行優先次序重複。最終結果是一串數位值,每個數位值代表訊框中的一個像素位置。用於表示每個樣本的位元數可以廣泛變化。例如,每個電壓可以由類比數位轉換器18轉換成8位或10位值。
影像感測器陣列16可以是單色的或者彩色的。在前者的情況下,由ADC 18產生的數字值僅代表一種顏色。對於後者,通常應用眾所周知的顏色技術,諸如拜耳過濾。藉由拜耳過濾,各個光電二極體16選擇性地覆蓋有預定顏色(例如,紅色(R)或藍色(B)或綠色(G))的濾光器。在替代實施例中,可以使用CYGM(青色、黃色、綠色和品紅色)或CMY(青色、品紅色和黃色)過濾。無論使用哪種類型的濾光器,都在每個樣本位置處測得經過濾的光的量值。
ISP 20被佈置為內插從ADC 18接收到的數位值的串。藉由內插,ISP 20獲取包含在用於每個像素測量及其幾何鄰域的數位值中的資訊並限定對應像素的顏色的估計。為了在特定顏色空間(有很多)中輸出全彩色影像,ISP 20在每個位置處內插“缺失的”顏色值。即,給定每個像素僅單色測量,ISP藉由演算法估計“缺失的”的顏色值,以創建例如用於像素的RGB或YCbCr表示。ISP 20因此為給定訊框的給定像素產生樣本22的集合,樣本22的每個集合代表訊框內給定像素位置處的顏色值(如測得的和/或內插的)。
在另一個實施例中,電壓的序列不需要由ADC轉換成數位的,也不需要由ISP處理。類比電壓的序列可以作為類比樣本從感測器16輸出,在這種情況下,發送器28可以對類比樣本而不是數位樣本執行其編碼。這些類比訊號被呈現給SSVT Tx電路(28),該電路以取樣的類比方式操作,以在數學上與數位版本完全相同的方式實現編碼。將不使用ISP(20)、視訊流傳輸器(21)和重計時器(26)。在實施例98中,類比電壓也可以直接儲存到儲存子系統100a中;一旦被解碼和檢索,類比樣本就可以顯示在視訊源12的螢幕上,輸入到發送器28,藉由介質93發送,轉換成數位的,或發送到其他地方。
樣本22的給定集合的內容可以變化,因為有許多方式來表示顏色。RGB提供三種顏色值。對於YCbCr,Y是輝度分量,Cb和Cr分別是藍差和紅差色度值。YCbCr顏色空間由來自相關聯的RGB顏色空間的數學座標變換定義。在另一種表示顏色的方式中,可以使用“交替”方法。例如,每隔一個像素由其輝度(Y)值表示,而交替像素由Cb(藍色)或者Cr(紅色)值表示。因而,在各種實施例中,樣本22的每個集合包括平行傳輸的某個數量“S”個樣本值。對於RGB,樣本22的每個集合的樣本數為S = 3,而對於YCbCr,S = 2。由ISP每個像素位置產生的樣本的數量取決於ISP實施方式,特別是取決於所應用的顏色空間,並且可以少於兩個或多於三個。
視訊流傳輸器21的輸出是按時間排序的樣本22的集合的連續流,每個樣本代表行中的一個像素,從左到右,以行優先次序,一訊框接一訊框,只要陣列16正在感測集合。樣本22的集合的流也可以儲存在視訊儲存子系統100a中並且隨後在視訊流最初被影像感測器16捕獲之後的任何時間被傳輸到重計時器26。
如下文更詳細解釋的,重計時器26負責顯露來自由視訊流傳輸器21產生的流中的樣本22的集合中的每一個的顏色分量資訊(例如,RGB值)。然後展頻視訊傳輸發送器(SSVT TX)28負責(a)使用預定置換將樣本22的集合分發到多個編碼器輸入向量之一,(b)對多個編碼器輸入向量中的每一個應用SSVT調變,(c)用SSVT編碼對多個輸入向量進行編碼以產生EM位準訊號的序列,以及(d)然後藉由傳輸介質(諸如HDMI電纜)上的多條EM通路向視訊匯點14傳輸EM位準訊號的序列。輸入樣本22的集合的流以第一時脈速率(pix-clk)分發以根據預定置換創建編碼器輸入向量。然後可以以第二時脈速率(SSVT_clk)藉由介質傳輸編碼的EM訊號。
SSVT接收器(RX)30和重計時器32的功能是在發送側的重計時器26和SSVT發送器28的互補。即,SSVT接收器30(a)從傳輸介質的多條EM通路接收EM類比輸出位準訊號的序列,(b)藉由應用SSVT解調來解碼每個序列以在多個輸出向量中重建視訊樣本,以及(c)使用在發送側用於將輸入樣本分發到輸入向量中的相同置換,將來自多個輸出向量的樣本收集到樣本22的集合的原始流的重建中。重計時器32然後將重建的輸出樣本變換成適合由視訊接收器14顯示的格式。樣本22的每個集合中的輸出樣本值的數量S由視訊源應用的顏色空間確定。對於RGB,S=3,而對於YCbCr,S=2。
根據本發明的各種實施例,編碼的樣本可以在視訊儲存子系統100a、100b、100c、100d中的任何一個內或這些子系統中的兩個或更多個內儲存任何時間長度,然後最終顯示在視訊匯點14上。在第一實施例92中,儲存子系統100a可以位於視訊源12與視訊匯點14之間的任何位置,使得數位樣本22以先前技術中已知的數位方式93傳輸到儲存系統100a,被編碼,然後在被讀取並再次輸出為數位樣本22以遞送到視訊匯點14之前直接儲存到子系統100a中持續任何時間長度。實施例92可以包括儲存在諸如內容提供器等雲儲存服務提供器上。
在第二實施例94中,儲存子系統100a可以位於視訊源處,以便在藉由常規數位傳輸器93或經由重計時器26讀取和輸出樣本以供藉由傳輸介質34傳輸之前將樣本編碼並直接儲存到子系統100a中持續任何時間長度。在第三實施例96中,甚至一旦在視訊匯點14處接收到樣本22,它們就也可以在被讀取和顯示在視訊匯點14上之前被編碼並直接儲存到子系統100a中持續任何時間長度。在這些第一、第二和第三實施例中,N個樣本可以從媒體訊號中匯出並以任何合適的方式呈現給儲存子系統。匯出樣本的方式將取決於樣本的類型(例如,彩色視訊樣本、黑白視訊樣本、聲音樣本、LIDAR樣本等);在一個特定實施例中,圖6的發送器示出了一種用於基於RGB視訊訊號將N個樣本呈現給編碼器的技術。
在第四實施例中,儲存子系統100b與發送器28整合,使得經由路徑52從一個或多個編碼器輸出的類比位準(即,SSVT訊號)在經由路徑54被讀取和輸出以供在傳輸介質34上傳輸之前直接儲存到子系統100b中(並且不直接藉由傳輸介質34傳輸)持續任何時間長度。
在第五實施例中,來自發送器28的一個或多個編碼器的編碼的樣本(即,SSVT訊號)被直接輸出到傳輸介質34上,然後在某個中間位置,這個SSVT訊號在經由路徑64被讀取和輸出以供在傳輸介質34上繼續傳輸之前經由路徑62被儲存到子系統100c中持續任何時間長度。
在第六實施例中,儲存子系統100d與接收器30整合,使得經由路徑72從一個或多個編碼器輸出的類比位準(即,SSVT訊號)在經由路徑74被讀取並輸出以輸入到接收器30以供解碼回與輸入到發送器28基本相同的樣本之前直接儲存到子系統100d中(而不是直接輸入到接收器30中)持續任何時間長度。
在第七實施例98中,視訊儲存子系統100a直接從視訊源(例如,靜態相機、攝影機等)的感測器接收類比位準而無需任何ADC,將類比位準儲存一段時間,使用至少一個解碼器將類比位準解碼為原始樣本,然後將樣本(例如,作為影像、照片或視訊)顯示在相機的顯示器上,輸出樣本以便被編碼並作為SSVT訊號傳輸,藉由通訊介質傳輸樣本等。從儲存子系統輸出的類比樣本也可以使用任何數量的ADC轉換成數位形式,然後以數位形式從源設備傳輸,以數位形式儲存等。在一個特定實施例中,類比位準儲存到源設備(例如,數碼相機)的儲存卡或晶片上,該卡通常是可移動的且非揮發性的。或者,類比位準被儲存到源設備的不可移動(由消費者)記憶體(揮發性或非揮發性的)中。
在第八實施例99中,類比電壓直接從感測器16發送到發送器28並且使用類比編碼,如本文該並在圖1中所示出。發送器28(連同其編碼器)可以位於視訊源(未示出)內或與視訊源分開,如圖所示。 帶有編碼器和儲存裝置的發送器,帶有解碼器的接收器
圖2是藉由傳輸介質34連接的SSVT發送器28和SSVT接收器30的框圖。SSVT發送器28包括分發器40和多個編碼器42。SSVT接收器30包括多個解碼器44和收集器46。如將在下面更詳細地解釋的,可以只有一個編碼器和一個解碼器,並且分發器和收集器不是嚴格必需的。
SSVT接收器30的分發器40被佈置為接收在輸入的樣本22的集合中顯露的顏色資訊(例如,R、G和B值)。作為回應,分發器40為傳入的樣本22的集合獲取顯露的顏色資訊,並根據預定義的置換建構多個編碼器輸入向量。在圖2中所示的實施例中,有四個編碼器輸入向量(V 0、V 1、V 2和V 3),傳輸介質34上的四條EM通路中的每條通路分別有一個。多個編碼器42之一被分別指派給四個向量V 0、V 1、V 2和V 3之一。每個編碼器42負責對包含在對應編碼器輸入向量中的樣本值進行編碼,並產生藉由傳輸介質34上的並行通路之一發送的EM訊號。傳輸介質34可以是電纜(諸如HDMI)、光纖或無線。傳輸介質34上的通路的數量可以在從一到多於一的任何數量的範圍內。
現在將描述由分發器40實現的用於建構四個向量V 0、V 1、V 2和V 3的一種可能置換。在這個示例中,每個向量都包括顏色資訊的N個樣本,並且使用RGB。樣本22的集合的顯露的RGB樣本從左到右被指派給向量V 0、V 1、V 2和V 3。換句話說,最左邊樣本的“R”、“G”和“B”值以及下一個樣本22的集合的“R”訊號被指派給向量V 0,而接下來的(從左到右)“G”、“B”、下一個樣本22的“R”和“G”值被指派給向量V 1,接下來的(從左到右)“B”、“R”、“G”和“B”值被指派給向量V 2,接下來的(從左到右)“R”、“G”、“B”和“R”值被指派給向量V 3。一旦第四個向量V 3被指派給它的訊號,就重複上述過程,直到四個向量V 0、V 1、V 2和V 3中的每一個都具有N個樣本。
假設N = 60。在這種情況下,包括在四個向量V 0、V 1、V 2和V 3中的N個樣本的總數是240。四個編碼器輸入向量V 0、V 1、V 2和V 3在完全建立時包括80個不同的樣本22的集合(240/3 = 80)的樣本(其中S = 3)。換句話說,向量V 0包括Sample 0, 0至Sample 0, N-1並且向量V 1包括Sample 1, 0至Sample 1, N-1等。還應當理解的是,用於構造向量的置換方案,無論數量如何,都是任意的。可以使用任何置換方案,僅受在接收側也使用在發送側使用的置換方案的限制。
還示出了各種視訊儲存子系統100b(與一個或多個編碼器42整合)、100c(位於傳輸介質34上的任何位置)和100d(與一個或多個解碼器44整合)。這個圖中未示出儲存子系統100a,其接收樣本(數位或類比的)的流,對樣本進行編碼,將樣本儲存為類比位準,然後在稍後時間解碼所儲存的樣本以進行傳輸。 儲存子系統
在下面的示例中,儲存子系統儲存編碼的視訊樣本,但是可預期表示其他類型資訊的樣本。
圖3A是具有一個編碼器42的儲存子系統100a的框圖,但是更多編碼器是可能的。樣本102是來自許多合適的源(諸如來自視訊源)的資訊的N個樣本,並且如本文該被並行輸入到編碼器42中,並且可以是類比或數位樣本。儲存裝置100a與編碼器42的輸出端整合在一起,因為來自編碼器的L個類比位準的並行輸出可以直接儲存到開關的儲存單元陣列中,這將在下面更詳細地描述。包括在儲存子系統內的是開關的儲存單元陣列120a,其寫入閘控驅動器134a和讀取閘控驅動器136a從地址解碼器或從合適的控制器(諸如從GPU等)接收電力和控制訊號。
雖然這些訊號被示為從其側面進入陣列,但是根據實施方式,可以使用本領域技術人員已知的任何合適的配置。取決於儲存子系統是位於視訊源、視訊匯點還是內容提供器處,這些電力和控制訊號可以來自視訊源(例如,相機或感測器系統)、視訊流本身(在遠端存放的情況下),或者來自逐步遍歷樣本的重播邏輯(在視訊匯點的情況下在重播時)。在任何情況下,控制通常都是本地的。
在藉由寫入閘控驅動器134a啟用時,編碼器42將L個類比輸出位準直接輸出到儲存陣列120中。以類似的方式,儲存陣列120a在藉由讀取閘控驅動器136a啟用時輸出儲存的L個類比輸出位準。感測放大器162a可以用在陣列120a的每條輸出資料線上,以便按照本領域技術人員已知的那樣根據需要放大儲存的類比位準。L個類比輸出位準直接輸出到解碼器44中,解碼器44然後輸出N個樣本的輸出向量104,這N個樣本與輸入到編碼器的樣本102基本相同。被驅動到陣列中和從陣列中讀出的訊號的類型將取決於所選擇的儲存單元的類型。這種設計選擇可以由本領域技術人員做出,例如,使用浮柵NVROM可能需要使用電晶體性能的參數移位元。可以使用的儲存單元的類型包括:快閃記憶體、EPROM、相移記憶體和任何其他儲存連續變化的類比樣本的方法。
圖3B是儲存子系統100b連同任何數量的編碼器42的框圖。在這個示例中,儲存子系統儲存編碼的視訊樣本,但是可預期表示其他類型資訊的樣本。儲存裝置100b與編碼器42的輸出端整合在一起,因為來自每個編碼器的L個類比位準中的每一個的並行輸出可以直接儲存到開關的儲存單元陣列中,這將在下面更詳細地描述。包括在儲存子系統內的是開關的儲存單元陣列120b,其寫入閘控驅動器134b和讀取閘控驅動器136b從地址解碼器或從合適的控制器(諸如從GPU等)接收電力和控制訊號。雖然這些訊號被示為從其側面進入陣列,但是可以使用本領域技術人員已知的任何合適的配置,這取決於實施方式。
在這個示例中,存在四個編碼器,在藉由寫入閘控驅動器134b啟用時,每個編碼器將L個類比輸出位準122b-128b直接輸出到儲存陣列120b中。以類似的方式,儲存陣列120b在藉由讀取閘控驅動器136b啟用時輸出儲存的L個類比輸出位準142b-148b。感測放大器162b可以用在陣列120b的每條輸出資料線上,以便按照本領域技術人員已知的那樣根據需要放大儲存的類比位準。最後,L個類比輸出位準142b-148b被串行輸出到傳輸介質34上,以如上該傳輸到視訊匯點。感測放大器放大儲存的類比位準,並且這些位準按本領域技術人員已知的那樣順序輸出。
圖3C是儲存子系統100c的框圖。儲存裝置100c可以在沿著傳輸介質34的任何點處(即,在發送器28和接收器30之間)定位,並且在將這L個位準重傳到傳輸介質上之前儲存從傳輸介質34接收的每個編碼器的L個類比輸出位準持續任何時間長度。例如,儲存裝置100c可以被用於實現連續迴圈重播設備。
包括在儲存子系統內的是開關的儲存單元陣列120c,其寫入閘控驅動器134c和讀取閘控驅動器136c從地址解碼器或從合適的控制器(諸如從GPU等)接收電力和控制訊號。雖然這些訊號被示為從其側面進入陣列,但是可以使用本領域技術人員已知的任何合適配置,這取決於實施方式。在這個示例中,SSVT訊號源自四個編碼器,每個編碼器將L個類比輸出位準輸出到傳輸介質34上,這些類比輸出位準可以由位於儲存陣列120c處的接收器170接收。
因而,在藉由寫入閘控驅動器134c啟用時,來自接收器170的輸出將是直接進入儲存陣列120c的每個編碼器的L個類比位準122c-128c。以類似的方式,儲存陣列120c在藉由讀取閘控驅動器136c啟用時輸出儲存的L個類比輸出位準142c-148c。感測放大器162c可以用在陣列120c的每條輸出資料線上,以便按照本領域技術人員已知的那樣根據需要放大儲存的類比位準。最後,L個類比輸出位準142c-148c被串行輸出到傳輸介質34上,用於如上該繼續傳輸到視訊匯點。
圖3D是儲存子系統100d連同任何數量的解碼器44的框圖。儲存裝置100d與解碼器44的輸入端整合在一起,因為來自開關的儲存單元陣列的L個類比位準中的每一個的並行輸出被直接輸入到每個解碼器,這將在下面更詳細地描述。包括在儲存子系統內的是開關的儲存單元陣列120d,其寫入閘控驅動器134d和讀取閘控驅動器136d從地址解碼器或從合適的控制器(諸如從GPU等)接收電力和控制訊號。雖然這些訊號被示為從其側面進入陣列,但是可以使用本領域技術人員已知的任何合適的配置,這取決於實施方式。
在這個示例中,SSVT訊號源自四個編碼器,每個編碼器將L個類比輸出位準輸出到傳輸介質34上,這些類比輸出位準可以由位於儲存陣列120d處的接收器180接收。因而,當藉由寫入閘控驅動器134d啟用時,接收器180的輸出將是直接進入儲存陣列120d的每個編碼器的L個類比位準122d-128d。以類似的方式,儲存陣列120d在藉由讀取閘控驅動器136d啟用時輸出儲存的L個類比輸出位準142d-148d。感測放大器162d可以用在陣列120d的每條輸出資料線上,以便按照本領域技術人員已知的那樣根據需要放大儲存的類比位準。最後,L個類比輸出位準142d-148d被直接輸出到四個解碼器44中,這將在下面更詳細地描述。
另外,如本文所述並在圖11A至圖11C中示出的,上述儲存子系統中的任何一個的編碼和解碼都可以是類比編碼和解碼或數位編碼和解碼。如果編碼是數位的,那麼使用至少一個數位類比轉換器將輸出位準轉換成類比位準以儲存到儲存陣列中。 開關的儲存單元陣列
圖4圖示了適合用於實現儲存陣列120a、120b、120c或120d中的任何一個的開關的儲存單元陣列120。儲存陣列120可以是本領域眾所周知的任何合適的儲存陣列。例如,陣列120可以是非揮發性儲存裝置,諸如對樣本的長期儲存有用的快閃記憶體,或者可以是揮發性儲存裝置,諸如DRAM。如果使用DRAM,那麼需要刷新電路,如本領域已知的。
這個示例說明了簡單的實施例,其中僅使用一個編碼器和一個解碼器,從而產生L個類比位準的輸出。因而,如圖所示,L個類比位準231-239(來自編碼器42、來自接收器170或來自接收器180)被輸入到陣列的寫入資料線上。在讀取時,L個類比位準241-249被輸出到陣列的讀取資料線上。儲存單元210如本領域已知的那樣操作,即,當寫入閘控驅動器230被啟用時,線231上的寫入資料被儲存到單元210中(與也由驅動器230啟用的對應儲存單元中的其他寫入資料一樣)。在讀取時,讀取閘控驅動器240被啟用並且可以線上241上讀取單元210的類比值(可以與也由驅動器240啟用的其他對應儲存單元的類比值一樣)。
在這個特定實施例中,電晶體220是浮柵MOSFET電晶體。每個儲存單元區域224被佈置為儲存類比值並且可以包括在電晶體(或其他電路系統)的柵極中的電荷儲存區域以儲存類比值。在本發明的一個特定實施例中,儲存在區域224中的類比電壓值的範圍為從0伏到大約1伏,但是其他類比電壓範圍也是可能的。
如圖所示,儲存陣列120具有L列,但也可以使用2L、3L和4L列和更大的列的寬度。儲存陣列中使用的行數可以是任何數量,並且將決定陣列的儲存容量。通常,對於每個編碼器都將存在一個儲存陣列,並且如果儲存陣列的寬度為2L、3L或更大,那麼需要附加的定址電路系統以便將從編碼器輸出的L個類比位準的集合路由到適當的L列的集合。另外,無論儲存陣列的寬度如何,如果有多個編碼器僅使用單個儲存陣列,那麼將再次需要附加的定址電路系統以便將從每個編碼器輸出的L個類比位準路由到適當的L列的集合。這種定址電路系統和多工技術是本領域技術人員已知的。此外,有可能將多個編碼器的輸出交錯寫入單個儲存陣列,使得每個編碼器同時寫入不同的行,從而需要更多的列線。儲存陣列設計的這些可能性中的每一個都取決於具體的實施方式並且涉及電路系統相對於記憶體密度的優化等,並且將是設計者的設計選擇。 與編碼器或解碼器整合的儲存陣列
圖5A是與儲存陣列整合的類比編碼器的框圖。示出了樣本的輸入向量310、每個代碼具有長度L(在這種情況下,L=6)的碼簿321、累加器322、位準移位元器323和儲存陣列120b。較佳地,L≥N≥2。
每個碼簿值(例如,值331,也稱為“晶片(chip)”)由與碼簿的特定行對應的樣本S 1-S 6調變(例如,樣本S 1調變第一行中的晶片)。樣本S 1-S 6可以是類比電壓,諸如從圖6中的DAC 62輸出的電壓。在這個示例中,傳入的樣本值在碼簿321的其相應位置處被乘到儲存的晶片上。這個函數使用乘法器(未示出)實現。
提供累加器322以產生跨碼簿的所有軌道的總和以形成類比輸出位準(例如,將列341中經調變的值藉由累加器351求和以產生輸出位準)。累加器222可以包括常規電路系統以在每個時鐘週期添加列值。可以提供位準移位器323以向累加器的每個輸出添加附加電壓,諸如中等(mid-range)電壓,即,中等電壓值(Vmid)向累加器322的每個類比輸出添加附加電壓。可以在每個時鐘週期添加中等電壓以確保編碼器42的線231-236上的輸出(例如,level 0... level L-1)在預期範圍內。然後將線231-236上的輸出直接輸入到儲存陣列120的寫入資料線中,如圖4中所示。
在替代實施例中,樣本S 1-S 6是數位表示並且可以使用數位編碼。在這個實施例中,並且如前面所提到的,源自圖1的視訊源12處的樣本可以已經使用ADC 18轉換成數位表示,並且當在發送器28內未使用DAC時(或之前),輸入向量310中的樣本是數位值。因而,圖5A的調變和求和是數位編碼並且累加器322的結果是數位值。因此,在這個替代實施例中,數位類比轉換器(DAC,未示出)被放置在每個單獨的累加器351-356的輸出端處,以便將其列的數位總和轉換成類比值以放置線上231-236之一上。
圖5B是與儲存單元陣列整合的類比解碼器的框圖。示出了樣本的輸出向量360、每個代碼具有長度L(在這種情況下,L=6)的碼簿321、累加器372和儲存陣列120d。較佳地,L≥N≥2。
每個碼簿值(例如,值331,也稱為“晶片”)由直接從儲存陣列102d讀取的傳入的類比位準241-246調變,每個類比位準調變碼簿的單列,例如,類比位準241調變列371中的每個晶片。在這個示例中,傳入的類比位準在碼簿321的其相應位置處被乘到儲存的晶片上。這個函數使用乘法器(未示出)實現。
提供累加器372以產生跨碼簿的一行的總和以形成總和(例如,行3中經調變的值藉由累加器391求和以產生值)。累加器372可以包括常規電路系統以在每個時鐘週期添加行值。來自累加器372的輸出然後變成輸出向量360,它保持來自輸入向量310的原始樣本。
在替代實施例中,從儲存裝置102d輸出的類比位準可以被轉換成數位表示並且可以使用數位解碼。因此,在這個替代實施例中,類比數位轉換器(ADC,未示出)被放置在來自儲存陣列102d的每條線241-246的輸出處,以便將其類比位準轉換成數位值,然後用於調變其碼簿的對應列。因而,圖5B的調變和求和是數位解碼並且累加器372的結果和輸出向量360中的樣本是數位值。 儲存單元體系架構 - 哨兵單元和軌道
儲存單元陣列的一個實施例結合了L個類比位準的“哨兵”軌道,該軌道跨儲存單元儲存已知樣本值,以便監視陣列的儲存單元中的洩漏(在檢索和解碼之後),然後藉由將補償增益作為讀出電路的一部分應用到哨兵軌道及其同伴來進行補償。在讀取陣列期間回讀哨兵單元中儲存的值,以便針對各種缺陷調整其他儲存的值(在檢索和解碼之後)。這些單元可以基於對於輸入向量中的樣本所允許的最大值和最小值來寫入。將參考圖5A和圖5B。
如本領域已知的,儲存在儲存陣列內的單元處的類比位準可以隨時間漂移並變得衰減(振幅改變,也稱為下降,例如,單元可以丟失,舉例來說,初始儲存的值的80% —1伏變為0.8伏),類比位準可以隨著時間的推移而變得偏移(例如,基本位準偏移,每個儲存的位準下降0.1伏—4伏變為3.9伏、2伏變為1.9伏等),或者可以同時出現衰減和偏移,但是衰減在大多數儲存單元中更為常見。由於期望在輸入向量310中的樣本已被編碼、儲存在儲存單元陣列中並且然後被解碼為輸出向量360(即,輸出向量360的樣本S1-S6應當等同於輸出向量360的樣本S1-S6)之後盡可能接近地恢復這些樣本的實際值,在儲存陣列內實施哨兵軌道的技術是有利的。
圖13圖示了衰減和偏移兩者的影響。所示的是曲線圖990,其示出了輸入向量中樣本的可能值的範圍992(當然,其他值和範圍也是可能的,包括負值),範圍從0.4到1.0。如果儲存陣列中只發生衰減,並且哨兵樣本衰減75%,那麼解碼後的哨兵樣本的可能範圍994是從0.3到0.75。因此,如果輸入向量中的哨兵樣本被設置為1.0,並且結果所得的哨兵樣本為0.75,那麼發生了75%的衰減。
如果在儲存陣列中僅發生偏移,並且樣本減少0.3,那麼解碼的哨兵樣本的可能範圍996是從0.1到0.7。因此,如果輸入向量中的哨兵樣本被設置為1.0,並且結果所得的哨兵樣本為0.7,那麼發生了0.3的偏移。
如果儲存陣列中同時發生衰減和偏移,並且哨兵樣本的衰減為75%並且樣本的偏移為0.3,那麼解碼的哨兵樣本的可能範圍998為從0到0.45。因此,如果輸入向量中的哨兵樣本被設置為1.0,並且衰減和偏移都發生了,那麼結果所得的哨兵樣本為0.45。下面將解釋如何確定兩者是否都發生。
在第一實施例中,假設輸入向量360中允許的樣本值範圍為從-1伏到+1伏,其中一個樣本(例如,S6)被設置為等於+1伏,因此變成“哨兵”樣本值。一旦對輸入向量310執行編碼(S1-S6各自調變碼簿中的其相應軌道,並且求和產生輸出231-236以儲存為陣列中的L個類比位準),儲存在陣列中的L個單元中的這L個類比位準用作儲存陣列中的哨兵“軌道”。任何影響陣列中單元的衰減或偏移都必然影響這個哨兵“軌道”中的單元,從而影響輸出向量360中S6的最終輸出。一旦發生解碼,接收器就可以偵測S6是否實際上是+1伏。樣本值之一的設置可以緊接在編碼之前在儲存子系統處發生,可以在視訊源處或在任何其他合適的位置處發生,並且將取決於使用哪個實施例和設計決定。而且,哨兵樣本值的設置可以包括用已知值替換來自源的實際樣本值、在視訊源處插入已知值或任何其他合適的技術。
有利地,這種技術不是簡單地測量儲存陣列內的單個單元的漂移,而是確定陣列內的L個單元的漂移,從而提供陣列內其他單元的漂移的更好平均測量。如下面所解釋的,可以使用多於一個哨兵樣本(因此多於一個哨兵軌道)來增加對漂移或偵測偏移的靈敏度。單個哨兵軌道可以校正單個“變數”(即,如上面所討論的衰減或偏移,無論哪個占主導地位)。如果單元的損壞涉及衰減和偏移兩者,那麼將需要兩個哨兵軌道。並且對於本領域技術人員而言,具有更高階校正的更高數量的哨兵軌道的趨勢將是顯而易見的。
接收器530具有先驗的(即,提前知道的)知識,即,這個特定樣本在解碼之後應當具有+1伏的值,即,輸出向量360的樣本S6也應當是+1伏。換句話說,接收器知道這個樣本的預期值應當是什麼,以便將那個值與接收到的樣本的實際值進行比較。預期值可以儲存在儲存子系統處的單個參考位置、儲存在視訊源處、儲存在視訊匯點處、在發送器處、在接收器處等。是否將這個參考位置儲存在系統10內以及接收器如何訪問這個參考位置以便執行接收到的值與預期值的比較是設計決定。
還可以以不同方式執行對哪個輸入向量中的哪個特定樣本是哨兵樣本的識別。舉例來說,可以先驗地知道(即,提前知道)哨兵樣本應是第一輸入向量中的第一個樣本,最後一個樣本,可以是最後一個輸入向量中的第一個樣本,或者發送器和接收器都知道的輸入向量之一中的某個其他識別出的樣本。較佳地,這個知識是提前知道的(即,在樣本被傳輸和接收之前),但也可以使用任何合適的技術即時地傳輸到接收器。當然,-1伏的最小值也可以作為哨兵樣本的值使用。也可以使用最大值與最小值之間的其他值,但是最大值或最小值作為哨兵樣本值是較佳的,因為它們將在想出為其他樣本進行補償調整時提供最高保真度。簡而言之,越大的訊號(即,哨兵樣本值)會下降得越多並且因此更容易被偵測到。
如果接收器確定哨兵樣本值已經變得衰減(例如,輸出向量360的S6在它應當是+1伏時是0.8伏),那麼輸出向量中的所有樣本值可以按次序縮放以返回到其原始值。例如,輸出向量中的每個樣本應乘以的縮放因數可以是(預期哨兵樣本值/輸出向量中實際哨兵樣本值的)比率,例如+1伏/0.8伏=1.25。在這個示例中,將輸出向量中的每個樣本縮放1.25導致輸出向量的每個樣本返回到與輸入向量的原始樣本值等同的值。也有可能(雖然不太可能)哨兵樣本在儲存在儲存單元陣列中之後會增加值,但是,使用上述縮放因數會將樣本減小到正確的值。
另外,預期樣本值與實際接收到的樣本值的比較和縮放因數的應用(或偏移的應用,如下該)可以在系統10內的任何合適位置執行並且可以取決於實施例或設計選擇。舉例來說,比較和應用可以發生在解碼之後的儲存子系統100a內、解碼後的子系統100d內、解碼後的接收器530內、視訊匯點14處、或路徑22上的任何中間位置處,或在傳輸儲存子系統的輸出的任何路徑上。事實上,比較和縮放因數(或偏移,或兩者)的應用可以發生在不同的位置。
在第二實施例中,如果懷疑或知道在儲存陣列內僅會發生偏移,並且解碼的樣本小於預期樣本值,那麼可以藉由將差值添加到已經儲存在陣列中的所有樣本來對偏移進行補償。舉例來說,如果哨兵樣本值預期為+1伏並且解碼的哨兵值為0.7伏,那麼在儲存陣列中發生了-0.3伏的偏移,並且可以將+0.3伏添加到每個解碼的樣本值以補償負偏移。也有可能(雖然不太可能)出現正偏移,在這種情況下,將向來自儲存陣列的每個解碼的樣本添加負偏移。
在第三實施例中,在輸入向量中(或在兩個不同的輸入向量中)使用兩個或更多個哨兵樣本,從而導致儲存在儲存陣列內的兩個不同的哨兵軌道。在讀取儲存陣列並解碼後,可以比較這兩個哨兵樣本以仔細檢查任何偵測到的衰減,或者對兩個縮放因數求平均以對衰減進行補償。當然,如果需要,可以使用儲存陣列中多於兩個的哨兵樣本,並且較佳地,輸入向量中的哨兵樣本具有不同的值。
如上面所提到的,衰減和偏移都可以發生在儲存陣列中;為了偵測兩者,在第四實施例中,在輸入向量中(或在兩個不同的輸入向量中)使用兩個或更多個哨兵樣本(具有不同的值),從而導致儲存在儲存陣列內的兩個不同的哨兵軌道。在解碼時,將結果所得的兩個哨兵樣本值與對應的預期哨兵樣本值進行比較,以確定是否發生了衰減、偏移或兩者。
使用以下示例,假設在輸入向量(或多個向量)中設置兩個哨兵樣本值1.0和2.0,對其進行編碼、儲存在儲存陣列中,然後對其進行檢索和解碼。如果結果所得的兩個樣本值分別是0.9和1.8,那麼由於每個樣本都減少了相同的百分比(例如,10%),因此發生了10%的衰減,並且可以藉由將輸出向量中的每個結果所得的解碼的樣本縮放10/9來補償這種衰減。
另一方面,如果結果所得的兩個樣本值分別是0.7和1.7,即,每個哨兵樣本已經減少了0.3,那麼已經發生了0.3的負偏移,並且可以將0.3添加到每個輸出向量中的結果所得的解碼的樣本,以補償偏移。可以使用簡單的數學計算來確定兩個哨兵樣本中的每一個沒有減少相同的百分比,而是減少了相同的固定值。
可替代地,衰減和偏移都已經發生是可能的。參考圖13,如果哨兵樣本的衰減為75%,並且偏移為-0.3,那麼被編碼並輸入到儲存陣列中的以值1.0輸入的哨兵樣本在從陣列檢索並解碼後將具有值0.45。類似地,從值2.0開始的哨兵樣本在從相同的儲存陣列檢索和解碼之後將具有值1.2。比較0.45與1.0,以及比較1.2與2.0,很明顯,結果所得的兩個哨兵樣本值沒有減少相同的百分比(即,這指示僅存在衰減),並且結果所得的兩個哨兵樣本值沒有減少相同的固定量(即,這指示僅存在偏移)。因此,衰減和偏移都存在。可以使用簡單的數學計算來確定兩者都存在(而不是其中之一)。
知道兩者都存在,具有兩個未知變數的直接線性方程可以被用於求解衰減百分比和偏移。在這種情況下,使用“A”表示衰減百分比(例如,“0.20”代表20%衰減)和“O”表示正偏移值,這個具體示例的公式為:1.0 ×(1–A)- O = 0.45,且2.0 ×(1–A)- O = 1.2。一旦衰減和偏移都已知,就可以藉由如上該補償衰減和偏移來調整輸出向量(或多個向量)中的結果樣本。
一般而言,恢復的樣本值(Y)與輸入的哨兵樣本值(X)的關係可以用簡單的一階方程Y = mX + b表示(通常m是斜率,b是Y截距),但這裡m是衰減,b是偏移。可以使用Y = mX + b的示例,但如果方程寫成Y = m'(X + b'),那麼藉由簡單的算術可以以不同的方程形式將m映射到m'並將b映射到b'。如果懷疑偏移改變了儲存陣列的哨兵軌道中已經衰減的單元值,那麼可以使用方程的第一種形式,而如果懷疑衰減改變了單元值和偏移的組合,那麼使用方程的第二種形式。
事實上,如果不知道是否存在衰減或偏移,那麼可以使用和求解上述公式對中的任何一個,並且如果不存在特定的訊號降級,那麼表示衰減或偏移的變數將為零。
當然,可以有成百上千或更多的輸入向量被編碼並儲存在儲存陣列中。如上在哨兵軌道或軌道中偵測到的任何衰減或偏移都可以被用作陣列的所有儲存單元的代理,並且可以調整已經從儲存陣列讀取的輸出向量中的每個結果樣本以補償衰減或偏移或兩者。儲存在儲存陣列中的樣本可以表示影像、照片、視訊或本文所述的其他資料集合。 發送器實施例
圖6是SSVT發送器28的框圖。如本文所討論的,編碼器42的輸出可以進入儲存子系統100a、100b,或者可以進入傳輸介質34。分發器440包括組裝庫450、分級庫452、呈現庫454和控制器456。編碼器塊460包括數位類比轉換器(DAC)462的庫和四個編碼器42(或更多),傳輸介質上的每條EM通路有一個。如本文所提到的,來自單個源(諸如相機、影像感測器、另一個感測器等)的樣本的流到達發送器28以進行編碼。每個編碼器42對N個樣本的一個輸入向量進行編碼並產生L個輸出位準。發送器28可以與視訊源分開定位或者可以位於視訊源內。
分發器440被佈置為一個接一個地接收樣本的集合的流的顯露的顏色資訊(例如,RGB)。作為回應,組裝庫450根據用於樣本的集合的傳入流的顯露的顏色資訊(例如,RGB)建構四個向量V 0、V 1、V 2和V 3。當接收到樣本的集合時,它們根據預定置換儲存在組裝庫450中。當建構各自包含N個樣本的向量時,分發器440可以使用任何數量的不同置換。
分級庫452促進四個向量V 0、V 1、V 2和V 3中的每一個的N個樣本從由重計時器使用的第一時鐘頻率(或第一時序域)到用於結果所得的類比輸出位準的編碼和輸出的第二時鐘頻率(或第二域)的交叉。使用N = 60和S = 3的示例,表示確切RGB樣本的80個集合的樣本包含在四個編碼器輸入向量V 0、V 1、V 2和V 3中。
在各種實施例中,第一時鐘頻率可以比第二時鐘頻率更快、更慢或與第二時鐘頻率相同。第一時鐘頻率f_pix由視訊源選擇的視訊格式確定。第二時鐘頻率f_ssvt是f_pix、傳輸介質中EM通路的數量P、輸入/輸出樣本的每個集合中樣本的數量S、以及SSVT變換參數N(輸入/輸出向量位置的數量)和L(每個SSDS碼的長度)的函數,其中f_ssvt =(f_pix * S * L)/(P * N)。藉由這種佈置,輸入時鐘(pix_clk)以一個速率振盪,並且SSVT時鐘(ssvt_clk)以另一個速率振盪。這些速率可以相同或不同。編碼器在準備下一個輸入向量時執行編碼。呈現庫454將四個編碼器輸入向量V 0、V 1、V 2和V 3中的每一個的N個樣本呈現給編碼器塊460(例如,向量V 0包括Sample 0,0到Sample 0,N-1)。
控制器456控制組裝庫450、分級庫452和呈現庫454的操作和時序。特別地,控制器負責定義在建構四個編碼器輸入向量V 0、V 1、V 2和V 3時使用的置換和樣本的數量N。控制器456還負責協調從第一時鐘頻率到第二時鐘頻率的時鐘域交叉,如由分級庫452執行的那樣。控制器456還負責協調呈現庫454何時向編碼器塊460呈現編碼器輸入向量V 0、V 1、V 2和V 3中的每一個的N個樣本的時序。
在編碼器塊460內提供了多個數位類比轉換器(DAC)462,每個數位類比轉換器佈置為接收共同指派給四個編碼器輸入向量V 0、V 1、V 2和V 3的P*N個樣本(Sample 0,0到Sample P-1,N-1)之一。每個DAC 462將其從數位域接收的樣本轉換成具有與其傳入的數位值成比例的量值的差分電壓訊號對。DAC 462的輸出範圍可以為從最大電壓到最小電壓。
分別為四個編碼器輸入向量V 0、V 1、V 2和V 3提供四個編碼器42。每個編碼器42接收用於其編碼器輸入向量的N個樣本中的每一個的差分訊號對,使用來自與每個樣本對應的碼的晶片調變N個差分電壓訊號對中的每一個,累加經調變的值,然後產生差分EM位準輸出位準。由於在這個示例中存在四個編碼器42,因此存在被同時輸出的Level 0至Level 3
定序器電路465協調DAC 462和編碼器42的操作的時序。定序器電路465負責控制DAC 462和編碼器42的時鐘控制。定序器電路465還負責產生兩個時鐘相位訊號“clk 1”和“clk 2”,它們負責控制編碼器42的操作。 接收器實施例—數位輸出
圖7是SSVT接收器30的框圖。如本文所討論的,到解碼器44的輸入可以來自儲存子系統100a、100d或者可以來自傳輸介質34。
在接收側,接收器30負責將藉由傳輸介質34接收的四個EM位準輸出訊號的流解碼回適合顯示或其他的格式。例如,包含在樣本22中的視訊內容(例如,訊號S)就可以逐訊框呈現在視訊顯示器上。因此,由視訊源12捕獲的視訊可以由視訊匯點14重新創建。
接收器30執行在發送側由發送器28執行的編碼的逆。接收器30使用四個解碼器44和一個收集器546。解碼器44將四個EM位準輸出訊號重建為四個解碼器輸出向量。收集器546然後將解碼器輸出向量的樣本指派給樣本22的集合的原始流,樣本22的每個集合包括與該流中那個位置處的原始S個樣本對應的S個重建樣本。
P個解碼器44(標記為0至P-1)佈置為分別接收差分EM位準訊號Level 0至Level P-1。作為回應,每個解碼器44產生重建樣本的N個差分對(Sample 0至Sample N-1)。在有四個解碼器80(P=4)的情況下,分別構造四個輸出向量V 0、V 1、V 2和V 3
重建庫582分別在每個解碼間隔結束時對四個解碼器輸出向量V 0、V 1、V 2和V 3中的每一個進行取樣並保持N個重建樣本(Sample 0至Sample N-1)的差分對中的每一個。分別為四個向量V 0、V 1、V 2和V 3中的每一個的N個樣本(Sample 0至Sample N-1)中的每一個提供類比數位轉換器(ADC)584。每個ADC將其接收到的差分電壓訊號對轉換成對應的數位值,從而分別為四個向量V 0、V 1、V 2和V 3中的每一個產生數位樣本(Sample N-1至Sample 0)。ADC以時脈速率 = f_ssvt/L操作。
收集器546包括分級庫586和分解庫588。分級庫586接收用於四個解碼器輸出向量V 0、V 1、V 2和V 3中的每一個的所有重建的樣本(N n-1至N 0)。分解庫588(a)使用與在發送側使用的相同置換方案將用於四個解碼器輸出向量V 0、V 1、V 2和V 3中的每一個的樣本(Sample N-1至Sample 0)分解回用於樣本22的集合的流的顯露的顏色資訊(例如,S個訊號)(例如,在這個示例中,“對於RGB像素,S=3”),並且(b)將重建的樣本從第二時鐘域交叉回到第一時鐘域。然後將重建樣本22的集合的流提供給重計時器32,重計時器32重新格式化視訊訊號。重計時器32的輸出因此是按時間排序的樣本22的集合的序列的重新創建。視訊匯點14包括DAC 503的庫和視訊顯示器585。DAC 503的庫負責將數位域中的樣本22轉換回類比域。在一個實施例中,為顯示器585中的每一行提供DAC 503。一旦樣本22被轉換到類比域,它們就以眾所周知的方式顯示在視訊顯示器585上。
接收器30還包括通道對準器587和收集器控制器589,其從每個解碼器44接收成框資訊和孔徑資訊。作為回應,收集器控制器589協調分級庫586和/或分解庫588的時序以確保呈現給分解庫的所有樣本都來自由發送器28發送位準訊號的公共時間間隔。因此,(a)由庫88進行的分解可以被延遲,直到所有樣本都被接收到並且(b)傳輸介質34的各個通道不必都具有相同的長度,因為分解庫588補償任何時序差異。
在上述實施例中,ADC 584將解碼的樣本轉換到數位域,並且視訊匯點14中的DAC 503將樣本22的有序的集合在顯示之前轉換回類比域。取決於實施方式和樣本的性質(例如,彩色視訊樣本、黑白樣本、聲音樣本值等),可能不必使用ADC將樣本轉換回數位,也不必使用分級或分解庫,等等。例如,一旦樣本已被解碼並已從每個解碼器輸出(即,每個解碼器輸出從1到N個樣本值的輸出向量),這些樣本就可以根據實施方式按原樣使用。 接收器實施例—類比輸出
在替代實施例中,來自重建組82的樣本輸出可以保持在類比域中,從而消除了對ADC 584和其他元件的需要。在這個實施例中,消除了ADC 584、分解庫588、重計時器32和DAC 503。代替地,類比樣本輸出被提供給分級庫86,分級庫586執行在發送側構造向量V 0至V 3時使用的樣本的相同置換。分級庫586的樣本輸出然後用於藉由可選的位準移位元器直接驅動視訊匯點的顯示器585。由於不同類型的顯示器要求使用不同的電壓來驅動它們的顯示面板,因此可以根據需要使用位準移位元器來縮放分級庫的視訊樣本輸出的電壓等級。如本領域已知的,可以使用任何合適的位準移位器,諸如鎖存器類型或反向器類型。因此,分級庫586將其類比樣本的輸出向量直接輸出到位準移位器,然後輸出到顯示器的源極驅動器。
對於這個實施例,收集器控制器589執行若干功能。收集器控制器589負責跟蹤並向分級庫586提供要使用的正確置換選擇。收集器控制器589還可以向顯示器提供增益和伽馬值。增益確定應用多少放大並且伽馬曲線將光通量與感知到的亮度相關聯,這使人類對光通量的光學感知線性化。成框訊號表示在顯示器上構造視訊訊框的時序。反向訊號可以可選地被用於控制位準移位器以反向或不反向視訊樣本輸出,這可以是一些類型的顯示面板(諸如OLED)所需的。如果使用位準移位器,那麼位準移位器的輸出通常被鎖存。在此類實施例中,可以使用鎖存訊號來控制任何位準移位元的視訊樣本輸出訊號的鎖存和釋放的時序。最後,柵極驅動器控制訊號被用於通常用於驅動許多顯示器的水平行的柵極驅動器電路系統。 儲存子系統的功能要求
取決於特定的實施方式,上述儲存陣列的使用可以包含遵守特定的外部標準和協議。用於對記憶體的聯網的資料訪問的外部要求可以包括遵守諸如以下協議:塊/SAN(NVMe、光纖通道)、檔(NFS、Microsoft SMB)和物件(S3)。資料組織可以要求遵守關於以下各項的標準:卷、檔案系統和配額。安全性可以要求遵守關於以下各項的標準:靜態資料的認證、授權和加密。最後,對於儲存陣列中的資料的管理可以存在外部要求。
另外,取決於特定的實施方式,上述儲存陣列的使用可以包含遵守特定的內部標準和協議。例如,如果實現快閃記憶體陣列,那麼DRAM快取記憶體可以被用於重複讀取並用於分級寫入。寫入快取記憶體對於快閃記憶體儲存也可以是重要的(因為寫入比在快閃記憶體上讀取花費的時間要長得多)。較佳地,DRAM快取記憶體通常需要是冗餘的和非揮發性的(NVRAM),以便可以快速確認寫入,並且在出現故障時不會丟失資料(通常是在電源故障時將內容複製到快閃記憶體的DRAM加上電容器)。 SSVT訊號、編碼和解碼
如上面所提到的,本發明的各種實施例揭露了使用SSVT編碼和解碼技術來儲存類比或數位樣本,其中樣本被儲存為類比值。本揭露揭露了一種新穎的離散時間、連續振幅EM訊號,稱為“展頻視訊傳輸”(SSVT)訊號,其是對先前SSDS-CDMA訊號的改進。SSVT是指使用改進的基於展頻直接序列(SSDS)的調變藉由一條或多條EM通路的電磁訊號的傳輸。
分碼多重存取(CDMA)是眾所周知的通道接入協定,其通常用於無線電通訊技術,包括蜂巢電話。CDMA是多重存取接入的示例,其中若干個不同的發送器可以藉由單個通訊通道同時發送資訊。在電信應用中,CDMA允許多個用戶共用給定的頻帶,而不受其他使用者的干擾。CDMA採用展頻直接序列(SSDS),這種編碼依賴於唯一碼來編碼每個使用者的資料。藉由使用唯一碼,可以將多個使用者的傳輸組合並發送,而不會在用戶之間產生干擾。在接收側,每個用戶使用相同的唯一碼來解調傳輸,從而分別恢復每個使用者的資料。
SSVT訊號與CDMA不同。當在編碼器處接收到輸入視訊(例如)樣本的流時,藉由對多個編碼器輸入向量中的每一個應用基於SSDS的調變來對它們進行編碼以產生SSVT訊號。然後藉由傳輸介質傳輸SSVT訊號。在接收側,傳入的SSVT訊號藉由應用對應的基於SSDS的解調進行解碼,以重建已編碼的樣本。因此,包含顏色和像素相關資訊的按時間排序的視訊樣本的原始流從單個視訊源傳送到單個視訊匯點,這與將資料從多個使用者遞送到多個接收器的CDMA不同。
圖8圖示了一個簡單的示例,該示例示出了訊號樣本(在這種情況下為類比值)如何在編碼器內被編碼,然後被輸出。所示出的是N個類比值902-908的輸入向量,它們表示視訊訊框內各個像素的電壓。這些電壓可以表示黑白影像的輝度或像素中特定顏色值(例如,像素的R、G或B顏色值)的輝度,即,每個值表示指定顏色空間中感測到的或測得的光量。雖然在這個示例中使用像素電壓,但這種編碼技術可以與表示來自感測器的各種訊號(諸如LIDAR值、聲音值、觸覺值、氣溶膠值等)中的任何一種的電壓一起使用,並且類比值可以表示諸如電流等的其他樣本。作為數位值的訊號樣本也可以被編碼並且下面解釋這種數位編碼。
較佳地,為了效率,這些電壓的範圍是從0到1V,但是不同的範圍是可能的。這些電壓通常以特定次序取自訊框的一行中的像素,但可以使用另一種約定來選擇和排序這些像素。無論使用哪種約定來選擇這些像素並為了編碼而對它們進行排序,解碼器都將在接收端處使用相同的約定,以便以相同的次序解碼這些電壓,然後將它們放置在它們所屬的結果所得訊框中。同樣,如果訊框是彩色的並使用RGB,那麼這個編碼器中的約定可以是首先編碼所有R像素電壓,然後編碼G和B電壓,或者約定可以是電壓902- 906是該行中像素的RGB值,並且接下來的三個電壓908-912表示下一個像素的RGB值,等等。再次,由這個編碼器用來排序和編碼電壓的相同約定將被解碼器使用。只要解碼器使用相同的約定,就可以使用對類比值902-908進行排序的任何特定約定(無論是按顏色值、按行等)。如圖所示,可以使用碼簿920一次呈現任何數量的N個類比值902-908用於編碼,僅受碼簿中條目的數量的限制。
如上面所提到的,碼簿920具有任何數量的N個碼932-938;在這個簡單的示例中,碼簿有四個碼,這意味著一次對四個類比值902-908進行編碼。可以使用更多數量的碼,諸如127個碼、255個碼等,但是由於諸如電路複雜性之類的實際考慮,較佳地使用更少數量的碼。如本領域中所知,碼簿920包括N個相互正交的碼,每個碼的長度為L;在這個示例中,L = 4。通常,每個碼都是SSDS碼,但不一定需要是擴展碼。如圖所示,每個碼被劃分為L個時間間隔(也稱為“晶片”),並且每個時間間隔包括該碼的二進位值。如碼表示942所示,碼934可以以傳統的二進位形式“1100”表示,但同樣的碼也可以表示為“1 1 -1 -1”,如碼表示944所示以便於在調變值時使用,如將在下面解釋的。碼932和936-938也可以被表示為942或944。注意的是,長度為L的每個碼不與不同的計算裝置(諸如電話)、不同的人或不同的發送器相關聯,如CDMA中那樣。
因此,為了輸出四個類比值902-908,使用以下技術。每個類比值將由其對應碼的表示944中的每個晶片調變;例如,值902(即,.3)由碼932的表示944中的每個晶片在時間上順序地調變948。調變948可以是乘法運算子。因此,用碼932調變.3產生序列“.3,.3,.3,.3”。用碼934調變.7變為“.7,.7,-.7,-.7”;值“0”變為“0,0,0,0”;值“1”變為“1,-1,1,-1"。通常,每個碼的第一個晶片調變其對應的類比值,然後每個碼的下一個晶片調變其類比值,但是實施方式也可以在移動到下一個類比值之前藉由其碼的所有晶片調變特定類比值。
每個時間間隔,然後將經調變的類比值求和951(在這個圖中垂直感知到的)以獲得類比輸出位準952-958;例如,這些時間間隔的調變值的求和導致輸出位準為2,0,.6,-1.4。這些類比輸出位準952-958還可以被歸一化或放大以與傳輸線的電壓限制對準,然後可以在它們藉由傳輸介質34的電磁通路(諸如差分雙絞線)產生時按那個次序在時間上順序地發送,或者可以並行輸出到儲存陣列中。然後接收器按那個次序接收那些輸出位準952-958,然後使用相同的碼簿920使用與此處所示的編碼方案的逆對它們進行解碼。結果所得的像素電壓902-908然後可以根據所使用的約定在接收端處的顯示器的訊框中顯示。因此,類比值902-908被有效地同步編碼並作為L個類比輸出位準952-958輸出到通路34或儲存裝置中。
有利地,即使使用穩健的SSDS技術(諸如展頻碼)導致頻寬顯著下降,但使用相互正交的碼、藉由其對應碼的晶片對每個樣本的調變、求和以及使用L個輸出位準對N個樣本的並行編碼導致顯著的頻寬增益。與其中二進位數字位元被串列編碼然後求和的傳統CDMA技術形成對比,本發明首先藉由對應碼中的每個晶片調變整個樣本(即,整個類比或數位值,而不是單個位),然後在碼的每個時間間隔將那些調變求和以獲得用於每個特時序間間隔的結果類比電壓位準,從而利用結果所得的波形的振幅。另外,本發明促進將類比電壓從一個視訊源發送到另一個視訊匯點,即,從端點到端點,這與允許不同人、不同設備或不同源的多路訪問並發送到多個匯點的CDMA技術不同。而且,對於樣本值的傳輸或儲存,不需要壓縮。
圖9將這種新穎的編碼技術圖示為適用於作為數位值的訊號樣本。在此,數位值902'-908'是電壓的數位表示。使用電壓的不同示例,值902'是“1101”,值904'是“0011”,值906'是“0001”,並且值908'是“1000”。每個數位值由每個碼的表示944調變(數位相乘),即,乘以“1”或“-1”,這取決於與要調變的數位值對應的碼的晶片。僅考慮每個碼的第一時間間隔940,並添加作為符號位元的最高有效位元(MSB),調變“1101”產生“01101”(MSB“0”表示正值),調變“0011”產生“00011”,調變“0001”產生“00001”,並且調變“1000”產生“01000”。這些經調變的值在第一時間間隔上被標注示出。(雖然未示出,但由-1晶片調變產生負值,該負值可以使用針對負值的合適二進位表示以二進位表示。)
以數位方式求和,第一時間間隔中的這些經調變的值產生數位值952'“011001”(在此,MSB是符號位元);其他數字值954'-958'未在這個示例中示出,但以相同的方式計算。考慮到以10為底的這種求和,可以核實經調變的值13、3、1和8的總和為25。雖然在這個示例中未示出,但通常附加的MSB將可用於結果所得的位準952'-958',因為總和可能要求超過5位。例如,在有64個碼的情況下(添加64位元的log2),如果值902'-908'使用4位表示,那麼位準952'-958'可以使用多達10位表示。或者,如果將32個經調變的值求和,那麼將再添加五個位。輸出位準所需的位數將取決於碼的數量。
輸出位準950'可以首先被歸一化以適應DAC的輸入要求,然後順序地饋送到DAC 959中以用於將每個數位值轉換成其對應的類比值,以便在EM通路上傳輸,或者,每個位準具有其自己的DAC並且然後被輸入到儲存裝置。DAC 959可以是MAX5857 RF DAC(包括時鐘倍增PLL/VCO和14位元RF DAC核心,並且可以繞過複雜路徑以直接訪問RF DAC核心),並且可以後跟帶通濾波器和然後是可變增益放大器(VGA),未示出。在一些情況下,位準950'中使用的位數大於DAC 959允許的位數,例如,位準952'由10位表示,但DAC 959是8位DAC。在這些情況下,適當數量的LSB將被丟棄,而剩餘的MSB則由DAC處理,而不會損失顯示器上結果所得影像的視覺品質。
有利地,整個數位值被調變,然後這些整個經調變的數位值被數位地求和以產生用於轉換和傳輸或輸入到儲存裝置的數位輸出位準。這種技術不同於調變數位值的每個二進位數字位元並且然後將這些經調變的位元求和以產生輸出的CDMA。例如,假設每個數位值中有B位元,對於CDMA,總共有B*L個輸出位準要發送,而利用這種新穎的數位(或類比)編碼技術,總共只有L個輸出位準,因此具有優勢。
圖10圖示了使用圖8的編碼器編碼的類比輸入位準的解碼。如圖所示,L個輸入位準950已藉由傳輸介質34的單條電磁通路或從儲存裝置被接收。如本文該和前面提到的,碼簿920包括N個正交碼932-938,它們將被用於解碼輸入位準950以產生N個類比值902-908的輸出向量,即,與上面編碼的相同類比值902-908。為了執行解碼,如垂直箭頭所指示的,每個輸入位準952-958由與輸出向量902-908中的特定索引對應的每個碼的每個晶片調變961。考慮到由第一碼932對位準952-958的調變,這種調變產生了經調變的值的序列“2,0,.6,-1.4”。由第二碼934對位準952-958的調變產生經調變的值的序列“2,0,-.6,1.4”。第三碼936的調變產生“2,0,-.6,-1.4”,第四碼938的調變產生“2,0,.6,1.4”。
接下來,如水平箭頭所指示的,將經調變的值的每個序列求和,以便產生類比值902-908中的一個。例如,將第一序列求和以產生類比值“1.2”(使用比例因數“4”歸一化後變為“.3”)。以類似的方式,將經調變的值的其他三個序列求和以產生類比值“2.8”、“0”和“4”,並且在歸一化之後產生類比值902-908的輸出向量。每個碼可以調變輸入位準,然後可以對該序列求和,或者,所有碼都可以在每個序列求和之前調變輸入位準。因此,N個類比值902-908的輸出向量已經使用L個輸出位準被並行儲存或傳輸。
在這些示例中未示出解碼數字輸入位準的示例,但是本領域技術人員將在閱讀上述描述中的數位值的編碼後發現執行這種解碼是直接的。
圖11A、圖11B和圖11C圖示了編碼器和解碼器可以對類比樣本或數位樣本進行操作;上面已經描述了各種類比和數位編碼器和解碼器。如上面所解釋的,可以存在多於一條EM通路,並且相應地可以存在多於一個編碼器/解碼器對和對應數量的DAC或ADC,視情況而定。並且,如本文所解釋的,這些圖中的通路34可以代替地是儲存陣列120。
圖11A圖示了類比編碼器和對應的類比解碼器的使用。輸入到類比編碼器900的是類比樣本970或者數位樣本971,數位樣本971已經被位於類比編碼器處的DAC 972轉換成類比的。以這種方式,可以對到達類比編碼器的類比或者數位樣本進行編碼,以藉由傳輸介質34上的電磁通路進行傳輸。類比解碼器900'對編碼的類比樣本進行解碼以產生類比樣本970以供輸出。類比樣本970可以按原樣使用或可以使用ADC(未示出)轉換成數位樣本。
圖11B圖示了數位編碼器和對應的類比解碼器的使用。輸入到數位編碼器901的是數位樣本971或者類比樣本970,類比樣本970已經被位於數位編碼器處的ADC 973轉換成數位的。由於編碼器是數位的,因此位於編碼器處的DAC 959在藉由電磁通路傳輸之前將編碼的樣本轉換成類比的。以這種方式,可以對到達數位編碼器的類比或者數位樣本進行編碼,以藉由傳輸介質34上的電磁通路進行傳輸。類比解碼器900'對編碼的類比樣本進行解碼以產生類比樣本970以供輸出。類比樣本970可以按原樣使用或者可以使用ADC(未示出)轉換成數位樣本。
圖11C圖示了使用數位解碼器來解碼已經藉由傳輸介質34上的電磁通路到達的編碼的類比訊號。編碼的類比訊號可以使用上面剛描述的類比編碼器或者數位編碼器來傳輸。位於數位解碼器976處的ADC 974接收經由電磁通路發送的編碼的類比樣本並將樣本轉換成數位的。這些編碼的數位樣本然後由數位解碼器976解碼成數位樣本978(與在藉由電磁通路傳輸之前最初編碼的樣本的輸入向量的值對應)。數位樣本978可以按原樣使用或可以使用DAC轉換成類比樣本。
圖12圖示了SSVT波形602在從類比編碼器輸出之後(或在數位編碼、然後由DAC轉換之後)經由電磁通路發送的類比(類似於理想化的示波器軌跡)。垂直刻度是電壓,水平刻度是100 ps示波器測量時間間隔。注意的是,SSVT訊號602是類比波形而不是數位訊號(即,訊號不表示二進位數字位元)並且在這個實施例中可以傳輸從大約-15V至大約+15V的電壓範圍。類比波形的電壓值是(或至少可以是)完全類比的。而且,電壓不限於某個最大值,但是高值是不切實際的。
如前面所解釋的,類比電壓位準在電磁通路上被順序地發送或者並行儲存,每個位準是每個時間間隔的經調變的樣本的總和,諸如上面的類比輸出位準952-958或上面的數位輸出位準952'-958'(在藉由DAC之後)。當被發送時,這些輸出位準然後看起來是諸如波形602之類的波形。特別地,電壓位準980表示經調變的樣本在特時序間間隔中的總和(即,輸出位準)。使用簡單的示例,順序電壓位準980-986表示四個輸出位準的傳輸。在這個示例中,使用32個碼,這意味著可以平行傳輸32個樣本;因此,電壓位準980-986(隨後是多個後續電壓位準,取決於碼中晶片的數量L)形成32個編碼的樣本(諸如來自視訊源的像素電壓)的平行傳輸。在該傳輸之後,波形602的接下來的L個電壓位準的集合表示接下來的32個樣本的傳輸。一般而言,波形602表示將類比或數位值編碼為類比輸出位準,以及以離散時間間隔傳輸那些位準以形成複合類比波形。
由於衰減、由於阻抗失配引起的反射和撞擊干擾訊號等現象,每條電磁通路都會使藉由它傳播的電磁訊號降級,因此在接收端子處對輸入位準進行的測量相對於在發送端子處可用的對應輸出位準總是會出現誤差。因此,可以執行接收器處的輸入位準的縮放(或發送器處的輸出位準的歸一化或放大)以進行補償,如本領域中已知的。另外,由於過程增益(即,由於L的增加,這也增加了電彈性),解碼器處的解碼的輸入位準藉由使用碼長的比例因數歸一化以恢復所傳輸的輸出位準,如本領域中已知的。
雖然為了清楚理解的目的已經對前述發明進行了一些詳細描述,但是顯然可以在所附申請專利範圍的範圍內實踐某些改變和修改。因此,所描述的實施例應當被視為說明性而非限制性,並且本發明不應當限於本文給出的細節,而應當由以下申請專利範圍及其等同物的全部範圍限定。
10:系統 12:視訊源 14:視訊匯點 16:影像感測器陣列 18:類比數位轉換器 20、ISP:影像訊號處理器 21:視訊流傳輸器 22:視訊樣本 26、32:重計時器 28:SSVT發送器 30:SSVT接收器(RX) 34、93:介質 40、440、460:分發器 42:編碼器 44:解碼器 46、546:收集器 52、54、62、64、72、74:路徑 92、94、96、98、99:實施例 93:數位方式 100a、100b、100c、100d:儲存子系統 102、S 1、S 2、S 3、S 4、S 5、S 6:樣本 104、360:輸出向量 120a、120b、120c、120d:儲存單元陣列 122b、124b、126b、128b、142b、144b、146b、148b:類比輸出位準 134a、134b、134c、134d、230:寫入閘控驅動器 136a、136b、136c、136d:讀取閘控驅動器 162a:感測放大器 170、180、530:接收器 210:儲存單元 220:電晶體 222、322、351、352、353、354、355、356、372、391:累加器 224:區域 231、232、233、234、235、236、239、241、242、243、244、245、246、249:類比位準 240:驅動器 310:輸入向量 321、920:碼簿 323:位準移位元器 331、902'、904'、906'、908':值 341、371:列 450:組裝庫 452:分級庫 454:呈現庫 456:控制器 462、503、959、972:數位類比轉換器(DAC) 465:定序器電路 582:重建庫 584、973、974:類比數位轉換器(ADC) 585:視訊顯示器 586、588:分級庫 587:通道對準器 589:收集器控制器 602:SSVT波形 900:類比編碼器 901:數位編碼器 902、904、906、908:類比值 920:碼簿 932、934、936、938、942、944:碼 940:第一時間間隔 948、961:調變 950:輸出位準 951:類比值求和 952、954、956、958:類比輸出位準 952'、954'、956'、958':數位值 970:類比樣本 971、978:數位樣本 976:數位解碼器 980、982、984、986:電壓位準 990:曲線圖 992、994、996、998:範圍 EM:電磁 SSVT:展頻視訊傳輸 SSVT RX:展頻視訊傳輸接收器 SSVT TX:展頻視訊傳輸發送器 V 0、V 1、V 2、V 3:編碼器輸入向量 V mid:中等電壓值
本發明及其進一步的優點可以藉由參考以下結合附圖的描述得到最好的理解,其中: 圖1是圖示使用展頻視訊傳輸(SSVT)將電磁(EM)視訊訊號從數位視訊源傳輸到數位視訊匯點的系統圖。 圖2是藉由傳輸電纜連線的展頻視訊傳輸(SSVT)發送器和SSVT接收器的邏輯框圖。 圖3A是具有一個編碼器的儲存子系統的框圖。 圖3B是儲存子系統連同任何數量的編碼器的框圖。 圖3C是儲存子系統的框圖。 圖3D是儲存子系統連同任何數量的解碼器的框圖。 圖4圖示了適合實現任何儲存陣列的開關的儲存單元陣列。 圖5A是與儲存陣列整合的類比編碼器的框圖。 圖5B是與儲存單元陣列整合的類比解碼器的框圖。 圖6是SSVT發送器的框圖。 圖7是SSVT接收器的框圖。 圖8圖示了簡化的示例,該示例示出訊號樣本(在這種情況下為類比值)如何在編碼器內編碼然後輸出。 圖9將這種新穎的編碼技術圖示為適用於作為數位值的訊號樣本。 圖10圖示了使用圖8的編碼器編碼的類比輸入位準的解碼。 圖11A圖示了類比編碼器和對應的類比解碼器的使用。 圖11B圖示了數位編碼器和對應的類比解碼器的使用。 圖11C圖示了使用數位解碼器來解碼已經藉由傳輸介質上的電磁通路到達的編碼的類比訊號。 圖12示出了經由電磁通路發送的SSVT波形的類比。 圖13圖示了衰減和偏移示例。
42:編碼器
44:解碼器
100a:儲存子系統
102:樣本
104:輸出向量
120a:儲存單元陣列
134a:寫入閘控驅動器
136a:讀取閘控驅動器
162a:感測放大器

Claims (43)

  1. 一種用於儲存類比位準的裝置,該裝置包括: 一編碼器,被佈置為連續輸入N個樣本的一輸入向量並使用N個正交展頻碼對該N個樣本進行編碼,每個展頻碼的長度為L,以便並行輸出L個類比位準,該碼中的每個碼與該N個樣本之一一起使用,並且其中L≥N≥2; 一儲存陣列,其輸入該L個類比位準,每個類比位準在該儲存陣列的資料線上,並且將該L個類比位準各自寫入該儲存陣列的儲存單元中;以及 一解碼器,被佈置為從該儲存陣列並行讀取該L個類比位準並使用該N個正交展頻碼對該L個類比位準進行解碼,以便輸出N個樣本的一輸出向量,該碼中的每個碼與該N個樣本之一一起使用,並且其中該輸出向量的該N個樣本與該輸入向量的該N個樣本基本相似。
  2. 如請求項1所述的裝置,其中該N個樣本是類比樣本,其中該編碼是類比編碼,並且其中該L個類比位準直接從該編碼器輸出。
  3. 如請求項1所述的裝置,其中該N個樣本是數位樣本,其中該編碼是數位編碼,該裝置還包括: 至少一個數位類比轉換器,被佈置為從該編碼器接收L個數位位準並產生該L個類比位準以輸入到該儲存陣列中。
  4. 如請求項1所述的裝置,還包括: 一分發器,被佈置為連續接收源自視訊源的數位樣本並將該數位樣本分發到N個數位樣本的輸入向量中;以及 至少一個數位類比轉換器,被佈置為從該分發器接收該N個數位樣本並產生N個類比樣本以輸入到該編碼器中。
  5. 如請求項1所述的裝置,其中該儲存陣列是非揮發性儲存裝置或揮發性儲存裝置。
  6. 如請求項1所述的裝置,其中該儲存陣列連續地寫入從該編碼器輸出的L個類比輸出位準並將至少一訊框視訊資訊寫入該儲存陣列的儲存單元中。
  7. 如請求項1所述的裝置,其中該輸入向量的該N個樣本源自單個源,並且其中該輸出向量的該N個樣本以單個匯點為目的地。
  8. 如請求項1所述的裝置,其中該裝置在一視訊源內,其中該N個樣本是來自該視訊源的感測器的類比樣本,其中該編碼是類比編碼,其中該L個類比位準直接從該編碼器輸出,並且其中N個樣本的該輸出向量以該視訊源的顯示器為目的地。
  9. 一種用於儲存類比訊號的裝置,包括: 一接收器,被佈置為從電磁通路連續接收類比訊號的L個類比位準並並行輸出該L個類比位準,其中該L個類比位準表示已經使用N個正交展頻碼編碼的N個樣本,每個展頻碼的長度為L,該碼中的每個碼與該N個樣本之一一起使用並且其中L≥N≥2; 一儲存陣列,其輸入該L個類比位準,每個類比位準在該儲存陣列的資料線上,並且將該L個類比位準各自寫入該儲存陣列的儲存單元中;以及 一發送器,被佈置為從該儲存陣列並行讀取該L個類比位準並藉由電磁通路將該L個類比位準作為類比訊號串行輸出。
  10. 如請求項9所述的裝置,其中該儲存陣列是非揮發性儲存裝置或揮發性儲存裝置。
  11. 如請求項9所述的裝置,其中該儲存陣列連續地寫入從該接收器輸出的L個類比位準並將至少一訊框視訊資訊寫入該儲存陣列的儲存單元中。
  12. 如請求項9所述的裝置,其中該N個樣本源自單個源並且其中從該發送器輸出的該L個類比位準以單個匯點為目的地。
  13. 如請求項9所述的裝置,還包括該儲存陣列的一寫入閘控賦能訊號,其源自該接收器並指示該L個類比位準何時可被寫入。
  14. 如請求項9所述的裝置,還包括該儲存陣列的讀取閘控賦能訊號,其源自該發送器並指示該發送器何時準備好從該儲存陣列讀取該L個類比位準。
  15. 一種用於儲存類比位準的裝置,該裝置包括: 一編碼器,被佈置為連續輸入N個樣本的輸入向量並使用N個正交展頻碼對該N個樣本進行編碼,每個展頻碼的長度為L,以便並行輸出L個類比位準,該碼中的每個碼與該N個樣本之一一起使用,並且其中L≥N≥2; 一儲存陣列,其輸入該L個類比位準,每個類比位準在該儲存陣列的資料線上,並且將該L個類比位準各自寫入該儲存陣列的儲存單元中;以及 一發送器,被佈置為從該儲存陣列並行讀取該L個類比位準並藉由電磁通路將該L個類比位準作為類比訊號串行輸出。
  16. 如請求項15所述的裝置,其中該N個樣本是類比樣本,其中該編碼是類比編碼,並且其中該L個類比位準直接從該編碼器輸出。
  17. 如請求項15所述的裝置,其中該N個樣本是數位樣本,其中該編碼是數位編碼,該裝置還包括: 至少一個數位類比轉換器,被佈置為從該編碼器接收L個數位位準並產生該L個類比位準以輸入到該儲存陣列中。
  18. 如請求項15所述的裝置,還包括: 一分發器,被佈置為連續接收源自視訊源的數位樣本並將該數位樣本分發到N個數位樣本的輸入向量中;以及 至少一個數位類比轉換器,被佈置為從該分發器接收該N個數位樣本並產生N個類比樣本以輸入到該編碼器中。
  19. 如請求項15所述的裝置,其中該儲存陣列連續地寫入從該編碼器輸出的L個類比輸出位準並將至少一訊框視訊資訊寫入該儲存陣列的儲存單元中。
  20. 如請求項15所述的裝置,其中該輸入向量的該N個樣本源自單個源並且其中該L個類比位準以單個匯點為目的地。
  21. 一種用於儲存類比位準的裝置,該裝置包括: 一接收器,被佈置為從電磁通路連續接收類比訊號的L個類比位準並並行輸出該L個類比位準,其中該L個類比位準表示已經使用N個正交展頻碼編碼的N個樣本,每個展頻碼的長度為L,該碼中的每個碼與該N個樣本之一一起使用並且其中L≥N≥2; 一儲存陣列,其輸入該L個類比位準,每個類比位準在該儲存陣列的資料線上,並且將該L個類比位準各自寫入該儲存陣列的儲存單元中;以及 一解碼器,被佈置為從該儲存陣列並行讀取該L個類比位準並使用該N個正交展頻碼對該L個類比位準進行解碼以便輸出N個樣本的輸出向量,該碼中的每個碼與該N個樣本之一一起使用並且其中該輸出向量的該N個樣本與該輸入向量的該N個樣本基本相似。
  22. 如請求項21所述的裝置,其中該解碼是類比解碼,並且其中該L個類比位準被直接輸入到該解碼器中。
  23. 如請求項21所述的裝置,其中該N個樣本是數位樣本,其中該解碼是數位解碼,該裝置還包括: 至少一個類比數位轉換器,被佈置為從該儲存陣列接收該L個類比位準並產生該N個樣本。
  24. 如請求項21所述的裝置,其中該儲存陣列連續寫入來自該電磁通路的L個類比輸出位準並將至少一訊框視訊資訊寫入該儲存陣列的儲存單元中。
  25. 如請求項21所述的裝置,其中該N個樣本源自單個源並且其中該輸出向量的該N個樣本以單個匯點為目的地。
  26. 一種用於在視訊源內儲存類比位準的裝置,該裝置包括: 一儲存陣列,被佈置為輸入L個類比位準,每個類比位準在該儲存陣列的資料線上,並將該L個類比位準各自寫入該儲存陣列的儲存單元,其中該L個類比位準是已經使用N個正交展頻碼編碼的N個類比樣本的輸入向量的編碼形式,以便將該L個類比位準並行輸出到該儲存陣列中,每個展頻碼的長度為L,該碼中的每個碼與該N個類比樣本之一一起使用並且其中L≥N≥2,並且其中該N個類比樣本是來自該視訊源的感測器的類比樣本, 該儲存陣列還被佈置為將該L個類比位準從該儲存陣列並行輸出到該視訊源。
  27. 如請求項26所述的裝置,其中該儲存陣列是非揮發性儲存裝置或揮發性儲存裝置。
  28. 如請求項26所述的裝置,其中該儲存陣列連續寫入從該視訊源輸出的L個類比位準並將至少一訊框視訊資訊寫入該儲存陣列的儲存單元中。
  29. 如請求項26所述的裝置,其中該L個類比位準以該視訊源的顯示器為目的地。
  30. 一種用於傳輸類比位準的系統,該裝置包括: 一視訊源,被佈置為將入射光轉換成表示影像的多個類比電壓樣本; 該視訊源的編碼器,被佈置為連續輸入N個該類比電壓樣本的輸入向量並使用N個正交展頻碼對該N個類比電壓樣本進行編碼,以便並行輸出L個類比位準,每個展頻碼的長度為L,該碼中的每個碼與該N個樣本之一一起使用並且其中L≥N≥2,並且藉由電磁通路從該視訊源傳輸該L個類比位準,其中該視訊源不將該N個類比電壓樣本轉換成數位形式;以及 遠離該視訊源的接收器,被佈置為從該電磁通路接收該L個類比位準,並且包括一解碼器,該解碼器被佈置為使用該N個正交展頻碼對該L個類比位準進行解碼,以便輸出N個樣本的輸出向量,該碼中的每個碼與該N個樣本之一一起使用,並且其中該輸出向量的該N個樣本與該輸入向量的該N個樣本基本相似。
  31. 如請求項30所述的系統,其中該解碼是類比解碼,並且其中該L個類比位準從該接收器直接輸入到該解碼器中,該解碼器輸出N個類比樣本。
  32. 如請求項31所述的系統,其中該接收器還包括至少一個類比數位轉換器,其將該N個樣本的該輸出向量轉換成N個數位樣本。
  33. 如請求項30所述的系統,其中該解碼是數位解碼,該接收器還包括: 至少一個類比數位轉換器,被佈置為在該數位解碼之前將該接收到的L個類比位準轉換成L個數位位準,該解碼器產生N個數位樣本。
  34. 一種用於補償儲存裝置中類比位準的衰減的方法,該方法包括: 從視訊源輸入N個輸入樣本的輸入向量,並將該輸入樣本的一個輸入樣本設置為已知值; 使用N個正交展頻碼對該N個樣本進行編碼以便並行輸出L個類比位準,每個展頻碼的長度為L,該碼中的每個碼與該N個樣本之一一起使用並且其中L≥N≥2; 將該L個類比位準各自寫入儲存陣列的儲存單元中; 從該儲存陣列讀取該L個類比位準並使用該N個正交展頻碼解碼該L個類比位準以便輸出N個輸出樣本的輸出向量,該碼中的每個碼與該N個輸出樣本之一一起使用; 確定該輸入樣本中的該一個輸入樣本的該已知值與該輸出樣本中對應的一個輸出樣本的值之間的一比率;以及 藉由用該每個輸出樣本和該比率的乘積替換該N個輸出樣本中的每個輸出樣本來補償衰減。
  35. 如請求項34所述的方法,其中,從該儲存陣列輸出多個輸出向量,每個輸出向量在該讀取和該解碼之後輸出,該方法還包括: 藉由用該每個輸出樣本和該比率的乘積替換該多個輸出向量中的每個輸出向量中的該輸出樣本中的每個輸出樣本來補償衰減。
  36. 如請求項34所述的方法,其中該已知值是該視訊源允許的最大值或最小值。
  37. 一種用於補償儲存裝置中的類比位準的偏移的方法,該方法包括: 從一視訊源輸入N個輸入樣本的輸入向量,並將該輸入樣本中的一個輸入樣本設置為一已知值; 使用N個正交展頻碼對該N個樣本進行編碼以便並行輸出L個類比位準,每個展頻碼的長度為L,該碼中的每個碼與該N個樣本之一一起使用並且其中L≥N≥2; 將該L個類比位準各自寫入一儲存陣列的一儲存單元中; 從該儲存陣列讀取該L個類比位準並使用該N個正交展頻碼解碼該L個類比位準以便輸出N個輸出樣本的輸出向量,該碼中的每個碼與該N個輸出樣本之一一起使用; 確定該輸入樣本中的該一個輸入樣本的該已知值與該輸出樣本中對應的一個輸出樣本的值之間的差值;以及 藉由用該每個輸出樣本和該差值之和替換該N個輸出樣本中的每個輸出樣本來補償偏移。
  38. 如請求項37所述的方法,其中,從該儲存陣列輸出多個輸出向量,每個輸出向量在該讀取和該解碼之後輸出,該方法還包括: 藉由用該每個輸出樣本和該差值之和替換該多個輸出向量中的每個輸出向量中的該輸出樣本中的每個輸出樣本來補償偏移。
  39. 如請求項37所述的方法,其中該已知值是該視訊源允許的最大值或最小值。
  40. 一種用於補償儲存裝置中類比位準的衰減和偏移的方法,該方法包括: 從視訊源輸入N個輸入樣本的輸入向量,並且將該輸入樣本中的第一個和第二個設置為相應的一已知值,其中該已知值不同; 使用N個正交展頻碼對該N個樣本進行編碼以便並行輸出L個類比位準,每個展頻碼的長度為L,該碼中的每個碼與該N個樣本之一一起使用並且其中L≥N≥2; 將該L個類比位準各自寫入儲存陣列的儲存單元中; 從該儲存陣列讀取該L個類比位準並使用該N個正交展頻碼解碼該L個類比位準以便輸出N個輸出樣本的輸出向量,該碼中的每個碼與該N個輸出樣本之一一起使用; 求解兩個線性方程以確定該N個輸出樣本的衰減和偏移,該第一線性方程使用該第一已知值和與該第一輸入樣本對應的輸出樣本的值,該第二線性方程使用該第二已知值和與該第二輸入樣本對應的輸出樣本的值;以及 使用該確定的衰減和偏移補償該N個輸出樣本中的每個輸出樣本中的衰減和偏移。
  41. 如請求項40所述的方法,其中,從該儲存陣列輸出多個輸出向量,每個輸出向量在該讀取和該解碼之後輸出,該方法還包括: 使用該確定的衰減和偏移補償該輸出向量中的該輸出樣本中的每個輸出樣本中的衰減和偏移。
  42. 如請求項40所述的方法,其中該第一已知值和該第二已知值在不同的輸入向量中。
  43. 如請求項40所述的方法,其中該已知值之一是該視訊源允許的最大值或最小值。
TW111130816A 2021-08-17 2022-08-16 展頻視訊傳輸儲存系統 TW202329698A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163234157P 2021-08-17 2021-08-17
US63/234,157 2021-08-17
US202263322811P 2022-03-23 2022-03-23
US63/322,811 2022-03-23

Publications (1)

Publication Number Publication Date
TW202329698A true TW202329698A (zh) 2023-07-16

Family

ID=85228399

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111130816A TW202329698A (zh) 2021-08-17 2022-08-16 展頻視訊傳輸儲存系統

Country Status (3)

Country Link
US (1) US11997415B2 (zh)
TW (1) TW202329698A (zh)
WO (1) WO2023023020A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113162722B (zh) * 2015-09-21 2024-04-12 Hyphy美国有限公司 用于通过不完美的电磁通路传输采样信号的系统

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3204035A (en) 1962-11-26 1965-08-31 Arthur H Ballard Orthonormal pulse multiplex transmission systems
US3795765A (en) 1971-12-29 1974-03-05 Xerox Corp Alternate analog encoding method and apparatus
JP3136076B2 (ja) 1994-06-08 2001-02-19 キヤノン株式会社 符号分割多重変復調装置
JPH08293818A (ja) 1995-02-20 1996-11-05 Canon Inc スペクトラム拡散通信装置
EP0727881B1 (en) 1995-02-20 2004-11-24 Canon Kabushiki Kaisha Spread spectrum communication apparatus
US5577025A (en) 1995-06-30 1996-11-19 Qualcomm Incorporated Signal acquisition in a multi-user communication system using multiple walsh channels
US5793759A (en) 1995-08-25 1998-08-11 Terayon Corporation Apparatus and method for digital data transmission over video cable using orthogonal cyclic codes
US5805583A (en) 1995-08-25 1998-09-08 Terayon Communication Systems Process for communicating multiple channels of digital data in distributed systems using synchronous code division multiple access
US5768269A (en) 1995-08-25 1998-06-16 Terayon Corporation Apparatus and method for establishing frame synchronization in distributed digital data communication systems
JPH09191301A (ja) 1996-01-10 1997-07-22 Canon Inc スペクトラム拡散通信装置
JP3476987B2 (ja) 1996-01-12 2003-12-10 株式会社日立国際電気 マルチユーザ復調方法および装置
JP2820932B2 (ja) 1996-03-19 1998-11-05 株式会社ワイ・アール・ピー移動通信基盤技術研究所 スペクトラム拡散通信装置
CA2185847A1 (en) 1996-09-18 1998-03-19 Jean-Paul Chaib Method and apparatus for encoding and decoding digital signals
US6456607B2 (en) 1996-10-16 2002-09-24 Canon Kabushiki Kaisha Apparatus and method for transmitting an image signal modulated with a spreading code
FI105959B (fi) 1997-01-29 2000-10-31 Nokia Networks Oy Menetelmä interferenssin vähentämiseksi ja radiojärjestelmä
US5938787A (en) 1997-03-27 1999-08-17 Ericsson Inc. Communications systems and methods employing code rate partitioning with nonorthogonal modulation
AU746537B2 (en) 1997-05-14 2002-05-02 Qualcomm Incorporated A subscriber unit and method for use in a wireless communication system
KR100374032B1 (ko) 1997-09-11 2003-05-22 삼성전자주식회사 이동통신시스템의코딩및주파수다이버시티구현방법및장치
US6480559B1 (en) 1997-11-12 2002-11-12 Texas Instruments Incorporated Frame synchronization with unique-word dependent filter coefficients
KR100269593B1 (ko) 1997-12-02 2000-10-16 정선종 다중 채널을 위한 직교 복소 확산 방법 및 그 장치
US6018547A (en) 1998-01-09 2000-01-25 Bsd Broadband, N.V. Method and apparatus for increasing spectral efficiency of CDMA systems using direct sequence spread spectrum signals
US7548787B2 (en) 2005-08-03 2009-06-16 Kamilo Feher Medical diagnostic and communication system
JP2001144653A (ja) 1999-08-27 2001-05-25 Ibiden Sangyo Kk 有線スペクトラム拡散通信装置および通信方法
US6763009B1 (en) 1999-12-03 2004-07-13 Lucent Technologies Inc. Down-link transmission scheduling in CDMA data networks
US7827581B1 (en) 2000-02-29 2010-11-02 BE Labs, Inc. Wireless multimedia system
KR100421164B1 (ko) 2000-06-12 2004-03-04 삼성전자주식회사 이동통신시스템에서 전송율 정보 부호화 및 복호화 장치 및 방법
US6289039B1 (en) 2000-06-14 2001-09-11 Linex Technologies, Inc. Spread-spectrum communications utilizing variable throughput reduction
US6956891B2 (en) 2000-11-15 2005-10-18 Go-Cdma Limited Method and apparatus for non-linear code-division multiple access technology
US7050419B2 (en) 2001-02-23 2006-05-23 Terayon Communicaion Systems, Inc. Head end receiver for digital data delivery systems using mixed mode SCDMA and TDMA multiplexing
JP3349698B2 (ja) 2001-03-19 2002-11-25 松下電器産業株式会社 通信装置、通信方法、通信プログラム、記録媒体、移動局、基地局および通信システム
US7483483B2 (en) 2001-12-06 2009-01-27 Pulse-Link, Inc. Ultra-wideband communication apparatus and methods
KR100470401B1 (ko) 2002-12-24 2005-02-05 한국전자통신연구원 그룹화 최유도 검출을 이용한 무선 통신 시스템 및 방법
US8705588B2 (en) 2003-03-06 2014-04-22 Qualcomm Incorporated Systems and methods for using code space in spread-spectrum communications
KR101082171B1 (ko) 2005-05-23 2011-11-09 아주대학교산학협력단 직교 주파수 분할 다중의 데이터 처리방법 및 송수신장치
JP4841235B2 (ja) 2005-11-30 2011-12-21 富士通株式会社 無線基地局、無線通信方法及び無線通信システム
US7809085B2 (en) 2006-01-19 2010-10-05 Redmere Technology Ltd. Data recovery system for source synchronous data channels
US8520776B2 (en) 2006-01-19 2013-08-27 Judith Ann Rea Data recovery system for source synchronous data channels
US7873097B1 (en) 2006-09-20 2011-01-18 Interstate Electronics Corporation Systems and methods for concatenation in spread spectrum systems
JP2008085418A (ja) 2006-09-26 2008-04-10 Nec Electronics Corp 送信装置及び送信方法、受信装置及び受信方法、並びに通信装置及び通信方法
US8272023B2 (en) 2006-11-02 2012-09-18 Redmere Technology Ltd. Startup circuit and high speed cable using the same
US7908634B2 (en) 2006-11-02 2011-03-15 Redmere Technology Ltd. High-speed cable with embedded power control
US7873980B2 (en) 2006-11-02 2011-01-18 Redmere Technology Ltd. High-speed cable with embedded signal format conversion and power control
US7729874B2 (en) 2006-11-02 2010-06-01 Redmere Technology Ltd. System and method for calibrating a high-speed cable
EP1968324A1 (en) 2007-02-27 2008-09-10 Alcatel Lucent Multicode CDMA wireless transmission of scalable video data
US7793022B2 (en) 2007-07-25 2010-09-07 Redmere Technology Ltd. Repeater for a bidirectional serial bus
US8073647B2 (en) 2007-07-25 2011-12-06 Redmere Technology Ltd. Self calibrating cable for high definition digital video interface
US8437973B2 (en) 2007-07-25 2013-05-07 John Martin Horan Boosted cable for carrying high speed channels and methods for calibrating the same
US8280668B2 (en) 2007-07-25 2012-10-02 Redmere Technology Ltd. Self calibrating cable for high definition digital video interface
JP5213271B2 (ja) 2008-02-21 2013-06-19 シャープ株式会社 通信装置、通信システム、受信方法およびプログラム
US8369794B1 (en) 2008-06-18 2013-02-05 Meru Networks Adaptive carrier sensing and power control
US8290371B2 (en) 2008-09-19 2012-10-16 Telcordia Technologies, Inc. OCDM-based all optical multi-level security
WO2010077564A1 (en) 2008-12-08 2010-07-08 Analog Devices Inc. Multimedia switching over wired or wireless connections in a distributed environment
GB0904862D0 (en) 2009-03-20 2009-05-06 Imp Innovations Ltd A bit loading method and apparatus for multicode parallel channel communication
US8546688B2 (en) 2009-04-14 2013-10-01 John Martin Horan High speed data cable with shield connection
JP4962531B2 (ja) 2009-06-17 2012-06-27 船井電機株式会社 表示装置用ケーブルおよびテレビジョンシステム
US8674224B2 (en) 2010-07-13 2014-03-18 John Martin Horan Low cost high speed data cable
US8680395B2 (en) 2010-07-13 2014-03-25 John Martin Horan High speed data cable using an outer braid to carry a signal
US8674223B2 (en) 2010-07-13 2014-03-18 John Martin Horan High speed data cable with impedance correction
US8674225B2 (en) 2010-07-13 2014-03-18 John Martin Horan Economical boosted high speed data cable
US8674226B2 (en) 2010-07-13 2014-03-18 John Martin Horan High speed data cable including a boost device for generating a differential signal
JP5704472B2 (ja) 2010-07-13 2015-04-22 レッドミア テクノロジー リミテッド アクティブ高速データケーブルおよび信号を伝送する方法
CN101969319A (zh) 2010-08-10 2011-02-09 贵州航天天马机电科技有限公司 无线通信中的通用数字式双调制解调技术
JP5857588B2 (ja) 2011-09-28 2016-02-10 ソニー株式会社 送信装置、送信方法、受信装置、受信方法および送受信システム
US9240853B2 (en) 2012-11-16 2016-01-19 Huawei Technologies Co., Ltd. Systems and methods for sparse code multiple access
WO2015095756A2 (en) 2013-12-20 2015-06-25 Fca Us Llc Vehicle information/entertainment management system
JP6500571B2 (ja) * 2015-04-14 2019-04-17 船井電機株式会社 信号伝送装置及び信号伝送方法
CN113162722B (zh) 2015-09-21 2024-04-12 Hyphy美国有限公司 用于通过不完美的电磁通路传输采样信号的系统
CN106209322B (zh) 2016-07-18 2019-12-20 浙江大华技术股份有限公司 一种视频信号中混合传输数据的方法及装置
CN110663194B (zh) * 2017-03-20 2021-09-07 Hyphy美国有限公司 基于cdma的媒体接口
US11716114B2 (en) 2020-11-25 2023-08-01 Hyphy Usa Inc. Encoder and decoder circuits for the transmission of video media using spread spectrum direct sequence modulation
US20230223981A1 (en) 2022-01-13 2023-07-13 Hyphy Usa Inc. Wireless transmission of samples encoded using spread spectrum video transport
US11769468B2 (en) 2022-01-19 2023-09-26 Hyphy Usa Inc. Spread-spectrum video transport integration with timing controller

Also Published As

Publication number Publication date
WO2023023020A1 (en) 2023-02-23
US20230059143A1 (en) 2023-02-23
US11997415B2 (en) 2024-05-28

Similar Documents

Publication Publication Date Title
US12047112B2 (en) Decoder circuits for the transmission of video media using spread spectrum direct sequence modulation
Kou Digital image compression: algorithms and standards
CN110663194B (zh) 基于cdma的媒体接口
US20230223981A1 (en) Wireless transmission of samples encoded using spread spectrum video transport
JP2527874B2 (ja) 局所的デ―タ損失に対する頑強性を圧縮化画像デ―タに付与するための装置
US11948536B2 (en) Analog video transport integration with timing controller
Jiang et al. Scalable video coding using compressive sensing
TW202329698A (zh) 展頻視訊傳輸儲存系統
US6404927B1 (en) Control point generation and data packing for variable length image compression
US9462283B2 (en) Efficient compression of Bayer images
JP2024533167A (ja) ディスプレイドライバとスペクトル拡散映像輸送との集積化
TWI810720B (zh) 用於使用展頻直接序列調製傳輸視訊媒體的編碼器和解碼器電路
KR20230073135A (ko) 확산 스펙트럼 직접 시퀀스 변조를 사용하는 비디오 미디어 전송을 위한 인코더 및 디코더 회로
JP2024537821A (ja) ステージングされたサンプリング信号の分配および電磁経路を介した搬送
US20240281187A1 (en) Video transport within a mobile device
TWI856494B (zh) 具有時序控制器的展頻視訊傳輸整合
US20230091412A1 (en) Spread-spectrum video transport integration with virtual reality headset
Holtz et al. Autosophy Internet Video
TW202343428A (zh) 具有時序控制器的展頻視訊傳輸整合
Mukil et al. Content modification using compressive sensing and double random phase encoding
TW202329061A (zh) 與顯示驅動器整合的展頻視訊傳輸
JP2024501201A (ja) 可変のシンボルレートを有するアナログ変調ビデオ送信
WO2024039579A1 (en) Spread-spectrum video transport with orthogonal frequency division multiplexing and ofdm video transport
Patel et al. Structure and Texture Synthesis
KR20050018659A (ko) 웨이브렛 변환 시스템, 방법 및 컴퓨터 프로그램 제품