TWI713364B - 藉由現有ｈｄ視訊架構編碼原始高幀率視訊的方法 - Google Patents

藉由現有ｈｄ視訊架構編碼原始高幀率視訊的方法 Download PDF

Info

Publication number
TWI713364B
TWI713364B TW107117880A TW107117880A TWI713364B TW I713364 B TWI713364 B TW I713364B TW 107117880 A TW107117880 A TW 107117880A TW 107117880 A TW107117880 A TW 107117880A TW I713364 B TWI713364 B TW I713364B
Authority
TW
Taiwan
Prior art keywords
video
frames
standard
metadata
speed
Prior art date
Application number
TW107117880A
Other languages
English (en)
Other versions
TW201921908A (zh
Inventor
泰勒 虎克
大衛 齊默爾曼
安東尼 聖塔瑪利亞
Original Assignee
美商雷神公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商雷神公司 filed Critical 美商雷神公司
Publication of TW201921908A publication Critical patent/TW201921908A/zh
Application granted granted Critical
Publication of TWI713364B publication Critical patent/TWI713364B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4342—Demultiplexing isochronously with video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4353—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving decryption of additional data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一種用於傳輸來自高幀率影像感測器之快速幀率視訊資料的系統，其拼接及散佈1920x1080p30影像視訊幀中之快速幀率視訊資料，用於經由現有標準視訊架構傳輸。用於每一幀的封包資訊、散佈資訊、及唯一ID/時間戳記係在元資料中被編碼及被插入該等1080p30視訊幀之輔助元資料空間中。堅固的編碼方案產生該元資料，且在被散佈遍及多數個通道之後，確保該被傳輸的視訊可被重編成其原來之快速幀率形式。

Description

藉由現有HD視訊架構編碼原始高幀率視訊的方法
本揭示內容係在影像處理架構的領域中，且更特別地是於高幀率視訊處理之領域中。
具有大影像格式及小像素間距的高幀率影像感測器正變得一般可用在極多新產品及應用中。然而，傳統視訊架構大致上不支援一些高幀率影像感測器之頻寬及時序需求。支援高幀率影像感測器的頻寬及時序需求之新視訊架構已被開發；然而，這些新視訊架構大致上被由用於特別使用的刮痕所開發，而沒有善用先前可用之硬體。
在高幀率影像感測器技術中的改良極大地超過很多現有視訊傳輸架構之頻寬及傳輸能力。遍及該世界，被設計及建構用於傳輸高清晰度(HD)視訊的現有視訊硬體之擴大基礎結構被採用及安裝在設備中。此基礎結構大致上不會支援視訊資料的由該高幀率攝影機傳輸至顯示器或終端用戶。
現有HD視訊架構大致上被建構用於處理視訊資料之串流，其譬如符合一或多個標準格式、諸如電影電視工程師協會(SMPTE)標準SMPTE 292M及SMPTE 424M。這些標準包括720p高清晰度電視(HDTV)格式，其中視訊資料在具有720水平資料路徑及16：9的縱橫比之幀中被格式化。該SMPTE 292M標準包括720p格式，其具有譬如1280x720像素的解析度。
用於HD視訊資料之共用傳輸格式係720p60，其中在720p格式中的視訊資料係在每秒60幀傳輸。該SMPTE 424M標準包括1080p60傳輸格式，其中呈1080p格式之資料係在每秒60幀傳輸。呈1080p格式的視訊資料有時候被稱為“全HD”及具有1920x1080像素之解析度。
大量目前採用的影像偵測系統係與HD視訊標準、諸如一般被使用之720p標準一致地製成。720p標準系統的1280x720像素幀包括每幀約1.5百萬像素。相比之下，高幀率影像感測器大致上以5kx5k格式輸出影像幀，其具有每幀約25百萬像素。因此，被使用於720p標準系統的1280x720像素係遠不足以傳輸藉由高幀率影像感測器所產生之遠較大的像素數目。
高幀率影像感測器傳統上係與特別被設計用於傳輸高幀率視訊資料之視訊架構一起使用。這些新的視訊架構大致上影響視訊壓縮技術，以支援高幀率頻寬及時序需求。目前被使用於傳輸高幀率視訊資料之一些視訊架構使用平行的編碼器或編解碼器及資料壓縮，以傳輸該高幀率視訊。然而，壓縮之使用造成這些視訊架構不適合用於依靠接收原始感測器資料的終端用戶。
用於傳輸來自下一代照相機之高幀率視訊的舊有硬體之使用係有問題的，因為該舊有硬體大致上不會提供充分之頻寬。再者，對於業已提供大量傳統視訊處理設備的使用者，以用於傳輸高幀率視訊資料之新架構替換現有視訊架構可為不合實際的及/或價格貴得嚇人。
各種空間及時間性視訊壓縮技術已被使用於處理來自高幀率影像感測器之影像資料，用於透過現有HD視訊架構傳輸。該高幀率視訊資料一般使用壓縮演算法被壓縮，該演算法保留足夠的高幀率視訊資料，以產生供人類觀看之可見影像及視訊串流，但丟失或拋棄來自該高幀率影像感測器的資料，其不能被用於人類可觀看之影像及視訊串流所需要。
用於處理來自高幀率影像感測器的資料之其它傳統技術大致上涉及新或專屬視訊架構的使用，該等視訊架構已被開發用於該等高幀率影像感測器之特別應用。這些技術係昂貴及無效率的，因為它們未充分利用已遍及世界被採用之廣泛可用的HD視訊架構。
本揭示內容之態樣包括高幀率影像感測器資料處理設備及方法，用於有效率及無失真地收集高幀率資料。根據本揭示內容的態樣之感測器資料處理設備包括耦接至處理電路系統的原始高幀率資料輸入路徑、及複數個平行地耦接至該處理電路系統之影像資料輸出路徑。一或多 個元資料輸出路徑被耦接至與該等影像資料輸出路徑平行的處理電路系統。
該處理電路系統被建構來由高幀率影像感測器接收該原始高幀率資料，將該小快速幀資料拼合成無失真片段及將該等無失真片段平行地引導至該等影像資料輸出路徑上。該處理器電路系統亦被建構來產生包括經編碼資訊之元資料，其促進來自該等無失真片段的原始快速幀率資料之重建，並將該元資料引導至該等元資料輸出路徑。
如在此中所敘述，用於藉由該目前視訊傳輸架構將來自高幀率影像感測器的視訊影像傳輸至顯示器或至終端用戶之改良的方法及設備，包括像素封包方法及使用多數個實體連接以平行地傳輸資料之方法。在此中所揭示的方法克服舊有硬體之頻寬限制，且能夠讓舊有硬體傳輸來自下一代照相機的高幀率視訊資料。
根據本揭示內容之態樣，視訊處理被施行，以基於被使用來追蹤封包資訊的元資料將視訊影像資料重編為拼接圖塊。後端視訊處理能被施行，以基於該元資料中所包括之位置資料及慣性資料將該視訊重編為拼接圖塊或接結全景成像。
根據本揭示內容的態樣，敘述該拼接之資訊係在影像資料的VANC/HANC元資料空間中編碼，以促進原始視訊資料之順流即時重建。
根據本申請案的態樣，多數小快速幀使用多數個平行之1080p30視訊路徑被拼接成大1080p30幀。該等小快速幀係使用目前實施的視訊架構散佈越過工業標準SMPTE 292M 1080p30視訊介面之多數個通道。根據本揭示內容的另一態樣，定製/專屬時間戳記及編碼方案係在每一大1080p30幀之使用者界定的鍵長度值(KLV)元資料空間中產生及傳輸，以允許用於進入單一經處理之視訊串流的多重SMPTE饋送之簡單重建。
所揭示的視訊傳輸方法包括由高速影像感測器接收原始視訊資料，並將該視訊資料拼接成工業標準格式、諸如被編碼成SMPTE 292M之1920x1080p30，其係透過標準HD-SDI介面傳輸。
所揭示的視訊傳輸方法使用該傳輸串流用之標準SMPTE介面及對影像的拼接中之資料編碼。根據本揭示內容的態樣，影像之經編碼 拼圖的封包細節係隨著該個別影像資料被儲存及傳輸在元資料中。
100:設備
102:轉塔
104:原始視訊資料輸入路徑
106:視訊處理器
108:影像資料輸出路徑
110:後端處理器
112:視訊傳輸路徑
114:SMPTE分叉器
116:錄影機電路系統
118:第一高速匯流排
120:機上處理電路系統
122:高幀率感測器
124:影像感測器
126:第二高速匯流排
202:孔口影像
204:高幀率影像幀
206:頻帶
208:不活動的直行
210:標準1080p30幀
212:標準1080p30幀
214:標準1080p30幀
216:標準1080p30幀
302:視訊幀
304:視訊幀
本發明概念之上面及其他特色將藉由參考所附圖面詳細地敘述其示範實施例而變得更明顯，其中：
圖1係根據本揭示內容的態樣之視訊資料傳輸設備的說明性實施例之圖解。
圖2係圖解，根據本揭示內容的態樣說明用於傳輸之視訊資料的多數個封包模式。
圖3係方法流程圖，根據本揭示內容之態樣說明用於傳輸視訊資料的方法。
本揭示內容之態樣包括用於使用現有HD視訊架構無失真通訊及處理來自一或多個高幀率影像感測器的高幀率視訊資料之系統及方法。使用目前可用的視訊架構來處理高幀率視訊資料涉及將來自一或多個高幀率影像感測器之高幀率視訊幀拼接成較大的容器幀。該容器幀被組合及散佈進入HD視訊之多數個通道。在說明性實施例中，該高幀率視訊資料可由高幀率影像感測器以128x128像素在大於1kHz下被提供，其被拼接成720p60容器幀。於該說明性實施例中，該等片段被組合成SMPTE 424M 1080p60視訊的多數個通道。
在所揭示之系統的說明性實施例中，高幀率影像感測器可為具有每秒大於1100幀之幀率的極化影像感測器，設有小主動焦平面，且譬如在每秒1100幀下產生具有144x1024像素之幀。本揭示內容的態樣包括用以使用現有標準之視訊傳輸架構傳輸該等小快速幀、諸如由極化影像感測器所接收的幀之系統及方法。
使用現有壓縮技術，用於即時視覺化的視訊資料之重編及丟失變得有問題。用於傳輸高幀率視訊資料的很多現有商業上可用之架構採用時間性壓縮，其摧毀元資料準確性及完整性，摧毀元資料至視訊幀的對齊，減少解析度及/或加上不想要的潛伏期。用於傳輸高幀率視訊資料之很多技術被最佳化，以保存幀率及維持所顯示視訊的視覺訴求。這些型式 之架構係不適合用於在很多應用、諸如監視中傳輸高幀率視訊資料，其中所有元資料的資料準確性及完整性係比幀率更重要。於這些應用中，重建來自該高幀率視訊影像感測器之原始視訊資料係重要的。
本揭示內容之態樣包括用於傳輸及緩衝來自譬如由極化高速影像感測器所接收的一或多個HD視訊輸入、諸如幀之原始快速幀率視訊資料的系統。在說明性實施例中，所揭示之系統於1920x1080p30視訊幀中越過八個通道的其中三個拼接及散佈該快速幀率視訊資料。於該說明性實施例中，該系統編碼封包資訊、散佈資訊、及用於KLV元資料中之每一幀的獨特ID/時間戳記，並將該KVL元資料插入輔助之元資料空間、例如該等1080p30視訊幀的VANC及或HANC中。
本揭示內容之另一態樣包括堅固的編碼方案，其產生該KLV元資料及確保該最後視訊可在散佈遍及多數個通道之後被重編成其原來的快速幀率形式。於該說明性實施例中，在該KVL元資料中所編碼之封包資訊敘述該等快速幀如何被拼接成該等1080p30幀。在該KVL元資料中所編碼的散佈資訊敘述該1080p30幀如何被引導越過該多數個通道。該1080p30視訊幀能使用該KLV元資料資訊被後端處理器所拆包，以再生該原始快速幀率視訊資料，其能譬如接著被緩衝、顯示、記錄及/或遭受後處理。
根據本揭示內容之態樣，參考圖1敘述用於傳輸視訊資料的設備。該設備100包括視訊架構轉塔102，其包括視訊處理電路系統。原始視訊資料輸入路徑104被耦接至該轉塔102中之視訊處理器電路系統。該設備100亦包括經由許多影像資料輸出路徑108被耦接至該視訊架構轉塔102的SMPTE標準之視訊處理器106，該路徑108由該轉塔102中的視訊處理電路系統平行地延伸至該SMPTE標準之視訊處理器106。於說明性實施例中，該設備100包括八條720p60Hz影像資料輸出路徑108，其譬如延伸越過光纖集電環介面。後端處理器110經由SMPTE視訊傳輸路徑112被耦接至該標準視訊處理器106。
在圖1中所顯示的設備100中，該轉塔102中之視訊處理器電路系統被建構來由該原始視訊資料輸入路徑104上的高幀率感測器122接收 高速幀，將該等高速幀連續地拼接成標準1080p30尺寸設計之幀，並將該等標準1080p30尺寸設計的幀散佈至許多影像資料輸出路徑108。該轉塔102亦可譬如被耦接至許多HD影像感測器124。於說明性實施例中，該標準1080p30尺寸設計之幀係散佈遍及該八條720p60Hz影像資料輸出路徑108的其中三條。根據本揭示內容之態樣，該轉塔102中的處理器電路系統亦被建構來將元資料編碼，敘述該等高速幀如何被拼接成該標準1080p30尺寸設計之幀、及敘述該等標準1080p30尺寸設計的幀如何被散佈至該許多影像資料輸出路徑。在說明性實施例中，該元資料使用垂直輔助(VANC)及/或水平輔助(HANC)技術以標準鍵長度值(KLV)元資料格式被編碼，具有封包及散佈資訊，以促進該影像資料之拆包與重建。熟諳此技術領域者將識別VANC及HANC是用於將非視訊資訊嵌入視訊信號中的傳統技術。譬如，該元資料包括封包細節、諸如幀之開始及幀的結束之像素位置(行、列)、幀率(30、60)、位元深度(8、10、12、16)、及位元封包模式(每像素二位元組、每像素一位元組等)，譬如。該相同的元資料空間具有裝置，用於給與視準線(慣性測量單元(IMU)、陀螺儀、加速度計、解析器、伺服器狀態、編碼器反饋、焦點資訊、系統光學溫度等)及/或指示為每一可適用之幀的影像感測器被指向何處之指向資訊。該元資料中的資訊能被使用於將上下文加至藉由影像感測器所擷取之視訊幀。
在對應1080p30尺寸設計的幀之HANC空間或VANC空間中，該KLV元資料包括用於對應元資料欄位的唯一鍵及對應元資料欄位之長度。在該說明性實施例中，該KLV元資料包括元資料值，其包括資料封包，其敘述該1080p30尺寸設計的幀如何以較小之高速幀被封包。該元資料值包括充分的資訊，以識別高速幀間之邊界。譬如，於說明性實施例中，該封包包括用於每一高速幀的唯一識別符及用於每一高速幀之時間戳記。
該轉塔102中的處理器電路系統另被建構來將該元資料儲存在該標準1080p30尺寸設計之幀的對應情況之標準輔助元資料空間中，及經由該影像資料輸出路徑108隨著該元資料將該標準1080p30尺寸設計之幀傳輸至該SMPTE標準視訊處理器106。於說明性實施例中，該元資料的58.8百萬位元組可被儲存於每一標準1080p30尺寸設計之幀的VANC空間或 HANC空間中。
該SMPTE標準視訊處理器104被建構來經由該SMPTE視訊傳輸路徑112隨著該元資料將該標準1080p30尺寸設計之幀傳輸至該後端處理器110。該後端處理器110被建構基於該標準1080p30尺寸設計之幀中所儲存的元資料來打開及重編來自該標準1080p30尺寸設計之幀的高速幀。
在圖1中所顯示之設備100的說明性實施例中，該元資料係該對應之標準1080p30尺寸設計的幀之VANC空間中所儲存的KLV元資料。根據本揭示內容之態樣，該KLV元資料包括識別符及用於每一高速幀的時間戳記。
在說明性實施例中，該後端處理器110包括被耦接至該SMPTE視訊傳輸路徑112之SMPTE分叉器114。錄影機電路系統116經由第一高速匯流排118被耦接至該SMPTE分叉器114，且機上處理電路系統120經由第二高速匯流排126被耦接至該SMPTE分叉器114。
於說明性實施例中，該錄影機電路系統116可被建構來儲存該經重編的高速視訊幀。該機上處理電路系統120可被建構來將即時應用特定輸出提供至操作員或下游分析系統，以識別目標及/或譬如產生跟蹤資訊。
本揭示內容之另一態樣包括用於使用目前裝配的視訊架構來傳輸原始高速視訊資料之方法。該方法包括在標準1080p30幀中產生多數個小快速幀的拼接、及越過多數個SMPTE 292M 1080p30視訊108之通道散佈該等小快速幀的步驟。不同封包模式可被使用，其中用於所揭示系統及方法之不同應用或實作，該等多數個小幀被以不同方式拼接成標準1080p30幀。參考圖2，在說明性實施例中，該等快速幀可被用三種不同方式封入標準1080p30幀，以提供譬如快速模式、緩慢模式及完全模式。於此實施例中，具有530x1024像素的孔口影像202係藉由圖1之高幀率影像感測器122所感測。該高速率影像感測器122產生所偵測的高幀率影像幀204。所偵測之高幀率影像幀204包括來自該孔口影像202的原始資料之許多頻帶206，且亦可包括許多不活動的直行208。每一高幀率影像之頻帶206係藉由圖1的轉塔102中之視訊處理器電路系統序連及寫入至該標準1080p30幀210，省略該不 活動的直行208。連續之高幀率影像幀204的頻帶206被連續地寫入至該標準1080p30幀。被封入該等標準1080p30幀210之每一者的頻帶206之數目取決於被實施或選擇的封包模式。
在圖2中所顯示之說明性實施例中，快速模式可被實施，其中該等高幀率影像幀204包括144x1024像素及在每秒1100幀被傳輸。於該快速模式中，每一高幀率影像幀204充填標準1080p30幀212的76.8條線。緩慢模式可被實施，其中該等高幀率影像幀204包括208x1024像素及在每秒800幀傳輸。於該緩慢模式中，每一高幀率影像幀204充填標準1080p30幀214的110.9條線。完全模式可被實施，其中該等高幀率影像幀204包括該孔口影像202之所有530x1024像素，其在每秒30幀被傳輸。於該完全模式中，每一高幀率影像幀204充填標準1080p30幀216的1024條線。
根據本揭示內容之態樣，所揭示的方法包括編碼封包資訊、散佈資訊、及用於SMPTE標準、使用者界定KLV元資料中之每一幀的唯一ID/時間戳記、及在每一標準視訊幀之HANC及VANC中插入該KLV元資料的步驟，使得沒有分開/新的資料匯流排係如上面參考圖1所敘述地被需要。該KLV元資料包括充分資訊，以將SMPTE 292M 1080p30之多數個通道重建成單一經處理的視訊串流，用於該原來之成像的重新組合。所揭示之方法及設備的實作可被使用於透過現有HD視訊架構/硬體傳輸來自各種新高速照相機之資料。
用於根據本揭示內容的態樣傳輸視訊資料之方法係參考圖3被敘述。該方法300包括在方塊302由高速影像感測器接收高速視訊幀的串流。該方法300包括在方塊304將該等高速視訊幀封包成標準尺寸之影像幀，而沒有壓縮該等高速視訊幀。該封包被施行，以包括所有來自該等高速影像幀的資料而沒有壓縮，以致該等高速幀可在其原來形式中被重建，而未丟失任何資料。
於該方法300之說明性實施例中，該標準尺寸設計的影像幀係SMPTE292M 1080p30視訊幀，該多通道視訊架構係SMPTE292M 1080p30視訊架構，且該元資料被編碼為SMPTE KLV元資料。
在說明性實施例中，接收視訊幀302及封包該等視訊幀304 之步驟係藉由該視訊架構轉塔102所施行，該轉塔由該高幀率感測器122接收該等高速視訊幀，如於圖1中所顯示。在說明性實施例中，每一標準尺寸影像幀由連續地封包的高速幀所組成。封包每一標準尺寸設計之幀係於幀緩衝器中藉由將該等高速視訊幀時序地充填成該等較大的標準尺寸設計之幀所施行。
在方塊305，該方法包括在標準多通道視訊架構中將該標準尺寸設計的幀之傳輸散佈越過許多通道。當該等較小幀被由該高速影像感測器122(圖1)所接收及被封入該視訊架構轉塔102中的較大標準1080p30尺寸設計之幀，該等先前封包的幀被由該視訊架構轉塔102傳輸至該SMPTE視訊處理器106。於說明性實施例中，該視訊架構轉塔102中之幀緩衝器被以高速幀封包，以產生三個標準1080p30尺寸設計的幀。該三個標準1080p30幀在高幀率連續地被充填於該視訊架構轉塔之幀緩衝器中，接著藉由該SMPTE視訊處理器106在30Hz的較緩慢幀率自該視訊架構轉塔102中之幀緩衝器被平行地讀取，以清除該等幀緩衝器。雖然該等幀緩衝器係藉由該SMPTE視訊處理器106所讀取，該視訊架構轉塔102中的額外幀緩衝器係以該下一高速幀充填。
於該方法300之說明性實施例中，該標準尺寸設計的影像幀係SMPTE292M 1080p30視訊幀，該多通道視訊架構係SMPTE292M 1080p30視訊架構，且該元資料被編碼為SMPTE KLV元資料。在該說明性實施例中，該元資料被包括於該SMPTE 292M 1080p30視訊幀之VANC空間及/或HANC空間中。
雖然所揭示的方法及設備之說明性實施例係參考標準1080p30尺寸設計的幀被敘述，應被了解所揭示之系統及方法的各種實施例能使用標準720p60尺寸設計之幀被實施，而代替1080p30尺寸設計的幀或除了1080p30尺寸設計之幀以外。該等標準720p60幀係在60Hz讀取，以清除該等幀緩衝器。因為該等720p60幀係比1080p30尺寸設計的幀較小，用於傳輸視訊資料之結果的頻寬係大約與用於該標準1080p30尺寸設計的幀及720p60尺寸設計之幀相同的。
例如，在圖1中，該等HD視訊感測器124之其中二者可為 1080p30感測器，且其他影像感測器124的其中二者可為720p60感測器。根據本揭示內容之態樣，在該視訊架構轉塔102內側的幀緩衝器可在相同或不同速率被充填，但該等幀緩衝器係全部藉由該SMPTE視訊處理器106在相同之速率、例如用於標準1080p30尺寸設計的幀之30Hz或用於標準720p60尺寸設計的幀之60Hz所讀取。
在方塊306，該方法包括產生SMPTE KLV元資料，包括敘述複數個高速視訊幀如何被封入該標準尺寸設計的影像幀之封包資訊、及敘述該標準尺寸設計的幀如何散佈越過該等平行通道的散佈資訊。於說明性實施例中，該元資料被包括在該SMPTE 292M 1080p30視訊幀之VANC空間及/或HANC空間中。
於說明性實施例中，該元資料包括唯一識別符及用於該複數個高速幀的每一者之時間戳記。在方塊307，該方法包括於該多通道視訊架構中的一或多個通道中將該元資料插入視訊串流。該元資料能於該視訊架構轉塔及/或於該SMPTE視訊處理器106中(圖1)，被插入對應標準1080p30尺寸設計之幀或標準720p60尺寸設計的幀之VANC或HANC空間。譬如，可適用於該視訊架構轉塔的功能性、諸如指向資訊、及視線資訊之元資料能藉由該視訊架構轉塔加至該對應1080p30幀的VANC或HANC空間。用於使視訊與世界時有相互關係之額外資訊、諸如精確時序資訊能藉由該SMPTE視訊處理器被加至該對應1080p30幀的VANC或HANC空間。
在方塊308，該方法300包括傳輸該SMPTE KLV元資料越過該對應標準1080p30幀之VANC空間中的多通道視訊架構之多數通道。在方塊310，該方法包括解碼經由用於該原來成像的重編之多數個平行串流所接收的標準1080p30幀中之SMPTE KLV元資料。在方塊312，該方法包括將多數個平行串流重建成單一經處理的視訊串流。
於說明性實施例中，該解碼步驟310及重建步驟312能藉由圖1中所顯示之後端處理器110所施行，其由該標準1080p30幀的HANC或VANC空間讀取該SMPTE KLV元資料，並將該元資料解碼。該KLV元資料中之已解碼的值識別該小快速幀及用於該小快速幀的排序資訊間之邊界，其被封包在該對應標準1080p30尺寸設計的幀中。
雖然本揭示內容之態樣已參考其示範實施例被特別顯示及敘述，那些普通熟習該技術領域者將了解形式及細節中的各種變化可在其中被作成，而不會由本揭示內容之範圍脫離，如藉由以下申請專利範圍所界定者。
100:設備
102:轉塔
104:原始視訊資料輸入路徑
106:視訊處理器
108:影像資料輸出路徑
110:後端處理器
112:視訊傳輸路徑
114:SMPTE分叉器
116:錄影機電路系統
118:第一高速匯流排
120:機上處理電路系統
122:高幀率感測器
124:影像感測器
126:第二高速匯流排

Claims (19)

  1. 一種用於傳輸視訊資料的方法，包含：透過感測孔口影像產生具有大於1kHz的第一幀的複數個高速視訊幀，該高速視訊幀之每一個具有128x128像素，其中該高速視訊幀之每一個包含複數個該孔口影像的頻帶；將該複數個高速視訊幀中的該視訊資料拼接成720p60標準或SMPTE292M 1080p30標準尺寸設計之容器幀，其中該拼接係透過序連從該高速視訊幀的該複數個頻帶而無需壓縮該高速視訊幀來執行；產生元資料，其敘述該複數個高速視訊幀如何被封包成該標準尺寸設計之容器幀；將該標準尺寸設計的容器幀以小於或等於該第一幀速率的幀速率傳輸越過多通道視訊架構中之多數個平行通道；及將該元資料傳輸越過該多通道視訊架構的平行通道。
  2. 如申請專利範圍第1項的方法，其中該元資料包括用於該複數個高速幀之每一個的唯一識別符、及用於該複數個高速幀之每一個的時間戳記。
  3. 如申請專利範圍第1項的方法，另包含：將該元資料解碼；及基於該被解碼之元資料重編該等高速視訊幀。
  4. 如申請專利範圍第1項的方法，另包含由一高速影像感測器接收該等高速視訊幀。
  5. 如申請專利範圍第1項的方法，另包含：封包複數個標準尺寸設計之容器幀的每一個，具有該複數個高速視訊幀之個別部份；及將該複數個標準尺寸設計的容器幀之傳輸散佈越過該多通道視訊架構中的多數個平行通道；其中該元資料另包括散佈資訊，其敘述該複數個標準尺寸設計之容器幀如何散佈越過該等多數個平行通道。
  6. 如申請專利範圍第5項的方法，另包含將該元資料插入該等多數個平行通道之一或多個上的視訊串流。
  7. 如申請專利範圍第5項的方法，另包含： 將該元資料解碼；及基於該被解碼之元資料重編該等高速視訊幀。
  8. 如申請專利範圍第7項的方法，另包含重建一被處理之視訊串流，其包括該被重建的高速視訊幀。
  9. 如申請專利範圍第1項的方法，另包含由一高速影像感測器接收該等高速視訊幀。
  10. 如申請專利範圍第1項的方法，其中該元資料包括一唯一識別符及用於該複數個高速幀之每一個的時間戳記。
  11. 如申請專利範圍第1項的方法，其中該多通道視訊架構係SMPTE292M 1080p30視訊架構。
  12. 如申請專利範圍第11項的方法，另包含：將該元資料、如SMPTE KLV元資料解碼；及包括該標準尺寸容器幀之VANC空間及/或HANC空間中的該元資料。
  13. 如申請專利範圍第5項的方法，其中封包該複數個標準尺寸設計之容器幀的每一個包含將該等高速視訊幀配置為該等標準尺寸設計之影像容器幀中的拼接圖。
  14. 一種用於傳輸視訊資料的設備，包含：一視訊架構轉塔，包括視訊處理電路系統；一原始視訊資料輸入路徑，被耦接至該視訊架構轉塔中之視訊處理器電路系統；一SMPTE標準視訊處理器，經由複數個影像資料輸出路徑被耦接至該視訊架構轉塔，該影像資料輸出路徑由該視訊架構轉塔中的該視訊處理電路系統平行地延伸至該SMPTE標準視訊處理器；及一後端處理器，經由一SMPTE視訊傳輸路徑被耦接至該標準視訊處理器，其中該視訊架構轉塔中之該視訊處理器電路被建構來：由該原始視訊資料輸入路徑上的一高速影像感測器以大於或等於1kHz幀速率接收高速幀，其中該高速幀的每一個具有128x128像素且其中該高速視訊幀的每一個包含複數個孔口影像的頻帶；透過將該高速視訊幀的該複數個頻帶序連到標準1080p30尺寸設 計之幀中，而無需壓縮該高速視訊幀，將該等高速幀連續地拼接成標準1080p30尺寸設計之幀，及將該等標準1080p30尺寸設計的幀散佈至許多該等影像資料輸出路徑。
  15. 如申請專利範圍第14項的設備，其中該視訊架構轉塔中之該視訊處理器電路亦被建構來將元資料編碼，該元資料敘述該等高速幀如何被拼接成該等標準1080p30尺寸設計的幀，及敘述該等標準1080p30尺寸設計之幀如何被散佈至該數量的影像資料輸出路徑。
  16. 如申請專利範圍第15項的設備，其中該視訊架構轉塔中之該視訊處理器電路被另建構來將該元資料儲存於該等標準1080p30尺寸設計的幀之對應情況的一標準輔助元資料空間中，並隨著該元資料將該標準1080p30尺寸設計之幀經由該影像資料輸出路徑傳輸至該SMPTE標準視訊處理器。
  17. 如申請專利範圍第16項的設備，其中該SMPTE標準視訊處理器被建構來隨著該元資料將該標準1080p30尺寸設計之幀經由該等SMPTE視訊傳輸路徑傳輸至該後端處理器，且其中基於該標準1080p30尺寸設計的幀中所儲存之元資料，該後端處理器被建構來由該等標準1080p30尺寸設計的幀打開該等高速幀。
  18. 如申請專利範圍第15項的設備，其中該元資料係該對應標準1080p30尺寸設計之幀的VANC空間中所儲存之KLV元資料。
  19. 如申請專利範圍第18項的設備，其中該KLV元資料包括一識別符及用於該等高速幀之每一個的時間戳記。
TW107117880A 2017-08-09 2018-05-25 藉由現有ｈｄ視訊架構編碼原始高幀率視訊的方法 TWI713364B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/672,499 2017-08-09
US15/672,499 US10701367B2 (en) 2017-08-09 2017-08-09 Method for encoding raw high frame rate video via an existing HD video architecture

Publications (2)

Publication Number Publication Date
TW201921908A TW201921908A (zh) 2019-06-01
TWI713364B true TWI713364B (zh) 2020-12-11

Family

ID=62200569

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107117880A TWI713364B (zh) 2017-08-09 2018-05-25 藉由現有ｈｄ視訊架構編碼原始高幀率視訊的方法

Country Status (8)

Country Link
US (1) US10701367B2 (zh)
EP (1) EP3665899A1 (zh)
JP (1) JP6896151B2 (zh)
KR (1) KR102220742B1 (zh)
CA (1) CA3070063C (zh)
IL (1) IL270733B (zh)
TW (1) TWI713364B (zh)
WO (1) WO2019032160A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100037283A1 (en) * 2008-08-05 2010-02-11 Ning Zhu Multi-Stream Digital Display Interface
US20120293710A1 (en) * 2011-05-19 2012-11-22 Shigeyuki Yamashita Signal transmission apparatus, signal transmission method, signal reception apparatus, signal reception method, and signal transmission system
US20150082343A1 (en) * 2012-07-24 2015-03-19 Cbs Interactive Inc. Techniques to provide an enhanced video replay
US20170039145A1 (en) * 2015-03-09 2017-02-09 Intel Corporation Memcached systems having local caches
US20170195622A1 (en) * 2015-12-30 2017-07-06 Silergy Semiconductor Technology (Hangzhou) Ltd Methods of transmitting and receiving audio-video data and transmission system thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4363104A (en) * 1980-09-22 1982-12-07 Hughes Aircraft Company Imaging system having multiple image copying and hierarchical busing
US9497457B1 (en) 2012-10-18 2016-11-15 Altia Systems Inc Repacking of panoramic video based on standard image formats
US10257523B2 (en) * 2012-12-14 2019-04-09 Avago Technologies International Sales Pte. Limited Adaptive decoding system
JP6365899B2 (ja) 2013-08-22 2018-08-01 ソニー株式会社 信号処理装置、信号処理方法、プログラム、及び、信号伝送システム
US10154204B2 (en) * 2017-03-09 2018-12-11 Nokia Of America Corporation Video compressive sensing with side information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100037283A1 (en) * 2008-08-05 2010-02-11 Ning Zhu Multi-Stream Digital Display Interface
US20120293710A1 (en) * 2011-05-19 2012-11-22 Shigeyuki Yamashita Signal transmission apparatus, signal transmission method, signal reception apparatus, signal reception method, and signal transmission system
US20150082343A1 (en) * 2012-07-24 2015-03-19 Cbs Interactive Inc. Techniques to provide an enhanced video replay
US20170039145A1 (en) * 2015-03-09 2017-02-09 Intel Corporation Memcached systems having local caches
US20170195622A1 (en) * 2015-12-30 2017-07-06 Silergy Semiconductor Technology (Hangzhou) Ltd Methods of transmitting and receiving audio-video data and transmission system thereof

Also Published As

Publication number Publication date
JP6896151B2 (ja) 2021-06-30
US10701367B2 (en) 2020-06-30
IL270733A (en) 2020-01-30
CA3070063A1 (en) 2019-02-14
US20190052887A1 (en) 2019-02-14
EP3665899A1 (en) 2020-06-17
JP2020529175A (ja) 2020-10-01
WO2019032160A1 (en) 2019-02-14
CA3070063C (en) 2021-10-19
TW201921908A (zh) 2019-06-01
KR20200010484A (ko) 2020-01-30
IL270733B (en) 2020-11-30
KR102220742B1 (ko) 2021-02-26

Similar Documents

Publication Publication Date Title
JP5231563B2 (ja) 立体映像データを記録する方法
US20210289145A1 (en) Transporting ultra-high definition video from multiple sources
AU2018230038B2 (en) Transporting ultra-high definition video from multiple sources
TWI713364B (zh) 藉由現有ｈｄ視訊架構編碼原始高幀率視訊的方法
KR102225111B1 (ko) 기존 hd 비디오 아키텍처를 통해 원시 uhd 비디오를 인코딩 및 프로세싱하는 방법
JP2009194758A (ja) 映像記録装置、映像再生装置、映像記録再生システム、方法、およびプログラム
KR101447190B1 (ko) 초고화질 영상을 위한 컨텐츠 실시간 캡쳐 방법 및 재생 방법