TWI771590B - 編碼具有重疊之視訊之方法及系統 - Google Patents

編碼具有重疊之視訊之方法及系統 Download PDF

Info

Publication number
TWI771590B
TWI771590B TW108119116A TW108119116A TWI771590B TW I771590 B TWI771590 B TW I771590B TW 108119116 A TW108119116 A TW 108119116A TW 108119116 A TW108119116 A TW 108119116A TW I771590 B TWI771590 B TW I771590B
Authority
TW
Taiwan
Prior art keywords
image frame
frame
output image
additional
overlapping
Prior art date
Application number
TW108119116A
Other languages
English (en)
Other versions
TW202013972A (zh
Inventor
亞歷山大 泰瑞森
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202013972A publication Critical patent/TW202013972A/zh
Application granted granted Critical
Publication of TWI771590B publication Critical patent/TWI771590B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

本發明揭示一種編碼視訊資料之方法。該方法包括：接收包括第一及第二輸入影像圖框之一影像序列；將一重疊添加至該等第一及第二輸入影像圖框，藉此產生包括第一及第二經產生影像圖框之一重疊影像序列；及編碼含有不具有重疊之輸出影像圖框及具有重疊之對應輸出影像圖框的一視訊流。將該第一輸入影像圖框編碼為一框內圖框(S41)以形成一第一輸出影像圖框。參考該第一輸出影像圖框將該第二輸入影像圖框編碼為一框間圖框(43)以形成一第二輸出影像圖框。參考該第一輸出影像圖框將該第一經產生影像圖框編碼為一框間圖框(S42)以形成一第一重疊輸出影像圖框。將該第二經產生影像圖框編碼為一框間圖框(S44)以形成一第二重疊輸出影像圖框。參考該第一重疊輸出影像圖框編碼該第二經產生影像圖框之一第一部分(S441)，且參考該第二輸出影像圖框編碼該第二經產生影像圖框之一第二部分(S442)。本發明亦揭示一種視訊編碼系統及視訊傳輸系統。

Description

編碼具有重疊之視訊之方法及系統
本發明係關於視訊編碼之領域，且更特定言之係關於編碼具有一或多個重疊之視訊。
當顯示視訊時，在許多情況中期望在視訊上應用一重疊。例如，在監視情景中，具有展示何時擷取視訊之一時間戳係有用的。若可在一個位置(諸如一控制中心)觀看來自若干不同攝影機之視訊，則操作員可在顯示一標籤(例如，指示「攝影機5」或「卸貨平台」)時輕鬆地定位擷取一特定視訊序列之處。若在視訊上運行視訊分析，則可依重疊之形式應用事件之指示符。作為一實例，若一目標偵測演算法偵測到一人，則可應用圍繞該人之一定界框作為視訊上之一重疊。呈文字標誌形式之重疊廣泛用於廣播中且亦可用於其他應用(諸如監視)中。此等文字標誌通常為靜態的，但可為動態的，例如，指示視訊流仍為活動的，即使經擷取場景係靜態的。類似地，可應用字幕作為一重疊。重疊之另一應用係畫中畫，其中將一個視訊流顯示在另一視訊流前面。
重疊可依不同方式應用於視訊。一個常見方法係在其中將應用重疊之像素位置中用重疊的像素資料替換經擷取視訊之像素資料。此意味著該等位置中之原始像素資料丟失。
在廣播中，一重疊之應用通常沒有問題，此係因為原始視訊序列(諸如一影片或一電視節目)通常經擷取使得稍後由例如一電視台(TV station)標誌覆蓋之區域係不重要的。一般亦可自製作公司獲得無重疊之視訊序列。在其他應用(諸如監視)中，場景中之事件很少有劇本，且感興趣的細節或目標可能出現在將由一重疊覆蓋之區域中。有時，此僅會令操作員煩惱，但對於鑑識用途，其可為關鍵的。
此問題之一個解決方案係傳輸及儲存具有及不具有重疊之視訊序列兩者。然而，若應維持一足夠影像品質，則傳輸頻寬可能使此不可行。此外，儲存相同視訊序列之兩個版本增加對儲存容量之需求，此通常為一監視或監控系統之大部分成本之原因。
因此，需要用於編碼具有重疊之視訊之改良的方法及系統。
本發明之一目的係提供一種編碼視訊之方法，其可存取由一重疊覆蓋之視訊資料。
本發明之一目的亦係提供一種編碼具有重疊之視訊之方法，其可限制頻寬及儲存需求，同時維持一可接受的影像品質。
本發明之另一目的係提供一種用於編碼具有重疊之視訊之系統，其改良經編碼視訊之鑑識可用性。
另一目的係提供一種編碼系統，其實現提供有用視訊而未過分增加對傳輸頻寬或儲存容量之需求。
根據一第一態樣，完全或至少部分藉由一種編碼視訊資料之方法來達成此等及其他目的，該方法包括：接收包括一第一輸入影像圖框及一第二輸入影像圖框之一影像序列；接收待應用於該影像序列之一重疊，該重疊包括一圖像元素及用於將該圖像元素定位於該等第一及第二輸入影像圖框中的空間座標；根據該等空間座標將該圖像元素添加至該等第一及第二輸入影像圖框，藉此產生包括一第一經產生影像圖框及一第二經產生影像圖框之一重疊影像序列；編碼含有不具有重疊之輸出影像圖框及具有重疊之對應輸出影像圖框的一視訊流，其中：將該第一輸入影像圖框編碼為一框內圖框(intra-frame)以形成一第一輸出影像圖框，參考該第一輸出影像圖框將該第二輸入影像圖框編碼為一框間圖框以形成一第二輸出影像圖框，參考該第一輸出影像圖框將該第一經產生影像圖框編碼為一框間圖框以形成一第一重疊輸出影像圖框，將該第二經產生影像圖框編碼為一框間圖框以形成一第二重疊輸出影像圖框，其中參考該第一重疊輸出影像圖框編碼該第二經產生影像圖框之一第一部分，且參考該第二輸出影像圖框編碼該第二經產生影像圖框之一第二部分。此一方法可依一有效率方式傳輸具有及不具有重疊之視訊。藉由明智地選取將哪一圖框(具有或不具有重疊)用作參考圖框，可抑制在簡單地各別編碼具有及不具有重疊之視訊時將發生之一位元率增加。
該第一輸出影像圖框及該第一重疊輸出影像圖框兩者可依一第一圖像順序計數編碼，且該第二輸出影像圖框及該第二重疊輸出影像圖框兩者可依一第二圖像順序計數編碼。以此方式，一解碼器可被告知該等輸出影像圖框及該等重疊輸出影像圖框係相同圖框之版本。
在該方法之一些變體中，該第一輸出影像圖框及該第二輸出影像圖框各自用一非顯示指示符編碼。以此方式，將僅顯示具有重疊之該等影像圖框，即使該經編碼序列亦含有不具有重疊之影像圖框。取決於所使用之視訊壓縮標準，該非顯示指示符可採取不同形成，諸如一「無顯示SEI訊息」或一「非顯示旗標」。
該第二經產生圖框之該第一部分可含有該圖像元素之至少一部分。因此，若該第二經產生圖框之一巨集區塊或像素群組定位於應用該重疊之處，則該巨集區塊或像素群組可參考該第一重疊輸出影像圖框編碼。此利用該第一經產生圖框與該第二經產生圖框之間之時間冗餘，尤其是在該重疊係靜態時。該第一部分可為一巨集區塊或對應寫碼單元或若干此等巨集區塊或寫碼單元。
該第二經產生圖框之該第二部分可在該重疊之該等空間座標外部。因此，若該第二經產生圖框之一巨集區塊或像素群組定位於未應用該重疊之處，則該巨集區塊或像素群組可參考該第二重疊輸出影像圖框編碼。據此，編碼可為有效率的，此係因為使用該經編碼第二輸出影像，其惟該重疊除外一般與該第二重疊輸出影像圖框相同，使得不必重複編碼工作。以與針對該第一部分所論述相同之方式，該第二部分可為一巨集區塊或對應寫碼單元或若干此等巨集區塊或寫碼單元。
在一些變體中，該方法進一步包括：接收待應用於該影像序列之一額外重疊，該額外重疊包括一額外圖像元素及用於將該額外圖像元素定位於該等第一及第二輸入影像圖框中的額外空間座標；根據該等額外空間座標將該額外圖像元素添加至該等第一及第二輸入影像圖框，藉此產生包括一第一額外經產生影像圖框及一第二額外經產生影像圖框之一額外重疊影像序列；其中編碼含有不具有重疊之輸出影像圖框及具有重疊之對應輸出影像圖框的一視訊流額外地包括：編碼具有額外重疊之對應輸出影像圖框，其中：參考該第一輸出影像圖框將該第一額外經產生影像圖框編碼為一框間圖框以形成一第一額外重疊輸出影像圖框，將該第二額外經產生影像圖框編碼為一框間圖框以形成一第二額外重疊輸出影像圖框，其中參考該第一額外重疊輸出影像圖框編碼該第二額外經產生影像圖框之一第一部分，且參考該第二輸出影像圖框編碼該第二額外經產生影像圖框之一第二部分。可見，相同原理可用於編碼應用於一視訊序列上之任何數目個不同重疊。
該第二額外經產生圖框之該第一部分可含有該額外圖像元素之至少一部分。以與編碼僅具有一個重疊之視訊時相同之方式，此實現對一額外重疊之有效率編碼。
類似地，該第二額外經產生圖框之該第二部分可在該額外重疊之該等額外空間座標外部。如在一個重疊之情況中，此可限制編碼工作量。
根據一第二態樣，完全或至少部分藉由一種視訊編碼系統來達成上述目的，該系統包括：一影像接收器，其經配置以接收包括一第一輸入影像圖框及一第二輸入影像圖框之一影像序列；一重疊接收器，其經配置以接收待應用於該影像序列之一重疊，該重疊包括一圖像元素及用於將該圖像元素定位於該等第一及第二輸入影像圖框中的空間座標；一重疊應用器(applicator)，其經配置以根據該等空間座標將該圖像元素添加至該等第一及第二輸入影像圖框，藉此產生包括一第一經產生影像圖框及一第二經產生影像圖框之一重疊影像序列；一編碼器，其經配置以編碼含有不具有重疊之輸出影像圖框及具有重疊之對應輸出影像圖框的一視訊流，其中：將該第一輸入影像圖框編碼為一框內圖框以形成一第一輸出影像圖框，參考該第一輸出影像圖框將該第二輸入影像圖框編碼為一框間圖框以形成一第二輸出影像圖框，參考該第一輸出影像圖框將該第一經產生影像圖框編碼為一框間圖框以形成一第一重疊輸出影像圖框，將該第二經產生影像圖框編碼為一框間圖框以形成一第二重疊輸出影像圖框，其中參考該第一重疊輸出影像圖框編碼該第二經產生影像圖框之一第一部分，且參考該第二輸出影像圖框編碼該第二經產生影像圖框之一第二部分。此一系統可編碼具有及不具有重疊之一序列影像，使得在由該重疊覆蓋時將丟失之視訊資料仍為可存取的。該系統亦可避免過分增加頻寬及儲存需求，同時維持有用影像品質。
在該視訊編碼系統之一些實施例中，該編碼器經配置以用一非顯示指示符編碼該第一輸出影像圖框及該第二輸出影像圖框之各者。因此，即使該經編碼視訊序列含有具有以及不具有重疊之影像圖框，仍將僅顯示具有重疊之該等影像圖框。不具有重疊之該等影像圖框仍可被儲存以供稍後使用。如上文提及，取決於所使用之視訊壓縮標準，該非顯示指示符可以各種方式實施。
在一些實施例中，該重疊接收器額外地經配置以接收待應用於該影像序列之一額外重疊，該額外重疊包括一額外圖像元素及用於將該額外圖像元素定位於該等第一及第二輸入影像圖框中的額外空間座標；該重疊應用器額外地經配置以根據該等額外空間座標將該額外圖像元素添加至該等第一及第二輸入影像圖框，藉此產生包括一第一額外經產生影像圖框及一第二額外經產生影像圖框之一額外重疊影像序列；且該編碼器經配置以編碼額外地含有具有額外重疊之對應輸出影像圖框之該視訊流，其中：參考該第一輸出影像圖框將該第一額外經產生影像圖框編碼為一框間圖框以形成一第一額外重疊輸出影像圖框，將該第二額外經產生影像圖框編碼為一框間圖框以形成一第二額外重疊輸出影像圖框，其中參考該第一額外重疊輸出影像圖框編碼該第二額外經產生影像圖框之一第一部分，且參考該第二輸出影像圖框編碼該第二額外經產生影像圖框之一第二部分。此一系統亦在期望應用一或多個額外重疊時實現對具有及不具有重疊之一視訊序列之有效率編碼。
根據一第三態樣，完全或至少部分藉由一種視訊傳輸系統來達成上述目的，該系統包括：根據第一態樣之一編碼系統；及一解碼系統，該解碼系統包括：一視訊接收器，其經配置以自該編碼系統接收經編碼視訊流；及一解碼器，其經配置以解碼該經編碼視訊流。此一視訊傳輸系統提供以一有效率方式傳輸具有及不具有重疊之視訊資料的可能性，而容許存取將由重疊隱藏之視訊資料。
該解碼器經配置以用一非顯示指示符解碼該等第一及第二輸出影像，類似於上文已針對該編碼器提及之內容。
該視訊傳輸系統進一步可包括一轉碼器，該轉碼器包括該解碼器，其中該轉碼器經配置以解碼該等第一及第二輸出影像圖框而形成含有不具有重疊之經解碼影像圖框之一第一經解碼視訊流，且解碼該等第一及第二重疊輸出影像圖框以形成含有具有重疊之經解碼影像圖框之一第二經解碼視訊流。此可各別地處置具有及不具有重疊之該等視訊序列。例如，可儲存不具有重疊之該第一經解碼視訊流用於可能稍後鑑識用途，且可將具有重疊之該第二經解碼視訊流傳輸至例如一控制中心，該視訊流可在該控制中心處顯示給一操作員。在一些場景中，可將該第一經解碼視訊流傳輸至需要看見不具有重疊之該視訊流的一使用者，且可將該第二經解碼視訊流傳輸至應看見具有重疊之該視訊流的一使用者。
根據一第四態樣，完全或至少部分藉由一種包括根據第二態樣之一編碼系統的攝影機來達成上述目的。
自下文給出之詳細描述將明白本發明之適用性之進一步範疇。然而，應瞭解，雖然詳細描述及特定實例指示本發明之較佳實施例，但其等僅以繪示之方式給出，此係因為熟習此項技術者自此詳細描述將明白在本發明之範疇內之各種改變及修改。
因此，應瞭解，本發明不限於所描述裝置之特定組件部分或所描述方法之步驟，此係因為此裝置及方法可變化。亦應瞭解，本文中使用之術語僅出於描述特定實施例之目的且並不意欲為限制性的。必須注意，如在說明書及隨附技術方案中使用，冠詞「一」、「一個」、「該」及「所述」意欲意謂存在元件之一或多者，除非上下文另有明確規定。因此，例如，對「一物件」或「該物件」之引用可包括數個物件，諸如此類。此外，字詞「包括」不排除其他元件或步驟。
在圖1中，展示一影像1，且在圖2中，展示一對應影像1’，已將一重疊10應用於影像1’。如下文將進一步論述，重疊10包括一圖像元素11及指定應將圖像元素11應用之影像1’中之何處的空間座標。可接收呈若干不同格式之圖像元素11，諸如一文字串、一基於向量之格式或作為一點陣圖。在所展示之實例中，重疊10係靜態的，且圖像元素11係一文字「攝影機1 (Cam 1)」，其識別將影像擷取至一操作員之攝影機。此外，在此實例中，亦存在一額外重疊20，其包括一額外圖像元素21及指定在影像1’中之何處應用額外圖像元素21的額外空間座標。額外重疊20係動態的，且額外圖像元素21顯示擷取影像1’之時間。應注意，絕不限制所展示之重疊之數目，且本發明可搭配一或多個重疊使用。亦應注意，在兩個或更多個重疊之情況中，其等可為靜態或動態重疊之任何組合。
在下文中，將描述編碼具有至少一個重疊之一視訊序列。在此內容背景中，不具有重疊之影像1將被稱為一第一輸入影像圖框1，且具有重疊之對應影像1’將被稱為一第一經產生影像圖框1’，因為具有重疊之影像1’係藉由將重疊添加至第一輸入影像圖框1而產生。
圖3繪示包含一第一輸入影像圖框1、一第二輸入影像圖框2及一第三輸入影像圖框3之一影像序列。參考圖6，在步驟S1中接收此影像序列。亦展示具有重疊之一對應影像序列，其包含一第一經產生影像圖框1’、一第二經產生影像圖框2’及一第三經產生影像圖框3’。在步驟S2中，接收重疊10及額外重疊20。
經產生影像圖框1’、2’、3’係藉由將圖像元素11及額外圖像元素20在由空間座標及額外空間座標指示之位置中添加至輸入影像圖框1、2、3而產生。在圖6中，此被指示為步驟S3。靜態重疊10在各經產生影像1’至3’中係相同的，而動態重疊20在影像擷取期間根據時間推移自一個經產生影像至下一經產生影像改變。
為了能夠傳輸及儲存具有及不具有重疊之視訊序列，對其進行編碼以減少表示影像圖框所需之位元數。可根據各種視訊壓縮標準進行編碼，例如，根據H.264或H.265標準。根據本發明，修改編碼以實現對具有重疊之視訊序列之尤其有效率編碼，而亦容許存取不具有重疊之視訊序列。在圖6中，編碼被指示為步驟S4。對於對編碼之一更詳細繪示，參考圖7。
圖4中之影像圖框之間之箭頭指示哪一參考圖框用於編碼一特定影像圖框1至3或經產生影像圖框1’至3’。
現將參考圖3至圖7描述根據本發明編碼之一實例。圖4類似於圖3，但其展示經編碼影像圖框。當編碼輸入影像圖框1至3及經產生影像圖框1’至3’時，將第一輸入影像圖框1編碼為一框內圖框，即，不參考任何其他影像圖框(S41)。此經編碼圖框將被稱為一第一輸出影像圖框1E 。此依與通常根據所使用之視訊壓縮標準所進行相同之方式進行。運用第一輸出影像圖框之一經解碼版本作為參考圖框將第一經產生影像圖框1’編碼為一框間圖框(S42)，而形成一第一重疊輸出圖框1’E 。惟重疊10及額外重疊20除外，第一經產生影像圖框1與第一輸入影像圖框相同。對於不含有任何重疊之第一經產生影像圖框1’之部分，可因此使用略過區塊有利地進行框間編碼，此意味著自參考圖框複製經編碼巨集區塊之資料。亦可使用框間寫碼(inter-coding)來編碼含有重疊之第一產生影像1’之部分(即，作為P區塊)，但由於第一輸入影像圖框不含有重疊，故在大多數情況中，藉由框內寫碼(intra-coding)編碼重疊及額外重疊之區域中之巨集區塊(即，作為I區塊)將為更有效率的。第一經產生影像圖框之框間編碼依與往常相同之方式進行。
參考第一輸出影像圖框1之一經解碼版本將第二輸入影像圖框2編碼為一框間圖框(S43)，而形成一第二輸出影像圖框2E 。此亦如通常針對壓縮標準般進行。
將第二經產生影像圖框2’編碼為一框間圖框(S44)，而形成一第二重疊輸出圖框2’E 。不同於第一輸入影像圖框1及第二輸入影像圖框2以及第一經產生影像圖框1’，第二經產生影像圖框2’係使用兩個參考圖框編碼。針對第二經產生影像圖框2’之不同部分，參考圖框之選取係不同的。轉至圖5，將第二經產生影像圖框2’劃分為兩個部分，其中定位重疊之一第一部分A，及其中不存在重疊之一第二部分B。可依各種方式進行劃分。在圖5a中，將第二經產生影像圖框2’簡單分成兩半。在圖5b中，第一部分A係在影像圖框之頂部處之一帶。在圖5c中，第一部分A由兩個區域組成，一個區域圍繞各重疊，且在圖5d中，第一部分A係含有重疊10之部分之一巨集區塊，且第二部分B係不含有任何重疊之一巨集區塊。
在下文中，假定第一部分A係在重疊10之區域中之一巨集區塊，且第二部分B係在其中不存在重疊之影像之一區域中(即，在空間座標及額外空間座標外部)的一巨集區塊。當編碼第一部分A時，將第一重疊輸出圖框1’E 用作參考圖框，如在步驟S441中指示。由於第一部分A含有重疊10之至少部分，故其有可能比第二輸出影像圖框2E 更類似於第一重疊輸出圖框1’E 之一對應部分，尤其是在重疊10係靜態時。若場景中存在大量移動使得第一輸入影像圖框1與第二輸入影像圖框2有大量不同，則可更有效率地使用第二輸出影像圖框2E 作為參考圖框，尤其是在僅第一部分A之一小部分由重疊10覆蓋時。在重疊係動態時(諸如額外重疊20)情況亦可如此，此係因為可存在逐圖框改變之許多像素。因此，可在第一部分A僅由重疊10部分覆蓋時進行一選取，使得最可能產生最小位元率之參考圖框被選擇為第一重疊輸出圖框1’E 或第二輸出影像圖框2E 。
當編碼第二重疊影像圖框2’之第二部分B時，將第二輸出影像圖框2E 用作參考，如在步驟S442中指示。由於第二部分在重疊10、20外部，故其本質上應與第二輸出影像圖框2E 之對應部分相同。
接著，編碼以相同方式針對第三輸入影像圖框3及第三經產生影像圖框3’進行。因此，使用第二輸出影像圖框2E 作為參考圖框將第三輸出影像圖框編碼為一框間圖框。亦將第三經產生影像圖框3’編碼為一框間圖框，但針對影像圖框之不同部分運用不同參考圖框。當編碼含有重疊10或額外重疊20之部分之第三經產生影像圖框的該等巨集區塊時，將第二重疊輸出影像圖框2’E 用作參考，且當編碼定位於重疊10及額外重疊外部之巨集區塊時，將第三輸出影像圖框3E 用作參考圖框。
編碼繼續如此進行，直至到達一群組之圖像(簡言之，一GOP)之末尾。圖像群組之長度亦稱為一GOP長度，且此可為固定的、由使用者設定或受動態控制。當一新GOP起始時，編碼又一次以一框內圖框開始(如在步驟S41中指示)，以框間圖框繼續(如在步驟S42、S43、S44、S441及S442中)，直至已到達該GOP之末尾。
運用如上文描述之一方法，可編碼相同串流中之具有及不具有重疊之影像圖框。使用兩個不同參考圖框用於編碼具有重疊之影像限制在兩個版本中編碼各影像圖框所需之位元數。在所展示之實例中，存在兩個重疊，但該方法在使用僅一個或兩個以上重疊時同樣適用。
當在一控制中心中例如即時地顯示或自一記錄回放經編碼視訊序列時，可採取不同措施顯示所要影像。例如，H.265標準具有對非顯示旗標之支援。此意味著當編碼一影像圖框時，可用一非顯示旗標對其進行標記，且在一相容解碼器解碼影像圖框時，該解碼器讀取非顯示旗標且因此不顯示影像圖框。若本發明在一H.265編解碼器中實施，則此特徵可用於確保在解碼之後僅顯示重疊輸出影像圖框。因此，用一非顯示旗標編碼各輸出影像圖框1E 至3E 。據此，儘管經編碼及經解碼視訊序列含有具有及不具有重疊之影像，然將僅顯示具有重疊之影像。
亦存在不支援非顯示旗標之視訊壓縮標準，諸如H.264。在此情況中，若輸出影像圖框1E 至3E 用非顯示旗標編碼，則一標準H.264解碼器將不會按預期處置此等圖框。因此，將需要使用一經修改解碼器，其經程式化以處置非顯示旗標。
參考圖8，現將描述根據本發明之一實施例之一編碼系統。展示一編碼系統80，其具有一影像接收器81。影像接收器81經配置以接收包括一第一輸入影像圖框及一第二輸入影像圖框之一影像序列，諸如上文描述。編碼系統進一步包括一重疊接收器82及一重疊應用器83。重疊接收器82經配置以接收待應用於影像序列之一重疊，重疊包括一圖像元素及用於將圖像元素定位於第一及第二輸入影像圖框中的空間座標。重疊應用器83經配置以根據空間座標將圖像元素添加至第一及第二輸入影像圖框，藉此產生包括一第一經產生影像圖框及一第二經產生影像圖框之一重疊影像序列。視訊編碼系統80亦包括一編碼器84，其經配置以編碼含有不具有重疊之輸出影像圖框及具有重疊之對應輸出影像圖框的一視訊流。如上文描述，當編碼時，編碼器經配置以將第一輸入影像圖框編碼為一框內圖框而形成一第一輸出影像圖框，參考第一輸出影像圖框將第二輸入影像圖框編碼為一框間圖框以形成一第二輸出影像圖框，參考第一輸出影像圖框將第一經產生影像圖框編碼為一框間圖框以形成一第一重疊輸出影像圖框，且將第二經產生影像圖框編碼為一框間圖框以形成一第二重疊輸出影像圖框，其中參考第一重疊輸出影像圖框編碼第二經產生影像圖框之一第一部分，且參考第二輸出影像圖框編碼第二經產生影像圖框之一第二部分。視訊編碼系統80可根據上文描述之方法操作，且因此此處將不會進一步描述操作。
參考圖9，編碼系統80可整合於一攝影機90中。攝影機90具有一鏡頭91、用於擷取影像之一影像感測器92及用於處理影像之一影像處理器93。應瞭解，攝影機90亦可包括其他組件，但因為其等與本發明無關，所以未在圖9中展示且此處將不會論述該等組件。應注意，視訊編碼系統80不必整合於一攝影機中，而是可配置為一單獨單元或整合於另一裝置中。
轉至圖10，將描述根據本發明之一實施例之一傳輸系統100。視訊傳輸系統100包括如上文描述之一視訊編碼系統80，及一解碼系統101。解碼系統101包括：一視訊接收器102，其經配置以自編碼系統80接收經編碼視訊流；及一解碼器103，其經配置以解碼經編碼視訊流。
可直接在解碼器之位置中觀看或儲存經解碼視訊序列。不管編碼系統80是否已用非顯示旗標編碼輸出影像圖框，解碼器皆可經配置以用非顯示旗標解碼輸出影像圖框。
解碼器103可為一轉碼器104之部分，轉碼器104經配置以解碼第一及第二輸出影像圖框而形成含有不具有重疊之經解碼影像圖框之一第一經解碼視訊流，且解碼第一及第二重疊輸出影像圖框以形成含有具有重疊之經解碼影像圖框之一第二經解碼視訊流。轉碼器104可進一步包括一重新編碼器105，其經配置以各別地編碼第一及第二經解碼視訊流之各者而形成一第一及第二經重新編碼視訊流。例如，第一經重新編碼視訊流可儲存於一儲存裝置106中，且第二經重新編碼視訊流可顯示於一顯示器107上(例如，一控制中心中)。顯示器107可連接至一視訊管理系統。在圖10中，一網路108展示為連接視訊傳輸系統之組件。此可為一區域網路或一廣域網路。作為一實例，編碼系統80可定位於一第一位置中，且經編碼視訊流可經由網路108傳輸至轉碼器104。轉碼器104可定位於遠離第一位置之一第二位置中。儲存裝置106及顯示器107可與轉碼器104並置，或定位於一第三位置中。此外，儲存裝置106及顯示器107可定位於不同位置中。傳輸系統100之不同使用者可被給予對第一或第二經解碼或經重新編碼視訊流之存取，此取決於其等已被給予之存取權限。例如，在一安全中心中之一操作員可僅存取第二經解碼或經重新解碼視訊流，而一警員可存取第一經解碼或經重新編碼視訊流。
將瞭解，熟習此項技術者可以許多方式修改上文描述之實施例且仍使用如上文實施例中展示之本發明之優點。作為一實例，可能已使用任何種類之攝影機擷取輸入影像圖框，諸如採用可見光或IR之一攝影機、一熱攝影機或一ToF攝影機。攝影機可為一數位攝影機。攝影機可為連接至一數位化單元之類比攝影機。輸入影像可直接自攝影機接收，或其等可能之前已被擷取且在其等被編碼之前被儲存。
輸出影像圖框及重疊輸出影像圖框可連續編號，使得輸出影像圖框被給予奇數號，且重疊輸出影像圖框被給予偶數號，或反之亦然。可指示解碼器僅顯示奇數號或偶數號圖框以展示輸出影像圖框或重疊輸出影像圖框。
本發明之方法可實施為藉由一處理器執行之軟體。處理器可為任何種類之處理器，例如，一中央處理單元(CPU)、一圖形處理單元(GPU)、在一積體電路中實施之一定製處理裝置、一ASIC、一FPGA或包括離散組件之邏輯電路。
編碼系統及傳輸系統可實施為硬體、韌體或軟體，或其等之任何組合。
因此，本發明不應限於所展示之實施例，而是應僅藉由隨附發明申請專利範圍定義。
1:影像/第一輸入影像圖框 1’:影像/第一經產生影像圖框 1E:第一輸出影像圖框 1’E:第一重疊輸出圖框 2:第二輸入影像圖框 2’:第二經產生影像圖框/經產生影像 2E:第二輸出影像圖框 2’E:第二重疊輸出圖框/第二重疊輸出影像圖框 3:第三影像圖框 3’:第三經產生影像圖框/經產生影像 3E:第三輸出影像圖框 10:重疊 11:圖像元素 20:額外重疊 21:額外圖像元素 80:視訊編碼系統 81:影像接收器 82:重疊接收器 83:重疊應用器 84:編碼器 90:攝影機 91:鏡頭 92:影像感測器 93:影像處理器 100:傳輸系統 101:解碼系統 102:視訊接收器 103:解碼器 104:轉碼器 105:重新編碼器 106:儲存裝置 107:顯示器 108:網路 A:第一部分 B:第二部分 S1:步驟 S2:步驟 S3:步驟 S4:步驟 S41:將第一輸入影像圖框編碼為框內圖框/步驟 S42:將第一經產生影像圖框編碼為框間圖框/步驟 S43:參考第一輸出影像圖框之經解碼版本將第二輸入影像圖框編碼為框間圖框/步驟 S44:將第二經產生影像圖框編碼為框間圖框/步驟 S441:參考第一重疊輸出影像圖框編碼第二經產生影像圖框之第一部分/步驟 S442:參考第二輸出影像圖框編碼第二經產生影像圖框之第二部分/步驟
現將藉由實例且參考隨附示意圖式更詳細描述本發明，其中： 圖1係一場景之一影像之一繪示， 圖2係其中應用一重疊之圖1之影像之一繪示， 圖3係一序列輸入影像圖框及一對應重疊影像序列之一示意圖， 圖4係含有對應於圖3中之影像圖框之具有及不具有重疊的輸出影像圖框之一經編碼影像流之一示意圖， 圖5a至圖5d係分割圖2之重疊影像之實例之繪示， 圖6係根據一變體之編碼視訊之一方法的一流程圖， 圖7係圖6中之方法之部分之一流程圖， 圖8係一視訊編碼系統之一實施例之一方塊圖， 圖9係具有如圖5中之一視訊編碼系統的一攝影機之一方塊圖，及 圖10係一視訊傳輸系統之一實施例之一方塊圖。
S41:將第一輸入影像圖框編碼為框內圖框/步驟
S42:將第一經產生影像圖框編碼為框間圖框/步驟
S43:參考第一輸出影像圖框之經解碼版本將第二輸入影像圖框編 碼為框間圖框/步驟
S44:將第二經產生影像圖框編碼為框間圖框/步驟
S441:參考第一重疊輸出影像圖框編碼第二經產生影像圖框之第一部分/步驟
S442:參考第二輸出影像圖框編碼第二經產生影像圖框之第二部分/步驟

Claims (15)

  1. 一種在一攝影機(camera)中執行之用於編碼視訊資料之方法，其包括：接收包括一第一不經視訊編碼(not video encoded)之輸入影像圖框及一第二不經視訊編碼之輸入影像圖框之一影像序列；接收待應用於該影像序列之一重疊(overlay)，該重疊包括一圖像元素及用於將該圖像元素定位(positioning)於該第一輸入影像圖框及該第二輸入影像圖框中的空間座標；根據該等空間座標將該圖像元素添加至該第一輸入影像圖框及該第二輸入影像圖框，藉此產生包括一第一經產生影像圖框及一第二經產生影像圖框之一重疊影像序列；編碼含有不具有重疊(without overlay)之輸出影像圖框及具有重疊(with overlay)之對應輸出影像圖框的一視訊流(stream)，其中：將該第一輸入影像圖框編碼為一框內圖框(intra-frame)以形成一第一輸出影像圖框，參考該第一輸出影像圖框將該第二輸入影像圖框編碼為一框間圖框(inter-frame)以形成一第二輸出影像圖框，參考該第一輸出影像圖框將該第一經產生影像圖框編碼為一框間圖框以形成一第一重疊輸出影像圖框，將該第二經產生影像圖框編碼為一框間圖框以形成一第二重疊輸出影像圖框，其中參考該第一重疊輸出影像圖框編碼該第二經產生影像圖框之一第一部分，且參考該第二輸出影像圖框編碼該第二經產生影像圖框之 一第二部分，藉此由該等重疊輸出影像圖框中之該重疊所覆蓋之視訊資料可在不具有重疊之該等輸出影像圖框中存取(accessible)。
  2. 如請求項1之方法，其中該第一輸出影像圖框及該第二輸出影像圖框各自用一非顯示指示符編碼。
  3. 如請求項1之方法，其中該第二經產生圖框之該第一部分含有該圖像元素之至少一部分。
  4. 如請求項1之方法，其中該第二經產生圖框之該第二部分在該重疊之該等空間座標外部。
  5. 如請求項1之方法，其進一步包括：接收待應用於該影像序列之一額外重疊，該額外重疊包括一額外圖像元素及用於將該額外圖像元素定位於該第一輸入影像圖框及該第二輸入影像圖框中的額外空間座標，根據該等額外空間座標將該額外圖像元素添加至該第一輸入影像圖框及該第二輸入影像圖框，藉此產生包括一第一額外經產生影像圖框及一第二額外經產生影像圖框之一額外重疊影像序列，其中編碼含有不具有重疊之輸出影像圖框及具有重疊之對應輸出影像圖框的一視訊流額外地包括：編碼具有額外重疊之對應輸出影像圖框，其中： 參考該第一輸出影像圖框將該第一額外經產生影像圖框編碼為一框間圖框以形成一第一額外重疊輸出影像圖框，將該第二額外經產生影像圖框編碼為一框間圖框以形成一第二額外重疊輸出影像圖框，其中參考該第一額外重疊輸出影像圖框編碼該第二額外經產生影像圖框之一第一部分，且參考該第二輸出影像圖框編碼該第二額外經產生影像圖框之一第二部分。
  6. 如請求項5之方法，其中該第二額外經產生圖框之該第一部分含有該額外圖像元素之至少一部分。
  7. 如請求項1之方法，其中該第二額外經產生圖框之該第二部分在該額外重疊之該等額外空間座標外部。
  8. 一種視訊攝影機，其包括一視訊編碼系統，該視訊編碼系統包括：一影像接收器，其經配置以接收包括一第一不經視訊編碼之輸入影像圖框及一第二不經視訊編碼之輸入影像圖框之一影像序列，一重疊接收器，其經配置以接收待應用於該影像序列之一重疊，該重疊包括一圖像元素及用於將該圖像元素定位於該第一輸入影像圖框及該第二輸入影像圖框中的空間座標，一重疊應用器，其經配置以根據該等空間座標將該圖像元素添加至該第一輸入影像圖框及該第二輸入影像圖框，藉此產生包括一第一經產生影像圖框及一第二經產生影像圖框之一重疊影像序列，一編碼器，其經配置以編碼含有不具有重疊之輸出影像圖框及具有 重疊之對應輸出影像圖框的一視訊流，其中：將該第一輸入影像圖框編碼為一框內圖框以形成一第一輸出影像圖框，參考該第一輸出影像圖框將該第二輸入影像圖框編碼為一框間圖框以形成一第二輸出影像圖框，參考該第一輸出影像圖框將該第一經產生影像圖框編碼為一框間圖框以形成一第一重疊輸出影像圖框，將該第二經產生影像圖框編碼為一框間圖框以形成一第二重疊輸出影像圖框，其中參考該第一重疊輸出影像圖框編碼該第二經產生影像圖框之一第一部分，且參考該第二輸出影像圖框編碼該第二經產生影像圖框之一第二部分，藉此由該等重疊輸出影像圖框中之該重疊所覆蓋之視訊資料可在不具有重疊之該等輸出影像圖框中存取。
  9. 如請求項8之視訊攝影機，其中該編碼器經配置以依一第一圖像順序計數編碼該第一輸出影像圖框及該第一重疊輸出影像圖框兩者，且依一第二圖像順序計數編碼該第二輸出影像圖框及該第二重疊輸出影像圖框兩者。
  10. 如請求項8之視訊攝影機，其中該編碼器經配置以用一非顯示指示符編碼該第一輸出影像圖框及該第二輸出影像圖框之各者。
  11. 如請求項8之視訊攝影機，其中 該重疊接收器額外地經配置以接收待應用於該影像序列之一額外重疊，該額外重疊包括一額外圖像元素及用於將該額外圖像元素定位於該第一輸入影像圖框及該第二輸入影像圖框中地之額外空間座標，該重疊應用器額外地經配置以根據該等額外空間座標將該額外圖像元素添加至該第一輸入影像圖框及該第二輸入影像圖框，藉此產生包括一第一額外經產生影像圖框及一第二額外經產生影像圖框之一額外重疊影像序列，且該編碼器經配置以編碼額外地含有具有額外重疊之對應輸出影像圖框之該視訊流，其中：參考該第一輸出影像圖框將該第一額外經產生影像圖框編碼為一框間圖框以形成一第一額外重疊輸出影像圖框，將該第二額外經產生影像圖框編碼為一框間圖框以形成一第二額外重疊輸出影像圖框，其中參考該第一額外重疊輸出影像圖框編碼該第二額外經產生影像圖框之一第一部分，且參考該第二輸出影像圖框編碼該第二額外經產生影像圖框之一第二部分。
  12. 一種視訊傳輸系統，其包括如請求項8之一編碼系統，及一解碼系統，該解碼系統包括：一視訊接收器，其經配置以自該編碼系統接收該經編碼視訊流，及一解碼器，其經配置以解碼該經編碼視訊流。
  13. 如請求項12之視訊傳輸系統，其中該解碼器經配置以用一非顯示指示符解碼該第一及該第二輸出影像。
  14. 如請求項12之視訊傳輸系統，其進一步包括一轉碼器，該轉碼器包括該解碼器，其中該轉碼器經配置以解碼該第一及該第二輸出影像圖框以形成含有不具有重疊之經解碼影像圖框之一第一經解碼視訊流，及解碼該第一重疊輸出影像圖框及該第二重疊輸出影像圖框以形成含有具有重疊之經解碼影像圖框之一第二經解碼視訊流。
  15. 一種攝影機，其包括一編碼系統，該編碼系統包括：一影像接收器，其經配置以接收包括一第一不經視訊編碼之輸入影像圖框及一第二不經視訊編碼之輸入影像圖框之一影像序列，一重疊接收器，其經配置以接收待應用於該影像序列之一重疊，該重疊包括一圖像元素及用於將該圖像元素定位於該第一輸入影像及該第二輸入影像圖框中的空間座標，一重疊應用器，其經配置以根據該等空間座標將該圖像元素添加至該第一輸入影像圖框及該第二輸入影像圖框，藉此產生包括一第一經產生影像圖框及一第二經產生影像圖框之一重疊影像序列，一編碼器，其經配置以編碼含有不具有重疊之輸出影像圖框及具有重疊之對應輸出影像圖框的一視訊流，其中：將該第一輸入影像圖框編碼為一框內圖框以形成一第一輸出影像圖框，參考該第一輸出影像圖框將該第二輸入影像圖框編碼為一框間圖框以形成一第二輸出影像圖框， 參考該第一輸出影像圖框將該第一經產生影像圖框編碼為一框間圖框以形成一第一重疊輸出影像圖框，將該第二經產生影像圖框編碼為一框間圖框以形成一第二重疊輸出影像圖框，其中參考該第一重疊輸出影像圖框編碼該第二經產生影像圖框之一第一部分，且參考該第二輸出影像圖框編碼該第二經產生影像圖框之一第二部分，藉此藉由該等重疊輸出影像圖框中之該重疊所覆蓋之視訊資料可在不具有重疊之該等輸出影像圖框中存取。
TW108119116A 2018-07-02 2019-06-03 編碼具有重疊之視訊之方法及系統 TWI771590B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18181175.3 2018-07-02
EP18181175.3A EP3591972A1 (en) 2018-07-02 2018-07-02 Method and system for encoding video with overlay

Publications (2)

Publication Number Publication Date
TW202013972A TW202013972A (zh) 2020-04-01
TWI771590B true TWI771590B (zh) 2022-07-21

Family

ID=62909358

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108119116A TWI771590B (zh) 2018-07-02 2019-06-03 編碼具有重疊之視訊之方法及系統

Country Status (6)

Country Link
US (1) US11070833B2 (zh)
EP (1) EP3591972A1 (zh)
JP (1) JP7309478B2 (zh)
KR (1) KR20200003715A (zh)
CN (1) CN110677672B (zh)
TW (1) TWI771590B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101905830B1 (ko) 2016-11-15 2018-10-08 울산과학기술원 국부 냉각 마취 장치, 국부 냉각 마취 장치의 제어 방법 및 국부 냉각 마취 장치의 냉각 온도 조절기
KR20180131354A (ko) 2017-05-30 2018-12-10 주식회사 리센스메디컬 착탈식 냉각 매체
EP3474548A1 (en) * 2017-10-18 2019-04-24 Axis AB Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
KR102517065B1 (ko) 2017-12-29 2023-04-03 주식회사 리센스메디컬 냉각발생장치
ES2941267T3 (es) 2018-04-27 2023-05-19 Recensmedical Inc Aparato de enfriamiento y método de enfriamiento
US11666479B2 (en) 2018-08-19 2023-06-06 Recensmedical, Inc. Device for cooling anesthesia by chilled fluidic cooling medium
USD921911S1 (en) 2019-06-21 2021-06-08 Recensmedical, Inc. Medical cooling device
USD921211S1 (en) 2019-06-21 2021-06-01 Recensmedical, Inc. Medical cooling device
US11336902B1 (en) * 2019-06-27 2022-05-17 Meta Platforms, Inc. Systems and methods for optimizing video encoding
EP3796655B1 (en) * 2019-09-20 2021-11-03 Axis AB Video privacy mask in forward predicted video frame
USD968627S1 (en) 2020-08-07 2022-11-01 Recensmedical, Inc. Medical cooling device
USD968626S1 (en) 2020-08-07 2022-11-01 Recensmedical, Inc. Medical cooling device
USD977633S1 (en) 2020-08-07 2023-02-07 Recensmedical, Inc. Cradle for a medical cooling device
US11490036B1 (en) * 2020-09-15 2022-11-01 Meta Platforms, Inc. Sharing videos having dynamic overlays
EP3996367B1 (en) * 2020-11-05 2023-07-26 Axis AB Method and image-processing device for video processing
EP4020998A1 (en) 2020-12-23 2022-06-29 Axis AB Encoding of modified video
EP4231638A1 (en) * 2022-02-17 2023-08-23 Axis AB Encoding of a video stream including an overlay
EP4387228A1 (en) * 2022-12-15 2024-06-19 Axis AB Method and device for combining image data from two or more encoded image frames

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016026526A2 (en) * 2014-08-20 2016-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video composition
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4375305B2 (ja) * 2004-10-26 2009-12-02 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US20110109721A1 (en) * 2009-11-06 2011-05-12 Sony Corporation Dynamic reference frame reordering for frame sequential stereoscopic video encoding
CN102572560B (zh) * 2012-02-08 2015-04-22 北京数码视讯科技股份有限公司 传输流台标字幕插入系统中跳过宏块的处理方法和装置
US9485515B2 (en) * 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
CN103813174B (zh) * 2012-11-12 2016-04-27 腾讯科技（深圳）有限公司 一种混合分辨率编解码方法和装置
EP2903284A1 (en) * 2013-06-05 2015-08-05 Axis AB Method for encoding digital video data
EP3021579B1 (en) * 2014-11-14 2016-10-12 Axis AB Method and encoder system for encoding video
CN104469402A (zh) * 2014-12-13 2015-03-25 深圳国微技术有限公司 在压缩视频流中叠加应用数据的方法、装置及条件接收器
EP3200456A1 (en) * 2016-01-28 2017-08-02 Axis AB Video encoding method and video encoder system for temporal noise reduction
US10701400B2 (en) * 2017-03-21 2020-06-30 Qualcomm Incorporated Signalling of summarizing video supplemental information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016026526A2 (en) * 2014-08-20 2016-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video composition
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming

Also Published As

Publication number Publication date
JP7309478B2 (ja) 2023-07-18
CN110677672B (zh) 2024-06-07
EP3591972A1 (en) 2020-01-08
JP2020025251A (ja) 2020-02-13
US20200007883A1 (en) 2020-01-02
KR20200003715A (ko) 2020-01-10
US11070833B2 (en) 2021-07-20
CN110677672A (zh) 2020-01-10
TW202013972A (zh) 2020-04-01

Similar Documents

Publication Publication Date Title
TWI771590B (zh) 編碼具有重疊之視訊之方法及系統
US7953315B2 (en) Adaptive video processing circuitry and player using sub-frame metadata
TWI606718B (zh) 規定視覺動態範圍編碼操作及參數
US8107539B2 (en) Method for error concealment in video sequences
US20080007650A1 (en) Processing of removable media that stores full frame video & sub-frame metadata
US20080007649A1 (en) Adaptive video processing using sub-frame metadata
US20100150231A1 (en) Apparatus for reference picture resampling generation and method thereof and video decoding system using the same
US10999583B2 (en) Scalability of multi-directional video streaming
JP5869047B2 (ja) デジタルビデオデータを符号化するための方法
US8811483B2 (en) Video processing apparatus and method
CN109587478B (zh) 一种媒体信息的处理方法及装置
KR100746005B1 (ko) 다중 목적의 비디오 스트림을 처리하는 장치 및 방법
US7848410B2 (en) Video decoding methods and devices
US7042471B2 (en) Method and system for displaying descriptive information associated with a defined video object
CN113099237B (zh) 视频处理方法和装置
CN112672147A (zh) 一种基于投屏的解码方法、设备及系统
US20050105811A1 (en) Processing images
JP2005300943A (ja) 情報表示位置制御方法及び装置
JP2003179826A (ja) 画像再生表示装置
JP2006109060A (ja) 画像符号化情報を利用した手ぶれ補正方法及び装置
US10341665B2 (en) Method of providing random access for video data based on random accessible P-frame
JP3196753B2 (ja) 画像表示方法及び画像表示装置
US7529413B2 (en) Method for reducing data amount in an image memory system
CN114173207A (zh) 一种视频帧顺序传输的方法和系统
KR101336820B1 (ko) 다채널 트릭 모드에 특화된 복호화 장치 및 방법