TW202344061A - 用於將一個額外影像圖框或一序列之額外影像圖框增加至經編碼影像圖框之一串流的系統及方法 - Google Patents

用於將一個額外影像圖框或一序列之額外影像圖框增加至經編碼影像圖框之一串流的系統及方法 Download PDF

Info

Publication number
TW202344061A
TW202344061A TW112110603A TW112110603A TW202344061A TW 202344061 A TW202344061 A TW 202344061A TW 112110603 A TW112110603 A TW 112110603A TW 112110603 A TW112110603 A TW 112110603A TW 202344061 A TW202344061 A TW 202344061A
Authority
TW
Taiwan
Prior art keywords
image frames
stream
additional image
image frame
sequence
Prior art date
Application number
TW112110603A
Other languages
English (en)
Inventor
亞歷山大 泰瑞森
馬爾特 喬韓森
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202344061A publication Critical patent/TW202344061A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44245—Monitoring the upstream path of the transmission network, e.g. its availability, bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本發明揭示用於將一個額外影像圖框或一序列之額外影像圖框增加至經編碼影像圖框之一串流之方法、系統及非暫時性電腦可讀儲存媒體，其中經編碼影像圖框之該串流由藉由一編碼器編碼之影像圖框組成。偵測與以下中之至少一種類型相關之一事件：i)經編碼影像圖框之該串流之一發送器之操作狀態之一改變，及ii)經編碼影像圖框之該串流之該發送器與一接收器之間之連接狀態之一改變。取決於該經偵測事件之該類型而提供該一個額外影像圖框或該序列之額外影像圖框。該一個額外影像圖框或該序列之額外影像圖框之各額外影像圖框包括對一先前影像圖框之一參考且編碼相對於該先前影像圖框之一預定視覺改變。該預定視覺改變指示該經偵測事件之該類型。將該一個額外影像圖框或該序列之額外影像圖框增加至經編碼影像圖框之該串流以獲得影像圖框之一經組合串流。

Description

用於將一個額外影像圖框或一序列之額外影像圖框增加至經編碼影像圖框之一串流的系統及方法
本發明係關於將一個額外影像圖框或一序列之額外影像圖框增加至經編碼影像之一串流，且具體言之，其中該一個額外影像圖框或該序列之額外影像圖框編碼一預定視覺效應。
在其中藉由一攝影機擷取之一視訊之經編碼影像圖框之一串流被接收、解碼且在一顯示器中(例如，在一遠端位置處)顯示，且攝影機被故意關閉，攝影機歸因於故障而關閉或攝影機與顯示器位置之間之一連接故障之情境中，串流將被中斷且無進一步影像圖框將在顯示器位置處被接收。接著，視訊之顯示將(例如)因完全無影像圖框被顯示或因最後接收之影像圖框被連續顯示而被中斷。因此，觀看視訊之一人可意識到串流已被中斷但將不知道何原因。類似地，當起始攝影機之一重新啟動或攝影機與顯示器位置之間之連接之一恢復時且在於顯示器位置處產生並接收經編碼影像圖框之一新串流以進行解碼及顯示之前，觀看顯示器之一人將不知道視訊即將被顯示。
本發明之一目的係實現一種類型之一經偵測事件之經編碼影像圖框之一經解碼且經顯示串流中之識別，其中事件之類型係經編碼影像圖框之串流之一發送器之操作狀態之一改變及經編碼影像圖框之串流之發送器與一接收器之間之連接狀態之一改變之一者。
根據一第一態樣，提供一種用於將一個額外影像圖框或一序列之額外影像圖框增加至經編碼影像圖框之一串流之方法，其中經編碼影像圖框之該串流由藉由一編碼器編碼之影像圖框組成。該方法包括偵測與以下中之至少一種類型相關之一事件：經編碼影像圖框之該串流之一發送器之操作狀態之一改變，及經編碼影像圖框之該串流之該發送器與一接收器之間之連接狀態之一改變。取決於該經偵測事件之該類型而提供該一個額外影像圖框或該序列之額外影像圖框，其中該一個額外影像圖框或該序列之額外影像圖框之各額外影像圖框包括對一先前影像圖框之一參考且編碼相對於該先前影像圖框之一預定視覺改變。該預定視覺改變指示該經偵測事件之該類型。將該一個額外影像圖框或該序列之額外影像圖框增加至經編碼影像圖框之該串流以獲得影像圖框之一經組合串流。
由於該一個額外影像圖框或該序列之額外影像圖框編碼相對於先前影像圖框之預定視覺改變且預定視覺改變指示經偵測事件之類型，故當解碼且顯示經組合串流時，影像圖框之經組合串流將包含實現一經偵測事件之一類型之識別之資訊。具體言之，實現事件之類型是否係經編碼影像圖框之串流之一發送器之操作狀態之一改變或經編碼影像圖框之串流之發送器與一接收器之間之連接狀態之一改變之識別。
由於預定視覺改變係藉由該一個額外影像圖框或該序列之額外影像圖框編碼，故實現經偵測事件之類型之識別之資訊可在經組合串流內傳輸且藉由經配置以解碼且顯示經編碼影像圖框之串流之一解碼器及顯示器解碼且顯示而無需解碼器及顯示器之調適。
由於視覺改變係預定的且與一先前影像圖框相關，故可提前(即，在偵測到事件之前)產生該一個額外影像圖框或該序列之額外影像圖框，且儲存其等以用於在偵測到事件之後提供且增加。該一個額外影像圖框或該序列之額外影像圖框僅需要包含編碼此視覺改變之資料且非與經編碼影像圖框之串流相關之任何即時資料。
第一態樣之方法可進一步包括僅基於區塊類型(例如，一區塊是否係一間區塊(interblock)(諸如P或B區塊)、內區塊(intrablock)或跳過區塊(skipblock) )及預定運動向量及/或預定頻域係數產生該一個額外影像圖框或該序列之額外影像圖框之各額外影像圖框。因此，可僅使用軟體產生該一個額外影像圖框或該序列之額外影像圖框。此外，可提前(即，在偵測到事件之前)產生該一個額外影像圖框或該序列之額外影像圖框，且儲存其等以用於在偵測到事件之後提供且增加至經編碼影像圖框之串流。
在第一態樣之方法中，該一個額外影像圖框或該序列之額外影像圖框可各進一步包括具有預定運動向量及/或預定量化頻域係數之一或多個間區塊及具有預定量化頻域係數之一或多個內區塊之至少一者。該一個額外影像圖框或該序列之額外影像圖框可各進一步包括一或多個跳過區塊。
表達「預定運動向量」及「預定量化頻域係數」在本文中使用時意謂係預定的且單獨或組合編碼預定視覺改變之運動向量及量化頻域係數。例如，量化頻域係數可為量化離散餘弦變換(DCT)係數或取決於編碼標準之其他替代例。在AV1中，此等替代例可為量化非對稱離散正弦變換(DST)係數、量化翻轉ADST (FLIPADST)係數、量化恆等變換係數及量化沃爾什-哈達瑪(Walsh-Hadamard)變換(WHT)係數。後者亦可用於VP8中。
在第一態樣之方法中，該先前影像圖框可為以下中之一者：一經編碼影像圖框，其在經編碼影像圖框之該串流中；一經增加起始影像圖框，其對一起始影像進行內編碼；及一額外影像圖框，其在該序列之額外影像圖框中。該先前影像圖框可進一步係影像圖框之該經組合串流中之一緊接在前影像圖框。在替代例中，其可為在該緊接在前影像圖框之前之一影像圖框。
在第一態樣之方法中，該序列之額外影像圖框包括以下中之至少一者：具有不同參考及相同內容之額外影像圖框；具有相同參考及不同內容之額外影像圖框；及具有不同參考及不同內容之額外影像圖框。
第一態樣之方法可進一步包括：將影像圖框之該經組合串流傳輸至一解碼器；解碼影像圖框之該經組合串流；及在一顯示器上顯示影像圖框之該經解碼之經組合串流，藉此顯示指示該經偵測事件之該等預定視覺改變。
在第一態樣之方法中，該經偵測事件可與以下中之至少一種類型相關：經編碼影像圖框之該串流之該發送器之一關機，經編碼影像圖框之該串流之該發送器與該接收器之間之一連接故障，經編碼影像圖框之該串流之該發送器之一故障，經編碼影像圖框之該串流之該發送器之一啟動，經編碼影像圖框之該串流之該發送器與該接收器之間之一重新連接，及經編碼影像圖框之該串流之該發送器之一重新啟動。另外，取決於關機是否係在接收器處或在發送器處起始，可將發送器之關機劃分為兩種分開類型之事件。
在第一態樣之方法中，該預定視覺改變可為一移動、色彩之一改變及亮度之一改變中之一者。
根據一第二態樣，提供一種其上儲存指令之非暫時性電腦可讀儲存媒體，該等指令當在具有至少一個處理器之一系統中執行時用於實施根據第一態樣之方法。
當適用時，根據第一態樣之方法之上文提及之選用特徵亦適用於第二態樣之非暫時性電腦可讀儲存媒體。為了避免過度重複，參考上文。
根據一第三態樣，提供一種用於將一個額外影像圖框或一序列之額外影像圖框增加至經編碼影像圖框之一串流之系統，其中經編碼影像圖框之該串流由藉由一編碼器編碼之影像圖框組成。該系統包括經組態以執行一偵測功能之電路，該偵測功能經組態以偵測與以下中之至少一種類型相關之一事件：經編碼影像圖框之該串流之一發送器之操作狀態之一改變，及經編碼影像圖框之該串流之該發送器與一接收器之間之連接狀態之一改變。該電路進一步經組態以執行一提供功能，該提供功能經組態以取決於由該偵測功能偵測到之該事件之該類型而提供該一個額外影像圖框或該序列之額外影像圖框，其中該一個額外影像圖框或該序列之額外影像圖框之各額外影像圖框包括對一先前影像圖框之一參考且編碼相對於該先前影像圖框之一預定視覺改變，其中該預定視覺改變指示該經偵測事件之該類型。該電路進一步經組態以執行一增加功能，該增加功能經組態以將該一個額外影像圖框或該序列之額外影像圖框增加至經編碼影像圖框之該串流以獲得影像圖框之一經組合串流。
當適用時，根據第一態樣之方法之上文提及之選用特徵亦適用於第三態樣之系統。為了避免過度重複，參考上文。
自下文給出之詳細描述將變得明白本發明之適用性之一進一步範疇。然而，應理解，詳細描述及特定實例雖然指示本發明之較佳實施例但僅係藉由圖解給出，此係因為自此詳細描述，熟習此項技術者將變得明白在本發明之範疇內之各種改變及修改。
因此，應理解，本發明不限於所描述系統之特定組件部分或所描述方法之動作，此係因為此系統及方法可變化。亦應理解，本文中使用之術語僅係為了描述特定實施例之目的，且不旨在為限制性。必須注意，如在說明書及隨附發明申請專利範圍中使用，冠詞「一(a/an)」及「該(the/said)」旨在意謂存在一或多個元件，除非背景內容清楚另外指示。此外，字詞「包括」、「包含」、「含有」及類似字詞不排除其他元件或步驟。
現將在下文中參考其中繪示本發明之當前較佳實施例之隨附圖式描述本發明。然而，本發明可以許多不同形式體現且不應被解釋為限於本文中闡述之實施例。在圖式中，具有虛線之方塊表示選用特徵。
本發明適用於如圖3中繪示之其中經編碼影像圖框之一串流自一發送器310傳輸至一接收器320之一系統300。例如，發送器310可為一攝影機(諸如一監控攝影機)或包括在一攝影機位置處之攝影機之一系統。接收器320可為包括一解碼器且連接至一顯示器位置處之一顯示器之一裝置。一進一步中間裝置315可定位於發送器310與接收器320之間。發送器310、中間裝置315及接收器320之各者可偵測與發送器310之操作狀態之一改變及發送器310與接收器320之間之連接狀態之一改變中之至少一種類型相關之事件。
本發明適用於經編碼影像圖框之一串流自發送器310傳輸至接收器320以進行解碼及顯示時之一情境。例如，經編碼影像圖框之串流可由藉由一攝影機擷取且藉由一編碼器編碼之影像組成。在替代例中，經編碼圖框之串流之一些或全部可為在軟體中產生之影像。經編碼圖框之串流可為一視訊且攝影機可為配置於遠距於其中一人正在觀看視訊之一顯示器位置之一位置中之一攝影機。若經編碼影像圖框之串流之傳輸被中斷，使得接收器320未接收任何進一步經編碼影像圖框，則視訊將被中斷且觀看視訊之一人將不知道視訊被中斷之原因。藉由增加編碼相對於一先前影像圖框之一預定視覺改變之一個額外影像圖框或一序列之額外影像圖框，產生一經組合串流。對經編碼影像圖框之串流作出指示經偵測事件之類型之預定視覺改變。例如，至少兩種不同預定視覺改變可為可選擇的且各者指示兩種類型之事件之一各自者，即，i)經編碼影像圖框之串流之發送器310之操作狀態之一改變，及ii)經編碼影像圖框之串流之發送器310與接收器320之間之連接狀態之一改變。當接著解碼並顯示經組合串流時，觀看者可自預定視覺改變識別已發生哪一類型之事件。具體言之，觀看者可識別事件之類型是否係經編碼影像圖框之串流之發送器310之操作狀態之一改變或經編碼影像圖框之串流之發送器310與接收器320之間之連接狀態之一改變。
藉由包含呈增加至經編碼影像圖框之串流且在經組合串流內傳輸之編碼預定視覺改變之該一個額外影像圖框或該序列之額外圖框之形式之實現經偵測事件之類型之識別之資訊，不需要發送器310與接收器320之間之介面之調適。此外，不需要調適接收器320處之解碼器及顯示器。其等可以與解碼並顯示經編碼影像圖框之串流相同之方式解碼並顯示經組合串流。唯一需要的是一觀看者知曉哪一預定視覺改變指示哪一類型之事件。此外，由於視覺改變係預定的且與一先前影像圖框相關，故可提前(即，在偵測到事件之前)產生該一個額外影像圖框或該序列之額外影像圖框，且儲存其等以用於在偵測到事件之後進行提供且增加。該一個額外影像圖框或該序列之額外影像圖框僅需要包含編碼此視覺改變之資料且非與經編碼影像圖框之串流相關之任何即時資料。
應注意，即使在術語「一個額外影像圖框」及「序列之額外影像圖框」中未提及編碼，兩個術語仍與以此一方式產生之一或多個影像圖框相關且具有根據所使用之相關編碼標準之一語法，使得其等可由解碼經編碼影像圖框之串流之解碼器解碼而無需調適。例如，在將該一個額外影像圖框或該序列之額外影像圖框增加至經編碼影像圖框之串流以獲得影像圖框之一經組合串流之前，必須使用組態在硬體及/或軟體中之一熵編碼器執行熵編碼。
在下文中，將參考圖1及圖3論述用於將一個額外影像圖框或一序列之額外影像圖框增加至經編碼影像圖框之一串流之一方法100之實施例，其中經編碼影像圖框之串流由藉由一編碼器編碼之影像圖框組成。
通常言之，經編碼影像圖框之串流之影像圖框之一些係內圖框(intraframe)且一些係間圖框(interframe)。一內圖框係不需要來自其他待解碼圖框之資訊之一經編碼視訊圖框。因此，一內圖框係基於來自其經設定以對應之視訊資料之一影像圖框之資訊編碼。通常言之，使用影像圖框內之類似性來將影像圖框編碼成一內圖框。在視訊編碼中，通常將一內圖框稱為一I圖框。將介於兩個內圖框之間之視訊串流之影像圖框編碼為間圖框。一間圖框係基於來自除間圖框經設定以對應之視訊資料之影像圖框之外之待編碼之至少一個其他影像圖框之資訊編碼。間圖框通常包括少於內圖框之資料。一間圖框可為一P圖框或一B圖框。P圖框係指用於資料參考之先前圖框。因此，必須知道先前圖框之內容以便解碼一P圖框。B圖框可係指用於資料參考之先前及向前圖框兩者。因此，必須知道先前及向前圖框兩者之內容以便解碼一B圖框。當編碼一間圖框時，將一影像圖框劃分為像素之多個群組。例如，像素之群組可被稱為區塊、巨集區塊或編碼樹單元。各間圖框可包括編碼為間區塊之一或多個區塊、編碼為內區塊之一或多個區塊及編碼為跳過區塊之一或多個區塊。比較影像圖框與一參考圖框。例如，用於編碼一P圖框之參考圖框係一先前影像圖框。為了在一編碼器中編碼一序列之影像圖框，可使用一匹配演算法來識別待編碼之影像圖框與參考圖框之間之匹配像素群組，且若針對一像素群組找到一匹配，則可基於指定像素群組自參考圖框起已如何在影像圖框中移動之一運動向量編碼該像素群組。
方法100包括偵測S110與以下中之至少一種類型相關之一事件：i)經編碼影像圖框之串流之一發送器310之操作狀態之一改變，及ii)經編碼影像圖框之串流之發送器310與一接收器320之間之連接狀態之一改變。例如，發送器310可為傳輸經編碼影像圖框之串流之一攝影機或包括攝影機之一系統。發送器310之操作狀態之一改變可為發送器310改變為其中不傳輸經編碼影像圖框之串流或其中傳輸經編碼影像圖框之串流之一操作狀態。例如，操作狀態之一改變可與發送器310之一故意關機、發送器310之一故障及發送器310之一重新啟動相關。另外，取決於關機是否係在接收器處或在發送器處起始，可將發送器之故意關機劃分為兩種分開類型之事件。發送器310與接收器320之間之連接狀態之一改變可為至其中無法傳輸經編碼影像圖框之串流或其中可在發送器310與接收器320之間傳輸經編碼影像圖框之串流之一連接狀態。例如，連接狀態之一改變可與發送器310與接收器320之間之一連接故障及發送器310與接收器320之間之一重新連接相關。
取決於經偵測事件之類型，提供S120該一個額外影像圖框或該序列之額外影像圖框。該一個額外影像圖框或該序列之額外影像圖框之各額外影像圖框包括對一先前影像圖框之一參考且編碼相對於先前影像圖框之預定視覺改變，其中預定視覺改變指示經偵測事件之類型。藉由該一個額外影像圖框或該序列之額外影像圖框之各額外影像圖框包括對先前影像圖框之一參考意謂先前圖框被用作一參考圖框。
事件可藉由發送器310或接收器320或中間裝置315偵測。若事件之類型係發送器之操作狀態之一改變(諸如發送器310之一故意關機、發送器310之一重新啟動或發送器310之一故障)，則事件可藉由發送器310偵測。若事件之類型係發送器310與接收器320之間之連接狀態之一改變(諸如發送器310與接收器320之間之一連接故障及發送器310與接收器320之間之一重新連接)，則事件可藉由接收器320或中間裝置315偵測。
預定視覺改變可為可經編碼且可由一觀看者識別且與經編碼以指示其他類型之事件之其他預定視覺改變區分之任何種類之視覺改變。例如，預定視覺改變可為一移動、色彩之一改變或亮度之一改變。
例如，若預定視覺改變與相關於先前圖框之像素之一預定移動(例如，像素之區塊之預定移動)相關，則此移動可藉由區塊之各自預定運動向量達成。運動向量係預定的，此係因為移動係預定的。由於像素之移動係預定的以便使其能夠指示經偵測事件之一類型，故可判定運動向量而無需除應根據預定視覺改變達成之與先前圖框相關之像素之預定移動之外之任何進一步輸入。此不同於在於一編碼器編碼一序列之影像圖框時之運動向量之識別，其中使用一匹配演算法來識別待編碼之影像圖框與參考圖框之間之匹配區塊，且若針對一區塊找到一匹配，則可基於指定區塊自參考圖框起已如何在影像圖框中移動之一運動向量編碼該區塊。
類似地，若預定視覺改變與相關於先前圖框之像素之色彩或亮度之一預定改變(例如，像素之區塊之色彩或亮度之預定改變)相關，則色彩或亮度之此改變可由區塊之各自預定頻域係數達成。頻域係數係預定的，此係因為色彩或亮度之改變係預定的。由於像素之色彩或亮度之改變係預定的以便使其能夠指示經偵測事件之一類型，故可判定頻域係數而無需除應根據預定視覺改變達成之與先前圖框相關之像素之色彩或亮度之預定改變之外之任何進一步輸入。
該一個額外影像圖框或該序列之額外影像圖框可在事件之偵測S110之後產生S115或在偵測S110到事件之前已產生S115且經儲存以用於在偵測S110到事件之後提供。應注意，在圖1中，在偵測S110到一事件之後產生S115該一個額外影像圖框或該序列之額外影像圖框之位置未指示其在方法100中之位置。產生S115該一個額外影像圖框或該序列之額外影像圖框可在偵測S110到一事件之前或之後執行。此外，其可在偵測S110到一事件之前之某一範圍及之後之某一範圍內執行。例如，該一個額外影像圖框或該序列之額外影像圖框可經產生直至熵編碼之前，且在偵測S110到一事件之前儲存，且接著可在偵測S110到事件之後執行熵編碼。
該一個額外影像圖框或該序列之額外影像圖框之各額外影像圖框包括對編碼與其相關之預定視覺改變之一先前影像圖框之一參考。為了編碼預定視覺改變，產生該一個額外影像圖框或該序列之額外影像圖框之各額外影像圖框以包含定義與先前影像圖框相關之預定改變之資料。
在實施例中，可僅基於預定運動向量及/或預定量化頻域係數產生S115該一個額外影像圖框或該序列之額外影像圖框之各額外影像圖框。該一個額外影像圖框或該序列之額外影像圖框之各額外影像圖框可為一間圖框且包括具有運動向量及/或量化頻域係數之一或多個間區塊及/或具有量化頻域係數之一或多個內區塊。一或多個間區塊及/或一或多個內區塊編碼與參考影像圖框相關之預定視覺改變，諸如與參考影像相關之預定移動、色彩之一預定改變及/或亮度之一預定改變。該一個額外影像圖框或該序列之額外影像圖框之各額外影像圖框可進一步包括一或多個跳過區塊。
僅基於區塊類型(例如，一區塊是否係一間區塊(諸如P或B區塊)、內區塊或跳過區塊)及預定運動向量及/或預定量化頻域係數產生S115該一個額外影像圖框或該序列之額外影像圖框可完全在軟體中執行直至熵編碼之前且接著可藉由一軟體或硬體熵編碼器執行熵編碼。完全在軟體中執行之此產生可被稱為程序產生。產生S115不需要影像資料。針對其中可分開地編碼一圖塊(slice)標頭及圖塊資料之編碼標準，圖塊資料可經熵編碼並儲存且圖塊標頭需要緊接在增加之前被更新。例如，H.264 main及high以及H.265中之CABAC係此情況。針對其中例如由於熵編碼圖塊資料需要圖塊標頭之一些位元作為輸入且因此需要全部圖塊標頭已更新而無法分開地編碼一圖塊標頭及圖塊資料之編碼標準，需要更新圖塊標頭且接著圖塊資料需要緊接在增加之前被熵編碼。例如，H.264中之CAVLC係此情況。
將該一個額外影像圖框或該序列之額外影像圖框增加S130至經編碼影像圖框之串流以獲得影像圖框之一經組合串流。
其中提供並增加一個額外影像圖框之情境係例如當提供至顯示器之最後影像圖框被連續顯示直至下一影像圖框被提供至顯示器時。在此一情況中，一個額外影像圖框足以編碼相對於先前影像圖框之一預定視覺改變，該預定視覺改變可由一觀看者識別。
在其中預定且隨著時間逐漸改變之一預定視覺改變待編碼之情境中，需要一序列之額外圖框以對其進行編碼。例如，複數個相同類型之額外圖框可被包含於序列中，其中各額外圖框具有相同預定運動向量及/或預定量化頻域係數但其等係指在串流中緊接在其之前之圖框。因此，此等額外圖框具有相同內容但不同參考，且因此，其等對相對於一先前圖框之相同視覺改變進行編碼。當此一序列之額外圖框係在經編碼圖框之一串流之後增加且接著被解碼且顯示時，其等將把最後解碼之經編碼圖框顯示為逐漸改變。例如，若十個額外圖框各編碼對於一先前圖框五度之一旋轉，則其等將在於經編碼圖框之一串流之後增加時引起最後解碼之經編碼圖框之影像以五度之步長自零度旋轉至50度。
該一個額外影像圖框或該序列之額外圖框可由發送器310、接收器320或中間裝置315增加。若事件之類型係發送器之操作狀態之一改變(諸如發送器310之一故意關機、發送器310之一重新啟動或發送器310之一故障)，則該一個額外影像圖框或該序列之額外圖框可由發送器310或接收器320或中間裝置315增加。若事件之類型係發送器310與接收器320之間之連接狀態之一改變(諸如發送器310與接收器320之間之一連接故障及發送器310與接收器320之間之一重新連接)，則一個額外影像圖框或該序列之額外圖框可由發送器310、接收器320或中間裝置315增加。
例如，該一個額外影像圖框或該序列之額外影像圖框可在經編碼影像圖框之串流之後或經編碼影像圖框之串流之前增加。該一個額外影像圖框或該序列之額外影像圖框較佳以其中其等應在接收器320處之一解碼器中相對於經編碼影像圖框之串流之其他影像圖框解碼之串流中之一位置及順序增加。該一個額外影像圖框或該序列之額外圖框之各額外影像圖框包含一圖框號及一圖像順序計數以便識別其何時應相對於影像圖框之經組合串流之其他影像圖框顯示。若該一個額外影像圖框或該序列之額外影像圖框編碼指示操作狀態至其中未傳輸經編碼影像圖框之串流之一操作狀態之一改變或發送器310與接收器320之間之連接狀態至其中無法傳輸經編碼影像圖框之串流之一連接狀態之一改變，則應在經編碼影像圖框之串流之結尾顯示預定視覺改變且因此，較佳在經編碼影像圖框之串流之最後經編碼影像圖框之後增加該一個額外影像圖框或該序列之額外影像圖框。例如，操作狀態之此一改變可與發送器310之一故意關機、發送器310之一故障及發送器310與接收器320之間之一連接故障相關。若該一個額外影像圖框或該序列之額外影像圖框編碼指示操作狀態至其中傳輸經編碼影像圖框之串流之一操作狀態之一改變或發送器310與接收器320之間之連接狀態至其中可傳輸經編碼影像圖框之串流之一連接狀態之一改變，則應在經編碼影像圖框之串流之開端顯示預定視覺改變且因此，在經編碼影像圖框之串流之第一經編碼影像圖框之前增加該一個額外影像圖框或該序列之額外影像圖框。例如，操作狀態之此一改變可與發送器310之一重新啟動及發送器310與接收器320之間之一重新連接相關。如下文將描述，當在第一經編碼影像圖框之前增加該一個額外影像圖框或該序列之額外影像圖框時，需要增加作為一起始影像圖框之一先前影像圖框。在此一情況中，經編碼影像圖框之串流之第一經編碼影像圖框需要係一內圖框。
先前影像圖框可為經編碼影像圖框之串流中之一經編碼影像圖框。例如，若該一個額外影像圖框或該序列之額外影像圖框應在經編碼影像圖框之串流之一最後經編碼影像圖框之後增加(諸如當經偵測事件係發送器310之一故意關機、發送器310之一故障或發送器310與接收器320之間之一連接故障時)，則該一個額外影像圖框或該序列之額外影像圖框之至少一個影像圖框包括對經編碼影像圖框之串流中之一經編碼影像圖框之一參考。例如，該一個額外影像圖框可包括對經編碼影像圖框之串流中之一經編碼影像圖框(諸如經編碼影像圖框之串流之最後經編碼影像圖框)之一參考。類似地，例如，該序列之額外影像圖框之第一影像圖框可包括對經編碼影像圖框之串流中之一經編碼影像圖框(諸如經編碼影像圖框之串流之最後經編碼影像圖框)之一參考。在該序列之額外影像圖框之第一影像圖框之後之進一步影像圖框可接著包括對該序列之額外影像圖框中之一先前影像圖框(諸如該序列之額外影像圖框中之緊接在前之影像圖框)之一參考。在此一情況中，先前影像圖框係該序列之額外影像圖框中之一額外影像圖框。在替代例中，該序列之額外影像圖框之全部影像圖框可包括對經編碼影像圖框之串流中之一經編碼影像圖框(諸如經編碼影像圖框之串流之最後經編碼影像圖框)之一參考。
在替代例中，先前影像圖框可為對一起始影像進行內編碼之一經增加起始影像圖框。例如，若該一個額外影像圖框或該序列之額外影像圖框應在經編碼影像圖框之串流之一第一經編碼影像圖框之前增加(諸如當經偵測事件係發送器310之一重新啟動或發送器310與接收器320之間之一重新連接時)，則該一個額外影像圖框或該序列之額外影像圖框之至少一個影像圖框包括對經增加起始影像圖框之一參考。在該序列之額外影像圖框之第一影像圖框之後之進一步影像圖框可接著包括對該序列之額外影像圖框中之一先前影像圖框(諸如該序列之額外影像圖框中之緊接在前之影像圖框)之一參考。在此一情況中，先前影像圖框係該序列之額外影像圖框中之一額外影像圖框。在替代例中，該序列之額外影像圖框之全部影像圖框可包括對經增加起始影像圖框之一參考。
該序列之額外影像圖框之影像圖框可具有不同參考及圖像順序計數，但相同的內容。例如，如上文描述，該序列之額外影像圖框之第一影像圖框可包括對經編碼影像圖框之串流之最後經編碼影像圖框或經增加起始影像之一參考，且在該序列之額外影像圖框之第一影像圖框之後之進一步影像圖框可接著包括對該序列之額外影像圖框中之一先前影像圖框(諸如該序列之額外影像圖框中(即，影像圖框之經組合串流中)之緊接在前之影像圖框)之一參考。具有相同內容之該序列之額外影像圖框之影像圖框可接著意謂在該序列之額外影像圖框之各額外影像圖框中編碼與先前影像圖框相關之預定相同視覺改變。例如，該序列之額外影像圖框之各連續額外影像圖框中之預定視覺改變可與一預定相同移動相關，使得該序列之額外影像圖框編碼像素之一預定均勻移動。該序列之額外影像圖框之各連續額外影像圖框中之預定視覺改變可替代地或額外地與色彩之一預定相同改變相關，使得該序列之額外影像圖框編碼像素之色彩之一預定均勻改變。該序列之額外影像圖框之各連續額外影像圖框中之預定視覺改變可替代地或額外地與亮度之一預定相同改變相關，使得該序列之額外影像圖框編碼亮度之一預定均勻改變。
該序列之額外影像圖框之影像圖框可具有不同參考及不同內容。例如，如上文描述，該序列之額外影像圖框之第一影像圖框可包括對經編碼影像圖框之串流之最後經編碼影像圖框或經增加起始影像之一參考，且在該序列之額外影像圖框之第一影像圖框之後之進一步影像圖框可接著包括對該序列之額外影像圖框中之一先前影像圖框(諸如該序列之額外影像圖框中之緊接在前之影像圖框)之一參考。具有不同內容之該序列之額外影像圖框之影像圖框可接著意謂在該序列之額外影像圖框之各額外影像圖框中編碼與先前影像圖框相關之一預定不同視覺改變。例如，該序列之額外影像圖框之各連續額外影像圖框中之預定視覺改變可與一預定經增加或經減少移動相關，使得該序列之額外影像圖框分別編碼像素之一預定加速或減速移動。該序列之額外影像圖框之各連續額外影像圖框中之預定視覺改變可替代地或額外地與色彩之一預定經增加或經減少改變相關，使得該序列之額外影像圖框分別編碼像素之色彩之一預定加速或減速改變。該序列之額外影像圖框之各連續額外影像圖框中之預定視覺改變可替代地或額外地與亮度之一預定經增加或經減少改變相關，使得該序列之額外影像圖框分別編碼像素之亮度之一預定加速或減速改變。
該序列之額外影像圖框之影像圖框可具有相同參考及不同內容。例如，如上文描述，該序列之額外影像圖框之全部影像圖框可包括對經編碼影像圖框之串流中之一經編碼影像圖框(諸如經編碼影像圖框之串流之最後經編碼影像圖框或經增加起始影像)之一參考。具有不同內容之該序列之額外影像圖框之影像圖框可接著意謂在該序列之額外影像圖框之各額外影像圖框中編碼與同一先前影像圖框(諸如經編碼影像圖框之串流之最後經編碼影像圖框或經增加起始影像)相關之一不同預定視覺改變。例如，該序列之額外影像圖框之各連續額外影像圖框中之預定視覺改變可與一預定均勻地更大移動相關，使得該序列之額外影像圖框編碼像素之一預定均勻移動。該序列之額外影像圖框之各連續額外影像圖框中之預定視覺改變可替代地或額外地與色彩之一預定均勻地更大改變相關，使得該序列之額外影像圖框編碼像素之色彩之一預定均勻改變。該序列之額外影像圖框之各連續額外影像圖框中之預定視覺改變可替代地或額外地與亮度之一預定均勻地更大改變相關，使得該序列之額外影像圖框編碼像素之亮度之一預定均勻改變。亦可作出移動、色彩及/或亮度之改變，使得其經加速，即，使得改變在該序列之額外影像圖框之連續額外影像圖框之間變得愈來愈大或被減速，即，使得改變在該序列之額外影像圖框之連續額外影像圖框之間變得愈來愈小。
作為一實例，具有相同或不同內容意謂在H.264及H.265視訊標準中分別具有相同或不同圖塊資料。
使用例如移動、色彩之改變及亮度之改變之一者或一組合設想大量不同預定視覺改變。例如，若該序列之額外影像圖框編碼與經編碼影像圖框之串流之一經編碼影像圖框相關之一視覺改變，其中經編碼視覺改變係全部像素僅在水平方向或僅在垂直方向或在兩個方向上朝向該序列之額外影像圖框之各連續額外影像圖框中之一中心之一給定距離之一移動，則達成一視覺改變，其中經編碼影像圖框之串流之經編碼影像圖框分別逐漸縮小至一水平線、垂直線或一點。由於此將移動邊緣像素朝向該序列之額外影像圖框之各連續額外影像圖框中之一中心，故需要將此等邊緣像素改變或淡化為一單一色彩以便使最終結果係一單色螢幕，惟可維持某一其他色彩之中心中之像素除外。可在包括預定運動向量及預定量化頻域係數之一序列之額外影像圖框中編碼此預定視覺改變。
在另一實例中，若該序列之額外影像圖框編碼與經編碼影像圖框之串流之一經編碼影像圖框相關之一視覺改變，其中經編碼視覺改變係像素區塊繞該序列之額外影像圖框之各連續額外影像圖框中之一中心達一給定角度之一移動，則達成一視覺改變，其中經編碼影像圖框之串流之經編碼影像圖框繞其中心旋轉。此預定視覺改變可在包括預定運動向量之一序列之額外影像圖框中編碼且適於各連續額外影像圖框中之小旋轉角度。其僅適於「小」旋轉角度之一原因在於藉由移動像素區塊而進行移動且因此，針對大於一個像素之任何像素區塊，此僅係旋轉移動之一近似表示。近似於該序列之額外影像圖框之各連續額外影像圖塊中之旋轉移動之較大移動將係可行的但將引入與旋轉移動相關之假影。該序列之額外影像圖框之各連續額外影像圖塊中之角度移動之大小取決於像素區塊之大小。例如，針對大小8x8像素之像素區塊，對應於7度之該序列之額外影像圖框之各連續額外影像圖框中之一移動將至少足夠小。又，對應於更大角度之該序列之額外影像圖框之各連續額外影像圖框中之移動係可行的但將引入進一步假影。可藉由提供具有足夠數目個額外影像圖框之一序列之額外影像圖框而達成對應於一所要總旋轉移動之一移動，使得對應於「小」角度之該序列之額外影像圖框之各連續額外影像圖框中之移動將在該序列之額外影像圖框之全部上產生所要總角度。接著可達成任何大小之一所要角度。
在另一實例中，若該序列之額外影像圖框編碼與經編碼影像圖框之串流之一經編碼影像圖框相關之一視覺改變，其中經編碼視覺改變係全部像素之亮度在該序列之額外影像圖框之各連續額外影像圖框中達一給定量之一減小或一增加，則達成一視覺改變，其中經編碼影像圖框之串流之經編碼影像圖框分別逐漸變為黑色或白色。可在包括預定量化頻域係數之一序列之額外影像圖框中編碼此預定視覺改變。
在另一實例中，若該序列之額外影像圖框編碼與經編碼影像圖框之串流之一經編碼影像圖框相關之一視覺改變，其中經編碼視覺改變係選定像素之亮度在該序列之額外影像圖框之各連續額外影像圖框中達一給定量之一減小或一增加，則達成一視覺改變，其中經編碼影像圖框之串流之經編碼影像圖框之選定像素分別逐漸變為黑色或白色。例如，選定像素可為經選擇以形成影像圖框中之一所要文字訊息之像素。此預定視覺改變可使用預定頻域係數編碼。
在另一實例中，若該序列之額外影像圖框編碼與經編碼影像圖框之串流之一經編碼影像圖框相關之一視覺改變，其中經編碼視覺改變係在該序列之額外影像圖框之各連續額外影像圖框中全部像素之一特定色彩達一給定量之一增加及全部像素之全部其他色彩達一各自給定量之減小，則達成一視覺改變，其中經編碼影像圖框之串流之經編碼影像圖框逐漸轉變為特定色彩。可在包括預定量化頻域係數之一序列之額外影像圖框中編碼此預定視覺改變。
在另一實例中，若該序列之額外影像圖框編碼與經編碼影像圖框之串流之一經編碼影像圖框相關之一視覺改變，其中經編碼視覺改變係選定像素之一特定色彩在該序列之額外影像圖框之各連續額外影像圖框中達一給定量之一增加，則達成一視覺改變，其中經編碼影像圖框之串流之經編碼影像圖框之選定像素逐漸轉變為特定色彩。例如，選定像素可為經選擇以形成影像圖框中之一所要文字訊息之像素。可在包括預定量化頻域係數之一序列之額外影像圖框中編碼此預定視覺改變。
方法100可進一步包括將影像圖框之經組合串流傳輸S140至(例如)包括在接收器320中之一解碼器，解碼S150影像圖框之經組合串流，且在(例如)連接至接收器320之一顯示器上顯示S160影像圖框之經解碼之經組合串流。當顯示經組合串流時，將顯示指示經偵測事件之預定視覺改變。
圖2展示與本發明之一系統200之實施例相關之一示意圖，該系統200用於將一個額外影像圖框或一序列之額外影像圖框增加至經編碼影像圖框之一串流，其中經編碼影像圖框之串流由藉由一編碼器編碼之影像圖框組成。系統200包括電路210。電路210經組態以實行系統200之功能。電路210可包含一處理器212，諸如一中央處理單元(CPU)、微控制器或微處理器。處理器212組態以執行程式碼。例如，程式碼可經組態以實行系統200之功能。
系統200可進一步包括一記憶體230。記憶體230可為一緩衝器、一快閃記憶體、一硬碟、一可抽換式媒體、一揮發性記憶體、一非揮發性記憶體、一隨機存取記憶體(RAM)或另一適合裝置之一或多者。在一典型配置中，記憶體230可包含用於長期資料儲存之一非揮發性記憶體及用作電路210之裝置記憶體之一揮發性記憶體。記憶體230可經由一資料匯流排與電路210交換資料。亦可存在記憶體230與電路210之間之隨附控制線及一位址匯流排。
系統200之功能可以儲存於系統200之一非暫時性電腦可讀媒體(例如，記憶體230)上且藉由電路210 (例如，使用處理器212)執行之可執行邏輯常式(例如，程式碼行、軟體程式等)之形式體現。此外，系統200之功能可為一獨立軟體應用程式或形成實行與系統200相關之額外任務之一軟體應用程式之一部分。所描述功能可被視為一處理單元(例如，電路210之處理器212)經組態以實行之一方法。又，雖然所描述功能可在軟體中實施，但此功能性亦可經由專屬硬體或韌體或硬體、韌體及/或軟體之某一組合實行。
電路210經組態以執行一偵測功能231、一提供功能233及一增加功能234。電路210可視情況經組態以進一步執行一產生功能232及一傳輸功能235。
偵測功能231經組態以偵測與以下中之至少一種類型相關之一事件：經編碼影像圖框之串流之一發送器310之操作狀態之一改變，及經編碼影像圖框之串流之發送器310與一接收器320之間之連接狀態之一改變。
提供功能233經組態以取決於藉由偵測功能231偵測之事件之類型而提供該一個額外影像圖框或該序列之額外影像圖框，其中該一個額外影像圖框或該序列之額外影像圖框之各額外影像圖框包括對一先前影像圖框之一參考且編碼相對於先前影像圖框之一預定視覺改變，其中預定視覺改變指示藉由偵測功能231偵測之經偵測事件之類型。
增加功能234經組態以將該一個額外影像圖框或該序列之額外影像圖框增加至經編碼影像圖框之串流以獲得影像圖框之一經組合串流。
產生功能232經組態以僅基於預定運動向量及/或預定頻域係數產生該一個額外影像圖框或該序列之額外影像圖框之各者。
傳輸功能235經組態以將影像圖框之經組合串流傳輸至一解碼器。
應注意，系統200及其所包含部分通常不實施於一單一位置處。例如，電路210及記憶體230可分佈於發送器310與接收器320之間或在發送器310及接收器320中複製。通常言之，在發送器310中識別之一種類型之事件將由定位於發送器310中之電路210及記憶體230中之功能231至235之一部分或定位於發送器310中之經複製電路210及記憶體230中之功能231至235之一者處置。對應地，在接收器320中識別之一種類型之事件將通常由定位於接收器320中之電路210及記憶體230中之功能231至235之一部分或定位於接收器320中之經複製電路210及記憶體230中之功能231至235之一者處置。
系統200可進一步包括一解碼器240。解碼器240經組態以解碼影像圖框之經組合串流。解碼器240定位於接收器320之位置處。
系統200可進一步包括一顯示器250。顯示器250經組態以顯示由解碼器240解碼之影像圖框之經組合串流。藉此，在顯示器250上顯示指示經偵測事件之預定視覺改變。顯示器250定位於接收器320之位置處。
可以與關於圖1及圖3描述之方法之實施例之對應步驟相同之方式進一步調適藉由電路210實行之功能。
熟習此項技術者認知，本發明不限於上文描述之實施例。相反地，許多修改及變化在隨附發明申請專利範圍之範疇內係可行的。自圖式、揭示內容及隨附發明申請專利範圍之一研究，熟習此項技術者在實踐所主張發明時可理解並實現此等修改及變化。
100:方法 200:系統 210:電路 212:處理器 230:記憶體 231:偵測功能 232:產生功能 233:提供功能 234:增加功能 235:傳輸功能 240:解碼器 250:顯示器 300:系統 310:發送器 315:中間裝置 320:接收器 S110:偵測 S115:產生 S120:提供 S130:增加 S140:傳輸 S150:解碼 S160:顯示
現將參考附圖更詳細描述本發明之上文及其他態樣。圖不應被視為限制性而係代替性地用於解釋及理解。
圖1展示與本發明之一方法之實施例相關之一流程圖。
圖2展示與本發明之一系統之實施例相關之一示意圖。
圖3展示其中可實施本發明之實施例之一系統之一示意圖。
100:方法
S110:偵測
S115:產生
S120:提供
S130:增加
S140:傳輸
S150:解碼
S160:顯示

Claims (13)

  1. 一種用於將一個額外影像圖框或一序列之額外影像圖框增加至經編碼影像圖框之一串流之方法，其中經編碼影像圖框之該串流由藉由一編碼器編碼之影像圖框組成，該方法包括： 偵測與以下中之至少一種類型相關之一事件： 經編碼影像圖框之該串流之一發送器之操作狀態之一改變；及 經編碼影像圖框之該串流之該發送器與一接收器之間之連接狀態之一改變； 取決於該經偵測事件之該類型而提供該一個額外影像圖框或該序列之額外影像圖框，其中該一個額外影像圖框或該序列之額外影像圖框之各額外影像圖框包括對一先前影像圖框之一參考且編碼相對於該先前影像圖框之一預定視覺改變，其中該預定視覺改變指示該經偵測事件之該類型；及 將該一個額外影像圖框或該序列之額外影像圖框增加至經編碼影像圖框之該串流以獲得影像圖框之一經組合串流。
  2. 如請求項1之方法，其進一步包括： 僅基於區塊類型及預定運動向量及/或預定頻域係數產生該一個額外影像圖框或該序列之額外影像圖框之各額外影像圖框。
  3. 如請求項1之方法，其中該一個額外影像圖框或該序列之額外影像圖框各進一步包括以下之至少一者： 一或多個間區塊，其或其等具有運動向量及/或量化頻域係數，及 一或多個內區塊，其或其等具有量化頻域係數。
  4. 如請求項1之方法，其中該先前影像圖框係以下中之一者： 一經編碼影像圖框，其在經編碼影像圖框之該串流中； 一經增加起始影像圖框，其對一起始影像進行內編碼；及 一額外影像圖框，其在該序列之額外影像圖框中。
  5. 如請求項4之方法，其中該先前影像圖框係影像圖框之該經組合串流中之一緊接在前影像圖框。
  6. 如請求項1之方法，其中該序列之額外影像圖框包括以下中之至少一者： 具有不同參考及相同內容之額外影像圖框； 具有相同參考及不同內容之額外影像圖框；及 具有不同參考及不同內容之額外影像圖框。
  7. 如請求項1之方法，其進一步包括： 將影像圖框之該經組合串流傳輸至一解碼器； 解碼影像圖框之該經組合串流；及 在一顯示器上顯示影像圖框之該經解碼之經組合串流，藉此顯示指示該經偵測事件之該等預定視覺改變。
  8. 如請求項1之方法，其中該經偵測事件與以下中之至少一種類型相關： 經編碼影像圖框之該串流之該發送器之一關機， 經編碼影像圖框之該串流之該發送器與該接收器之間之一連接故障， 經編碼影像圖框之該串流之該發送器之一故障， 經編碼影像圖框之該串流之該發送器之一啟動， 經編碼影像圖框之該串流之該發送器與該接收器之間之一重新連接，及 經編碼影像圖框之該串流之該發送器之一重新啟動。
  9. 如請求項1之方法，其中該預定視覺改變係以下中之一者：一移動、色彩之一改變及亮度之一改變。
  10. 一種其上儲存指令之非暫時性電腦可讀儲存媒體，該等指令當在具有至少一個處理器之一裝置中執行時用於實施如請求項1之方法。
  11. 一種用於將一個額外影像圖框或一序列之額外影像圖框增加至經編碼影像圖框之一串流之系統，其中經編碼影像圖框之該串流由藉由一編碼器編碼之影像圖框組成，該系統包括經組態以執行以下之電路： 一偵測功能，其經組態以偵測與以下中之至少一種類型相關之一事件： 經編碼影像圖框之該串流之一發送器之操作狀態之一改變；及 經編碼影像圖框之該串流之該發送器與一接收器之間之連接狀態之一改變； 一提供功能，其經組態以取決於由該偵測功能偵測到之該事件之該類型而提供該一個額外影像圖框或該序列之額外影像圖框，其中該一個額外影像圖框或該序列之額外影像圖框之各額外影像圖框包括對一先前影像圖框之一參考且編碼相對於該先前影像圖框之一預定視覺改變，其中該預定視覺改變指示該經偵測事件之該類型；及 一增加功能，其經組態以將該一個額外影像圖框或該序列之額外影像圖框增加至經編碼影像圖框之該串流以獲得影像圖框之一經組合串流。
  12. 如請求項11之系統，其中該電路進一步經組態以執行： 一傳輸功能，其經組態以將影像圖框之該經組合串流傳輸至一解碼器， 且其進一步包括： 一解碼器，其經組態以解碼影像圖框之該經組合串流；及 一顯示器，其經組態以在一顯示器上顯示影像圖框之該經解碼之經組合串流，藉此顯示指示該經偵測事件之該等預定視覺改變。
  13. 如請求項11之系統，其中該電路進一步經組態以執行： 一產生功能，其經組態以僅基於預定運動向量及/或預定頻域係數產生該一個額外影像圖框或該序列之額外影像圖框之各者。
TW112110603A 2022-04-25 2023-03-22 用於將一個額外影像圖框或一序列之額外影像圖框增加至經編碼影像圖框之一串流的系統及方法 TW202344061A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22169707.1A EP4270939B1 (en) 2022-04-25 2022-04-25 System and method for adding one additional image frame or a sequence of additional image frames to a stream of encoded image frames
EP22169707.1 2022-04-25

Publications (1)

Publication Number Publication Date
TW202344061A true TW202344061A (zh) 2023-11-01

Family

ID=81386468

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112110603A TW202344061A (zh) 2022-04-25 2023-03-22 用於將一個額外影像圖框或一序列之額外影像圖框增加至經編碼影像圖框之一串流的系統及方法

Country Status (6)

Country Link
US (1) US20230345011A1 (zh)
EP (1) EP4270939B1 (zh)
JP (1) JP2023161567A (zh)
KR (1) KR20230151465A (zh)
CN (1) CN116962597A (zh)
TW (1) TW202344061A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7034679B2 (en) 2001-12-31 2006-04-25 Ncr Corporation System and method for enhancing security at a self-checkout station
EP1769637A2 (en) 2004-07-09 2007-04-04 Emitall Surveillance S.A. Smart video surveillance system ensuring privacy
KR20200057346A (ko) * 2018-11-16 2020-05-26 한국남동발전 주식회사 Cctv 전송저장영상 감시를 통해 예외처리를 하는 관리시스템

Also Published As

Publication number Publication date
JP2023161567A (ja) 2023-11-07
EP4270939B1 (en) 2024-03-27
US20230345011A1 (en) 2023-10-26
EP4270939C0 (en) 2024-03-27
EP4270939A1 (en) 2023-11-01
KR20230151465A (ko) 2023-11-01
CN116962597A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
JP7309478B2 (ja) オーバーレイを伴うビデオを符号化するための方法およびシステム
KR101809306B1 (ko) 낮은 레이턴시 레이트 제어 시스템 및 방법
US10277901B2 (en) Encoding a video stream having a privacy mask
JP6479621B2 (ja) ビデオ符号化方法及びビデオエンコーダシステム
US10462484B2 (en) Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus
EP2868107A2 (en) System and method for encoding video content using virtual intra-frames
JP6867362B2 (ja) 符号器を用いた効率的なブレンディング
TW201628406A (zh) 用於視訊編碼的方法和編碼器系統
US10341675B2 (en) Video encoding method and video encoder system
US10298854B2 (en) High dynamic range video capture control for video transmission
KR20220011688A (ko) 몰입형 미디어 콘텐츠 프레젠테이션 및 양방향 360° 비디오 통신
US20160165271A1 (en) Method and device for determining properties of a graphical overlay for a video stream
JP7020873B2 (ja) ビデオエンコーディングのための方法及びエンコーダ
JP6707334B2 (ja) リアルタイム符号化のための方法及び装置
WO2013030166A2 (en) Method for transmitting video signals from an application on a server over an ip network to a client device
US20120281756A1 (en) Complexity change detection for video transmission system
TW202344061A (zh) 用於將一個額外影像圖框或一序列之額外影像圖框增加至經編碼影像圖框之一串流的系統及方法
US9467691B2 (en) Video system for displaying image data, method and computer program
KR20140028059A (ko) 엔드-투-엔드 코딩된 영상 전송 시스템을 위한 온 디맨드 방식의 인트라-리프레쉬
US9451288B2 (en) Inferred key frames for fast initiation of video coding sessions
CN1926862A (zh) 视频信息传输
CN112470481A (zh) 用于对基于图块的沉浸式视频进行编码的编码器和方法
CN114514745B (zh) 视频信号发送方法、装置、计算机设备及存储介质
JPH02119464A (ja) ２地点間画像符号化方式
CN115086780A (zh) 一种视频流传输方法、系统、装置和终端设备