TWI801724B - 用於編碼失真影像圖框的方法、裝置及電腦程式產品 - Google Patents

用於編碼失真影像圖框的方法、裝置及電腦程式產品 Download PDF

Info

Publication number
TWI801724B
TWI801724B TW109107355A TW109107355A TWI801724B TW I801724 B TWI801724 B TW I801724B TW 109107355 A TW109107355 A TW 109107355A TW 109107355 A TW109107355 A TW 109107355A TW I801724 B TWI801724 B TW I801724B
Authority
TW
Taiwan
Prior art keywords
image frame
distorted image
block size
pixel block
spatial resolution
Prior art date
Application number
TW109107355A
Other languages
English (en)
Other versions
TW202101966A (zh
Inventor
維克多 艾德帕姆
嵩 袁
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202101966A publication Critical patent/TW202101966A/zh
Application granted granted Critical
Publication of TWI801724B publication Critical patent/TWI801724B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本發明概念係關於一種用於編碼失真影像圖框(140)之方法(300)，其包括：判定(302)該等失真影像圖框(140)之一空間解析度分佈；判定(304)一最大像素區塊大小映圖(150)，其中該最大像素區塊大小映圖(150)係基於該空間解析度分佈，使得針對具有一第一空間解析度之該等失真影像圖框(140)之一第一部分(142)，將對應於該第一部分(142)之該最大像素區塊大小設定為一第一值(1502)，且針對具有低於該第一空間解析度之一第二空間解析度之該等失真影像圖框(140)之一第二部分(144)，將對應於該第二部分(144)之該最大像素區塊大小設定為低於該第一值(1502)之一第二值(1504)；及編碼(306)該等失真影像圖框(140)，其中該最大像素區塊大小映圖(150)用於定義編碼區塊之最大區塊大小。

Description

用於編碼失真影像圖框的方法、裝置及電腦程式產品
本發明係關於使用一基於區塊之視訊編碼演算法編碼經由至少一個影像感測器產生之失真影像圖框。
攝影機應用之一重要領域係一位置之監視。通常，取決於所監視位置而使用不同攝影機組態。例如，可使用能夠產生廣角視訊(例如，藉由全景拼接或使用廣角透鏡)之一或多個攝影機監視一停車場，以便擷取停車場之一空中全覽。在廣角視訊中，一物件之大小隨圖框而變化，此係視訊圖框上之不均勻空間解析度之一效應。因此，移動通過所監視場景之一車輛之一大小將改變，因為大小取決於所監視場景中之當前位置。通常使用廣泛範圍之不同影像處理演算法處理所監視位置之視訊。例如，編碼視訊，以便減少頻寬要求及與經編碼視訊相關聯之檔案大小。
然而，歸因於視訊圖框中之不均勻空間解析度，視訊編碼之一挑戰係在經編碼視訊中提供移動物件之一足夠視覺品質。
鑒於上文，本發明概念之一目標係單獨或組合地緩和、減輕或消除此項技術中之上文識別缺陷及缺點之一或多者。
根據一第一態樣，提供一種用於使用一基於區塊之視訊編碼演算法編碼經由至少一個影像感測器產生之失真影像圖框之方法。該方法包括：判定該等失真影像圖框之一空間解析度分佈；判定對應於該等失真影像圖框之一最大像素區塊大小映圖，其中基於該空間解析度分佈判定該最大像素區塊大小映圖，使得針對具有一第一空間解析度之該等失真影像圖框之一第一部分，將對應於該第一部分之該最大像素區塊大小設定為一第一值，且針對具有低於該第一空間解析度之一第二空間解析度之該等失真影像圖框之一第二部分，將對應於該第二部分之該最大像素區塊大小設定為低於該第一值之一第二值；及使用該基於區塊之視訊編碼演算法編碼該等失真影像圖框，其中該最大像素區塊大小映圖用於定義該基於區塊之視訊編碼演算法之編碼區塊之最大區塊大小。
在本申請案之內容脈絡內，「失真影像圖框」應被解釋為具有一失真透視之一影像圖框。在一失真影像圖框中，場景中之直線通常彎曲至某種程度。相比之下，一完美直線影像圖框具有對應於一所描繪場景中之直線之完美直線。在本申請案之內容脈絡內，論述兩種類型之失真源：實體失真源及數位失真源。實體失真源之非限制性實例係廣角透鏡，包含魚眼透鏡(例如，平場聚焦透鏡)、光學圓頂及不完美直線透鏡。一透鏡中之不完美可由製造不精密度導致。數位失真源之非限制性實例係影像拼接演算法，例如用於從複數個影像產生一全景影像。失真圖案可為不規則或規則的(諸如徑向失真)。一所擷取影像之失真圖案可為來自失真源之一者或一組合之結果。
在本申請案之內容脈絡內，「空間解析度」應被理解為一影像圖框之一空間解析度。在透過例如一廣角透鏡獲取或從多個影像圖框拼接之一失真影像圖框中，影像之不同部分具有不同空間解析度。換言之，該影像圖框之相等大小部分覆蓋攝影機之視場(FOV)之不同大小角度。該空間解析度可在一影像圖框之一像素級上指定或可在一像素子群組級上(例如，在一巨集區塊級上)判定。空間解析度可表達為每FOV角度之像素數目或每像素之FOV角度量。熟習此項技術者熟知如何取決於應用而在此等表達之間交換。例如，在根據本發明概念之一方法之一實施方案中，可較佳地使用此等表達之一者。一空間解析度分佈可由例如指示像素或像素子群組(例如，巨集區塊)之空間解析度分佈之一表表示。
在本申請案之內容脈絡內，「基於區塊之視訊編碼演算法」應被解釋為用於編碼視訊之一演算法，其中一影像圖框中之一組鄰近像素被處理為一編碼區塊。針對一視訊串流之個別圖框之像素之對應部分，該編碼區塊之大小可在該視訊串流中之該等個別圖框之間變化。一圖框中之不同像素區塊之大小可變化。一般言之，該等編碼區塊之一大的大小導致與編碼相關聯之較低計算成本，此係該基於區塊之視訊編碼演算法通常經程式化以使用儘可能大的大小之編碼區塊之原因。另一方面，編碼區塊之一大的大小亦導致經編碼視訊之一降低視覺品質。因此，該基於區塊之視訊編碼演算法經程式化以平衡該等編碼區塊之大小與該經編碼視訊之視覺品質。
在本申請案之內容脈絡內，「編碼區塊」應被解釋為該基於區塊之視訊編碼演算法之基本處理單元。例如，若該基於區塊之視訊編碼演算法係h.265或AV1，則該編碼區塊可為一寫碼單元(CU)。
藉由本發明概念，該基於區塊之視訊編碼演算法之編碼區塊之最大區塊大小係基於該等失真影像圖框之空間分佈，且藉此容許該經編碼視訊之一改良視覺品質。由於該第一部分及該第二部分之該等空間解析度不同，所以使該基於區塊之編碼演算法之編碼區塊之該等最大區塊大小基於該空間解析度容許該經編碼視訊之一更均質及因此改良之視覺品質。特定言之，藉由針對具有一較低空間解析度之失真影像中之區域設定一較低最大像素區塊大小，可將該失真影像圖框之此等區域中之細節更好地保留於該經編碼影像圖框中。
該基於區塊之視訊編碼演算法可為h.265或AV1，且其中該最大像素區塊大小映圖可用於定義該基於區塊之視訊編碼演算法之寫碼單元之最大大小。
與該基於區塊之視訊編碼演算法為h.265相關聯之一優點係可藉由設定該基於區塊之視訊編碼演算法之一寫碼樹單元(CTU)之一大小而設定該基於區塊之視訊編碼演算法之寫碼單元之最大大小。
與該基於區塊之視訊編碼演算法為AV1相關聯之一優點係可藉由設定該基於區塊之視訊編碼演算法之一超區塊之一大小而設定該基於區塊之視訊編碼演算法之寫碼單元之最大大小。
因此，本實施例可有利地被標準編碼器/解碼器採用。
該方法可進一步包括：判定對應於該等失真影像圖框之一最小像素區塊大小映圖，其中該最小像素區塊大小映圖包括具有不同最小像素區塊大小之區域，且其中基於該空間解析度分佈判定該最小像素區塊大小映圖，使得針對具有該第一空間解析度之該等失真影像圖框之該第一部分，將對應於該第一部分之該最小像素區塊大小設定為低於該第一值之一第三值，且針對具有該第二空間解析度之該等失真影像圖框之該第二部分，將對應於該第二部分之該最小像素區塊大小設定為低於該第二值及該第三值之一第四值；且其中在編碼該等失真影像圖框之步驟中，該最小像素區塊大小映圖可用於定義該基於區塊之視訊編碼演算法之編碼區塊之最小區塊大小。
與根據本實施例使用該最小像素區塊大小映圖定義該基於區塊之視訊編碼演算法之編碼區塊之最小區塊大小相關聯之一優點係可減少與視訊編碼相關聯之一計算成本、檔案大小及/或一頻寬且仍容許該經編碼視訊之一均質及因此改良之視覺品質。特定言之，藉由不容許該第一部分(具有相較於該第二部分之一較高空間解析度)之一最小區塊大小低於該第二部分之最小區塊大小，該編碼器可有利地選擇針對該第一部分使用高於該第二部分之一壓縮比。
該基於區塊之視訊編碼演算法可為h.265，且其中該最小像素區塊大小映圖可用於定義該基於區塊之視訊編碼演算法之預測單元(PU)及/或轉換單元(TU)之最小大小。
有利地，本實施例容許使用一標準h.265編碼器/解碼器之最小區塊大小之一低複雜性實施方案。
可藉由透過一廣角透鏡由一個影像感測器擷取而產生該等失真影像圖框，且其中可基於該廣角透鏡之一透鏡多項式判定該空間解析度分佈。
在本申請案之內容脈絡內，「透鏡多項式」應被解釋為描述表示一透鏡或一光學圓頂之透鏡折射之一透鏡特定多項式。可藉由例如使用一偏軸模量轉移函數(MTF)量測方法對該透鏡或對該光學圓頂執行量測而獲取透鏡多項式。一透鏡或光學圓頂製造商通常可為不同類型之透鏡或光學圓頂提供透鏡多項式或表示失真之一表。
與透過一廣角透鏡由一個影像感測器擷取該等失真影像圖框相關聯之一優點係可容許使用一個影像感測器之一場景之一廣全景且仍容許該經編碼視訊之一均質及因此改良之視覺品質。因此，可在無需將由單獨攝影機擷取之影像圖框拼接在一起的情況下達成具有一改良視覺品質之一廣全景視圖。
與基於該廣角透鏡之一透鏡多項式判定該空間解析度分佈相關聯之一優點係可容許容易且較不複雜地判定該空間解析度分佈。
該廣角透鏡可為一魚眼透鏡。
與該廣角透鏡係一魚眼透鏡相關聯之一優點係可容許使用一個影像感測器之一場景之一廣全景或半球形影像圖框且仍容許該經編碼視訊之一均質及因此改良之視覺品質。因此，可在無需將由單獨攝影機擷取之影像圖框拼接在一起的情況下達成具有一改良視覺品質之一廣全景或半球形視圖。
可藉由透過一光學圓頂由一個影像感測器擷取而產生該等失真影像圖框，且其中可基於該光學圓頂之一透鏡多項式判定該空間解析度分佈。
與藉由透過一光學圓頂由一個影像感測器擷取而產生失真影像圖框相關聯之一優點係可容許使用一個影像感測器之一場景之一廣全景或半球形影像圖框且仍容許該經編碼視訊之一均質及因此改良之視覺品質。因此，可在無需將由單獨攝影機擷取之影像圖框拼接在一起的情況下達成具有一改良視覺品質之一廣全景或半球形視圖。
與基於該光學圓頂之一透鏡多項式判定該空間解析度分佈相關聯之一優點係可容許容易且較不複雜地判定該空間解析度分佈。
該最大像素大小映圖之第一區域及第二區域可形成從運動偵測靈敏度映圖之一參考位置徑向延伸之橢圓形圖案；且其中該參考位置與該第一區域之間的一徑向距離可小於該參考位置與該第二區域之間的一徑向距離。
與該最大像素大小映圖之該第一區域及該第二區域形成從該運動偵測靈敏度映圖之一參考位置徑向延伸之橢圓形圖案相關聯之一優點係可容許容易且較不複雜地判定該最大像素大小映圖。
可藉由基於一投影演算法拼接由一或多個影像感測器擷取之複數個主影像圖框而產生各失真影像圖框。
在本申請案之內容脈絡內，「投影演算法」應被理解為描述如何拼接/組合多個主影像圖框以形成一經拼接影像圖框之一演算法。該投影演算法可經設計具有不同目的，例如用於提供該等主影像圖框之間的一平滑轉變或用於最小化該所得影像圖框中之失真。
藉由基於一投影演算法拼接由一或多個影像感測器擷取之複數個主影像圖框而產生各失真影像圖框之一優點係可容許具有較大數目個像素之一經拼接影像圖框。
藉由基於一投影演算法拼接由一或多個影像感測器擷取之複數個主影像圖框而產生各失真影像圖框之一進一步優點係可容許不具有複雜光學組件(例如，魚眼透鏡或光學圓頂)之全景影像圖框。
可基於該投影演算法判定該空間解析度分佈。
一相關聯優點係可定義編碼區塊之該等最小及/或最大區塊大小，使得改良該等經拼接影像圖框或全景影像圖框之視覺品質。
一進一步相關聯優點係其可為判定該空間解析度分佈之一容易且較不複雜方式，例如藉由使用該投影演算法之一反算。
根據一第二態樣，提供一種電腦程式產品。該電腦程式產品包括一電腦可讀媒體，該電腦可讀媒體具有儲存於其上以當由具有處理能力之一裝置執行時執行本方法之電腦程式碼指令。
該電腦可讀媒體可為一非暫時性電腦可讀媒體。
該方法之上文提及特徵亦視情況應用於此第二態樣。為避免過度重複，參考上文。
根據一第三態樣，提供一種用於使用一基於區塊之視訊編碼演算法編碼經由至少一個影像感測器產生之失真影像圖框之編碼器。該編碼器包括：一空間解析度分佈組件，其經調適以判定該等失真影像圖框之一空間解析度分佈；一最大像素區塊大小映圖組件，其經調適以判定對應於該等失真影像圖框之一最大像素區塊大小映圖，其中基於該空間解析度分佈判定該最大像素區塊大小映圖，使得針對具有一第一空間解析度之該等失真影像圖框之一第一部分，將對應於該第一部分之該最大像素區塊大小設定為一第一值，且針對具有低於該第一空間解析度之一第二空間解析度之該等失真影像圖框之一第二部分，將對應於該第二部分之該最大像素區塊大小設定為低於該第一值之一第二值；及一視訊編碼組件，其經調適以使用該基於區塊之視訊編碼演算法編碼該等失真影像圖框，其中該基於區塊之視訊編碼演算法使用該最大像素區塊大小映圖來定義該基於區塊之視訊編碼演算法之編碼區塊之最大區塊大小。
該方法及該電腦程式產品之上文提及特徵視情況亦應用於此第三態樣。為避免過度重複，參考上文。
該編碼器可進一步包括：一最小像素區塊大小映圖組件，其經調適以判定對應於該等失真影像圖框之一最小像素區塊大小映圖，該最小像素區塊大小映圖包括具有不同最小像素區塊大小之區域，且其中基於該空間解析度分佈判定該最小像素區塊大小映圖，使得針對具有該第一空間解析度之該等失真影像圖框之該第一部分，將對應於該第一部分之該最小像素區塊大小設定為低於該第一值之一第三值，且針對具有該第二空間解析度之該等失真影像圖框之該第二部分，將對應於該第二部分之該最小像素區塊大小設定為低於該第二值及該第三值之一第四值；且其中該基於區塊之視訊編碼演算法可使用該最小像素區塊大小映圖來定義該基於區塊之視訊編碼演算法之編碼區塊之最小區塊大小。
根據一第四態樣，提供一種攝影機。該攝影機包括根據第三態樣之編碼器。
該方法、該電腦程式產品及該編碼器之上文提及特徵視情況亦應用於此第四態樣。為避免過度重複，參考上文。
該攝影機可進一步包括一廣角透鏡，透過該廣角透鏡由該攝影機之一個影像感測器擷取影像。
該攝影機可進一步包括複數個影像感測器，且其中該編碼器進一步包括一拼接組件，其經調適以從由該複數個影像感測器擷取之複數個主影像拼接影像圖框。
將從下文給出之詳細描述變得明白本發明之適用性之一進一步範疇。然而，應理解，雖然指示本發明概念之較佳變體，但詳細描述及特定實例僅以圖解之方式給出，此係因為熟習此項技術者將從此詳細描述變得明白發明概念之範疇內之各種改變及修改。
因此，應理解，本發明概念不限於所描述方法之特定步驟或所描述系統之組件部分，此係因為此方法及系統可變化。亦應理解，本文中使用之術語僅出於描述特定實施例之目的且不旨在係限制性的。必須注意，如在說明書及隨附發明申請專利範圍中使用，冠詞「一」、「一個」、「該」及「該等」旨在意謂存在元件之一或多者，除非內容脈絡另外明確規定。因此，例如，對「一單元」或「該單元」之參考可包含若干裝置及類似物。此外，字詞「包括」、「包含」、「含有」及類似字詞不排除其他元件或步驟。
現將參考隨附圖式在下文中更充分描述本發明概念，其中展示發明概念之當前較佳變體。然而，本發明概念可以許多不同形式實施且不應被解釋為限於本文中提出之變體；實情係，此等變體提供徹底性及完整性，且將本發明概念之範疇完整傳達給熟習此項技術者。
圖1A繪示由一攝影機110從上方監視之一場景之一側視圖。場景包括具有類似大小之一第一盒122及一第二盒124。攝影機110包括經配置以產生場景之失真影像圖框之至少一個影像感測器。圖1A中之攝影機110可為關於圖2B描述之攝影機210或關於圖2C描述之攝影機410。將關於圖1C描述圖1A中繪示之場景之一失真影像圖框140之一實例。攝影機110具有一廣視場112。廣視場112可為多至180°。廣視場112之一相關聯立體角可為多至2π sr。
圖1B繪示在圖1A中監視之場景之一俯視圖之一直線影像圖框130。如圖1B中所見，在線性影像圖框130中，盒122、124之各者在從上方所見時具有類似大小。因此，圖1B中之直線影像圖框130中之一空間解析度在直線影像圖框130上實質上恆定。
圖1C繪示圖1B中之俯視圖之一失真影像圖框140。可藉由透過一廣角透鏡由一個影像感測器擷取而產生失真影像圖框140。可藉由透過一光學圓頂由一個影像感測器擷取而產生失真影像圖框140。可藉由基於一投影演算法拼接複數個主影像而產生失真影像圖框140，如將關於圖2C描述。如圖1C中所見，盒122、124之表觀大小取決於各盒122、124在失真影像圖框140中之位置而變化。因此，失真影像圖框140中之一空間解析度在失真影像圖框140上變化。可基於失真影像圖框140及直線影像圖框130判定空間分佈。可基於攝影機110之廣角透鏡判定空間分佈。可藉由透過一廣角透鏡由一個影像感測器擷取而產生失真影像圖框140，且其中基於廣角透鏡之一透鏡多項式判定空間解析度分佈。若藉由基於一投影演算法拼接複數個主影像而產生失真影像圖框140，則空間分佈可係基於投影演算法。例如，空間分佈可係基於投影演算法之一反算。
在圖1C中，第一盒122在失真影像圖框140之一第一部分142內。失真影像圖框140之第一部分142與一第一空間解析度相關聯。第二盒124在失真影像圖框140之一第二部分144內。失真影像圖框140之第二部分142與一第二空間解析度相關聯。歸因於在產生失真影像圖框140時使用之成像光學器件及/或投影演算法，失真影像圖框140亦可包括不具有關於所監視場景之資訊之部分148。第一空間解析度與第二空間解析度相關，使得具有相等大小之物件(例如，盒122、124)在失真影像140之第一部分142中看似比在失真影像140之第二部分144中更大，如圖2C中例示。換言之，在就每像素之視場角而言表達空間解析度的情況下，第一部分142中之空間解析度高於第二部分144中之空間解析度。
若使用一基於區塊之視訊編碼演算法之編碼區塊之相同區塊大小編碼圖2C中繪示之失真影像圖框140，則將使用少於第一部分142中之物件之編碼區塊編碼第二部分144中之物件(例如，第二盒124)，此係因為第二部分144中之物件看似小於第一部分142中之物件。為此，減小對應於第二部分144之編碼區塊之一最大像素區塊大小可增加用於編碼第二部分144中之物件(例如，第二盒124)之編碼區塊之數目。藉此將增加經編碼失真視訊圖框中之第二部分144中之物件之一視覺品質，如上文論述。
在先前技術中，基於區塊之視訊編碼演算法通常經指示以基於失真影像圖框之一內容選擇編碼區塊之像素區塊大小。基於區塊之視訊編碼演算法通常判定具有一低空間解析度之部分中(例如，失真影像圖框140之第二部分144中)之內容不如具有一高空間解析度之部分中(例如，失真影像圖框140之第一部分142中)之內容重要。因此，一先前技術編碼器通常針對具有一較低空間解析度之部分(例如，第二部分144)選擇大於具有一較高空間解析度之部分(例如，第一部分142)之編碼區塊之一像素區塊大小。因此，基於區塊之視訊編碼演算法編碼失真影像圖框，使得降低具有一低空間解析度之失真影像之部分中之視覺品質。
為此，為考量失真影像圖框140上之變化空間分佈，基於空間解析度分佈判定一最大像素區塊大小映圖150，使得針對具有第一空間解析度之失真影像圖框140之第一部分142，將最大像素區塊大小設定為一第一值1502，且針對具有低於第一空間解析度之第二空間解析度之失真影像圖框140之第二部分144，將對應於第二部分144之最大像素區塊大小設定為低於第一值1502之一第二值1504。在圖1D中繪示一最大像素區塊大小映圖150之一實例。使用基於區塊之視訊編碼演算法編碼失真影像圖框140，其中最大像素區塊大小映圖150用於定義基於區塊之視訊編碼演算法之編碼區塊之最大像素區塊大小。最大像素區塊大小映圖150可用於定義基於區塊之視訊編碼演算法之寫碼單元之最大大小。例如，若基於區塊之視訊編碼演算法係h.265，則寫碼樹單元(CTU)大小可設定寫碼單元之最大大小。若基於區塊之視訊編碼演算法係AV1，則一超區塊之大小可設定寫碼單元之最大大小。
基於區塊之視訊編碼演算法可使用小於最大像素區塊大小之編碼區塊之一像素區塊大小。基於區塊之視訊編碼演算法通常使用小於最大像素區塊大小之編碼區塊之一像素區塊大小(若基於區塊之視訊編碼演算法判定其有益於經編碼視訊之視覺品質)。因此，可使用較大數目個編碼區塊編碼失真影像圖框140之第一部分142中之物件，藉此導致具有一高位元率之一經編碼視訊。為降低位元率，可設定與編碼失真影像圖框140之第一部分142相關聯之編碼區塊之一最小像素區塊大小。因此，藉此將降低第一部分142中之物件之視覺品質，以便降低經編碼視訊之位元率。若基於區塊之視訊編碼演算法係h.265，則可藉由定義基於區塊之視訊編碼演算法之預測單元(PU)及/或轉換單元(TU)之最小大小而設定編碼區塊之最小像素區塊大小。
為此，可判定對應於失真影像圖框140之一最小像素區塊大小映圖160。在圖1E中繪示一最大像素區塊大小映圖160之一實例。最小像素區塊大小映圖160可包括具有不同最小像素區塊大小之區域162、164，且其中基於空間解析度分佈判定最小像素區塊大小映圖160，使得針對具有第一空間解析度之失真影像圖框140之第一部分142，將對應於第一部分142之最小像素區塊大小設定為低於第一值1502之一第三值1602，且針對具有第二空間解析度之失真影像圖框140之第二部分144，將對應於第二部分144之最小像素區塊大小設定為低於第二值1504及第三值1602之一第四值1604。可進一步使用最小像素區塊大小映圖160定義基於區塊之視訊編碼演算法之編碼區塊之最小區塊大小來編碼失真影像圖框140以。使用最小像素區塊大小映圖160定義基於區塊之視訊編碼演算法之編碼區塊之最小區塊大小可減少與視訊編碼相關聯之一計算成本、檔案大小及/或頻寬且仍容許經編碼視訊之一均質及因此改良之視覺品質。特定言之，藉由不容許第一部分142 (具有相較於第二部分144之一較高空間解析度)之一最小區塊大小低於第二部分144之最小區塊大小，基於區塊之視訊編碼演算法可有利地選擇針對第一部分142使用高於第二部分144之一壓縮比。
如圖1C中例示，失真影像圖框140中之第一部分142及第二部分144可形成從失真影像圖框140之一參考位置徑向延伸之橢圓形圖案。參考位置可為失真影像圖框140之一中心位置(如圖1C中例示)，且從參考位置至第一部分142之一徑向距離小於從參考位置至第二部分144之一徑向距離。因此，對應於失真影像圖框140之第一部分142之最大像素大小映圖150之一第一區域152及對應於失真影像圖框140之第二部分144之最大像素大小映圖150之一第二區域154可形成從最大像素大小映圖150之一參考位置1500徑向延伸之橢圓形圖案。參考位置1500與第一區域152之間的一徑向距離可小於參考位置1500與第二區域154之間的一徑向距離。
此外，對應於失真影像圖框140之第一部分142之最小像素大小映圖160之一第一區域162及對應於失真影像圖框140之第二部分144之最小像素大小映圖150之一第二區域164可形成從最小像素大小映圖160之一參考位置1600徑向延伸之橢圓形圖案。參考位置1600與第一區域162之間的一徑向距離可小於參考位置1600與第二區域164之間的一徑向距離。最小像素區塊大小映圖160中之參考位置1600可對應於最大像素區塊大小映圖150中之參考位置1500。
應理解，失真影像圖框140之空間解析度分佈可在失真影像圖框140上連續變化，且對應最大像素區塊大小映圖150可相應地變化。因此，關於圖1A至圖1E之描述係關於一第一部分142及一第二部分144，但亦可同樣係關於較大數目個部分。熟習此項技術者認識到如何調適上文描述以說明失真影像圖框140中之額外部分及/或失真影像圖框140上之一連續變化空間解析度分佈。
圖2A繪示一編碼器200。編碼器200經組態用於使用一基於區塊之編碼演算法編碼經由至少一個影像感測器產生之失真影像圖框。編碼器200可以硬體及/或軟體實施。
編碼器200包括一空間解析度組件202，其經調適以判定失真影像圖框之一空間解析度分佈。可基於在擷取失真影像圖框410時使用之成像光學器件之一透鏡多項式判定空間解析度。成像光學器件可為一廣角透鏡，例如一魚眼透鏡或一光學圓頂。
該編碼器200進一步包括：一最大像素區塊大小映圖組件204，其經調適以判定對應於失真影像圖框之一最大像素區塊大小映圖，其中基於空間解析度分佈判定最大像素區塊大小映圖，使得針對具有一第一空間解析度之失真影像圖框之一第一部分，將對應於第一部分之最大像素區塊大小設定為一第一值，且針對具有低於第一空間解析度之一第二空間解析度之失真影像圖框之一第二部分，將對應於第二部分之最大像素區塊大小設定為低於第一值之一第二值。
編碼器200進一步包括一視訊編碼組件206，其經調適以使用基於區塊之視訊編碼演算法編碼失真影像圖框，其中基於區塊之視訊編碼演算法使用最大像素區塊大小映圖來定義基於區塊之視訊編碼演算法之編碼區塊之最大區塊大小。最大像素區塊大小映圖可用於定義基於區塊之視訊編碼演算法之寫碼單元之最大區塊大小。若基於區塊之編碼演算法係h.265，則寫碼樹單元(CTU)大小可定義寫碼單元之最大區塊大小。若基於區塊之編碼演算法係AV1，則超區塊之大小可定義寫碼單元之最大大小。
如圖2A中例示，編碼器200可進一步包括：一最小像素區塊大小映圖組件208，其經調適以判定對應於失真影像圖框之一最小像素區塊大小映圖，最小像素區塊大小映圖包括具有不同最小像素區塊大小之區域，且其中基於空間解析度分佈判定最小像素區塊大小映圖，使得針對具有第一空間解析度之失真影像圖框之第一部分，將對應於第一部分之最小像素區塊大小設定為低於該第一值之一第三值，且針對具有第二空間解析度之失真影像圖框之第二部分，將對應於第二部分之最小像素區塊大小設定為低於第二值及第三值之一第四值；且其中基於區塊之視訊編碼演算法可使用最小像素區塊大小映圖來定義基於區塊之視訊編碼演算法之編碼區塊之最小區塊大小。
若基於區塊之編碼演算法係h.265，則可由基於區塊之視訊編碼演算法之預測單元(PU)及/或轉換單元(TU)之最小大小定義寫碼單元之最小區塊大小。
編碼器200可進一步包括一拼接組件412，其經調適以從複數個主影像拼接影像圖框，藉此產生失真影像圖框。在其他實施例中，拼接組件與編碼器200分離，其中失真影像圖框包括在編碼器200處接收之前拼接在一起之複數個所擷取影像。
編碼器200可包括於一攝影機210中，如圖2B中例示。攝影機210進一步包括至少一個影像感測器212。至少一個影像感測器212及編碼器200可經由一資料匯流排214通信。攝影機210可進一步包括成像光學器件216，透過該成像光學器件216由攝影機210之至少一個影像感測器212擷取影像。成像光學器件216可為一廣角透鏡。廣角透鏡可為一魚眼透鏡。廣角透鏡可為一光學圓頂。
如圖2C中例示，攝影機410可包括複數個影像感測器212。攝影機410可包括一拼接組件412 (圖2C中未展示，此係因為其包含於編碼器200中)，其經調適以從由複數個影像感測器212擷取之複數個主影像拼接影像圖框。如圖2C中例示，複數個影像感測器212之各者可與成像光學器件216相關聯。成像光學器件216可類似於關於圖2B描述之成像光學器件。圖2C中之成像光學器件216可為經調適以減少主影像中之失真之傳統攝影機物鏡，即，攝影機物鏡可經調適以產生實質上直線影像作為主影像。複數個影像感測器212及編碼器200可經由一資料匯流排214通信。
攝影機210、410可進一步包括一非暫時性電腦可讀儲存媒體220，其經組態以儲存編碼器之設定、最大像素區塊大小映圖、最小像素區塊大小映圖、失真影像圖框及/或經編碼視訊。至少一個影像感測器212、編碼器200及非暫時性電腦可讀儲存媒體220可經由資料匯流排214通信。
應理解，編碼器200可包括於經組態以從攝影機210、410接收失真影像圖框之一外部電腦及/或伺服器中。
圖3係用於使用一基於區塊之視訊編碼演算法編碼經由至少一個影像感測器212產生之失真影像圖框140之一方法300之一方塊圖。
方法300包括判定302失真影像圖框140之一空間解析度分佈。
可藉由透過一廣角透鏡由一個影像感測器212擷取312而產生310失真影像圖框140，且可基於廣角透鏡之一透鏡多項式判定空間解析度分佈。
廣角透鏡可為一魚眼透鏡。
可藉由透過一光學圓頂由一個影像感測器212擷取314而產生失真影像圖框140，且可基於光學圓頂之一透鏡多項式判定空間解析度分佈。
可藉由基於一投影演算法拼接316由一或多個影像感測器212擷取之複數個主影像圖框而產生各失真影像圖框140。
可基於投影演算法判定空間解析度分佈。
該方法進一步包括判定304對應於失真影像圖框140之一最大像素區塊大小映圖150。基於空間解析度分佈判定最大像素區塊大小映圖150，使得針對具有一第一空間解析度之失真影像圖框140之一第一部分142，將對應於第一部分142之最大像素區塊大小設定為一第一值1502，且針對具有低於第一空間解析度之一第二空間解析度之失真影像圖框140之一第二部分144，將對應於第二部分144之最大像素區塊大小設定為低於第一值1502之一第二值1504。
最大像素區塊大小映圖150可包括具有不同最大像素區塊大小之區域。
第一部分142可為失真影像圖框140之一中心部分。
第二部分144可為失真影像圖框140之一外部。
方法300進一步包括使用基於區塊之視訊編碼演算法編碼306失真影像圖框140，其中最大像素區塊大小映圖150用於定義基於區塊之視訊編碼演算法之編碼區塊之最大區塊大小。
基於區塊之視訊編碼演算法可為h.265或AV1，且最大像素區塊大小映圖150可用於定義基於區塊之視訊編碼演算法之寫碼單元之最大大小。
方法300可進一步包括：判定308對應於失真影像圖框140之一最小像素區塊大小映圖160，其中最小像素區塊大小映圖160包括具有不同最小像素區塊大小之區域162、164，且其中基於空間解析度分佈判定最小像素區塊大小映圖160，使得針對具有第一空間解析度之失真影像圖框140之第一部分142，將對應於第一部分142之最小像素區塊大小設定為低於第一值1502之一第三值1602，且針對具有第二空間解析度之失真影像圖框140之一第二部分144，將對應於第二部分144之最小像素區塊大小設定為低於第二值1504及第三值1602之一第四值1604；且其中在編碼306失真影像圖框140之步驟中，最小像素區塊大小映圖160用於定義基於區塊之視訊編碼演算法之編碼區塊之最小區塊大小。
基於區塊之視訊編碼演算法可為h.265，且最小像素區塊大小映圖160可用於定義基於區塊之視訊編碼演算法之預測單元(PU)及/或轉換單元(TU)之最小大小。
對應於失真影像圖框140之第一部分142之最大像素大小映圖150之一第一區域152及對應於失真影像圖框140之第二部分144之最大像素大小映圖150之一第二區域154可形成從最大像素大小映圖150之一參考位置1500徑向延伸之橢圓形圖案，且參考位置1500與第一區域152之間的一徑向距離可小於參考位置1500與第二區域154之間的一徑向距離。
上文已在圖3中以一循序方式描述及展示方法300，然而方法300之步驟可以除此處描述之順序以外之順序執行。例如，最小像素區塊大小映圖160可在最大像素區塊大小映圖150之前判定或同時判定。
熟習此項技術者意識到，本發明概念決不限於上文描述之較佳變體。相反地，許多修改及變化可在隨附發明申請專利範圍之範疇內。
可替代地藉由基於一投影演算法拼接由一或多個影像感測器擷取之複數個主影像圖框而產生關於圖1C論述之失真影像圖框140。針對一經拼接影像，空間解析度分佈可係基於投影演算法。
作為一進一步實例，在圖1D及圖1E中，第三值1602被展示為小於第二值1504，然而，應理解，第二值1504可小於第三值1602。
另外，熟習此項技術者在實踐所主張發明時可從圖式、揭示內容及隨附發明申請專利範圍之一研究理解及產生對所揭示變體之變化。
110:攝影機 112:廣視場 122:第一盒 124:第二盒 130:直線影像圖框 140:失真影像圖框 142:第一部分 144:第二部分 148:部分 150:最大像素區塊大小映圖 152:第一區域 154:第二區域 160:最小像素區塊大小映圖 162:區域 164:區域 200:編碼器 202:空間解析度組件 204:最大像素區塊大小映圖組件 206:視訊編碼組件 208:最小像素區塊大小映圖組件 210:攝影機 212:影像感測器 214:資料匯流排 216:成像光學器件 220:非暫時性電腦可讀儲存媒體 300:方法 302:判定 304:判定 306:編碼 308:判定 312:擷取 314:擷取 316:拼接 410:攝影機 412:拼接組件 1500:參考位置 1502:第一值 1504:第二值 1600:參考位置 1602:第三值 1604:第四值
現將參考展示發明概念之變體之隨附圖式更詳細描述本發明概念之上文及其他態樣。圖不應被視為將本發明限制於特定變體；代替地，其等用於說明及理解發明概念。
如在圖中繪示，層及區域之大小為闡釋性目的而放大，且因此經提供以繪示本發明之實施例之一般結構。相同元件符號係指貫穿全文之相同元件。
圖1A繪示由一監視攝影機從上方監視之一場景之一側視圖。
圖1B繪示在圖1A中監視之場景之一俯視圖。
圖1C繪示圖1B中之俯視圖之一非直線影像圖框。
圖1D繪示一最大像素區塊大小映圖。
圖1E繪示一最小像素區塊大小映圖。
圖2A繪示用於使用一基於區塊之編碼演算法編碼經由至少一個影像感測器產生之失真影像圖框之一編碼器。
圖2B繪示包括圖2A之編碼器之一攝影機。
圖2C繪示包括複數個影像感測器之一攝影機。
圖3係用於使用一基於區塊之視訊編碼演算法編碼經由至少一個影像感測器產生之失真影像圖框之一方法之一方塊圖。
300:方法
302:判定
304:判定
306:編碼
308:判定
312:擷取
314:擷取
316:拼接

Claims (14)

  1. 一種用於使用一基於區塊之視訊編碼演算法編碼經由描繪一場景之至少一個影像感測器(212)產生之一失真影像圖框(140)之方法(300)，該失真影像圖框(140)中之各像素對應於該場景中之一視場(field of view,FOV)，該方法(300)包括：判定(304)對應於該失真影像圖框(140)之一最大像素區塊大小映圖(150)，其中基於對應於該失真影像圖框(140)中之每像素之該對應FOV之一範圍分佈(distribution of extents)之一空間解析度分佈判定該最大像素區塊大小映圖(150)，使得針對具有一第一空間解析度之該失真影像圖框(140)之一第一部分(142)，將對應於該第一部分(142)之該最大像素區塊大小設定為一第一值(1502)，且針對具有低於該第一空間解析度之一第二空間解析度之該失真影像圖框(140)之一第二部分(144)，將對應於該第二部分(144)之該最大像素區塊大小設定為低於該第一值(1502)之一第二值(1504)；及使用該基於區塊之視訊編碼演算法編碼(306)該失真影像圖框(140)，其中該最大像素區塊大小映圖(150)用於定義該基於區塊之視訊編碼演算法之編碼區塊之最大區塊大小。
  2. 如請求項1之方法(300)，其中該基於區塊之視訊編碼演算法係h.265或AV1，且其中該最大像素區塊大小映圖(150)用於定義該基於區塊之視訊編碼演算法之寫碼單元之最大大小。
  3. 如請求項1或2之方法(300)，其進一步包括：判定(308)對應於該失真影像圖框(140)之一最小像素區塊大小映圖(160)，其中該最小像素區塊大小映圖(160)包括具有不同最小像素區塊大小之區域(162、164)，且其中基於該空間解析度分佈判定該最小像素區塊大小映圖(160)，使得針對具有該第一空間解析度之該失真影像圖框(140)之該第一部分(142)，將對應於該第一部分(142)之該最小像素區塊大小設定為低於該第一值(1502)之一第三值(1602)，且針對具有該第二空間解析度之該失真影像圖框(140)之該第二部分(144)，將對應於該第二部分(144)之該最小像素區塊大小設定為低於該第二值(1504)及該第三值(1602)之一第四值(1604)；且其中在編碼(306)該失真影像圖框(140)之步驟中，該最小像素區塊大小映圖(160)用於定義該基於區塊之視訊編碼演算法之編碼區塊之最小區塊大小。
  4. 如請求項3之方法(300)，其中該基於區塊之視訊編碼演算法係h.265，且其中該最小像素區塊大小映圖(160)用於定義該基於區塊之視訊編碼演算法之預測單元(PU)及/或轉換單元(TU)之最小大小。
  5. 如請求項1或2之方法(300)，其中藉由透過一廣角透鏡由一個影像感測器(212)擷取(312)而產生該失真影像圖框(140)。
  6. 如請求項5之方法(300)，其中該廣角透鏡係一魚眼透鏡。
  7. 如請求項1或2之方法(300)，其中藉由透過一光學圓頂由一個影像感測器(212)擷取(314)而產生該失真影像圖框(140)。
  8. 如請求項1或2之方法(300)，其中藉由基於一投影演算法拼接(316)由一或多個影像感測器(212)擷取之複數個主影像圖框而產生各失真影像圖框(140)。
  9. 如請求項5之方法(300)，其中對應於該失真影像圖框(140)之該第一部分(142)之該最大像素大小映圖(150)之一第一區域(152)及對應於該失真影像圖框(140)之該第二部分(144)之該最大像素大小映圖(150)之一第二區域(154)形成從該最大像素大小映圖(150)之一參考位置(1500)徑向延伸之橢圓形圖案；且其中該參考位置(1500)與該第一區域(152)之間的一徑向距離小於該參考位置(1500)與該第二區域(154)之間的一徑向距離。
  10. 一種非暫時性電腦可讀媒體，該非暫時性電腦可讀媒體包括當由一裝置上之電路執行時致使該電路執行如請求項1至9中任一者之方法(300)之指令。
  11. 一種用於使用一基於區塊之視訊編碼演算法編碼經由描繪一場景之至少一個影像感測器(212)產生之失真影像圖框(140)之編碼器(200)，該失真影像圖框中之各像素對應於該場景之一視場(FOV)，該編碼器(200)經組態以： 判定對應於該失真影像圖框(140)之一最大像素區塊大小映圖(150)，其中基於對應於該失真影像圖框(140)中之每像素之對應FOV之一範圍分佈之一空間解析度分佈判定該最大像素區塊大小映圖(150)，使得針對具有一第一空間解析度之該失真影像圖框(140)之一第一部分(142)，將對應於該第一部分(142)之該最大像素區塊大小設定為一第一值(1502)，且針對具有低於該第一空間解析度之一第二空間解析度之該失真影像圖框(140)之一第二部分(144)，將對應於該第二部分(144)之該最大像素區塊大小設定為低於該第一值(1502)之一第二值(1504)；及使用該基於區塊之視訊編碼演算法，編碼該失真影像圖框(140)，其中該基於區塊之視訊編碼演算法使用該最大像素區塊大小映圖(150)來定義該基於區塊之視訊編碼演算法之編碼區塊之最大區塊大小。
  12. 一種攝影機(210、410)，其包括如請求項11之編碼器(200)。
  13. 如請求項12之攝影機(210、410)，其進一步包括一廣角透鏡，透過該廣角透鏡由該攝影機(210、410)之一個影像感測器(212)擷取影像。
  14. 如請求項12或13之攝影機(210、410)，其進一步包括複數個影像感測器(212)，且其中該編碼器(200)進一步經組態以從由該複數個影像感測器(212)擷取之複數個主影像拼接影像圖框。
TW109107355A 2019-05-14 2020-03-06 用於編碼失真影像圖框的方法、裝置及電腦程式產品 TWI801724B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19174349.1 2019-05-14
EP19174349.1A EP3739880A1 (en) 2019-05-14 2019-05-14 Method, device and computer program product for encoding a distorted image frame

Publications (2)

Publication Number Publication Date
TW202101966A TW202101966A (zh) 2021-01-01
TWI801724B true TWI801724B (zh) 2023-05-11

Family

ID=66542112

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109107355A TWI801724B (zh) 2019-05-14 2020-03-06 用於編碼失真影像圖框的方法、裝置及電腦程式產品

Country Status (6)

Country Link
US (1) US11146817B2 (zh)
EP (1) EP3739880A1 (zh)
JP (1) JP7125446B2 (zh)
KR (1) KR102396570B1 (zh)
CN (1) CN111953982B (zh)
TW (1) TWI801724B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230300338A1 (en) * 2022-03-16 2023-09-21 Apple Inc. Resolution-based video encoding

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150319456A1 (en) * 2014-04-30 2015-11-05 Canon Kabushiki Kaisha Method and device for encoding a sub-aperture image of a set of sub-aperture images obtained from a plenoptic image
US20160140421A1 (en) * 2014-11-14 2016-05-19 Axis Ab Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system
US20160309065A1 (en) * 2015-04-15 2016-10-20 Lytro, Inc. Light guided image plane tiled arrays with dense fiber optic bundles for light-field and high resolution image acquisition
US20170251204A1 (en) * 2016-02-26 2017-08-31 Qualcomm Incorporated Independent multi-resolution coding
US20170316549A1 (en) * 2016-04-29 2017-11-02 Immersive Enterprises, LLC Method and system for defining a virtual reality resolution distribution
US20170336705A1 (en) * 2016-05-19 2017-11-23 Avago Technologies General Ip (Singapore) Pte. Ltd. 360 degree video capture and playback
US20180103199A1 (en) * 2016-10-12 2018-04-12 Qualcomm Incorporated Systems and methods of generating and processing files for partial decoding and most interested regions
US20180164593A1 (en) * 2016-12-14 2018-06-14 Qualcomm Incorporated Viewport-aware quality metric for 360-degree video
US20180249163A1 (en) * 2017-02-28 2018-08-30 Nokia Technologies Oy Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4404340B2 (ja) 2003-09-22 2010-01-27 Ｋｄｄｉ株式会社 適応形状画像符号化装置および復号装置
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
JP2015050661A (ja) * 2013-09-02 2015-03-16 キヤノン株式会社 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
JP2015115901A (ja) 2013-12-13 2015-06-22 キヤノン株式会社 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
US10979691B2 (en) 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
TWI775760B (zh) * 2016-07-08 2022-09-01 美商Ｖｉｄ衡器股份有限公司 使用幾何投影360度視訊編碼
EP3301920A1 (en) 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for coding/decoding omnidirectional video
US20190238888A1 (en) * 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
JP6922215B2 (ja) 2016-12-27 2021-08-18 富士通株式会社 動画像符号化装置
WO2018131832A1 (ko) * 2017-01-10 2018-07-19 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US20200275116A1 (en) * 2017-03-13 2020-08-27 Electronics And Telecommunications Research Institute Atypical block-based motion prediction and compensation method for video encoding/decoding and device therefor
US10904531B2 (en) 2017-03-23 2021-01-26 Qualcomm Incorporated Adaptive parameters for coding of 360-degree video
US11184641B2 (en) * 2017-05-09 2021-11-23 Koninklijke Kpn N.V. Coding spherical video data
CN107396081B (zh) 2017-06-19 2019-04-12 深圳市铂岩科技有限公司 针对全景视频的优化编码方法及装置
US20200267385A1 (en) * 2017-07-06 2020-08-20 Kaonmedia Co., Ltd. Method for processing synchronised image, and apparatus therefor

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150319456A1 (en) * 2014-04-30 2015-11-05 Canon Kabushiki Kaisha Method and device for encoding a sub-aperture image of a set of sub-aperture images obtained from a plenoptic image
US20160140421A1 (en) * 2014-11-14 2016-05-19 Axis Ab Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system
US20160309065A1 (en) * 2015-04-15 2016-10-20 Lytro, Inc. Light guided image plane tiled arrays with dense fiber optic bundles for light-field and high resolution image acquisition
US20170251204A1 (en) * 2016-02-26 2017-08-31 Qualcomm Incorporated Independent multi-resolution coding
US20170316549A1 (en) * 2016-04-29 2017-11-02 Immersive Enterprises, LLC Method and system for defining a virtual reality resolution distribution
US20170336705A1 (en) * 2016-05-19 2017-11-23 Avago Technologies General Ip (Singapore) Pte. Ltd. 360 degree video capture and playback
US20180103199A1 (en) * 2016-10-12 2018-04-12 Qualcomm Incorporated Systems and methods of generating and processing files for partial decoding and most interested regions
US20180164593A1 (en) * 2016-12-14 2018-06-14 Qualcomm Incorporated Viewport-aware quality metric for 360-degree video
US20180249163A1 (en) * 2017-02-28 2018-08-30 Nokia Technologies Oy Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming

Also Published As

Publication number Publication date
CN111953982A (zh) 2020-11-17
KR102396570B1 (ko) 2022-05-10
JP7125446B2 (ja) 2022-08-24
US20200366934A1 (en) 2020-11-19
CN111953982B (zh) 2023-06-16
TW202101966A (zh) 2021-01-01
EP3739880A1 (en) 2020-11-18
JP2020205582A (ja) 2020-12-24
US11146817B2 (en) 2021-10-12
KR20200131729A (ko) 2020-11-24

Similar Documents

Publication Publication Date Title
US8872887B2 (en) Object detection and rendering for wide field of view (WFOV) image acquisition systems
US20180213217A1 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
WO2014208230A1 (ja) 座標算出装置及び方法、並びに画像処理装置及び方法
CN109688413B (zh) 以支持辅助帧的视频编码格式编码视频流的方法和编码器
CN108156383B (zh) 基于相机阵列的高动态十亿像素视频采集方法及装置
TW201447814A (zh) 即時影像處理方法及其裝置
TWI801724B (zh) 用於編碼失真影像圖框的方法、裝置及電腦程式產品
JP2015050661A (ja) 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
US8787689B2 (en) Apparatus and method for correction of distortion in digital image data
US7683935B2 (en) Imaging device
US10567644B2 (en) Image capturing device, image processing method and image processing device for stitching and blending operations
CN116579923A (zh) 图像拼接方法、设备及存储介质
JP2006157432A (ja) 立体画像撮影装置及び立体画像の撮影方法
JP2020205582A5 (zh)
JP2010176239A (ja) 画像処理装置、画像処理方法、画像符号化方法、画像復号化方法
EP3091742A1 (en) Device and method for encoding a first image of a scene using a second image having a lower resolution and captured at the same instant
EP3722991B1 (en) Method, system, and device for detecting an object in a distorted image
JP6769357B2 (ja) 画像処理装置、画像処理方法および撮像装置
JP2013150071A (ja) 符号化装置、符号化方法、プログラム及び記憶媒体
WO2012046369A1 (ja) 撮像装置、視差調整方法、半導体集積回路及びデジタルカメラ
JP4651103B2 (ja) 画像処理装置、画像処理方法
KR101947799B1 (ko) 가상현실 콘텐츠 서비스를 위한 360도 vr 어안 렌더링 방법
TWM640758U (zh) 全景攝像設備
TW202405744A (zh) 使用運動校正之全景影像處理方法
TWM640759U (zh) 使用運動校正之全景攝像設備