TW201631972A - 用於拜耳影像編碼之改善的顏色內及顏色間之預測 - Google Patents

用於拜耳影像編碼之改善的顏色內及顏色間之預測 Download PDF

Info

Publication number
TW201631972A
TW201631972A TW104140318A TW104140318A TW201631972A TW 201631972 A TW201631972 A TW 201631972A TW 104140318 A TW104140318 A TW 104140318A TW 104140318 A TW104140318 A TW 104140318A TW 201631972 A TW201631972 A TW 201631972A
Authority
TW
Taiwan
Prior art keywords
color
samples
prediction
inter
intra
Prior art date
Application number
TW104140318A
Other languages
English (en)
Other versions
TWI597971B (zh
Inventor
池田優
Original Assignee
新力股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新力股份有限公司 filed Critical 新力股份有限公司
Publication of TW201631972A publication Critical patent/TW201631972A/zh
Application granted granted Critical
Publication of TWI597971B publication Critical patent/TWI597971B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Abstract

提出用於在拜耳影像的增強編碼及解碼期間選擇所使用之間預測及內預測的設備及方法。面內預測依賴相同顏色的相鄰像素之間的關聯，同時面間預測依據不同顏色面(亦即，不同顏色)中的相鄰像素之間的關聯。朝向消除能在特定大型邊緣情況中引起的大量殘量，產生動態範圍決定以選擇是否使用面內或面間預測。

Description

用於拜耳影像編碼之改善的顏色內及顏色間之預測
本揭示發明通常屬於在拜耳影像編碼期間使用顏色間預測，且更明確地相關於回應於動態範圍決定選擇用於拜耳編碼系統的顏色內或顏色間預測。
使用單晶片數位影像感測器的許多彩色攝影系統(例如，數位相機、攝錄影機、及掃描器)使用包括用於將RGB彩色濾光器配置在光感測器的格柵上/上方之彩色濾光器陣列(CFA)的拜耳濾光馬賽克。有許多使用中的拜耳濾光馬賽克種類。在一範例中，使用具有50%的綠色、25%的紅色、及25%的藍色之彩色濾光器的(拜耳)配置產生彩色影像，並替代地稱為RGBG、GRGB、或RGGB。應理解因為人眼對綠色更敏感，由於光譜之綠色部分中的更多內容增強影像外觀，有更多的綠色像素。
相對於典型的24位元(RGB)表示方式，拜耳彩色影像典型地僅使用8位元解析度編碼。藉由將各像素指派為紅色、藍色、或二個綠色值之一者(亦即，Gr、 Gb)的任一者，然後能使用各像素附近的顏色資訊以指定該像素的實際顏色，或指派像素群組的顏色。拜耳編碼使用在其中顏色交替而使得相鄰顏色能用於決定未決像素的各顏色成分之值的顏色馬賽克。
圖1描畫拜耳顏色馬賽克，顯示總共8個像素群組，R1、B1、Gr1、Gb1至R8、B8、Gr8、Gb8。能看出每個位置均具有特定的顏色成分並由各其他顏色值的至少二者所圍繞。將注意到一種拜耳影像具有四個顏色面(1)R-面、(2)Gr-面、(3)Gb-面、及(4)B-面。在拜耳編碼中對影像「面」的參考係參考至「顏色面」。有能應用至本揭示發明之許多拜耳顏色編碼的變化。
典型地，殘量基於像素及相同顏色之相鄰像素的平均之間的差對此等像素產生。通常，拜耳編碼中的平均處理利用相同顏色內的空間關聯，並稱為面內關聯。此平均將相較於遠距樣本，具有相同顏色的緊密相鄰樣本傾向於具有更相似值列入考慮。例如，|R1-R2|<|R1-R4|係更有可能的。
在申請人的先前申請案中，增強預測係在拜耳顏色編碼期間使用間預測實施以增加編碼效能以增強面內關聯。
本技術更將拜耳編碼利益延伸在是否選擇實施間或內預測。
利益已從使用面間關聯以增強拜耳影像編碼的面內關聯而顯示。然而，在特定實例中，諸如，回應於非常大的顏色邊緣、顏色間預測不能始終提供最佳結果。例如，在存在大空間邊緣的情形中，殘量變得不切實際的大。
本揭示發明將態動範圍(DR)相關決定提供至預測處理中，以克服先前拜耳影像編碼系統的缺點。本揭示發明特別教導使用DR相關法決定(或交換)顏色內預測或顏色間預測之任一候的設備及方法，並更明確地教導如何組合此等預測。
本揭示發明的更多樣態將在本說明書中的以下部分中帶出，其中實施方式係用於完整揭示較佳實施例而非將限制置於其上的目的。
10、30‧‧‧拜耳編碼器的實施例
12‧‧‧輸入
14、58‧‧‧決定
16‧‧‧和接點
18‧‧‧殘量
20‧‧‧量化
21‧‧‧重構值
22‧‧‧熵編碼
24‧‧‧位元串流輸出
26、62、82‧‧‧處理機構
28、64、84‧‧‧電腦處理器
29、66、86‧‧‧記憶體
50、70‧‧‧拜耳解碼器的實施例
52、72‧‧‧熵解碼
54、78‧‧‧反量化
56、74‧‧‧已計算預測器
60‧‧‧和輸出
76‧‧‧加總
80‧‧‧原始拜耳輸入影像
本技術將藉由參考僅用於說明之目的的下列圖式而更完全地理解。
圖1係顯示八個像素群組之拜耳顏色像素配置的範例。
圖2係指示使用面間預測增強面內預測之基礎的面間關聯(跨顏色)的圖。
圖3係根據本技術的實施例使用之第一拜耳編碼器實施例的方塊圖。
圖4係根據本技術的實施例使用之第二拜耳 編碼器實施例的方塊圖。
圖5係根據本技術的實施例使用之第一拜耳解碼器實施例的方塊圖。
圖6係根據本技術的實施例使用之第二拜耳解碼器實施例的方塊圖。
圖7A及圖7B係在拜耳彩色影像的一部分內之邊緣情況的像素樣本範例，高殘量值能對根據本揭示發明之實施例所使用的間預測自其出現。
圖8係根據本技術之實施例顯示用於選擇是否施用顏色間或顏色內預測之第一動態範圍(DR)決定之使用的流程圖。
圖9係根據本技術之實施例顯示拜耳彩色影像的一部分內之像素樣本的範例，其中產生施用顏色間預測之圖8中的決定。
圖10係根據本技術的實施例顯示圖8中之用於選擇是否施用顏色間或顏色內預測的第一動態範圍決定之使用的流程圖，但該決定包括動態範圍臨限條件。
圖11A及圖11B係根據本技術的實施例顯示在拜耳彩色影像的一部分內之各像素樣本的範例，其中產生施用顏色間預測之圖10中的DR決定及排除。
圖12係根據本技術之實施例顯示用於選擇是否施用顏色間或顏色內預測之第二動態範圍決定之使用的流程圖。
圖13係根據本技術之實施例顯示拜耳彩色影 像的一部分內之像素樣本的範例，其中產生施用顏色間預測之圖12中的決定。
圖14係根據本技術的實施例顯示圖12中之用於選擇是否施用顏色間或顏色內預測的第二動態範圍決定之使用的流程圖，但包括動態範圍臨限條件。
圖15A及圖15B係根據本技術的實施例顯示在拜耳彩色影像的一部分內之各像素樣本的範例，其中產生施用顏色間預測之圖14中的DR決定及排除。
本技術係藉由面間關聯及面內關聯存在於拜耳影像內的實現而誘發。亦即，不僅相同顏色(面內)的相鄰像素的關聯性有重要性，拜耳影像內也存在與其他顏色(面間)的關聯性。根據本技術實施額外面間關聯以朝向更有效率地壓縮彩色影像資料增強拜耳影像編碼。然後回應於產生動態範圍，及/或當特定邊緣情況出現時，為了防止大殘量產生而產生排除，決定選擇此等面間預測。
圖2描畫面間關聯的圖。回應於計算指定方塊內的R-平均(R)、G-平均(G)、B-平均(B)，顯示與零值有關的變動。該圖的x軸描畫單一列中的空間像素位置。該圖顯示即使R、G、B典型地具有非常不同的值，彼等的空間改變(或變化或變動)跨越不同顏色關聯。為了清楚地描畫圖2之單一圖中的此情況，從跨越像素範圍的各顏色減去顏色平均值。
因為空間值改變及/或變動傾向於對各顏色R、Gr、Gb、及B相似，將看出此等(跨不同顏色)面間關聯存在。例如，若R1<R2，此通用顏色關係也可能對其他顏色相似，例如，B1<B2、Gr1<Gr2、及Gb1<Gb2。該圖指示用於使用面間預測增廣面內預測之本技術所在的基礎具有優點。
藉由範例且非限制性的，在以下描述中，所揭示的方法針對8×1隨機存取編碼實作，8×1方塊的範例係來自圖1的R1、Gr1、R2、Gr2、R3、Gr3、R4、Gr4。
圖3及4描繪拜耳編碼器的範例實施例10、30，其能根據在編碼期間利用面間關聯的方法使用，諸如，藉由使用差動式脈衝碼調變(DPCM)或脈衝碼調變(PCM)及DPCM之組合的熵編碼。應理解實施例10、30係以範例且非限制的方式提供，雖然本技術能不脫離本技術的教示而在其他編碼器組態上實踐。
在圖3中，輸入12拜耳影像、使用來自先前像素的重構值21為其決定14預測器、及在和接點16決定差以產生受量化20、然後受熵編碼22的殘量18(亦即，正或負值)以產生位元串流輸出24。將注意到在量化20的處理中，部分資訊喪失，然而預測器14必須基於量化後的重構值決定。
編碼處理被視為藉由處理機構26實施，其包括至少一個電腦處理器28，諸如，中央處理單元(CPU或GPU)、微處理器、微控制器、DSP、可程式化陣列裝 置、或在實施方塊14至22時針對程式化或可程式化執行組態的相似裝置。處理機構26也顯示有至少一個記憶體29，諸如，用於儲存用於處理器28的資料及程式。記憶體可包括固態記憶體及其他電腦可讀媒體。只要係非暫態的，本技術並未相關於記憶體及電腦可讀媒體受限制，且因此未構成暫態電子信號。
在圖4中，輸入12並量化20拜耳影像，之後決定14預測器，在和接點16輸出差以產生其受熵編碼22的殘量18以產生位元串流輸出24。如相關於圖3所描述的，實施例30使用包括至少一個電腦處理器28及至少一個記憶體29的相同處理機構26為佳。
以下段落描述根據本技術用於實施預測的二種不同機制(方法)。應注意到彼等任一者可使用在於圖3及圖4中例示之計算預測器14的步驟中，或具有基於使用預測器計算差而產生殘量的其他編碼配置。
在第一預測方法中，面間預測與面內預測同時實施。將認知根據以下方程式實施面內預測並產生殘量：△Rn=Rn-SP(Rn)，△Grn=Grn-SP(Grn)，△Gbn=Gbn-SP(Gbn)，及△Bn=Bn-SP(Bn)。
在上述方程式中，「SP」代表基於相同顏色面中的像素實施空間預測，亦即，回應於相同顏色的鄰近像素實施 預測(例如，直接相鄰、或較少範圍、間接相鄰)。然而，根據此方法，此等預測係藉由併入此等顏色預測之一或多者中的面間預測修改，因此預測係基於相同面及不同面的組合實施。
於下文描述此第一預測方法的操作，其中內預測及間預測的組合係在綠色上實施，同時紅色及藍色僅受內預測。從下列方程式決定的預測將顏色Rn、Grn、Gbn、Bn決定為△Rn、△Grn、△Gbn、△Bn：
△Rn=Rn-SP(Rn)
△Grn=Grn-SP(Grn)+Rn-SP(Rn)
△Gbn=Gbn-SP(Gbn)+Bn-SP(Bn)
△Bn=Bn-SP(Bn)
應理解上述通用方法的許多變化能不脫離本技術而實作。例如，面間預測能對其他顏色(以紅色及藍色取代綠色，或顏色的另一組合)實施，或在部分實例中，紅色及藍色間預測成分能相關於Gr及Gb交換，或諸如，基於一或多個遠距像素，加入額外間預測，此處僅舉可應用至本技術的幾個例子。
在以上描述中，SP(Xn)意指像素群組n中之顏色X的「空間預測器」。空間預測器係指任何期望面內預測處理對指定像素群組中的指定顏色像素的使用。上文中已看見回應於紅色像素及藍色像素之相同顏色的空間預測，僅預測彼等，同時綠色像素預測包括其包括紅色及藍色殘量的面間預測成分。應注意R及B與Gr及Gb有區 別為佳，因為綠色典型比紅及藍色具有更高的變異，因此面間預測的合併導致綠色的更大穩定性及精確性以提供最多利益。
在第二預測方法中，面間預測係以與面內預測不同的殘量計算級實施。例如，面間預測係在計算面內預測之殘量後的第二級殘量計算內實施。根據此方法，針對顏色R、Gr、Gb、或B的一或多者橫跨該等顏色面實施包括面間預測的至少一個計算級。
在第一步驟中，針對各顏色，以至少一計算級決定顏色內空間預測殘量：
△Rn=Rn-SP(Rn)
△Grn=Grn-SP(Grn)
△Gbn=Gbn-SP(Gbn)
△Bn=Bn-SP(Bn)
在以上方程式中，SP(Xn)再度意指像素群組n中之顏色X的「空間預測器」。此等空間預測器(1D或2D方塊)的範例包括：SP(X6)=X5、SP(X6)=X2、SP(X6)=X5+X2-X1等。將理解Xn必需從相鄰像素Xm預測，當考慮2D方塊時，其可在任何期望方向上發現(例如，上、左、右、及下)，而在1D方塊中，在左或右方向上發現。然而，預測相關於已編碼的相鄰像素實施為佳。例如，在1D方塊中(例如，8×1)，可僅有左側鄰居的一個較佳選擇(例如，Xn-1)，其已編碼並能使用。
在第二步驟中，空間預測殘量再度針對至少 一部分該等顏色從相鄰空間預測殘量預測，例示如下：
△△Grn=△Grn-△Rn
△△Gbn=△Gbn-△Bn-1
然後將此等殘量連同來自第一級殘量計算的△Rn及△Bn熵編碼，以產生已編碼位元串流。
第二步驟的替代實作計算所有顏色的殘量，例示如下：
△△Rn=△Rn-△Grn-1
△△Grn=△Grn-△Rn
△△Gbn=△Gbn-△Bn-1
△△Bn=△Bn-△Gbn
應注意到為了使用與已編碼像素有關的資訊，上方的第1及第3線具有索引n-1而非索引n。在特定應用或組態中，當計算此次級殘量時，也能替代地或額外地使用其他方向上的像素。
當考慮解碼器側時，在有效像素之方向上以使用的決定係最易於理解的。將看出解碼器首先能計算△Rn，但仍不具有資訊△Grn，所以解碼器不能使用△Grn計算△△Rn。因此，在計算△△Rn時，解碼器依賴△Rn及△Grn-1。然而，當解碼器解碼Grn時，其能計算△Grn並也計算△Rn。所以當計算△△Grn時，解碼器使用△Grn及△Rn。
最後，將上述殘量(△△Rn,△△Grn,△△Gbn,△△Bn)熵編碼為熵編碼拜耳位元串流。應理解除了先前 空間預測殘量值對其無效的少數第一樣本外(其係PCM編碼的)，其餘樣本使用顏色內及顏色間相鄰樣本二者DPCM編碼為佳。
將注意到在1D實作中，顏色間預測器係左側相鄰樣本的空間預測殘量。然而，本技術並未受限於該方面，所以預測器位置能根據不同實作及應用選擇。
應理解本方法能用於「非隨機存取」及「隨機存取」情況二者。在「隨機存取」情況中，當編碼指定方塊時，編碼器及解碼器不需要存取其他方塊。此意謂著解碼器不必知道其他方塊的資訊仍能解碼任何指定方塊。與此相反，在「非隨機存取」情況下，需要存取其他方塊的能力，諸如，相鄰方塊，所以預測器基於其他方塊的像素計算。若解碼器能存取其他方塊，此意謂著解碼器在隨機存取情況中能僅解碼指定方塊。
當包括面間預測時，來自單及多級殘量計算方法二者的測試結果指示在尖峰信號-對-雜訊比(PSNR)上的顯著改善(例如，大於1dB)。在測試此等實施例時，將相同顏色的左側樣本使用為空間預測的預測器。另外，在測試期間，使用1D 8×1方塊。應理解能對較大方塊及對2D方塊預期較高增益。
應理解本技術之上述面間預測成分不應與完全不同的顏色加權處理混淆。顏色加權係為了補救固定程度的顏色偏移及滲色，基於彩色成像器(例如，電荷耦合裝置(CCD))之指定模型的參數量測針對使用固定偏移 校正顏色而實施。
圖5及圖6描繪用於解碼期間利用面間關聯，諸如，藉由解碼使用差動式脈衝碼調變(DPCM)或脈衝碼調變(PCM)及DPCM之組合熵編碼的位元串流，之拜耳解碼器的範例實施例50、70，其分別對應於圖3及圖4所示的編碼器。應理解實施例50、70係以範例且非限制的方式提供，雖然本技術能不脫離本技術的教示而在其他解碼器組態上實踐。
在圖5中，接收編碼位元串流以用於熵解碼52、然後反量化54、並回應於已計算預測器56在和接點決定58和。和輸出60係原始拜耳輸入影像的重構。將理解預測能以與對圖3及圖4之編碼器所描述的相同方式在此解碼器上實施。
解碼處理被視為藉由處理機構62實施，其包括至少一個電腦處理器64，諸如，中央處理單元(CPU或GPU)、微處理器、微控制器、DSP、可程式化陣列裝置、或在實施方塊52至58時針對程式化或可程式化執行組態的相似裝置。處理機構62也顯示有至少一個記憶體66，諸如，用於儲存用於處理器64的資料及程式。記憶體可包括固態記憶體及其他電腦可讀媒體。只要係非暫態的，本技術並未相關於記憶體及電腦可讀媒體受限制，且因此未構成暫態電子信號。
在圖6中，接收編碼位元串流以用於熵解碼器72、回應於已計算預測器74在和接點加總76、之後實 施反量化78以產生原始拜耳輸入影像80的重構。將理解預測能以與對圖3及圖4之編碼器所描述的相同方式在此解碼器上實施。如相關於之解碼器圖5所描述的，實施例70使用包括至少一個電腦處理器84及至少一個記憶體86的相似處理機構82為佳。
以下段落描述對用於此拜耳影像編碼機制之顏色間及顏色內預測的改善，其克服特定預測問題。特別在存在大空間邊緣的情況中，其中顏色內預測或顏色間預測均不能提供良好預測。下文通常將此等差簡單地描述為在二種值A及B之間，而非描述R、Gr、Gb、及B之間的各動態範圍情形。將理解此等可沒有限制地應用至R、Gr、Gb、及B，及相似的像素顏色組態。
圖7A及圖7B描繪能將上述預測任一者推翻之大空間邊緣的範例情形。能從圖7A看出大殘量於其中產生的內預測：△An=An-SP(An)=495-51=444。間預測的相似情況顯示於圖7B中。應理解此等圖及殘量方程式將該等差簡單地歸納為在二種值A及B之間，而非描述R、Gr、Gb、B之間的各動態範圍。該等教示可沒有限制地應用於所有的R、Gr、Gb、及B及相似的拜耳種類像素顏色組態：
△An=An-SP(An)=495-495=0
△Bn=Bn-SP(Bn)=495-50=445
△△An=△An-△Bn-1=0-445=-445
在上述方程式中，相似顏色上的差甚小(0)，但顏 色之間的差甚大。所以特定例外情形對顏色內及顏色間二者存在，其中預測殘量變得相當大。
下文描述用於克服上述情況之將樣本群組化碼字組及動態範圍決定機制。將理解動態範圍係將二值之間的範圍(差)與特定準則比較的性質。
圖8至圖15B描繪基於分離地使用或與動態範圍排除結合地使用的動態範圍決定用於在顏色間預測及顏色內預測之間選擇的二個不同範例實施例及變化。
在圖8中，顯示範例碼字組決定實施例。處理開始90，且動態範圍在多個樣本之間決定92，在此範例中，使用至少三個樣本(=Bn-2、An-1、及Bn-1)。將各樣本的解析度減少94至，諸如，僅具有二個位元(二位元值)。若碼字組係顏色內例外情形，諸如，對此等範例等於「003」或「330」，則產生96決定，諸如，然後將(不同)顏色間預測施用98為△△An=△An-△Bn-1。若碼字組不係顏色內例外情形，基於(相同)顏色內預測100將殘量單獨決定為△An=An-SP(A)。因此，基於碼字組決定，使用△△An或△An的任一者。
在圖9中，此決定的範例被視為針對「003」的碼字組。將認知在此範例中，針對在「003」中看到之該等三個樣本的各樣本，將各樣本編碼為具有0至3之值的二個位元。此等樣本的最大值(在解析度減少至2位元之前)係495且最小值係50，其中此等三個樣本(=Bn-2、An-1、及Bn-1)的動態範圍決定在像素方塊下方被視為 係495-50+1=446。如在該圖中所注意到的，MAX=495OTHERS"MIN+(DR>>2)*3=383。
在圖10中，圖8之實施例的變化被視為係將動態處理決定與動態範圍排除結合。處理開始110，動態範圍在多個樣本之間決定112，在此範例中，使用至少三個樣本(=Bn-2、An-1、及Bn-1)。將各樣本的解析度減少114至，諸如，僅具有二個位元(二位元值)。若此碼字組係顏色內例外情形，諸如，此等範例等於「003」或「330」，且若動態範圍也超過臨限(DR>TH)，則產生116決定，於其上(是)將(不同)顏色間預測施用118為△△An=△An-△Bn-1。若決定條件不符(碼字組不等於例外情形(「003」或「033」)或動態範圍未超過臨限條件的任一者)，則基於(相同)顏色內預測將殘量單獨決定120為△An=An-SP(A)。因此，基於碼字組決定，使用△△An或△An的任一者。藉由範例且非限制性的，在10位元及14位元輸入深度的情形中，使用約為10的臨限。通常，將理解臨限值應依據影像感測器特徵、輸入位元深度、及應用的特徵設定。
圖11A顯示如圖8及圖10所描畫之被視為用於「003」的碼字組之上述決定的範例。在圖11B中，看到未超過臨限(DR=57-50+1=8)的動態範圍情形。因此，即使碼字組係「003」或「330」，因為DR未超過臨限，實施顏色內預測。
在圖12中看見圖8的替代範例，其中不同碼 字組決定係在相反方向上產生。處理開始130，且動態範圍在多個樣本之間決定132，在此範例中，使用至少三個樣本(=Bn-2、An-1、及Bn-1)。將各樣本的解析度減少134至，諸如，僅具有二個位元(二位元值)。若此碼字組係顏色間例外情形(不係如圖8的顏色內例外)，諸如，在此範例中等於「033」或「300」(其在圖8中係「003」、「330」)，則產生136決定，然後將(相同)顏色內預測施用138為△An=An-SP(A)。若碼字組不係顏色間例外情形，則基於(不同)顏色間預測140將殘量單獨決定為△△An=△An-△Bn-1。因此，基於碼字組決定，使用△△An或△An的任一者。
在圖13中，用於「033」之碼字組的上述碼字組動態範圍決定的範例。此等樣本的最大值係495且最小值係50，其中此等三個樣本(=Bn-2、An-1、及Bn-1)的動態範圍決定在像素方塊下方被視為係495-50+1=446。如在該圖中所注意到的，MAX=495OTHERS"MIN+(DR>>2)*3=383。
圖14顯示圖12所示之實施例的變化，其中動態範圍決定與動態範圍排除結合。處理開始150，動態範圍在多個樣本之間決定152，在此範例中，使用至少三個樣本(=Bn-2、An-1、及Bn-1)。將各樣本的解析度減少154至，諸如，僅具有二個位元(二位元值)。若此碼字組係顏色間例外情形，諸如，此等範例等於「033」或「300」，且若動態範圍超過臨限(DR>TH)，則產生 156決定，於其上(是)將(相同)顏色內預測施用158為△An=An-SP(A)。若決定條件不符(碼字組不等於例外情形(「033」或「300」)或動態範圍未超過臨限條件的任一者)，則基於(不同)顏色間預測將殘量單獨決定160為△△An=△An-△Bn-1。因此，基於碼字組決定，使用△△An或△An的任一者。
圖15A係如圖12及圖14所描畫之被視為用於「033」的碼字組之上述決定的範例。在圖15B中，看到未超過臨限(DR=57-50+1=8)的動態範圍情形。因此，即使碼字組係「033」或「300」，因為DR未超過臨限，實施顏色內預測。
本技術能併入編碼器及解碼器內，諸如，針對與組態用於拜耳彩色影像拍攝的各種裝置(例如，數位相機、攝錄影機、及掃描器)整合，或回應於從影像拍攝裝置接收彩色影像資訊。
本揭示發明的實施例可參考根據本揭示技術的實施例之方法及系統的流程圖、及/或演算法、公式、或其他計算描寫說明描述，其也可實作為電腦程式產品。在此方面，流程圖的各方塊或步驟、及流程圖中的方塊(及/或步驟)的組合、演算法、公式、或計算說明可藉由各種機構實作，諸如，硬體、韌體、及/或包括以電腦可讀程式碼邏輯具現之一或多個電腦程式指令的軟體。如將理解的，任何此種電腦程式指令可載至電腦上，不受限制地包括通用電腦或特殊用途電腦、或其他可程式化處理 設備以產生機器，使得在電腦或其他可程式化處理設備上執行的電腦程式指令產生用於實作在流程圖(等)的方塊(等)中指定之功能的機構。
因此，流程圖的方塊、演算法、公式、或計算說明支援用於實施指定功能之機構的組合、用於實施指定功能之步驟的組合、及用於實施指定功能的，諸如，以電腦可讀程式碼邏輯機構具現，電腦程式指令。也將理解本文描述之流程圖說明的各方塊、演算法、公式、或計算說明、及彼等的組合能藉由實施指定功能或步驟之特殊用途硬體為基的電腦系統、或特殊用途硬體及電腦可讀程式碼邏輯機構的組合實作。
此外，此等電腦程式指令，諸如，以電腦可讀程式碼邏輯具現，也可儲存在能引導電腦或其他可程式處理設備以特定方式運作的電腦可讀記憶體中，使得儲存在電腦可讀記憶體中的指令產生包括實作在流程圖(等)之方塊(等)中指定的功能之指令機構的製品。電腦程式指令也可載入至電腦或其他可程式化處理設備上，以導致一系列操作步驟在電腦或其他可程式化處理設備上實施以產生電腦實作處理，使得在電腦或其他可程式化處理設備上執行的指令提供用於實作在流程圖(等)的方塊(等)、演算法(等)、公式(等)、或計算說明(等)中指定之功能的步驟。
將更理解本文所使用的「程式」係指能由處理器執行以實施如本文描述之功能的一或多個指令。該程 式能以軟體、韌體、或以軟體及韌體的組合具現。該程式能本地地儲存至非暫態媒體中的裝置，或能遠端地儲存，諸如，在伺服器上，或所有或部分的程式能本地及遠端地儲存。遠端儲存的程式能藉由使用者啟動，或基於一或多個因子自動地下載(推送)至裝置。將更理解如本文所使用的，同義地使用術語處理器、中央處理單元(CPU)、及電腦以指示能執行程式及/或與輸入/輸出介面及/或周邊裝置通訊的裝置。
從本文描述將理解本揭示發明包含多個實施例，包括但未受限於下列各者：
1.一種用於在拜耳編碼期間選擇預測模式的設備，包含：(a)電腦處理器，組態用於接收包含與複數個不同像素群組數關聯之不同顏色像素的輸入拜耳影像的顏色像素資料；及(b)在該電腦處理器上可執行的程式，組態用於實施包含下列各者的步驟：(b)(i)決定多個樣本之間的動態範圍；(b)(ii)減少樣本解析度至指定位元數；及(b)(iii)決定用於該多個樣本的碼字組是否係(1)顏色內異常情形，在該情形中，選擇顏色間預測，否則選擇顏色內預測，或(2)顏色間異常情形，在該情形中，選擇顏色內預測，否則選擇顏色間預測。
2.任何上述實施例的設備，其中在該電腦上可執行的該程式更組態用於藉由要求該多個樣本之間的該動態範圍也必須超過指定臨限值而限定該顏色內異常或該顏 色間異常情形。
3.如任何上述實施例的設備，其中該臨限值包含大致為十的值。
4.如任何上述實施例的設備，其中將三個樣本使用為該多個樣本。
5.如任何上述實施例的設備，其中在該電腦處理器上可執行的該程式組態用於將樣本解析度減少至每樣本二個位元。
6.如任何上述實施例的設備，其中在該電腦處理器上可執行的該程式組態用於決定若用於該等三個樣本的值在由：「003」、「330」組成之值的群組中，顏色內異常情形存在；或若用於該等三個樣本的值是否在由：「033」、及「300」組成之值的群組中，顏色間異常情形存在。
7.如任何上述實施例的設備，其中在該電腦處理器上可執行的該程式組態用於在包括量化、計算預測器、產生殘量、及熵編碼該殘量的處理中實施該顏色間預測，或該顏色內預測。
8.一種用於在拜耳編碼期間選擇預測模式的設備，包含：(a)電腦處理器，組態用於接收包含與複數個不同像素群組數關聯之不同顏色像素的輸入拜耳影像的顏色像素資料；及(b)在該電腦處理器上可執行的程式，用於實施包含下列各者的步驟：(b)(i)決定多個樣本之間的動態範圍；(b)(ii)減少樣本解析度至每樣 本二個位元，使得各樣本由從0至3的值表示；(b)(iii)決定用於該多個樣本的碼字組是否係顏色內異常情形，或顏色間異常情形，其中該多個樣本的樣本值由0及3值之組合組成；(b)(iv)決定該多個樣本之間的動態範圍是否超過指定臨限值；(b)(v)若決定顏色內異常且動態範圍超過該臨限，選擇顏色間預測，否則選擇顏色內預測，或若決定顏色間異常且動態範圍超過該臨限，選擇顏色內預測，否則選擇顏色間預測。
9.如任何上述實施例的設備，其中該臨限值包含大致為十的值。
10.如任何上述實施例的設備，其中將三個樣本使用為該多個樣本。
11.如任何上述實施例的設備，其中在該電腦處理器上可執行的該程式組態用於決定若用於該等三個樣本的值在由：「003」、「330」組成之值的群組中，顏色內異常情形存在；或若用於該等三個樣本的值是否在由：「033」、及「300」組成之值的群組中，顏色間異常情形存在。
12.如任何上述實施例的設備，其中在該電腦處理器上可執行的該程式組態用於在包括量化、計算預測器、產生殘量、及熵編碼該殘量的處理中實施該顏色間預測，或該顏色內預測。
13.一種在拜耳編碼期間選擇預測模式的方法，包含：(a)在電子影像處理裝置中接收包含與複數 個不同像素群組數關聯之不同顏色像素的輸入拜耳影像的顏色像素資料；(b)決定多個樣本之間的動態範圍；(c)減少樣本解析度至指定位元數；及(d)決定用於該多個樣本的碼字組是否係(1)顏色內異常情形，在其中選擇顏色間預測，否則選擇顏色內預測，或(2)顏色間異常情形，在該情形中，選擇顏色內預測，否則選擇顏色間預測。
14.如任何上述實施例的方法，更包含藉由要求該多個樣本之間的該動態範圍也必須超過指定臨限值而限定該顏色內異常情形及/或該顏色間異常情形。
15.如任何上述實施例的方法，其中該臨限值包含大致為十的值。
16.如任何上述實施例的方法，其中將三個樣本使用為該多個樣本。
17.如任何上述實施例的方法，其中將該等樣本減少至每樣本二個位元的解析度。
18.如任何上述實施例的方法，其中若用於該等三個樣本的值在由「003」、「330」組成之值的該群組中，顏色內異常情形存在；或若用於該等三個樣本的值在由：「033」、及「300」組成之值的群組中，顏色間異常情形存在。
19.如任何上述實施例的方法，其中該電子影像處理裝置組態用於在包括量化、計算預測器、產生殘量、及熵編碼該殘量的處理中實施該顏色間預測，或該顏 色內預測。
20.如任何上述實施例的方法，其中該電子影像處理裝置組態用於接收拍攝自照相機裝置的該輸入拜耳影像，或該電子影像裝置係拍攝該輸入拜耳影像的照相機裝置。
雖然本文描述包含許多細節，彼等不應視為限制本揭示發明的範圍，而僅提供部分較佳實施例的說明。因此，將理解本揭示發明的範圍全完全包含對熟悉本技術的人士可變得明顯的其他實施例。
在申請專利範圍中，除非明顯地如此陳述，對單數型的元件的參考並未企圖意指「一個且僅有一個」，而係「一或多個」。已為熟悉本技術的人士所知之該等揭示實施例的元件之所有結構及功能的等效實例係藉由參考而明確地納入本文中並企圖為申請專利範圍所包含。此外，本揭示發明中沒有元件、組件、或方法步驟企圖奉獻給公眾，與該元件、組件、或方法步驟是否明顯地陳述在申請專利範圍中無關。本文中沒有申請專利範圍的元件被視為係「機構加功能」元件，除非該元件明確地使用片語「用於…的機構」陳述。本文中沒有申請專利範圍的元件被視為係「步驟加功能」元件，除非該元件明確地使用片語「用於…的步驟」陳述。
10‧‧‧拜耳編碼器的實施例
12‧‧‧輸入
14‧‧‧決定
16‧‧‧和接點
18‧‧‧殘量
20‧‧‧量化
21‧‧‧重構值
22‧‧‧熵編碼
24‧‧‧位元串流輸出
26‧‧‧處理機構
28‧‧‧電腦處理器
29‧‧‧記憶體

Claims (20)

  1. 一種用於在拜耳編碼期間選擇預測模式的設備，包含：(a)電腦處理器，組態用於接收包含與複數個不同像素群組數關聯之不同顏色像素的輸入拜耳影像的顏色像素資料；及(b)在該電腦處理器上可執行的程式，組態用於實施包含下列各者的步驟：(i)決定多個樣本之間的動態範圍；(ii)減少樣本解析度至指定位元數；及(iii)決定用於該多個樣本的碼字組是否係(1)顏色內異常情形，在該情形中，選擇顏色間預測，否則選擇顏色內預測，或(2)顏色間異常情形，在該情形中，選擇顏色內預測，否則選擇顏色間預測。
  2. 如申請專利範圍第1項的設備，其中在該電腦上可執行的該程式更組態用於藉由要求該多個樣本之間的該動態範圍也必須超過指定臨限值而限定該顏色內異常情形或該顏色間異常情形。
  3. 如申請專利範圍第2項的設備，其中該臨限值包含大致為十的值。
  4. 如申請專利範圍第1項的設備，其中將三個樣本使用為該多個樣本。
  5. 如申請專利範圍第1項的設備，其中在該電腦處理器上可執行的該程式組態用於將樣本解析度減少至每樣 本二個位元。
  6. 如申請專利範圍第5項的設備，其中在該電腦處理器上可執行的該程式組態用於決定若用於該等三個樣本的值在由：「003」、「330」組成之值的群組中，顏色內異常情形存在；或若用於該等三個樣本的值是否在由：「033」、及「300」組成之值的群組中，顏色間異常情形存在。
  7. 如申請專利範圍第1項的設備，其中在該電腦處理器上可執行的該程式組態用於在包括量化、計算預測器、產生殘量、及熵編碼該殘量的處理中實施該顏色間預測，或該顏色內預測。
  8. 一種用於在拜耳編碼期間選擇預測模式的設備，包含：(a)電腦處理器，組態用於接收包含與複數個不同像素群組數關聯之不同顏色像素的輸入拜耳影像的顏色像素資料；及(b)在該電腦處理器上可執行的程式，用於實施包含下列各者的步驟：(i)決定多個樣本之間的動態範圍；(ii)減少樣本解析度至每樣本二個位元，使得各樣本由從0至3的值表示；(iii)決定用於該多個樣本的碼字組是否係顏色內異常情形，或顏色間異常情形，其中該多個樣本的樣本值由0及3值之組合組成； (iv)決定該多個樣本之間的動態範圍是否超過指定臨限值；及(v)若決定顏色內異常且動態範圍超過該臨限，選擇顏色間預測，否則選擇顏色內預測，或若決定顏色間異常且動態範圍超過該臨限，選擇顏色內預測，否則選擇顏色間預測。
  9. 如申請專利範圍第8項的設備，其中該臨限值包含大致為十的值。
  10. 如申請專利範圍第8項的設備，其中將三個樣本使用為該多個樣本。
  11. 如申請專利範圍第8項的設備，其中在該電腦處理器上可執行的該程式組態用於決定若用於該等三個樣本的該等值在由：「003」、「330」組成之值的群組中，顏色內異常情形存在；或若用於該等三個樣本的值在由：「033」、及「300」組成之值的群組中，顏色間異常情形存在。
  12. 如申請專利範圍第8項的設備，其中在該電腦處理器上可執行的該程式組態用於在包括量化、計算預測器、產生殘量、及熵編碼該殘量的處理中實施該顏色間預測，或該顏色內預測。
  13. 一種在拜耳編碼期間選擇預測模式的方法，包含：(a)在電子影像處理裝置中接收包含與複數個不同像素群組數關聯之不同顏色像素的輸入拜耳影像的顏色 像素資料；(b)決定多個樣本之間的動態範圍；(c)減少樣本解析度至指定位元數；及(d)決定用於該多個樣本的碼字組是否係(1)顏色內異常情形，在其中選擇顏色間預測，否則選擇顏色內預測，或(2)顏色間異常情形，在該情形中，選擇顏色內預測，否則選擇顏色間預測。
  14. 如申請專利範圍第13項的方法，更包含藉由要求該多個樣本之間的該動態範圍也必須超過指定臨限值而限定該顏色內異常情形及/或該顏色間異常情形。
  15. 如申請專利範圍第14項的方法，其中該臨限值包含大致為十的值。
  16. 如申請專利範圍第13項的方法，其中將三個樣本使用為該多個樣本。
  17. 如申請專利範圍第13項的方法，其中將該等樣本減少至每樣本二個位元的解析度。
  18. 如申請專利範圍第17項的方法，其中若用於該等三個樣本的值在由「003」、「330」組成之值的該群組中，顏色內異常情形存在；或若用於該等三個樣本的值在由：「033」、及「300」組成之值的群組中，顏色間異常情形存在。
  19. 如申請專利範圍第13項的方法，其中該電子影像處理裝置組態用於在包括量化、計算預測器、產生殘量、及熵編碼該殘量的處理中實施該顏色間預測，或該顏 色內預測。
  20. 如申請專利範圍第13項的方法，其中該電子影像處理裝置組態用於接收拍攝自照相機裝置的該輸入拜耳影像，或該電子影像裝置係拍攝該輸入拜耳影像的照相機裝置。
TW104140318A 2014-12-09 2015-12-02 用於拜耳影像編碼之改善的顏色內及顏色間之預測 TWI597971B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/565,218 US9716889B2 (en) 2014-12-09 2014-12-09 Intra and inter-color prediction for Bayer image coding

Publications (2)

Publication Number Publication Date
TW201631972A true TW201631972A (zh) 2016-09-01
TWI597971B TWI597971B (zh) 2017-09-01

Family

ID=56095509

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104140318A TWI597971B (zh) 2014-12-09 2015-12-02 用於拜耳影像編碼之改善的顏色內及顏色間之預測

Country Status (5)

Country Link
US (1) US9716889B2 (zh)
JP (1) JP6451968B2 (zh)
CN (1) CN107004134B (zh)
TW (1) TWI597971B (zh)
WO (1) WO2016093969A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10368073B2 (en) * 2015-12-07 2019-07-30 Qualcomm Incorporated Multi-region search range for block prediction mode for display stream compression (DSC)
KR102496377B1 (ko) 2017-10-24 2023-02-06 삼성전자주식회사 저항변화 물질층을 가지는 비휘발성 메모리소자
MX2020007660A (es) * 2018-01-19 2020-09-18 Interdigital Vc Holdings Inc Procesamiento de una nube de puntos.
KR102666666B1 (ko) 2018-06-01 2024-05-20 삼성전자주식회사 이미지 부호화 장치 및 이미지 복호화 장치
US10609411B1 (en) * 2018-11-18 2020-03-31 Sony Corporation Cross color prediction for image/video compression
DE102021117397A1 (de) * 2020-07-16 2022-01-20 Samsung Electronics Co., Ltd. Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren
US11425368B1 (en) * 2021-02-17 2022-08-23 Adobe Inc. Lossless image compression using block based prediction and optimized context adaptive entropy coding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4092830B2 (ja) * 1998-12-21 2008-05-28 株式会社ニコン 画像データ圧縮方法
JP2000244935A (ja) * 1998-12-21 2000-09-08 Nikon Corp 画像データ圧縮方法
US6744929B1 (en) 1999-11-18 2004-06-01 Nikon Corporation Image data compression method image data compression apparatus and recording medium and data signal for providing image data compression program
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
JP4522199B2 (ja) * 2003-11-27 2010-08-11 キヤノン株式会社 画像符号化装置及び画像処理装置及びそれらの制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US7991237B2 (en) * 2007-06-28 2011-08-02 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
CN101822063A (zh) 2007-08-16 2010-09-01 诺基亚公司 用于编码和解码图像的方法和装置
US8428120B2 (en) 2007-12-11 2013-04-23 Taiwan Imagingtek Corporation Method and apparatus of Bayer pattern direct video compression
UA109312C2 (uk) * 2011-03-04 2015-08-10 Імпульсно-кодова модуляція з квантуванням при кодуванні відеоінформації
JP2013009293A (ja) 2011-05-20 2013-01-10 Sony Corp 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置
JP2013093745A (ja) * 2011-10-26 2013-05-16 Olympus Corp 画像圧縮装置、撮像装置、および画像圧縮方法
JP5964446B2 (ja) * 2011-11-09 2016-08-03 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 異なる動的サンプル値範囲の層間の層間予測
KR102060617B1 (ko) 2012-06-04 2019-12-30 선 페이턴트 트러스트 동화상 부호화 방법, 동화상 부호화 장치, 동화상 복호 방법, 및, 동화상 복호 장치
US10812829B2 (en) 2012-10-03 2020-10-20 Avago Technologies International Sales Pte. Limited 2D block image encoding
JP6077811B2 (ja) * 2012-10-04 2017-02-08 キヤノン株式会社 画像符号化装置、画像符号化方法およびプログラム
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9264728B2 (en) 2014-01-10 2016-02-16 Sony Corporation Intra-plane and inter-plane predictive method for Bayer image coding
TWI573464B (zh) * 2014-04-17 2017-03-01 Morpho Inc An image processing apparatus, an image processing method, an image processing program, and a recording medium

Also Published As

Publication number Publication date
US20160165236A1 (en) 2016-06-09
WO2016093969A1 (en) 2016-06-16
US9716889B2 (en) 2017-07-25
CN107004134A (zh) 2017-08-01
JP2018504025A (ja) 2018-02-08
CN107004134B (zh) 2020-06-05
TWI597971B (zh) 2017-09-01
JP6451968B2 (ja) 2019-01-16

Similar Documents

Publication Publication Date Title
TWI597971B (zh) 用於拜耳影像編碼之改善的顏色內及顏色間之預測
US9264728B2 (en) Intra-plane and inter-plane predictive method for Bayer image coding
RU2608674C2 (ru) Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
EP3007447A1 (en) Method for improving intra-prediction of diagonal mode in video coding
US8983217B2 (en) Stereo image encoding apparatus, its method, and image pickup apparatus having stereo image encoding apparatus
US8897581B2 (en) Guided post-prediction filtering in layered VDR coding
JP2017513305A (ja) ピクチャを復号するための方法および復号器
RU2016113364A (ru) Квантование цветности в кодировании видеосигналов
US10057576B2 (en) Moving image coding apparatus, moving image coding method, storage medium, and integrated circuit
Kim et al. Lossless compression of color filter array images by hierarchical prediction and context modeling
US9485513B2 (en) Encoding device, decoding device, and program
US8929672B2 (en) Method of compressing image data
JP2016508700A (ja) ビデオカメラ
WO2015104316A1 (en) Method and apparatus for encoding image data and method and apparatus for decoding image data
TWI662829B (zh) 影像處理裝置及利用幀內預測之無損影像壓縮方法
JP2007104117A (ja) 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム
KR102287127B1 (ko) 이미지 내의 포화된 픽셀들을 검출하기 위한 방법
JP6077811B2 (ja) 画像符号化装置、画像符号化方法およびプログラム
MX2020006500A (es) Metodos que proporcionan codificacion y/o decodificacion de video usando valores de referencia y dispositivos relacionados.
CN107409223A (zh) 视频编解码方法和视频编解码器
US8571336B2 (en) Image processor for inhibiting noise
KR101073938B1 (ko) 색차공간 예측을 이용한 영상부호화방법
JP6875802B2 (ja) 画像符号化装置及びその制御方法及び撮像装置及びプログラム
US9215469B2 (en) Intra-plane and inter-plane predictive method for RGB image coding
JP6890993B2 (ja) 画像符号化装置、画像復号化装置、その制御方法、および制御プログラム