TWI736528B - 多媒體編解碼器、包括其之應用處理器、及操作該應用處理器之方法 - Google Patents

多媒體編解碼器、包括其之應用處理器、及操作該應用處理器之方法 Download PDF

Info

Publication number
TWI736528B
TWI736528B TW105103779A TW105103779A TWI736528B TW I736528 B TWI736528 B TW I736528B TW 105103779 A TW105103779 A TW 105103779A TW 105103779 A TW105103779 A TW 105103779A TW I736528 B TWI736528 B TW I736528B
Authority
TW
Taiwan
Prior art keywords
mode
field
image
picture
encoding
Prior art date
Application number
TW105103779A
Other languages
English (en)
Other versions
TW201633786A (zh
Inventor
魯聖昊
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201633786A publication Critical patent/TW201633786A/zh
Application granted granted Critical
Publication of TWI736528B publication Critical patent/TWI736528B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

在一例示性實施例中，一多媒體編解碼器包含一讀取器配置成依據一模式選擇信號所指示之一圖場模式讀取一影像組中之一第一畫面，以及為該第一畫面產生一上圖場及一下圖場。該多媒體編解碼器進一步包含一編碼組件配置成以一內部模式編碼該上圖場及以一相互間模式編碼該下圖場。

Description

多媒體編解碼器、包括其之應用處理器、及操作該應用處理器之方法 相關申請案之交叉參考
本申請案依據35 U.S.C.§ 119(a)主張2015年2月27日提出申請之韓國專利申請案第10-2015-0028566號之優先權，該韓國申請案之整體揭示內容係併入此處供參考。
發明領域
本發明係有關於多媒體編解碼器、包括其之應用處理器、及操作該應用處理器之方法。
發明背景
本發明理念之例示性實施例係有關於一多媒體編解碼器，且更特定地，係有關於一多媒體編解碼器俾有效地編碼一靜止影像，一包含該多媒體編解碼器之應用處理器，以及一操作該應用處理器之方法。
視訊編碼之國際標準化係由國際標準化組織/國際電子技術委員會(ISO/IEC)下之一動態影像專家組織(MPEG)以及國際電信聯盟-電信標準化組(ITU-T)下之一視 訊編碼專家組織(VECG)所領導。MPEG與VCEG組成一聯合視訊團隊(JVT)以及完成國際視訊編碼標準，亦即，H.264/先進視訊編碼(AVC)。不同於現存視訊編解碼器諸如MPEG-2、MPEG-4、H.261、以及H.263，H.264/ACV已引進可變區塊大小移動估算、1/4-像素移動向量解析、多數參考圖像移動估算、等，藉此相較於現存之編解碼器而言提供卓越之壓縮能力。
許多近期開發之智慧型手機具有一連續拍攝功能以及當一使用者選擇連續拍攝時係以一所需(及/或替代地，預定)之間隔為該使用者顯示連續拍攝之靜止影像。該等靜止影像需暫時性儲存直到該使用者選擇之一靜止影像已被顯示為止。當該等靜止影像暫時性儲存時，一智慧型手機可利用一僅採用畫面內壓縮之JPEG影像壓縮法。然而，一利用該JPEG影像壓縮法所壓縮之影像尺寸很大，而該大型尺寸依序增加了記憶體之成本。
為了克服此問題，畫面內壓縮可供初始靜止影像之用以及畫面間壓縮可供後續靜止影像之用。此種影像壓縮法相較於JPEG影像壓縮法而言增加了一壓縮率但難以在該等靜止影像中有關於一特定畫面執行一隨機存取。
概要
在一示範性實施例中，一多媒體編解碼器包含一讀取器配置成依據一模式選擇信號所指示之一圖場模式讀取一影像組中之一第一畫面，以及為該第一畫面產生一上 圖場及一下圖場。該多媒體編解碼器進一步包含一編碼組件配置成以一內部模式編碼該上圖場及以一相互間模式編碼該下圖場。
在另一例示性實施例中，該多媒體編解碼器進一步包含一解碼組件配置成藉著以該內部模式解碼該上圖場，以及以該相互間模式解碼該下圖場來解碼該第一畫面。
在又一例示性實施例中，該編碼組件係配置成編碼該影像組之多數畫面，該等多數畫面包含該第一畫面，以及該解碼組件係配置成解碼該等多數編碼畫面中之一畫面，該等多數編碼畫面中之該一畫面對應於選擇將被顯示之該影像組之一畫面。
在另一例示性實施例中，該編碼組件係一H.264編碼器，以及該解碼組件係一H.264解碼器。
在又一例示性實施例中，該上圖場係該第一畫面中之奇數列中之一組像素以及該下圖場係該第一畫面中之偶數列中之一組像素。
在另一例示性實施例中，該包含至少二個連續畫面之影像組係以一突發拍攝模式產生。
在又一例示性實施例中，一包含該讀取器及該編碼組件之編碼器係依據該模式選擇信號以該圖場模式及一畫面模式中之一模式操作。
在一例示性實施例中，一應用處理器包含一記憶體配置成儲存一包含至少二個畫面之影像組，一中央處理單元(CPU)配置成產生一模式選擇信號俾決定一編碼模式 其中該影像組即將被編碼以及一多媒體編解碼器配置成依據該產生之模式選擇信號所指示之一圖場模式編碼該影像組。該多媒體編解碼器包含一讀取器配置成依據該圖場模式讀取該等至少二個畫面中之每一畫面以產生一上圖場及一下圖場，以及一編碼組件配置成以一內部模式編碼該上圖場及以一相互間模式編碼該下圖場。
在另一例示性實施例中，該多媒體編解碼器進一步包含一解碼組件配置成將一使用者自該等至少二個畫面中所選擇之一畫面解碼。
在又一例示性實施例中，該解碼組件係配置成藉著依據該內部模式解碼該選擇畫面之該上圖場以及依據該相互間模式解碼該選擇畫面之該下圖場來解碼該選擇畫面。
在另一例示性實施例中，一包含該讀取器及該編碼組件之編碼器係一H.264編碼器以及該解碼器係一H.264解碼器。
在又一例示性實施例中，該上圖場係該等至少二個畫面中之每一畫面中之奇數列中之一組像素以及下圖場係該等至少二個畫面中之每一畫面中之偶數列中之一組像素。
在另一例示性實施例中，該影像組之該等至少二個畫面係以一突發拍攝模式所產生之連續畫面。
在又一例示性實施例中，該編碼模式包含該圖場模式以及一畫面模式。
在一例示性實施例中，操作一應用處理器之方法包含將一包含至少二個畫面之影像組儲存至一記憶體中以及依據一模式選擇信號所指示之一圖場模式讀取該等至少二個畫面中之每一畫面。該方法進一步包含為該等至少二個畫面中之每一畫面產生一上圖場及一下圖場。
在另一例示性實施例中，該方法進一步包含將一使用者自該等編碼之至少二個畫面中所選擇之一畫面解碼。
在又一例示性實施例中，該解碼係藉著依據該內部模式解碼該選擇畫面之該上圖場以及依據該相互間模式解碼該選擇畫面之下圖場來解碼該選擇畫面。
在另一例示性實施例中，該編碼及該解碼係分別經由一H.264編碼器及一H.264解碼器加以執行。
在又一例示性實施例中，該上圖場係該等至少二個畫面中之每一畫面中之奇數列中之一組像素以及該下圖場係該等至少二個畫面中之每一畫面中之偶數列中之一組像素。
在另一例示性實施例中，該影像組之該等至少二個畫面係以一突發拍攝模式所產生之連續畫面。
在又一例示性實施例中，該編碼係依據該模式選擇信號以該圖場模式及一畫面模式中之一模式加以執行。
在一例示性實施例中，一裝置包含一記憶體其內儲存電腦可讀指令以及一處理器。該處理器係配置成執行該等電腦可讀指令以便，當接收一模式選擇信號時，將選 自於多數影像畫面中之至少一選擇影像畫面區分成一第一組及一第二組，依據編碼之一內部模式編碼該第一組，以及依據編碼之一相互間模式編碼該第二組。
在另一例示性實施例中，該模式選擇信號係一圖場模式選擇信號，以及該處理器係配置成執行該等電腦可讀指令以依據該圖場模式選擇信號讀取該選擇影像畫面以便將該選擇影像畫面區分成該第一組及該第二組。
在又一例示性實施例中，該第一組係一上圖場包含對應於該選擇影像畫面中之奇數列之像素，以及該第二組係一下圖場包含對應於該選擇影像畫面中之偶數列之像素。
在另一例示性實施例中，該處理器係進一步配置成執行該等電腦可讀指令以便自多數內部編碼方案中選擇編碼之該內部模式。
在又一例示性實施例中，該處理器係進一步配置成執行該等電腦可讀指令以便決定關聯於該等多數內部編碼方案中之每一方案之一成本函數，以及將該等多數內部編碼方案中之具有該等決定成本函數中之一最低成本函數之一方案選擇作為編碼之該內部模式。
在另一例示性實施例中，該處理器係進一步配置成執行該等電腦可讀指令以便自多數相互間編碼方案中選擇編碼之該相互間模式。
在又一例示性實施例中，該處理器係進一步配置成執行該等電腦可讀指令以便決定關聯於該等多數相互間 編碼方案中之每一方案之一成本函數，以及將該等多數相互間編碼方案中之具有該等決定成本函數中之一最低成本函數之一方案選擇作為編碼之該相互間模式。
在另一例示性實施例中，該處理器係進一步配置成執行該等電腦可讀指令以便接收一顯示該等多數影像畫面中之一影像畫面之要求以及藉著依據解碼之一內部模式解碼該等多數影像畫面中之該要求影像畫面之該編碼第一組，解碼之該內部模式對應於編碼之該內部模式，以及依據解碼之一相互間模式解碼該等多數影像畫面中之該要求影像畫面之該編碼第二組，解碼之該相互間模式對應於編碼之該相互間模式，解碼該等多數影像畫面中之該要求影像畫面。
10‧‧‧資料處理系統
20‧‧‧視訊主機服務裝置
21‧‧‧視訊源
30‧‧‧網路
41‧‧‧第一裝置
43‧‧‧第二裝置
51‧‧‧顯示裝置
53‧‧‧顯示裝置
100‧‧‧應用處理器
105‧‧‧匯流排
110‧‧‧CPU
120‧‧‧ROM
130‧‧‧RAM
135‧‧‧影像處理器
140‧‧‧編解碼器
150‧‧‧照相機介面
155‧‧‧照相機
160‧‧‧顯示裝置介面
165‧‧‧顯示裝置
170‧‧‧記憶體介面
175‧‧‧記憶體
200‧‧‧編碼器
200a‧‧‧編碼器
200b‧‧‧編碼器
250‧‧‧信號源讀取單元
270‧‧‧影像型式決定方塊
ID‧‧‧影像資料
ED‧‧‧編碼資料
MS‧‧‧模式選擇信號
BS‧‧‧位元流
PTA‧‧‧影像型式指定信號
300‧‧‧編碼模組
300a‧‧‧H.264編碼模組
310‧‧‧預估方塊
312‧‧‧相互間預估單元
314‧‧‧內部預估單元
320‧‧‧模式決定方塊
330‧‧‧減法器
331‧‧‧轉換方塊
332‧‧‧量化方塊
333‧‧‧熵編碼器
334‧‧‧編碼圖像緩衝器
335‧‧‧反向量化方塊
336‧‧‧反向轉換方塊
340‧‧‧加法器
350‧‧‧解塊濾波器
360‧‧‧參考影像記憶體
MCST1‧‧‧最低相互間信號率失真成本
MCST2‧‧‧最低內部信號率失真成本
400‧‧‧解碼器
F1--Fn‧‧‧第一至第n畫面
TF1--TFn‧‧‧第一至第n上圖場
BF1--BFn‧‧‧第一至第n下圖場
IG1--IGn‧‧‧第一至第n影像組
410‧‧‧H.264解碼模組
420‧‧‧重新配置器
S10-S70‧‧‧作業步驟
S110-S150‧‧‧作業步驟
S210-S230‧‧‧作業步驟
500‧‧‧資料處理系統
510‧‧‧發送器
512‧‧‧應用處理器
514‧‧‧射頻收發器
516‧‧‧外部記憶體
518‧‧‧照相機模組
520‧‧‧顯示裝置
532‧‧‧應用處理器
534‧‧‧射頻收發器
536‧‧‧外部記憶體
538‧‧‧照相機模組
540‧‧‧顯示裝置
ANT1‧‧‧天線
ANT2‧‧‧天線
本發明理念之以上及其他特徵及優點將藉著參考隨附圖式詳細地說明本發明理念之示範實施例而變得更為明顯，其中：圖1係依據一例示性實施例之一資料處理系統之一方塊圖；圖2係依據一例示性實施例之圖1中所揭示之該編解碼器之一編碼器之一方塊圖；圖3係依據一例示性實施例之圖2中所揭示之一編碼模組之一詳細方塊圖；圖4係一圖式用以解釋依據一例示性實施例之一步驟其中一靜止影像組係藉著圖2中所揭示之該編碼器加 以讀取及編碼；圖5係一圖式用以解釋依據一例示性實施例藉著圖1中所揭示之一解碼器加以執行之解碼；圖6係依據一例示性實施例之圖1中所揭示之一編碼器之一方塊圖；圖7係依據一例示性實施例之圖1中所揭示之一解碼器之一方塊圖；圖8係依據一例示性實施例之一操作圖1中所揭示之一應用處理器之方法之一流程圖；圖9係依據一例示性實施例之一資料處理系統之一方塊圖；圖10係依據一例示性實施例之一資料編碼方法之一流程圖；圖11係依據一例示性實施例之一資料解碼方法之一流程圖；圖12係依據一例示性實施例之一資料處理系統之一方塊圖。
例示性實施例之詳細說明
本發明理念現將參考隨附圖式在下文中更完整地加以說明，該等圖式中顯示本發明之例示性實施例。然而，本發明可以許多不同型式加以體現以及不應被闡釋為受限於此處所說明之例示性實施例。相反地，此類例示性實施例係如此提供使得本揭示內容將是透徹且完整者，以 及將本發明之範圍完整地傳達給熟悉本技藝之人士。在圖式中，層及區域之大小及相對大小為清楚起見可加以擴大。類似號碼自始至終均指類似元件。
將被理解的是，當一元件被指稱”連接”或”耦接”至另一元件時，該元件可直接地連接或耦接至另一元件，或可能存在中間元件。對比之下，當一元件被指稱”直接地連接”或”直接地耦接”至另一元件時，則不會存在中間元件。如此處所使用者，術語”及/或”包含一或多個關聯列出項目之任何及全部之組合以及可縮寫為”/”。
將被理解的是，雖然術語”第一"、"第二"、等可在此處使用以說明各種元件，然而此類元件不應受限於此類術語。此類術語僅係用以區別一元件與另一元件而已。例如，一第一信號可稱為一第二信號，以及，類似地，一第二信號可稱為一第一信號而不致偏離本揭示內容之教示。
此處所使用之術語僅係基於說明特定例示性實施例之目的而已且並無意圖作為本發明理念之限制。如此處所使用者，除非上下文清楚地另外指示，否則單數形式”一(a)”、”一(an)”、”該(the)”亦意圖包含複數形式。進一步將被理解的是，術語"包含(comprises)"及/或"包含(comprising)"、或"包含(includes)”及/或”包含(including)”，當於此說明書中使用時，係明確指出所述特徵、區域、整數、步驟、作業、元件、及/或組件之存在，但並不排除一或多個其他特徵、區域、整數、步驟、作業、元件、組件、 及/或其群組之存在或添加。
除非另外定義，否則此處所使用之全部術語(包含技術及科學術語)均具有與本發明所屬技藝中之一普通技術人士所共通理解者相同之意義。將進一步被理解的是，術語，諸如該等於通用字典中所定義者，應被解釋為具有一與相關技藝及/或本申請案之上下文中之術語之意義相一致之意義，以及除非明確地在此處如此定義，否則將不會以一理想化或過度正式之含義加以解釋。
下文所說明之自始至終之例示性實施例中，術語諸如"編解碼器"、"編碼器”、”解碼器”、”編碼單元”、”解碼單元”、”編碼組件”、"解碼組件"、等均指實體/硬體結構及/或特殊目的處理器配置成藉著執行一組電腦可讀指令來執行個別之功能。
圖1係依據一例示性實施例之一資料處理系統之一方塊圖。資料處理系統10可作為一行動終端裝置加以執行，諸如一智慧型手機、一平板個人電腦(PC)、一個人數位助理器(PDA)、一企業數位助理器(EDA)、一行動網際網路裝置(MID)、一視訊攝錄影機、或一電子書。資料處理系統10可包含一應用處理器100、一照相機155、一顯示裝置165、以及一記憶體175。
應用處理器100可包含一中央處理單元(CPU)110、一唯讀記憶體(ROM)120、一隨機存取記憶體(RAM)130、一影像處理器135、一編解碼器140、一照相機介面150、一顯示裝置介面160、以及一記憶體介面170。應用處 理器100可作為一系統單晶片(SoC)加以執行。應用處理器100之元件110、120、130、135、140、150、160、以及170可經由一匯流排105互通資料。
CPU 110可控制應用處理器100之整體運作。例如，CPU 110可處理或執行儲存在ROM 120及/或RAM 130中作為資料用之電腦程式(或電腦可讀指令)。藉著CPU 110執行電腦程式係將CPU 110轉換成一特殊目的處理器俾執行下文所說明之功能。
CPU 110可為一單一計算組件，亦即，一具有二或多個獨立實際處理器(或核心)之多核心處理器。
ROM 120可儲存永久性程式及/或資料。ROM 120可作為可抹除可程式ROM(EPROM)或電子式可抹除可程式ROM(EEPROM)加以執行。
RAM 130可暫時地儲存程式、資料、及/或指令。RAM 130可作為動態RAM(DRAM)、或靜態RAM(SRAM)加以執行。RAM 130可暫時性儲存經由介面150、160、及170之資料輸入/輸出或編解碼器140或CPU 110所產生之資料。
影像處理器135可對接收自RAM 130、照相機介面150、或記憶體介面170之資料執行影像處理以及可將該處理資料輸出至RAM 130、顯示裝置介面160、或記憶體介面170。
編解碼器(或多媒體編解碼器)140可對記憶體120或130中所儲存之資料、接收自照相機155之資料、輸出 至顯示裝置165之資料編碼及/或解碼。編解碼器140可包含一編碼器200及一解碼器400。編碼器200及解碼器400可為一H.264編碼器及一H.264解碼器而該等H.264編碼器及H.264解碼器符合H.264標準。
雖然編解碼器140係形成在圖1所揭示之實施例中之CPU 110、照相機介面150、及/或顯示裝置介面160之外部，然而編解碼器140可包含於CPU 110、照相機介面150、及/或顯示裝置介面160之內。將不會被解釋為本發明理念之範圍係受限於編解碼器140之配置。編解碼器140可為一組可藉著CPU 110執行之電腦可讀指令以執行編碼及/或解碼，如將於下文加以說明者。此外，編解碼器140可以硬體、或硬體與軟體之一組合而形成。
照相機介面150可與由應用處理器100之外部之照相機155所輸入之資料(例如，影像資料)接界。照相機155可產生對應於利用多數光敏元件所攝取之一影像之資料。
顯示裝置介面160可與輸出至應用處理器100之外部之顯示裝置165之資料(例如，影像資料)接界。顯示裝置165可利用一液晶顯示裝置(LCD)或一主動式矩陣有機發光二極體(AMOLED)顯示裝置來輸出影像或視訊資料。
記憶體介面170可與接收自應用處理器100之外部之記憶體175之資料或輸出至記憶體175之資料接界。記憶體175可由非依電性記憶體諸如快閃記憶體或電阻性記憶體形成。
圖2係依據一例示性實施例之圖1中所揭示之該 編解碼器之一編碼器之一方塊圖。參考圖1及2，圖1之編碼器200之一例示性實施例，在圖2中係顯示為編碼器200a，可包含一信號源讀取單元250、一影像型式決定方塊270、以及一編碼模組300。雖然下文之例示性實施例係以藉著編碼器200a之個別組件加以執行之方式來作說明，然而在一例示性實施例中CPU 110可執行電腦可讀指令以執行編碼器200a之該等個別組件之功能。
信號源讀取單元250可依據CPU 110之控制而讀取來自RAM 130之影像資料ID。換言之，CPU 110可控制信號源讀取單元250以讀取RAM 130中被暫時性儲存之資料，因此編碼該資料。信號源讀取單元250可依據由CPU 110產生之一模式選擇信號MS所決定之一編碼模式來讀取該影像資料ID。
編碼模式可包含一畫面模式及一圖場模式。該畫面模式係一模式其中RAM 130中所儲存之資料係以一畫面接著一畫面之方式加以讀取及編碼。圖場模式係一模式其中RAM 130中所儲存之資料係以一圖場接著一圖場之方式加以讀取及編碼。此處，一圖場包含一上圖場及一下圖場。該上圖場係一畫面中之奇數列中之一組像素以及下圖場係該畫面中之偶數列中之一組像素。
在一例示性實施例中，當假設RAM 130暫時性儲存照相機155所產生之第一至第n畫面(其中”n”係一個至少為2之整數)時，信號源讀取單元250以該畫面模式依序讀取該等第一至第n畫面。在該圖場模式中，信號源讀取單元250 以一圖場接著一圖場之方式依序讀取該等第一至第n畫面。例如，信號源讀取單元250讀取該第一畫面之該上圖場，以及接著讀取該第一畫面之該下圖場。接著，信號源讀取單元250讀取該第二畫面之該上圖場，以及接著讀取該第二畫面之下圖場。相同程序可為其餘號碼之畫面重複進行。
一使用者可容許採用CPU 110所執行之一照相機應用程式所提供之各種拍攝模式。拍攝模式可大要地分成一照片拍攝模式以及一視訊拍攝模式。照片拍攝模式包含一正常模式其中一使用者每次按下一拍攝按鈕時均拍攝一單一畫面以及一突發拍攝模式其中一旦該使用者按下該拍攝按鈕時一所需(及/或替代地，預定)數量之畫面將被連續性拍攝。
當該使用者利用該照相機應用程式選擇該照片拍攝模式以及按下該拍攝按鈕時，至少一靜止影像被照相機155捕捉。該捕捉之靜止影像係暫時性儲存至RAM 130中以及接著係依據CPU 110之控制而傳送至編解碼器140以進行編碼。當至少一靜止影像在該照片拍攝模式中被捕捉時，CPU 110可將指示編碼模式為圖場模式之模式選擇信號MS傳送至信號源讀取單元250。
此處以下，基於說明方便之故，係假設當一使用者以該突發拍攝模式拍攝一照片時所產生之一組靜止影像之連續畫面(亦即，該等第一至第n畫面)係暫時性儲存至本發明理念之例示性實施例中之RAM 130內。
信號源讀取單元250可回應指示該圖場模式之模式選擇信號MS而讀取該等第一至第n畫面中之每一畫面之該上圖場及該下圖場。每一包含在影像資料中之上圖場及下圖場均可稱為一圖場影像。信號源讀取單元250可依照該等圖場已被讀取之次序輸出該等第一至第n畫面之圖場，以作為編碼資料ED。
影像型式決定方塊270可接收影像資料ID以及可決定該影像資料ID中之每一圖場影像之一影像型式。該影像型式係一影像種類而依據該影像種類每一畫面均可藉著編碼模組300以一不同方式加以編碼。影像型式可分成一內部(I)影像、一預估(P)影像、或一雙向(B)影像。
該I-影像係一種型式而該型式涉及之事實為編碼僅利用一現行影像內之內部預估來加以執行而未涉及任何其他影像。P-影像係一種型式而該型式涉及之事實為編碼係利用涉及一先前影像之相互間預估及內部預估兩者來加以執行。B-影像係一種型式而該型式涉及之事實為編碼係利用涉及一先前影像及一後續影像之相互間預估及內部預估來加以執行。
影像型式決定方塊270將該影像資料ID指定給一特定影像組以便決定每一圖場影像之影像型式。該影像組之大小係由一I-影像之該指定來決定以及該影像組之結構係由一P-影像及/或一B-影像之該配置來決定。換言之，編碼資料中之位元數量可藉著一P-影像及一B-影像之配置而減少以及該影像組之大小係藉著間歇性指定一I-影像而受 限，因此錯誤傳輸可被防止。
在以下所說明之本發明理念之例示性實施例中，係假設當該影像資料ID依該圖場模式以一圖場接著一圖場之方式輸入時，影像型式決定方塊270將該影像資料ID指定給一具有一IP方法之結構之一影像組。該IP方法係決定該影像資料ID之連續圖場影像為I-影像及P-影像。然而，本發明理念並未受限於該現行之例示性實施例以及一IPPP方法或一IBBBP方法可在其他實施例中使用。
影像型式決定方塊270可產生一影像型式指定信號PTA指示被輸入至該編碼模組300之解碼資料ED中之一圖場影像之一影像型式以及將該影像型式指定信號PTA傳送至編碼模組300。影像型式決定方塊270可將該等第一至第n畫面中之每一畫面之該上圖場指定給一I-影像以及將該等第一至第n畫面中之每一畫面之該下圖場指定給一P-影像。
編碼模組300可依據編碼資料ED之該影像型式以該影像型式指定信號PTA為根據來執行內部預估及/或相互間預估以產生一編碼位元流BS。編碼模組300之結構及運作將參考圖3加以詳細說明。
圖3係依據一例示性實施例之圖2中所揭示之一編碼模組之一詳細方塊圖。參考圖1至圖3，在一例示性實施例中，編碼模組300以每一圖場影像中之巨集區塊為單位接收編碼資料ED。編碼模組300執行內部預估及相互間預估、為編碼資料ED之每一巨集區塊決定一編碼模式、以及 依據該編碼模式編碼該巨集區塊。編碼模組300可包含一預估方塊310、一模式決定(MD)方塊320、一減法器330、一轉換方塊T或331、一量化方塊Q或332、一熵編碼器(EC)333、一編碼圖像緩衝器(EPB)334、一反向量化方塊Q-1或335、一反向轉換方塊T-1或336、一加法器340、一解塊濾波器(DF)350、以及一參考影像記憶體MEM或360。雖然下文例示性實施例係以藉著編碼模組300之個別組件加以執行之方式來作說明，然而在一例示性實施例中，CPU 110可執行電腦可讀指令以執行編碼模組300之該等個別組件之功能。
在一例示性實施例中，預估方塊310包含一相互間預估單元IEPU 312而該IEPU 312係在以巨集區塊為單位所接收之編碼資料ED上執行相互間預估以及一內部預估單元IAPU 314而該IAPU 314係在該編碼資料ED上執行內部預估。預估方塊310依據一影像型式諸如由該影像型式指定信號PTA所決定之一I-影像或一P-影像來執行內部預估及/或相互間預估。
在一例示性實施例中，當影像型式指定信號PTA指示該圖場影像係一I-影像時，相互間預估單元312接收該I-影像之全部巨集區塊以及依據該I-影像執行相互間預估。當影像型式指定信號PTA指示該圖場影像係一P-影像時，相互間預估單元312利用一參考影像，亦即，一剛好在一現行影像之前已編碼及解碼之先前影像(亦即，屬於一影像組之一I-影像或一P-影像)，執行相互間預估以及內部預估單元314依據該I-影像執行內部預估。當影像型式指定信 號PTA指示該圖場影像係一B-影像時，相互間預估單元312利用一參考畫面，亦即，一已編碼及解碼之先前影像(亦即，屬於一影像組之一I-影像及一P-影像)，執行相互間預估以及內部預估單元314依據該I-影像執行內部預估。
依據H.264標準，供一巨集區塊用之可用編碼模式係一相互間模式及一內部模式。該相互間模式包含五個移動補償模式，亦即，跨越模式、16*16模式、8*16模式、16*8模式、以及8*8模式。該8*8移動補償模式包含供一8*8次區塊用之三個次模式，亦即，8*4模式、4*8模式、以及4*4模式。內部模式包含四個16*16內部預估模式及九個4*4內部預估模式。
為了以可用編碼模式中之一模式編碼一巨集區塊，預估方塊310可執行信號率失真最佳化而該信號率失真最佳化將於下文中加以說明。
在一例示性實施例中，內部預估單元314在上述內部模式中獲得提供一最低內部信號率失真成本Jmd之一內部模式，該Jmd係界定如方程式1所示：Jmd=DISTmd+Kmd*Rmd, (1)其中Kmd係供模式決定用之一拉格朗日(Lagrangian)係數，Rmd係以一候選內部模式執行編碼所需之位元數量，以及DISTmd係參考影像記憶體360所提供之一重建巨集區塊中之一像素與該圖場影像之一輸入巨集區塊中之一像素間之差異之失真。一絕對差異之總和(SAD)、一絕對轉換差異之總和(SATD)、或一平方差異之總和(SSD)可作為一失真函數 之用。在一例示性實施例中，如上所述，內部預估單元314以個別內部模式決定(例如，計算)內部信號率失真成本Jmd以及決定有關該等信號率失真成本Jmd中之最低之一內部信號率失真成本Jmd及有關對應於該最低之內部信號率失真成本Jmd之一巨集區塊之資訊以作為一最低內部信號率失真成本MCST2。
相互間預估單元312為該跨越模式以外之每一相互間模式獲得一最佳移動向量。最佳移動向量係容許如方程式2所界定之一相互間信號率失真成本Jmt在候選移動向量中為最低之一移動向量：Jmt=DISTmt+Kmt*Rmt, (2)其中Kmt係供移動估計用之一拉格朗日(Lagrangian)係數，Rmt係利用一候選模式、一候選參考影像、以及一候選移動向量編碼資料所需之位元數量，以及DISTmt係利用候選移動向量所產生之一移動補償巨集區塊中之一像素與一輸入巨集區塊中之一像素間之差異之失真。該SAD、SATD、或SSD可作為一失真函數之用。
在一例示性實施例中，一候選移動向量之一型式係依據一搜尋窗口之尺寸來決定。當編碼模組300採用多數參考影像時，供最佳移動估計用之作業係為每一參考影像重複進行。如上所述，相互間預估單元312決定(例如，計算)有關於個別參考影像之相互間信號率失真成本Jmt、個別候選移動向量、以及個別相互間模式；以及決定有關該等信號率失真成本Jmt中之最低之一相互間信號率失真成 本Jmt及有關對應於該最低之相互間信號率失真成本Jmt之一巨集區塊之資訊以作為一最低相互間信號率失真成本MCST1。
在一例示性實施例以及在該跨越模式中，相互間預估單元312不會獲得一最佳移動向量但會決定有關一與一參考影像中之輸入巨集區塊之位置相同之巨集區塊之一相互間信號率失真成本Jmt以及有關該參考影像中之該巨集區塊之資訊以作為該最低相互間信號率失真成本MCST1。
在一例示性實施例中，模式決定方塊320將最低內部信號率失真成本MCST2與最低相互間信號率失真成本MCST1作比較以及決定對應於該等成本MCST2與MCST1間之一較低成本之編碼模式。模式決定方塊320可為減法器330及加法器340提供資訊，諸如一參考區塊及對應於該編碼模式之一移動向量。該參考區塊涉及有關對應於該等成本MCST2與MCST1間之一較低成本之巨集區塊之資訊。
在一例示性實施例中，減法器330自該輸入巨集區塊中減去接收自該模式決定方塊320之該參考區塊，藉此產生一冗餘區塊。轉換方塊331在減法器330所產生之冗餘區塊上執行空間轉換。該空間轉換可為數位餘弦轉換(DCT)或子波轉換。一轉換係數係因該空間轉換之結果而獲得。當DCT作為該空間轉換之用時，可獲得一DCT係數。當子波轉換作為該空間轉換之用時，可獲得一子波係數。
在一例示性實施例中，量化方塊332係量化轉換 方塊331所獲得之轉換係數。量化係一種將該表達為一隨機值之轉換係數分類成一特定範圍以及將該轉換係數表達為一數位值之作業。量化可包含純量量化及向量量化。簡單之純量量化係將該轉換係數除以一量化表中之一對應值以及將該相除結果修整至最接近之整數值。
在一例示性實施例中，熵編碼器333係在自量化方塊332輸出之量化資料及資訊諸如內部預估模式、參考畫面數、以及移動向量上執行無損編碼，藉此產生位元流BS。無損編碼可為類似全文適應性二進位算術編碼(CABAC)之算術編碼或類似全文適應性變數長度編碼(CAVLC)之變數長度編碼。該位元流BS可藉著EPB 334加以緩衝以及接著輸出。該位元流BS可儲存至編碼器200a外部之一記憶體(例如，RAM 130或記憶體175)中。
在一例示性實施例中，反向量化方塊335、反向轉換方塊336、及加法器340係以反向方式將該無損編碼資料解碼以及該解碼結果係用以產生一重建圖像。反向量化方塊335係將該接收自量化方塊332之量化資料反向量化。該反向量化係一與該量化相反之步驟。反向轉換方塊336在該反向量化結果上執行反向空間轉換以及將該反向空間轉換之結果傳送至加法器340。
在一例示性實施例中，加法器340係將來自反向轉換方塊336之一信號與來自模式決定方塊320之該參考區塊相加以恢復該輸入巨集區塊。加法器340所恢復之該巨集區塊係提供給DF 350之用以及該重建圖像中之一相鄰區塊 之一影像係提供給內部預估單元314之用。DF 350執行有關於每一巨集區塊之一邊界之去塊濾波作業。該去塊濾波資料係儲存在參考影像記憶體360中以及係作為一參考影像之用。
因此，編碼模組300係以該內部模式編碼一上圖場，而該上圖場係指定給一I-影像且被包含在該等第一至第n畫面中之每一畫面內，以及係以該相互間模式及該內部模式兩者編碼一下圖場，而該下圖場係指定給一P-影像且被包含在該等第一至第n畫面中之每一畫面內。
圖4係一圖式用以解釋依據一例示性實施例之一步驟其中一靜止影像組係藉著圖2中所揭示之一編碼器加以讀取及編碼。參考圖1至4，該包含第一至第n畫面F1至Fn之靜止影像組係以該突發拍攝模式產生。該靜止影像組可暫時性儲存至RAM 130中以及依據CPU 110之控制傳送至編解碼器140。
信號源讀取單元250可以模式選擇信號MS所決定之該圖場模式讀取影像資料ID。第一至第n畫面F1至Fn中之每一畫面均可包含配置成具有A列及B行之一矩陣型式之多數像素，其中A及B係至少為1之一整數。
信號源讀取單元250讀取對應於第一畫面F1中之奇數列之一第一上圖場TF1以及接著讀取對應於第一畫面F1中之偶數列之一第一下圖場BF1。依相同方式，信號源讀取單元250有關於第二畫面F2係先讀取一上圖場TF2且接著讀取一下圖場BF2以及有關於第n畫面Fn係先讀取一上圖場 TFn且接著讀取一下圖場BFn。
影像型式決定方塊270依序將影像ID之圖場TF1至TFn以及BF1至BFn分別指定給第一至第n影像組IG1至IGn。換言之，個別之第一至第n影像組IG1至IGn中之上圖場TF1至TFn係指定給對應於一內部畫片之一I-影像以及個別之第一至第n影像組IG1至IGn中之下圖場BF1至BFn係指定給對應於一相互間畫片之一P-影像。
編碼模組300可將個別之第一至第n影像組IG1至IGn中之上圖場TF1至TFn編碼為一I-影像以及接著依據已編碼為該I-影像之上圖場TF1至TFn將個別之第一至第n影像組IG1至IGn中之下圖場BF1至BFn編碼為一P-影像。例如，編碼模組300可將第一影像組IG1中之上圖場TF1編碼為一I-影像以及接著依據已編碼之該上圖場TF1將第一影像組IG1中之下圖場BF1編碼為一P-影像。接著，編碼模組300可將第二影像組IG2中之上圖場TF2編碼為一I-影像以及接著依據已編碼之該上圖場TF2將第二影像組IG2中之下圖場BF2編碼為一P-影像。依此方式，編碼模組300可依序執行編碼至第n影像組IGn。
因為第一至第n畫面F1至Fn分別對應第一至第n影像組IG1至IGn以及影像組IG1至IGn中之每一影像組均區分成上圖場及下圖場且利用該IP方法加以編碼，所以，相較於第一至第n畫面F1至Fn係以內部模式加以編碼時，一壓縮率會增加。此外，當一使用者需要顯示一特定畫面時，CPU 110可僅將一對應於RAM 130中所儲存之第一至第n影 像組IG1至IGn中之該特定畫面之影像組傳送至解碼器400。解碼器400可僅依據一影像組解碼該特定畫面。換言之，當一畫面依該使用者之要求加以解碼時，該畫面可被解碼而不必涉及其他畫面，因為一對應於每一畫面之影像組係利用該IP方法獨立地編碼及儲存在RAM 130中。因此，當編碼之畫面解碼時，隨機存取係可能的。
圖5係一圖式用以解釋依據一例示性實施例藉著圖1中所揭示之一解碼器加以執行之解碼。詳言之，圖5係一圖式用以解釋從已在圖4中所揭示之編碼步驟中完成編碼之第一至第n影像組IG1至IGn中選擇及解碼第二影像組IG2之步驟。
參考圖1至5，當一特定畫面(例如，第二畫面F2)依一使用者之要求而即將顯示時，CPU 110可僅自RAM 130中讀取對應於第二畫面F2之第二影像組IG2並將第二影像組IG2傳送至解碼器400。解碼器400可依據該圖場模式以內部模式解碼第二影像組IG2中之上圖場TF2及以相互間模式解碼第二影像組IG2中之下圖場BF2。此外，解碼器400可藉著重新配置解碼資料而恢復第二畫面F2。詳言之，解碼器400可替代性讀取上圖場TF2之列及下圖場BF2之列使得上圖場TF2之列變成第二畫面F2中之奇數列及下圖場BF2之列變成第二畫面F2中之偶數列，藉此恢復第二畫面F2。
圖6係依據一例示性實施例之圖1中所揭示之一編碼器之一方塊圖。一編碼器200b之結構及運作係類似於圖2中所揭示之編碼器200a之結構及運作。因此，說明將聚 焦在編碼器200b與200a間之差異上以避免重複。
參考圖1、2、及6，編碼器200b可包含信號源讀取單元250、影像型式決定方塊270、以及一H.264編碼模組300a。H.264編碼模組300a係一符合H.264標準之編碼模組。H.264編碼模組300a之結構及運作可相同於圖3中所揭示之編碼模組300之結構及運作。雖然下文中之例示性實施例係以藉著編碼模組300a之個別組件加以執行之方式來作說明，然而在一例示性實施例中，CPU 110可執行電腦可讀指令以執行編碼模組300a之該等個別組件之功能。
圖7係依據一例示性實施例之圖1中所揭示之一解碼器之一方塊圖。一解碼器400可包含一H.264解碼模組410及一重新配置器420。雖然下文中之例示性實施例係以藉著解碼模組400之個別組件加以執行之方式來作說明，然而在一例示性實施例中，CPU 110可執行電腦可讀指令以執行解碼模組400之該等個別組件之功能。
H.264解碼模組410可接收及解碼位元流BS以輸出編碼資料ED。位元流BS可由H.264編碼模組300a輸出及儲存至一記憶體中以及接著輸入至H.264解碼模組410。H.264解碼模組410可執行一與圖3中揭示之編碼模組300所執行之作業相反之作業以自位元流BS恢復編碼資料ED。重新配置器420可重新配置編碼資料ED以恢復影像資料ID。
重新配置器420可藉著替代性讀取每一上圖場之該等列及每一下圖場之該等列而重新配置上圖場TF1至TFn中之每一上圖場之該等列及下圖場BF1至BFn中之每一 下圖場之該等列，使得上圖場TF1至TFn中之每一上圖場之該等列變成第一至第n畫面F1至Fn中之一對應畫面中之奇數列以及下圖場BF1至BFn中之每一下圖場之該等列變成該對應畫面中之偶數列，藉此恢復影像資料ID中之第一至第n畫面F1至Fn中之每一畫面。
圖8係依據一例示性實施例之一操作圖1中所揭示之一應用處理器之方法之一流程圖。雖然圖8中之該方法之每一步驟係以藉著應用處理器100之個別組件加以執行之方式來作說明，然而在一例示性實施例中，CPU 110可執行電腦可讀指令以執行應用處理器100之該等個別組件之功能。
參考圖1至8，在作業步驟S10中，RAM 130儲存一使用者選擇之以突發拍攝模式所產生之靜止影像組(亦即，第一至第n畫面F1至Fn)。在作業步驟S20中，信號源讀取單元250可以模式選擇信號MS所決定之圖場模式讀取第一至第n畫面F1至Fn使得第一至第n畫面F1至Fn係區分成上圖場TF1至TFn及下圖場BF1至BFn。
在作業步驟S30中，當編碼資料ED之圖場影像對應於上圖場TF1至TFn(在是的情況下)時，在作業步驟S40中，編碼模組300以內部模式編碼上圖場TF1至TFn。在作業步驟S30中，當編碼資料ED之圖場影像對應於下圖場BF1至BFn(在否的情況下)時，在作業步驟S50中，編碼模組300以相互間模式編碼下圖場BF1至BFn。
已編碼之第一至第n畫面F1至Fn中之每一畫面之 圖場影像可依據CPU 110之控制而儲存至RAM 130中。當一特定畫面回應該使用者之選擇而即將輸出至顯示裝置165時，CPU 110可僅將一對應於第一至第n影像組IG1至IGn中之該特定畫面之影像組由RAM 130傳送至解碼器400。在作業步驟S60中，解碼器400可僅依據該對應於該特定畫面之影像組來解碼該特定畫面。
在作業步驟S70中，編解碼器140可將該解碼畫面轉換成顯示裝置165所需之一特定格式(例如，一JPEG格式)。
依據本發明理念之一或多個例示性實施例，應用處理器100產生資料而該資料具有一高壓縮率且當一靜止影像組被編碼時容許隨機存取每一畫面。此外，當使用應用處理器100時，可改善處理一靜止影像組之效能，即使支援該現存H.264標準之一編碼器及一解碼器被使用時亦然。
圖9係依據一例示性實施例之一資料處理系統之一方塊圖。參考圖9，該資料處理系統包含一視訊主機服務裝置20、一第一裝置41、以及一第二裝置43。
第一裝置41可作為一PC加以執行以及第二裝置43可作為一可攜式電子裝置加以執行。裝置20、41及43可經由一網路30相互通訊。網路30之架構可以各種方式加以修改。網路30可以一有線網際網路、一無線網際網路、或一行動蜂巢式網路加以執行。
視訊主機服務裝置20包含一視訊源21及編碼器200。編碼器200接收來自視訊源21之信號源影像資料。編 碼器200編碼該信號源影像資料以產生一編碼位元流。編碼器200可為圖1、2、或6中所揭示之編碼器200、200a或200b。該編碼位元流可經由網路30而傳送至第一裝置41及第二裝置43。
該傳送至網路30之編碼位元流可傳送至第一裝置41及/或第二裝置43。第一裝置41及第二裝置43中之每一裝置均可為一PC、一蜂巢式電話、一智慧型手機、一平板PC、一膝上型電腦、一PDA、一EDA、一可攜式多媒體播放機(PMP)、一個人導航裝置或可攜式導航裝置(PND)、一手持式遊戲控制台、一MID、或一電子書。
第一裝置41包含解碼器400及一顯示裝置51以及第二裝置43包含解碼器400及一顯示裝置53。解碼器400可為圖1或7所揭示之解碼器400。每一解碼器400可解碼經由網路300所接收之該編碼位元流以及可將該解碼資料輸出至對應之顯示裝置51或53。
圖10係依據一例示性實施例之一資料編碼方法之一流程圖。圖10中所揭示之資料編碼方法可藉著圖1、2、6、或9中所揭示之編碼器200、200a、或200b加以執行(或替代地由CPU 110藉著執行一組電腦可讀指令來執行圖1、2、6、或9中所示之編碼器之功能，如上所述)。
參考圖10，在作業步驟S110中，編碼器200、200a、或200b讀取在編碼器200、200a、或200b處所接收之一信號源畫面。該信號源畫面係對應於一單一畫面之影像資料。該信號源畫面可為以一使用者選擇之突發拍攝模式 所產生之一靜止影像組中之一畫面(包含第一至第n畫面F1至Fn)或自視訊源21輸出之信號源影像資料中之一畫面。
在作業步驟S120中，編碼器200、200a、或200b以圖場模式讀取信號源畫面以產生第一圖場資料及第二圖場資料。該第一圖場資料可對應於上圖場TF1至TFn中之每一上圖場以及該第二圖場資料可對應於下圖場BF1至BFn中之每一下圖場。
在作業步驟S130中，編碼器200、200a、或200b以內部模式編碼該第一圖場資料以及在作業步驟S140中編碼該第二圖場資料。在作業步驟S150中，編碼器200、200a、或200b可將編碼資料，亦即，編碼位元流BS，儲存至一記憶體中或將該編碼資料傳送至另一裝置中。
圖11係依據一例示性實施例之一資料解碼方法之一流程圖。圖11中所揭示之資料編碼方法可藉著圖1、7、或9中所揭示之解碼器400加以執行(或替代地由CPU 110藉著執行一組電腦可讀指令來執行圖1、7、或9中所示之解碼器之功能，如上所述)。
參考圖11，在作業步驟S210中，解碼器400可自一記憶體讀取編碼資料，亦即，編碼位元流BS，或可自另一裝置接收該編碼資料。在作業步驟S220中，解碼器400藉著以圖場模式解碼該編碼資料來恢復第一圖場資料及第二圖場資料。例如，解碼器400可以內部模式解碼該編碼資料以恢復該第一圖場資料以及可以相互間模式解碼該編碼資料以恢復該第二圖場資料。
在作業步驟S230中，解碼器400藉著重新配置該第一圖場資料及該第二圖場資料來恢復一信號源畫面。例如，解碼器400可藉著替代地讀取該第一圖場資料中之該等列及該第二圖場資料中之該等列來重新配置該第一圖場資料及該第二圖場資料使得該第一圖場資料中之該等列變成該信號源畫面中之奇數列以及該第二圖場資料中之該等列變成該信號源畫面中之偶數列，藉此恢復該信號源畫面。
圖12係依據一例示性實施例之一資料處理系統之一方塊圖。參看圖12，一資料處理系統500包含一發送器510及一接收器530。每一發送器510及接收器530均可為一蜂巢式電話、一智慧型手機、或一平板PC。
發送器510包含一應用處理器(AP)512、一顯示裝置520、一照相機模組518、一外部記憶體516、以及一射頻收發器514。AP 512、顯示裝置520、照相機模組518、以及外部記憶體516之運作及功能均類似於圖1中所揭示之AP 100、顯示裝置165、照相機155、以及記憶體175之運作及功能，且因此，其詳細說明將被省略。
AP 512包含編碼器200。射頻收發器514可經由一天線ANT1將一編碼位元流傳送至接收器530。發送器510亦可作為一接收器操作。
接收器530包含一AP 532、一顯示裝置540、一照相機模組538、一外部記憶體536、以及一射頻收發器534。AP 532、顯示裝置540、照相機模組538、以及外部記憶體536之運作及功能均類似於圖1中所揭示之AP 100、顯示裝 置165、照相機155、以及記憶體175之運作及功能，且因此，其詳細說明將被省略。
AP 532包含解碼器400。射頻收發器534可經由一天線ANT2自發送器510接收該編碼位元流。接收器530亦可作為一發送器操作。
解碼器400可解碼該編碼位元流以及可將該解碼影像資料輸出至顯示裝置540，使得該影像資料係顯示在該顯示裝置540上。
如上所述，依據本發明理念之一或多個例示性實施例，一應用處理器產生資料而該資料具有一高壓縮率以及當一靜止影像組被編碼時容許隨機存取一畫面。
雖然本發明理念已參考其例示性實施例加以特定地顯示及說明，然而本技藝中之普通技術人士將理解的是，可在該等例示性實施例內進行型式及細節之各種改變而不會偏離下列請求項所界定之本發明理念之精神及範疇。
10‧‧‧資料處理系統
100‧‧‧應用處理器
105‧‧‧匯流排
110‧‧‧CPU
120‧‧‧ROM
130‧‧‧RAM
135‧‧‧影像處理器
140‧‧‧編解碼器
150‧‧‧照相機介面
155‧‧‧照相機
160‧‧‧顯示裝置介面
165‧‧‧顯示裝置
170‧‧‧記憶體介面
175‧‧‧記憶體
200‧‧‧編碼器
400‧‧‧解碼器

Claims (17)

  1. 一種多媒體編解碼器，其包含：一讀取器，其配置成，依據由一模式選擇信號所指示之一圖場模式來讀取於包括一連續拍攝單一場景之至少兩個畫面的一影像組中之一第一畫面，以及為該第一畫面產生一上圖場及一下圖場；一編碼組件，其配置成以一內部模式編碼該上圖場及以一相互間模式編碼該下圖場，以及一解碼組件，其配置成用以解碼該第一畫面，該第一畫面係由一使用者從該至少兩個畫面中選擇，其中，該影像組之該至少兩個畫面係以一突發拍攝模式所產生之一連續畫面。
  2. 如請求項1之多媒體編解碼器，其中，該解碼組件，其配置成藉著以該內部模式解碼該上圖場以及以該相互間模式解碼該下圖場來解碼該第一畫面。
  3. 如請求項2之多媒體編解碼器，其中該編碼組件係配置成編碼該影像組之多數個畫面，該等多數個畫面包含該第一畫面，以及該解碼組件係配置成解碼經編碼之該等多數個畫面中之一畫面，經編碼之該等多數個畫面中之該一畫面對應於選擇要被顯示之該影像組之一畫面。
  4. 如請求項3之多媒體編解碼器，其中該編碼組件係一H.264編碼器，以及該解碼組件係一H.264解碼器。
  5. 如請求項1之多媒體編解碼器，其中一包含該讀取器及該編碼組件之編碼器依據該模式選擇信號以該圖場模式及一畫面模式中之一模式操作。
  6. 一種應用處理器，其包含：一記憶體，其配置成用以儲存一連續拍攝單一場景之一影像組，該影像組包含至少二個畫面；一中央處理單元(CPU)，其配置成產生一模式選擇信號俾決定一編碼模式，其中該影像組要被編碼；以及一多媒體編解碼器，其配置成依據由產生之該模式選擇信號所指示之一圖場模式來編碼該影像組，該多媒體編解碼器包含：一讀取器，其配置成依據該圖場模式來讀取該等至少二個畫面中之每一畫面以產生一上圖場及一下圖場，一編碼組件，其配置成以一內部模式編碼該上圖場及以一相互間模式編碼該下圖場，以及一解碼組件，其配置成用以解碼由一使用者自該等至少二個畫面中所選擇之一畫面，其中，該影像組之該至少兩個畫面係以一突發拍攝模式所產生之一連續畫面。
  7. 如請求項6之應用處理器，其中該解碼組件係配置成藉 著依據該內部模式解碼該選擇畫面之該上圖場以及依據該相互間模式解碼該選擇畫面之該下圖場來解碼該選擇畫面。
  8. 如請求項7之應用處理器，其中一包含該讀取器及該編碼組件之編碼器係一H.264編碼器以及該解碼器係一H.264解碼器。
  9. 如請求項6之應用處理器，其中該編碼模式包含該圖場模式以及一畫面模式。
  10. 一種運算裝置，其包含：一記憶體，其具有電腦可讀指令儲存於其中；以及一處理器，其配置成執行該等電腦可讀指令以：當接收一模式選擇信號時，將選自於一連續拍攝單一場景之至少兩個畫面中之至少一選擇影像畫面劃分成一第一組及一第二組；依據編碼之一內部模式編碼該第一組；依據編碼之一相互間模式編碼該第二組，以及解碼由一使用者自該等至少二個畫面中所選擇之一畫面，其中，該至少兩個畫面係以一突發拍攝模式所產生之連續畫面。
  11. 如請求項10之裝置，其中該模式選擇信號係一圖場模式選擇信號，以及該處理器係配置成執行該等電腦可讀指令以依據該圖場模式選擇信號讀取該選擇影像畫面以便將該選擇影 像畫面區分成該第一組及該第二組。
  12. 如請求項10之裝置，其中該第一組係一上圖場，其包含對應於該選擇影像畫面中之奇數列之像素，以及該第二組係一下圖場，其包含對應於該選擇影像畫面中之偶數列之像素。
  13. 如請求項10之裝置，其中該處理器係進一步配置成執行該等電腦可讀指令以自多數個內部編碼方案中選擇編碼之該內部模式。
  14. 如請求項13之裝置，其中該處理器係進一步配置成執行該等電腦可讀指令以：決定關聯於該等多數個內部編碼方案中之每一方案之一成本函數，以及將該等多數內部編碼方案中之具有該等決定成本函數中之一最低成本函數之一方案選擇作為編碼之該內部模式。
  15. 如請求項10之裝置，其中該處理器係進一步配置成執行該等電腦可讀指令以自多數個相互間編碼方案中選擇編碼之該相互間模式。
  16. 如請求項15之裝置，其中該處理器係進一步配置成執行該等電腦可讀指令以：決定關聯於該等多數個相互間編碼方案中之每一方案之一成本函數，以及將該等多數個相互間編碼方案中之具有該等決定成本 函數中之一最低成本函數之一方案選擇作為編碼之該相互間模式。
  17. 如請求項10之裝置，其中該處理器係進一步配置成執行該等電腦可讀指令以：接收用以顯示該等至少二個畫面中之一畫面之一要求；藉著下列步驟來解碼該等至少二個畫面中之所要求之該畫面：依據解碼之一內部模式來解碼該等至少二個畫面中之所要求之該畫面之經編碼之該第一組，解碼之該內部模式對應於編碼之該內部模式，以及依據解碼之一相互間模式解碼該等至少二個畫面中之所要求之該畫面之經編碼之該第二組，解碼之該相互間模式對應於編碼之該相互間模式。
TW105103779A 2015-02-27 2016-02-04 多媒體編解碼器、包括其之應用處理器、及操作該應用處理器之方法 TWI736528B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0028566 2015-02-27
KR1020150028566A KR20160105203A (ko) 2015-02-27 2015-02-27 멀티미디어 코덱, 상기 멀티미디어 코덱을 포함하는 애플리케이션 프로세서, 및 상기 애플리케이션 프로세서의 동작 방법

Publications (2)

Publication Number Publication Date
TW201633786A TW201633786A (zh) 2016-09-16
TWI736528B true TWI736528B (zh) 2021-08-21

Family

ID=56682561

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105103779A TWI736528B (zh) 2015-02-27 2016-02-04 多媒體編解碼器、包括其之應用處理器、及操作該應用處理器之方法

Country Status (5)

Country Link
US (1) US10070139B2 (zh)
KR (1) KR20160105203A (zh)
CN (1) CN105933706B (zh)
DE (1) DE102016203031A1 (zh)
TW (1) TWI736528B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476204B1 (ko) * 2017-10-19 2022-12-08 삼성전자주식회사 멀티 코덱 인코더 및 이를 포함하는 멀티 코덱 인코딩 시스템
EP3713235B1 (en) * 2019-03-19 2023-08-02 Axis AB Methods and devices for encoding a video stream using a first and a second encoder
WO2023200217A1 (ko) * 2022-04-11 2023-10-19 엘지전자 주식회사 템플릿 매칭을 이용하는 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013497A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Intraframe and interframe interlace coding and decoding
US20090060045A1 (en) * 2007-08-29 2009-03-05 Kabushiki Kaisha Toshiba Moving picture encoding apparatus and moving picture encoding method
US20140119431A1 (en) * 2011-06-01 2014-05-01 Hitachi Kokusai Electric Inc. Video encoding device

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5212549A (en) 1991-04-29 1993-05-18 Rca Thomson Licensing Corporation Error concealment apparatus for a compressed video signal processing system
JP3357920B2 (ja) * 1991-07-03 2002-12-16 株式会社日立製作所 バス制御方式及びそのシステム
JPH08331567A (ja) * 1995-06-02 1996-12-13 Sony Corp 画像情報符号化装置、画像情報復号化装置及び画像情報記録再生システム
JP3633204B2 (ja) * 1997-05-14 2005-03-30 ソニー株式会社 信号符号化装置、信号符号化方法、信号記録媒体及び信号伝送方法
JPH1141609A (ja) 1997-07-23 1999-02-12 Hitachi Ltd 信号処理装置
JP3778721B2 (ja) * 1999-03-18 2006-05-24 富士通株式会社 動画像符号化方法および装置
US20040120398A1 (en) * 2002-12-19 2004-06-24 Ximin Zhang System and method for adaptive field and frame video encoding using rate-distortion characteristics
US20060170786A1 (en) 2005-01-31 2006-08-03 Nara Won Digital camera and method
JP5017825B2 (ja) * 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
KR100761834B1 (ko) * 2006-01-13 2007-09-28 삼성전자주식회사 화면의 라인들을 복수개의 메모리에 나누어 저장하는비디오 디코딩 장치, 비디오 디코딩 방법 및 기준화면 저장방법
KR100809296B1 (ko) * 2006-02-22 2008-03-04 삼성전자주식회사 타입이 일치하지 않는 하위 계층의 정보를 사용하여인터레이스 비디오 신호를 인코딩/디코딩 하는 방법 및장치
US8687691B1 (en) 2006-04-17 2014-04-01 Motorola Mobility Llc Image sliced high definition scalable array encoding system and method
US20080101473A1 (en) * 2006-10-26 2008-05-01 Matsushita Electric Industrial Co., Ltd. Transcoding apparatus and transcoding method
KR101323733B1 (ko) 2006-12-29 2013-10-31 삼성전자주식회사 고속 고화질 연사 기능을 가지는 영상 입력 장치 및 이를이용한 연사 방법
CN101389018B (zh) * 2007-09-14 2010-12-08 华为技术有限公司 一种图像编/解码方法、装置及一种图像处理方法、系统
EP2237562A4 (en) 2007-11-28 2016-12-28 Panasonic Ip Man Co Ltd IMAGE ENCODING METHOD AND IMAGE ENCODING DEVICE
CN102427534B (zh) 2009-01-19 2014-06-18 松下电器产业株式会社 编码方法和编码装置
US20100302394A1 (en) * 2009-05-28 2010-12-02 Phanish Hanagal Srinivasa Rao Blinked eye artifact removal for a digital imaging device
RU2573279C2 (ru) 2011-03-10 2016-01-20 Ниппон Телеграф Энд Телефон Корпорейшн Устройство и способ управления квантованием и программа управления квантованием
JP2012217106A (ja) 2011-04-01 2012-11-08 Sanyo Electric Co Ltd 画像処理装置
KR101817653B1 (ko) * 2011-09-30 2018-01-12 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP2013168809A (ja) 2012-02-15 2013-08-29 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
KR101969424B1 (ko) * 2012-11-26 2019-08-13 삼성전자주식회사 촬영된 이미지를 표시하는 촬영 장치 및 그 촬영 방법
US10034019B2 (en) * 2013-06-12 2018-07-24 Mitsubishi Electric Corporation Image encoding device, image encoding method, image decoding device, and image decoding method
KR20150023148A (ko) * 2013-08-23 2015-03-05 삼성전자주식회사 전자기기에서 이미지를 관리하는 방법 및 장치
KR20150028566A (ko) 2013-09-06 2015-03-16 대한민국(산림청 국립산림과학원장) 리그닌 분해효소의 고정화 방법 및 상기 방법에 의해 얻은 고정화된 리그닌 분해효소를 이용한 염료 탈색방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013497A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Intraframe and interframe interlace coding and decoding
US20090060045A1 (en) * 2007-08-29 2009-03-05 Kabushiki Kaisha Toshiba Moving picture encoding apparatus and moving picture encoding method
US20140119431A1 (en) * 2011-06-01 2014-05-01 Hitachi Kokusai Electric Inc. Video encoding device

Also Published As

Publication number Publication date
US20160255349A1 (en) 2016-09-01
TW201633786A (zh) 2016-09-16
CN105933706A (zh) 2016-09-07
DE102016203031A1 (de) 2016-09-01
CN105933706B (zh) 2020-06-23
US10070139B2 (en) 2018-09-04
KR20160105203A (ko) 2016-09-06

Similar Documents

Publication Publication Date Title
RU2696252C1 (ru) Вывод опорных значений режима и кодирование и декодирование информации, представляющей режимы предсказания
TWI759389B (zh) 用於視訊寫碼之低複雜度符號預測
US9807399B2 (en) Border pixel padding for intra prediction in video coding
JP5869122B2 (ja) ビデオコーディングにおける予測データのバッファリング
US10291925B2 (en) Techniques for hardware video encoding
JP2019505143A (ja) ビデオコーディングのためにブロックの複数のクラスのためのフィルタをマージすること
US20150146780A1 (en) Video encoder and video encoding method
US10757431B2 (en) Method and apparatus for processing video
JP5937205B2 (ja) ビデオコーディングのためのランモードベース係数コーディング
TWI776071B (zh) 用以編碼及解碼視訊取樣之轉換區塊的方法、設備和系統
JP2012124896A (ja) 低遅延階層のｂグループを有するピクチャ構造を用いた動画像符号化の方法及び装置
US8903184B2 (en) Image-encoding method, image-encoding device, and computer-readable recording medium storing image-encoding program
WO2020103593A1 (zh) 一种帧间预测的方法及装置
TWI736528B (zh) 多媒體編解碼器、包括其之應用處理器、及操作該應用處理器之方法
CN113906744A (zh) 视频编解码中无损编解码的信令
US10142633B2 (en) Flexible coding unit ordering and block sizing
JP7189370B2 (ja) Ｃｕに基づく補間フィルタ選択のシグナリング
TWI776072B (zh) 用以編碼及解碼視訊取樣之轉換區塊的方法、設備和系統
US20220417550A1 (en) Method and apparatus for constructing motion information list in video encoding and decoding and device
CN111263147A (zh) 帧间预测方法和相关装置
JP7359653B2 (ja) 動画像符号化装置
CN109672889B (zh) 约束的序列数据头的方法及装置
JP2008289105A (ja) 画像処理装置およびそれを搭載した撮像装置
US10951900B2 (en) Speeding up small block intra-prediction in video coding
JP2013102305A (ja) 画像復号装置、画像復号方法、プログラム及び画像符号化装置