TWI405469B - Image processing apparatus and method - Google Patents

Image processing apparatus and method Download PDF

Info

Publication number
TWI405469B
TWI405469B TW098140188A TW98140188A TWI405469B TW I405469 B TWI405469 B TW I405469B TW 098140188 A TW098140188 A TW 098140188A TW 98140188 A TW98140188 A TW 98140188A TW I405469 B TWI405469 B TW I405469B
Authority
TW
Taiwan
Prior art keywords
mode
residual energy
spatial
unit
image
Prior art date
Application number
TW098140188A
Other languages
English (en)
Other versions
TW201032599A (en
Inventor
Kazushi Sato
Yoichi Yagasaki
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201032599A publication Critical patent/TW201032599A/zh
Application granted granted Critical
Publication of TWI405469B publication Critical patent/TWI405469B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

圖像處理裝置及方法
本發明係關於一種圖像處理裝置及方法，尤其係關於一種抑制壓縮資訊之增大且提高預測精度之圖像處理裝置及方法。
近年來，如下裝置正在普及，其於將圖像資訊作為數位資訊進行處理時，為了高效率地傳輸、儲存資訊，利用圖像資訊特有之冗餘性，採用藉由離散餘弦轉換等之正交轉換與運動補償進行壓縮之編碼方式而對圖像進行壓縮編碼。於該編碼方式中，例如有MPEG(Moving Picture Experts Group，動態影像專家群)等。
尤其MPEG2(ISO/IEC 13818-2)係定義為通用圖像編碼方式，且其係包括交錯式掃描圖像及漸進式掃描圖像之兩者、以及標準解析度圖像及高精細圖像之標準。例如，MPEG2目前廣泛用於專業用途及消費用途之廣泛應用程式。藉由使用MPEG2壓縮方式，若為例如具有720×480像素之標準解析度之交錯式掃描圖像，則可分配4至8Mbps之碼量(位元率)。又，藉由使用MPEG2壓縮方式，若為例如具有1920×1088像素之高解析度之交錯式掃描圖像，則可分配18至22Mbps之碼量(位元率)。藉此，可實現高壓縮率與良好之畫質。
MPEG2主要係以適合於廣播用之高畫質編碼為對象，但並不對應於較MPEG1更低之碼量(位元率)、即更高壓縮率之編碼方式。考慮到由於移動終端之普及，今後，如上所述之編碼方式之需求會提高，對應於此而進行了MPEG4編碼方式之標準化。關於該圖像編碼方式，其規格於1998年12月作為ISO/IEC 14496-2而被認定為國際標準。
進而，近年來，最初以電視會議用之圖像編碼為目的，H. 26L(ITU-T Q6/16 VCEG)之標準之規格化得以推進。已知H. 26L與MPEG2或MPEG4之類之先前之編碼方式相比較，雖然其編碼、解碼要求較多之運算量，但可實現更高之編碼效率。又，目前，作為MPEG4之活動之一環節，以該H. 26L為基礎，引入H. 26L所不支援之功能且實現更高之編碼效率之標準化，作為增強壓縮視訊編碼之聯合模型(Joint Model of Enhanced-Compression Video Coding)而進行。關於標準化之時程，於2003年3月成為H. 264及MPEG-4 Part10(進階視訊編碼(Advanced Video Coding)，以下記作H. 264/AVC)之國際標準。
且說，於MPEG2方式中，藉由線性內插處理而進行1/2像素精度之運動預測‧補償處理。相對於此，於H. 264/AVC方式中，進行使用有6分接頭之FIR(Finite Impulse Response Filter，有限脈衝響應濾波器)濾波器之1/4像素精度之預測‧補償處理。
又，於MPEG2方式中，於圖框運動補償模式之情形時，以16×16像素為單位而進行運動預測‧補償處理。於場運動補償模式之情形時，對於第1場與第2場分別以16×8像素為單位而進行運動預測‧補償處理。
相對於此，於H. 264/AVC方式中，可使區塊尺寸可變地進行運動預測‧補償。亦即，於H. 264/AVC方式中，可將由16×16像素所構成之一個巨集區塊分割為16×16、16×8、8×16、或8×8中之任一個分區，並分別具有獨立之運動向量資訊。又，可將8×8分區分割為8×8、8×4、4×8、或4×4中之任一個子分區，並分別具有獨立之運動向量資訊。
然而，於H. 264/AVC方式中，由於進行上述1/4像素精度、及區塊可變之運動預測‧補償處理，故而會產生龐大之運動向量資訊，若直接對其進行編碼，則會導致編碼效率之降低。
因此，提出有藉由如下方法等而抑制編碼效率之降低，該方法係使用已編碼之鄰接之區塊之運動向量資訊，藉由中值操作而產生將要編碼之對象區塊之預測運動向量資訊者。
進而，由於B畫面中之運動向量資訊之資訊量龐大，故而於H. 264/AVC方式中，設有稱為直接模式之編碼模式。該直接模式係根據已編碼之區塊之運動資訊而預測產生運動資訊之編碼模式，由於其無需運動資訊之編碼所必需之位元數，故而可提高壓縮效率。
直接模式有空間直接模式(Spatial Direct Mode)、與時間直接模式(Temporal Direct Mode)之兩種。空間直接模式係主要利用空間方向(畫面內之水平、垂直之二維空間)之運動資訊之關聯之模式，時間直接模式係主要利用時間方向之運動資訊之關聯之模式。
可針對每個片層而切換使用該等之空間直接模式與時間直接模式中之任一個模式。亦即，於非專利文獻1之「7.3.3 Slice header syntax」中揭示有如下內容，即，「direct_spatial_mv_pred_flag」對於對象片層，指定使用空間直接模式與時間直接模式中之哪一個。
[先行技術文獻] [非專利文獻]
[非專利文獻1]「ITU-T Recommendation H. 264 Advanced video coding for generic audiovisual」,November 2007
且說，關於上述空間直接模式與時間直接模式中之哪一個會產生更佳之編碼效率，即使於同一片層內，對於每個巨集區塊或區塊而言亦不相同。
然而，於H. 264/AVC方式中，僅對於每個片層進行該等切換。又，假設若針對每個編碼對象之巨集區塊或區塊選擇最佳之直接模式，並將表示使用哪個直接模式之資訊發送至圖像解碼裝置，則會導致編碼效率之降低。
本發明係鑒於上述狀況而完成者，其抑制壓縮資訊之增大，並且提高預測精度。
本發明之第1側面之圖像處理裝置包括：空間模式殘差能量算出機構，其使用對象區塊之空間直接模式之運動向量資訊，算出使用有以特定之位置關係鄰接於上述對象區塊且包含於解碼圖像之周邊像素之空間模式殘差能量；時間模式殘差能量算出機構，其使用上述對象區塊之時間直接模式之運動向量資訊，算出使用有上述周邊像素之時間模式殘差能量；以及直接模式決定機構，其於上述空間模式殘差能量算出機構所算出之上述空間模式殘差能量為上述時間模式殘差能量算出機構所算出之上述時間模式殘差能量以下之情形時，決定以上述空間直接模式進行上述對象區塊之編碼，於上述空間模式殘差能量大於上述時間模式殘差能量之情形時，決定以上述時間直接模式進行上述對象區塊之編碼。
上述圖像處理裝置可進而包括編碼機構，該編碼機構根據上述直接模式決定機構所決定之上述空間直接模式或上述時間直接模式而對上述對象區塊進行編碼。
上述空間模式殘差能量算出機構可根據Y信號成分、Cb信號成分、及Cr信號成分而算出上述空間模式殘差能量，上述時間模式殘差能量算出機構可根據Y信號成分、Cb信號成分、及Cr信號成分而算出上述時間模式殘差能量，上述直接模式決定機構可針對每個上述Y信號成分、Cb信號成分、及Cr信號成分，比較上述空間模式殘差能量與上述時間模式殘差能量之大小關係，從而決定以上述空間直接模式對上述對象區塊進行編碼，還是以上述時間直接模式對上述對象區塊進行編碼。
上述空間模式殘差能量算出機構可根據上述對象區塊之亮度信號成分而算出上述空間模式殘差能量，上述時間模式殘差能量算出機構可根據上述對象區塊之亮度信號成分而算出上述時間模式殘差能量。
上述空間模式殘差能量算出機構可根據上述對象區塊之亮度信號成分及色差信號成分而算出上述空間模式殘差能量，上述時間模式殘差能量算出機構可根據上述對象區塊之亮度信號成分及色差信號成分而算出上述時間模式殘差能量。
上述圖像處理裝置可進而包括：空間模式運動向量算出機構，其算出上述空間直接模式之運動向量資訊；時間模式運動向量算出機構，其算出上述時間直接模式之運動向量資訊。
本發明之第1側面之圖像處理方法包括如下步驟：圖像處理裝置使用對象區塊之空間直接模式之運動向量資訊，算出使用有以特定之位置關係鄰接於上述對象區塊且包含於解碼圖像之周邊像素之空間模式殘差能量，使用上述對象區塊之時間直接模式之運動向量資訊，算出使用有上述周邊像素之時間模式殘差能量，於上述空間模式殘差能量為上述時間模式殘差能量以下之情形時，決定以上述空間直接模式進行上述對象區塊之編碼，於上述空間模式殘差能量大於上述時間模式殘差能量之情形時，決定以上述時間直接模式進行上述對象區塊之編碼。
本發明之第2側面之圖像處理裝置包括：空間模式殘差能量算出機構，其使用以直接模式經編碼之對象區塊之空間直接模式之運動向量資訊，算出使用有以特定之位置關係鄰接於上述對象區塊且包含於解碼圖像之周邊像素之空間模式殘差能量；時間模式殘差能量算出機構，其使用上述對象區塊之時間直接模式之運動向量資訊，算出使用有上述周邊像素之時間模式殘差能量；直接模式決定機構，其於上述空間模式殘差能量算出機構所算出之上述空間模式殘差能量為上述時間模式殘差能量算出機構所算出之上述時間模式殘差能量以下之情形時，決定以上述空間直接模式產生上述對象區塊之預測圖像，於上述空間模式殘差能量大於上述時間模式殘差能量之情形時，決定以上述時間直接模式產生上述對象區塊之預測圖像。
上述圖像處理裝置可進而包括運動補償機構，該運動補償機構根據上述直接模式決定機構所決定之上述空間直接模式或上述時間直接模式而產生上述對象區塊之預測圖像。
上述空間模式殘差能量算出機構可根據Y信號成分、Cb信號成分、及Cr信號成分而算出上述空間模式殘差能量；上述時間模式殘差能量算出機構可根據Y信號成分、Cb信號成分、及Cr信號成分而算出上述時間模式殘差能量；上述直接模式決定機構可針對每個上述Y信號成分、Cb信號成分、及Cr信號成分，比較上述空間模式殘差能量與上述時間模式殘差能量之大小關係，從而決定以上述空間直接模式產生上述對象區塊之預測圖像，還是以上述時間直接模式產生上述對象區塊之預測圖像。
上述空間模式殘差能量算出機構可根據上述對象區塊之亮度信號成分而算出上述空間模式殘差能量；上述時間模式殘差能量算出機構可根據上述對象區塊之亮度信號成分而算出上述時間模式殘差能量。
上述空間模式殘差能量算出機構可根據上述對象區塊之亮度信號成分及色差信號成分而算出上述空間模式殘差能量；上述時間模式殘差能量算出機構可根據上述對象區塊之亮度信號成分及色差信號成分而算出上述時間模式殘差能量。
本發明之第2側面之圖像處理方法包括如下步驟：圖像處理裝置使用以直接模式經編碼之對象區塊之空間直接模式之運動向量資訊，算出使用有以特定之位置關係鄰接於上述對象區塊且包含於解碼圖像之周邊像素之空間模式殘差能量，使用上述對象區塊之時間直接模式之運動向量資訊，算出使用有上述周邊像素之時間模式殘差能量，於上述空間模式殘差能量為上述時間模式殘差能量以下之情形時，決定以上述空間直接模式產生上述對象區塊之預測圖像，於上述空間模式殘差能量大於上述時間模式殘差能量之情形時，決定以上述時間直接模式產生上述對象區塊之預測圖像。
於本發明之第1側面中，使用對象區塊之空間直接模式之運動向量資訊，算出使用有以特定之位置關係鄰接於上述對象區塊且包含於解碼圖像之周邊像素之空間模式殘差能量，使用上述對象區塊之時間直接模式之運動向量資訊，算出使用有上述周邊像素之時間模式殘差能量。繼而，於上述空間模式殘差能量為上述時間模式殘差能量以下之情形時，決定以上述空間直接模式進行上述對象區塊之編碼，於上述空間模式殘差能量大於上述時間模式殘差能量之情形時，決定以上述時間直接模式進行上述對象區塊之編碼。
於本發明之第2側面中，使用以直接模式經編碼之對象區塊之空間直接模式之運動向量資訊，算出使用有以特定之位置關係鄰接於上述對象區塊且包含於解碼圖像之周邊像素之空間模式殘差能量，使用上述對象區塊之時間直接模式之運動向量資訊，算出使用有上述周邊像素之時間模式殘差能量。繼而，於上述空間模式殘差能量為上述時間模式殘差能量以下之情形時，決定以上述空間直接模式產生上述對象區塊之預測圖像，於上述空間模式殘差能量大於上述時間模式殘差能量之情形時，決定以上述時間直接模式產生上述對象區塊之預測圖像。
再者，上述各個圖像處理裝置可為獨立之裝置，亦可為構成一個圖像編碼裝置或圖像解碼裝置之內部區塊。
根據本發明之第1側面，可決定進行對象區塊之編碼之直接模式。又，根據本發明之第1側面，可抑制壓縮資訊之增大，並且可提高預測精度。
根據本發明之第2側面，可決定產生對象區塊之預測圖像之直接模式。又，根據本發明之第2側面，可抑制壓縮資訊之增大，並且可提高預測精度。
以下，參照圖式對本發明之實施形態進行說明。
[圖像編碼裝置之構成例]
圖1表示作為使用本發明之圖像處理裝置之圖像編碼裝置之一實施形態的構成。
該圖像編碼裝置51例如利用H. 264及MPEG-4 Part10(Advanced Video Coding)(以下記作H. 264/AVC)方式而對圖像進行壓縮編碼。再者，圖像編碼裝置51中之編碼係以區塊或巨集區塊為單位而進行。以下，於設為編碼對象之對象區塊之情形時，對於對象區塊中包含有區塊或巨集區塊者進行說明。
於圖1之示例中，圖像編碼裝置51包括A/D轉換部61、畫面排序緩衝器62、運算部63、正交轉換部64、量化部65、可逆編碼部66、儲存緩衝器67、反量化部68、逆正交轉換部69、運算部70、除區塊濾波器71、圖框記憶體72、開關73、圖框內預測部74、運動預測‧補償部75、直接模式選擇部76、預測圖像選擇部77、以及速率控制部78。
A/D轉換部61對所輸入之圖像進行A/D轉換，將其輸出並記憶於畫面排序緩衝器62。畫面排序緩衝器62根據GOP(Group of Picture，畫面群)，按照用於編碼之圖框之順序而對所記憶之顯示順序之圖框之圖像進行排序。
運算部63從自畫面排序緩衝器62讀出之圖像中減去預測圖像選擇部77所選擇之來自圖框內預測部74之預測圖像或來自運動預測‧補償部75之預測圖像，將該差分資訊輸出至正交轉換部64。正交轉換部64對於來自運算部63之差分資訊實施離散餘弦轉換、K-L轉換(Karhunen-Loeve transformation)等之正交轉換，並輸出其轉換係數。量化部65將正交轉換部64所輸出之轉換係數予以量化。
將成為量化部65之輸出之經量化之轉換係數輸入至可逆編碼部66，於此處實施可變長度編碼、算術編碼等之可逆編碼，並進行壓縮。
可逆編碼部66自圖框內預測部74取得表示圖框內預測之資訊，並自運動預測‧補償部75取得表示圖框間預測或直接模式之資訊等。再者，以下亦將表示圖框內預測之資訊稱為圖框內預測模式資訊。又，以下亦分別將表示圖框間預測之資訊及表示直接模式之資訊稱為圖框間預測模式資訊及直接模式資訊。
可逆編碼部66對經量化之轉換係數進行編碼，並且對表示圖框內預測之資訊、表示圖框間預測或直接模式之資訊等進行編碼，設為壓縮圖像中之標頭資訊之一部分。可逆編碼部66將已編碼之資料供給並儲存於儲存緩衝器67。
例如，於可逆編碼部66中，進行可變長度編碼或算術編碼等之可逆編碼處理。作為可變長度編碼，可列舉H. 264/AVC方式所規定之CAVLC(Context-Adaptive Variable Length Coding，前後自適應可變長度編碼)等。作為算術編碼，可列舉CABAC(Context-Adaptive Binary Arithmetic Coding，前後自適應二進位算術編碼)等。
儲存緩衝器67將自可逆編碼部66供給之資料作為以H. 264/AVC方式而經編碼之壓縮圖像，輸出至例如後段之未圖示之記錄裝置或傳輸路徑等。
又，自量化部65輸出之經量化之轉換係數亦輸入至反量化部68，經反量化之後，進而於逆正交轉換部69中經逆正交轉換。經逆正交轉換之輸出藉由運算部70而與自預測圖像選擇部77供給之預測圖像相加，成為局部已解碼之圖像。除區塊濾波器71除去已解碼之圖像之區塊失真之後，將其供給並儲存於圖框記憶體72。於圖框記憶體72中，亦供給並儲存有藉由除區塊濾波器71進行除區塊濾波處理之前之圖像。
開關73將儲存於圖框記憶體72之參照圖像輸出至運動預測‧補償部75或圖框內預測部74。
於該圖像編碼裝置51中，例如將來自畫面排序緩衝器62之I畫面、B畫面、及P畫面作為進行圖框內預測(亦稱為圖框內處理)之圖像而供給至圖框內預測部74。又，將自畫面排序緩衝器62讀出之B畫面及P畫面作為進行圖框間預測(亦稱為圖框間處理)之圖像而供給至運動預測‧補償部75。
圖框內預測部74基於自畫面排序緩衝器62讀出之進行圖框內預測之圖像與自圖框記憶體72供給之參照圖像，進行成為候補之全部之圖框內預測模式之圖框內預測處理，產生預測圖像。
此時，圖框內預測部74對於成為候補之全部之圖框內預測模式算出成本函數值，選擇使所算出之成本函數值為最小值之圖框內預測模式作為最佳圖框內預測模式。
圖框內預測部74將以最佳圖框內預測模式產生之預測圖像與其成本函數值供給至預測圖像選擇部77。於藉由預測圖像選擇部77而選擇以最佳圖框內預測模式產生之預測圖像之情形時，圖框內預測部74將表示最佳圖框內預測模式之資訊供給至可逆編碼部66。可逆編碼部66對該資訊進行編碼，並作為壓縮圖像中之標頭資訊之一部分。
運動預測‧補償部75進行成為候補之全部之圖框間預測模式之運動預測‧補償處理。亦即，於運動預測‧補償部75中，供給有自畫面排序緩衝器62讀出之進行圖框間處理之圖像、與經由開關73之來自圖框記憶體72之參照圖像。運動預測‧補償部75基於進行圖框間處理之圖像與參照圖像，檢測成為候補之全部之圖框間預測模式之運動向量，並基於運動向量而對參照圖像實施補償處理，產生預測圖像。
再者，運動預測‧補償部75對於B畫面，進而基於進行圖框間處理之圖像與參照圖像，並基於直接模式而實施運動預測與補償處理，產生預測圖像。
於直接模式中，運動向量資訊並不儲存於壓縮圖像中。亦即，於解碼側，自對象區塊之周邊之運動向量資訊中、或參照畫面中之座標與對象區塊相同之區塊即同址(co-located)區塊之運動向量資訊中，抽出對象區塊之運動向量資訊。因此，無需將運動向量資訊發送至解碼側。
於該直接模式中，存在空間直接模式(Spatial Direct Mode)與時間直接模式(Temporal Direct Mode)該兩種模式。空間直接模式係主要利用空間方向(畫面內之水平、垂直之二維空間)之運動資訊之關聯之模式，一般而言，其對於包含相同之運動且運動之速度發生變化之圖像有效。另一方面，時間直接模式係主要利用時間方向之運動資訊之關聯之模式，一般而言，其對於包含不同之運動且運動之速度為固定之圖像有效。
亦即，即使於同一片層內，每個對象區塊之最佳之直接模式為空間直接模式或時間直接模式，其並不相同。因此，藉由運動預測‧補償部75而算出空間及時間直接模式之各運動向量資訊，使用該等運動向量資訊，藉由直接模式選擇部76而選擇對於編碼對象之對象區塊最佳之直接模式。
運動預測‧補償部75算出空間直接模式及時間直接模式之運動向量資訊，使用算出之運動向量資訊進行補償處理，並產生預測圖像。此時，運動預測‧補償部75將所算出之空間直接模式之運動向量資訊及時間直接模式之運動向量資訊輸出至直接模式選擇部76。
又，運動預測‧補償部75對於成為候補之全部之圖框間預測模式、及直接模式選擇部76所選擇之直接模式算出成本函數值。運動預測‧補償部75決定所算出之成本函數值中賦予最小值之預測模式作為最佳圖框間預測模式。
運動預測‧補償部75將以最佳圖框間預測模式產生之預測圖像與其成本函數值供給至預測圖像選擇部77。於藉由預測圖像選擇部77而選擇以最佳圖框間預測模式產生之預測圖像之情形時，運動預測‧補償部75將表示最佳圖框間預測模式之資訊(圖框間預測模式資訊或直接模式資訊)輸出至可逆編碼部66。
再者，若有必要，則亦將運動向量資訊、旗標資訊、參照圖框資訊等輸出至可逆編碼部66。可逆編碼部66照舊對來自運動預測‧補償部75之資訊進行可變長度編碼、算術編碼之類之可逆編碼處理，並插入至壓縮圖像之標頭部。
直接模式選擇部76使用來自運動預測‧補償部75之空間直接模式及時間直接模式之運動向量資訊而分別算出殘差能量(預測誤差)。此時，與運動向量資訊一併，使用以特定之位置關係鄰接於編碼對象之對象區塊且包含於解碼圖像之周邊像素，算出殘差能量。
直接模式選擇部76對空間直接模式及時間直接模式之兩種殘差能量進行比較，將殘差能量小之一方選擇為最佳之直接模式，並將表示所選擇之直接模式之種類之資訊輸出至運動預測‧補償部75。
預測圖像選擇部77基於自圖框內預測部74或運動預測‧補償部75輸出之各成本函數值，自最佳圖框內預測模式與最佳圖框間預測模式中決定最佳預測模式。繼而，預測圖像選擇部77選擇所決定之最佳預測模式之預測圖像，並供給至運算部63、70。此時，預測圖像選擇部77將預測圖像之選擇資訊供給至圖框內預測部74或運動預測‧補償部75。
速率控制部78基於儲存於儲存緩衝器67之壓縮圖像，以不產生溢位或下溢之方式而控制量化部65之量化動作之速率。
[H. 264/AVC方式之說明]
圖2係表示H. 264/AVC方式中之運動預測.補償之區塊尺寸之示例的圖。於H. 264/AVC方式中，使區塊尺寸可變而進行運動預測‧補償。
於圖2之上段，自左依序表示有分割為16×16像素、16×8像素、8×16像素、及8×8像素之分區之由16×16像素所構成之巨集區塊。又，於圖2之下段，自左依序表示有分割為8×8像素、8×4像素、4×8像素、及4×4像素之子分區之8×8像素之分區。
亦即，於H. 264/AVC方式中，可將一個巨集區塊分割為16×16像素、16×8像素、8×16像素、或8×8像素中之任一個分區，且分別具有獨立之運動向量資訊。又，可將8×8像素之分區分割為8×8像素、8×4像素、4×8像素、或4×4像素中之任一個子分區，且分別具有獨立之運動向量資訊。
圖3係說明H. 264/AVC方式中之1/4像素精度之預測‧補償處理之圖。於H. 264/AVC方式中，使用6分接頭之FIR(Finite Impulse Response Filter)濾波器而進行1/4像素精度之預測‧補償處理。
於圖3之例中，位置A表示整數精度像素之位置，位置b、c、d表示1/2像素精度之位置，位置e1、e2、e3表示1/4像素精度之位置。首先，以下，以下述式(1)之方式定義Clip()。
[數1]
再者，於輸入圖像為8位元精度之情形時，max_pix之值為255。
使用6分接頭之FIR濾波器，以下述式(2)之方式而產生位置b及d之像素值。
[數2]
F=A-2 -5‧A-1 +20‧A0 +20‧A1 -5‧A2 +A3
b,d=Clip1((F+16)>>5)　…(2)
於水平方向及垂直方向上使用6分接頭之FIR濾波器，以下述式(3)之方式而產生位置c之像素值。
[數3]
F=b-2 -5‧b-1 +20‧b0 +20‧b1 -5‧b2 +b3
或者
F=d-2 -5‧d-1 +20‧d0 +20‧d1 -5‧d2 +d3
c=Clip1((F+512)>>10)　…(3)
再者，於進行水平方向及垂直方向之積和處理之兩者之後，於最後僅執行一次Clip處理。
以下述式(4)之方式，藉由線性內插而產生位置e1至e3。
[數4]
e1 =(A+b+1)>>1
e2 =(b+d+1)>>1
e3 =(b+c+1)>>1　…(4)
圖4係說明H. 264/AVC方式中之多參照圖框之預測‧補償處理之圖。於H. 264/AVC方式中，確定多參照圖框(Multi-Reference Frame)之運動預測‧補償方式。
於圖4之例中，表示有將要編碼之對象圖框Fn、與已編碼之圖框Fn-5、...、Fn-1。圖框Fn-1係時間軸上之對象圖框Fn之前一個圖框，圖框Fn-2係對象圖框Fn之前兩個圖框，圖框Fn-3係對象圖框Fn之前三個圖框。又，圖框Fn-4係對象圖框Fn之前四個圖框，圖框Fn-5係對象圖框Fn之前五個圖框。一般而言，對於在時間軸上越接近於對象圖框Fn之圖框，附加越小之參照畫面編號(ref_id)。亦即，圖框Fn-1之參照畫面編號最小，其後，參照畫面編號按照Fn-2、...、Fn-5之順序變大。
對象圖框Fn中表示有區塊A1與區塊A2，區塊A1與前兩個之圖框Fn-2之區塊A1'有關聯，以搜尋運動向量V1。又，區塊A2與前四個之圖框Fn-4之區塊A1'有關聯，以搜尋運動向量V2。
如上所述，於H. 264/AVC方式中，預先將複數個參照圖框儲存於記憶體，從而可於一個圖框(畫面)中參照不同之參照圖框。亦即，例如，如區塊A1參照圖框Fn-2，區塊A2參照圖框Fn-4般，可於一個畫面中，使每個區塊分別具有獨立之參照圖框資訊(參照畫面編號(ref_id))。
於H. 264/AVC方式中，參照圖2至圖4而進行上述運動預測‧補償處理，藉此產生龐大之運動向量資訊，若直接將其編碼，則會導致編碼效率之降低。相對於此，於H. 264/AVC方式中，藉由圖5所示之方法而減少運動向量之編碼資訊。
圖5係說明H. 264/AVC方式之運動向量資訊之產生方法之圖。
於圖5之例中，表示有將要編碼之對象區塊E(例如16×16像素)、與已編碼且鄰接於對象區塊E之區塊A至D。
亦即，區塊D鄰接於對象區塊E之左上側，區塊B鄰接於對象區塊E之上側，區塊C鄰接於對象區塊E之右上側，區塊A鄰接於對象區塊E之左側。再者，區塊A至D未受到分隔係表示區塊A至D分別為圖2中所述之16×16像素至4×4像素中之任一構成之區塊。
例如，以mvx 表示相對於X(=A、B、C、D、E)之運動向量資訊。首先，使用與區塊A、B、C相關之運動向量資訊，藉由中值預測而以下述式(5)之方式，產生相對於對象區塊E之預測運動向量資訊pmvE 。
pmvE =med(mvA ,mvB ,mvC )　…(5)
由於位於畫框之端側，或尚未經編碼等之理由，有時無法利用(unavailable)與區塊C相關之運動向量資訊。於該情形時，使用與區塊D相關之運動向量資訊替代與區塊C相關之運動向量資訊。
使用pmvE ，以下述式(6)之方式而產生附加於壓縮圖像之標頭部之資料mvdE 作為相對於對象區塊E之運動向量資訊。
mvdE =mvE -pmvE 　…(6)
再者，實際上，對於運動向量資訊之水平方向、垂直方向之各個成分獨立地進行處理。
如上所述，產生預測運動向量資訊，將以與鄰接之區塊之關聯而產生之預測運動向量資訊與運動向量資訊之差分附加於壓縮圖像之標頭部，藉此可減少運動向量資訊。
[直接模式選擇部之構成例]
圖6係表示直接模式選擇部之詳情之構成例之區塊圖。再者，於圖6之例中，亦表示有運動預測‧補償部75中之進行下述圖11之直接模式預測處理之一部分的各部分。
於圖6之例之情形時，運動預測‧補償部75係構成為包含空間直接模式(Spatial Direct Mode)(以下稱為SDM)運動向量算出部81、以及時間直接模式(Temporal Direct Mode)(以下稱為TDM)運動向量算出部82。
直接模式選擇部76係藉由SDM殘差能量算出部91、TDM殘差能量算出部92、比較部93、以及直接模式決定部94而構成。
SDM運動向量算出部81基於空間直接模式而對B畫面進行運動預測與補償處理，並產生預測圖像。再者，由於為B畫面，故而對於List0(L0)及List1(L1)之兩者之參照圖框進行運動預測與補償處理。
此時，於SDM運動向量算出部81中，基於空間直接模式，以對象圖框與L0參照圖框之運動預測而算出運動向量directmvL0 (Spatial)。同樣地，以對象圖框與L1參照圖框之運動預測而算出運動向量directmvL1 (Spatial)。將算出之該等運動向量directmvL0 (Spatial)及運動向量directmvL1 (Spatial)輸出至SDM殘差能量算出部91。
TDM運動向量算出部82基於時間直接模式而對B畫面進行運動預測與補償處理，並產生預測圖像。
此時，於TDM運動向量算出部82中，基於時間直接模式，以對象圖框與L0參照圖框之運動預測而算出運動向量directmvL0 (Temporal)。同樣地，以對象圖框與L1參照圖框之運動預測而算出運動向量directmvL1 (Temporal)。將算出之該等運動向量directmvL0 (Temporal)及運動向量directmvL1 (Temporal)輸出至TDM殘差能量算出部92。
SDM殘差能量算出部91求出運動向量directmvL0 (Spatial)及directmvL1 (Spatial)所指示之與編碼對象之對象區塊之周邊像素群NCUR 相對應之各參照圖框上的像素群NL0 、NL1 。該周邊像素群NCUR 例如為對象區塊之周邊之已編碼之像素群。再者，參照圖13，於後文中敍述周邊像素群NCUR 之詳情。
SDM殘差能量算出部91使用對象區塊之周邊像素群NCUR 之像素值、與所求出之各參照圖框上之像素群NL0 、NL1 之像素值，藉由SAD(Sum of Absolute Difference，絕對誤差和)而算出各個殘差能量。
進而，SDM殘差能量算出部91使用與L0參照圖框上之像素群NL0 之殘差能量SAD(NL0 ；Spatial)、及與L1參照圖框上之像素群NL1 之殘差能量SAD(NL1 ；Spatial)，算出殘差能量SAD(Spatial)。藉由下述式(7)而算出殘差能量SAD(Spatial)。將所算出之殘差能量SAD(Spatial)輸出至比較部93。
SAD(Spatial)=SAD(NL0 ;Spatial)+SAD(NL1 ;Spatial)　…(7)
TDM殘差能量算出部92求出運動向量directmvL0 (Temporal)及directmvL1 (Temporal)所指示之與編碼對象之對象區塊之周邊像素群NCUR 相對應之各參照圖框上的像素群NL0 、NL1 。TDM殘差能量算出部92使用對象區塊之周邊像素群NCUR 、與所求出之各參照圖框上之像素群NL0 、NL1 之像素值，藉由SAD而算出各個殘差能量。
進而，TDM殘差能量算出部92使用與L0參照圖框上之像素群NL0 之殘差能量SAD(NL0 ；Temporal)、及與L1參照圖框上之像素群NL1 之殘差能量SAD(NL1 ；Temporal)，算出殘差能量SAD(Temporal)。藉由下述式(8)而算出殘差能量SAD(Temporal)。將所算出之殘差能量SAD(Temporal)輸出至比較部93。
SAD(Temporal)=SAD(NL0 ;Temporal)+SAD(NL1 ;Temporal)…(8)
比較部93對基於空間直接模式之殘差能量SAD(Spatial)、與基於時間直接模式之殘差能量SAD(Temporal)進行比較，將該結果輸出至直接模式決定部94。
直接模式決定部94基於下述式(9)而決定以空間直接模式對對象區塊進行編碼，還是以時間直接模式進行編碼。亦即，對於對象區塊，決定選擇最佳之直接模式。
SAD(Spatial)≦SAD(Temporal)　…(9)
具體而言，於式(9)成立，且殘差能量SAD(Spatial)為殘差能量SAD(Temporal)以下之情形時，直接模式決定部94決定選擇空間直接模式作為對象區塊之最佳之直接模式。另一方面，於式(9)不成立，且殘差能量SAD(Spatial)大於殘差能量SAD(Temporal)之情形時，直接模式決定部94決定選擇時間直接模式作為對象區塊之最佳之直接模式。將表示所選擇之直接模式之種類之資訊輸出至運動預測‧補償部75。
再者，於上述說明中，說明了使用SAD而求出殘差能量之例，但並不限於此，例如亦可使用SSD(Sum of Squared Difference，差異值平方和)。藉由使用SAD，可以少於SSD之情形時之運算量而決定選擇最佳之直接模式。相對於此，藉由使用SSD，可以高於SAD之情形時之精度而決定選擇最佳之直接模式。
又，上述SAD算出處理可僅使用亮度信號，亦可除了亮度信號之外，還使用色差信號。進而，亦可針對每個Y/Cb/Cr信號成分而進行SAD算出處理，且針對每個Y/Cb/Cr信號成分而進行SAD之比較。
藉由進行僅使用有亮度信號之SAD算出處理，可以更少之運算量決定直接模式，但除此之外添加色差信號，藉此可更高精度地決定選擇最佳之直接模式。又，由於亦存在最佳之直接模式相對於Y/Cb/Cr之各個而有所不同之情形，故而針對各個成分而另外進行上述運算處理，且針對各個成分而決定最佳之直接模式，藉此可進行更高精度之判定。
[圖像編碼裝置之編碼處理之說明]
其次，參照圖7之流程圖，對圖1之圖像編碼裝置51之編碼處理進行說明。
於步驟S11中，A/D轉換部61對所輸入之圖像進行A/D轉換。於步驟S12中，畫面排序緩衝器62記憶A/D轉換部61所供給之圖像，並將各畫面之顯示順序排序為編碼順序。
於步驟S13中，運算部63運算於步驟S12中經排序之圖像與預測圖像之差分。於進行圖框間預測之情形時，預測圖像自運動預測‧補償部75經由預測圖像選擇部77而供給至運算部63；於進行圖框內預測之情形時，預測圖像自圖框內預測部74經由預測圖像選擇部77而供給至運算部63。
差分資料與原來之圖像資料相比較，資料量小。因此，與直接對圖像進行編碼之情形相比較，可壓縮資料量。
於步驟S14中，正交轉換部64對運算部63所供給之差分資訊進行正交轉換。具體而言，進行離散餘弦轉換、K-L轉換等之正交轉換，並輸出轉換係數。於步驟S15中，量化部65將轉換係數予以量化。於該量化時，如下述步驟S25之處理之說明所述，控制速率。
以上述方式經量化之差分資訊係以如下方式而局部地得以解碼。亦即，於步驟S16中，反量化部68以與量化部65之特性相對應之特性而將經量化部65量化之轉換係數予以反量化。於步驟S17中，逆正交轉換部69以與正交轉換部64之特性相對應之特性而對經反量化部68反量化之轉換係數進行逆正交轉換。
於步驟S18中，運算部70將經由預測圖像選擇部77而輸入之預測圖像與經局部解碼之差分資訊相加，產生經局部解碼之圖像(與朝向運算部63之輸入相對應之圖像)。於步驟S19中，除區塊濾波器71對運算部70所輸出之圖像進行濾波。藉此，除去區塊失真。於步驟S20中，圖框記憶體72記憶經濾波之圖像。再者，未經除區塊濾波器71之濾波處理之圖像亦自運算部70供給至圖框記憶體72，且記憶於該圖框記憶體72。
於步驟S21中，圖框內預測部74及運動預測‧補償部75分別進行圖像之預測處理。亦即，於步驟S21中，圖框內預測部74進行圖框內預測模式之圖框內預測處理。運動預測‧補償部75進行圖框間預測模式之運動預測‧補償處理，進而對於B畫面進行空間及時間直接模式之運動預測‧補償處理。此時，直接模式選擇部76使用運動預測‧補償部75所算出之空間直接模式及時間直接模式之運動向量資訊而選擇最佳之直接模式。
參照圖8，於下文中敍述步驟S21中之預測處理之詳情，藉由該處理而分別進行成為候補之全部之預測模式下之預測處理，分別算出成為候補之全部預測模式下之成本函數值。繼而，基於所算出之成本函數值而選擇最佳圖框內預測模式，將藉由最佳圖框內預測模式之圖框內預測而產生之預測圖像與其成本函數值供給至預測圖像選擇部77。
又，關於P畫面，基於所算出之成本函數值而自圖框間預測模式中決定最佳圖框間預測模式，將以最佳圖框間預測模式所產生之預測圖像與其成本函數值供給至預測圖像選擇部77。
另一方面，關於B畫面，基於算出之成本函數值而自圖框間預測模式、與直接模式選擇部76所選擇之直接模式之中，決定最佳圖框間預測模式。繼而，將以最佳圖框間預測模式所產生之預測圖像與其成本函數值供給至預測圖像選擇部77。
於步驟S22中，預測圖像選擇部77基於自圖框內預測部74及運動預測‧補償部75輸出之各成本函數值，將最佳圖框內預測模式與最佳圖框間預測模式中之一方決定為最佳預測模式。繼而，預測圖像選擇部77選擇所決定之最佳預測模式之預測圖像，並供給至運算部63、70。如上所述，將該預測圖像用於步驟S13、S18之運算。
再者，將該預測圖像之選擇資訊供給至圖框內預測部74或運動預測‧補償部75。於選擇最佳圖框內預測模式之預測圖像之情形時，圖框內預測部74將表示最佳圖框內預測模式之資訊(即圖框內預測模式資訊)供給至可逆編碼部66。
於選擇最佳圖框間預測模式之預測圖像之情形時，運動預測‧補償部75根據需要而將表示最佳圖框間預測模式(包含直接模式)之資訊、及與最佳圖框間預測模式相對應之資訊輸出至可逆編碼部66。作為與最佳圖框間預測模式相對應之資訊，可列舉運動向量資訊或旗標資訊、參照圖框資訊等。更具體而言，當選擇圖框間預測模式之預測圖像作為最佳圖框間預測模式時，運動預測‧補償部75將圖框間預測模式資訊、運動向量資訊、參照圖框資訊輸出至可逆編碼部66。
另一方面，當選擇直接模式之預測圖像作為最佳圖框間預測模式時，運動預測‧補償部75僅將表示每個片層之直接模式之資訊輸出至可逆編碼部66。亦即，於藉由直接模式而進行編碼之情形時，由於無需將運動向量資訊等發送至解碼側，故而不輸出至可逆編碼部66。進而，亦不將表示每個區塊之直接模式之種類之資訊發送至解碼側。因此，可減少壓縮圖像中之運動向量資訊。
於步驟S23中，可逆編碼部66對自量化部65輸出之經量化之轉換係數進行編碼。亦即，對差分圖像進行可變長度編碼、算術編碼等之可逆編碼，並進行壓縮。此時，於上述步驟S22中輸入至可逆編碼部66之來自圖框內預測部74之圖框內預測模式資訊、或來自運動預測‧補償部75之與最佳圖框間預測模式相對應之資訊等亦受到編碼，並附加於標頭資訊。
於步驟S24中，儲存緩衝器67儲存差分圖像作為壓縮圖像。適當地讀出儲存於儲存緩衝器67之壓縮圖像，並經由傳輸路徑而傳輸至解碼側。
於步驟S25中，速率控制部78基於儲存於儲存緩衝器67之壓縮圖像，以不產生溢位或下溢之方式而控制量化部65之量化動作之速率。
[圖像編碼裝置之預測處理之說明]
其次，參照圖8之流程圖，說明圖7之步驟S21中之預測處理。
於自畫面排序緩衝器62供給之處理對象之圖像為進行圖框內處理之區塊的圖像之情形時，自圖框記憶體72讀出所參照之已解碼之圖像，並經由開關73而供給至圖框內預測部74。基於該等圖像，於步驟S31中，圖框內預測部74以成為候補之全部之圖框內預測模式而對處理對象之區塊之像素進行圖框內預測。再者，使用未經除區塊濾波器71進行除區塊濾波之像素，作為所參照之已解碼之像素。
參照圖9，於下文中敍述步驟S31中之圖框內預測處理之詳情，藉由該處理，以成為候補之全部之圖框內預測模式而進行圖框內預測，對於成為候補之全部之圖框內預測模式算出成本函數值。繼而，基於所算出之成本函數值而選擇最佳圖框內預測模式，並將藉由最佳圖框內預測模式之圖框內預測所產生之預測圖像與其成本函數值供給至預測圖像選擇部77。
於自畫面排序緩衝器62供給之處理對象之圖像為進行圖框間處理的圖像之情形時，自圖框記憶體72讀出所參照之圖像，並經由開關73而供給至運動預測‧補償部75。基於該等圖像，於步驟S32中，運動預測‧補償部75進行圖框間運動預測處理。亦即，運動預測‧補償部75參照自圖框記憶體72供給之圖像，進行成為候補之全部之圖框間預測模式之運動預測處理。
參照圖10，於下文中敍述步驟S32中之圖框間運動預測處理之詳情，藉由該處理，以成為候補之全部之圖框間預測模式進行運動預測處理，對於成為候補之全部之圖框間預測模式算出成本函數值。
進而，於處理對象之圖像為B畫面之情形時，運動預測‧補償部75及直接模式選擇部76於步驟S33中進行直接模式預測處理。
參照圖11，如下敍述步驟S33中之直接模式預測處理之詳情。藉由該處理，進行基於空間及時間直接模式之運動預測與補償處理。繼而，使用此時所算出之空間及時間直接模式之運動向量值，自空間及時間直接模式中選擇最佳之直接模式。進而，對於所選擇之直接模式算出成本函數值。
於步驟S34中，運動預測‧補償部75對相對於步驟S32中所算出之圖框間預測模式之成本函數值、與相對於步驟S33中所算出之直接模式之成本函數值進行比較。繼而，運動預測‧補償部75決定賦予最小值之預測模式作為最佳圖框間預測模式。繼而，運動預測‧補償部75將以最佳圖框間預測模式所產生之預測圖像與其成本函數值供給至預測圖像選擇部77。
再者，於處理對象之圖像為P畫面之情形時，跳過步驟S33之處理，於步驟S34中，自於步驟S32中產生預測圖像之各圖框間預測模式中決定最佳圖框間預測模式。
[圖像編碼裝置之圖框內預測處理之說明]
其次，參照圖9之流程圖，說明圖8之步驟S31中之圖框內預測處理。再者，於圖9之例中，舉例說明亮度信號之情形。
圖框內預測部74於步驟S41中，對於4×4像素、8×8像素、及16×16像素之各圖框內預測模式進行圖框內預測。
於亮度信號之圖框內預測模式中，有9種4×4像素及8×8像素之區塊單位、以及4種16×16像素之巨集區塊單位之預測模式，而於色差信號之圖框內預測模式中，有4種8×8像素之區塊單位之預測模式。色差信號之圖框內預測模式可與亮度信號之圖框內預測模式相獨立地設定。針對亮度信號之4×4像素及8×8像素之圖框內預測模式，對每個4×4像素及8×8像素之亮度信號之區塊各定義一個圖框內預測模式。針對亮度信號之16×16像素之圖框內預測模式與色差信號之圖框內預測模式，對一個巨集區塊定義一個預測模式。
具體而言，圖框內預測部74參照自圖框記憶體72讀出且經由開關73而被供給之已解碼之圖像，對處理對象之區塊之像素進行圖框內預測。以各圖框內預測模式進行該圖框內預測處理，藉此產生各圖框內預測模式下之預測圖像。再者，使用未經除區塊濾波器71予以除區塊濾波之像素作為所參照之已解碼之像素。
圖框內預測部74於步驟S42中，算出相對於4×4像素、8×8像素、及16×16像素之各圖框內預測模式之成本函數值。此處，基於高複雜度(High Complexity)模式、或低複雜度(Low Complexity)模式中之任一方法而算出成本函數值。該等模式係藉由H. 264/AVC方式中之參照軟體即JM(Joint Model，聯合模型)而定。
亦即，於高複雜度模式中，作為步驟S41之處理，假設對於成為候補之全部之預測模式進行至編碼處理。繼而，對於各預測模式算出由下述式(10)所表示之成本函數值，並選擇賦予該最小值之預測模式作為最佳預測模式。
Cost(Mode)=D+λ‧R　…(10)
D為原圖像與解碼圖像之差分(失真)，R為亦包含正交轉換係數之產生碼量，λ為作為量化參數QP之函數而賦予之拉格朗日乘數(Lagrange multiplier)。
另一方面，於低複雜度模式中，作為步驟S41之處理，對於成為候補之全部之預測模式，算出預測圖像之產生、及運動向量資訊或預測模式資訊、乃至於旗標資訊等之標頭位元。繼而，對於各預測模式算出由下述式(11)所表示之成本函數值，並選擇賦予該最小值之預測模式作為最佳預測模式。
Cost(Mode)=D+QPtoQuant(QP)‧Header_Bit　…(11)
D為原圖像與解碼圖像之差分(失真)，Header_Bit為相對於預測模式之標頭位元，QPtoQuant為作為量化參數QP之函數而賦予之函數。
於低複雜度模式中，對於全部之預測模式僅產生預測圖像，而無需進行編碼處理及解碼處理，因此運算量可減少。
圖框內預測部74於步驟S43中，對於4×4像素、8×8像素、及16×16像素之各圖框內預測模式分別決定最佳模式。亦即，如上所述，於圖框內4×4預測模式及圖框內8×8預測模式之情形時，預測模式之種類為9種；於圖框內16×16預測模式之情形時，預測模式之種類為4種。因此，圖框內預測部74基於在步驟S42中所算出之成本函數值，而從該等預測模式中決定最佳圖框內4×4預測模式、最佳圖框內8×8預測模式、最佳圖框內16×16預測模式。
圖框內預測部74於步驟S44中，基於在步驟S42中所算出之成本函數值，自相對於4×4像素、8×8像素、及16×16像素之各圖框內預測模式而決定之各最佳模式之中，選擇最佳圖框內預測模式。亦即，自相對於4×4像素、8×8像素、及16×16像素而決定之各最佳模式之中，選擇成本函數值為最小值之模式作為最佳圖框內預測模式。繼而，圖框內預測部74將以最佳圖框內預測模式所產生之預測圖像與其成本函數值供給至預測圖像選擇部77。
[圖像編碼裝置之圖框間運動預測處理之說明]
其次，參照圖10之流程圖，說明圖8之步驟S32之圖框間運動預測處理。
運動預測‧補償部75於步驟S51中，對於包含參照圖2所述之16×16像素至4×4像素之8種各圖框間預測模式而分別決定運動向量與參照圖像。亦即，對於各圖框間預測模式之處理對象之區塊，分別決定運動向量與參照圖像。
運動預測‧補償部75於步驟S52中，對於包含16×16像素至4×4像素之8種各圖框間預測模式，基於步驟S51中所決定之運動向量而對參照圖像進行運動預測與補償處理。藉由該運動預測與補償處理而產生各圖框間預測模式下之預測圖像。
運動預測‧補償部75於步驟S53中，針對相對於包含16×16像素至4×4像素之8種各圖框間預測模式所決定之運動向量，產生用以附加於壓縮圖像之運動向量資訊。此時，使用參照圖5所述之運動向量之產生方法而產生運動向量資訊。
所產生之運動向量資訊亦使用於下一個步驟S54中之成本函數值算出時，於最終藉由預測圖像選擇部77而選擇對應之預測圖像之情形時，將所產生之運動向量資訊與預測模式資訊及參照圖框資訊一併輸出至可逆編碼部66。
運動預測‧補償部75於步驟S54中，對於包含16×16像素至4×4像素之8種各圖框間預測模式，算出由上述式(10)或式(11)所表示之成本函數值。此處所算出之成本函數值係於以上述圖8之步驟S34決定最佳圖框間預測模式時使用。
[圖像編碼裝置之直接模式預測處理之說明]
其次，參照圖11之流程圖，說明圖8之步驟S33之直接模式預測處理。再者，該處理僅於對象圖像為B畫面之情形時進行。
SDM運動向量算出部81於步驟S71中算出空間直接模式之運動向量值。
亦即，SDM運動向量算出部81基於空間直接模式而進行運動預測與補償處理，並產生預測圖像。此時，於SDM運動向量算出部81中，基於空間直接模式，以對象圖框與L0參照圖框之運動預測而算出運動向量directmvL0 (Spatial)。同樣地，以對象圖框與L1參照圖框之運動預測而算出運動向量directmvL1 (Spatial)。
再次，參照圖5，說明H. 264/AVC方式之空間直接模式。於圖5之例中，如上所述，表示有將要編碼之對象區塊E(例如16×16像素)、與已編碼且鄰接於對象區塊E之區塊A至D。而且，例如以mvX 表示相對於X(=A、B、C、D、E)之運動向量資訊。
使用與區塊A、B、C相關之運動向量資訊，藉由中值預測而以上述式(5)之方式產生相對於對象區塊E之預測運動向量資訊pmvE 。繼而，相對於空間直接模式之對象區塊E之運動向量資訊mvE 係以下述式(12)表示。
mvE =pmvE 　…(12)
亦即，於空間直接模式中，將藉由中值預測而產生之預測運動向量資訊設為對象區塊之運動向量資訊。亦即，對象區塊之運動向量資訊係以已編碼之區塊之運動向量資訊而產生。因此，由於亦可於解碼側產生空間直接模式之運動向量，故而無需發送運動向量資訊。
將所算出之該等運動向量directmvL0 (Spatial)及運動向量directmvL1 (Spatial)輸出至SDM殘差能量算出部91。
TDM運動向量算出部82於步驟S72中，算出時間直接模式之運動向量值。
亦即，TDM運動向量算出部82基於時間直接模式而對B畫面進行運動預測與補償處理，並產生預測圖像。
此時，於TDM運動向量算出部82中，基於時間直接模式，以對象圖框與L0參照圖框之運動預測而算出運動向量directmvL0 (Temporal)。同樣地，以對象圖框與L1參照圖框之運動預測而算出運動向量directmvL1 (Temporal)。再者，參照圖12，於下文中敍述基於時間直接模式之運動向量之算出處理。
將所算出之該等運動向量directmvL0 (Temporal)及運動向量directmvL1 (Temporal)輸出至TDM殘差能量算出部92。
再者，於H. 264/AVC方式中，該等直接模式(空間直接模式及時間直接模式)均可以16×16像素巨集區塊或8×8像素區塊單位而定義。因此，於SDM運動向量算出部81及TDM運動向量算出部82中，進行16×16像素巨集區塊或8×8像素區塊單位之處理。
SDM殘差能量算出部91於步驟S73中，使用空間直接模式之運動向量而算出殘差能量SAD(Spatial)，並將算出之殘差能量SAD(Spatial)輸出至比較部93。
具體而言，SDM殘差能量算出部91求出運動向量directmvL0 (Spatial)及directmvL1 (Spatial)所指示之與編碼對象之對象區塊之周邊像素群NCUR 相對應的各參照圖框上之像素群NL0 、NL1 。SDM殘差能量算出部91使用對象區塊之周邊像素群NCUR 之像素值、與所求出之各參照圖框上之像素群NL0 、NL1 之像素值，藉由SAD而算出各個殘差能量。
進而，SDM殘差能量算出部91使用與L0參照圖框上之像素群NL0 之殘差能量SAD(NL0 ；Spatial)、及與L1參照圖框上之像素群NL1 之殘差能量SAD(NL1 ；Spatial)而算出殘差能量SAD(Spatial)。此時，使用上述式(7)。
TDM殘差能量算出部92於步驟S74中，使用時間直接模式之運動向量而算出殘差能量SAD(Temporal)，並將所算出之殘差能量SAD(Temporal)輸出至比較部93。
具體而言，TDM殘差能量算出部92求出運動向量directmvL0 (Temporal)及directmvL1 (Temporal)所指示之與編碼對象之對象區塊之周邊像素群NCUR 相對應的各參照圖框上之像素群NL0 、NL1 。TDM殘差能量算出部92使用與對象區塊之周邊像素群NCUR 、與求出之各參照圖框上之像素群NL0 、NL1 之像素值，藉由SAD而算出各個殘差能量。
進而，TDM殘差能量算出部92使用與L0參照圖框上之像素群NL0 之殘差能量SAD(NL0 ；Temporal)、及與L1參照圖框上之像素群NL1 之殘差能量SAD(NL1 ；Temporal)而算出殘差能量SAD(Temporal)。此時，使用上述式(8)。
比較部93於步驟S75中，對基於空間直接模式之殘差能量SAD(Spatial)、與基於時間直接模式之殘差能量SAD(Temporal)進行比較，將其結果輸出至直接模式決定部94。
於步驟S75中，於判定SAD(Spatial)為SAD(Temporal)以下之情形時，處理前進至步驟S76。直接模式決定部94於步驟S76中，決定選擇空間直接模式作為相對於對象區塊之最佳直接模式。將相對於對象區塊而選擇空間直接模式，作為表示直接模式之種類之資訊而輸出至運動預測‧補償部75。
另一方面，於步驟S75中，於判定SAD(Spatial)大於SAD(Temporal)之情形時，處理前進至步驟S77。直接模式決定部94於步驟S77中，決定選擇時間直接模式作為相對於對象區塊之最佳直接模式。將相對於對象區塊而選擇時間直接模式，作為表示直接模式之種類之資訊而輸出至運動預測‧補償部75。
運動預測‧補償部75於步驟S78中，基於來自直接模式決定部94之表示直接模式之種類之資訊，對於所選擇之直接模式算出上述式(10)或式(11)所表示之成本函數值。此處所算出之成本函數值係於以上述圖8之步驟S34決定最佳圖框間預測模式時使用。
[時間直接模式之說明]
圖12係說明H. 264/AVC方式中之時間直接模式之圖。
於圖12之例中，時間軸t表示時間之經過，自左依序表示有L0(List0)參照畫面、將要編碼之對象畫面、L1(List1)參照畫面。再者，L0參照畫面、對象畫面、L1參照畫面之排列於H. 264/AVC方式中並不限於上述順序。
對象畫面之對象區塊例如包含於B片層，TDM運動向量算出部82對於L0參照畫面與L1參照畫面而算出基於時間直接模式之運動向量資訊。
L0參照畫面中位於與將要編碼之對象區塊相同之空間上之位址(座標)之區塊即同址區塊的運動向量資訊mvcol 係基於L0參照畫面與L1參照畫面而算出。
此處，將對象畫面與L0參照畫面之時間軸上之距離設為TDB ，將L0參照畫面與L1參照畫面之時間軸上之距離設為TDD 。於該情形時，可藉由下述式(13)而算出對象畫面之L0運動向量資訊mvL0 、與對象畫面之L1運動向量資訊mvL1 。
[數5]
再者，於H. 264/AVC方式中，壓縮圖像中不存在與相對於對象畫面之時間軸t上之距離TDB 、TDD 相當之資訊。因此，使用表示畫面之輸出順序之資訊即POC(Picture Order Count，畫面序列號)作.為距離TDB 、TDD 之實際值。
[殘差能量算出之例]
圖13係說明SDM殘差能量算出部91及TDM殘差能量算出部92中之殘差能量算出之圖。再者，於圖13之例中，將空間直接運動向量及時間直接運動向量總稱為直接運動向量。亦即，無論關於空間直接運動向量，還是關於時間直接運動向量，均以如下之方式執行。
於圖13之例之情形時，自左依序表示有L0(List0)參照畫面、將要編碼之對象畫面、L1(List1)參照畫面。該等按照顯示順序排列，但於H.264/AVC方式中，L0(List0)參照畫面、將要編碼之對象畫面、L1(List1)參照畫面之排列並不限於該例。
於對象畫面中表示有將要編碼之對象區塊(或巨集區塊)。於對象區塊中進而表示有於對象區塊與L0參照畫面之間算出之直接運動向量DirectmvL0 、以及於對象區塊與L1參照畫面之間算出之直接運動向量DirectmvL1 。
此處，周邊像素群Ncur 係對象區塊之周邊之已編碼之像素群。亦即，周邊像素群Ncur 係鄰接於對象區塊且由已編碼之像素所構成之像素群。進而，具體而言，於按照光柵掃描順序進行編碼處理之情形時，如圖13所示，周邊像素群Ncur 為位於對象區塊之左側及上側之區域之像素群，且為解碼圖像儲存於圖框記憶體72中之像素群。
又，像素群NL0 及NL1 係運動向量DirectmvL0 與運動向量DirectmvL1 所指示之與周邊像素群Ncur 相對應之L0及L1參照畫面上的像素群。
SDM殘差能量算出部91及TDM殘差能量算出部92於該周邊像素群Ncur 與像素群NL0 及NL1 之各個之間，藉由SAD而分別算出殘差能量SAD(NL0 ；Spatial)、SAD(NL1 ；Spatial)、SAD(NL0 ；Temporal)、SAD(NL1 ；Temporal)。繼而，SDM殘差能量算出部91及TDM殘差能量算出部92分別藉由上述式(7)及式(8)而算出殘差能量SAD(Spatial)及SAD(Temporal)。
如此，殘差能量算出處理並非使用輸入之原圖像資訊進行算出，而是使用已編碼之圖像(即解碼圖像)資訊進行算出，因此即使於解碼側亦可進行相同之動作。又，亦同樣使用解碼圖像而算出上述基於空間直接模式之運動向量資訊及基於時間直接模式之運動向量資訊，因此於圖14之圖像解碼裝置101中亦可進行相同之動作。
因此，必需如先前所述般發送表示每個片層之直接模式之資訊，但無需將表示針對每個編碼對象之區塊(或巨集區塊)而使用空間與時間中之哪一個直接模式之資訊發送至解碼側。
藉此，不使輸出之壓縮圖像資訊中之資訊量增大，便可針對每個對象區塊(或巨集區塊)選擇最佳之直接模式，從而可提高預測精度。其結果，可提高編碼效率。
經由特定之傳輸路徑而傳輸已編碼之壓縮圖像，並藉由圖像解碼裝置進行解碼。
[圖像解碼裝置之構成例]
圖14表示作為使用本發明之圖像處理裝置之圖像解碼裝置之一實施形態的構成。
圖像解碼裝置101包括儲存緩衝器111、可逆解碼部112、反量化部113、逆正交轉換部114、運算部115、除區塊濾波器116、畫面排序緩衝器117、D/A轉換部118、圖框記憶體119、開關120、圖框內預測部121、運動預測‧補償部122、直接模式選擇部123、以及開關124。
儲存緩衝器111儲存傳輸而來之壓縮圖像。可逆解碼部112以與可逆編碼部66之編碼方式相對應之方式，對自儲存緩衝器111供給之圖1之可逆編碼部66所編碼之資訊進行解碼。反量化部113以與圖1之量化部65之量化方式相對應之方式，對可逆解碼部112所解碼之圖像進行反量化。逆正交轉換部114以與圖1之正交轉換部64之正交轉換方式相對應之方式，對反量化部113之輸出進行逆正交轉換。
經逆正交轉換之輸出藉由運算部115而與自開關124供給之預測圖像相加，從而被解碼。除區塊濾波器116於除去已解碼之圖像之區塊失真之後，將已解碼之圖像供給並儲存至圖框記憶體119，並且輸出至畫面排序緩衝器117。
畫面排序緩衝器117進行圖像之排序。亦即，將藉由圖1之畫面排序緩衝器62而排序為用於編碼之順序之圖框的順序排序成原來之顯示順序。D/A轉換部118對自畫面排序緩衝器117供給之圖像進行D/A轉換，並輸出至未圖示之顯示器而進行顯示。
開關120自圖框記憶體119讀出經圖框間處理之圖像與參照之圖像，將該等圖像輸出至運動預測‧補償部122，並且自圖框記憶體119讀出用於圖框內預測之圖像，並將該圖像供給至圖框內預測部121。
對標頭資訊進行解碼所獲得之表示圖框內預測模式之資訊自可逆解碼部112而供給至圖框內預測部121。圖框內預測部121基於該資訊而產生預測圖像，並將所產生之預測圖像輸出至開關124。
對標頭資訊進行解碼所獲得之資訊(預測模式資訊、運動向量資訊、參照圖框資訊)自可逆解碼部112而供給至運動預測‧補償部122。於供給有表示圖框間預測模式之資訊之情形時，運動預測‧補償部122基於運動向量資訊與參照圖框資訊而對圖像實施運動預測與補償處理，並產生預測圖像。
於供給有表示直接模式之資訊之情形時，運動預測‧補償部122算出空間直接模式及時間直接模式之運動向量資訊，並將所算出之運動向量資訊輸出至直接模式選擇部123。又，運動預測‧補償部122以直接模式選擇部123所選擇之直接模式而進行補償處理，並產生預測圖像。
再者，於進行直接模式之運動預測及補償處理之情形時，運動預測‧補償部122與圖6之運動預測‧補償部75同樣地係構成為至少包括SDM運動向量算出部81及TDM運動向量算出部82。
繼而，運動預測‧補償部122根據預測模式資訊，將藉由圖框間預測模式而產生之預測圖像、或藉由直接模式而產生之預測圖像中之任一方輸出至開關124。
直接模式選擇部123使用來自運動預測‧補償部122之空間及時間直接模式之運動向量資訊而分別算出殘差能量。此時，使用以特定之位置關係鄰接於編碼對象之對象區塊且包含於解碼圖像之周邊像素而算出殘差能量。
直接模式選擇部123對空間直接模式及時間直接模式之兩種殘差能量進行比較，決定選擇殘差能量小之一方之直接模式，並將表示所選擇之直接模式之種類之資訊輸出至運動預測‧補償部122。
再者，由於直接模式選擇部123基本上係與直接模式選擇部76同樣地構成，故而亦使用上述圖6對直接模式選擇部123進行說明。亦即，直接模式選擇部123與圖6之直接模式選擇部76同樣地係藉由SDM殘差能量算出部91、TDM殘差能量算出部92、比較部93、及直接模式決定部94而構成。
開關124選擇運動預測‧補償部122或圖框內預測部121所產生之預測圖像，並供給至運算部115。
[圖像解碼裝置之解碼處理之說明]
其次，參照圖15之流程圖，說明圖像解碼裝置101所執行之解碼處理。
於步驟S131中，儲存緩衝器111儲存傳輸而來之圖像。於步驟S132中，可逆解碼部112對自儲存緩衝器111供給之壓縮圖像進行解碼。亦即，經圖1之可逆編碼部66編碼之I畫面、P畫面、及B畫面得以解碼。
此時，運動向量資訊、參照圖框資訊、預測模式資訊(表示圖框內預測模式、圖框間預測模式、或直接模式之資訊)、旗標資訊亦得以解碼。
亦即，於預測模式資訊為圖框內預測模式資訊之情形時，將預測模式資訊供給至圖框內預測部121。於預測模式資訊為圖框間預測模式資訊之情形時，將與預測模式資訊相對應之運動向量資訊供給至運動預測‧補償部122。於預測模式資訊為直接模式資訊之情形時，將預測模式資訊供給至運動預測‧補償部122。
於步驟S133中，反量化部113以與圖1之量化部65之特性相對應之特性而對經可逆解碼部112解碼之轉換係數進行反量化。於步驟S134中，逆正交轉換部114以與圖1之正交轉換部64之特性相對應之特性而對經反量化部113反量化之轉換係數進行逆正交轉換。藉此，與圖1之正交轉換部64之輸入(運算部63之輸出)相對應之差分資訊得以解碼。
於步驟S135中，運算部115將下述之步驟S141之處理所選擇且經由開關124而輸入之預測圖像與差分資訊相加。藉此，原來之圖像得以解碼。於步驟S136中，除區塊濾波器116對自運算部115輸出之圖像進行濾波。藉此，除去區塊失真。於步驟S137中，圖框記憶體119記憶經濾波之圖像。
於步驟S138中，圖框內預測部121、運動預測‧補償部122、或直接模式選擇部123對應於自可逆解碼部112供給之預測模式資訊而分別進行圖像之預測處理。
亦即，於自可逆解碼部112供給有圖框內預測模式資訊之情形時，圖框內預測部121進行圖框內預測模式之圖框內預測處理。於自可逆解碼部112供給有圖框間預測模式資訊之情形時，運動預測‧補償部122進行圖框間預測模式之運動預測‧補償處理。又，於自可逆解碼部112供給有直接模式資訊之情形時，運動預測‧補償部122進行空間及時間直接模式之運動預測，使用直接模式選擇部123所選擇之直接模式而進行補償處理。
參照圖16，於下文中敍述步驟S138中之預測處理之詳請，藉由該處理而將圖框內預測部121所產生之預測圖像、或運動預測‧補償部122所產生之預測圖像供給至開關124。
於步驟S139中，開關124選擇預測圖像。亦即，供給圖框內預測部121所產生之預測圖像、或運動預測‧補償部122所產生之預測圖像。因此，選擇所供給之預測圖像並供給至運算部115，如上所述，於步驟S134中，將其與逆正交轉換部114之輸出相加。
於步驟S140中，畫面排序緩衝器117進行排序。亦即，將藉由圖像編碼裝置51之畫面排序緩衝器62而排序為用於編碼之圖框的順序排序為原來之顯示順序。
於步驟S141中，D/A轉換部118對來自畫面排序緩衝器117之圖像進行D/A轉換。將該圖像輸出至未圖示之顯示器，並顯示圖像。
[圖像解碼裝置之預測處理之說明]
其次，參照圖16之流程圖，說明圖15之步驟S138之預測處理。
圖框內預測部121於步驟S171中判定對象區塊是否已經圖框內編碼。圖框內預測模式資訊自可逆解碼部112供給至圖框內預測部121之後，圖框內預測部121於步驟171中判定為對象區塊已經圖框內編碼，處理前進至步驟S172。
圖框內預測部121於步驟S172中取得圖框內預測模式資訊，並於步驟S173中進行圖框內預測。
亦即，於處理對象之圖像為進行圖框內處理之圖像之情形時，自圖框記憶體119讀出所需之圖像，並經由開關120而供給至圖框內預測部121。於步驟S173中，圖框內預測部121根據步驟S172中所取得之圖框內預測模式資訊而進行圖框內預測，並產生預測圖像。將所產生之預測圖像輸出至開關124。
另一方面，於步驟S171中判定為尚未經圖框內編碼之情形時，處理前進至步驟S174。
於步驟S174中，運動預測‧補償部122取得來自可逆解碼部112之預測模式資訊等。
於處理對象之圖像為進行圖框間處理之圖像之情形時，將圖框間預測模式資訊、參照圖框資訊、運動向量資訊自可逆解碼部112供給至運動預測‧補償部122。此時，於步驟S174中，運動預測‧補償部122取得圖框間預測模式資訊、參照圖框資訊、運動向量資訊。
繼而，運動預測‧補償部122於步驟S175中，判定來自可逆解碼部112之預測模式資訊是否為直接模式資訊。於步驟S175中判定為並非直接模式資訊、即判定為圖框間預測模式資訊之情形時，處理前進至步驟S176。
運動預測‧補償部122於步驟S176中進行圖框間運動預測。亦即，於處理對象之圖像為進行圖框間預測處理之圖像之情形時，自圖框記憶體119讀出所需之圖像，並經由開關120而供給至運動預測‧補償部122。於步驟S176中，運動預測‧補償部122基於步驟S174所取得之運動向量而進行圖框間預測模式之運動預測，並產生預測圖像。將所產生之預測圖像輸出至開關124。
另一方面，於處理對象之圖像為以直接模式而進行處理之圖像之情形時，將直接模式資訊自可逆解碼部112供給至運動預測‧補償部122。此時，於步驟S174中，運動預測‧補償部122取得直接模式資訊，於步驟S175中，判定為直接模式資訊，處理前進至步驟S177。
於步驟S177中，運動預測‧補償部122及直接模式選擇部123進行直接模式預測處理。參照圖17，說明該步驟S175之直接模式預測處理。
[圖像解碼裝置之直接模式預測處理之說明]
圖17係說明直接模式預測處理之流程圖。再者，圖17之步驟S193至S197之處理與圖11之步驟S73至S77之處理基本上相同，故而重複，因此省略其詳細說明。
運動預測‧補償部122之SDM運動向量算出部81於步驟S191中算出空間直接模式之運動向量。亦即，SDM運動向量算出部81基於空間直接模式而進行運動預測。
此時，於SDM運動向量算出部81中，基於空間直接模式，以對象圖框與L0參照圖框之運動預測而算出運動向量directmvL0 (Spatial)。同樣地，以對象圖框與L1參照圖框之運動預測而算出運動向量directmvL1 (Spatial)。將所算出之該等運動向量directmvL0 (Spatial)及運動向量directmvL1 (Spatial)輸出至SDM殘差能量算出部91。
運動預測‧補償部122之TDM運動向量算出部82於步驟S192中算出時間直接模式之運動向量。亦即，TDM運動向量算出部82基於時間直接模式而進行運動預測。
此時，於TDM運動向量算出部82中，基於時間直接模式，以對象圖框與L0參照圖框之運動預測而算出運動向量directmvL0 (Temporal)。同樣地，以對象圖框與L1參照圖框之運動預測而算出運動向量directmvL1 (Temporal)。將所算出之該等運動向量directmvL0 (Temporal)及運動向量directmvL1 (Temporal)輸出至TDM殘差能量算出部92。
直接模式選擇部123之SDM殘差能量算出部91於步驟S193中，使用空間直接模式之運動向量而算出殘差能量SAD(Spatial)。繼而，SDM殘差能量算出部91將算出之殘差能量SAD(Spatial)輸出至比較部93。
具體而言，SDM殘差能量算出部91求出運動向量directmvL0 (Spatial)及directmvL1 (Spatial)所指示之與編碼對象之對象區塊之周邊像素群NCUR 相對應的各參照圖框上之像素群NL0 、NL1 。SDM殘差能量算出部91使用對象區塊之周邊像素群NCUR 之像素值、與求出之各參照圖框上之像素群NL0 、NL1 之像素值，藉由SAD而求出各個殘差能量。
進而，SDM殘差能量算出部91使用與L0參照圖框上之像素群NL0 之殘差能量SAD(NL0 ；Spatial)、及與L1參照圖框上之像素群NL1 之殘差能量SAD(NL1 ；Spatial)而算出殘差能量SAD(Spatial)。此時，使用上述式(7)。
直接模式選擇部123之TDM殘差能量算出部92於步驟S194中，使用時間直接模式之運動向量而算出殘差能量SAD(Temporal)，並將算出之殘差能量SAD(Temporal)輸出至比較部93。
具體而言，TDM殘差能量算出部92求出運動向量directmvL0 (Temporal)及directmvL1 (Temporal)所指示之與編碼對象之對象區塊之周邊像素群NCUR 相對應的各參照圖框上之像素群NL0 、NL1 。TDM殘差能量算出部92使用對象區塊之周邊像素群NCUR 、與求出之各參照圖框上之像素群NL0 、NL1 之像素值，藉由SAD而求出各個殘差能量。
進而，TDM殘差能量算出部92使用與L0參照圖框上之像素群NL0 之殘差能量SAD(NL0 ；Temporal)、及與L1參照圖框上之像素群NL1 之殘差能量SAD(NL1 ；Temporal)而算出殘差能量SAD(Temporal)。此時，使用上述式(8)。
直接模式選擇部123之比較部93於步驟S195中，對基於空間直接模式之殘差能量SAD(Spatial)、與基於時間直接模式之殘差能量SAD(Temporal)進行比較。繼而，比較部93將該結果輸出至直接模式選擇部123之直接模式決定部94。
於步驟S195中，判定為SAD(Spatial)為SAD(Temporal)以下之情形時，處理前進至步驟S196。直接模式決定部94於步驟S196中，決定選擇空間直接模式作為相對於對象區塊之最佳直接模式。將對於對象區塊而選擇空間直接模式，作為表示直接模式之種類之資訊而輸出至運動預測‧補償部122。
另一方面，於步驟S195中，判定為SAD(Spatial)大於SAD(Temporal)之情形時，處理前進至步驟S197。直接模式決定部94於步驟S197中，決定選擇時間直接模式作為相對於對象區塊之最佳直接模式。將對於對象區塊而決定時間直接模式，作為表示直接模式之種類之資訊而輸出至運動預測‧補償部122。
運動預測‧補償部122於步驟S198中，基於來自直接模式決定部94之表示直接模式之種類之資訊，以所選擇之直接模式而產生預測圖像。亦即，運動預測‧補償部122使用所選擇之直接模式之運動向量資訊而進行補償處理，並產生預測圖像。將產生之預測圖像供給至開關124。
如上所述，使用解碼圖像，由圖像編碼裝置及圖像解碼裝置之兩者選擇針對每個對象區塊(或巨集區塊)之最佳之直接模式。藉此，不針對每個對象區塊(或巨集區塊)發送表示直接模式之種類之資訊等，便可顯示良好之畫質。
亦即，不會導致壓縮資訊之增大而可切換每個對象區塊之直接模式之種類，因此可提高預測精度。
再者，於上述說明中，說明了巨集區塊之大小為16×16像素之情形，但本發明亦可應用於2009年1月之ITU-電信標準化部門研究組問題16-投稿123之VCEG-AD09之「使用經擴展之區塊尺寸之視訊編碼」(「Video Coding Using Extended Block Sizes」,VCEG-AD09,ITU-Telecommunications Standardization Sector STUDY GROUP Question 16-Contribution 123,Jan 2009)中所揭示之經擴張之巨集區塊尺寸。
圖18係表示經擴張之巨集區塊尺寸之例之圖。於上述揭示中，巨集區塊尺寸擴張為32×32像素。
於圖18之上段，自左依序表示有分割為32×32像素、32×16像素、16×32像素、及16×16像素之區塊(分區)之由32×32像素所構成之巨集區塊。於圖18之中段，自左依序表示有分割為16×16像素、16×8像素、8×16像素、及8×8像素之區塊之由16×16像素所構成之區塊。又，於圖18之下段，自左依序表示有分割為8×8像素、8×4像素、4×8像素、及4×4像素之區塊之8×8像素之區塊。
亦即，32×32像素之巨集區塊可以圖18之上段所示之32×32像素、32×16像素、16×32像素、及16×16像素之區塊而進行處理。
又，上段之右側所示之16×16像素之區塊與H. 264/AVC方式同樣地可以中段所示之16×16像素、16×8像素、8×16像素、及8×8像素之區塊而進行處理。
進而，中段之右側所示之8×8像素之區塊可與H. 264/AVC方式同樣地以下段所示之8×8像素、8×4像素、4×8像素、及4×4像素之區塊而進行處理。
藉由採用如上所述之階層構造，對於經擴張之巨集區塊尺寸而言，一面使16×16像素之區塊以下保持與H. 264/AVC方式之相容性，一面定義更大之區塊作為其超集合。
亦可將本發明應用於以上所提出之經擴張之巨集區塊尺寸。
以上，使用H. 264/AVC方式作為編碼方式，但亦可使用其他編碼方式/解碼方式。
再者，本發明可應用於經由衛星廣播、有線電視、網際網路、或行動電話等之網路媒體而接收例如MPEG、H. 26x等之藉由離散餘弦轉換等之正交轉換與運動補償而經壓縮之圖像資訊(位元串流)時所使用的圖像編碼裝置及圖像解碼裝置。又，本發明可應用於在如光碟、磁碟、及快閃記憶體之記憶媒體上進行處理時所使用之圖像編碼裝置及圖像解碼裝置。進而，本發明亦可應用於該等圖像編碼裝置及圖像解碼裝置等中所包含之運動預測補償裝置。
上述之一系列之處理可藉由硬體執行，亦可藉由軟體執行。於藉由軟體執行一系列之處理之情形時，將構成該軟體之程式安裝於電腦。此處，電腦包括裝入於專用之硬體中之電腦、或藉由安裝各種程式而可執行各種功能之通用之個人電腦等。
圖19係表示藉由程式而執行上述一系列之處理之電腦之硬體的構成例之區塊圖。
於電腦中，CPU(Central Processing Unit，中央處理單元)201、ROM(Read Only Memory，唯讀記憶體)202、RAM(Random Access Memory，隨機存取記憶體)203藉由匯流排204而相互連接。
匯流排204上進而連接有輸入輸出介面205。輸入輸出介面205上連接有輸入部206、輸出部207、記憶部208、通信部209、及驅動器210。
輸入部206包括鍵盤、滑鼠、麥克風等。輸出部207包括顯示器、揚聲器等。記憶部208包括硬碟或非揮發性記憶體等。通信部209包括網路介面等。驅動器210驅動磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體211。
於以上述方式構成之電腦中，CPU201例如經由輸入輸出介面205及匯流排204而將記憶於記憶部208之程式載入至RAM203並執行，藉此進行上述一系列之處理。
電腦(CPU201)所執行之程式例如可記錄於作為套裝媒體等之可移除式媒體211而被提供。又，可經由區域網路、網際網路、數位廣播等之有線或無線之傳輸媒體而提供程式。
於電腦中，將可移除式媒體211安裝於驅動器210，藉此可將程式經由輸入輸出介面205而安裝於記憶部208。又，可經由有線或無線之傳輸媒體而以通信部209接收程式，並將該程式安裝於記憶部208。另外，可預先將程式安裝於ROM202或記憶部208。
再者，電腦所執行之程式可為按照本說明書中所說明之順序而以時間序列進行處理之程式，亦可為並列地進行處理之程式或於進行呼叫時等之必要之時間點進行處理的程式。
本發明之實施形態並不限定於上述實施形態，可於不脫離本發明之主旨之範圍內進行各種變更。
例如，上述圖像編碼裝置51或圖像解碼裝置101可應用於任意之電子機器。以下說明其示例。
圖20係表示使用應用了本發明之圖像解碼裝置之電視接收機之主要的構成例之區塊圖。
圖20所示之電視接收機300包括地面波調諧器313、視訊解碼器315、影像信號處理電路318、圖形產生電路319、面板驅動電路320、及顯示面板321。
地面波調諧器313經由天線而接收地面類比廣播之廣播波信號，解調之後取得影像信號，並將其供給至視訊解碼器315。視訊解碼器315對於自地面波調諧器313供給之影像信號實施解碼處理，並將所獲得之數位之成分信號供給至影像信號處理電路318。
影像信號處理電路318對於自視訊解碼器315供給之影像資料實施除去雜訊等之特定之處理，並將所獲得之影像資料供給至圖形產生電路319。
圖形產生電路319產生顯示於顯示面板321之節目之影像資料、或基於經由網路供給之應用程式之處理所產生之圖像資料等，並將所產生之影像資料或圖像資料供給至面板驅動電路320。又，圖形產生電路319亦適當地進行如下處理，即，產生用以顯示用於供用戶選擇項目等之畫面之影像資料(圖形)，並將藉由將該影像資料重疊於節目之影像資料而獲得之影像資料供給至面板驅動電路320。
面板驅動電路320基於自圖形產生電路319供給之資料而驅動顯示面板321，並使節目之影像或上述各種畫面顯示於顯示面板321。
顯示面板321包括LCD(Liquid Crystal Display，液晶顯示器)等，根據面板驅動電路320之控制而顯示節目之影像等。
又，電視接收機300亦包括聲音A/D(Analog/Digital，類比/數位)轉換電路314、聲音信號處理電路322、回音消除/聲音合成電路323、聲音放大電路324、及揚聲器325。
地面波調諧器313對所接收之廣播波信號進行解調，藉此不僅取得影像信號，而且取得聲音信號。地面波調諧器313將所取得之聲音信號供給至聲音A/D轉換電路314。
聲音A/D轉換電路314對於自地面波調諧器313供給之聲音信號實施A/D轉換處理，並將所獲得之數位之聲音信號供給至聲音信號處理電路322。
聲音信號處理電路322對於自聲音A/D轉換電路314供給之聲音資料實施除去雜訊等之特定之處理，並將所獲得之聲音資料供給至回音消除/聲音合成電路323。
回音消除/聲音合成電路323將自聲音信號處理電路322供給之聲音資料供給至聲音放大電路324。
聲音放大電路324對於自回音消除/聲音合成電路323供給之聲音資料實施D/A轉換處理、放大處理，並於調整為特定之音量之後，將聲音自揚聲器325輸出。
進而，電視接收機300亦包括數位調諧器316及MPEG解碼器317。
數位調諧器316經由天線而接收數位廣播(地面數位廣播、BS(Broadcasting Satellite，廣播衛星)/CS(Communications Satellite，通信衛星)數位廣播)之廣播波信號，解調之後取得MPEG-TS(Moving Picture Experts Group-Transport Stream，動態影像專家群-傳輸流)，並將其供給至MPEG解碼器317。
MPEG解碼器317解除對於自數位調諧器316供給之MPEG-TS實施之鎖碼，並抽出包含成為再生對象(視聽對象)之節目之資料之串流。MPEG解碼器317對構成所抽出之串流之聲音封包進行解碼，將所獲得之聲音資料供給至聲音信號處理電路322，並且對構成串流之影像封包進行解碼，將所獲得之影像資料供給至影像信號處理電路318。又，MPEG解碼器317將自MPEG-TS抽出之EPG(Electronic Program Guide，電子節目表)資料經由未圖示之路徑而供給至CPU332。
電視接收機300使用上述圖像解碼裝置101作為以上述方式對影像封包進行解碼之MPEG解碼器317。因此，MPEG解碼器317與圖像解碼裝置101之情形同樣地，使用解碼圖像而針對每個對象區塊(或巨集區塊)選擇最佳之直接模式。藉此，可抑制壓縮資訊之增大，並且可提高預測精度。
自MPEG解碼器317供給之影像資料與自視訊解碼器315供給之影像資料之情形同樣地，於影像信號處理電路318中實施特定之處理。繼而，實施了特定之處理之影像資料於圖形產生電路319中，適當地與所產生之影像資料等重疊，經由面板驅動電路320而供給至顯示面板321，並顯示其圖像。
自MPEG解碼器317供給之聲音資料與自聲音A/D轉換電路314供給之聲音資料之情形同樣地，於聲音信號處理電路322中實施特定之處理。繼而，實施了特定之處理之聲音資料經由回音消除/聲音合成電路323而供給至聲音放大電路324，實施D/A轉換處理或放大處理。其結果，調整為特定之音量之聲音自揚聲器325輸出。
又，電視接收機300亦包括麥克風326、及A/D轉換電路327。
A/D轉換電路327接收作為聲音會話用者而設置於電視接收機300之麥克風326所取得之用戶的聲音信號。A/D轉換電路327對於所接收之聲音信號實施A/D轉換處理，並將所獲得之數位聲音資料供給至回音消除/聲音合成電路323。
於自A/D轉換電路327供給有電視接收機300之用戶(用戶A)之聲音資料的情形時，回音消除/聲音合成電路323將用戶A之聲音資料作為對象而進行回音消除。繼而，於回音消除之後，回音消除/聲音合成電路323使例如與其他聲音資料合成所獲得之聲音資料經由聲音放大電路324而自揚聲器325輸出。
進而，電視接收機300亦包括聲音編解碼器328、內部匯流排329、SDRAM(Synchronous Dynamic Random Access Memory，同步動態隨機存取記憶體)330、快閃記憶體331、CPU332、USB(Universal Serial Bus，通用串列匯流排)I/F333、及網路I/F334。
A/D轉換電路327接收作為聲音會話用者而設置於電視接收機300之麥克風326所取得之用戶的聲音信號。A/D轉換電路327對於所接收之聲音信號實施A/D轉換處理，並將所獲得之數位聲音資料供給至聲音編解碼器328。
聲音編解碼器328將自A/D轉換電路327供給之聲音資料轉換為用以經由網路發送之特定格式之資料，並經由內部匯流排329而供給至網路I/F334。
網路I/F334經由安裝於網路端子335之電纜而連接於網路。網路I/F334例如對於連接於該網路之其他裝置發送自聲音編解碼器328供給之聲音資料。又，網路I/F334例如經由網路端子335而接收自經由網路連接之其他裝置所發送的聲音資料，並經由內部匯流排329而將該聲音資料供給至聲音編解碼器328。
聲音編解碼器328將自網路I/F334供給之聲音資料轉換為特定格式之資料，並將其供給至回音消除/聲音合成電路323。
回音消除/聲音合成電路323將自聲音編解碼器328供給之聲音資料作為對象而進行回音消除，使例如與其他聲音資料合成所獲得之聲音資料經由聲音放大電路324而自揚聲器325輸出。
於CPU332進行處理之後，SDRAM330記憶必要之各種資料。
快閃記憶體331記憶CPU332所執行之程式。於電視接收機300啟動時等之特定之時間點，藉由CPU332而讀出記憶於快閃記憶體331之程式。快閃記憶體331中亦記憶有經由數位廣播而取得之EPG資料、經由網路而自特定之伺服器取得之資料等。
例如，快閃記憶體331中記憶有MPEG-TS，該MPEG-TS包含藉由CPU332之控制而經由網路自特定之伺服器所取得之內容資料。快閃記憶體331例如藉由CPU332之控制，將該MPEG-TS經由內部匯流排329而供給至MPEG解碼器317。
MPEG解碼器317與自數位調諧器316供給之MPEG-TS之情形同樣地對該MPEG-TS進行處理。如此，電視接收機300可經由網路而接收包含影像或聲音等之內容資料，使用MPEG解碼器317進行解碼，從而顯示該影像或輸出聲音。
又，電視接收機300亦包括接收自遙控器351發送之紅外線信號之受光部337。
受光部337接收來自遙控器351之紅外線，將解調所獲得之表示用戶操作之內容之控制碼輸出至CPU332。
CPU332執行記憶於快閃記憶體331之程式，根據自受光部337供給之控制碼等而控制電視接收機300之整體動作。CPU332與電視接收機300之各部分經由未圖示之路徑而連接。
USB I/F333於經由安裝於USB端子336之USB電纜而連接之、電視接收機300之外部機器之間進行資料之發送接收。網路I/F334亦經由安裝於網路端子335之電纜而連接於網路，且與連接於網路之各種裝置進行聲音資料以外之資料之發送接收。
電視接收機300使用圖像解碼裝置101作為MPEG解碼器317，藉此可使用解碼圖像而針對每個對象區塊(或巨集區塊)選擇最佳之直接模式。其結果，電視接收機300可根據經由天線接收之廣播波信號、或經由網路取得之內容資料而獲得並顯示更高精細之解碼圖像。
圖21係表示使用應用了本發明之圖像編碼裝置及圖像解碼裝置之行動電話之主要構成例的區塊圖。
圖21所示之行動電話400包括總括地控制各部之主控制部450、電源電路部451、操作輸入控制部452、圖像編碼器453、相機I/F部454、LCD控制部455、圖像解碼器456、多工分離部457、記錄再生部462、調變解調電路部458、以及聲音編解碼器459。該等經由匯流排460而相互連接。
又，行動電話400包括操作鍵419、CCD(Charge Coupled Devices，電荷耦合裝置)相機416、液晶顯示器418、記憶部423、發送接收電路部463、天線414、麥克風(話筒)421、及揚聲器417。
藉由用戶之操作而掛斷或電源鍵成為接通狀態之後，電源電路部451自電池組對各部分供給電力，藉此使行動電話400啟動為可動作之狀態。
行動電話400基於包括CPU、ROM及RAM等之主控制部450之控制，以聲音通話模式或資料通信模式等之各種模式而進行聲音信號之發送接收、電子郵件或圖像資料之發送接收、圖像攝影、或資料記錄等之各種動作。
例如於聲音通話模式中，行動電話400藉由聲音編解碼器459而將麥克風(話筒)421所收集之聲音信號轉換為數位聲音資料，利用調變解調電路部458對其進行擴頻處理，利用發送接收電路部463進行數位類比轉換處理及頻率轉換處理。行動電話400經由天線414將經上述轉換處理而獲得之發送用信號發送至未圖示之基地台。朝基地台傳輸之發送用信號(聲音信號)經由公眾交換電話網路而供給至通話對象之行動電話。
又，例如於聲音通話模式中，行動電話400利用發送接收電路部463而將天線414所接收之接收信號放大，進而進行頻率轉換處理及類比數位轉換處理，利用調變解調電路部458進行解擴頻處理，並藉由聲音編解碼器459而轉換為類比聲音信號。行動電話400將經該轉換而獲得之類比聲音信號自揚聲器417輸出。
進而，例如，於資料通訊模式中發送電子郵件之情形時，行動電話400於操作輸入控制部452接受藉由操作鍵419之操作而輸入之電子郵件之文本資料。行動電話400於主控制部450中對該文本資料進行處理，經由LCD控制部455使其作為圖像而顯示於液晶顯示器418。
又，行動電話400於主控制部450中，基於操作輸入控制部452所接受之文本資料或用戶指示等而產生電子郵件資料。行動電話400利用調變解調電路部458對該電子郵件資料進行擴頻處理，利用發送接收電路部463進行數位類比轉換處理及頻率轉換處理。行動電話400將經該轉換處理而獲得之發送用信號經由天線414而發送至未圖示之基地台。朝基地台傳輸之發送用信號(電子郵件)經由網路及郵件伺服器等而供給至特定之目的地。
又，例如，於資料通訊模式中接收電子郵件之情形時，行動電話400經由天線414而以發送接收電路部463接收自基地台發送之信號，進行放大之後，進而進行頻率轉換處理及類比數位轉換處理。行動電話400利用調變解調電路部458對該接收信號進行解擴頻處理而復原為原來之電子郵件資料。行動電話400將經復原之電子郵件資料經由LCD控制部455而顯示於液晶顯示器418。
再者，行動電話400亦可經由記錄再生部462而將接收之電子郵件資料記錄(記憶)於記憶部423。
該記憶部423為可覆寫之任意之記憶媒體。記憶部423例如可為RAM或內置型快閃記憶體等之半導體記憶體，可為硬碟，亦可為磁碟、光磁碟、光碟、USB記憶體、或記憶卡等之可移除式媒體。當然，該記憶部423亦可為該等以外者。
進而，例如，於資料通訊模式中發送圖像資料之情形時，行動電話400藉由攝影而利用CCD相機416產生圖像資料。CCD相機416包括透鏡或光圈等之光學裝置與作為光電轉換元件之CCD，其拍攝被寫體，將所接收之光之強度轉換為電氣信號，繼而產生被寫體之圖像之圖像資料。圖像編碼器453例如以MPEG2或MPEG4等之特定之編碼方式，經由相機I/F部454而對該圖像資料進行壓縮編碼，藉此將該圖像資料轉換為編碼圖像資料。
行動電話400使用上述圖像編碼裝置51作為進行如上所述之處理之圖像編碼器453。因此，圖像編碼器453與圖像編碼裝置51之情形同樣地，使用解碼圖像而針對每個對象區塊(或巨集區塊)選擇最佳之直接模式。藉此，可抑制壓縮資訊之增大，並且可提高預測精度。
再者，與此同時，行動電話400將於CCD相機416之攝影過程中由麥克風(話筒)421所收集到之聲音，於聲音編解碼器459中進行類比數位轉換，進而進行編碼。
行動電話400於多工分離部457中，以特定之方式將自圖像編碼器453供給之編碼圖像資料、與自聲音編解碼器459供給之數位聲音資料予以多工化。行動電話400利用調變/解調電路部458而對上述所獲得之多工化資料進行擴頻處理，並利用發送接收電路部463進行數位類比轉換處理及頻率轉換處理。行動電話400將經上述轉換處理而獲得之發送用信號經由天線414而發送至未圖示之基地台。朝基地台傳輸之發送用信號(圖像資料)經由網路等而供給至通訊對象。
再者，於不發送圖像資料之情形時，行動電話400亦可不經由圖像編碼器453而經由LCD控制部455將CCD相機416所產生之圖像資料顯示於液晶顯示器418。
又，例如，於資料通訊模式中，接收連結至簡易主頁之動態圖像檔案之資料之情形時，行動電話400經由天線414而以發送接收電路部463接收自基地台發送之信號，將該信號放大之後，進而進行頻率轉換處理及類比數位轉換處理。行動電話400以調變解調電路部458對該接收信號進行解擴頻處理而復原為原始之多工化資料。行動電話400於多工分離部457中分離該多工化資料，將其分為編碼圖像資料與聲音資料。
行動電話400於圖像解碼器456中，以與MPEG2或MPEG4等之特定編碼方式所支援之解碼方式而對編碼圖像資料進行解碼，藉此產生再生動態圖像資料，並經由LCD控制部455將使其顯示於液晶顯示器418。藉此，使例如連結至簡易主頁之動態圖像檔案中所包含之動畫資料顯示於液晶顯示器418。
行動電話400使用上述圖像解碼裝置101作為進行如上所述之處理之圖像解碼器456。因此，圖像解碼器456與圖像解碼裝置101之情形同樣地使用解碼圖像而針對每個對象區塊(或巨集區塊)選擇最佳之直接模式。藉此，可抑制壓縮資訊之增大，並且可提高預測精度。
此時，行動電話400並同時於聲音編解碼器459中，將數位之聲音資料轉換為類比聲音信號，並使其自揚聲器417輸出。藉此，使例如連結至簡易主頁之動態圖像檔案中所包含之聲音資料再生。
再者，與電子郵件之情形同樣地，行動電話400亦可將所接收之連結至簡易主頁之資料經由記錄再生部462而記錄(記憶)於記憶部423。
又，行動電話400可於主控制部450中，對由CCD相機416拍攝而得之二維碼進行解析，從而取得記錄成二維碼之資訊。
再者，行動電話400可藉由紅外線通信部481透過紅外線而與外部之機器通信。
行動電話400使用圖像編碼裝置51作為圖像編碼器453，藉此，可提高例如對於CCD相機416中產生之圖像資料進行編碼而產生之編碼資料的編碼效率。其結果，行動電話400可將編碼效率佳之編碼資料(圖像資料)供給至其他裝置。
又，行動電話400使用圖像解碼裝置101作為圖像解碼器456，藉此可產生精度高之預測圖像。其結果，行動電話400例如可自連結至簡易主頁之動態圖像檔案中獲得並顯示更高精細之解碼圖像。
再者，以上，對行動電話400使用CCD相機416之情形進行了說明，但亦可代替該CCD相機416而使用應用了CMOS(Complementary Metal Oxide Semiconductor，互補金氧半導體)之影像感應器(CMOS影像感應器)。於該情形時，行動電話400亦可與使用CCD相機416之情形同樣地拍攝被寫體，並產生被寫體之圖像之圖像資料。
以上，對行動電話400進行了說明，但只要為例如PDA(Personal Digital Assistants，個人數位助理)、智慧型手機、UMPC(Ultra Mobile Personal Computer，超行動個人電腦)、迷你筆記型個人電腦、筆記型個人電腦等具有與該行動電話400相同之攝影功能或通信功能之裝置，則無論為何種裝置，均可與行動電話400之情形同樣地應用圖像編碼裝置51及圖像解碼裝置101。
圖22係表示使用應用了本發明之圖像編碼裝置及圖像解碼裝置之硬碟記錄器之主要構成例的區塊圖。
圖22所示之硬碟記錄器(HDD記錄器)500係如下裝置，其將調諧器所接收之自衛星或地面之天線等發送之廣播波信號(電視信號)中所包含的廣播節目之音訊資料與視訊資料保存於內置之硬碟，並將該保存之資料於與用戶之指示相對應之時間點而提供於用戶。
硬碟記錄器500例如可自廣播波信號中抽出音訊資料與視訊資料，適當地對該等資料進行解碼，並記憶於內置之硬碟。又，硬碟記錄器500例如亦可經由網路而自其他裝置取得音訊資料或視訊資料，適當地對該等資料進行解碼，並記憶於內置之硬碟。
進而，硬碟記錄器500例如對記錄於內置之硬碟之音訊資料或視訊資料進行解碼並供給至監視器560，使該圖像顯示於監視器560之畫面。又，硬碟記錄器500可將上述聲音自監視器560之揚聲器輸出。
硬碟記錄器500例如對自經由調諧器而取得之廣播波信號中抽出之音訊資料與視訊資料、或經由網路而自其他裝置取得之音訊資料或視訊資料進行解碼並供給至監視器560，使該圖像顯示於監視器560之畫面。又，硬碟記錄器500亦可使上述聲音自監視器560之揚聲器輸出。
當然，亦可進行其他動作。
如圖22所示，硬碟記錄器500包括接收部521、解調部522、解多工器523、音訊解碼器524、視訊解碼器525、及記錄器控制部526。硬碟記錄器500進而包括EPG資料記憶體527、程式記憶體528、工作記憶體529、顯示轉換器530、OSD(On Screen Display，螢幕顯示)控制部531、顯示控制部532、記錄再生部533、D/A轉換器534、及通信部535。
又，顯示轉換器530具有視訊編碼器541。記錄再生部533具有編碼器551及解碼器552。
接收部521接收來自遙控器(未圖示)之紅外線信號，將其轉換為電氣信號並輸出至記錄器控制部526。記錄器控制部526例如藉由微處理器等而構成，且根據記憶於程式記憶體528之程式而執行各種處理。此時，記錄器控制部526根據需要而使用工作記憶體529。
通信部535連接於網路，經由網路而進行與其他裝置之通信處理。例如，通信部535受到記錄器控制部526控制，與調諧器(未圖示)進行通信，並主要對於調諧器輸出通道選擇控制信號。
解調部522對自調諧器供給之信號進行解調，並輸出至解多工器523。解多工器523將自解調部522供給之資料分離為音訊資料、視訊資料、及EPG資料，並分別輸出至音訊解碼器524、視訊解碼器525、或記錄器控制部526。
音訊解碼器524例如以MPEG方式而對所輸入之音訊資料進行解碼，並輸出至記錄再生部533。視訊解碼器525例如以MPEG方式而對所輸入之視訊資料進行解碼，並輸出至顯示轉換器530。記錄器控制部526將所輸入之EPG資料供給並記憶於EPG資料記憶體527。
顯示轉換器530將自視訊解碼器525或記錄器控制部526供給之視訊資料，藉由視訊編碼器541而編碼為例如NTSC(National Television Standards Committee，國家電視標準委員會)方式之視訊資料，並輸出至記錄再生部533。又，顯示轉換器530將自視訊解碼器525或記錄器控制部526供給之視訊資料之畫面之尺寸，轉換為與監視器560之尺寸相對應之尺寸。顯示轉換器530進一步藉由視訊編碼器541而將畫面之尺寸經轉換之視訊資料轉換為NTSC方式之視訊資料，繼而轉換為類比信號，並輸出至顯示控制部532。
顯示控制部532基於記錄器控制部526之控制，將OSD(On Screen Display)控制部531所輸出之OSD信號重疊於自顯示轉換器530輸入之視訊信號，並輸出且顯示於監視器560之顯示器。
又，藉由D/A轉換器534而將音訊解碼器524所輸出之音訊資料轉換為類比信號，並供給至監視器560。監視器560將該音訊信號自內置之揚聲器輸出。
記錄再生部533具有硬碟作為記錄視訊資料或音訊資料等之記憶媒體。
記錄再生部533例如藉由編碼器551，以MPEG方式而對自音訊解碼器524供給之音訊資料進行編碼。又，記錄再生部533藉由編碼器551，以MPEG方式而對自顯示轉換器530之視訊編碼器541供給之視訊資料進行編碼。記錄再生部533藉由多工器而合成該音訊資料之編碼資料與視訊資料之編碼資料。記錄再生部533對該合成資料進行通道編碼而將其放大，並經由記錄頭而將該資料寫入至硬碟。
記錄再生部533經由再生頭而將記錄於硬碟之資料予以再生、放大，並藉由解多工器而分離為音訊資料與視訊資料。記錄再生部533藉由解碼器552，以MPEG方式而對音訊資料及視訊資料進行解碼。記錄再生部533對解碼之音訊資料進行D/A轉換，並輸出至監視器560之揚聲器。又，記錄再生部533對解碼之視訊資料進行D/A轉換，並輸出至監視器560之顯示器。
記錄器控制部526基於經由接收部521而接收之來自遙控器之紅外線信號所表示之用戶指示，自EPG資料記憶體527讀出最新之EPG資料，並將其供給至OSD控制部531。OSD控制部531產生與所輸入之EPG資料相對應之圖像資料，並輸出至顯示控制部532。顯示控制部532將自OSD控制部531輸入之視訊資料輸出並顯示於監視器560之顯示器。藉此，於監視器560之顯示器中顯示EPG(電子節目表)。
又，硬碟記錄器500可經由網際網路等之網路而取得自其他裝置供給之視訊資料、音訊資料、或EPG資料等之各種資料。
通信部535受到記錄器控制部526控制，經由網路而取得自其他裝置發送之視訊資料、音訊資料、及EPG資料等之編碼資料，並將其供給至記錄器控制部526。記錄器控制部526例如將所取得之視訊資料或音訊資料之編碼資料供給至記錄再生部533，並記憶於硬碟。此時，記錄器控制部526及記錄再生部533亦可根據需要而進行再編碼等之處理。
又，記錄器控制部526對所取得之視訊資料或音訊資料之編碼資料進行解碼，將所獲得之視訊資料供給至顯示轉換器530。顯示轉換器530與自視訊解碼器525供給之視訊資料同樣地，對自記錄器控制部526供給之視訊資料進行處理，經由顯示控制部532而將其供給至監視器560，並顯示該圖像。
又，配合該圖像之顯示，記錄器控制部526亦可將解碼之音訊資料經由D/A轉換器534而供給至監視器560，並使該聲音自揚聲器輸出。
進而，記錄器控制部526對所取得之EPG資料之編碼資料進行解碼，將解碼之EPG資料供給至EPG資料記憶體527。
如上所述之硬碟記錄器500使用圖像解碼裝置101作為視訊解碼器525、解碼器552、及內置於記錄器控制部526之解碼器。因此，視訊解碼器525、解碼器552、及內置於記錄器控制部526之解碼器與圖像解碼裝置101之情形同樣地，使用解碼圖像而針對每個對象區塊(或巨集區塊)選擇最佳之直接模式。藉此，可抑制壓縮資訊之增大，並且可提高預測精度。
因此，硬碟記錄器500可產生精度高之預測圖像。其結果，硬碟記錄器500例如可根據經由調諧器而接收之視訊資料之編碼資料、自記錄再生部533之硬碟讀出之視訊資料之編碼資料、或經由網路而取得之視訊資料之編碼資料，獲得更高精細之解碼圖像，並顯示於監視器560。
又，硬碟記錄器500使用圖像編碼裝置51作為編碼器551。因此，編碼器551與圖像編碼裝置51之情形同樣地，使用解碼圖像而針對每個對象區塊(或巨集區塊)選擇最佳之直接模式。藉此，可抑制壓縮資訊之增大，並且可提高預測精度。
因此，硬碟記錄器500例如可提高記錄於硬碟之編碼資料之編碼效率。其結果，硬碟記錄器500可更效率良好地使用硬碟之記憶區域。
再者，以上，說明了將視訊資料或音訊資料記錄於硬碟之硬碟記錄器500，當然，記錄媒體亦可為任意者。例如即便為使用快閃記憶體、光碟、或錄影帶等之硬碟以外之記錄媒體之記錄器，亦可與上述硬碟記錄器500之情形同樣地應用圖像編碼裝置51及圖像解碼裝置101。
圖23係表示使用應用了本發明之圖像解碼裝置及圖像編碼裝置之相機之主要構成例的區塊圖。
圖23所示之相機600拍攝被寫體，使被寫體之圖像顯示於LCD 616，或將其作為圖像資料而記錄於記錄媒體633。
透鏡區塊611使光(即被寫體之影像)入射至CCD/CMOS 612。CCD/CMOS 612係使用有CCD或CMOS之影像感應器，其將所接收之光之強度轉換為電氣信號，並供給至相機信號處理部613。
相機信號處理部613將自CCD/CMOS 612供給之電氣信號轉換為Y、Cr、Cb之色差信號，並供給至圖像信號處理部614。圖像信號處理部614於控制器621之控制下，對於自相機信號處理部613供給之圖像信號實施特定之圖像處理，或由編碼器641例如以MPEG方式而對該圖像信號進行編碼。圖像信號處理部614將對圖像信號進行編碼而產生之編碼資料供給至解碼器615。進而，圖像信號處理部614取得於螢幕顯示器(OSD)620中產生之顯示用資料，並將其供給至解碼器615。
於以上之處理中，相機信號處理部613適當地使用經由匯流排617而連接之DRAM(Dynamic Random Access Memory，動態隨機存取記憶體)618，並根據需要而將圖像資料、或對該圖像資料進行編碼所得之編碼資料等保持於該DRAM 618。
解碼器615對自圖像信號處理部614供給之編碼資料進行解碼，將所獲得之圖像資料(解碼圖像資料)供給至LCD 616。又，解碼器615將自圖像信號處理部614供給之顯示用資料供給至LCD 616。LCD 616適當地將自解碼器615供給之解碼圖像資料之圖像與顯示用資料之圖像加以合成，並顯示該合成圖像。
螢幕顯示器620於控制器621之控制下，將包含符號、文字、或圖形之選單畫面或圖符等之顯示用資料經由匯流排617而輸出至圖像信號處理部614。
控制器621基於表示用戶使用操作部622而指示之內容之信號，執行各種處理，並且經由匯流排617而控制圖像信號處理部614、DRAM 618、外部介面619、螢幕顯示器620、及媒體驅動器623等。FLASH ROM624中儲存有控制器621執行各種處理時所必需之程式或資料等。
例如，控制器621可代替圖像信號處理部614或解碼器615而對記憶於DRAM 618之圖像資料進行編碼，或對記憶於DRAM 618之編碼資料進行解碼。此時，控制器621可藉由與圖像信號處理部614或解碼器615之編碼‧解碼方式相同之方式而進行編碼‧解碼處理，亦可藉由不與圖像信號處理部614或解碼器615對應之方式而進行編碼‧解碼處理。
又，例如，於自操作部622指示開始印刷圖像之情形時，控制器621自DRAM 618讀出圖像資料，將其供給至經由匯流排617而連接於外部介面619之印表機634並進行印刷。
進而，例如，於自操作部622指示記錄圖像之情形時，控制器621自DRAM 618讀出編碼資料，經由匯流排617而將其供給至安裝於媒體驅動器623之記錄媒體633並進行記憶。
記錄媒體633例如為磁碟、光磁碟、光碟、或半導體記憶體等之可讀寫之任意之可移除式媒體。當然，對於記錄媒體633而言，可移除式媒體之種類亦任意，其可為磁帶裝置，可為碟片，亦可為記憶卡。當然，亦可為非接觸IC(Integrated Circuit，積體電路)卡等。
又，亦可將媒體驅動器623與記錄媒體633一體化，例如，如內置型硬碟驅動器或SSD(Solid State Drive，固態驅動器)等般，藉由非可攜性之記憶媒體而構成。
外部介面619例如由USB輸入輸出端子等所構成，於進行圖像之印刷之情形時，該外部介面619與印表機634連接。又，外部介面619根據需要而連接於驅動器631，適當地安裝有磁碟、光碟、或光磁碟等之可移除式媒體632，自該等讀出之電腦程式根據需要而安裝於FLASH ROM624。
進而，外部介面619包括連接於LAN(local area network，區域網路)或網際網路等之特定之網路之網路介面。控制器621例如可根據來自操作部622之指示而自DRAM 618讀出編碼資料，並將其自外部介面619供給至經由網路而連接之其他裝置。又，控制器621可經由外部介面619而取得經由網路自其他裝置供給之編碼資料或圖像資料，並將其保持於DRAM 618或供給至圖像信號處理部614。
上述相機600使用圖像解碼裝置101作為解碼器615。因此，解碼器615與圖像解碼裝置101之情形同樣地，使用解碼圖像而針對每個對象區塊(或巨集區塊)選擇最佳之直接模式。藉此，可抑制壓縮資訊之增大，並且可提高預測精度。
因此，相機600可產生精度高之預測圖像。作為其結果，相機600例如可根據於CCD/CMOS 612中產生之圖像資料、或自DRAM 618或記錄媒體633讀出之視訊資料之編碼資料、或經由網路而取得之視訊資料之編碼資料，獲得更高精細之解碼圖像，並使之顯示於LCD 616。
又，相機600使用圖像編碼裝置51作為編碼器641。因此，編碼器641與圖像編碼裝置51之情形同樣地，使用解碼圖像而針對每個對象區塊(或巨集區塊)選擇最佳之直接模式。藉此，可抑制壓縮資訊之增大，並且可提高預測精度。
因此，相機600例如可提高記錄於硬碟之編碼資料之編碼效率。作為其結果，相機600可更效率良好地使用DRAM 618或記錄媒體633之記憶區域。
再者，亦可於控制器621所進行之解碼處理中使用圖像解碼裝置101之解碼方法。同樣地，亦可於控制器621所進行之編碼處理中使用圖像編碼裝置51之編碼方法。
又，相機600所拍攝之圖像資料可為動態圖像，亦可為靜止圖像。
當然，圖像編碼裝置51及圖像解碼裝置101亦可使用於上述裝置以外之裝置或系統。
51．．．圖像編碼裝置
66．．．可逆編碼部
74．．．圖框內預測部
75．．．運動預測‧補償部
76．．．直接模式選擇部
77．．．預測圖像選擇部
81．．．SDM運動向量算出部
82．．．TDM運動向量算出部
91．．．SDM殘差能量算出部
92．．．TDM殘差能量算出部
93．．．比較部
94．．．直接模式決定部
112．．．可逆解碼部
121．．．圖框內預測部
122．．．運動預測‧補償部
123．．．直接模式選擇部
124．．．開關
圖1係表示使用本發明之圖像編碼裝置之一實施形態之構成的區塊圖；
圖2係說明可變區塊尺寸運動預測‧補償處理之圖；
圖3係說明1/4像素精度之運動預測‧補償處理之圖；
圖4係說明多參照圖框之運動預測‧補償方式之圖；
圖5係說明運動向量資訊之產生方法之例之圖；
圖6係表示直接模式選擇部之構成例之區塊圖；
圖7係說明圖1之圖像編碼裝置之編碼處理之流程圖；
圖8係說明圖7之步驟S21之預測處理之流程圖；
圖9係說明圖8之步驟S31之圖框內預測處理之流程圖；
圖10係說明圖8之步驟S32之圖框間運動預測處理之流程圖；
圖11係說明圖8之步驟S33之直接模式預測處理之流程圖；
圖12係說明時間直接模式之圖；
圖13係說明殘差能量算出之例之圖；
圖14係顯示使用本發明之圖像解碼裝置之一實施形態之構成的區塊圖；
圖15係說明圖14之圖像解碼裝置之解碼處理之流程圖；
圖16係說明圖15之步驟S138之預測處理之流程圖；
圖17係說明圖16之步驟S175之圖框間模板運動預測處理之流程圖；
圖18係表示經擴張之區塊尺寸之例之圖；
圖19係表示電腦之硬體之構成例之區塊圖；
圖20係表示使用本發明之電視接收機之主要構成例之區塊圖；
圖21係表示使用本發明之行動電話之主要構成例之區塊圖；
圖22係表示使用本發明之硬碟記錄器之主要構成例之區塊圖；及
圖23係表示使用本發明之相機之主要構成例之區塊圖。
75．．．運動預測‧補償部
76．．．直接模式選擇部
81．．．SDM運動向量算出部
82．．．TDM運動向量算出部
91．．．SDM殘差能量算出部
92．．．TDM殘差能量算出部
93．．．比較部
94．．．直接模式決定部

Claims (14)

  1. 一種圖像處理裝置，其包括：空間模式殘差能量算出機構，其使用對象區塊之空間直接模式下之運動向量資訊，算出使用以特定之位置關係鄰接於上述對象區塊且包含於解碼圖像中之周邊像素之空間模式殘差能量；時間模式殘差能量算出機構，其使用上述對象區塊之時間直接模式下之運動向量資訊，算出使用上述周邊像素之時間模式殘差能量；以及直接模式決定機構，其於上述空間模式殘差能量算出機構所算出之上述空間模式殘差能量低於上述時間模式殘差能量算出機構所算出之上述時間模式殘差能量之情形時，決定以上述空間直接模式進行上述對象區塊之編碼，於上述空間模式殘差能量大於上述時間模式殘差能量之情形時，決定以上述時間直接模式進行上述對象區塊之編碼。
  2. 如請求項1之圖像處理裝置，其中進而包括：編碼機構，其根據上述直接模式決定機構所決定之上述空間直接模式或上述時間直接模式，而對上述對象區塊進行編碼。
  3. 如請求項1之圖像處理裝置，其中上述空間模式殘差能量算出機構係根據Y信號成分、Cb信號成分、及Cr信號成分而算出上述空間模式殘差能量；上述時間模式殘差能量算出機構係根據Y信號成分、Cb信號成分、及Cr信號成分而算出上述時間模式殘差能量；上述直接模式決定機構係針對每個上述Y信號成分、Cb信號成分、及Cr信號成分，比較上述空間模式殘差能量與上述時間模式殘差能量之大小關係，而決定以上述空間直接模式對上述對象區塊進行編碼，或以上述時間直接模式對上述對象區塊進行編碼。
  4. 如請求項1之圖像處理裝置，其中上述空間模式殘差能量算出機構根據上述對象區塊之亮度信號成分而算出上述空間模式殘差能量；上述時間模式殘差能量算出機構根據上述對象區塊之亮度信號成分而算出上述時間模式殘差能量。
  5. 如請求項1之圖像處理裝置，其中上述空間模式殘差能量算出機構根據上述對象區塊之亮度信號成分及色差信號成分而算出上述空間模式殘差能量；上述時間模式殘差能量算出機構根據上述對象區塊之亮度信號成分及色差信號成分而算出上述時間模式殘差能量。
  6. 如請求項1之圖像處理裝置，其中進而包括：空間模式運動向量算出機構，其算出上述空間直接模式下之運動向量資訊；以及時間模式運動向量算出機構，其算出上述時間直接模式下之運動向量資訊。
  7. 一種圖像處理方法，其包括如下步驟：藉由圖像處理裝置，使用對象區塊之空間直接模式下之運動向量資訊，算出使用以特定之位置關係鄰接於上述對象區塊且包含於解碼圖像中之周邊像素之空間模式殘差能量；使用上述對象區塊之時間直接模式下之運動向量資訊，算出使用有上述周邊像素之時間模式殘差能量；於上述空間模式殘差能量低於上述時間模式殘差能量之情形時，決定以上述空間直接模式進行上述對象區塊之編碼，於上述空間模式殘差能量大於上述時間模式殘差能量之情形時，決定以上述時間直接模式進行上述對象區塊之編碼。
  8. 一種圖像處理裝置，其包括：空間模式殘差能量算出機構，其使用以直接模式經編碼之對象區塊之空間直接模式下之運動向量資訊，算出使用以特定之位置關係鄰接於上述對象區塊且包含於解碼圖像之周邊像素之空間模式殘差能量；時間模式殘差能量算出機構，其使用上述對象區塊之時間直接模式下之運動向量資訊，算出使用有上述周邊像素之時間模式殘差能量；以及直接模式決定機構，其於上述空間模式殘差能量算出機構所算出之上述空間模式殘差能量低於上述時間模式殘差能量算出機構所算出之上述時間模式殘差能量之情形時，決定以上述空間直接模式產生上述對象區塊之預測圖像，於上述空間模式殘差能量大於上述時間模式殘差能量之情形時，決定以上述時間直接模式產生上述對象區塊之預測圖像。
  9. 如請求項8之圖像處理裝置，其中進而包括：運動補償機構，其根據上述直接模式決定機構所決定之上述空間直接模式或上述時間直接模式而產生上述對象區塊之預測圖像。
  10. 如請求項8之圖像處理裝置，其中上述空間模式殘差能量算出機構根據Y信號成分、Cb信號成分、及Cr信號成分而算出上述空間模式殘差能量；上述時間模式殘差能量算出機構根據Y信號成分、Cb信號成分、及Cr信號成分而算出上述時間模式殘差能量；上述直接模式決定機構針對每個上述Y信號成分、Cb信號成分、及Cr信號成分，比較上述空間模式殘差能量與上述時間模式殘差能量之大小關係，而決定以上述空間直接模式產生上述對象區塊之預測圖像，或以上述時間直接模式產生上述對象區塊之預測圖像。
  11. 如請求項8之圖像處理裝置，其中上述空間模式殘差能量算出機構根據上述對象區塊之亮度信號成分而算出上述空間模式殘差能量；上述時間模式殘差能量算出機構根據上述對象區塊之亮度信號成分而算出上述時間模式殘差能量。
  12. 如請求項8之圖像處理裝置，其中上述空間模式殘差能量算出機構根據上述對象區塊之亮度信號成分及色差信號成分而算出上述空間模式殘差能量；上述時間模式殘差能量算出機構根據上述對象區塊之亮度信號成分及色差信號成分而算出上述時間模式殘差能量。
  13. 如請求項8之圖像處理裝置，其中進而包括：空間模式運動向量算出機構，其算出上述空間直接模式下之運動向量資訊；以及時間模式運動向量算出機構，其算出上述時間直接模式下之運動向量資訊。
  14. 一種圖像處理方法，其包括如下步驟：藉由圖像處理裝置，使用以直接模式經編碼之對象區塊之空間直接模式之運動向量資訊，算出使用有以特定之位置關係鄰接於上述對象區塊且包含於解碼圖像之周邊像素之空間模式殘差能量；使用上述對象區塊之時間直接模式之運動向量資訊，算出使用有上述周邊像素之時間模式殘差能量；於上述空間模式殘差能量為上述時間模式殘差能量以下之情形時，決定以上述空間直接模式產生上述對象區塊之預測圖像，於上述空間模式殘差能量大於上述時間模式殘差能量之情形時，決定以上述時間直接模式產生上述對象區塊之預測圖像。
TW098140188A 2009-02-20 2009-11-25 Image processing apparatus and method TWI405469B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009037465 2009-02-20

Publications (2)

Publication Number Publication Date
TW201032599A TW201032599A (en) 2010-09-01
TWI405469B true TWI405469B (zh) 2013-08-11

Family

ID=42633842

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098140188A TWI405469B (zh) 2009-02-20 2009-11-25 Image processing apparatus and method

Country Status (7)

Country Link
US (1) US20120027094A1 (zh)
JP (1) JPWO2010095559A1 (zh)
CN (1) CN102318347B (zh)
BR (1) BRPI1008273A2 (zh)
RU (1) RU2523940C2 (zh)
TW (1) TWI405469B (zh)
WO (1) WO2010095559A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5442039B2 (ja) * 2010-02-12 2014-03-12 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2011146451A1 (en) * 2010-05-20 2011-11-24 Thomson Licensing Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding
KR101829594B1 (ko) * 2010-09-30 2018-02-14 미쓰비시덴키 가부시키가이샤 동화상 복호 장치, 동화상 복호 방법, 동화상 부호화 장치, 동화상 부호화 방법 및 기록 매체
JP5711514B2 (ja) * 2010-12-14 2015-04-30 日本電信電話株式会社 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラム
WO2012090425A1 (ja) * 2010-12-27 2012-07-05 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
US8737480B2 (en) * 2011-01-14 2014-05-27 Motorola Mobility Llc Joint spatial and temporal block merge mode for HEVC
US9066104B2 (en) 2011-01-14 2015-06-23 Google Inc. Spatial block merge mode
US8929450B2 (en) 2011-01-14 2015-01-06 Google Technology Holdings LLC Temporal block merge mode
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US9185414B1 (en) 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
MX343011B (es) * 2012-07-03 2016-10-21 Samsung Electronics Co Ltd Metodo y aparato para codificar video que tiene escalabilidad temporal y metodo y aparato para decodificar video que tiene escalabilidad temporal.
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US10958927B2 (en) 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040066848A1 (en) * 2002-10-04 2004-04-08 Lg Electronics Inc. Direct mode motion vector calculation method for B picture
TW200610415A (en) * 2002-04-09 2006-03-16 Lg Electronics Inc Block prediction method using improved direct mode

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625215B1 (en) * 1999-06-07 2003-09-23 Lucent Technologies Inc. Methods and apparatus for context-based inter/intra coding mode selection
JP4114859B2 (ja) * 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
JP3977716B2 (ja) * 2002-09-20 2007-09-19 株式会社東芝 動画像符号化／復号化方法及び装置
AU2004310915B2 (en) * 2003-12-01 2008-05-22 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding and decoding
WO2006033953A1 (en) * 2004-09-16 2006-03-30 Thomson Licensing Video codec with weighted prediction utilizing local brightness variation
CN101218829A (zh) * 2005-07-05 2008-07-09 株式会社Ntt都科摩 动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP4429996B2 (ja) * 2005-09-30 2010-03-10 富士通株式会社 動画像符号化プログラム、動画像符号化方法および動画像符号化装置
US20070171977A1 (en) * 2006-01-25 2007-07-26 Shintaro Kudo Moving picture coding method and moving picture coding device
US20090003449A1 (en) * 2007-06-28 2009-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200610415A (en) * 2002-04-09 2006-03-16 Lg Electronics Inc Block prediction method using improved direct mode
US20040066848A1 (en) * 2002-10-04 2004-04-08 Lg Electronics Inc. Direct mode motion vector calculation method for B picture

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Alexis Michael Tourapis, Feng Wu, and Shipeng Li, "Direct Mode Coding for Bipredictive Slices in the H.264 Standard", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 15, NO. 1, JANUARY 2005。 *

Also Published As

Publication number Publication date
CN102318347B (zh) 2014-03-12
TW201032599A (en) 2010-09-01
BRPI1008273A2 (pt) 2016-03-15
CN102318347A (zh) 2012-01-11
RU2523940C2 (ru) 2014-07-27
US20120027094A1 (en) 2012-02-02
RU2011134048A (ru) 2013-02-20
WO2010095559A1 (ja) 2010-08-26
JPWO2010095559A1 (ja) 2012-08-23

Similar Documents

Publication Publication Date Title
TWI405469B (zh) Image processing apparatus and method
JP5234368B2 (ja) 画像処理装置および方法
TWI411310B (zh) Image processing apparatus and method
TWI577179B (zh) Image processing apparatus and method, program, and recording medium
WO2010101064A1 (ja) 画像処理装置および方法
WO2010035733A1 (ja) 画像処理装置および方法
WO2010095560A1 (ja) 画像処理装置および方法
WO2010035734A1 (ja) 画像処理装置および方法
WO2010035731A1 (ja) 画像処理装置および方法
WO2010035730A1 (ja) 画像処理装置および方法
WO2011089973A1 (ja) 画像処理装置および方法
WO2010035732A1 (ja) 画像処理装置および方法
JP2011146980A (ja) 画像処理装置および方法
WO2010035735A1 (ja) 画像処理装置および方法
JP2014143716A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
WO2011125625A1 (ja) 画像処理装置および方法
WO2012077530A1 (ja) 画像処理装置および方法
JP2013150347A (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees