TWI400959B - 活動影像編碼方法及解碼方法、其裝置、其電腦程式以及記錄有該電腦程式之記憶媒體 - Google Patents

活動影像編碼方法及解碼方法、其裝置、其電腦程式以及記錄有該電腦程式之記憶媒體 Download PDF

Info

Publication number
TWI400959B
TWI400959B TW96140159A TW96140159A TWI400959B TW I400959 B TWI400959 B TW I400959B TW 96140159 A TW96140159 A TW 96140159A TW 96140159 A TW96140159 A TW 96140159A TW I400959 B TWI400959 B TW I400959B
Authority
TW
Taiwan
Prior art keywords
frame
data
region
image
vector
Prior art date
Application number
TW96140159A
Other languages
English (en)
Other versions
TW200826692A (en
Inventor
Shinya Shimizu
Hideaki Kimata
Kazuto Kamikura
Yoshiyuki Yashima
Original Assignee
Nippon Telegraph & Telephone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph & Telephone filed Critical Nippon Telegraph & Telephone
Publication of TW200826692A publication Critical patent/TW200826692A/zh
Application granted granted Critical
Publication of TWI400959B publication Critical patent/TWI400959B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

活動影像編碼方法及解碼方法、其裝置、其電腦程式以及記錄有該電腦程式之記憶媒體
本發明係關於使用框(Frame)間預測編碼方式對活動影像(motion image)實施編碼之活動影像編碼方法及其裝置、對該活動影像編碼方法所產生之編碼資料實施解碼之活動影像解碼方法及其裝置、用於實現該活動影像編碼方法之活動影像編碼程式及記錄該程式之可供電腦讀取之記錄媒體、以及用於實現該活動影像解碼方法之活動影像解碼程式及記錄該程式之可供電腦讀取之記錄媒體。
本申請案依據2006年10月30日申請之日本專利申請案2006－293901號主張其優先權並援用其內容。
多視點活動影像(多視點影像)表示以複數之攝影機對同一被攝體及其背景所攝影之複數的活動影像(moving image或motion image)。以下稱由一攝影機攝影之活動影像為“二次元活動影像”，稱對於同一被攝體及其背景攝影之二次元活動影像群為“多視點活動影像”。
含於多視點活動影像之各攝影機的二次元活動影像在時間方向具有高度相關。一方面在各攝影機間取得同步時，各攝影機在同一時刻攝得之影像為在完全相同的狀態對被攝體及其背景由不同的位置所攝得者，因此在攝影機間具有高度相關。實施活動影像之編碼時即利用其間的相關以提高編碼效率。
首先敘述有關二次元活動影像編碼技術之習知技術。
以國際標準活動影像編碼規格之MPEG－2及H.264為首之習知的許多二次元活動影像編碼方式係以稱為框間預測編碼(inter－frame prediction encoding)的方法，利用時間方向的相關實現高度編碼效率。
二次元活動影像編碼之使用框間預測編碼的方法，因係利用時間上之影像的變化，亦即利用動作者，故一般稱為動作修正(motion compensation)。以下，將仿上例對依時間方向之框間預測編碼稱為動作修正。又框為表示於某時刻攝得之構成活動影像的一張影像。
一般之二次元活動影像編碼對於各框的編碼模式有不使用框間的相關而實施編碼的I框、對於過去編碼之一面的框實施動作修正而進行編碼之P框、及對於過去編碼之二面的框實施動作修正而進行之編碼之B框。
再者，為提高影像預測效率，在影像編碼方式H.263及H.264係可將二框以上之複數框份的解碼影像積蓄在參照影像記憶體，然後由該記憶體選擇參照影像(reference image)進行預測。
參照影像可按每區段(block)選擇，可由對於指定參照影像之參照影像指定資料實施編碼而使解碼處理成為可能。
在P框係將一個參照影像指定資料(reference image designatihg data)按每區段實施編碼，在B框則將二個參照影像指定資料按每區段實施編碼。
動作修正除了參照影像指定資料之外，並對於用以表示使用參照影像內之哪一位置以預測編碼對象區段的向量(vector)實施編碼。該向量稱為動作向量(motion vector)。與參照影像指定資料同樣的，在P框係將一個動作向量實施編碼，在B框則將二個動作向量實施編碼。
在實施動作向量的編碼時，按MPEG－4及H.264係由編碼對象區段之鄰接區段的動作向量產生預測向量，而只對在編碼對象區段之動作修正使用之動作向量與該預測向量的差份向量實施編碼。依此方法於鄰接區段之間有動作的連續性時，可將動作向量以良好編碼效率實施編碼。
有關H.264之預測向量的詳細產生程序記載於下述非專利文獻1，以下說明其概要。
在H.264如第13A圖所示，由用於編碼對象區段之左方區段(圖中之a)、上方區段(圖中之b)、及右上方區段(圖中之c)的動作向量(mv_a,mv_b,mv_c)求得水平成分及垂直成分的中央值。
在H.264因採用可變區段大小(variable block size)動作修正，編碼對象區段與週邊區段之動修正區段大小有不同的情形，此時如第13B圖，以鄰接左方之區段中最上方的區段為區段a，以鄰接上方之區段中最左方的區段為區段b，而以存在於右上方之最近的區段為區段c。
其例外為於編碼對象區段的大小係8×16像素(pixel)時，如第13C圖所示，代替中央值而以區段a用於左方區段，以區段c用於右方區段的預測，又於編碼對象區段的大小係16×8像素時，則如第13D圖，代替中央值而以區段a用於下方區段，以區段b用於上方區段的預測。
又如前所述，在H.264係由過去編碼之複數的框中，按每區段選擇參照框，用該參照框實施動作修正。
一般而言，被攝體的移動係由於依參照框變化，故認為使用相同參照框實施動作修正時之動作向量，較使用不同於編碼對象區段之參照框的參照框實施動作修正之情形的動作向量更接近於編碼對象區段使用之動作向量的向量。
因此在H.264於區段a、b、c內，編碼對象區段與參照框相同的區段只有一個時，以其區段之動作向量代替中央值用做預測向量的方式，即產生信賴度更高的預測向量。
其次說明有關習知之多視點活動影像的編碼方式。
於一般之多視點活動影像的編碼，為了利用攝影機間的相關，以使用對同一時刻由不同攝影機攝得之框間應用動作修正之“視差修正”而得到高編碼效率。
使用此方法之例有如MPEG－2 Multiview Profile及記載於非專利文獻2的方法。
非專利文獻2記載的方法，係按每區段選擇動作修正及視差修正之一實施編碼。藉由按每區段選擇編碼效率高的一方實施編碼，可利用時間方向的相關及攝影機間的相關之兩方，與在只使用任一方的情形相比可達成更高的編碼效率。
視差修正在對預測餘差之外並將視差向量編碼。視差向量係對應於框間之時間變化的動作向量，表示在由配置在不同位置之攝影機所攝影之影像平面上，被攝體上之同一位置所被投影的位置差。
第14圖表示此攝影機間產生之視差向量的概念圖。此概念圖為將光軸為平行的攝影機之影像平面由垂直方向俯視者。
在視差向量的編碼時，與動作向量的編碼同樣地由編碼對象區段的鄰接區段的視差向量產生預測向量，而能使用只在編碼對象區段之視差修正使用之視差向量與此預測向量之差份向量實施編碼的方法。依此方法，在鄰接區段間有視差的連續性時，對視差向量能以良好編碼效率實施編碼。
由於在多視點活動影像之各框，有時間方向的冗長性及攝影機間的冗長性同時存在的狀態，同時消除兩方之冗長性的方法，有如下述非專利文獻3記載的方法。
在此方法，對於原影像與視差修正影像之差份影像依時間方向進行預測而編碼。即對於視差修正後之差份影像的動作修正餘差實施編碼。
依此方法時，由於消除攝影機間之冗長性的視差修正所不能消除之時間方向的冗長性，可藉由動作修正將其消除，因此最終性地實現編碼的預測餘差變小，而可達成更高編碼效率。
[非專利文獻1]ITU－T Rec.H.264/ISO/IEC 11496－10,"Editor's Proposed Draft Text Modifications for Joint Video Specification(ITU－T Rec.H.264/ISO/IEC 14496－10 AVC),Draft 7",Final Committee Draft,Document JVT－E022,pp.63－64,September 2002.[非專利文獻2]Hideaki Kimata and Masaki Kitahara,"Preliminary results on multiple view video coding(3DAV)",document M10976 MPEG Redmond Meeting,July,2004.[非專利文獻3]Shinya Shimizu,Masaki Kitahara,Kazuto Kamikura and Yoshiyuki Yashima,"Multi－view Video Coding based on 3－D Warping with Depth Map",In Proceedings of Picture Coding Symposium 2006,SS3－6,April,2006.
將在編碼對象區段實際使用之動作向量及視差向量，以在鄰接區段使用之動作向量及視差向量所產生之預測向量的差份實施編碼之習知方法，由於根據在實際空間上被攝體為連續存在，並且被攝體之動作在同一被攝體內無大變化的確率為高的事實，因此在編碼對象區段使用之動作向量及視差向量能以較少的編碼量實施編碼。
然而在預測編碼對象區段之影像之最適當的參照框未在鄰接區段使用時，實際上使用之動作向量與預測向量之差變大，而不能充分的削減編碼量。
特別在按每區段適當地選擇動作修正及視差修正實施編碼時，由於動作向量與視差向量的性質大異，不可能由動作向量產生視差向量的預測向量，亦不可能由視差向量產生動向量的預測向量，因此不能有效率地實施動作向量及視差向量的編碼。
一方面在B框或非專利文獻3的方法，可由更正確的預測影像，減小最終之編碼對象的餘差訊號的方式，而能以較少編碼量實施影像的編碼。
然而在B框，由於必須將二個參照影像指定資料及二個向量資料編碼，以致用於產生此等預測影像之附加資料的編碼量增多。
又在非專利文獻3的方法，亦必須將用於產生視差修正影像之深度(Depth)資料，及用於進行在視差修正差份影像上之動修正之動作向量實施編碼，而導致用於影像預測的資料增加。
本發明係有鑑於上述課題而研創者，其目的在於提供一種新技術，在活動影像編碼時，於所編碼之區域及其鄰接之區域實施框間預測編碼時所使用的參照框為不同時，亦能將用於編碼對象之框間預測編碼的向量資料能以良好效率實施編碼的新技術為目的。
為達成此目的，本發明提供一種活動影像編碼方法，將影像全體做區域分割，按每區域由已編碼畢之複數之框的影像資料(image data)產生預測影像(prediction image)，以將編碼對象框內之編碼對象區域的影像與預測影像之差份資料(differential data)實施編碼，該方法係具備：參照向量對象框選擇步驟，由已編碼畢之複數的框中選擇參照向量對象框；參照向量對象框指定資料編碼步驟，對指定前述參照向量對象框之資料實施編碼；參照向量設定步驟，對於編碼對象區域設定表示前述參照向量對象框上之區域的參照向量；參照向量編碼步驟，對前述參照向量實施編碼；參照框選擇步驟，由已編碼畢之複數的框中選擇參照框；參照框指定資料編碼步驟，對指定前述照框的資料實施編碼；參照框區域設定步驟，使用前述參照向量所表示之參照向量對象框上之參照向量對象區域的影像資料及前述參照框以實施對應區域的探索，根據其探索結果設定前述參照框上之參照區域；預測影像產生步驟，使用對應於前述參照區域之參照框的影像資料來產生預測影像；以及差份資料編碼步驟，對於編碼對象區域之影像資料與前述產生之預測影像的差份資料實施編碼。
在前述預測影像產生步驟之典型例，由前述參照區域之影像資料及前述參照向量對象區域之影像資料產生預測影像。
就另一典型例而言，在前述預測影像產生步驟，選擇由前述參照區域之影像資料產生預測影像，或由前述參照區域之影像資料及前述參照向量對象區域之影像資料產生預測影像，以其所選擇的產生法產生預測影像，再者，具備對指定前述選擇之產生法的資料實施編碼的預測影像產生法指定資料編碼步驟。
就另一典型例而言，將在前述參照框選擇步驟之對前述參照向量對象區域實施編碼之際使用之參照框選擇為前述參照框時，在前述參照框區域設定步驟，將在前述參照向量對象區域實施編碼之際使用的參照區域設定為前述參照區域。
就另一典型例而言，在前述參照框選擇步驟之對前述參照向量對象區域實施編碼之際使用之參照向量對象框選擇為前述參照框時，在前述參照框區域設定步驟，將在前述參照向量對象區域實施編碼之際使用的參照向量對象區域設定為前述參照區域。
就另一典型例而言，在前述參照框選擇步驟，於編碼對象框之間，在將對前述參照向量對象區域實施編碼之際使用的參照向量對象框與對於編碼對象區域所設定之參照向量對象框之時刻資料及視點資料的關係具有相等的關係之已編碼畢之框選擇為前述參照框時，於前述參照框區域設定步驟則以前述編碼對象區域為起點，將以具有與對前述參照向量對象區域實施編碼時使用之參照向量相同方向及大小之向量表示之前述選擇之參照框上的區域設定為前述參照區域。
就另一典型例而言，在前述參照框選擇步驟，於編碼對象框之間，在將對前述參照向量對象區域實施編碼之際使用的參照框與對於編碼對象區域所設定之參照向量對象框之時刻資料及視點資料的關係具有相等的關係之已編碼畢之框選擇為前述參照框時，於前述參照框區域設定步驟，以前述編碼對象區域為起點，將以具有與對於前述參照向量對象區域及前述參照向量對象區域實施編碼時使用之參照區域之對應關係的向量相同方向及大小之向量表示之前述選擇之參照框上的區域設定為前述參照區域。
舉一較佳例，具備將不同於前述參照向量對象框或前述參照框之已編碼畢之框設定為中間框的中間框設定步驟；在前述參照框區域設定步驟使用前述參照向量對象區域之資料將在前述中間框上之區域設定為中間區域，使用該中間區域之資料，或使用該中間區域之資料及前述參照向量對象區域之資料以設定前述參照區域
此時，在前述中間框設定步驟，將前述參照向量對象框之時刻及視點資料的關係與前述編碼對象框及前述參照框之時刻及視點資料的關係為相同之已編碼畢之框設定為中間框，於前述預測影像產生步驟，由前述參照區域之影像資料、前述中間區域的影像資料、以及前述參照向量對象區域之影像資料產生預測影像亦可。
同樣地，在上述的情形於前述中間框設定步驟，將與前述參照向量對象框之時刻及視點資料之關係與前述編碼對象框及前述參照框之時刻及視點資料的關係為相同之已編碼畢之框設定為中間框，於前述預測影像產生步驟，選擇由前述參照區域之影像資料產生預測影像、或由前述參照區域之影像資料及前述參照向量對象區域之影像資料產生預測影像、或選擇由前述參照區域之影像資料及前述中間區域之影像資料以及前述參照向量對象區域之影像資料產生預測影像，使用所選擇的產生法產生預測影像，再者，具有將對指定前述選擇之產生法的資料實施編碼之預測影像產生法指定資料編碼步驟亦可。
具有前述預測影像產生法指定資料編碼步驟時，於前述參照框指定資料編碼步驟，使用前述參照向量對象區域之編碼數據，以切換對參照框指定資料實施編碼時之編碼表，於前述預測影像產生法指定資料編碼步驟，至少對應於前述參照向量對象區域之編碼數據、前述參照框、及前述參照向量對象框中之一，以切換對預測影像產生法指定資料實施編碼時之編碼表亦可。
本發明又提供一種活動影像之解碼方法，將影像全體做區域分割，按每區域由已解碼畢的複數之框的影像資料產生預測影像，以對預測影像及解碼對象框內之解碼對象區域的影像之差份資料實施解碼而對活動影像實施解碼，該方法係具備：參照向量對象框指定資料解碼步驟，從編碼數據對指定由已解碼畢之複數的框中所選擇之參照向量對象框之資料實施解碼；參照向量解碼步驟，從編碼數據對表示對於解碼對象區域所設定之前述參照向量對象框上之區域的參照向量實施解碼；參照框指定資料解碼步驟，從編碼數據對指定由已解碼畢之複數的框中所選擇之參照框之資料實施解碼；參照框區域設定步驟，使用前述參照向量所示參照向量對象框上之參照向量對象區域之影像資料及前述參照框實施對應區域的探索，根據其探索結果設定前述參照框上之參照區域；以及預測影像產生步驟，使用對應於前述參照區域之參照框的影像資料來產生預測影像。
就典型例而言，於前述預測影像產生步驟，係由前述參照區域之影像資料及前述參照向量對象區域之影像資料產生預測影像。
就另一典型例而言，具有從編碼數據對指定由前述參照區域之影像資料產生預測影像、或由前述參照區域之影像資料及前述參照向量對象區域之影像資料產生預測影像的資料實施解碼之預測影像產生法指定資料解碼步驟；在前述預測影像產生步驟，使用前述解碼的資料所指定之產生法產生預測影像。
就另一典型例而言，在將前述參照向量對象區域解碼時被解碼之參照框指定資料所表示的框與前述參照框相同的情形，在前述參照框區域設定步驟，在將前述參照向量對象區域解碼時使用之參照區域設定為前述參照區域。
就另一典型例而言，在將前述參照向量對象區域解碼時被解碼之參照向量對象框指定資料所表示的框與前述參照框相同的情形，於前述參照框區域設定步驟，在將前述參照向量對象區域解碼時使用之參照向量對象區域設定為前述參照區域。
就另一典型例而言，在將前述參照向量對象框與前述參照向量對象區域解碼時被解碼之參照向量對象框指定資料所表示之框的時刻資料及視點資料之關係相等於前述解碼對象框與前述參照框之時刻資料及視點資料的關係的情形，在前述參照框區域設定步驟，以前述解碼對象區域為起點，將在與前述參照向量對象區域之解碼時所用參照向量具有相同方向及大小之向量表示之參照框上之區域設定為前述參照區域。
就另一典型例而言，在將前述參照向量對象框與前述參照向量對象區域解碼時被解碼之參照框指定資料表示之框的時刻資料及視點資料之關係相等於前述解碼對象框與前述參照框之時刻資料及視點資料之關係的情形，在前述參照框區域設定步驟，以前述解碼對象區域為起點，以具有與在對前述參照向量對象區域及前述參照向量對象區域解碼時所用參照區域之對應關係的向量相同方向及大小的向量表示之參照框上的區域設定為前述參照區域。
舉一較佳例，即具備將不同於前述參照向量對象框及前述參照框之既已解碼畢之框設定為中間框的中間框設定步驟，在前述參照框區域設定步驟，使用前述參照向量對象區域之資料以設定在前述中間框上之區域的中間區域，然後使用該中間區域之資料，或使用該中間區域之資料及前述參照向量對象區域之資料設定前述參照區域。
此時，在前述中間框設定步驟，將前述參照向量對象框之時刻及視點資料的關係相同於前述解碼對象框與前述參照框之時刻及視點資料的關係之已解碼之框設定為中間框，在前述預測影像產生步驟，由前述參照區域之影像資料、前述中間區域之影像資料、以及前述參照向量對象區域之影像資料產生預測影像亦可。
同樣地，在上述情形，於前述中間框設定步驟，將前述參照向量對象框之時刻及視點資料之關係相同於前述解碼對象框及前述參照框的時刻及視點資料的關係之已解碼畢之框設定為中間框，具備從編碼數據，將指定由前述參照區域之影像資料產生預測影像、或是由前述參照區域之影像資料及前述參照向量對象區域之影像資料產生預測影像、又或是由前述參照區域之影像資料及前述中間區域之影像資料以及前述參照向量對象區域之影像資料產生預測影像之資料實施解碼之預測影像產生法指定資料解碼步驟，在前述預測影像產生步驟，使用前述解碼之資料所指定的產生法產生預測影像亦可。
具有前述預測影像產生法指定資料解碼步驟時，在前述參照框指定資料解碼步驟，使用前述參照向量對象區域之解碼數據以切換對參照框指定資料實施解碼時之編碼表，於前述預測影像產生法指定資料解碼步驟，則至少對應於前述參照向量對象區域之解碼數據、前述參照框、以及前述參照向量對象框之一個，以切換對預測影像產生法指定資料實施解碼時之編碼表亦可。
本發明復提供具有實現在上述活動影像編碼法之各步驟的手段之活動影像編碼裝置；將該各步驟用以由電腦實施之活動影像編碼程式；以及記錄有當該程式之可供電腦讀取的記憶媒體。
本發明復提供具有實現上述活動影像解碼法之各步驟的手段之活動影像解碼裝置；將該各步驟用以由電腦實施之活動影像解碼程式；以及記錄有該程式之可供電腦讀取的記憶媒體。
依據本發明，即使在鄰接區域產生預測影像時之參照框為不同的情形下，亦以使用相同參照向量對象框的方式，使得非用向量表現不可的時間及視差之影像變化的要因被統一，令從在鄰接區域被編碼的向量產生接近應編碼之向量的預測向量成為可能，因此能以較少的編碼量對為了框間預測編碼用之向量資料實施編碼。
本發明於設定對編碼對象區域之影像資料實施編碼時用於框間預測編碼久向量資料時，不設定用以產生預測影像之表示參照框上之區域的向量，而設定用以表示向量所使用之框的參照向量對象框，求得表示該參照向量對象框上之區域的參照向量並編碼，使用參照向量所示之參照向量對象框上之參照向量對象區域之影像資料及參照框，實施區段匹配(block matching)等的對應點探索，使用以其結果所得之參照框上之參照區域的影像資料產生預測影像。
因此，即使在鄰接區域間之參照框不同的狀態下，亦能有效率地對為了框間預測編碼之向量資料實施編碼。
在習知方法，對每編碼對象區域(編碼之單位區域)實施編碼之為了框間預測編碼之向量資料，係以表示從對各編碼對象區域設定之參照框至編碼對象框之影像變化的向量來表示。
因此，在習知方法，在鄰接區域之參照框不同時，向量所表示之影像變化產生的要因(因時間、因攝影機、因長時間、或因短時間)不同，以致預測向量所表示之影像變化與欲編碼之向量所表示的影像變化有不相同的情形。
在其情形下，所產生之預測向量不能對欲編碼之向量做準確度良好的預測。不但如此，對欲編碼之向量與預測向量之差份向量實施編碼時，如此之編碼量有較對欲編碼之向量直接編碼時之編碼量更多的情形。
對於上述的問題，依據本發明，即使在於鄰接區域間產生預測影像時之參照框不同的情形，亦以使用相同參照向量對象框的方式，令以向量表現之影像變化的要因被統一，能產生接近於欲編碼之向量的預測向量，因此能以較少編碼量對為了框間預測編碼之向量資料實施編碼。
於此，對於指定參照向量對象框之參照向量對象框指定資料與指定參照框之參照框指定資料分別實施編碼亦無所謂，又將能指定兩者之資料綜合實施編碼亦無所謂。
即於編碼畢之框有二張的情形，對參照向量對象框指定資料與參照框指定資料分別編碼，表示各對0至1之數字實施編碼，又對能指定兩者的資料實施編碼，則可對表示(0,0)、(0,1)、(1,0)、(1,1)之四種類內的任一者的資料實施編碼。
又在本發明藉由相對於編碼對象區域將一個參照向量實施編碼，在參照向量對象框上及參照框上逐一地，即合計可得二個對應區域，故可如B框使用二個區域的影像資料產生預測影像。
再者，於得到二個對應區域時，亦可選擇使用兩方的對應區域之影像資料產生預測影像，或選擇只使用參照框上之對應區域(參照區域)的影像資料產生預測影像以實施編碼。
但在此情形下，有必要將表示使用那一方法產生預測影像之資料編碼。
在此，就選擇預測影像之產生法的基準而言，則有使用以各預測影像將其區域編碼時之速率失真成本(rate distortion cost)的方法、或使用輸入影像與預測影像之差份絕對值和、或輸入影像與預測影像之差所產生之預測餘差影像之像素值的分散值之方法等，無論使用任一基準均無所謂。
於將指定將預測影像之產生法的資料編碼時，可將其直接編碼，又可與其他應編碼之資料一起編碼。例如與參照向量對象框指定資料及參照框指定資料等一起編碼亦無所謂。
即就參照框指定資料而言將0或1編碼，就指定預測影像之產生法的資料而言將0或1編碼亦無所謂，對表示兩者之組合的(0,0)、(0,1)、(1,0)、(1,1)四種類中任一者的資料予以編碼亦無所謂。
就參照框而言，可選擇在將參照向量對象區域編碼時使用之參照框，或選擇在將參照向量對象區域編碼時使用之參照向量對象框。
此情形下，對應於各個情形，在將對參照向量對象區域實施編碼時將用做參照區域的區域設定為參照框上的參照區域，或在將對參照向量對象區域實施編碼時將用做參照向量對象區域之區域設定為參照框上之參照區域亦無所謂。
第1圖及第2圖表示依如此方法設定之參照區域的例。
第1圖表示將對於參照向量對象區域實施編碼時使用之參照框選擇為參照框，並將對於參照向量對象區域實施編碼時用做參照區域的區域設定為參照框上之參照區域的情形之處理例。
此外，第2圖表示將對於參照向量對象區域實施編碼時使用之參照向量對象框選擇為參照框，並將對於參照向量對象區域實施編碼時用做參照向量對象區域的區域設定為參照框上之參照區域的情形之處理例。
對參照向量對象區域實施編碼時選做參照向量對象區域或參照區域的區域，由於為用以預測參照向量對象區域的影像資料所使用的區域，因此可以認為係在將對於具有類似於參照向量對象區域之影像資料的影像資料之參照向量對象區域實施編碼時所利用之參照向量對象框上的區域，或認為係在對參照向量對象區域實施編碼時所利用之參照框上的區域。
也就是說，即使求得相對於參照向量對象區域之參照框上的區域，在此參照框與在上述各情形利用的框(參照向量對象框或參照框)一致的情形，選擇了對前述參照向量對象區域實施編碼時被選做參照向量對象區域或參照區域的區域。
如上所述，以從參照向量對象區域之編碼資料設定參照框上之參照區域的方式，可在確保預測影像之品質的狀態下，削減編碼/解碼時應實施之對應區域探索的次數。
作為參照框則可在與編碼對象框之間，(i)選擇在對於參照向量對象區域實施編碼時所使用之參照向量對象框、以及相對於編碼對象區域所設定之參照向量對象框之時刻資料及視點資料之關係具有相等關係之已編碼畢的框；或(ii)在對於參照向量對象區域實施編碼時所使用之參照框與相對於編碼對象區域所設定之參照向量對象框之時刻資料及視點資料之關係具有相等關係之已編碼畢的框。
相對於上述各種情形，參照區域可如下設定，(i)以編碼對象區域為起點，將以具有與對參照向量對象區域實施編碼時使用之參照向量相同方向及大小之向量表示之(被選擇之)參照框上的區域設定為參照區域，(ii)以編碼對象區域為起點，將以具有表示對於參照向量對象區域及參照向量對象區域實施編碼時使用之參照區域的對應關係的向量為相同方向及大小之向量表示之(被選擇之)參照框上之區域設定為參照區域亦可。
第3至5圖表示依此方法設定之參照區域的例。
如第3圖及第4圖所示，在所給予之數個對應區域關係，即使在攝影機(視點)或時刻之任一方相同的情形，或如第5圖所示任一方均不同的情形，均可用此方法相對於編碼對象區域設定唯一的參照區域。
依此方法，在如第3圖及第4圖所示之對應區域的攝影機或時刻之任一方相同的情形，不依時刻而假設由產生視差之各攝影機至被攝體的距離無太大的差別，而指定適合於編碼對象區域的參照區域。
又，在第5圖的情形，則在上述之外又假設在各時刻間被攝體有連續的變動，而指定適合於編碼對象區域的參照區域。
第1假設，為對於某注目對象攝影之多視點影像、或對如風景攝影之多視點影像等，一般常見的影像可說在如此的狀態因此在幾乎所有的情形都成立。
第2假設，一般雖不成立，但在框間的時間短時，可假設物體一般做等速直綿運動，因此可在大多數的情形下成立。
然而，由於後者的假設在框間的時間變長時不成立的可能性高，因此該方法亦可只適用於如第3圖及第4圖之在對應區域的攝影機或時刻之任一方為相同的狀態，或只在對應關係之框間的時間變長的狀態不予適用亦無所謂。
在上述活動影像解碼方法，係以使用對於參照向量對象區域實施編碼時之資料設定參照區域的方式，削減對應區域探索之次數。
然而，在受速率失真最適化之影響，以及假設的狀態不成立的情形，以此等方法設定之參照區域，對於產生編碼對象區域之預測影像有變成非最適當的情形。
於此考慮即使與最適當的區域發生偏差但其量並不太大的特性，將以此等方法設定之參照區域作為暫時的參照區域，只以其週邊為探索對象實施對應區域探索而產生預測影像，藉此以提高最適當的可能性亦可。
在此方法，能以比使用單純地實施對應區域探索更少的演算成本求出大約同等品質之對應點。
又，非使用參照向量對象區域之影像資料及編碼資料直接設定參照框上之參照區域，而將不同於參照向量對象框及參照框之已編碼畢之框設定為中間框，首先使用參照向量對象區域之影像資料及編碼資料設定中間框上之對應區域的中間區域，其後使用中間區域之影像資料及編碼資料設定參照框上之對應區域，以該區域作為參照區域亦可。
一般在為了尋找依框間影像之視差變化的對應區域時，用較狹範圍的探索範圍要較尋找依時間變化的對應區域好。理由在於，影像的視差變化係由攝影機之配置，而只在一定的方向產生，其變化量亦只在某限度的範圍。
特別在攝取影像之攝影機參數為已知的情形，因成立外極(epipolar)幾何條件，故由一方之攝影機攝得影像上之某區域為存在於由另一方之攝影機攝得影像上存在的直線上，包含攝影機參數之誤差的影響，只對其直線週邊的區域實施探索即十分足夠。
然而，含有框間之視差變化與時間變化的兩方之情形，不但不能應用上述特性，且有必要比只尋找時間變化的情形對更多的範圍實施探索。
於是，依上述設定中間框的方法時，由於中間區域的設定，經第1階段及第2階段的探索，可各別對時間及攝影機間之任一方之要因造成之影像變化的對應區域實施探索。如此則比直接求出參照區域，能以較少演算次數求得對應區域。
此外，就中間框而言，將在對參照向量對象區域實施編碼時使用之參照向量對象框設定為中間框，或將在對參照向量對象區域實施編碼時使用之參照框設定為中間框，於各別的情形，將在對於參照向量對象區域實施編碼時使用之參照向量對象區域設定為中間區域，或將在對於參照向量對象區域實施編碼時使用之參照區域設定為中間區域。
此時，在中間框比參照向量對象框更接近參照框的情形，由中間區域求得參照區域之探索，比由參照向量對象區域求得參照區域的探索更加容易，因此能削減其演算量。
又，在由中間區域設定參照區域時，不但使用中間區域之影像資料及編碼資料，亦可將參照向量對象區域之影像資料及編碼資料合併使用。
以中間框而言，在將對於參照向量對象框之時刻及視點資料的關係與對於編碼對象框與參照框之時刻及視點關係為相同之已編碼畢之框設定為中間框的情形，使用賦予編碼對象區域之三個對應區域之影像資料，亦即使用參照向量對象區域之影像資料、中間區域之影像資料、以及參照區域之影像資料產生預測影像亦可。
以使用從三個對應區域之影像資料產生預測影像之方法而言，有依每像素取其平均值的方法，及取其中間值的方法。
又，從參照框與編碼對象框之關係相等於中間框與參照向量對象框之關係，假設中間區域與參照向量對象區域間的變化發生在參照區域與編碼對象區域之間，亦可依下式產生預測影像。
[數式1]
在此，pix表示在區域內之像素位置，Pred表示預測影像，Ref表示參照區域之影像資料，RVec表示參照向量對象區域之影像資料，Mid表示中間區域之影像資料。
依此等方法，可不必增加為產生編碼所需之預測影像的資料，而由使用更多的對應區域的資料的方式，而能產生接近於編碼對象區域之影像資料的預測影像。
另外，雖可用任一方法產生預測影像，但在編碼側及解碼側則必須令產生預測影像的方法一致。
又，亦可一邊選擇從參照區域的影像資料產生預測影像、或從參照區域之影像資料及參照向量對象區域之影像資料產生預測影像、或從參照區域之影像資料及參照向量對象區域之影像資料及中間區域之影像資料產生預測影像並實施編碼。
但在此情形下，必須將表示使用哪一區域之影像資料以產生預測影像之資料編碼。
對於上述所舉以外之區域的組合以產生預測影像的方法亦可將資料分配使用，亦可選擇對使用以上所舉三個區域時之各個預測影像產生法分配資料以產生預測影像的方法。
再者，在對於表示該等預測影像產生法的資料實施編碼時，可只對其資料獨立地實施編碼，又與其他應編碼之資料一起編碼亦無所謂。例如可與參照框指定資料等一起編碼。
即作為參照框指定資料將0或1編碼，作為指定預測影像之產生法的資料將0或1或2編碼亦無所謂，又將表示兩者之組合(0,0)、(0,1)、(0,2)、(1,0)、(1,1)、(1,2)之六種類中之任一資料編碼亦可。
對於參照向量對象區域不實施框間之影像預測即予編碼的情形，即表示找不到適合於預測該參照向量對象區域之影像資料之已編碼畢之框及其框上的區域。
因此，即使在對應於如上述之參照向量對象區域的編碼對象區域，亦可認為很少選擇參照向量對象框以外的框上之區域為用以產生預測影像的區域。
在此，在對參照框指定資料實施編碼時，可由縮短相對於指定與參照向量對象框相同之框的資料之編碼字，而能以更少的編碼量對參照框指定資料實施編碼。
此外，由縮短指定對應於在將具有對應關係之參照向量對象區域實施編碼時使用之參照框及參照向量對象框之框的資料之編碼字，能以更少的編碼量對參照框指定資料實施編碼。
即以使用參照向量對象區域之編碼資料，切換對參照框指定資料實施編碼時之編碼表的方式，而能以更少的編碼量對參照框指定資料實施編碼。
此外，同樣地在對預測影像產生法指定資料實施編碼時，使用參照向量對象區域之編碼資料切換編碼表亦可。
以下就實施形態詳細說明本發明。
第6圖表示本發明之活動影像編碼裝置100之一實施形態例。
該活動影像編碼裝置100，具有輸入編碼對象之影像的影像輸入部101；按分割編碼對象影像之每一區域，由已編碼畢之影像製作預測影像之預測影像製作部102；對輸入影像與預測影像之差份影像實施編碼之差份影像編碼部103；對差份影像之編碼數據實施解碼之差份影像解碼部104；積蓄藉由解碼之差份影像與預測影像之和所產生之編碼對象區域之解碼影像之參照框記憶體105；從參照框記憶體105中，設定用於產生預測影像之參照框的參照框設定部106；從參照框記憶體105中，設定做為實施編碼之向量資料之參照對象的框之參照向量對象框之參照向量對象框設定部107；對於所得之對應區域設定產生預測影像之方法的預測影像產生法設定部108；對由參照框指定資料及參照向量對象框指定資料以及預測影像產生法指定資料所構成之附加資料實施編碼之附加資料編碼部109；使用輸入影像及參照向量對象框以求得參照向量之參照向量對象區域探索部110；使用參照向量對象區域之影像資料及參照框以探索參照區域之參照區域探索部111；將用於編碼之參照向量及參照區域及參照向量對象框以及參照框之組合，將編碼對象框及編碼對象區域賦予關係而積蓄之對應關係資料積蓄記憶體112；從在對於編碼對象區域之鄰接區域實施編碼時使用之參照向量，產生相對於編碼對象區域之參照向量之預測參照向量的預測參照向量產生部113；以及對於參照向量與預測參照向量之差份的差份參照向量實施編碼之差份參照向量編碼部114。
第7圖表示如上述構成之活動影像編碼裝置110實施之活動影像編碼處理的流程圖。
另外，在以下各流程圖中，附有指標(index)的區域(block)或框(frame)係指該指標所表示的區域或框。
依據該流程圖詳細說明如上構成之活動影像編碼裝置100實施之活動影像編碼處理。但於此假設已有複數框之影像編碼畢，其結果已積蓄在參照框記憶體105及對應關係資料積蓄記憶體112。
首先由影像輸入部101輸入做為編碼對象之影像[S101]。輸入之編碼對象影像經過對其影像全體做區域分割並對每區域實施編碼[S102至S131]。
流程圖中之區域(block)的指標(index)以blk表示，相對於一影像之總區域數以MaxBlk表示。
即將指標blk初始化為1後[S102]，在blk達到MaxBlk[S130]為止，對blk加算1[S131]，並同時重複實施以下的處理[S103至S129]。
在對每區域實施之處理，求得用以將該區域編碼所用之參照向量對象框best_ref_vec、參照框best_ref、參照向量best_mv_ref、表示參照框上之參照區域的向量best_mv、預測影像產生法best_pmode、及預測參照向量best_pmv[S113至S126]，使用此等資料產生相對於編碼對象區域之影像資料的預測影像[S127]，將best_ref_vec及best_ref及best_pmode構成之附加資料由附加資料編碼部109實施編碼，將“best_mv_ref_best_pmv”由差份參照向量編碼部114實施編碼，將輸入影像與預測影像之差份影像由差份影像編碼部103實施編碼，然後將此等編碼數據輸出[S128]。
然後，為了其後的編碼處理，將對於編碼數據實施解碼後之解碼影像收容於參照框記憶體105，關於用以產生預測影像所使用之對應區域(best_mv_ref所指之參照向量對象區域，及best_mv所指之參照區域之兩個區域)的資料，則在編碼對象框的號碼及區域blk之影像上的位置加上對應而收容於對應關係資料積蓄記憶體112[S129]。
也就是說，令表示編碼對象框之指標值為cur，影像上之區域blk的位置為pos時，在對應關係資料積蓄記憶體112收容有{cur,pos,best_ref,best_ref_vec,best_mv_ref,best_mv}之組合。
另外，有關S127之預測影像產生處理及S128之附加資料編碼處理則容後詳述。
在編碼時使用之用以產生預測影像的資料，則由對於可利用為參照向量對象框之全部參照框記憶體105上之編碼畢的框，重複實施以下的處理[S104至S124]所求得。
亦即，將參照向量對象框指標ref_vec初始化為1，將對於區域blk之最小速率失真成本bestCost初始化為絕對不能達到之最大值MaxCost，又對pos設定區域blk之影像上的位置後[S103]，在ref_vec成為存蓄在參照框記憶體105之可能參照的框數NumOfRef為止[S125]，對ref_vec加算1[S126]，並同時由鄰接於區域blk之已編碼畢之區域的參照向量產生預測參照向量pmv[S104]，在令參照向量對象框成為ref_vec表示的框時，重複求得使速率失真成本為最小之參照向量及參照框及參照區域以及預測影像產生法之組合的處理[S105至S124]。
於上述處理中，對於可能利用為參照框之全部參照框記憶體105上之編碼畢的框，重複實施以下的處理[S106至S122]。
也就是說，在將參照框指標ref初始化為1後[S105]，在ref成為NumOfRef為止[S123]，對ref加算1[S124]，並同時判斷ref_vec與ref是否一致[S106]，如判斷為一致時，即在參照向量對象框實質上不存在的狀態下(變成與習用方法同樣的狀態時)，則在參照框及參照向量對象框成為ref所表示的框時，重複實施求得使速率失真成本為最小的參照向量之處理[S107至S114]。
於該處理，將參照向量候補指標mv_ref_idx初始化為1後[S107]，在mv_fef_idx等於預先設定之參照向量候補數NumOfListMvRef為止[S113]，對mv_ref_idx加算1[S114]，並同時將對應於mv_ref_idx之參照向量設定於mv_ref[S108]，以框ref上之位置pos＋mv_ref的區域之影像資料作為預測影像Pred[][S109]，計算速率失真成本[S110]，判斷成本(cost)是否比bestcost小[S111]。
當判斷cost較小時，重複實施將bestcsot改寫為cost，best_ref改寫為ref，best_ref_vec改寫為ref，best_ref_mid改寫為ref，best_mv改寫為0(零向量)，best_mv_ref改寫為mv_ref，best_pmode改寫為1，best_pmv改寫為pmv[S112]之處理[S108至S112]。
在此，關於S110之處理所計算的速率失真成本，實際上亦可由對於差份影像及差份參照向量“mv_ref_pmv”及附加資料實施編碼並計算其編碼量，將其解碼計算其品質劣化而根據下式[數式2]計算，亦可根據下列[數式3]使用簡易速率失真成本計算。
但對於一個區域blk實施編碼時之處理，必須統一使用之數式。
在此，λ1 表示拉朗格日(Lagrange)之待定乘數，利用預先設定之值。pix表示像素位置，Org[]表示輸入影像之編碼對象區域的影像資料，Dec[]表示解碼影像之影像資料。bit(vector,ref1 ,ref2 ,mode)表示令將vector編碼為差份參照向量、將ref1 編碼為參照向量對象框指定資料、將ref2 編碼為參照框指定資料、以及將mode編碼為預測影像產生法指定資料時所必需之編碼量返還的函數。BITS表示將差份影像Res[](＝Org[]－Pred[])編碼時所必需的編碼量。
[數式3]
在此，λ2 表示拉朗格日之待定乘數，利用預先設定之值。pbit(vector,ref1 ,ref2 ,mode)表示令將vector編碼為差份參照向量、將ref1 編碼為參照向量對象框指定資料、將ref2 編碼為參照框指定資料、及將mode編碼為預測影像產生法指定資料時所必需之編碼重返還的函數。
一方面，於S106之判斷處理，當判斷ref_vec及ref不一致的情形(判斷參照向量對象框與參照框為不一致的情形)，以參照框為ref所表示的框、參照向量對象框為ref_vec所表示的框時，則求得提供最小速率失真成本mcost之參照向量b_mv_ref、表示參照區域之b_mv、及預測影像產生法指標b_pmode[S117]。
有關S117之處理容後詳述。
然後判斷mcost是否比bestcost小[S118]，於mcost比較小的情形，將bestcost改寫為mcost,best_ref改寫為ref,best_ref_vec改寫為ref_vec,best_mv改寫為b_mv,best_mv_ref改寫為b_mv_ref,best_pmode改寫為b_pmode,best_pmv改寫為pmv[S119]。
一方面，於mcost比較大時，則省略此S119的處理。
其次，找尋與ref_vec所表示之框的時間關係及視點關係與編碼對象框及ref所表示之框的時刻關係及視點關係為一致時之已編碼畢的框(中間框)，令表示該框之指標為ref_mid[S115]。
另外，在滿足前述條件之編碼畢的框不存在於參照框記憶體105內的情形，將ref_mid設定為ref。
然後判斷ref_mid是否與ref或ref_vec一致[S116]。
於S116的判斷處理，在判斷ref_mid不同於ref及ref_vec的情形，則以ref表示之框作為參照框，以ref_vec表示之框作為參照向量對象框，以ref_mid表示之框作為中間框時，求得提供最小速率失真成本mcost之參照向量b_mv_ref、表示中間區域之b_mv_mid、表示參照區域之向量b_mv、及求得預測影像產生法指標b_pmode[S120]。
有關S120之處理容後詳述。
然後，判斷mcost是否比bestCost小[S121]，在mcost較小的情形，將bestcost改寫為mcost，best_ref改寫為ref，best_ref_vec改寫為ref_vec，best_ref_mid改寫為ref_mid，best_mv改寫為b_mv，best_mv_ref改寫為b_mv_ref，best_mv_mid改寫為b_mv_mid，best_pmode改寫為b_pmode，best_pmv改寫為pmv[S122]。
一方面，於S121的判斷處理，在mcost比較大的情形，則將此S122的處理省略。
此外，於S116之判斷處理，在ref_mid與ref一致，或ref_mid與ref_vec一致的情形，亦將包含此S122之S120至S122的處理省略。
於此，實施S117的處理後再實施S120之處理的理由，係因作成中間框有速率失真成本降低的情形。
其次參照第8圖所示流程圖，詳細說明在S117實施之處理。
在本處理，令參照向量變化，並同時對於其時點設定之參照向量求得參照區域，實施求得其時點能提供最適當之速率失真成本的預測影像產生法之處理。
亦即，將參照向量候補指標mv_ref_idx初始化為1，將最小速率失真成本mcost初始化為絕對達不到之最大值maxCost後[S201]，在mv_ref_idx達到分配之參照向量候補數NumOfListMvRef[S212]為止，對mv_ref_idx加算1[S213]，並同時重複實施以下之處理[S202至S211]。
在此重複實施之處理[S202至S211]中，首先求得對應於mv_ref_idx之參照向量，以其當做mv_ref[S202]。
在此，求出輸入影像上之區域blk的影像資料與框ref_vec上之位置pos＋mv_ref之區域的影像資料之相差度，判斷其是否比預設之臨限值TH為小[S203]。
兩個影像資料的相差度，使用二個區域內對應之像素的像素值所計算之差份絕對值和或差份平方和或差份分散值等，任一計算法均無所謂。但必須使用其計算法所對應的臨限值TH。
如相差度在臨限值以上的情形，mv_ref所示參照向量對象區域之影像資料與編碼對象區域之影像資料大有差別，由於表示其區域不對應於編碼對象區域，結束對其時點之mv_ref_idx之處理。
一方面，在S203的判斷處理，如判斷相差度比臨限值小的情形，首先求出對應於框ref_vec上之位置pos＋mv_ref區域之框ref上的區域，求出其位置為pos＋mv_ref＋mv時之mv[S204]。有關在此S204之處理則容後詳述。
然後，使用到此為止所得之框ref_vec上之位置pos＋mv_ref之區域的影像資料RVec[]、及框ref上之位置pos＋mv_ref＋mv之區域的影像資料Ref[]，以調查是否可產生能獲得最小速率失真成本的預測影像[S205至S211]。
亦即，於預測影像產生法指標pmode初始化為1後[S205]，在pmode達到2為止[S210]，對pmode加算1[S211]，並同時以對應於pmode之預測影像的產生法產生預測影像[S206]，計算其時點之速率失真成本cost[s207]，判斷cost是否比mcost小[S208]，在判斷cost較小的情形，重複實施將mcost改寫為cost，b_mv_ref改寫為mv_ref,b_mv改寫為mv，b_pmode改寫為pmode[S209]之處理[S206至S209]。
此時，於S207實施之速率失真成本的計算，使用與前述S110同樣的方法進行。
在此，對於能利用在得到兩個影像資料(參照向量對象框上之影像資料及參照框上之影像資料的兩個影像資料)之預測影像的產生法，因只考慮只用參照框上之影像資料產生預測影像的方法、及對於每對應的像素求得兩個影像資料的平均值以產生預測影像的方法之兩種方法，故將pmode之最大值設定為2。
增加此最大值，使用求出除此以外之兩個影像資料之重疊和的方法等亦無所謂。
亦即，於此為方便說明，將pmode＝1及2之預測影像產生法定義如下式[數式4]，但亦可追加或使用除此之外之預測影像產生法。
另外，於上述預測影像產生法中並未包含只使用參照向量對象框上之影像資料的預測影像產生法，其理由為其對應於參照向量對象框與參照框相同時之預測影像產生法。
其次，參照第9圖所示流程圖，詳細說明在S120實施之處理。
於本處理，在令參照向量變化，並同時對於其時點設定之參照向量，求得中間區域及參照區域，實施求得其時點能提供最適當之速率失真成本的預測影像產生法之處理。
亦即，將參照向量候補指標mv_ref_idx初始化為1，將最小速率失真成本mcost初始化為絕對達不到之最大值maxCost後[S301]，在mv_ref_idx達到分配之參照向量候補數NumOfListMvRef為止[S313]，對mv_ref_idx加算1[S314]，並同時重複實施以下的處理[S302至S312]。
在此重複實施之處理[S302至S312]中，首先求得於mv_ref_idx附加對應之參照向量，以其當做mv_ref[S302]。
在此，求得輸入影像上之區域blk的影像資料及框ref_vec上之位置pos＋mv_ref之區域之影像資料的相差度，判斷其相差度是否比預設之臨限值TH小[S303]。
於此之處理與前述S203之處理相同，相差度亦以與S203之處理同樣的方式求得。
相差度在臨限值以上的情形，mv_ref所示參照向量對象區域之影像資料與編碼對象區域之影像資料大有差別，由於表示其區域不對應於編碼對象區域，結束其時點對mv_ref_idx的處理。
一方面，於S303之判斷處理，在判斷相差度比臨限值小的情形，首先求得對應於框ref_vec上之位置pos＋mv_ref的區域之框ref_mid(中間框)上的區域，求得其位置為pos＋mv_ref＋mv_mid時之mv_mid[S304]。
其次，求得對應於框ref_mid上之位置pos＋mv_ref＋mv_mid之區域的框ref上的區域，求出其位置為pos＋mv_ref＋mv時之mv[S305]。有關在此S304及S305之處理容後詳述。
另外，於S305之處理求得框ref上的區域時，使用框ref_vec上之位置pos＋mv_ref的區域，代替框ref_mid上之位置pos＋mv_ref＋mv_mid的區域對應起點亦無所謂。
依此方法時，因用做樣板(template)的影像資料不變化，故可防止於求出對應區域時因誤差之累積以致具有不接近於編碼對象區域之影像資料的區域被求做對應區域。
然後，使用到此為止所得之框ref_vec上之位置pos＋mv_ref之區域的影像資料RVec[]、框ref_mid上之位置pos＋mv_ref＋mv_mid之區域的影像資料Mid[]、及框ref之位置pos＋mv_ref＋mv之區域的影像資料Ref[]，以調查是否可產生能得最小速率失真成本的預測影像[S306至S312]。
亦即，於預測影像產生法指標pmode初始化為1後[S306]，在pmode達到預測影像產生法之數MaxPmode為止[S311]，對pmode加算1[S312]，並同時以於pmode附加對應之預測影像產生法產生預測影像[S307]，計算其時點之速率失真成本cost[S308]，判斷cost是否比mcost小[S309]，在判斷cost較小的情形，重複實施將mcost改寫為cost，b_mv_ref改寫為mv_ref，b_mv_mid改寫為mv_mid，b_mv改寫為mv，b_pmode改寫為pmode[S310]之處理[S307至S310]。
此時以S308實施的速率失真成本計算係使用與前述S110的計算方法相同的方法進行。
在此，作為在獲得三個影像資料(參照向量對象框上之影像資料、參照框上之影像資料、及中間框上之影像資料的三個影像資料)時可利用之預測影像的產生法，除前述[數式4]所示的方法外，又可舉按對應之每像素求得三個影像資料之平均值以作成預測影像的方法、按對應之每像素求得三個影像資料之中間值以作成預測影像的方法、及假設中間區域與參照向量對象區域間之變化在參照區域與編碼對象區域間發生之產生預測影像的方法。
此等預測影像產生法，以數式表示則如以下[數式5]所示。於此為說明的方便，各別對應於pmode＝3、4、5。又可以除此之外的方法分配pmode，變更pmode分配的順序亦無所謂。
另外，pmode＝5之預測處理將S305之處理依流程圖記述地實施的情形下，由於容易實現假設的資料而增高預測精度。
一方面，pmode＝4之預測在非按照記述實施S305之處理，求得框ref上的區域時，如上述，以使用框ref_vee上之位置pos＋mv_ref的區域，代替框ref_mid上之位置pos＋mv_ref＋mv_mid的區域作為對應起點時，誤差的累積較少而提高預測精度。
因此，因應於pmode，於流程圖之S305可採用切換使用框ref_mid上之位置pos＋mv_ref＋mv_mid之區域、或使用框ref_vec上之位置pos＋mv_ref之區域的方法。
其次，參照第10圖之流程圖詳細說明前述S204、S304、S305實施之處理。
在此流程圖將S204、S304及S305之處理一般化，並表示求得對應於框A上之位置X之區域的框B上之區域Y的處理。
但，以S204、S304、S305求出之mv及mv_mid，係用各個Y之位置計算必要的資料。又以下的說明中，將框A上的位置X之區域單以區域AX表示。
首先，由對應關係資料積蓄記憶體112取得對區域AX實施編碼時所利用之參照向量對象框之指標，設為ref_vec_t[S401]。
此時，區域AX在與編碼處理之單位區域不一致的情形等，則對區域AX實施編碼時所利用之參照向量對象框不限於1個。
在其情形下，將複數之參照向量對象框之中，以在區域AX內對最大區域使用之參照向量對象框之指標設為ref_vec_t。
又，在一個參照向量對象框也沒有時，則在ref_vec_t設定絕對達不到的值。
其次，判斷如上所求得之ref_vec_t是否與B相等[S402]。
在判斷為相等的情形，求出對區域AX實施編碼時所利用之參照向量mv_vec_t[S403]。
此時，在與區域AX之編碼處理的單位區域不一致的情形等，則對區域AX實施編碼時所利用之參照向量不限於一個。
在此情形，於區域AX內，將在參照向量對象框具有ref－vec－t的區域之參照向量中之最大區域所使用之參照向量設為mv_vec_t。
另外，不單純的採用最大區域所用之值，而使用依區域之大小加權的平均值或中間值，或使用不依區域之大小加權而求得之平均值或中間值亦可。
求得mv_vec_t後，於框B上之位置X＋mv_vec_t的週邊，求出具有接近區域AX之影像資料的影像資料之區域Y[S404]。
另外，為了要削減用於探索的演算量，將位置X＋mv_vec_t設定為Y亦無所謂。原因在於，X＋mv_vec_t所示區域係對於區域AX實施編碼時所參照的區域，故為具有某程度之接近於區域AX之影像資料的影像資料之區域，因此不致大幅的減低其對應關係的適合度。
一方面，於S402之判斷處理，在判斷ref_vec_t與B相等時，由對應關係資料積蓄記憶體112取得對區域AX實施編碼時所使用之參照框的指標，設為ref_t[S405]。
此時亦與S401之處理同樣地，有獲得複數之參照框的情形，在其時點使用與S401之處理所說明的方法相同的方法決定一個ref_t。
然後判斷ref_t是否與B相等[S406]。
在判斷為相等的情形，由對應關係資料積蓄記憶體112取得從對區域AX實施編碼時使用之位置X至參照區域之向量mv_t[S407]。
對於區域AX求得複數之mv_t的情形，依據S403之處理說明的方法求出一個mv_t。
求得mv_t後，在框B上之位置X＋mv_t的週邊，求得具有接近於區域AX之影像資料之影像資料的區域Y[S408]。
此時，如S404之處理所說明，為了要削減用於探索的演算量，將位置X＋mv_t當做Y亦無所謂。
一方面，於S406之判斷處理，在判斷ref_t與B不相等的情形，對於具有接近區域AX之影像資料的影像資料之框B上的區域Y，以實施通常之區域匹配(block matching)等的探索求得[S409]。
其次，詳細說明於S127實施之預測影像產生處理。
預測影像係依據到達S127之處理為止之處理求得，依據pos,best_ref,best_ref_vec,best_ref_mid,best_mv,best_mv_ref,best_mv_mid,best_pmode，以下述之程序1產生。
程序1 1.由參照框記憶體105取得框best_ref_vec上之位置pos＋best_mv_ref之區域的影像資料RVec[]。
2.如best_ref等於best_ref_vec則進到6。
3.由參照框記憶體105取得框best_ref上之位置pos＋best_mv_ref＋best_mv之區域的影像資料Ref[]。
4.如best_ref_mid等於best_ref則進到6。
5.由參照框記憶體105取得框best_ref_mid上之位置pos＋best_mv_ref＋best_mv_mid之區域的影像資料Mid[]。
6.依據pmode之值，使用前述[數式4]及[數式5]產生預測影像Pred[]。
另外，以上述以外之預測影像的產生法對應於pmode利用亦無所謂。
其次，詳細說明於S128實施之附加資料編碼處理。
於此所指附加資料係為best_ref,best_ref_vec,best_pmode等。另外，令在對該等資料實施編碼之前已對差份參照向量實施編碼。
首先，對參照向量對象框best_ref_vec實施編碼。
由於認為best_ref_vec，在區域blk之鄰接區域以best_ref_vec實施編碼之框，及對應於鄰接編碼對象框之框被選擇的可能性高，在對於對應該等框之框指標實施編碼的情形，可較對於對應其他框之框指標實施編碼的情形以較少的編碼量實施編碼的方式切換編碼表。
如此，相較於所有的框均需相同編碼量的情形，能以較少的編碼量實施編碼。
其次對參照框best_ref實施編碼。
使用先編碼之best_ref_vec及由另行編碼之差份參照向量可產生之參照向量來切換編碼表。
亦即，使用參照向量對象框best_ref_vec上之參照向量所示之參照向量對象區域的編碼資料，對於認為發生確率高的框指標為分配較短的編碼字的方式來切換編碼表。
例如，在參照向量對象框best_ref_vec非為I框而於參照向量對象區域使用之框內(intra)編碼為最多的情形，從表示無類似於該參照向量對象區域及影像資料之其他框之區域，由於best_ref與best_ref_vec相同的可能性高，因此對於相同於best_ref_vec之框指標分配短的編碼字。
此外，同樣地，對於參照向量對象區域實施編碼時用做參照框及參照向量對象框之框，由於所使用的區域愈大則被best_ref選擇的可能性高，因此依其機率的順序分配編碼字。
以如此進行之方式，相較於對全部的指標分配相同長度編碼字，能以較少的編碼量實施編碼。
最後對best_pmode實施編碼。使用先前編碼之best_ref_vec及best_ref及參照框記憶體105內之框資料來切換編碼表。
例如，在與best_ref_vec與best_ref相等的情形，因從相對於區域blk只能獲得一個對應區域，即使pmode為1以外亦無意義，因此可由設定省略pmode之編碼本身的編碼表來削減編碼量。
又相反地，在best_ref_vec與best_ref不同的情形，由於認為pmode被選做1的可能性極低，以令1以外的編碼字較短的方式切換編碼表，而可較對全部之預測影像產生法分配同一長度的編碼字，以較少的編碼量實施編碼。
又，於參照框上只有兩個框的情形，或考慮best_ref_vec與best_ref之組合時，在參照框記憶體105上無適當的中間框的情形，由於無法取得需要三個對應區域的預測影像產生法，以令其他之預測影像產生法之編碼字變短來切換編碼表的方式，而可較對全部預測影像產生法均分配相同長度之編碼字，以較少的編碼量實施編碼。
又如前所述，對於附加資料可對其個別實施編碼，將其組合分配號碼以實施編碼亦可。
也就是說，於參照框記憶體有兩張影像(指標為1及2)，預測影像產生法為目前為止所舉的五種類時，則{best_ref,best_ref_vec,best_pmode}之組合存在有{1,1,1}、{1,1,2}、{1,1,3}、{1,1,4}、{1,1,5}、{1,2,1}、{1,2,2}、{1,2,3}、{1,2,4}、{1,2,5}、{2,1,1}、{2,1,2}、{2,1,3}、{2,1,4}、{2,1,5}、{2,2,1}、{2,2,2}、{2,2,3}、{2,2,4}、{2,2,5}之20種類。
對上述之20種類的組合分配1至20之號碼，對其號碼實施編碼亦可。
但在上述組合中，有數個無意義的組合。
例如，best_ref與best_ref_vec相同者，由於對編碼對象區域只能獲得一個對應區域，因此不可能有pmode＝2至5的狀態。
亦即，有效的組合只有{1,1,1}、{1,2,1}、{1,2,2}、{1,2,3}、{1,2,4}、{1,2,5}、{2,1,1}、{2,1,2}、{2,1,3}、{2,1,4}、{2,1,5}、{2,2,1}之12種，只將1至12之號碼中的一個實施編碼即可。
此外，於參照框記憶體只有兩張影像的情形，因不存在有可以選擇為中間框的框，故對於需要三個區域的pmode亦無意義。因此，有效的組合更減少為{1,1,1}、{1,2,1}、{1,2,2}、{2,1,1}、{2,1,2}、{2,2,1}之6種，只將1至6之號碼中的一個實施編碼即可。
即使在參照框記憶體有三張以上的影像的情形，在本實施形態例的情形，以best_ref與best_ref_vec的組合，不存在有適當的中間框，因而有不能產生需要三個對應區域之預測影像的狀態。於此情形，則可應用對無效的組合不分配編碼的方法。
再者，對於三個全部資料之組合不編碼，而只對特定之兩個予以組合實施編碼亦可。
例如，best_ref_vec為個別地實施編碼，將best_ref與pmode組合而用一個編碼字實施編碼亦可。此時，藉由使用與best_ref_vec不同方式實施編碼之參照向量所得參照向量對象區域之編碼數據以切換{best_ref,pmode}之編碼表實施編碼的方法，亦可依前述關連例而容易地類推。
第11圖表示本發明之活動影像解碼裝置200之一實施形態例。
該活動影像解碼裝置200，具備對於成為解碼對象之影像的預測影像之差份的差份影像之編碼數據實施解碼之差份影像解碼部201；對於產生預測影像時所需要之參照向量的預測參照向量的差份之差份參照向量的編碼數據實施解碼之差份參照向量解碼部202；對由產生預測影像時必需之參照向量對象框指定資料及參照框指定資料以及預測影像產生法指定資料所構成之附加資料的編碼數據實施解碼之附加資料解碼部203；依據所得資料製作解碼對象區域之預測影像之預測影像製作部204；積蓄以預測影像與解碼之差分影像之和求得之解碼影像的參照框記憶體205；在解碼對象區域之鄰接區域使用之向量資料產生於解碼對象區域使用成為參照向量的預測向量之預測參照向量的預測參照向量產生部206；將解碼使用之參照向量及參照區域及參照向量對象框及參照框之組合，於解碼對象框及解碼對象區域賦予關係而積蓄之對應關係資料積蓄記憶體207；由以預測參照向量及解碼之差份參照向量之和求得之參照向量所表示，且設定為參照向量對象框上之參照向量對象區域的參照向量對象區域設定部208；以及使用參照向量對象區域之影像資料及參照框來探索參照區域之參照區域域探索部209。
第12圖表示如上構成之活動影像解碼裝置200實施之活動影像解碼處理之流程圖。
以下參照該流程圖詳細說明如此構成之活動影像解碼裝置200實施之活動影像解碼處理。但，假設已對複數框之影像解碼畢，其結果為已積蓄在參照框記憶體205、及對應關係資料積蓄記憶體207。
首先，將差份影像之編碼數據、差份參照向量之編碼數據、及附加資料之編碼數據輸入活動影像解碼裝置200，然後個別傳送至差份影像解碼部201，差份參照向量解碼部202，附加資料解碼部203[S501]。
解碼對象影像之影像全體經區域分割，按每一區域實施解碼[S502至S517]。
在此流程圖中，區域(block)之指標以blk表示，一個影像所含有之總區域數以MaxBlk表示，也就是說，在指標blk初期化為1後[S502]，在blk達到MaxBlk為止[S516]，對blk加算1[S517]，並同時重複實施以下的處理[S503至S515]以對影像實施解碼。
在每區域實施之處理，首先將區域blk之位置儲存於pos[S503]，由儲存在對應關係資料記憶體207之在區域blk之週邊區域所使用之參照向量等，產生預測參照向量pmv[S504]。
其次從編碼資料，實施相對於對區域blk之參照向量對象框指標dec_ref_vec、參照框指標dec_ref、預測影像產生法指標dec_pmode、差份參照向量dec_sub_mv_ref、及預測餘差影像之影像資料Res[]的解碼，對pmv＋dec_sub_mv_ref實施演算取得參照向量dec_mv_ref，將mv以零向量初始化[S505]。
然後，判斷dec_ref與dec_ref_vec是否相等[S506]。在判斷為相等的情形，產生預測影像Pred[][S512]。
於此實施之預測影像產生處理係依前述程序1實施而將best_ref改讀為dec_ref、best_ref_vec改讀為dec_ref_vec、best_mv_ref改讀為dec_mv_ref、best_pmode改讀為dec_pmode、best_ref_mid改讀為ref_mid、best_mv_mid改讀為mv_mid、best_mv改讀為mv。
一方面，於S506的判斷處理，在判定dec_ref與dec_ref_vec不相等的情形，找出dec_ref_vec表示之框之時刻關係及視點關係，與解碼對象框及dec_ref表示與框之時刻關係及視點關係為一致之已解碼畢的框，將其設為ref_mid[S507]。
另外，在參照框記憶體205內不存在有滿足上述條件之解碼畢的框的情形，ref_mid設定於dec_ref。
然後，判斷ref_mid與dec_ref或dec_ref_vec是否一致[S508]。
在判斷為一致的情形，求出對應於框dec_ref_vec上之位置pos＋dec_mv_ref之區域的框dec_ref上的區域，求出其位置為pos＋dec_mv_ref＋mv時之mv[S509]。
該處理除了一部分的變數名不同之外，與在已說明之S204實施的處理相同。
此外，於S508的處理，在判斷ref_mid不等於dec_ref及dec_ref_vec之任一者的情形，首先求得對應於框dec_ref_vec上之位置pos＋dec_mv_ref之區域的框ref_mid上之區域，並求得其位置為pos＋dec_mv_ref＋mv_mid時之mv_mid[S510]。
其次，求出對應於框ref_mid上之位置pos＋dec_mv_ref＋mv_mid之區域的框dec_ref上的區域，並求得其位置為pos＋dec_mv_ref＋mv時之mv[S511]。
該處理除了一部分的變數名不同之外，個別與在已說明之S304及S305實施之處理相同。
結束S509及S511之處理後，使用所求得之資料產生預測影像Pred[S512]。
於此實施之預測影像產生處理，如前所述，係依前述之程序1實施將best_ref改讀為dec_ref、best_ref_vec改讀為dec_ref_vec、best_mv_ref改讀為dec_mv_ref、best_pmode改請為dec_pmode、best_ref_mid改讀為ref_mid、best_mv_mid改讀為mv_mid、及best_mv改讀為mv。
產生預測影像Pred[]後，將Pred[]及Res[]之像素值依各像素增加而產生解碼影像Dec[][S513]。輸出所產生之Dec[]，並同時儲存在參照框記憶體205[S514]。
此外，將於解碼使用之dec_ref_vec、dec_ref、dec_mv_ref、dec_pmode、mv對應於解碼對像框之指標及pos(或blk)儲存在對應關係資料積蓄記憶體207[S515]。
在此，在對於S505之處理所實施之對附加資料之編碼數據實施解碼時，與前述編碼時的方法同樣地切換編碼表並同時實施解碼。
另外，在對於附加資料之編碼數據實施解碼之前，對差份參照向量之編碼數據實施解碼，令區域blk使用之參照向量為已獲得者。
首先，對dec_ref_vec實施解碼。
dec_ref_vec表示之框，由於為在區域blk之鄰接區域用做參照向量對象框之框，及於鄰接編碼對象框之框所對應的框的可能性高，故當做對應於該等框之框指標已編碼的可能性高，相對於該等框指標切換成分配有比對應於其他框之框指標為更短之編碼字的編碼表。
其次，將dec_ref解碼。於此使用先前解碼之best_ref_vec及參照向量來切換編碼表。
亦即，使用框dec_ref_vec上之參照向量所表示之參照向量對象區域之編碼資料，切換成對認為產生機率高的框指標分配較短編碼字之編碼表。
例如，在框dec_ref_vec非為I框而於參照向量對象區域使用之框內編碼為最多的情形，從表示無類似於該參照向量對象區域及影像資料之其他框之區域來看，由於dec_ref與dec_ref_vec相同的可能性高，因此對於相同於dec_ref_vec之框指標使用分配有短編碼字之編碼表。
此外，同樣的，對於參照向量對象區域實施解碼時用做參照框及參照向量對象框之框，由於使用的區域愈大，被dec_ref選擇的可能性愈高，因此依其機率的順序使用分配編碼字的編碼表。
最後對dec_pmode實施解碼。使用先前解碼之dec_ref_vec及dec_ref以及參照框記憶體105內之框資料切換編碼表。
例如，於dec_ref_vec與dec_ref相等的情形，由於對於區域blk只能獲得一個對應區域，即使dec_pmode為1以外亦無意義，故判斷dec_pmode不含於編碼數據而將dec_pmode解碼為1。
此外，反之在dec_ref_vec與dec_ref不相等的情形，由於認為dec_pmode被選為1的可能性極低，因此使用1以外之編碼字為比較短的編碼表。
此外，在參照框上只有兩張框的情形，或考慮dec_ref_vec與dec_ref的組合時在參照框記憶體205無適當的中間框的情形，因無法取用需要三個對應區域的預測影像產生法，故切換至以其他之預測影像產生法的編碼字比較短的編碼表。
但於此使用之編碼表及其切換基準，必須使用與編碼時相同者。
此外，如於前述活動影像編碼裝置100之實施形態所做說明，對附加資料不個別編碼，而對組合分配號碼予以編碼亦可。其情形，在解碼亦同樣地，以作為對組合分配有號碼者實施解碼處理的方式實施解碼處理。
依照圖示實施形態例說明本發明，但本發明並不限定於該等實施形態例。
例如，於實施形態例中，係將中間框固定為參照向量對象框之刻關係及視點關係，和編碼及解碼對象框與參照框的時刻關係及視點關係一致之框。
可是，只要編碼側與解碼側依據相同規則選擇，則使用依別的規則決定的框亦可。
例如，以依據「表示時刻與參照向量對象框之表示時刻相等且視點資料與參照框之視點資料相等之框，或在表示時刻等於參照框之表示時刻且視點資料等於參照向量對象框之視點資料之框中，表示時刻及視點資料比較接近於編碼及解碼對象框之表示時刻及視點資料的框」的基準來選擇中間框亦可。
以使用依該選擇方法所選擇的中間框，為了令包含於參照向量對象框至中間框、中間框至參照框之各區間之影像變化的要因成為時間或攝影機之任一方，因此能減少對於對應區域之探索所需要的演算量。
此外，於使用此選擇方法之中間框的情形，藉由前述之pmode＝5之預測影像產生法產生之影像的影像資料接近於編碼(解碼)對象區域之影像資料的可能性降低。這是因為在上述預測影像產生法所假設的狀況不成立。
在其情形，以此選擇方法選擇的中間框，係在上述預測影像產生法假設的狀況，亦即只在參照框與編碼對象框之關係及中間框與參照向量對象框之關係相等的狀況成立的情形使選擇上述預測影像產生法為可能，或以如此之假設狀況之成立與不成立來切換編碼表，以藉由容易被選擇之預測影像產生法分配短的編碼字的方式實施亦可。
此外，實施形態例中，並未對框內部編碼有所敘述，然而以一預測影像的產生法而言，例如可以分配其他號碼的方式而容易地追加預測影像產生法。
此外，不當做預測影像產生法，如H.264準備其他的編碼模式所實現之活動影像編碼裝置及活動影像解碼裝置亦可容易地由本發明類推。
以上說明之活動影像編碼及解碼處理，亦可藉由電腦及軟體程式實現，其程式可記錄在可供電腦讀取之記錄媒體提供，亦可透過網路提供。
此外，於以上之實施形態例，係以活動影像編碼裝置及活動影像解碼裝置為中心做說明，但藉由對應於該等活動影像編碼裝置及活動影像解碼裝置之各部動作的處理步驟即可實現本發明之活動影像編碼方法及活動影像解碼方法。
以上係參照圖面說明了本發明的實施形態例，但以上說明之實施形態例僅為本發明之例示，本發明不限定於以上說明的實施形態例為顯而易見之事實。
因此，在不脫離本發明之精神及範圍的範圍可對構成要素做追加、省略、更換以及其他變更。
[產業上之利用可能性]
根據本發明，在鄰接區域產生預測影像時之參照框為不同的情形下，亦由於使用相同之參照向量對象框，使得非由向量表現不可的時間及視差之影像變化的要因被統一，可從鄰接區域編碼的向量，產生接近於應編碼之向量的預測向量，藉此能以較少的編碼量對為了框間預測編碼之向量資料實施編碼。
100．．．活動影像編碼裝置
101．．．影像輸入部
102．．．預測影像製作部
103．．．差份影像編碼部
104．．．差份影像解碼部
105．．．參照框記憶體
106．．．參照框設定部
107．．．參照向量對象框設定部
108．．．預測影像產生法設定部
109．．．附加資料編碼部
110．．．參照向量對象區域探索部
111．．．參照區域探索部
112．．．對應關係資料積蓄記憶體
113．．．預測參照向量產生部
114．．．差份參照向量編碼部
第1圖係表示使用參照向量對象區域編碼時之參照框之參照區域決定法的例之圖。
第2圖係表示使用參照向量對象區域編碼時之參照向量對象框之參照區域決定法的例之圖。
第3圖係表示使用參照向量對象區域編碼時之參照向量之參照區域決定法的例之圖。
第4圖係表示使用參照向量對象區域編碼時之向量之參照區域決定法的例之圖。
第5圖表示使用參照向量對象區域編碼時之參照向量的參照區域決定法的例之圖。
第6圖係為本發明之活動影像編碼裝置之一實施形態例。
第7圖係為本實施形態例之活動影像編碼裝置實施之活動影像編碼處理之流程圖的例。
第8圖係為在不使用本實施形態例之中間框的情形之參照區域決定處理之流程圖的例。
第9圖係為使用本實施形態例之中間框的情形之參照區域決定處理之流程圖的例。
第10圖係為本實施形態例之對應區域探索處理之流程圖的例。
第11圖係為本發明之活動影像解碼裝置之實施形態的例。
第12圖係為本發明實施形態之活動影像解碼裝置實施活動影像解碼處理之流程圖的例。
第13A圖係為H.264之動作向量預測的說明圖。
第13B圖同樣係為H.264之動向量預測的說明圖。
第13C圖同樣係為H.264之動向量預測的說明圖。
第13D圖同樣係為H.264之動向量預測的說明圖。
第14圖係為攝影機間產生之視差的說明圖。
無元件符號

Claims (20)

  1. 一種活動影像編碼裝置，係將影像全體做區域分割，按每區域由已編碼畢之複數之框的影像資料產生預測影像，以對編碼對象框內之編碼對象區域的影像與預測影像之差份資料實施編碼的方式對活動影像實施編碼，該裝置係具備：參照向量對象框選擇手段，從已編碼畢之複數的框中選擇編碼對象區域參照向量所示之參照向量對象框；匹配手段，係為從已編碼畢之複數的框中選擇參照框，且從前述參照向量對象框上的區域設定與編碼對象區域同樣大小之參照向量對象之手段，並以「使用區段匹配所辨別之前述參照向量對象區域的影像資料所對應之前述參照框上的參照區域影像資料」與「編碼對象區域的影像資料」之匹配誤差量成為最小之方式，進行上述選擇/設定；預測參照向量產生手段，使用對編碼對象區域的鄰接區域實施編碼時所用之參照向量及參照向量對象框，以及編碼對象區域的前述參照向量對象框，而產生屬於相對於編碼對象區域的參照向量之預測向量之預測參照向量；參照向量對象框指定資料編碼手段，對指定編碼對象區域的前述參照向量對象框之資料實施編碼；差份參照向量編碼手段，對前述參照向量與編碼對象區域的前述預測參照向量之差份向量實施編碼； 參照框指定資料編碼手段，對指定前述參照框的資料實施編碼；預測影像產生手段，使用前述參照框之前述參照區域的影像資料而產生預測影像，以及差份資料編碼手段，對於編碼對象區域之前述影像資料與前述產生之預測影像的差份資料實施編碼。
  2. 如申請專利範圍第1項之活動影像編碼裝置，其中，前述預測影像產生手段，係由前述參照區域之影像資料及前述參照向量對象區域之影像資料產生預測影像。
  3. 如申請專利範圍第1項之活動影像編碼裝置，其中，前述預測影像產生手段，係選擇由前述參照區域之影像資料產生預測影像，或選擇由前述參照區域之影像資料及前述參照向量對象區域之影像資料產生預測影像，使用所選擇的產生方法產生預測影像，再者，具備對指定前述選擇之產生法的資料實施編碼的預測影像產生法指定資料編碼手段。
  4. 如申請專利範圍第1項之活動影像編碼裝置，其中，在將對前述匹配手段之前述參照向量對象區域實施編碼之際所使用之參照框選擇為前述參照框的情形，對前述參照向量對象區域實施編碼之際使用的參照區域係成為前述參照框上的前述參照區域。
  5. 如申請專利範圍第1項之活動影像編碼裝置，其中，在將對前述匹配手段之前述參照向量對象區域實 施編碼之際所使用之參照向量對象框選擇為前述參照框的情形，對前述參照向量對象區域實施編碼之際所使用的參照向量對象區域係成為前述參照框上的前述參照區域。
  6. 如申請專利範圍第1項之活動影像編碼裝置，其中，前述匹配手段於編碼對象框間，在將具有對前述參照向量對象區域實施編碼之際所使用的參照向量對象框與對於編碼對象區域所設定之參照向量對象框之時刻資料及視點資料的關係相同的關係之已編碼畢的框選擇為前述參照框的情形，以前述編碼對象區域為起點，以具有與對前述參照向量對象區域實施編碼時所使用之參照向量相同方向及大小之向量表示之前述選擇之參照框上的區域，係成為前述參照框上的前述參照區域。
  7. 如申請專利範圍第1項之活動影像編碼裝置，其中，在前述匹配手段中，於編碼對象框間，在將具有對前述參照向量對象區域實施編碼之際所使用的參照框與對於編碼對象區域所設定之參照向量對象框之時刻資料及視點資料的關係相同的關係之已編碼畢之框選擇為前述參照框的情形，係以前述編碼對象區域為起點，以具有對於前述參照向量對象區域及前述參照向量對象區域實施編碼時所使用之參照區域之對應關係的向量相同方向及大小之向量表示之前述所選擇之參照框上的區域，係成為前述參照框上的前述參照區域。
  8. 如申請專利範圍第1項之活動影像編碼裝置，其中，前述活動影像係為使用複數的攝影機之多視點活動影像；前述活動影像編碼裝置係具備前述參照向量對象框係與時間及攝影機間要素的任一方相等，且前述參照框係與時間及攝影機間要素中的另一方相等之已編碼畢之框設定為中間框的中間框設定手段，在前述匹配手段，以使用區段匹配所辨別之前述參照向量對象區域的影像資料所對應之與前述中間框上之中間區域的影像資料對應之前述參照框上之參照區域的影像資料，與編碼對象區域的影像資料之匹配誤差成為最小之方式選擇前述參照框，並設定前述參照向量對象區域。
  9. 如申請專利範圍第8項之活動影像編碼裝置，其中，於前述預測影像產生手段，選擇由前述參照區域之影像資料產生預測影像、選擇由前述參照區域之影像資料及前述參照向量對象區域之影像資料產生預測影像、或選擇由前述參照區域之影像資料及前述中間區域之影像資料及前述參照向量對象區域之影像資料產生預測影像，使用所選擇的產生法產生預測影像，再者，具備對指定前述選擇之產生法的資料實施編碼之預測影像產生法指定資料編碼手段。
  10. 如申請專利範圍第3項或第9項之活動影像編碼裝置，其中， 前述參照框指定資料編碼手段，使用前述參照向量對象區域之編碼數據以切換對參照框指定資料實施編碼時之編碼表，於前述預測影像產生法指定資料編碼手段，至少對應於前述參照向量對象區域之編碼數據、前述參照框、及前述參照向量對象框之一者，以切換對預測影像產生法指定資料實施編碼時之編碼表。
  11. 一種活動影像解碼裝置，對於影像全體做區域分割，按每區域由已解碼畢之複數的框之影像資料產生預測影像，以對於預測影像及解碼對象框內之解碼對象區域的影像之差份資料實施解碼而對活動影像實施解碼，該裝置係具備：參照向量對象框指定資料解碼手段，從編碼數據對指定由已解碼畢之複數的框中所選擇，且由解碼對象區域的參照向量所示之參照向量對象框之資料實施解碼；預測參照向量產生手段，使用對解碼對象區域的鄰接區域實施解碼時所用之參照向量及參照向量對象框，以及解碼對象區域的前述參照向量對象框，而產生屬於相對於解碼對象區域的參照向量之預測向量之預測參照向量；差份參照向量解碼手段，從編碼數據對前述參照向量與解碼對象區域的前述預測參照向量之差所對應之差份向量實施解碼；參照向量產生手段，使用前述預測參照向量及前述 差份向量而產生解碼對象區域的前述參照向量；參照框指定資料解碼手段，從編碼數據對指定由已解碼畢之複數的框中所選擇之參照框之資料實施解碼；參照框區域設定手段，係為設定前述參照框上之參照區域之手段，在解碼對象區域的前述參照向量對象框上，以解碼對象區域的前述參照向量所示之參照向量對象區域的影像資料，與前述參照區域的影像資料之區段匹配誤差量成為最小之方式設定前述參照框上之參照區域；以及預測影像產生手段，使用對應於前述參照區域之參照框的影像資料以產生預測影像。
  12. 如申請專利範圍第11項之活動影像解碼裝置，其中，前述預測影像產生手段，係由前述參照區域之影像資料及前述參照向量對象區域之影像資料產生預測影像。
  13. 如申請專利範圍第11項之活動影像解碼裝置，該裝置係具備：預測影像產生法指定資料解碼手段，從編碼數據對於指定由前述參照區域之影像資料產生預測影像，或由前述參照區域之影像資料及前述參照向量對象區域之影像資料產生預測影像的資料實施解碼；並且，在前述預測影像產生手段，使用前述解碼的資料所指定的產生法產生預測影像。
  14. 如申請專利範圍第11項之活動影像解碼裝置，其中， 於解碼前述參照向量對象區域時被解碼之參照框指定資料表示的框與前述參照框相同的情形，則在前述參照框區域設定手段，以於解碼前述參照向量對象區域時使用之參照區域設定為前述參照區域。
  15. 如申請專利範圍第11項之活動影像解碼裝置，其中，對於前述參照向量對象區域實施解碼時被解碼之參照向量對象框指定資料所表示的框與前述參照框相等的情形，前述參照框區域設定手段，於解碼前述參照向量對象區域時所使用之參照向量對象區域設定為前述參照區域。
  16. 如申請專利範圍第11項之活動影像解碼裝置，其中，於解碼前述參照向量對象框與前述參照向量對象區域時被解碼之參照向量對象框指定資料所表示之框的時刻資料及視點資料之關係相等於前述解碼對象框與前述參照框之時刻資料及視點資料的關係的情形，於前述參照框區域設定手段，以前述解碼對象區域為起點，將具有與解碼前述參照向量對象區域時所用之參照向量相同方向及大小之向量所示之參照框上之區域設定為前述參照區域。
  17. 如申請專利範圍第11項之活動影像解碼裝置，其中，於解碼前述參照向量對象框與前述參照向量對象區域時被解碼之參照框指定資料表示之框的時刻及視點資料之關係相等於前述解碼對象框與前述參照框之時刻資料及視點資料之關係的情形，在前述參照框區域 設定手段，以前述解碼對象區域為起點，以具有表示與於解碼前述參照向量對象區域及前述參照向量對象區域時所用之參照區域之對應關係的向量為相同方向及大小的向量所示之參照框上的區域設定為前述參照區域。
  18. 如申請專利範圍第11項之活動影像解碼裝置，其中，前述活動影像係為使用複數的攝影機之多視點活動影像；前述活動影像解碼裝置具有前述參照向量對象框係與時間及攝影機間要素的任一方相等，且前述參照框係與時間及攝影機間要素中的另一方相等之已解碼畢之框設定為中間框的中間框設定手段；以及在前述參照框區域設定手段，以使用區段匹配所辨別之前述參照向量對象區域的影像資料所對應之與前述中間框上之中間區域的影像資料，與前述參照區域的影像資料之匹配誤差成為最小之方式，設定前述參照區域。
  19. 如申請專利範圍第18項之活動影像解碼裝置，其中，具有從編碼數據對指定由前述參照區域之影像資料產生預測影像，或是由前述參照區域之影像資料及前述參照向量對象區域之影像資料產生預測影像，又或是由前述參照區域之影像資料及前述中間區域之影像資料以及前述參照向量對象區域之影像資料產生預測影像之資料實施解碼之預測影像產生法指定資料解碼手段； 而在前述預測影像產生手段，使用前述解碼之資料所指定的產生法產生預測影像。
  20. 如申請專利範圍第13項或第19項之活動影像解碼裝置，其中，在前述參照框指定資料解碼手段，使用前述參照向量對象區域之解碼數據，以切換對參照框指定資料實施解碼時之編碼表，於前述預測影像產生法指定資料解碼手段，至少對應於前述參照向量對象區域之解碼數據、前述參照框、及前述參照向量對象框之一者，以切換對預測影像產生法指定資料實施解碼時之編碼表。
TW96140159A 2006-10-30 2007-10-26 活動影像編碼方法及解碼方法、其裝置、其電腦程式以及記錄有該電腦程式之記憶媒體 TWI400959B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006293901 2006-10-30

Publications (2)

Publication Number Publication Date
TW200826692A TW200826692A (en) 2008-06-16
TWI400959B true TWI400959B (zh) 2013-07-01

Family

ID=39344100

Family Applications (2)

Application Number Title Priority Date Filing Date
TW101112971A TWI502969B (zh) 2006-10-30 2007-10-26 活動影像編碼方法及解碼方法、其電腦程式以及記錄有該電腦程式之記憶媒體
TW96140159A TWI400959B (zh) 2006-10-30 2007-10-26 活動影像編碼方法及解碼方法、其裝置、其電腦程式以及記錄有該電腦程式之記憶媒體

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW101112971A TWI502969B (zh) 2006-10-30 2007-10-26 活動影像編碼方法及解碼方法、其電腦程式以及記錄有該電腦程式之記憶媒體

Country Status (11)

Country Link
US (2) US8532190B2 (zh)
EP (2) EP2512139B1 (zh)
JP (1) JP4999860B2 (zh)
KR (2) KR101533740B1 (zh)
CN (1) CN101569202B (zh)
BR (1) BRPI0718272A2 (zh)
CA (1) CA2667175A1 (zh)
ES (1) ES2439444T3 (zh)
RU (2) RU2458479C2 (zh)
TW (2) TWI502969B (zh)
WO (1) WO2008053758A1 (zh)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101158491B1 (ko) 2008-12-08 2012-06-20 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
US20120320986A1 (en) * 2010-02-23 2012-12-20 Nippon Telegraph And Telephone Corporation Motion vector estimation method, multiview video encoding method, multiview video decoding method, motion vector estimation apparatus, multiview video encoding apparatus, multiview video decoding apparatus, motion vector estimation program, multiview video encoding program, and multiview video decoding program
MY186093A (en) * 2010-07-15 2021-06-21 Velos Media Int Ltd Image encoding device, and image decoding device
JP5281632B2 (ja) * 2010-12-06 2013-09-04 日本電信電話株式会社 多視点画像符号化方法，多視点画像復号方法，多視点画像符号化装置，多視点画像復号装置およびそれらのプログラム
US20120189060A1 (en) * 2011-01-20 2012-07-26 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for encoding and decoding motion information and disparity information
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
KR20120095610A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP5747559B2 (ja) * 2011-03-01 2015-07-15 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム
WO2012124121A1 (ja) * 2011-03-17 2012-09-20 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
US20120268551A1 (en) * 2011-04-19 2012-10-25 Ben Wu Image Interaction Device, Interactive Image Operating System, and Interactive Image Operating Method thereof
US9485517B2 (en) 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
US9366448B2 (en) 2011-06-20 2016-06-14 Honeywell International Inc. Method and apparatus for configuring a filter change notification of an HVAC controller
US20140104383A1 (en) * 2011-06-22 2014-04-17 Sony Corporation Image processing device and method
WO2013001748A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
WO2013001749A1 (ja) * 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
US8892223B2 (en) 2011-09-07 2014-11-18 Honeywell International Inc. HVAC controller including user interaction log
JP6039178B2 (ja) * 2011-09-15 2016-12-07 シャープ株式会社 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
JP2013102297A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
JP2013126093A (ja) * 2011-12-14 2013-06-24 Sony Corp 画像処理装置及び画像処理方法
US9206993B2 (en) 2011-12-14 2015-12-08 Honeywell International Inc. HVAC controller with utility saver switch diagnostic feature
US10533761B2 (en) 2011-12-14 2020-01-14 Ademco Inc. HVAC controller with fault sensitivity
US8902071B2 (en) 2011-12-14 2014-12-02 Honeywell International Inc. HVAC controller with HVAC system fault detection
US10747243B2 (en) 2011-12-14 2020-08-18 Ademco Inc. HVAC controller with HVAC system failure detection
US9002523B2 (en) 2011-12-14 2015-04-07 Honeywell International Inc. HVAC controller with diagnostic alerts
US20130158720A1 (en) 2011-12-15 2013-06-20 Honeywell International Inc. Hvac controller with performance log
US10139843B2 (en) 2012-02-22 2018-11-27 Honeywell International Inc. Wireless thermostatic controlled electric heating system
CN103392189B (zh) * 2012-02-23 2017-10-31 史克威尔·艾尼克斯控股公司 动态图像传输服务器、动态图像播放装置以及控制方法
US9442500B2 (en) 2012-03-08 2016-09-13 Honeywell International Inc. Systems and methods for associating wireless devices of an HVAC system
US10452084B2 (en) 2012-03-14 2019-10-22 Ademco Inc. Operation of building control via remote device
US9488994B2 (en) 2012-03-29 2016-11-08 Honeywell International Inc. Method and system for configuring wireless sensors in an HVAC system
WO2013162273A1 (ko) * 2012-04-24 2013-10-31 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
RU2506712C1 (ru) * 2012-06-07 2014-02-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ межкадрового прогнозирования для кодирования многоракурсной видеопоследовательности
WO2014010464A1 (ja) * 2012-07-10 2014-01-16 シャープ株式会社 予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成方法、およびプログラム
JP2014027448A (ja) * 2012-07-26 2014-02-06 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US9477239B2 (en) 2012-07-26 2016-10-25 Honeywell International Inc. HVAC controller with wireless network based occupancy detection and control
US9594384B2 (en) 2012-07-26 2017-03-14 Honeywell International Inc. Method of associating an HVAC controller with an external web service
US9020282B2 (en) * 2012-12-28 2015-04-28 Intel Corporation Coder based partial image storage and retrieval
US10094585B2 (en) 2013-01-25 2018-10-09 Honeywell International Inc. Auto test for delta T diagnostics in an HVAC system
JP6139953B2 (ja) * 2013-04-12 2017-05-31 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
US9806705B2 (en) 2013-04-23 2017-10-31 Honeywell International Inc. Active triac triggering circuit
US9584119B2 (en) 2013-04-23 2017-02-28 Honeywell International Inc. Triac or bypass circuit and MOSFET power steal combination
US10811892B2 (en) 2013-06-28 2020-10-20 Ademco Inc. Source management for a power transformation system
US11054448B2 (en) 2013-06-28 2021-07-06 Ademco Inc. Power transformation self characterization mode
US9983244B2 (en) 2013-06-28 2018-05-29 Honeywell International Inc. Power transformation system with characterization
US9628795B2 (en) * 2013-07-17 2017-04-18 Qualcomm Incorporated Block identification using disparity vector in video coding
US9426465B2 (en) * 2013-08-20 2016-08-23 Qualcomm Incorporated Sub-PU level advanced residual prediction
JP6386466B2 (ja) * 2013-10-17 2018-09-05 日本電信電話株式会社 映像符号化装置及び方法、及び、映像復号装置及び方法
WO2015056647A1 (ja) * 2013-10-17 2015-04-23 日本電信電話株式会社 映像符号化装置及び方法、及び、映像復号装置及び方法
KR101750421B1 (ko) 2013-10-17 2017-06-23 니폰 덴신 덴와 가부시끼가이샤 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램
US9673811B2 (en) 2013-11-22 2017-06-06 Honeywell International Inc. Low power consumption AC load switches
US9857091B2 (en) 2013-11-22 2018-01-02 Honeywell International Inc. Thermostat circuitry to control power usage
US20160295241A1 (en) * 2013-12-03 2016-10-06 Nippon Telegraph And Telephone Corporation Video encoding apparatus and method, video decoding apparatus and method, and programs therefor
EP3080967B1 (en) 2013-12-11 2021-10-13 Ademco Inc. Building automation control systems
KR20160086414A (ko) * 2013-12-27 2016-07-19 니폰 덴신 덴와 가부시끼가이샤 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치, 영상 부호화 프로그램 및 영상 복호 프로그램
WO2015141549A1 (ja) * 2014-03-20 2015-09-24 日本電信電話株式会社 動画像符号化装置及び方法、及び、動画像復号装置及び方法
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9628074B2 (en) 2014-06-19 2017-04-18 Honeywell International Inc. Bypass switch for in-line power steal
US9683749B2 (en) 2014-07-11 2017-06-20 Honeywell International Inc. Multiple heatsink cooling system for a line voltage thermostat
JP5858119B2 (ja) * 2014-10-15 2016-02-10 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
EP3171598A1 (en) * 2015-11-19 2017-05-24 Thomson Licensing Methods and devices for encoding and decoding a matrix of views obtained from light-field data, corresponding computer program and non-transitory program storage device
US10488062B2 (en) 2016-07-22 2019-11-26 Ademco Inc. Geofence plus schedule for a building controller
CN107872671B (zh) * 2016-09-26 2022-01-14 华为技术有限公司 一种图片编码方法及终端
CN110636334B (zh) * 2019-08-23 2022-12-09 西安万像电子科技有限公司 数据传输方法及系统

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0232486A (ja) * 1988-07-22 1990-02-02 Fuji Electric Co Ltd 経時的収集データ欠損時の自動修復方法
JPH0262180A (ja) * 1988-08-26 1990-03-02 Fujitsu Ltd 動画像の動き補償予測符号化方式
JPH05225152A (ja) * 1992-02-13 1993-09-03 Hitachi Ltd プロセスコントローラ
JPH0764891A (ja) * 1993-06-30 1995-03-10 Nissan Motor Co Ltd 情報収集方法
JPH0887317A (ja) * 1994-09-14 1996-04-02 Toshiba Syst Technol Kk プラント性能計算装置
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JPH09275578A (ja) * 1996-04-04 1997-10-21 Sharp Corp 多視点画像符号化装置および復号装置
JPH09284777A (ja) * 1996-04-15 1997-10-31 Sony Corp 動きベクトルなしで動き補償を用いるビデオ符号化方法とその装置
JPH1049203A (ja) * 1996-07-29 1998-02-20 Fuji Electric Co Ltd 定周期収集データの等値化装置
JPH10276481A (ja) * 1997-03-31 1998-10-13 Omron Corp ワイヤレス稼動情報収集方法および装置
JP2000261467A (ja) * 1999-03-09 2000-09-22 Toshiba Corp 情報収集装置
JP2000278297A (ja) * 1999-03-29 2000-10-06 Yokogawa Electric Corp 分散オブジェクトシステムにおける通信装置
JP2003015735A (ja) * 2001-07-05 2003-01-17 Mitsubishi Electric Corp プラント監視・通報装置
JP2003076405A (ja) * 2001-08-30 2003-03-14 Digital Electronics Corp 制御用表示装置、制御システム、制御プログラムおよびそれを記録した記録媒体
US20040223548A1 (en) * 2003-05-07 2004-11-11 Ntt Docomo, Inc. Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program
US20040233991A1 (en) * 2003-03-27 2004-11-25 Kazuo Sugimoto Video encoding apparatus, video encoding method, video encoding program, video decoding apparatus, video decoding method and video decoding program
JP2005038246A (ja) * 2003-07-16 2005-02-10 Matsushita Electric Works Ltd 設備監視制御装置、設備監視制御システム、設備監視制御方法及び設備監視制御用プログラム
WO2006073116A1 (ja) * 2005-01-07 2006-07-13 Nippon Telegraph And Telephone Corporation 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
JP2006285353A (ja) * 2005-03-31 2006-10-19 Daikin Ind Ltd 機器管理システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0645930B1 (en) 1993-04-09 2000-06-14 Sony Corporation Method and apparatus for coding image
EP0731614B1 (en) * 1995-03-10 2002-02-06 Kabushiki Kaisha Toshiba Video coding/decoding apparatus
EP1274254B1 (en) * 1995-08-29 2011-07-06 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
JP3628810B2 (ja) 1996-06-28 2005-03-16 三菱電機株式会社 画像符号化装置
US6690835B1 (en) * 1998-03-03 2004-02-10 Interuniversitair Micro-Elektronica Centrum (Imec Vzw) System and method of encoding video frames
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
JP2004023458A (ja) 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
JP3934568B2 (ja) * 2003-03-04 2007-06-20 松下電器産業株式会社 動画符号化方法および装置
US7286689B2 (en) * 2003-06-07 2007-10-23 Hewlett-Packard Development Company, L.P. Motion estimation for compression of calibrated multi-view image sequences
US7778328B2 (en) 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
KR100517517B1 (ko) * 2004-02-20 2005-09-28 삼성전자주식회사 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
JP4638874B2 (ja) * 2004-08-11 2011-02-23 株式会社日立製作所 符号化ストリーム記録媒体、及び画像符号化装置
TWI268715B (en) * 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
JP2006293901A (ja) 2005-04-14 2006-10-26 Fujitsu Ten Ltd 車載システム及び車載端末

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0232486A (ja) * 1988-07-22 1990-02-02 Fuji Electric Co Ltd 経時的収集データ欠損時の自動修復方法
JPH0262180A (ja) * 1988-08-26 1990-03-02 Fujitsu Ltd 動画像の動き補償予測符号化方式
JPH05225152A (ja) * 1992-02-13 1993-09-03 Hitachi Ltd プロセスコントローラ
JPH0764891A (ja) * 1993-06-30 1995-03-10 Nissan Motor Co Ltd 情報収集方法
JPH0887317A (ja) * 1994-09-14 1996-04-02 Toshiba Syst Technol Kk プラント性能計算装置
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JPH09275578A (ja) * 1996-04-04 1997-10-21 Sharp Corp 多視点画像符号化装置および復号装置
JPH09284777A (ja) * 1996-04-15 1997-10-31 Sony Corp 動きベクトルなしで動き補償を用いるビデオ符号化方法とその装置
JPH1049203A (ja) * 1996-07-29 1998-02-20 Fuji Electric Co Ltd 定周期収集データの等値化装置
JPH10276481A (ja) * 1997-03-31 1998-10-13 Omron Corp ワイヤレス稼動情報収集方法および装置
JP2000261467A (ja) * 1999-03-09 2000-09-22 Toshiba Corp 情報収集装置
JP2000278297A (ja) * 1999-03-29 2000-10-06 Yokogawa Electric Corp 分散オブジェクトシステムにおける通信装置
JP2003015735A (ja) * 2001-07-05 2003-01-17 Mitsubishi Electric Corp プラント監視・通報装置
JP2003076405A (ja) * 2001-08-30 2003-03-14 Digital Electronics Corp 制御用表示装置、制御システム、制御プログラムおよびそれを記録した記録媒体
US20040233991A1 (en) * 2003-03-27 2004-11-25 Kazuo Sugimoto Video encoding apparatus, video encoding method, video encoding program, video decoding apparatus, video decoding method and video decoding program
US20040223548A1 (en) * 2003-05-07 2004-11-11 Ntt Docomo, Inc. Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program
JP2005038246A (ja) * 2003-07-16 2005-02-10 Matsushita Electric Works Ltd 設備監視制御装置、設備監視制御システム、設備監視制御方法及び設備監視制御用プログラム
WO2006073116A1 (ja) * 2005-01-07 2006-07-13 Nippon Telegraph And Telephone Corporation 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
JP2006285353A (ja) * 2005-03-31 2006-10-19 Daikin Ind Ltd 機器管理システム

Also Published As

Publication number Publication date
KR101447717B1 (ko) 2014-10-07
EP2512139B1 (en) 2013-09-11
CA2667175A1 (en) 2008-05-08
KR101533740B1 (ko) 2015-07-03
US8532190B2 (en) 2013-09-10
ES2439444T3 (es) 2014-01-23
EP2083571A4 (en) 2010-11-10
BRPI0718272A2 (pt) 2013-11-12
RU2458479C2 (ru) 2012-08-10
CN101569202A (zh) 2009-10-28
US8654854B2 (en) 2014-02-18
TW201251472A (en) 2012-12-16
RU2504106C2 (ru) 2014-01-10
WO2008053758A1 (fr) 2008-05-08
JPWO2008053758A1 (ja) 2010-02-25
EP2083571A1 (en) 2009-07-29
CN101569202B (zh) 2011-11-16
EP2512139A1 (en) 2012-10-17
JP4999860B2 (ja) 2012-08-15
TWI502969B (zh) 2015-10-01
US20100008422A1 (en) 2010-01-14
RU2012113724A (ru) 2013-10-27
KR20090084829A (ko) 2009-08-05
US20120170651A1 (en) 2012-07-05
TW200826692A (en) 2008-06-16
KR20140048320A (ko) 2014-04-23
RU2009115654A (ru) 2010-10-27

Similar Documents

Publication Publication Date Title
TWI400959B (zh) 活動影像編碼方法及解碼方法、其裝置、其電腦程式以及記錄有該電腦程式之記憶媒體
JP4999859B2 (ja) 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP2022123085A (ja) 部分的コスト計算
JP4999853B2 (ja) 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
EP2944087B1 (en) Method of disparity vector derivation in three-dimensional video coding
TW202019172A (zh) 在視訊編解碼系統中視訊處理的方法以及裝置
JP4663792B2 (ja) 多視点動映像を符号化及び復号化する装置及び方法
JP5947977B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
KR20160118363A (ko) 화상 부호화 장치 및 방법, 화상 복호 장치 및 방법, 및 이들의 프로그램
KR20150122706A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 및 화상 복호 프로그램
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
KR20160140622A (ko) 동화상 부호화 장치 및 방법, 및 동화상 복호 장치 및 방법
JP2014099716A (ja) 画像符号化装置及びその制御方法