TWI262024B - Picture coding method and picture decoding method - Google Patents

Picture coding method and picture decoding method Download PDF

Info

Publication number
TWI262024B
TWI262024B TW92108428A TW92108428A TWI262024B TW I262024 B TWI262024 B TW I262024B TW 92108428 A TW92108428 A TW 92108428A TW 92108428 A TW92108428 A TW 92108428A TW I262024 B TWI262024 B TW I262024B
Authority
TW
Taiwan
Prior art keywords
image
memory
management information
information
encoding
Prior art date
Application number
TW92108428A
Other languages
English (en)
Other versions
TW200412152A (en
Inventor
Shinya Kadono
Satoshi Kondo
Makoto Hagai
Kiyofumi Abe
Original Assignee
Matsushita Electric Ind Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Ind Co Ltd filed Critical Matsushita Electric Ind Co Ltd
Publication of TW200412152A publication Critical patent/TW200412152A/zh
Application granted granted Critical
Publication of TWI262024B publication Critical patent/TWI262024B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127Prioritisation of hardware or computational resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

1262024 玖、發明說明 (發明說明應欽明:發明所屬之技術領域、先前技術、…實施方式及圖式簡單說明) 【發明所屬之技術領域】 發明領域 本發明是有關於利用影像間之相關性將動畫像訊號有 效率地壓縮之景彡像編碼方法與將之正確解碼之影像解碼方 法,以及用以將之以軟體實施之程式等。 t iltr ]3 發明背景 近年,迎接將音聲、影像及其他像素值統合處理之多 10媒體時代,以往之資訊媒體,亦即報紙、雜誌、電視、廣 播、電讀等將貧訊傳達給人之方法,皆納做多媒體之對象 。一般來說,所謂多媒體指的不僅是文字,更同時牽扯到 圖形、音奪、尤其是影像等來顯示,而在上述以往之資訊 媒體作為多媒體對象時,必須將該資訊作成數位形式來顯 15 示。 然而,若將上述各資訊媒體所具有之資訊量作為數位 資Λ里來估计,則文字之情況為每個文字之資訊量為1〜2 位兀組數,相對於此,音聲之情況為每工秒料比如(電話 口口貝)動畫方面則更需要每1秒i〇〇Mbits (現行電視接 2〇收品質上之資訊量,i記資訊媒體實際上無法將該膨 脹之貝Λ以數位形式直接處理。例如,視訊電話藉著具有 64kbps〜l.5Mbps之傳送速度之整合服務數位網路(isdn :
Integrated Services Digital Network)而已經實用化,但電 視、攝影機之映像無法直接以ISDN傳送。 1262024 玖、發明說明 於是,所需要的是資訊之壓縮技術,例如視訊電話之 情況,是使用藉ITU-T (國際電信聯盟-電信標準部門)而 國際標準化之H.261或H.263規格之動畫壓縮技術。又, 藉著MPEG-1規格之資訊壓縮技術,可在通常之音樂用 5 CD (光碟)中,與音聲資訊同時加入影像資訊。 在此,所謂 MPEG (Moving Picture Experts Group)是 動畫面訊號之數位壓縮之國際規格,MPEG-1是將動畫面 訊號壓縮到1.5Mbps為止,亦即將電視訊號之資訊壓縮到 約100分之1為止之規格。又,以MPEG-1規格為對象之 10 傳送速度主要限制於約1.5Mbps,因此,在需滿足更高晝 質化要求之規格化MPEG-2中,動畫像訊號壓縮為 2〜15Mbps 〇 又,目前藉著發展MPEG-l,MPEG-2與標準化之作業 群(ISO/IECJTC1/SC29/WG11),壓縮率更高之 MPEG-4 已 15 經規格化。MPEG-4中,當初不僅可以低速率達到高效率 之編碼化,還導入了在發生傳送路錯誤時仍可降低主觀性 畫質低劣化之強力容錯率技術。又,在ISO/IEC與ITU之 共同推動下,JVT (Joint Video Team)之標準化活動進展 而作為次世代影像編碼方式,目前最新的是被稱為Joint 20 model ( JM2 )者。 JVT係與以往之動畫像編碼不同,可從多數影像(圖 像(picture ))選擇任意影像(圖像(picture ))作為前方 參考影像。在此,所謂圖像是表示框或襴位。 第1(a)圖是參考從保存於記憶體之多數參考影像中 1262〇24 玖、發明說明 選出之影像來編碼之影像編碼之說明圖。第丄(b)圖是顯 示保存影像之記憶體之構成之構成圖。 如第1 (b)圖所不,記憶體是由短時間保存記憶體與 長時間保存記憶體構成。短時間保存記憶體是記憶最新解 5碼之數個影像’相當於所謂MPE(M或mpeg_2之p圖像 (前向預測編碼圖像)及B圖像(雙向預測編碼圖像)之 參考影像。長時間保存記憶體係用以將影像訊號較短時間 保存記憶體更長時間保存。 ,通常,短時間保存記憶體是F(先人先出)記憶體 *將超過s憶體上限之影像保存於短時間保存記憶體中 ,則短時間記憶體内最早時刻之影像就會被刪除而將新
10 時 影像保存於該領域中。因此,通常因觸之構造,當想 參考從記憶制除之參切料,藉由事先㈣影像從短 時間保存記憶體移動到長時間保存記憶體内保存,就可長 時間參考。長時間記憶體是明示保存之領域之方法,只要
— 、〜固Ί: 20 弟1 U)目係顯示影像編碼時之預測狀況,圖像 2之影像參考圖像號碼G之影像,圖像號碼i之影像 圖像號碼0或圖像號碼2之影像。同樣的,圖像號碼 〜像參考圖像號竭G、2之影像,圖像號碼6之影像參 像編號0之影傻。#,回t ’ 〜像更圖像號碼5之影像可參考圖像 〇、2、4、6之影像。 該圖1 ( a)中, 上較長時間後被參考 圖像編號0、6、12之影像可在比較 相對於此,圖像編號2、4、8之影 8 1262024 玖、發明說明 像等僅5襄短時間後之影像來參考。在此,保存影像之記憶 體7員域係如第1 ( b )圖所示地分割為短時間保存用記憶體 與長4間保存記憶體,需要長時間保存之記憶體中可保存 圖像(框(frame))號碼0、6、12之影像。 又’為了有效率地使用如該第1 ( a )圖所示之記憶體 ’需要高度之記憶體管理,而JVT中導入了用以控制記憶 體之結構。 控制記憶體之指令為如下所述者。 1·選擇可參考之影像之指令。 10 2·在短時間保存記憶體中,將保存了不需作為預測編 碼之參考影像之圖像之記憶體領域開放之指令。 3.將短日守間保存記憶體之内容移動到長時間保存記憶 體之指令。 影像編碼、解石馬時,由於會從可參考之影像中選出以 15區塊早位預測誤差較小之影像來作為參考影像,故需要以 區塊單位指示參考影像之訊號。藉由預先選擇可參考之影 =,可將參考影像之候補數縮小至適當值,可節約在區塊 單位中所系之參考影像指示訊號之位元數。 又,從短時間保存記憶體移動到長時間保存記憶體時 即使將相同内錢存於短時間保存記憶體與長時間保存 記憶體兩方面也只是浪費’故可除去短時間保存記憶體内 之影像。 第2(a)(b)圖是顯示以往之影像編碼方法及影像解 碼方法之流程圖。 1262024 玖、發明說明 ,弟2⑴圖是顯示將保存了不需作為預測編碼之參考 心像之圖像之5己憶體領域開放時之影像編碼裝置之動作。 在第2(a)圖中,首先,影像編碼裝置將輸入之輸入影像 編碼(Stepl00)。編碼後調查記憶體内不需要的領域(在 5今後之編碼中不會被參考之影像)(_而),判定是否有 不需要的記憶體領域(Stepl〇2)。當判定有不需要的記憶 體領域時咖Pl02 < Yes),則將開放不需要之記憶體領 域之指令作為記憶體管理資訊而編碼(Stepi〇3),開放該 不需要之記憶體領域(除去記憶體内影像)((㈣綱》 10,亚完成處理。另—方面’ t影像編碼裝置判斷沒有不需 要之記憶體領域時(stepl02之N0),則不進行stepl03及 Stepl〇4,完成處理。 接者沿第2 (b)圖之流程圖,說明將保存了不需作為 預測、、扁碼之參考衫像之圖像之記憶體領域開放時之影像解 15碼裝置之動作。首先,影像解碼裝置將記憶體管理資訊解 馬(StepllO),然後從編碼訊號將影像訊號解碼(^印^) 。影像解碼裝置判定是否有已調查之結果記憶體開放指令 (Stepll2),若有記憶體開放指令(Stepll2之Yes),則判 疋疋否有應藉該指令除去之影像、或是否已記憶體開放完 2〇成(影像除去完成)(Stepll3 )。若判定為開放完成( Stepll3之Yes),則為錯誤(error)。在JVT中,從記 憶體除去影像後,發送再度除去相同影像之指令是禁止的 ’因此再度開放已開放完成之記憶體就視為錯誤。另一方 面’若影像解碼裝置判定未開放完成時(Stepll3之N〇), 10 1262024 玖、發明說明 則開放記憶艘(stepll4),完成處理。又,若判定沒 憶體開放指令時(stepll2^No),則不進行一⑴及 stePm之動作’並完成處理。又,Stepu〇#stepiii亦 可順序不同,互相調換。 5 # 3 U)⑴®是顯*f知之其他影像編碼方法及影 像解碼方法之流程圖。
第3U)圖顯示影像從短時間保存記憶體移動到長時 間保存記憶體時之影像編碼裝置所進行之動作。 第3(a)圖中,首先,影像編碼裝置將輸入影像編碼 10 ( SteP12G)。編碼後調查是否有必須移動到長時間保存記
憶體之影像(Stepl21 ),判定是否有需移動之影像( Stepl22)。若有需移動之影像(stepm之%),則將顯 示如何移動到長時間保存記憶體之指令作為記憶體管理資 訊而編碼(Stepl23),且依該指令將影像移動到長時間保 15存記憶體(Stepl24),完成處理。另—方面,影像編㈣ 置判定沒有應移動到長時間保存記憶體之影像時(&邛Η] 之No),則不進行Stepl23&stepl24,完成處理。 接著,沿第3 (b)圖之流程圖,說明影像從短時間保 存記憶體移動到長時間保存記憶體時之影像解碼裝置所進 20行之動作。首先,影像解碼裝置將記憶體管理資訊解碼( Stepl30),然後從編碼訊號將影像訊號解碼(Stepm)。 接著,影像解碼裝置判定已解碼之記憶體管理資訊中是否 有移動到長時間保存記憶體之指令(Stepl32 ),若判定為 有(Stepl30之Yes),接著判定是否有藉該指令應移動之 11 1262024 玖、發明說明 影像、或是否已移動完成(由於移動後已除去故影像不存 5 10 在),(StePl33)。在JVT巾,移動到長時間保存記憶體後, 發送再度將相同影像移動到長時間保存記憶體之指令是禁 止的’因此將已移動至長時間保存記憶體之影像再度移動 到長時間保存記憶體時就視為錯誤。因此,影像解碼裝置 若判定已移動完成至長時間保存記憶體之仏)
,則為錯誤(ERROR),若判定未移動完成,則移動到長 時間保存記憶體(SteP134),完成處理。 另一方面,影像解碼裝置判定沒有移動到長時間保存 記憶體之指令時(Stepl32之N〇),則不進行s_3及 S_134,完成處理。又,Stepl3() #村順序不 同,互相調換。 弟4(a)(b)暇顯示習知之又—其他影像編碼方^ 及影像解碼方法之流程圖。 15 20
、’先/σ第4 ( a )圖之流程圖說明影像編碼裝置在驾 擇可參考影像時所進行之動作。 一首先,影像編碼袭置選擇出預測與被編碼影像之相關 性高之參考影像(通常為時間上接近之參考影像)來作為 參考影像之候補(Step2G())。接著將顯示已選擇之參考影 像之候補之指示資㉝(記憶體管理資訊之—種)編^ P201 ) «已廷擇之參考影像之候補巾以區塊單位灸考 適當之參考影像來編碼(㈣搬),完成處理。 Step201與Step2〇2亦可順序不同,互相調換。 接著化第4 ( b )圖之流程圖說明解瑪裝置在選擇可 12 1262024 玖'發明說明 參考之影像時所進行之動作。 I先,影像解碼裝置將記憶體管理資訊之一種之指示 資訊解瑪(Step21G)’從記憶體中選擇參考影像之候補作 為結果(Stepn),從已選擇之參考影像之候補中以區塊 5 2位選擇適當之參考影像—面參考一面解碼(step212), 元成處理。 10 15 20 其-人,以攻種習知之影像編碼方法及影像解碼方法, 可將從記憶體除去不需要之影像之指令、或將影像從㈣ 間保存記憶體移動到長時間保存記憶體之指令在影像編期 、為馬後輸出’傳运到影像解碼裝置後解碟,然而由灰 該傳送次㈣限定於1個圖像,故當伴隨該指令之影像因 傳讀誤而消失時’則記憶體内之影像配置無法正確復原 ’導致影像無法解碼。 在〜像之編碼及解碼巾’選擇參考影像時,純粹 以時間上較近之影像料參㈣像㈣,則無法做出考 =影像之解碼之延展性(指第i(a)圖之預測構造例中 I7使B圖像無法解碼 圖像號碼4、!。、16之乂或圖像仍可解碼’即使 圖像揲法解碼,其他之P圖像仍 σ解碼)之最適當編 碼方即’雖然時間上最接近圖像號 考圖像;、、、圖像號碼4、2之影像,但由於實際上只能參 影Γ“象,故若將無法參考之圖像號碼4、2之 〜、、入*考影像之候補,則編碼效率不佳。 更在智知之影像編碼 記憶體之影像傳送除有保存於 匕體内之不需要之影像之指令、
13 1262024 玖、發明說明 &將影像從&時間保存記憶體移動到長時間保存記憶體之 々疋不止的因此阻礙了靈活的記憶體管理資訊之指令 傳迖之所以禁止隨著未保存於記憶體之影像傳送該指令 有下述理由,亦即,由於未保存於記憶體之影像重要度最 低②法以延展性解碼之可能性很高,故必須避免隨附於 。亥未保存於。己丨思體之影像之該指令因無法解碼而導致記憶 體内之影像配置無法正確復原。 〜 於是為了解決上述課題,故本發明之目的在於提供 種即使因傳运路錯誤而使部分記憶體管理資訊消失,仍 10可正確復原之影像編碼方法及影像解碼方法等、與更適切 地選擇可參考之參考影像之候補來提高編碼效率之影像編 碼方法及影像解碼方法。 15 20
為了解決該課題,故有關本發明之影像編碼方法 參考自保存於記憶體内之多數參考圖像選出之參考圖搞 編碼者’包含有:圖像編碼步驟,係參考前述已選擇之 考圖像’將編碼對象圖像編碼;管理資訊編碼步驟,^ 用以控制管理保存於前述記憶體之參考圖像之記憶體管 資訊隨著前述已編碼之編碼對象圖像來編碼;以及管s 訊再編碼步驟,係將前述記憶體管理資訊與在前述管理 訊編碼步驟巾之編料同地另外再度編碼。 藉此’由於將記憶體管理資訊多數次編碼並輸出, 即使在傳送料料料,發生傳科料,多數次训 之記憶體管理資訊當中任—者仍會被傳送並解碼,故^ 14 1262024 5 10 15 20 玖、發明說明確復原圖像之可能性提高。 了在刖述官理資訊再編碼步驟中,使特定前述管 貝i 編碼步驟中使記憶體管理資訊隨附之前述編碼對象 圖像:貧訊隨附於前述已再編碼之記憶體管理資訊。 藉此Ik附於編碼對象圖像而最初被編碼之記情於管 理資訊在傳送到影像解石馬裝置時,即使發生傳送錯誤,作 由於記憶體管理資訊所_之編碼對㈣像被特定,故可 檢出在哪個時點發生傳送錯誤。 —可在前述管理資訊編碼步驟中,係當前述記憶體 管理資訊隨附於前述記憶體中未保存之編碼對象圖像時, 則在前述管理資訊再編碼步财,使前述記憶體管理資訊 亦隨附於前述記憶體中保存之編碼對象圖像。 藉此,由於記憶體管理資訊隨附於已解碼並保存於記 憶體之重要料’故可確實進行記憶體管理資訊之解碼, 使圖像正確復原之可能性提高。 又本《月之衫像解碼方法,係參考自保存於記憶體 内之多數*考®像選出之參考圖像來解碼者,其係將用以 控制&理刖述z 體中保存之參考圖像之記憶體管理資訊 解碼’依據已解碼之記憶體管理資訊開放前述記憶體所不 需要之記憶體領域時,若開放之記憶體領域未開放完成則 開放記憶體領域,若開放之記憶體領域已開放完成則不對 前述記憶體進行任何處理。 藉此即使夕數次接收到顯示從記憶體除去圖像之記 憶體管理貪訊’也不會錯誤處理,可正確解碼圖像。
15 1262024 玖、發明說明 5 10 又:可以是-種影像解碼方法,係參考自保存於記憶 記憶像選出之參考圖像來編媽者’其令前述 俨:盘:3.茶考圖像之保存時間較短之短時間保存記憶 丑考圖像之保存時間較前述短時間保存記憶體長之 4間保存記憶體,又,前述影像解碼方法係將用以控制 官=存於前述記憶體之參考圖像之記憶體管理資訊解碼 灸解瑪之記憶體管理資訊將前述記憶體内所保存之 多考圖像從前述短時間保存記憶體移動到前述長時間保存 若移動對象之參考圖像存在於前述短時間保存 二則將轉考圖像從前述短時間保存記憶體移動到 :述長時間保存記憶體,若移動對象之參考圖像未存在於 前述短時間保存記憶體時,則不進行前述記憶體内之移動 Ο ▲。藉此,即使多數次接收到記憶體管理資訊,也不會錯 15祆處理,可正確解碼圖像。 又’可以是-種影像編碼方法,係參考自保存於記情 體内之多數參考圖像選出之參考圖像來編碼者其係將保 存於前述記憶體内且重要度在編碼對象圖像以上之參考圖 像作為參考圖像之候補而編碼。 犯 #此’可更適切地選擇可參考之圖像之候補,提高編 碼效率。 有關本毛月之衫像編碼方法,包含:將編碼對象 圖像編碼之㈣;判斷記憶體内是否有在將前述編碼對象 圖像編碼後未被參考之參考圖像之步驟;若有前述未被參 16 1262024 玫、發明說明 考之圖像’則在將編瑪數據解碼之解碼裝置中,將顯示開 放在將前述編碼對象圖像解碼後前述變得不需要之纪㈣ 領域之指令編碼來作為開放因未被參考而變得不需要= 5 10 15 20 憶體領域之指令之步驟;開放前述變得不需要之記憶體領 域之入驟’及在將編碼晚於前述編碼對象圖像之其他編碼 對象圖像,爲碼%,將顯示將前述其他編碼對象圖像解碼前 開«述變得不需要之記憶體領域之指令編碼之步驟。 猎此’即使在欠缺顯示開放不需要之記憶體領域之最 1刀Γ指令之狀況下’由於接著傳送之指令係在圖像解碼前 行故可減少指令之執行延誤。 又,有關本發明之影像解碼方法’包含:將管理隨附 於解:對象圖像之記憶體之記憶體管理資訊解碼之步驟; ==記憶體管”訊是^在將前料碼對象圖像解 馬《員示進行管理記,_之處理之解碼“指令之第 斷步驟;在前述第-判斷步驟中,判斷出前述記憶體管理 貝:為W述解碼前用指令時’則判斷管理記憶體之處理3 :元士之第二判斷步驟;以及在前述第二判斷步驟中二 ㈣官理記憶體之處理已完成時,則 解碼,+ ‘ i 〃 τ引述、、扁碼對象圖像 二在㈣第二判斷步驟中判斷出管理記憶體處理t 日才’則依據前述記憶體管理資訊進行管理記情體: 後將前述解韻㈣像解碼之步驟。 ^ 、藉此,即使在欠缺顯示開放不需要之記憶體領域 初之指令之狀況下,由於接著傳送 ^ 勃并^ 7係在圖像解碼前 ,文可減少指令之執行延誤。 17 l262〇24 10 15 20 玖、發明說明 又’有關本發明之影像編碼方法,包含:將編碼對象 圖像編碼之步驟;在將前述解碼對象圖像編碼後,判斷記 憶體内之參考圖傻县丕入^ 否玉為未被參考之圖像之判斷步驟; 在前述判斷步驟中,判斷出前述記憶體内之參考圖像全為 未被參考之影像時,將前述記憶體内之參考影像全部刪除 之命令之初期化指令編碼之步驟;將前述記憶體内之參考 圖像全部刪除之初期化步驟;以及在將編碼晚於前述編碼 對象圖像之其他編碼對象圖像編碼時,則依據編碼前述編 碼對象圖像時所刪除且早於前述編碼對象圖像保存在前記 己隱體内之王參考圖像作為刪除對象之附加資訊,將顯示 刪除記憶體内之參考圖像之命令之初期化再送指令編碼之 步驟。 藉此,當初期化指令傳送到解碼裝置時,即使因傳送 路^铁而欠缺初期化指令,仍可依據油化再送指令之附 加貧訊正常地進行記憶體内之初期化。 有關本^明之影像解碼方法,包含··將管理隨附 於解碼對象圖像之記憶體之記憶體管理資訊解碼之步驟· 將前述解碼對象圖像解碼之步驟;判斷前述記憶體管理資 Γ中,是否有將存在於記憶體内之參考圖像全部刪除之命 2初期化指令之初期化判斷步驟;在前述初期 驟中:無法判斷前述記憶體管理資訊中有前述初期化指令 ^ L己憶體管理資訊中,為了刪除在將解碼早 Γ對象圖像之其他解碼對象圖像解碼時應初期化而刪除 且早於前述其他解碼對象圖像存在於記憶體内之參考”
圖像 18 1262024 玖、發明說明 ,故依據顯示刪除對像之附加資訊,判 於記憶體内之參考圖像之命_除存在 7之初期化再送指令之 再达判斷步驟;在前述初期化再送判斷步驟中出 述記憶體管理資訊為前述初期化再送指令時,則判:= 於記憶體内之參考圖像是否全部刪除之初期化完成_牛 ^及在前述嫩= 體内之參考圖像未全部刪除時,則依據前述附加〜L 存在於記憶體内之參考圖像之刪除步驟。 ^刪除 10 藉此’當初期化指令傳送到解碼裝置時,即使因傳送 路錯誤而欠缺初期化指令,仍 乃了依據初期化再送指令之附 加貧訊正常地進行記憶體内之初期化。 15 20 又,可以,一種記錄媒體,係記錄有參考自保存於記 二數翏考圖像選出之參考圖像以片段單位來編碼 者,且該記«體崎有:從記憶體除去保存於 述。己L體内之*考圖像時,使指定除去之對象之參考圖 像之貧訊至少隨附於2個片段來編瑪之資料流。 藉此,在以片段單位進行編碼之情況下,即使在傳送 到解碼裝置時發生傳送路錯誤,但由於多數次傳送之指定 攸g己憶體除去之對象之夫去同你 一 (對象之*相像之錢當十任_者會被傳 达並解m段單位正確復原_像之可紐提高。 又,可以是-種記錄媒體,係記錄有參考自保存於記 憶Γ内Γ多數參考圖像選出之參考圖像以片段單位來編碼 之貝料机者’其t記錄有··從記憶體除去保存於前述記悻 體内之參相料,使指絲去之對象之參考圖像資訊: 19 1262024 玖、發明說明 :隨附於2個片段來編碼,更使顯示出前述片段具有指定 則迹除去之對象之參考圖像資訊之資訊附隨於前述片段而 編碼,且以不呈右扣中i ^ 9則述除去之對象之參考圖像資訊之 片段來參考指定前述除去 、σ 一 、 對象之芩考圖像之資訊時,將 顯示參考指定前述除去 子象之苓考圖像資訊之資訊解碼 之資料流。
错此,在沒有上述指定除去之對象之圖像之資訊之片 段中,可省略上述資訊之附加,提高編碼效率。
上所述藉由有關本發明之影像編碼方法及影像解 1〇碼方法’可實現即使因傳送路錯誤導致局部記憶體管理資 訊消失’仍可正確復原之影像編碼方法與影像解碼方法、 以及更適切地選擇可參考之參考影像之候補而提高編碼效 率之影像編碼方法與影像解碼方法,故其實用價值很高。 又本毛明不僅可作為這種影像編碼方法與影像解瑪 b方法來實現,更可作為利用這種方法之影像編碼裝置與影 像解馬衣置來貝現、作為記錄有藉影像編碼方法而編碼之 資料流之記錄媒體來實現、或作為使電腦執行影像編碼方 法與影像解瑪方法中之步驟之程式來實現。又當然這種 程式可經由CD-ROM等記錄媒體或網際網路等傳送媒體來 20 發送。 又,本%明書吸取了之前曰本專利申請「特願2〇〇2_ 110424」「特願2〇〇2_携955」、「特願则傭^及美國 S品時申請「60/377656」之内容。 圖式簡單說明 20 1262024 玫、發明說明 數參照影像選 (b )圖是顯示 第1(a)圖是參照從保存於記憶體之多 出之影像來編碼之影像編碼之說明圖,第1 保存有影像之記憶體之構成之構成圖。 第2 (a)圖是顯示習知之影像 m、、扁碼方法之流程圖,第 5 10 2 ( b )圖是顯示習知之影像解碼方法之流程圖。 第3(a)圖是顯示習知之影像編碼方法之其他流程圖 ,第3 (b)圖是顯示習知之影像解碼方法之其他流程圖。
第4(a)圖是顯示習知之影像編碼方法之又一其他流 程圖,第4 (b)圖是顯示習知之影像解碼方法之又一其他 流程圖。 第5圖是顯示本發明之景》像解碼農置之構成之方塊圖 第6圖是顯系本發明之實施型態1中之影像編碼方法 之流程圖。 15 第7圖是顯示本發明之影像解碼裝置之構成之方塊圖 第8圖是顯系本發明之實施型態2中之影像解碼方法 之流程圖。 第9圖是顯系本發明之實施型態3中之影像編碼方法 20 之流程圖。 , 第ίο圖是顯示本發明之實施型態4中之影像解碼方法 之流程圖。 第11圖是顯示本發明之實施型態5中之影像編碼方法 之流程圖。 21 1262024 玖、發明說明 第12圖是顯示本發明之實施型態' 6中I影像編碼方法 之流程圖。 第13圖是顯示本發明之實施型態7中之影像編碼方法 之流程圖。 第14(a)圖是顯示影像之圖像編號、保存圖像編號 與傳送順序之關係之說明圖,第14 (b)圖是顯示解碼之 圖像編號、保存之圖像編號與刪除之圖像編號之關係圖, 第14(c)圖是顯示解碼之圖像編號、保存之圖像編號與 刪除之圖像編號之另一關係圖。 第15圖是顯示本發明中之記憶體管理資訊之指令之對 應圖。 第16圖是顯示本發明之實施型態8中之指令實行程序 之流程圖。 15 20
第17圖是顯示在各影像之編碼訊號之標頭資訊與框數 據之關係之模式圖。
第18圖是顯示在編碼訊號之標頭資訊中之記憶體管理 資訊之指令之模式圖。 第19圖是顯示各哥彡德 ν像之圖像唬碼、保存圖像號碼與傳 送順序之關係之說明圖。 第20圖是顯示編瑪初期化指令之方法 第21圖是顯示將已 、 、馬之初期化指令解碼之方法之流 程圖。 第22圖是顯示本發 八 μ %型怨8中所使用之記憶體 管理資訊之指令之對應圖。 22 1262024 玖、發明說明 令之影像編 第23圖疋顯示使用本發明之初期化再送指 碼方法之流程圖。 ^圖疋·、、、員不將本發明之已編碼之初期化再送指令之 影像解碼之方法之流程圖。 5 第25圖是顯示各影像之Β1傻繞缺^ 、、, 〜像之圖像編號、保存圖像編號與傳 送順序之又一關係之說明圖。 ”第26圖是顯示本發明之實施型態9中所使用之記憶體 管理資訊之指令之對應圖。
第27圖是顯示本發明之實施型態9中之影像編碼方法 10 之流程圖。 弟28圖是顯示本發明之實施型態9中之影像解碼方法 之流程圖。 第29 ( a )圖疋顯示指令内容與附加資訊之對應圖, 第29 ( b)圖疋顯不指令之實行時機之對應圖。 第30圖疋顯不編碼訊號之標頭資訊中之記憶體管理資 訊之指令之模式圖。
第31圖是顯示其他編碼訊號之標頭資訊中之記憶體管 理資訊之指令之模式圖。 第32圖是顯示已以片段單位編碼之資料流構造之模式 2〇圖。 第33 ( a )( b )圖任一者皆是顯示已以片段單位解碼 之資料流構造之模式圖。 第34 ( a ) ( b ) ( c )圖任一者皆是說明有關用以儲存 用以藉電腦系統實現本發明之實施型態i到實施型態1〇之 23 1262024 玖、發明說明 之記憶媒體之說明圖 影像編碼方法及影像解碼方法之程式 弟35圖是顯示使用有關本發明之影像編碼方法 解碼方法之内容供給系統之全體構成之方塊圖。4 5第36圖是顯示使时關本發明之影像編衫法及影像 解碼方法之行動電話之一例之外觀圖。 第37圖是顯示同一行動電話之構成之方塊圖。
第38圖是顯示使用有關本發明之影像編碼方法及影像 解碼方法之數位傳輸系統之構成之構成圖。 10 【實施方式】 以下,使用圖式說明有關本發明之實施型態。 (實施型態1) 首先’說明有關實施型態i。 第5圖是顯示用以實現本實施型態中之影像編碼方法 15之影像編碼裝置之構成之方塊圖。
影像編碼裝置iOO係由:記憶體資訊控制部1〇1、短 盼間保存記憶體管理部102、長時間保存記憶體管理部103 、非保存記憶體管理資訊部104、管理資訊編碼部105、參 知影像選擇部106、保存領域指定部107、參照領域指定部 2 0 工〇8、影像記憶體109、影像解碼部m、影像編碼部11〇 、可變長度編碼部112、計數器113、及計數器114等構成 參照影像選擇部106是從自外部輸入之重要度指示訊 就Pri及圖像類型資訊PicType來選擇參照影像之候補,通 24 1262024 玖、發明說明 知記憶體資訊控制部101。 έ己fe體資訊控制部101藉圖像類型資訊來判斷前方及 後方之任一者或兩方之影像(圖像(picture))是否可參照 ,對參照領域指定部108下指令,從影像記憶體109將對 5應之參照影像輸出到影像編碼部no。 影像編碼部110參照從影像記憶體1〇9輸出之參照影 像來編碼輸入影像訊號Vin,可變長度編碼部112更進行 可變長度編碼,輸出影像編碼流vide〇Str。影像編碼部 110之輸出再由影像解碼部lu解碼而變成解碼影像,作 10為參照影像而儲存於影像記憶體109。 15 20
這牯,位於影像記憶體1〇9内之解碼影像之可儲存 記憶體位置如下所述地受指定。記憶體資訊控制部ι〇ι 問記憶體管理部102 ’特定出短時間記憶體内影像遭除_ 之^己憶體位置’保存領域指定部1G7對影像記憶體⑽^ 出指示以於該記憶體位置記錄解碼影像。
短間保存s己憶體管理部1〇2 &出短時間保存記憶清 内所不需要(不被參照)之影像’而將除去(開放記憶旁 )之指令通知記憶體資訊控制單元部1G1。又,長時間名 存記憶體管理部103對記憶體資訊控制部101通知將㈣ 間保存記憶體内之影像移動到長時間保存記憶體之指令。 該除去不需要之影像(記憶體開放)之指令、或將短㈣ 财子記憶體内之影像移動到長時間保存記憶體之指令,名 官理資訊編碼m編碼,成為記憶體管理資訊流⑽t 25 1262024 玖、發明說明 、另-方面,為了防止因傳送路錯誤使記憶體管理資訊 流CtlStr之一部份消失而導致記憶體管理資訊受損,古一 時間保存記憶體用之計數器113及長時間保存記m 計數器m計測不需要之影像之除去指令或將短時間保存 5記憶體内之影像移動到長時間保存記憶體之指令之編碼次 數’因應需要而可多數次傳送上述指令。 又,非保存記憶體管理資訊部104管理不需要之影像 之除去指令或將短時間保存記憶體内之影像移動到長時間 保存記憶體之指令是否已隨著重要度低且難以解碼之影像 10而編碼,當上述指令隨著重要度低之影像編碼時,則對記 憶體資訊控制部1〇1下達指示,將指令隨著更高重要度之 影像再度編碼。 接著’說明有關本發明之實施型,態i中之影像編碼方 法。第6圖是顯示實施型態i中之影像編碼方法之流程圖 15 ,顯示出第5圖中所示之影像編碼裝置100所進行之動作 又第6圖中,與第2 ( a )圖動作相同者則賦予相同標 號。 第6圖所示之影像編碼方法之特徵係當記憶體内存在 有不需作為預測編碼之參照影像之影像(圖像(picture)) 20日守則重複將開放保存該影像之記憶體領域(除去該影像 )之記憶體管理資訊之指令編碼。如此藉著重複將記憶體 官理貢訊之指令編碼,則即使單方之記憶體管理資訊之指 令因傳运路錯誤而消失,仍可據另一方之記憶體管理資訊 之指令將保存於記憶體内之影像之管理資訊復原,因此即 26 1262024 玖、發明說明 使有傳送路錯誤’正確復原影像之可能性仍很高。 ^ Θ中首先,將輸入影像編碼(Step 100 )。編碼 後調查記憶體内不需要之領域(今後之 影像)—’判定是否有不需要之記憶體領域( 5 SteP102)。若有不需要之記憶體領域(Stepl〇2之Ye〇, 則官理資訊編碼部他會將開放不需要之記憶體領域之指 令作為記憶體管理資訊來編碼(Ste_)。然後,開放該 不需要之記憶體領域(Stepl〇4)。若無不需要之記憶體領 域(stepl02之No),則不進行Stepl〇3及、1〇4之動作 10 〇 接著,記憶體資訊控制部101判定開放不需要之記憶 體領域之指令是否作為記憶體管理資訊隨附於最新編碼之 影像(早於編碼對象之影像)之編碼被編碼(stepl05), 指令未被編碼時(Stepl〇5之No)則結束處理,指令被編 15碼時(Step105之Υα),則管理資訊編碼部105再次將開 放省不而要之圯憶體之領域之指令作為記憶體管理資訊來 編碼(Step 106 ),結束處理。 如此,若藉編碼最新之影像而將開放不需要之記憔體 (圮憶體官理資訊之)指令編碼,則記憶體管理資訊之指 2〇令會再次被編碼。隨著眼前之影像之編碼而被編碼之記憶 體管理資訊、與再度編碼之記憶體管理資訊各自從影像編 碼裝置輸出,傳送到影像解碼裝置而被解碼。 又,開放不需要之記憶體領域之指令隨著Stepl〇5中 敢新被編碼之影像之編碼訊號而被編碼時,則將指令再产 27 1262024 坎、發明說明 也可隨附於數個影像 σ己丨思體管理資訊來編 j碼’㈣可不隨附於最新影像,而 〜像’更可重複將上述指令作為 馬隨附於多數影像來傳送。 5 10 心 …將開放上述不需要之記憶體領域之指令竹 …、d憶體管理資訊來多數 來士 彳數一人傳达即可,將該指令再次編喝 、,未必一疋要隨附於影像之編碼訊號來傳送。 人、,又,再傳送記憶體管理資訊之指令時,該再傳送之指
“二k被、、扁碼之圖像相同流,例如亦可使之作為其他流 來傳送,圮錄於儲存媒體之其他領域。 如上所述,藉由多數次傳送開放不需要之記憶體領域 (°己體官理貧訊之)指令,則即使傳送路錯誤發生,但 夕數人傳送之指令中其中_者會被傳送並解碼,因此可提 高使影像正確復原之可能性。 (實施型態2 ) 接著說明有關本發明之實施型態2。
第7圖是用以實現實施型態2中之影像解碼方法之影 像解碼裝置之方塊圖。 影像解碼裝置200係由:記憶體資訊控制部201、短 時間保存記憶體管理部202、長時間保存記憶體管理部203 、管理資訊解碼部205、保存領域指定部207、參照領域指 定部208、影像記憶體209、影像解碼部210、可變長度解 碼部212等構成。 記憶體資訊控制部201藉圖像類型資訊PicType,對編 碼對象判斷前方及後方之任一者或兩方之影像是否可參照 28 1262024 玖、發明說明 ’對參照領域指定部208下指令,從影像記憶體209將對 應之參照影像輸出到影像解碼部210。 可變長度解碼部212將編碼流VideoStr解碼,影像解 碼部210更將之解碼,作為解碼影像訊號v〇ut輸出,同時 5作為參照影像儲存於影像記憶體209。 這時’位於影像記憶體209内之解碼影像之可儲存之 圮憶體位置如下所述地受指定。記憶體資訊控制部2〇1詢 問短時間保存記憶體管理部202,特定出影像遭除去之記 憶體位置,保存領域指定部207對影像記憶體209輸出指 10示以於該記憶體位置記錄解碼影像。 官理資訊解碼部205將記憶體管理資訊流CtlStr解碼 ’通過記憶體資訊控制部201,將短時間保存記憶體内之 不需要(不被參照)之影像之資訊通知短時間保存記憶體 管理部202,並將短時間保存記憶體内之影像移動到長時 15間保存記憶體之指令通知長時間保存記憶體管理部203。 接著’說明有關本發明之實施型態2中之影像解碼方 法。第8圖是顯示實施型態2中之影像解碼方法之流程圖 ’顯示出第7圖中所示之影像解碼裝置200所進行之動作 。又’第8圖中,與第2 ( b )圖動作相同者則賦予相同標 20 號。 影像編碼裝置多數次傳送開放不需要之記憶體領域之 才曰々日守’只要指令不因傳送路錯誤而消失,影像解碼裝置 就會夕數次接收到開放記憶體内之相同影像之領域之指令 。因此’即使影像解碼裝置接收到將已開放之記憶體領域 29 1262024 玖、發明說明 . 再次開放之指令,也不會當作錯誤而不進行處理,相反地 ,必須實現判斷為可正確接收之影像解碼方法。本實施型 態中,實現了這種影像解碼方法。 W · 第8圖中,首先,管理資訊解碼部2〇5解碼記憶體管 * 5理資訊(Stepll〇)。接著’依據解碼訊號來解碼影像訊號 (Steplll)。賴’記憶體資訊控制部2〇1判定已解碼之 記憶體管理資訊中是否有開放記憶體之指令(Skpii2 )。 右有開放圮憶體領域之指令(StepU2之γα),則判定是 · 否有依該指令應除去之影像或是否已開放完成(除去完成) 10 (SteP113),若記憶體已開放完成(&叩113之Yes),則不 進行任何處理而結束,若非如此則開放記憶體(、114) 而結束處理。 另一方面,若沒有記憶體開放指令(Stepll22N〇), 則不進行StepllO及Steplll之動作而結束處理。又, 15 StepllO及Steplll之順序可不同,彼此調換亦可。 藉以上動作,即使將實施型態丨之影像編碼方法中, · 開放記憶體内之相同影像之領域之指令多數次編碼傳送, 影像解碼裝置200多數次接收到該指令,也不會作為錯誤 - 來處理,因此可實現可正確解碼之影像解碼方法。 1〇 又,只要可將開放上述不需要之記憶體領域之指令作 - 為記憶體管理資訊來多數次傳送即可,將該指令再次編碼 , 來傳送時,未必一定要隨附於影像之編碼訊號來傳送。 又’再傳送記憶體管理資訊之指令時,該再傳送之# 令並非與被編碼之圖像相同流,例如亦可使之作為其他漭 30 1262024 玖、發明說明 來傳送,記錄於儲存媒體之其他領域。 (實施型態3 ) 接著,說明關於在實施型態3中之影像編碼方法。第 9圖是顯示實施型態3中之影像編碼方法之流程圖,顯示 5影像編碼裝置100所進行之動作。第9圖中,與第3 (a) 圖動作相同者則賦予相同標號。 本實施型態之特徵在於,當記憶體内有應從短時間保 存冗憶體移動到長時間保存記憶體之影像時,則將移動該 影像之記憶體管理資訊之指令重複編碼。藉由重複編碼記 1〇 ^體官理貧訊之指令,即使單側之記憶體管理資訊之指令 因傳达路錯誤而消失,仍可依據另一側之記憶體管理資訊 之指令來使保存於記憶體内之影像管理資訊復原,因此即 使有傳送路錯誤,正確復原影像之可能性仍很高。 第9圖中,首先編碼輸入影像(step12〇 )。編碼後, 15凋查是否有應移動到長時間保存記憶體之影像(Stepl21 ) 。然後,記憶體資訊控制部1〇1判定是否有移動到長時間 保存記憶體之影像(Stepl22 )。若有應移動之影像(
Stepl22之Yes),則管理資訊編碼部1〇5將顯示如何移動 到長時間保存記憶體之指令作為記憶體管理資訊來編碼( 2〇 ^叩123 )。然後,如該指令所示地將圖像移動到長時間保 存記憶體(Stepl24)。 接著,圮憶體貧訊控制部1〇1判定是否將隨著最新編 碼之影像(早於編碼對象之影像)之編碼訊號而移動到長 時間保存記憶體之指令作為記憶體管理資訊來編碼( 31 1262024 玖、發明說明
Stepl25)’ 若未編碼(stepi25 夕 M、 之No)則結束處理,若已 編碼(Stepl25之Yes),則營 貝Λ、、扁碼部1〇5將該移動 到長時間保存記憶體之指令再声 &作為έ己憶體管理資訊而編 碼(Step 126),結束處理。 』如此,-旦移動到長時間保存記憶體(記憶體管理資 Λ)之扣7错最新之影像之編碼而被編碼,則記憶體管理 資訊之指令會再度被編碼。隨著最新之影像之編碼而被編 碼之記憶體管理資訊、與再度祐 沒破編碼之記憶體管理資訊, 各自藉影像編碼裝置輸出,傳 10
寻运到衫像解碼裝置而被解碼 η 又’在、125中,當隨著最新編碼之影像之編碼訊 號而移動到長時間保存記憶體之指令被編碼時,會再度將 指令編碼,不過亦可不隨著最新影像,而是隨著數影像前 之影像’更可重複將上述指令作為記憶體管理資訊來編碼 15 ,使之隨附於多數影像。
又,只要可將上述移動到長時間保存記憶體之指令作 為記憶體管理資訊來多數次傳送即可,在再度編碼該指令 並傳送時,不-定要使之隨著影像之編魏號來傳送。 又,再次傳送記憶體管理資訊之指令時,該再傳送之 20指令未必位於與已被編碼之圖像相同流,例如可作為其他 流來傳送,亦可記錄於儲存媒體之其他領域。 如上述做法,藉由多數次編碼並傳送將影像移動到長 時間保存記憶體之指令,則即使發生傳送路錯誤,多數次 傳送之指令當中任-者仍能被傳送並解碼,故使影像正確 32 1262024 玖、發明說明 復原之可能性很高。 (實施型態4 ) 接著,說明有關實施型態4之影像解碼方法。 影像編碼裝置多數次傳送移動到長時間保存記憶體之 5指令時,只要指令不因傳送路錯誤而消失,影像解碼裝置 即可多數次接收將短時間保存記憶體内之相同影像之領域 移動到長時間保存記憶體之指令。因此,即使影像解碼裝 置接收到將已移動之影像再度移動之指令也不會視之 誤而不處理,相反地必須實現判斷為可正確接收之影像: 1〇碼方法。本實施型態中之影像解碼方法之特徵即是實現這 種圖像解碼方法者。 第10圖是顯示實施型態4中之影像解碼方法之流程圖 ,顯示第7圖所示之影像解碼裝置2〇〇之動作。帛ι〇圖中 與第3 (b)圖動作相同者則賦予相同標號。 次f圖中首先,官理貧訊解碼部205解碼記憶體管 理貧訊(Stepl30)。接著,依據編碼訊號來解碼影像訊號 (Stepl31 ) 〇 20
接下來,記憶體資訊控制部201判定已解碼之記憶 官理貧訊中是否有移動影像到長時間保存記憶體令之指 (Stepl32 )。若有移動到長時間保存記憶體之指令 Ste曰P132 < Yes)’則判定是否有依該指令應移動之影像 或是否已移動完成(由於移動後已除去故影像不存在) ,133),若已移動到長時間保存記憶體(如p⑶之γ )’則不做任何處理而結束’若非如此,則移動到長糊 33 1262024 玖、發明說明 存記憶體(Stepl34),結束處理。 另一方面,若無移動到長時間保存記憶體之指令( SteP132之No),則不進行Stepl33及义叩134之動作:結 束處理。又,SteP130與SteP131亦可順序不同,位置對調 藉以上之動作,實施型態3之影像編碼方法中,即使 多數次編碼並傳送移動影像到長時間保存記憶體之指令, 仍可貫現可正破解碼之影像解碼方法。 又’只要可將上述移動到長時間保存記憶體之指令作 1〇為記憶體管理資訊來多數次傳送即可,在再度編竭該指令 並傳送時n要使之隨著影狀編碼减來傳送。 又,再次傳送記憶體管理資訊之指令時,該再傳送之 指令未必位於與已被編碼之圖像相同流,例如可作為其他 流來傳送,亦可記錄於儲存媒體之其他㈣。 ’ 15 (實施型態5) 者’說明有關本實施型態中之影像編碼方法。第 圖是顯示實施型態5令之影像編碼方法之流程圖,顯; 5圖所示之影像解碼裝i 100之動作。帛11圖中,與 圖動作相同者則賦予相同標號。 〃 20
第U圖所不之本實施型態之特徵在於,當記憶體P 在:不需要之影像時,則重複編碼除去該影像之記憶負 广扎之私令’亚至少-次隨著保存於記憶體之重要i 來傳送^卩使重複編碼記憶體管理資訊之指令,但_ 要度不高之影像來傳送記憶體管理資訊之指令,則在3 34 Ϊ262024 玖、發明說明 度不高之影像未全部解碼時,就無法取得記憶體管理資訊 之指令。 例如,在第1 ( a)圖中,圖像編號4之影像在編碼圖 像編號5之影像後就變得不需要,因此可將開放圖像編號 5 4之影像之記憶體領域之指令,隨著圖像編號5之影像來
然而,將開放該圖像編號4之記憶體領域之指令隨著 圖像編號5之影像編碼以外,也隨著圖像編號7之影像編 ’’則上述指令變成皆隨著重要度低(即使未解碼也很少 思貝降低)之B圖像來編碼。這些b圖像有可能無法解碼 ,因此開放圖像編號4之影像之記憶體領域之指令也變得 無法解碼,記憶體内之管理資訊就無法正確再現。因此, 必須至少1次將開放影像領域之指令隨著重要度高、一定 會被解碼、且保存於記憶體之影像來編碼。 15 第11圖中,首先,將輸入之輸入影像編碼(SteplOO)
。編碼後調查記憶體内不需要的領域(在今後之編碼中不 會被參考之影像MSteplG1),判定Η有不需要的記憶體 領域(Stepl〇2)。當判定有不需要的記憶體領域時( Stepl〇2之Yes),則管理資訊編碼部1〇5將開放不需要之 20記憶體領域之指令作為記憶體管理資訊而編碼(Stepi〇3) 。接著,開放該不需要之記憶體領域(Stepi〇4)。若沒有 不需要之記憶體領域時(Stepl〇2之N〇 ),則不進行 Stepl〇3 及 Stepl04 之動作。 接著,記憶體資訊控制部 101判定過去已解碼之開放 35 1262024 玖、發明說明 不需要之記憶體領域之指令是否隨著重要影像(解碼並保 存於記憶體)編碼(Siepl40),若已隨著重要影像編碼(
StePl4〇之Yes),則結束處理,若未隨著重要影像編碼(
StepUO之N。)’則管理資訊編碼部1〇5將該開放不需要之 5記憶體領域之指令再度作為記憶體管理資訊來編碼( Stepl41) ’而完成處理。 藉此,開放不需要之記憶體領域之指令即隨著重要影 像而編碼。 如上所述,由於上述指令隨附於已編碼並保存於記憶 10體之重要影像,故上述指令會被解碼,則傳送路錯誤發生 之際,仍可提高使影像正確復原之可能性。 x 又,只要可將上述開放不需要之記憶體領域之指令作 為記憶體管理資訊來多數次傳送即可,在再度編碼該指令 並傳送時H要使之隨著料之編碼㈣來傳送。 15 x ’再傳送記憶體管理資訊之指令時,該再傳送之指 令並非與被編碼之圖像相同流,例如亦可使之作為其他流 來傳送,記錄於儲存媒體之其他領域。 (實施型態6 ) 20 接著’說明有關本實施型態之影像編碼方法。第㈣ 是顯示實施型態6中之影像編碼方法之流程圖。第η圖顯 不出第5圖所示之影像編碼裝置1〇〇 υ炙勁作。第12圖中, 與第9圖動作相同者則賦予相同標號。 第12圖所示之本實施型態之特徼 将欲在於,將移動影像到 長時間保存記憶體之記憶體管理資部 貝也之指令重複編碼,並 36 1262024 玖、發明說明 至少1次隨著重要畫面(已解碼且保存於記憶體)來傳送 。:使將移動影像到長時間保存記憶體之記憶體管理資訊 之b重複編碼’但若隨著重要度不高之影像傳送記憶體 管理資訊之指令,則當重要度不高之影像未全解碼時,會 5恶法取得記憶體管理資訊之指令。 第U圖中,首先編碼輸入影像(Stepl2〇)。編碼後, 調查是否有應移動到長時間保存記憶體之影像(stepi2i) ,判定是否有應移動之影像(Stepl22)。 若有應移動之影像(Stepl22 < Yes),則管理資訊編 10碼部105將顯示如何移動到長時間保存記憶體之指令作為 記憶體管理資訊來編碼(Stepl23),如該指令所示地將圖 像移動到長時間保存記憶體(Stepl24)。 接著,記憶體資訊控制部1〇1判定過去已編碼之移動 到長時間保存記憶體之指令是否已隨著重要影像(已解碼 15並保存於圮憶體)被編碼(Stepl50 ),若已隨附於重要影 像(Stepl50之Yes)則結束處理,若未隨附於重要影像( Stepl50之No),則管理資訊編碼部1〇5將該移動到長時間 保存記憶體之指令再度作為記憶體管理資訊而編碼( Stepl51),結束處理。 20 藉此,移動影像到長時間保存記憶體之指令即隨著重 要影像被編碼。 如上述做法,由於上述指令隨附於已解碼並保存於記 憶體之重要影像,因此上述指令可被解碼,在發生傳送路 錯誤之際,使影像正確復原之可能性仍很高。 37 1262024 玖、發明說明 又,只要可將上述移動到長時間保存記憶體之指令作 為記憶體管理資訊來多數次傳送即可,在再度編碼該指令 並傳送時H要使續著影像之編碼减來傳送。 匕又,再次傳送記憶體管王里資訊之指令日寺,該再傳送之 9 7未必位於與已被編碼之圖像相同流,例如可作為其他 流來傳送,亦可記錄於儲存媒體之其他領域。 / (實施型態7 )
說明關於在實施型態7中之影像編碼方法。 本κ % 5L恶之特徵在於,因應影像之重要度來參考選 ίο出之參考影像進行編碼之影像編碼方法。 / 、“第13圖是顯示本發明之實施型態7之影像編碼方法之 流程圖。第13圖是顯示第5圖中所示之影像編碼裝置ι〇〇 所進行之動作者。 15
第13圖中, Stepl60 )。例如 I 首先設定編碼對象之各影像之重要度( 圖像或P圖像之重要度高,B圖像之重 要度低。又, 像之重要度高 即使同樣是P ®像,為多數影像參考之P圖 ’而不太被參考之P圖像重要度低。
20 接著《 °己體内之參考影像選出重要度為編碼對象 P像同等以上之影像’作為參考影像之候㈣(S邮⑹)。 例士 B圖像可參考1 51像與p ®像,但P II像把重要度 低之P圖像從參考影像之候補排除。 接著將顯不選出之參考影像之候補之資訊(記憶體 &里貝Λ之一種)編碼(Stepl62),從選出之參考影像之 候補中以區塊單付·失本 $号適切之參考影像來編碼(Stepl63 ) 38 1262024 玖、發明說明 。又’ Stepl62與Stepl63順序可不同,調換亦可。 如此,在麥考影像之候補中,不會加入重要度較編碼 對象影像之重要度低之影像。 如上所述,在參考影像之候補中,不加入重要度較編 5碼對象影像之重要度低之影像,藉此,在生成可實現延展 性之流時,可從參考影像中排除不可參考之影像,提高編 碼效率。 在此,利用苐14圖具體說明因應如上所述來設定之影 像之重要度所進行之影像編碼方法。 1〇 第14 ( a )圖是顯示賦予各框之編號(圖像(框)編 號)、各框保存於記憶體内時之編號(保存圖像(框)編號 )、與顯示各框傳送之順序之編號(傳送順序)之關係之說 明圖。 第14(a)圖中,影像編號〇之I圖像由於不參考其他 15 圖像’故保存於記憶體内,保存圖像編號為0。接著,參 考圖像編號0之I圖像之圖像編號2之P圖像保存於記憶 體中’故關於圖像編號2之p圖像之保存圖像編號就變成 1 °然後,由於參考圖像編號〇之][圖像與圖像編號2之p 圖像之圖像編號i之B圖像保存於記憶體内,故圖像編號 2〇 1之B圖像之保存圖像編號變成2。各圖像之傳送順序為 保存於記憶體之順序。圖像編號、保存圖像編號及傳送順 序關係以相同程序來決定。 接著’利用第14 ( b )圖說明解碼(decodO之圖像 編唬、保存於記憶體之圖像編號及被刪除之圖像編號之關 39 1262024 玖、發明說明 係之一例。 第14 (b)圖是顯示解碼之圖像編號(框編號)、保存 之圖像編號(框編號)與刪除之圖像編號(框編號)之關 係之關係圖。又,在此,使可保存於記憶體之圖像之最大 5張數為5。記憶體中係依據傳送順序來保存圖像。 又’例如,圖像編號為4之p圖像被解碼時,由於圖 像編號為4之P圖像之保存圖像編號為3,故保存圖像編 號為0、1、2之圖像即保存於記憶體上。解碼之圖像編號 為3之B圖像被解碼時,如第I* (b)圖所示,保存有圖 1〇像編唬為4,1,2,0之圖像。在此,圖像編號i之B圖像係如 第14 (a)圖所示,由於解碼圖像編號3之圖像後不能被 任何圖像所參考,故圖像編號3之圖像在被解碼時即刪除 同樣的,解碼之圖像編號為5之B圖像被解碼時,如 15第14 ( b )圖所示,保存有圖像編號為6,3,4,2,0之圖像。 在此’圖像編號3之B圖像係在解碼圖像編號5之圖像後 不能被任何圖像參考,故圖像編號5之B圖像在被解碼時 即被刪除。 更,解碼之圖像編號為8之P圖像被解碼時,係如第 20 14 ( b )圖所示,保存有圖像編號為5,6,4,2,0之圖像。在 此,由於記憶體中最大只能保存5個框,因此,為了於之 後參考圖像編號8之P圖像,必須刪除圖像編號5,6,4,2,〇 任一者之圖像以確保記憶圖像編號8之p圖像之記憶體。 於是,在P圖像之解碼,亦即偶數編號之圖像編號之解碼 40 1262024 玖、發明說明 中,會在解碼圖像編號8之P圖像時,將時間上最舊之圖 像,在此即圖像編號為〇之Ϊ圖像刪除作為第14 ( b )圖 之刪除之框之選擇基準。 同樣的,在解碼之圖像編號為7之B圖像被解碼時, 5如第I4 (b)圖所示,保存有圖像編號為8,5,6,4,2之圖像 。在此,圖像編號5之B圖像係在解碼圖像編號7之B圖 像後即不被任何圖像參考,故在解碼圖像編號為7之B圖 像時即被刪除。 更,當解碼之圖像編號為10之p圖像被解碼時,係如 10第14 (b)圖所示,保存了圖像編號為7,8,6,4,2之圖像。 在此,由於記憶體中最大只能保存5個框,因此,為了於 之後參考圖像編號1〇之P圖像,必須刪除圖像編號 7,8,6,4,2,任一者之圖像以確保記憶圖像編號1〇之圖像之記 憶體。於是,纟P圖像之解碼,亦即偶數編號之圖像編號 15之圖像之解碼中,會在解碼圖像編號10之1>圖像時,將時 間上最舊之圖像編號為2之圖像刪除作為第Μ (b)圖之 刪除之框之選擇基準。 如此刪除圖像之際,用以刪除圖像之記憶體管理資訊 之指令也被編碼而隨著被解碼之圖像之編碼來傳送。 20 1述第14 (b)圖所顯示之例中,是敘述有關記憶體 内存在有不需要之影像(圖像),而發送—次除去該影像之 記憶體管理資訊之指令之例子。如此,僅一次發送除去之 。己L體s理貝afl之&令’則有可能無法執行隨著b圖像發 送之記憶體管理資訊之指令。這是由於B圖像要在p圖像 41 1262024 玖、發明說明 之編碼、解叾馬φ 、a 、 為苓考圖像來使用之可能性很低,因此 在無法確保充分之 U今里或傳送容量時,B圖像之數據 被優先放棄之可a _ 了此性很兩,結果,導致隨著B圖像發送之 5 10 15 20 記憶體管理資訊之指令可能無法執行。 ^ : ”、乂個問題,說明將除去影像之記憶體管理資 訊之指令重複編碼 寻^之例子。以下就第14 (c)圖具 體說明之。 一()圖疋顯不解碼之圖像編號(框編號)、保存 之圖像編號(插纟总妹《、 ^ 扁唬)與刪除之圖像編號(框編號)之另 -關係之關係圖。第14(c)圖中,係顯示把被刪除之圖 像編號之圖像刪除之指令隨附於解碼之圖像編號之圖像之 編碼訊號者。 如第14(c)圖所示,圖像編號為3 < B圖像被解碼 時,保存有圖像編號41 2 〇 ,,,υ之圖像。在此,圖像編號1之 Β圖像係如第14 (a)圖所示,在解碼圖像編號3之圖像 後即不被任何圖像參考。因此,在圖像編號為3之圖像被 解碼時’即刪除圖像編號i之B圖像,而用以消除之記憶 體管理資汛之指令隨附於圖像編號3之圖像。 然而’由於圖像編號3之圖像AB圖像,故如前所述 ,在影像之再現這點上,相較於〖圖像或p圖像其重要度 較低,务送之際數據谷易被放棄,故隨著圖像編號3 圖像傳送之記憶體管理資訊之指令很可能無法執行(如第 25圖所示保存有框之情況)。 因此,使顯示出刪除隨附於圖像編號3之圖像編號1 42 1262024 玖、發明說明 之圖像之兄憶體管理資訊之指令,隨附於接著解碼之在圖 像之再現這點上相較於圖像編號3之B圖像重要度高之圖 像編號6之P圖像(參考第14 (c)圖)。 同樣的’使隨附於圖像編號5之B圖像之記憶體管理 5貧訊之指令(顯示刪除圖像編號3之圖像)也隨附於圖像 編號8之P圖像’使隨附於圖像編號7之B圖像之記憶體 官理資说之指令(顯示刪除圖像編號5之圖像)也隨附於 圖像編號10之P圖像。又,由於圖像編號8之圖像為p 圖像’故如第14 ( c)圖所示,雖未使隨附於圖像編號8 10之圖像之記憶體管理資訊之指令隨附於圖像編號7之B圖 像’不過亦可使之隨附。 以上,如第14 ( c)圖所示,使最初隨附於b圖像之 記憶體管理資訊之指令相同之記憶體管理資訊之指令重複 隨附於在影像之再現這點上重要度較B圖像高之圖像且保 15 存或傳送晚於記憶體管理資訊之指令最初隨附之B圖像之 圖像。藉此,即使欠缺記憶體管理資訊之指令最初隨附之 B圖像,仍可正常執行記憶體管理資訊之指令。 又,如利用第14 ( c )圖說明的,即使已使記憶體管 理資訊之指令隨附於B圖像,又重複使記憶體管理資訊之 20 指令隨附於P圖像時,這種情況即利用已設定之重要度。 又,重要度之設定並不限定於本實施型態所顯示者。 又,本實施型態中,因應各影像之重要度,決定是否 要發送各影像,並非使各影像中之重要度如上述實施型態 所示之記憶體管理資訊般隨附於各影像來編碼。因此,本 43 1262024 玖、發明說明 實施型態中,已編碼之數據之解碼處理與習知方法相同 (實施型態8 ) 接著’說明有關實施型態8。 刪除記憶體内 (吕己憶體管理 本貝施型恶之特徵係多數次編碼並傳送 5 10 之全影像(圖像)、進行記憶體領域之初期化 資訊)之指令。 上述各貫施型態中所示之記情辦其 G U體官理貧訊係作為如第 15圖所示之編碼資訊來賦予。
第15圖是顯示記憶體管理f訊之指令之對應圖,顯示 編碼編號(Code)、指令内容(指令)與該附加資 加資訊)。 ^如,開放短時間保存記憶體之不需要之領域之指令 (短日可間保存記憶體開放)係作為編碼資訊㈤^來職予 開放之圖像編號(框編號)係作為附加資訊被賦予。
又’編碼找係作為第17圖所示之各框之標頭資訊被 賦予。 第17圖是顯不在各影像之編碼訊號之標頭資訊與框數 據之關係之模式圖。帛17»中,各編碼訊號顯示後述之框 Frml2、Frmll、FrmU之編碼訊號。各編碼訊號具備了具 2〇有標頭資訊之框標頭及關於影像編碼之框數據。例如,框 Fml2之編碼訊號具備了框標頭Frml2Hdr與由各數據 MB12a,MBl2b,MB12c,MB12d 等形成之框數據。 該編碼訊號之詳細内容顯示於第18圖之模式圖。 第18圖疋顯示在編碼訊號之標頭資訊中之記憶體管理 44 1262024 玖、發明說明 資訊之指令之模式圖。 5 10 15 如第18圖所示,框FrmA之繞m ^ 局碼訊號具備了具有標頭 資訊之框標頭FrmAHdr、及由各赵搪A/r 合数據 MBa,MBb,MBc,MBd 等形成之框數據。然後,繼指令之编 〈、局碼貪訊CodeA之後編 碼資訊CodeA之附加資訊AddA,接著應緊接在編碼資訊 CodeA之指令之後執行之指令之編碼:㈣、編碼資 訊CodeB之附加資訊AddB附加於框標頭触八趾。若無 附加資訊則如編碼資訊C 〇 d e C般僅附加編碼資訊。 接著’於弟16圖顯示指令執行之程序。 第16圖是顯示指令實行程序之流程圖。 第16圖中,首先取得指令(StepC〇),判定指令之取 得是否已結束(StepCl)。若指令之取得未結束,而已取得 才曰令(StepCl之No ),則進行已取得之指令之執行( StepC2),回到StepC0重複該動作。另一方面,若指令之 取付已結束而未取得指令(gtepCi之Yes ),則結束指令執 行之處理。該手續於每個框進行。又,即使指令資訊是以 由多數巨區塊形成之片段單位來發送時,指令也以同上之 程序來執行。
又’上述貫施型態1中說明了有關除去不需要之影像 20 (開放記憶體)之記憶體管理資訊之指令。更,實施型態 1中顯示,藉由將除去不需要之影像之記憶體管理資訊之 指令重複編碼,則即使單方之記憶體管理資訊之指令因傳 送路錯誤而消失,仍可依據另一方之記憶體管理資訊之指 令來將保存於記憶體内之影像之管理資訊復原,使得可正 45 1262024 玖、發明說明 確復原影像之可能性提高。 」:就第15圖所示之編碼資訊中,除去記憶體内所 有資汛之初期化指令Code5進行檢討。 初』化才a令code5只傳送一次日夺,若該初期化指令 C〇de5因傳送路錯誤而消失’則會對本來初期化後所進行 之記憶體管理等之處理造成影響。因此,利用第19圖來,兒 明與實施型態i同樣地將初期化指令CQde5重複編碼並傳 送之情況。
弟19圖是顯示賦予各框之編號(圖像(框)編號)、 Μ各框保存於記憶體内時之編號(保存圖像(框)編號)、及 彳傳送之順序(傳送順序)之關係之說明圖。 以下,具體說明第19圖。首先,影像編號〇之t圖像 由於不參考其他圖像,故保存於記憶體内,保存圖像編號 二 接著參考圖像編號0之I圖像之圖像編號2之p 15圖像保存於記憶體中,故關於圖像編號2 p圖像之保存
Θ像、’扁戒就、交成!。然後,由於參考圖像編號〇之!圖像 與圖像編號2之P圖像之圖像編號工之B圖像保存於記憶 1,故圖像編號1之B圖像之保存圖像編號變成2。各 2圖像之傳送順序為保存於記憶體之順序。圖像編號、保存 20圖像編f虎及傳送順序之關係以相同程序來決定。 在、扁碼第19圖所示之圖像編號12之I圖像時,發送 楚 1 5圖所示之初期化指令Code5。由於圖像編號12之! 之保存圖像編號為11,故藉該初期化指令Code5,可 從記憶體内將保存圖像編號為10以下之圖像全部除去。 46 1262024 玖、發明說明 在此’利用第2〇圖說明 法。 ㈡兄明編碼初期化指令C〇de5之方 弟20圖是顯示編碼初期化指令c〇d 圖,顯示出第5_ 心乃忐之机私 5 。 圖^之影像編瑪裝置⑽所進行之動作 内:二輸入影像編修PA°),後調查記憶體 =1考像是否需要(今後之編瑪中是否任-影像 10 15 20 圖像減難)(stepA1),収儲存於記憶之 圖像今後是否不被參照而可初期化(stepA2)。 化之若Γ刀期化(stepA2之Yes),則使將記憶體領域初期 之:相⑽de5作為記憶體管理資訊 ΓΓ右進行初期化(ste_,結束處理。另—方面, 之必要時(stepA2之N。),則不進行stepA3 及StePA4之動作,結束處理。 接著利用第21圖說明有關將已編碼之初期化指令 Code5解碼之方法。 、第,21圖是顯示將已編碼之初期化指令c〇de5解碼之 4圖’顯不出第7圖所示之影像編碼裝置細所 進行之動作。 首先,將記憶體管理資訊解碼(StepA1〇),依據編碼 訊號來解碼影像訊號(StepAU)。接著,判定已解碼之記 憶體管理資訊是否有初期化指令“Μ (StepM2),若有 初期化指令c〇de5 (StepAi2之Yes),則將記憶於記憶體 内之圖像全部除去並初期化(StepA13),結束處理。但, 47 1262024 玫、發明說明 這時,不除去已解碼之影像(在StepAu中)。 另-方面’若記憶體管理資訊中沒有初 人 C〇de5(StepAl2<N〇),則結束處理。 ” 5 10 15 20 、】用第19圖具體說明關於進行記憶體初期 方法。第19圖所示之圖像編號U之B圖像中,心了: 賦予圖像編號12之τ岡後+、u Γ與 2之I圖像之初期化指令c〇d 化指令Code5。 初期 依弟17圖所示,則框Fml2 (圖像編號: 頭Frml2Hdr、盥祐耵", 柩才示 ”框FmU (圖像編號u)之
FrmllHdr皆祜肼A 7u , u如頌 白破軾予了初期化指令code5
Code5係如第15 m的一 丁曰士 匕才日々 圖所不不具有附加資訊,故在被解碼之時 ’即將保存於記憶體内之圖像全部除去。 因此右賦予圖像編號12 (保存圖像編號⑴之 像之初期化指令code5因傳送路錯誤而消失,而; 圖像編號w保存圖像編號12)〇圖像之初期化指令 Codd立則保存圖像編號u之前所解碼之圖像中,所有保 存於體之圖像全被除去。亦即,連本來不能除去之圖 像編说12 (保存圖像編號⑴之!圖像也被除去。 如此,將與賦予圖像編號12之ί圖像之初期化指令 C〇de5相同之初期化指令⑽以圖像編^之 T就變成欠缺了 1張圖像(圖像編號12之!圖像)。另 將與靖予圖像編號12 (保存圖像編號⑴之ι圖 像之初期化指令—之初期化指令_賦予圖像 編5虎14 (保存圖像編號13)”圖像,若賦予圖像編號 48 l262〇24 坎、發明說明 =之1圖像之初期化指令code5因傳送路錯誤而消失,而 執行賦予圖像編號以P圖像之初期化指令CQde5,則變 成欠缺2張圖像(圖像編號MW像與圖像編號12之 1圖像)。 又,若將初期化指令code5重複編石馬,最初傳送之初 期化指令Codes與後續傳送之初期化指令CQde5都未發生 10
:送路錯誤而被執行時’也會發生與上述相同之問題:這 是因為記憶體藉最初傳送之初期化指令c〇de5被初期化, 更藉後續送到之初期化指令CQde5而再度被初期化。 接著說明為了解決這種記憶體之初期化中之問題之方 法。 第22圖是顯示用以解決記憶體之初期化中之問體之記 憶體管理資訊之指令。 與第15圖不同之處是,帛22圖中新追加了初期化再 15迗指令C—6這一點。又,該初期化再送指令具有
初期化圖像(框)編號(將記憶體領域初期化之初期化指 令Code5所隨附之框之編號)作為附加資訊。 以下,利用第23圖說明有關使用該初期化再送指令 Code6之影像編碼之處理流程。 20 第23圖是顯示使用初期化再送指令Code6之影像編 碼方法之流程圖,顯示出第5圖所示之影像編碼裝置 所進行之動作。第23圖中,與第20圖相同動作者則軾予 相同標號。 首先,將輸入影像編碼(StepA〇)。編碼後調查記憶體 49 1262024 玖、發明說明 内所有圖像是否需| (今後之編瑪中是否任-影像皆不被 /考)(初,月化δ周查)(StepA1)。記憶體資訊控制判定 是否需要初期化
StepA2 ) ’若有初期化之必要(以印八2 之Yes)’則管理資訊編碼部1〇5使將記憶體領域初期化之 初期化指+⑽5作為記憶體管理資訊而編碼(StepA3) 5 10 ’進行初期化(StepA4)1無初期化之必要時(—Μ 之No )則不進行StePA3及StepA4之動作。 接者,記憶體資訊控制部1〇1判定將記憶體領域初期 之初』化“彳c〇de5 {否已作為記憶體管理資訊而隨著 最新編碼之影像(早於編碼對象之影像)之編碼訊號來編 碼(stepA30),若已編碼(StepA3〇之〜),則管理資訊 、扁馬W 1〇5會使該將記憶體職初期化之初期㈣送指令 作為Z憶體官理貧訊來編碼(StepA31 ),而結束處 理。 又’若是將記憶體領域初期化之初期化指♦ c〇de5並 未作為記憶體管理資訊隨著最新編碼之影像(早於編碼對 象之影像)之編碼訊號而編碼(StepA3G之N。),則結束 處理。 又’第23圖所示之方法中,係#將記憶體領域初期化 之子刀期化&令Code5隨著最新編碼之影像之編碼訊號而被 編碼’則編碼初期化再送指+ c〇de6,不過,當將記憶體 期化之初期化指令c〇de5不是隨著最新之影像,而 疋心者數影像前已編碼之影像被編碼時,亦可編碼初期化 再达杉令Code6,X ’亦可使將記憶體領域初期化之初期 50 1262024 玖、發明說明 化再送指令Code6作為記憶體管理資訊而隨著多數影像重 複編碼。 具體而言,係如第19圖所示,將初期化指令Code5 隨著圖像編號12之I圖像之編碼來編碼時,亦可隨著圖像 5 編號11之B圖像之編碼來將初期化再送指令Code6編碼 ,又,亦可將初期化再送指令Code6隨著圖像編號14之P 圖像之編碼來編碼。 前者之情況,若以第17圖顯示,則係將初期化指令 Code5賦予框Frml2之框標頭Frml2Hdr,更將初期化再送 10 指令Code6賦予框Frmll之框標頭FrmllHdr,又,後者 之情況,係將初期化指令Code5賦予框Frml2之框標頭 Frml2Hdr,而將初期化再送指令Code6賦予框Frml4之框 標頭 Frml4Hdr。 更可在將初期化再送指令Code6隨著圖像編號11之B 15 圖像之編碼之同時,亦使初期化再送指令Code6隨著圖像 編號14之P圖像之編碼而編碼。這種情況以第17圖顯示 ,則變成將初期化指令Code5賦予框Frml2之框標頭 Frml2Hdr,而將初期化再送指令Code6賦予框Frmll之框 標頭FrmllHdr與框Frml4之框標頭Frml4Hdr。 20 接著,利用第24圖說明要將編碼上述初期化再送指令
Code6之數據解碼時之處理。第24圖是顯示將已編碼之初 期化再送指令Code6解碼之方法之流程圖,顯不出弟7圖 所示之影像解碼裝置200之動作。第24圖中與第21圖相 同動作則賦予相同標號。 51 1262024 玖、發明說明 首先,管理資訊解碼部205將記憶體管理資訊解碼( StepAlO)。接著,依據編碼訊號來解碼影像訊號(StepAll 判定已解碼之記憶體管理資訊中是否有初期化指令 5 Code5 ( StepA12 ),若有初期化指令 Code5 ( StepA12 之 Yes ),則除去記憶體内所有圖像並初期化(StepA13 ),若 無初期化指令Code5 ( StepA12之No ),則不進行初期化。
接著,記憶體資訊控制部101判定記憶體管理資訊中 是否有初期化再送指令Code6 ( StepA40)。若無初期化再 10 送指令Code6 (StepA40之No),則結束處理,若有初期化 再送指令Code6 (StepA40之Yes),則調查初期化是否已 完成(StepA41 )。若初期化已完成(StepA41之Yes )則結 束處理,若尚未初期化(StepA41之No),則依據初期化 再送指令Code6之附加資訊,刪除初期化框(將記憶體領 15 域初期化之初期化指令Code5所隨附之框)以前之保存框 (初期化框之編碼當時儲存於參考用影像記憶體之框),更 將長時間保存記憶體大小設為〇 ( StepA42 )而結束處理。 又,不使用長時間保存框時,則沒必要將長時間保存記憶 體大小設為0。 20 因此,將初期化指令Code5隨著第19圖所示之圖像 編號12之圖像編碼、且將初期化再送指令Code6隨著圖 像編號14而編碼時,若初期化指令Code5未因傳送路錯 誤而消失,則藉著初期化指令Code5將保存圖像編號為10 以下之圖像且保存於記憶體之圖像全部刪除,若初期化指 52 1262024 玖、發明說明 令Code5因傳送路錯誤而消失,則藉著初期化再送指令
Code6將保存圖像編號為1〇以下之圖像且保存於記憶體之 圖像全部刪除。 如此,將初期化指令C〇de5重複編碼傳送之際,第2 5次以後,由於將附加資訊即附加於初期化圖像編號之初期 化再送扣令Code6編碼並傳送,故依據該附加資訊,刪除 初期化框以前之保存框(最初初期化指令c〇de5所隨附之 初期化框在編碼時儲存於參考用影像記憶體之框)。因此, 可解決如上述之欠缺必要之影像(圖像)之問題。 又即使如第25圖,保存圖像編號之賦予方法與第 19圖不同之情況’上述所說明之初期化再送指令Co—仍 有效。 以下具體說明。 第25圖是顯示在賦予各框之編號(圖像(框)編號) 15、各框保存於記憶體内時之編號(保存圖像(框)編號) 與顯示各框傳送之順序之編號(傳送順序)上其他關係之 說明圖。 也明關於化些編號之賦予方法。首先,圖像編號〇之 1圖像由於不參考其他圖像,故保存於記憶體内,保存圖 20像編號為0。接著,參考圖像編號〇之!圖像之圖像編號2 之P圖像保存於記憶體中,故關於圖像編號2之P圖像之 保存圖像編號就變成。然後,參考圖像編號〇之!圖像 與圖像編號2之P圖像之圖像編號i之B圖像雖保存於記 憶體内’但該B圖像不被其他圖像所參考,故保存圖像編 53 1262024 坎、發明說明 波係與最新保存之圖像編號2之p圖像之保存圖像編號同 樣變成i。各圖像之傳送順序為保存於記憶體之順序。圖 像編號、保存圖像編號及傳送順序關係以相同程序來決定 如第25圖所示,在編碼圖像編號12之丨圖像時,隨 附了第15圖所示之初期化指+ c〇de5而傳送。由於圖像 編號12之!圖像之保存圖像編號為6,故藉該初期化指令
Code5,保存圖像編號在5以下之圖像可自記憶體内全部 除去。 在此,說明重複編碼初期化指令c〇de5之情況,具體 而言’是對圖像編號之P圖像賦予_與賦予圖像編號 12之I圖像之初期化指令c〇de5同一初期化指令c〇de5時 之情況。 15
初期化指令c〇de5係如第15圖所示,由於沒有附加 資訊’故在被解碼之時即除去所有保存於參考用記憶體内 之圖像。因此’若賦予圖像編號12(保存圖像編號6)之 I圖像之初期化指令Code5因傳送路錯誤而消失,而執行 賦予圖像編號14 (保存圖像編號7)之p圖像之初期化指 令Code5,則保存圖像編號6以下之圖像且保存於記憶體 之圖像會全部遭除去。亦即,連本來不可被除去之圖像編 號12 (保存圖像編號6 )之j圖像也遭到除去。 然而,藉由使上述初期化再送指令c〇de6取代初期化 指令Code5隨附於圖像編號14之p圖像,則當隨附於圖 像編號12之I圖像之初期化指令c〇de5未因傳送路錯誤而 54 20 1262024 玖、發明說明 消失時,則是藉初期化指令code5將保存圖像編號為5以 下之圖像且保存於記憶體内之圖像全部刪除,而若初期化 指令C〇de5因傳送路錯誤而消失時,則藉隨㈣圖像㈣ Η之P ®像之初期化再送指令CQde6,㈣存圖像編號為 5 5以下之圖像且保存於記憶體内之圖像全部刪除。 亦即,由於對初期化再送指令c〇de6附加初期化框( 料為圖像編號12)編號作為附加資訊,因此初期化框以 前之保存框(保存初期化框時館存於參考用影像記憶體之 保存圖像編號在5以下之保存框)會被刪除。 1〇 %上所述’藉著具有附加資訊之初期化再送指令 C〇de6’即使初期化指令CGde5因傳送路錯誤而欠缺,可 正常執行初期化之可能性仍很高。又,本實施型態中所示 之初期化再送指令中,亦可使將附加資訊作為隨附有初期 化再送指令之圖像編號者作為初期化指令代用,以土個指 15令實現第22圖所示之c〇de5與c〇de6。這是因為在為了: 期化資訊之再送而進行初期化再送時,由於指定初期化指 τ所附之框編號’故再送該框之圖像編號不會用到。這 時,亦可使初期化指令c〇de5無效。 又,如此以1指令實現上述實施型態所示之初期化再 ^,指令與初期化指令c〇de5a夺,,亦可以具有上述實施型 〜中所不之初期化再送指令中不使用之特別值作為附加資 訊之初期化再送指令,作為與最初發送之初期化指令 C〇de5具有相同機能之指令。 又’如上述各實施型態中所說明的,當再度傳送開放 55 1262024 坟、發明說明 ,之圮憶體領域之指令或初期化指令等之記憶體管理 7如第17圖及第18圖所示地,亦可不含在附加於 7於影像之編號之框數據之標頭資訊中,而是記憶體管理 $貝…fl所含之標頭資訊與框數據個別分離來傳送。亦即,可 、再迖之上述私令不與被編碼之圖像相同流,而是例如作 為其他流來傳送。又,亦可記錄於儲存媒體之其他領域。 進一步,本實施型態中,再送初期化指令時是於初期 再送扎7中附加初期化指令最初隨附之圖像之圖像編號 (初期化框編號)作為附加資訊,不過當然亦可在上述各 1〇 κ轭型恶中所示的,在再送指定顯示開放之記憶體領域之 拍令、或從短時間保存記憶體移動到長時間保存記憶體之 對象之圖像之指令等之記憶體管理資訊之指令時,包含該 才曰令最初隨附而傳送之編碼對象圖像之圖像編號(將圖像 特疋之資讯)作為參數來傳送。藉由如此做,則傳送該圖 15像時可檢查出是否發生傳送錯誤。 (實施型態9 ) 接著’說明有關實施型態9中之影像編碼方法及影像 解碼方法。 本實施型態之特徵是在於當多數次傳送記憶體管理資 20訊時’變更依據第2次以後傳送之記憶體管理資訊之處理 時機。 將重複編碼上述實施型態中所示之記憶體管理資訊之 數據解碼時’進行重複發送之記憶體管理資訊之處理前, 一定會將隨附有記憶體管理資訊之影像訊號解碼。就實施 56 1262024 玫、發明說明 , 型恶2中說明之多數次傳送開放不需要之記憶體領域之指 令之情況,利用第19圖再度說明以作為具體例。 使第22圖所示之Codel之指令隨附於第19圖所示之 圖像編號12之圖像並編碼,更使codel之指令也隨附於 5圖像編號11之圖像並編碼。這時,解碼是依據第8圖而成 〇 首先’將隨附於圖像編號12之圖像之Codel解碼(
StepllO)。接著解碼圖像編號a之圖像(Stepin)。在此 馨 ’右本來應隨附於圖像編號12之圖像之C〇dei在傳送途 1〇中欠缺(Stepll2之No),則結束有關該框之處理。 依傳送順序,圖像編號12之圖像後下一個進行解碼處 理的是圖像編號11之圖像。 首先,將隨附於圖像編號η之圖像而編碼之c〇del解 碼(StepllO)。接著解碼圖像編號12之圖像(Stepiii)。 15該Codel在傳送途中未欠缺而傳送到時,則由於被解碼之 記憶體管理資訊中存在有記憶體開放之指令之c〇del ( ·
Stepll2之Yes),因此進行下一部處理(Step113)。 在此,當將圖像編號U之圖像被解碼前所解碼之圖像 · 編號12之圖像解碼時,由於並未進行記憶體開放( · 20 SteP113之No),故進行記憶體開放(Stepll4)。 · 如上述具體例所示,伴隨著多數次傳送開放不需要之 記憶體領域之指令,對未執行本來最初之指令之圖像(圖 像編號12)所應執行之指令,變成晚於之後送到之圖像( 圖像編號11)之影像訊號解碼處理,導致指令之執行發生 57 1262024 玖、發明說明 延遲。 因此,在本實施型態中,利用第26、27及28圖來說 明用以解決上述課題之方法。 第26圖是顯示本實施型態中使用之記憶體管理資訊與 5 指令之關係之對應圖。
第26圖中,Code是表示指令之編號,指令是表示指 令之内容,附加資訊是表示附加於指令之附加資訊,處理 位置是表示執行指令之時機。 與第15圖相異之點是,第26圖中係使CodeAl到 10 CodeA4為在影像解碼處理後執行之指令,另一方面,使對 應於CodeAl到CodeA4之CodeA6到CodeA9為在影像解 碼前執行之指令這一點。
然後,重複發送記憶體管理資訊時,使最初編碼之記 憶體管理資訊之指令作為處理位置在解碼後之(影像解碼 15 後執行)指令(CodeAl到CodeA4),而使重複(第2次以 後)編碼之指令為處理位置在解碼前之(影像解碼前執行 )指令(CodeA6 ill CodeA9)。 藉此,即使欠缺最初發送之記憶體管理資訊,應該藉 本來最初發送之記憶體管理資訊執行之指令仍可在早期執 20 行,而不易引起延遲等問題。 以下,利用第27及28圖說明利用第26圖之指令時之 處理程序。 第27圖是顯示本實施型態中之影像編碼方法之流程圖 ,顯示出第5圖所示之影像編碼裝置100之動作。 58 1262024 玖、發明說明 第27圖中,首先,將影像編碼(stepBO )。編碼後調 查記憶體内不需要的領域(在今後之編碼中不會被參考之 影像)(StepBl ),判定是否有不需要的記憶體領域( StepB2)。若有不需要的記憶體領域(%ρΒ2之Yes),則 5將開放不需要之記憶體領域之指令作為影像訊號解碼後執 行者,而將解碼後用記憶體管理資訊編碼(StepB3),開放 該不需要之記憶體領域(StepB4)。另一方面,若沒有不需 要之記憶體領域時(StepB2之No),則不進行%ρΒ3及 StepB4 〇 1〇 接著,記憶體資訊控制部101判定開放不需要之記憶 體領域之指令是否隨著最新編碼之影像(早於編碼對象之 影像)之編碼而作為記憶體管理資訊來編碼(st叩B3〇), 若未編碼(StepB30之No ),則結束處理,若已編碼( StePB30之Yes),則管理資訊編碼部1〇5會將開放該不需 15要之記憶體領域之指令作為影像訊號解碼前執行者而將解 碼前用記憶體管理資訊編碼(StepB31),結束處理。 又,在StepB3〇巾,當隨著最新編碼之影像之編碼訊 號而將開放不需要之記憶體領域之指令編碼時,會再度將 指令編碼,不過亦可不隨著最新影像,而是隨著數影像前 2〇之影像,更可重複將上述指令作為記憶體管理資訊來編碼 ’使之隨附於多數影像來傳送。 接著利用第28圖與第19圖來說明關於依據第27圖之 程序來解碼已編碼之數據之程序。 第28圖是顯示本實施型態中之影像解碼方法之流程圖 59 1262024 玖、發明說明 . ,顯示出第7圖所示之影像解碼裝置2〇〇所進行之動作。 在以下說明中,第19圖中係第26圖所示之⑶如八工 之指令隨附於圖像編號12之圖像而編碼,更使c〇deA6之 * 指令隨附於圖像編號11之圖像而編碼。依第17圖所示, · 5將CodeAl賦予圖像編號12之框Fml2之框標頭 Frml2Hdr中,將C〇deA6賦予圖像編號u之框Fmll之 框標頭FrmllHdr。 又,圖像解碼裝置中,只要指令不因傳送路錯誤而消 · 失’則會多數次接收到開放記憶體内之相同影像之領域之 10指令。因此,影像解碼裝置所進行之影像解碼方法中,即 使接收到將已開放之影像再度開放之指令,也不會作為錯 誤而不處理,相反地必須判斷是否可正確接收。 首先,針對關於圖像編號12之圖像之解碼處理來說明 〇 15 第28圖中,首先,將圖像編號12之圖像之記憶體管 理資訊解碼(StepB5 ),調查該記憶體管理資訊是否為解碼 · 月il用Z憶體管理資汛(StepB7 )。在此,由於該記憶體管理 資訊(CodeA1 )為解碼後用記憶體管理資訊(&沖7之 -
No),故圖像編號12之影像訊號被解碼。接著,如上所述 20地,由於記憶體管理資訊(CodeAl )是解碼後用記憶體管 理資訊(StepB9之Yes),故記憶體被開放(StepBli),關 · 於圖像編號12之圖像之記憶體管理資訊之處理結束。 另一方面,記憶體管理資訊之CodeAl欠缺時,在 StepB7中不會被判斷為解碼前用記憶體管理資訊(StepB7 60 1262024 玖、發明說明 之No ),又,在stepB9中不會被判斷為解碼後用記憶體管 理資訊(StePB9之No),只進行圖像編號12之影像訊號 之解碼(StepB6),結束關於圖像編號12之記憶體管理資 訊之處理。 5 接著,利用第28圖針對關於圖像編號U之框之解碼 處理來說明。 首先,將圖像編號11之記憶體管理資訊解碼(StepB5 )’调查该記憶體管理資訊是否為解碼前用記憶體管理資訊 (StepB7)。在此,由於CodeA6是解碼前用記憶體管理資 10訊(StePB7之Yes),故調查記憶體是否已開放(StepB8) 。在圖像編號12之處理中,若執行了 CodeAl,則由於記 憶體已開放完成(StepB8之yes),故不進行記憶體開放處 理(StepBlO),而做成圖像編號11之影像訊號之解碼( StepB6 )。接著,判定記憶體管理資訊是否為解碼後用( 15 StepB9 ),而由於CodeA6為解碼前用記憶體管理資訊( StepB9之No),故結束有關圖像編號π之圖像之記憶體 管理資訊之處理。 然而,在傳送過程中,若因封包之欠缺等而使圖像編 號12之記憶體管理資訊欠缺,導致在有關圖像編號12之 20處理中,未做記憶體開放的話,則在有關圖像編號11之處 理中,會判定為記憶體開放未完成(StepB8之No),而在 接著的步驟中開放記憶體(StepBlO )。記憶體開放後,解 碼圖像編號11之影像訊號(StepB6)。接著,由於CodeA6 是解碼前用記憶體管理資訊(StepB9之No ),故結束有關 61 1262024 玖、發明說明 圖像編號11之圖像之記憶體管理資訊。 如此’關於再送份係使指令在解碼影像訊號之前就被 執行’藉此,則即使最初發送之指令欠缺,仍可減少指令 之執行之延遲。 5 又’就記憶體管理資訊為CodeA1與CodeA6之情況作 為具體例而說明,不過使用CodeA2與CodeA7之情況也可 以相同處理來實現,利用CodeA3與CodeA8、CodeA4與 CodeA9之情況也可以相同處理來實現。 又,亦可使第26圖所示之初期化指令c〇deA5為解碼 10後用記憶體管理資訊,而第22圖所示之初期化再送指令 CodeA6為解碼前用記憶體管理資訊,各自為對來使用。 又’於1框賦予1個解碼後用記憶體管理資訊與多數 解碼4用記憶體管理資訊作為標頭資訊時,可使多數解碼 前用記憶體管理資訊先於解碼後用記憶體管理資來處理。 15 亦即,於第17圖所示之標頭資訊之前頭賦予解碼前用 記憶體管理資訊來編碼即可。 又’藉著第29 (a)圖及第29 (b)圖中所示之命令之 組合,亦可將記憶體管理資訊為解碼前用管理資訊或解碼 後用官理資訊作為其他資訊,實現上述實施型態中所示之 20 指令。 第29 ( a )圖是顯示指令内容與附加資訊之對應圖, 第29 ( b )圖是顯示指令之實行時機(處理位置)之對應 圖。 一 第30圖疋顯示編碼訊號之標頭資訊中之記憶體管理資 62 1262024 玖、發明說明 訊之指令之模式圖。 第30圖中,框FrmB之編碼訊號具有框標頭FrmBHdr 與MBa,MBb等之框數據等,而框標頭FrmBHdr具有編碼 訊號CodeD等作為標頭資訊。 5 這時,例如第30圖所示地,將框FrmB之框標頭
FrmBHdr從前頭作為指令之編碼資訊CodeD、顯示處理位 置之FlagD、顯示指令之附加資訊之附加資訊AddD即可 。沒有附加資訊時,則如第30圖所示地將指令之CodeE、 顯示處理位置之FlagE附加於框標頭FrmBHdr即可。在顯 10 示指令之Code之後不是顯示附加資訊之Add,而是顯示處 理位置之Flag,藉此可使第28圖所示之StepB7或StepB9 之處理最適當化。
又,為了區別指令之執行時機是在影像訊號之解碼前 或解碼後任一者,可使用顯示指令之處理位置之新指令, 15 使位於顯示該處理位置之指令之框標頭的位置前之指令在 解碼後實施,而位於顯示該處理位置之指令之框標頭之位 置後之指令在解碼前實施。藉此,當有多數指令時,可以 1個指令顯示各個指令之執行時機(處理位置),相較於每 個指令發送顯示處理位置之Flag,則發送之資訊減少,編 20 碼效率提高。 利用第31圖說明具體例。 第31圖是顯示其他編碼訊號之標頭資訊中之記憶體管 理資訊之指令之模式圖。 第31圖中,框FrmC之編碼訊號具有框標頭FrmCHdr 63 1262024 玖、發明說明 及MBa,MBb等之框數據等,框標頭FrmCHdr從前面起依 序是指令CodeF、指令dif、指令CodeG、附加資訊AddG 、指令CodeH作為標頭資訊。
接著,判斷顯示處理位置之指令dif是否位於框標頭 5 FrmCHdr,亦可使位於顯示處理位置之指令dif之前之指令 CodeF是在框FrmC之解碼後執行,而位於指令dif後之指 令Code或指令CodeH則是在框FrmC之解碼前執行。這 時,若無顯示處理位置之指令dif,則框標頭FrmCHdr内 所有指令都在框FrmC之解碼處理後執行。 10 又,如上述各實施型態中所說明的,當再度傳送開放
不需要之記憶體領域之指令或初期化指令等之記憶體管理 資訊時,可以不含在附加於影像之編碼訊號之標頭資訊中 ,而是將含有記憶體管理資訊之標頭資訊與影像編碼訊號 分別傳送。亦即,再送之上述指令可以不與被編碼之圖像 15 位於相同流,而可作為例如其他流來傳送。又,亦可記錄 於儲存媒體之其他領域。 (實施型態10) 接著,說明有關本發明之實施型態10。 本實施型態中,進行編碼之單位與上述各實施型態不 20 同,亦即,上述實施型態1中,多數次傳送開放不需要之 記憶體領域之指令時,相當於上述指令之第5圖所示之記 憶體管理資訊流CtlStl與影像編碼流VideoStr是以影像( 圖像)單位來編碼,而本實施型態中,可如第32圖所示之 流構造般,以片段單位將1框編碼。 64 1262024 玫、發明說明 5 所謂以片段單位編碼,係如第32圖之框ι之片段U 有#頁1 1 Ctistrl、VldeGSirl-1,框2之片段2具有標頭 1 2、CtlStrl、VldeGStrl.2般,在各框所具有之每個片段中 編碼標頭、記憶體管理資訊流㈣、影像編碼流 V*〇StP以影像編碼裝置編碼後,影像編碼裝置將資料 机輸出。又,片段為同步轉回單位,是由1或多數之區塊 形成之帶狀領域,由多數片段構成圖像。又,圖像是對應
1張衫像之基本編碼單位,而區塊是編碼、解碼之基本單 位0 10 * X,如上所述地多數次傳送記憶體管理資訊流Ctistr
時之内容是在同-框内作為同一資訊。藉著作為同一資訊 ’可痛略在該記憶體管理資訊流Ct斷之片段單位之附加 丨女於片段之標頭附加顯示在該片段中可否省略多數 次傳廷之資訊,若多數次傳送上述指令之動作在該片段中 15可=、略時,則附加厂0」,若上述指令在該片段中被傳送時 (热法省略時)則附加Γ1」。具體來說,第33 (ο圖中 顯示出一例,以下說明。框i之片段工到片段3中之標頭 及影像編碼流Vide〇Str各自不同。另一方面,片段丄及片 段2中具有同一記憶體管理資訊流CtiStr,片段丄及片段2 20各自具有顯示出同一記憶體管理資訊流CtlStr在同一框中 之多數片段中被編碼之資訊「I。又,片段3具有顯示出 省略記憶體管理資訊流CtlStr之資訊「〇」。藉此,在該片 段中多數次傳送被省略時,藉由參考在前頭之片段等顯示 出上返「1」之片段中之記憶體管理資訊流CtlStr,可省略 65 1262024 玖、發明說明 記憶體管理資訊流CtlStr之附加,而可減少位元數。 亦即,顯示出省略上述之記憶體管理資訊流CtlStrl之 」疋不具有扎疋除去之對象之圖像之資訊之片段 3 )且疋參考扣疋除去之對象之圖像之資訊時,顯 5不出參考指定除去之對象之圖像之資訊。 由於在傳送過程中記憶體管理資訊流CtlStr多數次欠 缺之可能性很少,因此可以省略這種記憶體管理資訊流 CtlStr之附加之方法很有效。 更進一步,若記憶體管理資訊流CtlStr之有無可在無 1〇顯示出省略記憶體管理資訊流CtlStr t資訊之情況下判別 ^則亦了如第33 ( b )圖般將之省略。例如,記憶體管 理資訊流CtlStr之前頭可與影像編碼流Vide〇之前頭區別 牯,如第33 ( b )圖所示地,可將判別是否有顯示出記憶 體官理貧訊流CtlStrl是否被編碼之資訊,藉由從各片段之 15前頭到預定位置是否有預定資訊來確認。 這種可省略記憶體管理資訊流CtlStr之附加之方法, 對削減編碼記憶體管理資訊流CtlStr之次數,減少位元數 很有效。 以上,是就編碼加以說明,同樣的也可以片段單位進 20行1框之解碼。在上述實施型態2中,多數次傳送開放不 需要之記憶體領域之指令時,在第7圖所示之影像解碼裝 置200中,係將具有相當於上述指令之第32圖所示之記憶 體官理資訊流CtlStr與影像編碼流Vide〇Str之流構造分離 ’各自以影像(圖像)單位輸入,不過亦可各自以片段單 66 1262024 玖、發明說明 位輸入。 2,在其他實施型態中之料、解碼中也同樣可以用 片丰又早位將1框編碼、解碼。 又’上記實施型態1到實施型態1G所示之編碼方法、 5解碼方法係可藉LSI等半導體實裝於行動電話或汽車導航 系統等移動通訊機器、數位攝影機或數位相機等攝影機: 中。又,除了具有編碼器、解碼器兩者之發送接收型之端 末之外,還可考慮僅編碼器之發送端末、僅解石馬器之接收 端末等3種。 10 (實施型態11) 接著’說明有關本發明之實施型態1 1。 本貝轭型恶中,更藉由將用以實現實施型態i到實施 型恶10中所示之影像編碼方法或影像解碼方法之構成之程 式記錄於軟碟等記憶媒體中,使得上述實施型態中所示^ 15處理可在獨立之電腦系統中簡單地實施。 弟34圖是說明使闕存有上述實施型態丨之影像編碼 方法或影像解碼方法之軟碟,藉電腦系統實施之情況之說 明圖。 第34 ( b )圖是顯不從軟碟正面所見之外觀、截面構 20造及軟碟,第34 (a)圖是顯示記錄媒體本體之軟碟之物 理袼式之例子。軟碟FD1内藏於殼體F内,該軟碟之表面 以同心圓狀從外周向内周形成有多數之磁執Tr,各磁執於 角度方向分割為16個扇區。因此,儲存有上述程式之軟碟 中,在上記軟碟FD1上所分配之領域中,記錄有作為上述 67 1262024 玫、發明說明 程式之影像編碼方法。 第34(。)圖係顯示用以於軟碟FD1進行上述程 式之記錄播放之構成。於軟碟咖記錄上述程式時,從電 5 10 15 腦Cs經由軟碟驅動器咖寫入作為上述程式之影像編碼 方法或影像解碼方法。又,藉由軟碟咖内之程式將上述 影像編碼方法構築於電腦系統中時,藉軟碟驅動器獅從 軟碟FD1讀取程式,傳送到電腦
在上述況明中,是就使用軟碟作為記錄媒體來進 亍兄月使用光碟也可同樣進行。又,記錄媒體並不限定 ;b /LIC卡、R〇M卡等可記錄媒體者皆可同樣實施。 又上述κ轭型恶中所示之影像編碼方法、影像解碼 方法可藉LSI等半導體實裝於㈣電話或汽車導航系統等 和動通减5、數位攝影機或數位相機等攝影機器中。又 ’貫裝形式除了具有編碼器、解碼器兩者之發送接收型之
知末之外還可考慮僅編碼器之發送端末、僅解碼器之接 收端末等3種。 在此,說明上述實施型態1到實施型態10中所示之影 像編碼方法或影像解碼方法之應用例及利用該等之系統。 第35圖疋頦示實現内容傳遞服務之内容供給系統 2〇 exl〇〇之全體構成之方塊圖。將通訊服務之提供區域分割 為所希望之大小,各細胞内各自設置有固定無線台之基地 台之 exl07〜exllO。 该内容供給系統exl〇〇經由例如網路exl〇l中網路服 務供應者exl02、電話網exl〇4及基地台exi〇7〜exllO,連 68 1262024 玖、發明說明 接於電腦 exlll、PDA (Personal digital assistant) exll2、 攝影機exll3、行動電話exll4、附相機之行動電話exll5 等各機器。 然而,内容供給系統exlOO並不限定於第35圖這種組 5 合,亦可組合任一者來連接。又,亦可不經過固定無線台 之基地台ex 107〜exl 10,而將各機器直接連接於電話網 exl04 〇
攝影機exll3為數位攝影相機等可進行動畫攝影之機 器。又,行動電話可以是 PDC ( Personal Digital 10 Communication )方式、CDMA ( Code Division Multiple Access )方式、W-CDMA ( Wideband-Code Division Multiple Access )方式、或 GSM ( Global System for Mobile Communications)方式之行動電話機,或PHS ( Personal Handyphone System )等任一者皆可。 15 又,資料流伺服器exl03是從攝影機exll3通過基地
台exl09、電話網exl04而連接,可依據使用者利用攝影 機exl 13所發送之業已編碼處理之數據進行實況傳遞。以 攝影之數據之編碼處理可在攝影機exll3進行,亦可在進行 數據發送處理之伺服器等進行。又,在攝影機exll6拍得 20 之動畫數據亦可經由電腦exlll發送到資料流伺服器 exl03。攝影機exll6是數位相機等可拍攝靜止影像、動畫 之機器。這時,動畫數據之編碼在攝影機exll6或電腦 exlll進行皆可。又,編碼處理是在電腦exlll或攝影機 exll6所具有之LSIexll7中處理。又,影像編碼、解碼用 69 1262024 玖、發明說明 之軟體亦可安裝於可以電腦exlll等讀取之記錄媒體之某 種儲存媒體(CD-ROM、軟碟、硬碟等)中。更,亦可以 附相機之行動電話exll5來發送動畫數據。這時的動畫數 據是藉行動電話exll5所具有之LSI編碼處理之數據。 5 該内容供給系統exlOO中,將使用者以攝影機exll3
、攝影機exll6等拍攝之内容(例如拍攝音樂實況之映像 等)進行與上述實施型態相同的編碼處理並發送到資料流 伺服器exl03,另一方面,對資料流伺服器exl03有要求 之客戶進行上述内容數據之資料流傳遞。客戶有可將上述 10 業經編碼處理之數據解碼之電腦exlll、PDAexll2、攝影 機exll3、行動電話exll4等。藉由如此做,内容供給系 統exlOO成為可將被編碼之數據在客戶被接收並播放,更 藉由在客戶即時接收並解碼、播放,而可實現個人播放之 系統。 15 構成該系統之各機器之編碼、解碼只要使用上述各實
施型態中所示之影像編碼方法或影像解碼方法即可。 就行動電話作為一例來說明。 第36圖是顯示使用上述實施型態中所說明之影像編碼 方法與影像解碼方法之行動電話exll5之圖。行動電話 20 exll5具有:用以與基地台exllO間發送接收電波之天線 ex201、可攝影CCD攝影機等之映像、靜止畫像之攝影部 ex203、顯示出攝影部ex203攝影之映像、天線ex201接收 之映像等已解碼之數據之液晶顯示器等之顯示部ex202、 由操作按鍵ex204群構成之本體部、用以輸出音聲之揚聲 70 1262024 玖、發明說明 器等之音聲輸出部ex208、用以輸入音聲之麥克風等之音 聲輸入部ex205、用以儲存攝影之動畫或靜止影像之數據 、接收之郵件之數據、動畫數據或靜止影像之數據等已編 碼之數據或已解碼之數據之記錄媒體ex207、用以將記錄 5 媒體ex207裝於行動電話exll5之槽部ex206。記錄媒體 ex207是在SD卡等塑膠殼體内收藏有可進行電性改寫或消 去之不揮發性記憶體之EEPROM ( Electrically Erasable and Programmable Read Only Memery)之一種之快閃記憶體元 件者。 10 更進一步利用第37圖說明行動電話exll5。行動電話 exll5係相對於統括地控制具有顯示部ex202及操作按鍵 ex204之本體部之各部之主控制部ex311,電源線路部 ex310、操作輸入控制部ex304、影像編碼部ex312、攝影 機介面部 ex303、LCD ( Liquid Crystal Display )控制部 15 ex302、影像解碼部ex309、多重分離部ex308、記錄播放 部ex307、調變解調線路部ex306及音聲處理部ex305經 由同步匯流排ex313而相互連接。 電源線路部ex310係一旦暫線及電源按鍵藉使用者之 操作而成為啟動狀態,則藉由從電池組對各部供給電力, 20 使附攝影機之數位行動電話exl 15啟動為可動作狀態。 行動電話exll5依據CPU、ROM、RAM等主控制部 ex311之控制,藉音聲處理部ex305將在音聲通話模式時 以音聲輸入部ex205集音之音聲訊號變換為數位音聲數據 ,將之在調變解調線路部ex306進行頻譜擴散處理,在發 71 1262024 玖、發明說明 送接收線路部ex301施以數位類比變換處理及頻率變換處 理後,經由天線ex201發送。又,行動電話機exll5將音 聲通話模式時由天線ex201接收之接收數據增幅,施以頻 率變換處理及類比數位變換處理,再以調變解調線路部 5 ex306進行頻譜逆擴散處理,藉音聲處理部ex305變換為 類比音聲數據後,經由音聲輸出部ex208輸出。
更,在數據通訊模式下發送電子郵件時,藉操作本體 部之操作按鍵ex204而輸入之電子郵件之正文資料,是經 由操作輸入控制部ex304送出到主控制部ex311。主控制 10 部ex311係由調變解調線路部ex306將正文資料進行頻譜 擴散處理,由發送接收線路部ex301施以數位類比變換處 理及頻率變換處理後,經由天線ex201朝基地台exllO發 迷0
在數據通訊模式下發送影像數據時,由攝影部ex203 15 攝得之影像數據經由攝影機介面部ex303供給影像編碼部 ex312。又,未發送影像數據時,由攝影部ex203攝得之影 像數據亦可經由攝影機介面部ex303及LCD控制部ex302 而直接顯示於顯示部ex202。 影像編碼部ex312是具有本申請發明中所說明之影像 20 編碼裝置之構成,藉在上述實施型態中顯示之影像編碼裝 置所使用之編碼方法將攝影部ex203供給之影像數據壓縮 編碼,藉此變換為編碼影像數據,再將之送到多重分離部 ex308。又,在此同時,行動電話機exll5係將當攝影部 ex203在攝影中時由音聲輸入部ex205集音之音聲經由音 72 1262024 玖、發明說明 · 聲處理部ex305作為數位之音聲數據發送到多重分離部 ex308 。 多重分離部ex308係以預定方式將由影像編碼部 ‘ ex312供給之編碼影像數據及由音聲處理部ex305供給之 _ 5 音聲數據多重化,結果得到之多重化數據由調變解調線路 部ex306進行頻譜擴散處理,在發送接收線路部ex301施 以數位類比變換處理及頻率變換處理後經由天線ex201發 送。 φ 在數據通訊模式下接收到連接到網頁等之動畫像檔案 10 之數據時,係將經由天線ex201從基地台exlio接收之接 收數據在調變解調線路部ex306做頻譜逆擴散處理,將結 果得到之多重化數據送到多重分離部ex308。 又,要解碼經由天線ex201接收到之多重化數據,多 重分離部ex308係藉分離多重化數據,分為影像數據之位 15 元流與音聲數據之位元流,經由同步匯流排ex313將該編 碼影像數據供給於影像解碼部ex309,同時將該音聲數據 Φ 供給音聲處理部ex305。 接著,影像解碼部ex309是具有本申請發明中所說明 - 之影像解碼裝置之構成,以對應於上述實施型態中所示之 _ 20 編碼方法之解碼方法來解碼影像數據之位元流,藉此生成 · 播放動畫像數據,並將之經由LCD控制部ex302供給於顯 · 示部ex202,藉此,顯示出例如鏈接於網頁之動畫像檔案 中所含之動畫數據。這時,音聲處理部ex305同時將音聲 數據變換為類比音聲數據,然後將之供給於音聲輸出部 73 1262024 玖、發明說明 ex208,藉此,可播放例如鏈接於網頁之動畫像檔案中所含 之音聲數據。
又,不限於上述系統之例子,最近藉衛星、地面電波 之數位廣播成為話題,如第38圖所示的,數位廣播用系統 5 中可安裝上述實施型態之影像編碼裝置或影像解碼裝置之 至少任一者。具體來說,在廣播局ex409,映像資訊之位 元流經由電波通訊或傳送到廣播衛星ex410。接收到該位 元流之廣播衛星ex410發送廣播用電波,該電波由具有衛 星廣播接收設備之家庭之天線ex406接收,藉電視(接收 10 機)ex401或轉頻器(STB) ex407等裝置解碼位元流而將 之播放。又,讀取記錄媒體之CD或DVD等儲存媒體 ex402中記錄之位元流並解碼之播放裝置ex403上也可實 裝上述實施型態中所示之影像解碼裝置。這時,被播放之 映像訊號顯示於顯示器ex404。又,在連接於有線電視用 15 之電纜ex405或衛星/地面電波廣播之天線ex406之轉頻器 ex407内實裝影像解碼裝置,將之在電視之顯示器ex408 上播放之構成亦可。這時,亦可將影像解碼裝置安裝於電 視内而不是轉頻器。又,亦可在具有天線ex411之車子 ex412從衛星ex410或基地台exl07等接收訊號,於車子 20 ex412所具有之導航系統ex413等之顯示裝置播放動晝。 更,亦可在上述實施型態中所示之影像編碼裝置將影 像訊號編碼、記錄於記錄媒體。具體例有記錄影像訊號於 DVD碟ex421之DVD記錄器、或記錄於硬碟之磁碟記錄 器等之記錄器ex420。記錄器ex420若具備上述實施型態 74 1262024 玖、發明說明 _所不之影像解碼裝置,則可播放記錄於Dvd碟邮2卜戈 SD卡ex422之影像訊號,並顯示於顯示器ex4〇8。 $ 又,汽車導航系.統ex413之構成可以是例如第37圖所 示之構射,除去攝影部ex2〇3、攝影機介面部e伽及 5影像編碼部ex312之構成,同樣的構成也可用於電腦 exlll或電視(接收機)eX4〇i等中。 又,上述行動電話exll4等之端末,除了具有編石馬器 、解碼器兩者之發送接收型之端末之外,射考慮僅 器之發送端末、僅解碼器之接收端末等3種實裝形~式。 1〇 /冑這樣,可將上述實施型態中所示之影像編碼方法或 影像解碼方法用於上述任一機器、系統,如此,即可得到 上述實施型態中說明之效果。 本發明並不限定於上述實施型態,可在不脫離本發明 範圍而做各種變形或修正。 15 產業上之可利用性 關於本發明之影像編碼裝置,可作為具有通訊機能之 個人電腦、PDA、數位傳輸之廣播電台及行動電話機等所 具備之影像編碼裝置而善加利用。 A又,關於本發明之影像解碼裝置,可作為具有通訊機 月匕之個人電知、pDA、接收數位傳輸之stb及行動電話機 等所具備之影像解碼裝置而善加利用。 【圖式簡單^說^明】 第1(a)圖是參照從保存於記憶體之多數參照影像選 出之影像來編碼之影像編碼之說明圖,第i⑻圖是顯示 75 1262024 玖、發明說明 保存有影像之記憶體之構成之構成圖。 第2 (a)圖是顯示習知 心像編碼方法之流程圖,第 2(b)圖是顯Μ知之影像解財法之流程圖。 5 第3 (a)圖是顯示習知之影像編碼方法之其他流程圖 ,第^ (b)圖是顯示習知之影像解碼方法之其他流程圖。 第4 ( a )圖是顯不售知之影像編碼方法之又一其他流 程圖’第4 (b)圖是顯示習知之影像解碼方法之又-其他 流程圖。
第5圖是顯不本發明之影像解碼裝置之構成之方塊圖 10 ° 第6圖是顯示本發明之實施型態i中之影像編碼方法 之流程圖。 第7圖是顯示本發明之影像解碼裝置之構成之方塊圖 L5 第8圖是顯示本發明之實施型態2中之影像解碼方法 之流程圖。 第9圖是顯示本發明之實施型態3中之影像編碼方法 之流程圖。 第10圖是顯示本發明之實施型態4中之影像解碼方法 20 之流程圖。 第11圖是顯示本發明之實施型態5中之影像編碼方法 之流程圖。 第12圖是顯示本發明之實施型態6中之景> 像編碼方法 之流圖。 76 1262024 玖、發明說明 第13圖是顯示本發明之實施型態7中之影像編碼方法 之流程圖。 第14 ( a )圖是顯示影像之圖像編號、保存圖像編號 與傳送順序之關係之說明圖,第14 ( b )圖是顯示解碼之 圖像編號、保存之圖像編號與刪除之圖像編號之關係圖, 第14 ( c )圖是顯示解碼之圖像編號、保存之圖像編號與 刪除之圖像編號之另一關係圖。 第15圖是顯示本發明中之記憶體管理資訊之指令之對 應圖。 10 15 20
第16圖是顯示本發明之實施型態8中之指令實行程; 之流程圖。 第17圖疋顯示在各影像之編碼訊號之標頭資訊與框讀 據之關係之模式圖。 第圖疋顯示在編碼訊號之標頭資訊中之記憶體管g 資訊之指令之模式圖。
弟19圖是顯示各影像之影像號碼、保存影像號碼與搞 送順序之關係之說明圖。 第20圖是顯示編石馬初期化指令之方法之流㈣。 第21圖是顯示將已編碼之初期化指令解碼之方法之流 程圖。 第22圖是顯示本發明之實施型態8中所使用之記憶體 管理貧訊之指令之對應圖。 第23圖是顯示使用本 月之初期化再送指令之影像編 碼方法之流程圖。 、相7心〜诼、,勒 77 1262024 玖、發明說明 第24圖是顯示將本發明之已編碼之初期化再送指令之 影像解碼之方法之流程圖。 第25圖是顯示各影像之圖像編號、保存圖像編號與傳 送順序之又一關係之說明圖。 5 第26圖是顯示本發明之實施型態9中所使用之記憶體 管理資訊之指令之對應圖。 第27圖是顯示本發明之實施型態9中之影像編碼方法 之流程圖。 第28圖是顯示本發明之實施型態9中之影像解碼方法 10 之流程圖。 第29 ( a )圖是顯示指令内容與附加資訊之對應圖, 第29 (b)圖是顯示指令之實行時機之對應圖。 第30圖是顯示編碼訊號之標頭資訊中之記憶體管理資 訊之指令之模式圖。 第31圖疋顯示其他編碼訊號之標頭資訊中之記憶體管 理資訊之指令之模式圖。 第32圖是顯示已以片段單位編碼之資料流構造之模式 圖。 第33 ( a) ( b)圖任一者皆是顯示已以片段單位 20之資料流構造之模式圖。 … 第34 ( a ) ( b ) ( c )圖任一者皆是說明有關用以儲存 用以藉電腦系統實現本發明之實施型態i到實施型態10之 影像編碼方法及影像解碼方法之程式之記憶媒體之說明圖 78 1262024 玖、發明說明 · 第35圖是顯示使用有關本發明之影像編碼方法及影像 解碼方法之内容供給系統之全體構成之方塊圖。 第36圖是顯示使用有關本發明之影像編碼方法及影像 ^ 解碼方法之行動電話之一例之外觀圖。 ’ 5 第37圖是顯示同一行動電話之構成之方塊圖。 第38圖是顯示使用有關本發明之影像編碼方法及影像 解碼方法之數位傳輸系統之構成之構成圖。 【圖式之主要元件代表符號表】 φ 100···影像編碼裝置 202···短時間保存記憶體管理部 101…記憶體資訊控制部 203…長時間保存記憶體管理部 102…短時間保存記憶體管理部 205…管理資訊解碼部 103…長時間保存記憶體管理部 207…保存領域指定部 104· ··非保存記憶體管理資訊部 208…參照領域指定部 105…管理資訊編碼部 209…影像記憶體 106…參照影像選擇部 210···影像解碼部 107…保存領域指定部 212…可變長度解碼部 108…參照領域指定部 Cs…電腦 109···影像記憶體 F…殼體 110…影像編碼部 FD1"·軟碟 111…影像解碼部 FDD···軟碟驅動器 112···可變長度編碼部 Se…扇區 113,114···計數器 Tr···磁執 200…影像解碼裝置 exlOO···内容供給系統 201···記憶體資訊控制部 exlOl···網路 79 1262024 玖、發明說明 exl02…網路服務供應者 ex305…音聲處理部 exl03…資料流伺服器 ex306···調變解調線路部 exl04···電話網 ex307…記錄播放部 exl07 〜exl 10···基地台 ex308…多重分離部 exlll···電腦 ex309…影像解碼部 exl 12· -PDA ex310…電源線路部 exll3···攝影機 ex311…主控制部 exll4···行動電話 ex312…影像編碼部 exl 15…附相機之行動電話 ex313…同步匯流排 exll6···攝影機 ex401···電視(接收機) exll7".LSI ex402…儲存媒體 ex201…天線 ex403…播放裝置 ex202…顯示部 ex404···顯示器 ex203…攝影部 ex405…電纜 ex204…操作樹建 ex406…天線 ex205…音聲輸入部 ex407"·轉頻器(STB) ex206…槽部 ex408…電視之顯示器 ex207…記錄媒體 ex409…廣播局 ex208…音聲輸出部 ex410···廣播衛星 ex301···發送接收線路部 ex411…天線 ex302"*LCD 控制部 ex412…車子 ex303…攝影機介面部 ex413…導航系統 ex304…操作輸入控制部 ex420···記錄器
80 1262024 玖、發明說明 ex421"DVD 碟 ex422".SD 卡

Claims (1)

12620舊 申 二 SB
逢請 5 10 15 2〇 ' ‘.J92i0_號申請案替換本 修正日期:95年3月29曰 輪^物自#她她之多數參 θ 出之麥考圖像來編碼者,包含有: 參考已選擇之參考圖像,將編碼對㈣像編碼; 其理將用以管理保存於記憶體之參考圖像之第Η己憶體 貝讯隨者前述已編碼之編碼對象圖像來編碼;及 將前述第1記憶體管理資訊再度作為第2記情體管 理貪訊而隨著與前述編碼對象圖像不同的圖像來編碼 2· ^請專利範圍第1項之影像編碼方法,其中使特定 :述編碼對象圖像之資訊隨附於前述第2記憶體 貧訊。 3·如申請專利範圍第!項之影像編碼方法,其中前述第丨 及第2記憶體管理資訊係指定前述記憶體所不需要而開 放之記憶體領域之資訊。 =申請專利範圍第!項之影像編碼方法,其中前述記憶 月豆包含:參考圖像之保存時間較短之短時間保存記憶體 、與參考圖像之保存時間較前述短時間保存記憶體長之 長時間保存記憶體’而前述第i及第2記憶體管理資訊 你指定從前述短時間保存記憶體移動到前述長時間保存 記憶體之對象之參考圖像之資訊。 5· ~種影像解碼方法’係參考自保存於記憶體内之多數參 考圖像選岀之參考圖像來解碼者,包含有: 將用以管理前述印情I ^ k ^ 肢中保仔之參考圖像之記憶 體管理資訊解碼, S2
第92108428號申請案替換本 修正日期:95年3月29曰 依據已解碼之記憶體管理資訊開放前述記憶體所 不需要之記憶體領域時,若開放之記憶體領域未開放 完成則開放記憶體領域,若開放之記憶體領域已開放 完成則不對前述記憶體進行任何處理。 6,種影像解碼方法,係參考自保存於記憶體内之多數參 考圖像選出之參考圖像來解碼者,包含有: 刖述记憶體包含:參考圖像之保存時間較短之短 4間保存€憶體、與參考圖像之保存時間較前述短時 間保存記憶體長之長時間保存記憶體, 10 15 前述影像解碼方法係將用以管理保存於前述記憶 體之參考圖像之記憶體管理資訊解碼,依據已解碼之 記憶體管理資訊,若移動對象之參考圖像存在於前述 2時間保存記憶體,則㈣參考圖像從前述短時間保 存記憶體移動到前述長時間保存記憶體,若移動對象 之參考圖像未存在於前述短時間保存記憶體時,則不 進行移動。 7·—種記錄媒體 參考圖像選出 流包含有: ,係記錄有參考自保存於記憶體内之多數 之參考圖像來編碼之資料流者,該資料 20 編碼數據 圖像編碼; 係參考已選擇之參考®像將編碼對象 ,係使用以管理保存於記憶體 吕③資訊隨著前述編碼對象圖 盲理資訊編碼數據 之参考圖像之第]記憶體 像編碼;及 83 126202^ ,」口申口Ή專利範圍 第92108428號申請案替換本 修正日期:95年3月29曰 I理資訊再編碼數據’係將前述第1記憶體管理資 度作為苐2 έ己憶體管理 訊而隨著與前述編碼對象 圖像不同的圖像來編碼。 8 ^ 由ϋ $ ,明專利範圍第7項之記錄媒體,其中使特定前述 編碼對象圖像之資訊隨附於前述第2記憶體管理資訊 10 •種衫像編碼裝置,係參考自保存於記憶體内之多數參 考圖像選出之參考圖像來編碼者,包含有·· 圖像編碼機構,係參考已選擇之參考圖像,將編 碼對象圖像編碼;
第1 g理資訊編碼機構,係將用以管理保存於記愫 體之參考圖像之第"己憶體管理資訊隨著前述已編碼之 編碼對象圖像來編碼;及 15 20 官理貧訊編碼機構,係將前述第i記憶體管 資訊再度作為第2記憶體管理資訊而隨著與前述編碼 象圖像不同的圖像來編碼。 爪如申請專利範圍第9項之影像編碼裝置,其中前述第 管理資訊編碼機構使特定前述編碼對象圖像之資訊隨 於前述第2記憶體管理資訊。 ]1·如申請專利範圍第9項之影像編碼裝置,其中前述第 及第2記憶體管理資訊係指定前述記憶體所不需要而 放之記憶體領域之資訊。
2.如申請專利範圍第9項之 憶體包含:參考圖像之保存 影像編碼裝置,其中前述記 0牙間較短之短時間保存記情 84 1262024 nr
,………」苐92108428號申請案替換本 修正日期:95年3月29曰 5 =«魅《料記憶體長 =嶋卿喝…川崎管理資 =疋從前述短時間保存記憶體移動到前述長時間伴 存记憶體之對象之參考圖像之資訊。 ' 參2像解碼裝置’係參考自保存於記憶體内之多數 二出之參考圖像來解碼者,該記憶體 :考像之保存時間較短之短時間保存記憶體、與來 =之保存時間較前述短時間保存記憶體長時 10 間保存記憶體,而該影像解石馬裝置具有: 官理資訊解碼機構,伤蔣 μ 情體之η儋 ,、 官理保存於前述記 之圖像之記憶體管理資訊解瑪;及 記憶體管理資訊控制機構,係指定前述管理資1 解碼機構所解碼之記憶° 體内所保存之圖像從υ ± 當將前述記憶 15 、十士 則述短時間保存記憶體移動到前 述長蚪間保存記憶體之對象之來 時,則將兮夂參 乡圖像存在於記憶體 MpW 前述短時間保存記憶體移動到 月0述長時間保存記憶體, 動到 在於記外s士目, 動對象之參考圖像未存 、。己《%,則不對記憶體進行任何處理。 14· 一種影像解碼方法,包含: 20 將隨附於解碼對象圖 判斷是否已完成依據前理貧訊解碼; 錄則魂5己憶體管 而管理記憶體之處理; 、σ内谷 q黯丨出月丨J述處理已完成時,交二 像解碼,判斷出前述處理未完成^心解碼對象圖 / Ί,則於進行前述處 85 I26202f合、申請. ,範圍 第92108428號申請案替換本 修正日期:95年3月29日 理後將前述解碼對象圖像解碼。 15二申請專利範圍第1項之影像編碼方法,其中前述第!及 第己L’g理貝讯之内容係表示將比前述編碼對象圖 5 像之處理更早儲存於前述記憶體之參考圖像之餘存領域 全部開放之資訊。 16·如^請專利1_5項之影像解碼方法,其中前述記憶 ^官理賴之内容係表示將比前述解碼對象圖像之解碼 更早儲存於前述記恃靜夕央土 一 ^ >考圖像之儲存領域全部開放 之資訊。 10 17·—種記錄媒體,係記錄有夂 參考圖像選出之參考圖俊Γ憶體内之多數 "^ 以片丰又單位來編碼之資料流者 ,且該記錄媒體記錄有: 、卄瓜者 開放已保存於俞·;+、_»_ 時,使指定要門放/ 内之參考圖像之儲存領域 15 使W要開放之領域所包含之參考圖 心附於2個片段來編瑪之資料流。 、 86 1262024 t'frx 5 * 2 ? Y <in Ori TIicType I $fs < \110 ¾^¾¾^¾ 1〇0 $fs 109 106 <1107 < \108 s$s$^ > > 、101 ->
ΨΤ 4^^^^1¾^ 111 is Γ〇1 $ 92108428 峰满 嵝蒎 I 漆 JLmM ·· 95 — m 、112 0、 105 25m videostr ctlstr 1262024
CtlStr 1262024 丄 ex2〇00 个 Ψ ex205 ex301t— $$ ex201 ^9^ ex207 tt ex202 个 视 92108428 δ#ϊ ex305 ty ex306 ti ex3〇7 ex3〇8 *ty ex3〇9 rno ss ex3〇2 Ai ty fv ty ex115 ex303 t *^l§^^ ^ss ex312 ex3CM f ex311 dal^^^^ ex313 ΨΤ ΨΤ ex^Q i aw : 95 t5 pi ίίϊ ex203 ex2〇4^
TW92108428A 2002-04-12 2003-04-11 Picture coding method and picture decoding method TWI262024B (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002110424 2002-04-12
US37765602P 2002-05-06 2002-05-06
JP2002190955 2002-06-28
JP2003049711A JP4215197B2 (ja) 2002-04-12 2003-02-26 画像符号化方法および画像復号化方法

Publications (2)

Publication Number Publication Date
TW200412152A TW200412152A (en) 2004-07-01
TWI262024B true TWI262024B (en) 2006-09-11

Family

ID=29255480

Family Applications (1)

Application Number Title Priority Date Filing Date
TW92108428A TWI262024B (en) 2002-04-12 2003-04-11 Picture coding method and picture decoding method

Country Status (16)

Country Link
US (3) US7167591B2 (zh)
EP (3) EP2178304B1 (zh)
JP (1) JP4215197B2 (zh)
KR (2) KR100985634B1 (zh)
CN (1) CN100438631C (zh)
AU (1) AU2003236032B2 (zh)
BR (3) BR0303673A (zh)
CA (1) CA2448970C (zh)
DK (1) DK3096515T3 (zh)
ES (1) ES2683241T3 (zh)
HU (1) HUE038680T2 (zh)
MX (1) MXPA03011407A (zh)
MY (1) MY135229A (zh)
PT (1) PT3096515T (zh)
TW (1) TWI262024B (zh)
WO (1) WO2003088677A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI493942B (zh) * 2012-01-26 2015-07-21 Nippon Telegraph & Telephone 動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612003B1 (ko) * 2000-02-26 2006-08-11 삼성전자주식회사 통신망에서 비트 스트림 송수신 장치 및 그 방법
CN100505878C (zh) 2001-11-06 2009-06-24 松下电器产业株式会社 运动画面编码方法及运动画面解码方法
WO2004080083A1 (ja) * 2003-03-03 2004-09-16 Matsushita Electric Industrial Co., Ltd. 画像符号化方法および画像復号化方法
CN101686364B (zh) * 2004-04-28 2013-03-13 松下电器产业株式会社 流产生装置,流产生方法,编码装置,编码方法,记录介质及其程序
US8195037B2 (en) * 2004-11-12 2012-06-05 Pelco, Inc. Apparatus and method of storing video data
JP2006229457A (ja) * 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd 画像復号装置およびメモリ管理装置
WO2007069579A1 (ja) * 2005-12-12 2007-06-21 Nec Corporation 動画像復号方法、動画像復号装置、および情報処理装置のプログラム
US8711933B2 (en) * 2010-08-09 2014-04-29 Sony Computer Entertainment Inc. Random access point (RAP) formation using intra refreshing technique in video coding
TW201210337A (en) 2010-08-18 2012-03-01 Alpha Imaging Technology Corp High resolution digital image capturing apparatus and reference pixel memory storage space configuration method
EP2749027B1 (en) 2011-08-25 2020-04-29 Sun Patent Trust Methods and apparatuses for encoding and decoding video using updated buffer description
ES2625097T3 (es) 2011-09-07 2017-07-18 Sun Patent Trust Método de codificación de imágenes y aparato de codificación de imágenes
JP5932811B2 (ja) 2011-09-19 2016-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像復号方法、及び画像復号装置
ES2924280T3 (es) 2011-10-19 2022-10-05 Sun Patent Trust Procedimiento de descodificación de imágenes y aparato de descodificación de imágenes
US10419760B2 (en) 2014-09-29 2019-09-17 Sony Interactive Entertainment Inc. Picture quality oriented rate control for low-latency streaming applications
US10003813B2 (en) 2015-06-25 2018-06-19 Samsung Electronics Co., Ltd. Method and system for decoding by enabling optimal picture buffer management
KR101717898B1 (ko) 2015-09-11 2017-03-20 홍성무 직불(直火)구이의 석쇠장치
JP6943091B2 (ja) * 2017-09-06 2021-09-29 コニカミノルタ株式会社 画像処理装置、画像処理システム及びプログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2316279A (en) * 1942-03-30 1943-04-13 Raymond H Osbrink Apparatus for manufacturing mold members
US5291592A (en) * 1989-05-15 1994-03-01 Sharp Kabushiki Kaisha System having document scanner for optically scanning information whereby a first information contains control information indicating a number of sheets to be scanned
JP3103151B2 (ja) * 1990-09-03 2000-10-23 富士写真フイルム株式会社 電子スチル・カメラおよびその動作制御方法
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5289276A (en) * 1992-06-19 1994-02-22 General Electric Company Method and apparatus for conveying compressed video data over a noisy communication channel
KR940008389A (ko) * 1992-09-30 1994-04-29 가나이 쯔또무 화상신호처리장치 및 이것을 사용한 정보송수신장치
US5579393A (en) * 1994-06-21 1996-11-26 Escan, Inc. System and method for secure medical and dental record interchange
FR2724243B1 (fr) 1994-09-06 1997-08-14 Sgs Thomson Microelectronics Systeme de traitement multitaches
DE69525424T2 (de) 1994-11-25 2002-10-02 Koninkl Philips Electronics Nv Verfahren und Vorrichtung zur Dekodierung von kodierten Videosignalen
US5867660A (en) * 1995-05-11 1999-02-02 Bay Networks, Inc. Method and apparatus for communicating between a network workstation and an internet
US6542925B2 (en) * 1995-05-30 2003-04-01 Roy-G-Biv Corporation Generation and distribution of motion commands over a distributed network
US5905866A (en) * 1996-04-30 1999-05-18 A.I. Soft Corporation Data-update monitoring in communications network
US5907372A (en) * 1996-06-28 1999-05-25 Hitachi, Ltd. Decoding/displaying device for decoding/displaying coded picture data generated by high efficiency coding for interlace scanning picture format
US6298386B1 (en) * 1996-08-14 2001-10-02 Emc Corporation Network file server having a message collector queue for connection and connectionless oriented protocols
JP3733984B2 (ja) * 1997-01-29 2006-01-11 富士ゼロックス株式会社 情報蓄積装置および情報蓄積方法
US6463209B2 (en) * 1997-02-18 2002-10-08 Thomson Licensing Sa Controlled data flow
US5974463A (en) * 1997-06-09 1999-10-26 Compaq Computer Corporation Scaleable network system for remote access of a local network
US6823016B1 (en) * 1998-02-20 2004-11-23 Intel Corporation Method and system for data management in a video decoder
US6519646B1 (en) * 1998-09-01 2003-02-11 Sun Microsystems, Inc. Method and apparatus for encoding content characteristics
US6668374B1 (en) * 1999-07-08 2003-12-23 Axis Ab Method and apparatus for upgrading firmware in an embedded system
JP3406255B2 (ja) * 1999-09-29 2003-05-12 松下電器産業株式会社 画像復号装置および方法
US6590503B1 (en) * 2000-01-28 2003-07-08 Nintendo Of America Inc. Remote control system
JP2001209573A (ja) 2000-01-28 2001-08-03 Toshiba Corp メモリアドレス変換装置
US6940911B2 (en) 2000-03-14 2005-09-06 Victor Company Of Japan, Ltd. Variable picture rate coding/decoding method and apparatus
JP2001258039A (ja) 2000-03-14 2001-09-21 Victor Co Of Japan Ltd 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法
US6804299B2 (en) * 2001-06-15 2004-10-12 Microsoft Corporation Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI493942B (zh) * 2012-01-26 2015-07-21 Nippon Telegraph & Telephone 動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式
US10051270B2 (en) 2012-01-26 2018-08-14 Nippon Telegraph And Telephone Corporation Video encoding method using at least two encoding methods, device and computer program

Also Published As

Publication number Publication date
US20040146212A1 (en) 2004-07-29
CA2448970C (en) 2013-03-05
MXPA03011407A (es) 2004-06-17
JP2004088723A (ja) 2004-03-18
EP2178304A3 (en) 2010-09-15
EP2178304B1 (en) 2016-09-07
EP2178304A2 (en) 2010-04-21
BR0303673A (pt) 2004-04-20
EP1381238A1 (en) 2004-01-14
WO2003088677A1 (en) 2003-10-23
US20070041648A1 (en) 2007-02-22
CA2448970A1 (en) 2003-10-23
US7218787B2 (en) 2007-05-15
AU2003236032B2 (en) 2008-05-15
EP3096515B1 (en) 2018-06-06
DK3096515T3 (en) 2018-08-06
EP3096515A1 (en) 2016-11-23
CN1509575A (zh) 2004-06-30
EP1381238B1 (en) 2016-08-31
US7167591B2 (en) 2007-01-23
TW200412152A (en) 2004-07-01
KR100985634B1 (ko) 2010-10-05
KR20080023763A (ko) 2008-03-14
MY135229A (en) 2008-02-29
PT3096515T (pt) 2018-10-11
US7221803B2 (en) 2007-05-22
HUE038680T2 (hu) 2018-11-28
AU2003236032A1 (en) 2003-10-27
JP4215197B2 (ja) 2009-01-28
ES2683241T3 (es) 2018-09-25
BRPI0303673B1 (pt) 2019-10-01
BRPI0318816B1 (pt) 2019-10-01
KR100942344B1 (ko) 2010-02-12
EP1381238A4 (en) 2006-07-05
CN100438631C (zh) 2008-11-26
KR20040099094A (ko) 2004-11-26
US20070041646A1 (en) 2007-02-22

Similar Documents

Publication Publication Date Title
TWI262024B (en) Picture coding method and picture decoding method
TWI276359B (en) Picture coding method and picture decoding method
TWI328969B (en) Picture coding method and apparatus, and data storage media
TWI280058B (en) Decoding method and decoding apparatus
TWI287403B (en) Picture coding method
TWI344794B (en) Picture coding apparatus and method
TW200415914A (en) Moving picture coding method and moving picture decoding method
JP5256243B2 (ja) 画像復号化方法、画像復号化装置およびプログラム
TW200307465A (en) Picture coding method, picture decoding method, picture coding device, picture decoding device, bit stream and programs
TW200421877A (en) Moving picture encoding method and moving picture decoding method
JP2003199112A (ja) 動画像符号化方法および動画像復号化方法
TW201210347A (en) Moving picture encoding control method, moving picture encoding apparatus, and moving picture encoding program
JP4544879B2 (ja) 画像符号化方法、画像符号化装置及びプログラム
CN101483772B (zh) 图像编码方法及图像编码装置
WO2006003873A1 (ja) 画像符号化方法および画像復号化方法
JP5530408B2 (ja) 画像符号化方法、画像符号化装置および記録媒体
KR100995434B1 (ko) 화상 부호화 방법 및 화상 복호화 방법

Legal Events

Date Code Title Description
MK4A Expiration of patent term of an invention patent