TWI289997B - Encoding device, method, and program - Google Patents

Description

1289997 (1) 九、發明說明 【發明所屬之技術領域】 本發明係關於編碼化裝置及方法、以及程式，爲關於 可將圖像予以編碼化，使得在解碼側不會產生顯示等待之 編碼化裝置及方法、以及程式。 【先前技術】 φ 參照第1圖來簡單說明動畫影像壓縮技術編碼化標準 之AVC ( Advanced Video Coding :先進視頻編碼）規格之 編碼及解碼的關係。 編碼器2係依據雙向動作補償圖框間預測原理，而將 從影像照相機1等所取入之視頻訊號予以編碼化，來生成 位元流。 解碼側之緩衝器5如因溢流、欠流（u n d e r f 1 〇 w )而 生破綻時，即無法正確地解碼位元流，所以，編碼器2需 φ ..要生成位元流而不使此緩衝器5產生破綻。 此處，爲了實現此，於編碼化中，導入有將包含虛擬 緩衝器之解碼器6的動作予以虛擬性地模組化之虛擬解碼 器之槪念。 虛擬解碼器係規定有：保存被解碼前之位元流的緩衝 器（CPB: Coded Picture Buffer)、及保存被解碼之圖像 的緩衝器（DPB: Decoded Picture Buffer)之2個緩衝器 。CPB與DPB之緩衝器大小係因應等級而有規定。 例如，如將視頻資料的1圖框或1圖場的圖像設爲解 -5- (2) 1289997 . 碼處理單位之存取單位時，則存取單位係於事先所決定之 到達時刻被輸入CPB。第2圖A係表示對應CPB之解碼 時刻的時刻之CPB移動時間。存取單位係在以CPB移動 時間所定義的時刻，瞬間被從CPB所取出，藉由虛擬解碼 器而瞬間被解碼。被解碼之圖像，則在CPB移動時間之時 刻被輸入DPB。 被解碼而輸入DPB之圖像，係以顯示時刻順序而被 ^ 更替，而保存於DPB。第2圖B係表示對應DPB之顯示 時刻的時刻之DPB輸出。存取單位係在以DPB輸出時間 所定義的時刻，從DPB被輸出、顯示。 另外，CPB移動時間及DPB輸出時間，例如係以 1 6msec ( tc )間隔而被定義。 編碼器2例如以存取單位爲酬載，如第3圖所示般， 而生成 PES(Packetized Elementary Stream:封包化基本 流）封包。於AVC之位元流中，CPB移動時間與DPB輸 φ 出時間，係作爲各圖像的標頭資訊而被儲存，所以，在此 情形，係被儲存於酬載中。 PES封包的標頭資訊係儲存有隨機存取該PES封包時 ，取出視頻資料、音頻資料、字幕資料之同步所使用的顯 不時刻資訊（PTS : Presentation Time Stamp)等。 編碼器2係依據如第2圖A與第2圖B所示之每一圖 像的CPB移動時間與DPB輸出時間等之規則，進行編碼 使得這些緩衝器不會有破綻。實際之解碼處理時應遵循之 規則的每一圖像的CPB移動時間與DPB輸出間之値， (3) 1289997 係包含於儲存於第3圖之酬載的AVC存取單位內。 被編碼之位元流，在實際之播放機中，係在第2圖C 所示時刻進行解碼處理，在第2圖D所示時刻被顯示。於 實際之解碼處理時，依據包含於儲存於第3圖之酬載的 AVC存取單位內之DPB輸出時間，例如，每秒30圖框， 於所指定之時間來表示圖像。在AVC規格中，於圖像之 標頭資訊係記載有虛擬解碼器的CPB移動時間及DPB輸 出時間。 另外，第2圖C及第2圖D所示之實際的解碼處理中 之解碼時刻及顯示時刻，係和第2圖A及第2圖B所示之 虛擬解碼器的CPB移動時間及DPB輸出時間相同，爲以 t c間隔被表示。 藉由編碼器2所生成之位元流，係被輸出傳送緩衝器 3而蓄積，例如，作爲傳送流與程式流而被輸出至傳送路 徑4，或記錄於未圖示出之記錄媒體。 藉由傳送路徑4或未圖示出之記錄媒體而被傳送之傳 送流或程式流，係被輸出解碼器側之緩衝器5。解碼器6 係從此緩衝器5取出位元流，針對各圖像，如第2圖C所 示般，以和藉由虛擬解碼器之CPB移動時間所表示的解碼 順序（第2圖A )相同順序（第2圖A )，配合對應DPB 輸出時間（第2圖B)之時刻而進行解碼處理（參照非專 利文獻 1「H. 264/AVC ( ISO/IEC 14496- 1 0 )，Annex C」 )° 解碼器6係在對應DPB輸出時間（第2圖B )之時刻 •7- (4) 1289997 . ，將解碼處理之結果所獲得之圖像顯示於顯示部7。 但是，實際的解碼處理係如前述般，並非在藉由虛擬 解碼器所規定之CPB移動時間所表示之時刻，而是在對應 DPB輸出時間所表示時刻之時刻（第2圖B )，以和藉由 虛擬解碼器之解碼相同的順序（第2圖A )來進行，因此 ，解碼順序與顯示順序不同之圖像的解碼，存在有直到該 圖像之顯示時刻不被進行的情形。 ^ 例如，第2圖B中，第3個被顯示之圖像B 3，係如 第2圖A所示般，爲第4個被解碼。另一方面，實際之解 碼側的圖像B 3的解碼時刻，係如第2圖C所示般，成爲 對應圖像B3之顯示時刻（第2圖D )後之本來第4 個被 顯示之圖像P4的顯示時刻（第2圖B )之時刻。因此，如 第2圖D所示般，無法在本來之顯示時刻（第2圖B)來 顯示圖像B3。第2圖D中，因應第2圖B之DPB輸出時 間，於”B3”應被顯示之時刻被附上X，係表示未被顯示。 φ 在此情形，於實際的解碼處理中，如第2圖D所示般，產 生圖像B3之顯示等待。 【發明內容】 本發明係有鑑於此種狀況而完成，做成可將圖像編碼 化，使得在解碼側不會產生顯示等待。 本發明之編碼化裝置，其特徵爲具備：編碼化部，其 係進行圖像之編碼化，使得針對每一做成可隨機存取之圖 像群，構成圖像群之圖像群各個之解碼，爲直到該圖像之

-8 - (5) 1289997 - 顯示時刻始被進行。 _ 編碼化部係具備··第1檢測部，係於圖像群中，將在 最初所被顯示之圖像的顯示時刻以後首先被解碼之圖像予 以檢測出、及第2檢測部，係於圖像群中，將第m個被顯 示之圖像予以檢測出、及第3檢測部，係於圖像群中，將 從藉由第1檢測部所檢測出之前述圖像起，第m個被解碼 之圖像加以檢測出、及執行部，係直到藉由第3檢測部所 0 被檢測出之圖像被解碼爲止，才執彳了藉由第2檢測部所檢 測出之圖像被解碼之編碼化處理。 本發明之編碼化方法，其特徵爲包含：編碼化步驟， 其係進行圖像之編碼化，使得針對做成每一可隨機存取之 圖像群，構成圖像群之圖像群各個之解碼，爲直到該圖像 之顯示時刻始被進行。 本發明之程式，其特徵爲包含：編碼化步驟，其係進 行圖像之編碼化，使得針對做成可隨機存取之圖像群，構 φ 成圖像群之圖像群各個之解碼，爲直到該圖像之顯示時刻 始被進行。 於本發明之裝置及方法、以及程式中，係進行圖像之 編碼化，使得針對做成每一可隨機存取之圖像群，構成圖 像群之圖像群各個之解碼，爲直到該圖像之顯示時刻始被 進行。 . 如依據本發明，可將動畫影像編碼化，使得在解碼側 不會產生顯示等待。 -9 - (6) 1289997 * 【實施方式】 . 以下，說明本發明之實施形態，如舉例表示 所記載之發明與發明之實施形態的對應關係時， 。此記載係確認支援本說明書所記載之發明的實 記載於本說明書者。因此，發明之實施形態中雖 但是，作爲對應發明者，於此處並無記載之實施 存在，此並非意味該實施形態不是對應該發明。 φ 施形態雖係對應發明而記載於此，此也非意味該 不對應該發明以外之發明者。 進而，此記載並非意味本說明書所記載之發 。換言之，此記載並非否定本說明書所記載之發 本申請中未被請求之發明的存在，即將來，由於 、補正而出現、追加之發明的存在。 申請專利範圍第1項所記載之編碼化裝置， 具備：編碼化部（例如，第7圖之編碼控制部5 3 φ 進行圖像之編碼化，使得針對每一做成可隨機存 群，構成前述圖像群之圖像群各個之解碼，爲直 之顯7]^時刻始被進行。 申請專利範圍第4項所記載之編碼化裝置， :編碼化部係具備：第1檢測部（例如，進行第 驟S6的處理之第7圖的編碼控制部53 )，係於 群中’將在最初所被顯示之圖像的顯示時刻以後 碼之圖像予以檢測出；及 第2檢測部（例如，進行第8圖之步驟S 8 本說明書 則如下述 施形態爲 有記載， 形態即使 反之，實 實施形態 明的全部 明，且在 分割申請 其特徵爲 )，其係 取之圖像 到該圖像 其特徵爲 8圖之步 前述圖像 首先被解 的處理之 -10- 1289997 ⑺ 第7圖的編碼控制部5 3 ) ’係於前述圖像群中，將第m 個被顯不之圖像予以檢測出’及 第3檢測部（例如，進行第8圖之步驟S 8的處理之 第7圖的編碼控制部5 3 )，係於前述圖像群中，將從藉由 前述第1檢測部所檢測出之前述圖像起，第m個被解碼之 圖像加以檢測出；及 執行部（例如，進行第8圖之步驟S 1 0至S 1 2的處理 之第7圖的編碼控制部5 3 )，係直到藉由前述第3檢測部 所被檢測出之圖像被解碼爲止，才執行藉由前述第2檢測 部所檢測出之圖像被解碼之編碼化處理。 本發明之編碼化方法及程式，其特徵爲包含：編碼化 步驟（例如，進行第8圖的處理之第7圖的編碼控制部5 3 )，其係進行圖像之編碼化，使得針對做成每一可隨機存 取之圖像群，構成前述圖像群之圖像群各個之解碼，爲直 到該圖像之顯示時刻始被進行。 以下，參照圖面，來說明本發明之實施形態。 第4圖係表示使用本發明之編碼化裝置11之構造例 〇 此編碼化裝置1 1係依據H. 264/AVC之規格而進行動 畫影像壓縮編碼化，但是，爲了做成可以隨機存取，進行 只以由第5圖A及第5圖B所示之特定張數的圖像所形成 之組（以下，稱爲 RIP: Recovery Point Interval Pictures )內的圖像之資訊，解碼即結束之編碼化。第5圖A係表 不解碼之順序，第5圖B係表示顯示之順序。 -11 - (8) 1289997 ' 於匯流排 21 係連接有：CPU ( Central Processing • Unit ) 22、記憶體23、視頻訊號輸入介面24、控制訊號 輸入介面25、視頻編碼器26、及視頻資料輸出介面27等 〇 CPU22及記憶體23係形成電腦系統。即CPU22係執 行記憶於記憶體23之程式，而控制裝置全體之同時，也 進行後述之處理。記憶體23係記憶CPU22所執行的程式 φ 。另外，記億體23係暫時性記憶CPU22之動作上所必要 的資料。另外，記憶體23可以只是非揮發性記億體，或 者揮發性記憶體與非揮發性記憶體之組合來構成。另外， 於第4圖之裝置設置硬碟機，於該硬碟機儲存CPU22所 執行之程式時，記憶體23能只以揮發性記憶體來構成。 此處，CPU22所執行之程式，可以暫時性或永久性儲 存於光碟，進而光碟以外之軟碟、CD-ROM ( Compact Disc Read Only Memory) 、MO ( Magneto Op tic al )碟、 φ 磁碟、記憶卡等之可攜式記錄媒體。此種可攜式記錄媒體 可以所謂套裝軟體方式提供。 另外，程式可事先記億於記憶體23，或者從前述之可 攜式記錄媒體而安裝於裝置。另外’程式也可從下載側透 過數位衛星廣播用之人造衛星’以無線轉送至硬碟裝置、 或透過LAN (Local Area Network)、網際網路之網路， 以有線轉送至硬碟裝置’在硬碟裝置中’接收如此所轉送 之程式，能安裝於內藏之記憶體2 3。 進而，程式可以是藉由1個CPU所處理者，也可以 -12- (9) 1289997 是藉由複數個CPU而被分散處理者。 視頻訊號輸入介面2 4係在c P U 2 2的控制下，輸入從 影像照相機等所供給的視頻訊號，藉由匯流排2 1而供給 至CPU22或記憶體23、視頻編碼器26等。 控制訊號輸入介面25係輸入使用者操作未圖示出之 鍵（按鈕）、或遙控器（遠端控制器）而被供給之控制訊 號。藉由匯流排21而供給至CPU22。另外，控制訊號輸 入介面25另外也作用爲例如數據機（包含 ADSL ( Asymmetric Digital Subscriber Line )數據機）、或 NIC ( Network Interface Card)等之通訊介面。 視頻編碼器26係將藉由視頻訊號輸入介面24而被輸 入之視頻訊號予以編碼化，將該結果所獲得之視頻資料藉 由匯流排21而供給至CPU22。 視頻資料輸出介面27係將視頻資料藉由CPU22而被 封包化所獲得之視頻傳送流加以輸出。 第6圖係表示視頻編碼器26之構造例。 A/D轉換部31係藉由將供給至此之圖像予以A/D ( Analog/Digital)轉換，而轉換爲數位訊號，供給至2-3檢 測部32。另外，此處，A/D轉換部31係設爲藉由2-3下 拉而獲得之NTSC方式的圖像之影像訊號爲以圖場單位所 供給者。 2-3檢測部32係使用來自A/D轉換部31之圖像的2 個圖場間的差量之圖場間差量資訊等，進行2-3韻律之檢 測。 -13- (10) 1289997 • 即在2-3下拉中，影像影片之各圖框係交互被轉換爲 • N T S C方式之2圖場與3圖場’ N T s c方式之圖像的順序係 具有由影像影片之依序掃描的1圖框所獲得之2圖場之組 、及由影像影片的依序掃描之1圖框所獲得之3圖場之組 被交互重複之所謂2 - 3韻律。在2 -3檢測部3 2中，進行此 2圖場之組與3圖場之組的檢測。 2-3檢測部32係從檢測出之2圖場的圖像之組或3圖 φ 場的圖像之組，來構成1圖框之依序掃描的圖像，而供給 至畫面重排緩衝器33。另外，第2圖A、第2圖B、第2 圖C及第2圖D係表示被2-3下拉時之圖像的例子。即顯 示時刻之間隔，存在有3tc之情形與2tc之情形。. 晝面重排緩衝器3 3係暫時性記憶圖像，將該記憶之 圖像依據事先決定的編碼化順序予以重排，作爲編碼化對 象之注目圖像（以下，單單記載爲「注目圖像」），以巨 區塊單位供給至加法器34。 • 注目圖像爲內部編碼化之內部編碼化圖像時，加法器 34則將該注目圖像原樣地供給至正交轉換部3 5。 另外，注目圖像爲相互編碼化之相互編碼化圖像時， 加法器34則從注目圖像減去從動作預測/補償部42所供 給之預測影像，而供給至正交轉換部3 5。 即動作預測/補償部42係將記憶於畫面重排緩衝器3 3 之圖像的動作向量予以檢測出，而且，從圖框記憶體4 1 將已經被編碼化而解碼之成爲注目圖像的參照影像之圖像 加以讀出，對此參照影像，藉由施以依據動作向量之動作 -14- (11) 1289997 補償，來生成藉由最佳預測模式之注目圖像的預測影像。 - 然後，動作預測/補償部42將該預測影像供給至加法器34 ’加法器3 4將如此從動作預測/補償部4 2所供給之預測 影像，從注目圖像予以減去，而供給至正交轉換部3 5。 正交轉換部3 5對從加法器3 4所供給之注目圖像，或 從注目圖像減去預測影像之減法結果之差量影像，例如， 施以離散餘弦轉換等之正交轉換，將從該結果所獲得之轉 φ 換係數供給至量子化部3 6。 量子化部36係以依據來自後述之速率控制部43之控 制的量子化步驟，將來自正交轉換部3 5之轉換係數予以 Μ子化’將由該結果所獲得之量子化係數供給至可逆編碼 化部37與反量子化部39。 可逆編碼化部3 7係對來自量子化部3 6之量子化係數 ，進而，以動作預測/補償部42所檢測出之動作向量等， 例如，施以可變長度編碼化或算術編碼化等之可逆編碼化 φ 而予以多重化，將由該結果所獲得之編碼化資料供給至蓄 積緩衝器38。 另外，於可逆編碼化部37中，動作向量等係被插入 編碼化資料之所謂的標頭部份。 蓄積緩衝器38係暫時性記憶來自可逆編碼化部37之 編碼化資料，以特定之速率予以輸出。 另外，蓄積緩衝器3 8之編碼化資料的記憶量，係成 爲供給至速率控制部43，速率控制部43則依據蓄積緩衝 器3 8之記億量，來回饋控制量子化部3 6之量子化步驟， -15- (12) 1289997 • 使得蓄積緩衝器38不會溢流或欠流。 - 另一方面，反量子化部3 9係以和量子化部3 6中之量 子化步驟相同的量子化步驟來將從量子化部3 6所供給之 轉換係數予以反量子化，將由該結果所獲得之轉換係數供 給至反正交轉換部4〇。反正交轉換部40係對來自反量子 化部3 9之轉換係數施以反正交轉換處理，藉此，解碼原 來之內部編碼化圖像，或者解碼從原來之相互編碼化圖像 φ 減去預測影像之差量影像，而供給至圖框記億體4 1。 圖框記億體4 1係記憶已經解碼編碼化圖像者。另外 ，於圖框記憶體4 1中，對於已經解碼差量影像者，爲了 獲得該差量影像，藉由從動作預測/補償部42獲得從相互 編碼化圖像所減去之預測影像而予以相加，來解碼相互編 碼化圖像而加以記憶。 在動作預測/補償部42中，以將如前述之記憶於圖框 記憶體4 1的圖像爲參照影像，來生成預測影像。 φ 第7圖係表示關於第4圖所示之CPU22所執行的編 碼化處理之功能性構造例。 控制訊號輸入控制部5 1係將介由控制訊號輸入介面 25 (第4圖）所輸入之指示通知編碼控制部53。 視頻訊號輸入控制部52係將介由視頻訊號輸入介面 2 4 (第4圖）所輸入之視頻訊號供給至視頻編碼器26 (第 4圖）。 編碼控制部5 3係對應從控制訊號輸入控制部5 1所供 給之指令，而控制各部，如後述般，將介由視頻訊號輸入 -16- (13) 1289997 • 介面24 (第4圖）所輸入之視頻訊號予以編碼化。 - 視頻編碼器控制部54係在編碼控制部5 3之控制下’ 來控制視頻編碼器26 (第4圖），將介由視頻訊號輸入介 面24 (第4圖）所輸入之視頻訊號予以編碼化。 視頻資料輸出控制部55係在編碼控制部53之控制下 ，來控制視頻資料輸出介面2 7 (第4圖），將藉由視頻編 碼器26所生成之位元流予以封包化，輸出由該結果所獲 φ 得之傳送流。 接著，參照第8圖之流程圖來說明編碼化裝置1 1中 之編碼化處理的動作。另外，首先，說明編碼化處理之槪 略，之後，依據具體例子而做詳細說明。 於步驟S1中，編碼控制部5 3對應從視頻訊號輸入介 靣24所輸入之順序，取得編碼化之圖像的顯示時刻。 接著，於步驟S2中，編碼控制部53將對應顯示時刻 之特定的編碼化順序通知視頻編碼器控制部54。視頻編碼 Φ 器控制部54控制視頻編碼器26，以該編碼化順序來將從 視頻訊號輸入介面24所輸入之視頻訊號予以編碼化。 於步驟S3中，編碼控制部53從藉由視頻編碼器26 所被編碼化之各圖像列來選擇1個RIP。另外，於以下， 在RIP中，把以解碼順序排列之圖像的最初之圖像稱爲圖 像No，把最後的圖像稱爲圖像Ne。 於步驟S4中，編碼控制部53讀取構成在步驟S3中 所選擇之RIP的圖像之DPB輸出時間，而且，在步驟S5 中，讀取CPB移動時間。

-17- (14) 1289997 接著，於步驟S 6中，編碼控制部5 3將在步驟S 3中 所選擇之RIP的圖像中，最初被顯示之圖像（以下，適當 地稱爲圖像Na)的顯示時刻以後所被解碼，而於RIP之 圖像中最初被解碼之圖像（以下，適當地稱爲圖像Nd) 加以檢測出。 然後，於步驟S 7中，編碼控制部5 3將之後的處理所 使用的係數πι起始化爲値1。 於步驟S 8中，編碼控制部5 3將於步驟S 6中所檢測 出之從圖像Na起第m個被顯示之圖像（以下，適當地稱 爲圖像Na + m)、及從圖像Nd起第m個被解碼之圖像（ 以下，適當地稱爲圖像Nd + m)加以檢測出。 接著，於步驟S9中，編碼控制部53判定於步驟S8 中所檢測出之圖像Nd + m是否爲比RIP之最後的圖像Ne 更爲前面之圖像，在判定爲前面的圖像時，進入步驟S 1 0 〇 於步驟S 1 0中，編碼控制部5 3判定於解碼順序中之 {No，···，Nd + m}之圖像列中，是否含有圖像Na + m，在判定 爲含有時，進入步驟S11，將係數m之値只增量1，回到 步驟S 8。 另一方面，於步驟S10中，在判定不含有圖像Na + m 時，進入步驟S12，編碼控制部53例如將在步驟S3中所 選擇之RIP內的編碼化之順序加以變更，控制視頻編碼器 控制部5 4使之再編碼化。 之後，回到步驟S5，同樣地進行此以後之處理。 (§) -18· (15) 1289997 • 係數m之値在步驟S 1 1中重複被增量，於步驟S 9中 • ，在判定圖像Nd + m不是比圖像Ne更前面之圖框時’則 進入步驟S 1 3。 於步驟S13中，編碼控制部53判定於{No,…Ne：(之圖 像列（RIP )中，是否含有N a + m ’在判定爲不含有時’進 入步驟s 1 4。 於步驟s 1 4中，編碼控制部5 3例如將在步驟S 3中所 φ 選擇之RIP內的編碼化之順序加以變更’控制視頻編碼器 控制部54而使之再編碼化。 之後，回到步驟S 1 3。 於步驟S13中，在判定於{No,…Ne}之圖像列含有圖 像N a + m時，進入步驟S 1 5，編碼控制部5 3判定是否在步 驟S3中選擇了全部的RIP，在判定不是全部的RIP被選 擇時，回到步驟S3，選擇下一個RIP，同樣地執行步驟 S 4以後之處理。 • 於步驟s 1 5中，在判定全部的RIP已經被選擇之情形 ，結束處理。 接著，參照第9圖A及第9圖B、第10圖A以及第 10圖B、以及第11圖A及第11圖B之例子來詳細說明 前述之編碼化處理。在此例中，如第9圖B、第10圖B 以及第11圖B般，從顯示於虛擬解碼器中之DPB輸出時 間的表示順序之RIP的最初起第4張份之圖像（步驟S 1 )，如第9圖A、第10圖A及第11圖A般，被編碼化爲 解碼成虛擬解碼器中之CPB移動時間的表示順序（步驟 (S) -19- (16) 1289997 S2 ) 〇 另外，第9圖A係表示與第2圖A所示相同之圖像 的CPB移動時間，第9圖B係表示與第2圖B所示相同 圖像之DPB輸出時間（m=l)。第10圖A、第11圖A、 第10圖B及第11圖B也相同（m = 2)。 即在此RIP中，於最初被顯示之圖像11 (圖像N a ) 之顯示時刻以後被解碼之RIP的圖像中，最初被解碼之圖 像I!(圖像Nd )被檢測出（步驟S4、S5、S6 )。 接著，m=l (步驟S7)，從圖像I!(圖像Na)起第1 個被顯不之圖像P2(圖像Na+Ι)(第9圖B)、與從圖 像h起第1個被解碼之圖像P2 (圖像Nd+.l )(第9圖A )被檢測出（步驟S 8 )。 圖像P2 (圖像Nd+Ι )係比此RIP之解碼順序中之最 後的圖像之圖像Ne更前面之圖像（步驟S 9 )，所以，判 定於從解碼順序中之圖像No至圖像Nd+Ι之圖像列，即 {U2}的圖像列，是否含有顯示順序中之圖像Na+Ι的圖 像P2 (步驟S 1 0 )，在此情形，係有含有，所以，係數成 爲m = 2(步驟S11)。 然後，此次m = 2，從圖像11(圖像Nd)起第2個被 解碼之圖像P4 (圖像Nd + 2 )(第10圖A )、及從圖像幻 (圖像Na)起第2個被顯示之圖像B3 (圖像Na + 2)(第 10圖B )被檢測出（步驟S 8 )。 圖像P4 (圖像Nd + 2 )係比此RIP之解碼順序中之最 後的圖像之圖像Ne更前面之圖像（步驟S 9 )，所以’判 -20- (17) 1289997 ' 疋在解碼順序中之圖像No至圖像Nd + m之圖像列，即 • {Il，P2，P4}之圖像列中，並不含有顯示順序中之圖像Na + 2 之圖像B 3 (步驟S 1 〇 )。 如此’顯不順序中之圖像N a + m的圖像（m = 2時，圖 像B3) ’不被包含於解碼順序中之圖像N〇至圖像Nd + m 之圖像列（m = 2時，{Ι^ρ^ρ“之圖像列）時，於此例中， 圖像B3之解碼時刻係如第2圖c所示般，成爲對應圖像 φ B3之顯示時刻（第2圖D )後之本來第4個被顯示之圖像 P4的顯示時刻（第2圖B )之時刻。因此，如第2圖D所 示般，圖像B 3未被顯示於本來之顯示時刻。 因此’在此情形，例如如第1 1圖A所示般，對於第 9圖A及第1 〇圖A之情形，進行圖像B3與圖像P4之虛 擬解碼器中之CPB移動時間更替後之再編碼化（步驟S12 )° 其結果爲，在m = 2時，圖像B3係作爲在RIP中最初 φ 被解碼之圖像Nd (圖像II)起第2個被解碼之圖像Nd + 2 (第11圖A)而被檢測出（步驟S8)，成爲在解碼順序 中之圖像No至圖像Nd + 2之圖像列{Ιι，Ρ2、P3}中含有顯示 順序中之第Na +2個之圖像（與再編碼化前相同，爲圖像 B3)(步驟S10)。藉此，在實際的播放機中，如第2圖 C及第2圖D所示般，於解碼器側，不會引起顯示等待。 如第1 1圖C及第1 1圖D所示般，圖像I之解碼係在對 應圖像B 3之顯示時刻的時刻進行’成爲可將圖像B 3在其 之顯示時刻加以顯示。 CS) -21 - (18) 1289997 • 此種處理，重複進行直到圖像Na + m成爲rip之最後 . 的圖像N e爲止。 另外，在以上當中，雖以變更編碼化順序而予以再編 碼化的情形爲例而做說明（步驟S 1 2 )，但是，也可以變 更其它的編碼化條件。 例如，在依據第12圖A及第12圖B所示之虛擬解碼 器模型中之規則而被編碼化時，第2個被顯示之圖像B2 ( φ 第12圖B)係第3個被解碼（第12圖A)。另一方面， 解碼側之圖像B2之解碼時刻，係如第1 2圖C所示般，成 爲對應圖像.B2之顯示時刻（第1 2圖D )之後的本來第3 個被顯示之圖像P3的顯示時刻（第12圖B)之時刻。因 此，無法在本來之顯示時刻（第1 2圖B )來顯示圖像B2 〇 即在m=l時，圖像Nd+1係爲圖像P3(第12圖A) ，圖像Na+1係成爲圖像B2 (第12圖B )，顯示順序中之 φ 第Na+1個圖像之圖像B2，係不被包含於解碼順序中之圖 像No至圖像Nd+Ι之圖像列的{I!，P3}之圖像列。 因此，在此情形，如第1 3圖B所示般，藉由只使 DPB輸出時序只延遲ltc而予以再編碼化（步驟S12) ’ 如第13圖A所示般，在m=l時，圖像Nd+1成爲圖像B2 ，顯示順序中之第Na+1個的圖像之圖像B2，成爲被包含 於解碼順序中之圖像No至圖像Nd+Ι之圖像列的Ui，P3，B2} 之圖像列。即在實際的解碼處理中，如第13圖c及第13 圖D所示般，圖像B2之解碼係配合圖像B2之顯示時刻而 8) -22- (19) 1289997 — 進行，成爲無法在本來之顯示時刻來顯示圖像B 3。 . 另外，同樣地，例如在依據第1 4圖A及第14圖B所 示之虛擬解碼器模型中之規則而被編碼化時’第3個被顯 示之圖像B3(第14圖B)係第4個被解碼（第14圖A) 。另一方面，實際之解碼側之圖像B 3之解碼時刻，係如 第14圖C所示般成爲對應圖像B3之顯示時刻（第14圖 D )之後的本來第4個被顯示之圖像P4的顯示時刻（第1 4 φ 圖B )之時刻。因此，如第14圖D所示般，無法在本來 之顯示時刻（第1 4圖B )來顯示圖像B 3。 即在m = 2時，解碼順序中之圖像Nd + 2係圖像P4 (第 14圖 A )，顯示順序中之圖像Na + 2係成爲圖像B3 (第 14圖B )，顯示順序中之圖像Na + 2之圖像B3，並未被包 含於解碼順序中之圖像 No至圖像 Nd + 2之圖像列的 {UhPd之圖像列。 因此，在此情形，如第15圖B所示般，藉由只使 φ DPB輸出時序延遲ltc而予以再編碼化（步驟S12)，如 第15圖A所示般，在m = 2時，解碼順序中之圖像Nd+ 2 係爲圖像B3，所以，顯示順序中之圖像Na+1之圖像B3 ( 圖像Na+1 )，係成爲被包含於解碼順序中之圖像No至圖 像Nd + 2之圖像列的{11/2，？4,83}之圖像列。即如第15圖 C及第15圖D所示般，在實際的解碼處理中，圖像B3之 解碼係配合圖像B3之顯示時刻而進行，所以，圖像B3成 爲在本來之顯示時刻而被顯示° 如前述般，在與顯示時刻同步而被解碼時，爲了做成 -23- (20) 1289997 ' 可隨機存取，定義由特定張數之圖像所形成之組的RIP， - 將圖像加以編碼化，使得在虛擬解碼器中，針對該每一 RIP，於最初被顯示之圖像Na的顯示時刻以後最初被解碼 之圖像Nd至第m個爲止，第m個被顯示之圖像Na + m始 被解碼，所以，可以防止實際之解碼側中之圖像的顯示等 待。 另外，有頂端圖場之圖像（例如，第1 6圖A、第1 6 • 圖B、第16圖C及第16圖D中之P2t)、及底部圖場之 圖像（例如，第16圖A、第16圖B、第16圖C及第16 圖D中之P2b )存在之情形。在此情形下，於圖像Nd之 檢測中，係參照第1圖場之圖像（例如，第16圖A、第 16圖B、第16圖C及第16圖D時，圍P2t)之CPB移動 時間。另一方面，在圖像Nd + m及圖像Na + m之檢測等中 ，圖像P2t及圖像P2b係合倂當成1個圖像被處理。即在 進行圖像Nd + m及圖像Na + m之檢測時，解碼順序中之圖 φ 像Nd + Ι係P3，顯示順序中之圖像Na+Ι係P2t與P2b。 另外，在此例中，實際的解碼處理係以圖框單位或成 對之圖場單位來進行，因此，在第16圖C及第16圖D中 ，P2t與P2b係合倂而表示爲P2(t + b)。 另外，在本說明書中，記載藉由記錄媒體所提供之程 式的步驟S，當然係包含依循所記載之順序而以時間序列 來進行之處理，但是，不一定以時間序列來處理，也可包 含並列或個別被執行之處理。 -24 - (23) 1289997 - 2 7 :視頻資料輸出介面 - 5 1 :控制訊號輸入控制部 5 2 :視頻訊號輸入控制部 5 3 :編碼控制部 5 4 :視頻編碼器控制部 5 5 :視頻資料輸出控制部 S 1 :取得圖像之顯示時刻 # S 2 :以特定之編碼化順序來將圖像編碼化（解碼時刻之決 定） 53 :選擇 RIP{No,…Ne} 54 :讀取構成RIP之圖像的顯示時刻 55 :讀取構成RIP之圖像的解碼時刻 S 6 :檢測在最初被顯示之圖像N a的顯示時刻以後被解碼 之RIP的圖像中最初被解碼之圖像Nd S 7 : m = 1 • s8:檢測圖像Na + m與圖像Nd + m S9 :圖像Nd + m是否比圖像Ne更前面的圖像？ Sl〇 : {N〇, …Nd + m}是否含有圖像Na + m?

Sll : m—m+1 s 1 2 :進行再編碼化 S13 : {圖像No,…，Ne}是否含有圖像Na + m? S14 :進行再 編碼化 S 1 5 :已經選擇全部的RIP嗎？ -27-

Claims (1)

1289997 — _ 。 _ M、 ：年 & 、 ⑴ [ΜΛ,Μ....................y 十、申請專利範圍 第941 42335號專利申請案 中文申請專利範圍修正本 民國96年1月25日修正 1 · 一種編碼化裝置，係將解碼裝置在對應顯示時刻 的時刻所解碼之圖像加以編碼化，其特徵爲具備： I 編碼化部，其係進行前述圖像之編碼化，使得針對每 一做成可隨機存取之圖像群，前述圖像群之圖像各個之解 碼，爲直到該圖像之顯示時刻始被進行。 2 ·如申請專利範圍第1項所記載之編碼化裝置，其 中前述編碼化部，係將構成前述圖像群之圖像的編碼化順 序加以變更而進行前述編碼化。 3 ·如申請專利範圍第1項所記載之編碼化裝置，其 中前述編碼化部，係使構成前述圖像群之圖像各個的前述 t 顯示時刻恰延遲一定値而進行前述編碼化。 4 ·如申請專利範圍第1項所記載之編碼化裝置，其 中前述編碼化部，係具有： 第1檢測部，係於前述圖像群中，將在最初所被顯示 之圖像的顯示時刻以後首先被解碼之圖像予以檢測出、及 第2檢測部，係於前述圖像群中，將第m個被顯示之 圖像予以檢測出、及 第3檢測部，係於前述圖像群中，將從藉由前述第1 檢測部所檢測出之前述圖像起’第m個被解碼之匱·像加以

1289997 . (2) 檢測出、及 執行部，係直到藉由前述第3檢測部所被檢測出之前 述圖像被解碼爲止，才執行藉由前述第2檢測手段所檢測 出之圖像被解碼之編碼化處理。 5 · —種編碼化方法，係將解碼裝置在對應顯示時刻 . 的時刻所解碼之圖像加以編碼化，其特徵爲包含： . 編碼化步驟，其係進行前述圖像之編碼化，使得針對 ® 做成每一可隨機存取之圖像群，構成前述圖像群之圖像各 個之解碼，爲直到該圖像之顯示時刻始被進行。 6 · —種記錄程式之電腦可讀取之媒體，該程式係使 控制將解碼裝置在對應顯示時刻的時刻所解碼之圖像加以 編碼化之編碼化裝置的處理器來執行的程式’其特徵爲包 含： 編碼化步驟，其係進行前述圖像之編碼化’使得針對 做成每一可隨機存取之圖像群，構成前述圖像群之圖像各 ® 個之解碼，爲直到該圖像之顯示時刻始被進行。 -2-