TWI249958B - Video encoding device, video encoding control method, and computer readable storage medium storing video encoding control program - Google Patents

Video encoding device, video encoding control method, and computer readable storage medium storing video encoding control program Download PDF

Info

Publication number
TWI249958B
TWI249958B TW93125570A TW93125570A TWI249958B TW I249958 B TWI249958 B TW I249958B TW 93125570 A TW93125570 A TW 93125570A TW 93125570 A TW93125570 A TW 93125570A TW I249958 B TWI249958 B TW I249958B
Authority
TW
Taiwan
Prior art keywords
processing
coding
encoding
frame
time
Prior art date
Application number
TW93125570A
Other languages
English (en)
Other versions
TW200515820A (en
Inventor
Ikuo Tsukagoshi
Shinji Takada
Koichi Goto
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW200515820A publication Critical patent/TW200515820A/zh
Application granted granted Critical
Publication of TWI249958B publication Critical patent/TWI249958B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Description

1249958 (1) . 九、發明說明 【發明所屬之技術領域】 本發明乃關於影像編碼化裝置，影像編碼化控制方法 k 及影像編碼化控制程式，尤其是適用於進行軟體編碼化之 影像編碼化裝置。 【先前技術】 於以往的影像信號的壓縮編碼化·解碼裝置當中，係 41 採用專用的影像處理用硬體而進行編碼化處理（Encoding )及解碼處理（Decoding )。稱呼此爲硬體編碼/解碼工 具(Hardware Codec ) 〇 相對於此，伴隨著最近幾年的電腦技術的發展，藉由 在泛用的 CPU (Central Processing Unit，中央處理單元 )上執行影像處理程式而進行上述編碼化處理及解碼處理 (稱呼此爲軟體編碼/解碼工具（Software Codec))，係 已達到實用的階段。 · 於該軟體編碼/解碼工具當中，與上述硬體編碼/解碼 工具不同，係具備，僅僅需變更影像處理程式，即可容易 對應於 MPEG ( Moving Picture Experts Group) 1/2/4 及 JPEG ( Joint Photographic Experts Group) 2000 等之經由 國際性標準化後的壓縮編碼化方式，或是其他種種壓縮編 > 碼化方法之優點。此外，即使於開發出新的壓縮編碼化方 · 法的情況下，只要因應此來更新影像處理程式，即可容易 對應於最新的壓縮編碼化方法。 -6 - (2) 1249958 〔專利文獻1〕日本特開2 Ο Ο 3 - 6 1 Ο 9 7號公報 於軟體編碼當中’ CPU以時間分割的方式來交互處理 影像的編碼化處理（影像編碼化線程（Thread )乃至於程 序）及聲音的編碼化處理（聲音編碼化線程乃至於程序） 。由於使用者容易感覺到聲音的延遲及欠缺，因此一般而 言乃優先處理聲音編碼化線程。例如於1個框面期間（ 1 /3 0秒）之間，先處理1個框面的量的聲音，然後再處理 1個框面的畫像。 第8圖係顯示軟體編碼的處理狀態，從外部所輸入的 影像資料及聲音資料，各暫時儲存於影像輸入緩衝區及聲 音輸入緩衝區。CPU首先執行聲音編碼化線程，從聲音輸 入緩衝區當中讀出1個框面的量的聲音資料，進行壓縮編 碼化之後而輸出。接下來CPU執行影像編碼化線程，從 影像輸入緩衝區當中讀出1個框面的影像資料，進行壓縮 編碼化之後而輸出。如此，CPU於每1個框面期間，以時 間分割的方式依序進行影像資料及聲音資料的編碼化。 在此，相對於在聲音的壓縮編碼化處理當中，處理時 間並無太大變化，於影像的壓縮編碼化處理當中，處理時 間乃因應所欲編碼化的輸入影像的複雜度（影像的設計及 動作等）而大幅變動。 例如，於天空及牆壁等相對平坦的部分較多且動作較 少的影像當中，處理時間較短，相對於此，於轉播運動節 目等之影像設計複雜且動作迅速，並於適當的速度下進行 移動全景及變焦的拍攝的影像當中，則處理時間變長。由 -7- (3) (3)• 1249958 於處理時間變長，而有可能無法於1個框面期間內完成編 碼化處理。在此稱呼此處理延遲爲超限（ Overrun)。 亦即，於第8圖當中，假設第N個框面極爲複雜， 無法於1個框面期間內完成編碼化（產生超限）於此情況 下，CPU完成對產生超限之第N個框面的編碼化處理， 會造成佔據應予編碼化的第N+1個框面的處理時機。此 外，視訊及聲音的各個編碼化線程的切換，通常是藉由依 據 〇S ( Operating System，作業系統）之內文切換（ Context Switch )來進行。 在此，此框面期間爲原先應予處理的第N+ 1個框面 的期間，但由於用來處理產生超限的框面而無法處理第 N+1個框面。因此，CPU跳過對該第N + 1個框面的編碼 化處理，而從接下來的第N + 2個框面開始進行編碼化處 理。 如此，於以往的軟體編碼當中，於畫像編碼化處理中 產生超限的情況下，則跳過對接下來的框面的編碼化。然 而，一旦產生如此的框面略過的話，則所顯示的影像處於 略過播放狀態，而產生損害影像的顯示品質的問題。 爲了避免超限，可考慮並聯多數個CPU而動作，或 是提升CPU的動作時脈等，但是會造成裝置全體的複雜 化或是消耗電力的上升之問題。 【發明內容】 本發明係考量以上的點而創作出之發明，目的在於提 -8- (4) • 1249958 出，以簡單的構成，可避免因影像編碼化處理的超限（ Overrun )而造成影像的顯示品質的惡化之影像編碼化裝 置，影像編碼化控制方法及影像編碼化控制程式。 爲了解決相關課題，於本發明當中，於影像編碼化裝 置中設置，於每個框面中以第1編碼化處理方法進行影像 的編碼化處理之編碼化機構，及檢測出框面的編碼化處理 所需的編碼化實際處理時間之處理時間檢測機構，及根據 賦予於編碼化處理之特定的編碼化預計處理時間及編碼化 實際處理時間，而算出框面的編碼化處理的處理延遲時間 之延遲算出機構，及於框面的處理延遲時間於特定的閾値 以上之際，指示編碼化機構，以編碼化處理負荷較第1編 碼化處理方法還低之第2編碼化處理方法，進行接下來的 框面的編碼化處理之編碼化負荷控制機構。 因應編碼化處理的延遲的產生，藉由降低接下來的框 面的編碼化負荷，以縮短超限發生後的框面處理時間並復 原超限，可防止因超限的發生所造成的框面略過，而防止 影像的顯示品質的惡化。 此外，於本發明當中，於連續多數的框面之處理延遲 時間的累積値於特定的閾値以上之際，對該連續多數的框 面的接下來的框面，以編碼化處理負荷較第2編碼化處理 方法還低之第3編碼化處理方法，進行編碼化處理。 即使於超限的値較大而無法於1個框面當中復原該超 限的情況下，藉由降低接下來的框面的編碼化處理負荷， 而可確實的於數個框面之間復原超限。 -9- (5) 1249958 如上所述般’根據本發明，係實現了，因應編碼化處 理的延遲的產生，藉由降低接下來的框面的編碼化負荷， 以縮短超限發生後的框面處理時間並復原超限，可防止因 超限的發生所造成的框面略過，而防止影像的顯示品質的 惡化之影像編碼化裝置，影像編碼化控制方法及影像編碼 化控制程式。 【實施方式】 以下參照圖式，詳細敘述本發明的一實施型態。 (1 )信號處理裝置的全體構成 於第1圖當中，1係顯示做爲本發明的影像編碼化裝 置之信號處理裝置的全體構成，而本機記憶體3及信號輸 出入部4及網路介面5，則連接於全體性的控制該信號處 理裝置1的CPU2。於CPU2與本機記憶體3之間，以高 速區域匯流排來直接連接。 於信號處理裝置1當中，CPU2讀出儲存於圖中未顯 示的ROM之編碼/解碼工具程式並執行，藉此，以軟體來 處理對影像及聲音信號編碼化及解碼。 亦即，於影像及聲音的編碼化當中，信號處理裝置1 於信號輸出入部4的八/0(類比/數位）轉換器4八當中， 對從外部所輸入的類比影像信號及類比聲音信號進行數位 轉換，而產生數位影像資料及數位聲音資料（以下省略稱 爲影像資料及聲音資料），並暫時儲存於本機記憶體3。 CPU2依序讀出儲存於本機記憶體3的影像資料及聲 -10- 1249958 (6) 音資料’依循上述編碼/解碼工具程式，以例如 MPEG 1/2/4等經由國際性標準化後的壓縮方式，或是其他 種種影像聲音壓縮方式進行壓縮編碼化，而產生編碼化影 像資料及編碼化聲音資料。 之後’ CPU2暫時儲存此編碼化影像資料及編碼化聲 音資料於本機記憶體3之後，再依序讀出而供應至網路介 面5。網路介面5依循特定的模式，使編碼化影像資料及 編碼化聲音資料封包化，並傳送至外部的記憶媒體或是傳 送目的地的機器。 另一方面，於影像及聲音的解碼當中，信號處理裝置 1於網路介面5當中，對由外部的記憶媒體或是傳送目的 地的機器所供應之封包化的編碼化影像資料及編碼化聲音 資料，進行復原（解封包化），並編碼化影像資料及編碼 化聲音資料。 做爲編碼化機構的CPU2，依序讀出儲存於本機記憶 體3的壓縮影像資料及壓縮聲音資料，依循上述編碼/解 碼工具程式進行解碼，而產生影像資料及聲音資料。 之後，CPU2暫時儲存此影像資料及聲音資料於本機 記憶體3之後，再供應至信號輸出入部4。信號輸出入部 4的D/A (數位/類比）轉換器4B，對影像資料及聲音眘 料進行類比轉換，而產生類比影像資料及類比聲音資料， 並輸出至外部。 並且信號處理裝置1藉由軟體編碼/解碼工具，胃幸大 行對影像信號及聲音信號之編碼化處理及解碼處ί里。 -11 - (7) 1249958 接下來，採用第2圖所示的系統圖表，詳細說明上述 依據信號處理裝置1中的軟體編碼/解碼工具之對對影像 信號及聲音信號之編碼化處理及解碼處理。 於編碼化當中，從信號輸出入部4的A/D轉換器4A (第1圖）所供應的影像資料及聲音資料，各自儲存於本 機記憶體3的視訊輸入緩衝區3 A及聲音輸入緩衝區3B。 於第2圖當中，於CPU2所執行的編碼/解碼工具程 式當中之視訊輸入緩衝區控制器1 〇 A，經常監視視訊輸入 緩衝區3 A，一旦於具備2個框面的量的大小之該視訊輸 入緩衝區3A當中累積1個框面的量的影像資料的話，則 因應於此，不僅傳送起始指令至編碼/解碼工具程式當中 的視訊編碼化線程1 1 A，並從視訊輸入緩衝區3A當中傳 送1個框面的量的影像資料至視訊編碼化線程1 1 A。 視訊編碼化線程1 1 A因應由視訊輸入緩衝區控制器 1 〇 A所供應的起始指令，從視訊輸入緩衝區3A讀出1個 框面的量的影像資料，壓縮編碼此資料而輸出至本機記憶 體3的視訊流輸出緩衝區3 C，並回送做爲結束記號之回 饋訊息至視訊輸入緩衝區控制器1 〇 A而結束線程。 同樣的，於編碼/解碼工具程式當中之聲音輸入緩衝 區控制器1 0B，經常監視聲音輸入緩衝區3 B，一旦於聲 音輸入緩衝區3B當中累積1個框面的量的聲音資料的話 ，則因應於此，不僅傳送起始指令至編碼/解碼工具程式 當中的聲音編碼化線程1 1 B，並從聲音輸入緩衝區3 B當 中傳送1個框面的量的聲音資料至聲音編碼化線程1 1 B。 -12- (8) 1249958 聲音編碼化線程1 1 B因應由聲音輸入緩衝區控制器 1 Ο B所供應的起始指令，從聲音輸入緩衝區3 B讀出1個 框面的量的聲音資料’壓縮編碼此資料而輸出至本機記憶 體3的聲音流輸出緩衝區3 D，並回送做爲結束記號之回 饋訊息至聲音輸入緩衝區控制器1 0B而結束線程。
在此，聲音編碼化線程1 1 B較視訊編碼化線程1 1 A 爲優先處理。 網路介面5的封包器5 A從視訊流輸入緩衝區3 C及 聲音流輸入緩衝區3D當中’讀出編碼化影像資料及編碼 化聲音資料，進行封包化而輸出。 另一方面，於解碼之際，網路介面5的解封包器5 B 從外部所供應的封包當中，復原編碼化影像資料及編碼化 聲音資料，並儲存於本機記憶體3的影像流輸入緩衝區 3E及聲音流輸入緩衝區3F。 於CPU2所執行的編碼/解碼工具程式當中之視訊流 輸入緩衝區控制器1 〇C，經常監視視訊流輸入緩衝區3 E ，一旦於該視訊流輸入緩衝區3E當中累積1個存取單元 的量的編碼化影像資料的話，則因應於此，不僅傳送起始 指令至由CPU2所執行的編碼/解碼工具程式當中的視訊 解碼線程1 2 A，並從視訊流輸入緩衝區3 E當中傳送1個 存取單元的量的編碼化影像資料至視訊解碼線程丨2 A。 視訊解碼線程1 2 A因應由視訊流輸入緩衝區控制器 1 〇 C所供應的起始指令，從視訊流輸入緩衝區3 E讀出1 個存取單元的量的編碼化影像資料，對此解碼而輸出至本 -13- 1249958 (9) 機記憶體3的視訊輸出緩衝區3 G，並回送做爲結束記號 之回饋訊息至視訊流輸入緩衝區控制器1 0C而結束線程。 同樣的，於編碼/解碼工具程式當中之聲音流輸入緩 衝區控制器10D，經常監視聲音流輸入緩衝區3F，一旦 於聲音流輸入緩衝區3F當中累積1個存取單元的量的編 碼化聲音資料的話，則因應於此，不僅傳送起始指令至編 碼/解碼工具程式當中的聲音解碼線程12B，並從聲音流 輸入緩衝區3F當中傳送1個存取單元的量的編碼化聲音 資料至聲音解碼線程12B。 聲音解碼線程1 2B因應由聲音流輸入緩衝區控制器 10D所供應的起始指令，從聲音流輸入緩衝區3F讀出1 個存取單元的量的編碼化聲音資料，對此解碼而輸出至本 機記憶體3的聲音輸出緩衝區3 Η，並回送做爲結束記號 之回饋訊息至聲音輸入流緩衝區控制器1 0D而結束線程 (2)本發明之超限復原（Overrun Recovery) 於上述般的信號處理裝置1當中，於編碼化之際，優 先處理聲音編碼化線程，並於1個框面期間當中，各交互 進行於1個框面的量的聲音編碼化線程及視訊編碼化線程 ，而進行編碼化處理。 除此之外，於此信號處理裝置1當中，於影像編碼化 處理當中產生編碼化延遲（超限）的情況下，藉由線程執 行順序的變更及影像編碼化處理負荷的降低，可不需進行 -14- (10) 1249958 編碼化略過而復原超限（以下稱爲超限復原）。 亦即，做爲處理時間檢測機構之CPU2，從系統時間 時脈（圖中未顯示）當中取得影像編碼化線程的起始時機 及結束時機中之時間資訊，從該起始時機及結束時機的時 間差當中算出編碼化實際處理時間。再者，做爲延遲算出 機構之CPU2，從該編碼化實際處理時間當中，減算預先 預測的編碼化預計處理時間，而算出處理延遲時間。 然後，做爲編碼化負荷控制機構之CPU2，於此處理 延遲時間大於「0」的情況下，則判斷產生超限而執行超 限復原。 接下來，採用第3圖的時機圖來說明此超限復原的處 理例。於第3圖當中，假設第N個框面極爲複雜，無法 於1個框面期間內完成編碼化（產生超限）。於此情況下 ，與以往相同，CPU2中斷對產生超限之第N個框面的編 碼化處理，於接下來的框面期間當中，首先編碼化對應第 N+ 1個框面之聲音資料，之後再開始產生超限之第N個框 面的影像資料的編碼化，而結束該第N個框面的編碼化 〇 於再次開始的第N個框面的編碼化結束之後，接下 來CPU2立即開始對第N + 1個框面的編碼化處理。此時， 做爲編碼化負荷控制機構之CPU2，對此第N+1個框面， 採用處理負荷較一般的編碼化處理方法還低之編碼化處理 方法。稱呼此負荷較低的編碼化處理方法爲復原編碼模式 1。相對於此，稱呼一般的編碼化處理方法爲正常編碼。 -15- (11) 1249958 第4圖及第5圖係顯示正常編碼及復原編碼模式1的處理 圖表。 於此復原編碼模式1當中，CPU2藉由縮小預測編碼 化中之動作向量的搜索範圍較正常編碼還窄，而降低動作 向量搜索的處理循環以降低處理負荷’藉此而縮短每單位 的框面的編碼化處理時間。 如此，採用復原編碼模式1來縮短編碼化處理時間之 結果爲，於1個框面期間內完成第N +1個框面之編碼化 處理（圖中未顯示）的情況下，CPU2對接下來的第N + 2 個之後的框面，採用正常編碼來進行處理。 相對於此，如第3圖所示般’雖然採用復原編碼模式 1來縮短編碼化處理時間，但是於第N+ 1個框面無法於1 個框面期間內完成編碼化（無法回復超限）的情況下， CPU2暫時中斷對該第N+1個框面的編碼化處理，於接下 來的框面期間當中，首先編碼化對應第N+ 1個框面之聲 音資料，之後再開始第N + 1個框面的影像資料的編碼化 〇 於再次開始的第N+ 1個框面的編碼化結束之後，接 下來CPU2立即開始對第N + 2個框面的編碼化處理。此時 ，做爲編碼化負荷控制機構之CPU2，對此第N + 2個框面 ，採用處理負荷較復原編碼模式1還低之編碼化處理方法 。稱呼此負荷較低的編碼化處理方法爲復原編碼模式2。 於此復原編碼模式2當中，如第6圖所示的處理圖表 般，CPU2停止依據逆量子化〜逆轉換編碼化〜動作補償之 (12) 1249958 框面再生的一連串返回處理系統。此返回處理系統爲於框 面記憶體上再次建構用來預測接下來的框面之參照框面的 處理。CPU2於復原編碼模式2當中，藉由停止此返回處 理系統，而相較於模式1，更可縮短編碼化處理時間。 如第3圖所示般，即使於採用復原編碼模式1而無法 回復超限的情況下，CPU2藉由對接下來的框面採用處理 負荷更低的模式2，而可於產生超限開始3個框面期間內 確實回復超限。 在此，於爲了超限復原而採用復原編碼模式2的情況 下，於框面記憶體當中並未記錄動作預測用之參照框面， 而無法於接下來的框面當中進行採用此參照框面之動作預 測。 因此，CPU2於採用復原編碼模式2的情況下，係以 接下來的框面做爲未進行動作預測的I圖像（內編碼化圖 像）來進行編碼化，並以此框面做爲起點而再次建構GOP (Group Of Picture，圖像群）。 接下來，採用第7圖的流程圖，說明上述編碼/解碼 工具程式之超限復原的處理步驟。信號處理裝置1的 CPU2，從次程式RT1的起始步驟開始進入，並往接下來 的步驟SP1進行。 於步驟SP1當中，CPU2從0S或是硬體當中直接取 得，對前面1個的影像框面之編碼化線程的結束時機及對 目前的影像框面之編碼化線程的開始時機，並各自記憶。 之後CPU2取得已記憶之前面1個的框面之開始時刻及結 (13) 1249958 束時刻之差分，算出前面1個的框面的編碼化所需之處理 延遲時間TN，加算該TN於超限累積處理時間上，然後 進行步驟SP2。在此，累積處理延遲時間於處理起始之際 設定爲「〇」。 於步驟SP2當中，CPU2從所算出的累積處理延遲時 間與超限計數器的値當中，判定有否產生超限。 於步驟SP2當中，以超限計數器的値除累積處理延遲 時間後的値，較系統啓動之際做爲視訊編碼化線程而被賦 馨 予之目標時間TGT ( TarGet Time )還小的情況下，此代 表未產生超限，此時CPU2進行步驟SP3，以正常編碼來 對此框面進行編碼化，並重設累積處理延遲時間爲「〇」 ，同時重設超限計數器爲「1」，並返回步驟SP1。 相對於此，於步驟SP2當中，以超限計數器的値除累 積處理延遲時間後的値，較系統啓動之際做爲視訊編碼化 線程而被賦予之目標時間TGT ( TarGet Time )還大的情 況下，此代表產生超限，此時CPU2進行步驟SP4，於用 鲁 於計數超限的產生框面數之超限計數器的値當中加算「1 」，並進行下一個步驟SP5。 於步驟SP5當中，於判定超限的框面數爲1次的情況 下，CPU2進行步驟SP6，對接下來的框面採用復原編碼 模式1來執行編碼化，並返回步驟SP1。 相對於此，於步驟SP5當中，於判定超限的框面數不 、 是1次的情況下，CPU2進行步驟SP7，對接下來的框面 採用復原編碼模式2來執行編碼化，此外，對再接下來的 -18- 1249958 (14) 框面指定I圖像下的編碼化，再次建構GOP，並返回步驟 SP1 ° (3 )動作及效果 於以上的構成當中，此信號處理裝置1，優先處理聲 音編碼化線程，於1個框面期間當中，各交互進行於1個 框面的量的聲音編碼化線程及視訊編碼化線程，而進行影 像及聲音的編碼化。 φ 此外，一旦於視訊編碼化線程檢測出產生超限的話， 則信號處理裝置1對接下來的框面採用處理負荷較輕的復 原編碼模式1，藉此縮短單位框面的編碼化處理時間，並 回復超限。 再者，於接下來的框面當中即使採用復原編碼模式1 亦無法回復超限的情況下，信號處理裝置1對再接下來的 框面，採用處理負荷更輕的復原編碼模式2，藉此，以不 會產生因超限而引起框面略過的方式，而可於產生超限開 φ 始的有限框面期間內（例如3個框面期間內），確實回復 超限。 此外，由於信號處理裝置1可避免如此般之因超限而 引起框面略過的情形，因此可降低CPU2及周邊裝置的處 理能力及動作時脈，而可簡化系統全體的構成及降低消耗 ’ 電力。 · 根據以上的構成，由於因應超限的產生而降低對之後 的框面之編碼化處理負荷，因此信號處理裝置1可避免因 -19- (15) 1249958 框面略過所造成之顯示品質的惡化。 (4 )其他實施型態 於上述實施型態當中，因應超限的產生，首先採用縮 小動作的搜索範圍之復原編碼模式1，而即使採用此復原 編碼模式1亦無法回復的情況下，則對接下來的框面，採 用處理負荷更輕的復原編碼模式2，藉此可於產生超限開 始的3個框面期間內回復超限，但是回復期間並不限定於 φ 3個框面期間。此外，連續採用多數次的模式1，或是於 產生超限之後直接採用模式2等，可採用種種方式來降低 超限產生後的影像編碼化處理負荷。 此外，於上述實施型態當中，係採用縮小動作的搜索 範圍之模式1，以及省略了用於預測框面之間的參照框面 再建構處理之模式2的兩種復原編碼，但是本發明定不限 定於此，億可組合而採用其他之降低種種負荷之編碼化處 理。 _ 再者，於上述實施型態當中，係適用本發明於具備對 影像及聲音之編碼化及解碼的兩種功能之信號處理裝置當 中，但是本發明定不限定於此，亦可適用於僅具備編碼化 功能或是僅具備解碼化功能之信號處理裝置當中。 產業上之可利用性： · 本發明的影像編碼化裝置，影像編碼化控制方法及影 像編碼化控制程式，可適用於，例如對數位化後的數位內 -20- 1249958 (16) 容，或是於對類比影像信號進行數位轉換之後’進行壓縮 編碼化，然後介於網路來即時傳送或是接收動畫’或是於 家庭內或是限定的網路環境內即時傳送或是接收’或是曠 時（PVR: Personal Video Recording，個人數位化錄影） 等錄影再生裝置等用途。 【圖式簡單說明】 第1圖係顯示本發明之信號處理裝置的全體構成之區 塊圖。 第2圖係顯示信號處理裝置的系統圖表之區塊圖。 第3圖係顯示用於說明本發明的超限復原（Overrun Recovery)之時序圖。 第4圖係顯示正常編碼的處理圖表之區塊圖。 第5圖係顯示復原編碼模式1的處理圖表之區塊圖。 第6圖係顯示復原編碼模式2的處理圖表之區塊圖。 第7圖係顯示本發明之超限復原處理步驟之流程圖。 第8圖係顯示用於說明依據超限之框面略過之時序圖 【主要元件符號說明】 1 :信號處理裝置
2 ： CPU 3 :本機記憶體 3 A :視訊輸入緩衝區 -21 - (17) (17)1249958 3B:聲音輸入緩衝區 3 C :視訊流輸出緩衝區 3D :聲音流輸出緩衝區 3 E :視訊流輸入緩衝區 3F:聲音流輸入緩衝區 3 G :視訊輸出緩衝區 3H :聲音輸出緩衝區 4 :信號輸出入部 41 4A : A/D (類比/數位）轉換器 4B : D/A (數位/類比）轉換器 5 :網路介面 5 A :封包器 5B :解封包器 10A :視訊輸入緩衝區控制器 10B :聲音輸入緩衝區控制器 1 0C :視訊流輸入緩衝區控制器 φ 1 0D :聲音流輸入緩衝區控制器 1 1 A :視訊編碼化線程 1 1 B :聲音編碼化線程 1 2 A :視訊解碼線程 12B :聲音解碼線程 ’ TGT :目標時間 ^ TN :處理延遲時間 -22-

Claims (1)

  1. (1) 1249958 十、申請專利範圍 1. 一種影像編碼化裝置，其特徵爲：具備， 於每個框面中以第1編碼化處理方法進行影像的編碼 化處理之編碼化機構， 及檢測出上述框面的編碼化處理所需的編碼化實際處 理時間之處理時間檢測機構， 及根據賦予於上述編碼化處理之特定的編碼化預計處 理時間及上述編碼化實際處理時間，而算出上述框面的編 碼化處理的處理延遲時間之延遲算出機構， 及於上述框面的上述處理延遲時間於特定的閾値以上 之際，指示上述編碼化機構，以編碼化處理負荷較上述第 1編碼化處理方法還低之第2編碼化處理方法，進行接下 來的框面的編碼化處理之編碼化負荷控制機構。 2. 如申請專利範圍第1項之影像編碼化裝置，其中 ，上述延遲算出機構藉由從上述編碼化實際處理時間當中 ，減算賦予於上述編碼化處理之上述編碼化預計處理時間 ，而算出上述處理延遲時間。 3. 如申請專利範圍第1項之影像編碼化裝置，其中 ，於連續多數的上述框面之上述處理延遲時間的累積値於 特定的閾値以上之際，上述編碼化負荷控制機構指示上述 編碼化機構，對該連續多數的框面的接下來的框面，以編 碼化處理負荷較上述第2編碼化處理方法還低之第3編碼 化處理方法，進行編碼化處理。 4. 如申請專利範圍第1項之影像編碼化裝置，其中 -23- (2) ^ 1249958 ，於上述框面的上述處理延遲時間於特定的閾値以上之際 ，上述編碼化負荷控制機構，於上述編碼化機構當中對該 框面的編碼化處理結束之後，接著開始接下來的框面之編 _ 碼化處理。 5. —種影像編碼化控制方法，其特徵爲：具備， 於每個框面中進行影像的編碼化處理之編碼化步驟， 及檢測出上述框面的編碼化處理所需的編碼化實際處 理時間之處理時間檢測步驟， Φ 及根據賦予於上述編碼化處理之特定的編碼化預計處 理時間及上述編碼化實際處理時間，而算出上述框面的編 碼化處理的處理延遲時間之延遲算出步驟， 及於上述框面的平均上述處理延遲時間超過特定的預 計處理時間的情況下，降低對接下來的上述框面的編碼化 處理負荷之編碼化負荷控制步驟。 6. 一種記錄有影像編碼化控制程式之電腦可讀取之 記錄媒體，其特徵爲：記錄有，令影像編碼化裝置當中執 春 行， 於每個框面中進行影像的編碼化處理之編碼化步驟， 及檢測出上述框面的編碼化處理所需的編碼化實際處 理時間之處理時間檢測步驟， 及根據賦予於上述編碼化處理之特定的編碼化預計處 ' 理時間及上述編碼化實際處理時間，而算出上述框面的編 · 碼化處理的處理延遲時間之延遲算出步驟， 及於上述框面的平均上述處理延遲時間超過特定的預 -25- (3) 1249958 計處理時間的情況下，降低對接下來的上述框面的編碼化 處理負荷之編碼化負荷控制步驟之影像編碼化控制程式。
    -26-
TW93125570A 2003-09-02 2004-08-26 Video encoding device, video encoding control method, and computer readable storage medium storing video encoding control program TWI249958B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003310638A JP3802521B2 (ja) 2003-09-02 2003-09-02 符号化装置、符号化制御方法及び符号化制御プログラム

Publications (2)

Publication Number Publication Date
TW200515820A TW200515820A (en) 2005-05-01
TWI249958B true TWI249958B (en) 2006-02-21

Family

ID=34269653

Family Applications (1)

Application Number Title Priority Date Filing Date
TW93125570A TWI249958B (en) 2003-09-02 2004-08-26 Video encoding device, video encoding control method, and computer readable storage medium storing video encoding control program

Country Status (7)

Country Link
US (1) US8665966B2 (zh)
EP (1) EP1662794A4 (zh)
JP (1) JP3802521B2 (zh)
KR (1) KR101121613B1 (zh)
CN (1) CN1860792B (zh)
TW (1) TWI249958B (zh)
WO (1) WO2005025226A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711923B2 (en) * 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
JP4623650B2 (ja) 2005-09-06 2011-02-02 パナソニック株式会社 動画像符号化装置，動画像符号化方法
CN100466736C (zh) * 2005-12-30 2009-03-04 杭州华三通信技术有限公司 运动图像编码控制方法及编码装置
JP2007195117A (ja) * 2006-01-23 2007-08-02 Toshiba Corp 動画像復号装置
JP2007251553A (ja) * 2006-03-15 2007-09-27 Matsushita Electric Ind Co Ltd リアルタイム処理装置及びその方法
JP2008092107A (ja) * 2006-09-29 2008-04-17 Toshiba Corp 情報処理装置及び音声／映像データ再生方法
CN100463525C (zh) * 2006-12-11 2009-02-18 浙江大学 计算复杂度可动态调整的视频编码方法和装置
JP2008216472A (ja) * 2007-03-01 2008-09-18 Matsushita Electric Ind Co Ltd 音声復号化装置及び音声復号化システム
EP2143668A1 (de) 2008-07-09 2010-01-13 Interrroll Holding AG Rollenbahn mit Profilschiene
CN101394554B (zh) * 2008-09-28 2010-06-09 湖北科创高新网络视频股份有限公司 一种自适应跳帧方法和装置
JP5652066B2 (ja) * 2010-09-03 2015-01-14 ヤマハ株式会社 動画圧縮制御装置、動画記録装置及び動画記録再生装置
WO2014179890A1 (en) * 2013-05-09 2014-11-13 Sunnybrook Research Institute Systems and methods for providing visual feedback of touch panel input during magnetic resonance imaging
CN103402086B (zh) * 2013-07-22 2017-02-15 华为技术有限公司 一种用于视频编码系统的性能控制方法及编码器
US9397683B2 (en) * 2014-08-05 2016-07-19 Intel Corporation Reduced digital audio sampling rates in digital audio processing chain
CN105898371A (zh) * 2015-12-07 2016-08-24 乐视云计算有限公司 实时转码的实时控制方法及装置
JP6724581B2 (ja) * 2016-06-15 2020-07-15 富士通株式会社 画像符号化装置、方法、及びプログラム
CN112040235B (zh) * 2020-11-04 2021-03-16 北京金山云网络技术有限公司 视频资源的编码方法和装置，视频资源的解码方法和装置
CN113038139B (zh) * 2021-03-25 2023-05-12 贵州电网有限责任公司 一种应用于机巡图片上传的图像压缩方法
CN113613071B (zh) * 2021-07-30 2023-10-20 上海商汤临港智能科技有限公司 一种图像处理方法、装置、计算机设备和存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5121202A (en) * 1989-05-12 1992-06-09 Nec Corporation Adaptive interframe prediction coded video communications system
US5818969A (en) * 1995-05-12 1998-10-06 Intel Corporation Intelligent start for motion estimation search
JPH10200900A (ja) 1997-01-10 1998-07-31 Nippon Telegr & Teleph Corp <Ntt> 符号化映像の高画質メディア同期再生方法及び装置
JP3588970B2 (ja) * 1997-04-30 2004-11-17 ソニー株式会社 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法
JPH1118083A (ja) * 1997-06-25 1999-01-22 Sony Corp ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法
JP3407287B2 (ja) * 1997-12-22 2003-05-19 日本電気株式会社 符号化復号システム
JP3185763B2 (ja) * 1998-07-13 2001-07-11 日本電気株式会社 動画像符号化装置
JP3184175B2 (ja) 1999-03-05 2001-07-09 日本電気アイシーマイコンシステム株式会社 復号化装置
US6876703B2 (en) * 2000-05-11 2005-04-05 Ub Video Inc. Method and apparatus for video coding
JP2001346216A (ja) * 2000-06-06 2001-12-14 Toshiba Corp 動画像圧縮方法および情報処理装置
JP2001352471A (ja) 2000-06-07 2001-12-21 Toshiba Corp ビデオカメラ装置
DE50107201D1 (de) * 2001-06-11 2005-09-29 Abb Schweiz Ag Isolator für ein elektrisches Verschienungssystem sowie ein Isolatorsystem mit solchen Isolatoren
JP2003061097A (ja) 2001-08-09 2003-02-28 Sony Corp 画像符号化装置および方法、記録媒体、並びにプログラム
JP4151374B2 (ja) * 2002-03-29 2008-09-17 セイコーエプソン株式会社 動画像符号化装置および動画像符号化方法
US20050024486A1 (en) 2003-07-31 2005-02-03 Viresh Ratnakar Video codec system with real-time complexity adaptation

Also Published As

Publication number Publication date
US8665966B2 (en) 2014-03-04
KR101121613B1 (ko) 2012-04-16
JP2005080123A (ja) 2005-03-24
CN1860792B (zh) 2010-05-12
WO2005025226A1 (ja) 2005-03-17
EP1662794A4 (en) 2012-07-25
CN1860792A (zh) 2006-11-08
TW200515820A (en) 2005-05-01
US20070014355A1 (en) 2007-01-18
KR20060131725A (ko) 2006-12-20
EP1662794A1 (en) 2006-05-31
JP3802521B2 (ja) 2006-07-26

Similar Documents

Publication Publication Date Title
TWI249958B (en) Video encoding device, video encoding control method, and computer readable storage medium storing video encoding control program
KR20040075039A (ko) 복잡도 제약된 데이터 압축에서 동적 제어
JP5238882B2 (ja) 画像符号化装置、方法、集積回路、プログラム
JP2658832B2 (ja) 動画像復号制御装置
US6271774B1 (en) Picture data processor, picture data decoder and picture data encoder, and methods thereof
JPH10271516A (ja) 圧縮符号化装置、符号化方法、復号化装置および復号化方法
JP4825137B2 (ja) 圧縮符号化装置、伸張復号化装置
JP4893311B2 (ja) 圧縮符号化装置、伸張復号化装置
WO2010134238A1 (ja) 映像記録装置
JP2002016926A (ja) スプライト符号化データ伝送方法、スプライト符号化装置、スプライト符号化データ復号装置及び記録媒体
JP2004056827A (ja) 符号化装置、符号化方法、復号化装置及び復号化方法
JP2000069484A (ja) 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体
KR100726695B1 (ko) 디지털 신호 처리 장치 및 방법과 제공 매체
JP2006197006A (ja) 動画像符号化装置
JPH10136380A (ja) 動画像符号化装置、および方法
JPH1174799A (ja) 可変長符号化データの処理方法及びバッファ制御装置
JP2005080004A (ja) 動画像符号化装置
WO2006120778A1 (ja) 信号再生装置
JP3454304B2 (ja) 符号化復号化装置
JP4979355B2 (ja) 画像符号化装置および画像符号化方法
JP5402960B2 (ja) 伸張復号化装置、及び、伸張復号化方法
JP5007759B2 (ja) 符号化装置、符号化方法、復号化装置及び復号化方法
JP2011083038A (ja) 伸張復号化装置、伸張復号化方法、及び、プログラム
JP2008092357A (ja) 動画像符号化装置
JP2005286594A (ja) 映像符号化装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees