TWI635749B - 配合電視傳播系統之動態影像處理裝置及動態影像處理方法 - Google Patents

配合電視傳播系統之動態影像處理裝置及動態影像處理方法 Download PDF

Info

Publication number
TWI635749B
TWI635749B TW106100621A TW106100621A TWI635749B TW I635749 B TWI635749 B TW I635749B TW 106100621 A TW106100621 A TW 106100621A TW 106100621 A TW106100621 A TW 106100621A TW I635749 B TWI635749 B TW I635749B
Authority
TW
Taiwan
Prior art keywords
picture
motion
merged
screen
pictures
Prior art date
Application number
TW106100621A
Other languages
English (en)
Other versions
TW201826777A (zh
Inventor
童怡新
黃子容
林和源
Original Assignee
晨星半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 晨星半導體股份有限公司 filed Critical 晨星半導體股份有限公司
Priority to TW106100621A priority Critical patent/TWI635749B/zh
Priority to US15/713,807 priority patent/US20180199002A1/en
Publication of TW201826777A publication Critical patent/TW201826777A/zh
Application granted granted Critical
Publication of TWI635749B publication Critical patent/TWI635749B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/0806—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division the signals being two or more video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42676—Internal components of the client ; Characteristics thereof for modulating an analogue carrier signal to encode digital information or demodulating it to decode digital information, e.g. ADSL or cable modem
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • H04N21/42638—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners involving a hybrid front-end, e.g. analog and digital tuners

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Library & Information Science (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一動態影像處理裝置，其中包含一降取樣電路、一合併電路、一中介資料產生電路與一編碼器。降取樣電路根據對應於K種畫面佈局之一預設畫面佈局資訊對P個動態影像施以降取樣程序。每一個動態影像對應於一個電視節目。合併電路根據預設畫面佈局資訊將該P個降取樣後動態影像合併，以產生對應於該K種畫面佈局的合併後動態影像。中介資料產生電路根據預設畫面佈局資訊產生中介資料，描述與各畫面佈局對應的電視節目資訊。編碼器將合併後動態影像與中介資料編碼為符合特定傳播格式的影像資料，供電視傳播系統進行傳播。

Description

配合電視傳播系統之動態影像處理裝置及動態影像處理方法
本發明與電視系統相關，並且尤其與能於同一畫面中呈現多個電視節目之動態影像的技術相關。
電視在多數現代家庭中是不可或缺的硬體設備。由於電視頻道之數量與日俱增，若有一個清楚方便的節目選單，能幫助使用者快速瀏覽目前各頻道正在播放的電視節目，可為使用者節省大量時間，無須藉由逐一轉台來尋找想看的電視節目。
「動態電視牆」是目前更受歡迎的節目選單型態，也就是利用分割畫面，在螢幕上同時呈現多個電視節目的即時動態影像。舉例而言，螢幕畫面可能如圖一所示，在水平與垂直方向各自被平均切割為兩等份，同時播放四個電視節目(CH1~CH4)的即時動態影像。
在許多廣泛使用的電視訊號傳播標準中，每個電視節目在傳送端被編碼為一初級串流(elementary stream)，多個初級串流再進一步被包 裹為一傳輸串流(transport stream)，透過同一個頻段進行傳播。接收端的電視晶片包含至少一個調諧器(tuner)。當調諧器被設定為接收一特定頻段中的資料，電視系統能播放的便是透過這個特定頻段傳播的傳輸串流中的數個電視節目。若接收到轉台指令，且轉台的目標是透過另一個頻段傳播的電視節目，調諧器的接收頻段就必須改變，切換至目標節目所屬的傳輸串流之傳播頻段。
由此可知，若圖一中同時播放的電視節目CH1~CH4係透過四種不同的頻段傳播，接收端的電視晶片必須包含至少四個調諧器，各自接收一個傳輸串流。接著，再由四組解碼電路將四個電視節目各自的初級串流自該等傳輸串流中取出、加以解碼。隨後，電視晶片中的影像處理電路將四個節目的畫面尺寸縮小、加以組合為如圖一所示之畫面。由此可知，動態電視牆所涵蓋的節目數量愈多，就可能需要愈龐大的電視晶片硬體，始能提供足夠的調諧器與解碼電路。
目前有一種利用僅具有一個調諧器的低階電視晶片實現動態電視牆的方法，令調諧器在多個頻段間切換，輪流接收透過該等頻段傳播的電視節目。缺點是每次切換調諧器的接收頻段都需要一段轉換時間，可能會使得動態畫面變得不流暢或頻頻停頓。
為解決上述問題，本發明提出一種新的配合電視傳播系統之動態影像處理裝置及動態影像處理方法。
根據本發明之一具體實施例為一種配合一電視傳播系統之動態影像處理裝置，其中包含一降取樣電路、一合併電路、一中介資料產生電路與一編碼器。該電視傳播系統係用以根據一特定傳播格式傳播P個動態影像，分別對應於複數個電視節目，且P為大於1之整數。該降取樣電路係用以接收該P個動態影像與對應於K種畫面佈局之一預設畫面佈局資訊，並根據該預設畫面佈局資訊對該P個動態影像分別施以一降取樣程序，以產生P個降取樣後動態影像，對應P個子畫面。該合併電路係用以根據該預設畫面佈局資訊合併該P個降取樣後動態影像，以產生包含複數個合併後畫面之一合併後動態影像，每一個合併後畫面包含至少一子畫面。該中介資料產生電路係用以根據該預設畫面佈局資訊為該合併後動態影像產生一中介資料，描述與每一該K種畫面佈局對應之電視節目資訊。該編碼器將該合併後動態影像與該中介資料編碼為符合該特定傳播格式之一影像資料，供該電視傳播系統進行傳播。
根據本發明之另一具體實施例為一種配合一電視傳播系統之動態影像處理方法，包含根據一特定傳播格式傳播P個動態影像，分別對應於複數個電視節目。P個動態影像與對應於K種畫面佈局之一預設畫面佈局資訊被接收。根據該預設畫面佈局資訊，該P個動態影像被分別施以一降取樣程序，以產生P個降取樣後動態影像，以及該P個降取樣後動態影像被合併，以產生包含複數個合併後畫面之一合併後動態影像。根據該預設畫面佈局資訊，該合併後動態影像之一中介資料被產生。隨後，該合併後動態影像與該中介資料編碼為符合該特定傳播格式之一影像資料，供 該電視傳播系統進行傳播。
關於本發明的優點與精神可以藉由以下發明詳述及所附圖式得到進一步的瞭解。
100‧‧‧動態影像處理裝置
12‧‧‧降取樣電路
14‧‧‧合併電路
16‧‧‧編碼器
18‧‧‧中介資料產生電路
200‧‧‧電視傳播系統
210‧‧‧廣播天線塔
300‧‧‧電視系統
S71~S75‧‧‧流程步驟
圖一為一動態電視牆之分割畫面示意圖。
圖二為根據本發明之一實施例中的動態影像處理裝置之功能方塊圖。
圖三(A)~圖三(C)呈現一組在空間軸進行降取樣與合併的範例。
圖四(A)~圖四(C)呈現一組在空間軸與時間軸皆進行降取樣與合併的範例。
圖五(A)~圖五(C)呈現一組在時間軸進行降取樣與合併的範例。
圖六呈現一位元流結構範例。
圖七為根據本發明之一實施例中的影像處理方法之流程圖。
須說明的是，本文的圖式並非細部電路圖，且其中的連接線僅用以表示信號流。功能性元件及/或程序間的多種互動關係不一定要透過直接的電性連結始能達成。此外，個別元件的功能不一定要如圖式中繪示的方式分配，且分散式的區塊不一定要以分散式的電子元件實現。
根據本發明之一具體實施例為一種動態影像處理裝置100，其功能方塊圖如圖二所示。動態影像處理裝置100係應用於電視傳播系統200。此處所稱之電視傳播系統涵蓋各種具備傳播類比、數位或網路電視信號能力的系統，例如但不限於電視信號發射站與電視信號串流伺服器。本發明的範疇並不限於以某種特定組態或架構來實現電視傳播系統200。動態影像處理裝置100包含一降取樣電路12、一合併電路14、一編碼器16與一中介資料產生電路18。動態影像處理裝置100可以獨立存在，也可以被整合在電視傳播系統200內部。
圖二中，電視傳播系統200接收P個動態影像(P為大於1之整數)，其中的每一個動態影像對應於一個電視節目。實務上，這些動態影像可能是由一個或多個電視服務供應商所提供。電視傳播系統200負責控制、協調這些動態影像向使用者端的電視系統播送。舉例而言，電視傳播系統200可將複數個動態影像各自編碼為複數個初級串流，再進一步包裹為一傳輸串流，隨後透過廣播天線塔210向電視系統300發送包含這P個動態影像的一個或多個傳輸串流。
本發明的動態影像處理裝置100中之降取樣電路12亦接收此P個動態影像。在圖二的範例中，這P個動態影像在送入電視傳播系統200的過程中被分流至降取樣電路12。降取樣電路12負責根據對應於K種畫面佈局之一預設畫面佈局資訊對該P個動態影像分別施以一降取樣程序(K為一正整數)，以產生P個降取樣後動態影像。於實際應用中，此預設畫面佈局資訊可以由動態影像處理裝置100的管理者或是電視服務供 應商決定。預設畫面佈局即是指這P個動態影像在同一螢幕上所顯示的排列佈局，所謂K種畫面佈局的定義將於後續段落以範例詳細說明。
接著，合併電路14會根據同一個預設畫面佈局資訊合併該P個降取樣後動態影像，以產生對應於該K種畫面佈局之一合併後動態影像。以下介紹幾種預設畫面佈局的範例，以及降取樣電路12與合併電路14會如何回應該等預設畫面佈局進行運作。
首先請參閱圖三(A)~圖三(C)。在這個範例中，P等於四，K等於一。也就是說，此範例中的預設畫面佈局資訊包含將四個動態影像合併，且合併後動態影像中的每一張畫面都是對應於同一種畫面佈局。假設降取樣電路12接收的第一動態影像~第四動態影像分別對應於電視節目CH1~CH4，且這四個動態影像的原始畫面尺寸與畫面更新率皆相同。圖三(A)為降取樣電路12之輸入信號的示意圖。在每一個時間點(t0、t1、t2……)，降取樣電路12都接收到四個畫面，分別來自電視節目CH1~CH4。又，此範例中所假設的預設畫面佈局資訊包含：(1)合併後動態影像僅包含一種畫面佈局(K等於一)；(2)此畫面佈局包含2*2個大小相同的子畫面；(3)由左至右、由上至下，這四個子畫面各自對應於電視節目CH1~CH4。
回應於上述要求一合併後畫面包含複數個子畫面的預設畫面佈局資訊，降取樣電路12可在空間軸的長度與寬度兩個方向分別對第一動態影像~第四動態影像中的每一個原始畫面進行降取樣，令其畫面尺寸縮小為原本的四分之一(長度與寬度各減少為一半)。舉例而言，若原本每個原始畫面的畫面尺寸為1920畫素*1080畫素，每個降取樣後動態影像的 畫面尺寸即為960畫素*540畫素。圖三(B)呈現這四個降取樣後動態影像的示意圖。
回應於上述預設畫面佈局資訊，合併電路14將對應於相同時間點的四個降取樣後動態影像的四個畫面合併為單一畫面。圖三(C)為合併電路14之輸出信號的示意圖。如圖三(C)所示，合併電路14在時間點t’0產生的合併後畫面包含四個子畫面，其中每一個子畫面對應於一個電視節目(CH1~CH4)但對應於相同的時間點t0。相似地，合併電路14在時間點t’1產生的合併後畫面是由同樣對應於時間點t1的四個子畫面組成，依此類推。該等依序產生的合併後畫面便組成一合併後動態影像。
實務上，降取樣電路12可包含多組平均值計算電路，並將一原始畫面分割為多組2*2的畫素。該等平均值計算電路被用以針對每一組畫素中的四個畫素之影像資料(例如灰階值)取平均值，產生一筆新的畫素影像資料，藉此達成在空間軸降取樣的效果。另一方面，合併電路14可包含一個尺寸為1920畫素*1080畫素的畫面緩衝器(frame buffer)，供降取樣電路12將其產生的新畫素影像資料寫入。合併電路14可根據上述預設畫面佈局資訊決定每一筆新畫素影像資料寫入該畫面緩衝器的適當位置，使得四個尺寸各自為960畫素*540畫素之降取樣後畫面都被寫入後，在該畫面緩衝器中即組合成一張新的合併後畫面。以圖三(C)為例，合併電路14可令對應於電視節目CH1的960*540筆新畫素影像資料被寫入該畫面緩衝器中對應於畫面最左上角960畫素*540畫素的位置。
中介資料(metadata)產生電路18根據該預設畫面佈局資訊為 合併後動態影像產生一中介資料，描述與每一該K種畫面佈局對應之電視節目資訊。藉由上述中介資料，電視系統300可取得該預設畫面佈局資訊及/或其他相關資訊。舉例而言，除了每一種畫面佈局中的子畫面數量與位置分配，該中介資料所描述的電視節目資訊還可進一步包含下列資訊中的一個或多個資訊：每一種畫面佈局中每個子畫面所對應的節目頻道辨識碼、每個子畫面所對應的節目供應商辨識碼、每個子畫面所對應的節目類型(例如新聞、旅遊、運動等等)辨識碼。
編碼器16負責將合併電路14產生的合併後動態影像以及中介資料產生電路18產生的中介資料編碼為符合一特定傳播格式的影像資料，並提供給電視傳播系統200進行傳播。以電視傳播系統200採用高效率視訊編碼(high efficiency video coding,HEVC)規範的情況為例，編碼器16可將合併後動態影像與中介資料編碼為一初級串流(elementary stream)，電視傳播系統200進一步將該初級串流包裝於一傳輸串流(transport stream)中進行傳播。換句話說，此合併後動態影像的格式與其他一般的電視節目相同，可被視為一個電視節目播送，且電視系統300若接收、解碼、播放這個電視節目，其效果即為符合圖一呈現之預設畫面佈局、同時呈現電視節目CH1~CH4的動態電視牆。值得注意的是，即使是僅包含一個調諧器與一組解碼電路的低階電視晶片，亦能在無需切換接收頻段的情況下順利接收並播放此動態電視牆。
接著請參閱圖四(A)~圖四(C)。在這個範例中，P等於八，K等於二。也就是說，此範例中的預設畫面佈局資訊要求將八個動態影像合併， 且合併後動態影像中的合併後畫面對應於兩種不同的畫面佈局。假設降取樣電路12接收的第一動態影像~第八動態影像分別對應於電視節目CH1~CH8，且這八個動態影像的原始畫面尺寸與畫面更新率皆相同。圖四(A)為降取樣電路12之輸入信號的示意圖。如圖四(A)所示，在每一個時間點(t0、t1、t2……)，降取樣電路12都接收到八個畫面，分別來自電視節目CH1~CH8。又，此範例中的預設畫面佈局資訊包含：(1)合併後動態影像包含兩種畫面佈局；(2)兩種畫面佈局各自包含2*2個大小相同的子畫面；(3)在第一種畫面佈局中，由左至右、由上至下，這四個子畫面各自對應於電視節目CH1~CH4；(4)在第二種畫面佈局中，由左至右、由上至下，這四個子畫面各自對應於電視節目CH5~CH8。
圖四(B)為降取樣電路12回應於上述預設畫面佈局資訊所產生的八個降取樣後動態影像之示意圖。於本實施例中，由於目前的兩種畫面佈局都要求合併後畫面包含複數個子畫面，且合併後動態影像中必須包含多種畫面佈局(正整數K大於一)，降取樣電路12於空間軸及時間軸皆進行降取樣，因此這八個降取樣後動態影像除了畫面尺寸變小，畫面更新率亦被降低為原本的一半。更具體地說，在這個範例中，降取樣電路12保留第一動態影像~第四動態影像對應於時間點t0、t2、t4……的畫面，捨棄第一動態影像~第四動態影像對應於時間點t1、t3、t5……的畫面。並且，降取樣電路12保留第五動態影像~第八動態影像對應於時間點t1、t3、t5……的畫面，捨棄第五動態影像~第八動態影像對應於時間點t0、t2、t4……的畫面。
隨後，回應於目前的預設畫面佈局資訊，合併電路14將第一降取樣後動態影像~第四降取樣後動態影像中原本對應於相同時間點的四個降取樣後動態影像的四個畫面合併為單一畫面，並將第五降取樣後動態影像~第八降取樣後動態影像中原本對應於相同時間點的四個降取樣後動態影像的四個畫面合併為單一畫面。圖四(C)為合併電路14之輸出信號的示意圖。合併電路14在時間點t’0產生的合併後畫面對應於第一種畫面佈局，其中包含四個子畫面，各自對應於電視節目CH1~CH4以及相同的時間點t0。合併電路14在時間點t’1產生的合併後畫面對應於第二種畫面佈局，其中包含四個子畫面，各自對應於電視節目CH5~CH8以及相同的時間點t1。隨後，在時間點t’2產生的合併後畫面再次對應於電視節目CH1~CH4，而在時間點t’3產生的合併後畫面再次對應於電視節目CH5~CH8，t’0~t’3為前後連續的時間點。也就是說，合併後動態影像中包含第一種畫面佈局對應於電視節目CH1~CH4，第二種畫面佈局對應於電視節目CH5~CH8。
相似地，中介資料產生電路18會根據目前的預設畫面佈局資訊為合併後動態影像產生一中介資料，描述與這兩種畫面佈局對應的電視節目資訊。接著，編碼器16將圖四(C)呈現的合併後動態影像及其中介資料編碼為符合電視傳播系統200所採用之傳播格式的影像資料，並提供給電視傳播系統200進行傳播。
實務上，透過中介資料，電視系統300便能掌握動態影像處理裝置100採用的預設畫面佈局資訊，並能自行運用動態影像處理裝置100 產生的影像資料，例如可將圖四(C)呈現的合併後動態影像拆解為兩個動態電視牆各自播放，其中一個畫面呈現電視節目CH1~CH4，另一個畫面呈現電視節目CH5~CH8。或者，使用者端的電視系統亦可自收到的影像資料中擷取出電視節目CH1~CH8各自的降取樣後影像對應的八個子畫面，進行重新組合等運用，例如組合出一個呈現電視節目CH1、CH3、CH5、CH7的動態電視牆。
雖然在前述的範例中，每個合併後畫面都各自包含2*2個子畫面，但本發明的範疇不以此為限。無論是空間軸降取樣比例或時間軸降取樣比例，該預設畫面佈局資訊具有彈性。舉例而言，該預設畫面佈局資訊指定的一種畫面佈局可以包含2*3個或4*3個子畫面，且每個子畫面的尺寸不需要完全相同。
利用上述概念，動態影像處理裝置100與電視傳播系統200可以只透過一個或數個影像資料，便將數十個甚至上百個電視節目的降取樣後動態影像所對應的畫面提供給電視系統300。電視系統300可自行決定要擷取出哪些電視節目所對應的降取樣後動態影像，重組成一個或多個新的動態電視牆，且實際呈現於電視系統300之螢幕上的畫面佈局亦可由使用者自行決定。
圖五(A)~圖五(C)呈現另一種預設畫面佈局的範例。在這個範例中，P等於二，且K等於二。也就是說，此範例中的預設畫面佈局資訊要求將兩個動態影像合併，且合併後動態影像中的合併後畫面對應於兩種不同的畫面佈局。假設降取樣電路12接收的第一動態影像與第二動態影像 分別對應於電視節目CH1、CH2，且這兩個動態影像的原始畫面尺寸與畫面更新率皆相同。圖五(A)為降取樣電路12之輸入信號的示意圖，在每一個時間點(t0、t1、t2……)，降取樣電路12都接收到兩個畫面，分別來自電視節目CH1、CH2。此範例中的預設畫面佈局資訊包含：(1)合併後動態影像包含兩種畫面佈局；(2)兩種畫面佈局各自包含一個子畫面；(3)第一種畫面佈局中的子畫面係對應於電視節目CH1；(4)第二種畫面佈局中的子畫面各自係對應於電視節目CH2。
圖五(B)為降取樣電路12回應於上述預設畫面佈局資訊所產生的兩個降取樣後動態影像之示意圖。由於目前的兩種畫面佈局皆未要求合併後畫面包含複數個子畫面，降取樣電路12不需要在空間軸進行降取樣。另一方面，由於合併後動態影像中必須包含多種畫面佈局(正整數K大於一)，降取樣電路12在時間軸進行降取樣，亦即捨棄對應於某些時間點的畫面。降取樣電路12保留第一動態影像對應於時間點t0、t2、t4……的畫面，捨棄第一動態影像對應於時間點t1、t3、t5……的畫面。並且，降取樣電路12保留第二動態影像對應於時間點t1、t3、t5……的畫面，捨棄第二動態影像對應於對應於時間點t0、t2、t4……的畫面。圖五(C)呈現了合併電路14回應於此預設畫面佈局資訊所產生的合併後動態影像。
須說明的是，依照指定比例於空間軸或時間軸對動態影像進行降取樣程序的實作細節為本發明所屬技術領域中具有通常知識者所知，於此不贅述。另一方面，合併電路14可利用多種電路實現，例如可程式化邏輯閘陣列、針對特定應用的積體電路、微控制器、微處理器、數位信號 處理器。此外，合併電路14可被設計為透過執行一記憶體中所儲存之處理器指令來完成其合併任務。
於一實施例中，中介資料產生電路18所產生的中介資料進一步包含K種索引值，各自指向該K種畫面佈局。舉例而言，中介資料產生電路18可令索引值1指向第一種畫面佈局，而索引值2指向第二種畫面佈局，依此類推。以圖五(C)為例，於時間點t’0、t’2、t’4……產生的合併後畫面因對應於第一種畫面佈局可被分派以索引值1，而於時間點t’1、t’3、t’5……產生的合併後畫面因對應於第二種畫面佈局可被分派以索引值2。相對應地，編碼器16可將合併後動態影像及其中介資料編碼為具有一位元流結構，且編碼器16係將電視節目資訊編寫入該位元流結構中的第一層級，並將該多個索引值編寫入該位元流結構中的第二層級。舉例而言，該第一層級對應於連續的複數個畫面，而該第二層級係對應於單一個畫面。以高效率視訊編碼(HEVC)規範為例，編碼器16可將與K種畫面對應的電視節目資訊編寫為K個輔助加強資訊(supplemental enhancement information,SEI)置入序列層級(sequence level)的參數組，讓連續的複數個畫面共用這K組電視節目資訊。另一方面，編碼器16可同樣以輔助加強資訊(SEI)的形式，將該多個索引值編寫入畫面層級(picture level)的參數組，讓每一個畫面的影像資料前端各自帶有一個索引值，指出此畫面是對應於哪一種畫面佈局。如圖六所示，合併畫面資訊_1~合併畫面資訊_K係跟隨於序列參數組之後，而合併畫面索引值係置於畫面參數組與影像資料之間。
上述「將電視節目資訊與索引值分別寫入不同層級」做法的好處在於，動態影像處理裝置100不需要在每一張畫面的中介資料中都詳載其電視節目資訊。使用者端的電視系統只要根據每張畫面的索引值獲得較高層級的中介資料，即可取得該畫面的詳細資訊。藉此，電視傳播系統200須傳播至電視系統300的資料量可被有效減少。
根據本發明之另一具體實施例為一種配合一電視傳播系統之動態影像處理方法，其流程圖係繪示於圖七。該電視傳播系統係用以根據一特定傳播格式傳播P個動態影像，其中每一個動態影像對應於一個電視節目，且P為大於1之整數。首先，步驟S71為接收該P個動態影像以及對應於K種畫面佈局之一預設畫面佈局資訊，其中K為一正整數。其次，步驟S72為根據該預設畫面佈局資訊，對該P個動態影像分別施以一降取樣程序，以產生P個降取樣後動態影像。接著，步驟S73為根據該預設畫面佈局資訊，合併該P個降取樣後動態影像，以產生對應於該K種畫面佈局之一合併後動態影像。隨後，步驟S74為根據該預設畫面佈局資訊為該合併後動態影像產生一中介資料，用以描述與該K種畫面佈局中每一種畫面佈局對應之電視節目資訊。步驟S75則是將該合併後動態影像與該中介資料編碼為符合該特定傳播格式之一影像資料，供該電視傳播系統進行傳播。
本發明所屬技術領域中具有通常知識者可理解，先前在介紹動態影像處理裝置100時描述的各種操作變化亦可應用至圖七中的影像處理方法，其細節不再贅述。
藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。

Claims (14)

  1. 一種配合一電視傳播系統之動態影像處理裝置，該電視傳播系統係用以根據一特定傳播格式傳播P個動態影像，其中每一個動態影像對應於一個電視節目，P為大於1之整數，該動態影像處理裝置包含：一降取樣電路，用以接收該P個動態影像，並根據對應於K種畫面佈局之一預設畫面佈局資訊對該P個動態影像分別施以一降取樣程序，以產生P個降取樣後動態影像，其中K為一正整數；一合併電路，耦接至該降取樣電路，用以根據該預設畫面佈局資訊合併該P個降取樣後動態影像，以產生包含複數個合併後畫面之一合併後動態影像，其中，該P個降取樣後動態影像對應於P個子畫面，該每一個合併後畫面包含至少一子畫面；一中介資料產生電路，用以根據該預設畫面佈局資訊為該合併後動態影像產生一中介資料，描述與該K種畫面佈局中每一種畫面佈局對應之電視節目資訊；以及一編碼器，耦接至該合併電路與該中介資料產生電路，用以將該合併後動態影像與該中介資料編碼為符合該特定傳播格式之一影像資料，供該電視傳播系統進行傳播。
  2. 如申請專利範圍第1項所述之動態影像處理裝置，其中，當該K種畫面佈局中的一種畫面佈局要求一合併後畫面包含複數個子畫面，該降取樣電路所進行之該降取樣程序包含於空間軸進行降取樣。
  3. 如申請專利範圍第1項所述之動態影像處理裝置，其中當正整數K大於 一，該降取樣電路所進行之該降取樣程序包含於時間軸進行降取樣，使得該合併電路於一第一時間點產生一第一合併後畫面，於一第二時間點產生一第二合併後畫面，該第一合併後畫面與該第二合併後畫面分別對應於該K種畫面佈局中不同的畫面佈局。
  4. 如申請專利範圍第1項所述之動態影像處理裝置，其中，當該K種畫面佈局中的一種畫面佈局要求一合併後畫面包含複數個子畫面，且正整數K大於一，該降取樣電路所進行之該降取樣程序包含於空間軸以及時間軸皆進行降取樣。
  5. 如申請專利範圍第1項所述之動態影像處理裝置，其中該特定傳播格式為一傳輸串流(transport stream)，且該編碼器將該合併後動態影像與該中介資料編碼為一初級串流(elementary stream)。
  6. 如申請專利範圍第1項所述之動態影像處理裝置，其中該中介資料產生電路所產生之該中介資料進一步包含K種索引值；該K種索引值中的每一種索引值指向該K種畫面佈局中的一種畫面佈局；該編碼器將該合併後動態影像與該中介資料編碼為具有一位元流結構，且該編碼器係將該每一種畫面佈局對應之電視節目資訊編寫入該位元流結構之一第一層級，並將該K種索引值編寫入該位元流結構之一第二層級。
  7. 如申請專利範圍第6項所述之動態影像處理裝置，其中於該位元流結構中，該第一層級係對應於連續的複數個合併後畫面，而該第二層級係對應於單一個合併後畫面；該編碼器令該合併後動態影像中的每一個合併後畫面各自帶有該K種索引值中的一種索引值。
  8. 如申請專利範圍第1項所述之動態影像處理裝置，其中該中介資料所描述的與該每一種畫面佈局對應之該電視節目資訊包含下列資訊中的一個或多個資訊：每個子畫面所對應之節目頻道辨識碼、每個子畫面所對應之節目供應商辨識碼、每個子畫面所對應之節目類型辨識碼。
  9. 一種配合一電視傳播系統之動態影像處理方法，該電視傳播系統係用以根據一特定傳播格式傳播P個動態影像，其中每一個動態影像對應於一個電視節目，且P為大於1之整數，該動態影像處理方法包含：(a)接收該P個動態影像以及對應於K種畫面佈局之一預設畫面佈局資訊，其中K為一正整數；(b)根據該預設畫面佈局資訊，對該P個動態影像分別施以一降取樣程序，以產生P個降取樣後動態影像；(c)根據該預設畫面佈局資訊，合併該P個降取樣後動態影像，以產生包含複數個合併後畫面之一合併後動態影像，其中，該P個降取樣後動態影像對應於P個子畫面，該每一個合併後畫面包含至少一子畫面；(d)根據該預設畫面佈局資訊為該合併後動態影像產生一中介資料，用以描述與該K種畫面佈局中每一種畫面佈局對應之電視節目資訊；以及(e)將該合併後動態影像與該中介資料編碼為符合該特定傳播格式之一影像資料，供該電視傳播系統進行傳播。
  10. 如申請專利範圍第9項所述之動態影像處理方法，其中當該K種畫面佈 局中的一種畫面佈局要求一合併後畫面包含複數個子畫面，步驟(b)所進行之該降取樣程序包含於空間軸進行降取樣。
  11. 如申請專利範圍第9項所述之動態影像處理方法，其中當正整數K大於一，步驟(b)所進行之該降取樣程序包含於時間軸進行降取樣，且步驟(c)包含：於一第一時間點產生一第一合併後畫面，於一第二時間點產生一第二合併後畫面，該第一合併後畫面與該第二合併後畫面分別對應於該K種畫面佈局中不同的畫面佈局。
  12. 如申請專利範圍第9項所述之動態影像處理方法，其中當該K種畫面佈局中的一種畫面佈局要求一合併後畫面包含複數個子畫面，且正整數K大於一，步驟(b)所進行之該降取樣程序包含於空間軸以及時間軸皆進行降取樣。
  13. 如申請專利範圍第9項所述之動態影像處理方法，其中步驟(d)所產生之該中介資料包含：K組畫面佈局資訊，用以描述該K種畫面佈局中每一種畫面佈局所對應之電視節目資訊；以及K種索引值，每一種索引值指向該K種畫面佈局之一；其中，步驟(e)包含將該合併後動態影像與該中介資料編碼為具有一位元流結構，並且將電視節目資訊編寫入該位元流結構之一第一層級、將該K種索引值編寫入該位元流結構之一第二層級。
  14. 如申請專利範圍第13項所述之動態影像處理方法，其中於該位元流結構中，該第一層級係對應於連續的複數個畫面，而該第二層級係對應於單一個畫面；步驟(e)包含令該合併後動態影像中的每一個合併後畫面各自帶有該K種索引值中的一種索引值。
TW106100621A 2017-01-09 2017-01-09 配合電視傳播系統之動態影像處理裝置及動態影像處理方法 TWI635749B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW106100621A TWI635749B (zh) 2017-01-09 2017-01-09 配合電視傳播系統之動態影像處理裝置及動態影像處理方法
US15/713,807 US20180199002A1 (en) 2017-01-09 2017-09-25 Video processing apparatus and video processing method cooperating with television broadcasting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106100621A TWI635749B (zh) 2017-01-09 2017-01-09 配合電視傳播系統之動態影像處理裝置及動態影像處理方法

Publications (2)

Publication Number Publication Date
TW201826777A TW201826777A (zh) 2018-07-16
TWI635749B true TWI635749B (zh) 2018-09-11

Family

ID=62783858

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106100621A TWI635749B (zh) 2017-01-09 2017-01-09 配合電視傳播系統之動態影像處理裝置及動態影像處理方法

Country Status (2)

Country Link
US (1) US20180199002A1 (zh)
TW (1) TWI635749B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200922326A (en) * 2007-09-20 2009-05-16 Alticast Corp Method and system for providing program guide service
CN103118272A (zh) * 2013-02-22 2013-05-22 浪潮齐鲁软件产业有限公司 一种多场景数字电视的实现方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200922326A (en) * 2007-09-20 2009-05-16 Alticast Corp Method and system for providing program guide service
CN103118272A (zh) * 2013-02-22 2013-05-22 浪潮齐鲁软件产业有限公司 一种多场景数字电视的实现方法

Also Published As

Publication number Publication date
TW201826777A (zh) 2018-07-16
US20180199002A1 (en) 2018-07-12

Similar Documents

Publication Publication Date Title
US6317164B1 (en) System for creating multiple scaled videos from encoded video sources
CN101341757B (zh) 本地宏块信息缓冲器
US8457214B2 (en) Video compositing of an arbitrary number of source streams using flexible macroblock ordering
JP5041626B2 (ja) 復号装置、復号方法、およびプログラム
US8111932B2 (en) Digital image decoder with integrated concurrent image prescaler
KR20050084314A (ko) 모자이크 프로그램 가이드 생성 방법, 장치 및 수신기
JP2004194328A (ja) 複数のｍｐｅｇビデオ・ストリームの結合画像表示のための合成
US20160127728A1 (en) Video compression apparatus, video playback apparatus and video delivery system
JP2006506909A (ja) データストリーム内のイメージの配置
TW202133616A (zh) 視訊編解碼中的畫面標頭訊框內隨機存取畫面和漸進解碼器刷新訊號傳遞
TW200836557A (en) Method and apparatus for switching program streams usign a variable speed program stream buffer coupled to a variable speed decoder
WO2011013283A1 (ja) 画像合成装置、符号化装置、プログラム、媒体
Omori et al. A 120 fps high frame rate real-time HEVC video encoder with parallel configuration scalable to 4K
CA2737842A1 (en) Remote user interface
JP2006510292A (ja) テレビジョン表示装置
TWI635749B (zh) 配合電視傳播系統之動態影像處理裝置及動態影像處理方法
CN108347641B (zh) 配合电视传播系统的动态影像处理装置及动态影像处理方法
CN114866841B (zh) 具有回显功能的超高清多画面显示系统及方法
Nakamura et al. Low delay 4K 120fps HEVC decoder with parallel processing architecture
JP2006510288A (ja) テレビジョン表示装置
JP2005184788A (ja) 信号処理装置
Yamauchi et al. Single chip video processor for digital HDTV
CN106954073B (zh) 一种视频数据输入和输出方法、装置与系统
JP2002057986A (ja) 復号装置および方法、並びに記録媒体
US20230073108A1 (en) Decoding device and operating method thereof

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees
MM4A Annulment or lapse of patent due to non-payment of fees