TWI519131B - 影像傳輸系統及其傳輸端裝置與接收端裝置 - Google Patents

影像傳輸系統及其傳輸端裝置與接收端裝置 Download PDF

Info

Publication number
TWI519131B
TWI519131B TW101121957A TW101121957A TWI519131B TW I519131 B TWI519131 B TW I519131B TW 101121957 A TW101121957 A TW 101121957A TW 101121957 A TW101121957 A TW 101121957A TW I519131 B TWI519131 B TW I519131B
Authority
TW
Taiwan
Prior art keywords
restored
image data
roi
field information
unit
Prior art date
Application number
TW101121957A
Other languages
English (en)
Other versions
TW201401882A (zh
Inventor
鄭楷儒
陳榮坤
林之寅
Original Assignee
廣達電腦股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 廣達電腦股份有限公司 filed Critical 廣達電腦股份有限公司
Priority to TW101121957A priority Critical patent/TWI519131B/zh
Priority to CN201210238854.4A priority patent/CN103517076A/zh
Priority to US13/672,769 priority patent/US20130336381A1/en
Publication of TW201401882A publication Critical patent/TW201401882A/zh
Application granted granted Critical
Publication of TWI519131B publication Critical patent/TWI519131B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

影像傳輸系統及其傳輸端裝置與接收端裝置
本發明是有關於一種影像傳輸系統，且特別是有關於一種應用多個資料串流，來分別針對原始影像資料及感興趣影像區域(Region of Interest，ROI)影像資料進行傳輸之影像傳輸系統。
在科技發展日新月異的現今時代中，影像擷取、處理及傳輸的技術係被開發出來，並廣泛地被應用在諸如第三代或第四代通訊系統(Third or Fourth Generation Mobile Telecommunication)、視訊電話、網路視訊會議、即時通訊視訊、網路影音傳輸介面或遠端影像保全/監視系統等影像處理及傳送應用場合中。隨著消費者對於影音品質的要求日漸提升，如何在有限的傳輸頻寬限制下，有效地傳遞品質較佳的影像資料，為業界不斷致力的方向之一。
根據本發明之第一方面，提出一種傳輸端裝置，包括訊源單元、儲存單元、影像處理單元、第一、第二編碼單元及傳輸單元。訊源單元提供原始影像資料。影像處理單元接收原始影像資料，並回應於感興趣影像區域(Region of Interest，ROI)資訊，從原始影像資料中找出並將ROI影像資料儲存於儲存單元中。第一編碼單元存取訊源單元中之原始影像資料，並據以編碼產生第一影像串流資料。第二 編碼單元存取該儲存單元中之ROI影像資料，並據以編碼產生第二影像串流資料，第二影像串流資料具有參考時間欄位資訊及空間欄位資訊，分別指示ROI影像資料與原始影像資料之時間域及空間域對應關係。傳輸單元接收第一及第二影像串流資料，並分別經由第一及第二通訊連結傳輸第一及第二影像串流資料。
根據本發明之第二方面提供一種接收端裝置，包括第一、第二暫存單元、接收單元、第一、第二解碼單元、影像選擇單元及影像處理單元。接收單元經由第一及第二通訊連結分別接收第一及第二影像串流資料，並將其分別儲存在第一及第二暫存單元中。第一解碼單元存取第一暫存單元中之第一影像串流資料，並據以解碼產生及暫存還原原始影像資料。第二解碼單元存取第二暫存單元中之第二影像串流資料，並據以解碼產生並暫存ROI影像資料，第二影像串流資料具有還原參考時間欄位資訊及還原空間欄位資訊，分別指示還原ROI影像資料與還原原始影像資料之時間域及空間域對應關係。影像選擇單元參考還原參考時間及還原空間欄位資訊從第一及第二解碼單元中存取相互對應的一筆選取還原圖框畫面及一筆選取還原ROI畫面。影像處理單元接收選取還原圖框畫面及選取還原ROI畫面，並據以合併得到還原圖框畫面資料。
根據本發明之第三方面，提供一種影像傳輸系統，其中包括如前述段落所述之傳輸端裝置及接收端裝置。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：
請參照第1圖，其繪示依照本發明實施例之影像傳輸系統的方塊圖。本實施例之影像傳輸系統1包括傳輸端裝置10及接收端裝置20，其係經由期間的通訊連結C1及C2相互連接並進行通訊操作。通訊連結C1及C2例如可以A/V端子、D-sub連接埠、DVI連接埠、HDMI連接埠、DisplayPort連接埠、USB連接埠、RJ-45連接埠為介面的實體線路來實現，或是諸如無線網路或行動通訊系統路徑等非實體路徑來實現。此外，通訊連結C1及C2亦可選擇性地以不同的路徑來實現；例如通訊連結C1及C2其中一者經由USB實體路徑來實現，而其中之另一者經由無線網路來實現。
傳輸端裝置
請參照第2圖，其繪示依照本發明實施例之傳輸端裝置的方塊圖。舉例來說，傳輸端裝置10包括訊源單元101、儲存單元103、影像處理單元105、編碼單元107、109及傳輸單元111。訊源單元101例如為影像資料擷取裝置或為影像資料接收裝置，其係對應地擷取或接收原始影像，以對應地提供原始影像資料D_i。舉例來說，訊源單元101可為錄影機、手持式照相機等影像資料擷取裝置，或是影像訊號連接埠、網路控制器等影像資料接收裝置。
影像處理單元105分別與訊源單元101及儲存單元103耦接，影像處理單元105接收原始影像資料D_i，並回應於感興趣影像區域(Region of Interest，ROI)資訊SI， 從原始影像資料D_i中決定一筆ROI影像資料D_ROI，並將ROI影像資料D_ROI儲存於儲存單元103中。舉例來說，ROI影像資料D_ROI可為自原始影像資料D_i中複製對應至ROI區域的ROI影像資料。換言之，對於原始影像資料D_i中的ROI區域來說，其之影像資料內容同時被儲存在訊源單元101及儲存單元103中。
於一具體實施例中，ROI資訊SI例如由使用者所定義，並經由訊源單元101提供至影像處理單元105，例如由使用者對應地定義原始影像資料D_i中處於視覺重心的影像區域為ROI區域。
於一具體實施例中，例如在視訊電話或網路視訊會議的應用情境，ROI資訊SI例如可選擇性地將原始影像資料D_i中人臉影像顯示區域、畫面中心區域或是成像焦距景深內的區域定義為ROI區域，而後由影像處理單元105辨識人臉影像顯示區域、畫面中心區域或是成像焦距景深內的區域以決定或產生ROI影像資料。
於一具體實施例中，例如在遠端影像監視系統的應用情境，ROI資訊SI例如可對應至原始影像資料D_i中變異量(例如是前後不同圖框畫面間的變異量)最大的區域定義為ROI區域，而後由影像處理單元105搜尋變異量最大的區域以決定或產生ROI影像資料。
編碼單元107存取訊源單元101中之原始影像資料D_i，並據以編碼產生影像串流資料Str_i。舉例來說，編碼單元107可為任何現有之影像壓縮、編碼、處理單元，用以針對原始影像資料D_i進行諸如壓縮、編碼及相關處 理操作。進一步的說，編碼單元107包括資料存取模組107a、編碼核心模組107b及暫存模組107c，其分別用以存取原始影像資料D_i中之各筆圖框畫面資料、針對各筆圖框畫面資料進行編碼處理及暫存相關操作後所得到之資料。
舉例來說，原始影像資料D_i中包括原始時間欄位資訊，其對應地指示原始影像資料D_i中各筆圖框畫面資料之時間索引值。編碼單元107例如選擇性地參考原始影像資料D_i中之原始時間欄位資訊或參考其編碼操作中產生的圖框索引資訊，在影像串流資料Str_i中夾帶各筆圖框畫面資料的時間欄位資訊。
編碼單元109存取儲存單元103中之ROI影像資料D_ROI，並據以編碼產生影像串流資料Str_ROI。與編碼單元107相似，編碼單元109亦可為任何現有之影像壓縮、編碼及處理單元，以針對ROI影像資料D_ROI進行對應之處理；而編碼單元109亦對應地具有資料存取模組109a、編碼核心模組109b及暫存模組109c。
由於ROI影像資料D_ROI係由影像處理單元105自原始影像資料D_i中複製而得，ROI影像資料D_ROI中亦包括與原始時間欄位資訊對應之參考時間欄位資訊，以指示ROI影像資料D_ROI中各筆ROI畫面資料之時間索引值。此外，ROI影像資料D_ROI更包括空間欄位資訊，以指示各筆ROI畫面資料與原始影像資料中之各筆圖框畫面資料的畫素值座標關係。換言之，ROI影像資料D_ROI對應地包括參考時間欄位資訊及空間欄位資訊，以對應地 指示ROI影像資料D_ROI中之各筆ROI畫面資料與原始影像資料D_i中各筆圖框畫面資料的時間域及空間域對應關係。
編碼單元109例如選擇性地參考ROI影像資料D_ROI中之參考時間欄位資訊或參考其編碼操作產生的圖框時序索引資訊，在影像串流資料Str_ROI中夾帶各筆ROI畫面資料的參考時間欄位資訊及空間欄位資訊。
舉一個操作實例來說，編碼單元107及109以完全獨立的硬體模組來實現，以經由完全獨立的兩組線路分別對原始影像資料D_i及ROI影像資料D_ROI進行處理。
傳輸單元111接收編碼單元107及109所產生的影像串流資料Str_i及Str_ROI，並分別經由通訊連結C1及C2傳輸影像串流資料Str_i及Str_ROI。據此，傳輸端裝置10可有效地經由通訊連結C1傳送訊源單元101所提供的原始影像資料D_i，同時額外透過通訊連接C2來傳送原始影像資料D_i中對應之ROI影像資料D_ROI。通訊連結C1及C2可以任何現有的影像資料傳輸介面及協定來傳輸。簡言之，影像串流資料Str_i及Str_ROI係經由傳輸端裝置10中完全獨立的兩個串流路徑來提供，而其亦可獨立地經由完全不相同的傳輸路徑來進行傳輸。
再者，由於傳輸端裝置10係透過完全獨立的兩個串流路徑來產生影像串流資料Str_i及Str_ROI，編碼單元107及109亦可以具有不同壓縮比例或是不同處理機制的編碼器來實現。舉例來說，相較於編碼單元107，編碼單元109係配置有運算量較高的錯誤更正機制或是壓縮比率較低 影像還原品質較高的影像處理機制，以針對ROI影像資料D_ROI配置運算負載較高的影像處理機制，以對應地提供品質較佳的ROI影像資料D_ROI。
在本實施例中，雖僅原始影像資料D_i及ROI影像資料D_ROI分別儲存在訊源單元101及儲存單元103中，而編碼單元107及109分別存取並針對訊源單元101及儲存單元103中之影像資料進行編碼操作的情形為例作說明，然，本實施例之傳輸端裝置10並不侷限於此。
在其他例子中，本實施例之傳輸端裝置10亦可省去儲存單元103的配置，編碼單元109透過影像處理單元105耦接至存取訊源單元101。此時，影像處理單元105可參考ROI資訊SI，以調整編碼單元109存取訊源單元101時的記憶體存取指標(Pointer)設定。據此，透過影像處理單元105的記憶體存取指標設定操作，編碼單元107及109可分別從訊源單元101中存取得到原始影像資料D_i及ROI影像資料D_ROI，藉此針對其進行對應之影像編碼操作而無需儲存單元103的配置。
接收端裝置
請參照第3圖，其繪示依照本發明實施例之接收端裝置的方塊圖。舉例來說，接收端裝置20包括接收單元201、暫存單元203、205、解碼單元207、209、影像選擇單元211及影像處理單元213。
接收單元201係分別經由通訊連結C1及C2與傳輸單元111進行通訊操作，以對應地接收並分別將到影像串流 資料Str_i’及Str_ROI’儲存在暫存單元203及205中。在理想情況中，通訊連結C1及C2為理想傳輸通道，而接收單元201接收到之影像串流資料Str_i’及Str_ROI’實質上分別等於傳輸單元111所提供的影像串流資料Str_i及Str_ROI。
解碼單元207存取暫存單元203中儲存之影像串流資料Str_i’，並據以解碼產生還原原始影像資料D_i’。舉例來說，解碼單元207包括解碼核心模組207a及暫存模組207b；解碼核心模組207a配置與編碼核心模組107b對應之解碼操作能力，以解碼得到還原原始影像資料D_i’，並將還原原始影像資料D_i’儲存在暫存模組207b中。
解碼單元209存取暫存單元205中儲存之影像串流資料Str_ROI’，並據以解碼產生還原ROI影像資料D_ROI’。相似地，解碼單元209例如包括解碼核心模組209a及暫存模組209b；解碼核心模組209a配置與編碼核心模組109b對應之解碼操作能力，以解碼得到還原ROI影像資料D_ROI’，並將還原ROI影像資料D_ROI’儲存在暫存模組209b中。
此外，解碼單元207及209更找出影像串流資料Str_i’及Str_ROI’中夾帶之各圖框畫面資料的原始時間欄位資訊及各筆ROI畫面資料的參考時間欄位資訊與空間欄位資訊，並將其儲存在還原原始影像資料D_i’及還原ROI影像資料D_ROI’中。其中，還原原始時間欄位資訊(位於還原原始影像資料D_i’中)與還原參考時間欄位資訊(位於還原ROI影像資料D_ROI’中)對應，並分別用以指示還 原原始影像資料D_i’中各筆還原圖框畫面資料之時間索引值，及還原ROI影像資料D_ROI’中各筆還原ROI畫面資料之時間索引值。此外，還原ROI影像資料D_ROI’中更具有還原空間欄位資訊。據此，對應地指示各筆還原ROI影像資料與對應之各筆還原圖框畫面資料間之時間域及空間域對應關係。
影像選擇單元211參考還原原始時間欄位資訊、還原參考時間欄位資訊及還原空間欄位資訊，分別從暫存模組207b及209b中存取對應至相同時間索引值的選取還原圖框畫面及選取還原ROI畫面。
請參照第4圖，其繪示影像選擇單元211的操作示意圖。舉例來說，在某個操作時點上，暫存模組207b暫存還原原始影像資料D_i’中之5筆還原圖框畫面資料F(t-2)、F(t-1)、F(t)、F(t+1)及F(t+2)，其中之還原原始時間欄位資訊分別對應至時間索引值t-2、t-1、t、t+1及t+2，其中t為大於或等於2之自然數。相似地，暫存模組209b暫存還原ROI影像資料D_ROI’中之5筆還原ROI畫面資料f(t-2)、f(t-1)、f(t)、f(t+1)及f(t+2)，其中之還原參考時間欄位資訊分別對應至時間索引值t-2、t-1、t、t+1及t+2。
在這個操作實例中，影像選擇單元211參考各筆還原圖框畫面資料F(t-2)至F(t+2)之還原原始時間欄位資訊及各筆還原ROI畫面資料f(t-2)至f(t+2)之還原參考時間欄位資訊，找出對應具有相同時間索引值的一筆選取還原圖框畫面及一筆選取還原ROI畫面，例如是還原圖框畫面資料F(t)及還原ROI畫面資料f(t)。
影像處理單元213接收選取還原圖框畫面及選取還原ROI畫面，並根據還原空間欄位資訊以合併得到還原圖框畫面資料Fm。舉例來說，影像處理單元213係透過將選取還原ROI畫面資料覆蓋並取代選取還原圖框畫面資料的方式，覆蓋區域的資訊係由還原空間欄位資訊提供，藉此整合此兩筆畫面資料；影像處理單元213更例如針對還原圖框畫面資料Fm進行平滑化操作。
據此，經由上述操作流程，本實施例之接收端裝置20可有效地經由通訊連結C1及C2接收傳輸端裝置10提供的影像串流資料Str_i’及Str_ROI’，並據以合併得到還原圖框畫面資料Fm。
在本實施例中，雖僅以影像選擇單元211執行如第4圖所示之畫面資料選取操作的情形為例作說明，然，本實施例之影像選擇單元211並不侷限於此。在其他例子中，影像選擇單元211更用提供狀態指示訊號S_in通知影像處理單元213還原原始影像資料D_i’及還原ROI影像資料D_ROI’是否發生資料遺失的情形，並指示其經由不同的影像處理方法來得到還原圖框畫面資料Fm。
進一步的說，當還原原始及還原ROI影像資料D_i’及D_ROI’中均未發生資料遺失時，狀態指示訊號S_in對應至預設數值；影像處理單元213回應於對應至預設數值的狀態指示訊號S_in，執行前述根據對應至相同時間索引值之選取還原圖框畫面及選取還原ROI畫面合併得到還原圖框畫面資料Fm的操作。
相對地，當遺失還原原始影像資料D_i’中對應至時間 索引值t的還原圖框畫面資料F(t)時，影像選擇單元211輸出對應至第一狀態數值之狀態指示訊號S_in，並選擇性選擇對應至前一個或後一個時間索引值的還原圖框畫面資料(即是F(t-1)或F(t+1))做為選擇還原圖框畫面。據此，影像處理單元213回應於對應至第一狀態數值的狀態指示訊號S_in，根據實質上對應至不同時間索引值之選取還原圖框畫面(例如是F(t-1)或F(t+1)及選取還原ROI畫面(f(t))合併得到還原圖框畫面資料Fm。此外，影像處理單元213更選擇性地額外針對選取還原圖框畫面進行諸如移動補償等修補操作。
相對地，當遺失還原ROI影像資料D_ROI’中對應至時間索引值t的還原ROI畫面資料f(t)時，影像選擇單元211輸出對應至第二狀態數值之狀態指示訊號S_in。據此，影像處理單元213回應於對應至第二狀態數值的狀態指示訊號S_in，直接將選取還原圖框畫面(例如是F(t))及做為還原圖框畫面資料Fm。換言之，在遺失還原ROI畫面資料f(t)的情況下，影像處理單元213對應地捨棄合併選取還原圖框畫面及選取還原ROI畫面的操作，以將選取還原圖框畫面輸出。
本實施例之影像傳輸系統包括傳輸端裝置及接收端裝置，其間係透過多個通訊連結相連接。傳輸端裝置係透過完全獨立的兩個影像資料處理路徑來進行原始影像資料及ROI影像資料的編碼及傳輸處理；接收端裝置係經由此些通訊連結分別接收此筆原始影像資料串流及ROI影 像資料串流，並對應地透過完全獨立的影像資料處理路徑來進行對應之資料解碼及接收處理。據此，相較於傳統影像傳輸系統，本實施例之影像傳輸系統具有可獨立地傳輸原始影像及ROI影像，及可有效地在未大幅增加資料傳輸量的情況下，提升原始影像中ROI區域之影像顯示品質的優點。
綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
1‧‧‧影像傳輸系統
10‧‧‧傳輸端裝置
20‧‧‧接收端裝置
C1、C2‧‧‧通訊連結
101‧‧‧訊源單元
103‧‧‧儲存單元
105‧‧‧影像處理單元
107、109‧‧‧編碼單元
111‧‧‧傳輸單元
107a、109a‧‧‧資料存取模組
107b、109b‧‧‧編碼核心模組
107c、109c‧‧‧暫存模組
201‧‧‧接收單元
203、205‧‧‧暫存單元
207、209‧‧‧解碼單元
211‧‧‧影像選擇單元
213‧‧‧影像處理單元
207a、209a‧‧‧解碼核心模組
207b、209b‧‧‧暫存模組
S_in‧‧‧狀態指示訊號
D_ROI‧‧‧ROI影像資料
D_ROI’‧‧‧還原ROI影像資料
D_i‧‧‧原始影像資料
D_i’‧‧‧還原原始影像資料
Fm‧‧‧還原圖框畫面資料
F(t-2)-F(t+2)‧‧‧還原圖框畫面資料
f(t-2)-f(t+2)‧‧‧還原ROI畫面資料
S_in‧‧‧狀態指示訊號
SI‧‧‧ROI資訊
Str_i、Str_i’、Str_ROI、Str_ROI’‧‧‧影像串流資料
第1圖繪示依照本發明實施例之影像傳輸系統的方塊圖。
第2圖繪示依照本發明實施例之傳輸端裝置的方塊圖。
第3圖繪示依照本發明實施例之接收端裝置的方塊圖。
第4圖繪示影像選擇單元的操作示意圖。
1‧‧‧影像傳輸系統
10‧‧‧傳輸端裝置
20‧‧‧接收端裝置
C1、C2‧‧‧通訊連結

Claims (11)

  1. 一種傳輸端裝置，包括：一訊源單元，用以提供一原始影像資料；一影像處理單元，接收該原始影像資料，並回應於一感興趣影像區域(Region of Interest，ROI)資訊，從該原始影像資料中決定一ROI影像資料；一第一編碼單元，存取該原始影像資料，並據以編碼產生一第一影像串流資料，該第一編碼單元具有一第一壓縮比率；一第二編碼單元，存取該ROI影像資料，並據以編碼產生一第二影像串流資料，該第二編碼單元具有一第二壓縮比率，其中該第二影像串流資料具有一參考時間欄位資訊及一空間欄位資訊，分別指示該ROI影像資料與該原始影像資料之時間域及空間域對應關係，該第一壓縮比率高於該第二壓縮比率；以及一傳輸單元，接收該第一及該第二影像串流資料，並分別經由一第一通訊連結及一第二通訊連結傳輸該第一及該第二影像串流資料。
  2. 如申請專利範圍第1項所述之傳輸端裝置，其中該原始影像資料包括一原始時間欄位資訊，用以指示該原始影像資料中各複數個圖框畫面之索引值。
  3. 如申請專利範圍第2項所述之傳輸端裝置，其中該影像處理單元係參考該原始時間欄位資訊以產生該參考 時間欄位資訊，該參考時間欄位資訊與該原始時間欄位資訊對應，並用以指示該ROI影像資料中各複數個ROI畫面之索引值。
  4. 一種接收端裝置，包括：一第一暫存單元及一第二暫存單元；一接收單元，經由一第一通訊連結及一第二通訊連結分別接收一第一影像串流資料及一第二影像串流資料，並將該第一及該第二影像串流資料分別儲存在該第一及該第二暫存單元中；一第一解碼單元，存取該第一暫存單元中之該第一影像串流資料，並據以解碼產生及暫存一還原原始影像資料；一第二解碼單元，存取該第二暫存單元中之該第二影像串流資料，並據以解碼產生並暫存一還原感興趣影像區域(Region of Interest，ROI)影像資料，該第二影像串流資料具有一還原參考時間欄位資訊及一還原空間欄位資訊，分別指示該還原ROI影像資料與該還原原始影像資料之時間域及空間域對應關係；一影像選擇單元，參考該還原參考時間及該還原空間欄位資訊從該第一及該第二解碼單元中存取相互對應的一選取還原圖框畫面及一選取還原ROI畫面；以及一影像處理單元，接收該選取還原圖框畫面及該選取還原ROI畫面，並據以合併得到一還原圖框畫面資料。
  5. 如申請專利範圍第4項所述之接收端裝置，其中該還原原始影像資料包括一還原原始時間欄位資訊，用以指示該還原原始影像資料中各複數個還原圖框畫面之索引值。
  6. 如申請專利範圍第5項所述之接收端裝置，其中該影像處理單元係參考該還原原始時間欄位資訊來產生該還原參考時間欄位資訊，該還原參考時間欄位資訊與該還原原始時間欄位資訊對應，並用以指示該還原ROI影像資料中各複數個還原ROI畫面之索引值。
  7. 一種影像傳輸系統，包括：一傳輸端裝置，包括：一訊源單元，用以提供一原始影像資料；一儲存單元；一第一影像處理單元，接收該原始影像資料，並回應於一感興趣影像區域(Region of Interest，ROI)資訊，從該原始影像資料中決定一ROI影像資料，該影像處理單元更將該ROI影像資料儲存於該儲存單元中；一第一編碼單元，存取該訊源單元中之該原始影像資料，並據以編碼產生一第一影像串流資料，該第一編碼單元具有一第一壓縮比率；一第二編碼單元，存取該儲存單元中之該ROI影像資料，並據以編碼產生一第二影像串流資料，該第二編碼單元具有一第二壓縮比率，其中該第二影像串流資料具 有一參考時間欄位資訊及一空間欄位資訊，分別指示該ROI影像資料與該原始影像資料之時間域及空間域對應關係，該第一壓縮比率高於該第二壓縮比率；及一傳輸單元，接收該第一及該第二影像串流資料，並分別經由一第一通訊連結及一第二通訊連結傳輸該第一及該第二影像串流資料；以及一接收端裝置，經由該第一及該第二通訊連結與該傳輸端裝置耦接，該接收端裝置包括：一第一暫存單元及一第二暫存單元；一接收單元，分別經由該第一及該第二通訊連結接收該第一及該第二影像串流資料，並將該第一及該第二影像串流資料分別儲存在該第一及該第二暫存單元中；一第一解碼單元，存取該第一暫存單元中之該第一影像串流資料，並據以解碼產生及暫存一還原原始影像資料；一第二解碼單元，存取該第二暫存單元中之該第二影像串流資料，並據以解碼產生並暫存一還原ROI影像資料，該第二影像串流資料具有一還原參考時間欄位資訊及一還原空間欄位資訊，分別指示該還原ROI影像資料與該還原原始影像資料之時間域及空間域對應關係；一影像選擇單元，參考該還原參考時間及該還原空間欄位資訊從該第一及該第二解碼單元中存取相互對應的一選取還原圖框畫面及一選取還原ROI畫面；及一影像處理單元，接收該選取還原圖框畫面及該選取還原ROI畫面，並據以合併得到一還原圖框畫面資 料。
  8. 如申請專利範圍第7項所述之影像傳輸系統，其中該原始影像資料包括一原始時間欄位資訊，該原始時間欄位資訊用以指示該原始影像資料中各複數個圖框畫面之索引值。
  9. 如申請專利範圍第8項所述之影像傳輸系統，其中該第一影像處理單元係參考該原始時間欄位資訊以產生該參考時間欄位資訊，該參考時間欄位資訊與該原始時間欄位資訊對應，並用以指示該ROI影像資料中各複數個ROI畫面之索引值。
  10. 如申請專利範圍第9項所述之影像傳輸系統，其中該還原原始影像資料包括一還原原始時間欄位資訊，該還原原始時間欄位資訊與該原始時間欄位資訊對應，並用以指示該還原原始影像資料中各複數個還原圖框畫面之索引值。
  11. 如申請專利範圍第10項所述之影像傳輸系統，其中該還原參考時間欄位資訊與該還原原始時間欄位資訊對應，並用以指示該還原ROI影像資料中各複數個還原ROI畫面之索引值。
TW101121957A 2012-06-19 2012-06-19 影像傳輸系統及其傳輸端裝置與接收端裝置 TWI519131B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW101121957A TWI519131B (zh) 2012-06-19 2012-06-19 影像傳輸系統及其傳輸端裝置與接收端裝置
CN201210238854.4A CN103517076A (zh) 2012-06-19 2012-07-10 图像传输系统及其传输端装置与接收端装置
US13/672,769 US20130336381A1 (en) 2012-06-19 2012-11-09 Video transmission system and transmitting device and receiving device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101121957A TWI519131B (zh) 2012-06-19 2012-06-19 影像傳輸系統及其傳輸端裝置與接收端裝置

Publications (2)

Publication Number Publication Date
TW201401882A TW201401882A (zh) 2014-01-01
TWI519131B true TWI519131B (zh) 2016-01-21

Family

ID=49755887

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101121957A TWI519131B (zh) 2012-06-19 2012-06-19 影像傳輸系統及其傳輸端裝置與接收端裝置

Country Status (3)

Country Link
US (1) US20130336381A1 (zh)
CN (1) CN103517076A (zh)
TW (1) TWI519131B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3251371A1 (en) * 2015-01-30 2017-12-06 Qualcomm Incorporated Exchanging portions of a video stream via different links during a communication session
TWI639995B (zh) 2015-12-15 2018-11-01 宏正自動科技股份有限公司 影像處理裝置及影像處理方法
CN107105119A (zh) * 2017-04-12 2017-08-29 青岛海信电器股份有限公司 一种用于源设备与目标设备的图像传输方法及装置
JP2020080479A (ja) * 2018-11-13 2020-05-28 Ｎｅｃプラットフォームズ株式会社 動画記録再生装置、動画伝送システムおよび方法
CN111901522A (zh) * 2020-07-10 2020-11-06 杭州海康威视数字技术股份有限公司 图像处理方法、系统、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200837663A (en) * 2007-03-13 2008-09-16 Univ Nat Taiwan Constant picture quality bit rate control system for a multiple-video encoder in single video signal source and the method
CN101453639B (zh) * 2007-11-29 2012-05-30 展讯通信（上海）有限公司 支持roi区域的多路视频流的编码、解码方法和系统
US9113169B2 (en) * 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
US9626769B2 (en) * 2009-09-04 2017-04-18 Stmicroelectronics International N.V. Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions
CN101882316A (zh) * 2010-06-07 2010-11-10 深圳市融创天下科技发展有限公司 一种图像区域划分/编码方法、装置及系统

Also Published As

Publication number Publication date
US20130336381A1 (en) 2013-12-19
CN103517076A (zh) 2014-01-15
TW201401882A (zh) 2014-01-01

Similar Documents

Publication Publication Date Title
JP5731672B2 (ja) 暗黙基準フレームを用いる動画像符号化システム
TWI519131B (zh) 影像傳輸系統及其傳輸端裝置與接收端裝置
KR20100085188A (ko) 3차원 비디오 통신 단말기, 시스템 및 방법
JP2022513715A (ja) 無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法
US9306987B2 (en) Content message for video conferencing
JP6621827B2 (ja) 無線リンク状態に基づくビデオ復号化待ち時間調整、並びにビデオ復号化誤りの隠蔽のための、古いパケットのリプレイ
US12113997B2 (en) Method for tile group identification
US11677972B2 (en) Identifying tile from network abstraction unit header
JP2011176827A (ja) テレビ会議システムの処理方法、テレビ会議システム、プログラム及び記録媒体
CN111641804A (zh) 视频数据处理方法和装置、终端、摄像头及视频会议系统
TW201811057A (zh) 影像訊框處理方法
KR101828609B1 (ko) 영상데이터 전송장치
US20190306462A1 (en) Image processing apparatus, videoconference system, image processing method, and recording medium
US11265583B2 (en) Long-term reference for error recovery in video conferencing system
CN113141352A (zh) 多媒体数据的传输方法、装置、计算机设备和存储介质
US11711492B2 (en) Signaling of the RTCP viewport feedback for immersive teleconferencing and telepresence for remote terminals
CN111225238A (zh) 信息处理方法及相关设备
US20150189231A1 (en) Video conferencing system
CN112153412B (zh) 视频图像切换的控制方法、装置、计算机设备和存储介质
KR100899666B1 (ko) 분산 다중 스트리밍 전송 장치
CN113676641B (zh) 一种基于5g执法记录仪的双摄像头三码流方法
CN114514745B (zh) 视频信号发送方法、装置、计算机设备及存储介质
US11916982B2 (en) Techniques for signaling multiple audio mixing gains for teleconferencing and telepresence for remote terminals using RTCP feedback
CN113747099B (zh) 视频传输方法和设备
CN104702970A (zh) 一种同步视频数据的方法、设备及系统

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees