TWI568239B - 三維視訊廣播之輔助資料 - Google Patents

三維視訊廣播之輔助資料 Download PDF

Info

Publication number
TWI568239B
TWI568239B TW100124495A TW100124495A TWI568239B TW I568239 B TWI568239 B TW I568239B TW 100124495 A TW100124495 A TW 100124495A TW 100124495 A TW100124495 A TW 100124495A TW I568239 B TWI568239 B TW I568239B
Authority
TW
Taiwan
Prior art keywords
auxiliary
data
video
aberration
stream
Prior art date
Application number
TW100124495A
Other languages
English (en)
Other versions
TW201223246A (en
Inventor
飛利浦 史蒂芬 紐頓
羅柏特 艾伯特司 伯恩帝克
漢恩 威博 迪
Original Assignee
皇家飛利浦電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP10169203A external-priority patent/EP2408211A1/en
Application filed by 皇家飛利浦電子股份有限公司 filed Critical 皇家飛利浦電子股份有限公司
Publication of TW201223246A publication Critical patent/TW201223246A/zh
Application granted granted Critical
Publication of TWI568239B publication Critical patent/TWI568239B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

三維視訊廣播之輔助資料
本發明係關於一種處理三維[3D]視訊資訊之方法,該3D視訊資訊包括3D視訊資料及輔助資料,該3D視訊資料包括針對一觀看者之各自眼睛顯示以產生一3D效果之至少一左視圖及一右視圖,該輔助資料經配置以顯示於該3D視訊資料上之一覆疊區域中,該方法包括:
-根據一主配置中之一2D傳輸格式將該左視圖及該右視圖之該3D視訊資料配置於主視訊資料之一2D圖框中,
-提供用於對一接收器指示參數以使該接收器能夠重現該主視訊資料並且覆疊該輔助資料之控制資料,
-組譯用於傳輸之一資料傳輸串流,該資料傳輸串流包含該主配置中之3D視訊資料、該輔助資料及該控制資料。
本發明進一步係關於一種用於處理3D視訊資訊之裝置、一種用於傳送3D視訊資訊之信號及一種用於處理三維[3D]視訊資訊之接收器。
本發明係關於3D視訊廣播之領域。來自娛樂產業之增長數目個攝製正致力於3D電影院。此等攝製使用兩視圖格式(針對一觀看者之各自眼睛顯示以產生一3D效果之一左視圖及一右視圖),主要旨在眼鏡輔助觀看。存在來自該產業之將此等3D攝製帶回家之利益。再者,廣播裝置已開始3D內容之試驗傳輸,尤其係體育賽事直播。當前,用於數位視訊廣播(DVB)之一標準經調適以傳送立體內容。當然,在早期階段中,將使用的格式將係常用立體格式,該格式包括針對一觀看者之各自眼睛顯示以產生一3D效果之至少一左視圖及一右視圖,該兩視圖之資料係在(例如)一並排(SBS)或自上而下(TB)配置中之一2D視訊圖框中加以格式化。含有3D左視圖及右視圖之2D圖框係經由現有(2D)視訊頻道進行傳輸及接收。
用於產生2D視訊資料之系統及裝置係已知的,例如視訊伺服器、播影室或編寫裝置。當前,需要用於提供3D影像資料之類似3D視訊裝置,且正提議用於演現3D視訊資料之互補3D視訊裝置,諸如處理經接收3D視訊信號之視訊轉換器。3D視訊裝置可耦合至諸如電視機或監視器之一顯示裝置以經由一適當介面(較佳係一高速數位介面,諸如HDMI)傳送3D視訊資料。亦可將3D顯示器與3D視訊裝置整合,例如具有一接收區段及一3D顯示器之一電視機(TV)。
2009年5月15日國際公共標準ISO/IEC 14496-10「Information technology-Coding of audio-visual objects-Part 10: Advanced Video Coding」第15版描述(例如)用於數位視訊廣播(DVB)之視訊資訊之數位編碼。視訊資料定義待顯示的主視訊之內容。輔助資料定義可結合主視訊資料加以顯示之任何其他資料,諸如圖形資料或字幕。該標準及進一步相關文件亦定義用於對一接收器指示參數之控制資料,以使該接收器能夠重現諸視訊資料並覆疊輔助資料,且組譯用於傳輸之一資料傳輸串流,該資料傳輸串流包含該視訊資料、該輔助資料及該控制資料。AVC標準係一實例;如ISO/IBC 13818-2 Generic coding of moving pictures and associated audio information: Video中所述般,亦可針對高清晰度使用(例如)MPEG-2視訊。
為實現編碼及傳送3D視訊資料,調適以上標準。特定言之,已提議定義一系統以指示3D視訊資訊係經由2D視訊頻道進行傳輸且係在(例如)並排(SBS)或自上而下(TB)配置中之一2D視訊圖框中加以格式化。因此,該3D視訊資料具有針對一觀看者之各自眼睛顯示以產生一3D效果之至少一左視圖及一右視圖,且輔助資料經配置以顯示於該3D視訊資料上之一覆疊區域中。在主視訊資料之一2D圖框中根據一主配置中之2D傳輸格式來格式化該左視圖及該右視圖之3D視訊資料。例如,在以上ISO標準之一修訂案中,已提議藉由定義一新補充增強資訊(SEI)訊息(其指示用作為立體視訊遞送之2D視訊圖框中之視訊資料之左視圖及右視圖之空間交錯)來延伸控制資料訊息(稱為SEI訊息)。例如,空間交錯可為該並排(SBS)或自上而下(TB)配置或一棋盤交錯。
經由一2D視訊頻道之3D視訊資訊之經提議傳送使主視訊資料能夠在3D中傳送。然而,任何輔助資料(諸如字幕)亦必須(例如)使用針對字幕之DVB標準「ETSI EN 300 743-Digital Video Broadcasting(DVB);Subtitling systems」進行傳送。應注意,此類輔助資料係(例如)在一傳輸串流中之一輔助資料串流中經個別傳送。在標準「ISO/IEC 13818-1 Generic coding of moving pictures and associated audio information: Systems」中定義藉由DVB提及之此類傳輸串流之一實例。通常於接收端處供應基於藉由使用者選擇之一設定之輔助資料之覆疊。類似於主視訊,可考慮格式化一輔助配置中(例如,亦在一SBS中)之輔助資料。然而此格式化可導致困難或接收器處之額外成本。
本發明之一目的係提供一種用於傳送包含輔助資料之3D視訊資訊之系統,其避免困難及接收器處之額外成本。
針對此目的,根據本發明之一第一態樣,如[發明所屬之技術領域]中描述之方法進一步包括:
-提供待覆疊於該3D視訊資料之該左視圖及該右視圖上之該輔助資料之一輔助左視圖及一輔助右視圖及該輔助資料之一2D版本以及指示在覆疊於該左視圖及該右視圖上時應用於輔助資料之該2D版本之像差之輔助像差資料,
-根據對應於主配置之一輔助配置中之2D傳輸格式將該輔助左視圖及該輔助右視圖之該輔助資料配置於一輔助資料串流中,
-將該2D版本之該輔助資料配置於一進一步輔助資料串流中,
-在該傳輸串流中包含該進一步輔助資料串流、該輔助像差資料及指示該進一步輔助資料串流之一像差格式指示符。
針對此目的,根據本發明之進一步態樣,提供一種包括一視訊處理器之裝置,該視訊處理器係用於:
-根據一主配置中之一2D傳輸格式將該左視圖及該右視圖之該3D視訊資料配置於主視訊資料之一2D圖框中,
-提供用於對一接收器指示參數以使該接收器能夠重現該主視訊資料並且覆疊該輔助資料之控制資料,
-組譯用於傳輸之一資料傳輸串流,該資料傳輸串流包含該主配置中之3D視訊資料、該輔助資料及該控制資料。
該視訊處理器進一步經配置以:
-提供待覆疊於該3D視訊資料之該左視圖及該右視圖上之該輔助資料之一輔助左視圖及一輔助右視圖及該輔助資料之一2D版本以及指示在覆疊於該左視圖及該右視圖上時應用於輔助資料之該2D版本之像差之輔助像差資料,
-根據對應於主配置之一輔助配置中之2D傳輸格式將該輔助左視圖及該輔助右視圖之該輔助資料配置於一輔助資料串流中,
-將該2D版本之該輔助資料配置於一進一步輔助資料串流中,
-在該傳輸串流中包含該進一步輔助資料串流、該輔助像差資料及指示該進一步輔助資料串流之一像差格式指示符。
再者,一種信號包括:根據一主配置中之一2D傳輸格式之主視訊資料之一2D圖框中之左視圖及右視圖之3D視訊資料;控制資料,其係用於對一接收器指示參數以使該接收器能夠重現該主視訊資料並且覆疊該輔助資料;及用於傳輸之一資料傳輸串流,該資料傳輸串流包含該主配置中之該3D視訊資料、該輔助資料及該控制資料,該信號進一步包括:
-待覆疊於該3D視訊資料之該左視圖及該右視圖上之該輔助資料之一輔助左視圖及一輔助右視圖及該輔助資料之一2D版本以及指示在覆疊於該左視圖及該右視圖上時應用於輔助資料之該2D版本之像差之輔助像差資料,
-根據對應於該主配置之一輔助配置中之2D傳輸格式之一輔助資料串流中之該輔助左視圖及該輔助右視圖之該輔助資料,
-一進一步輔助資料串流中之該2D版本之該輔助資料,
-及該傳輸串流中之該進一步輔助資料串流、該輔助像差資料及指示該進一步輔助資料串流之一像差格式指示符。
再者,一種接收器包括用於接收信號之一輸入單元及一視訊處理器,該視訊處理器係用於:自該進一步輔助資料串流擷取該輔助資料,同時捨棄提供於該輔助資料串流中之該輔助配置中之該輔助資料;及基於該輔助資料之該2D版本及該輔助像差資料產生用於顯示於該3D視訊資料上之覆疊區域中之覆疊資料。
再者,一種用於處理3D視訊資訊之電腦程式產品係可操作以致使一處理器執行如上所述之方法。
控制資料可包括指示視訊格式化(SBS、TB等)之控制資料及含有輔助資料之像差之控制資料。諸措施具有在對應於主視訊配置之一輔助配置中傳送輔助資料之效果。此外,同時亦在與指示在覆疊於左視圖及右視圖上時應用於輔助資料之一2D版本之像差之輔助像差資料結合之該2D版本中傳送該輔助資料。輔助資料之該雙重傳輸使任何接收器能夠擷取促進主視訊與輔助資料之組合之容易3D演現之輔助資料集合。有利地係,使舊型2D接收裝置及新穎3D接收裝置兩者皆能夠基於輔助資料之雙重傳輸而有效地操作。此外,雖然於輔助配置中封裝的輔助視圖之品質可因該封裝之經降低解析度而受限,但由於輔助像差資料及該2D版本(其具有全解析度)之存在而可實現用於演現輔助資訊之一高品質。
本發明亦係基於以下認知。雖然藉由將左視圖及右視圖之主視訊圖框封裝於一單一2D圖框中來延伸現有2D傳輸系統以用於3D,但有可能會出現輔助資料之一類似解決方案,亦即藉由使用類似於主視訊資料之一輔助配置(例如,並排)。本發明者已瞭解,此配置可藉由通用視訊處理架構(其藉由首先解碼傳入主視訊及輔助資料且接著覆疊來處理該傳入主視訊)進行處置。就這點而言,該信號係如同一2D信號般加以處理,且隨後按比例調整至顯示器之所要螢幕解析度。在將3D視圖配置於2D圖框中之事件中,修改按比例調整之步驟。假定左圖框及右圖框之一循序顯示係經由各自眼睛之快門眼鏡進行觀看。首先,獲取左視圖部分(例如,SBS中之圖框的左半部),將其按比例放大至螢幕解析度並予以顯示。接著,獲取右視圖部分(例如,SBS中之圖框的右半部),將其按比例放大至螢幕解析度並予以顯示。實際上,在使用一舊型2D視訊轉換器(STB)及一3D TV時,可存在該架構。首先,該視訊轉換器產生待顯示(例如,待經由諸如HDMI之一數位介面進行傳送)之顯示資料。該3D TV接收該顯示資料(其仍呈SBS格式)。該STB將SBS輔助資料覆疊於SBS主視訊上;該3D TV將使左視圖與右視圖(該兩個視圖皆具有經覆疊之各自輔助資料)分離。
然而,本發明者已瞭解,在其他3D接收器中,可存在一不同架構。首先分析主視訊資料且在依一2D圖框格式配置一左視圖及一右視圖時,首先自該2D圖框擷取此視訊資料並將其分離,且隨後對其(重新)按比例調整以再生全左視圖及右視圖。接著,可將輔助資料之一經選擇串流覆疊於該左視圖及該右視圖上。現在使用輔助配置中之輔助資料需要額外步驟,諸如選擇各自部分且按比例放大該輔助資料。然而,在無任何進一步按比例調整之情況下直接覆疊該輔助資料之2D版本(其具有全解析度)。相同的輔助資料係覆疊於該左視圖及該右視圖兩者上,僅在水平位置相差一預定義量,稱為像差。該像差導致該輔助資料之一對應深度位置。在覆疊該輔助資料之2D版本時所應用的像差之值係經由輔助像差資料(其亦包含於傳輸串流中)而直接可用。有利地係,可基於螢幕大小、觀看距離或進一步觀看參數或偏好而進一步調整所應用的像差。下文將參考圖2至圖4提供在演現3D視訊資料及輔助資料中之各種處理環境之問題之一詳細說明。
藉由分析各種視訊處理架構,本發明者已瞭解,在其中首先覆疊輔助資料且隨後應用自2D圖框擷取視圖並按比例調整之架構中處置2D及像差格式顯然係有問題的。在此等架構中必須添加一額外覆疊步驟,此需要實質上額外處理硬體及/或軟體。此外,輔助配置導致輔助資料之一較低解析度。本發明者已研究此經降低之解析度的效果,其對輔助資料(諸如,圖形物件或字幕)而言顯然係更可見,而3D中之主視訊係較少被一經降低之解析度所妨礙。所提議的解決方案(亦即,藉由在輔助配置及2D版本兩者中包含輔助資料且在傳輸串流中包含輔助像差資料而改變傳輸系統)合宜地排除實際中所使用的視訊處理架構中之各種問題及缺點,同時在多數情況中允許2D處理裝置經由軟體更新而升級。
最後應注意,藉由添加相同輔助資料之一第二版本來放大經由傳輸串流進行傳送之資料量可被視為有悖於常識,但考慮到相對少量之額外資料及供應各種接收器架構以在3D視訊上有效地覆疊輔助資料之實質優點,此仍係可接受的。
在用於傳送3D視訊資訊之系統之一實施例中,控制資料包含根據2D傳輸格式之一3D延伸之一3D格式指示符,該3D格式指示符指示2D圖框中之左視圖及右視圖之3D視訊資料之該配置。此具有一接收器係直接知道2D圖框中之3D視訊資料之存在及格式之優點。
在系統之一實施例中,僅藉由指示主配置之3D格式指示符指示輔助配置。應注意,輔助資料串流實際上係與一普通2D輔助資料串流不同地加以格式化,而不存在指示差異之額外或經修改發信號。此係有利的,因為視訊傳送頻道中之任何舊型2D組件將不會知道該差異,且將正常地傳遞或處理輔助資料。此外,根據本發明之新穎接收器可基於偵測主視訊資料之配置而供應3D輔助資料且對輔助資料應用一對應配置。
在系統之一實施例中,輔助像差資料包括覆疊區域中之至少一區域之區域像差資料,該區域像差資料指示各自區域中之輔助資料在覆疊於左視圖及右視圖上時之像差。此具有有效地傳送一區域之像差資料之優點。
在系統之一實施例中,輔助資料串流包括若干物件,該等物件定義待經覆疊之圖形物件之像素資料,且該輔助資料串流及進一步輔助資料串流包括對相同物件之參照以在輔助資料之輔助左視圖、輔助右視圖及/或2D版本之間共用各自相同物件。該等物件定義實際像素資料,亦即待經覆疊之圖形資料之一低階表示。該實際像素資料需要總輔助資料之一相對較大部分。本發明者已瞭解,儘管必須於輔助配置中組合字幕之一左視圖及一右視圖,然可在該兩個視圖中使用相同物件,同時維持DVB標準之限制。在該標準之進一步延伸或其他系統中,亦可將該等物件用於2D版本,此係因為2D版本的內容係相等於左輔助視圖及右輔助視圖經配置集合。在此情況下,可按比例調整該等物件以擬合2D版本及輔助左視圖與輔助右視圖兩者。有利地係,額外輔助資料串流之所需總額外資料傳送容量係相對較小,此係因為該等物件經共用且針對一各自圖形覆疊僅須傳輸一次。
在隨附申請專利範圍(其之揭示內容以引用的方式併入本文中)中給定根據本發明之裝置及方法之進一步較佳實施例。附屬技術方案中定義之一特定方法或裝置之特徵相應地應用於其他裝置或方法。
在參考以下描述中藉由實例所述之諸實施例並參考隨附圖式的情況下,本發明之此等及其他態樣將變得顯而易見且將作進一步說明。
該等圖式純粹係概略性地且不按比例繪製。在諸圖式中,對應於已描述的元件之元件具有相同的參考符號。
圖1A展示用於傳送三維(3D)視訊資訊之一系統。該系統具有一傳輸器100,該傳輸器100提供待經由一廣播網路130進行傳輸之一信號104。一接收器110在一輸入單元112之一輸入111上自該廣播網路接收該信號。該接收器將顯示資料114提供至一3D顯示裝置120,例如一3D TV或3D投影系統。該接收器可為一個別裝置,諸如視訊轉換器(STB)或衛星接收器。或者,將該接收器110及該3D顯示器120組合於一單一裝置中,諸如具有一數位調諧器及內建3D處理器之一數位3D TV。
該系統經配置以傳送3D視訊資訊105,該3D視訊資訊105包含3D視訊資料及輔助資料。例如,提供於傳輸器100之主輸入101上之3D視訊資料包括欲針對一觀看者之各自眼睛顯示以產生一3D效果之至少一左視圖及一右視圖。例如,提供於傳輸器100之輔助輸入102上之輔助資料經配置以顯示於該3D視訊資料上之一覆疊區域中,諸如字幕。應注意,可包含多個輔助資料串流。
該系統在傳輸器側供應以下功能。該等功能可在該傳輸器中之一視訊處理器103中加以實施,但亦可在基於專用電腦程式之一編寫系統中加以執行。
藉由根據一主配置中之一2D傳輸格式將該左視圖及該右視圖之該3D視訊資料配置於主視訊資料之一2D圖框中來處理主視訊。通常將於一2D圖框中之3D視訊之此封裝稱為圖框封裝。根據可適用的傳輸標準,該系統提供用於對一接收器指示參數以使該接收器能夠重現該主視訊資料並且覆疊該輔助資料之控制資料。最終,組譯一信號104中之一資料傳輸串流(其包含主配置中之該3D視訊資料、該輔助資料及該控制資料)以經由該廣播網路130進行傳輸。
該系統進一步涉及:提供待覆疊於該3D視訊資料之該左視圖及該右視圖上之該輔助資料之一輔助左視圖及一輔助右視圖;及根據對應於該主配置之一輔助配置中之2D傳輸格式將該輔助左視圖及該輔助右視圖之該輔助資料配置於一輔助資料串流中。如上所述,輔助資料串流係包含於傳輸串流中。
在一實施例中,該輔助配置(例如,並排之一輔助左視圖及一輔助右視圖中之字幕)係擬合於可用於字幕之資料空間中。在DVB中,藉由一顯示定義片段,可設定顯示器組態。存在用於在一全HD服務上使用DVB字幕之3種選項:
a)圖形解析度係720×576且升頻轉換至服務之全HD解析度。
b)圖形解析度係720×576且係定位於全HD視訊之中心。
c)圖形解析度係1920×1080,相同於HD服務之解析度。
在a)中,一視圖僅具有用於一字幕之360個像素,此係因為螢幕必須分割成兩半。該360個像素係藉由按比例放大而遍及整個螢幕寬度,因此解析度係相對較低。對於DVB而言,選項b導致字幕僅處於左視圖及右視圖之一小區段(小於一半)上。因而選項c)係良好的。然而,列舉進一步限制,諸如使用用於最大720個像素之實際顯示之一區域,及一水平線上僅允許一區域(無彼此相鄰之區域)。然而,為了在一韌體升級(若需要)之後以經改良之品質等級供應待覆疊於SBS主視訊上之SBS字幕,可解除至少一或兩個限制。
另外,傳輸串流中亦包含該輔助資料之一2D版本及輔助像差資料,該輔助像差資料指示在覆疊於該左視圖及該右視圖上時應用於輔助資料之該2D版本之像差。因此,包含(例如)配置於一個別進一步輔助資料串流中之相同輔助資料之一第二版本。應注意,有利地係,該進一步輔助資料串流可遵循2D傳輸格式,以不干擾舊型2D接收器亦接收信號。然而,如下所述,輔助像差資料可儲存於傳輸串流中可用的資料結構中之各種位置中。最終,在該傳輸串流中包含該進一步輔助資料串流、該輔助像差資料及一像差格式指示符。該像差格式指示符係指示該進一步輔助資料串流,例如,指示該進一步輔助資料串流中之該輔助資料之存在及特定格式。
如上所述,用於傳送3D視訊資訊105之信號104係經由一廣播網路130(例如,一公共TV傳輸網路、一衛星網路、網際網路等)進行傳送。在該信號中,一傳輸串流表示該3D視訊資訊105。根據一主配置中之一2D傳輸格式(諸如DVB)配置主視訊資料之一2D圖框中之左視圖及右視圖之3D視訊資料。此外,可藉由添加用於三維視訊資訊之資料結構之一定義及對應控制資料(其係用於對一接收器指示參數以使該接收器能夠重現主視訊資料並且覆疊輔助資料)來延伸該2D傳輸格式。該資料傳輸串流包含供傳輸之主配置中之該3D視訊資料、該輔助資料及該控制資料。如上所述,該信號進一步包括該輔助資料之輔助左視圖及輔助右視圖以及一2D版本及輔助像差資料。該輔助左視圖及該輔助右視圖之輔助資料係根據對應於主配置之一輔助配置中之2D傳輸格式而封裝於一輔助資料串流中,且該2D版本之輔助資料係封裝於一進一步輔助資料串流中。該傳輸串流含有該進一步輔助資料串流、該輔助像差資料及指示該進一步輔助資料串流之一像差格式指示符。
如上所述,該接收器110具有用於自廣播網路接收信號之輸入單元112。該傳輸串流經擷取且耦合至一視訊處理器113,該視訊處理器113係用於自該進一步輔助資料串流擷取輔助資料,同時捨棄該輔助資料串流中所提供的輔助配置中之輔助資料。該視訊處理器基於該輔助資料之2D版本及輔助像差資料而進一步產生覆疊資料以顯示於3D視訊資料上之覆疊區域中,如下文詳細說明般。
圖1B展示3D視訊資料及輔助資料。該視訊資料具有一左視圖150及一右視圖151。展示該兩個視圖具有輔助資訊之一覆疊。該左視圖具有輔助資料160,在一水平起始位置X上展示寫著「紅色及綠色」之一字幕,且該右視圖具有輔助資料161,亦即一水平起始位置X-n上所展示的相同字幕。值n表示字幕之左版本與右版本之間之一像差。該圖式展示一立體影像,作為具有於視訊之最上層上複合之一2D字幕之一電影中之一立體圖框之一表示,而水平位移n經應用以設定該字幕之深度。
用於廣播立體視訊之主內容遞送平台之一者係通用數位電視頻道,在此文件中進一步稱為數位視訊廣播(DVB)。DVB應用用於傳輸之陸地、有線電視、衛星及行動機之各種標準及音訊/視訊、圖形(字幕等)之相關聯發信號以及互動式應用程式(HTML/XML之Java應用程式)。顯示技術的當前進展係使得對大眾市場觀眾引進3D視訊變得可能。因此為了實現3D內容之廣泛散佈,DVB標準應經延伸以允許廣播3D內容。
相較於2D內容,3D內容需要顯著更多的儲存、頻寬及處理。因此,研究以最小額外成本提供一3D體驗且可與視訊轉換器(STB)之當前安裝基礎相容之解決方案。經研究的解決方案之一者係延伸現有先進視訊轉換器以允許視訊轉換器藉由將一立體影像之左視圖及右視圖圖框封裝於一2D圖框中來播放3D。
立體視訊亦需要諸如字幕之立體輔助資料。在此文件中,將字幕用作為輔助資料之一實例。輔助資料進一步可為待覆疊於主視訊上之任何類型額外圖形資料。字幕覆疊於立體視訊上需要特別注意決定將字幕定位於視訊最上層上之水平、垂直及深度方向上之何處。若不恰當地完成,則字幕覆疊可能干擾背景視訊,從而引起視覺假影並且在字幕之界限處產生衝突深度提示。此可在字幕位置處之字幕深度小於視訊深度時發生。字幕遮蔽該視訊之部分,所以大腦預期字幕處於該視訊之前面。此外,因為字幕被複製於該視訊之最上層上,所以看似如同該字幕刺穿該視訊,從而在該字幕之邊緣處產生假影。
可藉由改變一立體字幕之左影像及右影像之像差並且確保此像差或「深度」比視訊之深度更接近於觀看者來完成字幕之正確放置。以此方式調整字幕像差之一缺點在於其需要在編寫期間處理影像且其需要使用立體字幕,此使播放裝置中之頻寬及處理加倍。
一種替代性方法係使用2D字幕並且將字幕複製於立體視訊之左影像及右影像兩者之最上層上。此藉由將字幕複製於該立體視訊之左影像部分上並且在將該字幕複製於該立體視訊之右影像部分上之前使其在一水平方向上移動而運作。左視圖與右視圖之間的物件之水平位移量(通常被稱為像差)決定字幕之深度,且在字幕位置處,此值應高於視訊之像差。
關於針對基於DVB之系統實施立體字幕之一問題係與現有2D視訊散佈鏈之相容性。一種選項係使用立體字幕,該立體字幕使用與視訊相同的封裝格式,例如自上而下、並排等。在此文件中,將此封裝稱為輔助配置。
圖2展示一接收裝置中之一視訊處理系統。例如,該裝置可為一數位電視機或一視訊轉換器。一輸入單元201包括用於(例如)自一有線電視網路、一衛星碟型天線接收視訊廣播信號之一解調變器。該解調器變自輸入信號擷取傳輸串流,該傳輸串流係耦合至一解多工器單元202,該解多工器單元202可包含用於自該傳輸串流擷取各種資料串流及控制資料之一解擾頻器。該等資料串流係耦合至用於解碼視訊及音訊資料之一主解碼器203,且耦合至用於解碼輔助資料及控制資料之一輔助解碼器204。例如根據HDMI或LVDS等,該等解碼器及進一步元件係經由一系統匯流排209而耦合至一中央處理單元(CPU)205、一圖形處理器206、一記憶體207及一輸出級208。
在一些實施方案中,視訊及字幕之處理管線係不同且分開的。諸如A/V解碼及圖形處理(濾波操作等)之處理及高頻寬操作係在一專用ASIC中完成,而低頻寬資訊(諸如字幕)之處理係藉由一低功率通用處理器來完成。直至處理管線之最末端才組合字幕與視訊。
因為在一些實施方案中將圖2中之若干區塊組合於一單一硬體單元中,所以在結合3D視訊供應字幕的情況下,可發生一些無法預見的問題。
若不存在字幕之發信號且該等字幕係呈2D,則播放裝置將假定應將字幕複製於視訊之左側及右側兩者上,在此情況下,字幕將被定位於螢幕深度處且若定位於字幕位置處之立體視訊由螢幕產生,則可干擾立體視訊。提議使用具有左字幕與右字幕之間之一適當像差之立體字幕,使得立體字幕出現在視訊之前面。針對字幕,將使用與用於視訊之封裝方法相同之封裝方法,以使得在針對2D之現有散佈鏈中傳輸字幕變得可能。如上所述,於對應於3D視訊資料之主配置之一輔助配置中來封裝輔助資料。
圖3展示3D視訊及輔助資料之配置。該圖式展示立體視訊之一左視圖301及一右視圖302。在水平方向上對該等視圖301、302子取樣50%以擬合於一2D圖框303中。主配置之封裝方法稱為並排(SBS)。其他配置(諸如自上而下或棋盤式配置)亦係可行的。將相同配置應用於一左視圖中之字幕304及一右視圖中之字幕305,此導致輔助配置306。接著,將主配置及輔助配置兩者傳輸至一接收裝置,例如一播放裝置(諸如,具有整合式接收器之一視訊轉換器或一TV)。
在具有一整合式接收器之播放裝置(諸如,具備3D功能之TV)之一實施例中,視訊處理器架構可根據圖2,其中區塊206及203係整合於一ASIC中。首先論述在不應用本發明的情況下之此實施例之功能不正常。在ASIC中,SBS視訊圖框307將被分割成一左部分308及一右部分(圖式中未展示)。首先,該左部分經複製且在被複製至一圖框緩衝器中之前按比例放大回至其初始大小309。在該實施例中,字幕將藉由區塊205(CPU)進行處理且經複製至該視訊最上層上之圖框緩衝器中。在圖310中展示左圖框之錯誤結果,因為在添加字幕之前對視訊執行按比例調整及處理,所以經組合之左及右組合SBS字幕兩者最終皆處於左圖框上。右圖框亦可發生相同的情況。
為了避免以上錯誤結果,播放裝置之一實施例具有一經修改之處理順序。必須在SBS視訊之左影像部分及右影像部分被複製至一圖框緩衝器且按比例調整回至初始大小之前複製SBS字幕至該SBS視訊上。
圖4展示處理一輔助配置。該圖式使用上述經修改之處理順序給定處理之一表示。首先,主配置401中之視訊係展示為藉由A/V解碼器203予以解碼,該視訊係複製至一圖框記憶體中。輔助配置404中之字幕係藉由資料解碼器204予以解碼且隨後藉由CPU 205複製至該圖框記憶體中之視訊影像上。接著,針對立體輸出之左圖框,圖形處理器206複製組合視訊及字幕之圖框記憶體之左部分,如藉由矩形402所指示般。接著,該圖形處理器206使該左部分按比例放大至其初始大小並且將結果複製至輸出圖框緩衝器中。展示所得左視圖403。
注意,輸出上的字幕之品質受限制,如在左視圖403中可見。這係有道理的,此係因為該等字幕在播放裝置中經傳輸及按比例放大至正常大小之前已被子取樣50%。此外,在常用播放裝置中,改變處理步驟之順序以允許字幕與視訊一起經處理並非簡單,此係因為系統匯流排209之頻寬可能不夠高足以支援視訊影像資料在ASIC與記憶體之間往返之頻繁複製。因此,儘管此設定提供正確字幕,然其無法在每一情境下令人滿意。
以上問題因處理不同播放裝置中的字幕及視訊之方式之差異而發生。為供應經改良之字幕及有效處理,提議不僅使用輔助配置中之立體字幕,而且在串流中額外提供一2D字幕及發信號,使得該播放裝置可決定如何在立體視訊之最上層上組合字幕而無由深度衝突引起之假影。
在實際系統(諸如DVB系統)中,存在用以傳輸圖形或文字(諸如,字幕)之若干方式。最常見的係使用DVB字幕標準(ETSI EN 300 743)或如廣播規範MHEG-5(多媒體&超媒體專家組織(Multimedia & Hypermedia Experts Group);ETSI ES 202 184)中所述之額外資料,其他方法可使用電傳視訊(Teletext)。發信號參數可如DVB-SI標準(服務資訊之DVB規範(DVB Specification for Service Information);ETSI EN 300 468)中所定義般進行傳輸。此等系統需要一種指示如何以無需變更符合DVB之播放裝置的現有硬體平台之之一方式覆疊圖形(諸如字幕)至立體視訊上之解決方案。在以下段落中,論述輔助資料及輔助像差資料之發信號格式之各種選項。
在一符合DVB之視訊轉換器或TV中,字幕係藉由一低功率通用處理器(其亦負責偵測及解譯所傳輸的發信號參數)而與視訊分開處置。因此,適當的解決方案係相對於視訊基本串流中之發信號而在字幕串流內部或字幕發信號中載送像差發信號。
DVB字幕標準定義三種類型的發信號資訊,稱為用於發信號通知文字或圖形物件之定位之片段。顯示定義片段發信號通知預期顯示大小。頁面複合發信號通知如何將文字及圖形定位於視訊圖框上。一區域複合片段將圖框分成兩個非重疊區域。在不同頁面及區域中可使用且可再使用含有文字或圖形之物件。
因為在DVB字幕中,該等區域可定位於一圖框中之不同位置處,所以該區域中的圖形或文字之每區域像差可不同。在一實施例中,傳送每區域之輔助像差,(例如)作為一位移參數。以下描述以相容方式做到這一點之選項。
所需的位移量可相當有限,具有100個像素之左影像及右影像之間的像差通常將係足夠的。因為可對稱地完成位移,所以擁有像差之欄位僅需指示像素位移之一半。因此,在多數情況下,6個位元應係足夠的。
圖5展示一頁面複合結構。該圖式展示以一序列欄位表示頁面複合結構50之一表。指示片段類型及片段長度,且該結構所應用至的頁面係欄位page_id(頁面識別碼)。在一實施例中,在一進一步欄位reservedA 51中指示像差資料之存在。
在一實施例中,輔助像差資料包括覆疊區域中之至少一區域之區域像差資料,該區域像差資料指示各自區域中之輔助資料在覆疊於左視圖及右視圖上時之像差。圖5中之表展示一While迴圈中之區域數目之一定義。針對每一區域,提供欄位Region_id(區域識別碼)中之一識別碼以及水平位址欄位及垂直位址欄位中之位置。
在一實施例中,輔助資料串流包括頁面複合結構50,該頁面複合結構50定義待顯示於該覆疊區域中之輔助資料之一頁面之一複合。該頁面複合結構50具有至少一區域定義53,該區域定義53定義一各自區域之一位置及區域像差資料。
查看圖7中之顯示定義片段及圖8中之區域複合片段,僅可見少量可用位元,而不足以精確指示一像差欄位。然而,在圖5中展示之頁面複合片段中存在每區域之一迴圈,該迴圈定義一序列區域定義53。在此迴圈中,針對每一區域,存在保留於欄位reservedB 52中之8個位元。該8個位元係足以指示對該區域應用之像差或位移。在進一步欄位reservedB 52中指示輔助像差值。在此欄位中,針對一正像差(使左視圖向左位移且使右視圖向右位移)可藉由0至127表示Subtitle_disparity(字幕像差),且針對負像差(使左視圖向右位移且使右視圖向左位移)可藉由128至255表示Subtitle_disparity。
除了接收字幕像差之外,播放裝置亦必須能夠辨識哪個字幕串流載送像差資料。在一實施例中,在DVB中使用一節目映射表(服務資訊之DVB規範(DVB Specification for Service Information);ETSI EN 300 468)。該節目映射表或PMT定義哪個串流係廣播中之節目之部分。PMT亦包含一所謂之「組件描述符」以描述各種串流,使得該播放裝置知道每一串流中存在哪種資料。
圖6展示一組件描述符(之一部分)。該圖式展示定義一串流之內容之一組件描述符表60。串流內容欄位識別資料之類型,例如0表示視訊、1表示音訊且2表示字幕資料。在字幕指示哪種字幕(例如,用於21:9顯示器之字幕或旨在用於聽障之字幕)之情況中,component_type(組件類型61)指示格式。在ETSI EN 300 468之表26中可找到值之一完整清單。旨在包含一新的組件類型值(例如,0×14)以指示一字幕串流載送像差資料。因此,在傳輸串流中包含進一步輔助資料串流,而新的組件類型值提供指示該進一步輔助資料串流之一像差格式指示符。注意,可替代性地以一不同方式(藉由增加或修訂該傳輸串流中之各自控制資料)提供該像差格式指示符。
在一實施例中,該傳輸串流之控制資料包含根據2D傳輸格式之一3D延伸之一3D格式指示符。該3D格式指示符指示2D圖框中之左視圖及右視圖之3D視訊資料之該主配置。一2D傳輸標準之一實例係前面所提及之標準ISO/IEC 14496-10。在一修正案中,可將一3D格式指示符添加至該標準,例如指示空間交錯之一新補充增強資訊(SEI)訊息中。該3D格式指示符可進一步定義輔助資訊之格式。
在一進一步實施例中,僅藉由指示主配置之3D格式指示符指示輔助配置。因此,在傳輸串流中不包含明確指示該輔助配置之進一步控制資訊,除了基本上定義該主配置之3D格式指示符。當不存在進一步指示符時,接收器必須假定輔助資訊必須具有對應於主配置之輔助配置。
注意,一現有不具備3D能力之播放裝置將不辨識如圖6中定義之新組件類型且因此將使用2D字幕串流及2D視訊。所以若視訊及字幕被格式化為並排或上下,則此將在此類舊型裝置(例如,附接至一3D TV之一現有具備HD能力之視訊轉換器)中運作。STB將正確地覆疊字幕,而3D TV將分割影像,並且按比例放大左視圖及右視圖。
圖7展示一顯示定義結構。該圖式展示以一序列欄位表示顯示定義結構70之一表。指示片段類型及片段長度,且該結構所應用至的頁面係欄位page_id(頁面識別碼)。該結構定義輔助資料之一頁面之覆疊區域,如在欄位display_window(顯示視窗)(其定義該覆疊區域之一位置)中定義般。僅少數位元係可用於指示一欄位reserved 71中之輔助資料配置。
在一替代例中,定義顯示定義片段中之一額外欄位。在該實施例中,輔助資料串流包括該顯示定義結構70。在該額外欄位中,定義應用於該覆疊區域之輔助像差資料。
圖8展示一區域複合結構。該圖式展示以一序列欄位表示區域複合結構80之一區域複合片段表。指示片段類型及片段長度,且該結構所應用至的頁面係欄位page_id(頁面 識別碼)。在許多欄位中,位元可用於指示輔助資料配置,尤其一欄位reserved-1 81中之3個位元、一欄位reserved-2 82中之2個位元、一欄位reserved-3 83中之2個位元及一欄位reserved-4 84中之4個位元。
為了定義區域複合片段中之像差格式,圖8中展示之該區域複合片段具有每物件4個保留位元(如下部中之一序列物件定義85中所定義),每一物件具有一欄位reserved-4。此本身可足以指示一像差。然而,替代性地,此等可用以指示相對於區域位置之每物件位移或像差(按像素精度)。
在該區域複合片段表80之剩餘部分中存在一些其他保留欄位。此等其他保留欄位81、82、83可用以指示每區域位移。當欄位82中之2個位元指示位移正負號且欄位83中之2個位元指示區域片段含有位移欄位時,使用欄位81中之保留3個位元在(例如)雙像素精度可為較不精確。
另一替代性實施例係定義一新片段類型(立體像差描述符)。在一新片段類型情況中,吾人不限於使用保留欄位。
圖9展示立體像差描述符之一片段類型。該圖式展示一表90。如圖7及圖8中所示之其他片段,該新片段類型(稱為一像差片段)具有對應欄位(如自ETSI EN 300 743已知)。在一第一新欄位91中,提供一字幕像差值。針對正像差(使左視圖向左位移且使右視圖向右位移)可藉由0至127指示Subtitle_disparity(字幕像差),且針對負像差(使左視圖向右位移且使右視圖向左位移)可藉由128至255指示Subtitle_disparity。在進一步新欄位中可提供其他像差值,諸如針對螢幕顯示(On Screen Display)資料之像差之一第二新欄位92。
OSD像差可使用與字幕像差相同之定義,但可藉由內容編寫器用作為對播放裝置之一提示,以判定在何處定位任何OSD。值0 & FF可指示不存在輔助資料。
在一進一步實施例中,將論述螢幕顯示(OSD)之處置。在正常操作期間,一接收器可能必須回應於由使用者、CI系統引起或來自廣播頻道之一事件而對使用者顯示某種螢幕顯示訊息(OSD)。在一3D傳輸期間,在錯誤螢幕深度處顯示該相同OSD可使其變成不可讀取。在一3D傳輸期間,接收器已知在哪一深度放置一OSD係至關重要的,且若無法找到適當深度,則該接收器可使整個視訊「向後」位移或切換至2D。一接收器所需的關於傳輸之資訊係3D圖像之「體積」,其可以「最小及最大」像差表示。「最大」像差係遠離使用者之距離(一大正數),且「最小」像差係朝向使用者之距離(一大負數)。可藉由該接收器使用該最小像差以確保其OSD更接近於使用者。然而,若該最小像差靠得太近,則可使用最大像差使得該接收器可選擇使整個視訊向後位移而至螢幕後面。然而,一接收器可從不使視訊位移超出「無窮」,所以在該情況中,該接收器可選擇使視訊切換至2D。在將最小像差及最大像差傳遞至何處之選擇中,必須考量廣播裝置之能力。當然,在即時傳輸期間,一廣播裝置可從不即時傳送傳輸之精確最小像差及最大像差,此係因為最小像差及最大像差改變非常快。再者,自實驗已知,OSD亦應不快速改變像差,尤其在OSD僅傳遞保持恆定達數分鐘之一訊息之情況中。在廣播裝置之能力及可讀性的基礎上,最小像差及最大像差之一邏輯位置係在EIT中,或若服務始終係3D,則在SDT中。若服務在2D與3D之間切換或若事件可極大地改變像差範圍,則EIT係適當位置。若服務始終係3D且該廣播裝置將其自身保持於特定像差限制,則SDT係一較佳位置。僅若該服務並非始終係3D,則PMT亦係一可行位置(但若該服務改變,其在許多事件之後改變;基本上在「串流類型」改變期間,則引起一PMT版本更新)。
本文中,吾人給定用於處置OSD顯示之實施例之一詳細實施方案。注意,可獨立於字幕處置而採用用於實施OSD處置之此等措施。在一接收器想要在立體3D之最上層上適當地覆疊螢幕顯示資訊之情況中,需要關於3D視訊的深度範圍之資訊。此描述符經由像素位移識別深度範圍。在其中含有此描述符之事件期間,此處識別的像素位移與視訊解析度一起定義視訊之體積包圍物(volumetric enclosure)。運用視訊之體積資訊,一接收器可選擇適當顯示OSD資訊之許多方式。該接收器可在將OSD顯示於螢幕前面之前使整個視訊向後位移,以至螢幕後面。該接收器亦可決定體積太大且需要實行2D。該接收器亦可決定體積足夠小以僅預先放置OSD而不影響視訊深度。
相關欄位係識別對應於「距離最遠」之最大水平位移之Maximum_horizontal_shift,而minimum_horizontal_shift識別對應於「最接近」物件之最小水平位移。
例如,水平位移值指示每一視圖中之像素在水平方向上之一水平位移數。零之一值意謂不應用位移。在水平位移值為負的情況中,使左視圖中之所有經識別像素向右位移且使右視圖中之所有經識別像素向左位移。在水平位移值為正的情況中,使左視圖中之所有經識別像素向左位移且使右視圖中之所有經識別像素向右位移。一像素之大小係來自像素之水平顯示寬度之一者,如藉由視訊以PES等級識別般。然而,可考慮其他單位(例如,螢幕大小之百分比)。
參考描述像差片段之實施例,在一進一步實施例中,應用像差片段以傳達字幕像差(亦即,具有2D字幕(其具有輔助像差資料,該輔助像差資料可或不可與提供相同字幕之輔助配置組合)之一視訊資料串流中)。因為此類像差片段係在封包化基本串流(PES)中,所以每秒可傳輸許多不同像差片段。或者,像差片段可含有一像差清單,該像差清單具有關於起始時序之隱含或明確相關時序資訊。
有利地係,達成像差之一非常動態控制。如圖9中所示,像差片段將含有字幕像差資訊且可額外地含有OSD像差。該片段亦可經延伸以識別特定區域及/或物件之像差。在此類像差片段中,區域係經由各自region_id(區域識別碼)加以識別。實際區域之page_id(頁面識別碼)係等於新像差片段之page_id(頁面識別碼)。此外,在延伸片段中,物件係經由各自object_id(物件識別碼)加以識別。在延伸像差片段中,可存在物件及區域之清單,每一物件及區域具有其等較佳像差。針對輔助配置,可藉由使用物件之水平位置的新值更新區域複合片段來達成深度位置之動態行為,此係因為水平位置對應於像差。
動態行為的優點在於可在逐圖框基礎上進行更新字幕之像差(深度)。由於以下原因,此係有用的。應避免視訊與字幕之間的深度衝突,此係因為深度衝突實在係有害。然而,將字幕太過放置於螢幕前面以避免任何可能衝突對觀看者而言係極不舒服的。因此,本發明者已見,對字幕平穩地來回移動之需要。再者,當觀看一電影時,觀看者的眼睛在人物對話與字幕之間切換。若字幕係在與人物不同之一深度處,則來回切換係困難的。因此,將字母放置於與人物相同之深度處(若在嘗試避免深度衝突時有可能!)係最佳的。但人物可移動深度位置,所以字幕應隨其移動。
在一實施例中,輔助資料串流包括一區域複合結構,該區域複合結構定義待顯示於覆疊區域中之輔助資料之一頁面中之一區域之一複合,該區域複合結構包括一序列物件結構,該等物件結構定義一圖形物件之一位置,且該等物件結構包含包括輔助像差資料之一像差物件。
新object_type(物件類型)經定義以載送像差資料。在DVB字幕中,用於字幕之像素資料係在object_data_fragment(物件資料片段)上載送。2D標準支援點陣圖(bitmap)或字元物件。此可使用僅載送像差資料之一新物件而延伸用於3D。物件之資料區段可由用以指示相關聯頁面及區域之像差之一單一位元組或描述一相關聯區域乃至物件之每像素像差之一完整點陣圖組成。
在一實施例中,輔助資料串流包括若干物件,該等物件定義待經覆疊之圖形物件之像素資料,(例如)如上所述。現在,該輔助資料串流及進一步輔助資料串流使用對相同物件之參照,以在輔助左視圖、輔助右視圖及/或輔助資料之2D版本之間共用各自相同物件。該等參照可應用於另一串流,例如提供參照另一串流之對應頁面之相對定址資訊。或者,可將兩個串流組合成一單一多工化串流。
在DVB字幕串流中發信號以指示字幕之一位移或像差係一適當解決方案,但具有其不直接提供MHEG或電傳視訊(該兩者亦可用於字幕)之像差發信號之缺點。
圖10展示定義像差之一封包化基本串流(PES)資料封包。該圖式展示表示一PES封包之一表95。因而,該封包化基本串流(PES)資料封包係在ISO/IEC 13818-1中加以定義。在一替代性實施例中,提議定義在PMT中以信號個別地發送之一新PES資料封包,該新PES資料封包定義每視訊圖框之像差或呈現時間戳記(PTS),例如,如額外欄位96中指示般。基於此描述符,播放裝置可決定對字幕或圖形物件應用多少位移。
欄位Video_min_disparity(視訊最小像差)可具有0至255之一值以指示在此PES封包之PTS之視訊之負像差(左圖框向右位移且右圖框向左位移)。一Data_identifier(資料識別符)欄位97可指示PES封包之新類型。在保留欄位之一者中指派可用於資料識別符之一新值以指示「像差發信號描述符」。
圖11展示PES封包之資料識別符值。該圖式展示具有指示PES封包之各種類型之值之一表98。該資料識別符值係一8位元值,其識別在一PES封包中載送之資料類型。添加一新的值以指示「像差發信號描述符」。
注意,可在硬體及/或軟體中使用可程式化組件實施本發明。用於實施本發明之一方法具有對應於針對如參考圖1描述之系統而定義之功能之步驟。
儘管主要已藉由使用經由DVB之廣播之實施例說明本發明,然本發明亦適用於經由一數位頻道(例如,經由網際網路)之視訊之任何散佈。
應了解,為清楚起見之以上描述具有參考不同功能單元及處理器描述之本發明之實施例。然而,應清楚,可在不脫離本發明的情況下使用不同功能單元或處理器之間的功能性之任何適當分散。例如,圖解闡釋為藉由個別單元、處理器或控制器執行之功能性可藉由相同處理器或控制器加以執行。因此,對特定功能單元之引用僅係視為對用於提供所描述的功能性而非指示一嚴密邏輯或實體結構或組織之適當構件之引用。本發明可以任何適當形式(包含硬體、軟體、韌體或此等之任何組合)加以實施。
注意,在此文件中之字詞「包括」除了所列示之元件或步驟以外不排除存在其他元件或步驟,且在一元件前之字詞「一」或「一個」不排除存在複數個此等元件,申請專利範圍之範疇不受任何參考符號限制,本發明可藉由硬體及軟體二者加以實施,且若干「構件」或「單元」可由相同類目的硬體或軟體表示,且一處理器可在與硬體元件協作下實現一或多個單元之功能。此外,本發明不限於諸實施例,且本發明內含於上述或在相互不同附屬請求項中敘述各個及每一新穎特徵或諸特徵之組合中。
100...傳輸器
101...傳輸器之主輸入
102...傳輸器之輔助輸入
103...視訊處理器
104...信號
105...三維(3D)視訊資訊
110...接收器
111...輸入/信號
112...接收器之輸入單元
113...視訊處理器
114...顯示資料
120...三維(3D)顯示裝置
130...廣播網路
150...左視圖
151...右視圖
160...輔助資料
161...輔助資料
201...輸入單元
202...解多工器單元
203...主解碼器
204...輔助解碼器/資料解碼器
205...中央處理器(CPU)
206...圖形處理器
207...記憶體
208...輸出級
209...系統匯流排
301...左視圖
302...右視圖
303...2D圖框
304...左視圖中之字幕
305...右視圖中之字幕
306...輔助配置
307...並排(SBS)視訊圖框
308...並排(SBS)視訊圖框之左部分
309...左部分之初始大小
310...展示左圖框之錯誤結果之圖
401...主配置
402...矩形
403...所得左視圖
404...輔助配置
X...左視圖之水平起始位置
X-n...右視圖之水平起始位置
圖1A展示用於傳送三維(3D)視訊資訊之一系統;
圖1B展示3D視訊資料及輔助資料;
圖2展示一接收裝置中之一視訊處理系統;
圖3展示3D視訊及輔助資料之配置;
圖4展示處理一輔助配置;
圖5展示一頁面複合結構;
圖6展示一組件描述符(之一部分);
圖7展示一顯示定義結構;
圖8展示一區域複合結構;
圖9展示立體像差描述符之一片段類型;
圖10展示定義像差之一封包化基本串流(PES)資料封包;及
圖11展示PES封包之資料識別符值。
100...傳輸器
101...傳輸器之主輸入
102...傳輸器之輔助輸入
103...視訊處理器
104...信號
105...三維(3D)視訊資訊
110...接收器
111...輸入/信號
112...接收器之輸入單元
113...視訊處理器
114...顯示資料
120...三維(3D)顯示裝置
130...廣播網路

Claims (14)

  1. 一種處理三維[3D]視訊資訊之方法,該3D視訊資訊包括3D視訊資料及輔助(auxiliary)資料,該3D視訊資料包括針對一觀看者之各自眼睛顯示以產生一3D效果之至少一左視圖及一右視圖,該輔助資料經配置以顯示於該3D視訊資料上之一覆疊區域(overlay area)中,該方法包括:根據一主配置(main arrangement)中之一2D傳輸格式將該左視圖及該右視圖之該3D視訊資料配置於主視訊資料之一2D圖框中,提供用於對一接收器指示參數以使該接收器能夠重現(reproduce)該主視訊資料並且覆疊該輔助資料之控制資料,組譯(assembling)包含該主配置中之該3D視訊資料、該輔助資料及該控制資料之一資料傳輸串流以供傳輸,該方法進一步包括:提供待覆疊於該3D視訊資料之該左視圖及該右視圖上之該輔助資料之一輔助左視圖及一輔助右視圖及該輔助資料之一2D版本以及指示在被覆疊於該左視圖及該右視圖上時待應用於輔助資料之該2D版本之像差(disparity)之輔助像差資料, 根據對應於該主配置之一輔助配置中之該2D傳輸格式將該輔助左視圖及該輔助右視圖之該輔助資料配置於一輔助資料串流中,將該2D版本之該輔助資料配置於一進一步輔助資料串流中,在該傳輸串流中包含該進一步輔助資料串流、該輔助像差資料及指示該進一步輔助資料串流之一像差格式指示符。
  2. 如請求項1之方法,其中該控制資料包含根據該2D傳輸格式之一3D延伸之一3D格式指示符,該3D格式指示符指示該2D圖框中之該左視圖及該右視圖之該3D視訊資料之該主配置。
  3. 如請求項2之方法,其中僅藉由指示該主配置之該3D格式指示符指示該輔助配置。
  4. 如請求項1之方法,其中該輔助像差資料包括該覆疊區域中之至少一區域之區域像差資料,該區域像差資料指示各自區域中之輔助資料在覆疊於該左視圖及該右視圖上時之像差。
  5. 如請求項4之方法,其中該輔助資料串流包括定義待顯示於該覆疊區域中之輔助資料之一頁面之一複合之一頁面複合結構,該頁面複合結構包括定義一各自區域之一位置及區域像差資料之至少一區域定義。
  6. 如請求項4之方法,其中該輔助資料串流包括定義輔助資料之一頁面中之一區域之一複合之一區域複合結構, 該區域複合結構包括該區域之區域像差資料。
  7. 如請求項1之方法,其中該輔助資料串流包括定義待顯示於該覆疊區域中之輔助資料之一頁面中之一區域之一複合之一區域複合結構,該區域複合結構包括一序列物件結構,該等物件結構定義一圖形物件之一位置,且該等物件結構包含包括該輔助像差資料之一像差物件,或該輔助資料串流包括定義輔助資料之一頁面之覆疊區域之一顯示定義,該顯示定義定義該覆疊區域之一位置及該輔助像差資料。
  8. 如請求項1之方法,其中該輔助資料串流包括若干物件,該等物件定義待經覆疊之圖形物件之像素資料,且該輔助資料串流及該進一步輔助資料串流包括對相同物件之參照,以在該輔助左視圖、該輔助右視圖及/或該輔助資料之該2D版本之間共用各自相同物件。
  9. 如請求項1之方法,其中該傳輸資料串流包括根據該2D傳輸格式之該3D延伸之一額外片段類型,該額外片段類型包括包括該輔助像差資料之一立體像差描述符。
  10. 如請求項1之方法,其中該傳輸資料串流包括根據該2D傳輸格式之該3D延伸之封包化基本串流[PES]資料封包,該封包化基本串流[PES]資料封包包括該輔助像差資料。
  11. 如請求項1之方法,其中該輔助資料包括字幕。
  12. 一種用於處理三維[3D]視訊資訊之裝置(100),該3D視訊資訊包括3D視訊資料及輔助資料, 該3D視訊資料包括針對一觀看者之各自眼睛顯示以產生一3D效果之至少一左視圖及一右視圖,該輔助資料經配置以顯示於該3D視訊資料上之一覆疊區域中,該裝置包括一視訊處理器(103),該視訊處理器係用於:根據一主配置中之一2D傳輸格式將該左視圖及該右視圖之該3D視訊資料配置於主視訊資料之一2D圖框中,提供用於對一接收器指示參數以使該接收器能夠重現該主視訊資料並且覆疊該輔助資料之控制資料,組譯包含該主配置中之該3D視訊資料、該輔助資料及該控制資料之一資料傳輸串流以供傳輸,該視訊處理器進一步經配置以:提供待覆疊於該3D視訊資料之該左視圖及該右視圖上之該輔助資料之一輔助左視圖及一輔助右視圖及該輔助資料之一2D版本以及指示在被覆疊於該左視圖及該右視圖上時待應用於輔助資料之該2D版本之該像差之輔助像差資料,根據對應於該主配置之一輔助配置中之該2D傳輸格式將該輔助左視圖及該輔助右視圖之該輔助資料配置於一輔助資料串流中,將該2D版本之該輔助資料配置於一進一步輔助資料串流中,在該傳輸串流中包含該進一步輔助資料串流、該 輔助像差資料及指示該進一步輔助資料串流之一像差格式指示符。
  13. 一種用於處理三維[3D]視訊資訊之接收器(110),該3D視訊資訊包括3D視訊資料及輔助資料,該3D視訊資料包括針對一觀看者之各自眼睛顯示以產生一3D效果之至少一左視圖及一右視圖,該輔助資料經配置以顯示於該3D視訊資料上之一覆疊區域中,該接收器包括:一輸入單元(112),其係用於接收傳輸三維[3D]視訊資訊之一信號(111),該信號包括:根據一主配置中之一2D傳輸格式之主視訊資料之一2D圖框中之該左視圖及該右視圖之該3D視訊資料,控制資料,其係用於對一接收器指示參數以使該接收器能夠重現該主視訊資料並且覆疊該輔助資料,及用於傳輸之一資料傳輸串流,其包含該主配置中之該3D視訊資料、該輔助資料及該控制資料,該信號進一步包括:待覆疊於該3D視訊資料之該左視圖及該右視圖上之該輔助資料之一輔助左視圖及一輔助右視圖及該輔助資料之一2D版本以及指示在被覆疊於該左視圖及該右視圖上時待應用於輔助資料之該2D 版本之該像差之輔助像差資料,根據對應於該主配置之一輔助配置中之該2D傳輸格式之一輔助資料串流中之該輔助左視圖及該輔助右視圖之該輔助資料,一進一步輔助資料串流中之該2D版本之該輔助資料,及該傳輸串流中之該進一步輔助資料串流、該輔助像差資料及指示該進一步輔助資料串流之一像差格式指示符;及一視訊處理器(113),其係用於:自該進一步輔助資料串流擷取該輔助資料,同時捨棄提供於該輔助資料串流中之該輔助配置中之該輔助資料,及基於該輔助資料之該2D版本及該輔助像差資料產生用於顯示於該3D視訊資料上之該覆疊區域中之覆疊資料。
  14. 一種用於處理三維[3D]視訊資訊之電腦程式產品,該程式係可操作以致使一處理器執行如請求項1至11中任一項之方法。
TW100124495A 2010-07-12 2011-07-11 三維視訊廣播之輔助資料 TWI568239B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP10169203A EP2408211A1 (en) 2010-07-12 2010-07-12 Auxiliary data in 3D video broadcast
EP10188536 2010-10-22

Publications (2)

Publication Number Publication Date
TW201223246A TW201223246A (en) 2012-06-01
TWI568239B true TWI568239B (zh) 2017-01-21

Family

ID=44501769

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100124495A TWI568239B (zh) 2010-07-12 2011-07-11 三維視訊廣播之輔助資料

Country Status (11)

Country Link
US (1) US9986220B2 (zh)
EP (1) EP2594079B1 (zh)
JP (1) JP5960133B2 (zh)
KR (1) KR101819736B1 (zh)
CN (1) CN103026713B (zh)
BR (1) BR112013000580B1 (zh)
ES (1) ES2670663T3 (zh)
MX (1) MX2013000348A (zh)
RU (1) RU2589307C2 (zh)
TW (1) TWI568239B (zh)
WO (1) WO2012007876A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102484729B (zh) * 2009-04-07 2016-08-24 Lg电子株式会社 广播发送器、广播接收器及其3d视频数据处理方法
JP2013066075A (ja) * 2011-09-01 2013-04-11 Sony Corp 送信装置、送信方法および受信装置
CN103609106A (zh) * 2012-01-18 2014-02-26 松下电器产业株式会社 发送装置、影像显示装置、发送方法、影像处理方法、影像处理程序以及集成电路
JPWO2013128765A1 (ja) * 2012-02-27 2015-07-30 ソニー株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
EP2803197A1 (en) * 2012-04-10 2014-11-19 Huawei Technologies Co., Ltd Method and apparatus for providing a display position of a display object and for displaying a display object in a three-dimensional scene
US9544566B2 (en) * 2012-12-14 2017-01-10 Qualcomm Incorporated Disparity vector derivation
US9716737B2 (en) 2013-05-08 2017-07-25 Qualcomm Incorporated Video streaming in a wireless communication system
WO2015011877A1 (ja) 2013-07-26 2015-01-29 パナソニックIpマネジメント株式会社 映像受信装置、付加情報表示方法および付加情報表示システム
EP3043570B1 (en) 2013-09-04 2018-10-24 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US9900650B2 (en) 2013-09-04 2018-02-20 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
WO2015145491A1 (ja) * 2014-03-26 2015-10-01 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
JP6340558B2 (ja) 2014-03-26 2018-06-13 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
EP3171609B1 (en) 2014-07-17 2021-09-01 Panasonic Intellectual Property Management Co., Ltd. Recognition data generation device, image recognition device, and recognition data generation method
US10200765B2 (en) 2014-08-21 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method
JP2016081553A (ja) * 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生方法、および再生装置
CN106412718A (zh) * 2016-09-18 2017-02-15 乐视控股(北京)有限公司 一种字幕在3d空间中的渲染方法及其装置
CN108881877B (zh) * 2017-05-12 2020-07-24 京东方科技集团股份有限公司 显示处理装置及其显示处理方法以及显示装置
US11012657B2 (en) * 2018-06-08 2021-05-18 Lg Electronics Inc. Method for processing overlay in 360-degree video system and apparatus for the same
KR20220121574A (ko) * 2021-02-25 2022-09-01 삼성전자주식회사 Ar/vr 환경을 제공하는 전자 장치 및 그 운용 방법
US11743440B2 (en) 2021-04-19 2023-08-29 Apple Inc. Transmission and consumption of multiple image subframes via superframe

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009078678A2 (en) * 2007-12-18 2009-06-25 Electronics And Telecommunications Research Institute Stereoscopic content service system and method
US20100142924A1 (en) * 2008-11-18 2010-06-10 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
US20100165083A1 (en) * 2008-12-29 2010-07-01 Taiji Sasaki Recording medium, playback device, and integrated circuit

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2301461C2 (ru) * 2003-07-07 2007-06-20 Самсунг Электроникс Ко., Лтд. Носитель информации, хранящий многоракурсные данные и способ записи и устройство воспроизведения для него
US7650036B2 (en) * 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
KR20110097879A (ko) 2008-11-24 2011-08-31 코닌클리케 필립스 일렉트로닉스 엔.브이. 3d 비디오와 보조 데이터의 조합
EP2356820B1 (en) 2008-12-02 2017-07-19 LG Electronics Inc. 3d caption display method and 3d display apparatus for implementing the same
EP2389767A4 (en) * 2009-01-20 2013-09-25 Lg Electronics Inc 3D SUBTITLE DISPLAY METHOD AND 3D SUBTITLE DISPLAY DEVICE FOR USING THIS METHOD
WO2010095381A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
US8723927B2 (en) * 2009-03-31 2014-05-13 Daniel Rosen Subtitling stereographic imagery
KR20110018261A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치
EP2489197A4 (en) * 2009-10-13 2014-03-05 Lg Electronics Inc BROADCAST RECEIVER AND METHOD FOR PROCESSING 3D VIDEO DATA THEREFOR
WO2011080907A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 表示装置と方法、記録媒体、送信装置と方法、及び再生装置と方法
EP2553931A1 (en) * 2010-04-01 2013-02-06 Thomson Licensing Subtitles in three-dimensional (3d) presentation
BR112012025145A2 (pt) * 2010-04-02 2017-06-27 Samsung Electronics Co Ltd método de transmissão de conteúdos de transmissão digital para fornecimento de conteúdo em 2d ou de conteúdo em 3d, método de receber o conteúdo em 2d ou de transmissão digital para fornecimento de conteúdo em 2d ou deconteúdo 3d, e mídia de gravação legível por computador.
US9055281B2 (en) * 2010-05-20 2015-06-09 Samsung Electronics Co., Ltd. Source device and sink device and method of transmitting and receiving multimedia service and related data
CN105163105B (zh) * 2010-05-30 2018-03-27 Lg电子株式会社 处理和接收用于3维字幕的数字广播信号的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009078678A2 (en) * 2007-12-18 2009-06-25 Electronics And Telecommunications Research Institute Stereoscopic content service system and method
US20100142924A1 (en) * 2008-11-18 2010-06-10 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
US20100165083A1 (en) * 2008-12-29 2010-07-01 Taiji Sasaki Recording medium, playback device, and integrated circuit

Also Published As

Publication number Publication date
US20130106999A1 (en) 2013-05-02
KR101819736B1 (ko) 2018-02-28
US9986220B2 (en) 2018-05-29
CN103026713B (zh) 2016-02-24
ES2670663T3 (es) 2018-05-31
KR20130135828A (ko) 2013-12-11
BR112013000580A2 (pt) 2016-07-05
RU2013105715A (ru) 2014-08-20
EP2594079A1 (en) 2013-05-22
JP5960133B2 (ja) 2016-08-02
BR112013000580B1 (pt) 2022-03-29
MX2013000348A (es) 2013-03-08
TW201223246A (en) 2012-06-01
JP2013540374A (ja) 2013-10-31
CN103026713A (zh) 2013-04-03
EP2594079B1 (en) 2018-03-21
WO2012007876A1 (en) 2012-01-19
RU2589307C2 (ru) 2016-07-10

Similar Documents

Publication Publication Date Title
TWI568239B (zh) 三維視訊廣播之輔助資料
US9491434B2 (en) Method for processing three dimensional (3D) video signal and digital broadcast receiver for performing the method
US8878913B2 (en) Extended command stream for closed caption disparity
US20150195507A1 (en) Apparatus of processing an image and a method of processing thereof
RU2633385C2 (ru) Передающее устройство, способ передачи, приемное устройство, способ приема и способ отображения приема
CN102972030B (zh) 用于生成和重建立体兼容视频流的方法及相关的编码和解码设备
KR20140040151A (ko) 3D (3-dimensional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
JP2013538482A (ja) マルチメディアアプリケーションのためのピクチャ・イン・ピクチャの方法
WO2013031549A1 (ja) 送信装置、送信方法および受信装置
US11936936B2 (en) Method and system for providing and displaying optional overlays
US10057559B2 (en) Transferring of 3D image data
JP2013090020A (ja) 映像出力装置および映像出力方法
WO2013018490A1 (ja) 送信装置、送信方法および受信装置
EP2408211A1 (en) Auxiliary data in 3D video broadcast
WO2013018489A1 (ja) 送信装置、送信方法および受信装置
JP2013026643A (ja) 受信装置、受信方法および送受信方法
KR101435825B1 (ko) 캡션 데이터 송수신 방법 및 캡션 표시 장치
JP2013090019A (ja) 映像出力装置および映像出力方法
KR20120076625A (ko) 3차원 콘텐츠를 제공하는 방법 및 장치
JP2013026644A (ja) 受信装置、受信方法および送受信方法