TWI527433B - 用於產生和重建立體相容視頻串流之方法與相關編碼和解碼裝置 - Google Patents
用於產生和重建立體相容視頻串流之方法與相關編碼和解碼裝置 Download PDFInfo
- Publication number
- TWI527433B TWI527433B TW100112145A TW100112145A TWI527433B TW I527433 B TWI527433 B TW I527433B TW 100112145 A TW100112145 A TW 100112145A TW 100112145 A TW100112145 A TW 100112145A TW I527433 B TWI527433 B TW I527433B
- Authority
- TW
- Taiwan
- Prior art keywords
- video stream
- eye image
- decoder
- metadata
- container
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
Description
本發明係關於一種用於產生一數位立體視頻串流之方法,意即:一視訊串流在一視覺化裝置中經過適當處理後係產生影像序列,該等影像序列隙可由一觀看者以三維方式予以感知。
此一方法係允許具有一習用(非立體)解碼器和電視機之一使用者以二維方式(2D)顯示該等影像。
本發明係進一步關於一種用於以數位格式對一立體視訊串流進行編碼和解碼之編碼裝置和解碼裝置。
近年來,在由新數位技術可取得之新製片工具的刺激下,電影製片界業已對產生立體三維(3D)內容係付出極大注視且投注大量資源。
對於3D之興趣如今係延伸至家庭使用,意即用於顯示將影像顯示在一電視機上。例如:一些付費電視的營運商不久即將廣播三維節目。
對於呈現立體視頻內容之最常用方式係涉及顯示目的為分別針對左眼和右眼之兩個獨立視頻串流,其等接著係由人體大腦重組成一三維物件。
對於家庭使用之立體內容通常係高解析的視頻內容,且可在一大量記憶媒體(數位影音光碟或藍光光碟、磁光性或固態媒體等)、或者是經由(有線或無線)廣播頻道或經由一通訊網路(IP)予以散佈。
然而在製片環境中,隨著現有結構,分別轉移且處理藉由從兩個不同視角拍攝一景象之立體視頻攝像機所產生之兩個串流係不可行。再者,由於抵達最終使用者之散佈網路的規模如此巨大,而使用兩個獨立高解析串流以提供單一服務係不合算。於是,在製片過程期間係必須採取數項措施,以供降低內容轉移和享受所需的位元率。
由於在感知二維或三維影像中之細節的差異上所施行的研究結果似乎指出(即使在立體內容之解析度相較二維內容來說為低時)由該使用者所感知的品質仍然可達接受程度,所以不同技術係業已發展以用於將合成立體視圖之兩張影像封裝成單一訊框。
例如:就單一高解析訊框C之情形(1920 x 1080個像素),合成左通道和右通道(爾後被稱為L和R)之兩個影像係予以獲取為具有等於一高解析訊框的一半解析度之一水平解析度,且接著以並列方式被配置成單一訊框(並列格式),如圖1a中所示。
依此方式,使用單一高解析串流來運送兩個獨立視頻通道係可行;於解碼時,藉由施加合適內插技術,兩個半訊框係被分開且再次被變成16/9格式。
同樣,一替代性過程係可予以使用,其中涉及將垂直解析度減半而留下水平解析度不變,且接著將兩個訊框L和R以一個在另一個上方方式加以疊置,如圖1b中所示。
由合成訊框所組成之立體視頻串流接著係加以壓縮,以供在一廣播網路、一IP網路或一大量記憶媒體上進行散佈之前先行降低其運送位元率。
目前用於散佈高解析視頻所最常使用之壓縮技術係一種由H.264/AVC標準所定義者。
目前市場上可取用之高解析電視機係配備有用以格式解碼高達1080p格式的H.264/AVC解碼器。
各種服務供應商(特別是公眾服務廣播業者)所關注之最為重要需求中一者係集中在立體訊號的向下相容性。
事實上,為允許業已擁有一高解析解碼器之使用者能享受該等廣播服務,三維節目也能被顯示為二維節目係所期望。同樣,在一數位影音光碟、藍光光碟或網際網路站點上的一三維內容能被二維和三維電視機和監視器兩者所顯示係所期望。
能以兩種方式達成此結果:藉由同時廣播一個節目之二維和三維版本兩者、或藉由採取用於對立體串流進行編碼之一適當技術。
當然,第一選擇係涉及浪費頻寬,此為服務供應商寧可避免的一件事。
至於第二選擇,數個技術係用於產生向下相容之立體串流的已知技術。
該些技術中一者係關於所謂深度映圖「depth map」之應用,例如在美國專利申請案第US 2002/0048395號和第US 2004/0101043號中所敘述。
實務上,一訊號係關聯於一二維有色視頻,該二維有色視頻係具有攜載該等深度映圖之一互補黑色和白色視頻之形式。一合適解碼器係能從所接收資料開始來重建一立體視頻。
然而,此技術係遭受與前述相同節目之二維和三維傳輸相同的問題:事實上,兩個視頻訊號係必須被並行傳遞,以造成一高運送位元率。
另一向下相容之立體串流編碼技術係例如被稱為「多重視角(multiview)」。
因為組成該立體視頻串流之左眼影像和右眼影像對的特徵在於一高度相似性,所以在對二維串流進行編碼時所施用之空間-時間冗餘壓縮技術係同樣能被使用在此案例中。事實上,一旦業已減去由於在拍攝點之間的幾何距離(亦即:瞳孔間距離)之某一效應,在該右眼影像和該左眼影像之間的差異係微小的。
此MPEG2標準係業已使用所謂多重視角設定檔(Multi View Profile,MVP)之一補充規格來擴充;同樣,後續的H.264/AVC標準係業已藉由包含此多重視角編碼(MVC)規格來擴充。
該兩個規格之一共通特性係使用可縮放視頻編碼:該立體視頻串流係被壓縮成一基本層(2維基本串流)加上一強化層,其係運送第二視角。只要符合MPEG2或H.264/AVC標準,經編碼串流之語法係確保二維視頻同樣能藉由舊款解碼器進行解碼。
然而,將立體串流編碼成上文所述格式中一者所必要之位元率係仍然過高以致無法被允許使用在廣波環境中。
本發明之目的因此係提供一種用於產生且重建一向下相容之數位立體視頻串流的方法,此數位立體視頻串流係能藉由一廣播業者使用對於一二維串流所需之相同頻寬加以散佈。
本發明之另一目標係提供一種用於產生且重建一向下相容之數位立體視頻串流的方法,此數位立體視頻串流係基於合成訊框之使用,且總是可適用而不論右眼影像和左眼影像如何被封裝成該等合成影像。
本發明之前述目的和其它目標係透過一種用於產生且重建一立體視頻串流之方法,該立體視頻串流係納入附加申請專利範圍中所提及的特徵,該等申請專利範圍係意指作為本發明說明中一不可或缺的部分。
本發明係亦敘述一種用於對一立體視頻串流進行編碼和解碼之編碼裝置及解碼裝置,和一立體視頻串流。
基於本發明之一般想法係提供一種用於產生且重建一視頻串流之方法,該視頻串流係包括依據一封裝技術予以封裝之複數個訊框,使得該視頻串流之解碼結果係可使用於一二維解碼器和一三維解碼器。
在一較佳實施例中,依據本發明之方法係允許依照使得一視頻串流能藉由可相容該H.264/AVC規格之一二維解碼器(不需對此解碼器作任何修改)進行解碼之一方式來預先配置該串流,且接著可予以顯示在一高解析顯示器上。
另一方面,經耦合至一立體顯示器之一適當解碼器係將允許此立體串流以三維方式予以觀看。
在編碼階段期間,該立體視頻串流之向下相容性係藉由已經存在於該立體視頻串流內之原資料的一不同使用而變為可行。
此原資料係定義該立體視頻串流中含有一影像(不論是右眼影像還是左眼影像)之合成訊框的一區域。
對於一二維解碼器來說,該原資料係含有一份資訊,用以指示此解碼器業已對此訊框進形解碼之後,必須輸出該立體串流之經解碼合成影像(亦即:僅含有一個影像,不論是右眼影像還是左眼影像)的一個區域。
因此,廣播業者係僅需要傳送一個立體串流,其接著藉由該解碼器進行適當處理(是否此該解碼器被致能以對立體視頻串流進行解碼):相同的視頻串流係依據加以處理之解碼器的特徵而能以二維或三維格式進行重製。
本發明之進一步目的和優勢將從以下數個實施例的說明(經由非限制性實例所提供)而變為顯明。
現在參考圖2,所示係依據本發明用於產生一立體視頻串流101之一裝置100的一方塊圖。
該裝置100係接收例如兩個視頻串流之兩個影像序列102和103,以打算分別用於左眼L和右眼R。
該裝置100係允許對該等兩個影像序列102和103中的影像進行多工。該裝置100就此目的係包括一組構器模組105,以能夠將輸入影像之像素輸入單一合成影像C。
在下述說明中,當作出參考以將一影像輸入一合成訊框或容器訊框C時,可理解到係意謂執行一程序以(藉由使用硬體及/或軟體手段)產生包括與來源影像具有相同像素之合成訊框C的一區域。假如該合成影像具有如圖1a或1b中所示類型,則在複製步驟中將像素數目在水平或垂直方向上減半係必要的。因此,被輸入該合成訊框C之兩個影像(左眼影像L和右眼影像R)係將被變形且將具有減半的水平和垂直解析度。
在具有一格式(作為圖1c之一替代)之一立體視頻串流的一合成訊框中,假如該等輸入影像具有1280 x 720個像素之一尺寸(所謂的720p格式),其為多個格式中用於傳送具有改良品質但不是真的具有高解析之影像的一格式,則適合含有前述影像兩者之一合成訊框係將為具有1920 x 1080個像素之一尺寸的一訊框,意即:一1080p視頻串流的一訊框(具有1920 x 1080個像素之循序格式)。
在審查之案例中,在不需發生變形及/或降頻取樣(undersampled)下將該等兩個影像(左眼影像L和右眼影像R)輸入該合成訊框C係一有優勢,不過所要付出代價是必須將該等兩個影像中的一影像細分成至少三個部分,係如圖1C之一實例中所示。
要注意到在圖1c之替代格式中,第一影像係可被輸入在該容器訊框之任何點處(只要該容器訊框不須將該第一影像解構到不同區域內);第二影像之訊框的解構和其插入係可依據許多不同技術來完成,該些不同技術之特性係與本發明之目的不相關。
在任何速率下,其中將該左眼影像L和該右眼影像R配置到該合成訊框C內之方式不會對依據本發明之方法的實施方式造成任何影響。
當對由合成訊框C之序列所組成的立體視頻串流101進行編碼時,所要輸入之至少一個元資料M係含有該合成訊框C(其係接收該立體視頻串流101之一二維解碼器在編碼過程後將要予以輸出)之區域的一份資訊。
該元資料M係經調適以識別含有針對該左眼L之一影像或針對該右眼R之一影像的合成訊框C之一區域,前提是該影像還未被解構成各種部分,如同圖1c之實例中的右眼影像。
假如該立體視頻串流101依據該H.264/AVC標準進行編碼,則該元資料M係能有利地取代關於「裁切矩形」之元資料,其中業已藉由「通用視聽服務之先進視頻編碼(Advanced video coding for generic audiovisual services)」在2009年3月ITU-T H.264文件之第7.3.2.1.1節「序列參數集合之資料語法(Sequence parameter set data syntax)」中的特有標準所提供。
此原資料係由於該H.264/AVC編碼提供將該影像解構成16x16之像素巨集區塊(macroblock),不過1080並非是可被16整除的一數字。因此,由一編碼器所使用之內部的單一訊框表示格式可能與實際的訊框格式(對於來說1920x1080個訊框來說,該H.264/AVC編碼器係使用,因而加入八個空行)不相合。然而,用以敘述該「裁切矩形」且被包含在該H.264/AVC標準中之原資料(其之功能係用以指示該解碼器關於經解碼訊框中哪個部分必需被輸出以供重製)係允許以一絕對普遍的方式來定義待顯示的一矩形訊框部分。
實務上,前述係定義從該裁切矩形(用以對待顯示之部分定界限)之水平側邊和垂直側邊之訊框邊緣(以多個像素來表達)的距離。
一般來說,此影像之裁切矩形係亦能以其它全然等效的方式加以定義。例如:其中一者係可指出此矩形之其中一個頂點的位置或該矩形之側邊的維度、或者是兩個相對頂點之座標。
由此可見,藉由不同使用業已標準化之「裁切矩形」的原資料M,且因此使用相同的語法,對可相容該H.264/AVC規格之一解碼器具體詳述該合成訊框C中一任意範圍的重製係可行。
現在參考圖3a、3b和3c,茲在至少一個原資料M中經由虛線而顯示有依據本發明藉由該裁切矩形(關於必須被含有的資訊)所定界限之一些可行區域。
例如:在圖3a中處於並列格式之容器訊框C和圖3c中處於替代格式之容器訊框C裡,由該裁切矩形所覆蓋之範圍係符合該容器訊框C中由該左眼影像L所佔據的範圍。
作為另一實例,在圖3a中處於疊置格式之容器訊框C裡,由該裁切矩形所覆蓋之範圍係符合該容器訊框C中由該右眼影像R所佔據的範圍。
一旦完成編碼階段,此立體串流係能經由一通訊頻道加以傳送、及/或被記錄在一合適媒體(例如:光碟、數位影音光碟、藍光、大量記憶體和類似物)。
圖4a係顯示用於觀看二維內容之一常規系統,其係由一解碼器1100和一顯示器或視覺化裝置1110所組成。該解碼器1100係使該左眼影像L和該右眼影像R兩者中的一者可取用至該視覺化裝置1110(例如:一電視機),藉此允許一使用者以二維方式觀看三維內容。該解碼器1100係可為與該電視機分開之一數位機上盒、或可內建於該電視機內部本身。
類似考量係應用到讀取一容器訊框且加以處理來取得一二維影像之一播放器(例如:一數位影音光碟播放器)。
回去參考圖4a,接收器系統係(經由纜線或天線)接收含有該容器訊框C之一立體視頻串流1103。一解碼器1100係讀取該元資料M,以指出此訊框C中哪一部分必須被使用於將此串流顯示在一顯示器或視覺化裝置1110。接下來,該解碼器1100係將由該元資料M所具體詳述之容器訊框C的部分中所含有影像擷取出來,且予以發送至該顯示器1110。
可能發生的是:由該解碼器1100所輸出之影像的格式係不包含在該顯示器1110原本所支持的彼等者。例如:就處於並列格式之1080p格式來說,解碼器1100在解碼時係將輸出其中的水平維度將為高解析訊框之一半水平維度的一訊框:所生成訊框之範圍因此係將為960 x 1080個像素且其格式係將為8/9。
前述格式不是該顯示器1110原本所支持之一影像格式,不過此格式係可經由適當的內插步驟而被轉回成1920x1080的格式,該等內插步驟係能藉由在所有現代顯示器中所包含的一裝置來施行。該裝置係所謂的定標器(scaler),其功能係將所接收格式調適該使用者所期望的格式(事實上,近來所有電視機之遙控器係包含用於在4/3、16/9、14/9和自動格式之間作出選擇的一按鈕,使得該影像能以原本格式以外之一格式來觀看)。
假如該合成訊框為圖1c中所示之類型,則該二維可相容影像之格式係將為720p之類型:此720p係能由所有高解析電視機(HDTV)或準高解析(HD Ready)電視機所處理的一標準格式。可以認為:該定標器係將確定能夠擴展此可相容影像以覆蓋整個螢幕。
在數台電視機上所施行之試驗業已顯示:即使在使用如同圖1a或圖1b中所示之合成訊框時,該定標器係仍能正確地顯示該等可相容影像,意即藉由將該等可相容影像轉換回全螢幕16/9格式。
然而,僅在藉由配備有機構(經調適以辨認該立體視頻串流中所含有之一特定訊令且能夠不在應用該裁切矩形下對此視頻進行解碼)之一新生代解碼器,以三維模式觀看此立體視頻係將為可行。
前述結果係能以數個方式來完成。例如:一額外的元資料N係可被加入以具體詳述僅對於二維解碼器/電視機為有效的裁切矩形。
因此,現有的二維產品係將不需被更新,且不要求對此等二維產品進行任何韌體/硬體之改變。
在本發明一較佳實施例中,具體詳述是否必須使用原始的裁切矩形之元資料N可能只是用以具體詳述是一二維傳輸還是一三維傳輸的元資料。
例如:此元資料N之傳輸可發生在至少一個服務資訊(SI,Service Information)表中或在H.264的補充增強資訊(SEI,Supplemental Enhancement Information)信息中。作為一替代例,該合成訊框之一列或更多係可專用於特定三維元資料的傳輸。
圖4b係顯示適合用於顯示三維內容之一接收器系統。此一系統係由可以為獨立設備或可以各種方式組構一起之三個部分所組成。該等部分係為下述:一解碼器1100’、一解封包器1105,和一顯示器1110’。
從與圖4a之一比較,變為顯明的是需要一額外構件,意即:該解封包器1105。因為先前技術標準之解碼器在對多個合成訊框C進行解碼之後僅輸出在該裁切矩形中所含有的影像部分,所以該解碼器1100’係以整體方式輸出訊框序列,意即忽略該裁切矩形之資訊:此解碼器因此係一非標準的解碼器。該解封包器1105係從該等合成訊框C中擷取該等影像L和R,且接著在該顯示器1110’本身所需要之模式中予以輸出至該顯示器1110’。
如此進行,該解封包器1105係必須知曉該合成訊框如何被建立。相對單一格式,適合處理各種格式之一解封包器1105因此係必須讀取具體詳述此等模式的元資料P。
此元資料P係可被輸入此等服務資訊表或此等補充增強資訊信息中、或者是被輸入該合成訊框之一列中。在第一案例中,該解碼器1100’讀取該元資料且例如透過一高解析多媒體介面(HDMI)予以發送至該解封包器1105係必要的。應該要注意到:此HDMI介面之規格最近業已為此特別目的而被更新。在第二案例中的情況較為簡單,因為該解封包器1105係將直接在該合成訊框中找到該元資料P。
本發明之特性和其優勢係從上文說明中為顯明。
在一廣播業者想要廣播同樣能被一二維解碼器進行解碼之一三維節目上,本發明之一第一優勢係將不需要傳送兩個同步視訊串流,因而使用較少頻寬以運送此視訊串流。
本發明之一第二優勢係在於前述方法總是能被施加,而不論攜載有該右眼影像和該左眼影像之訊框是如何被封裝到一容器訊框內。
用於產生和重建一立體視頻串流之方法與相關產生和重建裝置係可受到許多可行變化例,而沒有悖離本發明想法之新穎性精神。同樣清楚得是:在本發明之實際實施方式中,所例示細節係可具有不同形狀、或可被其它技術上等效的元件所取代。
例如:儘管業已特別參考該H.264/AVC標準而作出上文說明,清楚的是只要其它標準以類似用於定義該H.264/AVC標準之裁切矩形的方式來使用元資料,該方法係在依據該等標準以執行編碼作業時同樣適用。
例如:儘管業已在本發明說明中對具有1080p格式之合成訊框作出特別參考,清楚得是本發明不依據該合成訊框之尺寸或組成該等訊框之影像的尺寸。因此,本發明係同樣可適用於其中該合成訊框具有該720p之尺寸或為一非常高解析之類型(所謂的2k和4k格式,意即具有約略2000或4000行)的案例。
因此可以容易理解到:本發明係未被用於產生和重建一立體視頻串流之方法和相關裝置所限制,不過可以受到許多修改例、改良例或者是具有等效部件和元件之取代例,而沒有悖離如下述申請專利範圍所清楚具體詳述之本發明想法。
100...裝置
101...數位立體視頻串流
102...影像序列
103...影像序列
105...組構器模組
1100...解碼器
1110...顯示器或視覺化裝置
1100’...解碼器
1103...立體視頻串流
1105...解封包器
1110’...顯示器或視覺化裝置
C...容器訊框
L...左眼影像
R...右眼影像
R1...右眼影像之部分1
R2...右眼影像之部分2
R3...右眼影像之部分3
該等實施例業已參考所附加圖式進行敘述,其中:
圖1a、1b和1c係分別以並列格式、疊置格式、和替代格式之方式顯示一立體視頻串流的一合成訊框;
圖2係顯示依據本發明用於產生一立體視頻串流之一裝置的一方塊圖;
圖3a、3b和3c係顯示具有由一虛線所突顯之裁切矩形的圖1a、1b和1c之合成訊框;
圖4a和4b係顯示用於享受作為一數位視頻串流所接收之電視影像的一裝置之一方塊圖,分別在其中該裝置係僅允許顯示二維影像之情形和其中該裝置係同樣允許顯示三維影像之情形。
100...裝置
101...數位立體視頻串流
102...影像序列
103...影像序列
105...組構器模組
C...容器訊框
L...左眼影像
R...右眼影像
Claims (24)
- 一種用於產生包括多個容器訊框(C)之一數位立體視頻串流(101)之方法,該等容器訊框(C)係包括與一右眼影像(R)和一左眼影像(L)有關之資訊,該方法之特徵係在於對該數位立體視頻串流(101)進行編碼時,至少一個元資料(M)係被輸入,其中該至少一個元資料(M)係經調適以識別僅含有該等兩個影像(L,R)中一影像之一容器訊框(C)的一區域。
- 如申請專利範圍第1項之方法,其中該數位立體視頻串流係依據包含一裁切矩形之一標準進行編碼,且其中該至少一個元資料(M)係定義該裁切矩形,且在使用與該標準相同語法時係僅參照該容器訊框(C)中所含有之該兩個影像(L,R)中的一者。
- 如申請專利範圍第2項之方法,其中該標準係H.264/AVC標準。
- 如申請專利範圍第1到3項中任一項之方法,其中該容器訊框(C)之該至少一個區域的維度係使得在不需要對該區域之寬度/高度比作出任何改變下予以顯示。
- 如申請專利範圍第1到3項中任一項之方法,其中該容器訊框(C)之該至少一個區域係經過內插和格式轉換而使得以16/9格式進行全螢幕顯示。
- 如申請專利範圍第1項之方法,其中至少一個額外元資料(N)係被輸入該數位立體視頻串流,以對該立體解碼器指出該至少一個元資料(M)必須被忽略。
- 如申請專利範圍第6項之方法,其中該至少一個額外元 資料(N)係在關於依據該H.264/AVC標準進行編碼之該數位立體視頻串流的至少一個服務資訊(SI)表中或補充增強資訊(SEI)信息中被發送。
- 如申請專利範圍第6項之方法,其中該至少一個額外元資料(N)係用以指出該節目是二維或三維之元資料。
- 一種用於對包括多個容器訊框(C)之一數位立體視頻串流(101)進行編碼之裝置(100),該等容器訊框(C)係包括與一右眼影像(R)和一左眼影像(L)有關之資訊,該裝置(100)之特徵係在於包括經調適以實施依據申請專利範圍第1到8項中任一項之方法的手段。
- 一種用於從包括多個容器訊框(C)之一數位立體視頻串流中重建至少一個二維可相容影像的方法,該等容器訊框(C)係包括與一右眼影像(R)和一左眼影像(L)有關之資訊,該方法之特徵係在於對該數位立體視頻串流(101)進行解碼時,至少一個元資料(M)係被擷取,其中該至少一個元資料(M)係經調適以識別僅含有該等兩個影像(L,R)中一影像之一容器訊框(C)的一區域。
- 如申請專利範圍第10項之方法,其中該數位立體視頻串流係依據包含一裁切矩形之一標準進行解碼,且其中該至少一個元資料(M)係定義該裁切矩形,且在使用與該標準相同語法時係僅參照該容器訊框(C)中所含有之該兩個影像(L,R)中的一者。
- 如申請專利範圍第11項之方法,其中該標準係H.264/AVC標準。
- 如申請專利範圍第10到12項中任一項之方法,其中該容器訊框(C)之該至少一個區域的維度係使得在不需要對其中的寬度/高度比作出任何改變下予以顯示。
- 如申請專利範圍第10到12項中任一項之方法,其中該容器訊框(C)之該至少一個區域係經過內插和格式轉換而使得以16/9格式進行全螢幕顯示。
- 一種經調適以從包括多個容器訊框(C)之一立體視頻串流中重建至少一個二維可相容影像的解碼器,該等容器訊框(C)係包括與一右眼影像(R)和一左眼影像(L)有關之資訊,該解碼器之特徵係在於包括用於實施依據申請專利範圍第10到14項中任一項之方法的手段。
- 一種用於對一數位立體視頻串流進行解碼且擷取一個容器訊框(C)之右眼影像(R)和左眼影像(L)兩者的方法,其特徵在於一解碼器(1100’)係讀取用以指出該視訊串流是否為立體之至少一個元資料(N),且假如該視訊串流是立體的:在用以定義一裁切矩形之至少一個額外元資料(M)中所含有的資訊係予以忽略;多個容器訊框(C)之序列係以整體方式來產生;該多個容器訊框(C)之序列係被發送至一解封包器(1105),其係產生如一立體顯示器(1110’)所需要之該右眼影像(R)和該左眼影像(L)兩者。
- 如申請專利範圍第16項之方法,其中該解碼器(1100’)係將用以指出該該左眼影像(L)和右眼影像(R)業已如何被封裝之額外元資料(P)發送至該解封包器(1105),特別是從屬於該立體視頻串流之服務資訊(SI)欄及/或補充增強資訊(SEI) 信息的內容。
- 如申請專利範圍第16項之方法,其中該解封包器(1105)係讀取在一容器訊框中所含有且用以指出該左眼影像(L)和該右眼影像(R)業已如何被封裝之額外元資料(P)。
- 如申請專利範圍第17或18項之方法,其中該額外元資料(P)係含有針對該容器訊框(C)之各個區域的裁切矩形。
- 如申請專利範圍第16之方法,其中假如該元資料(N)指出該視頻串流並非立體的,則該解碼器(1100’)係讀取在用以定義該裁切矩形之該至少一個額外元資料(M)中所含有的資訊,且將由該裁切矩形所定義之影像發送至該顯示器(1110)。
- 一種經調適以對一數位立體視頻串流進行解碼且擷取一個容器訊框(C)之右眼影像(R)和左眼影像(L)兩者的解碼器,該解碼器係包括用於實施依據申請專利範圍第16到19項中一者或更多者之方法的手段。
- 一種經調適以對一數位立體視頻串流進行解碼且擷取一個容器訊框(C)之一影像的解碼器,該解碼器係包括用於實施依據申請專利範圍第20項之方法的手段。
- 一種解封包器(1105),其係經調適以依據申請專利範圍第16到19項中一者或更多者來產生如一立體顯示器所需要之一立體視頻串流的右眼影像和左眼影像。
- 一種立體視頻串流(1101),其特徵係在於包括依據申請專利範圍第1到8項中任一者之至少一個容器訊框(C)和至少一個元資料(M,N)。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ITTO2010A000282A IT1399417B1 (it) | 2010-04-12 | 2010-04-12 | Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica. |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201204007A TW201204007A (en) | 2012-01-16 |
TWI527433B true TWI527433B (zh) | 2016-03-21 |
Family
ID=42557522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW100112145A TWI527433B (zh) | 2010-04-12 | 2011-04-08 | 用於產生和重建立體相容視頻串流之方法與相關編碼和解碼裝置 |
Country Status (21)
Country | Link |
---|---|
US (1) | US9386293B2 (zh) |
EP (1) | EP2559257B1 (zh) |
JP (2) | JP6040932B2 (zh) |
KR (1) | KR101889459B1 (zh) |
CN (1) | CN102972030B (zh) |
AU (1) | AU2011241841B2 (zh) |
BR (1) | BR112012025502B1 (zh) |
CA (1) | CA2795115A1 (zh) |
CL (1) | CL2012002849A1 (zh) |
IL (1) | IL222274A (zh) |
IT (1) | IT1399417B1 (zh) |
MA (1) | MA34222B1 (zh) |
MX (1) | MX2012011847A (zh) |
NZ (1) | NZ602870A (zh) |
PE (1) | PE20130819A1 (zh) |
RU (1) | RU2605368C2 (zh) |
SG (2) | SG10201502810SA (zh) |
TN (1) | TN2012000471A1 (zh) |
TW (1) | TWI527433B (zh) |
UA (1) | UA109782C2 (zh) |
WO (1) | WO2011128818A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI690728B (zh) * | 2018-03-02 | 2020-04-11 | 聯發科技股份有限公司 | 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法 |
US10922783B2 (en) | 2018-03-02 | 2021-02-16 | Mediatek Inc. | Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008106185A (ja) * | 2006-10-27 | 2008-05-08 | Shin Etsu Chem Co Ltd | 熱伝導性シリコーン組成物の接着方法、熱伝導性シリコーン組成物接着用プライマー及び熱伝導性シリコーン組成物の接着複合体の製造方法 |
JP5815326B2 (ja) * | 2011-08-12 | 2015-11-17 | ルネサスエレクトロニクス株式会社 | 動画像復号装置及び画像表示装置 |
ITTO20120134A1 (it) * | 2012-02-16 | 2013-08-17 | Sisvel Technology Srl | Metodo, apparato e sistema di impacchettamento di frame utilizzanti un nuovo formato "frame compatible" per la codifica 3d. |
ITTO20120901A1 (it) * | 2012-10-15 | 2014-04-16 | Rai Radiotelevisione Italiana | Procedimento di codifica e decodifica di un video digitale e relativi dispositivi di codifica e decodifica |
US20180213216A1 (en) * | 2015-06-16 | 2018-07-26 | Lg Electronics Inc. | Media data transmission device, media data reception device, media data transmission method, and media data rececption method |
US9894342B2 (en) * | 2015-11-25 | 2018-02-13 | Red Hat Israel, Ltd. | Flicker-free remoting support for server-rendered stereoscopic imaging |
EP3249928A1 (en) * | 2016-05-23 | 2017-11-29 | Thomson Licensing | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
CN107046637A (zh) * | 2017-01-05 | 2017-08-15 | 北京大学深圳研究生院 | 一种针对三维图像的非对称拼接方法 |
US11074453B2 (en) * | 2018-01-31 | 2021-07-27 | Hewlett Packard Enterprise Development Lp | Video active region batching |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1316068A1 (en) | 2000-08-09 | 2003-06-04 | Dynamic Digital Depth Research Pty. Ltd. | Image conversion and encoding techniques |
RU2287858C2 (ru) * | 2001-11-24 | 2006-11-20 | Тдв Текнолоджиз Корп. | Создание последовательности стереоскопических изображений из последовательности двумерных изображений |
AU2002952873A0 (en) | 2002-11-25 | 2002-12-12 | Dynamic Digital Depth Research Pty Ltd | Image encoding system |
US7650036B2 (en) | 2003-10-16 | 2010-01-19 | Sharp Laboratories Of America, Inc. | System and method for three-dimensional video coding |
CA2775734C (en) * | 2004-03-10 | 2014-01-07 | Qualcomm Incorporated | High data rate interface apparatus and method |
JP4638784B2 (ja) * | 2005-07-19 | 2011-02-23 | オリンパスイメージング株式会社 | 画像出力装置及びプログラム |
PL3758381T3 (pl) * | 2007-04-12 | 2021-07-05 | Dolby International Ab | Dzielenie na kafelki w kodowaniu i dekodowaniu wideo |
US8487982B2 (en) * | 2007-06-07 | 2013-07-16 | Reald Inc. | Stereoplexing for film and video applications |
KR100962696B1 (ko) * | 2007-06-07 | 2010-06-11 | 주식회사 이시티 | 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법 |
US8749615B2 (en) * | 2007-06-07 | 2014-06-10 | Reald Inc. | Demultiplexing for stereoplexed film and video applications |
WO2008153294A2 (en) * | 2007-06-11 | 2008-12-18 | Samsung Electronics Co., Ltd. | Method and apparatus for generating header information of stereoscopic image |
KR101450145B1 (ko) * | 2007-06-11 | 2014-10-13 | 삼성전자 주식회사 | 스테레오스코픽 영상 비트스트림 생성 방법 및 장치 |
KR101506217B1 (ko) * | 2008-01-31 | 2015-03-26 | 삼성전자주식회사 | 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치 |
KR101506219B1 (ko) * | 2008-03-25 | 2015-03-27 | 삼성전자주식회사 | 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체 |
CN102656891B (zh) * | 2009-10-20 | 2015-11-18 | 瑞典爱立信有限公司 | 用于多视野视频压缩的方法和装置 |
IT1397588B1 (it) | 2009-12-21 | 2013-01-16 | Sisvel Technology Srl | Metodo per la programmazione automatica di un ricevitore atto a ricevere segnali radiotelevisivi in almeno due diversi formati e relativo ricevitore. |
IT1397591B1 (it) | 2009-12-21 | 2013-01-16 | Sisvel Technology Srl | Metodo per la generazione, trasmissione e ricezione di immagini stereoscopiche e relativi dispositivi. |
-
2010
- 2010-04-12 IT ITTO2010A000282A patent/IT1399417B1/it active
-
2011
- 2011-04-07 RU RU2012147829/08A patent/RU2605368C2/ru active
- 2011-04-07 SG SG10201502810SA patent/SG10201502810SA/en unknown
- 2011-04-07 CA CA2795115A patent/CA2795115A1/en not_active Abandoned
- 2011-04-07 AU AU2011241841A patent/AU2011241841B2/en not_active Ceased
- 2011-04-07 US US13/640,248 patent/US9386293B2/en active Active
- 2011-04-07 MA MA35355A patent/MA34222B1/fr unknown
- 2011-04-07 NZ NZ602870A patent/NZ602870A/en unknown
- 2011-04-07 CN CN201180019048.1A patent/CN102972030B/zh active Active
- 2011-04-07 EP EP11730435.2A patent/EP2559257B1/en active Active
- 2011-04-07 BR BR112012025502-9A patent/BR112012025502B1/pt active IP Right Grant
- 2011-04-07 SG SG2012073094A patent/SG184396A1/en unknown
- 2011-04-07 JP JP2013504370A patent/JP6040932B2/ja active Active
- 2011-04-07 MX MX2012011847A patent/MX2012011847A/es active IP Right Grant
- 2011-04-07 WO PCT/IB2011/051504 patent/WO2011128818A1/en active Application Filing
- 2011-04-07 UA UAA201212802A patent/UA109782C2/uk unknown
- 2011-04-07 KR KR1020127029342A patent/KR101889459B1/ko active IP Right Grant
- 2011-04-07 PE PE2012001993A patent/PE20130819A1/es not_active Application Discontinuation
- 2011-04-08 TW TW100112145A patent/TWI527433B/zh active
-
2012
- 2012-09-28 TN TNP2012000471A patent/TN2012000471A1/en unknown
- 2012-10-09 IL IL222274A patent/IL222274A/en not_active IP Right Cessation
- 2012-10-11 CL CL2012002849A patent/CL2012002849A1/es unknown
-
2016
- 2016-07-28 JP JP2016148640A patent/JP2016197909A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI690728B (zh) * | 2018-03-02 | 2020-04-11 | 聯發科技股份有限公司 | 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法 |
US10922783B2 (en) | 2018-03-02 | 2021-02-16 | Mediatek Inc. | Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis |
US11069026B2 (en) | 2018-03-02 | 2021-07-20 | Mediatek Inc. | Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI527433B (zh) | 用於產生和重建立體相容視頻串流之方法與相關編碼和解碼裝置 | |
JP6013920B2 (ja) | ビデオコンテンツを処理するための装置および方法 | |
TWI520567B (zh) | ㄧ種用於視頻處理的方法和系統 | |
KR101774396B1 (ko) | 2d-호환성 스테레오스코픽 비디오 플로우들을 디코딩하기 위한 방법 | |
US20110149022A1 (en) | Method and system for generating 3d output video with 3d local graphics from 3d input video | |
CA2772927C (en) | Cable broadcast receiver and 3d video data processing method thereof | |
KR101490005B1 (ko) | 3-차원 비디오 콘텐츠로의 삽입을 위해 2-차원 비디오 콘텐츠를 변환하는 방법 및 장치 | |
US20110149040A1 (en) | Method and system for interlacing 3d video | |
JP2012134893A (ja) | 受信装置 | |
US20110150355A1 (en) | Method and system for dynamic contrast processing for 3d video | |
JP2012049932A (ja) | 受信装置 | |
KR20130055248A (ko) | 3차원 텔레비전 수신기를 위한 영상 포맷 변환 방법 및 장치 |