TWI538475B - 用於輸出一個三維影像信號之3d源裝置、用於接收該三維影像信號之3d標的裝置、產生及消耗該三維影像信號之方法、及電腦程式產品 - Google Patents

用於輸出一個三維影像信號之3d源裝置、用於接收該三維影像信號之3d標的裝置、產生及消耗該三維影像信號之方法、及電腦程式產品 Download PDF

Info

Publication number
TWI538475B
TWI538475B TW100144480A TW100144480A TWI538475B TW I538475 B TWI538475 B TW I538475B TW 100144480 A TW100144480 A TW 100144480A TW 100144480 A TW100144480 A TW 100144480A TW I538475 B TWI538475 B TW I538475B
Authority
TW
Taiwan
Prior art keywords
aberration
component
information
image signal
time
Prior art date
Application number
TW100144480A
Other languages
English (en)
Other versions
TW201242336A (en
Inventor
漢恩 威博 迪
Original Assignee
皇家飛利浦電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=45350446&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TWI538475(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 皇家飛利浦電子股份有限公司 filed Critical 皇家飛利浦電子股份有限公司
Publication of TW201242336A publication Critical patent/TW201242336A/zh
Application granted granted Critical
Publication of TWI538475B publication Critical patent/TWI538475B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

用於輸出一個三維影像信號之3D源裝置、用於接收該三維影像信號之3D標的裝置、產生及消耗該三維影像信號之方法、及電腦程式產品
本發明係關於一種傳輸三維(3D)影像資料之方法，該方法包括在一3D源裝置處處理來源影像資料以產生一3D顯示信號，該3D顯示信號包括影像圖框；及輸出該3D顯示信號；及在一3D標的裝置處，基於該3D顯示信號提取該3D影像資料且提供一輸出。
本發明係進一步關於上文提及之3D源裝置、3D顯示信號及3D標的裝置。
本發明係關於依壓縮形式(諸如，例如，對於針對3D之數位視訊廣播(DVB)之一擴展)或未經壓縮之形式經由一高速數位介面(例如，HDMI)傳輸三維(3D)影像資料。
已知用於顯示三維影像(靜態或移動影像)之各種方案。一種熟知方案同時顯示兩個影像，針對左眼及右眼藉由不同的光學偏振或顏色(例如，紅色及綠色)編碼該兩個影像。一觀賞者在左眼及右眼前方佩戴一副具有透鏡之眼鏡。該等透鏡經配置以僅使意欲用於該眼睛(即，僅看見意欲用於該眼睛之影像之一左眼)之影像通過。另一種立體顯示技術循序地呈現意欲用於左眼之一影像及意欲用於右眼之一影像。一使用者佩戴與該等所顯示之影像同步關閉之一副特殊的眼鏡，使得左眼快門在顯示左眼影像之週期期間敞開，且右眼快門在顯示右眼影像之週期期間敞開。
自動立體顯示技術消除一觀賞者對佩戴特殊眼鏡之需要。一種已知方案使用具有安裝在顯示器元件前方之多邊傾斜雙凸透鏡之一平板顯示器。第WO 07/069195 A2號中描述此類型的顯示器之一實例。
已知用於提供2D視訊資料來源之裝置，例如如提供數位視訊信號之DVD播放器或機上盒之視訊播放器。該源裝置耦合至如一電視機或一監視器之一顯示器裝置。經由一合適介面(較佳地如HDML之一高速數位介面)自該源裝置傳輸影像資料。當前諸如3D藍光播放器之3D增強型裝置進入市場。為自該源裝置傳輸該等3D視訊信號至該顯示器裝置，正在開發(例如)基於現有HDMI標準並與現有HDMI標準相容之新高資料速率數位介面標準。傳輸2D數位影像信號至該顯示器裝置通常涉及逐圖框發送數位像素資料，該等圖框被循序顯示。此等圖框可表示一漸進式視訊信號(全圖框)之視訊圖框或可表示一交錯式視訊信號之視訊圖框(基於熟習的行交錯，一圖框提供奇數行且另一圖框提供循序顯示之偶數行)。
同樣地，已知自DVB2D內容至終端使用者之散佈。由於市場引入3D藍光裝置，立體內容已可用且一直存在亦藉由其他方式(諸如透過電纜或衛星)實現此內容之散佈之一要求。為適應，產業正延伸DVB架構以實現3D內容透過DVB之散佈。
本發明試圖提供一種依先前技術未解決之一方式遞送三 維(3D)影像資料之替代性方式。
技術方案定義本發明之實施例。根據本發明，提供一種用於輸出一個三維影像信號之3D源裝置，該三維影像信號包括多視景影像資料，該3D源裝置包括：- 一輸入，其用於接收影像資料；- 一產生器，其經配置以基於該影像資料產生該三維影像信號，該三維影像信號包括：一第一分量，其包括用於立體觀賞之多個2D影像；一第二分量，其包括覆疊資料；一第三分量，其定義用於將影像資料覆疊至該多個2D影像之各自者上方之像差發信號資訊，該第三分量包括定義具有一隨時間變動之像差量變曲線之像差資訊之一參數，該隨時間變動之像差量變曲線提供一預測項(predictor)，該預測項用於指示一覆疊之一像差係被期望如何地隨時間變化；及一進一步第三分量，其在該三維影像信號中比該第三分量晚之一時間定義用於將影像資料覆疊至該多個2D影像之各自者上方之新像差發信號資訊，該進一步第三分量包括定義具有一新隨時間變動之像差量變曲線之新像差資訊之一進一步參數，該新隨時間變動之像差量變曲線提供一進一步預測項，該進一步預測項用於指示一覆疊之一像差係被期望如何地隨時間變化，該進一步第三分量中之該新像差發信號資訊否決該第三分量中之該像差發信號資訊。
而且根據本發明，提供一種用於接收一個三維影像信號之3D標的裝置，該三維影像信號包括多視景影像資料，該3D標的裝置包括：- 一接收器，其用於接收該三維影像信號；- 一解多工器，其用於至少以下分量解多工該三維影像信號：一第一分量，其包括用於立體觀賞之多個2D影像；一第二分量，其包括覆疊資料；一第三分量，其定義用於將影像資料覆疊至該多個2D影像之各自者上方之像差發信號資訊，該第三分量包括定義具有一隨時間變動之像差量變曲線之像差資訊之一參數，該隨時間變動之像差量變曲線提供一預測項，該預測項用於指示一覆疊之一像差係被期望如何地隨時間變化；及一進一步第三分量，其在該三維影像信號中比該第三分量晚之一時間定義用於將影像資料覆疊至該多個2D影像之各自者上方之新像差發信號資訊，該進一步第三分量包括定義具有一新隨時間變動之像差量變曲線之新像差資訊之一進一步參數，該新隨時間變動之像差量變曲線提供一進一步預測項，該進一步預測項用於指示一覆疊之一像差係被期望如何地隨時間變化，該進一步第三分量中之該新像差發信號資訊否決該第三分量中之該像差發信號資訊；及一產生器，其用於產生用於立體觀賞之各自2D影像，其中該覆疊資料係經覆疊如該像差發信號資訊內定義。
注意該第一分量可包括立體像對。
發明者之一觀點係：諸如對3D藍光光碟預編製之內容與通常經由DVB廣播之內容之間存在一實質區別；經由DVB廣播之內容通常包含實況內容；諸如新聞、體育運動或證明關於3D藍光光碟上之內容之廣泛編製之成本在經濟上並不吸引人之內容。
更難以對3D實況內容實施對於2D實況內容並不困難之某些編製任務。此一編製任務之一實例係即時影片之字幕之產生。雖然在2D中可藉由手動或電腦輔助字幕產生以即時插入字幕，但是存在一複雜因數：給3D內容添加字幕之任務提供額外挑戰。在該第三分量中，該像差發信號資訊提供期望指示一覆疊之一像差如何隨時間變化之一預測項。在該進一步第三分量中，用於指示期望一覆疊之一像差如何隨時間變化之進一步預測項否決該先前的預測項。
為減小觀賞者之煩惱，需要依靠不致犧牲藉由該三維(3D)影像資料提供之深度印象之一方式定位該等字幕。一進一步複雜因數係以下之事實：一旦一3D標的裝置已接收到該三維(3D)影像資料並已產生輸出資料以供對一終端使用者顯示，則該裝置繼而亦可需要依用於其使用者介面之一螢幕上顯示(OSD)之方式覆疊額外圖形。
為解決此等問題，本發明提出一種產生一個三維影像信號之方法，該三維影像信號包括依多視景影像資料之形式之一第一分量、指示用於覆疊該多視景影像資料之資料之一第二分量及依發信號像差資訊之後設資料之形式之一第 三分量，該像差發信號資訊對該影像之一(子)區域提供用於指示期望此區域中之像差如何隨時間變化之一預測項。
較佳地該預測項係一單一像差預測項。對一3D標的裝置使用此預測項可藉由適當地使各自字幕及/或圖形資訊相應地位移來適當地覆疊字幕及/或圖形資訊。熟習此項技術者應明白此一(子)區域中之圖形之位移較佳地散佈在相鄰視景上方；例如，在立體像對之情況中，該等圖形之位移較佳地相等地分佈在左影像與右影像之間。
使用該預測項可提供不同時刻之間之像差之一更平緩變動。而且當證明預測不精確時(可在編碼實況影片時發生)，可在未引入大量附加項之情況下發信號一修正值。
較佳地，該像差發信號資訊亦提供一種用於該影像區域之像差之當前值之指示，以改良適時存取一隨機點處之串流之簡易。
在一實施例中，該像差發信號資訊定義用於一第一呈現時戳之一第一像差值，及指示該像差值隨時間之變動之一係數。可在按每圖框之像素或像素分數之變動中指定此係數，或替代地基於該3D源裝置及該3D標的裝置處皆可用之一系統時鐘規定此係數。
視需要，定義隨時間變動之像差量變曲線之參數為時間。
視需要，該第三分量包括定義至少兩個像差值之資訊。而且，該第三分量可定義自該至少兩個像差值之一第一者至該至少兩個像差值之一第二者之一轉變之一時間間隔。
在另一實施例中，該像差發信號資訊定義用於一第一呈現時戳之一第一像差值且定義用於一第二呈現時戳之一第二像差值。此資訊亦為一3D標的裝置提供判定用於顯示字幕/圖形資訊之一像差值之可能性的。使用兩個完全定義點提供一安全特徵在於，若一發信號單元在傳送時或以其它方式丟失，則可防止像差之過度變動。
在一進一步改良中，該像差發信號資訊預測項可進一步包含選自一組預定義量變曲線之一像差量變曲線，藉此實現該像差發信號之微調。後者實現更平緩變動，可在透過添加字幕之前之一時間延遲傳遞內容時實施像差發信號之微調。視需要，該第三分量包括選擇一預定義之像差轉變量變曲線之一參數。視需要，藉由至少一參數參數化該所選擇之預定義像差轉變量變曲線，且視需要，該第二分量進一步包括於定義該隨時間變動之像差量變曲線中使用之一參數。
熟習此項技術者應明白，產生包括發信號像差資訊之後設資料之一個三維信號之方法具有依接收包括該發信號像差資訊之後設資料之該三維信號之一方法之形式之一互補。
接收該三維影像信號之方法包括以下之一步驟：使用該三維影像信號中之該第三分量以使包含於來自指定區域中之第一分量之三維影像信號上之第二分量中之覆疊資料與符合像差發信號分量之像差值覆疊。
本發明係進一步關於一種3D源裝置，該3D源裝置包 括：用於接收多視景影像資料之一接收器、用於產生一個三維影像信號之一產生器，該三維影像信號包括：依多視景影像資料之形式之一第一分量、表示用於覆疊該多視景影像資料之資料之一第二分量及依發信號像差資訊之後設資料之形式之一第三分量，該像差發信號資訊提供對該影像之一(子)區域指示期望此區域中之像差如何隨時間變化之一單一預測項。
本發明係進一步關於一種用於接收根據本發明之三維信號之3D標的裝置，該3D標的裝置包括用於接收根據本發明之三維信號之一接收器及一覆疊產生器，該覆疊產生器經配置以使包含於各自影像(包含於如該像差發信號資訊中規定之指定區域之第一分量中)上方之第二分量中之覆疊資料與符合該像差發信號分量之像差值覆疊。
本發明係進一步關於根據本發明之三維影像信號。
本發明係進一步關於用於實施用於產生或接收根據本發明之三維信號之一方法之軟體。
本發明係進一步關於一種包括當在一電腦上實行時用於用於產生或接收根據本發明之三維信號之一方法之指令之電腦程式產品。
雖然上文已參考經由數位視訊廣播(DVB)傳送一3D視訊信號而予以描述，但是應瞭解亦可在諸如先進電視系統委員會(ATSC)之其他廣播方案之背景下應用本發明。同樣地，雖然所提及之實例係關於包含壓縮視訊資料之DVB，但是應注意同樣可在諸如高解析度多媒體介面(HDMI)或 顯示埠之一實體裝置介面之背景下應用本發明。
鑑於上文，因此首先在來自3D-DVB之介面上使用本發明係可能的，其中依廣播之形式之一3D源裝置發送根據本發明之一第一三維影像信號至依一機上盒(STB)之形式之一3D標的裝置。該STB可接著(例如)在傳入信號上方覆疊一OSD，且可基於該傳入信號產生根據本發明之一第二三維影像信號，並經由該HDMI介面將該第二三維影像信號發送至一3D電視機，因此該STB現在用作一3D源裝置。
將僅藉由舉例之方式參考隨附圖式描述本發明之實施例。
本發明提供一種依先前技術未解決之一方式遞送三維(3D)影像資料之替代性方式。本發明目的係為解決三維影像信號之散佈且可用於實況內容以及記錄內容。
與先前技術相比，本發明解決關於即時添加字幕之問題。發明者之一觀點係：諸如對3D藍光光碟預編製之內容與通常經由DVB廣播之內容之間存在一實質區別；經由DVB廣播之內容通常包含實況內容；諸如新聞、體育運動或沒有時間執行廣泛編製之內容。
現在參考圖1A，圖1A展示當涉及覆疊圖形時經引用貫穿本發明之一些概念。在本發明之背景下，當涉及對一多視景影像產生一覆疊需要之資訊時，此資訊將被指示為一頁面定義。此處將使用符合一顯示器裝置之顯示區域之一影像參考400描述該頁面定義，例如對於一時序立體顯示 器，此區域反射該顯示器裝置之像素陣列。
該頁面定義包含(例如)區域定義，此等區域定義界定該影像參考400中之區域405，此處該等區域405為其中可覆疊圖形之矩形區域。此外，此例示性頁面定義亦包含界定物件410之物件定義，該等物件定義可在該等區域410中覆疊。
雖然該實例物件410展示用詞「文字」，但是應注意此一物件定義可為許多物件之一者。舉例而言，一物件可被定義為下文列出之任何一組合：
●一文字字串
●一文字字串及字型選擇，視需要，具有定義(例如)自習知2D字樣已知之字樣樣式、大小、斜體字、粗體之額外屬性。可提供額外屬性，該等額外屬性提供具有深度屬性(諸如，例如一字型深度值)之一文字字串，及/或透過一浮凸字型樣式之選擇提供該文字字串。
●點陣圖圖形，視需要，亦具有一定深度，及
●動畫點陣圖圖形，亦再次具有一定深度。
該實例進一步展示位於一單一區域405中且藉由虛線劃界之兩個被稱為子區域415之定義。
為適當地覆疊該區域405中之物件410，需要一進一步定義(像差發信號定義)，可在串流中依一像差發信號片段之形式提供像差發信號定義。
藉由本發明依其最簡單之形式提供之像差發信號片段定義頁面層級之一像差值。因此，例如，在一立體顯示器之 情況中，當產生左影像及右影像時將使該等覆疊區域中提供之全部資訊位移相同延伸。
使用一頁面層級方案之優點在於具有覆疊功能性之裝置可保持相對簡單。
在一更先進方案中，該像差發信號定義提供用於區域及/或子區域之一像差值。依此方式，可實現更進階覆疊。考慮(例如)其中需要提供用於一對話之字幕之一情況，其中進行該對話之兩個人位於不同位置處，一個人在攝影機附近之左側，一個人在遠離該攝影機之右側。該更先進的像差發信號方案亦可實現此更複雜的添加字幕方案。
然而熟習此項技術者將明白，當覆疊具有一定深度之圖形時，將必須基於該等圖形之深度調適該等圖形之各自部分之位移。
圖1B展示如何使用一3D影像信號中之像差發信號以在此情況中產生一左影像(450)及一右影像(460)。該左影像(450)及該右影像(460)係基於如圖1A中圖解說明之頁面定義。在此實例中，僅包括該物件410之區域405被給定一非零像差值。因此當產生一左影像450時，在此實例中，該物件410朝左側位移所定義之該像差值除以2，且當產生該右影像460時該物件410朝右側位移該像差值除以2。
熟習此項技術者應明白，將該像差值編碼為對一左影像及對一右影像之位移之總和之選擇係任意的，且可容易地藉由另一編碼取代。
雖然提供用於覆疊圖形之一頁面定義似乎可能簡單明 確，但是產生一頁面定義之實際過程由於(例如)字幕或覆疊無需與覆疊之基礎影片中提供之資訊同步之事實而變得複雜。
舉例而言，考慮其中在一實況事件採訪一特定人之情況。在一定時刻，採訪者結束採訪並說出其對話之最後句子。此時導播切換至另一攝影機。然而，為使觀賞者能閱讀該等字幕，該等字幕將覆疊在新的場景剪輯上。
為解決此問題，一先前技術方案提出具有覆疊之一隨時間變動之定位。圖2圖解說明先前技術過程。考慮(例如)其中產生頁面層級之像差發信號之情況。該頁面定義定義在時間t0處使用之像差值應為d0，在時間t1處使用之像差值應為d1，在時間t2處使用之像差值係d2...等等。為使一3D標的裝置適當地使用像差資訊，在三維影像資料中在需要使用像差資訊之前之某時間發送像差資訊，使得在該時刻使用該資訊，即將必須在符合t1之呈現時戳之前由該3D標的裝置接收(t0,d0)對。換言之，必須在該呈現時戳之前完成用於該呈現時戳之整個頁面定義。
本發明之發明者之一觀點係：雖然此特定方法的確容許(例如)關於場景變化之字幕像差之調適，但是該等像差值之變化將非常粗糙，如藉由如像差之變化之步驟所證明。
為解決此問題，發明者已設計一替代方法，其中該像差發信號資訊包括對影像之一(子)區域指示期望此區域中之像差如何隨時間變化之一預測項。
圖3A中提供此方案之一實例。再次考慮其中發生頁面層 級之像差控制之情況。在時間TA中之一定時刻處，提供一第一時間指示t0及一相關聯之像差值d0。該第一時間指示係關於接近當前時刻之不久的將來內之一時間。此外，提供一第二時間指示t1及相關聯之第二像差值d1。
在一隨後時間TB，接收到資訊(t1,d1)及(t2,d2)。而且在一隨後時間TC接收到資訊(t2,d2)及(t3,d3)。藉由於此更新資訊中提供當前像差值及下一個像差值，接收該三維影像信號之3D標的裝置可內插於此等兩個時刻之間，藉此實現如圖3A中指示之一線性內插。
圖3B中提供一替代性方案，此處有效地提供與參考圖3B提供之資訊相同之資訊，但是像差發信號資訊之格式不同。此處在時間TA處，提供三個值；如上文描述之(t0,d0)及c0,c0定義像差隨時間之變動。
應注意上文參考圖3A及圖3B描述之實施例皆包含冗餘資料：剖析一傳入三維影像信號之一3D標的裝置接收冗餘資訊；原則上，除該第一資料對(t0,d0)外，所有資料對發信號兩次。嚴格說來，無需如此，因為一3D標的裝置能夠基於所接收之資料追蹤此等值。
然而，為產生一更穩定系統且為縮短適當地存取內容所需之時間，可有利於時常重複資料。
圖3C中圖解說明本發明之一進一步優點。再次考慮其中像差發信號為頁面層級之情況。考慮(例如)其中對於一實況事件產生一個三維影像信號之情況。在第一時間指示t0之前之一定時刻TA，將該頁面層級像差設定為d0 (t0,d0)。鑑於場景中存在一中等變化速率之事實，期望在一進一步時刻，第二時間指示t1處，該頁面層級像差應為d1(t1,d1)。在像差發信號片段中提供該兩對。
然而在t0與t1之間之時刻t0'處，由於該場景之一變化，像差層級(t1,d1)之先前預測項似乎發生錯誤。因此，本發明提出「否決」先前預測並發送新像差發信號資訊，該新像差發信號資訊否決該先前發送之資訊。
依上文方式，本發明容許新預測否決先前發送之預測。應進一步注意，雖然在上文中方案(t0',d0')係在(t0,d0)與(t1,d1)之間之線上。然而此並非必需。實際上若該情況要求亦可插入一像差跳動，但是應適度完成此插入，因為此插入將係可見的。應進一步注意，此實例中之新預測(t1,d1')符合第二時間點d1，然而此無需總為該情況。
關於時間例項(time-instance)之定義，應注意可基於(例如)可用在一3D標的裝置處之一時鐘(諸如以在90KHz增量為單位)規定時刻，然而亦可基於圖框數目來代替規定時刻。藉由圖框數目提供之解析度足以提供適當的像差發信號。
如上所述，可需要使一旦判定之像差發信號封裝成資料片段包含於一個三維影像信號中。表格1提供一像差發信號片段之一例示性描述。表格1明顯地展示頁面層級像差更新及/或(子)區域像差更新之使用。如上文所述，對於不支援(子)區域像差更新之裝置而言，可省略此等欄位並僅支援頁面層級像差。此處在欄位page_default_disparity中 提供該頁面層級像差。
注意到，該像差發信號片段並未界定區域或物件，但是主要著重於該像差發信號。然而此片段中可界定子區域，以容許與DVB之回溯相容性。
表格1展示每一區域中可存在多個分離子區域。若情況如此，則subregion_id之值不同於零。
若subregion_id=0，則subregion_disparity(具有整數及分數部分)應用於整個區域。否則，存在多個子區域(具有不同id，大於零)且對每一子區域給定該像差。
區域環路含有按不同於頁面預設像差之按每區域(若可適用)之全部像差資訊。
像差資訊可適用於藉由用含有該像差發信號片段之呈現時戳(PES)封包供應之PTS判定之時刻。
此處提供對該等像差發信號片段中之每一像差值增加一第二(不同)值及指示當(例如，在多少圖框之後)認為「達到」該第二值時之一時間週期值。應實施該3D標的裝置以計算適當的中間值。此實施可甚至傾向於為此使用子像素精確度或不使用子像素精確度。一種新版本的像差發信號片段可被發送至解碼器，該新版本的像差發信號片段具有指示該像差發信號片段何時有效之一PTS，以可能否決該等像差值之當前(中間)狀態。若已提前已知該像差，則可同步更新直到先前更新達到其最終值。對於實況傳送，可依定期間隔(例如，每兩秒鐘一次)發送更新，或可在該間隔結束之前發送該等更新以修正當前指示。
表格2及表格3分別展示page_disparity_update及subregion_disparity_update之一可能語法。
在表格2中，可依(例如)圖框數目為單位來規定間隔直到達到end_page_default_disparity，且該end_page_default_disparity符合該間隔之結束處之像差值。
在表格3中，間隔對應於圖框數目直到end_subregion_default_disparity。且值end_subregion_disparity_integer_part及end_subregion_disparity_fractional_part用子像素精確度表示間隔結束時之像差。
雖然該三維影像信號中之資料之格式化係重要的，但是可設想變動。如下文分別藉由表格4、5及6闡釋。
現在參考圖4，圖4展示根據本發明之一3D源裝置50之一方塊圖。該3D源裝置包括三個功能單元：經配置以接收多視景影像資料51之一接收器RCV、建立深度資訊之一檢驗單元INSP及用於產生該三維影像信號之一產生單元GEN。該多視景影像資料51之源可為(但無需為)一實況攝影機回饋。本發明亦可與源自用於一實況回饋之一視訊延遲線或用於該實況回饋之一習知儲存裝置之內容一起使用。雖然本發明特別適用於實況內容，但是亦可用於預先記錄之內容。
該多視景影像資料51可(例如)表示依壓縮或未壓縮立體像對之一者之形式之立體視訊。替代地，該多視景包括兩個以上視景。在所描繪之實例中，該多視景影像資料51係包括立體像對之一未壓縮視訊串流。此特定情況中之接收器方塊亦壓縮傳入多視景影像資料51，藉此形成包括該多視景影像資料之第一分量52。
該未經壓縮之影像資料51被發送至一檢驗單元，此處該檢驗單元係經配置以即時建立一深度圖。替代地，輸入串流可具備(例如)使用一測距儀或深度攝影機建立之一深度 圖。該檢驗單元亦接收用於覆疊該多視景影像資料51之覆疊資料53。在一例示性實施方案中，該覆疊資料53係(例如)可手動鍵入或基於語音辨識而產生且與該多視景影像資料組合之字幕資訊。
該檢驗單元依包含於所產生之三維影像信號56中之像差發信號資訊之形式輸出一第三分量56。隨著該檢驗單元存取該多視景資訊中存在之深度資訊且具有關於字幕(如在此實例中)之位置之資訊，可將該等字幕定位於該多視景影像資料中之物件前方。若存在不足以適應該等字幕之深度範圍，則該檢驗單元可進一步給壓縮方塊提供裁剪資訊59以(例如)裁剪左影像及右影像，以採用總深度範圍。在此之後，該檢驗單元重新反覆且可製備像差發信號資訊以包含於輸出信號中。
後續配置該產生單元以基於依該多視景資料52、該覆疊資料53及該像差發信號片段之形式之第一分量產生如藉由該3D源裝置輸出之三維影像信號56。
熟習此項技術者應明白，上文參考圖描述4之壓縮及裁剪控制增加至此特定實施例之優點，但並非本發明所必要。
現在參考圖5，圖5展示根據本發明之一3D標的裝置60之一方塊圖。該3D標的裝置包括用於接收根據本發明之三維影像信號56之一接收器RCV。該接收器可為(例如)一DVB接收器或一HDMI顯示介面單元。該傳入信號56後續傳遞通過一解多工器DMX，該解多工器DMX自該三維影像信 號提取分量並製備該等分量以供下游進一步處理。在此例示性實施例中，該等分量係所接收之第一分量61、所接收之第二分量62及所接收之第三分量63。
該所接收之第一分量61包括多視景影像資料，該第二分量包括覆疊資料，且該第三分量包括該像差發信號資訊。後續由一產生器GEN使用該三個分量以產生符合各自立體像對之左影像及右影像之兩個輸出影像68及69。可藉由適當地使位於根據如參考圖1A及1B描述之像差發信號資訊之區域中之物件位移產生該左影像及該右影像。
如上所述，根據本發明之一個三維影像信號提供關於放置在多視景影片上方之覆疊之資訊。在一實施例中，藉由一廣播機廣播、單點傳播或多點傳播此一個三維影像信號。例如，可使用包括根據本發明之像差發信號資訊之一符合3D之DVB-T版本廣播該信號。當藉由一STB接收到此一個三維影像信號且該STB使用該像差發信號資訊以適當地覆疊字幕時，該STB亦可將該像差發信號資訊轉遞給諸如一顯示器裝置之進一步下游裝置。
在上文提及之情況中，該顯示器裝置在(例如)產生其OSD時可使用該像差發信號資訊，使得該顯示器裝置OSD與藉由電視機(包含覆疊字幕)接收之立體影像並不衝突。
亦可在STB選取以進一步使其OSD覆疊至該等立體影像時使用本發明，在此情況中該STB應相應地調適該像差發信號資訊，使得該顯示器裝置亦可適應。
雖然主要參考諸如使用DVB或ATSC之內容廣播解釋本 發明，但是亦可在透過網際網路散佈內容時使用本發明。
現在參考圖6，圖6展示使用根據本發明之一3D源裝置BCST及兩個標的裝置STB及TV2之一系統。藉由該3D源裝置透過諸如空中電波、網際網路或至該兩個標的裝置STV及TV2之一電纜連接之一媒體71傳送根據本發明之三維影像信號。在此情況中，該3D標的裝置STB藉由一可傳送3D信號的HDMI介面連接至顯示器裝置TV1。
應注意到，本發明描述經較佳地組合之兩個發明概念。第一概念係關於在用於一個三維影像信號中之覆疊之像差發信號中使用一單一像差預測項。使用一單一預測項之關鍵優點在於，事實上當在實況內容上覆疊資訊時，可依不需要大的附加項之一方式實現一平滑像差轉變。第二概念係關於本發明提出使用一或多個預測項來使用像差發信號之事實，其中可藉由新預測項否決此等一或多個預測項。以此方式，仍可使用預測項以實現平滑像差量變曲線，同時仍提供適應實況影片之靈活性。而且當僅使用一單一預測項時，可實現一平滑像差量變曲線且當否決一預測項之效率損失保持較低。
雖然貫穿本發明對像差資訊作出文字參考，但是熟習此項技術者應瞭解一像差與深度相關。實際上當關於深度至像差之映射之資訊可用時，可使用深度發信號來代替像差發信號。
鑑於上文，應瞭解的是，亦瞭解貫穿本發明之像差發信號包含深度發信號，假設提供資訊以使深度值映射至像差 值。
然而，鑑於使用像差發信號之顯著優點(顯著優點在於不需要映射功能)，擬定本發明及請求項僅涉及像差發信號。
注意到可在硬體及/或軟體中使用可程式化組件實施本發明，因為可完全或部分基於專用硬體(HW)、專用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)及/或個人電腦(PC)設想此等實施方案。
熟習此項技術者在實踐本發明後從對該等圖式、該揭示內容及該等隨附請求項之一項研究可瞭解並實現該等所揭示之實施例之其他變動。在該等請求項中，用詞「包括」並不排斥其他元件或步驟，且不定冠詞「一」並不排斥複數個。一單一處理器或其他單元可實現該等請求項中引用之若干項之功能。某些措施敘述在相互不同附屬請求項中之純粹事實並不指示不可有利地使用此等措施之一組合。該等請求項中之任何參考符號不應被解釋為限制其等之範疇。
50‧‧‧三維源裝置
51‧‧‧多視景影像資料/傳入多視景影像資料/未經壓縮之影像資料
52‧‧‧多視景影像資料51之第一分量
53‧‧‧多視景影像資料51之覆疊資料
56‧‧‧三維影像信號/第三分量
59‧‧‧裁剪資訊
60‧‧‧三維標的裝置
61‧‧‧所接收之第一分量
62‧‧‧所接收之第二分量
63‧‧‧所接收之第三分量
68‧‧‧輸出影像
69‧‧‧輸出影像
71‧‧‧媒體
400‧‧‧影像參考
405‧‧‧影像參考中400之區域
410‧‧‧區域405之物件
415‧‧‧子區域
450‧‧‧左影像
460‧‧‧右影像
BCST‧‧‧三維源裝置
DMX‧‧‧解多工器
GEN‧‧‧產生單元
INSP‧‧‧檢驗單元
RCV‧‧‧接收器
STB‧‧‧標的裝置
TV1‧‧‧顯示器裝置
TV2‧‧‧標的裝置
圖1A圖解說明在涉及覆疊圖形、包含區域、子區域及物件時使用貫穿本發明之概念之一些，圖1B圖解說明可如何使用對一區域之像差設定以分別產生一立體像對之一左影像及右影像，圖2展示用於對一覆疊定義像差之先前技術結構，圖3A展示可在根據本發明之一實施例中如何對一覆疊定 義像差值，圖3B展示可在根據本發明之一替代性實施例中如何對一覆疊定義該等像差值，圖3C圖解說明優於先前技術之本發明之一優點，圖4展示根據本發明之一3D源裝置之一方塊圖，圖5展示根據本發明之一3D標的裝置之一方塊圖，圖6展示使用根據本發明之一3D源裝置及3D匯集裝置。
400‧‧‧影像參考
405‧‧‧影像參考中400之區域
410‧‧‧區域405之物件
415‧‧‧子區域

Claims (13)

  1. 一種用於輸出一個三維影像信號之3D源裝置，該三維影像信號包括多視景(multi-view)影像資料，該3D源裝置包括：一輸入，其用於接收影像資料；一產生器，其經配置以基於該影像資料產生該三維影像信號，該三維影像信號包括：一第一分量，其包括用於立體觀賞(stereoscopic viewing)之多個2D影像；一第二分量，其包括覆疊(overlay)資料；一第三分量，其定義用於將影像資料覆疊至該多個2D影像之各自者上之像差發信號資訊(disparity signaling information)，其特徵在於該第三分量包括定義具有一隨時間變動之像差量變曲線(disparity profile)之像差資訊之一參數，該隨時間變動之像差量變曲線提供一預測項(predictor)，該預測項用於指示一覆疊之一像差係被期望如何地隨時間變化；且該三維影像信號包括一進一步第三分量，其在該三維影像信號中比該第三分量晚之一時間，定義用於將影像資料覆疊至該多個2D影像之各自者上之新像差發信號資訊，該進一步第三分量包括定義具有一新隨時間變動之像差量變曲線之新像差資訊之一進一步參數，該新隨時間變動之像差量變曲線提供一進一步預測項，該進一步預測項 用於指示一覆疊之一像差係被期望如何地隨時間變化，該進一步第三分量中之該新像差發信號資訊否決(overruling)該第三分量中之該像差發信號資訊。
  2. 如請求項1之裝置，其中該第三分量包括用於將一區域中之覆疊資料覆疊至該多個2D影像之各自者上之像差發信號資訊。
  3. 如請求項1或2之裝置，其中該第三分量容許用於多個分離區域及/或子區域之發信號。
  4. 如請求項1之裝置，其中在像差發信號片段(disparity signaling segments)中提供用於該隨時間變動之像差量變曲線之像差發信號資訊，且其中一像差發信號片段包括一單一像差預測項(single disparity predictor)。
  5. 如請求項1之裝置，其中該第一分量包括立體像對。
  6. 一種用於接收一個三維影像信號之3D標的裝置，該三維影像信號包括多視景影像資料，該3D標的裝置包括：一接收器，其用於接收該三維影像信號；一解多工器，其用於依至少以下分量解多工該三維影像信號：一第一分量，其包括用於立體觀賞之多個2D影像；一第二分量，其包括覆疊資料；一第三分量，其定義用於將影像資料覆疊至該多個2D影像之各自者上之像差發信號資訊，其特徵在於該第三分量包括定義具有一隨時間變動 之像差量變曲線之像差資訊之一參數，該隨時間變動之像差量變曲線提供一預測項，該預測項用於指示一覆疊之一像差係被期望如何地隨時間變化；且該三維影像信號包括一進一步第三分量，其在該三維影像信號中比該第三分量晚之一時間，定義用於將影像資料覆疊至該多個2D影像之各自者上之新像差發信號資訊，該進一步第三分量包括定義具有一新隨時間變動之像差量變曲線之新像差資訊之一進一步參數，該新隨時間變動之像差量變曲線提供一進一步預測項，該進一步預測項用於指示一覆疊之一像差係被期望如何地隨時間變化，該進一步第三分量中之該新像差發信號資訊否決該第三分量中之該像差發信號資訊；且該3D標的裝置包括一產生器，其用於產生用於立體觀賞之各自2D影像，其中該覆疊資料係經覆疊如該像差發信號資訊內定義者。
  7. 如請求項6之裝置，其中該第三分量包括用於將一區域中之覆疊資料覆疊至該多個2D影像之各自者上之像差發信號資訊。
  8. 如請求項6或7之裝置，其中該第三分量容許用於多個分離區域及/或子區域之發信號。
  9. 如請求項6之裝置，其中在像差發信號片段中提供用於 該隨時間變動之像差量變曲線之像差發信號資訊，且其中一片段包括一單一預測項。
  10. 如請求項6或7中任一項之裝置，其中該接收器係以下之一者：一3D IP TV接收器，一3D ATSC接收器，一3D-DVB接收器，一3D HDMI接收器介面。
  11. 一種產生一個三維影像信號之方法，該方法包括：接收影像資料；基於該影像資料產生三維影像信號，該三維影像信號包括：一第一分量，其包括用於立體觀賞之多個2D影像；一第二分量，其包括覆疊資料；一第三分量，其定義用於將影像資料覆疊至該多個2D影像之各自者上之像差發信號資訊，其特徵在於該第三分量包括定義具有一隨時間變動之像差量變曲線之像差資訊之一參數，該隨時間變動之像差量變曲線提供一預測項，該預測項用於指示一覆疊之一像差係被期望如何地隨時間變化；且該三維影像信號包括一進一步第三分量，其在該三維影像信號中比該第三分量晚之一時間，定義用於覆疊該多個2D影像之各自者上之影像資料之新像差發信號資訊，該進一步第 三分量包括定義具有一新隨時間變動之像差量變曲線之新像差資訊之一進一步參數，該新隨時間變動之像差量變曲線用於提供一進一步預測項，該進一步預測項用於指示一覆疊之一像差係被期望如何地隨時間變化，該進一步第三分量中之該新像差發信號資訊否決該第三分量中之該像差發信號資訊。
  12. 一種消耗一三維影像信號之方法，該方法包括：接收該三維影像信號；依至少以下分量解多工該三維影像信號：一第一分量，其包括用於立體觀賞之多個2D影像；一第二分量，其包括覆疊資料；一第三分量，其定義用於將影像資料覆疊至該多個2D影像之各自者上之像差發信號資訊，其特徵在於該第三分量包括定義具有一隨時間變動之像差量變曲線之像差資訊之一參數，該隨時間變動之像差量變曲線提供一預測項，該預測項用於指示一覆疊之一像差係被期望如何地隨時間變化；且該三維影像信號包括一進一步第三分量，其在該三維影像信號中比該第三分量晚之一時間，定義用於將影像資料覆疊至該多個2D影像之各自者上之新像差發信號資訊，該進一步第三分量包括定義具有一新隨時間變動之像差量變曲線之新像差資訊之一進一步參數，該新隨時間變動之 像差量變曲線提供一進一步預測項，該進一步預測項用於指示一覆疊之一像差係被期望如何地隨時間變化，該進一步第三分量中之該新像差發信號資訊否決該第三分量中之該像差發信號資訊，且產生用於立體觀賞之各自2D影像，其中該覆疊資料經覆疊如該像差發信號資訊中定義者。
  13. 一種儲存於一電腦可讀資料載體上之電腦程式產品，該電腦程式產品包括在一計算平台上實行時執行請求項11或12之方法之指令。
TW100144480A 2010-12-03 2011-12-02 用於輸出一個三維影像信號之3d源裝置、用於接收該三維影像信號之3d標的裝置、產生及消耗該三維影像信號之方法、及電腦程式產品 TWI538475B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP10193650 2010-12-03
EP11164718 2011-05-04

Publications (2)

Publication Number Publication Date
TW201242336A TW201242336A (en) 2012-10-16
TWI538475B true TWI538475B (zh) 2016-06-11

Family

ID=45350446

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100144480A TWI538475B (zh) 2010-12-03 2011-12-02 用於輸出一個三維影像信號之3d源裝置、用於接收該三維影像信號之3d標的裝置、產生及消耗該三維影像信號之方法、及電腦程式產品

Country Status (9)

Country Link
US (1) US10057559B2 (zh)
EP (1) EP2647209B1 (zh)
JP (1) JP5955851B2 (zh)
KR (1) KR101834934B1 (zh)
CN (1) CN103262547B (zh)
BR (1) BR112013013486B1 (zh)
RU (1) RU2589870C2 (zh)
TW (1) TWI538475B (zh)
WO (1) WO2012073221A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8737810B2 (en) 2002-11-15 2014-05-27 Thomson Licensing Method and apparatus for cropping of subtitle elements
JP5955851B2 (ja) * 2010-12-03 2016-07-20 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄ画像データの転送
JP6092525B2 (ja) * 2012-05-14 2017-03-08 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像処理装置、情報処理システム、画像処理方法およびプログラム
GB201700121D0 (en) * 2017-01-05 2017-02-22 Rotem Gal System methods and computer readable storage media for conversion of two-dimensional multipile objects layouts into three dimensional layouts
US10212532B1 (en) 2017-12-13 2019-02-19 At&T Intellectual Property I, L.P. Immersive media with media device
WO2020060749A1 (en) * 2018-09-17 2020-03-26 Snap Inc. Creating shockwaves in three-dimensional depth videos and images
EP3857292A4 (en) * 2018-09-26 2022-06-29 Snap Inc. Depth sculpturing of three-dimensional depth image utilizing two-dimensional input selection

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE526226C2 (sv) * 2003-12-19 2005-08-02 Ericsson Telefon Ab L M Bildbehandling
PL1964415T3 (pl) 2005-12-13 2016-03-31 Koninklijke Philips Nv Autostereoskopowe urządzenie do wyświetlania
ATE472230T1 (de) 2007-03-16 2010-07-15 Thomson Licensing System und verfahren zum kombinieren von text mit dreidimensionalem inhalt
EP2308241B1 (en) * 2008-07-24 2017-04-12 Koninklijke Philips N.V. Versatile 3-d picture format
EP3454549B1 (en) * 2008-07-25 2022-07-13 Koninklijke Philips N.V. 3d display handling of subtitles
EP2395772A3 (en) * 2008-09-30 2013-09-18 Panasonic Corporation Glasses and display device
WO2010043773A1 (en) * 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
EP2351377A1 (en) * 2008-10-21 2011-08-03 Koninklijke Philips Electronics N.V. Method and system for processing an input three dimensional video signal
US8301013B2 (en) * 2008-11-18 2012-10-30 Panasonic Corporation Reproduction device, reproduction method, and program for stereoscopic reproduction
EP2356818B1 (en) * 2008-12-01 2016-04-13 Imax Corporation Methods and systems for presenting three-dimensional motion pictures with content adaptive information
JP5226553B2 (ja) * 2009-02-06 2013-07-03 キヤノン株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5820276B2 (ja) 2009-02-17 2015-11-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄ画像及びグラフィカル・データの結合
JP2012120143A (ja) * 2010-11-10 2012-06-21 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5955851B2 (ja) * 2010-12-03 2016-07-20 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄ画像データの転送

Also Published As

Publication number Publication date
US20130250058A1 (en) 2013-09-26
JP2014507078A (ja) 2014-03-20
RU2013129984A (ru) 2015-01-10
JP5955851B2 (ja) 2016-07-20
RU2589870C2 (ru) 2016-07-10
TW201242336A (en) 2012-10-16
US10057559B2 (en) 2018-08-21
KR20130135278A (ko) 2013-12-10
CN103262547A (zh) 2013-08-21
EP2647209A1 (en) 2013-10-09
WO2012073221A1 (en) 2012-06-07
CN103262547B (zh) 2016-01-20
EP2647209B1 (en) 2017-11-01
BR112013013486B1 (pt) 2021-11-23
KR101834934B1 (ko) 2018-03-08
BR112013013486A2 (pt) 2016-10-11

Similar Documents

Publication Publication Date Title
TWI538475B (zh) 用於輸出一個三維影像信號之3d源裝置、用於接收該三維影像信號之3d標的裝置、產生及消耗該三維影像信號之方法、及電腦程式產品
CN102106153B (zh) 字幕的3d显示处理
US10021377B2 (en) Combining 3D video and auxiliary data that is provided when not reveived
US9438879B2 (en) Combining 3D image and graphical data
TWI573425B (zh) 產生三維視訊信號
CA2747106C (en) Method and device for overlaying 3d graphics over 3d video
CN102484738B (zh) 3d屏幕尺寸补偿
US10462414B2 (en) Method and system for generation of captions over stereoscopic 3D images
TW201119353A (en) Perceptual depth placement for 3D objects
US20130182071A1 (en) 3d video image encoding apparatus, decoding apparatus and method
EP2282550A1 (en) Combining 3D video and auxiliary data
JP2012100102A (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2014109321A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR101674688B1 (ko) 입체영상 재생 장치 및 입체영상 재생 방법