TW201143367A - System and method for combining 3D text with 3D content - Google Patents

System and method for combining 3D text with 3D content Download PDF

Info

Publication number
TW201143367A
TW201143367A TW100101302A TW100101302A TW201143367A TW 201143367 A TW201143367 A TW 201143367A TW 100101302 A TW100101302 A TW 100101302A TW 100101302 A TW100101302 A TW 100101302A TW 201143367 A TW201143367 A TW 201143367A
Authority
TW
Taiwan
Prior art keywords
image
text
view
disparity information
content
Prior art date
Application number
TW100101302A
Other languages
English (en)
Inventor
Tao Zhang
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of TW201143367A publication Critical patent/TW201143367A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Description

201143367 六、發明說明: 【發明所屬之技術領域】 本發明係關於影像處理及顯示系統,且更特定言之,本 發明係關於一種用以組合呈三維(3D)形式之文字與相關聯 之3D内容之系統及方法。
本發明係關於題名為「用於區分3D影像與2D影像且用 於藉由特徵對應判定來識別3D影像格式之存在之方法」 (「Method For Distinguishing A 3D Image From A 2D
Image And For Identifying The Presence Of A 3D Image Format By Feature Correspondence Determination」)之美國 專利代理人檔案第PU090183號,該案通常受讓於相同受讓 人。上文識別的申請案之内容特別以引用方式併入本文 中〇 【先前技術】 近些年,已生產越來越多數量的3D内容(諸如電影及類 似物)。期望此趨勢繼續至可預知的將來。類似於其之2D 内容副本,3D内容一般伴隨2D文字資訊(諸如輔助字幕或 隱藏式字幕)。但是,不像3D内容之2D内容對應物以同樣 深度顯示2D内容,一般以不同深度顯示3D内容以創建3D 觀看環境。因為以不同深度顯示3D内容,所以決定何時、 何地及如何放置任何伴隨文字資訊變得成問題。
已建議二維(2D)文字資訊與其等之相關聯之3D内容組合 使用。雖然此一技術顯現為文字及内容之一簡單增加,但 其不提供任何準確控制用於將該文字資訊放置在相對於3D 153392.doc 201143367 内容之一預定或已知深度處。 另一已知技術允許將文字放置在一固定深度處用於所 有圖框之觀看(諸如TV平面若干問題起因於此技術。舉 例而言,若認為藉由平行相機捕獲3D内容,則所得丁乂平 面將係無限的。繼而,此造成任何3£)文字總是顯現在所有 圖框之内容場景後面。為調整3D内容中之文字之深度使得 其可被適當觀看,明顯該内容之每一圖框必須經測試以判 定该文字之深度是否如意欲的可觀看。此一測試技術係耗 時、主觀且無效的。 在共同待審、共同擁有之識別為PCT/Ijs2007/025947相 同之之專利申請案(該案全文以引用方式併入本文)中,以 此一方式將3D文字加至3D内容以便在不造成任何明顯視 覺疲勞情況下避免阻礙該内容之3D效果。在此引用的申請 案中,假設經由一相關聯之深度圖得到每一影像之深度資 訊。該引用的申請案中建議的方法調整用於任何插入文字 之深度值以匹配一給定深度圖之最大深度值。 此一方法可具有若干缺點。首先,無論是包含在一相關 聯之深度圖中或呈-⑨其他形式之深度資訊不彳從内容生 產者取知。不管如何產生3D内容,深度資訊之可得性取決 於首先是否捕獲該資訊’且接著生產者是否願意包含且分 享此資Λ (兔月疋可取得)。此外,除非在相同獲取時間捕 獲邊深度,否則從3D内容之左視圖及右視圖計算深度資訊 一般係困難的。通常從使用兩個相機捕獲的主串流3D内容 獲得左視圖及右視圖。 153392.doc 201143367 上文方法之另一問題係相關聯之深度圖一般按比例調整 為用於每一圖框之一固定範圍。此按比例調整阻礙將3〇文 子資讯準確放置在用於所有圖框之相同深度值處。 除了上文描述的先前技術之問題,當前不存在此技術: 僅基於該内容自身而不依賴任何辅助影像資訊且在3〇内容 及隨附文字資訊已經產生或包裝之後之—時間,諸如在後 期製作(舉例而言’-般非即時執行之一離線操作)期間或 在内容觀看(例如,一般即時執行之一線上操作)期間允 許將3D文字資訊放置在按3D内容之—生產者或甚至最終 觀看者之意願之一位置處。 【發明内容】 本發明之各種實施例藉由判定來自3 D内容之視差資訊且 使用此資訊以及由一使用者或生產者供應用於將呈一 3D形 式之文字最佳定位在相關聯之3〇内容中之一或多個要求而 解決先前技術之此等及其他缺點。文字位置之判定可針對 到達之影像内容串流即時予以執行作為一線上操作或針對 該影像内容之整體以-非即時模式予以執行作為—離線操 作。該視差資訊包含:—組視差值及—視差範圍其等橫 跨-3D影像中偵測的所有對應特徵;用於所有經處理影像 内容之該等視差範圍之-交叉點;及該等視差範圍之一聯 集’其用以展示用於所有經處理圖框之一共同視差範圍。 要求之實例包含(但不限於)以用於整個圖框之一預定視差 值來放置文字、以用於整個圖框之—選擇區域之—預定親 差值來放置文字、避纽擋内容錄制橫跨影像之視差改 153392.doc 201143367 變量以維持一舒適觀看體會來放置文字及類似物。 在本發明之一實施例中,一種用於組合文字與三維(3D) :像内容之方法,其中能夠藉由一3D顯示器件顯示一所得 影像,該方法包含:接收包含至少一 3D影像之一 3d影像 内容及與該至少一3D影像相關聯之文字兩者,其中該至少 一 3D影像包含一第一視圖及一第二視圖;自該至少一 影像提取視差資訊;判定用於該第一視圖中之文字之一位 置;及判定用於該第二視圖中之文字之一位置,其中該第 二視圖中之該位置相對於該第一視圖中之該位置偏移至少 部分基於該視差資訊之一量。 【實施方式】 考慮以下結合隨附圖式之詳細描述可容易理解本發明之 教示。 應瞭解圖式係為闡述本發明之概念之目的且非必然係用 於闡述本發明之僅可能組態。為有利於理解,在可能的地 方使用相同的參考數字來指代圖中共同的相同元件。 本發明之實施例有利提供一種用以使用自3D内容提取之 視差資訊來組合文字與三維(3D)内容之系統及方法。雖然 本發明之實施例主要在一視訊處理器及顯示器環境之背景 中予以描述,但本發明之特定實施例不應視為限制本發明 之範圍。熟習此項技術者應瞭解且本發明之教示將告知本 發明之概念可有利應用於大體任何基於視訊之處理環境, 諸如(但不限於)電視機、轉換編碼器、視訊播放器、影像 檢視器、視訊轉換器或用於組合文字與3D内容之任何基於 153392.doc 201143367 軟體及/或基於硬體之實施。 應瞭解可以硬體、軟體或其等之組合之各種形式實施圖 中展示之元件。較佳地’在—或多個適當程式化通用器件 上、更體及軟體之-組合實施此等元件’該通用器件可包 3 處理器、s己憶體及輸入/輸出介面。 可透過使用專有硬體以及能夠執行與適#軟體相關聯之 軟體之硬體提供該等圖中展示之各種元件之功能。當藉由 一處理器提供該等功能時,可藉由—單—專有處理器、藉 由單—共用處理器或藉由複數個單獨處理器(其中之一 些可共用)提供該等功能。此外,術語「處理器」或「控 制器」之明確使料應解釋為專用於指能夠執行軟體之硬 體’且可隱含包含(但不限於)數位信號處理器(「朦」)硬 體、用於儲存軟體之唯讀記憶體(「R0Mj )、⑲機存取記 憶體(「RAM」)及非揮發儲存器。 其他硬體(習知及/或自訂)亦可包含在本發明之實現中。 1而。》纟4 ®巾展示之任何開關僅係概念性的。該等 開關之錢可透過程式邏輯、透過專有邏輯、透過程式控 制及專有邏輯之互動予以執行,或甚至如從内容背景更明 確瞭解之藉由實施者可選擇之特^技術手動予以執行。 曰熟習此項技術者應瞭解本文呈現的方塊圖表示體現本發 明之原理之說明性系統組件及/或電路之概念性圖式。類 〇地,應瞭解任何流程圖表、流程圖、狀態轉變圖、虛擬 程式石馬及類似物表示各種處理程序,該等處理程序可大體 電腦可讀媒體中表不且因此可藉由一電腦或處理器(無 153392.doc 201143367 論疋否疋本文中明痛展示之此電腦或處理器)予以執行。 最後本文列舉之所有實例及條件語言意欲幫助讀者理 解本發明之原理及由發明者貢獻用於增進最先進技術之概 念。本發明之原理因此可解釋為不限制或約束於此等明確 列舉的實例及條件。 呈二維(2D)視訊之文字之使用為熟習此項技術者已知。 三維(3D)視訊及電影《當前關注已建立對於將文字加至犯 内容之技術之需要。因此,需要最佳化將文字插入於扣内 容中之技術使得加入的文字不阻礙3D内容中之犯效果且 使得當觀看3D内容時使觀看者視覺上愉快。 根據本文揭示的本發明之各種實施例之原理,可離線或 ,上執行文字資訊與3D内容之組合。術語「離線」意欲涵 蓋在非即時觀看事件(諸如一後期製作操作)之一時間處執 行之此等操作。術語「線上」意欲涵蓋當内容展示於-使 用者(舉例而言)時一TV或内容播放器上之即時觀看事件。 在離線處理中(諸如在後期製作階段中),3〇文字資訊 (包含其自身之文字、其意欲的位置及用於該3]〇内容之影 像像差或視差資訊)通常可在錄製之後予以組譯及/或判定 為正處理之圖框。一般適宜於離線處理之内容之實例包含 電視遊戲表演、電影錄影帶或DVD、包含訓練視訊之個人 錄影帶、經由有線電視、衛星或網際網路提供者提供之電 影或類似物。此文字資訊可儲存在檔案(諸如隱藏式字幕 或與該内容相關聯之中繼資料)中用於稍後使用(諸如對一 使用者顯示該内容)。 I53392.doc 201143367 ^線上處理中(諸如在—τν或類似物上之-即時觀看事 件期間)’在展示相關聯之内容之前可產生扣文字資訊。 舉例而言’即時觀看事件可包含電視新聞播出、實況研討 ^運動事件°舉例而言,該文字可自相關聯之字幕或輔助 子幕檔案取得’或可經由一指令檔提供該文字。或者,可 即時產生文字。在-實施例中’不可自任何檔案取得深度 或像差^訊,所以必須彦峰句"笼电斗、 — 乂肩座生这冰度或像差資訊以完成該文 子與3D内容之合適組合以用於對觀看者即時顯示。 在輔助字幕或字幕之-實财,通常在—電腦上建立該 輔助字幕或字幕之文字’且接著使用時間碼將該文字與視 訊内容时。該文字及該視訊内容接著在事件被傳播或散 佈之前傳輸至一或多個檔案。 可藉由熟習此項技術者已知之習知處理程序建立並散佈 文字資訊。舉例而言’ 一習知處理程序包括自一指令檔建 立一文字檔案《該文字檔案包含三個值:一開始圖框、一 結束圖框及跨越自該開始圖框至該結束圖框(包含該結束 圖框)之該等圖框之文字。對於此實例,接著在自開始圖 框至結束圖框之所有圖框中重複該文字。本發明之實施例 係關於判定用以定位該文字在一適當感知深度值處之位置 之視差參數連同任何其他要求用於相關聯之視訊圖框。 在本文之描述中’參考可與3D内容組合之簡單文字之文 字資訊。可交替使用此等術語連同不意欲限制或損失一般 性及意思之其他識別變體。應瞭解根據本發明之實施例至 少存在可加至内容視訊之至少兩種類型的文字(即,輔助 153392.doc •10· 201143367 字幕及字幕)。輔助字幕一般意欲用於願聽之觀眾且字幕 通常意欲用於不願聽之觀眾。輔助字幕可將來自該文字之 對話翻譯成一不同語言’但輔助字幕很少展示聲音資訊之 所有者。字幕傾向於包含來自該内容之聲音部分之所有資 訊。舉例而言,字幕展示該内容之音響效果(諸如一「電 話鈴聲」或「腳步聲」),而輔助字幕將不包含或顯示來 自該聲音之此資訊。 隱藏式字幕係隱藏在一視訊信號中、不存在一專門解碼 器而不可視之字幕。舉例而言,該隱藏式字幕隱藏在該視 訊信號之垂直消隱間隔(VBI)之行21中。非隱藏式字幕係 已經解碼之字幕,所以像一電影中之輔助字幕一樣,該等 非隱藏式字幕已變成電視圖像之一整體部分。換言之,非 隱藏式字幕不可能被去掉。術語「非隱藏式字幕」亦用於 才曰利用一子元產生器建立之輔助字幕。 圖1描繪根據本發明之一實施例用於組合3 d内容與相關 聯之文字之一系統1〇。在圖丨中,提供一掃描器件12用於 將膜漾印(film print)14(諸如拍攝用負片)掃描成一數位格 式(諸如Cineon格式)或動晝與電視工程師協會(SMpTE)數 位圖像交換(DPX)檔案。舉例而言,該掃描器件12可包括 將自底片(諸如具有視訊輸出之一 Ard L〇cPr〇TM)產生一視 訊輸出之一電視電影傳送裝置(telecine)或類似物。或者, 可直接使用來自後期製作程序或數位電影(digital cinema)16之權案’諸如已呈電腦可讀形式之檔案。電腦 可讀檔案之潛在源係Avidtm編輯器、Dpx檔案、D5磁帶 153392.doc • 11 - 201143367 及類似⑯此外,舉例而言,可藉由一捕獲器件i 8提供呈 立體内容形式之3D内容或2D影像形式及相關聯之深度 圖。包含輔助字幕及字幕棺案之文字標案2〇可由一指令槽 予以建立且可藉由-輔助字幕監控器(subtiue superior) 提供至該系統。 可將掃描的膜漾印、數位電影影像及/或31)内容以及文 字檔案輸入至後處理器件22(例如’一電腦)中。在本發明 之一實施例中,可在各種已知電腦平台之任一者上實施該 後處理器件22,該等已知電腦平台具有:硬體,諸如一或 多個中央處理單元(CPU);記憶體Μ,諸如隨機存取記憶 體(RAM)及/或唯讀記憶體(R〇M);及輸入/輸出(1/〇)使用 者介面26,諸如一鍵盤、游標控制器件(例如,一滑鼠或 操縱桿)及顯示器件。該電腦平台亦包含一作業系統及微 指令碼。根據本發明之一替代實施例,本文描述的各種處 理程序及功能可係該微指令碼之部分或係經由該作業系統 執行之一軟體應用程式(或其等之一組合)之部分。此外, 各種其他周邊器件可藉由各種介面及匯流排結構(諸如一 並列埠、串列埠或通用串列匯流排(USB))連接至該電腦平 台。此等、其他周邊器件之實例可包含額外儲存器件28及 一印表機30。該印表機30可用於印刷底片32之一修訂版本 (諸如’該底片之一立體版本),其中已使用下文進一步描 述之文字插入技術將文字插入於一場景或複數個場景中。 此外’可產生修訂底片或視訊之一數位檔案34且可將其提 供至一 3D顯示器件使得一觀看者可觀看到3D内容及插入 153392.doc •12· 201143367 的文字。或者,該數位檔案34可儲存在儲存器件28上。 在圖1之實施例中,一軟體程式包含儲存在該記憶體 中之一文字處理模組38,該文字處理模組如下文進一步闡 述用於組合文字與3D内容。 存在用於處置並顯示3D内容之許多内容格式及顯示類 型。此等尤其包含立體、全像及自動立體。最普遍的係要 求主動或被動眼鏡的立體顯示器Μ吏用(舉例而言)雙凸透 鏡之自動立體顯示器不要求眼鏡且變得越來越適用於家庭 及專業娛樂。此等顯示器之—些者㈣+深度格式進行操 作。在此格式巾,組合斯見訊及深度資訊來建立職 果。 、准(3D)影像現今以許多不同數位格式存在 3D内容包含初始作為分開立體影像(或視圖)而產生之一對 影:。應瞭解術語「立體影像」與「立體視圖」及術語 心像」與®」在無意思損失且無任何限制意欲情況 下可彼此交換使用。可編碼此等影像之每一者。為儲存或 散佈或顯示該3D影像,兩個立體影像(諸如—左影像及一 右影像)之内容被組合為-單一影像圖框,使得每一圖框 表示整個3D影像,而不使用兩個分開立體影像(各自在其 4自身之圖框或檔案中)。 ^文提㈣可容易計算深度’則3D辅助字幕之插入將係 rr的。但疋,因為足夠密度之—準確深度圖用以最佳計 异係困難且耗時的,所以一使 犯内容巾文字資^於判定 資》fl之放置之替代方法。根據本發明之原 J53392.doc •13- 201143367 理,已發現螢幕視差資訊係有用的並且係對直接使用判定 3D内容中文字之放置之一適宜替代。 圖2描繪根據本發明之一實施例用於影像之若干不同實 J之螢幕視差與感知深度間之一關係。在圖2中,X丨係左 、圖中之點之位置,Xr係右視圖R中相對應部分之位 置’且x係觀看者看見之感知影像之位置。接著d表示勞幕 視差且Z表示感知深度。 在圖2之左側上,該影像χ展示在與負視差一致之一感知 深度Z處。在圖2之右側上,該影像χ展示在與正視差一致 之一感知深度Z處。 如圖2中展示,若Χι定義為左視圖L中之一點之一投射影 像且若Xr定義為右視圖R中之相同點之相對應投射影像, 則根據方程式(1)定義螢幕視差,方程式(1)遵循: d==Xr之水平位置-Χι之水平位置 P) 在建構方程式!中,假設產生左視圖L及右視㈣之兩個相 機以一並排組態予以配置,在該兩個相機間具有一些水平 間隔(h〇rizontal separati〇n)量。此並排組態亦意欲涵蓋以 下情形:肖等相機由於其等之垂直配置(一相機在另一相 機之上)而顯示一垂直間隔(vertica][ separati〇n)。當相機以 一垂直或上下排列(t〇p-bottom)組態予以配置時,接著對 應改變該方程式使得根據方程式(2)來定義該螢幕視差,方 程式(2)遵循: d=Xr之垂直位置-Χι之垂直位置 (2) 在上文方程式(2)中,當d係正的(>〇)時,感知影像定位在 153392.doc •14· 201143367 螢幕後面(即,_面後面)且條件係正視差之―者… 時,感知影像定位在榮幕上且條件係沒有視差' 广?的(<°)時,感知影像在營幕前面且條件係負視 差之一者。 :實驗實踐,顯露出螢幕視差峨感知深度有關的結論 理。感知深度係當觀看如圖2中展示之扣内容時一觀 =者感知之深度。感知深度與實際深度相關且明顯不同於 實際冰度。感知深度-般具有與實際深度之—次序大體類 似的深度等級次序。然而,舉例而言,深度量由於相機之 投射變形而經受改變。為理解此點’假設若一圖框中之點 A、B及C顯示用於實際深度之等級次序如下: 實際深度(A)>實際深度印)>實際深度(C) 接著期望感知深度之等級次序將如下: 感知深度(八)>感知深度(B)>感知深度(c) 如上文闡述’在自實際深度轉變至感知深度中一般將不維 持此等點間之實際距離。此等關係、意欲維持在相同圖框 内。非必然期望此等關係將保持用於橫跨不同圖框之相同 點A、B及C。 螢幕視差與實際冰度間之精確關係複雜的且不易於判 定、。當藉由觀看軸平行之器件捕獲左視圖及右視圖時,榮 幕視差與實際深度間之關係經發現係大體線性的。否則, 當藉由觀看軸不平行(諸如當其等係斜交又關係時)之器件 捕獲該左視圖及該右視圖時,螢幕視差與實際深度間之關 係經發現係大體非線性。自本文之實驗實踐,發現不考慮 153392.doc 201143367 左捕獲器件及右捕獲器件之定向’螢幕視差與感知深度間 之關係總是線性的。基於此實驗實踐,發現該螢幕視差之 絕對值越大(即,該螢幕視差之量值越大),感知深度之絕 對值越大(離螢幕越遠)。 感知深度係由觀看者感受的深度。實際深度不是由觀看 者實際感受的。基於此認識’因此本文中判定可能且較佳 使用螢幕視差及感知深度,作為一有效方式以根據本發明 之原理來判定用於3D背景中文字之放置之適宜深度值。 圖3描繪根據本發明之一實施例用於離線判定於顯示文 字與3D内容中使用之一最佳視差值之一方法之一流程圖。 如上文描述,一離線方法適當於(舉例而言)一後期製作階 段中使用。圖3之該離線方法描繪為具有兩遍次。一第— 遍次處理每一圖框以判定用於該圖框之特定視差資訊。此 視差資訊包含視差值之一可能組與範圍及視差值之一共同 範圍。第二遍次使用收集的視差資訊組合來自一生產者或 使用者之一組一或多個期望的要求以選擇一最佳視差值, 該最佳視差值滿足該生產者/使用者之要求用於最終放置 3D文字該於3D内容中。 一要求一般提供待達到之一條件用於文字放置。由該生 產者或該使用者或與内容相關聯之其他個人供應要求。舉 例而5,彳要求以—預定視差值放置文字資訊使得勞幕前 面之感知深度在所有圖框中顯現為大體岐的。要求之實 例包3 (但不P艮於)以用於整個圖框之—預定視差值放置文 子以用於整個圖框之一選擇區域之一預定視差值放置文 153392.doc 201143367 字、避免阻擋内容且限制橫跨影像之視差改變量以維持一 舒適觀看體會放置文字及類似物。 為實現以一預定值(諸如一最大感知深度)放置該文字之 一例示性要求’在影像之限制或正觀看的影像之群組内滿 足此要求之最佳視差值係d=UDmin,如下文方程式中進一 步詳細展示及描述。當然,不同要求將導致所選的不同視 差值。希望可藉由製造者設定或甚至可藉由使用者設定一 或多個預設要求用於在離線處理中使用。在本發明之替代 實施例中,上文描述的該等要求同樣可應用於線上處理。 在圖3描繪的方法中’該第一遍次包含步驟831、S3 2及 S33,而該第二遍次包含步驟S34、s35、S36、S37及 S38。如圖3中所示,該第一遍次執行圖框處理以判定視差 範圍。s亥第二遍次執行來自該第一遍次之視差資訊處理以 判定用於每一圖框之一最佳視差值。 圖3之該方法在步驟S3 1處開始,在步驟S3 i處接收一對 立體影像資訊。通f ’讀至該步驟巾之該立體對包含一左 視圖及一右視圖,如上文描述。該立體對在該方法中定義 為對(L,R) 〇接著該方法前進至步驟μ]。 在步驟S32處,執行必要處理以計算、更新且保留用於 當前圖框包含P、DX、IntD及UD值之視差資訊。下文更詳 細描述並參考圖5描述該等變數及其等之相關計算。p係視 差組’其保持用於一圖框範圍之每一圖框中之每一偵測的 點之視差資訊。通常’希望圖框範圍包含除了當前圖框之 外的-或多個先前圖框,如下文進一步詳細闡述'然而, 153392.doc 201143367 亦希望圖框範圍亦可包含除了該當前圖框之外的一或多個 先刖圖框及一或多個隨後圖框。DX係視差範圍組,其保 持視差值p之範圍自一最小視差值至一最大視差值用於一 影像圖框中之所有特徵點。匕山係交又組,其包含用於經 處理圖框之視差範圍。UD保持用於所有經處理圖框之共 同視差值。當完成變數P、DX、IntD及UD之處理時,該方 法前進至步驟S33。 ★希望至少Μ計算的變數組將儲存在記憶豸中或與該或該 等影像棺案相關聯之一檔案中或與該影像相同的檔案中。 *然,後.者情況要求以該視差資訊與該影像可分開之一方 式連同輔助影像資料一起儲存該視差資訊。 在離線處理中,在一實施例中,期望在該第一遍次中保 持Ρ中之所有經gf算的視差資訊。當在本文之該方法之該 第一遍次中判定該視差資訊時,可期望使用P之視差組Pi 之僅一小範圍以根據要求判定最佳視差。舉例而S,當在 該第二遍次中正處理圖框i時,在該第i個圖框之任一側上 可使用用於m個圖框之視差值組(即,自圖框i-m至圖框 1 m)卩判;t最佳視差值。m之值可與期望的—樣小或 大_°在實驗實踐之—實例中,m選為-小正整數(諸如 便減小用於該視差資訊組之儲存效果。應注意用 :算多於哈好該當前圖框之視差資訊之能力將不僅影響 x iP 其亦影響其他視差資訊(諸如該視差範圍 組 DX)。 在步驟S33處’判定是否已處理所有立體對(L,R)。若判 153392.doc 201143367 疋為否」’則接著圖3之該方法返回至步驟S31,在步驟 印處將接收另_立體對用於處理。若判定為「是」,則接 著圖3之該方法前進至步驟咖以開始處理之該第二遍次。 在步驟S34處’再次處理該等立體對。如步驟S31中接收 每-立體對。t已接收或讀入一對時,接著圖3之該方法 前進至步驟S35。 在步驟S35處’舉例而言’自該視差資訊且自接收自使 用者或生產者的該或該等要求來判㈣最佳視差值。藉由 分析該視差資訊以選擇用於文字放置之一視差值,該文字 放置互相儘可密切地滿足該視差資訊(即該視差值包含 在由視差資訊P、DX、IntD&UD表示之該等視差值中)及 該要求,而判定該最佳視差值。下文更詳細闡述此概念。 在本發明之一實施例中,一要求(如上文之該等實例中 描述)可公式化為一通用函數f,使得用於文字放置與相關 聯之3D影像之最佳視差值d根據方程式(3)得到,方程式(3) 遵循: d=f(P,DX,IntD,UD) (3) 即,自要求f(·)計算該最佳視差值d,該要求f(.)取決於來 自p、DX、IntD及UD中之視差參數值之視差資訊之以一些 或所有者。自下文給出的該視差資訊之更詳細描述,將瞭 解用於該要求函數之基礎參數係p,此係因為可自p直接或 間接地計算出剩餘的參數DX、intD及UD »基於關於所有 視差參數對P之最終相依性之知識,可根據方程式(4)簡化 用於該最佳視差值d之公式,方程式(4)遵循: 153392.doc -19· 201143367 d=f(p) (4) 當然,應瞭解用於d之此簡化公式涵蓋更嚴格的表述,該 表述包含與一特定要求所需要的自p導出之參數之許多者 一樣的參數。 下文描述用於要求之許多實例以促進更好理解判定該最 佳視差值d之方式,使得可與該要求一致放置文字及相關 聯之3D影像。在來自實驗實踐之一實例中,定義一要求用 於以用於整個或整體圖框之一最大負視差放置該文字。對 於此實例’判定滿足該要求之該最佳視差值為d=f(p)= UDmin用於該當前圖框。 在來自實驗實踐之另一實例申,定義一要求用於以一最 大負視差放置該文字用於該當前圖框中之整個圖框之一選 擇區域。對於此實例,在該影像之定義的區域尺中判定滿 足此新要求之該最佳視差值為d=f(P,R)=最大負視差。應注 意將有必要根據该要求提供R作為一額外參數。應瞭解判 定的最佳視差值可能不是整體影像之最大負視差值。 在來自實驗實踐之又另一實例中,定義一要求用於將該 文字放置在相對於該影像内容之位置處,該文字將不阻擋 5亥内谷且將用於該文字之視差變化保持小。藉由使視差變 化保持小’可能維持一合理舒適位準用於正閱讀自一影像 至下一影像之文字之一觀看者。當實施該要求£(.)時,有 必要使用來自許多圖框之視差資訊使得用於以最佳視差值 之文字放置之圖框至圖框之轉變平滑且使一觀看者對該等 圖框感到愉快。較佳地’該等圖框係連續圖框。此外,在 153392.doc -20- 201143367 本發明之一實施例中,該等圖框可選為先前圖框連同該當 月'j圖忙或隨後圖框連同該當前圖框或先前圖框與隨後圖框 兩者之一群組連同該當前圖框。對於此實例,此要求中之 所得最佳視差值非必然對應於一最大負視差。事實上,用 於每一圖框之該最佳視差值可小於當前圖框中之一最大負 視差值(即,大於最大負視差值之絕對值),以便保持用於 自一圖框至下一圖框之文字放置之轉變平滑。應注意,判 定的最佳視差值可能不是整體影像之該最大負視差值。 在完成步驟S35處,圖3之該方法前進至步驟S36。 在步驟S36處,立即儲存及/或使用來自步驟S35之該視 差值以產生3D文字。該視差值d可連同該影像一起儲存或 在一替代實施例中可儲存在伴隨該影像之一分開檔案中。 該視差值d亦可連同與該影像相關聯之文字檔案一起儲 存。在任何情況下,在步驟835中計算的該視差值最終用 在該3D文字之產生及放置中。亦希望來自步驟s35之該最 佳視差值d可經儲存且接著傳送至顯示單元(諸如—τν), 在該顯示單元處使用該視差值d來產生該31)文字。 在來自實驗實踐之-實例中’舉例而言,#輔助字幕或 子幕中文子之位置經建置用於左(右)視圖時,接著直接使 用來自步驟S35之該最佳視差值及該左(右)視圖中之該文 字之位置,以使用上文給出的視差方程式放置且產生其他 視圖中之該3D文字。在本發明之各種實施例中,上文闡述 的位置可係該視圖中之一絕對位置或相對於特定視圖中之 一已知參考點而判定之一相對位置。舉例而言,該相對位 153392.doc -21 - 201143367 置可選為該視圖之—特定以(諸如左上角)。在完成步驟 S36處,圖3之該方法前進至步驟s37。 ” 在步驟S37處,判定是否已在該第二遍次中處理所有立 體對(L’R)。若判定為「否」,則接著圖3之該方法返回至 步驟S34,在該步驟S34處將接收另一立體對用於第二遍次 處理。若判定$「是」,貝接著圖3之該方法前進至步驟 S38,在该步驟S38處該處理結束。 一 在圖4中,展示用於使用線上處理判定該3D文字定位之 例示性方法。在上文參考圖3描述之該離線處理方法 中,假設來自該等影像之所有資料係可取得。此假設提供 -機會用以同時分別對所有圖框運行該方法之該等遍次。 對於線上處理,僅判定何時接收新影像圖框且可用於處 理。相比於圖3中展示之該離線處理方法,圖4之該方法儲 存已經收集並判定之所有資訊且接著基於現有資訊及要求 判定視差。 熟習此項技術者應瞭解圖4之該方法可制於離線影像 處理及3〇文字定位。雖然預期對於此離線處理,圖4之該 方法不與圖3中闡述的處理一樣有效率。 圖4描繪根據本發明之-實施例用於線上判定於顯示文 字與3D内容中使用之—最佳視差值之-方法之-流程圖。 即’圖4十之該方法展示為用於每一影像之一單一遍次技 術圖4之°亥方法在步驟S41開始,在該步驟S4丨中,接收 或讀取影像資訊之一立體對(L,R)以用於處理。如上文提 到,讀至該步驟中之該立體對通常包含—左視圖及一右視 153392.doc •22- 201143367 圖,如上文描述。圖4之該方法接著前進至步驟S42。 在步驟S42處,執行必要處理以計算、更新且保留用於 當前圖框包含P、DX、_UD值之視差資訊。步驟s42 以類似於步驟S32之一方式進行操作,如上文描述。下文 參考圖5更詳細描述該等變數及其等之相關計算。當完成 用以计算、更新及保留變數p、Dx、IntD& UD之處理時, 之該方法前進至步驟S43。如上文描述’希望至少經計 异的變數組將儲存在記憶體中或與該或該等影像檔案相關 聯之一檔案中或與該影像相同的檔案中。 在線上處理中,由於可能的儲存空間限制及潛在的處理 時間限制,在判定用於該文字之一最佳視差值中可期望使 用較小數目個圖框。不像離線處理中所有先前圖框及隨後 圖框一般均可取得,因為尚未接收繼該當前圖框之後的圖 框,所以通常可能存取僅先前圖框用於該當前圖框之線上 處理。 應注意因為DX、IntD及UD均直接或間接導出自1>及1>之
Pi分量,所以對於該視差值組p之任何限制將亦影響剩餘 視差資訊。 在步驟S43處,舉例而言,自該視差資訊且自接收自使 用者或生產者之該或該等要求來判定該最佳視差值。步驟 S43以類似於上文描述的步驟S35之一方式進行操作。上文 參考圖3中之步驟S 3 5描述用於判定該最佳視差值之一例示 性技術。接著圖4之該方法前進至步驟S44。 在步驟S44處,接著使用步驟S43中判定之該視差值產生 153392.doc •23· 201143367 並疋位該3D文字(諸如一輔助字幕或字幕)以用於連同該3D 影像内容之顯示。圖4之該方法接著前進至步驟S45。 在步驟S45處,判定是否已處理所有立體對(L,R)。若判 定為「否則接著圖4之該方法返回至步驟S4i,在該步 驟S41處將接收另一立體對用於處理。若判定為「是」,則 接著圖4之該方法前進至步驟S46,在該步驟S46處該處理 結束。 圖5描繪對於圖3及圖4之該等方法中使用之特徵對應及 視差值判定之一簡化處理。即,圖5展示於處理(L,R)對中 使用之一例示性視差計算技術以基於一或多個供應的要求 連同自接收的影像自身導出之視差資訊來判定一最佳視差 值。圖5之該技術已用於上文參考圖3及圖4中展示之該等 方法描述的該等步驟中。 圖5中展示之該技術已在上文識別的相關申請案中予以 闡述’即’題名為「用於區分3D影像與2D影像且用於藉 由特徵對應判定來識別3D影像格式之存在之方法」 (「Method For Distinguishing A 3D Image From A 2D Image
And For Identifying The Presence Of A 3D Image Format By Feature Correspondence Determination」)之美國專利代 理人檔案第PU090183號。 圖5之該方法在步驟S51處開始,在該步驟S51中接收影 像資訊之該立體對(L,R)。通常,接收的該立體對包含一 左視圖及一右視圖,如上文描述。此外,接收該視差資訊 DX、IntD及UD與該影像資訊(内容)。在本發明之各種實 153392.doc -24- 201143367 施例中,圖5之該方法可經初始化使得所有視差資訊變數
被設定為一初始值(諸如〇)。Dx係視差組。交叉組係imD 且聯集組係UD。DX含有一視差範圍用於至少該當前圖框 且甚至用於一或多個先前處理的圖框。IntD含有用於所有 經處理圖框之該視差範圍。UD含有用於所有經處理圖框 之共同視差。在完成步驟S51處,圖5之該方法前進至步驟 S52及步驟S53。 在步驟S52及步驟S53處,在影像對(L,R)之分開視圖中 執行特徵偵測。在步驟S52中自影像L偵測的該等特徵被識 別為FI ={Fli|i=l…ηι},且在步驟S53中自影像尺偵測的所 得特徵被識別為F2={F2i|i=l…,其中〜與化係每一各別 影像中發現的特徵之數目。在步驟S52及步驟S53之每一者 之後,圖5之該方法前進至步驟s54。 基於特徵對應之方法偵測特徵且建置偵測的特徵之間之 一對一對應。根據本發明之各種實施例亦希望在上文及下 文之該等步驟中可使用特徵追蹤來代替特徵偵測及特徵對 應。在來自實驗實踐之一實例中,已在步驟S52及步驟s53 之執行中使用KLT特徵追蹤方法。此等技術為此項技術所 熟知且在下文列舉的參考中予以完全描述。 在步驟S54處,發現介於來自步驟S52之視圖L·中之F1與 來自步驟S53之視圖R中之所得特徵^之間的特徵對應(匹 配)。此步驟中之該特徵對應或匹配處理程序一般移除一 影像中不具有與另一影像中之特徵之對應性之此等特徵。 當自每一特徵組F1及F2移除該等特徵時,可根據方程式 153392.doc •25· 201143367 (5)特徵化L中之新的特徵點或剩餘的特徵點,方程式(5)遵 循: NFl = {NFli | i = l...N} (5) 且可根據方程式(6)特徵化R中之新的特徵點或剩餘的特徵 點,方程式(6)遵循: NF2 = {NF2j | i = l...N} (6) 其中N係具有對應性之特徵之數目。指定為(NFli,NF2j之 對專同於在該L視圖及該R視圖兩者中發現之一對匹配特 徵點。特徵對應及匹配據信為此項技術所熟知且本文將不 詳細描述。下文以引用方式併入本文中且列出之若干參考 文獻揭示應用於影像特徵之許多對應性及選擇技術。在完 成步驟S54處,圖5之該方法前進至步驟S55。 如上文提到’希望可使用特徵追蹤執行特徵對應。在本 發明之各種實施例中,特徵偵測及特徵對應計算已用於發 現匹配特徵,如步驟S52、步驟S53及步驟S54中展示。然 而,特徵匹配或對應可實施為代替的特徵追蹤,如下文展 首先n十算L中之特徵。接著,將L中計算的特徵用作 為R中之初始特徵位置以追蹤尺中之特徵。最&,被追蹤 中之〜等特徵接著經判定以對應於L中之該等特徵。R 中追蹤之特徵損失待被移除。 雖然在發明方沐^ 万法之貫驗實踐中使用該KLT追蹤方法,但 :為預期藉由此發明方法使用許多特徵匹配演算法,所以 :之該方法不知用一特別特徵匹配或對應演算法作為一 佳技術。若干特徵追縦方法(諸如犯追縱方法)在以下 153392.doc -26· 201143367 兩者中予以教示:1981 年《International Joint Conference on Artificial Intelligence》第 674 頁至 679 頁提出的 Bruce D. Lucas與Takeo Kanade之一技術文章題名為「一反覆影像對 位技術與對立體視覺之應用」(「An Iterative Image Registration Technique with an Application to Stereo Vision」);及1991 年 4月出版《Carnegie Mellon University Technical Report》CMU-CS-91-132 中 Carlo Tomasi與 Takeo Kanade之報告題名為「點特徵之偵測及追蹤」(「Detection and Tracking of Point Features」)。稱為 SIFT方法之一點 特徵偵測方法在David Lowe之一文章中予以揭示,該文章 係 1999年出版《Proceedings of the international Conference on Computer Vision》中第1150頁至1157頁題名為「局部按 比例調整不變量特徵之物件辨識」(「Object recognition from local scale-invariant features」)。在贏行特徵對應中 有用之若干不同特徵偵測及匹配方法在A. Ardeshir Goshtasby之一作品中予以描述,該作品係2005年由Wiley-Interscience出版的題名為「2D與3D影像對位:用於醫 學、遙感及工業應用」(「2-D and 3-D image registration: for medical, remote sensing and industrial applications」), 尤其係在第42頁至63頁之第3章中用於特徵選擇且在第63 頁至106頁之第4章中用於特徵對應。此等四個參考文獻之 教示之全文特別以引用方式併入本文中。 在步驟S55處,計算用於(L,R)視圖中識別的每一對之對 應特徵對(NFli,NF2〇之間之位置差異。執行此計算以判 153392.doc -27- 201143367 定用於該影像之視差組p及視差範圍Dx。在此計算中,一 特徵點NFli之位置疋義為(Xi丨,yii)且一特徵點之位置 定義為(Χα y^)。在此實例中,相對於兩個影像中之一共 同點選擇該等位置。在一實例中,兩個影像中之該共同點 可選為作為起點觀看之-左上角。在本發明之各種實施例 中,應注意,可使用絕對位置而不是相對位置。然而,在 本發明之各種實施例中,一影像中之其他位置可用作為一 共同參考點或起點。 用於第i個圖框之螢幕視差組Pi接著可判定為= ..·Ν}。接著可隨每一 p計算而反覆更新分別經計 算作為Pmax及Pmin之螢幕視差之最大值及最小值使得
Pmax=max(P^ Pmin=min(pi)。冑對於該影像對中之所^ 特徵完成此計算時,圖5之該方法前進至步驟。 可判定單獨}用於該當前圖框之螢幕視差組p。亦希 判定許多圖框i之上之該螢幕視差組P,其中i可包含期望數 目個先前圖框或期望數目個先前圖框與隨後圖框兩 為對於離線處理所有圖框—般均可得到,所以後H雨 常可能用於離線處理。因為線上處理在正處理該當二= 之時通常未接收或不可接收該等隨後圖框,所以線上處理 可不允許使用隨後圖框資訊。 包含在或可包含在該視差組p之計算中之圓框之數 決於每一单獨實施方案。在離線處理中’儲存空間_般不 疋-限制題。所以可㈣對於離線情況判定儘可 圖框(諸如所有可得到圖框)之P。在線上處理中,儲存2 I53392.doc •28· 201143367 間可更為受限且限制可用處理時間以便維持一合適線上或 即時觀看環境。因此,在線上處理中可期望判定且維持較 小數目個圖框之該視差資訊組p。 在此點上,在步驟S56處,可如下更新並完成視差資訊 DX、IntD及UD之計算。更新的視差範圍DX判定為:DX= (Pmin,Pmax)。 變數DX與P相當不同。DX(視差範圍組)通常表示為一維 陣列。對於每一圖框i,存在表示為值組[minPi, maxPi]之 一視差範圍DXi,其中Pi係圖框i中之該等視差值。 P(視差值組)通常表示為二維陣列。Pi係用於圖框i之每 一特徵點之一陣列視差值。Pij係用於圖框i中之特徵點j之 視差值。如此,當儲存P時,可期望亦維持用於每一圖框 之左(或右)影像中之特徵點位置以及該等特徵點之對應視 差值。 最小DX、最小IntD冬交叉及最大DX、最大IntD之交叉 接著可根據方程式(7)及方程式(8)予以特徵化,方程式(7) 及方程式(8)遵循:
IntDmin=max (IntDmin,Pmin) (7)
IntDmax=min (intDmax,Pmax) (8) 上文定義的計算允許用IntDmin之先前值或Pmin之當前值 之最大者取代交叉IntDmin之值。類似地,上文定義的用 於IntDmax之計算允許用IntDmax之先前值或Pmax之當前 值之最小者取代交叉IntDmax之值。以此方式,IntD之值 可定義為 IntD=(IntDmin, IntDmax)。 153392.doc -29- 201143367 在一類似類型的計算中,UD定義為(UDmin,UDmax), 其中, UDmin=min (UDmin,Pmin);且 UDmax=max (UDmax,Pmax)。 上文定義的計算允許用UDmin之先前值或Pmin之當前值之 最小者取代聯集UDmin之值。類似地,上文定義的用於 UDmax之計算允許用UDmax之先前值或pmax之當前值之 最大者取代聯集UDmax之值。 在完成步驟S54至步驟S56t之計算處,儲存p、Dx、
IntD及UD之該等值用於稍後使用。根據本發明之各種實施 例,此等值可儲存在處理器中之暫時儲存器中,或該等值 可以-更持久形式予以儲存,諸如儲存在與影像圖框相關 聯之一儲存媒體或檔案中。作為用於此視差資訊之標準演 進’希望該視差資訊甚至可儲存在其等自身之影像樓案 中〇 圖5之該方法接著前進至步驟S57,在該步驟s57期間圖$ 之該方法退出。 在上文描述中,應.注意可直接或間接(如上文展示)由用 於一整個影像圖框之該視差組p計算DX、IntD&UD之該等 值。在本發明之各種實施例中,用於放置一圖框之3D影像 中之文字之最佳視差值之計算一般意欲使用該等參數卜 DX、IntD及UD之大多數(若非所有舉例而言,當要求 係基於一大體完整影像時,則該要求係充分的,且因此可 期望使用包含DX、In_UD之視差資訊之一輔助字幕來 153392.doc -30- 201143367 計算用於每一圖框中之文字之該最佳視差值。另一方面, 當該要求係基於該影像圖框之僅一部分時,較佳使用包含 用於P、DX、IntD及UD之參數值之視差資訊之整個組。在 本發明之各種實施例中希望其他類型的要求將判定用以準 確放置關於該3D影像之文字需要的視差參數組。舉例而 言’期望應使用視差資訊(p、DX、IntD及UD)之完整組用 於判定文字放置與相關聯的3D影像,以確保文字及影像之 可視性’且藉此避免文字及影像之閉塞。雖然使用用於文 字放置之視差資訊之完整組用於任一實施或要求係可能 的,但文字放置之每一判定需要的視差資訊參數之數目及 類型可至少部分被裁剪成取決於本發明之各種實施例之實 施及要求。 本文中已判定定義且使用L視圖及R視圖之次序在特徵 偵測及特徵對應步驟中不是重要的。然而,當執行該等視 差計算步驟時,維持該影像之該L視圖及該R視圖之識別及 次序係重要的。 已描述用於識別3D影像圖框之一方法及系統之各種實施 例(該等實施例意欲係說明性而非限制性),應注意熟習此 項技術者可根據上文教示做出修改及變更。因此應瞭解在 本發明之精神及範圍内可對揭示的本發明之特定實施例做 出變化。雖然别述係關於本發明之各種實施例,但在不背 離本發明之基本範圍情況下可設計本發明之其他及進一步 的實施例。 【圖式簡單說明】 圖1描繪根據本發明之一實施例用於組合3D内容與相關 153392.doc -31- 201143367 聯之文字之一系統; 圖2描繪根據本發明之一實施例用於影像 〜石丁不同實 例之螢幕視差與感知深度間之一關係; 圖3描繪根據本發明之一實施例用於離線判定於顯示文 字與3D内容中使用之一最佳視差值之一方法之一流程圖; 圖4描繪根據本發明之一實施例用於線上判定於顯示文字 與3D内容中使用之一最佳視差值之一方法之一流程圖;及 圖5描繪於圖3及圖4中之方法中使用之特徵對應及視差 值判定之一簡化處理。 【主要元件符號說明】 10 系統 12 掃描器件 14 膜漾印 16 數位電影 18 捕獲器件 20 文字檔案 22 後處理器件 24 記憶體 26 輸入/輸出(I/O)使用者介面 28 儲存器件 30 印表機 32 底片 34 數位檔案 36 3D顯示器件 38 文字處理模組 153392.doc -32-

Claims (1)

  1. 201143367 七、申請專利範圍: 1. 一種用於組合文字與三維(3D)影像内容之方法,其中能 夠藉由一3D顯示器件顯示一所得影像,該方法包括: 接收包含至少一3D影像之該3D影像内容及與該至少一 . 3D影像相關聯之文字兩者’其中該至少一 3D影像包含一 . 第一視圖及一第二視圖; 自該至少一 3D影像提取視差資訊; 判定用於該第一視圖中之該文字之一位置;及 判定用於該第二視圖中之該文字之一位置,其中該第 二視圖中之該位置相對於該對應3D影像之該第一視圖中 之該位置偏移至少部分基於該視差資訊之一量。 2. 如請求項1之方法,該方法進一步包括: 接收至少一要求用於識別關於該3D影像内容之該文字 之一期望放置;且 其中該第二視圖中之該文字之該位置之該偏移量亦係 至少部分基於該視差資訊及該至少一要求。 3. 如請求項1之方法,該方法進一步包括: 處理具有定位於其中用於每一視圖之文字之該至少一 3D影像内容之該第一視圖及該第二視圖,以在該3Ε)顯示 * 器件上顯示該文字與相關3D影像内容之一組合。 4. 如請求項2之方法,該方法進一步包括: 儲存與該3D影像内容相關聯之該視差資訊及關於該3D 影像内容之文字,該視差資訊係自該3D影像内容提取。 5·如請求項4之方法,該方法進一步包括: 153392.doc 201143367 處理具有定位於其中用於每一視圖之文字之該至少一 3D影像内容之該第一視圖及該第二視圖,以在該3D顯示 器件上顯示該文字與相關3D影像内容之一組合。 6.如請求項2之方法,該方法進一步包括: 儲存與該3D影像内容相關聯之該偏移量及關於該3D影 像内容之文字’該偏移量係自該3D影像内容提取的。 7·如請求項6之方法,該方法進一步包括: 處理具有定位於其中用於每一視圖之文字之該至少一 3D影像内容之該第一視圖及該第二視圖,以在該3D顯示 器件上顯示該文字與相關3D影像内容之一組合。 8. 如請求項2之方法,其中該視差資訊包括一組視差值 (P)、一視差範圍組(DX)、一視差值交叉組(IntD)及一視 差值聯集組(UD)。 9. 如請求項8之方法’其中該提取進一步包括: 偵測該3D影像内容之該第一視圖及該第二視圖中之至 少一對對應特徵; 提取用於該至少一對對應特徵之該視差資訊; 比較用於該對對應特徵之所提取視差資訊與提取之後 所得用於一先前對對應特徵之現有視差資訊,以判定是 否更新該現有視差資訊;及 當判定更新係必要時’用當前提取的視差資訊之至少 某些部分來更新該現有視差資訊,使得更新的視差資訊 取代該現有視差資訊。 10. 如請求項2之方法’其中該提取進一步包括: I53392.doc 201143367 保留來自該至少一 3D影像内容之視差資訊作為現有視 差資訊; 自一至少第二3D影像内容提取視差資訊; 當判定更新係必要時,用用於該至少第二3D影像内容 之該提取的視差資訊之至少一些部分來更新來自該至少 一 3D影像内容之該現有視差資訊,使得更新的視差資訊 取代έ亥現有視差資訊。 11,如請求項2之方法,該方法進一步包括: 儲存用於該第一視圖中之該文字之位置及用於與該3D 影像内容相關聯之該第二視圖中之該文字之位置及關於 該3D影像内容之該文字,該第二視圖係自該3D影像内容 提取的。 12. 如請求項8之方法,其中該提取進一步包括: 基於自一當前影像提取之視差資訊及自一或多個先前 影像提取之視差資訊之一組合來判定該視差資訊。 13. 如請求項8之方法,其中該提取進一步包括: 基於自一當前影像提取之視差資訊、自一或多個先前 影像提取之視差資訊及自一或多個隨後影像提取之視差 資訊之一組合來判定該視差資訊。 14. 如清求項2之方法’其中該至少一要求係選自由以下組 成之群組.以用於一整個影像之一預定視差值來放置該 文字,以用於—影像之一選擇區域之一預定視差值來放 置該文字’及以避免阻擋該内容且限制連續視差值之一 變化里為小來放置該文字。 153392.doc 201143367 15. —種用於組合文字與三維(3D)影像内容之裝置,其中能 夠藉由一 3D顯示器件顯示一所得影像,該裝置包括: 用於接收包含至少一3D影像之該3D影像内容及與該至 少一 3D影像相關聯之文字兩者之構件,其中該至少_3D 影像包含一第一視圖及一第二視圖; 用於自該至少一 3D影像提取視差資訊之構件; 用於判定該第一視圖中之該文字之一位置之構件;及 用於判定該第二視圖中之該文字之一位置之構件,其 中該第二視圖中之該位置相對於該對應3d影像之該第一 視圖中之該位置偏移至少部分基於該視差資訊之一量。 16. —種具有一或多個可執行指令之機器可讀媒體,該等可 執行指令儲存在該機器可讀媒體上,該等可執行指令當 藉由一數位處理系統予以執行時使該數位處理系統執行 用於組合文字與三維(3D)影像内容之一方法其中能夠 藉由一 3D顯示器件顯示一所得影像,該方法包括: 接收包含至少一 3D影像之該3D影像内容及與該至少— 3D影像相關聯之文字兩者’其中該至少一 3D影像包含— 第一視圖及一第二視圖; 自該至少一 3D影像提取視差資訊; 判定用於該第一視圖中之該文字之一位置;及 判定用於該第二視圖中之該文字之一位置,其中談第 二視圖中之該位置相對於該對應3D影像之該第一視圖中 之該位置偏移至少部分基於該視差資訊之—量。 153392.doc • 4 ·
TW100101302A 2010-01-13 2011-01-13 System and method for combining 3D text with 3D content TW201143367A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2010/000077 WO2011087470A1 (en) 2010-01-13 2010-01-13 System and method for combining 3d text with 3d content

Publications (1)

Publication Number Publication Date
TW201143367A true TW201143367A (en) 2011-12-01

Family

ID=41727851

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100101302A TW201143367A (en) 2010-01-13 2011-01-13 System and method for combining 3D text with 3D content

Country Status (7)

Country Link
US (1) US20130002656A1 (zh)
EP (1) EP2524510B1 (zh)
JP (1) JP2013517677A (zh)
KR (1) KR20120123087A (zh)
CN (1) CN102792700A (zh)
TW (1) TW201143367A (zh)
WO (1) WO2011087470A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014084870A1 (en) * 2012-11-30 2014-06-05 Zilberman Arkady Reverse language resonance systems and methods for foreign language acquisition

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812711B (zh) * 2010-02-25 2016-11-02 汤姆森特许公司 利用视差估计和视差时间变化限制的立体字幕加载
JP4908624B1 (ja) * 2010-12-14 2012-04-04 株式会社東芝 立体映像信号処理装置及び方法
WO2013094329A1 (ja) * 2011-12-19 2013-06-27 富士フイルム株式会社 画像処理装置、方法およびプログラムならびにその記録媒体
CN102611906A (zh) * 2012-03-02 2012-07-25 清华大学 具有自适应深度的立体视频图文标签的显示和编辑方法
JP6092525B2 (ja) * 2012-05-14 2017-03-08 サターン ライセンシング エルエルシーSaturn Licensing LLC 画像処理装置、情報処理システム、画像処理方法およびプログラム
TWI555400B (zh) 2012-05-17 2016-10-21 晨星半導體股份有限公司 應用於顯示裝置的字幕控制方法與元件
JP2013243585A (ja) * 2012-05-22 2013-12-05 Funai Electric Co Ltd 映像信号処理装置
US10212406B2 (en) * 2016-12-15 2019-02-19 Nvidia Corporation Image generation of a three-dimensional scene using multiple focal lengths
WO2023282619A1 (ko) * 2021-07-06 2023-01-12 주식회사 메디트 3차원 모델 상에 텍스트를 추가하는 방법 및 3차원 모델 처리 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625408A (en) * 1993-06-24 1997-04-29 Canon Kabushiki Kaisha Three-dimensional image recording/reconstructing method and apparatus therefor
US5784097A (en) * 1995-03-29 1998-07-21 Sanyo Electric Co., Ltd. Three-dimensional image display device
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp 3次元映像表示装置
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
JP3596314B2 (ja) * 1998-11-02 2004-12-02 日産自動車株式会社 物体端の位置計測装置および移動体の通行判断装置
JP3471262B2 (ja) * 1999-07-30 2003-12-02 日本電信電話株式会社 三次元画像処理装置
JP4129786B2 (ja) * 2002-09-06 2008-08-06 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
WO2004093467A1 (ja) * 2003-04-17 2004-10-28 Sharp Kabushiki Kaisha 3次元画像作成装置、3次元画像再生装置、3次元画像処理装置、3次元画像処理プログラムおよびそのプログラムを記録した記録媒体
IL175632A (en) * 2006-05-15 2011-08-31 Rafael Advanced Defense Sys Method, system and computer product for deriving three dimensional information progressively from a streaming video sequence
WO2008038205A2 (en) * 2006-09-28 2008-04-03 Koninklijke Philips Electronics N.V. 3 menu display
CN101653011A (zh) * 2007-03-16 2010-02-17 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP5425897B2 (ja) * 2008-05-28 2014-02-26 トムソン ライセンシング 前方及び後方の深度予測を伴う、画像の深度抽出のシステム及び方法
KR101539935B1 (ko) * 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
JP4637942B2 (ja) * 2008-09-30 2011-02-23 富士フイルム株式会社 3次元表示装置および方法並びにプログラム
US9013551B2 (en) * 2008-12-01 2015-04-21 Imax Corporation Methods and systems for presenting three-dimensional motion pictures with content adaptive information
US8269821B2 (en) * 2009-01-27 2012-09-18 EchoStar Technologies, L.L.C. Systems and methods for providing closed captioning in three-dimensional imagery
JP2011071898A (ja) * 2009-09-28 2011-04-07 Panasonic Corp 立体映像表示装置および立体映像表示方法
US9049431B2 (en) * 2009-12-31 2015-06-02 Cable Television Laboratories, Inc. Method and system for generation of captions over stereoscopic 3D images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9679496B2 (en) 2011-12-01 2017-06-13 Arkady Zilberman Reverse language resonance systems and methods for foreign language acquisition
WO2014084870A1 (en) * 2012-11-30 2014-06-05 Zilberman Arkady Reverse language resonance systems and methods for foreign language acquisition

Also Published As

Publication number Publication date
US20130002656A1 (en) 2013-01-03
CN102792700A (zh) 2012-11-21
EP2524510B1 (en) 2019-05-01
JP2013517677A (ja) 2013-05-16
EP2524510A1 (en) 2012-11-21
WO2011087470A1 (en) 2011-07-21
KR20120123087A (ko) 2012-11-07

Similar Documents

Publication Publication Date Title
TW201143367A (en) System and method for combining 3D text with 3D content
US10200678B2 (en) System and method for combining text with three-dimensional content
US9565415B2 (en) Method of presenting three-dimensional content with disparity adjustments
TWI444036B (zh) 2d至3d使用者介面內容資料轉換
RU2538335C2 (ru) Объединение данных 3d изображения и графических данных
JP6309749B2 (ja) 画像データ再生装置および画像データ生成装置
KR101310212B1 (ko) 입체 상의 3d 객체를 상대적인 깊이로 삽입하는 방법
KR101210315B1 (ko) 3차원 비디오 위에 그래픽 객체를 오버레이하기 위한 추천 깊이 값
EP2618584A1 (en) Stereoscopic video creation device and stereoscopic video creation method
EP2401870A2 (en) Systems, apparatus and methods for subtitling for stereoscopic content
CA2723627A1 (en) System and method for measuring potential eyestrain of stereoscopic motion pictures
US20120098856A1 (en) Method and apparatus for inserting object data into a stereoscopic image
CN102783161A (zh) 用于3d tv的视差分布估计
WO2012120880A1 (ja) 立体画像出力装置及び立体画像出力方法
CN104012087A (zh) 视差调整装置、图像处理装置和帧格式
JP6391629B2 (ja) 3dテキストを3dコンテンツと合成するシステムおよび方法
JP7395725B2 (ja) メディアリソースの再生およびテキストレンダリング方法、装置、機器および記憶媒体
Wang et al. Object Based Disparity Morphing Tool For Stereo Images and Video