TWI754868B - 電子裝置及虛擬實境影片的字幕嵌入方法 - Google Patents

電子裝置及虛擬實境影片的字幕嵌入方法 Download PDF

Info

Publication number
TWI754868B
TWI754868B TW108145734A TW108145734A TWI754868B TW I754868 B TWI754868 B TW I754868B TW 108145734 A TW108145734 A TW 108145734A TW 108145734 A TW108145734 A TW 108145734A TW I754868 B TWI754868 B TW I754868B
Authority
TW
Taiwan
Prior art keywords
subtitle
parallax
virtual reality
disparity
predetermined
Prior art date
Application number
TW108145734A
Other languages
English (en)
Other versions
TW202118291A (zh
Inventor
李冠慰
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202118291A publication Critical patent/TW202118291A/zh
Application granted granted Critical
Publication of TWI754868B publication Critical patent/TWI754868B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

一種虛擬實境影片的字幕嵌入方法，包括：取得一虛擬實境影片；因應於執行該虛擬實境影片的播放操作，分析該虛擬實境影片中之一目前立體影像以得到至少一物件以及其相應的物件視差；依據該物件之該物件視差以調整欲加入該目前立體影像之字幕相應的字幕視差，其中該字幕視差大於該物件之物件視差；以及依據該字幕視差將該字幕加入該目前立體影像。

Description

電子裝置及虛擬實境影片的字幕嵌入方法
本發明係有關於電子裝置，特別是有關於一種電子裝置及虛擬實境影片的字幕嵌入方法。
隨著科技發展，可攜式電子裝置，例如智慧型手機或平板電腦，也變得愈來愈普及。在市面上的部分智慧型手機、數位相機或數位攝影機已可錄製虛擬實境(virtual reality，VR)影片。然而，錄製後的虛擬實境影片往往有許多使用者需要搭配字幕一同觀賞，意即虛擬實境播放裝置或是主機端需將字幕檔案中的字元(character)即時疊合(overlay)於虛擬實境影片中的左眼影像及右眼影像之上。
在虛擬實境影片中之物件的深度在播放的過程中會產生變化，且傳統的虛擬實境影片之字幕嵌入方法通常是採用固定的字幕深度。傳統的字幕嵌入方法在即時播放虛擬實境影片時並無法事先確定虛擬實境影片之字幕與物件之間的深度關係。因此，當字幕的深度比字幕所疊合的物件的深度還深時，使用者在視覺上會產生不舒服感。舉例來說，在需要看清楚的字幕上會讓使用者感到字幕上面有一個半透明的物件蓋住，故會產生視覺上之不清楚感及不舒服感。
因此，本發明係提供一種電子裝置及虛擬實境影片的字幕嵌入方法以解決上述問題。
本發明係提供一種虛擬實境影片的字幕嵌入方法，包括：取得一虛擬實境影片；因應於執行該虛擬實境影片的播放操作，分析該虛擬實境影片中之一目前立體影像以得到至少一物件以及其相應的物件視差；依據該物件之該物件視差以調整欲加入該目前立體影像之字幕相應的字幕視差，其中該字幕視差大於該物件之物件視差；以及依據該字幕視差將該字幕加入該目前立體影像。其中該虛擬實境影片係由具有雙鏡頭之一可攜式電子裝置預先錄製。
在一些實施例中，上述方法更包括：在一虛擬實境裝置上播放已加入該字幕之該目前立體影像。
在一些實施例中，該字幕係具有一預定字幕視差，且上述方法更包括：判斷該物件視差是否大於該預定字幕視差；當該物件視差未大於該預定字幕視差，設定該字幕視差為該預定字幕視差；以及當該物件視差大於該預定字幕視差，將該字幕視差設定為該物件視差加上大於0的一固定常數，使得該字幕視差大於該物件視差。此外，當該物件視差大於該預定字幕視差且調整後的該字幕視差係大於一預定視差時，使用該預定字幕視差將該字幕置於該物件在該目前立體影像中之一相對側。其中，上述方法更包括：調整欲加入該目前立體影像之該字幕相應的字幕方塊之寬度及/或高度，使得在該目前立體影像中所呈現的該字幕不與該物件重疊。
在一些實施例中，上述方法更包括：分析在該虛擬實境影片中之該目前立體影像的一預定數量的複數張後續立體影像中之該物件的該物件視差；以及因應於該預定數量中之一或多張該等後續立體影像中之該物件的該物件視差大於該預定字幕視差，使用該目前立體影像之該字幕視差做為該預定數量中之該等後續立體影像所使用的該字幕視差以將相應的字幕加入該等後續立體影像。
本發明更提供一種電子裝置，包括：一儲存裝置及一處理器。儲存裝置係用以儲存一影像播放程式。處理器係用以取得一虛擬實境影片，並使用該影像播放程式對該虛擬實境影片進行播放操作。因應於執行該虛擬實境影片的播放操作，該處理器係分析該虛擬實境影片中之一目前立體影像以得到至少一物件以及其相應的物件視差。處理器係依據該物件之該物件視差以調整欲加入該目前立體影像之字幕相應的字幕視差，且該字幕視差大於該物件之物件視差。該處理器係依據該字幕視差將該字幕加入該目前立體影像。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
必須了解的是，使用於本說明書中的"包含"、"包括"等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
於權利要求中使用如"第一"、"第二"、"第三"等詞係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
第1圖為依據本發明一實施例中之虛擬實境系統的方塊圖。如第1圖所示，虛擬實境系統10包括一主機100及一虛擬實境裝置200，其中主機100係訊號連接至虛擬實境裝置200。主機100為一電子裝置，例如個人電腦或伺服器。主機100包括一處理單元110、一圖形處理單元120、一記憶體單元130、一儲存裝置140、一或多個傳輸介面150、及一或多個週邊裝置160。處理單元110、圖形處理單元120、記憶體單元130、儲存裝置140、傳輸介面150、及週邊裝置160係透過系統匯流排111而互相耦接。處理單元110例如可為中央處理器(CPU)、一般用途處理器(general-purpose processor)等等，但本發明並不限於此。圖形處理單元120例如可為一顯示卡上的圖形處理單元或是整合至處理單元110中之圖形處理單元。
記憶體單元130為一隨機存取記憶體，例如是動態隨機存取記憶體(DRAM)或靜態隨機存取記憶體(SRAM)，但本發明並不限於此。儲存裝置140為一非揮發性記憶體(non-volatile memory)，例如可為一硬碟機(hard disk drive)、一固態硬碟(solid-state disk)、一快閃記憶體(flash memory)、或一唯讀記憶體(read-only memory)，但本發明並不限於此。
傳輸介面150可包括有線傳輸介面及/或無線傳輸介面，其中有線傳輸介面可包括：高解析度多媒體介面(High Definition Multimedia Interface，HDMI)、顯示埠(DisplayPort，DP)介面、嵌入式顯示埠(embedded DisplayPort，eDP)、介面通用序列匯流排(Universal Serial Bus，USB)介面、USB Type-C介面、雷靂(Thunderbolt)介面、數位視訊介面(DVI)或其組合，且無線傳輸介面可包括：第五代行動通訊技術(5th generation wireless system)、藍芽(Bluetooth)、WiFi、近場通訊(NFC)介面等等，但本發明並不限於此。週邊裝置160例如包括：鍵盤、滑鼠、觸控板等輸入裝置，但本發明並不限於此。
舉例來說，儲存裝置140可儲存一影像播放應用程式141及一作業系統142(例如可為Windows、Linux、MacOS等等)，且處理單元110係將作業系統142及影像播放應用程式141讀取至記憶體單元130並執行。圖形處理單元120例如可進行處理單元110所執行之影像播放應用程式141的繪圖處理以產生包括一或多張影像的一影像信號，並透過傳輸介面150之其中一者(例如HDMI介面或DisplayPort介面)將影像信號傳送至虛擬實境裝置200。
虛擬實境裝置200例如可為一頭戴式顯示器，虛擬實境裝置200包括一左眼顯示面板210及對應的左眼鏡頭211、一右眼顯示面板220及對應的右眼鏡頭221、一儲存單元230、一影像緩衝器240、顯示控制器250、及一或多個傳輸介面260、及一外殼270。左眼顯示面板210、左眼鏡頭211、右眼顯示面板220、右眼鏡頭221係以一預定光學排列方式安置於外殼270中，且外殼270可包括一束帶或其他輔助裝置(未繪示)以供使用者戴於頭上以透過虛擬實境裝置200觀賞畫面。
左眼顯示面板210及右眼顯示面板220例如可為液晶(liquid crystal)面板、發光二極體(light-emitting diode)面板、有機發光二極體(organic light-emitting diode)面板等等，但本發明並不限於此。在一些實施例中，左眼顯示面板210及右眼顯示面板220可為不同且分離的顯示面板，或是由同一顯示面板所實現，且左眼顯示面板210及右眼顯示面板220為併排且平行的，兩者之間並無角度差。在另一些實施例中，左眼顯示面板210及右眼顯示面板220為併排且不平行的，且兩者之間係具有一角度差。
傳輸介面260可包括有線傳輸介面及/或無線傳輸介面，其中有線傳輸介面可包括：高解析度多媒體介面(High Definition Multimedia Interface，HDMI)、顯示埠(DisplayPort，DP)介面、嵌入式顯示埠(embedded DisplayPort，eDP)、介面通用序列匯流排(Universal Serial Bus，USB)介面、USB Type-C介面、雷靂(Thunderbolt)介面、數位視訊介面(DVI)或其組合，且無線傳輸介面可包括：第五代行動通訊技術(5th generation wireless system)、藍芽(Bluetooth)、WiFi、近場通訊(NFC)介面等等，但本發明並不限於此。
顯示控制器250例如可為一應用導向積體電路(application-specific integrated circuit)、一晶片系統(System-on-chip)、一處理器、或一微控制器，但本發明並不限於此。儲存單元230例如可為一非揮發性記憶體，例如唯讀記憶體(ROM)、可抹除可編程唯讀記憶體(EPROM)、電子抹除式可編程唯讀記憶體(EEPROM)。儲存單元230係用以儲存顯示裝置200相關的韌體231。儲存單元230例如可在顯示控制器250之外部、或是可整合至顯示控制器250中。影像緩衝器240例如可為一動態隨機存取記憶體，用以暫存欲播放的影像信號及/或顯示控制器250執行影像處理所產生的暫存檔案。
在一些實施例中，處理單元110所執行之影像播放應用程式141可播放由一可攜式電子裝置(例如具備雙鏡頭的智慧型手機或數位攝影機)預先錄製好的虛擬實境影片檔(VR video file)，其中上述虛擬實境影片檔並未崁入任何字幕。因應於播放上述虛擬實境影片檔，影像播放應用程式141可將一字幕檔案加入上述虛擬實境影片檔之對應的影像信號中、或是經由即時語音辨識加入字幕在上述虛擬實境影片檔之影像信號中。其中，上述影像信號包括左眼影像及右眼影像，且左眼影像及右眼影像中之字幕文字亦是使用立體影像呈現。此外，影像播放應用程式141可調整左眼影像及右眼影像中之字幕文字中的視差，藉以改變使用者所觀賞到的字幕文字之深度，其細節將詳述於後。
顯示控制器250可透過傳輸介面260由主機100接收欲播放的影像信號，其中上述影像信號例如包括已由主機100加上字幕的左眼影像及右眼影像。顯示控制器250並將所接收的影像信號先儲存於影像緩衝器240。接著，顯示控制器250可讀取儲存於影像緩衝器240中的影像信號，並將影像信號中的左眼影像及右眼影像分別在左眼顯示面板210及右眼顯示面板220上播放。使用者之左眼及右眼則可透過左眼鏡頭211及右眼鏡頭221分別觀賞到播放的左眼影像及右眼影像，進而感受到立體視覺。
在另一實施例中，顯示控制器250可透過傳輸介面260由主機100接收欲播放的虛擬實境影片檔之影像信號，其中上述影像信號例如包括未加上字幕的左眼影像及右眼影像。顯示控制器250(或是虛擬實境裝置200中之另一處理器)可讀取上述影像信號相應的字幕檔，並將字幕加至虛擬實境影片檔之相應的影像上、進行即時語音辨識以將辨識出的字幕加至虛擬實境影片檔之相應的影像上。為了便於說明，在後述實施例中將以主機100對欲播放的虛擬實境影片檔之影像信號加上字幕進行說明。
第2A及2B圖為依據本發明一實施例中之雙眼輻合的示意圖。
在一實施例中，人類產生3D立體視覺主要是依據兩個條件，例如：雙眼輻合(binocular convergence)及雙眼視差(binocular disparity，parallax)。雙眼輻合係指使用者之雙眼與被觀測之物體(亦可稱為輻合點201)之間的夾角，例如為夾角θ。當夾角θ愈大，使用者會感到物件(例如：輻合點201)愈接近使用者，如第2A圖所示。相反地，當夾角θ愈小，則使用者會感到物件(例如：輻合點202)愈遠離使用者，如第2B圖所示。
當夾角θ固定時，使用者會感受到在使用者雙眼及輻合點之間的物件會較會靠近使用者，並且感受到在輻合點後的物件會較遠離使用者。其中，判斷在三維空間中之物件與使用者之間的距離例如可用深度(depth)表示。
傳統的虛擬實境影片的字幕嵌入方式是將自動生成或外掛式的字幕錨定(anchor)在觀看者之可視範圍內之立體影像的固定位置及固定深度，且並不會考慮虛擬實境影片中之物件與字幕的相對位置。因此，傳統的字幕嵌入方式容易造成字幕深度比在立體影像中之物件深度還深，故觀賞者會看到需要被看清楚的字幕之上有一個半透明的物件蓋住，會造成字幕看不清楚且會產生不舒服感，進而降低使用者體驗。
詳細而言，在播放虛擬實境影片檔之影像信號中之一或多個物件均具有相應的深度。因為虛擬實境影片檔是預先錄製好，在播放虛擬實境影片檔之前，主機100(或虛擬實境裝置200)並無法事先得知在虛擬實境影片檔之場景中之各物件的深度。因應於主機100(或虛擬實境裝置200)在播放虛擬實境影片檔之影像信號(包括左眼影像及右眼影像)，主機100(或虛擬實境裝置200)需要先計算出在影像信號的各張影像中之各個物件的深度，並決定在各張影像中欲加入之字幕的合適深度。其中，上述合適深度表示字幕深度小於物件深度，意即字幕呈現的位置在物件的前方，故不會造成使用者在觀賞虛擬實境影片檔時的不適感。
第3圖為依據本發明一實施例中之左眼影像及右眼影像中之物件及字幕的視差的示意圖。
在一實施例中，主機100可先偵測在目前時間點t=n時的左眼影像310及右眼影像320中之同一物件330。因為左眼影像及右眼影像的相同物件330之間係具有一物件視差
Figure 02_image001
，其係對應至物件深度D，故主機100可計算出物件330與左眼影像310之中心點315及右眼影像320之中心點325分別距離X1及X2(例如：像素距離)，且距離X1及X2的距離差值，即物件視差
Figure 02_image001
，可由下式表示：
Figure 02_image003
。
此外，主機100可設定字幕所要加入左眼影像及右眼影像的預定字幕深度Z，其中上述預定字幕深度Z例如可為開發者認為字幕應該擺設的理想深度。若
Figure 02_image005
，表示對於觀賞者來說，物件較遠且字幕較近，故觀賞者並不會感受到不適。若
Figure 02_image007
，表示對於觀賞者來說，物件較近且字幕較遠，若以此方式將字幕加入立體影像中，則使用者會產生不適感。
因此，當主機100判斷出立體影像中之字幕的預定深度Z大於左眼/右眼影像之間的物件深度D時，主機100則不使用預定字幕深度Z，並自動調整字幕深度至合適深度，使得調整後的字幕深度S小於物件深度D，藉以避免使用者在觀賞虛擬實境影片時會產生不適感。舉例來說，主機100可調整欲加入立體影像之字幕在左眼影像及右眼影像之間的視差來調整字幕深度S。因為所要加入的字幕可為包括一或多個單字的字串，故主機100可計算出在預定字幕深度Z時，字幕之字串方塊316的中心點(或約略為中心點)分別與左眼影像310之中心點315及右眼影像320之中心點320的距離Y1及Y2，且距離Y1及Y2之間的差值即為預定字幕視差
Figure 02_image009
，例如可表示為
Figure 02_image011
。
接著，主機100可將上述距離Y1及Y2分別調整為Y1’及Y2’，且新的字幕視差
Figure 02_image013
，例如可表示為
Figure 02_image015
，且
Figure 02_image017
，其中t為大於0的一固定常數。其中新的字幕視差
Figure 02_image013
係對應至調整後的字幕深度S。
在一些實施例中，主機100例如可將距離Y1增加
Figure 02_image019
並將距離Y2減少
Figure 02_image019
，使得字幕不會太過偏離字幕的預定錨點，但本發明並不限於此。換言之，當字幕視差
Figure 02_image013
大於左眼/右眼影像之間的物件視差
Figure 02_image001
，即表示字幕深度S小於左眼/右眼影像之間的物件深度D。
承上述實施例，因為在立體影像中之物件深度D有可能相當靠近使用者，若再將字幕深度調整至小於物件深度D的深度值，則使用者仍可能無法看清楚字幕並產生不適感。在此情況下，主機100可判斷物件330在立體影像中的相對位置。若物件330的位置處於立體影像之下方，則主機100將所要加入的字幕以預定字幕深度Z錨定於物件330在立體影像中之相對側的位置(例如立體影像上方)、及/或調整字幕方塊的寬度及/或高度，使得在立體影像中所呈現的字幕不與物件重疊。
在一些實施例中，在播放虛擬實境影片檔時，主機100可預先計算多張後續立體影像中之一或多個物件相應的物件深度，例如為時間點t=n+1、n+2、n+3等等的後續立體影像。若主機100判斷在一預定數量(例如為5張，例如為t=n+1～n+5)內的後續立體影像中有部分物件會在極短時間內出現在場景中且其物件深度會比t=n時的所計算出的字幕深度還小。若主機100仍繼續執行上述動態調整字幕深度之機制，則使用者仍可能感受到字幕在跳動，不利於使用者觀賞VR影片。因此，在此情況下，主機100可暫停上述動態調整字幕深度之機制，例如可使用時間點t=n時的所計算出的字幕深度以做為在預定數量內的後續立體影像之字幕深度。
第4圖為依據本發明一實施例中之虛擬實境影片的字幕嵌入方法的流程圖。
在步驟S410，取得一虛擬實境影片。其中，上述虛擬實境影片例如是由一可攜式電子裝置(例如具備雙鏡頭的智慧型手機或數位攝影機)預先錄製好的虛擬實境影片檔(VR video file)，其中上述虛擬實境影片檔並未崁入任何字幕。此外，上述虛擬實境影片包括複數張立體影像，且各立體影像(例如包括左眼影像及右眼影像)中具有至少一物件。
在步驟S420，因應於執行該虛擬實境影片的播放操作，分析該虛擬實境影片中之一目前立體影像以得到至少一物件以及該物件在該目前立體影像中所相應的物件視差。
在步驟S430，依據該物件之該物件視差以調整欲加入該目前立體影像之字幕相應的字幕視差，使得該字幕視差大於該物件之物件視差。
在步驟S440，依據該字幕視差將該字幕加入該目前立體影像。舉例來說，主機100可在目前立體影像中之一固定錨點加入該字幕。在一些實施例中，當該物件視差大於該預定字幕視差且調整後的該字幕視差係大於一預定視差時，使用該預定字幕視差將該字幕置於該物件在該目前立體影像中之一相對側。此外，主機100亦可調整欲加入該目前立體影像之該字幕相應的字幕方塊之寬度及/或高度，使得在該目前立體影像中所呈現的該字幕不與該物件重疊。
在步驟S450，在一虛擬實境裝置上播放已加入該字幕之該目前立體影像。舉例來說，目前立體影像包括左眼影像及右眼影像，且分別在虛擬實境裝置200之左眼顯示面板210及右眼顯示面板220上播放，且使用者可透過對應的左眼鏡頭211及右眼鏡頭221分別觀賞到播放的左眼影像及右眼影像，進而感受到立體視覺。
綜上所述，本發明係提供一種電子裝置及虛擬實境影片的字幕嵌入方法，其可分析在虛擬實境影片之立體影像中的物件所相應的物件視差(例如對應至物件深度)，並可依據物件視差動態地調整欲加入立體影像之字幕的字幕視差，使得字幕視差大於物件視差。意即可讓字幕深度小於物件深度，故使用者在觀賞虛擬實境影片時，不會造成因為字幕處於物件後方而感受字幕不清楚及不適感的問題，進而增加使用者體驗。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10:虛擬實境系統 100:主機 110:處理單元 111:系統匯流排 120:圖形處理單元 130:記憶體單元 140:儲存裝置 141:影像播放程式 142:作業系統 150:傳輸介面 160:週邊裝置 200:虛擬實境裝置 210:左眼顯示面板 211:左眼鏡頭 220:右眼顯示面板 221:右眼鏡頭 230:儲存單元 240:影像緩衝器 250:顯示控制器 260:傳輸介面 270:外殼 201、202:輻合點 310:左眼影像 320:右眼影像 315、325:中心點 316:字串方塊 330:物件 S410－S450:步驟
第1圖為依據本發明一實施例中之虛擬實境系統的方塊圖。 第2A及2B圖為依據本發明一實施例中之雙眼輻合的示意圖。 第3圖為依據本發明一實施例中之左眼影像及右眼影像中之物件及字幕的視差的示意圖。 第4圖為依據本發明一實施例中之虛擬實境影片的字幕嵌入方法的流程圖。
10:虛擬實境系統
100:主機
110:處理單元
111:系統匯流排
120:圖形處理單元
130:記憶體單元
140:儲存裝置
141:影像播放程式
142:作業系統
150:傳輸介面
160:週邊裝置
200:虛擬實境裝置
210:左眼顯示面板
211:左眼鏡頭
220:右眼顯示面板
221:右眼鏡頭
230:儲存單元
240:影像緩衝器
250:顯示控制器
260:傳輸介面
270:外殼

Claims (14)

  1. 一種虛擬實境影片的字幕嵌入方法，包括：取得一虛擬實境影片；因應於執行該虛擬實境影片的播放操作，分析該虛擬實境影片中之一目前立體影像以得到至少一物件以及其相應的物件視差；判斷該物件視差是否大於欲加入該目前立體影像之字幕的一預定字幕視差；因應於該物件視差大於該預定字幕視差，將該字幕之字幕視差設定為該物件視差加上大於0的一固定常數，使得該字幕視差大於該物件視差；以及依據該字幕視差將該字幕加入該目前立體影像。
  2. 如申請專利範圍第1項所述之虛擬實境影片的字幕嵌入方法，更包括：在一虛擬實境裝置上播放已加入該字幕之該目前立體影像。
  3. 如申請專利範圍第1項所述之虛擬實境影片的字幕嵌入方法，其中該方法更包括：因應於該物件視差未大於該預定字幕視差，設定該字幕視差為該預定字幕視差。
  4. 如申請專利範圍第3項所述之虛擬實境影片的字幕嵌入方法，更包括： 因應於該物件視差大於該預定字幕視差且調整後的該字幕視差係大於一預定視差時，使用該預定字幕視差將該字幕置於該物件在該目前立體影像中之一相對側。
  5. 如申請專利範圍第4項所述之虛擬實境影片的字幕嵌入方法，更包括：調整欲加入該目前立體影像之該字幕相應的字幕方塊之寬度及/或高度，使得在該目前立體影像中所呈現的該字幕不與該物件重疊。
  6. 如申請專利範圍第3項所述之虛擬實境影片的字幕嵌入方法，更包括：分析在該虛擬實境影片中之該目前立體影像的一預定數量的複數張後續立體影像中之該物件的該物件視差；以及因應於該預定數量中之一或多張該等後續立體影像中之該物件的該物件視差大於該預定字幕視差，使用該目前立體影像之該字幕視差做為該預定數量中之該等後續立體影像所使用的該字幕視差以將相應的字幕加入該等後續立體影像。
  7. 如申請專利範圍第1項所述之虛擬實境影片的字幕嵌入方法，其中該虛擬實境影片係由具有雙鏡頭之一可攜式電子裝置預先錄製。
  8. 一種電子裝置，包括：一儲存裝置，用以儲存一影像播放程式；一處理器，用以取得一虛擬實境影片，並使用該影像播放程式對 該虛擬實境影片進行播放操作，其中，因應於執行該虛擬實境影片的播放操作，該處理器係分析該虛擬實境影片中之一目前立體影像以得到至少一物件以及其相應的物件視差，其中，該處理器係判斷該物件視差是否大於欲加入該目前立體影像之字幕的一預定字幕視差，其中，因應於該物件視差大於該預定字幕視差，該處理器係將該字幕之字幕視差設定為該物件視差加上大於0的一固定常數，使得該字幕視差大於該物件視差，其中，該處理器係依據該字幕視差將該字幕加入該目前立體影像。
  9. 如申請專利範圍第8項所述之電子裝置，其中，該處理器更在一虛擬實境裝置上播放已加入該字幕之該目前立體影像。
  10. 如申請專利範圍第8項所述之電子裝置，其中因應於該物件視差未大於該預定字幕視差，該處理器係設定該字幕視差為該預定字幕視差。
  11. 如申請專利範圍第10項所述之電子裝置，其中因應於該物件視差大於該預定字幕視差且調整後的該字幕視差係大於一預定視差時，該處理器係使用該預定字幕視差將該字幕置於該物件在該目前立體影像中之一相對側。
  12. 如申請專利範圍第11項所述之電子裝置，其中該處理器更調整欲加入該目前立體影像之該字幕相應的字幕方塊之寬 度及/或高度，使得在該目前立體影像中所呈現的該字幕不與該物件重疊。
  13. 如申請專利範圍第10項所述之電子裝置，其中，該處理器更分析在該虛擬實境影片中之該目前立體影像的一預定數量的複數張後續立體影像中之該物件的該物件視差，其中，因應於該預定數量中之一或多張該等後續立體影像中之該物件的該物件視差大於該預定字幕視差，該處理器係使用該目前立體影像之該字幕視差做為該預定數量中之該等後續立體影像所使用的該字幕視差以將相應的字幕加入該等後續立體影像。
  14. 如申請專利範圍第8項所述之電子裝置，其中該虛擬實境影片係由具有雙鏡頭之一可攜式電子裝置預先錄製。
TW108145734A 2019-10-29 2019-12-13 電子裝置及虛擬實境影片的字幕嵌入方法 TWI754868B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/667,426 US11039116B2 (en) 2019-10-29 2019-10-29 Electronic device and subtitle-embedding method for virtual-reality video
US16/667,426 2019-10-29

Publications (2)

Publication Number Publication Date
TW202118291A TW202118291A (zh) 2021-05-01
TWI754868B true TWI754868B (zh) 2022-02-11

Family

ID=75586512

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108145734A TWI754868B (zh) 2019-10-29 2019-12-13 電子裝置及虛擬實境影片的字幕嵌入方法

Country Status (3)

Country Link
US (1) US11039116B2 (zh)
CN (1) CN112752039B (zh)
TW (1) TWI754868B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140036046A1 (en) * 2012-07-31 2014-02-06 Nlt Technologies, Ltd. Stereoscopic image display device, image processing device, and stereoscopic image processing method
CN108616730A (zh) * 2016-12-27 2018-10-02 北京阿吉比科技有限公司 一种基于虚拟现实的立体弹幕方法及系统
CN109561263A (zh) * 2018-11-23 2019-04-02 重庆爱奇艺智能科技有限公司 在vr设备的3d视频中实现3d字幕效果

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130010064A1 (en) * 2010-03-24 2013-01-10 Panasonic Corporation Video processing device
JP6092525B2 (ja) * 2012-05-14 2017-03-08 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像処理装置、情報処理システム、画像処理方法およびプログラム
US10349031B2 (en) * 2013-07-28 2019-07-09 Michael J. DeLuca Augmented reality based user interfacing
TWI527920B (zh) * 2014-11-26 2016-04-01 財團法人金屬工業研究發展中心 保護膜與其鍍膜方法
CN106878786B (zh) * 2017-03-07 2020-03-03 北京小米移动软件有限公司 Vr视频中弹幕的显示方法和装置
US10958890B2 (en) * 2017-03-31 2021-03-23 Samsung Electronics Co., Ltd. Method and apparatus for rendering timed text and graphics in virtual reality video
CN109246463B (zh) * 2017-06-02 2020-06-26 腾讯科技（深圳）有限公司 用于显示弹幕的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140036046A1 (en) * 2012-07-31 2014-02-06 Nlt Technologies, Ltd. Stereoscopic image display device, image processing device, and stereoscopic image processing method
CN108616730A (zh) * 2016-12-27 2018-10-02 北京阿吉比科技有限公司 一种基于虚拟现实的立体弹幕方法及系统
CN109561263A (zh) * 2018-11-23 2019-04-02 重庆爱奇艺智能科技有限公司 在vr设备的3d视频中实现3d字幕效果

Also Published As

Publication number Publication date
TW202118291A (zh) 2021-05-01
CN112752039A (zh) 2021-05-04
CN112752039B (zh) 2022-09-27
US11039116B2 (en) 2021-06-15
US20210127105A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
JP6526054B2 (ja) プライベート追跡ヘッドアップディスプレイとしての第２画面の使用
JP2019525510A (ja) 仮想現実ヘルメット及びその使用方法
JP2016504825A (ja) ３ｄプレノプティックビデオ画像を作成するためのシステムおよび方法
EP3039476B1 (en) Head mounted display device and method for controlling the same
WO2018219091A1 (zh) 用于显示弹幕的方法、装置以及存储介质
US20160261841A1 (en) Method and device for synthesizing three-dimensional background content
KR102431712B1 (ko) 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
US11838491B2 (en) 3D display system and 3D display method
US8681205B2 (en) Systems and methods for controlling a three dimensional (3D) compatible viewing device
US11270115B2 (en) Presentation of augmented reality content based on identification of trigger accompanying video content
EP3746990A1 (en) Displaying modified stereo visual content
TWI754868B (zh) 電子裝置及虛擬實境影片的字幕嵌入方法
JP6370446B1 (ja) 視点基盤のオブジェクトピッキングシステム及びその方法
US11076112B2 (en) Systems and methods to present closed captioning using augmented reality
TWI775397B (zh) 3d顯示系統與3d顯示方法
US8873939B2 (en) Electronic apparatus, control method of electronic apparatus, and computer-readable storage medium
TWI839578B (zh) 3d顯示系統與3d顯示方法
EP4216544A1 (en) Stereoscopic-image playback device and method for generating stereoscopic images
TWI779336B (zh) 顯示系統及裸視立體影像之播放方法
WO2018000610A1 (zh) 一种基于图像类型判断的自动播放方法和电子设备
US11782666B1 (en) Aggregate view of image information on display devices
TWM628625U (zh) 3d顯示系統
US20240070959A1 (en) Method and computer device for 3d scene generation
US20220286658A1 (en) Stereo image generation method and electronic apparatus using the same
US20120092364A1 (en) Presenting two-dimensional elements in three-dimensional stereo applications