TWI599988B - 製作內容細膩的視訊之方法及其相關之電腦程式與電腦可讀取媒體 - Google Patents

Description

製作內容細膩的視訊之方法及其相關之電腦程式與電腦可讀取媒體

本發明是有關一種用以製作內容細膩的視訊之方法。

現已開發出許多軟體產品用於將多媒體內容即時地放入3D虛擬世界內，並用於即時地產生視訊之視訊記錄，以準備用來全球廣播。可利用以人工方式控制的虛擬相機藉由通過3D虛擬世界來達成視訊記錄。而目前對於製作這種形式的視訊記錄，除人工方法外並無替代方案。

現有的軟體產品讓使用者能夠：‧瀏覽影像/視訊/音訊的目錄；‧利用影像/視訊編輯器來應用影像/視訊處理工具；‧利用視訊創作器以藉由特殊效果、移轉及裁剪處理來產生視訊；‧將視訊發送至3D世界，以人工方式定義飛行路徑，添加本地化聲效，同時經由3D世界巡覽並且記錄巡覽行程。

然所呈現缺點是在於現有的傳統製作視訊記錄方法並非自動化，而且以人工方式定義的飛行路徑可能不適用於，且並非配合於，由使用者所提供的多媒體內容。此外，以人工方式標定飛行路徑為繁瑣耗時且易發生錯誤。

從而本發明之目的係為提供一種可克服前述缺點，或者至少提供新式之視訊製作方法的解決方案。

根據一具體實施例，在此說明一種記錄視訊的方法。該方法包含接收一或更多使用者內容，並且提供3D虛擬世界以及具有一或更多參數的虛擬相機。然後依據該等一或更多使用者內容以決定該虛擬相機的最優3D飛行路徑。接著令該虛擬相機沿該最優3D飛行路徑行旅並且記錄視訊。

在另一具體實施例裡，該方法進一步包含下列步驟，即依據一或更多使用者內容以修改該虛擬相機的一或更多參數。

在另一具體實施例裡，決定最優3D飛行路徑的步驟包含提供複數條3D飛行路徑並且自一或更多使用者內容擷取複數個屬性。然後依據該等複數個屬性以優化該等複數條3D飛行路徑各者。接著利用美學函數以計算該等經優化3D飛行路徑之各者的美學品質。選定擁有最高美學品質的經優化3D飛行路徑以作為最優的3D飛行路徑。

在另一具體實施例裡，該等一或更多使用者內容包含一或更多多媒體內容，同時優化該等複數條3D飛行路徑各者的步驟包含在該3D飛行路徑上選定一或更多節段並且依據該等複數個屬性以優化該等一或更多節段。然後按照該等一或更多經優化節段以變形該3D飛行路徑。

在另一具體實施例裡，優化該等一或更多節段的步驟包含依據該等複數個屬性以導算出對於該等一或更多節段的複數個所建議變形。然後利用動態程式規劃以選定所建 議變形，並且接著依據選定的所建議變形以變形該等一或更多節段。

在另一具體實施例裡，該等一或更多使用者內容含有音軌資料。

在另一具體實施例裡，說明一種用以產生新飛行路徑的方法。該方法包含提供第一飛行路徑及第二飛行路徑，並且將該第一飛行路徑接聯於該第二飛行路徑以產生新的飛行路徑。

在另一具體實施例裡，說明一種用以產生新飛行路徑的方法。該方法包含提供第一飛行路徑及第二飛行路徑，自該第一飛行路徑擷取出子路徑，並且將該子路徑接聯於該第二飛行路徑以產生新的飛行路徑。

在另一具體實施例裡，說明一種用以指示電腦執行任何如本揭所述之方法的電腦程式。

在另一具體實施例裡，說明一種具有如本揭所述之電腦程式的電腦可讀取媒體。

現將參照於後附圖式以詳細說明本發明。

現參照圖式，圖1顯示在3D虛擬世界裡一虛擬相機102的飛行路徑101。一特定的3D虛擬世界可擁有複數條對其而經裁調或相關聯的飛行路徑101。該虛擬相機102具有視野105。此視野105係該虛擬相機102所「看見」之一切，並為該虛擬相機102在任何時刻處所記錄之一切。在該3D 虛擬世界裡可有諸多3D物體，並且在一3D物體上顯示多媒體內容104(此者含有影像與視訊)的表面稱為視幕103。

當沿著該飛行路徑101移動時，一或更多視幕103可進入到該虛擬相機102的視野105內。後文中是將進入到一飛行路徑101裡該虛擬相機102之視野105內的視幕103稱為沿該飛行路徑101的視幕103。當該虛擬相機102沿飛行路徑101行旅並且當該等視幕103進入到該虛擬相機102的視野105內時，該虛擬相機102將會記錄顯示在該等視幕103上的多媒體內容104。虛擬相機106、107及108位置為沿著該飛行路徑101上的位置，而該虛擬相機102在這些位置將會瞬時地靜止以使得該者能夠記錄該等視幕103上的多媒體內容104。

根據本發明之較佳具體實施例，圖2顯示一種產生2D視訊的方法。在步驟201中，提供一軟體程式以使得使用者能夠利用該軟體程式上載多媒體內容(影像及視訊)和音軌資料。或另者，該軟體程式亦提供多媒體內容與音軌資料的資料庫以供使用者自此而選用。

在步驟202中，該軟體程式擷取出所上載或所選定之多媒體內容(影像或視訊)與音軌資料的屬性。對於影像來說，該軟體程式可運作影像處理技術以擷取出該等影像的屬性。影像處理技術的範例包含臉部偵測、字元辨識、幾何形狀偵測、自然紋理標記。該影像的屬性可為該影像的內容，例如該影像具有「2個寬度為30 x 40個像素的臉部」以及「3行每英寸為12個像素的文字」。而就以視訊而言， 該軟體程式可利用視訊分析工具以將該視訊斷切為一系列的視框(類同於影像)並且擷取出該等視框的屬性。且亦能擷取出其他像是視訊長度、視框率(frame rate)的屬性。

該軟體程式利用音訊及聲調分析工具以擷取出像是聲調和節奏的音訊信號屬性。該軟體程式可運用這些音訊信號屬性以在該3D虛擬世界裡觸發特殊效果。該軟體程式可存取相應於各個音訊信號屬性之特殊效果的整個資料庫。例如，若該音軌資料為具有慢節奏及低聲調的莫札特樂曲，則該軟體程式可將蝴蝶插置於該3D虛擬世界內。而若該音軌資料為具有快節奏及高聲調的搖滾音樂，則該軟體程式可將煙火插置於該3D虛擬世界內。

在步驟203中，該軟體程式可提供3D虛擬世界的資料庫以供使用者自其選定。3D虛擬世界的範例可為紐約市虛擬世界以及美式足球館虛擬世界。可對使用者提供搜尋函數，藉以讓使用者能夠輸入其搜尋關鍵標準並且該軟體程式將回覆以經過濾的3D虛擬世界列表。例如，使用者可將詞彙「球館」輸入至此搜尋函數內，並且該軟體程式回覆以籃球館3D虛擬世界、美式足球館3D虛擬世界等等。由該軟體程式提供予該使用者以供選定的3D虛擬世界亦可為根據由該使用者所上載/所選定的多媒體內容而定。例如，若該多媒體內容包含3個影像，則該軟體程式可對使用者僅決選列出具有3個視幕的3D虛擬世界。或另者，該軟體程式亦可藉由增添或刪除視幕來修改現有的3D虛擬世界，藉以令視幕數目配合於由使用者所上載之多媒體內容的數 目，並且對使用者決選列出此一經修改的3D虛擬世界。

在步驟204中，該軟體程式可提供複數個虛擬相機以供使用者自其選定。該等虛擬相機的外觀及參數可仿擬Sony、Canon公司等等的真實視訊相機型號，因而使用者能夠選擇所慣用的虛擬相機。該等虛擬相機亦可具有紅外線或熱溫選項，故而能夠在紅外線或熱溫頻譜中觀看2D視訊的拍攝。

在步驟205中，該軟體程式自飛行路徑資料庫裡過濾或決選列出複數條可能的飛行路徑。經決選列出的飛行路徑可包含針對於經選定之3D虛擬世界所裁適的飛行路徑。該等經決選列出的飛行路徑亦可包含並非針對於該經選定3D虛擬世界所裁適，而是針對於其他3D虛擬世界所裁適，的飛行路徑。該等經決選列出的飛行路徑亦可包含(來自該等經決選列出飛行路徑)既已由該軟體程式按照一些關鍵標準加以修改的飛行路徑。例如，若一經決選列出飛行路徑內之視幕的數目超過由使用者所上載之多媒體內容的數目，則可修改該經決選列出飛行路徑以使得該虛擬相機僅行旅至顯示該多媒體內容的視幕。

在其中一經決選列出飛行路徑內之視幕的數目小於由使用者所上載之多媒體內容的數目之實例裡，可修改該經決選列出飛行路徑以讓該飛行路徑再行旅返回至既已通過的視幕，使得能夠在某一時段裡於相同的視幕上顯示出不同的多媒體內容。為說明此項範例，一飛行路徑內之視幕的數目為兩個(即Screen 1及2)，而由使用者所上載之多媒 體內容的數目為三個(即Image 1、2及3)。Image 1及3會在不同時間點處顯示於Screen 1上，而Image 2將會顯示於Screen 2上。因此，該飛行路徑將含有朝向顯示Image 1之Screen 1行旅，而然後是到顯示Image 2之Screen 2，的虛擬相機。接著該飛行路徑將令該虛擬相機行旅返回至顯示Image 3的Screen 1。若該等多媒體內容為循序性的Power Point幻燈片，則該多媒體內容的顯示次序應為依循於其。

對於各條飛行路徑，該虛擬相機在該飛行路徑的不同範圍處將具有一組內定的虛擬相機參數值(像是速度、平移及斜度)。在步驟206中，可按照所選擇的3D虛擬世界來調適該等虛擬相機參數。該虛擬相機的平移及斜度應予改變，藉以讓視幕能夠進入到該虛擬相機的視野內。該虛擬相機的速度亦應依據這些視幕的位置而變。例如，在飛行路徑裡其中視幕為部分地或全然地位於該虛擬相機視野之內部的範圍處，可減緩該虛擬相機的速度並且虛擬相機可採取一位於該視幕前方的靜止位置。

在該飛行路徑內所耗用的時間應配合於該選定音軌資料的時段長度。因此，可修改該虛擬相機在當行旅通過該飛行路徑時的速度，以使得在該飛行路徑內所耗用的時間是配合於該選定音軌資料的時段長度。亦可按照該多媒體內容的所擷取屬性來修改該等虛擬相機參數。若該多媒體內容的所擷取屬性為此者含有微小文字的影像，則可提高該虛擬相機的縮放度。

在步驟207中，該軟體程式依據該等影像及視訊之所 擷取屬性以變形該經決選列出飛行路徑的離散點。該軟體程式是藉由首先選定該經決選列出飛行路徑上用以進行此項變形的離散點來達成。圖3對此加以說明。圖3中說明所選定的3D虛擬世界300、經決選列出的飛行路徑301，以及顯示在視幕303上的多媒體內容302。該軟體程式會選定沿該決選列出飛行路徑301上對於進行此變形的最相關離散點，亦即在該決選列出飛行路徑301上而其中該視幕303是位於該虛擬相機304視野內的點處。原因是這些離散點對於該虛擬相機304對將顯示在該等視幕303上之多媒體內容302的拍攝結果會產生最大影響。

在本圖說明中是選擇離散點305以進行變形。在該飛行路徑中(可為非線性或線性)於先前離散點306與後續離散點307之間的節段會被分析以進行變形。該軟體程式可藉由首先存取具有規模及其等之相對應所建議變形的預定屬性表以執行此項分析作業，即如底下表1所示。

底下表2顯示該等預定屬性。

對於各項預定屬性，並且按一特定規模，會有一項對 於位在該先前離散點306與該後續離散點307間之飛行路徑節段的所建議變形。該規模為0到1之間的數值，並且為該影像或視訊之所擷取屬性匹配於該預定屬性之接近程度的量測值。該等預定屬性、規模以及相對應的所建議變形為演訓資料並且是儲存在該軟體程式能夠存取到的資料庫裡。

依照來自該自多媒體內容302的所擷取屬性，可決定該先前離散點306與該後續離散點307間之飛行路徑節段的預定屬性之規模。藉由這些規模，即可藉由參照表1以獲得對於各項預定屬性的所建議變形。這可如下表3所述。

然後再將該等所建議變形加以正歸化(平均化)，亦即1/ZΣ(所建議變形)，藉此得到對於該先前離散點306與該後續離散點307間之飛行路徑節段的複數個經正歸化變 形。接著對該節段的各個正歸化變形指定一項本地性美學分數(0到1之間)。然後對於各個相關離散點重複進行該項程序。

在步驟208中，對該經決選列出飛行路徑進行優化。此優化作業是藉由選定具有最佳整體分數的正歸化變形所達成。對於各項正歸化變形的整體分數是按照對一正歸化變形的本地性美學分數加權以轉場分數所計算出。轉場分數(0到1之間)為對於兩個接續正歸化變型之適合度所給定的分數。其概念為必須考量到該飛行路徑的整體變形，而非僅隔離地考量到本地性(節段)的變形。圖4顯示3D虛擬世界400、經決選列出飛行路徑401以及視幕402、403和410。在本例中是選定相關離散點405及408以供變形。因此將會按照顯示在視幕402上的多媒體內容以分析該等離散點404和406之間的飛行路徑節段，按照顯示在視幕403上的多媒體內容以分析該等離散點407和409之間的節段，並且按照顯示在視幕410上的多媒體內容以分析該等離散點411和413之間的飛行路徑節段。

在步驟209中，亦可利用優化美學函數以計算該經優化之決選列出飛行路徑的美學值，並且選擇具有最高美學值的經優化決選列出飛行路徑作為該優化飛行路徑。該優化美學函數是利用一種動態程式規劃技術(Bellman)，其中建構出經加權之有向非迴環圖(DAG)。在DAG中，頂點為分別與待予變形之節段{X₁,X₂,…X_k}相關聯的本地性變形假設{X₁₁,X₁₂,…X_1n,X₂₁,…X_2n,…X_k,n}，並且連 接兩個接續假設(X_in,X_jn)的邊線是由轉場的可能性所加權。

在步驟210中，該虛擬相機在該優化飛行路徑上行旅以記錄2D視訊。

熟諳本項技藝之人士將能瞭解所述發明所提供的一項優點是在於可供相對簡易地產生唯一視訊。換言之，擁有兩組利用相同3D虛擬世界之不同多媒體內容的使用者(例如末端使用者、廣告廠商或是事件活動組織者)將能得到兩個不同的視訊。

亦能瞭解以線上方式提供所述發明能夠讓即如MTV或廣告廠商的顧客按極低成本近乎立即地產生並顯呈出視訊建構結果。功能性產生引擎可取用多媒體內容和3D虛擬世界，並且自動地執行飛行路徑的客訂化顯呈處理。在替代性具體實施例裡，提供該生產技術的方式可為僅線上版本的方式而其中完工產品可供銷售；售予末端使用者的單立式版本；或者單立式版本與線上版本的組合，而可透過利用資訊收集以產生與例如工具使用相關聯的測量值和統計值來進行擴充，如此可提供建議等等並可提供其他強化函數的優化工具。同時，自例如依照標準路徑指配之預完成產品所產生的測量值和統計值及其他回饋，且併同於使用者回饋，亦可用來改善產品品質、關聯於其他像是人口資訊等等之資訊所提供，藉以產生行銷資訊等等。

另一項優點為飛行路徑的優化作業是按照智慧性、內容細膩性的參數所自動完成，故而能夠產生具有意義的視訊。在一具體實施例裡，本揭所述發明示範性方法及設備 可運用於3D PowerPoint簡報(企業)；3D消費性電子裝置廣告(Blackberry視訊)；3D活動事件促銷(MDA、TechVenture 2010)；音樂促銷(Viacom、MTV、Sony、EMI)；書籍促銷(Amazon.com)；音樂會票務(Guns and Roses視訊)；以及運動活動事件(World Cup視訊)。又進一步，本發明亦可運用於日常更換的廣告以及使用者產生的廣告。整體而言，根據具體實施例的實作可加速生產出應用在活動事件促銷、線上可見度提升以及立即性、衝擊性、關鍵性之行銷事務的高影響力視訊。例如，在像是新加坡的快步調節奏國家裡，目前正對於眾多廣告、促銷和其他內容進行3D發展，而本揭所述方法可供使用者能夠藉由其他自有客訂化3D路徑與客訂化情境以生產出自該等在3D世界中所上載之多媒體內容的分析結果所算得的其等自有客訂化視訊。本揭所述的具體實施例亦可運用於電子廣告廠商、網頁、電子卡片、YouTube、Picassa、PowerPoint等等的技術。

本發明的另一項特點為可產生新的飛行路徑以供在資料庫中建構飛行路徑貯池。一種將現有飛行路徑接聯合一的方式是產生新的飛行路徑。另一種方式則為從現有的飛行路徑中擷取出子路徑，然後再將該等子路徑接聯於現有路徑以產生新的飛行路徑(稱為拼接)。經優化飛行路徑亦可在該資料庫內成為新的飛行路徑。

現有一些對3D虛擬世界進行修改的實例。在這些情況下，必須亦據此來對資料庫內經裁適或關聯於該經修改3D虛擬世界的飛行路徑進行修改。例如，若在3D虛擬世界裡 產生新的虛擬建物，則必須變更相關聯的飛行路徑，使得該等路徑不會「穿越」而是「繞過」這個新的虛擬建物。

雖既已描述並說明多項歸屬於本發明的示範性具體實施例，然熟諳本項技藝之人士將能瞭解眾多牽涉到特定設計、實作或建構方式的變化或修改確為可行，並且可予實行而不致偏離如本揭所說明的發明性概念。

101‧‧‧飛行路徑

102‧‧‧虛擬相機

103‧‧‧視幕

104‧‧‧多媒體內容

105‧‧‧視野

106‧‧‧虛擬相機

107‧‧‧虛擬相機

108‧‧‧虛擬相機

300‧‧‧3D虛擬世界

301‧‧‧經決選列出飛行路徑

302‧‧‧多媒體內容

303‧‧‧視幕

304‧‧‧虛擬相機

305‧‧‧離散點

306‧‧‧先前離散點

307‧‧‧後續離散點

400‧‧‧3D虛擬世界

401‧‧‧經決選列出飛行路徑

402‧‧‧視幕

403‧‧‧視幕

404‧‧‧離散點

405‧‧‧離散點

406‧‧‧離散點

407‧‧‧離散點

408‧‧‧離散點

409‧‧‧離散點

410‧‧‧視幕

411‧‧‧離散點

412‧‧‧離散點

413‧‧‧離散點

為藉由非限制性範例以供完整地並更通徹地瞭解本發明具體實施例，現採行後文說明且併同於隨附圖式，而其中類似的參考編號是標定相仿或相對應的構件、範圍和局部，同時其中：圖1為說明在3D虛擬世界中於一條飛行路徑上之虛擬相機的圖式；圖2為說明一記錄視訊之方法的流程圖；圖3為說明一相關離散點、先前離散點及後續離散點的圖式；圖4為說明兩個相關離散點以及其等之先前離散點及後續離散點的圖式。

Claims (8)

1. 一種記錄視訊的方法，包含下列步驟：接收至少一使用者內容；提供3D虛擬世界；提供具有至少一參數的虛擬相機；依據該至少一使用者內容以自動地決定該虛擬相機的最優3D飛行路徑；以及令該虛擬相機沿該最優3D飛行路徑行旅並且記錄視訊。
2. 如申請專利範圍第1項所述之方法，進一步包含下列步驟：依據該至少一使用者內容以修改該虛擬相機的至少一參數。
3. 如申請專利範圍第1或2項所述之方法，其中決定該最優3D飛行路徑的步驟包含下列步驟：提供複數條3D飛行路徑；自該至少一使用者內容擷取出複數個屬性；依據該等複數個屬性以優化該等複數條3D飛行路徑各者；利用美學函數以計算經優化複數條3D飛行路徑之各者的美學品質；以及選定擁有最高美學品質的經優化3D飛行路徑以作為該最優3D飛行路徑。
4. 如申請專利範圍第3項所述之方法，其中該至少一使 用者內容包含至少一多媒體內容，並且優化該等複數條3D飛行路徑各者的步驟包含下列步驟：在該3D飛行路徑上選定至少一節段；依據該等複數個屬性以優化該至少一節段；以及按照至少一經優化節段以變形該3D飛行路徑。
5. 如申請專利範圍第4項所述之方法，其中優化該至少一節段的步驟包含下列步驟：依據該等複數個屬性以導算出用於該至少一節段的複數個所建議變形；利用動態程式規劃以選定該所建議變形；以及依據選定的所建議變形以變形該至少一節段。
6. 如申請專利範圍第3項所述之方法，其中該至少一使用者內容包含音軌資料。
7. 一種電腦程式，其用於指示電腦以執行如申請專利範圍第1至6項任一項所述之方法。
8. 一種電腦可讀取媒體，其具有如申請專利範圍第7項所述之電腦程式。