TWI752502B - 一種分鏡效果的實現方法、電子設備及電腦可讀儲存介質 - Google Patents

一種分鏡效果的實現方法、電子設備及電腦可讀儲存介質 Download PDF

Info

Publication number
TWI752502B
TWI752502B TW109116665A TW109116665A TWI752502B TW I752502 B TWI752502 B TW I752502B TW 109116665 A TW109116665 A TW 109116665A TW 109116665 A TW109116665 A TW 109116665A TW I752502 B TWI752502 B TW I752502B
Authority
TW
Taiwan
Prior art keywords
image
virtual
real
model
dimensional virtual
Prior art date
Application number
TW109116665A
Other languages
English (en)
Other versions
TW202123178A (zh
Inventor
劉文韜
鄭佳宇
黃展鵬
李佳樺
Original Assignee
中國商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中國商深圳市商湯科技有限公司 filed Critical 中國商深圳市商湯科技有限公司
Publication of TW202123178A publication Critical patent/TW202123178A/zh
Application granted granted Critical
Publication of TWI752502B publication Critical patent/TWI752502B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/2053D [Three Dimensional] animation driven by audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申請實施例揭露了一種分鏡效果的實現方法、裝置及相關產品,所述方法包括:獲取三維虛擬模型;以至少兩個不同的鏡頭視角對所述三維虛擬模型進行渲染,得到至少兩個不同的鏡頭視角分別對應的虛擬圖像。

Description

一種分鏡效果的實現方法、電子設備及電腦可讀儲存介質
本申請基於申請號為201911225211.4、申請日為2019年12月3日的中國專利申請提出,並要求該中國專利申請的優先權,該中國專利申請的全部內容在此以引入方式併入本申請。本申請涉及虛擬技術領域,尤其涉及一種分鏡效果的實現方法、裝置及相關產品。
近年來,「虛擬人物」頻繁出現在我們的生活中,例如,人們熟知的「初音未來」、「洛天依」等虛擬偶像在音樂領域中的應用,或者虛擬主持人在新聞直播中的應用等等。由於虛擬人物可以代替真實人物在網路世界中進行活動,而且使用者可以根據需求自行設置虛擬人物的外觀、造型等等,因此,虛擬人物逐漸成為了一種人與人之間的交流方式。
目前,網路中的虛擬人物在生成過程中普遍採用運動捕獲技術,透過圖像識別的方法對拍攝得到的真實人物圖像進行分析,從而將真實人物的動作和表情定向到虛擬人物中,使得虛擬人物可以重現真實人物的動作和表情。
本申請實施例揭露了一種分鏡效果的實現方法、裝置及相關產品。
第一方面,本申請實施例提供了一種分鏡效果的實現方法,包括:獲取三維虛擬模型;以至少兩個不同的鏡頭視角對三維虛擬模型進行渲染,得到至少兩個不同的鏡頭視角分別對應的虛擬圖像。
上述方法透過對獲取三維虛擬模型,並以至少兩個不同的鏡頭視角對三維虛擬模型進行渲染,從而得到至少兩個不同的鏡頭視角分別對應的虛擬圖像,使得使用者可以看到不同鏡頭視角下的虛擬圖像,為使用者帶來豐富的視覺體驗。
在本申請的一些可選實施例中,三維虛擬模型包括處於三維虛擬場景模型中的三維虛擬人物模型,在獲取三維虛擬模型之前,上述方法還包括:獲取真實圖像,其中,真實圖像包括真實人物圖像;對真實人物圖像進行特徵提取得到特徵資訊,其中,特徵資訊包括真實人物的動作資訊;根據特徵資訊生成三維虛擬模型,以使得三維虛擬模型中的三維虛擬人物模型的動作資訊與真實人物的動作資訊對應。
可以看出,透過對採集得到的真實人物圖像進行特徵提取,從而生成三維虛擬模型,使得三維虛擬模型中的三維虛擬人物模型可以重現真實人物的臉部表情和肢體動作,方便觀眾透過觀看三維虛擬模型對應的虛擬圖像便可以得知真實人物的臉部表情和肢體動作,從而使得觀眾與真人主播實現更為靈活的互動。
在本申請的一些可選實施例中,獲取真實圖像包括:獲取影片流,根據影片流中的至少兩幀圖像得到至少兩幀真實圖像;對真實人物圖像進行特徵提取得到特徵資訊,包括:分別對每一幀真實人物圖像進行特徵提取得到對應的特徵資訊。
可以看出,三維虛擬模型可以根據採集得到的多幀真實圖像即時變化,使得使用者可以看到不同鏡頭視角下的三維虛擬模型的動態變化過程。
在本申請的一些可選實施例中,真實圖像還包括真實場景圖像,三維虛擬模型還包括三維虛擬場景模型;在獲取三維虛擬模型之前,上述方法還包括:根據真實場景圖像,構建三維虛擬場景模型。
可以看出,上述方法還可以利用真實場景圖像來構建三維虛擬模型中的三維虛擬場景圖像,相較於只能選擇特定的三維虛擬場景圖像來說,使得三維虛擬場景圖像的選擇性更多。
在本申請的一些可選實施例中,獲取至少兩個不同的鏡頭視角,包括:根據至少兩幀真實圖像,得到至少兩個不同的鏡頭視角。
可以看出,每幀真實圖像對應一個鏡頭視角,多幀真實圖像對應多個鏡頭視角,因此根據至少兩幀真實圖像可以得到至少兩幀不同的鏡頭視角,從而用於實現三維虛擬模型的鏡頭視角渲染,為使用者提供豐富的視覺體驗。
在本申請的一些可選實施例中,獲取至少兩個不同的鏡頭視角,包括:根據至少兩幀真實圖像分別對應的動作資訊,得到至少兩個不同的鏡頭視角。
可以看出,根據真實圖像中的真實人物的動作資訊來確定鏡頭視角,可以使得圖像中放大顯示對應的三維虛擬人物模型的動作,方便使用者透過觀看虛擬圖像從而得知真實人物的動作,提高交互性與趣味性。
在本申請的一些可選實施例中,獲取至少兩個不同的鏡頭視角,包括:獲取背景音樂;確定背景音樂對應的時間合集,其中時間合集包括至少兩個時間段;獲取時間合集中每一個時間段對應的鏡頭視角。
可以看出,上述方法中透過分析背景音樂,並確定背景音樂對應的時間合集,從而獲取多個不同鏡頭視角,透過這種方法可以提高鏡頭視角的多樣性,使得使用者可以得到更為豐富的視覺體驗。
在本申請的一些可選實施例中,至少兩個不同的鏡頭視角包括第一鏡頭視角和第二鏡頭視角;以至少兩個不同的鏡頭視角對三維虛擬模型進行渲染,得到至少兩個不同的鏡頭視角分別對應的虛擬圖像,包括:以第一鏡頭視角對三維虛擬模型進行渲染,得到第一虛擬圖像;以第二鏡頭視角對三維虛擬模型進行渲染,得到第二虛擬圖像;展示根據第一虛擬圖像和第二虛擬圖像形成的圖像序列。
可以看出,分別以第一鏡頭視角和第二鏡頭視角對三維虛擬模型進行渲染,可以使得使用者觀看到第一鏡頭視角下的三維虛擬模型以及第二鏡頭視角下的三維虛擬模型,從而為使用者提供豐富的視覺體驗。
在本申請的一些可選實施例中,以第二鏡頭視角對三維虛擬模型進行渲染,得到第二虛擬圖像,包括:將第一鏡頭視角下的三維虛擬模型進行平移或者旋轉,得到第二鏡頭視角下的三維虛擬模型;獲取第二鏡頭視角下的三維虛擬模型對應的第二虛擬圖像。
可以看出,透過將第一鏡頭視角下的三維虛擬模型進行平移或者旋轉,可以快速且準確地得到第二鏡頭視角下的三維虛擬模型,也就是第二虛擬圖像。
在本申請的一些可選實施例中,展示根據第一圖像和第二虛擬圖像形成的圖像序列,包括:在第一虛擬圖像和第二虛擬圖像之間插入a幀虛擬圖像,使得第一虛擬圖像平緩切換至第二虛擬圖像,其中,a是正整數。
可以看出,在第一虛擬圖像和第二虛擬圖像之間插入a幀虛擬圖像,使得觀眾可以看到由第一虛擬圖像到第二虛擬圖像的整個變化過程,而不是單一的兩張圖像(第一虛擬圖像和第二虛擬圖像),從而使得觀眾可以適應由第一虛擬圖像到第二虛擬圖像所造成的視覺差的變化效果。
在本申請的一些可選實施例中,方法還包括:對背景音樂進行節拍檢測,得到背景音樂的節拍合集,其中,節拍合集包括多個節拍,多個節拍中的每一個節拍對應一個舞臺特效;將節拍合集對應的目標舞臺特效添加到三維虛擬模型中。
可以看出,根據音樂的節拍資訊對虛擬人物模型所在的虛擬場景添加相應的舞臺特效,從而為觀眾呈現出不同的舞臺效果,增強了觀眾的觀看體驗度。
第二方面,本申請實施例還提供了一種分鏡效果的實現裝置,包括:獲取單元,配置為獲取三維虛擬模型;分鏡單元,配置為以至少兩個不同的鏡頭視角對三維虛擬模型進行渲染,得到至少兩個不同的鏡頭視角分別對應的虛擬圖像。
在本申請的一些可選實施例中,三維虛擬模型包括處於三維虛擬場景模型中的三維虛擬人物模型,裝置還包括:特徵提取單元和三維虛擬模型生成單元;其中,獲取單元,還配置為在獲取三維虛擬模型之前,獲取真實圖像,其中,真實圖像包括真實人物圖像;特徵提取單元,配置為對真實人物圖像進行特徵提取得到特徵資訊,其中,特徵資訊包括真實人物的動作資訊;三維虛擬模型生成單元,配置為根據特徵資訊生成三維虛擬模型,以使得三維虛擬模型中的三維虛擬人物模型的動作資訊與真實人物的動作資訊對應。
在本申請的一些可選實施例中,獲取單元,配置為獲取影片流,根據影片流中的至少兩幀圖像得到至少兩幀真實圖像;特徵提取單元,配置為對每一幀真實人物圖像進行特徵提取得到對應的特徵資訊。
在本申請的一些可選實施例中,真實圖像還包括真實場景圖像,三維虛擬模型還包括三維虛擬場景模型;裝置還包括:三維虛擬場景圖像構建單元,配置為在獲取單元獲取三維虛擬模型之前,根據真實場景圖像,構建三維虛擬場景圖像。
在本申請的一些可選實施例中,裝置還包括鏡頭視角獲取單元,配置為根據至少兩幀真實圖像,得到至少兩個不同的鏡頭視角。
在本申請的一些可選實施例中,裝置還包括鏡頭視角獲取單元,配置為根據至少兩幀真實圖像分別對應的動作資訊,得到至少兩個不同的鏡頭視角。
在本申請的一些可選實施例中,裝置還包括鏡頭視角獲取單元,配置為獲取背景音樂;確定背景音樂對應的時間合集,其中時間合集包括至少兩個時間段;獲取時間合集中每一個時間段對應的鏡頭視角。
在本申請的一些可選實施例中,至少兩個不同的鏡頭視角包括第一鏡頭視角和第二鏡頭視角,分鏡單元,配置為以第一鏡頭視角對三維虛擬模型進行渲染,得到第一虛擬圖像;以第二鏡頭視角對三維虛擬模型進行渲染,得到第二虛擬圖像;展示根據第一虛擬圖像和第二虛擬圖像形成的圖像序列。
在本申請的一些可選實施例中,分鏡單元,配置為將第一鏡頭視角下的三維虛擬模型進行平移或者旋轉,得到第二鏡頭視角下的三維虛擬模型;獲取第二鏡頭視角下的三維虛擬模型對應的第二虛擬圖像。
在本申請的一些可選實施例中,分鏡單元,配置為在第一虛擬圖像和第二虛擬圖像之間插入a幀虛擬圖像,使得第一虛擬圖像平緩切換至第二虛擬圖像,其中,a是正整數。
在本申請的一些可選實施例中,裝置還包括:節拍檢測單元和舞臺特效生成單元;其中,節拍檢測單元,配置為對背景音樂進行節拍檢測,得到背景音樂的節拍合集,其中,節拍合集包括多個節拍,多個節拍中的每一個節拍對應一個舞臺特效;舞臺特效生成單元,配置為將節拍合集對應的目標舞臺特效添加到三維虛擬模型中。
第三方面,本申請實施例提供了一種電子設備,包括:處理器、通訊介面以及記憶體;記憶體用於儲存指令,處理器用於執行指令,通訊介面用於在處理器的控制下與其他設備進行通訊,其中,處理器執行指令時使得電子設備實現如上述第一方面中的任一項方法。
第四方面,本申請實施例提供了一種電腦可讀儲存介質,儲存有電腦程式,上述電腦程式被硬體執行以實現上述第一方面中的任一項方法。
第五方面,本申請實施例提供了一種電腦程式產品,當電腦程式產品被電腦讀取並執行時,如上述第一方面中的任一項方法被執行。
本申請實施例中使用的術語僅用於對本申請的具體實施例進行解釋,而非旨在限定本申請。
本申請實施例提供的一種分鏡效果的實現方法、裝置及相關產品可以應用在社交、娛樂以及教育等多個領域,比如說,可以用於虛擬直播、虛擬社群中進行社交互動,也可以用於舉辦虛擬演唱會,還可以應用於課堂教學等等。為了方便理解本申請實施例,下面以虛擬直播為例,對本申請實施例的具體應用場景進行詳細說明。
虛擬直播,是一種在直播平臺上利用虛擬人物代替真人主播進行直播的方式。由於虛擬人物具有豐富的表現力,也更加符合社交網路的傳播環境,因此,虛擬直播產業發展迅猛。在虛擬直播的過程中,通常利用臉部表情捕捉、動作捕捉以及聲音處理等電腦技術,將真人主播的臉部表情和動作套用在虛擬人物模型上,從而實現觀眾與虛擬主播在影片網站或者社交網站中的互動。
為了節省直播成本以及後期製作費用,用戶通常直接使用手機、平板電腦等終端設備進行直播。請參見第1圖,第1圖是本申請實施例提供的一種具體應用場景的示意圖,在如第1圖示出的直播過程中,攝影設備110對真人主播進行拍攝,並將採集到的真實人物圖像透過網路傳送至伺服器120中進行處理,伺服器120再將生成的虛擬圖像發送至使用者終端130,從而使得不同的觀眾透過對應的使用者終端130觀看到整個直播過程。
可以看出,這種方式的虛擬直播雖然成本較低,但是由於只有的單個攝影設備110對真人主播進行拍攝,因此生成的虛擬主播的姿態與攝影設備110與真人主播之間的相對位置有關,也就是說,觀眾只能看到特定視角下的虛擬人物,而這個特定視角取決於攝影設備110與真人主播之間的相對位置,從而使得呈現出的直播效果不盡如人意。例如,在虛擬直播過程中常常出現虛擬主播的動作僵硬、鏡頭切換畫面不流暢或者鏡頭畫面單調枯燥等問題,從而造成觀眾的視覺疲勞,無法令觀眾體會到身臨其境的感受。
類似的,在其他應用場景中,例如,直播教學場景;教學過程中老師透過線上教學的形式為學生教授知識,但是這種教學方法通常是枯燥乏味的,影片中的老師無法即時得知學生對知識點的掌握情況,學生也只能看到單一視角畫面中的老師或者教學講義,容易造成學生的疲憊感,與老師現場教學相比影片教學的教學效果大打折扣。又例如,在舉辦演唱會的過程中可能由於天氣、場地等限制,造成演唱會無法如期舉辦時,歌手可以在錄音室中舉辦虛擬演唱會,以模擬真實演唱會的情景,為了實現真實演唱會的情景,通常需要搭設多台攝影機對歌手進行拍攝,這種虛擬演唱會的舉辦方式操作複雜且浪費成本,而且利用多台攝影機進行拍攝可以得到多個鏡頭下的畫面,這就可能存在鏡頭切換不流暢的問題,從而使得使用者無法適應不同鏡頭畫面在切換時所造成的視覺差。
為了解決上述應用場景中經常出現的畫面鏡頭視角單一以及鏡頭切換畫面不流暢等問題,本申請實施例提供了一種用於實現分鏡效果的方法,該方法根據採集得到的真實圖像生成三維虛擬模型,並根據背景音樂或者真實人物的動作得到多個不同的鏡頭視角,然後以多個不同的鏡頭視角對三維虛擬模型進行渲染,得到多個不同的鏡頭視角分別對應的虛擬圖像,從而模擬出在虛擬場景中有多個虛擬相機對三維虛擬模型進行拍攝的效果,提高了觀眾的觀看體驗感。另外,該方法還透過對背景音樂的節拍進行解析,並根據節拍資訊在三維虛擬模型中添加對應的舞臺特效,為觀眾呈現出不同的舞臺效果,進一步增強了觀眾的觀看體驗感。
下面,首先解釋本申請實施例中由真實圖像生成三維虛擬模型的具體過程。
在本申請實施例中,三維虛擬模型包括處於三維虛擬場景中的三維虛擬人物模型。以第2圖為例,第2圖示出的一種可能的三維虛擬模型的示意圖,根據第2圖所示的三維虛擬模型可以看到三維虛擬人物模型的雙手舉到胸前,為了突出對比效果,第2圖的左上角還展示了由分鏡效果實現裝置採集得到的真實圖像,其中,真實人物也是雙手舉到胸前。換句話說,三維虛擬人物模型與真實人物的動作一致。可以理解,上述第2圖僅僅是一種舉例,在實際應用中,分鏡效果實現裝置採集得到真實圖像可以是三維圖像,也可以是二維圖像,真實圖像中人物的數量可以是一個,也可以是多個,真實人物的動作可以是雙手舉到胸前,也可以是抬起左腳或者其他動作等等,相應的,由真實人物圖像生成的三維虛擬模型中三維虛擬人物模型的數量可以是一個,也可以是多個,三維虛擬人物模型的動作可以是雙手舉到胸前,也可以是抬起左腳或者其他動作等等,此處不作具體限定。
在本申請實施例中,分鏡效果實現裝置對真實人物進行拍攝,得到多幀真實圖像I1 ,I2 ,…,In ,並按照時間順序對真實圖像I1 ,I2 ,…,In 分別進行特徵提取,從而得到多個對應的三維虛擬模型
Figure 02_image001
,其中n是正整數,並且真實圖像I1 ,I2 ,…,In 與三維虛擬模型
Figure 02_image001
之間存在一一對應的關係,也就是說,一幀真實圖像用於生成一個三維虛擬模型。示例性的,以真實圖像
Figure 02_image003
生成三維虛擬模型
Figure 02_image005
為例,一個三維虛擬模型是可以這樣得到的:
步驟一,分鏡效果實現裝置獲取真實圖像
Figure 02_image003
其中,真實圖像
Figure 02_image003
中包括真實人物圖像,並且i是正整數,
Figure 02_image007
步驟二,分鏡效果實現裝置對真實圖像
Figure 02_image003
中的真實人物圖像進行特徵提取,得到特徵資訊。其中,特徵資訊包括真實人物的動作資訊。
其中,獲取真實圖像包括:獲取影片流,根據影片流中的至少兩幀圖像得到至少兩幀真實圖像;相應的,對所述真實人物圖像進行特徵提取得到特徵資訊,包括:分別對每一幀所述真實人物圖像進行特徵提取得到對應的特徵資訊。
可以理解的,特徵資訊用於控制三維虛擬人物模型的姿態,特徵資訊中的動作資訊包括臉部表情特徵以及肢體動作特徵,臉部表情特徵用於描述人物的各種情緒狀態,例如,高興、悲傷、驚訝、恐懼、憤怒或者厭惡等等,肢體動作特徵用於描述真實人物的動作狀態,例如,舉起左手、抬起右腳或者跳躍等等。另外,特徵資訊還可以包括人物資訊,其中,人物資訊包括真實人物的多個人體關鍵點及其對應的位置資訊,人體關鍵點包括人臉關鍵點和人體骨骼關鍵點,位置特徵包括真實人物的人體關鍵點的位置座標。
可選的,分鏡效果實現裝置透過對真實圖像
Figure 02_image003
進行圖像分割,提取得到真實圖像
Figure 02_image003
中的真實人物圖像;再對提取得到的真實人物圖像進行關鍵點檢測得到上述多個人體關鍵點以及多個人體關鍵點的位置資訊,其中,上述人體關鍵點包括人臉關鍵點和人體骨骼關鍵點,上述人體關鍵點具體可以位於人體的頭部區域、脖子區域、肩膀區域、脊柱區域、腰部區域、臀部區域、手腕區域、手臂區域、膝蓋區域、腿部區域、腳腕區域以及腳掌區域等等;透過對人臉關鍵點以及人臉關鍵點的位置資訊進行分析,得到真實圖像
Figure 02_image003
中真實人物的臉部表情特徵;透過對人體骨骼關鍵點以及人體骨骼關鍵點的位置資訊進行分析,得到真實圖像
Figure 02_image003
中真實人物的骨骼特徵,從而得到真實人物的肢體動作特徵。
可選的,分鏡效果實現裝置將真實圖像
Figure 02_image003
輸入神經網路中進行特徵提取,經過多個卷積層的計算後,提取得到上述多個人體關鍵點資訊。其中,神經網路是透過大量的訓練得到的,神經網路可以是卷積神經網路(Convolution Neural Network, CNN),也可以是反向傳播神經網路(Back Propagation Neural Network, BPNN),還可以是生成對抗網路(Generative Adversarial Network, GAN)或者迴圈神經網路(Recurrent Neural Network, RNN)等等,此處不作具體限定。需要說明的,上述人體特徵的提取過程可以在同一個神經網路中進行,也可以在不同神經網路中進行。例如,分鏡效果實現裝置可以利用CNN提取人臉關鍵點,得到人體臉部表情特徵;也可以利用BPNN提取人體骨骼關鍵點,得到人體骨骼特徵以及肢體動作特徵,此處不作具體限定。另外,上述用於驅動三維虛擬人物模型的特徵資訊的示例僅僅用於進行舉例,在實際應用中還可以包括其他特徵資訊,此處不作具體限定。
步驟三,分鏡效果實現裝置根據特徵資訊生成三維虛擬模型
Figure 02_image009
中的三維虛擬人物模型,以使得三維虛擬模型
Figure 02_image009
中的三維虛擬人物模型與真實圖像
Figure 02_image003
中真實人物的動作資訊對應。
可選的,分鏡效果實現裝置透過上述特徵資訊建立真實人物的人體關鍵點到虛擬人物模型的人體關鍵點之間的映射關係;再根據映射關係控制虛擬人物模型的表情和姿態,從而使得虛擬人物模型的臉部表情和肢體動作與真實人物的臉部表情和肢體動作一致。
可選的,分鏡效果實現裝置分別對真實人物的人體關鍵點進行序號標注,得到真實人物的人體關鍵點的標注資訊,其中,人體關鍵點與標注資訊一一對應;再根據真實人物的人體關鍵點的標注資訊來標注虛擬人物模型中的人體關鍵點。例如,真實人物的左手手腕的標注資訊是1號,則三維虛擬人物模型的左手手腕的標注資訊也是1號,真實人物的左手手臂的標注資訊是2號,則三維虛擬人物模型的左手手腕的標注資訊也是2號等等;再將真實人物的人體關鍵點標注資訊與三維虛擬人物模型的人體關鍵點標注資訊進行匹配,並將真實人物的人體關鍵點位置資訊映射到對應的三維虛擬人物模型的人體關鍵點中,從而使得三維虛擬人物模型可以重現真實人物的臉部表情和肢體動作。
在本申請實施例中,真實圖像
Figure 02_image003
還包括真實場景圖像,三維虛擬模型
Figure 02_image010
還包括三維虛擬場景模型,上述根據真實圖像
Figure 02_image003
生成三維虛擬模型
Figure 02_image005
的方法還包括:根據真實圖像
Figure 02_image003
中的真實場景圖像,構建三維虛擬模型
Figure 02_image010
中的三維虛擬場景。
可選的,分鏡效果實現裝置首先對真實圖像
Figure 02_image003
進行圖像分割,得到真實圖像
Figure 02_image003
中的真實場景圖像;再提取真實場景圖像中的場景特徵,例如,真實場景中物體的位置特徵、形狀特徵以及大小特徵等等;根據場景特徵構建三維虛擬模型
Figure 02_image005
中的三維虛擬場景模型,使得三維虛擬模型
Figure 02_image005
中的三維虛擬場景模型可以高度還原真實圖像
Figure 02_image003
中的真實場景圖像。
為了簡便陳述,上述僅僅說明了由真實圖像
Figure 02_image003
生成三維虛擬模型
Figure 02_image010
的過程,實際上,三維虛擬模型
Figure 02_image011
的生成過程與三維虛擬模型
Figure 02_image010
的生成過程類似,此處不再展開贅述。
需要說明的,三維虛擬模型中的三維虛擬場景模型可以根據真實圖像中的真實場景圖像構建,也可以是用戶自訂的三維虛擬場景模型;三維虛擬模型中三維虛擬人物模型的五官外貌可以由真實圖像中的真實人物圖像的五官構建,也可以是用戶自訂的五官外貌,此處不作具體限定。
接下來,對本申請實施例中涉及的以多個不同的鏡頭視角對三維虛擬模型
Figure 02_image001
中的每一個三維虛擬模型進行鏡頭視角渲染,使得觀眾可以看到同一個三維虛擬模型在不同鏡頭視角下的虛擬圖像進行詳細說明。以真實圖像
Figure 02_image003
生成的三維虛擬模型
Figure 02_image010
為例,分別使用k個不同的鏡頭對三維虛擬模型
Figure 02_image010
進行渲染,得到k個不同鏡頭視角下的虛擬圖像
Figure 02_image013
,其中
Figure 02_image015
,從而實現分鏡切換的效果,其具體過程可以表述如下:
如第3圖所示,第3圖是本申請實施例提供的一種分鏡效果實現方法的流程示意圖。本實施方式的分鏡效果實現方法包括但不限於以下步驟:
S101、分鏡效果實現裝置獲取三維虛擬模型。
在本申請實施例中,三維虛擬模型用於類比真實人物和真實場景,三維虛擬模型包括處於三維虛擬場景模型中的三維虛擬人物模型,三維虛擬模型是根據真實圖像生成的。其中,三維虛擬人物模型是根據真實圖像包括的真實人物圖像生成的,三維虛擬模型中的三維虛擬人物模型用於類比真實圖像中的真實人物,並且三維虛擬人物模型的動作與真實人物的動作對應。三維虛擬場景模型可以是根據真實圖像包括的真實場景圖像構建的,也可以是預設的三維虛擬場景模型。當三維虛擬場景模型是由真實場景圖像構建得到的,則三維虛擬場景模型可用於類比真實圖像中的真實場景。
S102、分鏡效果實現裝置獲取至少兩個不同的鏡頭視角。
在本申請實施例中,鏡頭視角用於表示相機在拍攝物體時相機相對於被攝物體的位置。例如,相機在物體的正上方進行拍攝時可以得到物體的俯視圖。假設相機位於物體的正上方對應的鏡頭視角為
Figure 02_image017
,則利用該相機拍攝得到的圖像展示了鏡頭視角
Figure 02_image017
下的物體,也就是物體的俯視圖。
在一些可選的實施例中,獲取至少兩個不同的鏡頭視角包括:根據至少兩幀真實圖像,得到至少兩個不同的鏡頭視角。其中,真實圖像可以是由真實相機拍攝得到的,真實相機相對於真實人物的位置可能是多個,由多個處於不同位置的真實相機拍攝得到的多張真實圖像展示了多個不同鏡頭視角下的真實人物。
在另一些可選的實施例中,獲取至少兩個不同的鏡頭視角包括:根據至少兩幀真實圖像分別對應的動作資訊,得到至少兩個不同的鏡頭視角。其中,動作資訊包括真實圖像中真實人物的肢體動作以及臉部表情。其中,肢體動作包括很多種,肢體動作例如可以是舉起右手、抬起左腳、跳躍等動作中的一種或者多種,臉部表情同樣也包括很多種,臉部表情例如可以是微笑、流淚、惱怒等臉部表情中的一種或者多種。本實施例中對肢體動作和臉部表情的示例不限於上述描述。
在本申請實施例中,一個動作或者多種動作的組合對應一個鏡頭視角。例如,當真實人物微笑且跳躍時對應的鏡頭視角為
Figure 02_image019
,當真實人物只跳躍時對應的鏡頭視角可以是鏡頭視角
Figure 02_image019
,也可以是鏡頭視角
Figure 02_image021
等等,同樣的,當真實人物只微笑時對應的鏡頭視角可以是鏡頭視角
Figure 02_image019
,也可以是鏡頭視角
Figure 02_image021
,還可以是鏡頭視角
Figure 02_image023
等等。
在又一些可選的實施例中,獲取至少兩個不同的鏡頭視角包括:獲取背景音樂;確定背景音樂對應的時間合集,其中時間合集包括至少兩個時間段;獲取時間合集中每一個時間段對應的鏡頭視角。其中,真實圖像可以是一段影片流中的一幀或者多幀,影片流中包括圖像資訊和背景音樂資訊,其中,一幀圖像與一幀音樂對應。背景音樂資訊包括背景音樂以及對應的時間合集,時間合集包括至少兩個時間段,每個時間段對應一個鏡頭視角。
S103、分鏡效果實現裝置以至少兩個不同的鏡頭視角對三維虛擬模型進行渲染,得到至少兩個不同的鏡頭視角分別對應的虛擬圖像。
在本申請實施例中,上述至少兩個不同的鏡頭視角包括第一鏡頭視角和第二鏡頭視角,以至少兩個不同的鏡頭視角對所述三維虛擬模型進行渲染,得到至少兩個不同的鏡頭視角分別對應的虛擬圖像包括:S1031、以第一鏡頭視角對三維虛擬模型進行渲染,得到第一虛擬圖像;S1032、以第二鏡頭視角對三維虛擬模型進行渲染,得到第二虛擬圖像。
在本申請實施例中,以第二鏡頭視角對三維虛擬模型進行渲染,得到第二虛擬圖像包括:將第一鏡頭視角下的三維虛擬模型進行平移或者旋轉,得到第二鏡頭視角下的三維虛擬模型;獲取第二鏡頭視角下的三維虛擬模型對應的第二虛擬圖像。
可以理解的,第一鏡頭視角可以是根據真實圖像得到的,也可以是根據真實圖像對應的動作資訊得到的,還可以是根據背景音樂對應的時間合集得到的;同樣的,第二鏡頭視角可以是根據真實圖像得到的,也可以是根據真實圖像對應的動作資訊得到的,還可以是根據背景音樂對應的時間合集得到的,本申請實施例中不作具體限定。
S1033、展示根據第一虛擬圖像和第二虛擬圖像形成的圖像序列。
在本申請實施例中,上述展示根據第一圖像和第二虛擬圖像形成的圖像序列包括:在第一虛擬圖像和所述第二虛擬圖像之間插入a幀虛擬圖像,使得第一虛擬圖像平緩切換至第二虛擬圖像,其中,a是正整數。
可選的,在第一虛擬圖像與第二虛擬圖像之間插入a幀虛擬圖像
Figure 02_image025
,使得第一虛擬圖像平緩切換至第二虛擬圖像,其中a幀虛擬圖像
Figure 02_image027
插入的時間點為
Figure 02_image028
,時間點
Figure 02_image030
形成的曲線的斜率值滿足先單調遞減後單調遞增的函數,並且a是正整數。
舉例說明,第4圖示出了一種插值曲線的示意圖,如第4圖所示,分鏡效果實現裝置在第1分鐘時獲得第一虛擬圖像,在第2分鐘時獲得第二虛擬圖像,且第一虛擬圖像呈現的是三維虛擬模型的正視圖,第二虛擬圖像呈現的是三維虛擬模型的左視圖。為了使得觀眾可以看到流暢的鏡頭切換畫面,分鏡效果實現裝置在第1分鐘與第2分鐘之間插入多個時間點,並且在每一個時間點處插入一幀虛擬圖像,例如,在1.4分鐘時插入虛擬圖像P1 ,在第1.65分鐘時插入虛擬圖像P2 ,在第1.8分鐘時插入虛擬圖像P3 ,在第1.85分鐘插入虛擬圖像P4 ,其中,虛擬圖像P1 呈現的是將三維虛擬模型向左旋轉30度的效果,虛擬圖像P2 呈現的是將三維虛擬模型向左旋轉50度的效果,虛擬圖像P3 和虛擬圖像P4 呈現的均是將三維虛擬模型向左旋轉90度的效果,使得觀眾可以看到三維虛擬模型由正視圖逐漸變換到左視圖的整個過程,而不是單一的兩張圖像(三維虛擬模型的正視圖和三維虛擬模型的左視圖),從而使得觀眾可以適應從正視圖切換到左視圖的視覺差的變化效果。
在本申請的一些可選實施例中,對本申請實施例中提到的利用舞臺特效對三維虛擬模型進行渲染,從而為觀眾呈現出不同的舞臺效果進行詳細說明,具體包括以下步驟:
步驟一,分鏡效果實現裝置對背景音樂進行節拍檢測,得到背景音樂的節拍合集。
其中,節拍合集包括多個節拍,多個節拍中的每一個節拍對應一個舞臺特效。可選的,分鏡效果實現裝置可以利用著色器和粒子特效分別對三維虛擬模型進行渲染處理,例如,著色器可用於實現虛擬舞臺背面的聚光燈旋轉效果以及虛擬舞臺本身的音效波浪效果,粒子特效用於在三維虛擬模型中添加如火花、落葉、流星等類似的視覺效果。
步驟二,分鏡效果實現裝置將節拍合集對應的目標舞臺特效添加到三維虛擬模型中。
上述方法透過根據採集得到的真實圖像生成三維虛擬模型,並根據採集得到的真實圖像、背景音樂以及真實人物的動作進行相應的鏡頭視角切換,從而類比出在虛擬場景中有多個虛擬相機對三維虛擬模型進行拍攝的效果,提高了觀眾的觀看體驗感。另外,該方法還透過對背景音樂的節拍進行解析,並根據節拍資訊在虛擬圖像中添加對應的舞臺特效,為觀眾呈現出不同的舞臺效果,進一步增強了觀眾的觀看體驗感。
為了便於理解上述實施例涉及的分鏡效果實現方法,下面透過舉例的方式詳細地說明本申請實施例的分鏡效果實現方法。
請參見第5圖,第5圖示出了一種具體的實施例的流程示意圖。
S201、分鏡效果實現裝置獲取真實圖像以及背景音樂,並根據真實圖像獲得第一鏡頭視角。其中,當背景音樂響起時,真實人物根據背景音樂進行動作,真實相機對真實人物進行拍攝得到真實圖像。
S202、分鏡效果實現裝置根據真實圖像生成三維虛擬模型。其中,三維虛擬模型是分鏡效果實現裝置在第一時刻獲取得到的。
S203、分鏡效果實現裝置對背景音樂進行節拍檢測,得到背景音樂的節拍合集,並將節拍合集對應的目標舞臺特效添加到三維虛擬模型中。
S204、分鏡效果實現裝置以第一鏡頭視角對三維虛擬模型進行渲染,得到第一鏡頭視角對應的第一虛擬圖像。
S205、分鏡效果實現裝置確定背景音樂對應的時間合集。
其中,時間合集包括多個時間段,多個時間段中的每個時間段對應一個鏡頭視角。
S206、分鏡效果實現裝置判斷動作資訊庫中是否包含有動作資訊,在動作資訊庫中不包含動作資訊的情況下執行S207-S209,在動作資訊庫中包含動作資訊的情況下執行S210-S212。其中,動作資訊是真實圖像中真實人物的動作資訊,動作資訊庫包括多個動作資訊,多個動作資訊中的每個動作資訊對應一個鏡頭視角。
S207、分鏡效果實現裝置根據時間合集,確定第一時刻所處的時間段對應的第二鏡頭視角。
S208、分鏡效果實現裝置以第二鏡頭視角對三維虛擬模型進行渲染,得到第二鏡頭視角對應的第二虛擬圖像。
S209、分鏡效果實現裝置展示根據第一虛擬圖像和第二虛擬圖像形成的圖像序列。
S210、分鏡效果實現裝置根據動作資訊,確定與動作資訊對應的第三鏡頭視角。
S211、分鏡效果實現裝置以第三鏡頭視角對三維虛擬模型進行渲染,得到第三鏡頭視角對應的第三虛擬圖像。
S212、分鏡效果實現裝置展示根據第一虛擬圖像和第三虛擬圖像形成的圖像序列。
根據如第5圖所述的方法,本申請實施例提供了如第6圖所示的一種分鏡規則示意圖,根據第6圖示出的分鏡規則對虛擬圖像進行分鏡處理以及舞臺特效處理,可以得到如第7A-7D圖示出的四種虛擬圖像的效果圖。
如第7A圖所示,在第1分鐘時,分鏡效果實現裝置在鏡頭視角V1 下對真實人物進行拍攝,得到真實圖像
Figure 02_image031
(如第7A圖左上角所示),然後根據真實圖像
Figure 02_image031
得到三維虛擬模型
Figure 02_image033
。分鏡效果實現裝置對背景音樂進行節拍檢測,確定第1分鐘對應的節拍為B1 ,並根據節拍B1 得到第1分鐘時的舞臺特效
Figure 02_image035
,然後將舞臺特效
Figure 02_image035
添加到三維虛擬模型
Figure 02_image033
中;分鏡效果實現裝置根據預設的鏡頭腳本確定第1分鐘對應的鏡頭視角(簡稱為時間鏡頭視角)為V1 ;分鏡效果實現裝置檢測到真實人物在第1分鐘的動作是雙手舉到胸前,並且雙手舉到胸前這個動作不在動作資訊庫中,即不存在動作對應的鏡頭視角(簡稱為動作鏡頭視角),則此時分鏡效果實現裝置上顯示如第7A圖所示的虛擬圖像,其中,第7A圖所示虛擬圖像和真實圖像
Figure 02_image031
的鏡頭視角相同。
如第7B圖所示,在第2分鐘時,分鏡效果實現裝置在鏡頭視角V1 下對真實人物進行拍攝,得到真實圖像
Figure 02_image037
(如第7B圖左上角所示),然後根據真實圖像
Figure 02_image037
得到三維虛擬模型
Figure 02_image039
。分鏡效果實現裝置對背景音樂進行節拍檢測,確定第2分鐘對應的節拍B2 ,並根據節拍B2 得到第2分鐘時的舞臺特效
Figure 02_image041
,然後在三維虛擬模型
Figure 02_image039
中添加舞臺特效
Figure 02_image041
;分鏡效果實現裝置根據預設的鏡頭腳本確定第2分鐘對應的鏡頭視角(簡稱為時間鏡頭視角)為V2 ;分鏡效果實現裝置檢測到真實人物在第2分鐘的動作是向上抬起雙手,並且向上抬起雙手這個動作不在動作資訊庫中,即不存在動作對應的鏡頭視角(簡稱為動作鏡頭視角),則此時分鏡效果實現裝置將三維虛擬模型
Figure 02_image039
向左上方旋轉得到鏡頭視角為V2 對應的虛擬圖像。可以看出,當在三維虛擬模型
Figure 02_image039
中添加舞臺特效
Figure 02_image041
時,第7B圖示出的虛擬圖像比第7A圖示出的虛擬圖像中增添了燈光效果。
如第7C圖所示,在第3分鐘時,分鏡效果實現裝置在鏡頭視角V1 下對真實人物進行拍攝,得到真實圖像
Figure 02_image043
(如第7C圖左上角所示),然後根據真實圖像
Figure 02_image045
得到三維虛擬模型
Figure 02_image046
。分鏡效果實現裝置對背景音樂進行節拍檢測,確定第3分鐘對應的節拍B3 ,並根據節拍B3 得到第3分鐘時的舞臺特效
Figure 02_image048
,然後在三維虛擬模型
Figure 02_image050
中添加舞臺特效
Figure 02_image051
;分鏡效果實現裝置根據預設的鏡頭腳本確定第3分鐘對應的鏡頭視角(簡稱為時間鏡頭視角)為V2 ;分鏡效果實現裝置檢測到真實人物在第3分鐘的動作是向上抬起左腳,並且抬起左腳這個動作對應的鏡頭視角(簡稱為動作鏡頭視角)為V3 ,則此時分鏡效果實現裝置將三維虛擬模型
Figure 02_image052
向左旋轉得到鏡頭視角為V3 對應的虛擬圖像。可以看出,當在三維虛擬模型
Figure 02_image050
中添加舞臺特效
Figure 02_image051
時,第7C圖示出的虛擬圖像與第7B圖示出的虛擬圖像中的燈光效果不同,並且第7C圖示出的虛擬圖像中呈現有音效波浪效果。
如第7D圖所示,在第4分鐘時,分鏡效果實現裝置在鏡頭視角V1 下對真實人物進行拍攝,得到真實圖像
Figure 02_image053
(如第7D圖左上角所示),然後根據真實圖像
Figure 02_image053
得到三維虛擬模型
Figure 02_image055
。分鏡效果實現裝置對背景音樂進行節拍檢測,確定第4分鐘對應的節拍B4 ,並根據節拍B4 得到第4分鐘時的舞臺特效
Figure 02_image048
,然後在三維虛擬模型
Figure 02_image055
中添加舞臺特效
Figure 02_image057
;分鏡效果實現裝置根據預設的鏡頭腳本確定第3分鐘對應的鏡頭視角(簡稱為時間鏡頭視角)為V4 ;分鏡效果實現裝置檢測到真實人物在第4分鐘的動作是站立,並且站立這個動作對應的鏡頭視角(簡稱為動作鏡頭視角)為V4 ,則此時分鏡效果實現裝置將三維虛擬模型
Figure 02_image055
向右旋轉得到鏡頭視角為V4 對應的虛擬圖像。可以看出,當在三維虛擬模型
Figure 02_image055
中添加舞臺特效
Figure 02_image057
時,使得第7D圖示出的虛擬圖像與第7C圖示出的虛擬圖像中舞臺效果不相同。
本申請實施例提供的分鏡效果實現裝置可以是軟體裝置也可以是硬體裝置,當分鏡效果實現裝置為軟體裝置時,分鏡效果實現裝置可以單獨部署在雲環境下的一個計算設備上,也可以單獨部署在一個終端設備上,當分鏡效果實現裝置是硬體設備時,分鏡效果實現裝置內部的單元模組也可以有多種劃分,各個模組可以是軟體模組也可以是硬體模組,也可以部分是軟體模組部分是硬體模組,本申請不對其進行限制。第8圖為一種示例性的劃分方式,如第8圖所示,第8圖是本申請實施例提供的一種分鏡效果的實現裝置800,包括:獲取單元810,配置為獲取三維虛擬模型;分鏡單元820,配置為以至少兩個不同的鏡頭視角對三維虛擬模型進行渲染,得到至少兩個不同的鏡頭視角分別對應的虛擬圖像。
在本申請一些可選實施例中,三維虛擬模型包括處於三維虛擬場景模型中的三維虛擬人物模型,上述裝置還包括:特徵提取單元830和三維虛擬模型生成單元840;其中,
獲取單元810,還配置為在獲取三維虛擬模型之前,獲取真實圖像,其中,真實圖像包括真實人物圖像;特徵提取單元830,配置為對真實人物圖像進行特徵提取得到特徵資訊,其中,特徵資訊包括真實人物的動作資訊;三維虛擬模型生成單元840,配置為根據特徵資訊生成三維虛擬模型,以使得三維虛擬模型中的三維虛擬人物模型的動作資訊與真實人物的動作資訊對應。
在本申請一些可選實施例中,獲取單元,配置為獲取影片流,根據影片流中的至少兩幀圖像得到至少兩幀真實圖像;特徵提取單元830,配置為分別對每一幀真實人物圖像進行特徵提取得到對應的特徵資訊。
在本申請一些可選實施例中,真實圖像還包括真實場景圖像,三維虛擬模型還包括三維虛擬場景模型;上述裝置還包括:三維虛擬場景圖像構建單元850,配置為在獲取單元獲取三維虛擬模型之前,根據真實場景圖像,構建三維虛擬場景圖像。
在本申請一些可選實施例中,上述裝置還包括鏡頭視角獲取單元860,配置為獲取至少兩個不同的鏡頭視角。具體的,在一些可選實施方式中,鏡頭視角獲取單元860,配置為根據至少兩幀真實圖像,得到至少兩個不同的鏡頭視角。
在本申請一些可選實施例中,鏡頭視角獲取單元860,配置為根據至少兩幀真實圖像分別對應的動作資訊,得到至少兩個不同的鏡頭視角。
在本申請一些可選實施例中,鏡頭視角獲取單元860,配置為獲取背景音樂;確定背景音樂對應的時間合集,其中時間合集包括至少兩個時間段;獲取時間合集中每一個時間段對應的鏡頭視角。
在本申請一些可選實施例中,至少兩個不同的鏡頭視角包括第一鏡頭視角和第二鏡頭視角,分鏡單元820,配置為以第一鏡頭視角對三維虛擬模型進行渲染,得到第一虛擬圖像;以第二鏡頭視角對三維虛擬模型進行渲染,得到第二虛擬圖像;展示根據第一虛擬圖像和第二虛擬圖像形成的圖像序列。
在本申請一些可選實施例中,分鏡單元820,配置為將第一鏡頭視角下的三維虛擬模型進行平移或者旋轉,得到第二鏡頭視角下的三維虛擬模型;獲取第二鏡頭視角下的三維虛擬模型對應的第二虛擬圖像。
在本申請一些可選實施例中,分鏡單元820,配置為在第一虛擬圖像和第二虛擬圖像之間插入a幀虛擬圖像,使得第一虛擬圖像平緩切換至第二虛擬圖像,其中,a是正整數。
在本申請一些可選實施例中,上述裝置還包括:節拍檢測單元870,配置為對背景音樂進行節拍檢測,得到背景音樂的節拍合集,其中,節拍合集包括多個節拍,多個節拍中的每一個節拍對應一個舞臺特效;舞臺特效生成單元880,配置為將節拍合集對應的目標舞臺特效添加到三維虛擬模型中。
上述分鏡效果實現裝置透過根據採集得到的真實圖像生成三維虛擬模型,並根據採集得到的真實圖像、背景音樂以及真實人物的動作得到多個鏡頭視角,並利用多個鏡頭視角對三維虛擬模型進行相應的鏡頭視角切換,從而類比出在虛擬場景中有多個虛擬相機對三維虛擬模型進行拍攝的效果,使得用戶可以看到多個不同鏡頭視角下的三維虛擬模型,提高了觀眾的觀看體驗感。另外,該裝置還透過對背景音樂的節拍進行解析,並根據節拍資訊在三維虛擬模型中添加對應的舞臺特效,為觀眾呈現出不同的舞臺效果,進一步增強了觀眾的直播觀看體驗感。
參見第9圖,本申請實施例提供了電子設備900的結構示意圖,前述中的分鏡效果實現裝置應用於電子設備900中。電子設備900包括:處理器910、通訊介面920以及記憶體930,其中,處理器910、通訊介面920以及記憶體930可透過匯流排940進行耦合。其中,
處理器910可以是中央處理器(Central Processing Unit,CPU),通用處理器、數位訊號處理器(Digital Signal Processor,DSP)、專用積體電路(Application-Specific Integrated Circuit,ASIC)、現場可程式設計閘陣列(Field Programmable Gate Array,FPGA)或者其他可程式設計邏輯器件(Programmable Logic Device,PLD)、電晶體邏輯器件、硬體部件或者其任意組合。處理器910可以實現或執行結合本申請揭露內容所描述的各種示例性的方法。具體的,處理器910讀取記憶體930中儲存的程式碼,並與通訊介面920配合執行本申請上述實施例中由分鏡效果實現裝置執行的方法的部分或者全部步驟。
通訊介面920可以為有線介面或無線介面,用於與其他模組或設備進行通訊,有線介面可以是乙太介面、控制器區域網路介面、區域互聯網路(Local Interconnect Network,LIN)以及FlexRay介面,無線介面可以是蜂窩網路介面或使用無線區域網介面等。具體的,上述通訊介面920可以與輸入輸出設備950相連接,輸入輸出設備950可以包括滑鼠、鍵盤、麥克風等其他終端設備。
記憶體930可以包括易失性記憶體,例如隨機存取記憶體(Random Access Memory,RAM);記憶體930也可以包括非易失性記憶體(Non-Volatile Memory),例如唯讀記憶體(Read-Only Memory,ROM)、快閃記憶體、硬碟(Hard Disk Drive,HDD)或固態硬碟(Solid-State Drive,SSD),記憶體930還可以包括上述種類的記憶體的組合。記憶體930可以儲存有程式碼以及程式資料。其中,程式碼由上述分鏡效果實現裝置800中的部分或者全部單元的代碼組成,例如,獲取單元810的代碼、分鏡單元820的代碼、特徵提取單元830的代碼、三維虛擬模型生成單元840的代碼、三維虛擬場景圖像構建單元850的代碼、鏡頭視角獲取單元860的代碼、節拍檢測單元870的代碼以及舞臺特效生成單元880的代碼等等。程式資料由分鏡效果實現裝置800在運行過程中產生的資料,例如,真實圖像資料、三維虛擬模型資料、鏡頭視角資料、背景音樂資料以及虛擬圖像資料等等。
匯流排940可以是控制器區域網路(Controller Area Network,CAN)或其他實現車內各個系統或設備之間互連的內部匯流排。匯流排940可以分為位址匯流排、資料匯流排、控制匯流排等。為了便於表示,圖中僅用一條粗線表示,但並不表示僅有一根匯流排或一種類型的匯流排。
應當理解,電子設備900可能包含相比於第9圖展示的更多或者更少的組件,或者有不同的元件配置方式。
本申請實施例還提供了一種電腦可讀儲存介質,上述電腦可讀儲存介質儲存有電腦程式,上述電腦程式被硬體(例如處理器等)執行,以實現上述分鏡效果實現方法中部分或全部步驟。
本申請實施例還提供了一種電腦程式產品,當上述電腦程式產品在上述分鏡效果實現裝置或者電子設備上運行時,執行上述分鏡效果實現方法的部分或全部步驟。
在上述實施例中,可以全部或部分地透過軟體、硬體、韌體或者其任意組合來實現。當使用軟體實現時,可以全部或部分地以電腦程式產品的形式實現。所述電腦程式產品包括一個或多個電腦指令。在電腦上載入和執行所述電腦程式指令時,全部或部分地產生按照本申請實施例所述的流程或功能。所述電腦可以是通用電腦、專用電腦、電腦網路、或者其他可程式設計裝置。所述電腦指令可以儲存在電腦可讀儲存介質中,或者從一個電腦可讀儲存介質向另一個電腦可讀儲存介質傳輸,例如,所述電腦指令可以從一個網站站點、電腦、伺服器或資料中心透過有線(例如同軸電纜、光纖、數位用戶線路)或無線(例如紅外、無線、微波等)方式向另一個網站站點、電腦、伺服器或資料中心進行傳輸。所述電腦可讀儲存介質可以是電腦能夠存取的任何可用介質或者是包含一個或多個可用介質集成的伺服器、資料中心等資料存放裝置。所述可用介質可以是磁性介質,(例如,軟碟、儲存盤、磁帶)、光介質(例如,DVD)、或者半導體介質(例如SSD)等。在所述實施例中,對各個實施例的描述都各有側重,某個實施例中沒有詳述的部分,可以參見其他實施例的相關描述。
在本申請所提供的幾個實施例中,應該理解到,所揭露的裝置,也可以透過其它的方式實現。例如以上所描述的裝置實施例僅是示意性的,例如所述單元的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或元件可結合或者可以集成到另一個系統,或一些特徵可以忽略或不執行。另一點,所顯示或討論的相互之間的間接耦合或者直接耦合或通訊連接可以是透過一些介面,裝置或單元的間接耦合或通訊連接,可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位於一個地方,或者,也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本申請實施例的方案的目的。
另外,在本申請各實施例中的各功能單元可集成在一個處理單元中,也可以是各單元單獨物理存在,也可以是兩個或兩個以上單元集成在一個單元中。所述集成的單元既可以採用硬體的形式實現,也可以採用軟體功能單元的形式實現。
所述集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時,可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解,本申請技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來,該電腦軟體產品儲存在一個儲存介質中,包括若干指令用以使得一台電腦設備(可為個人電腦、伺服器或者網路設備等)執行本申請各個實施例所述方法的全部或部分步驟。而前述的儲存介質例如可包括:U盤、移動硬碟、唯讀記憶體、隨機存取記憶體、磁碟或光碟等各種可儲存程式碼的介質。
以上所述,僅為本申請實施例的可選實施方式,但本申請實施例的保護範圍並不局限於此,任何熟悉本技術領域的技術人員在本申請揭露的技術範圍內,可輕易想到各種等效的修改或替換,這些修改或替換都應涵蓋在本申請的保護範圍之內。因此,本申請實施例的保護範圍應以發明申請專利範圍的保護範圍為準。
110:攝影設備 120:伺服器 130:用戶終端 S101,S102,S103:步驟 S201,S202,S203,S204,S205,S206,S207,S208,S209,S210,S211,S212:步驟 800:分鏡效果實現裝置 810:獲取單元 820:分鏡單元 830:特徵提取單元 840:三維虛擬模型生成單元 850:三維虛擬場景圖像構建單元 860:鏡頭視角獲取單元 870:節拍檢測單元 880:舞臺特效生成單元 900:電子設備 910:處理器 920:通訊介面 930:記憶體 940:匯流排 950:輸入輸出設備
為了更清楚地說明本申請實施例或背景技術中的技術方案,下面將對本申請實施例描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖是本申請的一些實施例,對於本領域普通技術人員來講,在不付出進步性勞動的前提下,還可以根據這些附圖獲得其他的附圖。 第1圖是本申請實施例提供的一種具體應用場景的示意圖; 第2圖是本申請實施例提供的一種可能的三維虛擬模型的示意圖; 第3圖是本申請實施例提供的一種分鏡效果實現方法的流程示意圖; 第4圖是本申請實施例提供的一種插值曲線的示意圖; 第5圖是本申請實施例提供的一種具體實施例的流程示意圖; 第6圖是本申請實施例提供的一種分鏡規則示意圖; 第7A圖是本申請實施例提供的一種可能的虛擬圖像的效果圖; 第7B圖是本申請實施例提供的一種可能的虛擬圖像的效果圖; 第7C圖是本申請實施例提供的一種可能的虛擬圖像的效果圖; 第7D圖是本申請實施例提供的一種可能的虛擬圖像的效果圖; 第8圖是本申請實施例提供的一種分鏡效果的實現裝置的結構示意圖; 第9圖是本申請實施例提供的一種電子設備的結構示意圖。
S101,S102,S103:步驟

Claims (12)

  1. 一種分鏡效果的實現方法,包括:獲取三維虛擬模型;以至少兩個不同的鏡頭視角對所述三維虛擬模型進行渲染,得到至少兩個不同的鏡頭視角分別對應的虛擬圖像;其中,所述鏡頭視角用於表示相機在拍攝物體時相機相對於被攝物體的位置;其中,所述三維虛擬模型包括處於三維虛擬場景模型中的三維虛擬人物模型,在所述獲取三維虛擬模型之前,所述方法還包括:獲取真實圖像,其中,所述真實圖像包括真實人物圖像;對所述真實人物圖像進行特徵提取得到特徵資訊,其中,所述特徵資訊包括所述真實人物的動作資訊;根據所述特徵資訊生成所述三維虛擬模型,以使得所述三維虛擬模型中的所述三維虛擬人物模型的動作資訊與所述真實人物的動作資訊對應。
  2. 根據請求項1所述的方法,其中,所述獲取真實圖像包括:獲取影片流,根據所述影片流中的至少兩幀圖像得到至少兩幀所述真實圖像;所述對所述真實人物圖像進行特徵提取得到特徵資訊,包括:分別對每一幀所述真實人物圖像進行特徵提取得到對應的特徵資訊。
  3. 根據請求項2所述的方法,其中,所述真實圖像還包括真實場景圖像,所述三維虛擬模型還包括所述三維虛擬場景模型;在所述獲取三維虛擬模型之前,所述方法還包括:根據所述真實場景圖像,構建所述三維虛擬場景模型;包括:提取所述真實場景圖像中的場景特徵,根據所述場景特徵構建所述三維虛擬模型中的所述三維虛擬場景模型。
  4. 根據請求項2或3所述的方法,其中,獲取所述至少兩個不同的鏡頭視角,包括:根據所述至少兩幀所述真實圖像,得到所述至少兩個不同的鏡頭視角。
  5. 根據請求項2或3所述的方法,其中,獲取所述至少兩個不同的鏡頭視角,包括:根據所述至少兩幀所述真實圖像分別對應的動作資訊,得到所述至少兩個不同的鏡頭視角。
  6. 根據請求項2或3所述的方法,其中,獲取所述至少兩個不同的鏡頭視角,包括:獲取背景音樂;確定所述背景音樂對應的時間合集,其中,所述時間合集包括至少兩個時間段;獲取所述時間合集中每一個時間段對應的鏡頭視角。
  7. 根據請求項1所述的方法,其中,所述至少兩個不同的鏡頭視角包括第一鏡頭視角和第二鏡頭視角;所述以至少兩個不同的鏡頭視角對所述三維虛擬模型進行渲染,得到至少兩個不同的鏡頭視角分別對應的虛擬圖像,包括:以所述第一鏡頭視角對所述三維虛擬模型進行渲染,得到第一虛擬圖像;以所述第二鏡頭視角對所述三維虛擬模型進行渲染,得到第二虛擬圖像;展示根據所述第一虛擬圖像和所述第二虛擬圖像形成的圖像序列。
  8. 根據請求項7所述的方法,其中,所述以所述第二鏡頭視角對所述三維虛擬模型進行渲染,得到第二虛擬圖像,包括:將所述第一鏡頭視角下的所述三維虛擬模型進行平移或者旋轉,得到所述第二鏡頭視角下的所述三維虛擬模型; 獲取所述第二鏡頭視角下的所述三維虛擬模型對應的所述第二虛擬圖像。
  9. 根據請求項8所述的方法,其中,所述展示根據所述第一圖像和所述第二虛擬圖像形成的圖像序列,包括:在所述第一虛擬圖像和所述第二虛擬圖像之間插入a幀虛擬圖像,使得所述第一虛擬圖像平緩切換至所述第二虛擬圖像,其中,a是正整數;在獲得所述第一虛擬圖像的時刻與獲得所述第二虛擬圖像的時刻之間插入多個時間點,在每一個所述時間點處插入一幀所述虛擬圖像。
  10. 根據請求項6所述的方法,其中,所述方法還包括:對所述背景音樂進行節拍檢測,得到所述背景音樂的節拍合集,其中,所述節拍合集包括多個節拍,所述多個節拍中的每一個節拍對應一個舞臺特效;將所述節拍合集對應的目標舞臺特效添加到所述三維虛擬模型中。
  11. 一種電子設備,所述電子設備包括:處理器、通訊介面以及記憶體;所述記憶體用於儲存指令,所述處理器用於執行所述指令,所述通訊介面用於在所述處理器的控制下與其他設備進行通訊,其中,所述處理器執行所述指令時實現請求項1至10任一項請求項所述的方法。
  12. 一種電腦可讀儲存介質,儲存有電腦程式,所述電腦程式被硬體執行以實現請求項1至10任一項請求項所述的方法。
TW109116665A 2019-12-03 2020-05-20 一種分鏡效果的實現方法、電子設備及電腦可讀儲存介質 TWI752502B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911225211.4A CN111080759B (zh) 2019-12-03 2019-12-03 一种分镜效果的实现方法、装置及相关产品
CN201911225211.4 2019-12-03

Publications (2)

Publication Number Publication Date
TW202123178A TW202123178A (zh) 2021-06-16
TWI752502B true TWI752502B (zh) 2022-01-11

Family

ID=70312713

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109116665A TWI752502B (zh) 2019-12-03 2020-05-20 一種分鏡效果的實現方法、電子設備及電腦可讀儲存介質

Country Status (5)

Country Link
JP (1) JP7457806B2 (zh)
KR (1) KR20220093342A (zh)
CN (1) CN111080759B (zh)
TW (1) TWI752502B (zh)
WO (1) WO2021109376A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI762375B (zh) * 2021-07-09 2022-04-21 國立臺灣大學 語意分割錯誤偵測系統
CN113630646A (zh) * 2021-07-29 2021-11-09 北京沃东天骏信息技术有限公司 一种数据处理方法及装置、设备、存储介质
CN114157879A (zh) * 2021-11-25 2022-03-08 广州林电智能科技有限公司 一种全场景虚拟直播处理设备
CN114630173A (zh) * 2022-03-03 2022-06-14 北京字跳网络技术有限公司 虚拟对象的驱动方法、装置、电子设备及可读存储介质
CN114745598B (zh) * 2022-04-12 2024-03-19 北京字跳网络技术有限公司 视频数据展示方法、装置、电子设备及存储介质
CN114900743A (zh) * 2022-04-28 2022-08-12 中德(珠海)人工智能研究院有限公司 基于视频推流的场景渲染过渡方法以及系统
CN117014651A (zh) * 2022-04-29 2023-11-07 北京字跳网络技术有限公司 一种视频生成方法及装置
CN114998935A (zh) * 2022-06-28 2022-09-02 京东方智慧物联科技有限公司 图像处理方法、装置、计算机设备及存储介质
CN115442542B (zh) * 2022-11-09 2023-04-07 北京天图万境科技有限公司 一种分镜方法和装置
CN115883814A (zh) * 2023-02-23 2023-03-31 阿里巴巴(中国)有限公司 实时视频流的播放方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201333882A (zh) * 2012-02-14 2013-08-16 Univ Nat Taiwan 擴增實境裝置及其方法
CN107194979A (zh) * 2017-05-11 2017-09-22 上海微漫网络科技有限公司 一种虚拟角色的场景合成方法及系统
CN108830894A (zh) * 2018-06-19 2018-11-16 亮风台(上海)信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150049078A1 (en) * 2013-08-15 2015-02-19 Mep Tech, Inc. Multiple perspective interactive image projection
CN106157359B (zh) * 2015-04-23 2020-03-10 中国科学院宁波材料技术与工程研究所 一种虚拟场景体验系统的设计方法
US10068376B2 (en) * 2016-01-11 2018-09-04 Microsoft Technology Licensing, Llc Updating mixed reality thumbnails
US10019131B2 (en) * 2016-05-10 2018-07-10 Google Llc Two-handed object manipulations in virtual reality
CN106295955A (zh) * 2016-07-27 2017-01-04 邓耀华 一种基于增强现实的客户对厂的鞋定制系统及实现方法
CN106385576B (zh) * 2016-09-07 2017-12-08 深圳超多维科技有限公司 立体虚拟现实直播方法、装置及电子设备
CN107103645B (zh) * 2017-04-27 2018-07-20 腾讯科技(深圳)有限公司 虚拟现实媒体文件生成方法及装置
US10278001B2 (en) * 2017-05-12 2019-04-30 Microsoft Technology Licensing, Llc Multiple listener cloud render with enhanced instant replay
JP6469279B1 (ja) 2018-04-12 2019-02-13 株式会社バーチャルキャスト コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
CN108538095A (zh) * 2018-04-25 2018-09-14 惠州卫生职业技术学院 基于虚拟现实技术的医学教学系统及方法
JP6595043B1 (ja) 2018-05-29 2019-10-23 株式会社コロプラ ゲームプログラム、方法、および情報処理装置
CN108833740B (zh) * 2018-06-21 2021-03-30 珠海金山网络游戏科技有限公司 一种基于三维动画直播的实时提词器方法和装置
CN108961376A (zh) * 2018-06-21 2018-12-07 珠海金山网络游戏科技有限公司 虚拟偶像直播中实时绘制三维场景的方法及系统
CN108877838B (zh) * 2018-07-17 2021-04-02 黑盒子科技(北京)有限公司 音乐特效匹配方法及装置
JP6538942B1 (ja) 2018-07-26 2019-07-03 株式会社Cygames 情報処理プログラム、サーバ、情報処理システム、及び情報処理装置
CN110139115B (zh) * 2019-04-30 2020-06-09 广州虎牙信息科技有限公司 基于关键点的虚拟形象姿态控制方法、装置及电子设备
CN110335334A (zh) * 2019-07-04 2019-10-15 北京字节跳动网络技术有限公司 虚拟头像驱动显示方法、装置、电子设备及存储介质
CN110427110B (zh) * 2019-08-01 2023-04-18 广州方硅信息技术有限公司 一种直播方法、装置以及直播服务器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201333882A (zh) * 2012-02-14 2013-08-16 Univ Nat Taiwan 擴增實境裝置及其方法
CN107194979A (zh) * 2017-05-11 2017-09-22 上海微漫网络科技有限公司 一种虚拟角色的场景合成方法及系统
CN108830894A (zh) * 2018-06-19 2018-11-16 亮风台(上海)信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质

Also Published As

Publication number Publication date
CN111080759A (zh) 2020-04-28
WO2021109376A1 (zh) 2021-06-10
KR20220093342A (ko) 2022-07-05
JP2023501832A (ja) 2023-01-19
TW202123178A (zh) 2021-06-16
CN111080759B (zh) 2022-12-27
JP7457806B2 (ja) 2024-03-28

Similar Documents

Publication Publication Date Title
TWI752502B (zh) 一種分鏡效果的實現方法、電子設備及電腦可讀儲存介質
WO2022001593A1 (zh) 视频生成方法、装置、存储介质及计算机设备
CN113240782B (zh) 基于虚拟角色的流媒体生成方法及装置
JP2021192222A (ja) 動画インタラクティブ方法と装置、電子デバイス、コンピュータ可読記憶媒体、及び、コンピュータプログラム
TWI255141B (en) Method and system for real-time interactive video
JP2022166078A (ja) デジタル媒体と観察者の相互作用の構成及び実現
CN108322832A (zh) 评论方法、装置、及电子设备
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
US20210166461A1 (en) Avatar animation
WO2018000608A1 (zh) 一种虚拟现实系统中分享全景影像的方法和电子设备
CN110162667A (zh) 视频生成方法、装置及存储介质
JP7202935B2 (ja) 注目度算出装置、注目度算出方法、および注目度算出プログラム
CN114363689B (zh) 直播控制方法、装置、存储介质及电子设备
CN111652986B (zh) 舞台效果呈现方法、装置、电子设备及存储介质
KR102200239B1 (ko) 실시간 cg 영상 방송 서비스 시스템
US11910132B2 (en) Head tracking for video communications in a virtual environment
WO2023232103A1 (zh) 一种观影互动方法、装置及计算机可读存储介质
CN116095353A (zh) 基于体积视频的直播方法、装置、电子设备及存储介质
WO2024027063A1 (zh) 直播方法、装置、存储介质、电子设备及产品
WO2024031882A1 (zh) 视频处理方法、装置及计算机可读存储介质
JP2021009351A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
US20240048780A1 (en) Live broadcast method, device, storage medium, electronic equipment and product
KR102622709B1 (ko) 2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법 및 장치
WO2022160867A1 (zh) 远程重现方法、系统、装置、设备、介质及程序产品