TW202303520A - 影像處理方法、裝置、設備以及儲存媒體 - Google Patents

影像處理方法、裝置、設備以及儲存媒體 Download PDF

Info

Publication number
TW202303520A
TW202303520A TW111109567A TW111109567A TW202303520A TW 202303520 A TW202303520 A TW 202303520A TW 111109567 A TW111109567 A TW 111109567A TW 111109567 A TW111109567 A TW 111109567A TW 202303520 A TW202303520 A TW 202303520A
Authority
TW
Taiwan
Prior art keywords
rendering
space
real image
occlusion
rendering material
Prior art date
Application number
TW111109567A
Other languages
English (en)
Inventor
陶然
楊瑞健
趙代平
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202303520A publication Critical patent/TW202303520A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申請提出一種影像處理方法、裝置、設備以及儲存媒體。其中,所述方法可以包括:獲取現實影像中的目標區域及渲染素材,所述目標區域包括與所述渲染素材在同一空間產生遮擋關係的實物對象。將所述渲染素材投影至所述現實影像,並確定處於所述目標區域內的投影部分,將所述投影部分中位置處於預設遮擋平面之後的部分,確定為所述渲染素材中被所述實物對象遮擋的部分。對所述渲染素材中被所述實物對象遮擋的部分進行遮擋剔除處理,並利用遮擋剔除處理後的渲染素材對所述現實影像進行渲染處理,得到渲染影像。

Description

影像處理方法、裝置、設備以及儲存媒體
本申請涉及計算機技術領域,尤其涉及一種影像處理方法、裝置、設備以及儲存媒體。
在擴增實鏡領域中,需要將渲染素材與現實影像進行融合完成渲染。為了提升渲染效果,在渲染過程中,需要將渲染素材中,被現實影像中的實物對象遮擋的部分進行剔除,以使得渲染效果儘量真實。
目前通常採用以下兩種方式進行被遮擋部分的剔除。
方式一:通過遮擋平面進行剔除。方式一中可以預先設置遮擋平面,將渲染素材中處於遮擋平面之後的部分全部作為被遮擋部分進行剔除。如此“一刀切”式的剔除方法,不能很好的模擬真實的遮擋場景,渲染效果欠佳。
方式二:通過深度測試的方式進行剔除。方式二中需要利用可以預測深度的專用硬體進行深度測試,然後利用渲染素材與所述實物對象的深度關係進行渲染素材被遮擋的部分的判斷,並對確定的被遮擋的部分進行剔除。如此需要利用專用硬體,對於不含該專用硬體的設備則無法實現剔除,普適性較差。
有鑑於此,本申請公開一種影像處理方法。所述方法可以包括:獲取現實影像中的目標區域及渲染素材,所述目標區域包括與所述渲染素材在同一空間產生遮擋關係的實物對象;將所述渲染素材投影至所述現實影像,並確定處於所述目標區域內的投影部分,將所述投影部分中位置處於預設遮擋平面之後的部分,確定為所述渲染素材中被所述實物對象遮擋的部分;對所述渲染素材中被所述實物對象遮擋的部分進行遮擋剔除處理,並利用遮擋剔除處理後的渲染素材對所述現實影像進行渲染處理,得到渲染影像。
在一些實施例中,所述渲染素材標識有多個第一關鍵點,所述現實影像內包括待渲染的目標渲染對象,所述目標渲染對象中標識有與所述多個第一關鍵點一一對應的多個第二關鍵點;所述將所述渲染素材投影至所述現實影像,包括:獲取所述多個第一關鍵點與所述多個第二關鍵點之間的位置映射關係;根據所述位置映射關係,將所述渲染素材映射至與所述目標渲染對象關聯的第一空間,所述第一空間包括基於所述現實影像進行三維建模得到的空間;將映射至所述第一空間的所述渲染素材投影至所述現實影像。
在一些實施例中,所述方法還包括:接收針對遮擋平面的配置資訊,所述配置資訊至少包括所述遮擋平面在與所述渲染素材關聯的第二空間中的深度資訊和朝向資訊;基於所述配置資訊,確定所述預設遮擋平面。
在一些實施例中,所述第一空間與所述第二空間為不同的空間,所述將所述投影部分中位置處於預設遮擋平面之後的部分,確定為所述渲染素材中被所述實物對象遮擋的部分,包括:將所述預設遮擋平面映射至所述第一空間;將所述投影部分中位置處於映射至所述第一空間的所述預設遮擋平面之後的部分,確定為所述渲染素材的被遮擋部分。
在一些實施例中,所述方法還包括:將所述投影部分包括的各頂點分別作為當前頂點;根據基於所述現實影像進行三維建模得到的第一空間所對應坐標系的原點與所述當前頂點,確定穿過映射至所述第一空間的所述預設遮擋平面的直線,並確定所述直線與所述預設遮擋平面相交的交點;響應於所述原點至所述交點的第一距離小於所述原點至所述當前頂點的第二距離,確定所述當前頂點的位置處於所述預設遮擋平面之後;響應於所述第一距離大於所述第二距離,確定所述當前頂點的位置處於所述預設遮擋平面之前。
在一些實施例中,所述對所述渲染素材中被所述實物對象遮擋的部分進行遮擋剔除處理包括以下至少一項方式:刪除所述渲染素材中被所述實物對象遮擋的部分;調整所述渲染素材中被所述實物對象遮擋的部分的透明度;修改所述渲染素材中被所述實物對象遮擋的部分與所述現實影像中背景部分的像素混合模式。
在一些實施例中,所述獲取現實影像中的目標區域,包括:利用基於神經網路生成的分割網路,對所述現實影像進行分割處理,得到所述目標區域;所述方法還包括:獲取包括多個訓練樣本的訓練樣本集,所述訓練樣本包括目標區域的標註資訊;所述目標區域包括根據業務需求預先設定的區域;基於所述訓練樣本集,對所述分割網路進行訓練。
在一些實施例中,所述渲染素材包括三維虛擬人頭;或者,所述目標區域包括所述現實影像中的前景區域;或者,所述實物對象包括人物身體;或者,所述現實影像包括的目標渲染對象為真實人頭。
本申請還提出一種影像處理裝置,所述裝置可以包括:獲取模組,用於獲取現實影像、所述現實影像中的目標區域及渲染素材,所述目標區域包括與所述渲染素材在同一空間產生遮擋關係的實物對象;確定模組,用於將所述渲染素材投影至所述現實影像,並確定處於所述目標區域內的投影部分,將所述投影部分中位置處於預設遮擋平面之後的部分,確定為所述渲染素材中被所述實物對象遮擋的部分;渲染模組,用於對所述渲染素材中被所述實物對象遮擋的部分進行遮擋剔除處理,並利用遮擋剔除處理後的渲染素材對所述現實影像進行渲染處理,得到渲染影像。
在一些實施例中,所述渲染素材標識有多個第一關鍵點,所述現實影像內包括待渲染的目標渲染對象,所述目標渲染對象中標識有與所述多個第一關鍵點一一對應的多個第二關鍵點;所述確定模組,具體用於:獲取所述多個第一關鍵點與所述多個第二關鍵點之間的位置映射關係;根據所述位置映射關係,將所述渲染素材映射至與所述目標渲染對象關聯的第一空間,所述第一空間包括基於所述現實影像進行三維建模得到的空間;將映射至所述第一空間的所述渲染素材投影至所述現實影像。
在一些實施例中,所述裝置還包括:配置模組,用於接收針對遮擋平面的配置資訊,所述配置資訊至少包括所述遮擋平面在與所述渲染素材關聯的第二空間中的深度資訊和朝向資訊;基於所述配置資訊,確定所述預設遮擋平面。
在一些實施例中,所述第一空間與所述第二空間為不同的空間,所述確定模組,具體用於:將所述預設遮擋平面映射至所述第一空間;將所述投影部分中位置處於映射至所述第一空間的所述預設遮擋平面之後的部分,確定為所述渲染素材的被遮擋部分。
在一些實施例中,所述裝置還包括:將所述投影部分包括的各頂點分別作為當前頂點;根據基於所述現實影像進行三維建模得到的第一空間所對應坐標系的原點與所述當前頂點,確定穿過映射至所述第一空間的所述預設遮擋平面的直線,並確定所述直線與所述預設遮擋平面相交的交點;響應於所述原點至所述交點的第一距離小於所述原點至所述當前頂點的第二距離,確定所述當前頂點的位置處於所述預設遮擋平面之後;響應於所述第一距離大於所述第二距離,確定所述當前頂點的位置處於所述預設遮擋平面之前。
在一些實施例中,所述對所述渲染素材中對被所述實物對象遮擋的部分進行遮擋剔除處理包括以下至少一項方式:刪除所述渲染素材中被所述實物對象遮擋的部分;調整所述渲染素材中被所述實物對象遮擋的部分的透明度;修改所述渲染素材中被所述實物對象遮擋的部分與所述現實影像中背景部分的像素混合模式。
在一些實施例中,所述獲取模組,具體用於:利用基於神經網路生成的分割網路,對所述現實影像進行分割處理,得到所述目標區域;所述裝置還包括:訓練模組,用於獲取包括多個訓練樣本的訓練樣本集,所述訓練樣本包括目標區域的標註資訊;所述目標區域包括根據業務需求預先設定的區域;基於所述訓練樣本集,對所述分割網路進行訓練。
在一些實施例中,所述渲染素材包括三維虛擬人頭;或者,所述目標區域包括所述現實影像中的前景區域;或者,所述實物對象包括人物身體;或者,所述現實影像包括的目標渲染對象為真實人頭。
本申請還提出一種電子設備,所述設備包括:處理器;用於儲存處理器可執行指令的儲存器;其中,所述處理器通過運行所述可執行指令以實現如前述任一實施例示出的影像處理方法。
本申請還提出一種計算機可讀儲存媒體,所述儲存媒體儲存有計算機程式,所述計算機程式用於使處理器執行如前述任一實施例示出的影像處理方法。
在前述公開的技術方案中,可以獲取現實影像中與渲染素材在同一空間產生遮擋關係的實物對象的目標區域;然後將所述渲染素材投影至所述現實影像,並確定處於所述目標區域內的投影部分;之後將所述投影部分中,位置處於預設遮擋平面之後的部分,確定為所述渲染素材中被所述實物對象遮擋的部分,並進行後續遮擋剔除處理與影像渲染處理。
一方面,在確定渲染素材被遮擋部分的過程中,可以無需利用專用硬體設備進行深度測試,從而可以在普通的設備中進行遮擋渲染,提升渲染普適性;
另一方面,在確定被遮擋部分的過程中,可以將包含可能與渲染素材發生遮擋關係的實物對象的目標區域內、處於預設遮擋平面之後的部分確定為被實物對象遮擋的部分,從而可以通過目標區域框定渲染素材可能被遮擋的部分,使渲染素材中不可能與實物對象發生遮擋關係的部分不會被確定為被遮擋部分,與“一刀切”式的提出方式相比,可以準確地確定渲染素材中的被遮擋部分,進而提升遮擋渲染效果。
應當理解的是,以上的一般描述和後文的細節描述僅是示例性和解釋性的,並不能限制本申請。
為了更清楚地說明本申請一個或多個實施例的技術方案,下面將附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅具有示例作用,對於本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些附圖獲得其他的附圖。
下面將詳細地對示例性實施例進行說明,其示例表示在附圖中。下面的描述涉及附圖時,除非另有表示,不同附圖中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式並不代表與本申請相一致的所有實施方式。相反,它們僅是與如所附申請專利範圍中所詳述的、本申請的一些方面相一致的設備和方法的例子。
在本申請使用的術語是僅僅出於描述特定實施例的目的,而非旨在限制本申請。在本申請和所附申請專利範圍中所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式,除非上下文清楚地表示其他含義。還應當理解,本文中使用的術語“和/或”是指並包含一個或多個相關聯的列出項目的任何或所有可能組合。還應當理解,本文中所使用的詞語“如果”,取決於語境,可以被解釋成為“在……時”或“當……時”或“響應於確定”。
有鑑於此,本申請提出一種影像處理方法。該方法可以獲取現實影像中包括與渲染素材在同一空間產生遮擋關係的實物對象的目標區域;然後將所述渲染素材投影至所述現實影像,並確定處於所述目標區域內的投影部分;之後將所述投影部分中位置處於預設遮擋平面之後的部分,確定為所述渲染素材中被所述實物對象遮擋的部分,並進行後續遮擋剔除處理與影像渲染處理。
一方面,在確定渲染素材被遮擋部分的過程中,可以無需利用專用硬體設備進行深度測試,從而可以在普通的設備中進行遮擋渲染,提升渲染普適性;
另一方面,在確定被遮擋部分的過程中,可以將包含可能與渲染素材發生遮擋關係的實物對象的目標區域內處於預設遮擋平面之後的部分,確定為被實物對象遮擋的部分,從而可以通過目標區域框定渲染素材可能被遮擋的部分,使渲染素材中不可能與實物對象發生遮擋關係的部分不會被確定為被遮擋部分,與“一刀切”式的提出方式相比,可以準確地確定渲染素材中的被遮擋部分,進而提升遮擋渲染效果。
請參見圖1,圖1為本申請示出的一種影像處理方法的流程圖。
如圖1所示,所述方法可以包括:
S102,獲取現實影像中的目標區域及渲染素材,所述目標區域包括與所述渲染素材在同一空間產生遮擋關係的實物對象。
S104,將所述渲染素材投影至所述現實影像,並確定處於所述目標區域內的投影部分,將所述投影部分中位置處於預設遮擋平面之後的部分,確定為所述渲染素材中被所述實物對象遮擋的部分。
S106,對所述渲染素材中被所述實物對象遮擋的部分進行遮擋剔除處理,並利用遮擋剔除處理後的渲染素材對所述現實影像進行渲染處理,得到渲染影像。
該方法可以應用於電子設備中。其中,所述電子設備可以通過搭載與影像處理方法對應的軟體裝置執行所述方法。所述電子設備的類型可以是筆記型電腦,計算機,伺服器,手機,PAD終端等。本申請不對所述電子設備的具體類型進行特別限定。所述電子設備可以是客戶端或服務端一側的設備。所述服務端可以是由伺服器、伺服器集群或分散式伺服器集群提供的服務端或雲端。以下以執行主體為電子設備(以下簡稱設備)為例進行說明。
在一些實施例中,用戶可以通過所述設備提供的客戶端程式,將現實影像傳輸至所述設備。所述現實影像可以包括針對現實世界採集的現實影像。例如,所述現實影像可以包括針對人物、車輛、房屋等目標採集的影像。
在一些實施例中,所述現實影像也可以是用戶通過所述設備搭載的影像採集硬體採集的影像。例如,所述設備可以是手機終端,所述影像採集硬體可以是手機終端搭載的攝像頭。用戶通過攝像頭可以採集現實影像。
接收到所述現實影像後,所述設備可以執行S102。
本申請記載的渲染素材,具體是指對現實影像進行渲染的素材。所述渲染素材可以是二維或三維素材。以下以三維素材為例進行說明。
根據不同的渲染場景,可以設置不同的渲染素材。在一些實施例中,所述渲染素材可以是一些虛擬道具。例如,在利用虛擬人頭對人物影像中的人臉進行影像渲染的場景中,渲染素材可以是虛擬人頭。再例如,在利用虛擬動物頭對人物影像中的人臉進行影像渲染的場景中,渲染素材可以是虛擬動物頭。在一些實施例中,渲染素材可以對現實影像中的目標渲染對象進行渲染。所述目標渲染對象可以是指現實影像中待渲染的對象。在渲染過程中,渲染素材會替換該目標渲染對象,呈現在渲染之後的渲染影像中。例如,在利用虛擬人頭或虛擬動物頭對人物影像中的人臉進行影像渲染的場景中,目標渲染對象可以是真實人頭。虛擬人頭或虛擬動物頭可以替換真實人頭呈現在渲染影像中。本申請中記載的目標區域,可以是指現實影像中包括實物對象的區域。所述實物對象是指與渲染素材在同一空間產生遮擋關係的對象。
舉例來說,在利用虛擬人頭進行現實影像渲染的場景中,虛擬人頭的頭髮可能會被現實影像中的人物身體遮擋。此時,可以將包含人物身體(實物對象)的前景區域確定為所述目標區域。然後可以確定虛擬人頭的頭髮部分中,投影至所述目標區域內的部分,並將該部分中處於預設遮擋平面之後的部分確定為被人物身體遮擋的部分。
如此將投影在包含實物對象的目標區域內、處於預設遮擋平面之後的部分確定為被實物對象遮擋的部分,可以通過目標區域框定渲染素材可能被遮擋的部分,使渲染素材中不可能與實物對象發生遮擋關係的部分不會被確定為被遮擋部分。從而一方面提升被遮擋部分確認效率,另一方面,與“一刀切”式的提出方式相比,可以準確地確定渲染素材中的被遮擋部分,進而提升遮擋渲染效果。
在一些實施例中,在執行S102時,可以利用基於神經網路生成的分割網路,對所述現實影像進行分割處理,得到所述目標區域。
所述分割網路,可以是基於神經網路或深度學習生成的像素級分割網路。所述像素級分割網路的輸出結果可以包括對輸入影像包括的每一個像素點進行二分類,以區分該像素點是否處於目標區域內的結果。本申請不對分割網路的網路結構進行特別限定。
在一些實施例中,可以先利用多個包括目標區域的標註資訊的訓練樣本,對所述分割網路進行訓練。
請參見圖2,圖2為本申請示出的一種分割網路訓練方法的流程圖。
在一些實施例中,如圖2所示,可以先執行S202,獲取包括多個訓練樣本的訓練樣本集。
其中,所述訓練樣本集包括的訓練樣本可以包括目標區域的標註資訊。所述目標區域包括根據業務需求預先設定的區域。在一些實施例中,可以根據業務需求確定影像中的目標區域。然後對獲取的一些影像進行目標區域的標註,以得到訓練樣本。
例如,在利用虛擬人頭對人物影像中的人臉進行影像渲染的場景中,可以將人物影像中包括身體對象的區域確定為目標區域。比如,所述目標區域可以是人物影像的前景區域。前景區域通常可以涵蓋完整的人物,也即涵蓋整個身體對象。然後可以對獲取的人物影像中的每個像素點進行標註,確定各像素點是否處於目標區域內,完成人物影像的標註得到訓練樣本。
之後可以執行S204,基於所述訓練樣本集,對所述分割網路進行訓練。完成訓練後,可以利用分割網路,對所述現實影像進行分割處理,得到所述目標區域。
由此可以在構建訓練樣本時,根據業務需求靈活確定目標區域,使得利用這些訓練樣本訓練得到的分割網路可以從現實影像中獲取符合業務需求的目標區域,進而提升渲染靈活性。
通常本申請記載的渲染素材維護在第二空間中。所述第二空間可以包括生成素材的三維空間,以第二坐標系表示。在設備中可以儲存渲染素材包括的各頂點在所述第二坐標系的位置資訊,以儲存該素材。
在一些實施例中,對所述現實影像進行三維建模可以得到第一空間。該第一空間可以理解為現實影像的成像三維空間。在一些實施例中,可以採用單目相機或雙目相機法,基於影像採集硬體的設備參數,對現實影像進行三維建模,得到該第一空間。該第一空間以第一坐標系表示。
其中,所述第一空間與所述第二空間可以是同一空間,也可以是不同的空間。如果第一空間與第二空間是相同的空間,則可以直接執行S104。如果第一空間與第二空間是不同的空間,在執行S104時,可以先將渲染素材映射至第一空間內。
在一些實施例中,所述渲染素材可以標識有多個第一關鍵點。在一些實施例中,所述渲染素材為虛擬道具時,所述多個第一關鍵點可以是虛擬道具輪廓上的多個關鍵點。例如,所述渲染素材為虛擬人頭時,所述多個第一關鍵點可以是頭頂,耳朵,鼻尖,臉部等預設位置的關鍵頂點。其中,所述第一關鍵點在第二空間對應的位置為第一位置。
在一些實施例中,所述現實影像內包括待渲染的目標渲染對象。在渲染過程中,渲染素材會替換該目標渲染對象,呈現在渲染影像中。
所述目標渲染對象標識有與所述多個第一關鍵點一一對應的多個第二關鍵點。在一些實施例中,所述多個第一關鍵點與多個第二關鍵點可以是在輪廓上位置相對應的點。例如,多個第一關鍵點是虛擬人頭的頭頂,耳朵,鼻尖,臉部等預設位置的關鍵頂點時,所述多個第二關鍵點可以是現實影像中真實人頭的頭頂,耳朵,鼻尖,臉部等相應位置的關鍵頂點。其中,所述第二關鍵點在現實影像中對應的位置為第二位置。
請參見圖3,圖3為本申請示出的一種渲染素材空間映射方法的流程示意圖。
在執行S104時,如圖3所示,可以執行S302,獲取所述多個第一關鍵點與所述多個第二關鍵點之間的位置映射關係。
在一些實施例中,可以採用映射關係求解算法,利用多個第一關鍵點在第二空間的第一位置,多個第二關鍵點在第一空間的第二位置,以及採集現實影像的影像採集硬體參數等資訊,得到將第二空間中的頂點映射到第一空間中的映射關係。
在一些實施例中,所述映射關係求解算法可以包括PNP(Perspective-N-Point,多點透視成像)算法。所述位置映射關係可以包括,同一像素點在從第二空間映射至第一空間時的平移量和旋轉量。本申請不對映射關係求解算法進行特別限定。
之後可以執行S304,根據位置映射關係,將所述渲染素材映射至與所述目標渲染對象關聯的第一空間。
本步驟中,在獲取位置映射關係後,可以利用該關係,將渲染素材包括的各頂點映射至第一空間。由此一方面可以使該素材與現實影像中的實物對象處於同一三維空間,進而便於進行遮擋判斷,影像渲染等處理,另一方面,可以使渲染素材更貼近目標渲染對象真實的位置、朝向等細節狀態,提升渲染效果。
在將渲染素材映射至第一空間內後,可以執行S306,將映射至所述第一空間的所述渲染素材投影至所述現實影像。
本步驟中,可以將渲染素材在第一空間的三維坐標位置,轉變為二維坐標位置,實現投影至所述現實影像。
之後執行S308,確定處於所述目標區域內的投影部分。
本步驟中,可以確定渲染素材包括的各頂點中,在現實影像中的投影位置處在目標區域內的頂點,然後可以將這些頂點在第一空間中對應的三維部分確定為所述投影部分。所述投影部分可以理解為渲染素材中,可能與目標區域內的實物對象產生遮擋關係的部分。
在得到投影部分後,可以繼續執行S104,將所述投影部分中位置處於預設遮擋平面之後的部分,確定為所述渲染素材中被所述實物對象遮擋的部分。
所述預設遮擋平面,可以是根據業務需求預先設定的平面。渲染素材在預設遮擋平面之後的部分在現實中可能會被實物對象遮擋。其中,在不同的場景中,可以設置不同的遮擋平面。例如,在利用虛擬人頭對人物影像中的人臉進行渲染的場景中,可以著重考慮虛擬人頭的頭髮部分可能被身體部分遮擋。因此可以將身體平面作為所述預設遮擋平面。在一些實施例中,所述身體平面可以指身體的前表面。
在一些實施例中,可以對預設遮擋平面進行配置。
請參見圖4,圖4為本申請示出的一種預設遮擋平面配置方法的流程示意圖。
如圖4所示,可以先執行S402,接收針對遮擋平面的配置資訊。在本步驟中,用戶(例如,技術人員)可以通過設備提供的介面,輸入所述配置資訊,所述設備可以接收該配置資訊。
所述配置資訊可以至少包括所述遮擋平面在與所述渲染素材關聯的第二空間中的深度和朝向資訊。在三維空間中,通常可以利用深度和朝向資訊指示平面的位置資訊。所述深度可以指示第二空間對應的第二坐標系的原點到所述預設遮擋平面的距離。所述朝向可以指示所述預設遮擋平面的法向量的角度。通過這兩個參數可以唯一指定預設遮擋平面在第二空間的位置。
例如,在利用虛擬人頭對人物影像中的人臉進行影像渲染的場景中,可以將身體前表面設置為所述預設遮擋平面,用戶可以根據經驗將身體前表面在第二空間中的深度和朝向資訊打包至配置資訊中,並通過設備提供的介面將配置資訊傳遞至設備。
設備在接收到配置資訊後,可以執行S404,基於所述配置資訊,確定所述預設遮擋平面。本步驟中,設備可以利用搭載的影像處理軟體,完成遮擋平面的配置。
在一些實施例中,所述第一空間與所述第二空間為不同的空間,在執行S104時,可以將第二空間中的預設遮擋平面映射至所述第一空間,以將遮擋平面與渲染素材置於同一三維空間中進行遮擋判斷。
請參見圖5,圖5為本申請示出的一種被遮擋部分確定方法的流程示意圖。
在執行S104時,如圖5所示,可以執行S502,將所述投影部分包括的各頂點分別作為當前頂點。本步驟中,可以按照預設順序將各頂點作為當前頂點。
然後可以執行S504,根據基於所述現實影像進行三維建模得到的第一空間所對應坐標系的原點與所述當前頂點,確定穿過映射至所述第一空間的所述預設遮擋平面的直線,並確定所述直線與所述預設遮擋平面相交的交點。本步驟中可以利用所述原點與所述當前頂點確定一條直線,並將該直線與遮擋平面的交點確定為所述交點。
之後可比較所述原點到所述交點的第一距離,和所述原點到所述當前頂點的第二距離的大小,並執行S506與S508,響應於所述原點至所述交點的第一距離小於所述原點至所述當前頂點的第二距離,確定所述當前頂點的位置處於所述預設遮擋平面之後。響應於所述第一距離大於所述第二距離,確定所述當前頂點的位置處於所述預設遮擋平面之前。這裡,僅僅是舉例,並不具有限制性,在實際實現中,根據第一空間的坐標系的設置,也可以是確定當第一距離小於第二距離時,所述當前頂點的位置位於預設遮擋平面之前,當第一距離大於第二距離時,所述當前頂點的位置位於預設遮擋平面之後。
由此可以通過判斷渲染素材投影部分中的頂點,與預設遮擋平面之間的位置關係,來準確地確定投影部分中確實被該遮擋平面遮擋的部分。
在確定渲染素材確實被遮擋的部分後,可以執行S106。
在一些實施例中,可以採用以下至少一項方式進行遮擋剔除處理:
刪除所述渲染素材中被所述實物對象遮擋的部分;
調整所述渲染素材中被所述實物對象遮擋的部分的透明度;
修改所述渲染素材中被所述實物對象遮擋的部分與所述現實影像中背景部分的像素混合模式。
其中,所述刪除所述渲染素材中被所述實物對象遮擋的部分,可以包括通過運行預先編寫的遮擋剔除程式,刪除渲染素材被遮擋的部分的頂點以及頂點對應的像素,從而不會在渲染影像中展現該部分,實現對該部分的剔除效果。
所述調整所述渲染素材中被所述實物對象遮擋的部分的透明度,可以包括通過運行預先編寫的遮擋剔除程式,調整渲染素材被遮擋的部分的頂點的像素值,使被遮擋的部分的透明度足夠大,以至於不會在渲染影像中展現該部分,實現對該部分的剔除效果。
所述修改所述渲染素材中被所述實物對象遮擋的部分與所述現實影像中背景部分的像素混合模式,可以包括通過運行預先編寫的遮擋剔除程式,修改所述像素混合模式。通過修改所述像素混合模式,可以調整被遮擋的部分與背景部分的展現效果,在視覺上使被遮擋的部分融合至背景部分,從而在渲染影像中不會展現該部分,實現對該部分的剔除效果。
在一些實施例中,在執行S106時,可以通過光柵化渲染的方式利用渲染素材對現實影像進行渲染。在渲染過程中,可以採用前述任一遮擋剔除處理方法,對渲染素材中被所述實物對象遮擋的部分進行剔除處理,以使得渲染影像可以展現出與真實場景中遮擋關係匹配的渲染效果。
在前述實施例公開的方案中,可以獲取現實影像中與渲染素材在同一空間產生遮擋關係的實物對象的目標區域;然後將所述渲染素材投影至所述現實影像,並確定處於所述目標區域內的投影部分;之後將所述投影部分中,位置處於預設遮擋平面之後的部分,確定為所述渲染素材中被所述實物對象遮擋的部分,並進行後續遮擋剔除處理與影像渲染處理。
一方面,在確定渲染素材被遮擋部分的過程中,可以無需利用專用硬體設備進行深度測試,從而可以在普通的設備中進行遮擋渲染,提升渲染普適性;
另一方面,在確定被遮擋部分的過程中,可以將包含可能與渲染素材發生遮擋關係的實物對象的目標區域內、處於預設遮擋平面之後的部分確定為被實物對象遮擋的部分,從而可以通過目標區域框定渲染素材可能被遮擋的部分,使渲染素材中不可能與實物對象發生遮擋關係的部分不會被確定為被遮擋部分,與“一刀切”式的提出方式相比,可以準確地確定渲染素材中的被遮擋部分,進而提升遮擋渲染效果。
以下結合直播場景進行實施例說明。
在直播場景中可以利用虛擬道具庫中提供的虛擬人頭即時對採集的直播影像進行渲染。
直播過程使用的直播客戶端可以搭載於移動終端中。該移動終端可以搭載普通的攝像頭(不要求該攝像頭具有深度測試功能),用於即時採集直播影像。
所述虛擬道具庫可以安裝在移動終端(以下簡稱終端)本地,或與直播客戶端(以下簡稱客戶端)對應的服務端中。開發人員預先在所述虛擬道具庫中,為虛擬人頭配置遮擋平面,以及將虛擬人頭可被遮擋的部分的類別配置為頭髮。
用戶可以通過客戶端選擇心儀的虛擬人頭。請參見圖6A,圖6A為本申請示出的一種虛擬人頭的示意圖。假設用戶選擇的虛擬人頭如圖6A所示。
請參見圖7,圖7為本申請示出的一種影像渲染方法流程圖。
如圖7所示,在直播過程中,終端可以執行S71,即時接收攝像頭採集的直播影像。請參見圖6B,圖6B為本申請示出的一種直播影像的示意圖。假設採集的直播影像如圖6B所示。
然後可以執行S72,利用預先訓練的人物前景區域分割網路,得到直播影像的人物前景區域(即前述實施例中的目標區域)。該區域中可能包括人物的身體部分,該身體部分可能對虛擬人頭的頭髮造成遮擋,通過獲取人物前景區域,一方面可以縮小遮擋判斷的範圍,提升被遮擋部分確認效率,另一方面,可以通過人物前景區域框定虛擬人頭可能被遮擋的部分,使虛擬人頭處於該人物前景區域之外的部分不會被確定為被遮擋的部分,與“一刀切”式的提出方式相比,可以準確地確定渲染素材中的被遮擋部分,進而提升遮擋渲染效果。
請參見圖6C,圖6C為本申請示出的一種人物前景區域的示意圖。假設經過S72後得到的人物前景區域如圖6C所示。
然後可以執行S73,採集直播影像中真實人頭上的多個第二關鍵點的二維坐標,並利用攝像頭的參數,以及虛擬人頭上的多個對應第一關鍵點的三維坐標,將用戶選擇的虛擬人頭以及該虛擬人頭對應的遮擋平面,映射在攝像頭形成的成像空間(即前述第一空間)中。由此一方面可以使該素材與現實影像中的人物身體對象(實物對象)處於同一三維空間,進而便於進行遮擋判斷,影像渲染等處理,另一方面,可以使渲染素材更貼近真實人頭(目標渲染對象)真實的位置、朝向等細節狀態,提升渲染效果。
之後可以執行S74,將虛擬人頭投影到所述直播影像,並確定處於所述人物前景區域內的,可能被身體遮擋的投影部分。
之後可以執行S75,根據該投影部分與遮擋平面的位置關係,確定虛擬人頭中被身體遮擋的頭髮部分。由此可以將虛擬人頭中,處於人物前景區域內,並且處於遮擋平面之後的部分確定為被身體遮擋的頭髮部分,從而可以確定出準確的,符合真實場景的被遮擋部分,進而使渲染效果更真實。
之後可以執行S76,在對直播影像進行光柵化渲染的過程中,將被身體遮擋的頭髮部分進行剔除處理,得到更真實的渲染影像。請參見圖6D,圖6D為本申請示出的一種渲染影像的示意圖。通過S71-S76的步驟後可以得到如圖6D所示的渲染影像。由此可以得到與頭髮和身體真實遮擋關係匹配的渲染效果。
與前述實施例相應的,本申請提出一種影像處理裝置80。
請參見圖8,圖8為本申請示出的一種影像處理裝置的結構示意圖。
如圖8所示,所述裝置80可以包括:獲取模組81,用於獲取現實影像中的目標區域及渲染素材,所述目標區域包括與所述渲染素材在同一空間產生遮擋關係的實物對象;確定模組82,用於將所述渲染素材投影至所述現實影像,並確定處於所述目標區域內的投影部分,將所述投影部分中位置處於預設遮擋平面之後的部分,確定為所述渲染素材中被所述實物對象遮擋的部分;渲染模組83,用於對所述渲染素材中被所述實物對象遮擋的部分進行遮擋剔除處理,並利用遮擋剔除處理後的渲染素材對所述現實影像進行渲染處理,得到渲染影像。
在一些實施例中,所述渲染素材標識有多個第一關鍵點,所述現實影像內包括待渲染的目標渲染對象,所述目標渲染對象中標識有與所述多個第一關鍵點一一對應的多個第二關鍵點;所述確定模組82,具體用於:獲取所述多個第一關鍵點與所述多個第二關鍵點之間的位置映射關係;根據所述位置映射關係,將所述渲染素材映射至與所述目標渲染對象關聯的第一空間,所述第一空間包括基於所述現實影像進行三維建模得到的空間;將映射至所述第一空間的所述渲染素材投影至所述現實影像。
在一些實施例中,所述裝置80還包括:配置模組,用於接收針對遮擋平面的配置資訊,所述配置資訊至少包括所述遮擋平面在與所述渲染素材關聯的第二空間中的深度資訊和朝向資訊;基於所述配置資訊,確定所述預設遮擋平面。
在一些實施例中,所述第一空間與所述第二空間為不同的空間,所述確定模組82,具體用於:將所述預設遮擋平面映射至所述第一空間;將所述投影部分中位置處於映射至所述第一空間的所述預設遮擋平面之後的部分,確定為所述渲染素材的被遮擋部分。
在一些實施例中,所述裝置80還包括:將所述投影部分包括的各頂點分別作為當前頂點;根據基於所述現實影像進行三維建模得到的第一空間所對應坐標系的原點與所述當前頂點,確定穿過映射至所述第一空間的所述預設遮擋平面的直線,並確定所述直線與所述預設遮擋平面相交的交點;響應於所述原點至所述交點的第一距離小於所述原點至所述當前頂點的第二距離,確定所述當前頂點的位置處於所述預設遮擋平面之後;響應於所述第一距離大於所述第二距離,確定所述當前頂點的位置處於所述預設遮擋平面之前。
在一些實施例中,所述對所述渲染素材中對被所述實物對象遮擋的部分進行遮擋剔除處理包括以下至少一項方式:刪除所述渲染素材中被所述實物對象遮擋的部分;調整所述渲染素材中被所述實物對象遮擋的部分的透明度;修改所述渲染素材中被所述實物對象遮擋的部分與所述現實影像中背景部分的像素混合模式。
在一些實施例中,所述獲取模組81,具體用於:利用基於神經網路生成的分割網路,對所述現實影像進行分割處理,得到所述目標區域;所述裝置80還包括:訓練模組,用於獲取包括多個訓練樣本的訓練樣本集,所述訓練樣本包括目標區域的標註資訊;所述目標區域包括根據業務需求預先設定的區域;基於所述訓練樣本集,對所述分割網路進行訓練。
在一些實施例中,所述渲染素材包括三維虛擬人頭;或者,所述目標區域包括所述現實影像中的前景區域;或者,所述實物對象包括人物身體;或者,所述現實影像包括的目標渲染對象為真實人頭。
本申請示出的影像處理裝置的實施例可以應用於電子設備上。相應地,本申請公開了一種電子設備,該設備可以包括:處理器,用於儲存處理器可執行指令的儲存器。其中,所述處理器被配置為調用所述儲存器中儲存的可執行指令,實現前述任一實施例示出的影像處理方法。
請參見圖9,圖9為本申請示出的一種電子設備的硬體結構示意圖。
如圖9所示,該電子設備可以包括用於執行指令的處理器901,用於進行網路連接的網路介面902,用於為處理器儲存運行數據的記憶體903,以及用於儲存狀態切換裝置對應指令的非揮發性儲存器904。
其中,所述裝置的實施例可以通過軟體實現,也可以通過硬體或者軟硬體結合的方式實現。以軟體實現為例,作為一個邏輯意義上的裝置,是通過其所在電子設備的處理器將非揮發性儲存器中對應的計算機程式指令讀取到記憶體中運行形成的。從硬體層面而言,除了圖9所示的處理器、記憶體、網路介面、以及非揮發性儲存器之外,實施例中裝置所在的電子設備通常根據該電子設備的實際功能,還可以包括其他硬體,對此不再贅述。
可以理解的是,為了提升處理速度,所述影像處理裝置對應指令也可以直接儲存於記憶體中,在此不作限定。
本申請提出一種計算機可讀儲存媒體,所述儲存媒體儲存有計算機程式,所述計算機程式可以用於使處理器執行前述任一實施例示出的影像處理方法。
本領域技術人員應明白,本申請一個或多個實施例可提供為方法、系統或計算機程式產品。因此,本申請一個或多個實施例可採用完全硬體實施例、完全軟體實施例或結合軟體和硬體方面的實施例的形式。而且,本申請一個或多個實施例可採用在一個或多個其中包含有計算機可用程式代碼的計算機可用儲存媒體(包括但不限於磁碟儲存器、光學儲存器等)上實施的計算機程式產品的形式。
本申請中記載的“和/或”表示至少具有兩者中的其中一個,例如,“A和/或B”包括三種方案:A、B、以及“A和B”。
本申請中的各個實施例均採用遞進的方式描述,各個實施例之間相同相似的部分互相參見即可,每個實施例重點說明的都是與其他實施例的不同之處。尤其,對於數據處理設備實施例而言,由於其基本相似於方法實施例,所以描述的比較簡單,相關之處參見方法實施例的部分說明即可。
所述對本申請特定實施例進行了描述。其它實施例在所附申請專利範圍的範圍內。在一些情況下,在申請專利範圍中記載的行為或步驟可以按照不同於實施例中的順序來執行並且仍然可以實現期望的結果。另外,在附圖中描繪的過程不一定要求示出的特定順序或者連續順序才能實現期望的結果。在某些實施方式中,多任務處理和並行處理也是可以的或者可能是有利的。
本申請中描述的主題及功能操作的實施例可以在以下中實現:數位電子電路、有形體現的計算機軟體或韌體、包括本申請中公開的結構及其結構性等同物的計算機硬體、或者它們中的一個或多個的組合。本申請中描述的主題的實施例可以實現為一個或多個計算機程式,即編碼在有形非暫時性程式載體上以被數據處理裝置執行或控制數據處理裝置的操作的計算機程式指令中的一個或多個模組。可替代地或附加地,程式指令可以被編碼在人工生成的傳播信號上,例如機器生成的電、光或電磁訊號,該訊號被生成以將資訊編碼並傳輸到合適的接收機裝置以由數據處理裝置執行。計算機儲存媒體可以是機器可讀儲存設備、機器可讀儲存基板、隨機或串行存取儲存器設備、或它們中的一個或多個的組合。
本申請中描述的處理及邏輯流程可以由執行一個或多個計算機程式的一個或多個可編程計算機執行,以通過根據輸入數據進行操作並生成輸出來執行相應的功能。所述處理及邏輯流程還可以由專用邏輯電路—例如FPGA(現場可程式化邏輯閘陣列)或ASIC(特殊應用積體電路)來執行,並且裝置也可以實現為專用邏輯電路。
適合用於執行計算機程式的計算機包括,例如通用和/或專用微處理器,或任何其他類型的中央處理系統。通常,中央處理系統將從唯讀記憶體和/或隨機存取記憶體接收指令和數據。計算機的基本組件包括用於實施或執行指令的中央處理系統以及用於儲存指令和數據的一個或多個儲存器設備。通常,計算機還將包括用於儲存數據的一個或多個大容量儲存設備,例如磁碟、磁光碟或光碟等,或者計算機將可操作地與此大容量儲存設備耦接以從其接收數據或向其傳送數據,抑或兩種情況兼而有之。然而,計算機不是必須具有這樣的設備。此外,計算機可以嵌入在另一設備中,例如行動電話、個人數位助理(PDA)、移動音頻或視頻播放器、遊戲操縱臺、全球定位系統(GPS)接收機、或例如通用串行匯流排(USB)快閃記憶體驅動器的可攜式儲存設備,僅舉幾例。
適合於儲存計算機程式指令和數據的計算機可讀媒體包括所有形式的非揮發性儲存器、媒介和儲存器設備,例如包括半導體儲存器設備(例如EPROM、EEPROM和快閃記憶體設備)、磁碟(例如內部硬碟或可移動碟)、磁光碟以及CD ROM和DVD-ROM盤。處理器和儲存器可由專用邏輯電路補充或併入專用邏輯電路中。
雖然本申請包含許多具體實施細節,但是這些不應被解釋為限制任何公開的範圍或所要求保護的範圍,而是主要用於描述特定公開的具體實施例的特徵。本申請內在多個實施例中描述的某些特徵也可以在單個實施例中被組合實施。另一方面,在單個實施例中描述的各種特徵也可以在多個實施例中分開實施或以任何合適的子組合來實施。此外,雖然特徵可以如上所述在某些組合中起作用並且甚至最初如此要求保護,但是來自所要求保護的組合中的一個或多個特徵在一些情況下可以從該組合中去除,並且所要求保護的組合可以指向子組合或子組合的變型。
類似地,雖然在附圖中以特定順序描繪了操作,但是這不應被理解為要求這些操作以所示的特定順序執行或順次執行、或者要求所有例示的操作被執行,以實現期望的結果。在某些情況下,多任務和並行處理可能是有利的。此外,所述實施例中的各種系統模組和組件的分離不應被理解為在所有實施例中均需要這樣的分離,並且應當理解,所描述的程式組件和系統通常可以一起整合在單個軟體產品中,或者封裝成多個軟體產品。
由此,主題的特定實施例已被描述。其他實施例在所附申請專利範圍的範圍以內。在某些情況下,申請專利範圍中記載的動作可以以不同的順序執行並且仍實現期望的結果。此外,附圖中描繪的處理並非必需所示的特定順序或順次順序,以實現期望的結果。在某些實現中,多任務和並行處理可能是有利的。
以上所述僅為本申請一個或多個實施例的較佳實施例而已,並不用以限制本申請一個或多個實施例,凡在本申請一個或多個實施例的精神和原則之內,所做的任何修改、等同替換、改進等,均應包含在本申請一個或多個實施例保護的範圍之內。
S102:獲取現實影像中的目標區域及渲染素材,所述目標區域包括與所述渲染素材在同一空間產生遮擋關係的實物對象 S104:將所述渲染素材投影至所述現實影像,並確定處於所述目標區域內的投影部分,將所述投影部分中位置處於預設遮擋平面之後的部分,確定為所述渲染素材中被所述實物對象遮擋的部分 S106:對所述渲染素材中被所述實物對象遮擋的部分進行遮擋剔除處理,並利用遮擋剔除處理後的渲染素材對所述現實影像進行渲染處理,得到渲染影像 S202:獲取包括多個訓練樣本的訓練樣本集 S204:基於所述訓練樣本集,對所述分割網路進行訓練 S302:獲取所述多個第一關鍵點與所述多個第二關鍵點之間的位置映射關係 S304:根據位置映射關係,將所述渲染素材映射至與所述目標渲染對象關聯的第一空間 S306:將映射至所述第一空間的所述渲染素材投影至所述現實影像 S308:確定處於所述目標區域內的投影部分 S402:接收針對遮擋平面的配置資訊 S404:基於所述配置資訊,確定所述預設遮擋平面 S502:將所述投影部分包括的各頂點分別作為當前頂點 S504:根據基於所述現實影像進行三維建模得到的第一空間所對應坐標系的原點與所述當前頂點,確定穿過映射至所述第一空間的所述預設遮擋平面的直線,並確定所述直線與所述預設遮擋平面相交的交點 S506:響應於所述原點至所述交點的第一距離小於所述原點至所述當前頂點的第二距離,確定所述當前頂點的位置處於所述預設遮擋平面之後 S508:響應於所述第一距離大於所述第二距離,確定所述當前頂點的位置處於所述預設遮擋平面之前 S71:即時接收攝像頭採集的直播影像 S72:利用預先訓練的人物前景區域分割網路,得到直播影像的人物前景區域 S73:採集直播影像中真實人頭上的多個第二關鍵點的二維坐標,並利用攝像頭的參數,以及虛擬人頭上的多個對應第一關鍵點的三維坐標,將用戶選擇的虛擬人頭以及該虛擬人頭對應的遮擋平面,映射在攝像頭形成的成像空間中 S74:將虛擬人頭投影到所述直播影像,並確定處於所述人物前景區域內的,可能被身體遮擋的投影部分 S75:根據該投影部分與遮擋平面的位置關係,確定虛擬人頭中被身體遮擋的頭髮部分 S76:在對直播影像進行光柵化渲染的過程中,將被身體遮擋的頭髮部分進行剔除處理,得到更真實的渲染影像 80:影像處理裝置 81:獲取模組 82:確定模組 83:渲染模組 901:處理器 902:網路介面 903:記憶體 904:非揮發性儲存器
圖1為本申請示出的一種影像處理方法的流程圖。 圖2為本申請示出的一種分割網路訓練方法的流程圖。 圖3為本申請示出的一種渲染素材空間映射方法的流程示意圖。 圖4為本申請示出的一種預設遮擋平面配置方法的流程示意圖。 圖5為本申請示出的一種被遮擋部分確定方法的流程示意圖。 圖6A為本申請示出的一種虛擬人頭的示意圖。 圖6B為本申請示出的一種直播影像的示意圖。 圖6C為本申請示出的一種人物前景區域的示意圖。 圖6D為本申請示出的一種渲染影像的示意圖。 圖7為本申請示出的一種影像渲染方法流程圖。 圖8為本申請示出的一種影像處理裝置的結構示意圖。 圖9為本申請示出的一種電子設備的硬體結構示意圖。
S102:獲取現實影像中的目標區域及渲染素材,所述目標區域包括與所述渲染素材在同一空間產生遮擋關係的實物對象
S104:將所述渲染素材投影至所述現實影像,並確定處於所述目標區域內的投影部分,將所述投影部分中位置處於預設遮擋平面之後的部分,確定為所述渲染素材中被所述實物對象遮擋的部分
S106:對所述渲染素材中被所述實物對象遮擋的部分進行遮擋剔除處理,並利用遮擋剔除處理後的渲染素材對所述現實影像進行渲染處理,得到渲染影像

Claims (10)

  1. 一種影像處理方法,其特徵在於,所述方法包括: 獲取現實影像中的目標區域及渲染素材,所述目標區域包括與所述渲染素材在同一空間產生遮擋關係的實物對象; 將所述渲染素材投影至所述現實影像,並確定處於所述目標區域內的投影部分,將所述投影部分中位置處於預設遮擋平面之後的部分,確定為所述渲染素材中被所述實物對象遮擋的部分; 對所述渲染素材中被所述實物對象遮擋的部分進行遮擋剔除處理,並利用遮擋剔除處理後的渲染素材對所述現實影像進行渲染處理,得到渲染影像。
  2. 如請求項1所述的方法,其特徵在於,所述渲染素材標識有多個第一關鍵點,所述現實影像內包括待渲染的目標渲染對象,所述目標渲染對象中標識有與所述多個第一關鍵點一一對應的多個第二關鍵點; 所述將所述渲染素材投影至所述現實影像,包括: 獲取所述多個第一關鍵點與所述多個第二關鍵點之間的位置映射關係; 根據所述位置映射關係,將所述渲染素材映射至與所述目標渲染對象關聯的第一空間,所述第一空間包括基於所述現實影像進行三維建模得到的空間; 將映射至所述第一空間的所述渲染素材投影至所述現實影像。
  3. 如請求項2所述的方法,其特徵在於,所述方法還包括: 接收針對遮擋平面的配置資訊,所述配置資訊至少包括所述遮擋平面在與所述渲染素材關聯的第二空間中的深度資訊和朝向資訊; 基於所述配置資訊,確定所述預設遮擋平面。
  4. 如請求項3所述的方法,其特徵在於,所述第一空間與所述第二空間為不同的空間,所述將所述投影部分中,位置處於所述預設遮擋平面之後的部分,確定為所述渲染素材中被所述實物對象遮擋的部分,包括: 將所述預設遮擋平面映射至所述第一空間; 將所述投影部分中位置處於映射至所述第一空間的所述預設遮擋平面之後的部分,確定為所述渲染素材的被遮擋部分。
  5. 如請求項1-4任一所述的方法,其特徵在於,所述方法還包括: 將所述投影部分包括的各頂點分別作為當前頂點; 根據基於所述現實影像進行三維建模得到的第一空間所對應坐標系的原點與所述當前頂點,確定穿過映射至所述第一空間的所述預設遮擋平面的直線,並確定所述直線與所述預設遮擋平面相交的交點; 響應於所述原點至所述交點的第一距離小於所述原點至所述當前頂點的第二距離,確定所述當前頂點的位置處於所述預設遮擋平面之後; 響應於所述第一距離大於所述第二距離,確定所述當前頂點的位置處於所述預設遮擋平面之前。
  6. 如請求項1-4任一所述的方法,其特徵在於,所述對所述渲染素材中被所述實物對象遮擋的部分進行遮擋剔除處理包括以下至少一項方式: 刪除所述渲染素材中被所述實物對象遮擋的部分; 調整所述渲染素材中被所述實物對象遮擋的部分的透明度; 修改所述渲染素材中被所述實物對象遮擋的部分與所述現實影像中背景部分的像素混合模式。
  7. 如請求項1-4任一所述的方法,其特徵在於,所述獲取現實影像中的目標區域,包括: 利用基於神經網路生成的分割網路,對所述現實影像進行分割處理,得到所述目標區域; 所述方法還包括: 獲取包括多個訓練樣本的訓練樣本集,所述訓練樣本包括目標區域的標註資訊,所述目標區域包括根據業務需求預先設定的區域; 基於所述訓練樣本集,對所述分割網路進行訓練。
  8. 如請求項1-4任一所述的方法,其特徵在於,所述渲染素材包括三維虛擬人頭;或者,所述目標區域包括所述現實影像中的前景區域;或者,所述實物對象包括人物身體;或者,所述現實影像包括的目標渲染對象為真實人頭。
  9. 一種電子設備,其特徵在於,所述設備包括: 處理器; 用於儲存處理器可執行指令的儲存器; 其中,所述處理器通過運行所述可執行指令以實現如權利要求1-8任一所述的影像處理方法。
  10. 一種計算機可讀儲存媒體,其特徵在於,所述儲存媒體儲存有計算機程式,所述計算機程式用於使處理器執行如請求項1-8任一所述的影像處理方法。
TW111109567A 2021-06-30 2022-03-16 影像處理方法、裝置、設備以及儲存媒體 TW202303520A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110739170.1A CN113240692B (zh) 2021-06-30 2021-06-30 一种图像处理方法、装置、设备以及存储介质
CN202110739170.1 2021-06-30

Publications (1)

Publication Number Publication Date
TW202303520A true TW202303520A (zh) 2023-01-16

Family

ID=77141151

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111109567A TW202303520A (zh) 2021-06-30 2022-03-16 影像處理方法、裝置、設備以及儲存媒體

Country Status (3)

Country Link
CN (1) CN113240692B (zh)
TW (1) TW202303520A (zh)
WO (1) WO2023273414A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240692B (zh) * 2021-06-30 2024-01-02 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备以及存储介质
CN114419299A (zh) * 2022-01-21 2022-04-29 北京字跳网络技术有限公司 虚拟物体的生成方法、装置、设备及存储介质
CN114494556A (zh) * 2022-01-30 2022-05-13 北京大甜绵白糖科技有限公司 一种特效渲染方法、装置、设备及存储介质
CN117173305A (zh) * 2022-05-25 2023-12-05 北京字节跳动网络技术有限公司 三维效果形象的生成方法、装置、电子设备及存储介质
CN114820906B (zh) * 2022-06-24 2022-11-22 北京百度网讯科技有限公司 图像渲染方法、装置、电子设备及存储介质
CN115174985B (zh) * 2022-08-05 2024-01-30 北京字跳网络技术有限公司 特效展示方法、装置、设备及存储介质
CN116542847B (zh) * 2023-07-05 2023-10-10 海豚乐智科技(成都)有限责任公司 一种低小慢目标高速图像模拟方法、存储介质及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4789745B2 (ja) * 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
EP2275993A2 (en) * 2009-07-14 2011-01-19 Siemens Aktiengesellschaft Method for estimating the visibility of features on surfaces of object instances in multi-object scenes and method for perception planning in multi-object scenes
WO2014102440A1 (en) * 2012-12-27 2014-07-03 Nokia Corporation Method, apparatus and computer program product for image rendering
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
KR101724360B1 (ko) * 2016-06-30 2017-04-07 재단법인 실감교류인체감응솔루션연구단 혼합현실 디스플레이 장치
CN108765542B (zh) * 2018-05-31 2022-09-09 Oppo广东移动通信有限公司 图像渲染方法、电子设备和计算机可读存储介质
CN109299658B (zh) * 2018-08-21 2022-07-08 腾讯科技(深圳)有限公司 脸部检测方法、脸部图像渲染方法、装置及存储介质
CN111815755B (zh) * 2019-04-12 2023-06-30 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN110136082B (zh) * 2019-05-10 2021-06-01 腾讯科技(深圳)有限公司 遮挡剔除方法、装置及计算机设备
CN111369655B (zh) * 2020-03-02 2023-06-30 网易(杭州)网络有限公司 渲染方法、装置和终端设备
CN112233215B (zh) * 2020-10-15 2023-08-22 网易(杭州)网络有限公司 轮廓渲染方法、装置、设备及存储介质
CN113034655A (zh) * 2021-03-11 2021-06-25 北京字跳网络技术有限公司 基于增强现实的试鞋方法、装置和电子设备
CN113240692B (zh) * 2021-06-30 2024-01-02 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN113240692B (zh) 2024-01-02
CN113240692A (zh) 2021-08-10
WO2023273414A1 (zh) 2023-01-05

Similar Documents

Publication Publication Date Title
WO2023273414A1 (zh) 图像处理方法、装置、设备以及存储介质
US10977818B2 (en) Machine learning based model localization system
US20180276882A1 (en) Systems and methods for augmented reality art creation
CN115699114B (zh) 用于分析的图像增广的方法和装置
WO2021030002A1 (en) Depth-aware photo editing
CN108830894A (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
US20130095920A1 (en) Generating free viewpoint video using stereo imaging
CN109561296A (zh) 图像处理装置、图像处理方法、图像处理系统和存储介质
CN110249626B (zh) 增强现实图像的实现方法、装置、终端设备和存储介质
JP7387202B2 (ja) 3次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
EP3533218B1 (en) Simulating depth of field
US20190130648A1 (en) Systems and methods for enabling display of virtual information during mixed reality experiences
US10621777B2 (en) Synthesis of composite images having virtual backgrounds
CN112258610B (zh) 图像标注方法、装置、存储介质及电子设备
CN110869980A (zh) 用于将内容分发和呈现为球形视频和3d资产组合的系统和方法
KR102374404B1 (ko) 콘텐트를 제공하기 위한 디바이스 및 방법
Meerits et al. Real-time diminished reality for dynamic scenes
WO2023226370A1 (zh) 一种目标对象的三维重现方法及系统
KR101652594B1 (ko) 증강 현실 컨텐츠 제공 장치 및 방법
CN116057577A (zh) 用于增强现实的地图
CN108961375A (zh) 一种根据二维图像生成三维图像的方法及装置
JP2022518402A (ja) 三次元再構成の方法及び装置
US11935209B1 (en) Systems and methods for dynamic backfilling of a three-dimensional object
CN107358624B (zh) 单目稠密即时定位与地图重建方法
CN109816791B (zh) 用于生成信息的方法和装置