TWI724092B - 確定融合係數的方法和裝置 - Google Patents

確定融合係數的方法和裝置 Download PDF

Info

Publication number
TWI724092B
TWI724092B TW106101961A TW106101961A TWI724092B TW I724092 B TWI724092 B TW I724092B TW 106101961 A TW106101961 A TW 106101961A TW 106101961 A TW106101961 A TW 106101961A TW I724092 B TWI724092 B TW I724092B
Authority
TW
Taiwan
Prior art keywords
area
point
target
points
line
Prior art date
Application number
TW106101961A
Other languages
English (en)
Other versions
TW201828257A (zh
Inventor
陳岩
黃英
鄒建法
Original Assignee
香港商斑馬智行網絡(香港)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商斑馬智行網絡(香港)有限公司 filed Critical 香港商斑馬智行網絡(香港)有限公司
Priority to TW106101961A priority Critical patent/TWI724092B/zh
Publication of TW201828257A publication Critical patent/TW201828257A/zh
Application granted granted Critical
Publication of TWI724092B publication Critical patent/TWI724092B/zh

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明提供了一種確定融合係數的方法和裝置,其中方法包括:對圖像中的目標進行特徵點定位,該特徵點包括輪廓點;利用該輪廓點對該目標進行等比例剖分,形成N條等比例線,該N為預設的正整數;對該目標中未知區域的各條等比例線分別確定融合係數;利用該未知區域的各條等比例線的融合係數,對該未知區域的其他各像素點進行插值處理,得到該未知區域中各像素點的融合係數。本發明能夠降低演算法複雜度,提高即時性。

Description

確定融合係數的方法和裝置
本發明關於電腦應用技術領域,特別關於一種確定融合係數的方法和裝置。
隨著智慧終端機的不斷普及,人們利用智慧終端機進行影像處理的需求越來越高,各類美顏類APP受到愛美人士的廣泛青睞。然而,現有這類APP都是基於靜態圖像的美顏處理,採用的方式主要是對靜態圖像進行器官的關鍵點定位,根據定位結果確定需要進行美顏的區域,利用圖像融合技術和顏色概率模型進行背景融合。在進行背景融合時,需要確定未知區域的融合係數,未知區域是前景區域和背景區域之間的過渡區域,是前景區域與背景區域的線性融合,滿足以下運算式所體現的關係:U=F×alpha+(1-alpha)×B
其中U表示未知區域的像素值矩陣,F表示前景區域的像素值矩陣,B表示背景區域的像素值矩陣,alpha是融合係數。
現有融合係數的確定是將所有未知區域的像素值聯立 成一個超大線性方程組,需求解一個超大矩陣的逆矩陣,演算法複雜,耗時較長,即時性很差。
有鑑於此,本發明提供了一種確定融合係數的方法和裝置,以便於降低演算法複雜度,提高即時性。
具體技術方案如下:本發明提供了一種確定融合係數的方法,該方法包括:對圖像中的目標進行特徵點定位,該特徵點包括輪廓點;利用該輪廓點對該目標進行等比例剖分,形成N條等比例線,該N為預設的正整數;對該目標中未知區域的各條等比例線分別確定融合係數;利用該未知區域的各條等比例線的融合係數,對該未知區域的其他各像素點進行插值處理,得到該未知區域中各像素點的融合係數。
根據本發明一優選實施方式,利用該輪廓點對該目標進行等比例剖分,形成N條等比例線包括:在從該目標的中心點到輪廓點的連線上進行比例剖分,各連線上得到N個剖分點;由各連線上的等比例剖分點形成等比例線。
根據本發明一優選實施方式,如果該輪廓點僅包括外 輪廓點,則該目標的中心點為該目標所覆蓋區域的中心點;如果該輪廓點包括內輪廓點和外輪廓點,則該目標的中心點為內輪廓點及其對應外輪廓點的中間點。
根據本發明一優選實施方式,該方法還包括:確定該目標的前景區域、背景區域和未知區域。
根據本發明一優選實施方式,如果該目標具有內外輪廓,則將距離內輪廓的長度與內外輪廓之間的距離的比例在第一閾值和第二閾值之間的點構成的區域,作為前景區域,該第一閾值小於該第二閾值,且該第一閾值和該第二閾值為預設的小於1的正數;將該目標覆蓋的區域中,除了該前景區域之外的區域作為未知區域;將該目標覆蓋的區域之外的區域,作為背景區域。
根據本發明一優選實施方式,如果該目標僅具有外輪廓,則將距離該目標的中心點的長度與中心點與外輪廓之間的距離的比例在第三閾值之內的點構成的區域,作為前景區域,該第三閾值為預設的小於1的正數;將該目標覆蓋的區域中,除了該前景區域之外的區域作為未知區域;將該目標覆蓋的區域之外的區域,作為背景區域。
根據本發明一優選實施方式,在對該目標中未知區域的各條等比例線分別確定融合係數時,針對未知區域的各等比例線分別執行: 針對該等比例線上的點,分別沿著法線方向進行前景區域點和背景區域點的像素值採樣;利用所針對點的像素值以及採樣的前景區域點和背景區域點的像素值,確定所針對點的融合係數;利用該等比例線上各點的融合係數,確定該等比例線的融合係數。
根據本發明一優選實施方式,利用該等比例線上各點的融合係數,確定該等比例線的融合係數包括:將該等比例線上各點的融合係數中,出現次數最多的融合係數作為該等比例線的融合係數。
根據本發明一優選實施方式,利用所針對點的像素值以及採樣的前景區域點和背景區域點的像素值,確定所針對點的融合係數包括:針對每個等比例線上的點,將採樣得到的前景區域點和背景區域點進行組合,每個組合包括一個前景區域點和一個背景區域點,該組合的數量小於預設的正整數;利用各組合分別計算所針對點的融合係數。
根據本發明一優選實施方式,所針對點的融合係數的計算採用以下方式:
Figure 106101961-A0202-12-0004-12
該alpha為所針對點的融合係數,該U為所針對點的像素值,該F和B分別為組合中前景區域點的像素值和背景區域點的像素值。
根據本發明一優選實施方式,該組合的數目大於1且 小於10。
本發明還提供了一種確定融合係數的裝置,該裝置包括:定位單元,用於對圖像中的目標進行特徵點定位,該特徵點包括輪廓點;剖分單元,用於利用利用該輪廓點對該目標進行等比例剖分,形成N條等比例線,該N為預設的正整數;第一確定單元,用於對該目標中未知區域的各條等比例線分別確定融合係數;第二確定單元,用於利用該未知區域的各條等比例線的融合係數,對該未知區域的其他各像素點進行插值處理,得到該未知區域中各像素點的融合係數。
根據本發明一優選實施方式,該剖分單元,具體執行:在從該目標的中心點到輪廓點的連線上進行比例剖分,各連線上得到N個剖分點;由各連線上的等比例剖分點形成等比例線。
根據本發明一優選實施方式,如果該輪廓點僅包括外輪廓點,則該目標的中心點為該目標所覆蓋區域的中心點;如果該輪廓點包括內輪廓點和外輪廓點,則該目標的中心點為內輪廓點及其對應外輪廓點的中間點。
根據本發明一優選實施方式,該裝置還包括:區域劃分單元,用於確定該目標的前景區域、背景區域和未知區 域。
根據本發明一優選實施方式,該區域劃分單元,具體執行:如果該目標具有內外輪廓,則將距離內輪廓的長度與內外輪廓之間的距離的比例在第一閾值和第二閾值之間的點構成的區域,作為前景區域,該第一閾值小於該第二閾值,且該第一閾值和該第二閾值為預設的小於1的正數;將該目標覆蓋的區域中,除了該前景區域之外的區域作為未知區域;將該目標覆蓋的區域之外的區域,作為背景區域。
根據本發明一優選實施方式,該區域劃分單元,具體執行:如果該目標僅具有外輪廓,則將距離該目標的中心點的長度與中心點與外輪廓之間的距離的比例在第三閾值之內的點構成的區域,作為前景區域,該第三閾值為預設的小於1的正數;將該目標覆蓋的區域中,除了該前景區域之外的區域作為未知區域;將該目標覆蓋的區域之外的區域,作為背景區域。
根據本發明一優選實施方式,第一確定單元,具體執行:針對該等比例線上的點,分別沿著法線方向進行前景區域點和背景區域點的像素值採樣;利用所針對點的像素值以及採樣的前景區域點和背景 區域點的像素值,確定所針對點的融合係數;利用該等比例線上各點的融合係數,確定該等比例線的融合係數。
根據本發明一優選實施方式,該第一確定單元在利用該等比例線上各點的融合係數,確定該等比例線的融合係數時,具體執行:將該等比例線上各點的融合係數中,出現次數最多的融合係數作為該等比例線的融合係數。
根據本發明一優選實施方式,該第一確定單元在確定所針對點的融合係數時,具體執行:針對每個等比例線上的點,將採樣得到的前景區域點和背景區域點進行組合,每個組合包括一個前景區域點和一個背景區域點,該組合的數量小於預設的正整數;利用各組合分別計算所針對點的融合係數。
根據本發明一優選實施方式,該第一確定單元採用以下方式計算所針對點的融合係數:
Figure 106101961-A0202-12-0007-13
該alpha為所針對點的融合係數,該U為所針對點的像素值,該F和B分別為組合中前景區域點的像素值和背景區域點的像素值。
根據本發明一優選實施方式,該組合的數目大於1且小於10。
由以上技術方案可以看出,本發明通過對目標進行等比例剖分的方式,確定等比例線的融合係數,利用未知區 域的各條等比例線的融合係數,對未知區域的其他各像素點進行插值處理,得到未知區域中各像素點的融合係數。也就是說,首先以線代替點,然後利用插值方式,避免了超大矩陣的逆矩陣求解,無論從規模上還是演算法上都降低了複雜度,耗時短,提高了即時性。
01‧‧‧定位單元
02‧‧‧剖分單元
03‧‧‧第一確定單元
04‧‧‧第二確定單元
05‧‧‧區域劃分單元
圖1為本發明實施例提供的主要方法流程圖;圖2為本發明實施例提供的一個詳細方法流程圖;圖3a和圖3b分別為本發明實施例提供的等比例剖分的過程示意圖和結果示意圖;圖4為本發明實施例提供的區域劃分的示意圖;圖5為本發明實施例提供的沿法線方向進行像素值採集的示意圖;圖6為本發明實施例提供的唇部各像素點融合係數狀況效果圖;圖7為本發明實施例提供的確定融合係數的裝置結構圖。
為了使本發明的目的、技術方案和優點更加清楚,下面結合圖式和具體實施例對本發明進行詳細描述。
本發明用於針對圖像中的目標確定其未知區域的融合係數,該融合係數用於對該目標進行背景融合使用,即將 目標的色彩模型與背景進行融合。圖1為本發明實施例提供的主要方法流程圖,如圖1中所示,該方法主要包括以下步驟:
在101中,對圖像中的目標進行特徵點定位。
本步驟中涉及的特徵點主要包括輪廓點,可以僅包括外輪廓點,例如目標是眼睛;也可以包括內輪廓點和外輪廓點,例如目標是嘴唇(即嘴唇的內邊界和外邊界)。根據具體的目標類型,還可以包括一些特殊的特徵點,例如,如果目標為嘴唇,則特徵點還可以包括嘴角。本步驟實際上是確定這些特徵點的位置資訊,在圖像中可以體現為座標資訊。
在102中,利用輪廓點對目標進行等比例剖分,形成N條等比例線,N為預設的正整數。
本步驟中,在從目標的中心點到各輪廓點的連線上進行比例剖分,各連線上得到N個剖分點,由各連線上的等比例剖分點形成等比例線。本發明中利用的主要是落入未知區域的等比例線。
具體可以分成兩種情況,如果上述定位得到的輪廓點僅包括外輪廓點,則中心點為目標所覆蓋區域的中心點,這種情況比較好理解。即從目標中心點位置向外輪廓點輻射的連線上進行比例剖分,例如分成8等分,每個連線上都存在7個剖分點,假設連線上剖分點按照從中心點的順序開始排號,從1到7進行排號,然後將所有連線上排號為1的剖分點進行連接形成一條等比例線,將所有連線上 排號為2的剖分點進行連接形成一條等比例線,依次類推。
如果上述定位得到的輪廓點包括內輪廓點和外輪廓點,則中心點為內輪廓點及其對應外輪廓點的中間點。通常定位得到的內輪廓點和外輪廓點數量相同,通過陣列的形式進行儲存,假設存在10個內輪廓點和10個外輪廓點,序號為1的內輪廓點和外輪廓點的中間點,序號為2的內輪廓點和外輪廓點的中間點,依次類推。各中間點與對應內輪廓點的連線進行比例剖分,然後各連線上的等比例剖分點形成等比例線;各中間點與對應外輪廓點的連線進行比例剖分,然後將各連線的等比例剖分點形成等比例線。該情形將在後續實施例中進行詳細描述。
在103中,對目標中未知區域的各條等比例線分別確定融合係數。
在本發明實施例中,認為每條等比例線上各像素點的融合係數是相等的,且未知區域上其他像素點可以由等比例線的融合係數插值得到,這樣可以避免對所有點都逐一確定融合係數,大大降低了計算量,提高了計算效率。各條等比例線的融合係數確定方式將在後續實施例中詳細描述。
在104中,利用未知區域的各條等比例線的融合係數,對未知區域的各像素點進行插值處理,得到未知區域中各像素點的融合係數。
本發明提供的方式可以應用於諸如對圖像中的器官進 行顏色處理,例如對圖像中的嘴唇、眼睛等進行上色,從而達到美顏的目的。下面實施例以圖像中的嘴唇作為目標為例,確定嘴唇的未知區域的融合係數。圖2為本發明實施例提供的一個詳細方法流程圖,如圖2中所示,該流程可以具體包括以下步驟:
在201中,對圖像中的嘴唇進行特徵點定位。其中特徵點可以包括:上嘴唇的內輪廓和外輪廓以及下嘴唇的內輪廓和外輪廓,還可以包括嘴角。對於嘴唇的張開或者閉合狀態,可以採用上述的特徵點定位。對於嘴唇的閉合狀態,也可以僅對上下嘴唇的外輪廓進行定位,還可以進一步包括對嘴角的定位。
對特徵點的定位方式本發明並不加以限制,可以採用諸如基於SDM(Supervised Descent Method,監督下降方法)模型的定位、id-exp模型定位等任意特徵點定位方式,最終可以得到上述各特徵點的位置資訊。
在202中,在從內外輪廓點的中間點到外輪廓點的連線上進行等比例剖分,由各連線上的等比例剖分點形成等比例線,在從內外輪廓點的中間點到內輪廓點的連線上進行等比例剖分,由各連線上的等比例剖分點形成等比例線。
舉一個例子,如圖3a中所示,假設定位分別得到12個內外輪廓點,內輪廓點在圖3a中標識為a1~a12,外輪廓點在圖3a中標識為b1~b12。在進行等比例剖分時,以a5與b5為例,a5與b5為對應的內外輪廓點,其中間點 為o5,o5與a5的連線進行等比例剖分,假設剖分為3段,存在2個剖分點,o5與b5的連線進行等比例剖分,假設剖分為3段,存在2個剖分點。對其他內外輪廓點進行同樣的剖分,以a6和b6為例,o6為a6與b6的中間點,o6與a6之間也存在2個剖分點,o6與b6之間也存在2個剖分點。將a5與o5連線上各剖分點與a6與o6連線上各剖分點進行一一對應的連接,如圖3a中所示,這些連線就是等比例線。然後將所有內外輪廓點都進行類似處理,最終得到的等比例線可以如圖3b所示。
在203中,確定圖像中嘴唇的前景區域、背景區域和未知區域。
如果目標具有內外輪廓,假設如圖3a中所示的張開的嘴唇,則可以將距離內輪廓的長度與內外輪廓之間的距離的比例在第一閾值和第二閾值之間的點構成的區域,作為前景區域,也就是說,處於目標覆蓋的區域中靠中間位置的作為前景區域。其中第一閾值小於第二閾值,且第一閾值和第二閾值為預設的小於1的正數,通常取經驗值,例如第一閾值取0.3,第二閾值取0.6。將目標覆蓋的區域中,除了前景區域之外的區域作為未知區域。將目標覆蓋的區域之外的區域作為背景區域。
如果目標僅具有外輪廓,則將距離目標的中心點的長度與中心點與外輪廓之間的距離的比例在第三閾值之內的點構成的區域,作為前景區域,其中第三閾值為預設的小於1的正數,通常取經驗值,例如第三閾值取0.6。將目 標覆蓋的區域中,除了前景區域之外的區域作為未知區域。將目標覆蓋的區域之外的區域作為背景區域。
以圖4中所示嘴唇為例,線2上的點距離內輪廓的長度與內外輪廓之間的距離的比值為0.3,線1上的點距離內輪廓的長度與內外輪廓之間的距離的比值為0.6,線1與線2之間的區域為前景區域,內輪廓與線2之間的區域以及外輪廓與線1之間的區域為未知區域,其他區域為背景區域。為了後續採樣的限制,可以將背景區域的範圍進行進一步限制,例如將背景區域的範圍限制為:背景區域中各點距離外輪廓的長度與內外輪廓之間的距離比值小於第四閾值,第四閾值為0與1之間的預設值,例如取0.1,如果線3上的點距離外輪廓的長度與內外輪廓之間的距離比值為0.1,那麼線3與外輪廓之間的區域即為背景區域。
本發明對上述步驟202和步驟203的順序並不加以限定,可以以任意的順序先後執行,也可以同時執行。
在204中,分別針對未知區域的各條等比例線執行步驟2041~2043。以下步驟2041~2043實際上是針對每條等比例線確定等比例線的融合係數的過程。
在2041中,針對該等比例線上的點,分別沿著法線方向進行前景區域點和背景區域點的像素值採樣。
本步驟中,可以針對等比例線上的所有像素點,也可以針對等比例線上的部分像素點,例如可以從等比例線上間隔選擇一些像素點。
在2042中,利用所針對點的像素值以及採樣的前景區域點和背景區域點的像素值,確定所針對點的融合係數。
對於採樣的前景區域點和背景區域點可以進行組合,每個組合中包括一個前景區域點和一個背景區域點,每個組合的值代入如下公式,都能夠計算出一個融合係數:
Figure 106101961-A0202-12-0014-1
,其中alpha為所針對點的融合係數,U為所針對點的像素值,F和B分別為組合中前景區域點的像素值和背景區域點的像素值。
為了控制計算量,在此,可以控制採樣得到的組合的個數在1和10之間。
舉一個例子,如圖5中所示,等比例線n為未知區域中的其中一條等比例線,pn1為該等比例線上的一個點,在該點上沿著法線方向採集到背景區域點pb1、pb2和pb3,前景區域點pf1、pf2和pf3,經過兩兩組合後,得到如下組合{pb1,pf1}、{pb1,pf2}、{pb1,pf3}、{pb2,pf1}、{pb2,pf2}、{pb2,pf3}、{pb3,pf1}、{pb3,pf2}、{pb3,pf3},利用各組合分別求得pn1的融合係數,有9個結果。可以將這9個結果取均值,或者取中值,或者取其中一個值等方式,得到該pn1點的融合係數。也可以將這9個結果都作為pn1點的融合係數,繼續進行後續步驟。
在2043中,利用該等比例線上各點的融合係數,確定該等比例線的融合係數。
在本步驟中,可以將該等比例線上各點的融合係數中,採用諸如長條圖的方式統計各融合係數的出現次數,將出現次數最多的融合係數作為該等比例線的融合係數。當然,除了這種方式之外,還可以採用對該等比例線上各點的融合係數求均值、中值等的方式來確定等比例線的融合係數。
對未知區域中每一條等比例線都執行上述步驟2041~2043,就可以得到未知區域中各等比例線的融合係數。
在205中,利用未知區域的各條等比例線的融合係數,對未知區域的其他各像素點進行插值處理,得到未知區域中各像素點的融合係數。
按照上述方式進行融合係數的確定後,如果以明亮程度代表唇部各像素點的融合係數大小,則唇部各像素點融合係數狀況可以如圖6中所示,越明亮(顏色越淡、越白)表明融合係數越大。
在得到未知區域中各像素點的融合係數後,可以利用該融合係數,將色彩模型和圖像中目標未知區域當前的顏色做融合,得到顏色處理之後的目標,反映在上述嘴唇為例的實施例中,如果美顏類應用對嘴唇進行上色,那麼將載入的色彩模型採用上述融合係數與圖像中嘴唇未知區域當前的顏色進行融合,就可以得到美顏後嘴唇未知區域部分的顏色。顏色處理時,採用的公式可以為:Pho=Model×alpha+(1-alpha)×Cur
其中,Pho為顏色處理之後的像素值,Model為要載入的色彩模型的像素值,Cur為圖像中的當前像素值。
圖7為本發明實施例提供的確定融合係數的裝置結構圖,該裝置可以用於對圖像進行顏色處理的應用中,如圖7中所示,該裝置可以包括:定位單元01、剖分單元02、第一確定單元03和第二確定單元04,還可以進一步包括區域劃分單元05。各組成單元的主要功能如下:
定位單元01負責對圖像中的目標進行特徵點定位,其中特徵點主要包括輪廓點,可以僅包括外輪廓點,例如目標是眼睛;也可以包括內輪廓點和外輪廓點,例如目標是嘴唇(即嘴唇的內邊界和外邊界)。根據具體的目標類型,還可以包括一些特殊的特徵點,例如,如果目標為嘴唇,則特徵點還可以包括嘴角。
剖分單元02負責利用輪廓點對目標進行等比例剖分,形成N條等比例線,N為預設的正整數。具體地,可以在從目標的中心點到輪廓點的連線上進行比例剖分,各連線上得到N個剖分點;由各連線上的等比例剖分點形成等比例線。
其中,如果輪廓點僅包括外輪廓點,則目標的中心點為目標所覆蓋區域的中心點。即從目標中心點位置向外輪廓點輻射的連線上進行比例剖分,例如分成8等分,每個連線上都存在7個剖分點,假設連線上剖分點按照從中心點的順序開始排號,從1到7進行排號,然後將所有連線上排號為1的剖分點進行連接形成一條等比例線,將所有 連線上排號為2的剖分點進行連接形成一條等比例線,依次類推。
如果輪廓點包括內輪廓點和外輪廓點,則目標的中心點為內輪廓點及其對應外輪廓點的中間點。通常定位得到的內輪廓點和外輪廓點數量相同,通過陣列的形式進行儲存,假設存在10個內輪廓點和10個外輪廓點,序號為1的內輪廓點和外輪廓點的中間點,序號為2的內輪廓點和外輪廓點的中間點,依次類推。各中間點與對應內輪廓點的連線進行比例剖分,然後各連線上的等比例剖分點形成等比例線;各中間點與對應外輪廓點的連線進行比例剖分,然後將各連線的等比例剖分點形成等比例線。具體實例可以參見上述方法實施例中針對圖3a和圖3b的描述。
區域劃分單元05負責確定目標的前景區域、背景區域和未知區域。具體地,如果目標具有內外輪廓,則區域劃分單元05將距離內輪廓的長度與內外輪廓之間的距離的比例在第一閾值和第二閾值之間的點構成的區域,作為前景區域,第一閾值小於第二閾值,且第一閾值和第二閾值為預設的小於1的正數,通常取經驗值,例如第一閾值取0.3,第二閾值取0.6。將目標覆蓋的區域中,除了前景區域之外的區域作為未知區域。將目標覆蓋的區域之外的區域,作為背景區域。
如果目標僅具有外輪廓,則區域劃分單元05將距離目標的中心點的長度與中心點與外輪廓之間的距離的比例在第三閾值之內的點構成的區域,作為前景區域,第三閾 值為預設的小於1的正數,例如第三閾值取0.6。將目標覆蓋的區域中,除了前景區域之外的區域作為未知區域。將目標覆蓋的區域之外的區域,作為背景區域。
第一確定單元03負責對目標中未知區域的各條等比例線分別確定融合係數。
具體地,第一確定單元03可以首先針對該等比例線上的點,分別沿著法線方向進行前景區域點和背景區域點的像素值採樣。其中可以針對等比例線上的所有像素點,也可以針對等比例線上的部分像素點,例如可以從等比例線上間隔選擇一些像素點。
然後,第一確定單元03利用所針對點的像素值以及採樣的前景區域點和背景區域點的像素值,確定所針對點的融合係數。對於採樣的前景區域點和背景區域點可以進行組合,每個組合中包括一個前景區域點和一個背景區域點,每個組合的值代入如下公式,都能夠計算出一個融合係數:
Figure 106101961-A0202-12-0018-2
,其中alpha為所針對點的融合係數,U為所針對點的像素值,F和B分別為組合中前景區域點的像素值和背景區域點的像素值。為了控制計算量,在此,可以控制採樣得到的組合的個數在1和10之間。
最後,第一確定單元03利用該等比例線上各點的融合係數,確定該等比例線的融合係數。可以將該等比例線上各點的融合係數中,採用諸如長條圖的方式統計各融合係數的出現次數,將出現次數最多的融合係數作為該等比 例線的融合係數。當然,除了這種方式之外,還可以採用對該等比例線上各點的融合係數求均值、中值等的方式來確定等比例線的融合係數。
第二確定單元04負責利用未知區域的各條等比例線的融合係數,對未知區域的其他各像素點進行插值處理,得到未知區域中各像素點的融合係數。
在利用上述確定融合係數的裝置得到未知區域中各像素點的融合係數後,顏色處理類應用可以利用該融合係數,將色彩模型和圖像中目標未知區域當前的顏色做融合,得到顏色處理之後的目標。
在本發明所提供的幾個實施例中,應該理解到,所揭露的裝置和方法,可以通過其它的方式實現。例如,以上所描述的裝置實施例僅是示意性的,例如,該單元的劃分,僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式。
另外,在本發明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現,也可以採用硬體加軟體功能單元的形式實現。
上述以軟體功能單元的形式實現的集成的單元,可以儲存在一個電腦可讀取儲存媒介中。上述軟體功能單元儲存在一個儲存媒介中,包括若干指令用以使得一台電腦設備(可以是個人電腦,伺服器,或者網路設備等)或處理 器(processor)執行本發明各個實施例該方法的部分步驟。而前述的儲存媒介包括:隨身碟、行動硬碟、唯讀記憶體(Read-Only Memory,ROM)、隨機存取記憶體(Random Access Memory,RAM)、磁碟或者光碟等各種可以儲存程式碼的媒介。
以上所述僅為本發明的較佳實施例而已,並不用以限制本發明,凡在本發明的精神和原則之內,所做的任何修改、等同替換、改進等,均應包含在本發明保護的範圍之內。

Claims (22)

  1. 一種確定融合係數的方法,其特徵在於,該方法包括:對圖像中的目標進行特徵點定位,該特徵點包括輪廓點;利用該輪廓點對該目標進行等比例剖分,形成N條等比例線,該N為預設的正整數;對該目標中未知區域的各條等比例線分別確定融合係數,該未知區域是該圖像的前景區域和背景區域之間的過渡區域;利用該未知區域的各條等比例線的融合係數,對該未知區域的其他各像素點進行插值處理,得到該未知區域中各像素點的融合係數。
  2. 根據請求項1所述的方法,利用該輪廓點對該目標進行等比例剖分,形成N條等比例線包括:在從該目標的中心點到輪廓點的連線上進行比例剖分,各連線上得到N個剖分點;由各連線上的等比例剖分點形成等比例線。
  3. 根據請求項2所述的方法,如果該輪廓點僅包括外輪廓點,則該目標的中心點為該目標所覆蓋區域的中心點;如果該輪廓點包括內輪廓點和外輪廓點,則該目標的中心點為內輪廓點及其對應外輪廓點的中間點。
  4. 根據請求項1所述的方法,該方法還包括: 確定該目標的前景區域、背景區域和未知區域。
  5. 根據請求項4所述的方法,如果該目標具有內外輪廓,則將距離內輪廓的長度與內外輪廓之間的距離的比例在第一閾值和第二閾值之間的點構成的區域,作為前景區域,該第一閾值小於該第二閾值,且該第一閾值和該第二閾值為預設的小於1的正數;將該目標覆蓋的區域中,除了該前景區域之外的區域作為未知區域;將該目標覆蓋的區域之外的區域,作為背景區域。
  6. 根據請求項4所述的方法,如果該目標僅具有外輪廓,則將距離該目標的中心點的長度與中心點與外輪廓之間的距離的比例在第三閾值之內的點構成的區域,作為前景區域,該第三閾值為預設的小於1的正數;將該目標覆蓋的區域中,除了該前景區域之外的區域作為未知區域;將該目標覆蓋的區域之外的區域,作為背景區域。
  7. 根據請求項1至6任一項所述的方法,在對該目標中未知區域的各條等比例線分別確定融合係數時,針對未知區域的各等比例線分別執行:針對該等比例線上的點,分別沿著法線方向進行前景區域點和背景區域點的像素值採樣;利用所針對點的像素值以及採樣的前景區域點和背景區域點的像素值,確定所針對點的融合係數;利用該等比例線上各點的融合係數,確定該等比例線 的融合係數。
  8. 根據請求項7所述的方法,利用該等比例線上各點的融合係數,確定該等比例線的融合係數包括:將該等比例線上各點的融合係數中,出現次數最多的融合係數作為該等比例線的融合係數。
  9. 根據請求項7所述的方法,利用所針對點的像素值以及採樣的前景區域點和背景區域點的像素值,確定所針對點的融合係數包括:針對每個等比例線上的點,將採樣得到的前景區域點和背景區域點進行組合,每個組合包括一個前景區域點和一個背景區域點,該組合的數量小於預設的正整數;利用各組合分別計算所針對點的融合係數。
  10. 根據請求項9所述的方法,所針對點的融合係數的計算採用以下方式:
    Figure 106101961-A0305-02-0025-1
    該alpha為所針對點的融合係數,該U為所針對點的像素值,該F和B分別為組合中前景區域點的像素值和背景區域點的像素值。
  11. 根據請求項9所述的方法,該組合的數量大於1且小於10。
  12. 一種確定融合係數的裝置,其特徵在於,該裝置包括:定位單元,用於對圖像中的目標進行特徵點定位,該特徵點包括輪廓點; 剖分單元,用於利用該輪廓點對該目標進行等比例剖分,形成N條等比例線,該N為預設的正整數;第一確定單元,用於對該目標中未知區域的各條等比例線分別確定融合係數,該未知區域是該圖像的前景區域和背景區域之間的過渡區域;第二確定單元,用於利用該未知區域的各條等比例線的融合係數,對該未知區域的其他各像素點進行插值處理,得到該未知區域中各像素點的融合係數。
  13. 根據請求項12所述的裝置,該剖分單元,具體執行:在從該目標的中心點到輪廓點的連線上進行比例剖分,各連線上得到N個剖分點;由各連線上的等比例剖分點形成等比例線。
  14. 根據請求項13所述的裝置,如果該輪廓點僅包括外輪廓點,則該目標的中心點為該目標所覆蓋區域的中心點;如果該輪廓點包括內輪廓點和外輪廓點,則該目標的中心點為內輪廓點及其對應外輪廓點的中間點。
  15. 根據請求項12所述的裝置,該裝置還包括:區域劃分單元,用於確定該目標的前景區域、背景區域和未知區域。
  16. 根據請求項15所述的裝置,該區域劃分單元,具體執行:如果該目標具有內外輪廓,則將距離內輪廓的長度與 內外輪廓之間的距離的比例在第一閾值和第二閾值之間的點構成的區域,作為前景區域,該第一閾值小於該第二閾值,且該第一閾值和該第二閾值為預設的小於1的正數;將該目標覆蓋的區域中,除了該前景區域之外的區域作為未知區域;將該目標覆蓋的區域之外的區域,作為背景區域。
  17. 根據請求項15所述的裝置,該區域劃分單元,具體執行:如果該目標僅具有外輪廓,則將距離該目標的中心點的長度與中心點與外輪廓之間的距離的比例在第三閾值之內的點構成的區域,作為前景區域,該第三閾值為預設的小於1的正數;將該目標覆蓋的區域中,除了該前景區域之外的區域作為未知區域;將該目標覆蓋的區域之外的區域,作為背景區域。
  18. 根據請求項12至17任一項所述的裝置,第一確定單元,具體執行:針對該等比例線上的點,分別沿著法線方向進行前景區域點和背景區域點的像素值採樣;利用所針對點的像素值以及採樣的前景區域點和背景區域點的像素值,確定所針對點的融合係數;利用該等比例線上各點的融合係數,確定該等比例線的融合係數。
  19. 根據請求項18所述的裝置,該第一確定單元在 利用該等比例線上各點的融合係數,確定該等比例線的融合係數時,具體執行:將該等比例線上各點的融合係數中,出現次數最多的融合係數作為該等比例線的融合係數。
  20. 根據請求項18所述的裝置,該第一確定單元在確定所針對點的融合係數時,具體執行:針對每個等比例線上的點,將採樣得到的前景區域點和背景區域點進行組合,每個組合包括一個前景區域點和一個背景區域點,該組合的數量小於預設的正整數;利用各組合分別計算所針對點的融合係數。
  21. 根據請求項20所述的裝置,該第一確定單元採用以下方式計算所針對點的融合係數:
    Figure 106101961-A0305-02-0028-2
    該alpha為所針對點的融合係數,該U為所針對點的像素值,該F和B分別為組合中前景區域點的像素值和背景區域點的像素值。
  22. 根據請求項20所述的裝置,該組合的數量大於1且小於10。
TW106101961A 2017-01-19 2017-01-19 確定融合係數的方法和裝置 TWI724092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW106101961A TWI724092B (zh) 2017-01-19 2017-01-19 確定融合係數的方法和裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106101961A TWI724092B (zh) 2017-01-19 2017-01-19 確定融合係數的方法和裝置

Publications (2)

Publication Number Publication Date
TW201828257A TW201828257A (zh) 2018-08-01
TWI724092B true TWI724092B (zh) 2021-04-11

Family

ID=63960078

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106101961A TWI724092B (zh) 2017-01-19 2017-01-19 確定融合係數的方法和裝置

Country Status (1)

Country Link
TW (1) TWI724092B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680471A (en) * 1993-07-27 1997-10-21 Kabushiki Kaisha Toshiba Image processing apparatus and method
CN101807245A (zh) * 2010-03-02 2010-08-18 天津大学 基于人工神经网络的多源步态特征提取与身份识别方法
CN103093490A (zh) * 2013-02-02 2013-05-08 浙江大学 基于单个视频摄像机的实时人脸动画方法
CN104537608A (zh) * 2014-12-31 2015-04-22 深圳市中兴移动通信有限公司 一种图像处理的方法及其装置
TWI486061B (zh) * 2007-10-31 2015-05-21 Broadcom Corp 視頻資料處理方法和系統

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680471A (en) * 1993-07-27 1997-10-21 Kabushiki Kaisha Toshiba Image processing apparatus and method
TWI486061B (zh) * 2007-10-31 2015-05-21 Broadcom Corp 視頻資料處理方法和系統
CN101807245A (zh) * 2010-03-02 2010-08-18 天津大学 基于人工神经网络的多源步态特征提取与身份识别方法
CN103093490A (zh) * 2013-02-02 2013-05-08 浙江大学 基于单个视频摄像机的实时人脸动画方法
CN104537608A (zh) * 2014-12-31 2015-04-22 深圳市中兴移动通信有限公司 一种图像处理的方法及其装置

Also Published As

Publication number Publication date
TW201828257A (zh) 2018-08-01

Similar Documents

Publication Publication Date Title
US20200334892A1 (en) Automatic rigging of three dimensional characters for animation
JP6636154B2 (ja) 顔画像処理方法および装置、ならびに記憶媒体
CN110163080B (zh) 人脸关键点检测方法及装置、存储介质和电子设备
CN112419170B (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN108961175B (zh) 人脸亮度调整方法、装置、计算机设备及存储介质
CN109840477B (zh) 基于特征变换的受遮挡人脸识别方法及装置
WO2020052476A1 (zh) 特征点定位方法、存储介质和计算机设备
US8792718B2 (en) Temporal matte filter for video matting
JP6213745B2 (ja) 画像処理方法及び装置
WO2021115242A1 (zh) 一种超分辨率图像处理方法以及相关装置
CN110969046B (zh) 人脸识别方法、设备及计算机可读存储介质
CN107749062B (zh) 图像处理方法、及装置
WO2017054651A1 (zh) 一种确定融合系数的方法和装置
CN106373128B (zh) 一种嘴唇精确定位的方法和系统
US11270438B2 (en) System and method for triggering machine learning (ML) annotation model retraining
WO2023005743A1 (zh) 图像处理方法及装置、计算机设备、存储介质和计算机程序产品
CN111079507A (zh) 一种行为识别方法及装置、计算机装置及可读存储介质
CN112651953A (zh) 图片相似度计算方法、装置、计算机设备及存储介质
CN116263942A (zh) 一种调整图像对比度的方法、存储介质及计算机程序产品
TWI724092B (zh) 確定融合係數的方法和裝置
CN110717373A (zh) 图像模拟方法、电子设备和计算机可读存储介质
US20220222829A1 (en) Methods and electronic device for processing image
CN114331928B (zh) 一种高温红外图像可视化增强方法、装置及设备
CN106157296B (zh) 一种唐卡图像破损区域的分割方法
CN111918000B (zh) 一种描边方法、设备及可读存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees