TWI755768B - 圖像處理方法、圖像處理設備及儲存介質 - Google Patents

圖像處理方法、圖像處理設備及儲存介質 Download PDF

Info

Publication number
TWI755768B
TWI755768B TW109121222A TW109121222A TWI755768B TW I755768 B TWI755768 B TW I755768B TW 109121222 A TW109121222 A TW 109121222A TW 109121222 A TW109121222 A TW 109121222A TW I755768 B TWI755768 B TW I755768B
Authority
TW
Taiwan
Prior art keywords
image
key points
target part
posture
target
Prior art date
Application number
TW109121222A
Other languages
English (en)
Other versions
TW202121337A (zh
Inventor
李通
張偉亮
劉文韜
錢晨
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202121337A publication Critical patent/TW202121337A/zh
Application granted granted Critical
Publication of TWI755768B publication Critical patent/TWI755768B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本申請實施例公開一種圖像處理方法、圖像處理設備及儲存介質。所述圖像處理方法包括：獲取處於第一姿態的目標部位的第一替換圖像；確定第一圖像中處於第二姿態的目標部位的姿態參數；根據所述姿態參數，將所述第一替換圖像變換為與所述第二姿態對應的第二替換圖像；將所述第二替換圖像融合到第一圖像中的所述目標部位，得到第二圖像。

Description

圖像處理方法、圖像處理設備及儲存介質
本申請關於圖像處理技術領域，尤其關於一種圖像處理方法、圖像處理設備及儲存介質。
在圖像處理技術領域，存在著對用戶拍完一個照片，然後需要對該照片的部分進行貼紙的圖像變形操作。但是這種利用貼紙進行圖像變形的方案，有的時候利用貼紙進行圖像變形之後生成的新的圖像，圖像中變形效果較差。
本申請實施例期望提供一種圖像處理方法、圖像處理設備及儲存介質。
本申請實施例的技術方案是如下這樣實現的。
本申請實施例第一方面提供一種圖像處理方法，包括：獲取處於第一姿態的目標部位的第一替換圖像；確定第一圖像中處於第二姿態的目標部位的姿態參數；根據所述姿態參數，將所述第一替換圖像變換為與所述第二姿態對應的第二替換圖像；將所述第二替換圖像融合到第一圖像中的所述目標部位，得到第二圖像。
在本申請的一些可選實施例中，所述根據所述姿態參數，將所述第一替換圖像變換為與所述第二姿態對應的第二替換圖像，包括：獲取所述第一替換圖像中的所述目標部位的多個第一關鍵點的座標；基於所述多個第一關鍵點的座標，從所述第一替換圖像中確定出由所述多個第一關鍵點中任意一組第一關鍵點圍成的至少一個原始多邊形區域；基於所述姿態參數，對所述至少一個原始多邊形區域進行變形，得到變形後的所述第二替換圖像。
在本申請的一些可選實施例中，所述確定第一圖像中處於第二姿態的目標部位的姿態參數數，包括：對所述第一圖像的所述目標部位進行關鍵點檢測，得到所述目標部位的多個關鍵點的座標；根據所述目標部位的多個關鍵點的座標，確定所述目標部位的所述姿態參數。
在本申請的一些可選實施例中，所述目標部位包括：腹部；所述確定第一圖像中處於第二姿態下的目標部位的姿態參數，包括：獲取所述第一圖像中腹部的至少三類關鍵點的座標，其中，所述至少三類關鍵點包括：至少兩個第一邊緣關鍵點、至少兩個第二邊緣關鍵點及至少兩個中軸線關鍵點，其中，所述至少兩個第一邊緣關鍵點和所述至少兩個第二邊緣關鍵點分別分佈在任意一個所述中軸線關鍵點的兩側，其中，所述至少三類關鍵點的位置，用於表徵所述目標部位的所述姿態參數。
在本申請的一些可選實施例中，所述根據所述姿態參數，將所述第一替換圖像變換為與所述第二姿態對應的第二替換圖像，包括：根據所述至少三類關鍵點中任意相鄰三個關鍵點所形成的三角形區域，得到目標三角形區域；根據從所述第一替換圖像中獲取的多個第一關鍵點的座標，得到由所述多個第一關鍵點中任意相鄰三個第一關鍵點圍成的原始三角形區域，其中，所述第一關鍵點與所述至少三類關鍵點均為所述目標部位的關鍵點；根據所述原始三角形區域與所述目標三角形區域之間的映射關係，將所述第一替換圖像變換為所述第二替換圖像。
在本申請的一些可選實施例中，所述方法還包括：根據所述姿態參數，確定所述目標部位在所述第一圖像中的目標區域；所述將所述第二替換圖像，融合到第一圖像中的所述目標部位得到第二圖像，包括：將所述第二替換圖像，融合到所述第一圖像中的所述目標區域得到所述第二圖像。
本申請實施例第二方面提供一種圖像處理裝置，包括：獲取模組，配置為獲取處於第一姿態的目標部位的第一替換圖像；第一確定模組，配置為確定第一圖像中目標物件處於第二姿態的目標部位的姿態參數；變換模組，配置為根據所述姿態參數，將所述第一替換圖像變換為與所述第二姿態對應的第二替換圖像；生成模組，配置為將所述第二替換圖像，融合到第一圖像中的所述目標部位得到第二圖像。
在本申請的一些可選實施例中，所述變換模組，配置為獲取所述第一替換圖像中的所述目標部位的多個第一關鍵點的座標；基於所述多個第一關鍵點的座標，從所述第一替換圖像中確定出由所述多個第一關鍵點中任意一組第一關鍵點圍成的至少一個原始多邊形區域；基於所述姿態參數，對所述至少一個原始多邊形區域進行變形，得到變形後的所述第二替換圖像。
在本申請的一些可選實施例中，所述第一確定模組，配置為對所述第一圖像的所述目標部位進行關鍵點檢測，得到所述目標部位的多個關鍵點的座標；根據所述目標部位的多個關鍵點的座標，確定所述目標部位的所述姿態參數。
在本申請的一些可選實施例中，所述目標部位包括：腹部；所述第一確定模組，配置為獲取所述第一圖像中腹部的多個三類關鍵點的座標，其中，所述多個三類關鍵點包括：至少兩個第一邊緣關鍵點、至少兩個第二邊緣關鍵點及至少兩個中軸線關鍵點，其中，所述至少兩個第一邊緣關鍵點和所述至少兩個第二邊緣關鍵點，分佈在任意一個所述中軸線關鍵點的兩側，其中，所述多個三類關鍵點的位置，用於表徵所述目標部位的所述姿態參數。
在本申請的一些可選實施例中，所述變換模組，配置為根據所述多個三類關鍵點中任意相鄰三個關鍵點所形成的三角形區域，得到目標三角形區域；根據從所述第一替換圖像中獲取的多個第一關鍵點的座標，得到由所述多個第一關鍵點中任意相鄰三個第一關鍵點圍成的原始三角形區域，其中，所述第一關鍵點與所述多個三類關鍵點均為所述目標部位的關鍵點；根據所述原始三角形區域與所述目標三角形區域之間的映射關係，將所述第一替換圖像變換為所述第二替換圖像。
在本申請的一些可選實施例中，所述裝置還包括：第二確定模組，配置為根據所述姿態參數，確定所述目標部位在所述第一圖像中的目標區域；所述生成模組，配置為將所述第二替換圖像融合到所述第一圖像中的所述目標區域，得到所述第二圖像。
本申請實施例第三方面提供一種圖像處理設備，包括：記憶體；處理器，與所述記憶體連接，用於通過執行儲存在所述記憶體上的電腦可執行指令實現前述任意技術方案提供的圖像處理方法。
本申請實施例第四方面提供一種電腦儲存介質，所述電腦儲存介質儲存有電腦可執行指令；所述電腦可執行指令被處理器執行後，能夠實現前述任意技術方案提供的圖像處理方法。
本申請實施例提供的技術方案，在進行圖像變形時，不再是將一個替換圖像直接貼合到第一圖像中待變形的目標部位，而是可以根據第一圖像中待變形的目標部位當前的第二姿態，得到姿態參數；利用該姿態參數，對處於第一姿態的目標部位的第一替換圖像轉換成處於第二姿態的目標部位的第二替換圖像之後，再將第二替換圖像融合到第一圖像中得到第二圖像，如此，經過變形得到的第二圖像，減少了第一替換圖像和第一圖像中的目標部位姿態相差很大導致的變形效果差的現象，可以有效提升第一圖像中目標部位的變形效果。
以下結合說明書附圖及具體實施例對本申請實施例的技術方案做進一步的詳細闡述。
如圖1所示，本實施例提供一種圖像處理方法，包括： S110：獲取處於第一姿態的目標部位的第一替換圖像； S120：確定第一圖像中目標物件處於第二姿態的目標部位的姿態參數； S130：根據姿態參數，將第一替換圖像變換為與第二姿態對應的第二替換圖像； S140：將第二替換圖像融合到第一圖像中的目標部位，得到第二圖像。
本實施例提供的圖像處理方法，可以應用於具有圖像處理功能的電子設備中。示例性的，該圖像設備可包括各種終端設備，該終端設備包括：手機或可穿戴式設備等。該終端設備還可包括：車載終端設備，或專用於圖像採集且固定於某一處的固定終端設備。在另一些實施例中，圖像設備還可包括：伺服器，例如，本機伺服器或者位於雲平臺中提供圖像處理服務的雲伺服器等。
在一些實施例中，目標部位例如為人體的某一部位，或者，為動物或其他物件的某一部位等。本申請實施例對此並不限定。
在一些實施例中，第一替換圖像例如為目標部位經變形處理後的變形效果圖像。示例性的，在目標部位為人體的腹部的情況下，第一替換圖像例如可以為一張有腹肌效果的腹部圖像。
在一些實施例中，第一姿態和第二姿態用來描述目標部位當前所處的姿勢狀態。例如，以目標部位為人體的腹部為例進行說明，人體站立時，腹部是處於直立姿態的；而人體向前彎腰，腹部處於向後彎曲的姿態，人體向前挺起腹部時，腹部處於向前彎曲的姿態。若人體向右側彎腰，則腹部處於右側擠壓且左側拉伸的姿態；若人體左側彎腰，則腹部處於左側擠壓且右側拉伸的姿態。人體腰部動作彎曲幅度不同，也可以認為姿態存在差異。例如，第一姿態可能是腹部處於直立姿態，而第二姿態可為前述任意一種彎腰情況下腹部所處的彎曲姿態。
在對目標部位進行變形之前，電子設備中可能沒有儲存有各種姿態下的第一替換圖像。此時，可以生成一個與第二姿態對應的第二替換圖像。其中，第二替換圖像也可以為目標部位經變形處理後的變形效果圖像，且該第二替換圖像用於描述處於第二姿態的目標部位的變形效果圖像。
S140步驟中將第二替換圖像融合到第一圖像中得到第二圖像的方式有多種。在一些實施方式中，可以將第二替換圖像貼合到第一圖像中目標部位所在區域內，得到第二圖像，即通過圖層貼合的方式生成第二圖像。例如，將第一圖像設置為第一圖層；將第二替換圖像添加到第二圖層，第二圖層除了第二替換圖像以外的區域都為透明區域；將第二替換圖像對準第一圖像中的目標部位進行圖層融合，得到第二圖像。
在另一些實施方式中，還可以將第一圖像中目標部位所在目標區域內的圖元值去除，根據第二替換圖像，在去除了圖元值的目標區域內重新填充圖元值。其中，將目標區域內的圖元值去除，例如是可以將目標區域內的圖元值置為某一默認數值，或者將目標區域所在的圖元區域的透明度設為某一默認數值。上述在去除了圖元值的目標區域內重新填充圖元值例如可以包括：重新對目標區域的圖元值進行賦值，將目標區域內任一位置處的圖元的預設數值替換為第二替換圖像中對應位置處的圖元值。以上僅是生成第二圖像的舉例，具體的實現方式有很多種，本申請不再一一限定。
本實施例中，不是直接將處於第一姿態的目標部位的第一替換圖像貼到第一圖像中的目標部位，而是根據在第一圖像中呈現的目標部位的姿態參數，利用該姿態參數調整第一替換圖像，得到符合目標部位當前姿態（即第二姿態）的第二替換圖像；得到第二替換圖像再貼到第一圖像中目標部位所在位置，從而生成第二圖像。如此，相對于利用第一姿態下的第一替換圖像直接貼到第一圖像中具有第二姿態的目標部位處，能夠使得第一圖像的目標部位的變形效果更好。
在一些可選實施例中，S130可包括：獲取第一替換圖像中的目標部位的多個第一關鍵點的座標；基於多個第一關鍵點的座標，從第一替換圖像中確定出由多個第一關鍵點中任意一組第一關鍵點圍成的至少一個原始多邊形區域；基於姿態參數，對至少一個原始多邊形區域進行變形，得到變形後的第二替換圖像。
本實施例通過將第一替換圖像變換為第二替換圖像，可以使得第二替換圖像能夠更加符合目標部位的實際姿態。
本實施例中，原始多邊形區域可為任意多邊形所圍成的區域，該多邊形可為三角形、四邊形或五邊形等，本實施例中對此不做限定。
在本實施例中，不再是進行簡單矩陣變換，可以採用諸如多邊形仿射變換等方式進行原始多邊形區域的變換，得到上述原始多邊形區域。以原始多邊形區域為原始三角形區域為例，則可以採用三角形仿射變換方式進行原始三角形區域的變換，得到變換後的目標三角形區域。
本實施例中對第一替換圖像的關鍵點的檢測可以利用現有的任意關鍵點檢測方法。例如，將第一替換圖像輸入到人體檢測模型中，得到第一替換圖像中關鍵點的座標（即第一關鍵點的座標）。
在一些可選實施例中，上述方法還包括：根據姿態參數，確定目標部位在第一圖像中所在的位置。相應的，S140可包括：將第二替換圖像融合到第一圖像中的目標區域，得到第二圖像。在本實施例中，姿態參數可以由第一圖像中目標部位的關鍵點的座標來體現，如此，該關鍵點的座標還可以用於定位目標部位在第一圖像中的位置；確定的目標部位在第一圖像中的位置，方便在S140中將第二替換圖像融合到第一圖像中，以生成具有期望變形效果的第二圖像。
在一些實施例中，S120可包括：對第一圖像的目標部位進行關鍵點檢測，得到目標部位的多個關鍵點的座標；根據目標部位的多個關鍵點的座標，確定目標部位的姿態參數。
示例性的，可利用關鍵點檢測模型對第一圖像的目標部位進行關鍵點檢測。其中，關鍵點檢測模型可為深度學習模型，例如，各種神經網路。在本實施例中，關鍵點檢測模型可為open pose模型。
圖2為一種人體關鍵點的示意圖。在本實施例中，以目標部位為腹部為例，則用於確定姿態參數的目標部位的關鍵點可為腹部的輪廓關鍵點。腹部的輪廓關鍵點可參考圖2中的關鍵點28、29及30及關鍵點57、58及56。
在一些可選實施例中，S130可包括：根據姿態參數，將第一替換圖像進行仿射變換得到與第二姿態對應的第二替換圖像。例如，結合上述實施例中對原始多邊形區域的變形或者對原始三角形區域的變形，均可以採用本實施例中的仿射變換的方式。
上述與第二姿態對應的第二替換圖像可包含：包含的目標部位所處姿態為第二姿態的第二替換圖像，或者，包含的目標部位所處姿態與第二姿態的姿態差異度小於預設值的第二替換圖像。通過仿射變換中的線性變化操作和/或平移操作，使得第一替換圖像轉換為適配於第二姿態的第二替換圖像。
示例性的，將第一姿態的姿態參數和第二姿態的姿態參數作為已知量，進行仿射變換的變換矩陣的擬合；擬合得到變換矩陣後，利用該變換矩陣對第一替換圖像中的各圖元點的位置進行變換處理，得到適配於第二姿態的第二替換圖像。當然此處僅是仿射變換的一種舉例，具體實現不局限於此。此處，如前述實施例，第一姿態的姿態參數和第二姿態的姿態參數可以由目標部位的關鍵點的座標來體現。
在本申請的一些可選實施例中，目標部位包括：腹部，但本申請實施例不限於腹部。
在本申請的一些可選實施例中，確定第一圖像中處於第二姿態的目標部位的姿態參數，包括：獲取腹部的至少三類關鍵點，其中，至少三類關鍵點包括：至少兩個第一邊緣關鍵點、至少兩個第二邊緣關鍵點及至少兩個中軸線關鍵點，其中，上述至少兩個第一邊緣關鍵點和至少兩個第二邊緣關鍵點，分佈在任意一個上述中軸線關鍵點的兩側；至少三類關鍵點的位置用於表徵目標部位的姿態參數。示例性的，第一邊緣關鍵點和第二邊緣關鍵點都可為2個；中軸線關鍵點可為3個或4個，當然，本實施例中第一邊緣關鍵點、第二邊緣關鍵點和中軸線關鍵點的數量不限於上述示例。
在一些可選實施例中，中軸線關鍵點可根據第一邊緣關鍵點和第二邊緣關鍵點確定。在另一些實施例中，中軸線關鍵點可利用具有骨架關鍵點檢測能力的模型獲得目標部位骨架的中軸線上的關鍵點。例如，以目標部位為腹部為例，通過檢測盆骨中心點的關鍵點，可以得到腹部的中軸線關鍵點。本申請實施例中，第一邊緣關鍵點和第二邊緣關鍵點都可以簡稱為邊緣關鍵點。
在本申請的一些可選實施例中，上述S130中，根據姿態參數，將第一替換圖像變換為與第二姿態對應的第二替換圖像的方式，可以參照圖3所示，S130可以包括： S121：根據至少三類關鍵點中任意相鄰三個關鍵點所形成的三角形區域，得到目標三角形區域； S122：根據從第一替換圖像中獲取的多個第一關鍵點的座標，得到由多個第一關鍵點中任意相鄰三個第一關鍵點圍成的原始三角形區域，其中，第一關鍵點與至少三類關鍵點均為目標部位的關鍵點； S123：根據原始三角形區域與目標三角形區域之間的映射關係，將第一替換圖像變換為第二替換圖像。
在本實施例中，通過確定原始三角形區域和目標三角形區域之間的映射關係，再根據圖像中圖元點與三角形區域的變化之間的關聯關係，可以將第一替換圖像變換為第二替換圖像，從而得到與第二姿態對應的第二替換圖像。
如圖4所示，由任意相鄰三個第一關鍵點圍成的原始三角形區域中，原始三角形區域的頂點至少包括中軸線關鍵點和至少一個邊緣關鍵點。在一些示例中，任意連接前述三類關鍵點中相鄰分佈的任意三個關鍵點都可以得到一個原始三角形區域。在另一些示例中，連接至少兩類關鍵點中的三個關鍵點得到一個原始三角形區域，此時，一個原始三角形區域的三個頂點所對應的關鍵點為上述三類關鍵點中的至少兩類。例如，圖4的原始三角形區域中左側的邊緣關鍵點為第一邊緣關鍵點，右側的邊緣關鍵點為第二邊緣關鍵點；中心的關鍵點為中軸線關鍵點。
通過對原始三角形區域進行仿射變換，可以改變原始三角形區域的邊長和形狀，得到圖4所示的目標三角形區域。
通過對原始三角形區域的仿射變換，可以使得目標部位的邊緣部位和中間部位的變形量不會差異過大，從而使得邊緣部位和中間部位的變形具有連續性，從而提升變形效果。
以下結合上述任意實施例提供一個具體示例。
本示例可應用在對人體圖像中的腹部進行變形的場景下。使用者可以在終端設備中上傳待處理的人體圖像作為第一圖像，並選擇人體圖像中的腹部作為目標部位。進一步地，終端設備中可提供帶有腹部變形效果的多款貼紙圖像，比如八塊腹肌效果的貼紙圖像、四塊腹肌效果的貼紙圖像等。
使用者可從多款貼紙圖像中選擇目標貼紙圖像，例如八塊腹肌效果的貼紙圖像，作為第一替換圖像。
在利用目標貼紙圖像對人體圖像中的腹部進行變形過程中，考慮到目標貼紙圖像的姿態可能處於第一姿態，而人體圖像中腹部實際處於第二姿態，如果直接將目標貼紙圖像進行貼合，可能導致最終的腹部變形效果與實際的第二姿態不匹配，變形效果差。
基於此，本申請實施例中可以首先識別人體圖像中的腹部的關鍵點，得到腹部的關鍵點的座標，具體得到腹部輪廓的關鍵點的座標，如此基於腹部的關鍵點的座標能夠確定人體圖像中腹部的姿態參數。
進一步地，可以根據腹部的姿態參數，將目標貼紙圖像變換為與第二姿態對應的貼紙圖像（即第二替換圖像）。這一變換過程可以採用多邊形仿射變換的方式來實現，具體仿射變換過程可參照上述實施例。參照圖5所示，圖5右側為第一姿態的目標貼紙圖像，圖5左側為變換後的第二姿態對應的貼紙圖像。
最後，可以將第二姿態對應的貼紙圖像融合到第一圖像的目標部位所在區域，得到期望變形效果的人體圖像，即第二圖像。
如此，經過融合處理後得到的第二圖像，減少了第一替換圖像和第一圖像中的目標部位的姿態相差很大導致的變形效果差的現象，提升了第一圖像中目標部位的變形效果。
如圖6所示，本申請實施例還提供一種圖像處理裝置，裝置包括： 獲取模組110，配置為獲取處於第一姿態的目標部位的第一替換圖像； 第一確定模組120，配置為確定第一圖像中目標物件處於第二姿態的目標部位的姿態參數； 變換模組130，配置為根據上述姿態參數，將上述第一替換圖像變換為與上述第二姿態對應的第二替換圖像； 生成模組140，配置為將上述第二替換圖像，融合到第一圖像中的上述目標部位得到第二圖像。
在一些實施例中，上述獲取模組110、第一確定模組120、變換模組130及生成模組140均為程式模組，上述程式模組被處理器執行後，能夠實現上述任意模組的功能。
在另一些實施例中，上述獲取模組110、第一確定模組120、變換模組130及生成模組140均為軟硬結合模組，上述軟硬結合模組包括但不限於可程式設計陣列；上述可程式設計陣列包括但不限於：現場可程式設計陣列和複雜可程式設計陣列。
在又一些實施例中，上述獲取模組110、第一確定模組120、變換模組130及生成模組140均為純硬體模組；上述純硬體模組包括但不限於專用積體電路。
在一些實施例中，上述變換模組130，配置為獲取第一替換圖像中的目標部位的多個第一關鍵點的座標；基於多個第一關鍵點的座標，從第一替換圖像中確定出由多個第一關鍵點中任意一組第一關鍵點圍成的至少一個原始多邊形區域；基於上述姿態參數，對至少一個原始多邊形區域進行變形，得到變形後的第二替換圖像。
在一些實施例中，上述第一確定模組120，配置為對第一圖像的目標部位進行關鍵點檢測，得到目標部位的多個關鍵點的座標；根據目標部位的多個關鍵點的座標，確定目標部位的姿態參數。
在一些實施例中，上述目標部位包括：腹部；上述第一確定模組120，配置為獲取第一圖像中腹部的至少三類關鍵點，其中，至少三類關鍵點包括：至少兩個第一邊緣關鍵點、至少兩個第二邊緣關鍵點及至少兩個中軸線關鍵點，其中，至少兩個第一邊緣關鍵點和至少兩個第二邊緣關鍵點分別分佈在任意一個中軸線關鍵點的兩側，其中，上述至少三類關鍵點的位置，用於表徵目標部位的姿態參數。
在一些實施例中，上述變換模組130，配置為根據上述至少三類關鍵點中任意相鄰三個關鍵點所形成的三角形區域，得到目標三角形區域；根據從第一替換圖像中獲取的多個第一關鍵點的座標，得到由多個第一關鍵點中任意相鄰三個第一關鍵點圍成的原始三角形區域，其中，第一關鍵點與至少三類關鍵點均為目標部位的關鍵點；根據原始三角形區域與目標三角形區域之間的映射關係，將第一替換圖像變換為第二替換圖像。
在一些實施例中，上述裝置還包括：第二確定模組，配置為根據姿態參數，確定目標部位在第一圖像中的目標區域； 上述生成模組140，配置為將第二替換圖像融合到第一圖像中的目標區域，得到第二圖像。
如圖7所示，本申請實施例還提供了一種圖像設備，包括： 記憶體，用於儲存電腦可執行指令； 處理器，分別與顯示器及所述記憶體連接，用於通過執行儲存在所述記憶體上的電腦可執行指令，能夠實現前述一個或多個技術方案提供的圖像處理方法，例如，如圖1和/或圖4所示的圖像處理方法。
該記憶體可為各種類型的記憶體，可為隨機記憶體、唯讀記憶體、快閃記憶體等。所述記憶體可用於資訊儲存，例如，儲存電腦可執行指令等。所述電腦可執行指令可為各種程式指令，例如，目的程式指令和/或來源程式指令等。
所述處理器可為各種類型的處理器，例如，中央處理器、微處理器、數位訊號處理器、可程式設計陣列、數位訊號處理器、專用積體電路或圖像處理器等。
所述處理器可以通過匯流排與所述記憶體連接。所述匯流排可為積體電路匯流排等。
在一些實施例中，所述終端設備還可包括：通信介面，該通信介面可包括：網路介面；網路介面例如可包括局域網介面、收發天線等。所述通信介面同樣與所述處理器連接，能夠用於資訊收發。
在一些實施例中，所述終端設備還包括人機交互介面，例如，所述人機交互介面可包括各種輸入輸出設備，例如，鍵盤、觸控式螢幕等。
在一些實施例中，所述圖像設備還包括：顯示器，該顯示器可以顯示各種提示資訊、採集的人臉圖像、各種介面等等。
本申請實施例還提供了一種電腦儲存介質，所述電腦儲存介質儲存有電腦可執行代碼；所述電腦可執行代碼被執行後，能夠實現前述一個或多個技術方案提供的圖像處理方法，例如如圖1和/或圖4所示的圖像處理方法。
在本申請所提供的幾個實施例中，應該理解到，所揭露的設備和方法，可以通過其它的方式實現。以上所描述的設備實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，如：多個單元或元件可以結合，或可以集成到另一個系統，或一些特徵可以忽略，或不執行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些介面，設備或單元的間接耦合或通信連接，可以是電性的、機械的或其它形式的。
上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可以不是物理單元，即可以位於一個地方，也可以分佈到多個網路單元上；可以根據實際的需要選擇其中的部分或全部單元來實現本實施例方案的目的。
另外，在本申請各實施例中的各功能單元可以全部集成在一個處理模組中，也可以是各單元分別單獨作為一個單元，也可以兩個或兩個以上單元集成在一個單元中；上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能單元的形式實現。
本申請任意實施例公開的技術特徵，在不衝突的情況下，可以任意組合形成新的方法實施例或設備實施例。
本申請任意實施例公開的方法實施例，在不衝突的情況下，可以任意組合形成新的方法實施例。
本申請任意實施例公開的設備實施例，在不衝突的情況下，可以任意組合形成新的設備實施例。
本領域普通技術人員可以理解：實現上述方法實施例的全部或部分步驟可以通過程式指令相關的硬體來完成，前述的程式可以儲存於一電腦可讀取儲存介質中，該程式在執行時，執行包括上述方法實施例的步驟；而前述的儲存介質包括：移動存放裝置、唯讀記憶體（ROM，Read-Only Memory）、隨機存取記憶體（RAM，Random Access Memory）、磁碟或者光碟等各種可以儲存程式碼的介質。
以上所述，僅為本申請的具體實施方式，但本申請的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本申請揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本申請的保護範圍之內。因此，本申請的保護範圍應以所述申請專利範圍的保護範圍為準。
110:獲取模組 120:第一確定模組 130:變換模組 140:生成模組
圖1為本申請實施例提供的一種圖像處理方法的流程示意圖； 圖2為本申請實施例提供的一種人體輪廓關鍵點的示意圖； 圖3為本申請實施例提供的一種生成第二替換圖像的流程示意圖； 圖4為本申請實施例提供的一種原始三角形區域變換為目標三角形區域的示意圖； 圖5為本申請實施例提供的以腹部為目標部位進行變形的比對示意圖； 圖6為本申請實施例提供的一種圖像處理裝置的結構示意圖； 圖7為本申請實施例提供的一種圖像設備的結構示意圖。
S110:步驟
S120:步驟
S130:步驟
S140:步驟

Claims (8)

  1. 一種圖像處理方法，包括：獲取處於第一姿態的目標部位的第一替換圖像；確定第一圖像中處於第二姿態的目標部位的姿態參數；其中，所述第一姿態和所述第二姿態用來描述所述目標部位當前所處的姿勢狀態；根據所述姿態參數，將所述第一替換圖像變換為與所述第二姿態對應的第二替換圖像；將所述第二替換圖像融合到第一圖像中的所述目標部位，得到第二圖像。
  2. 根據請求項1所述的方法，其中，所述根據所述姿態參數，將所述第一替換圖像變換為與所述第二姿態對應的第二替換圖像，包括：獲取所述第一替換圖像中的所述目標部位的多個第一關鍵點的座標；基於所述多個第一關鍵點的座標，從所述第一替換圖像中確定出由所述多個第一關鍵點中任意一組第一關鍵點圍成的至少一個原始多邊形區域；基於所述姿態參數，對所述至少一個原始多邊形區域進行變形，得到變形後的所述第二替換圖像。
  3. 根據請求項1或2所述的方法，其中，所述確定第一圖像中處於第二姿態的目標部位的姿態參數，包括：對所述第一圖像的所述目標部位進行關鍵點檢測，得到 所述目標部位的多個關鍵點的座標；根據所述目標部位的多個關鍵點的座標，確定所述目標部位的所述姿態參數。
  4. 根據請求項1或2所述的方法，其中，所述目標部位包括：腹部；所述確定第一圖像中處於第二姿態的目標部位的姿態參數，包括：獲取所述第一圖像中腹部的至少三類關鍵點的座標，其中，所述至少三類關鍵點包括：至少兩個第一邊緣關鍵點、至少兩個第二邊緣關鍵點及至少兩個中軸線關鍵點，其中，所述至少兩個第一邊緣關鍵點和所述至少兩個第二邊緣關鍵點分別分佈在任意一個所述中軸線關鍵點的兩側，其中，所述至少三類關鍵點的位置用於表徵所述目標部位的所述姿態參數。
  5. 根據請求項4所述的方法，其中，所述根據所述姿態參數，將所述第一替換圖像變換為與所述第二姿態對應的第二替換圖像，包括：根據所述至少三類關鍵點中任意相鄰三個關鍵點所形成的三角形區域，得到目標三角形區域；根據從所述第一替換圖像中獲取的多個第一關鍵點的座標，得到由所述多個第一關鍵點中任意相鄰三個第一關鍵點圍成的原始三角形區域，其中，所述第一關鍵點與所述至少三類關鍵點均為所述目標部位的關鍵點；根據所述原始三角形區域與所述目標三角形區域之間的 映射關係，將所述第一替換圖像變換為所述第二替換圖像。
  6. 根據請求項1或2所述的方法，所述方法還包括：根據所述姿態參數，確定所述目標部位在所述第一圖像中的目標區域；所述將所述第二替換圖像融合到第一圖像中的所述目標部位，得到第二圖像，包括：將所述第二替換圖像融合到所述第一圖像中的所述目標區域，得到所述第二圖像。
  7. 一種圖像處理設備，包括：記憶體；處理器，與所述記憶體連接，用於通過執行儲存在所述記憶體上的電腦可執行指令實現請求項1至6任一項提供的方法。
  8. 一種用於圖像處理的電腦儲存介質，所述電腦儲存介質儲存有電腦可執行指令；所述電腦可執行指令被處理器執行後，能夠實現請求項1至6任一項提供的方法。
TW109121222A 2019-11-29 2020-06-22 圖像處理方法、圖像處理設備及儲存介質 TWI755768B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911205289.X 2019-11-29
CN201911205289.XA CN110930298A (zh) 2019-11-29 2019-11-29 图像处理方法及装置、图像处理设备及存储介质

Publications (2)

Publication Number Publication Date
TW202121337A TW202121337A (zh) 2021-06-01
TWI755768B true TWI755768B (zh) 2022-02-21

Family

ID=69847996

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109121222A TWI755768B (zh) 2019-11-29 2020-06-22 圖像處理方法、圖像處理設備及儲存介質

Country Status (7)

Country Link
US (1) US20210241509A1 (zh)
JP (1) JP7162084B2 (zh)
KR (1) KR20210068328A (zh)
CN (1) CN110930298A (zh)
SG (1) SG11202104070YA (zh)
TW (1) TWI755768B (zh)
WO (1) WO2021103470A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930298A (zh) * 2019-11-29 2020-03-27 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
CN111709874B (zh) * 2020-06-16 2023-09-08 北京百度网讯科技有限公司 图像调整的方法、装置、电子设备及存储介质
CN112788244B (zh) * 2021-02-09 2022-08-09 维沃移动通信（杭州）有限公司 拍摄方法、拍摄装置和电子设备
CN113221840B (zh) * 2021-06-02 2022-07-26 广东工业大学 一种人像视频处理方法
CN113590250B (zh) * 2021-07-29 2024-02-27 网易（杭州）网络有限公司 图像处理方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869153A (zh) * 2016-03-24 2016-08-17 西安交通大学 融合相关块信息的非刚性人脸图像配准方法
CN105898159A (zh) * 2016-05-31 2016-08-24 努比亚技术有限公司 一种图像处理方法及终端
JP6192483B2 (ja) * 2013-10-18 2017-09-06 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
TW201926244A (zh) * 2017-11-29 2019-07-01 國立高雄科技大學 即時視訊畫面拼接方法
US10445910B2 (en) * 2016-05-27 2019-10-15 Yahoo Japan Corporation Generating apparatus, generating method, and non-transitory computer readable storage medium
CN110349195A (zh) * 2019-06-25 2019-10-18 杭州汇萃智能科技有限公司 一种基于深度图像的目标物体3d测量参数获取方法、系统和存储介质
CN110460797A (zh) * 2018-05-07 2019-11-15 苹果公司 创意相机
CN110503703A (zh) * 2019-08-27 2019-11-26 北京百度网讯科技有限公司 用于生成图像的方法和装置
CN110503601A (zh) * 2019-08-28 2019-11-26 上海交通大学 基于对抗网络的人脸生成图片替换方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2670663B2 (ja) * 1994-08-05 1997-10-29 株式会社エイ・ティ・アール通信システム研究所 像の実時間認識合成装置
JPH09305798A (ja) * 1996-05-10 1997-11-28 Oki Electric Ind Co Ltd 画像表示装置
JPH10240908A (ja) * 1997-02-27 1998-09-11 Hitachi Ltd 映像合成方法
US8331697B2 (en) * 2007-11-06 2012-12-11 Jacob Samboursky System and a method for a post production object insertion in media files
JP5463866B2 (ja) * 2009-11-16 2014-04-09 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5620743B2 (ja) * 2010-08-16 2014-11-05 株式会社カプコン 顔画像編集用プログラム、その顔画像編集用プログラムを記録した記録媒体及び顔画像編集システム
EP3382648A4 (en) * 2016-02-16 2019-05-22 Rakuten, Inc. SYSTEM FOR GENERATING A THREE-DIMENSIONAL MODEL, METHOD FOR GENERATING A THREE-DIMENSIONAL MODEL AND PROGRAM
US20180068473A1 (en) * 2016-09-06 2018-03-08 Apple Inc. Image fusion techniques
US10572720B2 (en) * 2017-03-01 2020-02-25 Sony Corporation Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data
CN107507217B (zh) * 2017-08-17 2020-10-16 北京觅己科技有限公司 证件照的制作方法、装置及存储介质
CN109977847B (zh) * 2019-03-22 2021-07-16 北京市商汤科技开发有限公司 图像生成方法及装置、电子设备和存储介质
CN110189248B (zh) * 2019-05-16 2023-05-02 腾讯科技（深圳）有限公司 图像融合方法及装置、存储介质、电子设备
CN110930298A (zh) * 2019-11-29 2020-03-27 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6192483B2 (ja) * 2013-10-18 2017-09-06 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
CN105869153A (zh) * 2016-03-24 2016-08-17 西安交通大学 融合相关块信息的非刚性人脸图像配准方法
US10445910B2 (en) * 2016-05-27 2019-10-15 Yahoo Japan Corporation Generating apparatus, generating method, and non-transitory computer readable storage medium
CN105898159A (zh) * 2016-05-31 2016-08-24 努比亚技术有限公司 一种图像处理方法及终端
TW201926244A (zh) * 2017-11-29 2019-07-01 國立高雄科技大學 即時視訊畫面拼接方法
CN110460797A (zh) * 2018-05-07 2019-11-15 苹果公司 创意相机
CN110349195A (zh) * 2019-06-25 2019-10-18 杭州汇萃智能科技有限公司 一种基于深度图像的目标物体3d测量参数获取方法、系统和存储介质
CN110503703A (zh) * 2019-08-27 2019-11-26 北京百度网讯科技有限公司 用于生成图像的方法和装置
CN110503601A (zh) * 2019-08-28 2019-11-26 上海交通大学 基于对抗网络的人脸生成图片替换方法及系统

Also Published As

Publication number Publication date
SG11202104070YA (en) 2021-07-29
US20210241509A1 (en) 2021-08-05
CN110930298A (zh) 2020-03-27
WO2021103470A1 (zh) 2021-06-03
JP7162084B2 (ja) 2022-10-27
TW202121337A (zh) 2021-06-01
JP2022515303A (ja) 2022-02-18
KR20210068328A (ko) 2021-06-09

Similar Documents

Publication Publication Date Title
TWI755768B (zh) 圖像處理方法、圖像處理設備及儲存介質
CN107223269B (zh) 三维场景定位方法和装置
KR20220092928A (ko) 포인트 클라우드 라벨링 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품
CN110264509A (zh) 确定图像捕捉设备的位姿的方法、装置及其存储介质
CN113052835B (zh) 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统
WO2023273093A1 (zh) 一种人体三维模型获取方法、装置、智能终端及存储介质
US10726580B2 (en) Method and device for calibration
CN110517214B (zh) 用于生成图像的方法和装置
US20120069018A1 (en) Ar process apparatus, ar process method and storage medium
CN107481082A (zh) 一种虚拟试衣方法及其装置、电子设备及虚拟试衣系统
TWI750710B (zh) 圖像處理方法及裝置、圖像處理設備及儲存媒體
JP2021513175A (ja) データ処理方法及び装置、電子機器並びに記憶媒体
CN114820814A (zh) 摄影机位姿计算方法、装置、设备及存储介质
TW202117384A (zh) 提供滑動變焦效果的方法以及電子裝置
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
WO2024169384A1 (zh) 视线估计方法、装置、可读存储介质及电子设备
CN113470112A (zh) 图像处理方法、装置、存储介质以及终端
CN107958489B (zh) 一种曲面重建方法及装置
CN108696745A (zh) 相机校准
WO2022142908A1 (zh) 三维模型生成方法、xr设备及存储介质
CN113822174B (zh) 视线估计的方法、电子设备及存储介质
CN107767326B (zh) 图像中对象变换处理方法、装置及计算设备
CN110852934A (zh) 图像处理方法及装置、图像设备及存储介质
TW202125402A (zh) 圖像處理方法、圖像處理設備及儲存介質
CN107240149A (zh) 基于图像处理的物体三维模型构建方法