JP2023521208A - 人体画像処理方法および電子機器 - Google Patents
人体画像処理方法および電子機器 Download PDFInfo
- Publication number
- JP2023521208A JP2023521208A JP2022562359A JP2022562359A JP2023521208A JP 2023521208 A JP2023521208 A JP 2023521208A JP 2022562359 A JP2022562359 A JP 2022562359A JP 2022562359 A JP2022562359 A JP 2022562359A JP 2023521208 A JP2023521208 A JP 2023521208A
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- human body
- processed
- body image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 230000007547 defect Effects 0.000 claims abstract description 286
- 238000001914 filtration Methods 0.000 claims abstract description 203
- 238000000034 method Methods 0.000 claims abstract description 120
- 238000012545 processing Methods 0.000 claims description 220
- 230000002950 deficient Effects 0.000 claims description 105
- 230000001815 facial effect Effects 0.000 claims description 103
- 230000004927 fusion Effects 0.000 claims description 87
- 230000008569 process Effects 0.000 claims description 76
- 238000007499 fusion processing Methods 0.000 claims description 32
- 238000013507 mapping Methods 0.000 claims description 26
- 238000002156 mixing Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 27
- 238000005070 sampling Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 12
- 210000000056 organ Anatomy 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 206010039580 Scar Diseases 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 206010000496 acne Diseases 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000037311 normal skin Effects 0.000 description 4
- 208000002874 Acne Vulgaris Diseases 0.000 description 3
- 208000034656 Contusions Diseases 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000036548 skin texture Effects 0.000 description 3
- 230000003796 beauty Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000010348 incorporation Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
本開示は、2020年06月16日に中国特許庁に提出された出願番号202010547139.3、発明名称「人体画像処理方法、人体画像処理装置、電子機器および記憶媒体」の中国特許出願の優先権を主張し、その全ての内容は参照により本開示に援用する。
処理すべき人体画像における初期候補領域を確定し、前記処理すべき人体画像に対して第1フィルタリング処理を行うことにより、第1フィルタリング画像を得て、前記第1フィルタリング画像における前記初期候補領域に対応する第1フィルタリング候補領域を確定し、ここで、前記初期候補領域は、指定領域を含まない皮膚領域であり、前記指定領域は、処理を必要としない予め設定された領域であることと、
前記初期候補領域と第1フィルタリング候補領域において各対応する画素点間の階調値の差に基づいて、前記処理すべき人体画像における初期候補領域を瑕疵皮膚領域と非瑕疵皮膚領域に区分することと、
前記瑕疵皮膚領域と前記非瑕疵皮膚領域内の各画素点の第1融合係数を確定し、前記第1融合係数に基づいて、前記瑕疵領域および前記非瑕疵領域のそれぞれを、前記第1フィルタリング候補領域において対応する領域と線形融合処理し、処理後の前記瑕疵領域と前記非瑕疵領域とを統合した後に前記処理すべき人体画像における中間候補領域とすることと、
前記初期候補領域と前記中間候補領域において各対応する画素点間の階調値の差に基づいて、前記中間候補領域に対して線形光重合処理を行うことにより、ターゲット候補領域を取得し、前記ターゲット候補領域を含む前記処理すべき人体画像をターゲット画像として出力することと、を含む、人体画像処理方法に関する。
処理すべき人体画像における初期候補領域を確定し、前記処理すべき人体画像に対して第1フィルタリング処理を行うことにより、第1フィルタリング画像を得て、前記第1フィルタリング画像における前記初期候補領域に対応する第1フィルタリング候補領域を確定するために使用され、ここで、前記初期候補領域は、指定領域を含まない皮膚領域であり、前記指定領域は、処理を必要としない予め設定された領域である確定ユニットと、
前記初期候補領域と第1フィルタリング候補領域において各対応する画素点間の階調値の差に基づいて、前記処理すべき人体画像における初期候補領域を瑕疵皮膚領域と非瑕疵皮膚領域に区分するために使用される区分ユニットと、
前記瑕疵皮膚領域および前記非瑕疵皮膚領域における各画素点に対して設定された第1融合係数に基づいて、前記瑕疵領域および前記非瑕疵領域のそれぞれを、前記第1フィルタリング候補領域において対応する領域と線形融合処理し、処理後の前記瑕疵領域と前記非瑕疵領域とを統合した後に前記処理すべき人体画像における中間候補領域とするために使用される処理ユニットと、
前記初期候補領域と前記中間候補領域において各対応する画素点間の階調値の差に基づいて、前記中間候補領域に対して線形光重合処理を行うことにより、ターゲット候補領域を取得し、前記ターゲット候補領域を含む前記処理すべき人体画像をターゲット画像として出力するために使用される出力ユニットと、を含む、人体画像処理装置に関する。
実行可能な命令を記憶するためのメモリと、
メモリに記憶された実行可能な命令を読み出して実行することにより、上記第1側面のいずれかに記載の人体画像処理方法を実現するプロセッサと、を含む、電子機器に関する。
DiffImage2=FlawImage1'-InputImage+d。
確定ユニット801は、処理すべき人体画像における初期候補領域を確定し、前記処理すべき人体画像に対して第1フィルタリング処理を行うことにより、第1フィルタリング画像を得て、前記第1フィルタリング画像における前記初期候補領域に対応する第1フィルタリング候補領域を確定するために使用され、ここで、前記初期候補領域は、指定領域を含まない皮膚領域であり、前記指定領域は、処理を必要としない予め設定された領域である。
肌色検出技術を採用して、前記処理すべき人体画像に対応する第1マスク画像を取得し、予め配置された標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第2マスク画像を得るために使用され、ここで、前記標準マスク画像における異なる領域の画素点は、異なる階調値に設定され、異なる階調値は、予め設定された異なる処理係数を特徴づけ、
第1種の画素点として、前記第1マスク画像における階調値が予め設定された第1階調閾値より低い画素点を選別し、第2種の画素点として、前記第2マスク画像における階調値が予め設定された第2階調閾値より高い画素点を選別し、
前記第1種の画素点の前記処理すべき人体画像における対応する領域を第1指定領域とし、前記第2種の画素点の前記処理すべき人体画像における対応する領域を第2指定領域とし、
前記処理すべき人体画像において前記第1指定領域および前記第2指定領域を含まない他の領域を初期候補領域として設定するために使用される。
予め設定された顔特徴点識別モデルを用いて、前記処理すべき人体画像における候補顔特徴点を識別し、
予め配置された標準顔特徴点画像および標準マスク画像を取得し、前記候補顔特徴点と前記標準顔特徴点との対応関係に基づいて、前記標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第2マスク画像を得る、ために使用される。
前記処理すべき人体画像を指定された倍数でサブサンプリング処理するために使用され、
前記処理すべき人体画像に対して第1フィルタリング処理を行うことにより、第1フィルタリング画像を得ることの後、前記瑕疵皮膚領域および前記瑕疵皮膚領域における各画素点に対して設定された第1融合係数に基づいて、前記瑕疵領域および前記非瑕疵領域のそれぞれを、前記第1フィルタリング候補領域において対応する領域と線形融合処理する前に、
得られた第1フィルタリング画像を前記指定された倍数でアップサンプリング処理することをさらに含む。
前記初期候補領域における各画素点に対応して予め設定された処理係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵領域における各画素点の第1融合係数をそれぞれ確定するために使用される。
前記瑕疵皮膚領域および前記非瑕疵皮膚領域において、前記第1フィルタリング候補領域内の相対位置と同じである2つの画素点を1組の画素点とするために使用され、ここで、前記第1フィルタリング候補領域において前記瑕疵皮膚領域内の相対位置と同じである1組の画素点に対応する配置パラメータは、前記第1フィルタリング領域において前記非瑕疵皮膚領域内の相対位置と同じである1組の画素点に対応する配置パラメータと異なり、前記配置パラメータは、瑕疵皮膚領域および非瑕疵皮膚領域に対する処理の程度を特徴づけ、
画素点の組ごとに、以下の動作をそれぞれ実行し、即ち、
1組の画素点間のユークリッド距離を計算し、前記ユークリッド距離、前記1組の画素点の前記第1マスク画像における対応する画素点の階調値、前記1組の画素点の前記第2マスク画像における対応する処理係数、および予め設定された配置パラメータに基づいて、前記1組の画素点に対応する第1融合係数を確定し、
前記第1融合係数に基づいて、前記1組の画素点を1つの画素点に融合する。
前記第1マスク画像において前記ターゲット候補領域を含む前記処理すべき人体画像に対応する各画素点の階調値に基づいて、対応する第2融合係数を確定し、前記第2融合係数に基づいて前記第2フィルタリング画像を前記ターゲット候補領域を含む前記処理すべき人体画像と線形融合処理することにより、処理後の前記処理すべき人体画像を取得しターゲット画像として出力するために使用される。
801 確定ユニット
802 区分ユニット
803 処理ユニット
804 出力ユニット
900 人体画像処理装置
922 処理コンポーネント
926 電源コンポーネント
932 メモリ
950 ネットワークインターフェース
958 入出力インターフェース
本開示は、2020年06月16日に中国特許庁に提出された出願番号202010547139.3、発明名称「人体画像処理方法、人体画像処理装置、電子機器および記憶媒体」の中国特許出願の優先権を主張し、その全ての内容は参照により本開示に援用する。
処理すべき人体画像における初期候補領域を確定し、前記処理すべき人体画像に対して第1フィルタリング処理を行うことにより、第1フィルタリング画像を得て、前記第1フィルタリング画像における前記初期候補領域に対応する第1フィルタリング候補領域を確定し、ここで、前記初期候補領域は、指定領域を含まない皮膚領域であり、前記指定領域は、処理を必要としない予め設定された領域であることと、
前記初期候補領域と第1フィルタリング候補領域において各対応する画素点間の階調値の差に基づいて、前記処理すべき人体画像における初期候補領域を瑕疵皮膚領域と非瑕疵皮膚領域に区分することと、
前記瑕疵皮膚領域と前記非瑕疵皮膚領域内の各画素点の第1融合係数を確定し、前記第1融合係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵皮膚領域のそれぞれを、前記第1フィルタリング候補領域において対応する領域と線形融合処理し、処理後の前記瑕疵領域と前記非瑕疵領域とを統合した後に前記処理すべき人体画像における中間候補領域とすることと、
前記初期候補領域と前記中間候補領域において各対応する画素点間の階調値の差に基づいて、前記中間候補領域に対して線形光重合処理を行うことにより、ターゲット候補領域を取得し、前記ターゲット候補領域を含む前記処理すべき人体画像をターゲット画像として出力することと、を含む、人体画像処理方法に関する。
実行可能な命令を記憶するためのメモリと、
メモリに記憶された実行可能な命令を読み出して実行することにより、上記人体画像処理方法を実現するプロセッサと、を含む、電子機器に関する。
DiffImage2=FlawImage1'-InputImage+d。
確定ユニット801は、処理すべき人体画像における初期候補領域を確定し、前記処理すべき人体画像に対してフィルタリングすることにより、第1フィルタリング画像を得て、前記第1フィルタリング画像における前記初期候補領域と同じ位置の第1フィルタリング候補領域を確定するように構成され、ここで、前記初期候補領域は、指定領域を含まない皮膚領域であり、前記指定領域は、処理を必要としない予め設定された領域である。
肌色検出技術を採用して、処理すべき人体画像に対して肌色検出を行うことにより、前記処理すべき人体画像に対応する第1マスク画像を取得し、予め配置された標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第2マスク画像を得るために使用され、ここで、前記標準マスク画像における異なる領域の画素点は、異なる階調値に設定され、異なる階調値は、予め設定された異なる処理係数を特徴づけ、
第1種の画素点として、前記第1マスク画像における階調値が予め設定された第1階調閾値より低い画素点を選別し、第2種の画素点として、前記第2マスク画像における階調値が予め設定された第2階調閾値より高い画素点を選別し、
前記第1種の画素点の前記処理すべき人体画像における対応する領域を第1指定領域とし、前記第2種の画素点の前記処理すべき人体画像における対応する領域を第2指定領域とし、
前記処理すべき人体画像において前記第1指定領域および前記第2指定領域を含まない他の領域を初期候補領域として設定する、ように構成される。
予め設定された顔特徴点識別モデルを用いて、前記処理すべき人体画像における候補顔特徴点を識別し、
予め配置された標準顔特徴点画像および標準マスク画像を取得し、前記候補顔特徴点と前記標準顔特徴点画像における標準顔特徴点とのマッピング関係に基づいて、前記標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第2マスク画像を得る、ように構成される。
得られた第1フィルタリング画像を前記指定された倍数でアップサンプリングする、ように構成される。
前記初期候補領域における各画素点に対して予め設定された処理係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵領域における各画素点の第1融合係数をそれぞれ確定するように構成される。
前記瑕疵皮膚領域および前記非瑕疵皮膚領域において、前記第1フィルタリング候補領域内の相対位置と同じである2つの画素点を1組の画素点とするように構成され、ここで、前記第1フィルタリング候補領域において前記瑕疵皮膚領域内の相対位置と同じである1組の画素点に対応する配置パラメータは、前記第1フィルタリング候補領域において前記非瑕疵皮膚領域内の相対位置と同じである1組の画素点に対応する配置パラメータと異なり、前記配置パラメータは、瑕疵皮膚領域および非瑕疵皮膚領域に対する処理の程度を特徴づけ、
画素点の組ごとに、以下の動作をそれぞれ実行し、即ち、
1組の画素点間のユークリッド距離を計算し、前記ユークリッド距離、前記1組の画素点の前記第1マスク画像における対応する画素点の階調値、前記1組の画素点の前記第2マスク画像における対応する処理係数、および予め設定された配置パラメータに基づいて、前記1組の画素点に対応する第1融合係数を確定し、前記第1マスク画像は、前記人体画像に対して肌色検出を行うことにより得られ、前記第2マスク画像は、標準マスク画像をツイストマッピングすることにより得られ、
前記第1融合係数に基づいて、前記1組の画素点を1つの画素点に融合する。
前記第1マスク画像において前記ターゲット候補領域を含む前記処理すべき人体画像に対応する各画素点の階調値に基づいて、各画素点の第2融合係数を確定し、前記第2融合係数に基づいて前記第2フィルタリング画像を前記ターゲット候補領域を含む前記処理すべき人体画像と線形融合することにより、処理後の前記処理すべき人体画像を取得しターゲット画像として出力するように構成される。
801 確定ユニット
802 区分ユニット
803 処理ユニット
804 出力ユニット
900 人体画像処理装置
922 処理コンポーネント
926 電源コンポーネント
932 メモリ
950 ネットワークインターフェース
958 入出力インターフェース
Claims (22)
- 処理すべき人体画像における初期候補領域を確定し、前記処理すべき人体画像に対して第1フィルタリング処理を行うことにより、第1フィルタリング画像を得て、前記第1フィルタリング画像における前記初期候補領域に対応する第1フィルタリング候補領域を確定し、ここで、前記初期候補領域は、指定領域を含まない皮膚領域であり、前記指定領域は、処理を必要としない予め設定された領域であることと、
前記初期候補領域と第1フィルタリング候補領域において各対応する画素点間の階調値の差に基づいて、前記処理すべき人体画像における初期候補領域を瑕疵皮膚領域と非瑕疵皮膚領域に区分することと、
前記瑕疵皮膚領域と前記非瑕疵皮膚領域内の各画素点の第1融合係数を確定し、前記第1融合係数に基づいて、前記瑕疵領域および前記非瑕疵領域のそれぞれを、前記第1フィルタリング候補領域において対応する領域と線形融合処理し、処理後の前記瑕疵領域と前記非瑕疵領域とを統合した後に前記処理すべき人体画像における中間候補領域とすることと、
前記初期候補領域と前記中間候補領域において各対応する画素点間の階調値の差に基づいて、前記中間候補領域に対して線形光重合処理を行うことにより、ターゲット候補領域を取得し、前記ターゲット候補領域を含む前記処理すべき人体画像をターゲット画像として出力することと、を含む、
人体画像処理方法。 - 前記処理すべき人体画像における初期候補領域を確定することは、
肌色検出技術を採用して、前記処理すべき人体画像に対応する第1マスク画像を取得し、予め配置された標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第2マスク画像を得て、ここで、前記標準マスク画像における異なる領域の画素点は、異なる階調値に設定され、異なる階調値は、予め設定された異なる処理係数を特徴づけることと、
第1種の画素点として、前記第1マスク画像における階調値が予め設定された第1階調閾値より低い画素点を選別し、第2種の画素点として、前記第2マスク画像における階調値が予め設定された第2階調閾値より高い画素点を選別することと、
前記第1種の画素点の前記処理すべき人体画像における対応する領域を第1指定領域とし、前記第2種の画素点の前記処理すべき人体画像における対応する領域を第2指定領域とすることと、
前記処理すべき人体画像において前記第1指定領域および前記第2指定領域を含まない他の領域を初期候補領域として設定することと、を含む、
請求項1に記載の方法。 - 前記予め配置された標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第2マスク画像を得ることは、
予め設定された顔特徴点識別モデルを用いて、前記処理すべき人体画像における候補顔特徴点を識別することと、
予め配置された標準顔特徴点画像および標準マスク画像を取得し、前記候補顔特徴点と前記標準顔特徴点との対応関係に基づいて、前記標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第2マスク画像を得ることと、を含む、
請求項2に記載の方法。 - 前記処理すべき人体画像に対して第1フィルタリング処理を行うことにより、第1フィルタリング画像を得ることの前に、
前記処理すべき人体画像を指定された倍数でサブサンプリング処理することを含み、
前記処理すべき人体画像に対して第1フィルタリング処理を行うことにより、第1フィルタリング画像を得ることの後、前記瑕疵皮膚領域および前記瑕疵皮膚領域における各画素点に対して設定された第1融合係数に基づいて、前記瑕疵領域および前記非瑕疵領域のそれぞれを、前記第1フィルタリング候補領域において対応する領域と線形融合処理する前に、
得られた第1フィルタリング画像を前記指定された倍数でアップサンプリング処理することをさらに含む、
請求項1から3のいずれか1項に記載の方法。 - 前記瑕疵皮膚領域と前記非瑕疵皮膚領域内の各画素点の第1融合係数を確定することは、
前記初期候補領域における各画素点に対応して予め設定された処理係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵領域における各画素点の第1融合係数をそれぞれ確定することを含む、
請求項1から3のいずれか1項に記載の方法。 - 前記第1融合係数に基づいて、前記瑕疵領域および前記非瑕疵領域のそれぞれを、前記第1フィルタリング候補領域において対応する領域と線形融合処理することは、
前記瑕疵皮膚領域および前記非瑕疵皮膚領域において、前記第1フィルタリング候補領域内の相対位置と同じである2つの画素点を1組の画素点とし、ここで、前記第1フィルタリング候補領域において前記瑕疵皮膚領域内の相対位置と同じである1組の画素点に対応する配置パラメータは、前記第1フィルタリング領域において前記非瑕疵皮膚領域内の相対位置と同じである1組の画素点に対応する配置パラメータと異なり、前記配置パラメータは、瑕疵皮膚領域および非瑕疵皮膚領域に対する処理の程度を特徴づけることを含み、
画素点の組ごとに、以下の動作をそれぞれ実行し、即ち、
1組の画素点間のユークリッド距離を計算し、前記ユークリッド距離、前記1組の画素点の前記第1マスク画像における対応する画素点の階調値、前記1組の画素点の前記第2マスク画像における対応する処理係数、および予め設定された配置パラメータに基づいて、前記1組の画素点に対応する第1融合係数を確定し、
前記第1融合係数に基づいて、前記1組の画素点を1つの画素点に融合する、
請求項1から3のいずれか1項に記載の方法。 - 前記ターゲット候補領域を取得することの後、
前記第1マスク画像において前記ターゲット候補領域を含む前記処理すべき人体画像に対応する各画素点の階調値に基づいて、対応する第2融合係数を確定し、前記第2融合係数に基づいて前記第2フィルタリング画像を前記ターゲット候補領域を含む前記処理すべき人体画像と線形融合処理することにより、処理後の前記処理すべき人体画像を取得しターゲット画像として出力することをさらに含む、
請求項6に記載の方法。 - 処理すべき人体画像における初期候補領域を確定し、前記処理すべき人体画像に対して第1フィルタリング処理を行うことにより、第1フィルタリング画像を得て、前記第1フィルタリング画像における前記初期候補領域に対応する第1フィルタリング候補領域を確定するために使用され、ここで、前記初期候補領域は、指定領域を含まない皮膚領域であり、前記指定領域は、処理を必要としない予め設定された領域である確定ユニットと、
前記初期候補領域と第1フィルタリング候補領域において各対応する画素点間の階調値の差に基づいて、前記処理すべき人体画像における初期候補領域を瑕疵皮膚領域と非瑕疵皮膚領域に区分するために使用される区分ユニットと、
前記瑕疵皮膚領域および前記非瑕疵皮膚領域における各画素点に対して設定された第1融合係数に基づいて、前記瑕疵領域および前記非瑕疵領域のそれぞれを、前記第1フィルタリング候補領域において対応する領域と線形融合処理し、処理後の前記瑕疵領域と前記非瑕疵領域とを統合した後に前記処理すべき人体画像における中間候補領域とするために使用される処理ユニットと、
前記初期候補領域と前記中間候補領域において各対応する画素点間の階調値の差に基づいて、前記中間候補領域に対して線形光重合処理を行うことにより、ターゲット候補領域を取得し、前記ターゲット候補領域を含む前記処理すべき人体画像をターゲット画像として出力するために使用される出力ユニットと、を含む、
人体画像処理装置。 - 処理すべき人体画像における初期候補領域を確定する場合、前記確定ユニットは、
肌色検出技術を採用して、前記処理すべき人体画像に対応する第1マスク画像を取得し、予め配置された標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第2マスク画像を得て、ここで、前記標準マスク画像における異なる領域の画素点は、異なる階調値に設定され、異なる階調値は、予め設定された異なる処理係数を特徴づけ、
第1種の画素点として、前記第1マスク画像における階調値が予め設定された第1階調閾値より低い画素点を選別し、第2種の画素点として、前記第2マスク画像における階調値が予め設定された第2階調閾値より高い画素点を選別し、
前記第1種の画素点の前記処理すべき人体画像における対応する領域を第1指定領域とし、前記第2種の画素点の前記処理すべき人体画像における対応する領域を第2指定領域とし、
前記処理すべき人体画像において前記第1指定領域および前記第2指定領域を含まない他の領域を初期候補領域として設定する、ために使用される、
請求項8に記載の装置。 - 予め配置された標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第2マスク画像を得る場合、前記確定ユニットは、
予め設定された顔特徴点識別モデルを用いて、前記処理すべき人体画像における候補顔特徴点を識別し、
予め配置された標準顔特徴点画像および標準マスク画像を取得し、前記候補顔特徴点と前記標準顔特徴点との対応関係に基づいて、前記標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第2マスク画像を得る、ために使用される、
請求項9に記載の装置。 - 前記処理すべき人体画像に対して第1フィルタリング処理を行うことにより、第1フィルタリング画像を得ることの前に、前記確定ユニットは、
前記処理すべき人体画像を指定された倍数でサブサンプリング処理するために使用され、
前記処理すべき人体画像に対して第1フィルタリング処理を行うことにより、第1フィルタリング画像を得ることの後、前記瑕疵皮膚領域および前記瑕疵皮膚領域における各画素点に対して設定された第1融合係数に基づいて、前記瑕疵領域および前記非瑕疵領域のそれぞれを、前記第1フィルタリング候補領域において対応する領域と線形融合処理する前に、
得られた第1フィルタリング画像を前記指定された倍数でアップサンプリング処理することをさらに含む、
請求項8から10に記載の装置。 - 前記瑕疵皮膚領域と前記非瑕疵皮膚領域内の各画素点の第1融合係数を確定する場合、前記処理ユニットは、
前記初期候補領域における各画素点に対応して予め設定された処理係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵領域における各画素点の第1融合係数をそれぞれ確定するために使用される、
請求項8から10に記載の装置。 - 前記第1融合係数に基づいて、前記瑕疵領域および前記非瑕疵領域のそれぞれを、前記第1フィルタリング候補領域において対応する領域と線形融合処理する場合、前記処理ユニットは、
前記瑕疵皮膚領域および前記非瑕疵皮膚領域において、前記第1フィルタリング候補領域内の相対位置と同じである2つの画素点を1組の画素点とするために使用され、ここで、前記第1フィルタリング候補領域において前記瑕疵皮膚領域内の相対位置と同じである1組の画素点に対応する配置パラメータは、前記第1フィルタリング領域において前記非瑕疵皮膚領域内の相対位置と同じである1組の画素点に対応する配置パラメータと異なり、前記配置パラメータは、瑕疵皮膚領域および非瑕疵皮膚領域に対する処理の程度を特徴づけ、
画素点の組ごとに、以下の動作をそれぞれ実行し、即ち、
1組の画素点間のユークリッド距離を計算し、前記ユークリッド距離、前記1組の画素点の前記第1マスク画像における対応する画素点の階調値、前記1組の画素点の前記第2マスク画像における対応する処理係数、および予め設定された配置パラメータに基づいて、前記1組の画素点に対応する第1融合係数を確定し、
前記第1融合係数に基づいて、前記1組の画素点を1つの画素点に融合する、
請求項8から10に記載の装置。 - 前記ターゲット候補領域を取得することの後、前記出力ユニットは、さらに、
前記第1マスク画像において前記ターゲット候補領域を含む前記処理すべき人体画像に対応する各画素点の階調値に基づいて、対応する第2融合係数を確定し、前記第2融合係数に基づいて前記第2フィルタリング画像を前記ターゲット候補領域を含む前記処理すべき人体画像と線形融合処理することにより、処理後の前記処理すべき人体画像を取得しターゲット画像として出力するために使用される、
請求項13に記載の装置。 - 実行可能な命令を記憶するためのメモリと、
メモリに記憶された実行可能な命令を読み出して実行することにより、以下のプロセスを実行するために使用されるプロセッサと、を含み、
処理すべき人体画像における初期候補領域を確定し、前記処理すべき人体画像に対して第1フィルタリング処理を行うことにより、第1フィルタリング画像を得て、前記第1フィルタリング画像における前記初期候補領域に対応する第1フィルタリング候補領域を確定し、ここで、前記初期候補領域は、指定領域を含まない皮膚領域であり、前記指定領域は、処理を必要としない予め設定された領域であり、
前記初期候補領域と第1フィルタリング候補領域において各対応する画素点間の階調値の差に基づいて、前記処理すべき人体画像における初期候補領域を瑕疵皮膚領域と非瑕疵皮膚領域に区分し、
前記瑕疵皮膚領域と前記非瑕疵皮膚領域内の各画素点の第1融合係数を確定し、前記第1融合係数に基づいて、前記瑕疵領域および前記非瑕疵領域のそれぞれを、前記第1フィルタリング候補領域において対応する領域と線形融合処理し、処理後の前記瑕疵領域と前記非瑕疵領域とを統合した後に前記処理すべき人体画像における中間候補領域とし、
前記初期候補領域と前記中間候補領域において各対応する画素点間の階調値の差に基づいて、前記中間候補領域に対して線形光重合処理を行うことにより、ターゲット候補領域を取得し、前記ターゲット候補領域を含む前記処理すべき人体画像をターゲット画像として出力する、
電子機器。 - 前記処理すべき人体画像における初期候補領域を確定し、前記プロセッサは、
肌色検出技術を採用して、前記処理すべき人体画像に対応する第1マスク画像を取得し、予め配置された標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第2マスク画像を得て、ここで、前記標準マスク画像における異なる領域の画素点は、異なる階調値に設定され、異なる階調値は、予め設定された異なる処理係数を特徴づけ、
第1種の画素点として、前記第1マスク画像における階調値が予め設定された第1階調閾値より低い画素点を選別し、第2種の画素点として、前記第2マスク画像における階調値が予め設定された第2階調閾値より高い画素点を選別し、
前記第1種の画素点の前記処理すべき人体画像における対応する領域を第1指定領域とし、前記第2種の画素点の前記処理すべき人体画像における対応する領域を第2指定領域とし、
前記処理すべき人体画像において前記第1指定領域および前記第2指定領域を含まない他の領域を初期候補領域として設定する、ために使用される、
請求項15に記載の方法。 - 前記予め配置された標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第2マスク画像を得て、前記プロセッサは、
予め設定された顔特徴点識別モデルを用いて、前記処理すべき人体画像における候補顔特徴点を識別し、
予め配置された標準顔特徴点画像および標準マスク画像を取得し、前記候補顔特徴点と前記標準顔特徴点との対応関係に基づいて、前記標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第2マスク画像を得る、ために使用される、
請求項16に記載の方法。 - 前記処理すべき人体画像に対して第1フィルタリング処理を行うことにより、第1フィルタリング画像を得ることの前に、前記プロセッサは、
前記処理すべき人体画像を指定された倍数でサブサンプリング処理するために使用され、
前記処理すべき人体画像に対して第1フィルタリング処理を行うことにより、第1フィルタリング画像を得ることの後、前記瑕疵皮膚領域および前記瑕疵皮膚領域における各画素点に対して設定された第1融合係数に基づいて、前記瑕疵領域および前記非瑕疵領域のそれぞれを、前記第1フィルタリング候補領域において対応する領域と線形融合処理する前に、
得られた第1フィルタリング画像を前記指定された倍数でアップサンプリング処理することをさらに含む、
請求項15から17のいずれか1項に記載の方法。 - 前記瑕疵皮膚領域と前記非瑕疵皮膚領域内の各画素点の第1融合係数を確定し、前記プロセッサは、
前記初期候補領域における各画素点に対応して予め設定された処理係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵領域における各画素点の第1融合係数をそれぞれ確定するために使用される、
請求項15から18のいずれか1項に記載の方法。 - 前記第1融合係数に基づいて、前記瑕疵領域および前記非瑕疵領域のそれぞれを、前記第1フィルタリング候補領域において対応する領域と線形融合処理することは、
前記瑕疵皮膚領域および前記非瑕疵皮膚領域において、前記第1フィルタリング候補領域内の相対位置と同じである2つの画素点を1組の画素点とし、ここで、前記第1フィルタリング候補領域において前記瑕疵皮膚領域内の相対位置と同じである1組の画素点に対応する配置パラメータは、前記第1フィルタリング領域において前記非瑕疵皮膚領域内の相対位置と同じである1組の画素点に対応する配置パラメータと異なり、前記配置パラメータは、瑕疵皮膚領域および非瑕疵皮膚領域に対する処理の程度を特徴づけることを含み、
画素点の組ごとに、以下の動作をそれぞれ実行し、即ち、
1組の画素点間のユークリッド距離を計算し、前記ユークリッド距離、前記1組の画素点の前記第1マスク画像における対応する画素点の階調値、前記1組の画素点の前記第2マスク画像における対応する処理係数、および予め設定された配置パラメータに基づいて、前記1組の画素点に対応する第1融合係数を確定し、
前記第1融合係数に基づいて、前記1組の画素点を1つの画素点に融合する、
請求項15から18のいずれか1項に記載の方法。 - 前記ターゲット候補領域を取得することの後、
前記第1マスク画像において前記ターゲット候補領域を含む前記処理すべき人体画像に対応する各画素点の階調値に基づいて、対応する第2融合係数を確定し、前記第2融合係数に基づいて前記第2フィルタリング画像を前記ターゲット候補領域を含む前記処理すべき人体画像と線形融合処理することにより、処理後の前記処理すべき人体画像を取得しターゲット画像として出力することをさらに含む、
請求項20に記載の方法。 - 命令が記憶されたコンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に記憶された命令が電子機器によって実行されるときに、請求項1から7のいずれか1項に記載の人体画像処理方法を前記電子機器に実行させることができるコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010547139.3A CN113808027B (zh) | 2020-06-16 | 2020-06-16 | 一种人体图像处理方法、装置、电子设备及存储介质 |
CN202010547139.3 | 2020-06-16 | ||
PCT/CN2020/129901 WO2021253723A1 (zh) | 2020-06-16 | 2020-11-18 | 一种人体图像处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023521208A true JP2023521208A (ja) | 2023-05-23 |
JP7420971B2 JP7420971B2 (ja) | 2024-01-23 |
Family
ID=78892518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022562359A Active JP7420971B2 (ja) | 2020-06-16 | 2020-11-18 | 人体画像処理方法および電子機器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230063309A1 (ja) |
JP (1) | JP7420971B2 (ja) |
CN (1) | CN113808027B (ja) |
WO (1) | WO2021253723A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114511580A (zh) * | 2022-01-28 | 2022-05-17 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
CN114913588B (zh) * | 2022-06-20 | 2023-04-25 | 电子科技大学 | 一种应用于复杂场景下的人脸图像修复及识别方法 |
CN116320597A (zh) * | 2022-09-06 | 2023-06-23 | 北京字跳网络技术有限公司 | 直播图像帧处理方法、装置、设备、可读存储介质及产品 |
CN116630309B (zh) * | 2023-07-21 | 2023-09-26 | 微山县天阔纺织有限公司 | 一种布匹断纬瑕疵检测方法 |
CN117152099A (zh) * | 2023-09-05 | 2023-12-01 | 深圳伯德睿捷健康科技有限公司 | 皮肤毛孔或黑头检测方法、系统及计算机可读存储介质 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4461789B2 (ja) | 2003-03-20 | 2010-05-12 | オムロン株式会社 | 画像処理装置 |
JP4347615B2 (ja) | 2003-06-11 | 2009-10-21 | 株式会社コーセー | 画像のシミュレーション方法 |
JP4251635B2 (ja) | 2004-06-30 | 2009-04-08 | キヤノン株式会社 | 画像処理装置及び方法 |
US8290257B2 (en) | 2007-03-02 | 2012-10-16 | The Procter & Gamble Company | Method and apparatus for simulation of facial skin aging and de-aging |
US8031961B2 (en) * | 2007-05-29 | 2011-10-04 | Hewlett-Packard Development Company, L.P. | Face and skin sensitive image enhancement |
JP2009111947A (ja) | 2007-11-01 | 2009-05-21 | Sharp Corp | 画像補正装置 |
US8295557B2 (en) * | 2009-01-12 | 2012-10-23 | Arcsoft Hangzhou Co., Ltd. | Face image processing method |
US8265410B1 (en) | 2009-07-11 | 2012-09-11 | Luxand, Inc. | Automatic correction and enhancement of facial images |
KR101590868B1 (ko) | 2009-07-17 | 2016-02-02 | 삼성전자주식회사 | 피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체 |
CN103927719B (zh) * | 2014-04-04 | 2017-05-17 | 北京猎豹网络科技有限公司 | 图片处理方法及装置 |
CN104978578B (zh) * | 2015-04-21 | 2018-07-27 | 深圳市点通数据有限公司 | 手机拍照文本图像质量评估方法 |
CN105869159A (zh) * | 2016-03-28 | 2016-08-17 | 联想(北京)有限公司 | 一种图像分割方法及装置 |
JP6872742B2 (ja) | 2016-06-30 | 2021-05-19 | 学校法人明治大学 | 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム |
JP7003558B2 (ja) | 2017-10-12 | 2022-01-20 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN108053377A (zh) * | 2017-12-11 | 2018-05-18 | 北京小米移动软件有限公司 | 图像处理方法及设备 |
JP2019106045A (ja) | 2017-12-13 | 2019-06-27 | キヤノン株式会社 | 画像処理装置、方法及びプログラム |
CN109377454A (zh) * | 2018-09-25 | 2019-02-22 | 广州华多网络科技有限公司 | 一种图像处理方法、装置、设备、存储介质及直播方法 |
CN110443747B (zh) * | 2019-07-30 | 2023-04-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及计算机可读存储介质 |
CN110689500B (zh) * | 2019-09-29 | 2022-05-24 | 北京达佳互联信息技术有限公司 | 一种人脸图像的处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-06-16 CN CN202010547139.3A patent/CN113808027B/zh active Active
- 2020-11-18 JP JP2022562359A patent/JP7420971B2/ja active Active
- 2020-11-18 WO PCT/CN2020/129901 patent/WO2021253723A1/zh active Application Filing
-
2022
- 2022-10-18 US US18/047,603 patent/US20230063309A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN113808027A (zh) | 2021-12-17 |
CN113808027B (zh) | 2023-10-17 |
WO2021253723A1 (zh) | 2021-12-23 |
US20230063309A1 (en) | 2023-03-02 |
JP7420971B2 (ja) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023521208A (ja) | 人体画像処理方法および電子機器 | |
US10304166B2 (en) | Eye beautification under inaccurate localization | |
US8902326B2 (en) | Automatic face and skin beautification using face detection | |
US20110002506A1 (en) | Eye Beautification | |
WO2022161009A1 (zh) | 图像处理方法及装置、存储介质、终端 | |
US20120075331A1 (en) | System and method for changing hair color in digital images | |
CN108431751A (zh) | 背景去除 | |
US20230281764A1 (en) | Systems and methods for selective enhancement of skin features in images | |
JP2014222447A (ja) | 画像処理装置および方法 | |
CN108346128B (zh) | 一种美颜磨皮的方法和装置 | |
CN116612263B (zh) | 一种感知潜视觉合成一致性动态拟合的方法及装置 | |
CN114187340A (zh) | 应用于图像视频人脸皮肤纹理质感增强的方法及装置 | |
CN113379623A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
US9563940B2 (en) | Smart image enhancements | |
CN113421197B (zh) | 一种美颜图像的处理方法及其处理系统 | |
Chen et al. | Efficient detail-enhanced exposure correction based on auto-fusion for LDR image | |
CN113837020A (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
CN114627003A (zh) | 人脸图像的眼部脂肪去除方法、系统、设备及存储介质 | |
CN116612036A (zh) | 一种基于Unity实现人像磨皮和美白的方法 | |
CN113837018A (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
CN115311306A (zh) | 一种人脸修复方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221012 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221012 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7420971 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |