JP2023517121A - 画像処理及び画像合成方法、装置及びコンピュータプログラム - Google Patents
画像処理及び画像合成方法、装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2023517121A JP2023517121A JP2022555150A JP2022555150A JP2023517121A JP 2023517121 A JP2023517121 A JP 2023517121A JP 2022555150 A JP2022555150 A JP 2022555150A JP 2022555150 A JP2022555150 A JP 2022555150A JP 2023517121 A JP2023517121 A JP 2023517121A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target
- depth
- processing
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 143
- 238000001308 synthesis method Methods 0.000 title description 9
- 238000004590 computer program Methods 0.000 title description 5
- 238000000034 method Methods 0.000 claims abstract description 53
- 239000000203 mixture Substances 0.000 claims abstract description 15
- 238000003672 processing method Methods 0.000 claims description 30
- 230000002194 synthesizing effect Effects 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 20
- 230000015654 memory Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 210000004709 eyebrow Anatomy 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000029553 photosynthesis Effects 0.000 description 1
- 238000010672 photosynthesis Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Ophthalmology & Optometry (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
処理待ち面部画像を取得するステップと、
前記処理待ち面部画像に対して特徴点識別を行い、処理待ち面部パーツ特徴点を得るステップと、
前記処理待ち面部パーツ特徴点と参照面部パーツ特徴点との間の特徴点位置オフセット情報を決定するステップであって、前記参照面部パーツ特徴点は参照面部画像に対応する面部パーツ特徴点である、ステップと、
前記特徴点位置オフセット情報に基づいて、参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、前記処理待ち面部画像に対応するターゲット面部深度画像を得るステップであって、前記参照面部深度画像は前記参照面部画像に対応する面部深度画像である、ステップと、
前記ターゲット面部深度画像に基づき前記処理待ち面部画像に対して方向偏向を行い、ターゲット面部画像を得るステップと、を含む。
処理待ち面部画像を取得するステップと、
前記処理待ち面部画像に基づきターゲット面部画像を取得するステップであって、前記ターゲット面部画像は前記画像処理方法の処理に基づき得られる、ステップと、
前記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得るステップと、を含む。
前記識別ユニットは、前記処理待ち面部画像に対して特徴点識別を行い、処理待ち面部パーツ特徴点を得ることに用いられ、
前記計算ユニットは、前記処理待ち面部パーツ特徴点と参照面部パーツ特徴点との間の特徴点位置オフセット情報を決定することに用いられ、前記参照面部パーツ特徴点は参照面部画像に対応する面部パーツ特徴点であり、
前記調整ユニットは、前記特徴点位置オフセット情報に基づいて、参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、前記処理待ち面部画像に対応するターゲット面部深度画像を得ることに用いられ、前記参照面部深度画像は前記参照面部画像に対応する面部深度画像であり、
前記偏向ユニットは、前記ターゲット面部深度画像に基づき前記処理待ち面部画像に対して方向偏向を行い、ターゲット面部画像を得ることに用いられる。
前記取得ユニットは、処理待ち面部画像を取得することに用いられ、
前記処理ユニットは、前記処理待ち面部画像に基づきターゲット面部画像を取得することに用いられ、前記ターゲット面部画像は前記画像処理方法の処理に基づき得られ、
前記融合ユニットは、前記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得ることに用いられる。
上記特徴点位置オフセット情報から上記処理待ち部位特徴点のオフセット方向及びオフセット重みを決定するステップと、
上記オフセット方向及び上記オフセット重みに基づき、上記参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、上記処理待ち面部画像に対応するターゲット面部深度画像を得るステップと、を含むことができる。
上記ターゲット面部深度画像及び参照深度関係に基づき、上記処理待ち面部画像における各画素点の深度情報を取得するステップと、
上記処理待ち面部画像における各画素点の深度情報に基づき、上記処理待ち面部画像に対応する立体面部画像を生成するステップと、
上記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップと、
上記偏向後の立体面部画像を上記処理待ち面部画像の方向に向けて投影し、上記ターゲット面部画像を得るステップと、を含むことができる。
上記ターゲット面部深度画像から各画素の深度レベルを決定するステップと、
上記処理待ち面部パーツ特徴点における深度参照特徴点及び上記参照深度関係に基づき、上記処理待ち面部画像の面部深度パラメータを決定するステップと、
上記面部深度パラメータ及び上記各画素の深度レベルに基づいて、上記処理待ち面部画像における各画素点の深度情報を決定するステップと、を含むことができる。
R[3],R[4],R[5],
R[6],R[7],R[8]}であり、
処理待ち面部画像の座標点(i,j)、該座標点に対応する深度情報がpixeldepthであると仮定すると、以下の式を採用して回転後の画像における座標点(x,y)及び深度zを計算する。
int y=ceil(R[3]*(j-center.x)+R[4]*(i-center.y)+R[5]*pixeldepth+center.y)
float z=R[6]*(j-center.x)+R[7]*(i-center.y)+R[8]*pixeldepth
面部処理ページでのユーザーの画像テンプレート選択操作が検出されたときに、ユーザーが選択したテンプレート画像を取得するステップと、
上記テンプレート画像における面部領域の方向及び上記処理待ち面部画像の方向に基づいて、ターゲット偏向角度を決定するステップと、をさらに含む。
上記ターゲット偏向角度に基づいて、上記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップを含む。
上記処理待ち面部画像における各画素点の深度情報を取得するステップと、
上記各画素点の深度情報に基づき、上記処理待ち面部画像に対応する立体面部画像を生成するステップと、
上記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップと、
上記偏向後の立体面部画像を上記処理待ち面部画像の方向に向けて投影し、上記ターゲット面部画像を得るステップと、を含むことができる。
上記複数の処理待ち画像に基づき立体面部画像を生成するステップと、
上記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップと、
上記偏向後の立体面部画像を上記処理待ち面部画像の方向に向けて投影し、上記ターゲット面部画像を得るステップと、を含むことができる。
上記ターゲット面部画像に対して特徴点識別を行い、ターゲット面部パーツ特徴点を得るステップと、
上記ターゲット面部パーツ特徴点及び対応するテンプレート面部パーツ特徴点に基づいて、上記ターゲット面部画像と上記テンプレート画像の面部領域とを融合させ、合成面部領域を得て、ターゲット面部パーツ特徴点を得るステップであって、上記テンプレート面部パーツ特徴点は上記テンプレート画像の面部パーツ特徴点である、ステップと、
上記合成面部領域と上記テンプレート画像における他の領域とを合成して、ターゲット画像を得るステップと、を含むことができる。
上記ターゲット面部画像から中心領域及び円周領域を決定するステップと、
処理待ち面部パーツ特徴点及び対応する上記テンプレート面部パーツ特徴点に基づいて、上記中心領域と上記テンプレート画像における対応する中心領域とを第1重みで融合させるステップと、
処理待ち面部パーツ特徴点及び対応する上記テンプレート面部パーツ特徴点に基づいて、上記円周領域と上記テンプレート画像における対応する円周領域とを第2重みで融合させるステップであって、上記第1重みは上記第2重みよりも大きい、ステップと、を含むことができる。
取得サブユニットは、上記ターゲット面部深度画像及び参照深度関係に基づき、上記処理待ち面部画像における各画素点の深度情報を取得することに用いられ、
生成サブユニットは、上記処理待ち面部画像における各画素点の深度情報に基づき、上記処理待ち面部画像に対応する立体面部画像を生成することに用いられ、
偏向サブユニットは、上記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得ることに用いられ、
投影サブユニットは、上記偏向後の立体面部画像を上記処理待ち面部画像の方向に向けて投影し、上記ターゲット面部画像を得ることに用いられる。
上記ターゲット面部深度画像から各画素の深度レベルを決定することと、
上記処理待ち面部パーツ特徴点における深度参照特徴点及び上記参照深度関係に基づき、上記処理待ち面部画像の面部深度パラメータを決定することと、
上記面部深度パラメータ及び上記各画素の深度レベルに基づいて、上記処理待ち面部画像における各画素点の深度情報を決定することと、に用いられることができる。
上記参照面部画像における位置決め特徴点を位置基準として、上記処理待ち面部画像の上記参照面部画像に対する特徴点位置オフセット情報を決定することに用いられることができる。
上記特徴点位置オフセット情報から上記処理待ち部位特徴点のオフセット方向及びオフセット重みを決定することと、
上記オフセット方向及び上記オフセット重みに基づき上記参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、上記処理待ち面部画像に対応するターゲット面部深度画像を得ることと、に用いられることができる。
(1)取得ユニットは、処理待ち面部画像を取得することに用いられ、
(2)処理ユニットは、上記処理待ち面部画像に基づきターゲット面部画像を取得することに用いられ、ここで、上記ターゲット面部画像は本願の上記実施例に記載の画像処理方法の処理に基づき得られ、
(3)融合ユニットは、上記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得ることに用いられる。
上記処理待ち面部画像における各画素点の深度情報を取得することと、
上記各画素点の深度情報に基づき、上記処理待ち面部画像に対応する立体面部画像を生成することと、
上記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得ることと、
上記偏向後の立体面部画像を上記処理待ち面部画像の方向に向けて投影し、上記ターゲット面部画像を得ることと、に用いられる。
面部領域の所定の方向範囲内での複数の処理待ち画像を取得することと、
上記複数の処理待ち画像に基づき立体面部画像を生成することと、
上記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得ることと、
上記偏向後の立体面部画像を上記処理待ち面部画像の方向に向けて投影し、上記ターゲット面部画像を得ることと、に用いられる。
処理待ち画像を取得することと、
上記処理待ち画像における面部領域の方向が所定の方向であるときに、上記処理待ち画像から面部領域を分割し、処理待ち面部画像とすることであって、上記所定の方向は参照面部画像における面部領域が位置する方向である、ことと、に用いられることができる。
識別サブユニットは、上記ターゲット面部画像に対して特徴点識別を行い、ターゲット面部パーツ特徴点を得ることに用いられ、
融合サブユニットは、上記ターゲット面部パーツ特徴点及び対応するテンプレート面部パーツ特徴点に基づいて、上記ターゲット面部画像と上記テンプレート画像の面部領域とを融合させ、合成面部領域を得て、ターゲット面部パーツ特徴点を得ることに用いられ、上記テンプレート面部パーツ特徴点は上記テンプレート画像の面部パーツ特徴点であり、
合成サブユニットは、上記合成面部領域と上記テンプレート画像における他の領域とを合成して、ターゲット画像を得ることに用いられる。
上記ターゲット面部画像から中心領域及び円周領域を決定することと、
処理待ち面部パーツ特徴点及び対応する上記テンプレート面部パーツ特徴点に基づいて、上記中心領域と上記テンプレート画像における対応する中心領域とを第1重みで融合させることと、
処理待ち面部パーツ特徴点及び対応する上記テンプレート面部パーツ特徴点に基づいて、上記円周領域と上記テンプレート画像における対応する円周領域とを第2重みで融合させることであって、上記第1重みは上記第2重みよりも大きい、ことと、
融合後の画像を取得して、合成面部領域とすることと、に用いられることができる。
該電子機器は、処理コアとする1つ又は1つ以上のプロセッサ501、1つ又は1つ以上のメモリ502、電源503、入力モジュール504、及び通信モジュール505等の部材を含むことができる。ここで、メモリ502は、コンピュータ可読記憶媒体であってもよい。当業者が理解できるように、図4に示される電子機器の構造は電子機器に対する限定を構成せず、図に示されるものよりも多い又はより少ない部材を含むか、又はある部材を組み合わせるか、又は異なる部材配置を採用することができる。ここで、
プロセッサ501は該電子機器に対する制御位置決めを行うためのものであり、各種のインタフェース及び配線を利用して電子機器全体の各部分を接続し、メモリ502内に記憶されたソフトウェアプログラム及び/又はモジュールを動作させ、又は実行し、メモリ502内に記憶されたデータを呼び出し、電子機器の各種の機能を実行し且つデータを処理し、それにより電子機器に対して全体的監視を行う。いくつかの実施例では、プロセッサ501は1つ又は複数の処理コアを含むことができ、いくつかの実施例では、プロセッサ501はアプリケーションプロセッサ及びモデムプロセッサを集積することができる。ここで、アプリケーションプロセッサは主にオペレーティングシステム、ユーザーインタフェース及びアプリケーションプログラム等を処理し、モデムプロセッサは主に無線通信を処理する。理解できるように、上記モデムプロセッサはプロセッサ501に集積しなくてもよい。
上記処理待ち面部画像に対して特徴点識別を行い、処理待ち面部パーツ特徴点を得て、
上記処理待ち面部パーツ特徴点と参照面部パーツ特徴点との間の特徴点位置オフセット情報を決定し、ここで、上記参照面部パーツ特徴点は参照面部画像に対応する面部パーツ特徴点であり、
上記特徴点位置オフセット情報に基づいて、参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、上記処理待ち面部画像に対応するターゲット面部深度画像を得て、ここで、上記参照面部深度画像は上記参照面部画像に対応する面部深度画像であり、
上記ターゲット面部深度画像に基づき上記処理待ち画像に対して方向偏向を行い、ターゲット面部画像を得る。
処理待ち面部画像を取得し、
上記処理待ち面部画像に基づきターゲット面部画像を取得し、ここで、上記ターゲット面部画像は上記画像処理方法の処理に基づき得られ、
上記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得る。
上記処理待ち面部画像に対して特徴点識別を行い、処理待ち面部パーツ特徴点を得るステップと、
上記処理待ち面部パーツ特徴点と参照面部パーツ特徴点との間の特徴点位置オフセット情報を決定するステップであって、ここで、上記参照面部パーツ特徴点は参照面部画像に対応する面部パーツ特徴点である、ステップと、
上記特徴点位置オフセット情報に基づいて参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、上記処理待ち面部画像に対応するターゲット面部深度画像を得るステップであって、ここで、上記参照面部深度画像は上記参照面部画像に対応する面部深度画像である、ステップと、
上記ターゲット面部深度画像に基づき上記処理待ち画像に対して方向偏向を行い、ターゲット面部画像を得るステップと、を実行することができる。
又は、
処理待ち面部画像を取得するステップと、
上記処理待ち面部画像に基づきターゲット面部画像を取得するステップであって、ここで、上記ターゲット面部画像は上記画像処理方法の処理に基づき得られる、ステップと、
上記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得るステップと、を実行することができる。
302 計算ユニット
303 調整ユニット
304 偏向ユニット
401 取得ユニット
402 処理ユニット
403 融合ユニット
501 プロセッサ
502 メモリ
503 電源
504 入力モジュール
505 通信モジュール
Claims (20)
- 電子機器により実行される画像処理方法であって、
処理待ち面部画像に対して特徴点識別を行い、処理待ち面部パーツ特徴点を得るステップであって、前記処理待ち面部パーツ特徴点は前記処理待ち面部画像の面部パーツ特徴点である、ステップと、
前記処理待ち面部パーツ特徴点と参照面部パーツ特徴点との間の特徴点位置オフセット情報を決定するステップであって、前記参照面部パーツ特徴点は参照面部画像に対応する面部パーツ特徴点である、ステップと、
前記特徴点位置オフセット情報に基づいて、参照面部深度画像の面部パーツ特徴点に対して位置調整を行い、前記処理待ち面部画像に対応するターゲット面部深度画像を得るステップであって、前記参照面部深度画像は前記参照面部画像に対応する面部深度画像である、ステップと、
前記ターゲット面部深度画像に基づき前記処理待ち面部画像に対して方向偏向を行い、ターゲット面部画像を得るステップと、を含む、ことを特徴とする画像処理方法。 - 前記ターゲット面部深度画像に基づき前記処理待ち面部画像に対して方向偏向を行い、ターゲット面部画像を得る前記ステップは、
前記ターゲット面部深度画像及び参照深度関係に基づき、前記処理待ち面部画像における各画素点の深度情報を取得するステップと、
前記処理待ち面部画像における各画素点の深度情報に基づき、前記処理待ち面部画像に対応する立体面部画像を生成するステップと、
前記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップと、
前記偏向後の立体面部画像を前記処理待ち面部画像の方向に向けて投影し、前記ターゲット面部画像を得るステップと、を含む、ことを特徴とする請求項1に記載の画像処理方法。 - 前記ターゲット面部深度画像及び参照深度関係に基づき、前記処理待ち面部画像における各画素点の深度情報を取得する前記ステップは、
前記ターゲット面部深度画像から各画素の深度レベルを決定するステップと、
前記処理待ち面部パーツ特徴点における深度参照特徴点及び前記参照深度関係に基づき、前記処理待ち面部画像の面部深度パラメータを決定するステップと、
前記面部深度パラメータ及び前記各画素の深度レベルに基づいて、前記処理待ち面部画像における各画素点の深度情報を決定するステップと、を含む、ことを特徴とする請求項2に記載の画像処理方法。 - 前記処理待ち面部パーツ特徴点と参照面部パーツ特徴点との間の特徴点位置オフセット情報を決定する前記ステップは、
前記参照面部画像における位置決め特徴点を位置基準として、前記処理待ち面部画像の前記参照面部画像に対する特徴点位置オフセット情報を決定するステップを含む、ことを特徴とする請求項1に記載の画像処理方法。 - 前記特徴点位置オフセット情報に基づいて、参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、前記処理待ち面部画像に対応するターゲット面部深度画像を得る前記ステップは、
前記特徴点位置オフセット情報から前記処理待ち面部パーツ特徴点のオフセット方向及びオフセット重みを決定するステップと、
前記オフセット方向及び前記オフセット重みに基づき、前記参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、前記処理待ち面部画像に対応するターゲット面部深度画像を得るステップと、を含む、ことを特徴とする請求項1に記載の画像処理方法。 - 電子機器により実行される画像合成方法であって、
処理待ち面部画像を取得するステップと、
前記処理待ち面部画像に基づきターゲット面部画像を取得するステップであって、前記ターゲット面部画像は請求項1~5のいずれか1項に記載の画像処理方法の処理に基づき得られる、ステップと、
前記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得るステップと、を含む、ことを特徴とする画像合成方法。 - 前記処理待ち面部画像に基づきターゲット面部画像を取得する前記ステップは、
前記処理待ち面部画像における各画素点の深度情報を取得するステップと、
前記各画素点の深度情報に基づき、前記処理待ち面部画像に対応する立体面部画像を生成するステップと、
前記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップと、
前記偏向後の立体面部画像を前記処理待ち面部画像の方向に向けて投影し、ターゲット面部画像を得るステップと、をさらに含む、ことを特徴とする請求項6に記載の画像合成方法。 - 処理待ち面部画像を取得する前記ステップは、
前記面部領域の所定の方向範囲内における複数の処理待ち画像を取得するステップと、
前記複数の処理待ち画像に基づき立体面部画像を生成するステップと、
前記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップと、
前記偏向後の立体面部画像を前記処理待ち面部画像の方向に向けて投影し、ターゲット面部画像を得るステップと、をさらに含む、ことを特徴とする請求項6に記載の画像合成方法。 - 処理待ち面部画像を取得する前記ステップは、
処理待ち画像を取得するステップと、
前記処理待ち画像における面部領域の方向が所定の方向であるときに、前記処理待ち画像から面部領域を分割し、処理待ち面部画像とするステップであって、前記所定の方向は参照面部画像における面部領域が位置する方向である、ステップとを含む、ことを特徴とする請求項6に記載の画像合成方法。 - 処理待ち面部画像を取得する前記ステップの前に、
面部処理ページでのユーザーの画像テンプレート選択操作が検出されたときに、ユーザーが選択したテンプレート画像を取得するステップと、
前記テンプレート画像における面部領域の方向及び前記処理待ち面部画像の方向に基づいて、ターゲット偏向角度を決定するステップと、をさらに含み、
前記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得る前記ステップは、
前記ターゲット偏向角度に基づいて、前記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得るステップを含む、ことを特徴とする請求項6に記載の画像合成方法。 - 前記ターゲット面部画像を前記テンプレート画像における面部領域に融合させ、ターゲット画像を得る前記ステップは、
前記ターゲット面部画像に対して特徴点識別を行い、ターゲット面部パーツ特徴点を得るステップと、
前記ターゲット面部パーツ特徴点及び対応するテンプレート面部パーツ特徴点に基づいて、前記ターゲット面部画像と前記テンプレート画像の面部領域とを融合させ、合成面部領域を得るステップであって、前記テンプレート面部パーツ特徴点は前記テンプレート画像の面部パーツ特徴点である、ステップと、
前記合成面部領域と前記テンプレート画像における他の領域とを合成して、前記ターゲット画像を得るステップと、を含む、ことを特徴とする請求項6に記載の画像合成方法。 - 前記ターゲット面部パーツ特徴点及び対応するテンプレート面部パーツ特徴点に基づいて、前記ターゲット面部画像と前記テンプレート画像の面部領域とを融合させ、合成面部領域を得る前記ステップは、
前記ターゲット面部画像から中心領域及び円周領域を決定するステップと、
処理待ち面部パーツ特徴点及び対応する前記テンプレート面部パーツ特徴点に基づいて、前記中心領域と前記テンプレート画像における対応する中心領域とを第1重みで融合させるステップと、
処理待ち面部パーツ特徴点及び対応する前記テンプレート面部パーツ特徴点に基づいて、前記円周領域と前記テンプレート画像における対応する円周領域とを第2重みで融合させるステップであって、前記第1重みは前記第2重みよりも大きい、ステップと、
融合後の画像を取得して、前記合成面部領域とするステップと、を含む、ことを特徴とする請求項11に記載の画像合成方法。 - 画像処理装置であって、識別ユニットと、計算ユニットと、調整ユニットと、偏向ユニットと、を含み、
前記識別ユニットは、処理待ち面部画像に対して特徴点識別を行い、処理待ち面部パーツ特徴点を得ることに用いられ、
前記計算ユニットは、前記処理待ち面部パーツ特徴点と参照面部パーツ特徴点との間の特徴点位置オフセット情報を決定することに用いられ、前記参照面部パーツ特徴点は参照面部画像に対応する面部パーツ特徴点であり、
前記調整ユニットは、前記特徴点位置オフセット情報に基づいて、参照面部深度画像における面部パーツ特徴点に対して位置調整を行い、前記処理待ち面部画像に対応するターゲット面部深度画像を得ることに用いられ、前記参照面部深度画像は前記参照面部画像に対応する面部深度画像であり、
前記偏向ユニットは、前記ターゲット面部深度画像に基づき前記処理待ち面部画像に対して方向偏向を行い、ターゲット面部画像を得ることに用いられる、ことを特徴とする画像処理装置。 - 前記偏向ユニットは、取得サブユニットと、生成サブユニットと、偏向サブユニットと、投影サブユニットとを含み、
前記取得サブユニットは、前記ターゲット面部深度画像及び参照深度関係に基づき、前記処理待ち面部画像における各画素点の深度情報を取得することに用いられ、
前記生成サブユニットは、前記処理待ち面部画像における各画素点の深度情報に基づき、前記処理待ち面部画像に対応する立体面部画像を生成することに用いられ、
前記偏向サブユニットは、前記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得ることに用いられ、
前記投影サブユニットは、前記偏向後の立体面部画像を前記処理待ち面部画像の方向に向けて投影し、前記ターゲット面部画像を得ることに用いられる、ことを特徴とする請求項13に記載の画像処理装置。 - 前記取得サブユニットは、さらに、
前記ターゲット面部深度画像から各画素の深度レベルを決定することと、
前記処理待ち面部パーツ特徴点における深度参照特徴点及び前記参照深度関係に基づき、前記処理待ち面部画像の面部深度パラメータを決定することと、
前記面部深度パラメータ及び前記各画素の深度レベルに基づいて、前記処理待ち面部画像における各画素点の深度情報を決定することと、に用いられる、ことを特徴とする請求項14に記載の画像処理装置。 - 画像合成装置であって、取得ユニットと、処理ユニットと、融合ユニットと、を含み、
前記取得ユニットは、処理待ち面部画像を取得することに用いられ、
前記処理ユニットは、前記処理待ち面部画像に基づきターゲット面部画像を取得することに用いられ、前記ターゲット面部画像は請求項1~5のいずれか1項に記載の画像処理方法の処理に基づき得られ、
前記融合ユニットは、前記ターゲット面部画像をテンプレート画像における面部領域に融合させ、ターゲット画像を得ることに用いられる、ことを特徴とする画像合成装置。 - 前記画像合成装置はさらに第1合成ユニットを含み、
前記処理待ち面部画像における各画素点の深度情報を取得することと、
前記各画素点の深度情報に基づき、前記処理待ち面部画像に対応する立体面部画像を生成することと、
前記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得ることと、
前記偏向後の立体面部画像を前記処理待ち面部画像の方向に向けて投影し、前記ターゲット面部画像を得ることと、に用いられる、ことを特徴とする請求項16に記載の画像合成装置。 - 前記画像合成装置はさらに第2合成ユニットを含み、
前記面部領域の所定の方向範囲内での複数の処理待ち画像を取得することと、
前記複数の処理待ち画像に基づき立体面部画像を生成することと、
前記立体面部画像をターゲット方向へ偏向させ、偏向後の立体面部画像を得ることと、
前記偏向後の立体面部画像を前記処理待ち面部画像の方向に向けて投影し、前記ターゲット面部画像を得ることと、に用いられる、ことを特徴とする請求項16に記載の画像合成装置。 - 前記取得ユニットはさらに、
処理待ち画像を取得することと、
前記処理待ち画像における面部領域の方向が所定の方向であるときに、前記処理待ち画像から面部領域を分割し、処理待ち面部画像とすることであって、前記所定の方向は参照面部画像における面部領域が位置する方向である、ことと、に用いられる、ことを特徴とする請求項16に記載の画像合成装置。 - コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には複数の命令が記憶されており、前記命令はプロセッサによりロードされることで、請求項1~5のいずれか1項に記載の画像処理方法のステップ、又は請求項6~12に記載の画像合成方法のステップを実行させることに適する、ことを特徴とするコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010486646.0A CN111652123B (zh) | 2020-06-01 | 2020-06-01 | 图像处理和图像合成方法、装置和存储介质 |
CN202010486646.0 | 2020-06-01 | ||
PCT/CN2021/088641 WO2021244172A1 (zh) | 2020-06-01 | 2021-04-21 | 图像处理和图像合成方法、装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023517121A true JP2023517121A (ja) | 2023-04-21 |
JP7483301B2 JP7483301B2 (ja) | 2024-05-15 |
Family
ID=72347117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022555150A Active JP7483301B2 (ja) | 2020-06-01 | 2021-04-21 | 画像処理及び画像合成方法、装置及びコンピュータプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220301284A1 (ja) |
EP (1) | EP4030342A4 (ja) |
JP (1) | JP7483301B2 (ja) |
KR (1) | KR20220083830A (ja) |
CN (1) | CN111652123B (ja) |
WO (1) | WO2021244172A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111652123B (zh) * | 2020-06-01 | 2023-11-14 | 腾讯科技(深圳)有限公司 | 图像处理和图像合成方法、装置和存储介质 |
CN112200716B (zh) * | 2020-10-15 | 2022-03-22 | 广州博冠信息科技有限公司 | 图形处理方法、装置、电子设备及非易失性存储介质 |
CN114445970B (zh) * | 2022-04-07 | 2022-09-20 | 广州卓腾科技有限公司 | 一种用于自助办证设备的证件照衣服调整方法、系统和介质 |
WO2024071700A1 (ko) * | 2022-09-29 | 2024-04-04 | 삼성전자 주식회사 | 전자 장치 및 그 동작 방법 |
CN115830424B (zh) * | 2023-02-09 | 2023-04-28 | 深圳酷源数联科技有限公司 | 基于融合图像的矿废识别方法、装置、设备及存储介质 |
CN116579956B (zh) * | 2023-07-13 | 2023-09-12 | 广东开放大学(广东理工职业学院) | 基于姿态校验的图像修复方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102800129B (zh) * | 2012-06-20 | 2015-09-30 | 浙江大学 | 一种基于单幅图像的头发建模和肖像编辑方法 |
KR102285376B1 (ko) * | 2015-12-01 | 2021-08-03 | 삼성전자주식회사 | 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치 |
WO2019000462A1 (zh) * | 2017-06-30 | 2019-01-03 | 广东欧珀移动通信有限公司 | 人脸图像处理方法、装置、存储介质及电子设备 |
CN107481317A (zh) * | 2017-07-31 | 2017-12-15 | 广东欧珀移动通信有限公司 | 人脸3d模型的面部调整方法及其装置 |
CN107993216B (zh) * | 2017-11-22 | 2022-12-20 | 腾讯科技(深圳)有限公司 | 一种图像融合方法及其设备、存储介质、终端 |
CN108985241B (zh) * | 2018-07-23 | 2023-05-02 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN110163054B (zh) | 2018-08-03 | 2022-09-27 | 腾讯科技(深圳)有限公司 | 一种人脸三维图像生成方法和装置 |
CN109685915B (zh) * | 2018-12-11 | 2023-08-15 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
CN110189248B (zh) * | 2019-05-16 | 2023-05-02 | 腾讯科技(深圳)有限公司 | 图像融合方法及装置、存储介质、电子设备 |
CN110852310B (zh) * | 2020-01-14 | 2021-02-09 | 长沙小钴科技有限公司 | 三维人脸识别方法、装置、终端设备及计算机可读介质 |
CN111652123B (zh) * | 2020-06-01 | 2023-11-14 | 腾讯科技(深圳)有限公司 | 图像处理和图像合成方法、装置和存储介质 |
-
2020
- 2020-06-01 CN CN202010486646.0A patent/CN111652123B/zh active Active
-
2021
- 2021-04-21 KR KR1020227017605A patent/KR20220083830A/ko unknown
- 2021-04-21 EP EP21817189.0A patent/EP4030342A4/en active Pending
- 2021-04-21 WO PCT/CN2021/088641 patent/WO2021244172A1/zh unknown
- 2021-04-21 JP JP2022555150A patent/JP7483301B2/ja active Active
-
2022
- 2022-06-08 US US17/835,817 patent/US20220301284A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7483301B2 (ja) | 2024-05-15 |
WO2021244172A1 (zh) | 2021-12-09 |
CN111652123B (zh) | 2023-11-14 |
US20220301284A1 (en) | 2022-09-22 |
KR20220083830A (ko) | 2022-06-20 |
EP4030342A4 (en) | 2022-12-28 |
EP4030342A1 (en) | 2022-07-20 |
CN111652123A (zh) | 2020-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7483301B2 (ja) | 画像処理及び画像合成方法、装置及びコンピュータプログラム | |
US11798246B2 (en) | Electronic device for generating image including 3D avatar reflecting face motion through 3D avatar corresponding to face and method of operating same | |
JP7176012B2 (ja) | オブジェクト・モデリング動作方法及び装置並びにデバイス | |
Kartynnik et al. | Real-time facial surface geometry from monocular video on mobile GPUs | |
CN110807836B (zh) | 三维人脸模型的生成方法、装置、设备及介质 | |
TWI678099B (zh) | 視頻處理方法、裝置和儲存介質 | |
CN111710036B (zh) | 三维人脸模型的构建方法、装置、设备及存储介质 | |
WO2021004257A1 (zh) | 视线检测和视频处理的方法、装置、设备和存储介质 | |
EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
WO2019034142A1 (zh) | 三维虚拟形象的显示方法、装置、终端及存储介质 | |
KR20180121494A (ko) | 단안 카메라들을 이용한 실시간 3d 캡처 및 라이브 피드백을 위한 방법 및 시스템 | |
TWI752419B (zh) | 影像處理方法及裝置、圖像設備及儲存媒介 | |
CN113628327B (zh) | 一种头部三维重建方法及设备 | |
WO2019100932A1 (zh) | 一种运动控制方法及其设备、存储介质、终端 | |
WO2021027585A1 (zh) | 人脸图像处理方法及电子设备 | |
WO2021232690A1 (zh) | 一种视频生成方法、装置、电子设备及存储介质 | |
CN109151540A (zh) | 视频图像的交互处理方法及装置 | |
US20220319231A1 (en) | Facial synthesis for head turns in augmented reality content | |
WO2023066120A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111599002A (zh) | 用于生成图像的方法和装置 | |
CN111489426B (zh) | 表情生成方法、装置、设备和存储介质 | |
WO2019042028A1 (zh) | 全视向的球体光场渲染方法 | |
CN116958344A (zh) | 虚拟形象的动画生成方法、装置、计算机设备及存储介质 | |
WO2022022260A1 (zh) | 图像风格迁移方法及其装置 | |
WO2018151612A1 (en) | Texture mapping system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220913 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240401 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240425 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7483301 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |