KR102529209B1 - Special effect production system using face recognition - Google Patents
Special effect production system using face recognition Download PDFInfo
- Publication number
- KR102529209B1 KR102529209B1 KR1020210123756A KR20210123756A KR102529209B1 KR 102529209 B1 KR102529209 B1 KR 102529209B1 KR 1020210123756 A KR1020210123756 A KR 1020210123756A KR 20210123756 A KR20210123756 A KR 20210123756A KR 102529209 B1 KR102529209 B1 KR 102529209B1
- Authority
- KR
- South Korea
- Prior art keywords
- specific person
- special effect
- landmark
- face
- feature information
- Prior art date
Links
- 230000000694 effects Effects 0.000 title claims abstract description 68
- 238000004519 manufacturing process Methods 0.000 title claims description 5
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000001815 facial effect Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 210000005069 ears Anatomy 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 7
- 241000283973 Oryctolagus cuniculus Species 0.000 description 6
- 210000000887 face Anatomy 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 235000016623 Fragaria vesca Nutrition 0.000 description 1
- 240000009088 Fragaria x ananassa Species 0.000 description 1
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
Images
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/005—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
본 발명은 인공 신경망을 이용해 특정인의 얼굴을 고속으로 인식하고 그 인식된 특정인의 얼굴에 특수효과를 연출해 주는 시스템 및 방법에 관한 것으로, 입력 영상에서 객체 얼굴에 대해 바운딩 박스를 검출하는 바운딩 박스 검출부와; 검출된 각 객체의 바운딩 박스 내에서 얼굴의 특징에 해당하는 각 랜드마크와 랜드마크의 중심점을 검출하여 객체별 특징정보로서 저장하는 랜드마크 검출부와; 상기 객체별 특징정보를 사전 저장된 특정인의 것과 비교하여 상기 입력 영상내에서 상기 특정인을 추출하는 특정인 추출부와; 상기 추출된 특정인의 얼굴에 상기 특정인의 랜드마크 및 랜드마크의 중심점 정보를 이용하여 특수효과 객체를 부가하는 특수효과 처리부;를 포함함을 특징으로 한다.The present invention relates to a system and method for recognizing a specific person's face at high speed using an artificial neural network and producing a special effect on the recognized specific person's face, comprising: a bounding box detector for detecting a bounding box for an object face in an input image; and ; a landmark detection unit for detecting each landmark corresponding to a facial feature and a central point of the landmark within the bounding box of each detected object and storing the detected landmark information as feature information for each object; a specific person extraction unit for extracting the specific person from the input image by comparing the feature information for each object with that of a specific person stored in advance; and a special effect processing unit for adding a special effect object to the extracted face of the specific person by using information about a landmark of the specific person and a central point of the landmark.
Description
본 발명은 얼굴 인식 시스템에 관한 것으로, 특히 인공 신경망을 이용해 특정인의 얼굴을 고속으로 인식하고 그 인식된 특정인의 얼굴에 특수효과를 연출해 주는 시스템 및 방법에 관한 것이다.The present invention relates to a face recognition system, and more particularly, to a system and method for recognizing a specific person's face at high speed using an artificial neural network and producing special effects on the recognized specific person's face.
얼굴 인식 기술은 다양한 분야에서 활용되어 오고 있으며, 그 중 많이 쓰이는 방식은 새로 입력된 얼굴 영상이 미리 등록된 특정 얼굴과 동일한지 아닌지를 판단하는 인증 방식이다.Face recognition technology has been used in various fields, and a method widely used among them is an authentication method that determines whether a newly input face image is the same as a specific face registered in advance.
근래에는 동일한 얼굴을 인식해 내는 방법으로 각 얼굴의 다양한 샘플 영상으로 미리 신경망을 훈련시킨 뒤 훈련된 신경망을 이용하여 입력 영상의 얼굴을 인식하는 학습을 이용한 방법을 사용하고 있다.Recently, as a method of recognizing the same face, a method using learning is used in which a neural network is trained in advance with various sample images of each face and then the trained neural network is used to recognize the face of the input image.
이러한 인공 신경망 기술의 하나로서 딥러닝 기반의 얼굴 인식 알고리즘이 널리 사용되고 있는데, 이러한 딥러닝 기반의 얼굴 인식 알고리즘은 크게 딥러닝에 기반한 얼굴 검출, 얼굴 랜드마크 검출 및 얼굴 특징 추출로 구분할 수 있다.As one of these artificial neural network technologies, deep learning-based face recognition algorithms are widely used. These deep learning-based face recognition algorithms can be largely classified into deep learning-based face detection, facial landmark detection, and facial feature extraction.
딥러닝 기반의 얼굴 인식 알고리즘 기술은 공항이나 터미널, 금융거래 등에서 인증절차를 간소화하기 위한 기술로 활용되고 있음은 물론, 교차연령 얼굴인식기술로의 발전을 통해 실종 인물을 찾는데도 사용되고 있고, 영화 속 추억의 인물을 현재 시점에서 제작되는 영화 콘텐츠에 새로이 등장시키는 기술로도 활용되고 있는 등, 산업 전반에 걸쳐 폭넓게 응용 및 활용되고 있다.Deep learning-based face recognition algorithm technology is being used as a technology to simplify authentication procedures at airports, terminals, and financial transactions, as well as being used to find missing people through the development of cross-age face recognition technology. It is widely applied and utilized throughout the industry, such as being used as a technology to newly appear in movie contents produced at the present time.
딥러닝 기반의 얼굴 인식 알고리즘 기술을 활용한 또 하나의 예로서, 입력 이미지에 다수의 인물이 존재할 경우, 그리고 그 다수의 인물 중 특정인을 인식해 특수효과 처리해야 할 경우, 도 1에 도시한 바와 같이 화면 전체의 모든 얼굴에 바운딩 박스 처리(S10)하는 방식으로 얼굴을 검출하고, 검출된 얼굴 내에서 눈, 코, 입과 같은 얼굴 랜드마크를 검출(S20)하며, 검출된 각 얼굴 랜드마크를 통해 사전에 설정 혹은 저장된 특정인의 얼굴을 인식(S30)한 후, 그 인식된 특정인의 얼굴에 다시 바운딩 박스 처리(S40)하고, 이어서 얼굴 랜드마크를 검출(S50)한 후, 검출된 얼굴 랜드마크 정보를 이용해 원하는 특수효과 객체(딸기코, 토끼 귀, 모자이크 처리 등)를 부가(S60)하는 기술이 있다.As another example of using deep learning-based face recognition algorithm technology, when there are many people in an input image, and when a specific person needs to be recognized and processed with special effects, as shown in FIG. Similarly, faces are detected by way of bounding box processing (S10) for all faces on the entire screen, facial landmarks such as eyes, nose, and mouth are detected (S20) within the detected face, and each detected facial landmark is After recognizing the face of a specific person set or stored in advance through (S30), processing the bounding box again on the face of the recognized specific person (S40), and then detecting a face landmark (S50), and then the detected face landmark There is a technique of adding a desired special effect object (strawberry nose, rabbit ears, mosaic processing, etc.) using information (S60).
이와 같이 특정인의 얼굴에 특수효과를 연출하기 위해서는 이미지 내에 존재하는 특정인 얼굴의 랜드마크를 반복 검출해야 하는 관계로, 특정인의 얼굴을 인식하고 특수처리하기까지 소요되는 시간이 지연될 수밖에 없다. 이에 이러한 시간적 손실을 최소화할 수 있는 새로운 방안이 요구되는 바이다.In this way, in order to produce a special effect on the face of a specific person, it is necessary to repeatedly detect landmarks of the face of the specific person existing in the image, and thus the time required for recognizing and special processing the face of the specific person is inevitably delayed. Accordingly, a new method capable of minimizing such time loss is required.
이에 본 발명은 상술한 필요성에 따라 창안된 발명으로써, 본 발명의 주요 목적은 입력 영상에서 특정인의 얼굴을 고속으로 인식하고 그 인식된 얼굴에 특수효과 객체를 부가해 줄 수 있는 얼굴 인식을 통한 특수효과 연출 시스템 및 그 방법을 제공함에 있다.Accordingly, the present invention is an invention invented in accordance with the above-mentioned needs, and the main purpose of the present invention is to recognize a specific person's face in an input image at high speed and to add a special effect object to the recognized face. It is to provide an effect directing system and its method.
더 나아가 본 발명의 또 다른 목적은 입력 영상에서 특정인의 얼굴을 고속으로 인식해 특수효과 객체를 부가하되, 인식된 특정인 얼굴의 랜드마크 위치에 정확하게 특수효과 객체를 부가할 수 있는 얼굴 인식을 통한 특수효과 연출 시스템 및 그 방법을 제공함에 있다.Furthermore, another object of the present invention is to recognize a specific person's face in an input image at high speed and add a special effect object to a special effect object through face recognition that can accurately add a special effect object to a landmark position of a recognized specific person's face. It is to provide an effect directing system and its method.
또한 본 발명의 다른 목적은 영상 이미지에 존재하는 인물의 옆모습만으로도 특정인을 고속으로 인식할 수 있고 그 인식된 얼굴에 특수효과 객체를 부가해 특수효과를 연출할 수 있는 얼굴 인식을 통한 특수효과 연출 시스템 및 그 방법을 제공함에 있다.In addition, another object of the present invention is a special effect production system through face recognition capable of recognizing a specific person at high speed only with the profile of a person existing in a video image and adding a special effect object to the recognized face to produce a special effect, and in providing that method.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 얼굴 인식을 통한 특수효과 연출 시스템은,The special effect production system through face recognition according to an embodiment of the present invention for achieving the above object,
입력 영상에서 객체 얼굴에 대해 바운딩 박스를 검출하는 바운딩 박스 검출부와,a bounding box detector for detecting a bounding box for an object face in an input image;
검출된 각 객체의 바운딩 박스 내에서 얼굴의 특징에 해당하는 각 랜드마크와 랜드마크의 중심점을 검출하여 객체별 특징정보로서 저장하는 랜드마크 검출부와,A landmark detection unit for detecting each landmark corresponding to a facial feature and the central point of the landmark within the bounding box of each detected object and storing it as feature information for each object;
상기 객체별 특징정보를 사전 저장된 특정인의 것과 비교하여 상기 입력 영상내에서 상기 특정인을 추출하는 특정인 추출부와,A specific person extracting unit for extracting the specific person from the input image by comparing the feature information for each object with that of a specific person stored in advance;
추출된 특정인의 얼굴에 상기 특정인의 랜드마크 및 중심점 정보를 이용하여 특수효과 객체를 부가하는 특수효과 처리부를 포함함을 특징으로 한다.It is characterized in that it includes a special effect processor for adding a special effect object to the face of the specific person by using landmark and center point information of the specific person.
더 나아가 본 발명의 또 다른 실시예에 따른 얼굴 인식을 통한 특수효과 연출 시스템은 상술한 구성 외에,Furthermore, the special effect directing system through face recognition according to another embodiment of the present invention, in addition to the above configuration,
특정인의 특징정보 설정명령 입력시에 디바이스 카메라를 활성화시키고, 카메라 조작에 따라 얻어지는 캡쳐 영상을 상기 바운딩 박스 검출부로 전달하며, 상기 랜드마크 검출부를 통해 얻어지는 객체별 특징정보를 특정인의 특징정보로서 저장하는 특징정보 설정부를 더 포함함을 또 다른 특징으로 한다.When a specific person's feature information setting command is input, the device camera is activated, the captured image obtained according to the camera operation is transmitted to the bounding box detector, and the feature information for each object obtained through the landmark detector is stored as the feature information of the specific person Another feature is that it further includes a feature information setting unit.
상술한 시스템들에서 상기 랜드마크 검출부는,In the above systems, the landmark detection unit,
랜드마크로서 눈, 코, 입, 귀에 대한 바운딩 박스 좌표와 각 바운딩 박스의 중심점 좌표를 상기 객체별 특징정보로 검출함을 또 다른 특징으로 한다.Another feature is that the bounding box coordinates of the eyes, nose, mouth, and ears as landmarks and the center point coordinates of each bounding box are detected as the feature information for each object.
또한, 상기 바운딩 박스 검출부와 상기 랜드마크 검출부, 상기 특정인 추출부 및 상기 특수효과 처리부 각각은 프로그램 코드 데이터로서, 카메라 부착된 디바이스의 메모리에 저장되어 실행 가능한 어플리케이션을 구성함을 또 다른 특징으로 한다.In addition, the bounding box detection unit, the landmark detection unit, the specific person extraction unit, and the special effect processing unit are program code data, which are stored in the memory of a camera-attached device and constitute an executable application.
한편 본 발명의 또 다른 실시예에 따른 얼굴 인식을 통한 특수효과 연출 방법은 통신망 혹은 카메라를 통해 영상이 입력 가능한 디바이스에서 실행 가능한 방법으로서,On the other hand, a special effect directing method through face recognition according to another embodiment of the present invention is a method that can be executed in a device capable of inputting an image through a communication network or a camera,
입력 영상에서 객체 얼굴에 대해 바운딩 박스를 검출하는 제1단계와;a first step of detecting a bounding box for an object face in an input image;
검출된 각 객체의 바운딩 박스 내에서 얼굴의 특징에 해당하는 각 랜드마크와 랜드마크의 중심점을 검출하여 객체별 특징정보로서 저장하는 제2단계와;a second step of detecting each landmark corresponding to a feature of a face and the central point of the landmark within the bounding box of each detected object and storing them as feature information for each object;
상기 객체별 특징정보를 사전 저장된 특정인의 것과 비교하여 상기 입력 영상 내에서 상기 특정인을 추출하는 제3단계와;a third step of extracting the specific person from the input image by comparing the feature information for each object with that of the specific person stored in advance;
추출된 특정인의 얼굴에 상기 특정인의 랜드마크 및 중심점 정보를 이용하여 특수효과 객체를 부가하는 제4단계;를 포함함을 특징으로 한다.and a fourth step of adding a special effect object to the extracted face of the specific person by using landmark and central point information of the specific person.
더 나아가 본 발명의 또 다른 실시예에 따른 얼굴 인식을 통한 특수효과 연출 방법은 상술한 구성 외에,Furthermore, a special effect production method through face recognition according to another embodiment of the present invention, in addition to the above configuration,
특정인의 특징정보 설정명령 입력시에 상기 카메라를 활성화시키고, 카메라 조작에 따라 얻어지는 캡쳐 영상에서 특정인의 특징정보를 검출해 식별정보와 함께 저장하는 단계;를 더 포함함을 특징으로 한다.It is characterized by further comprising; activating the camera when a command to set feature information of a specific person is input, detecting feature information of a specific person from a captured image obtained by manipulating the camera, and storing the feature information along with identification information.
아울러 상술한 제1단계 내지 제4단계는 영상통화 모드에서 수행됨을 특징으로 한다.In addition, the above-described steps 1 to 4 are characterized in that they are performed in a video call mode.
상술한 기술적 과제 해결 수단에 따르면, 본 발명의 실시예에 따른 얼굴 인식을 통한 특수효과 연출 시스템은 입력 영상 내에 존재하는 모든 얼굴의 특징을 나타내는 랜드마크를 검출하고, 그 검출된 랜드마크와 랜드마크의 중심점을 추출해 미리 저장된 특정인의 것과 비교하는 방식을 통해 입력 영상 내에서 특정인을 찾기 때문에, 입력 영상에 대해 두 번의 바운딩 박스와 두 번의 랜드마크 검출을 통해 특정인을 찾는 종전 방식에 비해 고속으로 특정인의 얼굴을 인식할 수 있는 장점이 있고,According to the above-described means for solving the technical problem, the special effect directing system through face recognition according to an embodiment of the present invention detects landmarks representing characteristics of all faces present in an input image, and the detected landmarks and landmarks Because a specific person is found in the input image by extracting the center point of and comparing it with that of a specific person stored in advance, it is possible to find a specific person at a higher speed than the previous method of finding a specific person through two bounding boxes and two landmark detections for the input image. It has the advantage of being able to recognize faces,
더 나아가 본 발명은 특정인의 얼굴에 특수효과 객체를 부가함에 있어, 얼굴의 랜드마크 상호간의 위치정보와 랜드마크 중심점 상호간의 위치정보를 이용해 보다 정확한 위치에 정확한 화면비율로 특수효과 객체를 부가할 수 있어 영상 합성 부분에 대한 이질감을 현저히 줄일 수 있는 장점도 있다.Furthermore, in the present invention, in adding a special effect object to the face of a specific person, the special effect object can be added at a more accurate location and with an accurate aspect ratio by using location information between landmarks of the face and location information between landmark center points. It also has the advantage of significantly reducing the sense of heterogeneity in the video synthesis part.
또한 본 발명은 귀, 목선 등을 새로운 랜드마크로 검출할 수 있기 때문에 옆 모습만으로도 특정인을 인식할 수 있는 장점도 있다.In addition, since the present invention can detect ears, necklines, etc. as new landmarks, there is an advantage in that a specific person can be recognized only by the profile.
도 1은 인식된 얼굴에 특수효과 객체를 부가하는 방법의 예시도.
도 2는 본 발명의 일 실시예에 따른 얼굴 인식을 통한 특수효과 연출 시스템의 구성 예시도.
도 3은 본 발명의 일 실시예에 따른 얼굴 인식을 통한 특수효과 연출 흐름 예시도.
도 4는 본 발명의 일 실시예에 따른 얼굴 랜드마크의 중심점 검출과정을 설명하기 위한 도면.1 is an exemplary view of a method of adding a special effect object to a recognized face;
2 is an exemplary configuration diagram of a special effect directing system through face recognition according to an embodiment of the present invention.
3 is an exemplary flow diagram of special effect presentation through face recognition according to an embodiment of the present invention.
4 is a diagram for explaining a process of detecting a central point of a face landmark according to an embodiment of the present invention.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시한 것으로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 또한 본 발명의 상세한 설명 및 청구항들에 걸쳐, '포함하다'라는 단어 및 그 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다. 더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 아울러 본 명세서에서 달리 표시되거나 분명히 문맥에 모순되지 않는 한, 단수로 지칭된 항목은, 그 문맥에서 달리 요구되지 않는 한, 복수의 것을 아우른다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다. 아울러 하기에서 사용되는 용어 중 '특수효과 객체'란 이모티콘, 이모지, 특수효과 연출을 위한 객체 이미지, 자신 혹은 특정인의 옛 얼굴 이미지를 포함하는 개념으로 이해하는 것이 바람직하다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The following detailed description of the present invention refers to the accompanying drawings, which illustrate and illustrate specific embodiments in which the present invention may be practiced in order to make the objects, technical solutions and advantages of the present invention clear. These embodiments are described in sufficient detail to enable a person skilled in the art to practice the present invention. Also throughout the description and claims of the present invention, the word 'comprise' and variations thereof are not intended to exclude other technical features, additions, components or steps. Other objects, advantages and characteristics of the present invention will appear to those skilled in the art, in part from this description and in part from practice of the invention. The examples and drawings below are provided as examples and are not intended to limit the invention. Moreover, the present invention covers all possible combinations of the embodiments shown herein. It should be understood that the various embodiments of the present invention are different from each other but are not necessarily mutually exclusive. Additionally, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the invention. Accordingly, the detailed description set forth below is not to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all equivalents as claimed by those claims. In addition, unless otherwise indicated herein or clearly contradicted by context, items referred to in the singular include plural unless otherwise required by the context. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description will be omitted. In addition, among the terms used below, 'special effect object' is preferably understood as a concept including emoticons, emojis, object images for directing special effects, and old face images of oneself or a specific person.
도 2는 본 발명의 일 실시예에 따른 얼굴 인식을 통한 특수효과 연출 시스템의 구성도를 예시한 것이다.2 illustrates a configuration diagram of a special effect directing system through face recognition according to an embodiment of the present invention.
본 발명의 실시예에 따른 얼굴 인식을 통한 특수효과 연출 시스템은 스마트폰과 같이 카메라가 부착되어 있는 디바이스는 물론, 영상 콘텐츠 편집이 가능한 방송 디바이스(장비)에 적용 가능한 시스템으로서, 각 디바이스의 메모리에 설치되어 디바이스의 프로세서에 의해 실행되는 어플리케이션 형태로 배포 가능한 시스템이다. 하기에서는 설명의 편의상 카메라가 부착되어 있는 스마트폰에 설치되어 운영되는 얼굴 인식을 통한 특수효과 연출 시스템에 대해 설명하기로 한다.A system for directing special effects through face recognition according to an embodiment of the present invention is a system applicable to broadcasting devices (equipment) capable of editing video content as well as devices to which cameras are attached, such as smart phones, and stores data in the memory of each device. It is a system that can be distributed in the form of an application that is installed and executed by the processor of the device. In the following, for convenience of explanation, a special effect directing system through face recognition installed and operated in a smartphone to which a camera is attached will be described.
도 2에 도시한 바와 같이 본 발명의 실시예에 따른 얼굴 인식을 통한 특수효과 연출 시스템(100)은,As shown in FIG. 2, the special effect directing system 100 through face recognition according to an embodiment of the present invention,
입력 영상에서 객체 얼굴에 대해 바운딩 박스를 검출하는 바운딩 박스 검출부(105)와,a bounding box detection unit 105 for detecting a bounding box for an object face in an input image;
검출된 각 객체의 바운딩 박스 내에서 얼굴의 특징에 해당하는 각 랜드마크와 랜드마크의 중심점을 검출하여 객체별 특징정보로서 내부 메모리(130)에 저장하는 랜드마크 검출부(110)와,A landmark detection unit 110 for detecting each landmark corresponding to a facial feature and the central point of the landmark within the bounding box of each detected object and storing it in the
상기 객체별 특징정보를 사전 저장된 특정인의 것(랜드마크와 랜드마크의 중심점)과 비교하여 상기 입력 영상내에서 상기 특정인을 추출하는 특정인 추출부(115)와,A specific person extraction unit 115 for extracting the specific person from the input image by comparing the feature information for each object with that of the specific person (landmark and center point of the landmark) stored in advance;
상기 추출된 특정인의 얼굴에 상기 특정인의 랜드마크 및 중심점 정보를 이용하여 특수효과 객체를 부가하는 특수효과 처리부(120)를 포함한다.and a special effect processing unit 120 that adds a special effect object to the extracted specific person's face using landmark and central point information of the specific person.
경우에 따라 본 발명의 실시예에 따른 얼굴 인식을 통한 특수효과 연출 시스템(100)은 디바이스 사용자로부터 유저 인터페이스 화면을 통해 특정인의 특징정보 설정명령이 입력되면 디바이스 카메라를 활성화시키고, 카메라 조작에 따라 얻어지는 캡쳐 영상을 상기 바운딩 박스 검출부(105)로 전달하며, 상기 랜드마크 검출부(105)를 통해 얻어지는 객체별 특징정보를 특정인의 특징정보로서 내부 메모리(130)에 저장하는 특징정보 설정부(125)를 더 포함할 수 있다.In some cases, the special effect directing system 100 through face recognition according to an embodiment of the present invention activates the device camera when a command to set feature information of a specific person is input from a device user through a user interface screen, and obtains by operating the camera A feature information setting unit 125 that transmits the captured image to the bounding box detector 105 and stores the feature information for each object obtained through the landmark detector 105 in the
참고적으로, 상기 랜드마크 검출부(110)는 랜드마크로서 눈, 코, 입, 귀, 목에 대한 바운딩 박스 좌표와 각 바운딩 박스의 중심점 좌표를 객체별 특징정보로 검출할 수 있다. 이에 대해서는 도 3에서 보다 구체적으로 설명하기로 한다.For reference, the landmark detection unit 110 may detect bounding box coordinates of the eye, nose, mouth, ear, and neck as landmarks and coordinates of the center point of each bounding box as feature information for each object. This will be described in more detail with reference to FIG. 3 .
상술한 특수효과 연출 시스템(100)을 구성하는 구성요소들, 즉 바운딩 박스 검출부(105), 랜드마크 검출부(110), 특정인 추출부(115), 특수효과 처리부(120), 경우에 따라서는 특징정보 설정부(125) 각각은 프로그램 코드 데이터로서, 카메라 부착된 디바이스의 메모리(130)에 저장되어 실행 가능한 어플리케이션을 구성한다.The components constituting the above-mentioned special effects directing system 100, that is, the bounding box detection unit 105, the landmark detection unit 110, the specific person extraction unit 115, the special effect processing unit 120, and in some cases, the characteristics Each of the information setting units 125 is program code data, which is stored in the
한편, 도 2에서 미설명된 영상 입력부(200)는 특수효과가 연출되는 동작모드에 따라 실시간 영상이 입력되는 카메라일 수 있고, 저장된 영상이 재생되는 영상 재생부일 수 있으며, 통신망을 통해 영상 통화가 이루어지는 경우에는 수신 신호에 포함된 영상을 재생하는 영상신호 처리부일 수 있다.Meanwhile, the
아울러 영상 표시부(300)는 스마트폰에 구비된 표시부로서, 영상 통화모드에서 통화 상대방의 영상이 표시되며, 통화 상대방이 사전 설정된 특정인에 해당될 경우 특수효과 객체가 부가된 영상으로 표시된다.In addition, the
이하 상술한 구성을 포함하는 얼굴 인식을 통한 특수효과 연출 시스템(100)의 동작을 첨부 도면을 참조하여 보다 상세히 설명하기로 한다.Hereinafter, the operation of the special effect directing system 100 through face recognition including the above-described configuration will be described in more detail with reference to the accompanying drawings.
우선 도 3은 본 발명의 일 실시예에 따른 얼굴 인식을 통한 특수효과 연출 흐름도를 예시한 것이며, 도 4는 본 발명의 일 실시예에 따른 얼굴 랜드마크의 중심점 검출과정을 부연 설명하기 위한 도면을 도시한 것이다.First, FIG. 3 illustrates a flowchart for directing special effects through face recognition according to an embodiment of the present invention, and FIG. 4 is a diagram for further explaining the process of detecting the central point of a facial landmark according to an embodiment of the present invention. it is depicted
도 3을 설명하기에 앞서 카메라 영상에서 혹은 통화 영상에서 혹은 재생 영상에서 특정인을 추출하기 위해서는 우선적으로 특정인의 특징정보를 사전 설정해 놓아야 한다. 이러한 특정인의 특징정보는 디바이스 사용자의 명령(이하 특정인의 특징정보 설정명령이라 정의함)에 따라 특징정보 설정부(125)에 의해서 검출될 수 있다.Prior to the description of FIG. 3 , in order to extract a specific person from a camera image, a call video, or a playback video, first of all, feature information of a specific person must be set in advance. Such characteristic information of a specific person may be detected by the characteristic information setting unit 125 according to a device user's command (hereinafter, defined as a specific person's characteristic information setting command).
즉, 특정인의 특징정보 설정명령이 입력되면 특징정보 설정부(125)는 디바이스의 카메라를 활성화시키고, 카메라 조작에 따라 얻어지는 캡쳐 영상을 후술할 바운딩 박스 검출부(105)로 전달하며, 랜드마크 검출부(110)를 통해 얻어지는 객체별 특징정보를 특정인의 특징정보로서 내부 메모리(130)에 저장한다. 이러한 경우 객체별 특징정보는 특정인의 식별정보가 포함되는 개념으로 이해하는 것이 바람직하다. 참고적으로 특징정보란 랜드마크와 각 랜드마크의 중심점을 포함하는 개념이다.That is, when a specific person's feature information setting command is input, the feature information setting unit 125 activates the camera of the device, transfers the captured image obtained according to the camera operation to the bounding box detection unit 105 to be described later, and landmark detection unit ( 110), the object-specific feature information is stored in the
위 예시에서는 카메라 영상에서 특정인의 특징정보를 검출하는 것을 설명하였으나, 통화 영상 혹은 재생 영상에서도 특정인의 캡쳐 영상을 얻을 수 있고, 통화 영상에서도 특정인의 캡쳐 영상을 얻을 수 있기 때문에 상술한 방법으로 특정인의 특징정보를 검출하여 디바이스에 사전 저장할 수 있다.In the above example, detection of the feature information of a specific person from a camera image has been described, but a captured image of a specific person can be obtained from a call video or a playback video, and a captured image of a specific person can also be obtained from a call video. Characteristic information may be detected and pre-stored in the device.
이상과 같이 특정인의 특징정보가 디바이스에 저장된 상태에서, 통화 영상 혹은 카메라 영상 혹은 재생 영상에 대해 특정인에 대한 특수효과 연출 명령이 입력되면, 특수효과 연출 시스템(100)의 바운딩 박스 검출부(105)는 입력 영상에 대해 모든 얼굴이 위치한 영역을 바운딩 박스로 검출(S100단계)한다. 바운딩 박스로 얼굴이 위치한 영역을 검출하는 것은 이미 공지된 기술이므로 이에 대한 상세 설명은 생략하기로 한다.As described above, in a state in which the characteristic information of a specific person is stored in the device, when a special effect directing command for a specific person is input to a call video, camera video, or playback video, the bounding box detection unit 105 of the special effect directing system 100 A region where all faces are located in the input image is detected as a bounding box (step S100). Since detecting a region where a face is located using a bounding box is a known technique, a detailed description thereof will be omitted.
바운딩 박스 검출부(105)에 의해 영상 이미지 내에 존재하는 하나 이상의 얼굴 영역이 모두 검출되면, 랜드마크 검출부(110)는 검출된 각 객체(얼굴에 해당하는 것으로 가정한다)의 바운딩 박스 내에서 얼굴의 주요 특징에 해당하는 각 랜드마크, 보다 구체적으로는 랜드마크의 좌표와 랜드마크의 중심점 좌표를 검출하여 객체별 특징정보로서 내부 메모리(130)에 일시 저장(S110단계)한다.When all of the one or more face regions present in the video image are detected by the bounding box detection unit 105, the landmark detection unit 110 determines the main face of the face within the bounding box of each detected object (assumed to correspond to a face). Each landmark corresponding to the feature, more specifically, the coordinates of the landmark and the coordinates of the center point of the landmark are detected and temporarily stored in the
얼굴에 포함되는 랜드마크의 좌표값은 예를 들어, 얼굴의 외곽선, 눈, 눈썹, 코, 입, 귀, 목선 등의 윤곽선 상의 복수의 점의 좌표값을 포함할 수 있다. 이러한 랜드마크 검출부(110)는 인공 신경망 모델(CNN) 또는 수학적 모델을 통해 프레임 단위로 각 랜드마크의 좌표값과 중심점 좌표를 추출해 출력할 수 있다.The coordinate values of landmarks included in the face may include, for example, coordinate values of a plurality of points on the outline of the face, eyes, eyebrows, nose, mouth, ears, neck, and the like. The landmark detection unit 110 may extract and output coordinate values and center point coordinates of each landmark on a frame basis through an artificial neural network model (CNN) or a mathematical model.
이를 도 4를 참조해 부연 설명하면, 우선 랜드마크 검출부(110)는 컨벌루션 층(400, 404,..)과 C(center)-풀링층(402, 406, 408,..)이 교호적으로 위치한다. 이러한 레이어 구조에서 랜드마크 검출부(110)는 컨벌루션층을 통해 각 랜드마크의 모서리 좌표값을 순차적으로 추출하며, C-풀링층을 통해서는 바로 앞단에 위치한 컨벌루션층에서 추출된 랜드마크에 대한 중심점 좌표를 추출할 수 있다. 따라서 랜드마크 검출부(110)는 얼굴 영역의 네 모서리 좌표와 그 중심점 좌표, 좌측 눈 영역의 네 모서리 좌표와 그 중심점 좌표, 우측 눈 영역의 네 모서리 좌표와 그 중심점 좌표, 입 영역, 우측 귀, 좌측 귀, 코와 같은 각 랜드마크의 좌표값과 그 중심점 좌표를 추출한다If this is further explained with reference to FIG. 4, first, the landmark detection unit 110 alternately includes
랜드마크 검출부(110)를 통해 입력 영상에 존재하는 모든 얼굴들에 대한 특징정보가 추출되면, 이후 특정인 추출부(115)는 추출된 특징정보들을 사전 저장된 특정인의 것과 비교하여 일치하는(혹은 유사도가 설정된 임계치를 초과하는) 사람을 상기 특정인으로 설정한다. 이로써 특정인 추출부(115)는 특징정보의 비교를 통해 상기 입력 영상 내에서 상기 특정인을 추출(S120단계)할 수 있다.After feature information on all faces present in the input image is extracted through the landmark detection unit 110, the specific person extraction unit 115 then compares the extracted feature information with that of a specific person stored in advance to find a match (or similarity). A person exceeding a set threshold) is set as the specific person. Accordingly, the specific person extraction unit 115 may extract the specific person from the input image through comparison of feature information (step S120).
이후 특수효과 처리부(120)는 S120단계에서 추출된 특정인의 얼굴에 특정인의 특징정보, 즉 랜드마크 좌표와 그 중심점 좌표를 이용하여 특수효과 객체를 부가(S130단계)한다.Thereafter, the special effect processing unit 120 adds a special effect object to the face of the specific person extracted in step S120 by using the feature information of the specific person, that is, the landmark coordinates and the center point coordinates thereof (step S130).
예를 들어 디바이스 사용자가 특수효과 연출을 위해 선택하는 특수효과 객체가 '토끼 귀'라 가정하면, 특수효과 처리부(120)는 입력 영상에서 추출된 특정인의 귀 위치에 '토끼 귀'를 부가(합성의 개념으로 이해하는 것이 바람직하다)하는데, 단순히 특정인의 귀 위치에 '토끼 귀'를 부가하는 것이 아니라, 특정인의 랜드마크 상호간의 좌표와 각각의 중심점 좌표, 각 랜드마크 중심점 상호간의 좌표값을 고려해 토끼 귀의 위치, 화면내 토끼 귀의 표시비율 등을 조절하여 부가한다. 참고적으로, 특수효과 객체의 선택은 특수효과 연출 시스템(100)에서 제공하는 유저 인터페이스 화면을 통해 선택하도록 유도할 수 있다. For example, assuming that the special effect object selected by the device user for directing special effects is 'rabbit ears', the special effect processing unit 120 adds 'rabbit ears' to the ears of a specific person extracted from the input image (synthesis). It is desirable to understand it as the concept of), but it is not simply adding 'rabbit ears' to the ear position of a specific person, but considering the coordinates of the specific person's landmarks, the coordinates of each center point, and the coordinates of each landmark center point. It is added by adjusting the location of rabbit ears and the display ratio of rabbit ears on the screen. For reference, selection of a special effect object may be induced through a user interface screen provided by the special effect directing system 100 .
이상에서 설명한 바에 따르면, 본 발명의 실시예에 따른 얼굴 인식을 통한 특수효과 연출 시스템(100)은 입력 영상 내에 존재하는 모든 얼굴의 특징을 나타내는 랜드마크를 검출하고, 그 검출된 랜드마크와 랜드마크의 중심점을 추출해 미리 저장된 특정인의 것과 비교하는 방식을 통해 입력 영상 내에서 특정인을 찾기 때문에, 입력 영상에서 두 번의 바운딩 박스와 두 번의 랜드마크 검출을 통해 특정인을 찾는 종전 방식에 비해 고속으로 특정인의 얼굴을 인식할 수 있는 장점이 있고,According to the above description, the special effect directing system 100 through face recognition according to an embodiment of the present invention detects landmarks representing all facial features present in an input image, and the detected landmarks and landmarks. Because a specific person is found in the input image by extracting the center point of and comparing it with that of a specific person stored in advance, the face of a specific person is faster than the previous method of finding a specific person through two bounding boxes and two landmark detections in the input image. has the advantage of being able to recognize
더 나아가 본 발명은 특정인의 얼굴에 특수효과 객체를 부가함에 있어, 얼굴의 랜드마크 상호간의 위치정보와 랜드마크 중심점 상호간의 위치정보를 이용해 보다 정확한 위치에 정확한 화면비율로 특수효과 객체를 부가할 수 있어 영상 합성 부분에 대한 이질감을 현저히 줄일 수 있는 장점도 있다.Furthermore, in the present invention, in adding a special effect object to the face of a specific person, the special effect object can be added at a more accurate location and with an accurate aspect ratio by using location information between landmarks of the face and location information between landmark center points. It also has the advantage of significantly reducing the sense of heterogeneity in the video synthesis part.
또한 본 발명은 귀, 목선 등을 새로운 랜드마크로 검출할 수 있기 때문에 옆 모습만으로도 특정인을 인식할 수 있는 장점도 있다.In addition, since the present invention can detect ears, necklines, etc. as new landmarks, there is an advantage in that a specific person can be recognized only by the profile.
이상 본 발명은 도면에 도시된 실시예들을 참고로 설명하였으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타실시예가 가능하다는 점을 이해할 것이다. 예를 들면, 본 실시예에서는 하나의 스마트폰 어플리케이션으로 구현된 예를 설명하였지만, 별다른 변형 없이 영상 콘텐츠를 제작할 수 있는 영상(방송) 편집 시스템에 설치되어 실행되는 응용 프로그램으로 구현될 수도 있을 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.The present invention has been described above with reference to the embodiments shown in the drawings, but this is only exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. For example, in this embodiment, an example implemented as a single smartphone application has been described, but it may be implemented as an application program installed and executed in a video (broadcasting) editing system capable of producing video contents without any modification. Therefore, the true technical scope of protection of the present invention should be defined only by the appended claims.
Claims (8)
입력 영상에서 객체 얼굴에 대해 바운딩 박스를 검출하는 바운딩 박스 검출부와;
검출된 각 객체의 바운딩 박스 내에서 얼굴의 특징에 해당하는 눈, 코, 입, 귀에 대한 랜드마크의 좌표값과 상기 눈, 코, 입, 귀에 대한 랜드마크의 중심점 좌표값을 검출하여 객체별 특징정보로서 저장하는 랜드마크 검출부와;
상기 객체별 특징정보를 사전 저장된 특정인의 것과 비교하여 상기 입력 영상내에서 상기 특정인을 추출하는 특정인 추출부와;
상기 추출된 특정인의 얼굴에 특수효과 객체를 부가하되, 상기 특정인의 눈,코, 입, 귀에 대한 랜드마크 상호간의 좌표값과 각 랜드마크의 중심점 좌표값, 각 랜드마크 중심점 상호간의 좌표값을 이용하여 상기 특수효과 객체의 표시비율을 조절해 부가하는 특수효과 처리부;를 포함함을 특징으로 하는 얼굴 인식을 통한 특수효과 연출 시스템.As a special effect directing system executed by a processor of a device to which a camera is attached,
a bounding box detector for detecting a bounding box of an object face in an input image;
Within the bounding box of each detected object, the coordinate values of the landmarks for the eyes, nose, mouth, and ears corresponding to facial features and the coordinate values of the center points of the landmarks for the eyes, nose, mouth, and ears are detected, and features of each object are detected. a landmark detection unit that stores information as information;
a specific person extraction unit for extracting the specific person from the input image by comparing the feature information for each object with that of a specific person stored in advance;
A special effect object is added to the extracted face of the specific person, using the coordinate values between the landmarks for the eyes, nose, mouth, and ears of the specific person, the coordinate values of the center point of each landmark, and the coordinate values between the center points of each landmark. A special effect production system through face recognition, characterized in that it includes;
입력 영상에서 객체 얼굴에 대해 바운딩 박스를 검출하는 제1단계와;
검출된 각 객체의 바운딩 박스 내에서 얼굴의 특징에 해당하는 눈, 코, 입, 귀에 대한 랜드마크의 좌표값과 상기 눈, 코, 입, 귀에 대한 랜드마크의 중심점 좌표값을 검출하여 객체별 특징정보로서 저장하는 제2단계와;
상기 객체별 특징정보를 사전 저장된 특정인의 것과 비교하여 상기 입력 영상 내에서 상기 특정인을 추출하는 제3단계와;
상기 추출된 특정인의 얼굴에 특수효과 객체를 부가하되, 상기 특정인의 눈, 코, 입, 귀에 대한 랜드마크 상호간의 좌표값과 각 랜드마크의 중심점 좌표값, 각 랜드마크 중심점 상호간의 좌표값을 이용하여 상기 특수효과 객체의 표시비율을 조절해 부가하는 제4단계;를 포함함을 특징으로 하는 얼굴 인식을 통한 특수효과 연출 방법.In a device capable of inputting an image through a communication network or a camera,
a first step of detecting a bounding box for an object face in an input image;
Within the bounding box of each detected object, the coordinate values of the landmarks for the eyes, nose, mouth, and ears corresponding to facial features and the coordinate values of the center points of the landmarks for the eyes, nose, mouth, and ears are detected, and the characteristics of each object are detected. a second step of storing as information;
a third step of extracting the specific person from the input image by comparing the feature information for each object with that of the specific person stored in advance;
A special effect object is added to the extracted face of the specific person, using the coordinate values between the landmarks for the eyes, nose, mouth, and ears of the specific person, the coordinate values of the center point of each landmark, and the coordinate values between the center points of each landmark. A fourth step of adjusting the display ratio of the special effect object and adding it; special effect directing method through face recognition, characterized in that it comprises a.
The method according to claim 5, wherein the program code data for implementing the first to fourth steps are stored in the memory of the device to form an executable application.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210123756A KR102529209B1 (en) | 2021-09-16 | 2021-09-16 | Special effect production system using face recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210123756A KR102529209B1 (en) | 2021-09-16 | 2021-09-16 | Special effect production system using face recognition |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230041122A KR20230041122A (en) | 2023-03-24 |
| KR102529209B1 true KR102529209B1 (en) | 2023-05-09 |
Family
ID=85872452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210123756A KR102529209B1 (en) | 2021-09-16 | 2021-09-16 | Special effect production system using face recognition |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102529209B1 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8542928B2 (en) * | 2005-09-26 | 2013-09-24 | Canon Kabushiki Kaisha | Information processing apparatus and control method therefor |
| KR100958595B1 (en) * | 2008-06-03 | 2010-05-18 | 이현주 | apparatus and method for complexing image in visual communication terminal |
| KR101931271B1 (en) | 2018-05-11 | 2018-12-20 | 주식회사 다통솔루션 | Face Recognition Method and Apparatus Using Single Forward Pass |
| CN109657583B (en) | 2018-12-10 | 2021-10-22 | 腾讯科技（深圳）有限公司 | Face key point detection method and device, computer equipment and storage medium |
| KR20210091966A (en) * | 2020-01-15 | 2021-07-23 | 연세대학교 산학협력단 | Apparatus and method for recognizing face and stress |
-
2021
- 2021-09-16 KR KR1020210123756A patent/KR102529209B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230041122A (en) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7365445B2 (en) | Computing apparatus and method | |
| KR102299847B1 (en) | Face verifying method and apparatus | |
| US20200364443A1 (en) | Method for acquiring motion track and device thereof, storage medium, and terminal | |
| TWI677825B (en) | Method of video object tracking and apparatus thereof and non-volatile computer readable storage medium | |
| US9721156B2 (en) | Gift card recognition using a camera | |
| US6959099B2 (en) | Method and apparatus for automatic face blurring | |
| TW201911130A (en) | Method and device for remake image recognition | |
| US10255690B2 (en) | System and method to modify display of augmented reality content | |
| US10592726B2 (en) | Manufacturing part identification using computer vision and machine learning | |
| CN111696176B (en) | Image processing method, image processing device, electronic equipment and computer readable medium | |
| CN110688930A (en) | Face detection method, face detection device, mobile terminal and storage medium | |
| US10592759B2 (en) | Object recognition apparatus and control method therefor | |
| CN106295515A (en) | Determine the method and device of human face region in image | |
| KR20180092494A (en) | System and method for refining training image | |
| KR20170095632A (en) | Face recognition method | |
| US20210342967A1 (en) | Method for securing image and electronic device performing same | |
| US9262689B1 (en) | Optimizing pre-processing times for faster response | |
| US11954595B2 (en) | Electronic device for recognizing object in image, and operation method thereof | |
| KR102529209B1 (en) | Special effect production system using face recognition | |
| WO2013145874A1 (en) | Information processing device, information processing method and program | |
| CN111813995A (en) | Pedestrian article extraction behavior detection method and system based on space-time relationship | |
| JP2020052788A (en) | Image processing system and method therefor, and program | |
| CN109741243B (en) | Color sketch image generation method and related product | |
| CN106503697A (en) | Target identification method and device, face identification method and device | |
| JP6064995B2 (en) | Information processing apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |