KR20200065115A - Method for Protecting Portrait Right by Using Mobile Device - Google Patents

Method for Protecting Portrait Right by Using Mobile Device Download PDF

Info

Publication number
KR20200065115A
KR20200065115A KR1020180150270A KR20180150270A KR20200065115A KR 20200065115 A KR20200065115 A KR 20200065115A KR 1020180150270 A KR1020180150270 A KR 1020180150270A KR 20180150270 A KR20180150270 A KR 20180150270A KR 20200065115 A KR20200065115 A KR 20200065115A
Authority
KR
South Korea
Prior art keywords
facial
feature point
area
face
information
Prior art date
Application number
KR1020180150270A
Other languages
Korean (ko)
Other versions
KR102238939B1 (en
Inventor
신철호
이길재
김용철
방승온
Original Assignee
오지큐 주식회사
(주)지와이네트웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오지큐 주식회사, (주)지와이네트웍스 filed Critical 오지큐 주식회사
Priority to KR1020180150270A priority Critical patent/KR102238939B1/en
Priority to JP2019003767A priority patent/JP2020087399A/en
Publication of KR20200065115A publication Critical patent/KR20200065115A/en
Application granted granted Critical
Publication of KR102238939B1 publication Critical patent/KR102238939B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Abstract

The present invention relates to a method for protecting portrait rights using a wireless terminal, and to prevent an unexpected portrait rights problem. According to the present invention, the method for protecting the portrait rights using the wireless terminal is executed through an application of the wireless terminal including a touchscreen and one or more camera units and comprises: a first step of reading video or photograph information acquired through the predetermined camera unit to recognizing N facial feature point relations for each of N facial regions corresponding to N(N>=1) facial regions; a second step of linking with a storage medium, which is set to store and manage registered facial feature point combinations registered to discriminate a facial region set as a marking target, to discriminate n(0<=n<=N) facial feature point relations matched with at least a part of the registered facial feature point combinations within a preset allowance range among the N facial feature point relations recognized from the video or photograph information; and a third step of determining, as an effective facial region, n facial regions corresponding to the n matched feature point relations among the N facial regions included in the video or photographing information or processing (N-n) facial regions corresponding to (N-n) unmatched feature point relations as a hidden facial region.

Description

무선단말을 이용한 초상권 보호 방법{Method for Protecting Portrait Right by Using Mobile Device}Method for Protecting Portrait Right by Using Mobile Device

본 발명은 무선단말을 이용한 초상권 보호 방법에 관한 것으로, 무선단말의 카메라부를 통해 촬영되는 영상정보 또는 사진정보를 판독하여, 상기 영상정보 또는 사진정보에 포함된 하나 이상의 안면영역을 인식하고, 표시 대상으로 설정된 안면영역을 판별하기 위해 등록된 안면 특징점 조합을 근거로 상기 인식된 하나 이상의 안면영역을 유효 안면영역으로 결정하거나 또는 은폐 안면영역으로 처리하는 것이다.The present invention relates to a method for protecting portrait rights using a wireless terminal, which reads image information or photo information photographed through the camera unit of the wireless terminal, recognizes one or more facial areas included in the image information or photo information, and displays the object. In order to determine the facial area set as, the recognized one or more facial areas are determined as the effective facial area or processed as a hidden facial area based on the combination of registered facial feature points.

이동통신기술의 발달로 휴대폰의 보급이 급속화 되었고, 휴대폰에 내장된 카메라 기술이 발전하고 SNS가 대중화 되면서 많은 사람들이 사진이나 영상을 촬영하는 일이 많아졌고, 촬영한 사진이나 영상을 지인 또는 대중들과 SNS 등을 통해 공유하고 있다.With the development of mobile communication technology, the spread of mobile phones has accelerated, and the camera technology embedded in mobile phones has been developed and SNS has become popular, so many people have taken photos or videos, acquaintances or the public. And SNS.

그러나, 사진이나 영상을 공유하게 되면서 의도치 않게 사진이나 영상에 촬영된 타인이 노출되어 피해를 입는 경우가 종종 발생하고 있다.However, when a photo or video is shared, it is often the case that an accidentally exposed person is exposed to the photo or video.

이러한 피해를 막기 위해서는 포토샵 등 사진이나 영상의 편집이 가능한 별도의 프로그램을 통해 사진이나 영상에 의도치 않게 촬영된 타인을 가리거나 모자이크 처리해야 하는 번거로움이 있었다.In order to prevent such damage, there was a hassle to mask or mosaic someone who was accidentally photographed on a photo or video through a separate program capable of editing a photo or video, such as Photoshop.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 무선단말의 카메라부를 통해 촬영되는 영상정보 또는 사진정보를 판독하여, 상기 영상정보 또는 사진정보에 포함된 하나 이상의 안면영역을 인식하고, 표시 대상으로 설정된 안면영역을 판별하기 위해 등록된 안면 특징점 조합을 근거로 상기 인식된 하나 이상의 안면영역을 유효 안면영역으로 결정하거나 또는 은폐 안면영역으로 처리하는 무선단말을 이용한 초상권 보호 방법을 제공함에 있다.An object of the present invention for solving the above problems is to read image information or photo information photographed through the camera unit of the wireless terminal, recognize one or more facial areas included in the image information or photo information, and display targets It is to provide a method of protecting a portrait using a wireless terminal that determines one or more of the recognized facial areas as an effective facial area based on a combination of registered facial feature points to determine a facial area set as.

본 발명에 따른 무선단말을 이용한 초상권 보호 방법은, 터치스크린과 하나 이상의 카메라부를 구비한 무선단말의 앱을 통해 실행되는 방법에 있어서, 지정된 카메라부를 통해 획득되는 영상정보나 사진정보를 판독하여 N(N≥1)개의 안면영역에 대응하는 N개의 안면영역 별 N개의 안면 특징점 관계를 인식하는 제1 단계와, 표시 대상으로 설정된 안면영역을 판별하기 위해 등록된 안면 특징점 조합을 저장 관리하는 지정된 저장매체와 연동하여 상기 영상정보나 사진정보로부터 인식된 N개의 안면 특징점 관계 중 상기 등록된 특정 안면 특징점 조합의 적어도 일부와 기 설정된 허용 오차 범위 내에서 매칭되는 n(0≤n≤N)개의 안면 특징점 관계를 판별하는 제2 단계와, 상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 매칭된 n개의 안면 특징점 관계에 대응하는 n개의 안면영역을 유효 안면영역으로 결정하거나 비매칭된 (N-n)개의 안면 특징점 관계에 대응하는 (N-n)개의 안면영역을 은폐 안면영역으로 처리하는 제3 단계를 포함하여 구성될 수 있다.The method for protecting portrait rights using a wireless terminal according to the present invention is a method executed through an app of a wireless terminal having a touch screen and one or more camera units, and reads image information or photo information acquired through a designated camera unit, and N ( A first step of recognizing the relationship between N facial feature points per N facial areas corresponding to N≥1) facial areas, and a designated storage medium that stores and manages a combination of registered facial feature points to determine a facial area set as a display target N(0≤n≤N) facial feature point relationships that match within at least a portion of the registered specific facial feature point combinations among N facial feature point relationships recognized from the image information or photo information in association with the preset tolerance. A second step of determining, and n facial areas corresponding to the matched n facial feature point relationships among the N facial areas included in the image information or the picture information are determined as effective facial areas or unmatched (Nn) And a third step of processing (Nn) facial areas corresponding to the relationship between the facial feature points of the dog into a concealed facial area.

본 발명에 따르면, 상기 영상정보는, 상기 카메라부를 통해 입력되어 지정된 버퍼영역에 버퍼링되는 영상정보를 포함하여 이루어질 수 있다.According to the present invention, the video information may include video information input through the camera unit and buffered in a designated buffer area.

또한, 본 발명에 따르면, 상기 영상정보는, 상기 카메라부를 통해 촬영되어 지정된 저장영역에 파일 형태로 저장된 영상정보를 포함하여 이루어질 수 있다.In addition, according to the present invention, the image information may be formed by including the image information stored in a file format in a designated storage area photographed through the camera unit.

본 발명에 따르면, 상기 사진정보는, 상기 카메라부를 통해 촬영되어 지정된 저장영역에 파일 형태로 저장된 사진정보를 포함하여 이루어질 수 있다.According to the present invention, the photo information may include photo information that is captured through the camera unit and stored in a file format in a designated storage area.

한편, 본 발명에 따른 무선단말을 이용한 초상권 보호 방법은, 상기 영상정보나 사진정보를 촬영한 카메라정보를 판독하여 상기 터치스크린을 구비한 면에 탑재된 전면 카메라부를 통해 촬영된 것인지 판별하고 상기 영상정보나 사진정보에 포함된 최근접 안면영역 크기와 상기 영상정보나 사진정보의 전체영역 크기 사이의 비율을 판독하여 기 설정된 셀카 비율 범위에 포함되는지 판별하는 단계와, 상기 영상정보나 사진정보가 상기 전면 카메라부를 통해 촬영되고 상기 최근접 안면영역 크기와 전체영역 크기 사이의 비율이 기 설정된 셀카 비율 범위에 포함되는 경우 상기 영상정보나 사진정보에 포함된 안면영역 중 미등록 안면영역을 은폐 처리하는 초상권 보호 기능을 활성화하는 단계를 더 포함하여 이루어질 수 있다.On the other hand, the method for protecting portrait rights using a wireless terminal according to the present invention, reads the camera information on which the video information or photo information is captured, determines whether the camera is photographed through a front camera unit mounted on a surface equipped with the touch screen, and determines the image Reading a ratio between the size of the closest face region included in the information or photo information and the size of the entire region of the image information or photo information to determine whether it is included in a preset selfie ratio range, and wherein the image information or photo information is the Protection of the portrait right of concealing the unregistered facial area among the facial areas included in the video information or the picture information when the ratio between the size of the closest facial area and the size of the entire area is captured through the front camera unit and included in the preset selfie ratio range It may further comprise the step of activating the function.

본 발명에 따르면, 상기 제1 단계는, 상기 영상정보나 사진정보를 상기 터치스크린 상의 지정된 영역에 출력하는 단계를 더 포함하여 이루어질 수 있다.According to the present invention, the first step may further include the step of outputting the image information or photo information to a designated area on the touch screen.

한편, 본 발명에 따른 무선단말을 이용한 초상권 보호 방법은, N개의 안면영역이 인식된 영상정보나 사진정보를 상기 터치스크린에 출력한 경우 상기 터치스크린에 출력되는 영상정보나 사진정보에 포함된 N개의 안면영역 별 터치 입력을 활성화 처리하는 단계를 더 포함하여 이루어질 수 있다.On the other hand, in the portrait protection method using a wireless terminal according to the present invention, when N facial area-recognized image information or photo information is output to the touch screen, N included in the image information or photo information output to the touch screen The process may further include activating a touch input for each face region.

본 발명에 따르면, 상기 안면 특징점 관계는, 정면 방향 안면의 특징점 관계, 좌측 방향 안면의 특징점 관계, 우측 방향 안면의 특징점 관계, 상측 방향 안면의 특징점 관계, 하측 방향 안면의 특징점 관계, 좌상측 방향 안면의 특징점 관계, 좌하측 방향 안면의 특징점 관계, 우상측 방향 안면의 특징점 관계, 우하측 방향 안면의 특징점 관계, 좌측 안면의 특징점 관계, 우측 안면의 특징점 관계 중 적어도 하나의 특징점 관계를 포함하여 이루어질 수 있다.According to the present invention, the facial feature point relationship includes: a front-facing facial feature point relationship, a left-facing facial feature point relationship, a right-facing facial feature point relationship, an upward-facing facial feature point relationship, a lower-facing facial feature point relationship, a left-facing facial face It can be made including at least one feature point relationship of the feature point relationship, the feature point relationship of the lower left-facing face, the feature point relationship of the right-facing face, the feature point relationship of the right-facing face, the feature point relationship of the left-facing face, and the feature point relationship of the right-facing face. have.

본 발명에 따르면, 상기 안면 특징점 조합은, 정면 방향 안면의 특징점 관계, 좌측 방향 안면의 특징점 관계, 우측 방향 안면의 특징점 관계, 상측 방향 안면의 특징점 관계, 하측 방향 안면의 특징점 관계, 좌상측 방향 안면의 특징점 관계, 좌하측 방향 안면의 특징점 관계, 우상측 방향 안면의 특징점 관계, 우하측 방향 안면의 특징점 관계, 좌측 안면의 특징점 관계, 우측 안면의 특징점 관계 중 적어도 하나 또는 둘 이상의 합집합을 포함하여 이루어질 수 있다.According to the present invention, the combination of the facial feature points includes the feature point relationship of the front-facing face, the feature point relationship of the left-facing face, the feature point relationship of the right-facing face, the feature point relationship of the upward-facing face, the feature point relationship of the lower-facing face, and the left-facing facial face. It includes at least one or a combination of two or more of the feature point relationship of the left, the feature point relationship of the left and right faces, the feature point relationship of the right and left faces, the feature point relationship of the right and left faces, the feature point relationship of the left face, and the feature point relationship of the right face Can be.

본 발명에 따르면, 상기 저장매체는, M(M≥1)개의 안면을 판별하기 위한 M개의 안면 별 M개의 안면 특징점 조합을 저장하며, 상기 제2 단계는, M개의 안면 특징점 조합 중 어느 한 특정 안면 특징점 조합의 적어도 일부와 기 설정된 허용 오차 범위 내에서 매칭되는 n개의 안면 특징점 관계를 판별하는 단계를 포함하여 이루어질 수 있다.According to the present invention, the storage medium stores M facial facial feature combinations for each M facial faces for discriminating M (M≥1) facial faces, and the second step comprises specifying any one of the M facial facial feature feature combinations. And determining n relations between the facial feature points that match within at least a portion of the combination of facial feature points within a predetermined tolerance range.

본 발명에 따르면, 상기 제3 단계는, 상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 등록된 안면 특징점 조합과 기 설정된 허용 오차 범위 내 매칭된 n개의 안면 특징점 관계에 대응하는 n개의 안면영역을 유효 안면영역으로 표시하는 단계를 포함하여 이루어질 수 있다.According to the present invention, in the third step, among the N facial areas included in the image information or the picture information, n registered facial feature point combinations and n facial feature point relationships matched within a preset tolerance range And displaying the facial area as an effective facial area.

여기서, 상기 제1 단계는, 상기 인식된 N개의 안면영역을 은폐 안면영역으로 처리하는 단계를 더 포함하여 이루어질 수 있다.Here, the first step may further include the step of processing the recognized N facial areas as a concealed facial area.

본 발명에 따르면, 상기 제3 단계는, 상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 등록된 안면 특징점 조합과 기 설정된 허용 오차 범위 내 매칭되지 않은 (N-n)개의 안면 특징점 관계에 대응하는 (N-n)개의 안면영역을 은폐 안면영역으로 처리하는 단계를 포함하여 이루어질 수 있다.According to the present invention, the third step corresponds to the relationship between the registered facial feature point combinations among the N facial areas included in the image information or the photo information and (Nn) facial feature points that are not matched within a preset tolerance range. The (Nn) can be made by including the step of treating the face region as a concealed face region.

본 발명에 따르면, 상기 제3 단계는, 상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 매칭된 일부의 n개의 안면 특징점 관계에 대응하는 n개의 안면영역을 유효 안면영역으로 표시하고 비매칭된 나머지 (N-n)개의 안면 특징점 관계에 대응하는 (N-n)개의 안면영역을 은폐 안면영역으로 처리하는 단계를 포함하여 이루어질 수 있다.According to the present invention, in the third step, n facial areas corresponding to the relation of n facial feature points of the matched part of the N facial areas included in the image information or the picture information are displayed as effective facial areas And processing the (Nn) facial areas corresponding to the remaining (Nn) facial feature point relationships matched as the concealed facial areas.

본 발명에 따르면, 상기 제3 단계는, 유효 안면영역이나 은폐 안면영역을 포함하는 영상정보나 사진정보를 상기 터치스크린 상의 지정된 영역에 출력하는 단계를 더 포함하여 이루어질 수 있다.According to the present invention, the third step may further include outputting image information or photo information including an effective facial area or a hidden facial area to a designated area on the touch screen.

본 발명에 따르면, 상기 제3 단계는, 유효 안면영역이나 은폐 안면영역을 포함하는 영상정보나 사진정보를 상기 터치스크린에 출력하는 경우 상기 터치스크린에 출력되는 영상정보나 사진정보에 포함된 N개의 안면영역 별 터치 입력을 활성화 처리하는 단계를 더 포함하여 이루어질 수 있다.According to the present invention, in the third step, when image information or photo information including an effective face region or a hidden face region is output to the touch screen, N pieces included in the image information or photo information output on the touch screen The method may further include activating a touch input for each facial area.

본 발명에 따르면, 상기 제3 단계는, N개의 안면영역 별 터치 입력이 활성화된 영상정보나 사진정보를 상기 터치스크린에 출력하는 경우 상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 터치스크린을 통한 어느 한 특정 안면영역의 터치 입력을 확인하는 단계와, 상기 N개의 안면영역 중 유효 안면영역에 대응하는 특정 안면영역이 터치 입력된 경우 상기 터치된 특정 안면영역을 은폐 안면영역으로 처리하여 표시하고, 상기 N개의 안면영역 중 은폐 처리된 안면영역에 대응하는 특정 안면영역이 터치 입력된 경우 상기 터치된 특정 안면영역의 은폐를 해제하여 유효 안면영역으로 표시하는 단계를 더 포함하여 이루어질 수 있다.According to the present invention, in the third step, in the case of outputting the image information or the picture information on which the touch input for each N face areas is activated to the touch screen, the touch among the N face areas included in the image information or the picture information Confirming a touch input of a specific facial area through a screen, and when a specific facial area corresponding to an effective facial area among the N facial areas is touch input, processing the touched specific facial area as a concealed facial area And displaying and displaying as a valid facial area by concealing the specific facial area touched when a specific facial area corresponding to the concealed facial area is touch input among the N facial areas. .

한편, 본 발명에 따른 무선단말을 이용한 초상권 보호 방법은, 적어도 하나의 유효 안면영역이 결정된 경우, 상기 유효 안면영역에 대응하는 안면 특징점 관계를 정규화하는 단계와, 상기 정규화된 안면 특징점 관계를 상기 매칭된 안면 특징점 조합에 포함되도록 학습시키는 단계를 더 포함하여 이루어질 수 있다.On the other hand, in the portrait protection method using a wireless terminal according to the present invention, when at least one effective facial area is determined, normalizing the facial feature point relationship corresponding to the effective facial area, and matching the normalized facial feature point relationship to the matching And learning to be included in the combined facial feature points.

한편, 본 발명에 따른 무선단말을 이용한 초상권 보호 방법은, 적어도 하나의 유효 안면영역이 결정된 경우, 상기 유효 안면영역에 대응하는 안면 특징점 관계의 적어도 일부 특징점 관계가 지정된 허용 범위 내에서 변화된 표정 변화 특징점 관계를 인식하는 단계와, 상기 인식된 표정 변화 특징점 관계를 정규화하는 단계와, 상기 정규화된 표정 변화 특징점 관계를 상기 매칭된 안면 특징점 조합에 포함되도록 학습시키는 단계를 더 포함하여 이루어질 수 있다.On the other hand, in the portrait protection method using a wireless terminal according to the present invention, when at least one effective facial area is determined, at least some feature point relationship of the facial feature point relationship corresponding to the effective facial area is changed within a specified allowable range. The method may further include recognizing a relationship, normalizing the recognized facial expression change feature point relationship, and learning the normalized facial expression change feature point relationship to be included in the matched facial feature point combination.

한편, 본 발명에 따른 무선단말을 이용한 초상권 보호 방법은, 유효 안면영역이나 은폐 안면영역을 포함하는 영상정보나 사진정보를 지정된 저장영역에 저장하는 단계를 더 포함하여 이루어질 수 있다.Meanwhile, the method for protecting a portrait using a wireless terminal according to the present invention may further include storing image information or photo information including an effective face area or a hidden face area in a designated storage area.

본 발명에 따른 무선단말을 이용한 초상권 보호 방법을 제공함으로써, 무선단말을 통한 사진 촬영이나 영상 촬영 시 간편하게 초상권 보호가 필요한 얼굴에 대해 은폐 처리를 하여 예기치 못한 초상권 문제를 미연에 방지할 수 있는 이점이 있다.By providing a method for protecting a portrait using a wireless terminal according to the present invention, it is possible to prevent unexpected portrait rights problems in advance by concealing a face that needs portrait protection easily when taking a picture or taking a picture through a wireless terminal. have.

도 1은 본 발명에 따른 초상권 보호를 위한 앱이 구비된 무선단말의 기능 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시 방법에 따른 무선단말의 카메라부를 통해 촬영되어 인식된 안면영역을 유효 안면영역 또는 은폐 안면영역으로 처리하는 과정을 도시한 도면이다.
도 3은 본 발명의 다른 일 실시 방법에 따른 무선단말의 카메라부를 통해 촬영되어 인식된 안면영역을 유효 안면영역 또는 은폐 안면영역으로 처리하는 과정을 도시한 도면이다.
도 4는 본 발명의 일 실시 방법에 따른 터치스크린을 터치하여 유효 안면영역 또는 은폐 안면영역을 처리하는 과정을 도시한 도면이다.
도 5는 본 발명의 일 실시 방법에 따른 유효 안면영역에 대응하는 안면 특징점 관계를 학습시키는 과정을 도시한 도면이다.1 is a diagram showing the functional configuration of a wireless terminal equipped with an app for protecting portrait rights according to the present invention.
FIG. 2 is a view showing a process of processing a facial area photographed and recognized through a camera unit of a wireless terminal according to an embodiment of the present invention as an effective facial area or a hidden facial area.
FIG. 3 is a diagram illustrating a process of processing a recognized facial area photographed through a camera unit of a wireless terminal according to another embodiment of the present invention as an effective facial area or a hidden facial area.
4 is a view showing a process of processing an effective face area or a hidden face area by touching a touch screen according to an embodiment of the present invention.
5 is a diagram illustrating a process of learning a relationship between facial feature points corresponding to an effective facial area according to an embodiment of the present invention.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. Hereinafter, an operation principle of a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings and description. However, the drawings shown below and the descriptions described below are for preferred implementation methods among various methods for effectively describing the features of the present invention, and the present invention is not limited to the following drawings and description.

즉, 하기의 실시예는 본 발명의 수 많은 실시예 중에 바람직한 합집합 형태의 실시예 예에 해당하며, 하기의 실시예에서 특정 구성(또는 단계)를 생략하는 실시예, 또는 특정 구성(또는 단계)에 구현된 기능을 특정 구성(또는 단계)로 분할하는 실시예, 또는 둘 이상의 구성(또는 단계)에 구현된 기능을 어느 하나의 구성(또는 단계)에 통합하는 실시예, 특정 구성(또는 단계)의 동작 순서를 교체하는 실시예 등은, 하기의 실시예에서 별도로 언급하지 않더라도 모두 본 발명의 권리범위에 속함을 명백하게 밝혀두는 바이다. 따라서 하기의 실시예를 기준으로 부분집합 또는 여집합에 해당하는 다양한 실시예들이 본 발명의 출원일을 소급받아 분할될 수 있음을 분명하게 명기하는 바이다.That is, the following examples correspond to the preferred embodiment of the union type among the numerous embodiments of the present invention, and the specific examples (or steps) omitting specific components (or steps) from the following examples An embodiment for dividing a function implemented in a specific configuration (or step), or an embodiment incorporating a function implemented in two or more configurations (or steps) into one configuration (or step), a specific configuration (or step) Examples of replacing the operation sequence of the, etc., it is clearly revealed that all belong to the scope of the present invention, unless otherwise stated in the following examples. Accordingly, it is clearly stated that various embodiments corresponding to a subset or a subset can be divided by retroactively filing the filing date of the present invention.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In addition, in the following description of the present invention, when it is determined that detailed descriptions of related known functions or configurations may unnecessarily obscure the subject matter of the present invention, detailed descriptions thereof will be omitted. And terms to be described later are terms defined in consideration of functions in the present invention, which may vary depending on the intention or custom of the user or operator. Therefore, the definition should be made based on the overall contents of the present invention.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.As a result, the technical spirit of the present invention is determined by the claims, and the following examples are one means for efficiently explaining the technical spirit of the present invention to those skilled in the art to which the present invention pertains. That's it.

도면1은 본 발명에 따른 초상권 보호를 위한 앱이 구비된 무선단말의 기능 구성을 도시한 도면이다.1 is a diagram showing the functional configuration of a wireless terminal equipped with an app for protecting portrait rights according to the present invention.

보다 상세하게 본 도면1은 무선단말(100)의 카메라부(140)를 통해 촬영되는 영상정보 또는 사진정보를 판독하여, 상기 판독된 영상정보 또는 사진정보에 포함된 하나 이상의 안면영역을 인식하고, 표시 대상으로 설정된 안면영역을 판별하기 위해 등록된 안면 특징점 조합을 근거로 상기 인식된 하나 이상의 안면영역을 유효 안면영역으로 결정하거나 또는 은폐 안면영역으로 처리하기 위해 상기 무선단말(100)에 설치 실행되는 앱(150)의 기능 구성 및 상기 무선단말(100)의 개략적인 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 앱(150)이 설치되어 본 발명이 구현되는 무선단말(100)의 기능에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. 바람직하게, 본 도면1의 무선단말(100)은 무선 통신이 가능한 각종 스마트폰, 각종 태블릿PC, 각종 PDA 및 각종 휴대폰 중 적어도 하나를 포함할 수 있다.In more detail, FIG. 1 recognizes one or more facial areas included in the read image information or photo information by reading image information or photo information photographed through the camera unit 140 of the wireless terminal 100, Based on a combination of registered facial feature points to determine a facial area set as a display target, one or more of the recognized facial area is determined as an effective facial area, or installed and executed in the wireless terminal 100 to process as a hidden facial area It shows the functional configuration of the app 150 and the schematic configuration of the wireless terminal 100, and those of ordinary skill in the art to which the present invention pertains, refer to FIG. 1 and/or modify the app It is possible to infer various implementation methods for the functions of the wireless terminal 100 in which the present invention is implemented by installing 150, but the present invention is made up of all the inferred implementation methods, and is illustrated in FIG. 1. The technical characteristics are not limited only by the implemented method. Preferably, the wireless terminal 100 of FIG. 1 may include at least one of various smartphones, various tablet PCs, various PDAs, and various mobile phones capable of wireless communication.

도면1을 참조하면, 상기 무선단말(100)은, 제어부(105)와 메모리부(145)와 화면 출력부(110)와 사용자 입력부(115)와 사운드 처리부(120)와 카메라부(140)와 근거리 무선부(125)와 근거리망 통신부(130)와 무선망 통신부(135)를 구비하며, 전원 공급을 위한 배터리를 구비하여 구성될 수 있다.Referring to FIG. 1, the wireless terminal 100 includes a control unit 105, a memory unit 145, a screen output unit 110, a user input unit 115, a sound processing unit 120, and a camera unit 140. It is provided with a short-range wireless unit 125, a local area network communication unit 130 and a wireless network communication unit 135, it may be configured to include a battery for power supply.

상기 제어부(105)는 상기 무선단말(100)의 동작을 제어하는 구성의 총칭으로써, 적어도 하나의 프로세서와 실행 메모리를 포함하여 구성될 수 있으며, 상기 무선단말(100)에 구비된 각 구성부와 버스(BUS)를 통해 연결될 수 있다. 본 발명에 따르면, 상기 제어부(105)는 상기 프로세서를 통해 상기 무선단말(100)에 구비되는 적어도 하나의 프로그램코드를 상기 실행 메모리에 로딩하여 연산하고, 그 결과를 상기 버스를 통해 적어도 하나의 구성부로 전달하여 상기 무선단말(100)의 동작을 제어할 수 있다. The control unit 105 is a generic term for a configuration that controls the operation of the wireless terminal 100, and may be configured to include at least one processor and an execution memory, and each configuration unit provided in the wireless terminal 100. It can be connected via a bus. According to the present invention, the control unit 105 loads and calculates at least one program code provided in the wireless terminal 100 through the processor into the execution memory, and calculates the result through the bus. It is possible to control the operation of the wireless terminal 100 by transferring it to the negative.

이하, 편의상 프로그램코드 형태로 구현되는 상기 앱(150)의 기능적 구성을 본 제어부(105) 내에 도시하여 설명하기로 한다.Hereinafter, for convenience, the functional configuration of the app 150, which is implemented in the form of program code, will be described and illustrated in the controller 105.

상기 메모리부(145)는 상기 무선단말(100)의 저장 자원에 대응되는 비휘발성 메모리의 총칭으로서, 상기 제어부(105)를 통해 실행되는 적어도 하나의 프로그램코드와, 상기 프로그램코드가 이용하는 적어도 하나의 데이터셋트를 저장하여 유지할 수 있다. The memory unit 145 is a generic term for a non-volatile memory corresponding to the storage resource of the wireless terminal 100, at least one program code executed through the control unit 105, and at least one used by the program code Datasets can be stored and maintained.

상기 메모리부(145)는 기본적으로 상기 무선단말(100)의 운영체제에 대응하는 시스템프로그램코드와 시스템데이터셋트, 상기 무선단말(100)의 무선 통신 연결을 처리하는 통신프로그램코드와 통신데이터셋트 및 적어도 하나의 응용프로그램코드와 응용데이터셋트를 저장하며, 본 발명의 프로그램에 대응하는 프로그램코드와 데이터셋트도 상기 메모리부(145)에 저장될 수 있다.The memory unit 145 basically includes a system program code and a system data set corresponding to an operating system of the wireless terminal 100, a communication program code and a communication data set for processing a wireless communication connection of the wireless terminal 100, and at least One application program code and application data set are stored, and the program code and data set corresponding to the program of the present invention can also be stored in the memory unit 145.

본 발명에 따른 초상권 보호를 위해 M(M≥1)개의 안면을 판별하기 위한 M개의 안면 별 M개의 안면 특징점 조합은 상기 메모리부(145)에 저장될 수 있다.In order to protect the portrait rights according to the present invention, a combination of M facial feature points for each M face for determining M (M≥1) faces may be stored in the memory unit 145.

또한, 본 발명에 따른 초상권 보호를 위해 지정된 운영서버(197)로부터 다운로드 되는 하나 이상의 안면 특징점 조합은 상기 메모리부(145)에 저장될 수 있다.In addition, one or more facial feature point combinations downloaded from the designated operation server 197 for the protection of portrait rights according to the present invention may be stored in the memory unit 145.

또한, 본 발명에 따라 카메라부(140)를 통해 촬영되는 영상정보 또는 사진정보를 판독하여, 상기 판독된 영상정보 또는 사진정보에 포함된 하나 이상의 안면영역을 인식하고, 표시 대상으로 설정된 안면영역을 판별하기 위해 등록된 안면 특징점 조합을 근거로 상기 인식된 하나 이상의 안면영역을 유효 안면영역으로 결정하거나 또는 은폐 안면영역으로 처리하는 과정에서 생성되거나, 수신/입력되거나, 처리되는 하나 이상의 정보 또는 데이터는 상기 메모리부(145)에 저장될 수 있다.Further, according to the present invention, the image information or photo information photographed through the camera unit 140 is read to recognize one or more face regions included in the read image information or photo information, and the face region set as a display target is recognized. The one or more information or data generated, received/input, or processed in the process of determining the recognized one or more facial areas as the effective facial area or processing the concealed facial area based on the combination of the registered facial feature points to determine It may be stored in the memory unit 145.

상기 화면 출력부(110)는 화면출력기(예컨대, LCD(Liquid Crystal Display) 등)와 이를 구동하는 구동 모듈로 구성될 수 있으며, 상기 제어부(105)와 연동되어 상기 제어부(105)의 각종 연산 결과 중 화면 출력에 대응하는 연산 결과를 상기 화면출력 장치로 출력할 수 있다.The screen output unit 110 may be composed of a screen output device (for example, a liquid crystal display (LCD)) and a driving module for driving the same, and results of various calculations of the control unit 105 in conjunction with the control unit 105 The calculation result corresponding to the output of the medium may be output to the screen output device.

상기 사용자 입력부(115)는 하나 이상의 사용자입력기(예컨대, 버튼, 키패드, 터치패드, 화면 출력부(104)와 연동하는 터치스크린 등)와 이를 구동하는 구동 모듈로 구성될 수 있으며, 상기 제어부(105)와 연동되어 상기 제어부(105)의 각종 연산을 명령하는 명령을 입력하거나, 또는 상기 제어부(105)의 연산에 필요한 데이터를 입력할 수 있다.The user input unit 115 may be composed of one or more user input devices (eg, a button, a keypad, a touch pad, a touch screen interworking with the screen output unit 104), and a driving module driving the same, and the control unit 105 ) And input commands for instructing various operations of the control unit 105 or input data necessary for the operation of the control unit 105.

상기 사운드 처리부(120)는 스피커와 마이크로폰과 및 이를 구동하는 구동 모듈로 구성될 수 있으며, 상기 제어부(105)의 각종 연산 결과 중 사운드 출력에 대응하는 사운드 데이터를 디코딩(Decoding)하여 상기 스피커를 통해 출력하거나, 또는 상기 마이크로폰을 통해 입력되는 사운드 신호를 엔코딩(Encoding)하여 상기 제어부(105)로 전달할 수 있다.The sound processing unit 120 may be composed of a speaker and a microphone, and a driving module driving the same, and decodes sound data corresponding to a sound output among various calculation results of the control unit 105 through the speaker The sound signal input through the microphone or output may be encoded and transmitted to the controller 105.

상기 카메라부(140)는 카메라 렌즈와 이미지센 및 이를 구동하는 카메라모듈을 포함하여 이루어지며, 자동초점 기능이나 손떨림보정 기능을 위한 액츄에이터(Actuator) 및/또는 각종 필터(예컨대, IR필터 등) 등을 더 포함하여 이루어진다. 바람직하게, 상기 카메라부(140)는 시선 방향의 피사체 중 지정된 화각 내의 피사체에 대한 광학 신호를 카메라 렌즈를 통해 입력받아 이미지센서를 통해 디지털화하여 영상정보 또는 사진정보를 생성하여 제어부(105)로 제공하며, 상기 액츄에이터를 통해 자동초점 기능이나 손떨림보정 기능을 제공하며, 적어도 하나의 필터를 통해 상기 영상정보 또는 사진정보의 품질을 보정할 수 있다. 한편 실시 방법에 따라 상기 카메라부(140)는 품질 향상을 위한 적어도 하나의 기능 구성부를 더 구비하거나 및/또는 품질 향상이나 피사체와 카메라 렌즈 사이의 거리인식을 위한 듀얼카메라 기능을 구비할 수 있으며, 이에 의해 본 발명이 한정되지 아니한다.The camera unit 140 includes a camera lens, an image sensor, and a camera module for driving the same, and an actuator and/or various filters (for example, IR filters, etc.) for an autofocus function or an image stabilization function. It is made to include more. Preferably, the camera unit 140 receives an optical signal for a subject in a designated field of view from among a subject in a gaze direction and digitalizes it through an image sensor to generate image information or photo information and provides it to the control unit 105 In addition, an autofocus function or an image stabilization function is provided through the actuator, and the quality of the video information or photo information can be corrected through at least one filter. Meanwhile, according to an implementation method, the camera unit 140 may further include at least one functional component for quality improvement and/or a dual camera function for quality improvement or distance recognition between the subject and the camera lens. The present invention is not limited thereby.

상기 근거리 무선부(125)는 무선단말(100)에 구비되는 구성부 중에서 일정 거리 이내의 근거리에서 지정된 무선신호 규격에 따라 송출(또는 방송)된 무선신호를 수신하거나 또는 근거리로 지정된 무선신호를 송출하는 구성부의 총칭이다. The short-range wireless unit 125 receives a wireless signal transmitted (or broadcast) according to a specified wireless signal standard within a short distance within a certain distance among components provided in the wireless terminal 100, or transmits a wireless signal designated at a short distance This is the generic name of the component.

상기 무선망 통신부(135)와 근거리망 통신부(130)는 상기 무선단말(100)을 지정된 통신망에 접속시키는 통신 자원의 총칭이다. 바람직하게, 상기 무선단말(100)은 무선망 통신부(135)를 기본 통신 자원으로 구비할 수 있으며, 하나 이상의 근거리망 통신부(130)를 구비할 수 있다.The wireless network communication unit 135 and the local area network communication unit 130 are generic terms for communication resources that connect the wireless terminal 100 to a designated communication network. Preferably, the wireless terminal 100 may include a wireless network communication unit 135 as a basic communication resource, and may include one or more local area network communication units 130.

상기 무선망 통신부(135)는 상기 무선단말(100)을 기지국을 경유하는 무선 통신망에 접속시키는 통신 자원의 총칭으로써, 특정 주파수 대역의 무선 주파수 신호를 송수신하는 안테나, RF모듈, 기저대역모듈, 신호처리모듈을 적어도 하나 포함하여 구성될 수 있으며, 상기 제어부(105)와 연결되어 상기 제어부(105)의 각종 연산 결과 중 무선 통신에 대응하는 연산 결과를 무선 통신망을 통해 전송하거나 또는 무선 통신망을 통해 데이터를 수신하여 상기 제어부(105)로 전달함과 동시에, 상기 무선 통신의 접속, 등록, 통신, 핸드오프의 절차를 수행할 수 있다. 본 발명에 따르면, 상기 무선망 통신부(135)는 상기 무선단말(100)을 교환기를 경유하는 통화채널과 데이터채널을 포함하는 통화망에 연결할 수 있으며, 경우에 따라 상기 교환기를 경유하지 않고 패킷 통신 기반의 무선망 데이터 통신(예컨대, 인터넷)을 제공하는 데이터망에 연결할 수 있다.The wireless network communication unit 135 is a generic term for communication resources connecting the wireless terminal 100 to a wireless communication network via a base station, and includes an antenna, RF module, baseband module, and signal for transmitting and receiving radio frequency signals in a specific frequency band. It may be configured to include at least one processing module, and is connected to the control unit 105 and transmits a calculation result corresponding to wireless communication among various calculation results of the control unit 105 through a wireless communication network or data through a wireless communication network. It is possible to receive and transmit to the control unit 105, and at the same time, perform the procedures of access, registration, communication, and handoff of the wireless communication. According to the present invention, the wireless network communication unit 135 may connect the wireless terminal 100 to a communication network including a communication channel and a data channel via an exchange, and in some cases, packet communication without passing through the exchange. It can connect to a data network that provides data communication (eg, the Internet) based wireless network.

상기 무선망 통신부(135)는 CDMA/WCDMA/LTE 규격에 따라 이동 통신망에 접속, 위치등록, 호처리, 통화연결, 데이터통신, 핸드오프를 적어도 하나 수행하는 이동 통신 구성을 포함할 수 있다. The wireless network communication unit 135 may include a mobile communication configuration that performs at least one of access, location registration, call processing, call connection, data communication, and handoff to a mobile communication network according to the CDMA/WCDMA/LTE standard.

한편 당업자의 의도에 따라 상기 무선망 통신부(135)는 IEEE 802.16 관련 규격에 따라 휴대인터넷에 접속, 위치등록, 데이터통신, 핸드오프를 적어도 하나 수행하는 휴대 인터넷 통신 구성을 더 포함할 수 있으며, 상기 무선망 통신부(135)가 제공하는 무선 통신 구성에 의해 본 발명이 한정되지 아니함을 명백히 밝혀두는 바이다. 즉, 상기 무선망 통신부(135)는 무선 구간의 주파수 대역이나 통신망의 종류 또는 프로토콜에 무관하게 셀 기반의 기지국을 통해 무선 통신망에 접속하는 구성부의 총칭이다.Meanwhile, according to the intention of a person skilled in the art, the wireless network communication unit 135 may further include a portable Internet communication configuration that performs at least one of access, location registration, data communication, and handoff to the portable Internet according to IEEE 802.16 related standards. It is apparent that the present invention is not limited by the wireless communication configuration provided by the wireless network communication unit 135. That is, the wireless network communication unit 135 is a generic term for a component that accesses the wireless communication network through a cell-based base station regardless of the frequency band of the wireless section or the type or protocol of the communication network.

상기 근거리망 통신부(130)는 일정 거리 이내(예컨대, 10m)에서 무선 주파수 신호를 통신매체로 이용하여 통신세션을 연결하고 이를 기반으로 상기 무선단말(100)을 통신망에 접속시키는 통신 자원의 총칭으로서, 바람직하게는 와이파이 통신, 블루투스 통신, 공중무선 통신, UWB 중 적어도 하나를 통해 상기 무선단말(100)을 통신망에 접속시킬 수 있다. The local area network communication unit 130 is a generic term for communication resources that connect a communication session using a radio frequency signal as a communication medium within a certain distance (eg, 10 m) and connect the wireless terminal 100 to the communication network based on this. , Preferably, the wireless terminal 100 may be connected to the communication network through at least one of Wi-Fi communication, Bluetooth communication, public wireless communication, and UWB.

상기 근거리망 통신부(130)는 상기 무선망 통신부(135)와 통합 또는 분리된 형태로 구현될 수 있으며, 상기 근거리망 통신부(130)는 무선AP를 통해 상기 무선단말(100)을 패킷 통신 기반의 근거리 무선 데이터 통신을 제공하는 데이터망에 연결할 수 있다.The local area network communication unit 130 may be implemented in an integrated or separate form with the wireless network communication unit 135, and the local area network communication unit 130 uses the wireless AP to transmit the wireless terminal 100 based on packet communication. It can connect to a data network that provides short-range wireless data communication.

상기 무선단말(100)의 제어부(105)는 상기 통신 자원이 접속 가능한 데이터망을 통해 지정된 앱제공서버(예컨대, 애플사의 앱스토어 등)로부터 본 발명에 따른 초상권 보호를 위한 앱(150)을 다운로드하여 설치하는 과정을 수행할 수 있다. 한편 상기 무선단말(100)에 다운로드 설치된 앱(150)은 설치 후 최초 실행(또는 정보 등록 전 실행) 시 상기 무선단말(100)과 앱(150)의 조합(또는 상기 앱(150)을 설치한 무선단말(100), 또는 상기 무선단말(100)에 설치된 앱(150))을 고유한 매체로 식별하는 매체식별정보(예컨대, 디바이스토큰, UUID 등)를 생성하거나 지정된 서버를 통해 할당받는 절차를 수행할 수 있으며, 상기 무선단말(100)과 앱(150)의 조합을 고유한 매체로 고유 식별하는 매체식별정보를 지정된 운영서버(197)에 등록하는 절차를 수행할 수 있다. 한편 상기 무선단말(100)의 앱(150)은 상기 무선단말(100)을 고유 식별하는 무선단말정보(예컨대, 전화번호, IMSI, IMEI 등)를 지정된 운영서버(197)에 등록하는 절차를 수행할 수 있으며, 이 경우 상기 운영서버(197)는 상기 매체식별정보와 상기 무선단말정보를 연계 저장하여 관리할 수 있다. The control unit 105 of the wireless terminal 100 downloads the app 150 for protecting the portrait rights according to the present invention from an app providing server (for example, an Apple App Store) designated through a data network to which the communication resource is accessible. Installation process. On the other hand, the app 150 downloaded and installed in the wireless terminal 100 is a combination of the wireless terminal 100 and the app 150 (or the app 150) installed during the first execution (or before information registration) after installation. Procedure for generating media identification information (e.g., device token, UUID, etc.) that identifies the wireless terminal 100, or the app 150 installed in the wireless terminal 100 as a unique medium, or is assigned through a designated server. It is possible to perform the procedure of registering the medium identification information uniquely identifying the combination of the wireless terminal 100 and the app 150 as a unique medium to the designated operation server 197. Meanwhile, the app 150 of the wireless terminal 100 performs a procedure of registering wireless terminal information (eg, a phone number, IMSI, IMEI, etc.) uniquely identifying the wireless terminal 100 to a designated operation server 197. In this case, the operation server 197 may manage the media identification information and the wireless terminal information in association storage.

한편 상기 무선단말(100)의 앱(150)은 상기 앱(150)을 설치한 무선단말(100)의 사용자를 고유 식별하는 사용자 정보(예컨대, 고유ID, 성명, 생년월일 등)를 등록하는 절차를 수행할 수 있으며, 이 경우 상기 운영서버(197)는 상기 매체식별정보와 상기 사용자 정보를 연계 저장하여 관리할 수 있다.Meanwhile, the app 150 of the wireless terminal 100 registers user information (eg, a unique ID, name, date of birth, etc.) that uniquely identifies a user of the wireless terminal 100 in which the app 150 is installed. In this case, the operation server 197 may store and manage the medium identification information and the user information in association.

도면1을 참조하면, 상기 무선단말(100)의 앱(150)은 본 발명에 따라 무선단말(100)의 카메라부(140)를 통해 촬영되는 영상정보 또는 사진정보를 판독하여, 상기 영상정보 또는 사진정보에 포함된 하나 이상의 안면영역을 인식하고, 표시 대상으로 설정된 안면영역을 판별하기 위해 등록된 안면 특징점 조합을 근거로 상기 인식된 하나 이상의 안면영역을 유효 안면영역으로 결정하거나 또는 은폐 안면영역으로 처리하는 기능을 제공하는 프로그램으로써, 이를 위해 상기 앱(150)은 특징점 인식부(155)와, 특징점 판별부(160)와, 안면영역 처리부(165)를 구비하여 구성될 수 있다.Referring to FIG. 1, the app 150 of the wireless terminal 100 reads the image information or photo information captured through the camera unit 140 of the wireless terminal 100 according to the present invention, and then the image information or To recognize one or more facial areas included in the photo information, and determine the recognized one or more facial areas as an effective facial area based on a combination of registered facial feature points in order to determine a facial area set as a display target, or as a hidden facial area As a program that provides a function for processing, the app 150 may include a feature point recognition unit 155, a feature point determination unit 160, and a facial area processing unit 165 for this purpose.

보다 구체적으로, 상기 특징점 인식부(155)는 지정된 카메라부(140)를 통해 획득되는 영상정보나 사진정보를 판독하여 N(N≥1)개의 안면영역에 대응하는 N개의 안면영역 별 N개의 안면 특징점 관계를 인식할 수 있다.More specifically, the feature point recognition unit 155 reads image information or photo information acquired through the designated camera unit 140, and N faces for each N facial area corresponding to N (N≥1) facial areas. You can recognize feature point relationships.

여기서, 상기 영상정보는 상기 카메라부(140)를 통해 입력되어 지정된 버퍼영역에 버퍼링되는 영상정보(예컨대, 파일로 저장되지 않고 카메라를 통해 실시간 입력되어 버퍼링되는 영상정보)를 포함할 수 있다. Here, the image information may include image information input through the camera unit 140 and buffered in a designated buffer area (for example, image information not stored in a file but input in real time through the camera and buffered).

또한, 상기 영상정보는 상기 카메라부(140)를 통해 촬영되어 지정된 저장영역(예컨대, 원본 파일을 저장하는 원본 저장영역 또는 임시 파일을 저장하는 임시 저장영역)에 파일 형태로 저장된 영상정보를 포함할 수 있다.In addition, the image information may include image information stored in a file format in a designated storage area (eg, an original storage area for storing original files or a temporary storage area for storing temporary files) photographed through the camera unit 140. Can be.

상기 사진정보는 상기 카메라부(140)를 통해 촬영되어 지정된 저장영역(예컨대, 원본 파일을 저장하는 원본 저장영역 또는 임시 파일을 저장하는 임시 저장영역)에 파일 형태로 저장된 사진정보를 포함할 수 있다.The photo information may include photo information photographed through the camera unit 140 and stored in a file format in a designated storage area (eg, an original storage area for storing original files or a temporary storage area for storing temporary files). .

본 발명에 따르면, 상기 특징점 인식부(155)는 상기 지정된 카메라부(140)를 통해 획득되는 영상정보나 사진정보를 상기 터치스크린 상의 지정된 영역에 출력할 수 있다.According to the present invention, the feature point recognition unit 155 may output image information or photo information acquired through the designated camera unit 140 to a designated area on the touch screen.

본 발명에 따르면, 상기 특징점 인식부(155)를 통해 인식되는 안면 특징점 관계는 정면 방향 안면의 특징점 관계, 좌측 방향 안면의 특징점 관계, 우측 방향 안면의 특징점 관계, 상측 방향 안면의 특징점 관계, 하측 방향 안면의 특징점 관계, 좌상측 방향 안면의 특징점 관계, 좌하측 방향 안면의 특징점 관계, 우상측 방향 안면의 특징점 관계, 우하측 방향 안면의 특징점 관계, 좌측 안면의 특징점 관계, 우측 안면의 특징점 관계 중 적어도 하나의 특징점 관계를 포함할 수 있다. 예컨대, 상기 좌측 안면이나 우측 안면은 거의 90°의 옆얼굴을 나타내고, 상기 좌측 방향 안면은 정면 방향 안면과 좌측 안면 사이의 각도 범위에 해당하는 안면을 나타낼 수 있다.According to the present invention, the facial feature point relationship recognized through the feature point recognition unit 155 includes a front-facing facial feature point relationship, a left-facing facial feature point relationship, a right-facing facial feature point relationship, an upward-facing facial feature point relationship, and a downward-facing direction. At least one of the feature point relationship of the face, the feature point relationship of the face in the upper left direction, the feature point relationship of the face in the left lower direction, the feature point relationship in the right face direction, the feature point relationship in the right lower direction face, the feature point relationship in the left face, and the feature point relationship in the right face It may include one feature point relationship. For example, the left face or the right face may represent a side face of almost 90°, and the left face may represent a face corresponding to an angular range between the front face and the left face.

본 발명일 실시 방법에 따르면, 상기 특징점 인식부(155)는 상기 인식된 N개의 안면영역을 은폐 안면영역으로 처리할 수 있다.According to an embodiment of the present invention, the feature point recognition unit 155 may process the recognized N facial areas as a concealed facial area.

본 발명일 실시 방법에 따르면, 상기 특징점 인식부(155)는 적어도 하나의 유효 안면영역이 결정된 경우, 상기 유효 안면영역에 대응하는 안면 특징점 관계의 적어도 일부 특징점 관계가 지정된 허용 범위 내에서 변화된 표정 변화 특징점 관계를 인식할 수 있다.According to an embodiment of the present invention, when at least one effective facial area is determined, the feature point recognition unit 155 changes facial expressions in which at least some feature point relationships of the facial feature point relationships corresponding to the effective facial area are changed within a designated allowable range. You can recognize feature point relationships.

상기 특징점 판별부(160)는 상기 특징점 인식부(155)를 통해 상기 N개의 안면영역에 대응하는 N개의 안면영역 별 N개의 안면 특징점 관계가 인식되면, 표시 대상으로 설정된 안면영역을 판별하기 위해 등록된 안면 특징점 조합을 저장 관리하는 지정된 저장매체와 연동하여 상기 영상정보나 사진정보로부터 인식된 N개의 안면 특징점 관계 중 상기 등록된 특정 안면 특징점 조합의 적어도 일부와 기 설정된 허용 오차 범위 내에서 매칭되는 n(0≤n≤N)개의 안면 특징점 관계를 판별할 수 있다.The feature point discrimination unit 160 registers to determine the face region set as a display target when N facial feature point relationships corresponding to the N facial regions corresponding to the N facial regions are recognized through the feature point recognition unit 155. N that matches within a predetermined tolerance range with at least a part of the combination of specific registered facial feature points among N facial feature point relationships recognized from the image information or photo information in association with a designated storage medium that stores and manages the combined facial feature point combinations (0≤n≤N) facial feature point relationships can be determined.

여기서, 상기 안면 특징점 조합은 정면 방향 안면의 특징점 관계, 좌측 방향 안면의 특징점 관계, 우측 방향 안면의 특징점 관계, 상측 방향 안면의 특징점 관계, 하측 방향 안면의 특징점 관계, 좌상측 방향 안면의 특징점 관계, 좌하측 방향 안면의 특징점 관계, 우상측 방향 안면의 특징점 관계, 우하측 방향 안면의 특징점 관계, 좌측 안면의 특징점 관계, 우측 안면의 특징점 관계 중 적어도 하나 또는 둘 이상의 합집합을 포함할 수 있다.Here, the combination of the facial feature points is a feature point relationship of a front-facing face, a feature point relationship of a left-facing face, a feature point relationship of a right-facing face, a feature point relationship of a top-facing face, a feature point relationship of a bottom-facing face, a feature point relationship of a left-facing face, It may include at least one or a combination of two or more of the feature point relationship of the lower left face, the feature point relationship of the right upper face, the feature point relationship of the lower right face, the feature point relationship of the left face, and the feature point relationship of the right face.

한편, 상기 저장매체는 M(M≥1)개의 안면을 판별하기 위한 M개의 안면 별 M개의 안면 특징점 조합을 저장할 수 있는데, 상기 저장매체는 상기 무선단말(100)의 메모리부(145)일 수도 있고, 운영서버(197) 상의 DB일 수도 있다.On the other hand, the storage medium may store a combination of M facial feature points for each M faces for discriminating M (M≥1) faces, which may be the memory unit 145 of the wireless terminal 100. Or DB on the operation server 197.

본 발명의 실시 방법에 따르면, 상기 특징점 판별부(160)는 M개의 안면 특징점 조합 중 어느 한 특정 안면 특징점 조합의 적어도 일부와 기 설정된 허용 오차 범위 내에서 매칭되는 n개의 안면 특징점 관계를 판별할 수 있다. 예컨대, 각 안면 특징점 조합은 각 방향 별 특징점 관계를 포함하므로, 그 중 일부와 허용 오차 범위 내 매칭될 수 있다.According to an embodiment of the present invention, the feature point discrimination unit 160 may determine n facial feature point relationships that match within at least a portion of a specific combination of facial feature points within a predetermined tolerance range. have. For example, since each facial feature point combination includes a feature point relationship for each direction, some of them may be matched within a tolerance range.

상기 안면영역 처리부(165)는 상기 특징점 판별부(160)를 통해 상기 영상정보나 사진정보로부터 인식된 N개의 안면 특징점 관계 중 상기 등록된 특정 안면 특징점 조합의 적어도 일부와 기 설정된 허용 오차 범위 내에서 매칭되는 n개의 안면 특징점 관계가 판별되면, 상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 매칭된 n개의 안면 특징점 관계에 대응하는 n개의 안면영역을 유효 안면영역으로 결정하거나 비매칭된 (N-n)개의 안면 특징점 관계에 대응하는 (N-n)개의 안면영역을 은폐 안면영역으로 처리할 수 있다.The facial region processing unit 165 is within a predetermined tolerance range with at least a portion of the combination of specific registered facial feature points among N facial feature point relationships recognized from the image information or photo information through the feature point determining unit 160. When the matching n facial feature point relationships are determined, the n facial areas corresponding to the matched n facial feature point relationships among the N facial areas included in the image information or the picture information are determined as effective facial areas or unmatched The (Nn) facial areas corresponding to the (Nn) facial feature point relationships may be treated as a concealed facial area.

본 발명의 실시 방법에 따르면, 상기 안면영역 처리부(165)는 상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 등록된 안면 특징점 조합과 기 설정된 허용 오차 범위 내 매칭된 n개의 안면 특징점 관계에 대응하는 n개의 안면영역을 유효 안면영역으로 표시할 수 있다. 예컨대, n=N 인 경우, n개의 안면영역을 모두 유효 안면영역으로 표시할 수 있다.According to an embodiment of the present invention, the facial area processing unit 165 is a combination of the registered facial feature points among the N facial areas included in the image information or the picture information and n facial feature points matched within a preset tolerance range. N facial areas corresponding to can be displayed as effective facial areas. For example, when n=N, all n facial areas can be displayed as effective facial areas.

만약 n이 'n<N' 이더라도, 특징점 인식부(155)를 통해 상기 인식된 N개의 안면영역이 모두 자동 은폐 처리된 경우, 상기 안면영역 처리부(165)는 매칭된 것으로 확인된 일부 n개의 안면영역을 표시할 수 있다.If n is'n<N', if all of the N facial areas recognized through the feature point recognition unit 155 are automatically concealed, the facial area processing unit 165 detects that some n faces are matched. The area can be displayed.

본 발명의 실시 방법에 따르면, 상기 안면영역 처리부(165)는 상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 등록된 안면 특징점 조합과 기 설정된 허용 오차 범위 내 매칭되지 않은 (N-n)개의 안면 특징점 관계에 대응하는 (N-n)개의 안면영역을 은폐 안면영역으로 처리할 수 있다. 예컨대, n=0 인 경우, 즉 N=(N-n)이므로, N개의 안면영역을 모두 은폐 처리할 수 있다.According to an exemplary embodiment of the present invention, the facial area processing unit 165 does not match (Nn) the registered facial feature point combinations among the N facial areas included in the image information or photo information and a preset tolerance. The (Nn) facial regions corresponding to the facial feature point relationship can be treated as a concealed facial region. For example, when n=0, that is, N=(N-n), all N facial areas can be concealed.

본 발명의 실시 방법에 따르면, 상기 안면영역 처리부(165)는 상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 매칭된 일부의 n개의 안면 특징점 관계에 대응하는 n개의 안면영역을 유효 안면영역으로 표시하고 비매칭된 나머지 (N-n)개의 안면 특징점 관계에 대응하는 (N-n)개의 안면영역을 은폐 안면영역으로 처리할 수 있다. 예컨대, n = 1≤n<N인 경우, 일부 표시하고 나머지 은폐할 수 있다.According to an embodiment of the present invention, the facial area processing unit 165 is effective for n facial areas corresponding to the relationship between n facial feature points of the matched part of the N facial areas included in the image information or the photo information. The (Nn) facial areas corresponding to the remaining (Nn) facial feature points unmatched and marked as an area may be treated as a concealed facial area. For example, when n = 1≤n<N, some of them can be displayed and the rest can be concealed.

본 발명의 실시 방법에 따르면, 상기 안면영역 처리부(165)는 유효 안면영역이나 은폐 안면영역을 포함하는 영상정보나 사진정보를 상기 터치스크린 상의 지정된 영역에 출력할 수 있다.According to an embodiment of the present invention, the facial area processing unit 165 may output image information or photo information including an effective facial area or a hidden facial area to a designated area on the touch screen.

상기 유효 안면영역이나 은폐 안면영역을 포함하는 영상정보나 사진정보를 상기 터치스크린에 출력하는 경우, 상기 안면영역 처리부(165)는 상기 터치스크린에 출력되는 영상정보나 사진정보에 포함된 N개의 안면영역 별 터치 입력을 활성화 처리할 수 있다. 여기서, 상기 터치 입력 활성화는 자동 활성화되거나, 메뉴 선택이나 조작에 의해 수동 활성화되는 것이 가능하다.When image information or photo information including the effective face region or the hidden face region is output to the touch screen, the face region processing unit 165 includes N faces included in the image information or photo information output to the touch screen. The touch input for each area may be activated. Here, the touch input activation may be automatically activated or manually activated by menu selection or manipulation.

한편, 본 발명의 실시 방법에 따르면, 상기 안면영역 처리부(165)는 상기 N개의 안면영역 별 터치 입력이 활성화된 영상정보나 사진정보를 상기 터치스크린에 출력하는 경우, 상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 터치스크린을 통한 어느 한 특정 안면영역의 터치 입력을 확인하고, 상기 N개의 안면영역 중 유효 안면영역에 대응하는 특정 안면영역이 터치 입력된 경우 상기 터치된 특정 안면영역을 은폐 안면영역으로 처리하여 표시하고, 상기 N개의 안면영역 중 은폐 처리된 안면영역에 대응하는 특정 안면영역이 터치 입력된 경우 상기 터치된 특정 안면영역의 은폐를 해제하여 유효 안면영역으로 표시할 수 있다.On the other hand, according to an embodiment of the present invention, when the facial area processing unit 165 outputs image information or photo information on which the N inputs of each N-face region are activated to the touch screen, the image information or photo information is Among the N facial areas included, a touch input of a specific facial area is checked through the touch screen, and when a specific facial area corresponding to an effective facial area among the N facial areas is touch input, the touched specific facial area Is displayed by processing as a concealed facial area, and when a specific facial area corresponding to the concealed facial area among the N facial areas is touch input, concealment of the touched specific facial area may be released and displayed as an effective facial area. have.

한편, 상기 무선단말(100)의 앱(150)은 셀카 판별부(170)와, 초상권보호 활성화부(175)를 더 구비하여 구성될 수 있다.Meanwhile, the app 150 of the wireless terminal 100 may further include a selfie discrimination unit 170 and a portrait protection activation unit 175.

상기 셀카 판별부(170)는 상기 영상정보나 사진정보를 촬영한 카메라정보를 판독하여 상기 터치스크린을 구비한 면에 탑재된 전면 카메라부를 통해 촬영된 것인지 판별하고 상기 영상정보나 사진정보에 포함된 최근접 안면영역 크기와 상기 영상정보나 사진정보의 전체영역 크기 사이의 비율을 판독하여 기 설정된 셀카 비율 범위에 포함되는지 판별할 수 있다.The selfie discrimination unit 170 reads the camera information that has taken the image information or photo information, determines whether the image is captured through the front camera unit mounted on the surface having the touch screen, and is included in the image information or photo information The ratio between the size of the closest face region and the size of the entire region of the image information or photo information may be read to determine whether it is included in a preset selfie ratio range.

상기 초상권보호 활성화부(175)는 상기 셀카 판별부(170)를 통해 상기 영상정보나 사진정보가 상기 전면 카메라부를 통해 촬영되고 상기 최근접 안면영역 크기와 전체영역 크기 사이의 비율이 기 설정된 셀카 비율 범위에 포함되는 경우, 상기 영상정보나 사진정보에 포함된 안면영역 중 미등록 안면영역을 은폐 처리하는 초상권 보호 기능을 활성화할 수 있다.The portrait protection protection unit 175, the selfie information discrimination unit 170, the image information or photo information is taken through the front camera unit, the ratio between the closest face area size and the total area size is a preset selfie ratio When included in the range, it is possible to activate a portrait protection function that conceals the unregistered facial area among the facial areas included in the image information or the picture information.

한편, 상기 무선단말(100)의 앱(150)은 터치입력 활성화부(180)와, 특징점 정규화부(185)와, 학습 처리부(190)와, 정보 저장부(195)를 더 구비하여 구성될 수 있다.Meanwhile, the app 150 of the wireless terminal 100 is further configured to include a touch input activation unit 180, a feature point normalization unit 185, a learning processing unit 190, and an information storage unit 195. Can be.

상기 터치입력 활성화부(180)는 N개의 안면영역이 인식된 영상정보나 사진정보를 상기 터치스크린에 출력한 경우, 상기 터치스크린에 출력되는 영상정보나 사진정보에 포함된 N개의 안면영역 별 터치 입력을 활성화 처리할 수 있다. 예컨대, 상기 터치 입력 활성화는 자동 활성화되거나, 메뉴 선택이나 조작에 의해 수동 활성화되는 것이 가능하다.When the touch input activation unit 180 outputs image information or photo information in which N face regions are recognized to the touch screen, the touch input activation unit 180 touches each of the N face regions included in the image information or photo information output to the touch screen. The input can be activated. For example, the touch input activation may be automatically activated or manually activated by menu selection or manipulation.

상기 특징점 정규화부(185)는 상기 안면영역 처리부(165)를 통해 적어도 하나의 유효 안면영역이 결정된 경우, 상기 유효 안면영역에 대응하는 안면 특징점 관계를 정규화할 수 있다. The feature point normalization unit 185 may normalize the facial feature point relationship corresponding to the effective face region when at least one effective face region is determined through the face region processing unit 165.

본 발명의 실시 방법에 따르면, 상기 특징점 정규화부(185)는 상기 안면영역 처리부(165)를 통해 적어도 하나의 유효 안면영역이 결정되고, 상기 특징점 인식부(155)를 통해 상기 유효 안면영역에 대응하는 안면 특징점 관계의 적어도 일부 특징점 관계가 지정된 허용 범위 내에서 변화된 표정 변화 특징점 관계가 인식되는 경우, 상기 인식된 표정 변화 특징점 관계를 정규화할 수 있다.According to an embodiment of the present invention, the feature point normalization unit 185 determines at least one effective face region through the face region processing unit 165, and corresponds to the effective face region through the feature point recognition unit 155. When the facial expression change feature point relationship in which at least a part of the facial feature point relationship is changed within a specified allowable range is recognized, the recognized facial expression change feature point relationship may be normalized.

상기 학습 처리부(190)는 상기 특징점 정규화부(185)를 통해 상기 유효 안면영역에 대응하는 안면 특징점 관계를 정규화되면, 상기 정규화된 안면 특징점 관계를 상기 매칭된 안면 특징점 조합에 포함되도록 학습시킬 수 있다.When the facial feature point relationship corresponding to the effective facial region is normalized through the feature point normalization unit 185, the learning processing unit 190 may train the normalized facial feature point relationship to be included in the matched facial feature point combination. .

본 발명의 실시 방법에 따르면, 상기 특징점 정규화부(185)를 통해 상기 인식된 표정 변화 특징점 관계가 정규화되면, 상기 정규화된 표정 변화 특징점 관계를 상기 매칭된 안면 특징점 조합에 포함되도록 학습시킬 수 있다.According to an embodiment of the present invention, when the recognized facial expression change feature point relationship is normalized through the feature point normalization unit 185, the normalized facial expression change feature point relationship can be trained to be included in the matched facial feature point combination.

상기 정보 저장부(195)는 상기 안면영역 처리부(165)를 통해 적어도 하나의 유효 안면영역 또는 은폐 안면영역이 결정되면, 유효 안면영역이나 은폐 안면영역을 포함하는 영상정보나 사진정보를 지정된 저장영역(예컨대, 무선단말의 메모리부 또는 운영서버의 DB)에 저장할 수 있다. 여기서, 상기 영상정보 또는 사진정보는 자동 저장되거나, 또는 메뉴 선택에 의해 수동 저장될 수 있다.When at least one effective facial area or concealed facial area is determined through the facial area processing unit 165, the information storage unit 195 designates a storage area in which image information or photo information including an effective facial area or a hidden facial area is designated. (For example, it can be stored in the memory of the wireless terminal or the DB of the operating server). Here, the image information or photo information may be automatically stored or manually stored by selecting a menu.

도면2는 본 발명의 일 실시 방법에 따른 무선단말의 카메라부를 통해 촬영되어 인식된 안면영역을 유효 안면영역 또는 은폐 안면영역으로 처리하는 과정을 도시한 도면이다.FIG. 2 is a view showing a process of processing a facial area photographed and recognized through a camera unit of a wireless terminal according to an embodiment of the present invention as an effective facial area or a hidden facial area.

보다 상세하게 도면2는 상기 도면1에 도시된 무선단말(100)에 설치된 앱(150)을 통해 상기 무선단말(100)의 지정된 카메라부(140)를 통해 촬영되는 영상정보 또는 사진정보를 판독하여, 상기 판독된 영상정보 또는 사진정보에 포함된 하나 이상의 안면영역을 인식하고, 표시 대상으로 설정된 안면영역을 판별하기 위해 등록된 안면 특징점 조합을 근거로 상기 인식된 하나 이상의 안면영역을 유효 안면영역으로 결정하거나 또는 은폐 안면영역으로 처리하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. In more detail, FIG. 2 reads image information or photo information captured through the designated camera unit 140 of the wireless terminal 100 through the app 150 installed in the wireless terminal 100 shown in FIG. 1. , Recognizing one or more facial areas included in the read image information or photo information, and based on a combination of registered facial feature points to determine a facial area set as a display target, the recognized one or more facial areas as an effective facial area It shows a process of determining or processing into a hidden face area, and those of ordinary skill in the art to which the present invention pertains can infer various implementation methods for the above process by referring to and/or modifying this figure 2 Although it may be possible, the present invention comprises all the inferred implementation methods, and its technical characteristics are not limited to only the implementation methods illustrated in FIG. 2.

도면2를 참조하면, 도시된 실시 방법은, 상기 도면1에 도시된 무선단말(100)의 앱(150)에서 지정된 카메라부(140)를 통해 영상정보나 사진정보를 획득하는 과정으로부터 개시될 수 있다(200). 여기서, 상기 영상정보는 상기 카메라부(140)를 통해 입력되어 지정된 버퍼영역에 버퍼링되는 영상정보 또는 상기 카메라부(140)를 통해 촬영되어 지정된 저장영역에 파일 형태로 저장된 영상정보를 포함할 수 있다.Referring to FIG. 2, the illustrated implementation method may be started from a process of acquiring image information or photo information through the camera unit 140 designated in the app 150 of the wireless terminal 100 shown in FIG. 1. There is (200). Here, the image information may include image information input through the camera unit 140 and buffered in a designated buffer area or image information captured through the camera unit 140 and stored in a file format in a designated storage area. .

상기 영상정보나 사진정보가 획득되면, 상기 무선단말(100)의 앱(150)은 상기 획득되는 영상정보나 사진정보를 판독하여 N(N≥1)개의 안면영역에 대응하는 N개의 안면영역 별 N개의 안면 특징점 관계를 인식한다(205). When the image information or the photo information is obtained, the app 150 of the wireless terminal 100 reads the acquired image information or photo information, and identifies the N face regions corresponding to N (N≥1) face regions. The N facial feature point relationships are recognized (205).

여기서, 상기 안면 특징점 관계는, 정면 방향 안면의 특징점 관계, 좌측 방향 안면의 특징점 관계, 우측 방향 안면의 특징점 관계, 상측 방향 안면의 특징점 관계, 하측 방향 안면의 특징점 관계, 좌상측 방향 안면의 특징점 관계, 좌하측 방향 안면의 특징점 관계, 우상측 방향 안면의 특징점 관계, 우하측 방향 안면의 특징점 관계, 좌측 안면의 특징점 관계, 우측 안면의 특징점 관계 중 적어도 하나의 특징점 관계를 포함할 수 있다.Herein, the facial feature point relationship includes: a front-facing facial feature point relationship, a left-facing facial feature point relationship, a right-facing facial feature point relationship, an up-facing facial feature point relationship, a lower-facial facial feature point relationship, a left-facing facial feature point relationship , May include at least one feature point relationship among a feature point relationship of the left and right faces, a feature point relationship of the right and right faces, a feature point relationship of the right and left faces, a feature point relationship of the left face, and a feature point relationship of the right face.

본 발명의 실시 방법에 따르면, 상기 무선단말(100)의 앱(150)은 상기 안면 특징점 관계를 인식하는 과정에서 상기 영상정보나 사진정보를 상기 터치스크린 상의 지정된 영역에 출력할 수 있으며, N개의 안면영역이 인식된 영상정보나 사진정보를 상기 터치스크린에 출력한 경우, 상기 터치스크린에 출력되는 영상정보나 사진정보에 포함된 N개의 안면영역 별 터치 입력을 활성화 처리할 수 있다.According to an embodiment of the present invention, the app 150 of the wireless terminal 100 may output the image information or photo information to a designated area on the touch screen in the process of recognizing the relationship between the facial feature points. When image information or photo information in which the face region is recognized is output to the touch screen, N touch inputs for each of the face regions included in the image information or photo information output on the touch screen may be activated.

상기 N개의 안면영역 별 N개의 안면 특징점 관계가 인식되면, 상기 무선단말(100)의 앱(150)은 표시 대상으로 설정된 안면영역을 판별하기 위해 등록된 안면 특징점 조합을 저장 관리하는 지정된 메모리부(145)와 연동하여 상기 영상정보나 사진정보로부터 인식된 N개의 안면 특징점 관계 중 상기 등록된 특정 안면 특징점 조합의 적어도 일부와 기 설정된 허용 오차 범위 내에서 매칭되는 n(0≤n≤N)개의 안면 특징점 관계를 판별한다(210).When the relationship between N facial feature points for each of the N facial regions is recognized, the app 150 of the wireless terminal 100 stores and manages a registered combination of facial feature points to determine a facial region set as a display target ( 145) n(0≤n≤N) faces matched within at least a part of the registered specific facial feature point combinations among N facial feature point relationships recognized from the image information or the photo information in association with the preset tolerance. The feature point relationship is determined (210).

여기서, 상기 메모리부(145)는, M(M≥1)개의 안면을 판별하기 위한 M개의 안면 별 M개의 안면 특징점 조합을 저장하며, 상기 무선단말(100)의 앱(150)은 M개의 안면 특징점 조합 중 어느 한 특정 안면 특징점 조합의 적어도 일부와 기 설정된 허용 오차 범위 내에서 매칭되는 n개의 안면 특징점 관계를 판별할 수 있다.Here, the memory unit 145 stores a combination of M facial feature points for M facial faces for discriminating M (M≥1) faces, and the app 150 of the wireless terminal 100 has M facial faces. It is possible to determine n facial feature point relationships that match within at least a portion of a specific combination of facial feature points within a predetermined tolerance range.

여기서, 상기 안면 특징점 조합은 정면 방향 안면의 특징점 관계, 좌측 방향 안면의 특징점 관계, 우측 방향 안면의 특징점 관계, 상측 방향 안면의 특징점 관계, 하측 방향 안면의 특징점 관계, 좌상측 방향 안면의 특징점 관계, 좌하측 방향 안면의 특징점 관계, 우상측 방향 안면의 특징점 관계, 우하측 방향 안면의 특징점 관계, 좌측 안면의 특징점 관계, 우측 안면의 특징점 관계 중 적어도 하나 또는 둘 이상의 합집합을 포함할 수 있다.Here, the combination of the facial feature points is a feature point relationship of a front-facing face, a feature point relationship of a left-facing face, a feature point relationship of a right-facing face, a feature point relationship of a top-facing face, a feature point relationship of a bottom-facing face, a feature point relationship of a left-facing face, It may include at least one or a combination of two or more of the feature point relationship of the lower left face, the feature point relationship of the right upper face, the feature point relationship of the lower right face, the feature point relationship of the left face, and the feature point relationship of the right face.

상기 매칭되는 n개의 안면 특징점 관계가 판별되면, 상기 무선단말(100)의 앱(150)은 상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 매칭된 n개의 안면 특징점 관계에 대응하는 n개의 안면영역을 유효 안면영역으로 결정하거나 비매칭된 (N-n)개의 안면 특징점 관계에 대응하는 (N-n)개의 안면영역을 은폐 안면영역으로 처리한다(215).When the matching n facial feature point relationships are determined, the app 150 of the wireless terminal 100 is n corresponding to the matched n facial feature point relationships among the N facial areas included in the video information or the photo information. The facial areas are determined as effective facial areas or (Nn) facial areas corresponding to unmatched (Nn) facial feature points are treated as concealed facial areas (215).

여기서, 상기 무선단말(100)의 앱(150)은 상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 등록된 안면 특징점 조합과 기 설정된 허용 오차 범위 내 매칭된 n개의 안면 특징점 관계에 대응하는 n개의 안면영역을 유효 안면영역으로 표시할 수 있다.Here, the app 150 of the wireless terminal 100 corresponds to the relationship between n registered facial feature points among the N facial areas included in the video information or photo information and matched n facial feature points within a preset tolerance range. The n number of face regions can be displayed as an effective face region.

또는 상기 무선단말(100)의 앱(150)은 상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 등록된 안면 특징점 조합과 기 설정된 허용 오차 범위 내 매칭되지 않은 (N-n)개의 안면 특징점 관계에 대응하는 (N-n)개의 안면영역을 은폐 안면영역으로 처리할 수 있다.Alternatively, the app 150 of the wireless terminal 100 has (Nn) facial feature point relationships that do not match within a preset tolerance range with the registered facial feature point combination among the N facial areas included in the image information or the photo information. The (Nn) facial areas corresponding to can be treated as a concealed facial area.

여기서, 상기 무선단말(100)의 앱(150)은 상기 유효 안면영역이나 은폐 안면영역을 포함하는 영상정보나 사진정보를 상기 메모리부(145) 또는 운영서버(197)의 D/B에 저장할 수 있다.Here, the app 150 of the wireless terminal 100 can store the image information or photo information including the effective face area or the hidden face area in the D/B of the memory unit 145 or the operation server 197. have.

도면3은 본 발명의 다른 일 실시 방법에 따른 무선단말의 카메라부를 통해 촬영되어 인식된 안면영역을 유효 안면영역 또는 은폐 안면영역으로 처리하는 과정을 도시한 도면이다.FIG. 3 is a diagram illustrating a process of processing a recognized facial area photographed through the camera unit of the wireless terminal according to another embodiment of the present invention as an effective facial area or a hidden facial area.

보다 상세하게 도면3은 상기 도면1에 도시된 무선단말(100)에 설치된 앱(150)을 통해 상기 무선단말(100)의 지정된 카메라부(140)를 통해 촬영되는 영상정보 또는 사진정보를 판독하여, 상기 판독된 영상정보 또는 사진정보에 포함된 하나 이상의 안면영역을 인식하고, 상기 인식된 안면영역을 우선적으로 은폐 안면영역으로 처리한 후, 표시 대상으로 설정된 안면영역을 판별하기 위해 등록된 안면 특징점 조합과 매칭되는 안면영역을 유효 안면영역으로 결정하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. In more detail, FIG. 3 reads image information or photo information captured through the designated camera unit 140 of the wireless terminal 100 through the app 150 installed in the wireless terminal 100 shown in FIG. 1. , A facial feature point registered to recognize one or more facial areas included in the read image information or photo information, treat the recognized facial area as a concealed facial area first, and then determine a facial area set as a display target Shows the process of determining the facial area that matches the combination as an effective facial area. Those of ordinary skill in the art to which the present invention pertains may refer to FIG. 3 and/or modify various processes for the above process. The method may be inferred, but the present invention is made up of all the inferred implementation methods, and its technical characteristics are not limited to only the implementation methods illustrated in FIG. 3.

도면3을 참조하면, 도시된 실시 방법은, 상기 도면1에 도시된 무선단말(100)의 앱(150)에서 지정된 카메라부(140)를 통해 영상정보나 사진정보를 획득하는 과정으로부터 개시될 수 있다(300). 여기서, 상기 영상정보는 상기 카메라부(140)를 통해 입력되어 지정된 버퍼영역에 버퍼링되는 영상정보 또는 상기 카메라부(140)를 통해 촬영되어 지정된 저장영역에 파일 형태로 저장된 영상정보를 포함할 수 있다.Referring to FIG. 3, the illustrated implementation method may be started from a process of acquiring image information or photo information through the camera unit 140 designated in the app 150 of the wireless terminal 100 shown in FIG. 1. There is (300). Here, the image information may include image information input through the camera unit 140 and buffered in a designated buffer area or image information captured through the camera unit 140 and stored in a file format in a designated storage area. .

상기 영상정보나 사진정보가 획득되면, 상기 무선단말(100)의 앱(150)은 상기 획득되는 영상정보나 사진정보를 판독하여 N(N≥1)개의 안면영역에 대응하는 N개의 안면영역 별 N개의 안면 특징점 관계를 인식한다(305). 여기서, 상기 안면 특징점 관계는, 정면 방향 안면의 특징점 관계, 좌측 방향 안면의 특징점 관계, 우측 방향 안면의 특징점 관계, 상측 방향 안면의 특징점 관계, 하측 방향 안면의 특징점 관계, 좌상측 방향 안면의 특징점 관계, 좌하측 방향 안면의 특징점 관계, 우상측 방향 안면의 특징점 관계, 우하측 방향 안면의 특징점 관계, 좌측 안면의 특징점 관계, 우측 안면의 특징점 관계 중 적어도 하나의 특징점 관계를 포함할 수 있다.When the image information or the photo information is obtained, the app 150 of the wireless terminal 100 reads the acquired image information or photo information, and identifies the N face regions corresponding to N (N≥1) face regions. Recognize the N facial feature point relationships (305). Herein, the facial feature point relationship includes: a front-facing facial feature point relationship, a left-facing facial feature point relationship, a right-facing facial feature point relationship, an up-facing facial feature point relationship, a lower-facial facial feature point relationship, a left-facing facial feature point relationship , At least one feature point relationship among a feature point relationship of the left and right faces, a feature point relationship of the right and left faces, a feature point relationship of the right and left faces, a feature point relationship of the left face, and a feature point relationship of the right face.

본 발명의 실시 방법에 따르면, 상기 무선단말(100)의 앱(150)은 상기 안면 특징점 관계를 인식하는 과정에서 상기 영상정보나 사진정보를 상기 터치스크린 상의 지정된 영역에 출력할 수 있으며, N개의 안면영역이 인식된 영상정보나 사진정보를 상기 터치스크린에 출력한 경우, 상기 터치스크린에 출력되는 영상정보나 사진정보에 포함된 N개의 안면영역 별 터치 입력을 활성화 처리할 수 있다.According to an embodiment of the present invention, the app 150 of the wireless terminal 100 may output the image information or photo information to a designated area on the touch screen in the process of recognizing the relationship between the facial feature points. When image information or photo information in which the face region is recognized is output to the touch screen, N touch inputs for each of the face regions included in the image information or photo information output on the touch screen may be activated.

상기 N개의 안면영역 별 N개의 안면 특징점 관계가 인식되면, 상기 무선단말(100)의 앱(150)은 상기 인식된 N개의 안면영역을 은폐 안면영역으로 처리한다(310).When the relationship between N facial feature points for each of the N facial areas is recognized, the app 150 of the wireless terminal 100 processes the recognized N facial areas as a concealed facial area (310).

이후, 상기 무선단말(100)의 앱(150)은 표시 대상으로 설정된 안면영역을 판별하기 위해 등록된 안면 특징점 조합을 저장 관리하는 지정된 메모리부(145)와 연동하여 상기 영상정보나 사진정보로부터 인식된 N개의 안면 특징점 관계 중 상기 등록된 특정 안면 특징점 조합의 적어도 일부와 기 설정된 허용 오차 범위 내에서 매칭되는 n(0≤n≤N)개의 안면 특징점 관계를 판별한다(315). 여기서, 상기 메모리부(145)는, M(M≥1)개의 안면을 판별하기 위한 M개의 안면 별 M개의 안면 특징점 조합을 저장하며, 상기 무선단말(100)의 앱(150)은 M개의 안면 특징점 조합 중 어느 한 특정 안면 특징점 조합의 적어도 일부와 기 설정된 허용 오차 범위 내에서 매칭되는 n개의 안면 특징점 관계를 판별할 수 있다.Thereafter, the app 150 of the wireless terminal 100 is recognized from the image information or photo information in conjunction with a designated memory unit 145 that stores and manages a combination of registered facial feature points in order to determine a face area set as a display target. Among the N facial feature point relationships, n (0≤n≤N) facial feature point relationships that match within at least a part of the registered specific facial feature point combination and within a predetermined tolerance range are determined (315). Here, the memory unit 145 stores a combination of M facial feature points for each M face for determining M (M≥1) faces, and the app 150 of the wireless terminal 100 has M faces. It is possible to determine n facial feature point relationships that match within at least a portion of a specific combination of facial feature points within a predetermined tolerance range.

또한, 상기 안면 특징점 조합은 정면 방향 안면의 특징점 관계, 좌측 방향 안면의 특징점 관계, 우측 방향 안면의 특징점 관계, 상측 방향 안면의 특징점 관계, 하측 방향 안면의 특징점 관계, 좌상측 방향 안면의 특징점 관계, 좌하측 방향 안면의 특징점 관계, 우상측 방향 안면의 특징점 관계, 우하측 방향 안면의 특징점 관계, 좌측 안면의 특징점 관계, 우측 안면의 특징점 관계 중 적어도 하나 또는 둘 이상의 합집합을 포함할 수 있다.In addition, the combination of the facial feature points is a feature point relationship of the front face, a feature point relationship of the left face, a feature point relationship of the right face, a feature point relationship of the top face, a feature point relationship of the bottom face, a feature point relationship of the top left face, It may include at least one or a combination of two or more of the feature point relationship of the lower left face, the feature point relationship of the right upper face, the feature point relationship of the lower right face, the feature point relationship of the left face, and the feature point relationship of the right face.

그리고, 상기 무선단말(100)의 앱(150)은 상기 매칭되는 n개의 안면 특징점 관계가 판별되면, 상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 매칭된 n개의 안면 특징점 관계에 대응하는 n개의 안면영역을 유효 안면영역으로 결정한다(320).In addition, when the matching n facial feature point relationship is determined, the app 150 of the wireless terminal 100 corresponds to the matched n facial feature point relationship among the N facial areas included in the image information or the photo information. The n facial areas are determined as effective facial areas (320).

여기서, 상기 무선단말(100)의 앱(150)은 상기 유효 안면영역이나 은폐 안면영역을 포함하는 영상정보나 사진정보를 상기 메모리부(145) 또는 운영서버(197)의 D/B에 저장할 수 있다.Here, the app 150 of the wireless terminal 100 can store the image information or photo information including the effective face area or the hidden face area in the D/B of the memory unit 145 or the operation server 197. have.

도면4는 본 발명의 일 실시 방법에 따른 터치스크린을 터치하여 유효 안면영역 또는 은폐 안면영역을 처리하는 과정을 도시한 도면이다.4 is a diagram illustrating a process of processing an effective face area or a hidden face area by touching a touch screen according to an embodiment of the present invention.

보다 상세하게 도면4는 상기 도면2 또는 도면3의 과정을 통해 유효 안면영역이 결정되거나 또는 은폐 안면영역이 처리된 이후, 상기 유효 안면영역이나 은폐 안면영역을 포함하는 영상정보나 사진정보가 상기 터치스크린 상의 지정된 영역에 출력되면, 상기 터치스크린에 출력되는 영상정보나 사진정보에 포함된 안면영역 별 터치 입력을 활성화 처리하고, 상기 터치스크린을 통한 어느 한 특정 안면영역의 터치 입력을 확인하여 상기 유효 안면영역을 은폐 안면영역으로 처리하거나, 상기 은폐 안면영역을 유효 안면영역으로 처리하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. In more detail, in FIG. 4, after the effective facial area is determined or the concealed facial area is processed through the process of FIG. 2 or 3, the image information or the picture information including the effective facial area or the concealed facial area is touched. When output to a designated area on the screen, the touch input for each facial area included in the image information or the picture information output on the touch screen is activated and processed, and the touch input of any specific facial area through the touch screen is confirmed to be effective. The process of treating the face region as a concealed face region or treating the concealed face region as an effective face region, and those of ordinary skill in the art to which the present invention pertains, refer to FIG. 4 and/or Various implementation methods for the above process may be inferred, but the present invention includes all the inferred implementation methods, and its technical characteristics are not limited to only the implementation methods illustrated in FIG. 4.

도면4를 참조하면, 도시된 실시 방법은, 상기 도면2 또는 도면3의 과정을 통해 유효 안면영역이 결정되거나 또는 은폐 안면영역이 처리된 이후, 상기 무선단말(100)의 앱(150)에서 상기 유효 안면영역이나 은폐 안면영역을 포함하는 영상정보나 사진정보를 상기 터치스크린 상의 지정된 영역에 출력하는 과정으로부터 개시될 수 있다(400).Referring to FIG. 4, after the effective face region is determined or the concealed face region is processed through the process of FIG. 2 or FIG. 3, the illustrated implementation method is performed by the app 150 of the wireless terminal 100. It may start from the process of outputting image information or photo information including an effective facial area or a hidden facial area to a designated area on the touch screen (400).

상기 유효 안면영역이나 은폐 안면영역을 포함하는 영상정보나 사진정보가 상기 터치스크린 상의 지정된 영역에 출력되면, 상기 무선단말(100)의 앱(150)은 상기 터치스크린에 출력되는 영상정보나 사진정보에 포함된 N개의 안면영역 별 터치 입력을 활성화 처리한다(405). 여기서 상기 터치 입력 활성화는 자동 활성화되거나, 메뉴 선택이나 조작에 의해 수동 활성화될 수 있다.When image information or photo information including the effective face region or the hidden face region is output to a designated area on the touch screen, the app 150 of the wireless terminal 100 displays image information or photo information output on the touch screen. The touch input for each N facial areas included in the process is activated (405). Here, the touch input activation may be activated automatically or manually by menu selection or manipulation.

상기 N개의 안면영역 별 터치 입력이 활성화된 영상정보나 사진정보를 상기 터치스크린에 출력되면, 상기 무선단말(100)의 앱(150)은 상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 터치스크린을 통한 어느 한 특정 안면영역의 터치 입력을 확인한다(410).When the touch input for each of the N facial areas is outputted on the touch screen, the image information or photo information activated, the app 150 of the wireless terminal 100 is among the N facial areas included in the image information or the picture information. A touch input of a specific face region is checked through the touch screen (410).

그리고, 상기 무선단말(100)의 앱(150)은 상기 N개의 안면영역 중 유효 안면영역에 대응하는 특정 안면영역이 터치 입력된 경우 상기 터치된 특정 안면영역을 은폐 안면영역으로 처리하여 표시하고, 상기 N개의 안면영역 중 은폐 처리된 안면영역에 대응하는 특정 안면영역이 터치 입력된 경우 상기 터치된 특정 안면영역의 은폐를 해제하여 유효 안면영역으로 표시한다(415).Then, the app 150 of the wireless terminal 100, if a specific facial area corresponding to the effective facial area among the N facial areas is touch input, displays the processed specific facial area as a concealed facial area, If a specific facial area corresponding to the concealed facial area is touch input among the N facial areas, the concealment of the touched specific facial area is released and displayed as an effective facial area (415).

여기서, 상기 무선단말(100)의 앱(150)은 상기 유효 안면영역이나 은폐 안면영역을 포함하는 영상정보나 사진정보를 상기 메모리부(145) 또는 운영서버(197)의 D/B에 저장할 수 있다.Here, the app 150 of the wireless terminal 100 may store image information or photo information including the effective facial area or the hidden facial area in the memory unit 145 or the D/B of the operation server 197. have.

도면5는 본 발명의 일 실시 방법에 따른 유효 안면영역에 대응하는 안면 특징점 관계를 학습시키는 과정을 도시한 도면이다.FIG. 5 is a diagram illustrating a process of learning a relationship between facial feature points corresponding to an effective facial area according to an embodiment of the present invention.

보다 상세하게 도면4는 상기 도면2 또는 도면3 또는 도면4의 과정을 통해 적어도 하나 이상의 유효 안면영역이 결정된 이후, 상기 유효 안면영역에 대응하는 안면 특징점 관계를 정규화하고, 정규화된 안면 특징점 관계를 매칭된 안면 특징점 조합에 포함되도록 학습시키는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. In more detail, FIG. 4 normalizes the facial feature point relationships corresponding to the effective facial area and matches the normalized facial feature point relationships after at least one effective facial area is determined through the process of FIG. 2 or 3 or 4 It shows the process of learning to be included in the combination of the facial feature points, and those of ordinary skill in the art to which the present invention belongs, refer to and/or modify this figure 5 to infer various implementation methods for the process. Although it may be possible, the present invention includes all the inferred implementation methods, and its technical characteristics are not limited to only the implementation methods illustrated in FIG. 5.

도면5를 참조하면, 도시된 실시 방법은, 상기 도면2 또는 도면3 또는 도면4의 과정을 통해 적어도 하나 이상의 유효 안면영역이 결정된 이후, 무선단말(100)의 앱(150)에서 상기 결정된 유효 안면영역을 확인하는 과정으로부터 개시될 수 있다(500).Referring to FIG. 5, after the at least one effective facial area is determined through the process of the drawing 2 or 3 or 4, the determined effective face is determined in the app 150 of the wireless terminal 100. It may start from the process of identifying the region (500).

상기 결정된 유효 안면영역이 확인되면, 상기 무선단말(100)의 앱(150)은 상기 유효 안면영역에 대응하는 안면 특징점 관계를 정규화한다(505). When the determined effective facial area is confirmed, the app 150 of the wireless terminal 100 normalizes the facial feature point relationship corresponding to the effective facial area (505).

그리고, 상기 무선단말(100)의 앱(150)은 상기 정규화된 안면 특징점 관계를 상기 매칭된 안면 특징점 조합에 포함되도록 학습시킨다(510).Then, the app 150 of the wireless terminal 100 trains the normalized facial feature point relationship to be included in the matched facial feature point combination (510).

상기 무선단말(100)의 앱(150)은 상기 학습된 안면 특징점 조합을 메모리부(145)(또는 운영서버의 D/B)에 저장하고(515), 상기 유효 안면영역이나 은폐 안면영역을 포함하는 영상정보나 사진정보를 상기 메모리부(145) 또는 운영서버(197)의 D/B에 저장한다(520).The app 150 of the wireless terminal 100 stores the learned combination of facial feature points in the memory unit 145 (or D/B of the operation server) (515), and includes the effective facial area or the hidden facial area. The stored image information or photo information is stored in the memory unit 145 or the D/B of the operation server 197 (520).

100 : 무선단말 105 : 제어부
110 : 화면 출력부 115 : 사용자 입력부
120 : 사운드 처리부 125 : 근거리 무선부
130 : 근거리망 통신부 135 : 무선망 통신부
140 : 카메라부 145 : 메모리부
150 : 앱 155 : 특징점 인식부
160 : 특징점 판별부 165 : 안면영역 처리부
170 : 셀카 판별부 175 : 초상권보호 활성화부
180 : 터치입력 활성화부 185 : 특징점 정규화부
190 : 학습 처리부 195 : 정보 저장부
197 : 운영서버100: wireless terminal 105: control unit
110: screen output unit 115: user input unit
120: sound processing unit 125: short-range wireless unit
130: local area network communication unit 135: wireless network communication unit
140: camera unit 145: memory unit
150: app 155: feature point recognition unit
160: feature point discrimination unit 165: facial area processing unit
170: selfie discrimination unit 175: portrait protection protection activation unit
180: touch input activation unit 185: feature point normalization unit
190: learning processing unit 195: information storage unit
197: Operation server

Claims (20)

터치스크린과 하나 이상의 카메라부를 구비한 무선단말의 앱을 통해 실행되는 방법에 있어서,
지정된 카메라부를 통해 획득되는 영상정보나 사진정보를 판독하여 N(N≥1)개의 안면영역에 대응하는 N개의 안면영역 별 N개의 안면 특징점 관계를 인식하는 제1 단계;
표시 대상으로 설정된 안면영역을 판별하기 위해 등록된 안면 특징점 조합을 저장 관리하는 지정된 저장매체와 연동하여 상기 영상정보나 사진정보로부터 인식된 N개의 안면 특징점 관계 중 상기 등록된 특정 안면 특징점 조합의 적어도 일부와 기 설정된 허용 오차 범위 내에서 매칭되는 n(0≤n≤N)개의 안면 특징점 관계를 판별하는 제2 단계; 및
상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 매칭된 n개의 안면 특징점 관계에 대응하는 n개의 안면영역을 유효 안면영역으로 결정하거나 비매칭된 (N-n)개의 안면 특징점 관계에 대응하는 (N-n)개의 안면영역을 은폐 안면영역으로 처리하는 제3 단계;를 포함하는 무선단말을 이용한 초상권 보호 방법.
In the method executed through the app of the wireless terminal having a touch screen and one or more camera units,
A first step of reading image information or photo information obtained through a designated camera unit and recognizing N facial feature point relationships for N facial areas corresponding to N (N≥1) facial areas;
At least a part of the combination of specific registered facial feature points among N facial feature points recognized from the image information or photo information in association with a designated storage medium that stores and manages registered facial feature point combinations to determine a facial area set as a display target And a second step of determining n (0 ≤ n ≤ N) facial feature point relationships that match within a predetermined tolerance range; And
Of the N facial areas included in the image information or the picture information, n facial areas corresponding to the matched n facial feature point relationships are determined as effective facial areas, or correspond to (Nn) unmatched facial feature point relationships ( A third step of processing Nn) facial areas into a concealed facial area; A portrait protection method using a wireless terminal comprising a.
제 1항에 있어서, 상기 영상정보는,
상기 카메라부를 통해 입력되어 지정된 버퍼영역에 버퍼링되는 영상정보를 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
The method of claim 1, wherein the video information,
A method for protecting portrait rights using a wireless terminal, characterized in that it comprises video information input through the camera unit and buffered in a designated buffer area.
제 1항에 있어서, 상기 영상정보는,
상기 카메라부를 통해 촬영되어 지정된 저장영역에 파일 형태로 저장된 영상정보를 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
The method of claim 1, wherein the video information,
A method of protecting portrait rights using a wireless terminal, characterized in that it comprises image information stored in a file format in a designated storage area captured through the camera unit.
제 1항에 있어서, 상기 사진정보는,
상기 카메라부를 통해 촬영되어 지정된 저장영역에 파일 형태로 저장된 사진정보를 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
The method of claim 1, wherein the photo information,
A method of protecting portrait rights using a wireless terminal, characterized in that it comprises photo information stored in the form of a file in a designated storage area photographed through the camera unit.
제 1항에 있어서,
상기 영상정보나 사진정보를 촬영한 카메라정보를 판독하여 상기 터치스크린을 구비한 면에 탑재된 전면 카메라부를 통해 촬영된 것인지 판별하고 상기 영상정보나 사진정보에 포함된 최근접 안면영역 크기와 상기 영상정보나 사진정보의 전체영역 크기 사이의 비율을 판독하여 기 설정된 셀카 비율 범위에 포함되는지 판별하는 단계; 및
상기 영상정보나 사진정보가 상기 전면 카메라부를 통해 촬영되고 상기 최근접 안면영역 크기와 전체영역 크기 사이의 비율이 기 설정된 셀카 비율 범위에 포함되는 경우 상기 영상정보나 사진정보에 포함된 안면영역 중 미등록 안면영역을 은폐 처리하는 초상권 보호 기능을 활성화하는 단계;를 더 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
According to claim 1,
It reads the video information or photo information and reads the camera information to determine whether it was taken through the front camera unit mounted on the surface equipped with the touch screen, and determines the closest facial area size and the image included in the video information or photo information. Reading a ratio between the size of the entire area of the information or the photo information to determine whether it is included in a preset selfie ratio range; And
When the image information or photo information is photographed through the front camera unit and the ratio between the size of the closest face region and the size of the entire region is included in a preset selfie ratio range, unregistered among the face regions included in the image information or photo information A method of protecting a portrait using a wireless terminal, characterized in that it further comprises; activating a portrait protection function that conceals the face area.
제 1항에 있어서, 상기 제1 단계는,
상기 영상정보나 사진정보를 상기 터치스크린 상의 지정된 영역에 출력하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
The method of claim 1, wherein the first step,
And outputting the image information or photo information to a designated area on the touch screen.
제 1항에 있어서,
N개의 안면영역이 인식된 영상정보나 사진정보를 상기 터치스크린에 출력한 경우 상기 터치스크린에 출력되는 영상정보나 사진정보에 포함된 N개의 안면영역 별 터치 입력을 활성화 처리하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
According to claim 1,
When N pieces of facial information or image information recognized are output to the touch screen, further comprising the step of activating and processing the touch input for each N face areas included in the image information or the picture information output on the touch screen. Method for protecting portrait rights using a wireless terminal, characterized in that made.
제 1항에 있어서, 상기 안면 특징점 관계는,
정면 방향 안면의 특징점 관계,
좌측 방향 안면의 특징점 관계,
우측 방향 안면의 특징점 관계,
상측 방향 안면의 특징점 관계,
하측 방향 안면의 특징점 관계,
좌상측 방향 안면의 특징점 관계,
좌하측 방향 안면의 특징점 관계,
우상측 방향 안면의 특징점 관계,
우하측 방향 안면의 특징점 관계,
좌측 안면의 특징점 관계,
우측 안면의 특징점 관계 중 적어도 하나의 특징점 관계를 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
The facial feature point relationship of claim 1,
The relationship between the feature points of the frontal face,
Left-point facial feature relations,
Relation of feature points of the right-facing face,
Relation of feature points of the upward face,
Relation of feature points of the downward face,
The relationship between the feature points of the face in the upper left direction,
The relationship between the feature points of the left and right faces,
Relation of feature points of the right-facing face,
The relationship between the feature points of the face in the lower right direction,
Left facial feature point relationship,
A method for protecting portrait rights using a wireless terminal, characterized in that it comprises at least one feature point relationship among the feature point relationships on the right face.
제 1항에 있어서, 상기 안면 특징점 조합은,
정면 방향 안면의 특징점 관계, 좌측 방향 안면의 특징점 관계, 우측 방향 안면의 특징점 관계, 상측 방향 안면의 특징점 관계, 하측 방향 안면의 특징점 관계, 좌상측 방향 안면의 특징점 관계, 좌하측 방향 안면의 특징점 관계, 우상측 방향 안면의 특징점 관계, 우하측 방향 안면의 특징점 관계, 좌측 안면의 특징점 관계, 우측 안면의 특징점 관계 중 적어도 하나 또는 둘 이상의 합집합을 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
The method of claim 1, wherein the combination of facial feature points,
Feature point relationship of the front facing face, feature point relationship of the left facing face, feature point relationship of the right facing face, feature point relationship of the upward facing face, feature point relationship of the bottom facing face, feature point relationship of the top left facing face, feature point relationship of the left facing face , A right-side face feature point relationship, a right-side face feature point relationship, a left face feature point relationship, and a right face feature point relationship comprising a combination of at least one or more combinations of portraits using a wireless terminal. .
제 1항에 있어서,
상기 저장매체는, M(M≥1)개의 안면을 판별하기 위한 M개의 안면 별 M개의 안면 특징점 조합을 저장하며,
상기 제2 단계는, M개의 안면 특징점 조합 중 어느 한 특정 안면 특징점 조합의 적어도 일부와 기 설정된 허용 오차 범위 내에서 매칭되는 n개의 안면 특징점 관계를 판별하는 단계를 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
According to claim 1,
The storage medium stores a combination of M facial feature points for each M facial faces for discriminating M (M≥1) faces,
The second step includes determining a relationship between n facial feature points that match within at least a portion of a specific combination of facial feature points and a predetermined tolerance range within a predetermined tolerance range. How to protect portrait rights.
제 1항에 있어서, 상기 제3 단계는,
상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 등록된 안면 특징점 조합과 기 설정된 허용 오차 범위 내 매칭된 n개의 안면 특징점 관계에 대응하는 n개의 안면영역을 유효 안면영역으로 표시하는 단계를 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
The method of claim 1, wherein the third step,
Displaying n registered facial feature points among n facial regions included in the image information or the photographic information and n facial regions corresponding to the matched relation of n facial feature points within a preset tolerance range as an effective facial region; Method for protecting portrait rights using a wireless terminal characterized in that it comprises.
제 11항에 있어서, 상기 제1 단계는,
상기 인식된 N개의 안면영역을 은폐 안면영역으로 처리하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
The method of claim 11, wherein the first step,
A method of protecting portrait rights using a wireless terminal, characterized in that it further comprises the step of processing the recognized N facial areas as a concealed facial area.
제 1항에 있어서, 상기 제3 단계는,
상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 등록된 안면 특징점 조합과 기 설정된 허용 오차 범위 내 매칭되지 않은 (N-n)개의 안면 특징점 관계에 대응하는 (N-n)개의 안면영역을 은폐 안면영역으로 처리하는 단계를 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
The method of claim 1, wherein the third step,
Among the N facial areas included in the image information or photo information, the (Nn) facial areas corresponding to the relationship between the registered facial feature point combinations and (Nn) facial feature points that do not match within a preset tolerance range are concealed. Method for protecting portrait rights using a wireless terminal, characterized in that comprises a step of processing.
제 1항에 있어서, 상기 제3 단계는,
상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 매칭된 일부의 n개의 안면 특징점 관계에 대응하는 n개의 안면영역을 유효 안면영역으로 표시하고 비매칭된 나머지 (N-n)개의 안면 특징점 관계에 대응하는 (N-n)개의 안면영역을 은폐 안면영역으로 처리하는 단계를 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
The method of claim 1, wherein the third step,
Of the N facial areas included in the image information or the picture information, n facial areas corresponding to the n facial feature points of the matched part are displayed as effective facial areas, and the unmatched (Nn) facial feature points are related to the relationship. A method of protecting portrait rights using a wireless terminal, comprising the step of processing the corresponding (Nn) facial areas as a concealed facial area.
제 1항에 있어서, 상기 제3 단계는,
유효 안면영역이나 은폐 안면영역을 포함하는 영상정보나 사진정보를 상기 터치스크린 상의 지정된 영역에 출력하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
The method of claim 1, wherein the third step,
A method of protecting a portrait using a wireless terminal, further comprising the step of outputting image information or photo information including an effective face area or a hidden face area to a designated area on the touch screen.
제 1항에 있어서, 상기 제3 단계는,
유효 안면영역이나 은폐 안면영역을 포함하는 영상정보나 사진정보를 상기 터치스크린에 출력하는 경우 상기 터치스크린에 출력되는 영상정보나 사진정보에 포함된 N개의 안면영역 별 터치 입력을 활성화 처리하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
The method of claim 1, wherein the third step,
When outputting image information or photo information including an effective face region or a hidden face region to the touch screen, activating and processing touch input for each N face regions included in the image information or photo information output on the touch screen. Method for protecting portrait rights using a wireless terminal, characterized in that further comprises.
제 1항에 있어서, 상기 제3 단계는,
N개의 안면영역 별 터치 입력이 활성화된 영상정보나 사진정보를 상기 터치스크린에 출력하는 경우 상기 영상정보나 사진정보에 포함된 N개의 안면영역 중 상기 터치스크린을 통한 어느 한 특정 안면영역의 터치 입력을 확인하는 단계; 및
상기 N개의 안면영역 중 유효 안면영역에 대응하는 특정 안면영역이 터치 입력된 경우 상기 터치된 특정 안면영역을 은폐 안면영역으로 처리하여 표시하고, 상기 N개의 안면영역 중 은폐 처리된 안면영역에 대응하는 특정 안면영역이 터치 입력된 경우 상기 터치된 특정 안면영역의 은폐를 해제하여 유효 안면영역으로 표시하는 단계;를 더 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
The method of claim 1, wherein the third step,
When outputting image information or picture information for which N touch inputs for each facial area are activated to the touch screen, among N facial areas included in the video information or photo information, a touch input of a specific facial area through the touch screen Confirming; And
If a specific facial area corresponding to an effective facial area among the N facial areas is touch input, the touched specific facial area is treated as a concealed facial area and displayed, and corresponding to the concealed facial area among the N facial areas When a specific facial area is touch input, the concealment of the touched specific facial area is released and displayed as an effective facial area. The method of protecting a portrait right using a wireless terminal further comprising.
제 1항에 있어서,
적어도 하나의 유효 안면영역이 결정된 경우,
상기 유효 안면영역에 대응하는 안면 특징점 관계를 정규화하는 단계; 및
상기 정규화된 안면 특징점 관계를 상기 매칭된 안면 특징점 조합에 포함되도록 학습시키는 단계;를 더 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
According to claim 1,
If at least one effective facial area has been determined,
Normalizing a facial feature point relationship corresponding to the effective facial area; And
And learning the normalized facial feature point relationship to be included in the matched facial feature point combination.
제 1항에 있어서,
적어도 하나의 유효 안면영역이 결정된 경우,
상기 유효 안면영역에 대응하는 안면 특징점 관계의 적어도 일부 특징점 관계가 지정된 허용 범위 내에서 변화된 표정 변화 특징점 관계를 인식하는 단계;
상기 인식된 표정 변화 특징점 관계를 정규화하는 단계; 및
상기 정규화된 표정 변화 특징점 관계를 상기 매칭된 안면 특징점 조합에 포함되도록 학습시키는 단계;를 더 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
According to claim 1,
If at least one effective facial area has been determined,
Recognizing a facial expression change feature point relationship in which at least some feature point relationship of the facial feature point relationship corresponding to the effective facial area is changed within a designated tolerance range;
Normalizing the recognized facial expression change feature point relationship; And
And learning the normalized facial expression change feature point relationship to be included in the matched facial feature point combination.
제 1항에 있어서,
유효 안면영역이나 은폐 안면영역을 포함하는 영상정보나 사진정보를 지정된 저장영역에 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 무선단말을 이용한 초상권 보호 방법.
According to claim 1,
A method of protecting a portrait using a wireless terminal, characterized in that it further comprises the step of storing video information or photo information including an effective facial area or a hidden facial area in a designated storage area.
KR1020180150270A 2018-11-29 2018-11-29 Method for Protecting Portrait Right by Using Mobile Device KR102238939B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180150270A KR102238939B1 (en) 2018-11-29 2018-11-29 Method for Protecting Portrait Right by Using Mobile Device
JP2019003767A JP2020087399A (en) 2018-11-29 2019-01-11 Device and method for processing facial region

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180150270A KR102238939B1 (en) 2018-11-29 2018-11-29 Method for Protecting Portrait Right by Using Mobile Device

Publications (2)

Publication Number Publication Date
KR20200065115A true KR20200065115A (en) 2020-06-09
KR102238939B1 KR102238939B1 (en) 2021-04-14

Family

ID=70908507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180150270A KR102238939B1 (en) 2018-11-29 2018-11-29 Method for Protecting Portrait Right by Using Mobile Device

Country Status (2)

Country Link
JP (1) JP2020087399A (en)
KR (1) KR102238939B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4036051B2 (en) * 2002-07-30 2008-01-23 オムロン株式会社 Face matching device and face matching method
JP2009094946A (en) * 2007-10-11 2009-04-30 Fujifilm Corp Image pickup device and portrait right protection method in the same device
JP2009176005A (en) * 2008-01-24 2009-08-06 Toyota Motor Corp Characteristic point detection method for face image and its device
KR20130105515A (en) * 2012-03-15 2013-09-25 가부시끼가이샤 도시바 Person image processing apparatus and person image processing method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4512763B2 (en) * 2005-02-02 2010-07-28 株式会社国際電気通信基礎技術研究所 Image shooting system
JP5150067B2 (en) * 2006-07-05 2013-02-20 パナソニック株式会社 Monitoring system, monitoring apparatus and monitoring method
JP2014085796A (en) * 2012-10-23 2014-05-12 Sony Corp Information processing device and program
JP6052751B2 (en) * 2013-07-03 2016-12-27 パナソニックＩｐマネジメント株式会社 Object recognition apparatus and object recognition method
JP6528764B2 (en) * 2014-03-28 2019-06-12 日本電気株式会社 Face matching device, method, and recording medium
KR102094509B1 (en) * 2014-07-31 2020-03-27 삼성전자주식회사 Method of modifying image including photographing restricted element, device and system for performing the same
JP6788518B2 (en) * 2016-03-22 2020-11-25 キヤノン株式会社 Electronic devices and their control methods, as well as imaging devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4036051B2 (en) * 2002-07-30 2008-01-23 オムロン株式会社 Face matching device and face matching method
JP2009094946A (en) * 2007-10-11 2009-04-30 Fujifilm Corp Image pickup device and portrait right protection method in the same device
JP2009176005A (en) * 2008-01-24 2009-08-06 Toyota Motor Corp Characteristic point detection method for face image and its device
KR20130105515A (en) * 2012-03-15 2013-09-25 가부시끼가이샤 도시바 Person image processing apparatus and person image processing method

Also Published As

Publication number Publication date
JP2020087399A (en) 2020-06-04
KR102238939B1 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
US10102505B2 (en) Server-implemented method, terminal-implemented method and device for acquiring business card information
JP6360558B2 (en) File locking method, file locking device, program, and recording medium
US10064000B2 (en) Method, apparatus, and storage medium for acquiring terminal information
WO2016074586A1 (en) Permission verification method and device
EP3076716A1 (en) Method and apparatus for network access
US20160037048A1 (en) Method and device for sharing a camera feature
US20160352661A1 (en) Video communication method and apparatus
US20170064182A1 (en) Method and device for acquiring image file
CN109451817B (en) Unmanned aerial vehicle access method and device
CN109219036B (en) Method and device for unbinding equipment and electronic equipment
RU2628478C2 (en) Method and device for network access
WO2019047066A1 (en) Unmanned aerial vehicle access method and device
CN106126082B (en) Terminal control method and device and terminal
US10313870B2 (en) Identity verification method and apparatus, and storage medium
EP3328109A1 (en) Method and apparatus for establishing network connection
US10313537B2 (en) Method, apparatus and medium for sharing photo
JP2008306487A (en) Personal identification communication system and program to be executed therein
CA2802293C (en) Method and device for sharing a camera feature
KR100725771B1 (en) Apparatus and method of face recognition and authentication for a mobile terminal
KR100705164B1 (en) System and method for user registration using portable device
EP3438924B1 (en) Method and device for processing picture
EP3445077B1 (en) Unlocking mobile terminal in augmented reality
KR102238939B1 (en) Method for Protecting Portrait Right by Using Mobile Device
CN111079112B (en) Application control method, application control device and storage medium
EP3177043A2 (en) Method and apparatus for managing routing device and mobile terminal

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant