KR20220080686A

KR20220080686A - System for offering location of object through analyzing of user's preference data

Info

Publication number: KR20220080686A
Application number: KR1020210114239A
Authority: KR
Inventors: 강덕호
Original assignee: 주식회사 타키온비앤티
Priority date: 2020-12-07
Filing date: 2021-08-27
Publication date: 2022-06-14

Abstract

본 발명은 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템에 관한 것으로서, 유저의 페이스 영역을 선택적으로 검출하는 레코그니션 유닛; 검출된 유저의 페이스 영역으로부터 유저의 페이셜 파트를 개별적으로 추출하는 익스트랙팅 유닛; 추출된 유저의 페이셜 파트 각각에 소정의 이펙트를 선택적으로 적용하는 이펙팅 유닛; 유저가 적용한 소정의 이펙트에 대한 정보로부터 유저의 프리퍼런스 이펙트를 선택적으로 수집하는 콜렉팅 유닛; 및 프리퍼런스 이펙트로부터 소정의 오브젝트를 산출하며, 미리 결정된 공간에 존재하는 소정의 오브젝트의 위치 정보를 선택적으로 제공하는 로케이팅 유닛을 포함하는 기술적 사상을 개시한다.The present invention relates to a system for providing an object position through analysis of a user's preference data, comprising: a recognition unit selectively detecting a user's face area; an extracting unit that individually extracts the user's facial parts from the detected user's face regions; an effecting unit for selectively applying a predetermined effect to each of the extracted user's facial parts; a collecting unit that selectively collects a user's preference effect from information about a predetermined effect applied by the user; and a locating unit that calculates a predetermined object from the preference effect and selectively provides position information of a predetermined object existing in a predetermined space.

Description

System for offering location of object through analyzing of user's preference data

본 발명은 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템에 관한 것이다. 보다 자세하게는, 유저의 페이스를 인식하고 유저의 페이셜 파트에 소정의 이펙트를 적용하며, 유저로부터 선택되는 소정의 이펙트를 분석하여 프리퍼런스 이펙트를 산출하여 유저에게 적합한 맞춤형 오브젝트를 산정하여, 유저가 매장에 입장하게 되면, 매장 내에 존재하는 맞춤형 오브젝트의 위치 정보를 제공하는 시스템에 관한 기술분야이다.The present invention relates to a system for providing an object position through user preference data analysis. More specifically, it recognizes the user's face, applies a predetermined effect to the user's facial part, analyzes a predetermined effect selected from the user, calculates a preference effect, calculates a customized object suitable for the user, and allows the user to enter the store It is a technical field related to a system that provides location information of a custom object existing in a store upon entering.

안면 인식 시스템(facial recognition system)은 디지털 이미지를 통해 각 사람을 자동으로 식별하는 컴퓨터 지원 응용 프로그램을 말한다. 이는 살아 있는 이미지에 나타나는 선택된 얼굴 특징과 안면 데이터베이스를 서로 비교함으로써 이루어진다.A facial recognition system refers to a computer-aided application that automatically identifies each person through a digital image. This is done by comparing selected facial features appearing in the live image with a facial database.

안면 인식 기술은 AI기반의 생체인식 기술로서 사진이나 영상으로부터 얼굴의 특징적인 형상을 인식하여 데이터베이스에 저장하며, 이를 비교 분석하여 안면을 식별하는 기술이다. Face recognition technology is an AI-based biometric technology that recognizes a characteristic shape of a face from a photo or video, stores it in a database, and identifies a face by comparing and analyzing it.

최근에는 안면인식 기술을 활용한 분야가 뷰티 업계에서 활성화되고 있다. 특히, 뷰티 테크의 핵심이 되는 안면 인식 기술은 사람들의 안면 기능의 위치를 감지해, 헤어스타일이나 컨투어링 등 여러 가지 변화된 모습을 보여준다. 이러한 기술은 사람들이 더욱 더 정교하고 과학적으로 뷰티 트렌드에 접근할 수 있도록 한다.Recently, the field using facial recognition technology has been revitalized in the beauty industry. In particular, facial recognition technology, which is the core of beauty technology, detects the location of people's facial functions and shows various changes such as hairstyles and contouring. These technologies allow people to access beauty trends more sophisticated and scientifically.

이와 관련된 선행 특허문헌의 예로서 "증강된 화장 서비스 제공 방법 (등록번호 제10-2158233호, 이하 특허문헌1이라 한다.)"이 존재한다.As an example of a related prior patent document, "method of providing enhanced cosmetic service (registration number 10-2158233, hereinafter referred to as patent document 1)" exists.

특허문헌1에 따른 발명의 경우, 사용자 무선단말의 앱이 사용자 무선단말의 카메라부의 자동초점 촬영 상태에서 입력되는 영상데이터에 포함된 하나 이상의 화상데이터를 판독하여 화장할 사용자 안면에 대응하는 안면 영역을 인식하고, 사용자 무선단말의 앱이 인식된 안면 영역에 형성된 사용자 안면의 기하학 구조를 해석한 사용자 안면 기하학구조 정보를 생성하여 지정된 저장영역에 저장하고, 사용자 안면 기하학 구조 상의 거리 산출을 위해 특정가능한 둘 이상의 특징 점을 결정하고, 카메라부의 자동초점 과정에서 자동 결정된 초점거리와 화상데이터 상의 둘 이상 특정 점 간 픽셀 거리와 무선단말에 구비된 카메라 스펙 정보 중 하나 이상의 정보를 지정된 산출식의 입력값으로 대입하여 둘 이상의 특정 점 간 거리를 포함하는 사용자 안면 기하학 구조에 대한 현실세계와 일대일 축적의 사용자 안면 수치 정보를 결정하고, 사용자 무선단말의 앱이 사용자 안면 기하학 구조 정보와 사용자 안면 수치 정보를 지정된 운영서버로 전송하면, 운영서버에서 사용자 안면 기하학 구조 정보와 사용자 안면 수치 정보를 수신하고, 운영서버에서 사용자 안면 기하학 구조 정보와 일대일 축적의 사용자 안면 수치 정보를 이용하여 사용자의 실제 안면과 일대일 매칭되는 사용자 전용 화장의 3D 모델링 데이터를 생성하고, 운영서버에서 사용자의 실제 안면에 일대일 매칭시켜 생성된 사용자 전용 모델링 데이터에 지정된 화장을 적용하여 생성된 사용자 전용 화장 데이터를 확인하고, 운영서버에서 사용자 무선단말의 앱으로 사용자 전용 화장 데이터를 제공하면, 사용자 무선단말의 앱이 사용자 전용 화장 데이터를 수신하여 지정된 저장영역에 저장하고, 사용자 무선단말의 앱이 지정된 저장영역에 저장된 사용자 안면 기하학 구조 정보를 근거로 카메라부를 통해 입력되는 영상데이터에 포함된 화상데이터를 판독하여 영상데이터에 존재하는 사용자의 안면 영역을 실시간 인식하며, 사용자 무선단말의 앱이 영상데이터에 존재하는 사용자의 안면 영역을 실시간 인식한 경우 영상데이터 상에서 인식된 사용자의 안면 영역에 사용자 전용 화장 데이터를 중첩 표시하여 사용자의 안면을 증강한다.In the case of the invention according to Patent Document 1, the app of the user wireless terminal reads one or more image data included in the image data input in the auto-focus shooting state of the camera unit of the user wireless terminal, and selects a facial area corresponding to the user's face to be put on makeup. Recognizes, generates and stores user facial geometry information that interprets the geometry of the user's face formed in the recognized facial area by the app of the user's wireless terminal, and stores it in a designated storage area. The above characteristic points are determined, and one or more of the focal length automatically determined in the autofocus process of the camera unit, the pixel distance between two or more specific points on the image data, and the camera specification information provided in the wireless terminal are substituted into the input value of the specified calculation formula. to determine the real-world and one-to-one accumulation of user facial numerical information about the user's facial geometry including the distance between two or more specific points, and the app of the user's wireless terminal stores the user's facial geometry information and the user's facial numerical information to the specified operating server When transmitted to, it receives user facial geometry information and user facial numerical information from the operation server, and uses the user facial geometry information and one-to-one accumulated user facial numerical information from the operation server to only match the user's real face one-to-one 3D modeling data of makeup is generated, and the user-only makeup data generated by applying the specified makeup to the user-only modeling data created by matching the user's actual face one-to-one in the operation server is checked, and the application of the user's wireless terminal in the operation server When the user-only makeup data is provided by the user-specific makeup data, the app of the user wireless terminal receives the user-only makeup data and stores it in the designated storage area, and based on the user's facial geometry information stored in the designated storage area, the user's wireless terminal app receives the user-only makeup data and uses the camera unit. By reading the image data included in the image data input through The user's face is augmented by superimposing user-only makeup data on the user's face area recognized on the image data.

또 다른 특허문헌의 예로서 "3Ｄ 얼굴인식 시스템 및 방법 (공개번호 제10-2020-0098875호, 이하 특허문헌2이라 한다.)"이 존재한다.As an example of another patent document, "3D face recognition system and method (Publication No. 10-2020-0098875, hereinafter referred to as Patent Document 2)" exists.

특허문헌2에 따른 발명의 경우, 웹 서비스를 통해 의뢰 영상을 입력하여, 의뢰 영상에 대한 얼굴 검색을 요청하는 검색 요청 단말기, 웹 서비스를 통해 얼굴 검색 요청을 접수하고, 의뢰 영상에 대하여 매칭 조건을 설정하여, 의뢰 영상에 대한 검색을 요청하는 검색 처리 단말기, 및 의뢰 영상에서 추출된 얼굴 영역으로부터 특징점을 추출하고 얼굴의 포즈 예측을 수행하여 생성한 예측 얼굴 포즈 정보와, 데이터베이스에 저장된 3차원 얼굴 모델링 정보를 이용한 3차원 얼굴 인식 과정에 따라 검색된 얼굴 관련 정보를 검색 처리 단말기로 전송하는 검색 서버부를 포함하며, 검색 처리 단말기는 웹 서비스를 통해 얼굴 관련 정보와 얼굴 관련 정보에 대한 감정서를 검색 요청 단말기로 전송한다.In the case of the invention according to Patent Document 2, a search request terminal that requests a face search for the requested image by inputting a requested image through a web service, receives a face search request through the web service, and sets matching conditions for the requested image Set, a search processing terminal that requests a search for the requested image, and predicted face pose information generated by extracting feature points from the facial region extracted from the requested image and performing pose prediction of the face, and 3D face modeling stored in the database and a search server unit that transmits face-related information found according to a three-dimensional face recognition process using information to a search processing terminal, wherein the search processing terminal sends an appraisal of face-related information and face-related information to a search request terminal through a web service send.

또 다른 특허문헌의 예로서 "제품 추천 지원시스템 및 이를 수행하기 위한 컴퓨팅 장치 (공개번호 제10-2020-0065661호, 이하 특허문헌3이라 한다.)"이 존재한다.As another example of the patent document, "a product recommendation support system and a computing device for performing the same (Publication No. 10-2020-0065661, hereinafter referred to as Patent Document 3)" exists.

특허문헌3에 따른 발명의 경우, 사용자로부터 사용자 프로필 정보를 입력받는 스마트 기기; 및 스마트 기기로부터 사용자 프로필 정보를 수신하고, 매장 서버에서 제공하는 제품 정보를 기반으로 사용자 프로필 정보와 대응되는 제품을 추천하는 하나 이상의 추천 제공 정보를 생성하여 스마트 기기로 송신하는 관리 서버를 포함하며, 관리 서버는 매장 서버에서 제공하는 제품 정보에 기반하여 제품 정보를 복수 개의 유형으로 분류하는 제품 정보 분류 모듈; 및 복수 개의 유형으로 분류된 제품 정보와 사용자 프로필 정보를 비교하고, 사용자 프로필 정보와 대응되는 제품을 추천하는 하나 이상의 추천 제공 정보를 생성하는 추천 모듈을 포함한다.In the case of the invention according to Patent Document 3, a smart device that receives user profile information from a user; and a management server that receives user profile information from the smart device, generates one or more recommendation provision information that recommends products corresponding to the user profile information based on the product information provided by the store server, and transmits it to the smart device, The management server includes: a product information classification module for classifying product information into a plurality of types based on product information provided by the store server; and a recommendation module that compares the product information classified into a plurality of types with the user profile information, and generates one or more pieces of recommendation provision information for recommending a product corresponding to the user profile information.

또 다른 특허문헌의 예로서 "상품구매추천시스템과 상품구매추천방법 및 이를 이용한 상품구매추천용 어플리케이션 (등록번호 제10-1854135호, 이하 특허문헌4이라 한다.)"이 존재한다.As another example of the patent document, "a product purchase recommendation system and product purchase recommendation method, and an application for product purchase recommendation using the same (registration number 10-1854135, hereinafter referred to as Patent Document 4)" exists.

특허문헌4에 따른 발명의 경우, 특정 상품의 상품명, 상품종류, 제조회사, 가격, 유통기한, 판매점 위치에 대한 정보가 저장되는 상품정보저장부; 상품정보저장부에 저장된 상품의 유통기한이 동일하면 동일한 태그가 부여되는 태그설정부; 상품정보저장부에 저장된 특정 상품에 대한 재료 및 재료의 양, 열량에 대한 정보를 추출하는 재료정보추출부; 태그설정부에서 동일한 태그가 부여된 상품에 동일한 할인율을 설정하는 가격 설정부; 상품정보저장부, 재료정보추출부 및 가격설정부에 저정된 정보를 이용하여, 거리지수, 건강지수, 가격지수, 종류지수, 품질지수를 계산하는 지수계산부; 지수계산부에서 계산된 지수 값이 큰 순서대로 상품구매추천을 하는 구매추천부; 및 구매추천부에 저장된 정보를 할인율이나 지역명으로 검색가능한 검색부로 이루어진다.In the case of the invention according to Patent Document 4, a product information storage unit for storing information on a product name, product type, manufacturer, price, expiration date, and location of a store of a specific product; a tag setting unit to which the same tag is assigned when the products stored in the product information storage unit have the same expiration date; a material information extraction unit for extracting information on materials, amounts of materials, and calorie content for a specific product stored in the product information storage unit; a price setting unit for setting the same discount rate for products to which the same tag is assigned in the tag setting unit; an index calculator for calculating a distance index, a health index, a price index, a type index, and a quality index by using the information stored in the product information storage unit, the material information extraction unit and the price setting unit; a purchase recommendation unit that recommends product purchases in the order of increasing index values calculated by the index calculation unit; and a search unit capable of retrieving information stored in the purchase recommendation unit by discount rate or region name.

그러나, 기존의 특허문헌 1과 2의 경우, 단말기로부터 촬영되는 사진이나 영상으로부터 사용자의 얼굴을 인식하며, 인식된 얼굴 부위에 뷰티 효과를 적용하는 기술을 포함하지만, 이때, 적용되는 뷰티 효과는 인식된 얼굴 부위에 이미지 보정 필터나 컬러 필터를 입히는 한정된 기술적 사상만을 개시하고 있다.However, in the case of existing Patent Documents 1 and 2, the user's face is recognized from a photo or image taken from the terminal, and a technology for applying a beauty effect to the recognized face part is included, but in this case, the applied beauty effect is recognized It discloses only a limited technical idea of applying an image correction filter or color filter to the affected face.

또한, 특허문헌 3과 4의 경우, 유저가 제품이나 상품을 구매하는데 있어서 추천하는 시스템을 제공하고 있으나, 유저의 취향 정보를 획득하여 유저에게 맞춤형 제품을 추천을 제공하고, 오프라인 매장에 입장시 맞춤형 제품의 위치를 제공하는 기술적 사상을 존재하지 않는다.In addition, in the case of Patent Documents 3 and 4, a system for recommending a product or a product is provided by a user when purchasing a product, but the user's taste information is obtained to provide a customized product recommendation to the user, and a customized product is provided when entering an offline store. There is no technical idea to provide the location of the product.

등록번호 제10-2158233호Registration No. 10-2158233 공개번호 제10-2020-0098875호Publication No. 10-2020-0098875 공개번호 제10-2020-0065661호Publication No. 10-2020-0065661 등록번호 제10-1854135호Registration No. 10-1854135

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템은 상기한 바와 같은 종래 문제점을 해결하기 위해 안출된 것으로서, 다음과 같은 해결하고자 하는 과제를 제시한다.The object location providing system through the user's preference data analysis according to the present invention has been devised to solve the conventional problems as described above, and presents the following problems to be solved.

첫째, 유저의 단말기로부터 촬영되는 유저의 영상 정보를 수집하여, 유저의 얼굴을 인식하고자 한다.First, by collecting image information of the user photographed from the user's terminal, the user's face is to be recognized.

둘째, 인식된 유저의 얼굴 부위 각각에 소정의 효과를 선택적으로 적용하고자 한다.Second, it is intended to selectively apply a predetermined effect to each of the recognized user's face parts.

셋째, 유저의 선택에 따라 적용된 소정의 효과에 대한 정보를 획득하여 유저의 취향을 파악하고자 한다.Third, information on a predetermined effect applied according to the user's selection is obtained to understand the user's taste.

넷째, 유저가 소정의 공간에 입장하면, 유저의 취향에 따른 제품을 추천 및 안내하고자 한다.Fourth, when a user enters a predetermined space, it is intended to recommend and guide products according to the user's taste.

본 발명의 해결 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved of the present invention are not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템은 상기의 해결하고자 하는 과제를 위하여 다음과 같은 과제 해결 수단을 가진다.The object location providing system through the user's preference data analysis according to the present invention has the following problem solving means for the above problem to be solved.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템은 모바일 유닛으로부터 취득된 유저의 영상으로부터 상기 유저의 페이스 영역을 선택적으로 검출하는 레코그니션 유닛(recognition unit); 상기 레코그니션 유닛으로부터 검출된 상기 유저의 페이스 영역으로부터 상기 유저의 페이셜 파트(facial part)를 개별적으로 추출하는 익스트랙팅 유닛(extracting unit); 상기 익스트랙팅 유닛으로부터 추출된 상기 유저의 상기 페이셜 파트 각각에 소정의 이펙트(effect)를 선택적으로 적용하는 이펙팅 유닛(effecting unit); 상기 유저가 적용한 상기 소정의 이펙트에 대한 정보로부터 상기 유저의 프리퍼런스 이펙트(preference effect)를 선택적으로 수집하는 콜렉팅 유닛(collecting unit); 및 상기 콜렉팅 유닛으로부터 수집된 상기 프리퍼런스 이펙트로부터 소정의 오브젝트를 산출하며, 상기 유저가 미리 결정된 공간에 입장하면, 상기 미리 결정된 공간에 존재하는 상기 소정의 오브젝트의 위치 정보를 선택적으로 제공하는 로케이팅 유닛(locating unit)을 포함하는 것을 특징으로 할 수 있다.According to the present invention, a system for providing an object location through an analysis of a user's preference data includes: a recognition unit for selectively detecting a face area of the user from an image of the user acquired from a mobile unit; an extracting unit for individually extracting a facial part of the user from the face region of the user detected from the recording unit; an effecting unit selectively applying a predetermined effect to each of the facial parts of the user extracted from the extracting unit; a collecting unit that selectively collects the user's preference effect from information on the predetermined effect applied by the user; and calculating a predetermined object from the preference effect collected from the collecting unit, and selectively providing location information of the predetermined object existing in the predetermined space when the user enters a predetermined space. It may be characterized as comprising a unit (locating unit).

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 상기 익스트랙팅 유닛은, 상기 레코그니션 유닛으로부터 선택적으로 검출된 상기 유저의 페이스 영역으로부터 3차원의 페이스 쉐입을 형성하는 쉐이핑(shaping)부; 상기 쉐이핑부로부터 형성된 상기 3차원의 페이스 쉐입으로부터 상기 유저의 페이셜 파트를 선택적으로 추출하는 트레킹(tracking)부; 및 상기 유저의 상기 소정의 무브먼트에 따른 상기 페이셜 파트의 앵글 변화를 감지하여, 상기 3차원의 페이스 쉐입에 반영하여 얼라이닝(aligning)부를 포함하는 것을 특징으로 할 수 있다.The extracting unit of the system for providing an object position through analysis of user preference data according to the present invention forms a three-dimensional face shape from the user's face region selectively detected from the recording unit. )wealth; a tracking unit for selectively extracting the user's facial part from the three-dimensional face shape formed from the shaping unit; and an aligning unit by detecting an angle change of the facial part according to the predetermined movement of the user, and reflecting the change in the three-dimensional face shape.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 상기 이펙팅 유닛은, 상기 유저로부터 미리 결정된 액션과 상호 연동되어, 상기 미리 결정된 액션에 의해 상기 페이셜 파트가 선택되도록 하는 유저 액션(user action)부; 및 상기 미리 결정된 액션에 의해 선택된 상기 페이셜 파트에 상기 소정의 이펙트를 선택적으로 적용하는 어플라잉(applying)부를 포함하는 것을 특징으로 할 수 있다.The effecting unit of the system for providing an object position through the user's preference data analysis according to the present invention interacts with a predetermined action from the user, and a user action for selecting the facial part by the predetermined action )wealth; and an applying unit for selectively applying the predetermined effect to the facial part selected by the predetermined action.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 상기 콜렉팅 유닛은, 상기 유저에 의해 선택적으로 적용되는 상기 소정의 이펙트에 대한 정보를 수집하여 정렬하는 이펙트 솔팅부; 및 상기 이펙트 솔팅부로부터 정렬된 상기 소정의 이펙트에 대한 정보를 분석하여 상기 유저의 상기 프리퍼런스 이펙트를 선택적으로 산출하는 이펙트 분석부를 포함하는 것을 특징으로 할 수 있다.The collecting unit of the system for providing an object position through the user's preference data analysis according to the present invention includes: an effect salting unit for collecting and arranging information on the predetermined effect selectively applied by the user; and an effect analysis unit for selectively calculating the preference effect of the user by analyzing information on the predetermined effect arranged from the effect salting unit.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 상기 로케이팅 유닛은, 상기 콜렉팅 유닛으로부터 수집된 상기 프리퍼런스 이펙트와 복수 개의 미리 설정된 조건 중 적어도 하나 이상의 조건이 일치하는 소정의 오브젝트를 선택적으로 산출하는 오브젝트 일드부를 포함하는 것을 특징으로 할 수 있다.The locating unit of the object location providing system through the user's preference data analysis according to the present invention, the preference effect collected from the collecting unit and at least one of a plurality of preset conditions match a predetermined object It may be characterized in that it includes an object yield part that is selectively calculated.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 상기 로케이팅 유닛은, 외부 서버로부터 미리 결정된 공간 정보를 제공받아, 상기 미리 결정된 공간 내에 존재하는 상기 소정의 오브젝트의 위치를 선택적으로 산출하는 포지션 일드부를 더 포함하는 것을 특징으로 할 수 있다.The locating unit of the system for providing object location through user preference data analysis according to the present invention receives predetermined spatial information from an external server, and selectively calculates the location of the predetermined object existing in the predetermined space It may be characterized in that it further comprises a position yield unit.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 상기 로케이팅 유닛은, 상기 미리 결정된 공간을 3차원 좌표화하여, 상기 미리 결정된 공간 내에서 상기 유저의 위치 좌표 또는 상기 소정의 오브젝트의 위치 좌표를 선택적으로 제공하는 코디네이팅부를 더 포함하는 것을 특징으로 할 수 있다.The locating unit of the system for providing an object position through the user's preference data analysis according to the present invention, by three-dimensional coordinates of the predetermined space, the location coordinates of the user or the predetermined object in the predetermined space It may be characterized in that it further comprises a coordinating unit that selectively provides position coordinates.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 상기 로케이팅 유닛은, 상기 코디네이팅부로부터 제공된 상기 소정의 오브젝트의 위치 좌표를 상기 유저에게 선택적으로 안내하는 네비게이팅부 더 포함하는 것을 특징으로 할 수 있다.The locating unit of the object position providing system through the user's preference data analysis according to the present invention further comprises a navigating unit for selectively guiding the user to the position coordinates of the predetermined object provided from the coordinating unit can be done with

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 상기 네비게이팅부는, 상기 유저로 하여금 상기 유저의 위치 좌표로부터 상기 소정의 오브젝트의 위치 좌표로 이동할 수 있도록 소정의 경로를 선택적으로 제공하는 것을 특징으로 할 수 있다.The navigating unit of the object position providing system through the user's preference data analysis according to the present invention selectively provides a predetermined path so that the user can move from the user's position coordinates to the predetermined object position coordinates can be characterized as

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 상기 로케이팅 유닛은, 상기 미리 결정된 공간에 입장한 상기 유저가 상기 소정의 오브젝트와의 거리가 미리 결정된 거리가 되면, 상기 유저의 상기 모바일 유닛으로 소정의 시그널을 선택적으로 제공하는 어프로칭 시그널부를 더 포함하는 것을 특징으로 할 수 있다.The locating unit of the system for providing an object position through the user's preference data analysis according to the present invention, when the user who has entered the predetermined space and the distance to the predetermined object becomes a predetermined distance, the user's It may be characterized by further comprising an approaching signal unit that selectively provides a predetermined signal to the mobile unit.

이상과 같은 구성의 본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템은 다음과 같은 효과를 제공한다.The object location providing system through the user's preference data analysis according to the present invention configured as described above provides the following effects.

첫째, 유저의 단말기로부터 유저의 영상 정보를 수집하여 유저의 페이스 영역만을 검출할 수 있게 된다.First, by collecting the user's image information from the user's terminal, it is possible to detect only the user's face area.

둘째, 유저의 페이스 영역으로부터 유저의 페이셜 파트를 추출하고, 유저의 페이셜 파트에 소정의 이펙트를 선택적으로 적용할 수 있게 된다.Second, it is possible to extract the user's facial part from the user's face area and selectively apply a predetermined effect to the user's facial part.

셋째, 유저가 적용한 소정의 이펙트에 대한 정보를 수집하여, 유저의 프리퍼런스 이펙트를 분석하고 산출할 수 있게 된다.Third, by collecting information on a predetermined effect applied by the user, it is possible to analyze and calculate the user's preference effect.

넷째, 유저가 소정의 공간에 입장하면, 유저의 프리퍼런스 이펙트가 송수신되어 유저의 취향에 따라 유저 맞춤형 오브젝트를 안내할 수 있게 된다.Fourth, when the user enters a predetermined space, the user's preference effect is transmitted/received to guide the user-customized object according to the user's taste.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도1은 본 발명의 일 실시예에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 개념도이다.
도2는 본 발명의 일 실시예에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 블록도이다.
도3은 본 발명의 일 실시예에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 레코그니션 유닛의 블록도이다.
도4는 본 발명의 일 실시예에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 익스트랙팅 유닛의 개념도이다.
도5는 본 발명의 일 실시예에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 익스트랙팅 유닛의 블록도이다.
도6은 본 발명의 일 실시예에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 이펙팅 유닛의 개념도이다.
도7은 본 발명의 일 실시예에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 스팟 커버링부의 개념도이다.
도8은 본 발명의 일 실시예에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 이펙팅 유닛의 블록도이다.
도9는 본 발명의 일 실시예에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 콜렉팅 유닛의 개념도이다.
도10은 본 발명의 일 실시예에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 콜렉팅 유닛의 블록도이다.
도11은 본 발명의 일 실시예에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 포지션 일드부와 코디네이팅부의 개념도이다.
도12는 본 발명의 일 실시예에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 네비게이팅부와 어프로칭 시그널부의 개념도이다.
도13은 본 발명의 일 실시예에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 코디네이팅부의 개념도이다.
도14는 본 발명의 일 실시예에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 로케이팅 유닛의 블록도이다.1 is a conceptual diagram of a system for providing an object location through a user's preference data analysis according to an embodiment of the present invention.
2 is a block diagram of a system for providing an object location through user preference data analysis according to an embodiment of the present invention.
3 is a block diagram of a registration unit of a system for providing an object location through user preference data analysis according to an embodiment of the present invention.
4 is a conceptual diagram of an extracting unit of a system for providing an object location through a user's preference data analysis according to an embodiment of the present invention.
5 is a block diagram of an extracting unit of a system for providing an object location through a user's preference data analysis according to an embodiment of the present invention.
6 is a conceptual diagram of an effecting unit of a system for providing an object location through user's preference data analysis according to an embodiment of the present invention.
7 is a conceptual diagram of a spot covering unit of a system for providing an object location through a user's preference data analysis according to an embodiment of the present invention.
8 is a block diagram of an effecting unit of a system for providing an object position through user preference data analysis according to an embodiment of the present invention.
9 is a conceptual diagram of a collecting unit of a system for providing an object location through a user's preference data analysis according to an embodiment of the present invention.
10 is a block diagram of a collecting unit of a system for providing an object location through user preference data analysis according to an embodiment of the present invention.
11 is a conceptual diagram of a position yield unit and a coordinating unit of a system for providing an object position through user's preference data analysis according to an embodiment of the present invention.
12 is a conceptual diagram of a navigating unit and an approaching signal unit of a system for providing an object location through user's preference data analysis according to an embodiment of the present invention.
13 is a conceptual diagram of a coordinating unit of a system for providing an object location through a user's preference data analysis according to an embodiment of the present invention.
14 is a block diagram of a locating unit of a system for providing an object location through user preference data analysis according to an embodiment of the present invention.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. The system for providing an object position through the user's preference data analysis according to the present invention can apply various changes and can have various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.

종래 기술들은 풀 프레임(full frame)으로서 유저의 안면을 일정한 틀에 맞추어진 상태로 셋팅, 변형, 색 변형 등에 해당하는바, 본인의 얼굴을 왜곡시키는 문제점이 있다. Conventional technologies have a problem of distorting the user's face as a full frame, which corresponds to setting, transformation, color transformation, etc. of a user's face in a state in which the user's face is adjusted to a certain frame.

종래 기술들은 유저의 얼굴을 그대로 살려 특정 부위만을 선택적으로 원하는 색조 혹은 원하는 화장 테크닉을 선택적으로 적용할 수 없는 문제점이 있었다. Conventional techniques have a problem in that it is not possible to selectively apply a desired color tone or a desired makeup technique to only a specific part by using the user's face as it is.

본원 발명은 위 종래기술들에 비하여, 사용자 혹은 유저의 얼굴을 그대로 반영하되, 본인이 직접 화장하는 것과 같이 실제 화장을 시도해볼 수 있고, 화장을 덧바르는 등의 효과를 낼 수 있게 된다.The present invention reflects the user or the user's face as it is, compared to the above prior art, but it is possible to try actual makeup, such as applying makeup by the person himself, and to achieve effects such as applying makeup.

또한, 사용자가 적용한 효과 데이터를 수집하고 축적하여, 사용자가 자주 사용하는 효과를 파악하여 유저의 취향에 따른 오브젝트는 선택적으로 추천할 수 있게 된다.In addition, by collecting and accumulating effect data applied by a user, an effect frequently used by the user is identified, and an object according to the user's taste can be selectively recommended.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 경우, 도1에 도시된 바와 같이, 유저의 모바일 유닛(1000)으로부터 유저의 영상으로부터 유저의 페이스 영역과 유저의 페이셜 파트(facial part)를 추출하며, 페이셜 파트 각각에 가상의 메이크업 이펙트(makeup effect)를 적용하게 된다. In the case of the object location providing system through the user's preference data analysis according to the present invention, as shown in FIG. 1 , the user's face area and the user's facial part from the user's image from the user's mobile unit 1000 ), and a virtual makeup effect is applied to each facial part.

또한, 유저가 적용한 소정의 이펙트를 분석하여 유저가 선호하는 프리퍼런스 이펙트를 산출하고, 프리퍼런스 이펙트에 따라서 유저에게 맞춤형 오브젝트를 추천할 수 있도록 한다.In addition, by analyzing a predetermined effect applied by the user, a preference effect preferred by the user is calculated, and a customized object can be recommended to the user according to the preference effect.

여기서 말하는 모바일 유닛(1000)은 유저의 단말기(휴대폰, PC, 태블릿pc) 등에 제공되어, 유저로 하여금 카메라를 실행하여 사진 또는 영상을 촬영하고 편집할 수 있는 어플리케이션, 앱 등으로 정의할 수 있다. The mobile unit 1000 referred to herein may be defined as an application, an app, etc. that is provided to a user's terminal (cell phone, PC, tablet pc), etc., and allows the user to execute a camera to take and edit a photo or video.

즉, 모바일 유닛(1000)에 포함되며 상호 연동된 레코그니션 유닛(100), 익스트랙팅 유닛(200), 이펙팅 유닛(300) 통해서 유저의 단말기로 촬영된 유저의 영상 또는 셀카 영상으로부터, 유저의 페이스를 인식하고 유저의 페이셜 파트 각각에 소정의 이펙트를 적용하게 된다. That is, from the user's image or selfie image captured by the user's terminal through the recording unit 100 , the extracting unit 200 , and the effecting unit 300 included in the mobile unit 1000 and interlocked with each other, the user The face is recognized and a predetermined effect is applied to each of the user's facial parts.

또한, 콜렉팅 유닛(400)을 통해서 유저가 자주 사용하는 소정의 이펙트에 대한 정보를 획득하여 프리퍼런스 이펙트를 산출하고, 로케이팅 유닛(500)은 유저가 소정의 공간에 입장하면, 소정의 공간 내에 존재하는 유저에 취향에 산출된 유저 맞춤형 오브젝트의 위치 정보를 제공하게 된다.In addition, the preference effect is calculated by obtaining information on a predetermined effect frequently used by the user through the collecting unit 400 , and the locating unit 500 enters the predetermined space when the user enters the predetermined space. The location information of the user-customized object calculated to the user's taste is provided to the existing user.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 경우, 도2에 도시된 바와 같이, 레코그니션 유닛(recognition unit, 100), 익스트랙팅 유닛(extracting unit, 200), 이펙팅 유닛(effecting unit, 300), 및 콜렉팅 유닛(collecting unit, 400), 및 로케이팅 유닛(locating unit, 500)을 포함하게 된다.In the case of the object location providing system through the user's preference data analysis according to the present invention, as shown in Figure 2, a recognition unit (recognition unit, 100), an extracting unit (extracting unit, 200), an effecting unit (effecting unit 300 ), and a collecting unit 400 , and a locating unit 500 .

먼저, 레코그니션 유닛(100)의 경우, 도1에 도시된 바와 같이, 모바일 유닛(1000)으로부터 취득된 유저의 영상으로부터 유저의 페이스 영역을 선택적으로 검출하는 구성이다.First, in the case of the registration unit 100 , as shown in FIG. 1 , the face region of the user is selectively detected from the image of the user acquired from the mobile unit 1000 .

레코그니션 유닛(100)은 유저로부터 유저의 단말기를 통해서 카메라가 실행될 때, 실시간으로 촬영되는 유저의 영상으로부터 유저의 페이스 영역만을 인식하고 검출하는 구성이다.The recording unit 100 is configured to recognize and detect only the user's face area from the user's image captured in real time when the camera is executed from the user through the user's terminal.

레코그니션 유닛(100)은 이미 상용화된 비전 센서, 적외선 센서, 초음파 센서, 위치 감지 센서, 또는 카메라 센서 등으로 등의 것을 활용하면 되는 바, 자세한 기작은 생략하도록 한다.The registration unit 100 may utilize a commercially available vision sensor, an infrared sensor, an ultrasonic sensor, a position detection sensor, a camera sensor, or the like, and the detailed mechanism will be omitted.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 레코그니션 유닛(100)의 경우, 도3에 도시된 바와 같이, 스캔(scan)부(110), 퍼시빙(perceiving)부(120), 및 디텍팅(detecting)부(130)를 포함하게 된다.In the case of the registration unit 100 of the object location providing system through the user's preference data analysis according to the present invention, as shown in FIG. 3, a scan unit 110, a perceiving unit ( 120 ), and a detecting unit 130 .

먼저, 스캔부(110)의 경우, 모바일 유닛(1000)으로부터 유저의 영상을 가져와서 스캔하는 구성이다.First, in the case of the scan unit 110 , the user's image is retrieved from the mobile unit 1000 and scanned.

스캔부(110)는 유저의 단말기로부터 실시간으로 촬영되는 유저의 영상을 선별적으로 가져오며, 해당 영상으로부터 유저의 페이스 영역을 인식하기 위해 스캔하도록 한다.The scan unit 110 selectively brings the user's image captured in real time from the user's terminal, and scans the image to recognize the user's face area.

퍼시빙부(120)의 경우, 유저의 영상으로부터 소정의 무브먼트가 포착되는 영역을 유저의 페이스 영역으로 인식하는 구성이다.In the case of the perciting unit 120 , it is configured to recognize an area in which a predetermined movement is captured from the user's image as the user's face area.

퍼시빙부(120)는 유저의 영상 중, 유저의 페이스 영역을 인식하기 위해 유저의 소정의 무브먼트를 포착하여 이를 유저의 페이스 영역으로 정의하도록 한다.The perceiving unit 120 captures a predetermined movement of the user in order to recognize the user's face area in the user's image and defines it as the user's face area.

퍼시빙부(120)에서는 서버로부터 미리 축적된 페이셜 패턴 정보를 제공받아, 미리 축적된 페이셜 패턴 정보에 기초하여, 유저의 영상으로부터 소정의 시간 동안 유저의 소정의 무브먼트를 감지하여 유저의 페이스 영역만을 인식하게 된다.The perceiving unit 120 receives facial pattern information accumulated in advance from the server, and based on the facial pattern information accumulated in advance, detects a user's predetermined movement from the user's image for a predetermined time to recognize only the user's face area will do

예컨대, 퍼시빙부(120)로부터 포착되는 소정의 무브먼트는 유저가 유저의 페이스를 촬영하거나 셀카를 찍을 때, 카메라를 실행한 상태에서 유저의 페이스가 잘 나오도록 하는 각도를 찾기 위해 유저의 페이스를 이리 저리 움직일 때의 무브먼트로 정의하는 것이 바람직하다.For example, the predetermined movement captured from the perceiving unit 120 moves the user's face to find an angle that makes the user's face come out well with the camera running when the user takes a picture of the user's face or takes a selfie. It is desirable to define it as a movement when moving around.

또한, 유저가 유저의 페이스가 잘 나오도록 하는 각도를 찾은 후에, 유저의 페이스가 고정되어 있다 하더라도 유저의 눈동자는 움직임이 발생하기 때문에, 유저의 눈동자의 깜빡임, 움직임을 통해서 소정의 무브먼트를 포착할 수 있게 된다.In addition, after the user finds an angle that allows the user's face to come out well, even if the user's face is fixed, since the user's pupils move, it is possible to capture a certain movement through the blinking and movement of the user's pupils. be able to

디텍팅부(130)의 경우, 퍼시빙부(120)로부터 인식된 유저의 페이스 영역과 백그라운드 영역을 분리하여, 유저의 페이스 영역을 선택적으로 검출하는 구성이다.The detecting unit 130 is configured to selectively detect the user's face area by separating the user's face area and the background area recognized by the perceiving unit 120 .

디텍팅부(130)에서는 유저의 영상 중 유저의 페이스 영역이 인식되면, 유저의 영상 중 페이스 영역을 제외한 부분은 백그라운드 영역으로 인식하고 분리하게 된다.When the user's face area is recognized in the user's image, the detecting unit 130 recognizes and separates the portion of the user's image except for the face area as a background area.

디텍팅부(130)에서는 유저의 페이스 영역과 백그라운드 영역이 각각 분리되면, 유저의 페이스 영역만을 선택적으로 검출하도록 한다.When the user's face area and the background area are separated from each other, the detecting unit 130 selectively detects only the user's face area.

익스트랙팅 유닛(200)의 경우, 도4에 도시된 바와 같이, 레코그니션 유닛(100)으로부터 검출된 유저의 페이스 영역으로부터 유저의 페이셜 파트(facial part)를 개별적으로 추출하는 구성이다.In the case of the extracting unit 200 , as shown in FIG. 4 , the user's facial part is individually extracted from the user's face area detected by the recording unit 100 .

익스트랙팅 유닛(200)에서 개별적으로 추출하는 유저의 페이셜 파트는, 유저의 얼굴 부위 각각으로 정의한다. The user's facial parts individually extracted by the extracting unit 200 are defined as each of the user's face parts.

예컨대, 익스트랙팅 유닛(200)에서 추출하는 유저의 페이셜 파트에는 유저의 눈, 눈썹, 속눈썹, 눈동자, 눈커풀, 애교살, 아이홀, 코, 콧망울, 콧대, 콧구멍, 인중, 입, 입술, 치아, 얼굴형, 피부, 볼, 턱, 광대뼈, 이마, 머리카락 또는 귀 등이 포함된다.For example, the user's facial parts extracted by the extracting unit 200 include the user's eyes, eyebrows, eyelashes, pupils, eyelids, aegyo cheeks, eye holes, nose, nostrils, bridge of the nose, nostrils, pharynx, mouth, lips , teeth, face shape, skin, cheeks, jaw, cheekbones, forehead, hair or ears.

익스트랙팅 유닛(200)은 이미 상용화된 이미지에서 얼굴이 존재하는 위치를 확인하는 안면인식 기술, 얼굴 검출 알고리즘, 특징점 추출 알고리즘 기술 등을 활용하는 되는 바, 자세한 기작은 생략하도록 한다.The extracting unit 200 utilizes a facial recognition technology for confirming the location of a face in an already commercialized image, a face detection algorithm, a feature point extraction algorithm technology, and the like, so the detailed mechanism will be omitted.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 익스트랙팅 유닛(200)의 경우, 도5에 도시된 바와 같이, 쉐이핑(shaping)부(210), 트레킹(tracking)부(220), 얼라이닝(aligning)부(230), 및 어드레스(address)부(240)를 포함하게 된다.In the case of the extracting unit 200 of the system for providing an object position through the user's preference data analysis according to the present invention, as shown in FIG. 5 , a shaping unit 210 and a tracking unit 220 ), an aligning unit 230 , and an address unit 240 .

먼저, 쉐이핑부(210)의 경우, 디텍팅부(130)로부터 검출된 유저의 페이스 영역으로부터 3차원의 페이스 쉐입을 형성하는 구성이다.First, in the case of the shaping unit 210 , a three-dimensional face shape is formed from the user's face area detected by the detecting unit 130 .

쉐이핑부(210)에서는 유저의 페이스를 3차원의 페이스 쉐입으로 형성하는 것은 유저의 페이스의 윤곽에 따른 유저의 페이셜 파트를 추출하기 위해서이다.The shaping unit 210 forms the user's face in a three-dimensional face shape in order to extract the user's facial parts according to the contour of the user's face.

트레킹부(220)의 경우, 쉐이핑부(210)로부터 형성된 3차원의 페이스 쉐입으로부터 유저의 페이셜 파트를 선택적으로 추출하는 구성이다.In the case of the trekking unit 220 , it is configured to selectively extract the user's facial parts from the three-dimensional face shape formed by the shaping unit 210 .

트레킹부(220)에서 페이셜 파트를 선택적으로 추출하기 위해서 유저의 페이셜 파트를 추적하게 된다. 유저의 페이셜 파트를 추적하기 위해서 서버에 미리 축적된 페이셜 패턴 정보에 기초하여 추적하게 된다. The tracking unit 220 tracks the user's facial part in order to selectively extract the facial part. In order to track the user's facial part, it is tracked based on facial pattern information previously accumulated in the server.

미리 축적된 페이셜 패턴 정보에는 통상적인 사람의 얼굴의 비율에 대한 정보와, 얼굴의 형상 정보와 같은 얼굴이 가지는 전형적인 패턴 정보로 정의한다. The pre-accumulated facial pattern information is defined as information about the ratio of a normal human face and typical pattern information of a face, such as face shape information.

예컨대, 미리 축적된 페이셜 패턴 정보에는 얼굴은 크게 두 개의 눈이 좌우에 대칭되어 상부에 배치되며, 중앙에 코가 배치하고 하부에 입이 배치된다는 얼굴의 부위별 배치의 상호 관계가 포함된다. 또한, 얼굴에서 눈, 코, 입의 크기에 대한 비율, 눈과 코 사이의 거리 비율, 눈과 입 사이의 거리 비율, 코와 입 사이의 거리 비율, 이마로부터 눈과의 거리 비율 등의 비율에 대한 정보가 포함된다.For example, the pre-accumulated facial pattern information includes a correlation between the arrangement of each part of the face, such that the face has two eyes symmetrical left and right and arranged on the upper part, the nose is arranged in the center, and the mouth is arranged at the lower part. In addition, the ratio of the ratio of the size of the face to the eyes, nose, and mouth, the ratio of the distance between the eyes and the nose, the ratio of the distance between the eyes and the mouth, the ratio of the distance between the nose and the mouth, the ratio of the distance from the forehead to the eyes, etc. information is included.

얼라이닝부(230)의 경우, 유저의 소정의 무브먼트에 따른 페이셜 파트의 앵글 변화를 감지하여 3차원 페이스 쉐입에 반영하는 구성이다.In the case of the aligning unit 230, a change in the angle of the facial part according to a predetermined movement of the user is detected and reflected in the three-dimensional face shape.

얼라이닝부(230)는 유저가 유저의 페이스가 잘 나오도록 하는 각도를 찾기 위해 소정의 무브먼트가 발생하기 때문에, 유저의 앵글 변화에 따른 유저의 페이셜 파트의 변화를 반영하기 위한 기능을 수행한다.The aligning unit 230 performs a function to reflect the change of the user's facial part according to the change of the user's angle, since a predetermined movement is generated to find the angle at which the user makes the user's face come out well.

어드레스부(240)의 경우, 트레킹부(220)로부터 추출된 페이셜 파트의 각각에 임의의 주소를 할당하여 개별적으로 저장하는 구성이다.In the case of the address unit 240 , an arbitrary address is allocated to each of the facial parts extracted from the tracking unit 220 and stored separately.

어드레스부(240)는 추출된 페이셜 파트에 따라 임의로 분할하며, 분할된 페이셜 파트에 임의의 주소(A1, A2, A3, ??)를 랜덤하게 부여하여 유저의 페이셜 파트 정보를 개별적으로 저장하도록 한다.The address unit 240 arbitrarily divides the extracted facial parts, and randomly assigns arbitrary addresses (A1, A2, A3, ??) to the divided facial parts to individually store the user's facial part information. .

이펙팅 유닛(300)의 경우, 익스트랙팅 유닛(200)으로부터 추출된 유저의 페이셜 파트 각각에 소정의 이펙트를 선택적으로 적용하는 구성이다.In the case of the effecting unit 300 , a predetermined effect is selectively applied to each of the user's facial parts extracted from the extracting unit 200 .

이펙팅 유닛(300)을 통해 유저의 페이셜 파트에 적용되는 소정의 이펙트에는 메이크업 이펙트 또는 피규레이션 이펙트가 존재하며, 소정의 이펙트를 통해서 유저의 페이셜 파트 각각에 가상의 메이크업 또는 가상의 성형 또는 가상의 튜닝이 가능하게 된다.A makeup effect or a figure effect exists in a predetermined effect applied to the user's facial part through the effecting unit 300 , and virtual makeup or virtual shaping or virtual tuning is applied to each of the user's facial parts through the predetermined effect. This becomes possible.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 이펙팅 유닛(300)의 경우, 도6에 도시된 바와 같이, 유저 액션(user action)부(310), 및 어플라잉(applying)부(320)를 포함하게 된다. In the case of the effecting unit 300 of the object location providing system through the user's preference data analysis according to the present invention, as shown in FIG. 6, a user action unit 310, and an applying unit (320) will be included.

유저 액션부(310)의 경우, 유저로부터 미리 결정된 액션과 상호 연동되어, 미리 결정된 액션에 의해 페이셜 파트가 선택되도록 하는 구성이다.In the case of the user action unit 310 , it is configured to interwork with a predetermined action from the user so that the facial part is selected by the predetermined action.

유저 액션부(310)는 유저의 미리 결정된 액션에 따라서 소정의 이펙트를 적용하기 위한 것이다. 유저의 미리 결정된 액션은 유저가 유저의 단말기의 액정을 터치하거나, 음성 명령을 하거나, 단축어 등을 사용하여 유저로 하여금, 페이셜 파트를 선택하도록 하는 것이다. 예컨대, 유저가 유저의 단말기에 표시된 유저의 페이셜 파트 중 하나를 선택적으로 터치하면, 모바일 유닛(1000)은 유저의 터치를 인식하여 이펙팅 유닛(300)에 전달하여 유저의 액션에 따라 소정의 이펙트 효과를 적용할 수 있게 된다.The user action unit 310 is for applying a predetermined effect according to a predetermined action of the user. The user's predetermined action is to have the user select a facial part by touching the liquid crystal of the user's terminal, giving a voice command, or using a shortcut. For example, when the user selectively touches one of the user's facial parts displayed on the user's terminal, the mobile unit 1000 recognizes the user's touch and transmits it to the effecting unit 300 to provide a predetermined effect according to the user's action. can be applied.

또한, 유저 액션부(310)에서는 하나의 페이셜 파트를 선택하여 소정의 이펙트가 단일 적용될 수 있으며, 다중의 페이셜 파트를 선택하여 소정의 이펙트가 다중 적용될 수도 있다.In addition, the user action unit 310 may select one facial part and apply a single predetermined effect, or select multiple facial parts and apply multiple predetermined effects.

어플라잉부(320)의 경우, 미리 결정된 액션에 의해 선택된 페이셜 파트에 소정의 이펙트를 선택적으로 적용하는 구성이다.In the case of the applying unit 320, it is configured to selectively apply a predetermined effect to the facial part selected by a predetermined action.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 어플라잉부(320)의 경우, 도8에 도시된 바와 같이, 메이크업부(321), 피규레이션부(322), 리모델링부(323), 및 스팟 커버링부(324)를 포함하게 된다.In the case of the applying unit 320 of the object location providing system through the user's preference data analysis according to the present invention, as shown in FIG. 8 , the makeup unit 321 , the figure unit 322 , and the remodeling unit 323 . ), and a spot covering part 324 .

먼저, 메이크업부(321)의 경우, 유저의 미리 결정된 액션에 의해 페이셜 파트 중 피부, 눈, 눈썹, 속눈썹, 눈동자, 눈커풀, 애교살, 아이홀, 코, 콧망울, 콧대, 콧구멍, 인중, 입, 치아, 턱, 볼, 광대뼈, 이마, 귀, 머리카락 또는 얼굴형 중 적어도 하나 이상의 외형에 메이크업 이펙트를 적용하는 구성이다.First, in the case of the makeup unit 321, skin, eyes, eyebrows, eyelashes, pupils, eyelids, aegyo cheeks, eye holes, nose, nostrils, bridge of the nose, nostrils, pharynx, It is a configuration in which a makeup effect is applied to at least one external appearance of the mouth, teeth, chin, cheeks, cheekbones, forehead, ears, hair, or face shape.

메이크업부(321)는 미리 세팅된 가상의 가상의 코스메틱 오브젝트를 페이셜 파트에 선택적으로 적용하는 것을 메이크업 이펙트로 설정하게 된다.The makeup unit 321 sets a makeup effect that selectively applies a preset virtual virtual cosmetic object to the facial part.

메이크업부(321)에서 메이크업 이펙트를 설정하기 위한 미리 세팅된 가상의 코스메틱 오브젝트는 코스메틱 유형을 가상의 오브젝트로 생성한 것이다. 미리 세팅된 가상의 코스메틱 오브젝트에는 베이스 메이크업을 위한 프라이머, 베이스, 비비크림 씨씨크림, 파운데이션, 쿠션, 컨실러, 파우더, 립 메이크업을 위한 립스틱, 립틴트, 립글로스, 립라이너, 립밤, 아이 메이크업을 위한 아이라이너, 아이브로우, 아이섀도우, 마스카라, 윤곽 메이크업을 위한 블러셔, 치크, 하이라이터, 쉐딩, 컨투어링 등을 포함하는 것이 바람직하다.The preset virtual cosmetic object for setting the makeup effect in the makeup unit 321 is a cosmetic type generated as a virtual object. Pre-set virtual cosmetic objects include primer, base, BB cream, CC cream, foundation, cushion, concealer, powder, lipstick for lip makeup, lip tint, lip gloss, lip liner, lip balm, and eyeliner for eye makeup. , it is preferable to include eyebrow, eye shadow, mascara, blusher for contour makeup, cheek, highlighter, shading, contouring, and the like.

이와 같은 미리 세팅된 가상의 코스메틱 오브젝트는 유저에 의해 임의 선택되어, 유저의 페이셜 파트에 개별적으로 적용된다.Such preset virtual cosmetic objects are arbitrarily selected by the user and individually applied to the user's facial parts.

또한, 미리 세팅된 가상의 코스메틱 오브젝트는 미리 결정된 액션에 의해 선택된 페이셜 파트에 따라서 각각 상이한 집군의 하위 코스메틱 오브젝트가 제시되며, 유저에 의해 하위 코스메틱 오브젝트의 일부가 선택되면, 선택된 하위 코스메틱 오브젝트가 선택된 페이셜 파트에 적용될 수 있다.In addition, as for the preset virtual cosmetic object, sub cosmetic objects of different groups are presented according to the facial part selected by the predetermined action, and when a part of the sub cosmetic object is selected by the user, the selected sub cosmetic object is selected It can be applied to parts.

예컨대, 미리 결정된 액션에 의해 유저의 페이셜 파트 중 입술이 선택되면, 립 메이크업과 관련된 립스틱, 립 틴트, 립글로스, 립라이너, 립밤 등이 제시되고, 유저가 이중에서 립 틴트를 선택하면 유저의 페이셜 파트 중 입술에 유저가 선택한 립 틴트가 적용될 수 있다.For example, when lips are selected among the user's facial parts by a predetermined action, lipstick, lip tint, lip gloss, lip liner, lip balm, etc. related to lip makeup are presented. A lip tint selected by the user may be applied to the middle lips.

또한, 메이크업부(321)에서는 하위 코스메틱 오브젝트의 컬러, 제형, 질감, 또는 피부톤 중 적어도 하나 이상을 제시하여 유저로 하여금 하위 코스메틱 오브젝트를 선택되도록 한다.In addition, the makeup unit 321 presents at least one of a color, a formulation, a texture, or a skin tone of the lower cosmetic object to allow the user to select the lower cosmetic object.

예컨대, 유저가 립 틴트를 선택하면, 메이크업부(321)에는 립 틴트의 컬러, 제형, 질감, 또는 피부톤 따라 정렬된 데이터를 유저에게 제시하며, 유저가 코랄 컬러를 원할 경우, 컬러를 선택하여 코랄의 립 틴트를 선택하여 적용할 수 있도록 한다.For example, when the user selects a lip tint, the makeup unit 321 presents data sorted according to the color, formulation, texture, or skin tone of the lip tint to the user. Select and apply the lip tint of

피규레이션부(322)의 경우, 유저의 미리 결정된 액션에 의해 페이셜 파트 중 피부, 눈, 눈썹, 속눈썹, 눈동자, 눈커풀, 애교살, 아이홀, 코, 콧망울, 콧대, 콧구멍, 인중, 입, 치아, 턱, 볼, 광대뼈, 이마, 귀, 머리카락 또는 얼굴형 중 적어도 하나 이상의 외형이 튜닝되도록 피규레이션 이펙트를 적용하는 구성이다.In the case of the figure unit 322, the skin, eyes, eyebrows, eyelashes, pupils, eyelids, chubby cheeks, eye holes, nose, nostrils, bridge of the nose, nostrils, pharynx, mouth among the facial parts according to the user's predetermined action. , teeth, chin, cheeks, cheekbones, forehead, ears, hair, and a configuration that applies a figure effect so that the appearance of at least one or more of the face shape is tuned.

피규레이션부(322)는 미리 세팅된 가상의 파트 쉐입을 페이셜 파트에 선택적으로 적용하는 것을 피규레이션 이펙트로 설정하는 구성이다.The figure unit 322 is configured to selectively apply a preset virtual part shape to the facial part as a figure effect.

피규레이션부(322)에서 피규레이션 이펙트를 설정하기 위한 미리 세팅된 가상의 파트 쉐입은 페이셜 파트 중 피부를 매끈함, 톤업, 팔자 주름 삭제, 모공 삭제하거나, 페이셜 파트의 크기 조절, 선명도, 간격, 각도, 모양, 길이 등을 조절하는 것으로 정의할 수 있다.The preset virtual part shape for setting the figure effect in the figure unit 322 is to smooth the skin, tone up, delete nasolabial folds, delete pores, adjust the size of facial parts, sharpness, spacing, and angle among the facial parts. , it can be defined as adjusting the shape, length, etc.

미리 세팅된 가상의 파트 쉐입은 유저에 의해 임의 선택되어, 페이셜 파트에 개별적으로 적용되는 것을 특징으로 한다.The preset virtual part shape is randomly selected by the user and is individually applied to the facial part.

또한, 미리 세팅된 가상의 파트 쉐입은 유저의 미리 결정된 액션에 의해 선택된 페이셜 파트와 관련된 미리 세팅된 가상의 파트 쉐입 집군이 제시되고, 유저는 미리 세팅된 가상의 파트 쉐입 집군 중 어느 하나를 선택하면, 유저의 페이셜 파트는 유저가 선택한 미리 세팅된 가상의 파트 쉐입 집군 중 하나의 스타일로 튜닝되는 것을 특징으로 한다.In addition, as for the preset virtual part shape, a preset virtual part shape collection related to the facial part selected by the user's predetermined action is presented, and when the user selects any one of the preset virtual part shape collection , characterized in that the user's facial part is tuned to a style from one of a group of preset virtual part shapes selected by the user.

예컨대, 유저가 페이셜 파트 중 입을 선택하면, 입과 관련된 미리 세팅된 가상의 파트 쉐입의 집군 되는 입술 모양, 입꼬리, 치아 미백, 입크기 등이 제시된다. 유저가 입술 모양, 입꼬리, 치아 미백, 입 크기 중 입꼬리를 선택하게 되면 입꼬리의 모양이 튜닝될 수 있도록 한다.For example, when a user selects a mouth among facial parts, a lip shape, corners of the mouth, teeth whitening, mouth size, etc. of preset virtual part shapes related to the mouth are presented. When the user selects the corner of the mouth among lip shape, corner of the mouth, teeth whitening, and mouth size, the shape of the corner of the mouth can be tuned.

리모델링부(323)의 경우, 유저 액션부(310)로부터 선택된 페이셜 파트를 선택적으로 삭제하며, 삭제된 페이셜 파트에는 미리 세팅된 가상의 파트 쉐입을 인풋하는 구성이다.In the case of the remodeling unit 323 , the facial part selected from the user action unit 310 is selectively deleted, and a preset virtual part shape is input to the deleted facial part.

스팟 커버링부(324)의 경우, 도7에 도시된 바와 같이, 유저의 페이셜 파트의 특정 부분으로부터 스팟 포인트를 찾아내며, 유저로 하여금 스팟 포인트를 선택적으로 커버링할 수 있도록 한다.In the case of the spot covering unit 324, as shown in FIG. 7, a spot point is found from a specific part of the user's facial part, and the user can selectively cover the spot point.

이때, 스팟 포인트는 익스트랙팅 유닛(200)으로부터 추출된 유저의 페이셜 파트 중 그레이 레벨(gray level) 전형적인 패턴으로부터 벗어나 그레이 레벨의 변화가 있는 부분을 스팟 포인트라고 정의하게 된다.At this time, the spot point is defined as a spot point, which is a part of the user's facial part extracted from the extracting unit 200 , where the gray level is changed from a typical gray level pattern.

예컨대, 유저의 페이스에 존재하는 점, 기미, 주근깨, 여드름, 잡티, 검버섯, 모공 또는 흉터 등이 스팟 포인트로 검출될 수 있다.For example, spots, blemishes, freckles, acne, blemishes, age spots, pores, or scars present on the user's face may be detected as spot points.

스팟 커버링부(324)에서는 어플라잉부(320)로부터 유저의 페이셜 파트 중 스팟 포인트가 검출되면, 유저로 하여금 해당 스팟 포인트는 다른 페이셜 파트와는 상이한 적용을 할 수 있도록 한다. In the spot covering unit 324, when a spot point is detected among the facial parts of the user from the applying unit 320, the corresponding spot point allows the user to apply different from other facial parts.

즉, 스팟 커버링부(324)는 해당 스팟 포인트에는 다른 페이셜 파트와는 다르게 메이크업 이펙트 또는 피규레이션 이펙트를 강화시켜 독립적으로 적용할 수 있도록 한다.That is, the spot covering unit 324 strengthens the makeup effect or the figure effect differently from other facial parts to the corresponding spot point so that it can be applied independently.

아울러, 스팟 커버링부(324)는 스팟 포인트에 상이한 적용을 하는 것은 유저에 의해 선택 가능하도록 한다. In addition, the spot covering part 324 is Different applications of the spot points are selectable by the user.

예컨대, 유저의 페이스 영역에 존재하는 하나의 점이 콤플렉스가 된다면 메이크업 이펙트 또는 피규레이션 이펙트를 강화시켜 커버할 수 있지만, 만약 이 점이 유저의 페이스의 트레이드 마크일 경우, 유저는 이 스팟 포인트를 커버할 이유가 없기 때문이다. 따라서, 유저의 선택에 의해서 스팟 포인트에 상이한 적용을 할 수 있도록 하는 것이 바람직하다.For example, if a single point in the user's face area becomes a complex, it can be covered by strengthening the makeup effect or the figure effect. because there is no Therefore, it is desirable to allow different applications to the spot points according to the user's selection.

콜렉팅 유닛(400)의 경우, 도9에 도시된 바와 같이, 유저가 적용한 소정의 이펙트에 대한 정보로부터 유저의 프리퍼런스 이펙트(preference effect)를 선택적으로 수집하는 구성이다.In the case of the collecting unit 400, as shown in FIG. 9, the user's preference effect is selectively collected from information on a predetermined effect applied by the user.

콜렉팅 유닛(400)은 유저가 이펙팅 유닛(300)에서 적용하는 소정의 이펙트에 대한 정보를 축적하고, 그 중에서 유저가 자주 사용하는 소정의 이펙트에 대한 정보를 산출하여 유저의 취향과 선호도를 분석할 수 있도록 한다.The collecting unit 400 accumulates information on a predetermined effect applied by the user in the effecting unit 300 , and calculates information on a predetermined effect frequently used by the user among them, and analyzes the user's taste and preference make it possible

여기서 말하는 프리퍼런스 이펙트는, 유저가 자주 사용하는 이펙트, 최근에 사용한 이펙트, 또는 유저가 선호하는 이펙트로 정의할 수 있다.The preference effect referred to herein can be defined as an effect frequently used by the user, an effect recently used, or an effect preferred by the user.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 콜렉팅 유닛(400)의 경우, 도10에 도시된 바와 같이, 이펙트 솔팅(effect sorting)부(410) 및 이펙트 분석부(420)를 포함하게 된다.In the case of the collecting unit 400 of the object position providing system through the user's preference data analysis according to the present invention, as shown in FIG. 10 , an effect sorting unit 410 and an effect analysis unit 420 . will include

이펙트 솔팅부(410)의 경우, 유저에 의해 선택적으로 허용되는 소정의 이펙트에 대한 정보를 수집하여 정렬하는 구성이다.In the case of the effect salting unit 410, information on a predetermined effect selectively allowed by the user is collected and arranged.

이펙트 솔팅부(410)에서는 유저 액션부(310)로부터 유저의 미리 결정된 액션에 의해 선택된 페이셜 파트에 대한 모든 정보와 어플라잉부(320)로부터 유저의 페이셜 파트에 적용되는 소정의 이펙트에 대한 모든 정보를 수집하게 된다. In the effect salting unit 410, all information about the facial part selected by the user's predetermined action from the user action unit 310 and all information about the predetermined effect applied to the user's facial part from the applying unit 320 will collect

이펙트 솔팅부(410)는 브랜드 솔팅부(411), 컬러 솔팅부(412) 및 파트 솔팅부(413)를 포함하게 된다.The effect salting unit 410 includes a brand salting unit 411 , a color salting unit 412 , and a part salting unit 413 .

브랜드 솔팅부(411)의 경우, 유저에 의해 선택적으로 적용된 소정의 이펙트의 브랜드 정보를 수집하여 임의의 조건에 따라 솔팅하는 구성이다.In the case of the brand salting unit 411, the brand information of a predetermined effect selectively applied by the user is collected and salted according to an arbitrary condition.

브랜드 솔팅부(411)는 유저가 적용한 소정의 이펙트 정보로부터 유저가 자주 사용하는 브랜드, 선호하는 브랜드, 최근 관심있는 브랜드 등을 분석하기 위해 임의의 조건에 따라 솔팅하게 된다. The brand salting unit 411 salts according to arbitrary conditions in order to analyze a brand frequently used by a user, a preferred brand, a brand of recent interest, and the like from predetermined effect information applied by the user.

이때, 임의의 조건은 예컨대, 유저가 적용한 브랜드 정보 또는 브랜드 검색 정보를 수집하고, 브랜드 정보를 조건으로 설정하여 오름차순 또는 내림차순으로 정렬하여 유저가 선호하고 관심있는 브랜드를 파악할 수 있게 된다.In this case, the arbitrary condition is, for example, collects brand information or brand search information applied by the user, sets the brand information as a condition, and sorts in ascending or descending order to identify brands that the user prefers and is interested in.

컬러 솔팅부(412)의 경우, 유저에 의해 선택적으로 적용된 소정의 이펙트의 컬러 정보를 수집하여 임의의 조건에 따라 솔팅하는 구성이다.In the case of the color salting unit 412, color information of a predetermined effect selectively applied by a user is collected and salted according to an arbitrary condition.

컬러 솔팅부(412)는 유저가 적용한 소정의 이펙트 정보 중 유저가 자주 사용하는 컬러에 대한 정보를 수집하고 컬러 정보를 조건으로 설정하여 오름차순 또는 내림차순으로 정렬하여 유저가 선호하거나 유저에게 어울리는 컬러를 파악할 수 있게 된다.The color salting unit 412 collects information on a color frequently used by a user among predetermined effect information applied by the user, sets the color information as a condition, and sorts in ascending or descending order to identify a color preferred by the user or suitable for the user be able to

파트 솔팅부(413)의 경우, 유저로부터 미리 결정된 액션에 의해 선택된 페이셜 파트 정보를 수집하여 임의의 조건에 따라 솔팅하는 구성이다.In the case of the part salting unit 413, information on facial parts selected by a predetermined action from a user is collected and salted according to an arbitrary condition.

파트 솔팅부(413)는 유저의 미리 결정된 액션에 의해 페이셜 파트 중 피부, 눈, 눈썹, 속눈썹, 눈동자, 눈커풀, 애교살, 아이홀, 코, 콧망울, 콧대, 콧구멍, 인중, 입, 치아, 턱, 볼, 광대뼈, 이마, 귀, 머리카락 또는 얼굴형 중 적어도 하나 이상의 외형을 선택하거나 검색한 정보를 수집하여, 자주 선택되는 페이셜 파트에 따라 오름차순 또는 내림차순으로 정렬하게 된다.The part salting unit 413 is the skin, eyes, eyebrows, eyelashes, pupils, eyelids, cheekbones, eye holes, nose, nostrils, bridge of the nose, nostrils, pharynx, mouth, teeth among the facial parts according to a predetermined action of the user. , chin, cheeks, cheekbones, forehead, ears, hair, or face shape is selected or searched information is collected and sorted in ascending or descending order according to frequently selected facial parts.

파트 솔팅부(413)를 통해 유저가 평소에 자주 보정하는 페이셜 파트의 정보를 파악하고 유저가 평소에 콤플렉스로 느끼는 페이셜 파트의 정보까지 얻을 수 있게 된다.Through the part salting unit 413 , information on facial parts that the user frequently corrects can be grasped, and information on facial parts that the user usually feels as a complex can be obtained.

이펙트 분석부(420)의 경우, 이펙트 솔팅부(410)로부터 정렬된 소정의 이펙트에 대한 정보를 분석하여 유저의 프리퍼런스 이펙트를 선택적으로 산출하는 구성이다.In the case of the effect analysis unit 420 , it is a configuration for selectively calculating the user's preference effect by analyzing information on a predetermined effect arranged from the effect salting unit 410 .

이펙트 분석부(420)은 이펙트 솔팅부(410)로부터 임의의 조건에 따라 솔팅된 소정의 이펙트 정보 중, 상위 n%의 소정의 이펙트만을 선별하여 프리퍼런스 이펙트로 산출하게 된다.The effect analysis unit 420 selects only the upper n% of the predetermined effect information salted according to a certain condition from the effect salting unit 410 and calculates it as a preference effect.

이펙트 분석부(420)에서는 브랜드 솔팅부(411), 컬러 솔팅부(412), 파트 솔팅부(413)로부터 솔팅된 데이터로부터 상위 n퍼센트의 이펙트만을 선별하여 각각의 유저가 선호하고 관심가지는 브랜드, 컬러, 페이셜 파트에 대한 정보를 산출하여 분석할 수 있도록 한다.In the effect analysis unit 420, only the top n percent of effects are selected from the data salted from the brand salting unit 411, the color salting unit 412, and the part salting unit 413, and each user's preferred and interested brands; It is possible to calculate and analyze information about color and facial parts.

로케이팅 유닛(500)의 경우, 콜렉팅 유닛(400)으로부터 수집된 프리퍼런스 이펙트로부터 소정의 오브젝트를 산출하며, 유저가 미리 결정된 공간에 입장하면, 미리 결정된 공간에 존재하는 소정의 오브젝트의 위치 정보를 선택적으로 제공하는 구성이다.In the case of the locating unit 500, a predetermined object is calculated from the preference effects collected from the collecting unit 400, and when the user enters the predetermined space, the location information of the predetermined object existing in the predetermined space is obtained. This is an optional configuration.

로케이팅 유닛(500)은 미리 결정된 공간, 예컨대, 화장품, 잡화, 건강용품, 식품 등과 같은 오브젝트를 판매하는 장소로서, 백화점, 마트, 브랜드 매장, 팝업 스토어, 오프라인 매장, 면세점, 쇼핑몰과 같은 오프라인 판매 매장이 해당된다.The locating unit 500 is a predetermined space, for example, a place that sells objects such as cosmetics, miscellaneous goods, health products, food, etc., offline sales such as department stores, marts, brand stores, pop-up stores, offline stores, duty free shops, shopping malls applicable to the store.

로케이팅 유닛(500)은 유저가 미리 결정된 공간에 입장하면 유저의 모바일 유닛(1000)을 인식하여, 유저의 동의 여부에 따라서, 유저 동의 하에 선택적으로 유저의 프리퍼런스 이펙트 데이터를 송수신 받을 수 있게 된다.The locating unit 500 recognizes the mobile unit 1000 of the user when the user enters the predetermined space, and according to whether the user agrees or not, the user's preference effect data can be selectively transmitted/received under the user's consent.

즉, 로케이팅 유닛(500)은 미리 결정된 공간에 제공되어 유저의 모바일 유닛(1000)을 센싱하는 구성이다. 유저가 미리 결정된 공간에 입장하게 되면 유저의 모바일 유닛(1000)을 자동으로 센싱하여 유저의 모바일 유닛(1000)으로부터 필요한 데이터를 송수신할 수 있는 기능을 수행한다.That is, the locating unit 500 is provided in a predetermined space to sense the user's mobile unit 1000 . When the user enters a predetermined space, the user's mobile unit 1000 is automatically sensed to perform a function of transmitting and receiving necessary data from the user's mobile unit 1000 .

로케이팅 유닛(500)에서는 소리, 빛, 블루투스와 같은 신호를 주기적으로 송출하게 되며, 미리 결정된 공간에 입장한 유저의 모바일 유닛(1000)이 신호를 받게 되면, 모바일 유닛(1000)과 상호 페어링되어 필요한 정보를 주고받게 되는 것이다.The locating unit 500 periodically transmits signals such as sound, light, and Bluetooth, and when the mobile unit 1000 of the user entering the predetermined space receives the signal, it is paired with the mobile unit 1000 The necessary information will be exchanged.

아울러, 로케이팅 유닛(500)은 센싱된 모바일 유닛(1000)으로부터 유저의 동의에 한하여 유저의 프리퍼런스 이펙트 정보를 송수신 받는 것이 바람직하다.In addition, it is preferable that the locating unit 500 transmits/receives the user's preference effect information only to the user's consent from the sensed mobile unit 1000 .

즉, 로케이팅 유닛(500)을 통해 유저의 모바일 유닛(1000)을 센싱하고 필요한 정보를 제공받아 유저에게 유저의 위치에 기반한 맞춤형 정보 제공이 가능할 수 있게 된다.That is, it is possible to sense the user's mobile unit 1000 through the locating unit 500 and receive necessary information to provide the user with customized information based on the user's location.

본 발명에 따른 유저의 프리퍼런스 데이터 분석을 통한 오브젝트 위치 제공 시스템의 로케이팅 유닛(500)의 경우, 도14에 도시된 바와 같이, 오브젝트 일드부(510), 포지션 일드부(520), 코디네이팅부(530), 네비게이팅부(540), 및 어프로칭 시그널부(550)를 포함하게 된다.In the case of the locating unit 500 of the system for providing an object position through user's preference data analysis according to the present invention, as shown in FIG. 14 , an object yield unit 510, a position yield unit 520, and a coordinating unit ( 530 ), a navigating unit 540 , and an approaching signal unit 550 .

먼저, 오브젝트 일드부(510)의 경우, 콜렉팅 유닛(400)으로부터 수집된 프리퍼런스 이펙트와 복수 개의 미리 설정된 조건 중 적어도 하나 이상의 조건이 일치하는 소정의 오브젝트를 선택적으로 산출하는 구성이다.First, in the case of the object yield unit 510 , it is configured to selectively calculate a predetermined object that matches the preference effect collected from the collecting unit 400 and at least one of a plurality of preset conditions.

오브젝트 일드부(510)는 이펙트 분석부(420)로부터 산출된 상위 n%의 프리퍼런스 이펙트로부터 소정의 오브젝트를 산출하게 된다. The object yield unit 510 calculates a predetermined object from the preference effects of the top n% calculated by the effect analysis unit 420 .

이때, 프리퍼런스 이펙트와 조건이 일치하는 오브젝트만이 소정의 오브젝트로 산출될 수 있다. 불특정다수의 오브젝트 중 복수 개의 미리 설정된 조건을 적어도 하나 이상 만족하는 오브젝트가 소정의 오브젝트가 될 수 있다.In this case, only the object that matches the preference effect and the condition may be calculated as a predetermined object. An object that satisfies at least one of a plurality of preset conditions among a plurality of unspecified objects may be a predetermined object.

여기서 말하는 복수 개의 미리 설정된 조건이란, 예컨대, 유저가 선호하는 브랜드, 페이셜파트, 컬러, 제형, 질감, 또는 피부톤 등의 조건들을 말한다.The plurality of preset conditions referred to herein refer to, for example, conditions such as a brand, facial part, color, formulation, texture, or skin tone preferred by a user.

예컨대, 오브젝트 일드부(510)는 유저의 프리퍼런스 이펙트 중 하나가 A브랜드일 경우, A브랜드에 대한 오브젝트를 소정의 오브젝트로 산출하게 된다. 또한, 유저의 프리퍼런스 이펙트 중 하나가 코랄 컬러일 경우, 미리 결정된 공간에 존재하는 코랄 컬러의 오브젝트를 소정의 오브젝트로 산출할 수 있게 된다.For example, when one of the user's preference effects is the brand A, the object yield unit 510 calculates an object for the brand A as a predetermined object. In addition, when one of the user's preference effects is a coral color, it is possible to calculate an object of a coral color existing in a predetermined space as a predetermined object.

포지션 일드부(520)의 경우, 도11에 도시된 바와 같이, 외부 서버로부터 미리 결정된 공간 정보를 제공받아 미리 결정된 공간 내에 존재하는 소정의 오브젝트의 위치를 선택적으로 산출하는 구성이다.In the case of the position yield unit 520, as shown in FIG. 11, it is configured to receive predetermined spatial information from an external server and selectively calculate the position of a predetermined object existing in a predetermined space.

포지션 일드부(520)는 미리 결정된 공간 정보를 제공받으며, 오브젝트 일드부(510)로부터 산출된 소정의 오브젝트의 정보를 제공받아서, 미리 결정된 공간에 존재하는 물건 중 소정의 오브젝트의 존재 여부를 파악하고, 소정의 오브젝트가 존재할 경우, 소정의 오브젝트의 위치를 산출할 수 있게 된다.The position yield unit 520 receives predetermined spatial information, receives information on a predetermined object calculated from the object yield unit 510, and identifies the existence of a predetermined object among objects existing in a predetermined space. , when a predetermined object exists, the position of the predetermined object can be calculated.

코디네이팅부(530)의 경우, 도11에 도시된 바와 같이, 미리 결정된 공간의 3차원 좌표화 하여, 미리 결정된 공간 내에서 유저의 위치 좌표 또는 소정의 오브젝트의 위치 좌표를 선택적으로 제공하는 구성이다.In the case of the coordinator 530, as shown in FIG. 11, the three-dimensional coordinates of a predetermined space are configured to selectively provide the position coordinates of the user or the position coordinates of a predetermined object in the predetermined space.

예컨대, 코디네이팅부(530)를 통해 미리 결정된 공간 내에서 유저의 위치 좌표는

로 산출되며 소정의 오브젝트의 위치 좌표는

,

등으로 산출하여 현재 유저와 소정의 오브젝트의 정확한 위치를 알 수 있게 된다. For example, the coordinates of the location of the user in the space predetermined through the coordinating unit 530 is

is calculated as and the position coordinates of a given object are

,

It is possible to know the exact location of the current user and a predetermined object by calculating it.

코디네이팅부(530)는 도 13에 도시된 바와 같이, 좌표 정렬부(531), 필터 생성부(532), 좌표 인입부(533), 및 좌표 전송부(534)를 포함하게 된다.As shown in FIG. 13 , the coordinating unit 530 includes a coordinate arranging unit 531 , a filter generating unit 532 , a coordinate introducing unit 533 , and a coordinate transmitting unit 534 .

먼저, 좌표 정렬부(531)의 경우, 유저의 위치 좌표 또는 소정의 오브젝트의 위치 좌표를 1과 0의 바이너리 시퀀스(binary sequence)로 컨버팅하여, 일렬로 나열하는 구성이다. First, in the case of the coordinate alignment unit 531, the position coordinates of the user or the position coordinates of a predetermined object are converted into a binary sequence of 1 and 0 and arranged in a line.

좌표 정렬부(531)에서 바이너리 시퀀스로 컨버팅된 유저의 위치 좌표 또는 소정의 오브젝트의 위치 좌표는 도13에 도시된 바와 같이, #1 과 #2로서 복제하게 된다.As shown in FIG. 13 , the position coordinates of the user or the position coordinates of a predetermined object converted into a binary sequence by the coordinate alignment unit 531 are duplicated as #1 and #2.

필터 생성부(532)의 경우, #1 과 #2으로 복제된 컨버팅된 유저의 위치 좌표 또는 소정의 오브젝트의 위치 좌표가 입력되면 소정의 규칙으로 필터링하여 변환하는 구성이다. In the case of the filter generating unit 532, when the converted user's position coordinates copied to #1 and #2 or the position coordinates of a predetermined object are input, it is configured to filter and transform according to a predetermined rule.

또한, 필터 생성부(532)에서의 소정의 규칙에는 and 조건, or 조건 등의 규칙이 존재하며, 소정의 규칙을 통해서 컨버팅된 유저의 위치 좌표 또는 소정의 오브젝트의 위치 좌표를 필터링하여 변환할 수 있게 된다.In addition, rules such as and conditions, or conditions exist in the predetermined rules in the filter generating unit 532, and the user's position coordinates converted through the predetermined rules or the position coordinates of a predetermined object can be converted by filtering. there will be

좌표 인입부(533)의 경우, 좌표 정렬부(531)에서 정렬된 컨버팅된 소정의 오브젝트의 위치 좌표는(#1) 머리(head)부터 binary by binary 로 필터 생성부(532)에 인입시키고, 좌표 정렬부(531)에서 정렬된 컨버팅된 유저의 위치 좌표(#2)는 꼬리(tail)부터 binary by binary 로 필터 생성부(532)에 인입시키는 기능을 수행한다.In the case of the coordinate input unit 533, the position coordinates of the converted predetermined object sorted by the coordinate aligning unit 531 are introduced into the filter generating unit 532 as binary by binary from the head (#1), The converted user's position coordinates (#2) sorted by the coordinate arranging unit 531 perform a function of introducing the converted user's position coordinates (#2) into the filter generating unit 532 as binary by binary from the tail.

좌표 전송부(534)의 경우, 필터 생성부(532)로부터 필터링되어 변환된 유저의 위치 좌표 또는 소정의 오브젝트의 위치 좌표를 전송하는 구성이다. In the case of the coordinate transmission unit 534 , it is configured to transmit the filtered and transformed user position coordinates or the position coordinates of a predetermined object from the filter generation unit 532 .

이때, 좌표 전송부(534)가 송신단이 되고, 모바일 유닛(1000)이 수신단이 되며 수신단에서는 변환된 유저의 위치 좌표 또는 소정의 오브젝트의 위치 좌표는 수신단만이 정보만을 받게 된다. 만약, 수신단이 필터 생성부(532)의 규칙 정보를 모르면 변환된 유저의 위치 좌표 또는 소정의 오브젝트의 위치 좌표는 원상태의 좌표로 복원할 수 없게 된다. In this case, the coordinate transmitter 534 becomes the transmitter, the mobile unit 1000 becomes the receiver, and only the receiver receives the converted user's position coordinates or the position coordinates of a predetermined object at the receiver. If the receiving end does not know the rule information of the filter generating unit 532, the converted position coordinates of the user or the position coordinates of a predetermined object cannot be restored to the original coordinates.

따라서, 수신단은 필터 생성부(532)의 규칙에 대한 정보를 미리 가지고 있도록 하며, 해당 규칙은 송신단과 수신단만이 공유하여 외부로부터의 정보 유출이나 해킹을 사전에 방지할 수 있게 된다.Accordingly, the receiving end has information about the rules of the filter generating unit 532 in advance, and the rules are shared only by the transmitting end and the receiving end, so that information leakage or hacking from the outside can be prevented in advance.

네비게이팅부(540)의 경우, 도12에 도시된 바와 같이, 코디네이팅부(530)로부터 제공된 소정의 오브젝트의 위치 좌표를 유저에게 선택적으로 안내하는 구성이다.In the case of the navigator 540 , as shown in FIG. 12 , the location coordinates of a predetermined object provided from the coordinator 530 are selectively guided to the user.

또한, 네비게이팅부(540)는 유저로 하여금 유저의 위치 좌표로부터 소정의 오브젝트의 위치 좌표로 이동할 수 있도록 소정의 경로를 선택적으로 제공하게 된다. In addition, the navigator 540 selectively provides a predetermined path so that the user can move from the user's location coordinates to the location coordinates of a predetermined object.

즉, 네비게이팅부(540)는 유저가 소정의 오브젝트를 구매할 수 있도록 소정의 오브젝트의 위치를 안내하는 동시에, 소정의 오브젝트를 빠르게 찾을 수 있도록 도와줄 수 있게 된다.That is, the navigator 540 can help the user to quickly find the predetermined object while guiding the location of the predetermined object so that the user can purchase the predetermined object.

어프로칭 시그널부(550)의 경우, 도12에 도시된 바와 같이, 미리 결정된 공간에 입장한 유저가 소정의 오브젝트와의 거리가 미리 결정된 거리가 되면, 유저의 모바일 유닛(1000)으로 소정의 시그널을 선택적으로 제공하는 구성이다.In the case of the approaching signal unit 550 , as shown in FIG. 12 , when a user entering a predetermined space has a predetermined distance to a predetermined object, a predetermined distance to the user's mobile unit 1000 is transmitted. It is a configuration that selectively provides signals.

어프로칭 시그널부(550)는 유저가 소정의 오브젝트에 근접하게 되었을 때를 알림을 제공하는 기능을 수행한다. 여기서 말하는 미리 결정된 거리는 유저와 소정의 오브젝트 사이의 거리가 1m이내 이거나 유저의 시야에 소정의 오브젝트가 보이는 정도의 거리인 것이 바람직하다.The approaching signal unit 550 performs a function of providing a notification when the user approaches a predetermined object. It is preferable that the predetermined distance referred to herein is a distance between the user and the predetermined object within 1 m or a distance such that the predetermined object is visible in the user's field of view.

본 발명의 권리 범위는 특허청구범위에 기재된 사항에 의해 결정되며, 특허 청구범위에 사용된 괄호는 선택적 한정을 위해 기재된 것이 아니라, 명확한 구성요소를 위해 사용되었으며, 괄호 내의 기재도 필수적 구성요소로 해석되어야 한다.The scope of the present invention is determined by the matters described in the claims, and parentheses used in the claims are not described for selective limitation, but are used for clear components, and descriptions in parentheses are also interpreted as essential components. should be

1000: 모바일 유닛 100: 레코그니션 유닛
110: 스캔부 120: 퍼시빙부
130: 디텍팅부 200: 익스트랙팅 유닛
210: 쉐이핑부 220: 트레킹부
230: 얼라이닝부 240: 어드레스부
300: 이펙팅 유닛 310: 유저 액션부
320: 어플라잉부 321: 메이크업부
322: 피규레이션부 323: 리모델링부
324: 스팟 커버링부 400: 콜렉팅 유닛
410: 이펙트 솔팅부 411: 브랜드 솔팅부
412: 컬러 솔팅부 413: 파트 솔팅부
420: 이펙트 분석부 500: 로케이팅 유닛
510: 오브젝트 일드부 520: 포지션 일드부
530: 코디네이팅부 531: 좌표 정렬부
532: 필터 생성부 533: 좌표 인입부
534: 좌표 전송부 540: 네비게이팅부
550: 어프로칭 시그널부1000: mobile unit 100: recognition unit
110: scan unit 120: perceive unit
130: detecting unit 200: extracting unit
210: shaping unit 220: trekking unit
230: aligning unit 240: address unit
300: effecting unit 310: user action unit
320: applying unit 321: makeup unit
322: figure unit 323: remodeling unit
324: spot covering unit 400: collecting unit
410: effect salting unit 411: brand salting unit
412: color salting part 413: part salting part
420: effect analysis unit 500: locating unit
510: object yield part 520: position yield part
530: coordinating unit 531: coordinate alignment unit
532: filter generating unit 533: coordinate inlet unit
534: coordinate transmission unit 540: navigating unit
550: approaching signal unit

Claims

a recognition unit for selectively detecting a face region of the user from an image of the user acquired from the mobile unit;
an extracting unit for individually extracting a facial part of the user from the face region of the user detected from the recording unit;
an effecting unit selectively applying a predetermined effect to each of the facial parts of the user extracted from the extracting unit;
a collecting unit that selectively collects the user's preference effect from information on the predetermined effect applied by the user; and
A locating unit that calculates a predetermined object from the preference effect collected from the collecting unit, and selectively provides position information of the predetermined object existing in the predetermined space when the user enters a predetermined space (locating unit), characterized in that it comprises an object location providing system through the user's preference data analysis.

According to claim 1, wherein the extracting unit,
a shaping unit for forming a three-dimensional face shape from the user's face region selectively detected by the recording unit;
a tracking unit for selectively extracting the user's facial part from the three-dimensional face shape formed from the shaping unit; and
Object position through the user's preference data analysis, characterized in that it detects the change in the angle of the facial part according to the predetermined movement of the user, and reflects it in the three-dimensional face shape, characterized in that it includes an aligning unit delivery system.

According to claim 2, wherein the effecting unit,
a user action unit interworking with a predetermined action from the user so that the facial part is selected by the predetermined action; and
An object location providing system through user preference data analysis, characterized in that it comprises an applying unit for selectively applying the predetermined effect to the facial part selected by the predetermined action.

According to claim 3, wherein the collecting unit,
an effect salting unit for collecting and arranging information on the predetermined effect selectively applied by the user; and
An object position providing system through the user's preference data analysis, characterized in that it comprises an effect analysis unit for selectively calculating the preference effect of the user by analyzing information about the predetermined effect arranged from the effect salting unit.

The method of claim 4, wherein the locating unit comprises:
Object through the user's preference data analysis, characterized in that it comprises an object yield unit for selectively calculating a predetermined object that matches at least one condition among the preference effect collected from the collecting unit and a plurality of preset conditions positioning system.

The method of claim 5, wherein the locating unit comprises:
Providing an object position through user's preference data analysis, characterized in that it further comprises a position yield unit for receiving predetermined spatial information from an external server and selectively calculating the position of the predetermined object existing in the predetermined space system.

7. The method of claim 6, wherein the locating unit comprises:
The user's preference data, characterized in that it further comprises a coordinator which converts the predetermined space into three-dimensional coordinates and selectively provides the position coordinates of the user or the position coordinates of the predetermined object in the predetermined space. A system for providing object location through analysis.

The method of claim 7, wherein the locating unit comprises:
Object position providing system through the user's preference data analysis, characterized in that it further comprises a navigating unit for selectively guiding the user to the location coordinates of the predetermined object provided from the coordinating unit.

The method of claim 8, wherein the navigating unit,
An object location providing system through user preference data analysis, characterized in that selectively providing a predetermined path so that the user can move from the user's location coordinates to the location coordinates of the predetermined object.

The method of claim 7, wherein the locating unit comprises:
When the user entering the predetermined space reaches a predetermined distance from the predetermined object, the method further comprises an approaching signal unit selectively providing a predetermined signal to the mobile unit of the user. A system that provides object location through user preference data analysis.