KR20120105581A - Delivery system of business card information and 3d face model through facial images - Google Patents

Delivery system of business card information and 3d face model through facial images Download PDF

Info

Publication number
KR20120105581A
KR20120105581A KR1020110018534A KR20110018534A KR20120105581A KR 20120105581 A KR20120105581 A KR 20120105581A KR 1020110018534 A KR1020110018534 A KR 1020110018534A KR 20110018534 A KR20110018534 A KR 20110018534A KR 20120105581 A KR20120105581 A KR 20120105581A
Authority
KR
South Korea
Prior art keywords
face
business card
image
card information
database
Prior art date
Application number
KR1020110018534A
Other languages
Korean (ko)
Inventor
김석수
송재구
정성모
임지훈
김동현
Original Assignee
김석수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김석수 filed Critical 김석수
Priority to KR1020110018534A priority Critical patent/KR20120105581A/en
Publication of KR20120105581A publication Critical patent/KR20120105581A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: A location information providing method using an augmented reality name card system is provided to enable a user to recognize a name card through a smart phone, thereby providing information and a 3D face model of a name card owner through augmentation. CONSTITUTION: A smart phone(100) recognizes a name card. A server(200) receives an image from the smart phone. A name card information providing module(300) extracts face feature points from the image. The name card information providing module generates a 3D face model of a name card owner. The name card information providing module generates augmented object information with name card information which the model is recognized. [Reference numerals] (100) Smart phone; (200) Server; (300) Name card information providing module; (400) Location information providing service module; (500) Name card information database; (600) Face image database; (700) 3D object database

Description

얼굴 이미지를 통한 명함 정보 및 3디 얼굴 모델 제공 시스템 및 방법{Delivery System of Business Card information and 3D face model through Facial images}Delivery system of business card information and 3D face model through facial images

본 발명은 스마트폰을 이용하여 명함정보를 인식해 사용자에게 명함 당사자의 정보를 제공함에 있어 명함에 포함된 얼굴 이미지를 이용하여 사용자에게 명함 당사자의 3D 얼굴모델 및 명함정보를 제공하는 것에 관한 것으로,The present invention relates to providing a 3D face model and business card information of a business card party to a user by using a face image included in the business card in recognizing the business card information using a smart phone and providing the user with the business card information.

더욱 상세하게는 명함 이미지에서 얼굴 및 문자를 인식하여 사용자의 정보 및 얼굴을 추출하여 명함당사자의 정보를 저장하고 이를 증강하여 제공하며, 인식된 주소정보를 통해 사용자에게 명함당사자의 위치정보를 지도를 통해 제공하는 증강현실 명함 정보 제공 시스템 및 방법에 관한 것이다.More specifically, by extracting the user's information and face by recognizing the face and characters from the card image, the card's information is stored and augmented and provided to the user through the recognized address information. It relates to an augmented reality business card information providing system and method provided through.

일반적으로 증강현실 명함 정보 제공 시스템은 스마트폰에 장착되어 잇는 카메라를 통해 명함 이미지를 취득하며, 취득된 명함 이미지에서 문자를 인식하여 명함 정보를 획득해 저장하여 사용자에게 제공한다. 또한, 저장되어 있는 명함 당사자의 위치정보를 이용하여 사용자에게 네비게이션 서비스를 제공한다.In general, an augmented reality business card information providing system acquires a business card image through a camera mounted on a smartphone, recognizes a character in the acquired business card image, obtains and stores business card information and provides it to the user. In addition, the navigation service is provided to the user by using the stored location information of the business card party.

그러나 상기와 같은 종래의 시스템들은 명함 내에 있는 문자를 통해서 인식하기 때문에 명함 당사자의 구분이어려운 문제점이 있었고, 명함 당사자의 주소정보를 통해 네비게이션 서비스를 제공함에 있어 명함당사자의 위치를 텍스트나 마크형식으로 표현하여 명함 당사자를 정확하게 표현하기 어려운 문제점이 있었다.However, the conventional systems as described above have difficulty in distinguishing the business card parties because they are recognized through the characters in the business card, and in providing a navigation service through the address information of the business card party, the location of the business card party in the form of text or mark. There was a problem in that it was difficult to accurately express the business card party.

본 발명은 상기 종래의 증강현실 명함 정보 제공 시스템의 문제점을 해결하기 위하여 안출된 것으로, The present invention has been made to solve the problems of the conventional augmented reality business card information providing system,

얼굴 이미지를 통한 명함 정보 및 3D 얼굴 모델 제공 시스템은 명함을 인식하는 스마트폰, 스마트폰으로부터 이미지를 전송 받아 명함 정보 제공 모듈로부터 얻은 증강객체 정보를 스마트폰으로 전송하는 시스템 서버, 전송된 얼굴 이미지를 이용하여 3D 얼굴 모델을 생성하여 사용자에게 제공될 증강객체를 생성하는 명함 정보 제공 모듈, 명함정보를 저장하고 있는 명함 정보 데이터베이스, 얼굴 이미지를 저장하고 있는 얼굴 이미지 데이터베이스, 얼굴 이미지 데이터베이스에 저장되어 얼굴 이미지에 맞는 3D 얼굴 모델을 저장하고 있는 3D 객체 데이터베이스로 이루어져 취득된 명함 이미지에서 문자 및 얼굴을 인식하여 명함 당사자를 보다 명확하게 인증하고, 명함 당사자의 얼굴 이미지를 이용하여 3D 얼굴 모델을 생성하여 문자 인식을 통해 저장된 명함 정보를 증강하여 사용자에게 제공하고, 주소 정보를 이용하여 네비게이션 서비스를 제공함에 있어 명함 당사자의 위치표시를 당사자의 3D 얼굴 모델을 통해 사용자에게 제공하여 보다 명함 당사자의 정보를 용이하게 파악하는데 목적이 있다.The business card information and 3D face model providing system through the face image is a system server that receives the image from the smartphone or smartphone that recognizes the business card, and transmits the augmented object information obtained from the business card information providing module to the smartphone. A business card information providing module that creates an augmented object to be provided to a user by creating a 3D face model using the card, a business card information database storing business card information, a face image database storing face images, and a face image stored in a face image database. It consists of a 3D object database that stores 3D face models that match the requirements. Recognize characters and faces from the acquired business card images to more clearly authenticate the card parties, and generate 3D face models using the face images of the business cards. Saved via In order to augment business card information to users and to provide navigation services using address information, the purpose is to easily identify the business card party's information by providing the location indication of the business card party to the user through the 3D face model of the party. have.

얼굴 이미지를 통한 명함 정보 및 3D 얼굴 모델 제공 시스템은 명함 당사자의 얼굴 이미지를 포함하고 있는 명함, 사용자의 명함 이미지 인식하여 서버로 전송하고 서버로부터 명함정보 및 3D 얼굴 모델을 수신 받아 사용자에게 보여주는 스마트폰, 전송된 이미지로부터 얼굴 및 문자를 인식하여 3D 얼굴 모델 및 명함 정보를 생성하는 명함 정보 제공 모듈, 명함정보제공 모듈에서 증강객체정보를 받아 사용자의 스마트폰으로 전송하는 서버, 명함 정보를 저장하고 있는 명함정보 데이터베이스, 얼굴 이미지를 저장하고 있는 얼굴 이미지 데이터베이스, 얼굴이미지에 맞는 3D 얼굴 모델을 저장하고 있는 3D 객체 데이터베이스를 특징으로 한다.The business card information and 3D face model providing system through the face image recognizes the business card containing the face image of the business card party and the user's business card image and sends it to the server, and receives the business card information and the 3D face model from the server and displays it to the user. Business card information providing module for generating 3D face model and business card information by recognizing face and text from transmitted image, server that receives augmented object information from business card information providing module and transmits it to user's smartphone, and stores business card information. It features a business card information database, a face image database storing face images, and a 3D object database storing 3D face models suitable for face images.

이와 같은 본 발명은 얼굴 이미지를 통한 명함 정보 및 3D 얼굴 모델 제공 시스템으로 사용자가 명함을 스마트폰으로 인식하면 명함 당사자의 명함정보 및 3D 얼굴 모델을 증강하여 제공함으로써 명함 당사자의 정보를 보다 용이하게 파악할 수 있다.The present invention as described above is a business card information and 3D face model providing system through the face image when the user recognizes the business card as a smart phone by reinforcing the card information and 3D face model of the business card party to more easily grasp the information of the business card party Can be.

도 1은 본 발명의 얼굴 이미지를 통한 명함 정보 및 3D 얼굴 모델 제공 시스템의 전체구성도이다.
도 2는 본 발명에 이용되는 명함 정보 제공 모듈의 순서도이다.
도 3은 본 발명에 이용되는 위치정보 제공 서비스 모듈의 순서도이다.
도 4는 종래의 3D 얼굴 객체 생성 방법에 대한 순서도이다.1 is an overall configuration diagram of a business card information and 3D face model providing system through a face image of the present invention.
2 is a flowchart of a business card information providing module used in the present invention.
3 is a flowchart of a location information providing service module used in the present invention.
4 is a flowchart illustrating a conventional method of generating a 3D face object.

이하, 첨부된 도면을 참조하여 본 발명에 의한 얼굴 이미지를 통한 명함 정보 및 3D 얼굴 모델 제공 시스템 및 방법을 상세히 설명한다.
Hereinafter, a business card information and a 3D face model providing system and method through a face image according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 얼굴 이미지를 통한 명함 정보 및 3D 얼굴 모델 제공 시스템의 전체 구성도이다, 도 1에 도시한 바와 같이, 본 발명에 의한 얼굴 이미지를 통한 명함 정보 및 3D 얼굴 모델 제공 시스템은 명함을 인식하는 스마트폰(100), 스마트폰으로부터 이미지를 전송 받아 명함 정보 제공 모듈(300)로부터 얻은 증강객체 정보를 스마트폰으로 전송하는 서버(200), 전송된 얼굴 이미지를 이용하여 3D 얼굴 모델을 생성하여 사용자에게 제공될 증강객체를 생성하는 명함 정보 제공 모듈(300), 명함정보를 저장하고 있는 명함 정보 데이터베이스(500), 얼굴 이미지를 저장하고 있는 얼굴 이미지 데이터베이스(600), 얼굴 이미지 데이터베이스에 저장되어 얼굴 이미지에 맞는 3D 얼굴 모델을 저장하고 있는 3D 객체 데이터베이스(700)로 이루어진다.1 is an overall configuration diagram of a business card information and 3D face model providing system through a face image of the present invention, as shown in Figure 1, the business card information and 3D face model providing system through a face image according to the present invention is a business card Recognizing the smart phone 100, the server 200 for transmitting the augmented object information obtained from the business card information providing module 300 receives the image from the smartphone to the smartphone, using the transmitted face image 3D face model Business card information providing module 300 for creating an augmented object to be created and provided to the user, business card information database 500 for storing business card information, face image database 600 for storing face images, and stored in the face image database And a 3D object database 700 that stores a 3D face model that matches the face image.

상기 스마트폰(100)은 장착되어 있는 카메라를 이용하여 명함을 인식하여 이미지를 서버(200)로 전송한다. 서버(200)는 전송되어진 명함 이미지 및 얼굴 이미지를 스마트폰(100)으로부터 전송 받아 명함 정보 제공 모듈(300)을 이용하여 증강객체 정보를 획득하여 스마트폰(100)으로 전송한다. 상기 명함 정보 제공 모듈(300)은 스마트폰(100)으로부터 전송된 이미지를 이용하여 얼굴 특징점을 추출하고 이를 기반으로 명함 당사자의 3D 얼굴 모델을 생성하여 문자 인식으로 인식된 명함정보와 함께 증강객체 정보를 생성한다. 상기 명함 정보 데이터베이스(500)는 사용자가 등록한 명함 당사자들의 이름, 연락처 등의 명함 정보를 저장한다. 상기 얼굴 이미지 데이터베이스(600)는 사용자가 등록한 명함 당사자들의 얼굴 이미지 및 얼굴 정보를 저장한다. 상기 3D 객체 데이터베이스(700)는 명함 정보 제공 모듈에서 생성된 명함 정보자 3D 얼굴 모델 및 정보를 저장한다.
The smartphone 100 transmits an image to the server 200 by recognizing a business card using a mounted camera. The server 200 receives the transmitted business card image and the face image from the smart phone 100, obtains the augmented object information using the business card information providing module 300, and transmits the augmented object information to the smart phone 100. The business card information providing module 300 extracts a facial feature point by using the image transmitted from the smart phone 100 and generates a 3D face model of the business card party based on the augmented object information along with the business card information recognized by the character recognition. Create The business card information database 500 stores business card information such as names and contact numbers of business card parties registered by a user. The face image database 600 stores face images and face information of business card parties registered by a user. The 3D object database 700 stores the business card information 3D face model and information generated by the business card information providing module.

도 2는 본 발명에 이용되는 명함 정보 제공 모듈의 순서도이다. 도 2에 도시한 바와 같이, 본 발명에 의한 명함 정보 제공 모듈의 순서는, 스마트폰(100)으로부터 이미지를 취득하는 이미지 취득 단계(301), 얼굴을 검출하기 위해 취득한 이미지를 전처리하는 전처리 단계(302), 전처리된 이미지에서 얼굴 후보 영역을 설정하고 얼굴을 검출 하는 얼굴 검출 단계(303), 얼굴 이미지 데이터베이스(600)에 저장되어 있는 얼굴 이미지와 비교하여 얼굴 인증을 하는 얼굴 인증 단계(304), 새로운 얼굴 모델을 생성하기 위해 표준 얼굴 외형적 치수계측에 맞는 얼굴 특징점을 추출하는 얼굴 특징점 검출 단계(305), 추출된 얼굴 특징점을 이용하여 표준 얼굴 모델에 정합하는 얼굴 모델 정합 단계(306), 정합이 완료된 얼굴 모델에 얼굴 이미지를 맵핑하는 얼굴 합성 단계(307), 맵핑 완료 후 얻은 3D 얼굴 모델의 형태가 변형되지 않도록 3D 변환하여 3D 객체 데이터베이스(700)에 저장하는 얼굴 모델 생성 단계(308), 취득된 이미지에서 얼굴 후보영역을 제외한 문자영역을 설정하여 이미지 전처리 하는 문자 영역 설정 단계(309) 문자를 인식하는 문자 인식 단계(310), 인식된 문자를 이용하여 명함 정보 데이터베이스에서 명함 정보를 비교하는 명함 정보 확인 단계(311), 등록된 명함 정보가 없을 경우 명함정보를 등록하는 명함 정보 등록 단계(312), 명함 정보 및 3D 얼굴 모델을 증강하여 제공하는 증강객체정보 전송 단계(313)로 구성되어 있다.2 is a flowchart of a business card information providing module used in the present invention. As shown in FIG. 2, the procedure of the business card information providing module according to the present invention includes an image acquisition step 301 for acquiring an image from the smartphone 100, and a preprocessing step for preprocessing the image acquired for detecting a face ( 302), a face detection step 303 of setting a face candidate region in a preprocessed image and detecting a face, a face authentication step 304 of performing face authentication by comparing the face image stored in the face image database 600, Face feature point detection step 305 for extracting facial feature points that conform to standard facial external dimensioning to generate a new face model, face model matching step 306 for matching the standard face model using the extracted face feature points, and registration The face compositing step (307) of mapping the face image to the completed face model, so that the shape of the 3D face model obtained after the mapping is not deformed is changed. A face model generation step 308 for storing in the 3D object database 700, a text area setting step 309 for setting a text area excluding a face candidate area in the acquired image, and preprocessing the image; 310), the business card information checking step 311 for comparing the business card information from the business card information database using the recognized character, the business card information registration step 312 for registering the business card information if there is no registered business card information, the business card information and the 3D It consists of augmented object information transmission step 313 to provide augmented face model.

상기 이미지 취득 단계(301)는 스마트폰(100)에 장착되어진 카메라를 이용하여 명함 이미지를 취득한다. 전처리 단계(302)는 취득한 이미지를 CbCr 컬러 공간을 변환하여 스킨필터를 이용하여 수직?수평 투영방법에 의해 가장 높은 교차점을 찾아 얼굴 후보 영역을 설정한다. 상기 얼굴 검출 단계(303)은 얼굴 후보 영역에서 적응적 평균 필터를 적용한 표본 영상을 가지고 Hausdorff 거리를 적용하여 얼굴 영역을 검출한다. 상기 얼굴 인증 단계(304)는 Dual-line 주성분분석법(Dual-Line Principal Component Analysis, DPCA)을 이용하여 개인 고유의 특징을 추출하여 얼굴 이미지 데이터베이스(500)에 저장되어 있는 얼굴 이미지를 검색한다. 상기 얼굴 특징점 검출 단계(305)는 추출된 얼굴 영역에서 표준 얼굴 외형적 치수계측에 필요한 얼굴 특징점을 추출하여 3D 모델 좌표계로 변환한다. 상기 얼굴 모델 정합 단계(306)는 추출된 특징점을 이용하여 표준 3D 얼굴 모델의 머리, 얼굴 외곽선, 눈썹, 눈, 코, 입, 헤어 형태의 세부 그룹의 조정점을 이용하여 얼굴 모델을 정합한다. 상기 얼굴 합성 단계(307)는 정합된 얼굴 모델에 획득한 얼굴 이미지를 이용하여 주사변환(Scan Conversion), 픽셀 대응위치의 좌표계산, 은면(Hidden Surface) 제거, 픽셀보간(Pixel Interpolation)의 과정을 거쳐 삼각형 단위로 매핑을 한다. 상기 얼굴 모델 생성 단계(308)는 맵핑 완료 후 얻은 3D 얼굴 모델을 회전, 확대/축소, 이동(병진운동)을 할 수 있도록 변환하여 3D 객체 데이터베이스(700)에 저장한다. 상기 문자 영역 설정 단계(309)는 명함 이미지에서 얼굴 후보영역을 제외한 나머지 영역을 문자 후보영역으로 설정하여 평균 명암도 추출, 히스토그램 평활화, 이진화 과정을 거쳐 전처리한다. 상기 문자 인식 단계(310)는 통계적 특징인 PCA(Principal Component Analysis), ICA(Independent Component Analysis), LDA(Linear Discrimination Analysis)를 이용하여 특징점을 찾고 LVQ(Learning Vector Quantization)망을 이용하여 문자 유효성을 측정해 문자를 인식한다. 상기 명함 정보 확인 단계(310)는 인식된 문자를 이용하여 명함 정보 데이터베이스(500)에 있는 명함정보를 검색한다. 상기 명함 정보 등록 단계(311)는 인식된 문자열을 명함정보데이터베이스(500)에 저장한다. 상기 증강객체정보 전송 단계(312)는 명함 정보 데이터베이스(500), 3D 객체 데이터베이스(700)에 등록된 명함정보 및 3D 얼굴 모델을 사용자의 스마트폰(100)을 이용하여 제공한다.
The image acquiring step 301 acquires a business card image using a camera mounted on the smartphone 100. The preprocessing step 302 converts the acquired image into a CbCr color space and finds the highest intersection point using a vertical and horizontal projection method using a skin filter to set a face candidate area. The face detection step 303 detects a face region by applying a Hausdorff distance with a sample image to which the adaptive average filter is applied in the face candidate region. The face authentication step 304 retrieves a face image stored in the face image database 500 by extracting a unique feature of a person using a dual-line principal component analysis (DPCA). The facial feature point detection step 305 extracts the facial feature points necessary for the standard facial external dimension measurement from the extracted face region and converts them to a 3D model coordinate system. The face model registration step 306 matches the face model by using adjustment points of subgroups of the head, face outline, eyebrow, eye, nose, mouth, and hair form of the standard 3D face model using the extracted feature points. The face synthesizing step 307 includes a process of scanning conversion, calculating coordinates of pixel corresponding positions, removing hidden surfaces, and pixel interpolation using face images acquired on a matched face model. Map in triangle unit. The face model generation step 308 converts the 3D face model obtained after the mapping is completed to be rotated, enlarged / reduced, and moved (translated) and stored in the 3D object database 700. In the character region setting step 309, the remaining region except for the face candidate region in the business card image is set as the character candidate region, and is preprocessed through the process of extracting the average contrast, smoothing the histogram, and binarization. The character recognition step 310 finds feature points by using statistical characteristics such as Principal Component Analysis (PCA), Independent Component Analysis (ICA), and Linear Discrimination Analysis (LDA), and improves character validity using a Learning Vector Quantization (LVQ) network. Measure and recognize characters. The business card information verification step 310 searches for business card information in the business card information database 500 using the recognized text. The business card information registration step 311 stores the recognized character string in the business card information database 500. The augmented object information transmitting step 312 provides the business card information and the 3D face model registered in the business card information database 500 and the 3D object database 700 using the user's smartphone 100.

도 3은 본 발명에 이용되는 위치정보 제공 서비스 모듈의 순서도이다. 도 3에 도시한 바와 같이, 본 발명에 이용되는 위치정보 제공 서비스는 위치정보 제공 서비스 모듈의 순서는 명함 정보 데이터베이스(500)에 저장되어 있는 명함 당사자의 정보중에서 주소 정보를 이용하여 명함 당사자의 위치 정보를 획득하는 단계(401), 스마트폰에 저장되어 있는 GPS를 이용하여 사용자의 위치를 확인하는 단계(402), 사용자가 실내에 있어 GPS 수신을 받지 못할 경우 스마트폰으로부터 근거리에 있는 Wi-Fi AP의 위치를 확인하여 사용자의 위치를 확인하는 단계(403), 퍼지 논리를 이용하여 사용자의 위치로부터 명함 당사자의 주소 위치까지 경로를 산출하는 경로 산출단계(404), 산출된 경로를 포함하고 있는 지도정보를 서버로부터 전송 받아 확인하는 지도정보 확인 단계(405), 전송된 지도에 사용자의 위치를 표시하는 사용자 위치표시 단계(406), 전송된 지도에 3D 객체 데이터베이스 (700)에 저장되어 있는 명함 당사자의 3D 얼굴 모델을 이용하여 명함 당사자의 위치를 표시하는 명함 당사자 위치 표시 단계(407)를 포함하여 이루어진다.
3 is a flowchart of a location information providing service module used in the present invention. As shown in Figure 3, the location information providing service used in the present invention is the order of the location information providing service module position of the business card party using the address information from the information of the business card party stored in the business card information database 500 Acquiring information (401), checking the location of the user using the GPS stored in the smartphone (402), if the user does not receive GPS reception in the indoor Wi-Fi from the smartphone near Checking the position of the AP by confirming the position of the AP (403), a route calculation step (404) for calculating a route from the user's position to the address position of the business card party using the fuzzy logic, including the calculated route Map information confirmation step of receiving and confirming the map information from the server (405), the user location display step of displaying the user's location on the transmitted map (4) 06), a business card party position display step 407 of displaying the location of the business card party using the 3D face model of the business card party stored in the 3D object database 700 on the transmitted map.

참고로, 도 4는 종래의 3D 얼굴 객체 생성 방법에 대한 순서도이다. 도 4에 도시한 바와 같이, 종래의 3D 얼굴 객체 생성 방법의 순서는, 얼굴 정면 이미지를 취득하는 단계(1), 취득된 얼굴 정면이미지에서 턱선, 눈, 코, 입과 같은 얼굴 특징점을 추출하는 단계(2), 추출된 얼굴 특징점을 3D 좌표계로 변환하는 단계(3), 변환된 얼굴 특징점의 좌표를 기반으로 기존의 얼굴 모델에 적용하여 얼굴 모델을 정합하는 얼굴 정합단계(4), 정합된 얼굴 모델이 취득된 얼굴 이미지를 합성하는 얼굴 합성단계(5)로 구성되어 있다.
For reference, FIG. 4 is a flowchart illustrating a conventional method of generating a 3D face object. As shown in FIG. 4, a conventional method of generating a 3D face object includes obtaining a face front image (1), and extracting facial feature points such as a jaw line, an eye, a nose, and a mouth from the acquired face front image. Step (2), converting the extracted facial feature point into a 3D coordinate system (3), face matching step (4) to match the face model by applying the existing face model based on the coordinates of the transformed facial feature point, The face model is composed of a face synthesis step 5 of synthesizing the acquired face images.

상기한 바와 같은 구성 및 작용은 하나의 실시예로서 본 발명의 청구범위를 제한하는 것은 아니며, 본 발명의 기술적 사상을 변경하지 아니하는 범위 내에서 다양한 변경과 수정이 가능함은 본 발명이 속하는 분야에 종사하는 자에게는 자명한 것이다.The configuration and operation as described above are not limited to the claims of the present invention as an embodiment, and various changes and modifications are possible within the scope of not changing the technical spirit of the present invention. It is obvious to those who are engaged.

100 : 스마트폰 200 : 서버
300 : 명함정보제공 모듈 400 : 위치정보제공서비스 모듈
500 : 명함정보데이터베이스 600 : 얼굴이미지데이터베이스
700 : 3D객체데이터베이스100: smartphone 200: server
300: business card information providing module 400: location information providing service module
500: business card information database 600: face image database
700: 3D object database

Claims (2)

얼굴 이미지를 통한 명함 정보 및 3D 얼굴 모델 제공 시스템에 있어서,
명함당사자의 얼굴 이미지가 있는 명함을 인식하여 서버(200)로 전송하는 스마트폰(100), 스마트폰으로부터 이미지를 전송 받는 서버(200), 전송된 이미지를 이용하여 얼굴 특징점을 추출하고 이를 기반으로 명함 당사자의 3D 얼굴 모델을 생성하여 문자 인식으로 인식된 명함정보와 함께 증강객체 정보를 생성하는 명함 정보 제공 모듈(300), 얼굴 명함정보를 저장하고 있는 명함 정보 데이터베이스(500), 얼굴 이미지를 저장하고 있는 얼굴 이미지 데이터베이스(600), 얼굴 이미지 데이터베이스에 저장되어 얼굴 이미지에 맞는 3D 얼굴 모델을 저장하고 있는 3D 객체 데이터베이스(700)로 이루어지는 것을 특징으로 하는 얼굴 이미지를 통한 명함 정보 및 3D 얼굴 모델 제공 시스템In the business card information and 3D face model providing system through the face image,
Recognizing a business card with a face image of the business card party and transmitting the smart phone 100 to the server 200, the server 200 receiving the image from the smartphone 200, using the transferred image to extract the facial feature point based on this Business card information providing module 300 for generating augmented object information together with business card information recognized by character recognition by generating a 3D face model of the business card party, a business card information database 500 for storing face business card information, and storing a face image Business card information and 3D face model providing system using a face image, comprising a 3D object database 700 storing a face image database 600 and a 3D face model for a face image stored in the face image database 얼굴 이미지를 통한 명함 정보 및 3D 얼굴 모델 제공 방법에 있어서,
스마트폰(100)으로부터 이미지를 취득하는 이미지 취득 단계(301), 얼굴을 검출하기 위해 취득한 이미지를 전처리하는 전처리 단계(302), 전처리된 이미지에서 얼굴 후보 영역을 설정하고 얼굴을 검출 하는 얼굴 검출 단계(303), 얼굴 이미지 데이터베이스(600)에 저장되어 있는 얼굴 이미지와 비교하여 얼굴 인증을 하는 얼굴 인증 단계(304), 새로운 얼굴 모델을 생성하기 위해 표준 얼굴 외형적 치수계측에 맞는 얼굴 특징점을 추출하는 얼굴 특징점 검출 단계(305), 추출된 얼굴 특징점을 이용하여 표준 얼굴 모델에 정합하는 얼굴 모델 정합 단계(306), 정합이 완료된 얼굴 모델에 얼굴 이미지를 맵핑하는 얼굴 합성 단계(307), 맵핑 완료 후 얻은 3D 얼굴 모델의 형태가 변형되지 않도록 3D 변환하여 3D 객체 데이터베이스(700)에 저장하는 얼굴 모델 생성 단계(308), 취득된 이미지에서 얼굴 후보영역을 제외한 문자영역을 설정하여 이미지 전처리하는 문자 영역 설정 단계(309) 문자를 인식하는 문자 인식 단계(310), 인식된 문자를 이용하여 명함 정보 데이터베이스에서 명함 정보를 비교하는 명함 정보 확인 단계(311), 등록된 명함 정보가 없을 경우 명함정보를 등록하는 명함 정보 등록 단계(312), 명함 정보 데이터베이스(500), 3D 객체 데이터베이스(700)에 등록된 명함 정보 및 3D 얼굴 모델을 증강하여 제공하는 증강객체정보 전송 단계(313)를 포함하여 이루어지는 것을 특징으로 하는 얼굴 이미지를 통한 명함 정보 및 3D 얼굴 모델 제공 방법In the business card information and 3D face model providing method through the face image,
An image acquisition step 301 for acquiring an image from the smartphone 100, a preprocessing step 302 for preprocessing the acquired image for detecting a face, a face detection step for setting a face candidate region in the preprocessed image and detecting a face 303, a face authentication step 304 for face authentication by comparing the face image stored in the face image database 600, and extracting facial feature points conforming to standard face external dimension measurement to generate a new face model. Facial feature point detection step 305, face model matching step 306 to match the standard face model using the extracted face feature points, face synthesis step 307 to map the face image to the matched face model, after mapping is completed Face model generation step 308, 3D transforming the shape of the obtained 3D face model is stored in the 3D object database 700 so as not to be deformed Character area setting step 309 for setting a text area excluding a face candidate area in the captured image to preprocess the image Character recognition step 310 for recognizing text, and comparing business card information from a business card information database using the recognized text The business card information and 3D face model registered in the business card information registration step 312, the business card information database 500, and the 3D object database 700 are registered. Method for providing business card information and 3D face model through the face image, characterized in that it comprises the step of augmented to provide augmented object information transmission step (313)
KR1020110018534A 2011-03-02 2011-03-02 Delivery system of business card information and 3d face model through facial images KR20120105581A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110018534A KR20120105581A (en) 2011-03-02 2011-03-02 Delivery system of business card information and 3d face model through facial images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110018534A KR20120105581A (en) 2011-03-02 2011-03-02 Delivery system of business card information and 3d face model through facial images

Publications (1)

Publication Number Publication Date
KR20120105581A true KR20120105581A (en) 2012-09-26

Family

ID=47112411

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110018534A KR20120105581A (en) 2011-03-02 2011-03-02 Delivery system of business card information and 3d face model through facial images

Country Status (1)

Country Link
KR (1) KR20120105581A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353357A (en) * 2019-01-31 2020-06-30 杭州海康威视数字技术股份有限公司 Face modeling system, method and device
KR20200139766A (en) * 2018-04-05 2020-12-14 페이지 인터내셔널 에프제트 엘엘씨 A virtual wearing method and apparatus for clothing based on augmented reality with multiple detection

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200139766A (en) * 2018-04-05 2020-12-14 페이지 인터내셔널 에프제트 엘엘씨 A virtual wearing method and apparatus for clothing based on augmented reality with multiple detection
CN111353357A (en) * 2019-01-31 2020-06-30 杭州海康威视数字技术股份有限公司 Face modeling system, method and device
CN111353357B (en) * 2019-01-31 2023-06-30 杭州海康威视数字技术股份有限公司 Face modeling system, method and device

Similar Documents

Publication Publication Date Title
CN105574518B (en) Method and device for detecting living human face
US11837017B2 (en) System and method for face recognition based on dynamic updating of facial features
CN105740778B (en) Improved three-dimensional human face in-vivo detection method and device
JP4950787B2 (en) Image processing apparatus and method
JP4653606B2 (en) Image recognition apparatus, method and program
JP4958497B2 (en) Position / orientation measuring apparatus, position / orientation measuring method, mixed reality presentation system, computer program, and storage medium
US9805252B2 (en) Video based facial recognition for customer verification at touchless checkout
KR101506610B1 (en) Apparatus for providing augmented reality and method thereof
US10089525B1 (en) Differentiating left and right eye images
CN104392220A (en) Three-dimensional face recognition airport security inspection method based on cloud server
CN110074788B (en) Body data acquisition method and device based on machine learning
CN104008317A (en) Authentication apparatus and authentication method
CN109978552B (en) Payment processing method, device and equipment based on identity card information
US9710707B1 (en) Detecting iris orientation
CN110796101A (en) Face recognition method and system of embedded platform
CN103488966A (en) Intelligent mobile phone capable of identifying real-name ticket information
CN113646806A (en) Image processing apparatus, image processing method, and recording medium storing program
JP2018151833A (en) Identifier learning device and identifier learning method
KR101817773B1 (en) An Advertisement Providing System By Image Processing of Depth Information
KR20050120339A (en) Identity confirmation apparatus using mobile terminal's camera and the method of the same
KR20120105581A (en) Delivery system of business card information and 3d face model through facial images
CN110544333A (en) Access control system and control method thereof
CN111079592B (en) Ceramic fingerprint image generating and extracting method and device
KR100862526B1 (en) Method and system constructing moving image database and face recognition method and system using the same
CN111639726B (en) Seal-based identity authentication system and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application
E801 Decision on dismissal of amendment