KR20140077457A - Apparatus and Method of Device Cognition Using Matching of Face Feature - Google Patents
Apparatus and Method of Device Cognition Using Matching of Face Feature Download PDFInfo
- Publication number
- KR20140077457A KR20140077457A KR1020120146290A KR20120146290A KR20140077457A KR 20140077457 A KR20140077457 A KR 20140077457A KR 1020120146290 A KR1020120146290 A KR 1020120146290A KR 20120146290 A KR20120146290 A KR 20120146290A KR 20140077457 A KR20140077457 A KR 20140077457A
- Authority
- KR
- South Korea
- Prior art keywords
- terminal
- image
- face
- user
- feature
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W76/00—Connection management
- H04W76/10—Connection setup
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W8/00—Network data management
- H04W8/005—Discovery of network devices, e.g. terminals
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Telephone Function (AREA)
Abstract
Description
본 발명은 이동통신단말기의 카메라 또는 이와 유사한 기능을 가지는 시스템에서 피사체의 이미지 정보를 활용하여 통신 링크를 설정할 사용자 얼굴 매칭을 이용한 기기 인식 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for recognizing a device using a user's face matching to establish a communication link by utilizing image information of a subject in a camera of a mobile communication terminal or a system having similar functions.
현재 근거리 무선통신시스템은 사용자가 연결을 원하는 단말기의 정보 혹은 사용자의 정보를 알고 있거나, 연결을 원하는 대상 단말기의 근접 거리에서 접속을 시도할 수 있다. 예를 들어, Bluetooth의 경우는 연결하고자 하는 대상의 기기 ID를 알고 있거나, 적어도 기기 사용자를 구분할 수 있는 정보가 필요하다. 하지만, 사용자 정보를 알고 있더라도 주변에 이와 비슷한 이름의 사용자가 있을 경우 대상 선택을 잘못하는 문제점이 있을 수 있다. Currently, the local wireless communication system knows the information of the terminal or the user of the terminal to which the user wants to connect, or may try to connect at a close distance of the terminal to which the terminal wants to connect. For example, in case of Bluetooth, it is necessary to know the device ID of a target to be connected or at least information that can distinguish the device user. However, even if the user information is known, there may be a problem in selecting the target if there are users with similar names in the vicinity.
뿐만 아니라, Bluetooth 단말기를 사용할 경우는 다른 Bluetooth 기기와 연결하고자 할 때 스캔과정을 통해 주변의 Bluetooth 기기의 목록을 열거할 수 있다. 또한, 사용자는 그 중 연결하고자 하는 대상 혹은 기기를 선택하고, 인증 절차를 거쳐 링크가 형성될 수 있다. 상기 과정에 사용자는 연상작용을 통해 이름과 사용자 얼굴을 매칭해야 하는 번거로움과 수 많은 리스트 중 연결하고자 하는 대상을 구별해야 하는 불편함을 겪을 수 있다. 또한, 통신 링크를 형성하는 과정에서 여러 단계에 걸쳐 사용자 개입되면서 통신 링크 설정을 위한 시간 지연이 발생하는 문제점이 발생한다.In addition, when using a Bluetooth terminal, it is possible to enumerate the list of nearby Bluetooth devices through a scanning process when connecting to another Bluetooth device. In addition, the user can select a target or device to be connected among them, and a link can be formed through an authentication procedure. In the above process, the user may experience the troubles of matching the name and the user's face through the associative action and the inconvenience of distinguishing the objects to be connected among the numerous lists. Also, in the process of forming a communication link, there arises a problem that a time delay occurs for establishing a communication link while a user intervenes in various stages.
본 발명은 전술한 종래기술의 문제점을 해결하기 위하여, 사용자가 자신의 단말기에서 연결하고자 하는 대상을 비추어 화면에서 직관적으로 사람의 얼굴을 선택할 경우, 기기를 구분하여 통신 링크를 설정하는 장치 및 방법을 제공할 수 있다. SUMMARY OF THE INVENTION In order to solve the above-described problems of the related art, the present invention provides an apparatus and method for establishing a communication link by distinguishing devices when a user intuitively selects a face of a person by illuminating an object to be connected from the terminal .
일 측면에 있어서, 본 발명에서 제안하는 얼굴의 특징 매칭을 이용한 단말 인식 장치는 통신 연결의 대상이 되는 단말의 사용자 이미지를 입력 받고, 주변 단말들로부터 상기 주변 단말들에 저장된 얼굴 이미지들을 수신하고, 상기 사용자 이미지의 전처리 및 상기 얼굴 이미지들의 전처리를 수행하는 이미지 데이터 처리부를 포함할 수 있다. According to an aspect of the present invention, there is provided a terminal recognition apparatus using face feature matching proposed in the present invention, which receives a user image of a terminal as a communication connection target, receives facial images stored in peripheral terminals from peripheral terminals, And an image data processing unit for performing preprocessing of the user image and preprocessing of the face images.
상기 얼굴의 특징 매칭을 이용한 단말 인식 장치는 상기 전처리된 사용자 이미지와 상기 전처리된 얼굴 이미지들을 비교하고, 비교의 결과에 따라 상기 주변 단말들 중 상기 통신 연결의 대상이 되는 단말을 결정하는 검출 및 결정부를 포함할 수 있다. The terminal recognizing apparatus using the feature matching of the face compares the preprocessed user image and the preprocessed face images, and detects and determines a terminal to be the communication target among the peripheral terminals according to a result of the comparison. Section.
상기 이미지 데이터 처리부는 통신 연결의 대상이 되는 단말의 사용자 이미지를 입력 받는 카메라 입력부를 포함할 수 있다. The image data processing unit may include a camera input unit that receives a user image of a terminal that is a target of communication connection.
상기 이미지 데이터 처리부는 상기 입력된 사용자 이미지를 데이터 처리를 위한 크기로 변환하는 얼굴영역 조정부를 포함할 수 있다. The image data processing unit may include a face area adjusting unit for converting the input user image into a size for data processing.
상기 이미지 데이터 처리부는 주변 단말들로부터 주변 단말들에 저장된 얼굴 이미지들을 수신 받는 이미지 수신 처리부를 포함할 수 있다. The image data processing unit may include an image reception processing unit receiving face images stored in peripheral terminals from peripheral terminals.
상기 이미지 데이터 처리부는 상기 수신된 얼굴 이미지들을 통신 연결의 대상이 되는 단말의 사용자 이미지와 매칭하기 위해 보간 비율 정보를 이용하여 변환하는 매칭 전처리부를 포함할 수 있다. The image data processing unit may include a matching pre-processing unit for converting the received face images using interpolation ratio information to match the user images of the terminals to be communicated with.
상기 검출 및 결정부는 이미지 데이터 처리부에서 변환된 통신 연결의 대상이 되는 단말의 사용자 이미지에서 특징점을 연결한 경계선을 검출하는 경계선 검출부를 포함할 수 있다. The detection and determination unit may include a boundary detection unit that detects a boundary line connecting the feature points in the user image of the terminal that is the target of the communication connection converted in the image data processing unit.
상기 검출 및 결정부는 상기 검출된 경계선 이미지에서 얼굴영역 특징을 검출하는 얼굴 특징 검출부를 포함할 수 있다. The detection and determination unit may include a face feature detection unit that detects a face region feature in the detected boundary image.
상기 검출 및 결정부는 상기 검출된 얼굴영역 특징과 주변 단말들에 저장된 얼굴 이미지들의 특징을 매칭하여 통신 연결의 대상이 되는 단말을 결정하는 대상 결정부를 포함할 수 있다. The detecting and determining unit may include an object determining unit for determining a terminal to be a target of communication connection by matching the detected face region feature with the feature of the face images stored in peripheral terminals.
상기 얼굴영역 조정부는 통신 연결의 대상이 되는 단말의 사용자 이미지에서 얼굴영역을 확대 또는 축소할 수 있고, 상기 확대 또는 축소된 배율 정보를 통해 보간 비율을 계산할 수 있다. The face area adjustment unit may enlarge or reduce the face area in the user image of the terminal that is the object of the communication connection, and calculate the interpolation ratio through the enlarged or reduced magnification information.
상기 매칭 전처리부는 주변 단말들로부터 수신 받은 얼굴 이미지들을 보간 비율을 이용하여 데시메이션(decimation)할 수 있다. The matching pre-processing unit may decimate the face images received from peripheral terminals using the interpolation ratio.
상기 얼굴 특징 검출부는 경계선 검출부에서 생성된 경계선 이미지에서 특징점을 좌표로 변환하고, 상기 변환된 특징점 좌표를 연결한 특징 도형을 생성하고, 상기 좌표 사이의 길이 정보를 특징 데이터로 검출할 수 있다. The facial feature detecting unit may convert feature points into coordinates in the boundary line image generated by the boundary detecting unit, generate feature images connecting the converted minutiae coordinates, and detect length information between the coordinates as feature data.
상기 얼굴 특징 검출부는 특징점 좌표를 연결하여 생성된 도형과 좌표 사이의 길이 정보를 이용하여, 통신 연결의 대상이 되는 단말의 사용자 이미지의 정면 또는 상,하,좌,우 이미지 중 해당 이미지를 판단할 수 있다. The facial feature detection unit determines the corresponding image among the front or top, bottom, left, and right images of the user image of the terminal, which is the object of the communication connection, using the length information between the figure and the coordinates generated by connecting the minutiae coordinates .
상기 얼굴 특징 검출부는 주변 단말 얼굴 이미지들의 정면 또는 상,하,좌,우 이미지를 결정할 수 있다. The facial feature detector may determine the front or top, bottom, left, and right images of peripheral terminal facial images.
상기 주변 단말들은 정면 또는 상,하,좌,우를 포함한 주변 단말 얼굴 이미지들의 특징을 사전에 저장하고 있을 수 있다. The peripheral terminals may store the features of the peripheral terminal face images including the front face, the upper face, the lower face, the left face, and the right face in advance.
상기 대상 결정부는 얼굴 특징 검출부에서 검출된 특징 데이터를 이용하여 주변 단말 얼굴 이미지들의 특징과 매칭하고, 대상 단말을 결정할 수 있다. The target determining unit may match the features of the peripheral terminal face images using the feature data detected by the face feature detecting unit, and determine the target terminal.
일 측면에 있어서, 본 발명에서 제안하는 얼굴의 특징 매칭을 이용한 단말 인식 방법은 통신 연결의 대상이 되는 단말의 사용자 이미지를 수신하여 변환하는 단계를 포함할 수 있다. In one aspect, a method for recognizing a terminal using face feature matching proposed in the present invention may include receiving and converting a user image of a terminal that is a target of communication connection.
상기 얼굴의 특징 매칭을 이용한 단말 인식 방법은 주변 단말 얼굴 이미지들을 수신하여 변환하는 단계를 포함할 수 있다. The terminal recognition method using the feature matching of the face may include receiving and converting peripheral terminal face images.
상기 얼굴의 특징 매칭을 이용한 단말 인식 방법은 통신 연결의 대상이 되는 단말의 사용자 이미지와 주변 단말 얼굴 이미지들을 비교하는 단계를 포함할 수 있다. The terminal identification method using the feature matching of the face may include a step of comparing a user image of a terminal to be communicated with a peripheral terminal face image.
상기 얼굴의 특징 매칭을 이용한 단말 인식 방법은 통신 연결의 대상이 되는 단말을 결정하는 단계를 포함할 수 있다. The terminal identification method using the feature matching of the face may include a step of determining a terminal to be a communication connection target.
상기 통신 연결의 대상이 되는 단말의 사용자 이미지를 수신하여 변환하는 단계는 통신 연결의 대상이 되는 단말의 사용자 이미지를 입력 받는 단계를 포함할 수 있다. The step of receiving and converting the user image of the terminal subject to the communication connection may include receiving the user image of the terminal which is the object of the communication connection.
상기 통신 연결의 대상이 되는 단말의 사용자 이미지를 수신하여 변환하는 단계는 상기 입력된 이미지를 데이터 처리를 위한 크기로 변환하는 단계를 포함할 수 있다. The step of receiving and converting the user image of the terminal subject to the communication connection may include converting the input image into a size for data processing.
상기 주변 단말 얼굴 이미지들을 수신하여 변환하는 단계는 주변 단말들로부터 이미지를 수신 받는 단계를 포함할 수 있다. The step of receiving and converting the peripheral terminal facial images may include receiving an image from peripheral terminals.
상기 주변 단말 얼굴 이미지들을 수신하여 변환하는 단계는 상기 수신된 이미지를 통신 연결의 대상이 되는 단말의 사용자 이미지와 매칭하기 위해 보간 비율 정보를 이용하여 변환하는 단계를 포함할 수 있다. The step of receiving and converting the peripheral terminal facial images may include a step of using the interpolation ratio information to match the received image with a user image of a terminal that is a communication target.
상기 통신 연결의 대상이 되는 단말의 사용자 이미지와 주변 단말 얼굴 이미지들을 비교하는 단계는 통신 연결의 대상이 되는 단말의 사용자 이미지 경계선을 검출하는 단계를 포함할 수 있다. The step of comparing the user image of the terminal subject to the communication connection with the peripheral terminal face images may include a step of detecting a user image boundary line of the terminal that is the object of the communication connection.
상기 통신 연결의 대상이 되는 단말의 사용자 이미지와 주변 단말 얼굴 이미지들을 비교하는 단계는 상기 경계선을 이용하여 특징 도형 및 특징 데이터를 생성하는 단계를 포함할 수 있다. The step of comparing the user image of the terminal that is the subject of the communication connection with the peripheral terminal face images may include generating the feature figure and feature data using the boundary line.
상기 통신 연결의 대상이 되는 단말의 사용자 이미지와 주변 단말 얼굴 이미지들을 비교하는 단계는 상기 특징 도형 및 특징 데이터를 이용하여 주변 단말 얼굴 이미지들의 특징과 매칭하는 단계를 포함할 수 있다. The step of comparing the user image of the terminal to be communicated with the peripheral terminal face images may include matching the features of the peripheral terminal face images using the feature figure and feature data.
상기 통신 연결의 대상이 되는 단말을 결정하는 단계는 상기 사용자 이미지와 얼굴 이미지들을 비교하는 단계에서의 비교 값이 기 설정된 임계값을 통과한 단말 또는 매칭 정도가 가장 높은 단말을 통신 연결의 대상이 되는 단말로 결정할 수 있다. Wherein the step of determining a terminal to be a target of the communication connection includes a step of comparing a terminal image with a comparison value in a step of comparing the user image with a face image, It can be decided by the terminal.
본 발명은 사용자 단말기의 카메라를 통해 화면에 비추는 사람의 얼굴 영역을 선택할 경우, 사용자가 연결하고자 하는 대상의 ID를 모르더라도 단말기기가 그 사람의 특징을 인식 하고 구분하여 직관적인 통신 링크를 형성할 수 있다. 따라서, 통신 링크를 형성하는 과정에서 여러 단계에 걸쳐 사용자 개입되면서 통신 링크 설정을 위한 시간 지연이 발생하는 문제점을 해결할 수 있다. In the present invention, when a face region of a person shining on a screen is selected through a camera of a user terminal, the terminal recognizes and distinguishes the characteristics of the person even though the user does not know the ID of the object to be connected, have. Accordingly, it is possible to solve the problem that a time delay occurs for establishing the communication link while the user intervenes in various steps in the process of forming the communication link.
도 1은 통신 장치 인식을 원하는 사용자의 단말과 통신 연결의 대상이 되는 단말을 포함한 주변 단말들을 나타낸 예시도이다.
도 2는 일 실시 예에 따른 얼굴의 특징 매칭(matching)을 이용한 단말 인식 장치의 구성을 나타낸 도면이다.
도 3은 통신 장치 인식을 원하는 사용자가 통신 연결의 대상이 되는 단말의 사용자 이미지 영역을 선택하는 방법을 설명하기 위한 도면이다.
도 4는 통신 연결의 대상이 되는 단말의 사용자 이미지에서 특징을 검출하는 방법을 설명하기 위한 도면이다.
도 5는 특징점 좌표를 이용하여 생성한 특징 도형을 설명하기 위한 도면이다.
도 6은 특징점 좌표를 이용하여 특징 데이터를 검출하는 방법을 설명하기 위한 도면이다.
도 7은 얼굴의 특징 매칭을 이용한 단말 인식 방법을 나타내는 순서도이다. 1 is an exemplary diagram illustrating peripheral terminals including a terminal of a user who desires communication device recognition and a terminal to which communication is to be connected.
2 is a block diagram illustrating a configuration of a terminal recognition apparatus using feature matching of a face according to an exemplary embodiment.
3 is a diagram for explaining a method for a user who desires to recognize a communication device to select a user image area of a terminal that is a target of communication connection.
4 is a diagram for explaining a method of detecting a feature in a user image of a terminal that is a target of communication connection.
FIG. 5 is a diagram for explaining a feature figure generated using the feature point coordinates. FIG.
6 is a diagram for explaining a method of detecting feature data using the minutiae coordinates.
7 is a flowchart illustrating a terminal recognition method using face feature matching.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings
도 1은 통신 장치 인식을 원하는 사용자의 단말과 통신 연결의 대상이 되는 단말을 포함한 주변 단말들을 나타낸 예시도이다. 1 is an exemplary diagram illustrating peripheral terminals including a terminal of a user who desires communication device recognition and a terminal to which communication is to be connected.
도 1은 통신 장치 인식을 원하는 사용자의 휴대 단말(110), 상기 사용자의 휴대 단말(110) 주변의 주변 단말들(120~150), 및 상기 주변 단말들(120~150) 중 통신 연결의 대상이 되는 단말(120)을 나타낸다. FIG. 1 is a block diagram illustrating a communication terminal of a user who wants to recognize a communication device,
본 발명의 실시 예에 따른, 이미지를 획득하는 장치의 범위는 카메라 또는 이와 유사한 기능을 갖는 장치를 포함할 수 있고, 편의를 위해 카메라를 예를 들어 설명한다.The scope of an apparatus for acquiring an image according to an embodiment of the present invention may include a camera or a device having a similar function, and a camera will be described as an example for convenience.
통신 장치 인식을 원하는 사용자의 휴대 단말(110) 주변에는 다수의 주변 단말들(120~150)이 있을 수 있다. 상기 주변 단말들(120~150)은 통신 연결의 대상이 되는 단말(120)을 포함 할 수 있다. A plurality of
통신 장치 인식을 원하는 사용자의 휴대 단말(110)은 상기 휴대 단말(110)의 디스플레이 장치를 통해 상기 주변 단말들(120~150) 중 통신 연결의 대상이 되는 단말(120)을 인식하고 선택할 수 있다. The
이때, 주변 단말들(120~150)은 주변 단말들 사용자의 얼굴 이미지들을 미리 수집하여 저장할 수 있다. 상기 얼굴 이미지들은 정면 이미지가 우선으로 저장될 수 있고, 상,하,좌,우를 포함한 이미지들을 수집하여 저장할 수 있다. At this time, the neighboring
주변 단말들(120~150)은 통신 장치 인식을 원하는 사용자의 휴대 단말(110)로 부터 이미지 전송 요청을 받을 수 있다. 상기 이미지 전송 요청을 받을 경우, 주변 단말들(120~150)은 저장하고 있던 얼굴 이미지들과 주변 단말들(120~150)의 ID를 함께 전송할 수 있다.
The
도 2는 일 실시 예에 따른 얼굴의 특징 매칭(matching)을 이용한 단말 인식 장치의 구성을 나타낸 도면이다. 2 is a block diagram illustrating a configuration of a terminal recognition apparatus using feature matching of a face according to an exemplary embodiment.
일 실시 예에 따른, 본 발명의 장치 구성을 설명하기 위해 통신 장치 인식을 원하는 사용자의 휴대 단말(110)은 주변의 주변 단말들(120~150)에게 전송 요청 메시지를 전송하였다는 것을 가정할 수 있다. 이 때, 주변의 주변 단말들(120~150)은 명령주변 단말들(120~150)의 고유정보 및 얼굴 이미지들을 상기 사용자의 휴대 단말(110)로 전송할 수 있다. 상기 고유정보는 예를 들어, 주변 단말들(120~150)의 ID 또는 이와 유사한 기능 갖는 데이터를 포함할 수 있다. In order to describe the apparatus configuration of the present invention, it is assumed that the
얼굴의 특징 매칭(matching)을 이용한 단말 인식 장치는 이미지 데이터 처리부(210) 및 검출 및 결정부(220)로 이루어질 수 있다. The terminal recognition apparatus using feature matching of a face may be composed of an image
이미지 데이터 처리부(210)는 카메라 입력부(211), 얼굴영역 조정부(212), 이미지 수신처리부(213), 매칭 전처리부(214)으로 이루어질 수 있다. The image
이미지 데이터 처리부(210)는 통신 연결의 대상이 되는 단말의 사용자 이미지를 입력 받을 수 있다. 또한, 이미지 데이터 처리부(210)는 주변 단말들로부터 상기 주변 단말들에 저장된 얼굴 이미지들을 수신할 수 있다. 이미지 데이터 처리부(210)는 상기 수신된 사용자 이미지의 전처리 및 상기 얼굴 이미지들의 전처리를 수행할 수 있다. The image
카메라 입력부(211)는 통신 장치 인식을 원하는 사용자의 휴대 단말(110)이 통신 연결의 대상이 되는 단말(120) 방향으로 화면을 지향하여 통신 연결의 대상이 되는 단말(120) 사용자 이미지를 입력 받을 수 있다. The
얼굴영역 조정부(212)는 카메라 입력부(211)를 통해 입력된 이미지를 얼굴 영역 선택 방법을 통해 데이터 처리를 하기 위한 크기로 조정할 수 있다. 얼굴영역 조정부(212)는 상기 크기 조정 동작에 따른 보간 비율 정보를 계산할 수 있다. 상기 얼굴 영역 선택 방법은 도 3에서 상세히 설명하도록 한다. The face
이미지 수신처리부(213)는 카메라 입력부(211)에서 상기 사용자 이미지를 입력 받는 동시에 주변 단말들(120~150)로부터 요청한 이미지를 수신 받을 수 있다.The image
매칭 전처리부(214)는 이미지 수신 처리부(213)를 통해 수집된 얼굴 이미지들을 영역 조정부(303)의 크기 조정 동작에 따른 보간 비율 정보를 기준으로 매칭 전처리 이미지를 생성할 수 있다. 따라서, 주변 단말들(120~150)에서 전송해온 얼굴 이미지들을 얼굴영역 조정부(212)에서 계산한 보간 비율 정보를 기준으로 데시메이션(decimation)할 수 있다.The matching
검출 및 결정부(220)는 경계선 검출부(221), 얼굴 특징 검출부(222), 대상 결정부(223)로 이루어질 수 있다.The detection and
검출 및 결정부(220)는 이미지 데이터 처리부(210)에서 전처리된 사용자 이미지와 상기 전처리된 얼굴 이미지들의 특징을 검출할 수 있다. 검출 및 결정부(220)는 상기 검출된 사용자 이미지의 특징과 얼굴 이미지들의 특징을 비교할 수 있다. 검출 및 결정부(220)는 상기 비교의 결과에 따라 상기 주변 단말들 중 상기 통신 연결의 대상이 되는 단말(120)을 결정할 수 있다.
The detection and
경계선 검출부(221)는 얼굴영역 조정부(212)와 매칭 전처리부(214)에서 생성한 이미지의 경계선을 검출할 수 있다. 상기 검출된 경계선을 이용하여 경계선 이미지를 생성할 수 있다. The
얼굴 특징 검출부(222)는 경계선 검출부(221)가 생성한 통신 장치 인식을 원하는 사용자의 휴대 단말(110)과 주변 단말들(120~150)의 경계선 이미지에서 얼굴 영역 특징 데이터를 검출할 수 있다. The face
대상 결정부(223)는 얼굴 특징 검출부(222)에서 수집된 통신 장치 인식을 원하는 사용자의 휴대 단말(110)과 주변 단말들(120~150)의 얼굴 영역 특징 데이터를 매칭하여 통신 연결의 대상이 되는 단말(120)을 선택할 수 있다.
The
도 3은 통신 장치 인식을 원하는 사용자가 통신 연결의 대상이 되는 단말의 사용자 이미지 영역을 선택하는 방법을 설명하기 위한 도면이다. 3 is a diagram for explaining a method for a user who desires to recognize a communication device to select a user image area of a terminal that is a target of communication connection.
통신 장치 인식을 원하는 사용자의 휴대 단말(110)은 상기 휴대 단말(110)의 디스플레이 장치(310)를 통해 상기 주변 단말들(120~150) 중 통신 연결의 대상이 되는 단말(120)을 선택하여 사용자 이미지를 입력 받을 수 있다. 상기 입력된 사용자 이미지에서 얼굴 영역을 조정할 수 있다. The
통신 장치 인식을 원하는 사용자의 휴대 단말(110)은 통신 연결의 대상이 되는 단말(120) 사용자 이미지의 얼굴 영역을 손가락 또는 이와 같은 기능을 가지는 장치로 320과 같이 얼굴 영역을 그릴 수 있다. 이 후, 320과 같이 선택한 영역은 330과 같이 원하는 영역 크기로 한번 더 그림으로써 확대 또는 축소할 수 있다. The
예를 들어, 상기 선택된 320 영역은 340 화살표 방향대로 330 영역으로 끌어당길 경우 상기 선택된 320 영역의 크기가 확대될 수 있다. 반대로, 끌어내릴 경우에는 축소될 수 있다. 또한, 상기 선택된 320 영역은 상기 디스플레이 장치(310)의 아무 지점에서나 아래에서 위로 올리는 동작의 경우, 상기 선택된 320 영역의 크기가 확대될 수 있다. 반대로, 위에서 아래로 내릴 경우에는 축소될 수 있다. For example, when the selected 320 area is drawn to the
따라서, 통신 장치 인식을 원하는 사용자의 휴대 단말(110)은 상기 휴대 단말(110)의 디스플레이 장치(310)에서 상기 동작들을 통해 사용자 이미지를 확대 또는 축소할 수 있다. 이 때, 통신 장치 인식을 원하는 사용자의 휴대 단말(110)의 디스플레이 장치(310)는 손가락 또는 이에 해당하는 장치의 움직임을 인식할 수 있다. Accordingly, the
또한, 통신 장치 인식을 원하는 사용자의 휴대 단말(110)은 320 영역에서 330 영역으로 확대 또는 축소된 배율 정보를 통해 보간(interpolation) 비율을 계산할 수 있다.
In addition, the
도 4는 통신 연결의 대상이 되는 단말(120)의 사용자 이미지에서 특징을 검출하는 방법을 설명하기 위한 도면이다. 4 is a diagram for explaining a method of detecting a feature in a user image of a terminal 120 that is a target of communication connection.
일 실시 예에 따른, 얼굴영역 특징을 검출하는 동작은 경계선 검출부(221)에서 생성된 얼굴영역 경계선 이미지에서 눈, 코, 입, 얼굴선 등의 경계선에서 발생하는 특징점을 좌표로 변환하는 방법을 포함할 수 있다. 또한, 상기 특징점 좌표를 연결한 특징 도형 생성 동작 및 상기 좌표 사이의 길이 정보를 특징 데이터로 검출하는 방법을 포함할 수 있다. The operation of detecting the face region feature according to one embodiment includes a method of converting the feature points generated in the boundary lines of eyes, nose, mouth, face line, etc. into coordinates in the face region boundary line image generated by the boundary
예를 들어, 도 4에서 상기 특징점은 눈의 경계 끝점(410, 420), 콧방울의 경계점(430), 입술 사이 경계선의 중점(440), 턱 경계점(450) 등일 수 있다. 또한, 상기 특징 도형은 특징점 410, 420, 430, 440을 연결한 Y자 모형일 수 있다. 상기 길이 정보 특징 데이터는 특징점 410, 420, 430, 440, 450을 연결하여 생성할 수 있다. For example, in FIG. 4, the feature points may be eye border points 410 and 420, a
길이 정보 특징 데이터 460은 눈의 경계 끝점(410, 420)을 연결한 길이일 수 있다. 길이 정보 특징 데이터 470은 상기 460의 중점과 콧방울의 경계점(430)을 연결한 길이일 수 있다. 길이 정보 특징 데이터 480은 콧방울의 경계점(430)과 입술 사이 경계선의 중점(440)을 연결한 길이일 수 있다. 길이 정보 특징 데이터 490은 상기 460의 중점과 턱 경계점(450)을 연결한 길이일 수 있다.
The length
도 5는 특징점 좌표를 이용하여 생성한 특징 도형을 설명하기 위한 도면이다. FIG. 5 is a diagram for explaining a feature figure generated using the feature point coordinates. FIG.
예를 들어, 도 4의 눈의 경계 끝점 410은 좌표(x1, y1)(510)에 해당할 수 있다. 눈의 경계 끝점 420은 좌표(x2, y2)(520)에 해당할 수 있다. 콧방울의 경계점 430은 좌표(x0, y0)(530)에 해당할 수 있다. 입술 사이 경계선의 중점440은 좌표(x3, y3)(540)에 해당할 수 있다. For example, the eye
도 5의 Y자 모형은 상기 좌표들(510~540)을 연결함으로써 생성할 수 있다. 상기 Y자 모형은 통신 연결의 대상이 되는 단말(120)의 사용자 이미지의 상,하,좌,우 이미지 중 해당되는 이미지가 어느 것인지를 판단하는데 이용할 수 있다. 사용자 이미지의 상/하/좌/우 이미지를 인지하는 방법은 도 5에서 Y자 모형의 a, b, c 길이를 비교함으로써 판단할 수 있다. 이 때, 사람의 정면 얼굴에서 a, b 길이는 약간의 오차 안에서 같다고 가정할 수 있다.5 can be generated by concatenating the coordinates 510 to 540. FIG. The Y-character model can be used to determine which one of the upper, lower, left, and right images of the user image of the terminal 120 that is the object of the communication connection. A method of recognizing the up / down / left / right images of the user image can be determined by comparing the lengths of a, b, and c of the Y model in FIG. At this time, it can be assumed that the lengths of a and b in the front face of a person are the same within some errors.
상기 길이를 비교하여 상,하,좌,우 이미지를 판단하는 기준은 아래와 같다.The criteria for comparing the above lengths and judging the up, down, left, and right images are as follows.
상기 특징 도형은 통신 연결의 대상이 되는 단말(120)의 사용자 이미지 획득 시, 인식을 원하는 사용자의 휴대 단말(110)이 획득한 연결의 대상이 되는 단말(120)의 사용자 이미지가 상,하,좌,우 이미지인지를 판단할 수 있다. 상기 연결의 대상이 되는 단말(120)의 사용자 이미지가 상,하,좌,우 이미지인지를 판단하여 주변 단말들(120~150)의 상,하,좌,우 이미지와 비교할 수 있다.When the user image of the terminal 120, which is the object of the communication connection, is received, the user image of the terminal 120, which is the connection target acquired by the
예를 들어, 인식을 원하는 사용자의 휴대 단말(110)의 획득이미지가 좌측 이미지로 판단할 경우, 주변 단말들(120~150)의 좌측 이미지에서 특징을 추출할 수 있다.
For example, if the acquired image of the
도 6은 특징점 좌표를 이용하여 특징 데이터를 검출하는 방법을 설명하기 위한 도면이다. 6 is a diagram for explaining a method of detecting feature data using the minutiae coordinates.
도 5의 특징점 좌표를 이용한 특징 데이터는 사람의 얼굴 영역의 고유 정보에 해당할 수 있다. 예를 들어, l1은 사람 얼굴에서 눈의 경계 끝점 좌표 (x1, y1)에서 (x2, y2)까지의 가로 길이일 수 있다. l2는 l1의 중심에서 턱 경계점(450)에 해당하는 좌표 (x4, y4)(610)까지 얼굴 세로 길이일 수 있다. d는 l1의 중심에서 콧방울의 경계점 좌표 (x0, y0)까지의 코 길이일 수 있다. c는 콧방울의 경계점 좌표 (x0, y0)에서 입술 사이 경계선 좌표 (x3, y3)까지의 인중 길이일 수 있다. Feature data using the minutiae coordinates in Fig. 5 may correspond to unique information of a face region of a person. For example, l 1 may be the width from the human face to the (x 1 , y 1 ) to (x 2 , y 2 ) coordinates of the eye's border endpoint. l 2 may be the face vertical length from the center of l 1 to the coordinate (x 4 , y 4 ) 610 corresponding to the
상기 특징 데이터는 사람의 얼굴영역을 대표하는 특징으로써, 본 발명의 구성에서 단말 사용자의 ID와 같이 사용될 수 있다. The feature data represents a face region of a person, and can be used as an ID of a terminal user in the configuration of the present invention.
예를 들어, 인식을 원하는 사용자의 휴대 단말(110)이 획득한 연결의 대상이 되는 단말(120) 사용자 이미지가 좌측 이미지로 판단된 경우, 인식을 원하는 사용자의 휴대 단말(110)는 주변 단말들(120~150)이 전송해온 이미지 중 좌측 이미지에서 특징 데이터를 검출할 수 있다. For example, when the user image of the terminal 120 that is the target of the connection acquired by the
상기 각각의 길이 정보에 의한 특징 데이터는 특징점 좌표들(510~540 및 610)을 이용하여 다음 수학식 1과 같이 계산할 수 있다.
The feature data by the length information can be calculated as shown in Equation (1) using the minutiae coordinates 510 to 540 and 610.
[수학식 1][Equation 1]
도 7은 얼굴의 특징 매칭을 이용한 단말 인식 방법을 나타내는 순서도이다.7 is a flowchart illustrating a terminal recognition method using face feature matching.
얼굴의 특징 매칭을 이용한 단말 인식 방법은 통신 연결의 대상이 되는 단말의 사용자 이미지를 수신하여 변환하는 단계(710), 주변 단말 얼굴 이미지들을 수신하여 변환하는 단계(720), 통신 연결의 대상이 되는 단말의 사용자 이미지와 주변 단말 얼굴 이미지들을 비교하는 단계(730) 및 통신 연결의 대상이 되는 단말을 결정하는 단계(740)을 포함할 수 있다. A method for recognizing a terminal using facial feature matching includes receiving and converting a user image of a terminal that is a target of communication connection, receiving (720) neighboring terminal face images and converting the received image, A
얼굴의 특징 매칭을 이용한 단말 인식 방법은 통신 연결의 대상이 되는 단말의 사용자 이미지를 수신하여 변환하는 단계(710)는 통신 장치 인식을 원하는 사용자의 휴대 단말(110)이 통신 연결의 대상이 되는 단말(120) 방향으로 화면을 지향하여 통신 연결의 대상이 되는 단말(120) 사용자 이미지를 입력 받을 수 있다. A
상기 입력된 이미지는 얼굴 영역 선택 방법을 통해 데이터 처리를 하기 위한 크기로 조정될 수 있다. 또한, 상기 크기 조정 동작에 따른 보간 비율 정보를 계산할 수 있다.
The input image may be adjusted to a size for data processing through a face area selection method. In addition, the interpolation ratio information according to the scaling operation can be calculated.
주변 단말 얼굴 이미지들을 수신하여 변환하는 단계(720)는 주변 단말들(120~150)로부터 통신 장치 인식을 원하는 사용자의 휴대 단말(110)가 요청한 얼굴 이미지들을 수신 받을 수 있다. The
상기 수신 받은 얼굴 이미지들을 얼굴영역 조정부(212)의 크기 조정 동작에 따른 보간 비율 정보를 기준으로 매칭 전처리 이미지를 생성할 수 있다. 따라서, 주변 단말들(120~150)에서 전송해온 얼굴 이미지들을 얼굴영역 조정부(212)에서 계산한 보간 비율 정보를 기준으로 데시메이션(decimation)할 수 있다.
The received facial images can be generated as a matching pre-processed image based on the interpolation ratio information according to the size adjusting operation of the face
통신 연결의 대상이 되는 단말의 사용자 이미지와 주변 단말 얼굴 이미지들을 비교하는 단계(730)는 얼굴의 특징 매칭을 이용한 단말 인식 방법은 통신 연결의 대상이 되는 단말의 사용자 이미지를 수신하여 변환하는 단계(710)와 주변 단말 얼굴 이미지들을 수신하여 변환하는 단계(720)에 입력 받은 데이터를 비교할 수 있다.The
상기 비교하는 단계(730)는 경계선 검출부(221)에서 생성된 얼굴영역 경계선 이미지에서 눈, 코, 입, 얼굴선 등의 경계선에서 발생하는 특징점을 좌표로 변환할 수 있다. 상기 변환된 특징점 좌표를 이용하여 특징점 좌표를 연결한 특징 도형 생성을 생성할 수 있다. 또한, 상기 특징점 좌표 사이의 길이 정보를 특징 데이터로 검출할 수 있다. The comparing
상기 특징 도형 및 특징 데이터를 이용하여 통신 연결의 대상이 되는 단말(120)의 사용자 이미지와 주변 단말들(120~150)에서 보내온 얼굴 이미지들의 특징 데이터를 비교 할 수 있다.
The feature image and the feature data may be used to compare the user image of the terminal 120 and the feature data of the face images sent from the
통신 연결의 대상이 되는 단말을 결정하는 단계(740)는 비교하는 단계(730)에서 통신 연결의 대상이 되는 단말(120)의 사용자 이미지와 주변 단말들(120~150)에서 보내온 얼굴 이미지들의 특징 데이터를 비교한 매칭 값을 수신 받을 수 있다. 상기 매칭 값을 통해 통신 연결의 대상이 되는 단말(120)을 결정하는 동작을 실행할 수 있다. 상기 매칭 동작은 인식을 원하는 사용자의 휴대 단말(110)에서 획득한 이미지의 길이 정보에 의한 특징 데이터 D0(l1, l2, d, c)와 주변 단말들(120~150)에서 전송해온 얼굴 이미지들의 길이 정보에 의한 특징 데이터 D1(l1, l2, d, c) ~ Dn(l1, l2, d, c)의 매칭 값은 다음 수학식 2와 같이 계산할 수 있다. The
[수학식 2]&Quot; (2) "
예를 들어, 4개의 주변 단말들(120~150)이 있을 경우 수학식 2에 따라 4개의 매칭 값이 결정될 수 있다. 주변 단말들(120~150)은 각각의 매칭 값을 가질 수 있다.For example, if there are four
통신 연결의 대상이 되는 단말(120)을 선택하는 방법은 상기 매칭 값들에 대한 임계 값을 설정하고, 임계 값을 통과하는 매칭 값이 가리키는 단말을 선택하는 방법일 수 있다. 또한, 임계 값을 통과하는 매칭 값이 둘 이상일 경우, 매칭 점수를 정렬하여 가장 높은 점수를 얻는 1개의 특정 데이터가 가리키는 단말을 선택하는 방법일 수 있다.
The method of selecting the terminal 120 that is the object of the communication connection may be a method of setting a threshold value for the matching values and selecting a terminal indicated by the matching value passing the threshold value. Also, if the matching value passing through the threshold value is two or more, the matching point may be sorted to select the terminal indicated by one specific data for obtaining the highest score.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다. Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (1)
상기 전처리된 사용자 이미지와 상기 전처리된 얼굴 이미지들을 비교하고, 비교의 결과에 따라 상기 주변 단말들 중 상기 통신 연결의 대상이 되는 단말을 결정하는 검출 및 결정부
를 포함하는 얼굴의 특징 매칭을 이용한 단말 인식 장치.An image data processing unit receiving a user image of a terminal to be a communication connection, receiving facial images stored in peripheral terminals from peripheral terminals, and performing preprocessing of the user image and preprocessing of the facial images; And
A detection and determination unit for comparing the preprocessed user image with the preprocessed face images and determining a terminal to be a communication target among the peripheral terminals according to a result of the comparison,
The apparatus comprising: means for identifying a face;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120146290A KR20140077457A (en) | 2012-12-14 | 2012-12-14 | Apparatus and Method of Device Cognition Using Matching of Face Feature |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120146290A KR20140077457A (en) | 2012-12-14 | 2012-12-14 | Apparatus and Method of Device Cognition Using Matching of Face Feature |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20140077457A true KR20140077457A (en) | 2014-06-24 |
Family
ID=51129392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120146290A KR20140077457A (en) | 2012-12-14 | 2012-12-14 | Apparatus and Method of Device Cognition Using Matching of Face Feature |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20140077457A (en) |
-
2012
- 2012-12-14 KR KR1020120146290A patent/KR20140077457A/en not_active Application Discontinuation
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2708981B1 (en) | Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium | |
EP2706434A2 (en) | Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium | |
EP3120298B1 (en) | Method and apparatus for establishing connection between electronic devices | |
KR101603017B1 (en) | Gesture recognition device and gesture recognition device control method | |
US9930269B2 (en) | Apparatus and method for processing image in device having camera | |
US10429936B2 (en) | Remote control method and system for virtual operating interface | |
US20140062866A1 (en) | Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium | |
JP2014071501A (en) | Image processor, image processing method and program | |
JP2009003576A (en) | Appliance control device and control method | |
US20150160837A1 (en) | Method and device for processing and displaying a plurality of images | |
CN106648042B (en) | Identification control method and device | |
JP2010239499A (en) | Communication terminal unit, communication control unit, method of controlling communication of communication terminal unit, and communication control program | |
US10713480B2 (en) | Information processing device and information processing method | |
JP2011089784A (en) | Device for estimating direction of object | |
JP4203279B2 (en) | Attention determination device | |
JP2002282210A (en) | Method and apparatus for detecting visual axis | |
JP2016099643A (en) | Image processing device, image processing method, and image processing program | |
JP2018205534A (en) | Display control device, display control method and program | |
KR20140077457A (en) | Apparatus and Method of Device Cognition Using Matching of Face Feature | |
JP3416666B2 (en) | Head posture measurement device and CG character control device | |
JP5876121B2 (en) | Image processing apparatus, method, and program | |
JP6742837B2 (en) | Image processing apparatus, image processing method and program | |
KR101909326B1 (en) | User interface control method and system using triangular mesh model according to the change in facial motion | |
WO2019196947A1 (en) | Electronic device determining method and system, computer system, and readable storage medium | |
JPWO2013145900A1 (en) | Information processing apparatus, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |