KR101824360B1 - Apparatus and method for anotating facial landmarks - Google Patents

Apparatus and method for anotating facial landmarks Download PDF

Info

Publication number
KR101824360B1
KR101824360B1 KR1020170048579A KR20170048579A KR101824360B1 KR 101824360 B1 KR101824360 B1 KR 101824360B1 KR 1020170048579 A KR1020170048579 A KR 1020170048579A KR 20170048579 A KR20170048579 A KR 20170048579A KR 101824360 B1 KR101824360 B1 KR 101824360B1
Authority
KR
South Korea
Prior art keywords
feature point
interface
face
region
feature
Prior art date
Application number
KR1020170048579A
Other languages
Korean (ko)
Inventor
도준형
장준수
Original Assignee
한국 한의학 연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국 한의학 연구원 filed Critical 한국 한의학 연구원
Priority to KR1020170048579A priority Critical patent/KR101824360B1/en
Application granted granted Critical
Publication of KR101824360B1 publication Critical patent/KR101824360B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G06K9/00281—
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06K2017/009—

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Provided is a device for generating position information of a feature point on a face, which generates position information of feature points from a face image. The device comprises: a detecting unit which detects a face area from a first image including the front side of the face of a person and a second image including lateral sides of the face; and a processing unit which displays at least one feature point based on the face area, and provides a first interface for selecting a first feature point among the displayed at least one feature point and a second interface for generating and editing information on the first feature point selected through the first interface. In addition, the first interface and the second interface can be provided by adaptively regulating the size thereof depending on the density of the feature points in an interest area of the face area.

Description

얼굴 특징점 위치정보 생성 장치 및 방법{APPARATUS AND METHOD FOR ANOTATING FACIAL LANDMARKS}[0001] APPARATUS AND METHOD FOR ANOTATING FACIAL LANDMARKS [0002]

안면 영상으로부터 특징점들의 위치정보를 생성하는 기술에 연관되며, 보다 상세하게는 안면 영상에 표시된 얼굴을 모양, 길이, 면적, 각도 등에 따라 분석하여 특징점을 추출하고, 추출된 특징점을 기준으로 주변 텍스처 정보를 생성 및 저장하는 장치 및 방법에 연관된다.The present invention relates to a technique for generating position information of feature points from a facial image. More specifically, the feature points are extracted by analyzing a face displayed on a facial image according to shape, length, area, angle, Lt; RTI ID = 0.0 > and / or < / RTI >

최근, 얼굴 인식 기술은 공공감시, 출입통제와 같은 보안 목적 외에도 엔터테인먼트, 모바일 서비스, 건강 진단 등 다양한 분야에서 활용되고 있다. 일반적인 얼굴 인식 과정에서는, 입력 영상으로부터 얼굴을 검출하고, 검출된 얼굴에서 특징정보를 추출하여 기 등록된 얼굴 특징과 비교하여 대응하는 얼굴을 인식하게 된다. 이를 위해, 데이터베이스에 얼굴 특징을 저장해두는 작업이 필요하며, 데이터베이스에 저장된 얼굴 특징은 얼굴 인식 정확도에 크게 영향을 미칠 수밖에 없다.Recently, face recognition technology has been used in various fields such as entertainment, mobile service, and medical diagnosis in addition to security purposes such as public surveillance and access control. In a general face recognition process, a face is detected from an input image, feature information is extracted from the detected face, and a corresponding face is recognized by comparing with a previously registered face feature. To do this, it is necessary to store the facial features in the database, and facial features stored in the database have a great influence on the accuracy of facial recognition.

얼굴 영상의 경우, 주변 조명, 카메라 각도, 표정, 스타일 등 다양한 변수에 의해 동일 인물이 다르게 보일 수 있다. 이러한 한계를 보완하기 위해, 기존의 경우 다양한 영상을 이용하여 데이터베이스화 작업을 수행하였으나, 이는 데이터베이스화 작업을 위해 많은 영상을 촬영하여야 한다는 점에서 효율이 떨어진다.In case of face image, the same person can be seen differently by various variables such as ambient light, camera angle, facial expression, and style. In order to compensate for these limitations, in the past, various databases have been used for database conversion. However, this method is inefficient in that a large number of images must be captured for database conversion.

일측에 따르면, 안면 영상으로부터 특징점들의 위치정보를 생성하는 얼굴 특징점 위치정보 생성 장치가 제공된다. 상기 장치는: 대상자의 안면 정면을 포함하는 제1 영상 및 상기 대상자의 안면 측면을 포함하는 제2 영상으로부터 얼굴영역을 검출하는 검출부, 및 상기 얼굴영역을 기준으로 적어도 하나의 특징점을 표시하고, 상기 표시된 적어도 하나의 특징점 중 제1 특징점 선택을 위한 제1 인터페이스 및 상기 제1 인터페이스를 통해 선택된 제1 특징점의 정보 생성 및 편집을 위한 제2 인터페이스를 제공하는 처리부를 포함하며, 상기 제1 인터페이스 및 상기 제2 인터페이스는 상기 얼굴영역 중 관심영역에서의 특징점 밀도에 따라 적응적으로 크기를 조절하여 제공될 수 있다.According to one aspect of the present invention, there is provided a facial feature point position information generating apparatus for generating position information of feature points from a facial image. The apparatus includes: a detection unit that detects a face region from a first image including a face front of a subject and a second image including a face side of the subject; and a display unit that displays at least one feature point based on the face region, A processing unit for providing a first interface for selecting a first feature point among at least one feature point displayed and a second interface for generating and editing information of a first feature point selected through the first interface, The second interface may be provided by adjusting the size of the face region adaptively according to the density of the feature points in the ROI.

일실시예에 따르면, 상기 처리부는: 자동 검출 알고리즘, 키보드에 의해 입력된 특징점 번호, 마우스에 의해 입력된 특징점 리스트 선택 및 기존 특징점 정보 불러오기 중 적어도 하나의 방식으로 생성된 적어도 하나의 특징점을 상기 얼굴영역에 표시할 수 있다.According to one embodiment, the processing unit may include at least one feature point generated by at least one of an automatic detection algorithm, a feature point number input by a keyboard, a feature point list input by a mouse, and an existing feature point information call, Can be displayed on the face area.

일실시예에 따르면, 상기 제1 인터페이스 및 상기 제2 인터페이스는 상기 관심영역 중 선택된 적어도 일부 영역을 모두 표시할 수 있도록 크기가 확대 또는 축소될 수 있다.According to one embodiment, the first interface and the second interface may be scaled up or down to display all selected at least some of the regions of interest.

또한, 상기 제1 인터페이스 및 상기 제2 인터페이스는 제1 인터페이스 및 상기 제2 인터페이스는, 상기 관심영역 내에 위치한 적어도 두 개의 특징점 사이의 간격이 미리 지정된 최소 간격을 유지하도록 크기가 확대 또는 축소될 수 있다.In addition, the first interface and the second interface may be enlarged or reduced in size so that the first interface and the second interface maintain a predetermined minimum gap between the at least two feature points located within the region of interest .

일실시예에 따르면, 상기 처리부는: 상기 제1 특징점으로부터 미리 지정된 반경 범위를 추가 표시하고, 상기 미리 지정된 반경 범위 내에 마우스 입력이 있으면 상기 제1 특징점을 수정 대상 특징점으로 구분하여 표시할 수 있다.According to one embodiment, the processing unit may further display a predetermined radius range from the first feature point, and if there is a mouse input within the predetermined radius range, the first feature point may be divided into correction target feature points and displayed.

이 때, 상기 처리부는: 상기 마우스의 커서 위치를 기준으로 상기 관심영역 내에 위치한 적어도 하나의 특징점의 밀도를 계산하고, 상기 계산된 밀도에 기초하여 상기 제1 특징점의 미리 지정된 반경 범위에 대한 크기를 적응적으로 조절하여 표시한다.The processing unit may be configured to: calculate a density of at least one feature point located in the region of interest based on the cursor position of the mouse, and calculate a size for a predetermined radius range of the first feature point based on the calculated density Adaptively adjust and display.

또한, 상기 처리부는: 상기 제1 특징점의 미리 지정된 반경 범위가 다른 특징점의 반경 범위와 중첩되는 경우, 특징점 선택 여부, 특징점의 정보 수정 여부 및 마우스 입력 위치로부터의 거리 중 적어도 하나를 포함하는 미리 설정된 우선순위에 기초하여 상기 제1 특징점을 선택한다.When the predetermined radius range of the first feature point is overlapped with the radius range of the other feature points, the processing unit may be configured to determine whether the feature point is selected, whether the feature point information is corrected, And selects the first feature point based on the priority.

일실시예에 따르면, 상기 처리부는: 상기 제1 인터페이스를 통해 선택된 상기 제1 특징점의 위치를, 키보드 단축키 및 마우스 입력 중 적어도 하나를 이용하여 상기 제1 특징점의 위치 특성에 따른 예상 지점으로 이동시키도록 상기 제2 인터페이스를 제공할 수 있다.According to an embodiment, the processing unit may be configured to: move a position of the first feature point selected through the first interface to an expected position according to a positional characteristic of the first feature point using at least one of a keyboard shortcut key and a mouse input The second interface may be provided.

일실시예에 따르면, 상기 처리부는: 상기 제1 특징점의 식별번호, 명칭, 좌표, 생성 방식 및 초기위치 수정 여부 중 적어도 하나를 저장하고, 상기 제1 특징점의 좌표 변경이 있는 경우 색상을 다르게 표시할 수 있다.According to an embodiment, the processing unit may store at least one of identification number, name, coordinates, generation method, and initial position modification of the first feature point, and when there is a coordinate change of the first feature point, can do.

일실시예에 따르면, 상기 처리부는: 상기 얼굴 영역에서 동일 부위에 포함되는 복수 개의 특징점의 연결선을 함께 표시하고, 특징점이 누락된 부위에 대해서는 상기 연결선을 표시하지 않을 수 있다.According to one embodiment, the processing unit may display connection lines of a plurality of feature points included in the same region in the face region, and may not display the connection line in a region where the feature points are missing.

다른 일측에 따르면, 안면 영상으로부터 특징점들의 위치정보를 생성하는 얼굴 특징점 위치정보 생성 방법이 제공된다. 상기 방법은: 대상자의 안면 정면을 포함하는 제1 영상 및 상기 대상자의 안면 측면을 포함하는 제2 영상으로부터 얼굴영역을 검출하는 단계와, 상기 얼굴영역을 기준으로 적어도 하나의 특징점을 표시하는 단계와, 상기 표시된 적어도 하나의 특징점 중 제1 특징점 선택을 위한 제1 인터페이스를 제공하는 단계, 및 상기 제1 인터페이스를 통해 선택된 제1 특징점의 정보 생성 및 편집을 위한 제2 인터페이스를 제공하는 단계를 포함하며, 상기 제1 인터페이스 및 상기 제2 인터페이스는, 상기 얼굴영역 중 관심영역에서의 특징점 밀도에 따라 적응적으로 크기를 조절하여 제공될 수 있다.According to another aspect, there is provided a method of generating facial feature point position information that generates position information of feature points from a facial image. The method includes the steps of: detecting a face region from a first image including a face front of a subject and a second image including a face side of the subject; displaying at least one feature point based on the face region; Providing a first interface for selecting a first one of the at least one minutiae displayed; and providing a second interface for generating and editing information of the first minutiae selected through the first interface, The first interface and the second interface may be provided by adaptively resizing the face region according to the density of the minutiae in the ROI.

일실시예에 따르면, 상기 적어도 하나의 특징점을 표시하는 단계는: 자동 검출 알고리즘, 키보드에 의해 입력된 특징점 번호, 마우스에 의해 입력된 특징점 리스트 선택 및 기존 특징점 정보 불러오기 중 적어도 하나의 방식으로 생성된 적어도 하나의 특징점을 상기 얼굴영역에 표시할 수 있다.According to one embodiment, the step of displaying the at least one feature point may include: generating at least one of an automatic detection algorithm, a feature point number input by a keyboard, a feature point list input by a mouse, and an existing feature point information call At least one feature point on the face region can be displayed on the face region.

또한, 상기 적어도 하나의 특징점을 표시하는 단계는: 상기 얼굴 영역에서 동일 부위에 포함되는 복수 개의 특징점의 연결선을 함께 표시하고, 특징점이 누락된 부위에 대해서는 상기 연결선을 표시하지 않는다.In addition, the step of displaying the at least one feature point may include displaying connection lines of a plurality of feature points included in the same region in the face region, and not displaying the connection line in a region where the feature point is missing.

일실시예에 따르면, 상기 제1 인터페이스를 제공하는 단계는: 상기 제1 특징점으로부터 미리 지정된 반경 범위를 추가 표시하고, 상기 미리 지정된 반경 범위 내에 마우스 입력이 있으면 상기 제1 특징점을 수정 대상 특징점으로 구분하여 표시할 수 있다.According to an embodiment, the step of providing the first interface may further include: displaying a predetermined radius range from the first feature point, and if there is a mouse input within the predetermined radius range, dividing the first feature point into correction target feature points Can be displayed.

여기서, 상기 제1 인터페이스를 제공하는 단계는: 상기 마우스의 커서 위치를 기준으로 상기 관심영역 내에 위치한 적어도 하나의 특징점의 밀도를 계산하고, 상기 계산된 밀도에 기초하여 상기 제1 특징점의 미리 지정된 반경 범위에 대한 크기를 적응적으로 조절하여 표시할 수 있다.Wherein providing the first interface comprises: calculating a density of at least one feature point located within the region of interest based on a cursor position of the mouse, and determining a predetermined radius of the first feature point based on the calculated density The size of the range can be adaptively adjusted and displayed.

또한, 상기 제1 인터페이스를 제공하는 단계는: 상기 제1 특징점의 미리 지정된 반경 범위가 다른 특징점의 반경 범위와 중첩되는 경우, 특징점 선택 여부, 특징점의 정보 수정 여부 및 마우스 입력 위치로부터의 거리 중 적어도 하나를 포함하는 미리 설정된 우선순위에 기초하여 상기 제1 특징점을 선택할 수 있다.If the predetermined radius range of the first feature point is overlapped with the radius range of the other feature points, the step of providing the first interface may include selecting at least one of feature points, whether to modify information of the feature points, It is possible to select the first feature point based on a predetermined priority including one.

일실시예에 따르면, 상기 제2 인터페이스를 제공하는 단계는: 상기 제1 인터페이스를 통해 선택된 상기 제1 특징점의 위치를, 키보드 단축키 및 마우스 입력 중 적어도 하나를 이용하여 상기 제1 특징점의 위치 특성에 따른 예상 지점으로 이동시키도록 상기 제2 인터페이스를 제공할 수 있다.According to one embodiment, the step of providing the second interface may include: determining a position of the first feature point selected through the first interface by using at least one of a keyboard shortcut and a mouse input, To the expected point along the second interface.

일실시예에 따르면, 상기 제2 인터페이스를 제공하는 단계는: 상기 제1 특징점의 식별번호, 명칭, 좌표, 생성 방식 및 초기위치 수정 여부 중 적어도 하나를 저장하고, 상기 제1 특징점의 좌표 변경이 있는 경우 색상을 다르게 표시할 수 있다.According to one embodiment, the step of providing the second interface may include storing at least one of identification number, name, coordinates, generation method and initial position modification of the first feature point, and the coordinate change of the first feature point If present, the colors can be displayed differently.

도 1은 일실시예에 따라 안면 영상으로부터 얼굴 특징점 정보를 분석 및 저장하기 위한 프로그램을 설명하는 도면이다.
도 2는 일실시예에 따른 얼굴 특징점 위치정보 생성 장치를 도시하는 블록도이다.
도 3a 및 도 3b는 일실시예에 따라 안면 영상으로부터 검출된 얼굴영역을 표시하는 기능을 설명하는 도면이다.
도 4는 일실시예에 따라 얼굴영역에 특징점을 표시하는 기능을 설명하는 도면이다.
도 5a, 도 5b, 도 5c 및 도 5d는 일실시예에 따라 수정하고자 하는 얼굴 특징점 선택을 위한 제1 인터페이스의 제공 방식을 설명하는 도면이다.
도 6은 일실시예에 따라 생성된 얼굴 특징점 정보의 저장 방식을 설명하는 도면이다.
도 7은 일실시예에 따라 얼굴 특징점 정보 생성 과정에서 가이드라인을 제공하는 기능을 설명하는 도면이다.
도 8은 일실시예에 따른 얼굴 특징점 위치정보 생성 방법을 도시하는 흐름도이다.1 is a diagram for explaining a program for analyzing and storing facial feature point information from a facial image according to an embodiment.
2 is a block diagram illustrating an apparatus for generating facial feature point location information according to an embodiment.
3A and 3B are views for explaining a function of displaying a face region detected from a face image according to an embodiment.
4 is a view for explaining a function of displaying a minutiae in a face area according to an embodiment.
5A, 5B, 5C, and 5D are views for explaining a method of providing a first interface for selecting facial feature points to be modified according to an embodiment.
FIG. 6 is a view for explaining a method of storing facial feature point information generated according to an embodiment.
7 is a view for explaining a function of providing a guide line in the process of generating facial feature point information according to an embodiment.
8 is a flowchart illustrating a method of generating facial feature point location information according to an embodiment.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.It is to be understood that the specific structural or functional descriptions of embodiments of the present invention disclosed herein are presented for the purpose of describing embodiments only in accordance with the concepts of the present invention, May be embodied in various forms and are not limited to the embodiments described herein.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Embodiments in accordance with the concepts of the present invention are capable of various modifications and may take various forms, so that the embodiments are illustrated in the drawings and described in detail herein. However, it is not intended to limit the embodiments according to the concepts of the present invention to the specific disclosure forms, but includes changes, equivalents, or alternatives falling within the spirit and scope of the present invention.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.The terms first, second, or the like may be used to describe various elements, but the elements should not be limited by the terms. The terms may be named for the purpose of distinguishing one element from another, for example without departing from the scope of the right according to the concept of the present invention, the first element being referred to as the second element, Similarly, the second component may also be referred to as the first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Expressions that describe the relationship between components, for example, "between" and "immediately" or "directly adjacent to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ", or" having ", and the like, are used to specify one or more of the features, numbers, steps, operations, elements, But do not preclude the presence or addition of steps, operations, elements, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning of the context in the relevant art and, unless explicitly defined herein, are to be interpreted as ideal or overly formal Do not.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, the scope of the patent application is not limited or limited by these embodiments. Like reference symbols in the drawings denote like elements.

도 1은 일실시예에 따라 안면 영상으로부터 얼굴 특징점 정보를 분석 및 저장하기 위한 프로그램을 설명하는 도면이다.1 is a diagram for explaining a program for analyzing and storing facial feature point information from a facial image according to an embodiment.

도 1에 도시된 프로그램은 대상자의 안면 영상으로부터 얼굴 특징점을 추출하고, 추출된 복수 개의 얼굴 특징점에 대한 위치 정보와 이에 대응하는 텍스처 정보를 생성, 편집, 분석 및 저장하는 기능을 제공한다. 상기 프로그램을 실행하면 기본 창(100)이 생성되어 화면에 표시되고, 상기 기본 창(100)의 상단에 배치된 메뉴 리스트(110)를 통해 로딩할 안면 영상 선택부터 얼굴 특징점 표시, 저장 방식 등의 옵션이 설정 가능하다. 상기 대상자의 안면 정면영상 및 측면영상은 확장자명 앞의 특정 문구를 제외하고 동일한 파일명을 포함하여 동일한 폴더 내에 저장되어 있으며, 이 경우 한 번의 불러오기 설정 만으로도 정면영상 및 측면영상을 동시에 로딩할 수 있다. 다만, 사용자의 설정 변경에 따라 상기 메뉴 리스트(110)의 설정 버튼을 통해 로딩하고자 하는 영상을 개별적으로 불러올 수도 있다. 또한, '이전 사진' 버튼이나 '다음 사진' 버튼을 이용하여 현재 설정된 폴더 내의 이전 또는 다음 사진을 불러올 수도 있다.The program shown in FIG. 1 extracts facial feature points from a facial image of a subject, and provides a function of generating, editing, analyzing, and storing position information on the extracted facial feature points and corresponding texture information. When the program is executed, a basic window 100 is created and displayed on the screen. The selection of the facial image to be loaded through the menu list 110 arranged at the top of the basic window 100, Options are configurable. The facial image and the side image of the subject are stored in the same folder including the same file name except the specific phrase before the extension name. In this case, the front image and the side image can be simultaneously loaded with only one retrieval setting . However, according to the setting change of the user, images to be loaded can be individually called through the setting button of the menu list 110. [ Also, the previous or next picture in the currently set folder can be called up using the 'previous picture' button or the 'next picture' button.

상기 메뉴 리스트(110)의 파일 불러오기를 통해 선택된 폴더로부터 상기 정면영상 및 상기 측면영상이 로딩되면, 상기 메뉴 리스트(110) 좌측과 같이 상기 선택된 영상들이 미리보기 창으로 표시된다. 상기 미리보기 창에서는 상기 안면 정면영상 및 측면영상 중 특정 영역을 선택할 수 있는 선택 프레임(111)이 제공되는데, 상기 선택 프레임(111)은 상기 정면영상 및 상기 측면영상 각각으로부터 검출된 얼굴영역에 맞추어 자동 배치되거나, 사용자의 설정에 의해 상기 정면영상 및 상기 측면영상의 적어도 일부 영역 상에 배치되어 크기 조절될 수 있다. 상기 선택 프레임(111)에 의해 선택된 영역은 얼굴 특징점 정보 생성, 편집, 저장 등의 작업을 위해 프로그램 창 하단의 정면 확대 창(120) 및 측면 확대 창(130)에 확대 표시된다.When the front image and the side image are loaded from the folder selected through the file loading of the menu list 110, the selected images are displayed as a preview window as shown on the left side of the menu list 110. In the preview window, a selection frame 111 for selecting a specific area of the facial frontal image and the side image is provided. The selection frame 111 is arranged to match the face area detected from each of the frontal image and the side image, Or may be placed on at least some areas of the front image and the side image by the user's setting and resized. The area selected by the selection frame 111 is enlarged and displayed on the front enlargement window 120 and the side enlargement window 130 at the bottom of the program window for creating, editing, and storing facial feature point information.

이외에도, 상기 메뉴 리스트(110)는 현재 작업 상태 표시를 비롯하여, 확대 창 비율 설정, 특징점 추출/표시/저장 방식에 관한 설정, 기준선 표시여부 설정 및 작업 초기화 등의 기능을 추가 제공할 수도 있다.In addition, the menu list 110 may additionally provide functions such as enlargement ratio setting, setting of a feature point extraction / display / storage method, setting of a reference line display setting,

도 2는 일실시예에 따른 얼굴 특징점 위치정보 생성 장치(200)를 도시하는 블록도이다.2 is a block diagram illustrating an apparatus 200 for generating facial feature point location information according to an embodiment.

얼굴 특징점 위치정보 생성 장치(200)는 대상자의 안면 정면영상 및 측면영상으로부터 추출된 얼굴 특징점들의 위치정보를 생성 및 저장하는 수단으로, 얼굴 특징점 위치의 선택, 초기화, 수정 등을 용이하고 간편하게 수행할 수 있도록 편의성을 제공하여 얼굴 특징점 위치정보 생성 과정의 효율성을 향상시킨다. 상기 얼굴 특징점 위치정보 생성 장치(200)는 검출부(210) 및 처리부(220)를 포함할 수 있다.The facial feature point position information generation apparatus 200 is a means for generating and storing position information of facial feature points extracted from facial frontal images and side facial images of a subject and can easily and easily perform selection, initialization, and correction of facial feature point positions Thereby improving the efficiency of the process of generating the facial feature point location information. The facial feature point location information generating apparatus 200 may include a detecting unit 210 and a processing unit 220.

먼저, 검출부(210)는 대상자의 안면 정면을 포함하는 제1 영상 및 상기 대상자의 안면 측면을 포함하는 제2 영상으로부터 얼굴영역을 검출할 수 있다.First, the detection unit 210 may detect a face region from a first image including a face front side of a subject and a second image including a face side face of the subject.

처리부(220)는 상기 검출된 얼굴영역을 기준으로 적어도 하나의 특징점을 표시할 수 있다. 상기 처리부(220)는 자동 검출 알고리즘, 키보드에 의해 입력된 특징점 번호, 마우스에 의해 입력된 특징점 리스트 선택 및 기존 특징점 정보 불러오기 중 적어도 하나의 방식으로 생성된 적어도 하나의 특징점을 상기 얼굴영역에 표시한다. 상기 얼굴영역에 상기 적어도 하나의 특징점을 표시하는 과정에서, 상기 처리부(220)는 특징점 정보 생성 시 오류를 최소화하기 위해 상기 얼굴영역의 각 부위별 기준선을 함께 표시하거나 또는 상기 얼굴영역에서 동일 부위에 포함되는 특징점들의 연결선을 함께 표시할 수 있으며, 적어도 일부의 특징점이 누락된 부위에 대해서는 상기 연결선을 표시하지 않을 수도 있다.The processing unit 220 may display at least one feature point based on the detected face region. The processing unit 220 displays at least one feature point generated in at least one of the automatic detection algorithm, the feature point number input by the keyboard, the feature point list input by the mouse, and the existing feature point information retrieval in the face area do. In the process of displaying the at least one feature point in the face area, the processing unit 220 may display the reference lines of the respective parts of the face area together to minimize the error in generating the feature point information, The connecting lines of the included minutiae may be displayed together, and the connecting line may not be displayed for a portion where at least some minutiae are missing.

처리부(220)는 상기 표시된 적어도 하나의 특징점 중 위치를 이동하거나 정보를 수정하고자 하는 제1 특징점을 선택하기 위한 제1 인터페이스를 제공할 수 있다. 이 때, 상기 처리부(220)는 상기 제1 특징점으로부터 미리 지정된 반경 범위를 추가 표시하는 방식으로 상기 제1 인터페이스를 제공할 수 있으며, 상기 미리 지정된 반경 범위 내에 마우스 입력이 있으면 상기 제1 특징점을 수정 대상 특징점으로 구분하여 표시한다. 이를 테면, 상기 마우스 커서 위치를 기준으로 상기 관심영역 내에 위치한 적어도 하나의 특징점의 밀도를 계산하고, 상기 계산된 밀도에 기초하여 상기 제1 특징점의 미리 지정된 반경 범위에 대한 크기를 적응적으로 조절하여 표시할 수 있다. 다만, 상기 제1 특징점의 미리 지정된 반경 범위가 다른 특징점의 반경 범위와 중첩되는 경우에는, 특징점 선택 여부, 특징점의 정보 수정 여부 및 마우스 입력 위치로부터의 거리 중 적어도 하나를 포함하는 미리 설정된 우선순위에 기초하여 상기 제1 특징점이 선택될 수 있다.The processing unit 220 may provide a first interface for selecting a first feature point for moving the position or modifying information among the displayed at least one feature point. In this case, the processing unit 220 may provide the first interface in a manner of additionally displaying a predetermined radius range from the first feature point, and if there is a mouse input within the predetermined radius range, Target feature points are displayed separately. For example, the density of at least one feature point located within the region of interest may be calculated based on the mouse cursor position, and the size of the first feature point may be adaptively adjusted based on the calculated density Can be displayed. However, if the predetermined radius range of the first feature point overlaps with the radius range of other feature points, a predetermined priority including at least one of whether to select the feature point, whether to modify the information of the feature point, The first feature point may be selected based on the first feature point.

또한, 처리부(220)는 상기 제1 인터페이스를 통해 선택된 제1 특징점의 정보 생성 및 편집을 위한 제2 인터페이스를 제공할 수 있다. 상기 제1 특징점이 선택되면, 키보드 단축키 및 마우스 입력 중 적어도 하나를 이용하여 상기 제1 특징점에 대한 위치 이동 및 정보 수정이 가능하다. 상기 제1 특징점에 대한 위치 이동은 해당 특징점의 위치 특성을 기반으로 예상되는 구간 내에서 허용된다. 이를 테면, 키보드 단축키 및 마우스 입력 중 적어도 하나를 이용하여 상기 제1 특징점의 위치를 이동시키는 과정에서, 상기 처리부(220)는 상기 제1 특징점의 위치 특성에 따른 예상 지점으로 이동시키도록 상기 제2 인터페이스를 제공할 수 있다. 상기 얼굴 영역에서의 에지를 따라 상기 제1 특징점 위치를 이동시키는 방식이나, 또는 마우스의 현재 위치나 키보드로 이동하고자 하는 위치를 기준으로 상기 제1 특징점이 배치될 가능성이 높은 지점으로 상기 제1 특징점 위치를 자동적으로 이동시키는 방식으로 구현 가능하며, 어느 하나의 실시예에 제한되지 않고 다양한 방식으로 구현될 수 있다. 상기 제1 특징점의 위치 이동 및 정보 수정이 완료되면, 상기 처리부(220)는 상기 제1 특징점의 식별번호, 명칭, 좌표, 생성 방식 및 초기위치 수정 여부 중 적어도 하나의 항목을 저장하기 위한 상기 제2 인터페이스를 제공하며, 상기 제1 특징점의 좌표 변경이 있는 경우 색상을 다르게 표시하는 방식으로 상기 제2 인터페이스를 제공할 수 있다.In addition, the processing unit 220 may provide a second interface for generating and editing information of the first feature point selected through the first interface. If the first feature point is selected, positional shift and information correction can be performed on the first feature point using at least one of a keyboard shortcut key and a mouse input. The positional shift for the first feature point is allowed within the expected interval based on the positional property of the feature point. For example, in the process of moving the position of the first feature point using at least one of the keyboard shortcut key and the mouse input, the processing unit 220 may be configured to move the position of the second feature point Interface. The first feature point position is shifted along an edge in the face region or the first feature point position is shifted to a position where the first feature point is likely to be arranged based on a current position of the mouse or a position to be moved to the keyboard, The present invention can be implemented in a manner of automatically moving the position, and can be implemented in various ways without being limited to any one embodiment. When the positional shift of the first feature point and the information modification of the first feature point are completed, the processing unit 220 determines whether or not the first feature point, the name, the coordinate, the generation method, 2 interface. If there is a coordinate change of the first feature point, the second interface can be provided in a manner of displaying colors differently.

한편, 상기 제1 인터페이스 및 상기 제2 인터페이스는 상기 얼굴영역 내의 적어도 일부 영역에 대해 설정된 관심영역에서의 특징점 밀도에 따라 적응적으로 크기를 조절하여 제공될 수 있다. 이를 테면, 상기 관심영역 내에서 선택된 적어도 일부 영역을 모두 표시할 수 있도록 상기 제1 인터페이스 및 상기 제2 인터페이스의 크기가 확대 또는 축소될 수 있으며, 이는 어느 하나의 실시예에 의해 제한되지 않고 사용자의 설정에 따라 다양한 방식으로 구현 가능하다. 실시예에 따라서는, 상기 관심영역 내에 위치한 적어도 두 개의 특징점 사이의 간격이 미리 지정된 최소 간격을 유지하도록 크기가 확대 또는 축소되는 방식으로 상기 제1 인터페이스 및 상기 제2 인터페이스가 제공될 수도 있다.Meanwhile, the first interface and the second interface may be adaptively scaled according to the feature point density in a region of interest set for at least a part of the face region. For example, the sizes of the first interface and the second interface may be enlarged or reduced so that at least some selected regions within the region of interest may be displayed, which is not limited by any one embodiment, It can be implemented in various ways depending on the setting. In some embodiments, the first interface and the second interface may be provided in such a manner that the distance between at least two feature points located within the region of interest is scaled up or down to maintain a predetermined minimum spacing.

얼굴 특징점 위치정보 생성 장치(200)는 대상자의 안면 영상으로부터 추출된 주요 얼굴 특징점의 위치정보를 생성하여 데이터베이스화 하고, 추후 얼굴 모양, 길이, 면적, 각도 등의 특징 분석과 특징점을 중심으로 하는 주변 영역의 텍스처 정보 분석에 활용 가능하다. 또한, 상기 얼굴 특징점 위치정보 생성 장치(200)는 얼굴 특징점에 대한 데이터베이스 구축 과정에서 특징점 위치정보의 선택, 초기화, 수정 등이 용이하게 이루어질 수 있도록 인터페이스를 제공하며, 이로 인해 얼굴 특징점 위치정보 생성 과정의 편의성 및 효율성이 크게 향상된다.The facial feature point location information generating apparatus 200 generates location information of the main facial feature points extracted from the facial image of the subject and forms a database, and then analyzes the features such as face shape, length, area, and angle, It can be used to analyze texture information of a region. In addition, the facial feature point location information generating apparatus 200 provides an interface for facilitating selection, initialization, and correction of feature point location information in a database building process for facial feature points, The convenience and efficiency of the apparatus can be greatly improved.

도 3a 및 도 3b는 일실시예에 따라 안면 영상으로부터 검출된 얼굴영역을 표시하는 기능을 설명하는 도면이다.3A and 3B are views for explaining a function of displaying a face region detected from a face image according to an embodiment.

도 1과 같이 대상자의 안면 정면영상 및 측면영상을 로딩하면, 상기 로딩된 정면영상 및 측면영상이 한 화면에 표시된다. 미리보기 창에 배치되는 선택 프레임을 통해 선택된 특정 영역이 프로그램 창 하단의 정면 확대 창 및 측면 확대 창에 확대 표시되는 방식이다. 상기 선택 프레임은 상기 정면영상 및 상기 측면영상으로부터 얼굴영역을 검출하여 표시하는 데 이용되는데, 사용자 설정에 의해 얼굴영역 자동검출 여부가 결정된다. 만일, 프로그램의 메뉴 리스트의 설정 옵션에서 '얼굴 자동 검출'이 선택되어 있으면 상기 선택 프레임이 상기 정면영상 및 상기 측면영상으로부터 얼굴영역을 자동 검출하여, 상기 자동 검출된 얼굴영역이 자동적으로 확대 창에 확대 표시된다. 다만, '얼굴 자동 검출'이 선택되어 있지 않은 경우에는, 상기 선택 프레임이 상기 정면영상 및 상기 측면영상 각각의 중앙영역에 배치되며, 사용자 설정에 의해 크기 조정 및 이동될 수 있다.As shown in FIG. 1, when the face image and the side image of the subject are loaded, the loaded front image and side image are displayed on one screen. A specific area selected through the selection frame placed in the preview window is enlarged and displayed on the front enlargement window and the side enlargement window at the bottom of the program window. The selection frame is used to detect and display the face region from the front image and the side image, and it is determined whether or not the face region is automatically detected by user setting. If 'automatic face detection' is selected in the setting option of the menu list of the program, the selected frame automatically detects the face area from the front image and the side image, and the automatically detected face area is automatically Is enlarged and displayed. However, if 'automatic face detection' is not selected, the selected frame is arranged in the central area of each of the front image and the side image, and can be resized and moved by user setting.

상기 확대 창을 통해 표시되는 확대영역의 수정은 키보드 단축키를 이용하거나 마우스를 통해 가능하다. 키보드 단축키를 이용하는 경우에는, 상기 확대 창에서 확대/축소/이동 하고자 하는 영역의 중심부에 마우스를 가져간 상태에서 미리 설정된 키보드의 단축키(이를 테면, 'g'-> n배 확대, 'a'-> n배 축소, 'e'-> m 픽셀만큼 위로 이동, 'd'-> m 픽셀만큼 아래로 이동, 's'-> m 픽셀만큼 왼쪽으로 이동, 'f'-> m 픽셀만큼 오른쪽으로 이동 등)를 눌러 상기 확대영역을 확대/축소/이동시킬 수 있다. 마우스를 이용하는 경우에는, 상기 선택 프레임 부분을 마우스로 클릭하여 활성화시킨 상태에서 마우스를 이동시키거나 마우스로 직접 상기 선택 프레임 크기를 조절할 수 있다.The enlargement area displayed through the enlargement window can be corrected using a keyboard shortcut or a mouse. If the keyboard shortcut key is used, the keyboard shortcut key (for example, 'g' -> n times enlargement, 'a' -> n) is set in a state where the mouse is moved to the center of the area to be enlarged / reduced / n pixels down, 'e' -> m pixels up, 'd' -> m pixels down, 's' -> m pixels left, 'f' -> m pixels right Etc.) to enlarge / reduce / move the enlarged area. When the mouse is used, the selection frame portion can be moved by moving the mouse with the mouse being activated, or the size of the selected frame can be adjusted directly with a mouse.

상기 확대 창에서는 상기 확대 영역을 창 크기에 맞추어 표시한다. 다만 사용자 설명에 따라, 상기 확대 창을 통해 현재 표시되는 확대 영역의 중심부를 기준으로 사진의 원본 크기대로 표시하거나, 또는 원하는 비율로 크기를 조절하여 표시하는 것도 가능하다. 또한, 도 3a 및 도 3b와 같이 확대 영역에서 원하는 영역만 마스킹(masking)하여 표시할 수도 있다. 도 3a는 상기 확대 영역 중 양쪽 눈 부위만을 표시하는 것이고, 도 3b는 상기 확대 영역 중 코 부위만을 표시하는 것을 각각 나타내고 있다.In the enlarged window, the enlarged area is displayed in accordance with the window size. However, according to the description of the user, it is also possible to display the original size of the photograph on the basis of the center of the enlarged area currently displayed through the enlarged window, or adjust the size to a desired ratio. Also, as shown in FIGS. 3A and 3B, it is also possible to mask and display only a desired area in the enlarged area. Fig. 3A shows only the eye regions of the enlarged region, and Fig. 3B shows that only the nose region is displayed in the enlarged region.

도 4는 일실시예에 따라 얼굴영역에 특징점을 표시하는 기능을 설명하는 도면이다.4 is a view for explaining a function of displaying a minutiae in a face area according to an embodiment.

대상자의 안면 정면영상 및 측면영상에서 얼굴영역을 검출한 후, 상기 얼굴영역으로부터 얼굴 특징점들은 사용자 설정에 의해 다양한 방식으로 추출되어 표시될 수 있다. 자동 검출 알고리즘을 활용하는 경우, 상기 얼굴영역으로부터 대략적인 얼굴 특징점 위치가 추출되어 초기 위치정보로 생성 및 표시된다. 키보드를 이용하는 경우에는, 확대 창에서 생성하고자 하는 특징점 번호를 키보드로 직접 입력할 수 있으며, 키보드 입력에 해당하는 특징점이 상기 확대 창 화면의 중앙부분에 생성되어 표시된다.After the facial region is detected in the face image and the side image of the subject, the facial feature points from the face region can be extracted and displayed in various ways by user setting. When an automatic detection algorithm is used, the approximate face feature point position is extracted from the face region and generated and displayed as initial position information. In the case of using a keyboard, a feature point number to be generated in the enlarged window can be directly input on the keyboard, and a feature point corresponding to the keyboard input is generated and displayed in the center portion of the enlarged window screen.

마우스를 이용하는 경우에는, 프로그램의 메뉴 리스트를 통해 특징점 리스트를 불러와 선택할 수 있는데, 이는 도 4와 같이 설명될 수 있다. 상기 메뉴 리스트의 '정면 특징점 리스트' 또는 '측면 특징점 리스트' 버튼을 클릭하면 특징점 리스트(400)를 표시하는 별도 창이 생성되고 상기 특징점 리스트로부터 원하는 특징점에 대응하는 체크 박스를 선택하면 해당 특징점(410)이 상기 확대영역 상에 표시된다. 이외에도, 기존의 특징점 정보가 저장된 경우에는 이들 정보를 불러와 상기 확대영역 상에 해당 특징점 위치를 표시할 수도 있다.When a mouse is used, a list of minutia points can be selected and selected through the menu list of the program, which can be described as shown in Fig. A separate window for displaying the minutiae list 400 is created by clicking on the 'front facial feature point list' or the 'side facial feature point list' button of the menu list. When a check box corresponding to a desired minutia point is selected from the minutia point list, Is displayed on the enlarged area. In addition, when existing minutia information is stored, these minutia information may be called up to display the minutia position on the enlarged area.

도 5a, 도 5b, 도 5c 및 도 5d는 일실시예에 따라 수정하고자 하는 얼굴 특징점 선택을 위한 제1 인터페이스의 제공 방식을 설명하는 도면이다. 도 4와 같이 얼굴영역에서 추출된 특징점들 중 수정하고자 하는 얼굴 특징점을 선택하기 위해, 도 5a 내지 도 5d와 같이 제1 인터페이스가 제공된다.5A, 5B, 5C, and 5D are views for explaining a method of providing a first interface for selecting facial feature points to be modified according to an embodiment. As shown in FIG. 4, a first interface is provided as shown in FIGS. 5A to 5D in order to select a face feature point to be modified among the feature points extracted from the face region.

먼저, 도 5a를 보면, 마우스를 이용하여 상기 수정하고자 하는 얼굴 특징점을 선택할 수 있도록, 각 특징점(510, 520)마다 미리 지정된 반경 범위(511, 512)가 함께 표시된다. 이 때, 상기 미리 지정된 반경 범위(511, 521)는 상기 각 특징점(510, 520)을 기준으로 반경 k 픽셀만큼 지정될 수 있는데, 상기 반경 k 값은 사용자가 키보드 단축키나 메뉴 리스트 설정을 통해 임의로 변경 가능하다. 특징점(510)에 대해 미리 지정된 반경 범위(511)가 표시된 상태에서, 상기 미리 지정된 반경 범위(511) 내에 마우스 입력이 있으면 상기 특징점(510)이 수정 대상 특징점으로 선택되며, 상기 선택에 따라 다른 특징점들과 색상이나 모양이 다르게 구분되어 표시될 수 있다. 마우스를 이용하여 특징점을 선택하는 방식 외에도, 수정하고자 하는 특징점 번호를 키보드로 직접 입력하거나, 또는 메뉴 리스트의 '정면 특징점 리스트' 또는 '측면 특징점 리스트' 버튼을 클릭하여 생성되는 특징점 리스트를 통해 선택하는 방식도 가능하다.Referring to FIG. 5A, predetermined radius ranges 511 and 512 are displayed for each of the feature points 510 and 520 so that the facial feature points to be modified can be selected using the mouse. At this time, the predetermined radius range 511, 521 may be designated by a radius k pixels based on each of the minutiae points 510, 520, and the radius k value may be arbitrarily set by a user through a keyboard shortcut key or menu list setting you can change it. If a mouse is input in the predetermined radius range 511 in a state where a predetermined radius range 511 is displayed for the minutia point 510, the minutia point 510 is selected as a minutia point to be corrected, And color or shape may be displayed differently. In addition to a method of selecting a feature point using a mouse, a feature point number to be corrected is directly input through a keyboard or is selected through a feature point list generated by clicking a 'front feature point list' or a 'side feature point list' button in a menu list The method is also possible.

도 5b를 참조하면, 얼굴영역의 특징점을 기준으로 확대영역의 비율이 적응적으로 조정되어 표시될 수 있다. 자동 확대 모드가 설정된 경우, 얼굴 특징점 선택을 위해 마우스를 이동할 때 마우스 커서의 현재 위치를 기준으로 관심영역이 지정되어 자동으로 확대 표시된다. 이를 테면, 눈 부위(531)와 같이 특징점들의 밀도가 높은 영역에 마우스 커서가 위치하면, 상기 눈 부위(531)를 중심으로 관심영역이 자동 확대되어 표시되고, 눈썹 부위(530)과 같이 특징점들의 밀도가 낮은 영역에 마우스 포인터가 위치하면 상기 눈썹 부위(530)를 중심으로 관심영역이 자동 축소되어 표시된다. 또한, 관심영역의 크기 조절 시, 눈, 코 등의 특정 부위 영역을 모두 표시할 수 있도록 자동 확대 또는 축소를 하거나, 특징점들 사이의 거리가 최소 일정 간격을 유지할 수 있을 정도까지 확대 또는 축소할 수도 있다.Referring to FIG. 5B, the ratio of the enlarged area can be adaptively adjusted and displayed based on the minutiae of the face area. When the auto magnification mode is set, the area of interest is designated based on the current position of the mouse cursor when the mouse is moved for selecting the facial feature point, and is automatically enlarged. For example, if the mouse cursor is positioned in a region having a high density of feature points, such as the eye region 531, the region of interest is automatically enlarged and displayed around the eye region 531, When the mouse pointer is positioned in a region having a low density, the region of interest is automatically reduced and displayed around the eyebrow region 530. When adjusting the size of the region of interest, it is also possible to automatically zoom in or out to display all the specific region such as the eyes, nose, etc., or enlarge or reduce the distance between the minutiae points so as to maintain a minimum interval have.

자동 확대 모드가 해제되면, 도 5c와 같이 특징점을 중심으로 미리 지정되는 반경 범위의 크기 또한 얼굴영역의 각 부위별 특징점들의 밀도에 따라 적응적으로 조정되어 표시될 수 있다. 밀도가 비교적 낮은 눈썹 부위(541)의 경우, 각 특징점의 선택 반경이 비교적 크게 설정된다. 이에 반해, 밀도가 비교적 높은 눈 부위(542)에서는 각 특징점의 선택 반경이 상대적으로 작게 설정된다.When the automatic enlargement mode is released, the size of the radial range previously designated around the feature point as shown in FIG. 5C can also be adjusted and displayed adaptively according to the density of the feature points of each region of the face region. In the case of the eyebrow portion 541 having a relatively low density, the selection radius of each feature point is set relatively large. On the other hand, in the eye region 542 having a relatively high density, the selection radius of each feature point is set relatively small.

또한, 도 5d와 같이, 특징점들의 밀도가 높은 영역에서 둘 이상의 선택 반경(551, 552)이 서로 중첩되는 경우에는 미리 설정된 우선순위에 따라 어느 하나의 특징점 선택이 가능하다. 이를 테면, 중첩 영역 내에서 수정 되지 않은 점을 우선적으로 선택하고, 특징점 선택 여부나 마우스 입력 위치로부터의 거리 등이 추가적으로 고려될 수 있으며, 이러한 우선순위는 사용자의 설정에 따라 변경 가능하다.5D, when two or more selection radii 551 and 552 are overlapped with each other in an area having a high density of minutiae, any minutiae can be selected according to a preset priority. For example, the unmodified point may be preferentially selected in the overlapping area, and the minutiae point selection and the distance from the mouse input position may be additionally considered. The priority may be changed according to the user's setting.

상기 제1 인터페이스를 통해 선택된 특징점은 마우스나 키보드 단축키를 이용하여 위치를 이동시킬 수 있다. 마우스를 이용하는 경우에는 상기 선택된 특징점을 마우스로 클릭한 상태에서 원하는 위치로 이동시킨 후 마우스 버튼을 떼는 방식으로 특징점 위치 이동이 가능하고, 키보드 단축키를 이용하는 경우에는 상기 특징점이 선택된 상태에서 키보드 단축키 입력을 통해 상기 특징점의 위치를 미리 지정된 픽셀 값만큼 이동시킬 수 있다. 상기 픽셀 값은 사용자의 설정에 의해 미리 지정된다. 마우스 입력이나 키보드 단축키를 이용하여 상기 선택된 특징점의 위치를 이동시킬 때, 해당 특징점의 위치 특성을 기반으로 예상되는 구간 내에서 위치 이동이 허용된다. 이를 테면, 상기 얼굴 영역에서의 에지를 따라 상기 선택된 특징점의 위치를 이동시키거나, 또는 마우스의 현재 위치나 키보드로 이동하고자 하는 위치를 기준으로 상기 특징점이 배치될 가능성이 높은 지점으로 상기 특징점의 위치를 자동적으로 이동시키도록 제2 인터페이스를 제공할 수 있다. 다만, 상기 선택된 특징점의 위치 이동 방식은 어느 하나의 실시예에 제한되지 않고 다양한 방식으로 구현 가능하다.The feature points selected through the first interface can be moved using a mouse or a keyboard shortcut. When the mouse is used, the selected feature point is moved to a desired position with the mouse being clicked, and then the feature point can be moved by releasing the mouse button. If the keyboard shortcut key is used, the keyboard shortcut key input The position of the feature point can be shifted by a predetermined pixel value. The pixel value is specified in advance by the setting of the user. When the position of the selected minutiae point is moved by using a mouse input or a keyboard shortcut key, position movement is allowed within a section expected based on the positional characteristic of the minutiae point. For example, the position of the selected feature point may be moved along an edge of the face region, or the position of the feature point may be shifted to a position where the feature point is likely to be disposed, May be provided to automatically move the second interface. However, the position movement method of the selected minutiae is not limited to any one embodiment and can be implemented in various ways.

한편, 상기 선택된 특징점은 현재 작업 상태나 특성에 따라 다른 색상 또는 모양으로 구분하여 표시된다. 이를 테면, 자동으로 검출된 특징점은 적색으로 표시되고, 자동 검출된 특징점이 사용자에 의해 수정되면 녹색으로 표시되며, 위치 이동이나 수정을 위해 선택되는 특징점은 청색으로 표시될 수 있다.On the other hand, the selected minutiae are classified into different colors or shapes depending on the current working state or characteristics. For example, the automatically detected feature points may be displayed in red, the automatically detected feature points may be displayed in green when modified by the user, and the feature points selected for position movement or correction may be displayed in blue.

도 6은 일실시예에 따라 생성된 얼굴 특징점 정보의 저장 방식을 설명하는 도면이다.FIG. 6 is a view for explaining a method of storing facial feature point information generated according to an embodiment.

생성 및 수정 완료된 얼굴 특징점의 위치 정보는 도 6의 테이블(600)과 같이, 특징점의 식별번호, 명칭, x-y 좌표, 자동생성 여부, 수정 여부, 초기 좌표 정보 등의 항목 별로 저장될 수 있다. 특징점 자동 저장이 설정되어 있는 경우에는, 미리 지정된 시간간격으로 현재 작업상태에서의 특징점 정보를 자동 저장하거나, 또는 '다음 사진', '이전 사진' 버튼 등에 의해 다른 영상이 로딩될 때 상기 특징점 정보가 자동 저장된다. 특징점 자동 저장이 설정되어 있지 않은 경우에는, 프로그램 메뉴 리스트의 저장 버튼 입력을 통해 현재 특징점 위치정보를 저장할 수 있다.The location information of the generated and corrected face feature points may be stored for each item such as the identification number, name, x-y coordinates, whether or not the feature point is automatically generated, whether the feature point is modified, and initial coordinate information, as shown in the table 600 of FIG. When the feature point automatic saving is set, the feature point information in the current operation state is automatically stored at predetermined time intervals, or when another image is loaded by the 'next picture', 'previous picture' It is saved automatically. If automatic feature point saving is not set, the current feature point position information can be stored by inputting a save button in the program menu list.

도 7은 일실시예에 따라 얼굴 특징점 위치정보 생성 과정에서 가이드라인을 제공하는 기능을 설명하는 도면이다.7 is a view for explaining a function of providing a guide line in the process of generating facial feature point location information according to an exemplary embodiment.

얼굴 특징점 위치정보를 생성하여 저장하는 과정에서, 오류를 최소화하기 위해 얼굴영역의 각 부위별 기준선이나 윤곽선, 상기 얼굴영역에서 동일 부위에 포함되는 특징점들의 연결선을 함께 표시할 수 있다. 도 7에서 볼 수 있듯이, 이마 부위에 포함되는 4개의 특징점(95번, 96번, 195번, 196번)의 위치정보가 모두 생성 및 표시되면, 상기 이마 부위의 특징점들을 서로 연결하는 연결선이 제공된다. 다만, 적어도 일부의 특징점이 누락된 부위에 대해서는 상기 연결선이 표시되지 않을 수 있으며, 이 경우 누락된 특징점에 대한 경고 메시지가 추가 제공하여 특징점의 위치가 바뀌거나 누락되는 경우를 방지한다. 또한, 각 부위마다 기준이 되는 특징점이 생성되면, 기준 특징점을 중심으로 얼굴 영역의 수평, 수직 및 소정 기울기의 가이드라인을 표시하여 다른 특징점들을 용이하게 포인팅할 수 있도록 한다.In the process of generating and storing face feature point location information, a reference line or contour line for each part of the face area and connection lines of the feature points included in the same area in the face area may be displayed together to minimize errors. As shown in FIG. 7, when all the position information of the four feature points (No. 95, No. 96, No. 195, and No. 196) included in the forehead region is generated and displayed, a connecting line connecting the feature points of the forehead region is provided do. However, the connecting line may not be displayed for a portion where at least some of the minutiae are missing. In this case, a warning message for missing minutiae is additionally provided to prevent the minutiae point from being changed or missing. In addition, when a feature point is generated as a reference for each region, a horizontal, vertical, and slope guide lines of the face region are displayed centering on the reference feature point so that other feature points can be easily pointed.

도 8은 일실시예에 따른 얼굴 특징점 위치정보 생성 방법을 도시하는 흐름도이다.8 is a flowchart illustrating a method of generating facial feature point location information according to an embodiment.

얼굴 특징점 위치정보 생성 장치는 대상자의 안면 정면영상 및 측면영상으로부터 추출된 얼굴 특징점들의 위치정보를 생성 및 저장하는 수단으로, 얼굴 특징점 위치의 선택, 초기화, 수정 등을 용이하고 간편하게 수행할 수 있도록 편의성을 제공하여 얼굴 특징점 위치정보 생성 과정의 효율성을 향상시키는 방법을 제공한다.The facial feature point position information generating apparatus is a means for generating and storing position information of face facial feature points extracted from facial frontal images and side facial images of the subject and is a means for easily selecting and initializing facial feature point positions, To provide a method for improving the efficiency of the process of generating facial feature point location information.

단계 810에서는, 얼굴 특징점 위치정보 생성 장치의 검출부가 대상자의 안면 정면을 포함하는 제1 영상 및 상기 대상자의 안면 측면을 포함하는 제2 영상으로부터 얼굴영역을 검출할 수 있다.In step 810, the detecting unit of the facial feature point position information generating apparatus may detect the face region from the first image including the face front side of the subject and the second image including the face side face of the subject.

단계 820에서는, 얼굴 특징점 위치정보 생성 장치의 처리부가 단계 810에서 검출된 얼굴영역을 기준으로 적어도 하나의 특징점을 표시할 수 있다. 단계 820에서, 상기 처리부는 자동 검출 알고리즘, 키보드에 의해 입력된 특징점 번호, 마우스에 의해 입력된 특징점 리스트 선택 및 기존 특징점 정보 불러오기 중 적어도 하나의 방식으로 생성된 적어도 하나의 특징점을 상기 얼굴영역에 표시한다. 또한, 특징점 정보 생성 시 오류를 최소화하도록 상기 처리부는 상기 얼굴영역의 각 부위별 기준선을 함께 표시하거나, 또는 상기 얼굴영역에서 동일 부위에 포함되는 특징점들의 연결선을 함께 표시할 수 있으며, 적어도 일부의 특징점이 누락된 부위에 대해서는 상기 연결선을 표시하지 않을 수도 있다.In operation 820, the processing unit of the facial feature point position information generating apparatus may display at least one feature point based on the face region detected in operation 810. In step 820, the processing unit searches the face region for at least one feature point generated by at least one of an automatic detection algorithm, a feature point number input by a keyboard, a feature point list input by a mouse, and an existing feature point information retrieval Display. Also, the processing unit may display the reference lines of the respective regions of the face region together or minimize the error when generating the feature point information, or may display the connecting lines of the feature points included in the same region together in the face region, The connection line may not be displayed for the missing part.

단계 830에서는, 상기 처리부가 상기 표시된 적어도 하나의 특징점 중 위치를 이동하거나 정보를 수정하고자 하는 제1 특징점을 선택하기 위한 제1 인터페이스를 제공할 수 있다. 단계 830에서, 상기 처리부는 상기 제1 특징점으로부터 미리 지정된 반경 범위를 추가 표시하는 방식으로 상기 제1 인터페이스를 제공할 수 있으며, 상기 미리 지정된 반경 범위 내에 마우스 입력이 있으면 상기 제1 특징점을 수정 대상 특징점으로 구분하여 표시한다. 이를 테면, 상기 마우스 커서 위치를 기준으로 상기 관심영역 내에 위치한 적어도 하나의 특징점의 밀도를 계산하고, 상기 계산된 밀도에 기초하여 상기 제1 특징점의 미리 지정된 반경 범위에 대한 크기를 적응적으로 조절하여 표시할 수 있다. 다만, 상기 제1 특징점의 미리 지정된 반경 범위가 다른 특징점의 반경 범위와 중첩되는 경우에는, 특징점 선택 여부, 특징점의 정보 수정 여부 및 마우스 입력 위치로부터의 거리 중 적어도 하나를 포함하는 미리 설정된 우선순위에 기초하여 상기 제1 특징점이 선택될 수 있다.In operation 830, the processing unit may provide a first interface for selecting a first feature point for moving a position or modifying information among the displayed at least one feature point. In step 830, the processing unit may provide the first interface in a manner that additionally displays a predetermined range of radii from the first feature point, and if there is a mouse input within the predetermined radius range, . For example, the density of at least one feature point located within the region of interest may be calculated based on the mouse cursor position, and the size of the first feature point may be adaptively adjusted based on the calculated density Can be displayed. However, if the predetermined radius range of the first feature point overlaps with the radius range of other feature points, a predetermined priority including at least one of whether to select the feature point, whether to modify the information of the feature point, The first feature point may be selected based on the first feature point.

단계 840에서는, 상기 처리부가 상기 제1 인터페이스를 통해 선택된 제1 특징점의 정보 생성 및 편집을 위한 제2 인터페이스를 제공할 수 있다. 단계 830에서 제1 특징점이 선택되면, 키보드 단축키 및 마우스 입력 중 적어도 하나를 이용하여 상기 제1 특징점에 대한 위치 이동 및 정보 수정이 가능하다. 상기 제1 특징점에 대한 위치 이동은 해당 특징점의 위치 특성을 기반으로 예상되는 구간 내에서 허용된다. 이를 테면, 키보드 단축키 및 마우스 입력 중 적어도 하나를 이용하여 상기 제1 특징점의 위치를 이동시키는 과정에서, 상기 처리부는 상기 제1 특징점의 위치 특성에 따른 예상 지점으로 이동시키도록 상기 제2 인터페이스를 제공할 수 있다. 상기 얼굴 영역에서의 에지를 따라 상기 제1 특징점 위치를 이동시키는 방식이나, 또는 마우스의 현재 위치나 키보드로 이동하고자 하는 위치를 기준으로 상기 제1 특징점이 배치될 가능성이 높은 지점으로 상기 제1 특징점 위치를 자동적으로 이동시키는 방식으로 구현 가능하며, 어느 하나의 실시예에 제한되지 않고 다양한 방식으로 구현될 수 있다.In operation 840, the processing unit may provide a second interface for generating and editing information of the first feature point selected through the first interface. If the first feature point is selected in step 830, positional shift and information correction on the first feature point can be performed using at least one of a keyboard shortcut key and a mouse input. The positional shift for the first feature point is allowed within the expected interval based on the positional property of the feature point. For example, in the process of moving the position of the first feature point using at least one of a keyboard shortcut key and a mouse input, the processing unit provides the second interface to move to a predicted position according to the positional characteristic of the first feature point can do. The first feature point position is shifted along an edge in the face region or the first feature point position is shifted to a position where the first feature point is likely to be arranged based on a current position of the mouse or a position to be moved to the keyboard, The present invention can be implemented in a manner of automatically moving the position, and can be implemented in various ways without being limited to any one embodiment.

또한, 단계 830에서 상기 제1 특징점이 선택되면, 상기 처리부는 단계 840을 통해 상기 제1 특징점의 식별번호, 명칭, 좌표, 생성 방식 및 초기위치 수정 여부 중 적어도 하나의 항목을 저장하기 위한 상기 제2 인터페이스를 제공한다. 상기 제2 인터페이스는 상기 제1 특징점의 좌표 변경이 있는 경우 색상을 다르게 표시하는 방식으로 제공될 수 있다.If the first feature point is selected in step 830, the processing unit determines whether the first feature point is selected in step 840, 2 interface. The second interface may be provided in such a manner that a color is displayed differently when there is a coordinate change of the first feature point.

상기 제1 인터페이스 및 상기 제2 인터페이스는 상기 얼굴영역 내의 적어도 일부 영역에 대해 설정된 관심영역에서의 특징점 밀도에 따라 적응적으로 크기를 조절하여 제공될 수 있다. 이를 테면, 상기 관심영역 내에서 선택된 적어도 일부 영역을 모두 표시할 수 있도록 상기 제1 인터페이스 및 상기 제2 인터페이스의 크기가 확대 또는 축소될 수 있으며, 이는 어느 하나의 실시예에 의해 제한되지 않고 사용자의 설정에 따라 다양한 방식으로 구현 가능하다. 실시예에 따라서는, 상기 관심영역 내에 위치한 적어도 두 개의 특징점 사이의 간격이 미리 지정된 최소 간격을 유지하도록 크기가 확대 또는 축소되는 방식으로 상기 제1 인터페이스 및 상기 제2 인터페이스가 제공될 수도 있다.The first interface and the second interface may be adaptively scaled according to the feature point density in the region of interest set for at least a portion of the face region. For example, the sizes of the first interface and the second interface may be enlarged or reduced so that at least some selected regions within the region of interest may be displayed, which is not limited by any one embodiment, It can be implemented in various ways depending on the setting. In some embodiments, the first interface and the second interface may be provided in such a manner that the distance between at least two feature points located within the region of interest is scaled up or down to maintain a predetermined minimum spacing.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (18)

대상자의 안면 정면을 포함하는 제1 영상 및 상기 대상자의 안면 측면을 포함하는 제2 영상으로부터 얼굴영역을 검출하는 검출부; 및
상기 얼굴영역을 기준으로 적어도 하나의 특징점을 표시하고, 상기 표시된 적어도 하나의 특징점 중 제1 특징점 선택을 위한 제1 인터페이스 및 상기 제1 인터페이스를 통해 선택된 제1 특징점의 정보 생성 및 편집을 위한 제2 인터페이스를 제공하는 처리부
를 포함하며,
상기 제1 인터페이스 및 상기 제2 인터페이스는, 상기 얼굴영역 중 관심영역에서의 특징점 밀도에 따라 적응적으로 크기를 조절하여 제공되고,
상기 처리부는,
상기 얼굴영역에서 동일 부위에 포함되는 복수 개의 특징점의 연결선을 함께 표시하고, 특징점이 누락된 부위에 대해서는 상기 연결선을 표시하지 않고, 누락된 특징점에 대한 경고 메시지를 제공하고,
상기 제1 특징점으로부터 미리 지정된 반경 범위를 추가 표시하고, 상기 미리 지정된 반경 범위 내에 마우스 입력이 있으면 상기 제1 특징점을 수정 대상 특징점으로 구분하여 표시하고,
상기 마우스의 커서 위치를 기준으로 상기 관심영역 내에 위치한 적어도 하나의 특징점의 밀도를 계산하고, 상기 계산된 밀도에 기초하여 상기 제1 특징점의 미리 지정된 반경 범위에 대한 크기를 적응적으로 조절하여 표시하고,
상기 제1 특징점의 식별번호, 명칭, 좌표, 생성 방식 및 초기위치 수정 여부 중 적어도 하나를 저장하고, 상기 제1 특징점의 좌표 변경이 있는 경우 색상을 다르게 표시하는, 얼굴 특징점 위치정보 생성 장치.A detecting unit for detecting a face region from a first image including a face front of the subject and a second image including a face side of the subject; And
A first interface for selecting at least one feature point among the displayed at least one feature point and a second interface for generating and editing information of a first feature point selected through the first interface, A processing unit providing an interface
/ RTI >
Wherein the first interface and the second interface are provided by adaptively resizing the face region according to the density of minutiae in a region of interest,
Wherein,
A connection line of a plurality of feature points included in the same region in the face region is displayed together, and a warning message is provided for a missing feature point without displaying the connection line for a missing feature point,
Wherein the display control unit further displays a predetermined radius range from the first feature point, displays the first feature point as a correction target feature point when there is a mouse input within the predetermined radius range,
Calculating a density of at least one feature point located within the region of interest based on a cursor position of the mouse and adaptively adjusting a size of the first feature point with respect to a predetermined radius range based on the calculated density, ,
Wherein at least one of the identification number, the name, the coordinates, the generation method, and the initial position correction of the first feature point is stored, and if there is a coordinate change of the first feature point, the color is displayed differently. 제1항에 있어서,
상기 처리부는,
자동 검출 알고리즘, 키보드에 의해 입력된 특징점 번호, 마우스에 의해 입력된 특징점 리스트 선택 및 기존 특징점 정보 불러오기 중 적어도 하나의 방식으로 생성된 적어도 하나의 특징점을 상기 얼굴영역에 표시하는 얼굴 특징점 위치정보 생성 장치.
The method according to claim 1,
Wherein,
Generating at least one feature point generated in at least one of the automatic detection algorithm, the feature point number input by the keyboard, the feature point list input by the mouse, and the existing feature point information retrieval in the face area, Device.
제1항에 있어서,
상기 제1 인터페이스 및 상기 제2 인터페이스는, 상기 관심영역 중 선택된 적어도 일부 영역을 모두 표시할 수 있도록 크기가 확대 또는 축소되는 얼굴 특징점 위치정보 생성 장치.
The method according to claim 1,
Wherein the first interface and the second interface are enlarged or reduced in size to display at least some selected regions of the ROI.
제1항에 있어서,
상기 처리부는,
상기 제1 인터페이스 및 상기 제2 인터페이스는, 상기 관심영역 내에 위치한 적어도 두 개의 특징점 사이의 간격이 미리 지정된 최소 간격을 유지하도록 크기가 확대 또는 축소되는 얼굴 특징점 위치정보 생성 장치.
The method according to claim 1,
Wherein,
Wherein the first interface and the second interface are enlarged or reduced in size so that an interval between at least two feature points located within the region of interest is maintained at a predetermined minimum interval.
삭제delete 삭제delete 제1항에 있어서,
상기 처리부는,
상기 제1 특징점의 미리 지정된 반경 범위가 다른 특징점의 반경 범위와 중첩되는 경우, 특징점 선택 여부, 특징점의 정보 수정 여부 및 마우스 입력 위치로부터의 거리 중 적어도 하나를 포함하는 미리 설정된 우선순위에 기초하여 상기 제1 특징점을 선택하는 얼굴 특징점 위치정보 생성 장치.The method according to claim 1,
Wherein,
Wherein when the predetermined radius range of the first feature point overlaps with the radius range of the other feature points, based on a predetermined priority including at least one of whether to select a feature point, whether to correct information of the feature point, And selecting the first feature point. 삭제delete 제1항에 있어서,
상기 처리부는,
상기 제1 인터페이스를 통해 선택된 상기 제1 특징점의 위치를, 키보드 단축키 및 마우스 입력 중 적어도 하나를 이용하여 상기 제1 특징점의 위치 특성에 따른 예상 지점으로 이동시키도록 상기 제2 인터페이스를 제공하는 얼굴 특징점 위치정보 생성 장치.
The method according to claim 1,
Wherein,
Wherein the second interface provides the second interface to move the position of the first feature point selected through the first interface to an expected position according to a positional characteristic of the first feature point using at least one of a keyboard shortcut key and a mouse input, Position information generating device.
삭제delete 대상자의 안면 정면을 포함하는 제1 영상 및 상기 대상자의 안면 측면을 포함하는 제2 영상으로부터 얼굴영역을 검출하는 단계;
상기 얼굴영역을 기준으로 적어도 하나의 특징점을 표시하는 단계;
상기 표시된 적어도 하나의 특징점 중 제1 특징점 선택을 위한 제1 인터페이스를 제공하는 단계; 및
상기 제1 인터페이스를 통해 선택된 제1 특징점의 정보 생성 및 편집을 위한 제2 인터페이스를 제공하는 단계
를 포함하며,
상기 제1 인터페이스 및 상기 제2 인터페이스는, 상기 얼굴영역 중 관심영역에서의 특징점 밀도에 따라 적응적으로 크기를 조절하여 제공되고,
상기 적어도 하나의 특징점을 표시하는 단계는,
상기 얼굴영역에서 동일 부위에 포함되는 복수 개의 특징점의 연결선을 함께 표시하고, 특징점이 누락된 부위에 대해서는 상기 연결선을 표시하지 않고, 누락된 특징점에 대한 경고 메시지를 제공하고,
상기 제1 인터페이스를 제공하는 단계는,
상기 제1 특징점으로부터 미리 지정된 반경 범위를 추가 표시하고, 상기 미리 지정된 반경 범위 내에 마우스 입력이 있으면 상기 제1 특징점을 수정 대상 특징점으로 구분하여 표시하고,
상기 마우스의 커서 위치를 기준으로 상기 관심영역 내에 위치한 적어도 하나의 특징점의 밀도를 계산하고, 상기 계산된 밀도에 기초하여 상기 제1 특징점의 미리 지정된 반경 범위에 대한 크기를 적응적으로 조절하여 표시하고,
상기 제2 인터페이스를 제공하는 단계는,
상기 제1 특징점의 식별번호, 명칭, 좌표, 생성 방식 및 초기위치 수정 여부 중 적어도 하나를 저장하고, 상기 제1 특징점의 좌표 변경이 있는 경우 색상을 다르게 표시하는, 얼굴 특징점 위치정보 생성 방법.Detecting a face region from a first image including a face front of the subject and a second image including a face side of the subject;
Displaying at least one feature point based on the face region;
Providing a first interface for selecting a first feature point among the displayed at least one feature points; And
Providing a second interface for generating and editing information of a first feature point selected through the first interface
/ RTI >
Wherein the first interface and the second interface are provided by adaptively resizing the face region according to the density of minutiae in a region of interest,
Wherein the step of displaying the at least one feature point comprises:
A connection line of a plurality of feature points included in the same region in the face region is displayed together, and a warning message is provided for a missing feature point without displaying the connection line for a missing feature point,
Wherein providing the first interface comprises:
Wherein the display control unit further displays a predetermined radius range from the first feature point, displays the first feature point as a correction target feature point when there is a mouse input within the predetermined radius range,
Calculating a density of at least one feature point located in the region of interest based on a cursor position of the mouse and adaptively adjusting a size of the first feature point with respect to a predetermined radius range based on the calculated density, ,
Wherein providing the second interface comprises:
Wherein at least one of an identification number, a name, a coordinate, a generation method, and an initial position correction of the first feature point is stored, and a color is displayed differently when there is a coordinate change of the first feature point. 제11항에 있어서,
상기 적어도 하나의 특징점을 표시하는 단계는,
자동 검출 알고리즘, 키보드에 의해 입력된 특징점 번호, 마우스에 의해 입력된 특징점 리스트 선택 및 기존 특징점 정보 불러오기 중 적어도 하나의 방식으로 생성된 적어도 하나의 특징점을 상기 얼굴영역에 표시하는 얼굴 특징점 위치정보 생성 방법.
12. The method of claim 11,
Wherein the step of displaying the at least one feature point comprises:
Generating at least one feature point generated in at least one of the automatic detection algorithm, the feature point number input by the keyboard, the feature point list input by the mouse, and the existing feature point information retrieval in the face area, Way.
삭제delete 삭제delete 삭제delete 제11항에 있어서,
상기 제1 인터페이스를 제공하는 단계는,
상기 제1 특징점의 미리 지정된 반경 범위가 다른 특징점의 반경 범위와 중첩되는 경우, 특징점 선택 여부, 특징점의 정보 수정 여부 및 마우스 입력 위치로부터의 거리 중 적어도 하나를 포함하는 미리 설정된 우선순위에 기초하여 상기 제1 특징점을 선택하는 얼굴 특징점 위치정보 생성 방법.12. The method of claim 11,
Wherein providing the first interface comprises:
Wherein when the predetermined radius range of the first feature point overlaps with the radius range of the other feature points, based on a predetermined priority including at least one of whether to select a feature point, whether to correct information of the feature point, And a face feature point position information generating step of selecting a first feature point. 제11항에 있어서,
상기 제2 인터페이스를 제공하는 단계는,
상기 제1 인터페이스를 통해 선택된 상기 제1 특징점의 위치를, 키보드 단축키 및 마우스 입력 중 적어도 하나를 이용하여 상기 제1 특징점의 위치 특성에 따른 예상 지점으로 이동시키도록 상기 제2 인터페이스를 제공하는 얼굴 특징점 위치정보 생성 방법.
12. The method of claim 11,
Wherein providing the second interface comprises:
Wherein the second interface provides the second interface to move the position of the first feature point selected through the first interface to an expected position according to a positional characteristic of the first feature point using at least one of a keyboard shortcut key and a mouse input, Location information generation method.
삭제delete
KR1020170048579A 2017-04-14 2017-04-14 Apparatus and method for anotating facial landmarks KR101824360B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170048579A KR101824360B1 (en) 2017-04-14 2017-04-14 Apparatus and method for anotating facial landmarks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170048579A KR101824360B1 (en) 2017-04-14 2017-04-14 Apparatus and method for anotating facial landmarks

Publications (1)

Publication Number Publication Date
KR101824360B1 true KR101824360B1 (en) 2018-01-31

Family

ID=61082876

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170048579A KR101824360B1 (en) 2017-04-14 2017-04-14 Apparatus and method for anotating facial landmarks

Country Status (1)

Country Link
KR (1) KR101824360B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100986101B1 (en) * 2008-05-30 2010-10-08 이승철 Method and Apparatus for providing analysis of face
JP2014215911A (en) * 2013-04-26 2014-11-17 株式会社東芝 Interest area estimation device, method, and program
KR101701199B1 (en) * 2015-05-28 2017-02-01 주식회사 위즈인앱 System and method for virtual cosmetic surgery by using mesh warping

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100986101B1 (en) * 2008-05-30 2010-10-08 이승철 Method and Apparatus for providing analysis of face
JP2014215911A (en) * 2013-04-26 2014-11-17 株式会社東芝 Interest area estimation device, method, and program
KR101701199B1 (en) * 2015-05-28 2017-02-01 주식회사 위즈인앱 System and method for virtual cosmetic surgery by using mesh warping

Similar Documents

Publication Publication Date Title
US20220303454A1 (en) Method and apparatus for supporting image processing, and computer-readable recording medium for executing the method
KR101707723B1 (en) Area designating method and area designating device
US8884985B2 (en) Interface apparatus, method, and recording medium
KR100999056B1 (en) Method, terminal and computer-readable recording medium for trimming image contents
US20160063731A1 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
US9706108B2 (en) Information processing apparatus and associated methodology for determining imaging modes
JP5163008B2 (en) Image processing apparatus, image processing method, and image processing program
US8988380B2 (en) Display apparatus, display method, and display program
KR20140029222A (en) Gesture recognition device, control method thereof and display device and control recording medium of recording program
US20200236300A1 (en) Image processing system, image processing method, and program
US20160147795A1 (en) Methods of recognizing an object within an image by use of templates
JP2012022632A (en) Information processing apparatus and control method thereof
CN111539269A (en) Text region identification method and device, electronic equipment and storage medium
JP2012238293A (en) Input device
CN107797748B (en) Virtual keyboard input method and device and robot
US20130064424A1 (en) Image processing apparatus, image processing method, and recording medium
KR101824360B1 (en) Apparatus and method for anotating facial landmarks
JP5376403B2 (en) Video display device and program
US20180276458A1 (en) Information processing device, method and storage medium
US11012606B1 (en) Systems and methods for directly focusing on features in images and maps
JP6350331B2 (en) TRACKING DEVICE, TRACKING METHOD, AND TRACKING PROGRAM
JP6057407B2 (en) Touch position input device and touch position input method
CN113760139A (en) Information processing method and device, equipment and storage medium
WO2021003646A1 (en) Method for operating electronic device in order to browse through photos
US10475221B2 (en) Image processing device, image processing method and program for detected objects

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant