KR20110105458A - Aparatus for generating learning images for face recognition system and method thereof - Google Patents
Aparatus for generating learning images for face recognition system and method thereof Download PDFInfo
- Publication number
- KR20110105458A KR20110105458A KR1020100024588A KR20100024588A KR20110105458A KR 20110105458 A KR20110105458 A KR 20110105458A KR 1020100024588 A KR1020100024588 A KR 1020100024588A KR 20100024588 A KR20100024588 A KR 20100024588A KR 20110105458 A KR20110105458 A KR 20110105458A
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- generating
- images
- learning image
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
본 발명에 의한 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치 및 그 방법이 개시된다. 본 발명에 따른 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치는 이미지 센서를 이용하여 화면상에 설정된 다수의 기준점을 바라보는 사용자의 얼굴을 촬영한 다수의 기준 영상을 획득하는 기준영상 획득부; 획득한 다수의 기준 영상을 이용하여 3차원 입체 모델을 합성하는 입체모델 합성부; 합성한 상기 3차원 입체 모델을 통해 다수의 회전각에 따른 다수의 학습 영상을 생성하는 학습영상 생성부; 및 상기 다수의 기준 영상과 상기 다수의 학습 영상을 얼굴 인식 시스템의 학습에 적용하기 위한 하나의 학습 영상 그룹으로 구성하는 학습영상 구성부를 포함할 수 있다. 이를 통해, 본 발명은 학습 영상의 질을 향상시키고 인식률을 향상시킬 수 있을 뿐만 아니라 시스템에 대한 신뢰성을 향상시키고, 사용자의 불편함을 최소화할 수 있다.An apparatus and method for generating a learning image of a face recognition system according to the present invention are disclosed. An apparatus for generating a learning image of a face recognition system according to the present invention includes a reference image acquisition unit for obtaining a plurality of reference images of a face of a user looking at a plurality of reference points set on a screen using an image sensor; A stereoscopic model synthesizing unit for synthesizing a three-dimensional stereoscopic model using a plurality of acquired reference images; A learning image generator for generating a plurality of learning images according to a plurality of rotation angles through the synthesized three-dimensional stereoscopic model; And a learning image constructing unit configured to form one learning image group for applying the plurality of reference images and the plurality of learning images to learning of a face recognition system. Through this, the present invention can not only improve the quality of the learning image and improve the recognition rate, but also improve the reliability of the system and minimize the inconvenience of the user.
Description
본 발명은 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a learning image of a face recognition system.
국내의 경우, 정보통신 기술과 초고속 인터넷 등 정보통신 인프라의 고도화 및 확산으로 가상 교육 체제는 새로운 교육 환경의 대두로 부각되고 있으며, 그 중 가상 교육 체제의 주류는 e-learning(electronic learning)으로 대체 되고 있다.In Korea, the virtual education system is emerging as a new educational environment due to the advancement and proliferation of information and communication infrastructure such as information and communication technology and high speed internet, and the mainstream of the virtual education system is replaced by e-learning (electronic learning). It is becoming.
이러한 e-learning은 차세대 교육으로 각광받고 있으나, e-learning 시스템의 시장 확대를 가로막는 몇 가지 문제점들이 제기되고 있는 실정이다. 최근 이슈가 되고 있는 대리출석, 대리시험, 부정행위 등의 문제가 e-learning 시스템에 대한 큰 문제점으로 대두되고 있으며, 이러한 문제에 대하여 보안 조치를 강화할 수 있는 획기적인 방어 방법이 요구되고 있는 시점이다.Such e-learning is in the spotlight as the next generation education, but there are some problems that prevent the market expansion of e-learning system. Recently, issues such as proxy attendance, proxy test, and cheating have emerged as major problems for the e-learning system, and it is time for a breakthrough defense method to strengthen security measures against such problems.
아직까지 국내 시장에서는 e-learning 시스템에 대한 부정행위를 방지할 수 있는 보안 시스템의 개발이 미흡하나, 이러한 보안 시스템의 연구개발을 통해 e-learning 시스템 시장의 확대를 기대할 수 있다. 이러한 e-learning용 보안 시스템의 하나로 얼굴인식 시스템이 제안되어 활발히 연구 중에 있으나 e-learnign 시스템의 더욱 광범위한 상용화를 위해서는 인식률 향상이 필요하다.There is still insufficient development of security system that can prevent cheating on e-learning system in domestic market, but it can be expected to expand e-learning system market through research and development of such security system. As one of the security systems for e-learning, a face recognition system has been proposed and actively researched.
이때, 일반적인 얼굴인식 방법으로는 기하학적 특징 기반 방법, 템플릿 기반 방법, 및 모델 기반 방법이 있다.In this case, typical face recognition methods include a geometric feature based method, a template based method, and a model based method.
1)기하학적 특징 기반 방법은 눈, 코, 입 등의 얼굴특징의 위치, 크기, 얼굴특징 간의 거리와 같은 기하학적인 특징을 활용하여 인식하는 방법으로 연산속도가 빠르지만 다양한 변수가 존재하는 실제 상황에서는 인식률이 낮다.1) The geometric feature-based method recognizes geometric features such as the location, size, and distance between facial features such as eyes, nose, and mouth. Low recognition rate
2)템플릿 기반 방법은 가장 널리 사용되는 방법으로서, 얼굴 전체를 대표하는 특징 벡터를 활용하여 인식하는 방법이다. 상용 제품에 탑재되는 대표적인 방법으로는 PCA (Principal Component Analysis) 방법이 있다.2) The template-based method is the most widely used method and recognizes it by using feature vectors representing the whole face. Representative methods to be mounted on commercial products are PCA (Principal Component Analysis) method.
그리고 3)모델 기반 방법은 최근 활발히 연구되고 있는 분야로서, 얼굴 모델을 만들고 그 얼굴 모델의 매개 변수 값을 활용하여 인식하는 방법이다. 그 대표적인 방법으로는 HMM(Hidden Markov Model) 방법이 있다.3) Model-based method is a field that is being actively researched recently. It is a method of making a face model and recognizing it using parameter values of the face model. The representative method is HMM (Hidden Markov Model) method.
특히, 템플릿 기반 방법과 모델 기반 방법은 시스템의 학습(learning) 과정이 필요하다. 즉, 사전에 등록된 사용자의 얼굴 영상들(학습 영상)로부터, 인식할 때 판단 기준이 되는 값들을 추출해 놓아야 한다. 이러한 학습영상들이 실제 상황과 변수들을 적절히 대표하여야 실제 상황에서 높은 인식률을 기대할 수 있다.In particular, template-based and model-based methods require a learning process of the system. That is, from the face images (learning images) of the users registered in advance, values that are a criterion for recognition should be extracted. Such learning images should be properly represented in real situations and variables so that high recognition rates can be expected in real situations.
그런데 실제 상황에서 사용자가 얼굴을 등록할 때, 사용자에게 다양한 얼굴 영상을 제공하게끔 요구하는 것은 사용자로 하여금 불편함을 초래하게 한다.However, when a user registers a face in a real situation, asking the user to provide various face images causes inconvenience to the user.
본 발명의 목적은 상기와 같은 문제점을 해결하기 위하여 창안된 것으로서, 화면상에 설정된 다수의 기준점을 기반으로 촬영된 다수의 기준 영상을 이용하여 3차원 입체 모델을 합성하고 그 3차원 입체 모델을 통해 다수의 학습 영상을 생성하고자 하는 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치 및 그 방법을 제공하는데 있다.
An object of the present invention was devised to solve the above problems, and synthesizes a three-dimensional three-dimensional model using a plurality of reference images photographed based on a plurality of reference points set on the screen and through the three-dimensional three-dimensional model An apparatus and method for generating a learning image of a face recognition system for generating a plurality of learning images are provided.
이를 위하여, 본 발명의 한 관점에 따른 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치는 이미지 센서를 이용하여 화면상에 설정된 다수의 기준점을 바라보는 사용자의 얼굴을 촬영한 다수의 기준 영상을 획득하는 기준영상 획득부; 획득한 다수의 기준 영상을 이용하여 3차원 입체 모델을 합성하는 입체모델 합성부; 합성한 상기 3차원 입체 모델을 통해 다수의 회전각에 따른 다수의 학습 영상을 생성하는 학습영상 생성부; 및 상기 다수의 기준 영상과 상기 다수의 학습 영상을 얼굴 인식 시스템의 학습에 적용하기 위한 하나의 학습 영상 그룹으로 구성하는 학습영상 구성부를 포함할 수 있다.To this end, the apparatus for generating a training image of the face recognition system according to an aspect of the present invention is to acquire a plurality of reference images of the user's face looking at a plurality of reference points set on the screen using an image sensor Reference image acquisition unit; A stereoscopic model synthesizing unit for synthesizing a three-dimensional stereoscopic model using a plurality of acquired reference images; A learning image generator for generating a plurality of learning images according to a plurality of rotation angles through the synthesized three-dimensional stereoscopic model; And a learning image constructing unit configured to form one learning image group for applying the plurality of reference images and the plurality of learning images to learning of a face recognition system.
상기 기준점은 상기 화면을 바라보는 사용자의 얼굴을 여러 각도에서 촬영하기 위한 서로 다른 지점이고, 상기 기준 영상은 적어도 3개 이상인 것을 특징으로 한다.The reference point is a different point for photographing the user's face looking at the screen from various angles, and the reference image is at least three or more.
상기 다수의 회전각은 수평회전각 또는 yaw, 수직회전각 pitch, 그리고 기울임 회전각 또는 roll인 것을 특징으로 한다.The plurality of rotation angles are characterized in that the horizontal rotation angle or yaw, the vertical rotation angle pitch, and the tilt rotation angle or roll.
상기 학습영상 생성부는 상기 다수의 회전각 각각에 따라 일정 각도씩 변경된 상기 학습 영상을 생성하는 것을 특징으로 한다.The learning image generating unit may generate the learning image changed by a predetermined angle according to each of the plurality of rotation angles.
본 발명은 사용자마다 구성된 상기 학습 영상 그룹을 저장하는 데이터베이스를 더 포함할 수 있다.
The present invention may further include a database storing the learning image group configured for each user.
본 발명의 다른 한 관점에 따른 얼굴 인식 시스템의 학습 영상을 생성하기 위한 방법은 이미지 센서를 이용하여 화면상에 설정된 다수의 기준점을 바라보는 사용자의 얼굴을 촬영한 다수의 기준 영상을 획득하는 단계; 획득한 다수의 기준 영상을 이용하여 3차원 입체 모델을 합성하는 단계; 합성한 상기 3차원 입체 모델을 통해 다수의 회전각에 따른 다수의 학습 영상을 생성하는 단계; 및 획득된 상기 다수의 기준 영상과 생성된 상기 다수의 학습 영상을 얼굴 인식 시스템의 학습에 적용하기 위한 하나의 학습 영상 그룹으로 구성하는 단계를 포함할 수 있다.According to another aspect of the present invention, a method for generating a learning image of a face recognition system includes: obtaining a plurality of reference images photographing a face of a user looking at a plurality of reference points set on a screen using an image sensor; Synthesizing a three-dimensional stereoscopic model using the obtained plurality of reference images; Generating a plurality of training images according to a plurality of rotation angles through the synthesized three-dimensional stereoscopic model; And configuring the acquired plurality of reference images and the generated plurality of learning images into one learning image group for applying to learning of a face recognition system.
상기 기준점은 상기 화면을 바라보는 사용자의 얼굴을 여러 각도에서 촬영하기 위한 서로 다른 지점이고, 상기 기준 영상은 적어도 3개 이상인 것을 특징으로 한다.The reference point is a different point for photographing the user's face looking at the screen from various angles, and the reference image is at least three or more.
상기 다수의 회전각은 수평회전각 또는 yaw, 수직회전각 pitch, 그리고 기울임 회전각 또는 roll인 것을 특징으로 한다.The plurality of rotation angles are characterized in that the horizontal rotation angle or yaw, the vertical rotation angle pitch, and the tilt rotation angle or roll.
상기 학습 영상을 생성하는 단계는 상기 다수의 회전각 각각에 따라 일정 각도씩 변경된 상기 학습 영상을 생성하는 것을 특징으로 한다.The generating of the learning image may include generating the learning image changed by a predetermined angle according to each of the plurality of rotation angles.
본 발명은 사용자마다 구성된 상기 학습 영상 그룹을 데이터베이스에 저장하는 단계를 더 포함할 수 있다.
The present invention may further include storing the learning image group configured for each user in a database.
이처럼, 본 발명은 화면상에 설정된 다수의 기준점을 기반으로 촬영된 다수의 기준 영상을 이용하여 3차원 입체 모델을 합성하고 그 3차원 입체 모델을 통해 다수의 학습 영상을 생성함으로써, 학습 영상의 질을 향상시킬 수 있다.As such, the present invention synthesizes a three-dimensional stereoscopic model using a plurality of reference images photographed based on a plurality of reference points set on the screen, and generates a plurality of learning images through the three-dimensional stereoscopic model, thereby improving the quality of the training image. Can improve.
또한, 본 발명은 화면상에 설정된 다수의 기준점을 기반으로 촬영된 다수의 기준 영상을 이용하여 3차원 입체 모델을 합성하고 그 3차원 입체 모델을 통해 다수의 학습 영상을 생성함으로써, 인식률을 향상시킬 수 있다.In addition, the present invention synthesizes a three-dimensional stereoscopic model using a plurality of reference images photographed on the basis of a plurality of reference points set on the screen to generate a plurality of learning images through the three-dimensional stereoscopic model, thereby improving the recognition rate Can be.
또한, 본 발명은 화면상에 설정된 다수의 기준점을 기반으로 촬영된 다수의 기준 영상을 이용하여 3차원 입체 모델을 합성하고 그 3차원 입체 모델을 통해 다수의 학습 영상을 생성함으로써, 시스템에 대한 신뢰성을 향상시킬 수 있다.In addition, the present invention synthesizes a three-dimensional stereoscopic model using a plurality of reference images photographed on the basis of a plurality of reference points set on the screen and generates a plurality of learning images through the three-dimensional stereoscopic model, the reliability of the system Can improve.
또한, 본 발명은 화면상에 설정된 다수의 기준점을 기반으로 촬영된 다수의 기준 영상을 이용하여 3차원 입체 모델을 합성하고 그 3차원 입체 모델을 통해 다수의 학습 영상을 생성함으로써, 사용자의 불편함을 최소화할 수 있다.In addition, the present invention synthesizes a three-dimensional three-dimensional model using a plurality of reference images photographed based on a plurality of reference points set on the screen, and generates a plurality of learning images through the three-dimensional three-dimensional model, the user's inconvenience Can be minimized.
도 1은 본 발명의 실시예에 따른 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치를 나타내는 예시도이고,
도 2는 본 발명의 실시예에 따른 기준영상을 촬영하는 원리를 설명하기 위한 예시도이고,
도 3은 본 발명의 실시예에 따른 학습 영상을 생성하는 원리를 설명하기 위한 예시도이고,
도 4은 본 발명의 실시예에 따른 얼굴 인식 시스템의 학습 영상을 생성하기 위한 방법을 나타내는 예시도이다.1 is an exemplary view showing an apparatus for generating a learning image of a face recognition system according to an embodiment of the present invention.
2 is an exemplary view for explaining a principle of photographing a reference image according to an embodiment of the present invention;
3 is an exemplary diagram for explaining a principle of generating a learning image according to an embodiment of the present invention;
4 is an exemplary diagram illustrating a method for generating a learning image of a face recognition system according to an exemplary embodiment of the present invention.
이하에서는, 본 발명의 실시예에 따른 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치 및 그 방법을 첨부된 도 1 내지 도 4를 참조하여 상세히 설명한다. 본 발명은 카메라가 소정 영역에 설치된 화면상에 설정된 다수의 기준점을 기반으로 촬영된 다수의 기준 영상을 이용하여 3차원 입체 모델을 합성하고 그 3차원 입체 모델을 통해 다수의 학습 영상을 생성하고자 한다. 즉, 본 발명은 e-learning 환경 즉, 사용자가 컴퓨터의 화면을 응시하고 있는 상황에서 최소한의 기준 영상을 획득하는 방안과 이러한 기준 영상들로부터 학습에 필요한 추가적인 학습 영상들을 생성하는 방안을 제안하고자 한다.
Hereinafter, an apparatus and method for generating a learning image of a face recognition system according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 4. The present invention is to synthesize a three-dimensional three-dimensional model by using a plurality of reference images photographed based on a plurality of reference points set on the screen installed in a predetermined area of the camera and to generate a plurality of learning images through the three-dimensional three-dimensional model . That is, the present invention proposes a method of obtaining a minimum reference image in an e-learning environment, that is, a user staring at a computer screen, and generating a further learning image for learning from the reference images. .
도 1은 본 발명의 실시예에 따른 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치를 나타내는 예시도이다.1 is an exemplary view showing an apparatus for generating a learning image of a face recognition system according to an embodiment of the present invention.
도 1에 도시한 바와 같이, 본 발명에 따른 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치는 이미지 센서(110), 기준영상 획득부(120), 입체모델 합성부(130), 학습영상 생성부(140), 학습영상 구성부(150), 및 데이터베이스(160) 등을 포함하여 구성될 수 있다.As shown in FIG. 1, the apparatus for generating a training image of the face recognition system according to the present invention includes an
이미지 센서(110)는 사용자의 얼굴을 촬영하기 위한 카메라로서, 컴퓨터의 모니터 화면의 일측에 장착되어 화면상의 소정 영역을 바라보고 있는 사용자의 이미지를 촬영하게 된다.
The
도 2는 본 발명의 실시예에 따른 기준영상을 촬영하는 원리를 설명하기 위한 예시도이다.2 is an exemplary view for explaining a principle of photographing a reference image according to an embodiment of the present invention.
도 2에 도시한 바와 같이, 컴퓨터의 모니터 화면의 위측 중앙에 카메라가 장착되고, 화면상의 네 곳에 표시된 기준점(reference point)를 보여주고 있다. 그래서 카메라는 화면의 기준점을 바라보고 있는 상태에서 사용자의 얼굴을 촬영하게 된다.As shown in FIG. 2, a camera is mounted at the upper center of a monitor screen of a computer and shows reference points displayed on four places on the screen. Therefore, the camera takes a picture of the user's face while looking at the reference point of the screen.
물론 본 발명에 따른 장치는 각 기준점을 차례로 제시하되, 음성 안내를 통해 사용자가 그 기준점을 정면에서 바라보도록 하게 된다. 이렇게 서로 다른 기준점을 바라보도록 함으로써 사용자의 얼굴을 다양한 각도에서 촬영할 수 있다.Of course, the device according to the present invention presents each reference point in turn, so that the user looks at the reference point from the front through voice guidance. By looking at different reference points in this way, the user's face can be photographed at various angles.
예컨대, 기준점 #1에서는 사용자가 위쪽으로 바라보는 얼굴을 촬영하고, 기준점 #2에서는 사용자가 왼쪽을 바라보는 얼굴 즉, 오른쪽 얼굴의 모습을 촬영하며, 기준점 #3에서는 사용자가 오른쪽을 바라보는 얼굴 즉, 왼쪽 얼굴의 모습을 촬영하며, 기준점 #4에서는 사용자가 아래쪽으로 바라보는 얼굴을 촬영한다.
For example, in reference point # 1, the user looks upwards, in reference point # 2, the user looks at the left side, that is, the right face. In reference point # 3, the user looks at the right. , The left face is taken, and in reference point # 4, the user looks at the face looking downward.
기준영상 획득부(120)는 이렇게 화면상의 다수의 기준점 #1, #2, #3, #4를 바라보는 사용자의 얼굴을 촬영한 기준영상 1, 2, 3, 4를 획득할 수 있다.The reference
입체모델 합성부(130)는 획득한 기준영상 1, 2, 3, 4를 기반으로 사용자의 얼굴을 3차원 입체 모델을 합성할 수 있다.The stereoscopic
학습영상 생성부(140)는 합성한 3차원 입체 모델을 기반으로 사용자가 화면을 바라보고 있는 여러 각도에서의 얼굴 영상 즉, 학습 영상을 생성할 수 있다. 예컨대, 학습 영상 생성부(140)는 수평회전각 또는 yaw, 수직회전각 pitch, 그리고 기울임 회전각 또는 roll 상태에 따라 각각 다수의 학습 영상을 생성하게 된다.
The training
도 3은 본 발명의 실시예에 따른 학습 영상을 생성하는 원리를 설명하기 위한 예시도이다.3 is an exemplary view for explaining a principle of generating a learning image according to an exemplary embodiment of the present invention.
도 3에 도시한 바와 같이, 학습영상 생성부(140)는 다양한 회전각 각각에 따라 일정 각도씩 변경된 다수의 학습 영상을 생성하게 되는데, 예컨대, 그림 (a)처럼 수평회전각 또는 yaw을 -15도, -10도 -5도, 5도, 10도, 15도로하여 학습 영상을 생성하고, 그림 (b)처럼 수직회전각 pitch을 -15도, -10도 -5도, 5도, 10도, 15도로하여 학습 영상을 생성하며, 그리고 그림 (c)처럼 기울임 회전각 또는 roll을 -15도, -10도 -5도, 5도, 10도, 15도로하여 학습 영상을 생성하는 것을 보여주고 있다.
As shown in FIG. 3, the learning
학습영상 구성부(150)는 사용자에 대한 다수의 기준 영상과 다수의 학습 영상을 얼굴 인식 시스템의 학습에 적용하기 위한 하나의 학습 영상 그룹으로 구성하여 이렇게 구성된 학습 영상 그룹을 데이터베이스(160)에 저장하여 관리하게 된다.The learning
이때, 본 발명은 4장의 기준 영상과 3가지의 회전각 상태 각각에 대해 6장의 학습 영상을 생성하여 학습 영상 그룹으로 22장의 영상을 구성하게 되는데, 반드시 이에 한정되는 것이 아니라 필요에 따라 다양하게 구성될 수 있다.In this case, the present invention generates six learning images for each of four reference images and three rotation angle states, and configures 22 images as a learning image group, but is not necessarily limited thereto. Can be.
이를 통해, 본 발명은 화면상에 설정된 다수의 기준점을 기반으로 촬영된 다수의 기준 영상을 이용하여 3차원 입체 모델을 합성하고 그 3차원 입체 모델을 통해 다수의 학습 영상을 생성함으로써, 학습 영상의 질을 향상시킬 수 있다.Accordingly, the present invention synthesizes a three-dimensional stereoscopic model using a plurality of reference images photographed based on a plurality of reference points set on the screen, and generates a plurality of learning images through the three-dimensional stereoscopic model, Can improve the quality.
또한, 본 발명은 화면상에 설정된 다수의 기준점을 기반으로 촬영된 다수의 기준 영상을 이용하여 3차원 입체 모델을 합성하고 그 3차원 입체 모델을 통해 다수의 학습 영상을 생성함으로써, 인식률을 향상시킬 수 있다.
In addition, the present invention synthesizes a three-dimensional stereoscopic model using a plurality of reference images photographed on the basis of a plurality of reference points set on the screen to generate a plurality of learning images through the three-dimensional stereoscopic model, thereby improving the recognition rate Can be.
도 4은 본 발명의 실시예에 따른 얼굴 인식 시스템의 학습 영상을 생성하기 위한 방법을 나타내는 예시도이다.4 is an exemplary diagram illustrating a method for generating a learning image of a face recognition system according to an exemplary embodiment of the present invention.
도 4에 도시한 바와 같이, 먼저 이미지 센서 예컨대, 카메라를 통해 화면상의 소정 영역을 바라보고 있는 사용자의 얼굴 이미지를 촬영하여(S410), 생성된 다수의 기준 영상을 획득하게 된다(S420). 물론 사용자는 바라보는 화면상의 소정 영역으로 얼굴 전체를 움직여야만 여러 각도에서의 얼굴 이미지를 촬영할 수 있게 된다.As shown in FIG. 4, first, an image sensor, for example, a camera photographs a face image of a user who is looking at a predetermined area on a screen, and acquires a plurality of generated reference images (S420). Of course, the user only needs to move the entire face to a predetermined area on the screen to be able to photograph the face image from various angles.
입체모델 합성부는 획득한 다수의 기준영상을 기반으로 사용자의 얼굴을 3차원 입체 모델을 합성하게 되는데(S430), 통상적으로 적어도 3장의 기준영상을 이용하여 3차원 입체 모델을 합성하게 된다.The three-dimensional model synthesizing unit synthesizes a three-dimensional three-dimensional model of the user's face based on the obtained plurality of reference images (S430). Typically, the three-dimensional three-dimensional model is synthesized using at least three reference images.
학습영상 생성부는 이렇게 합성한 3차원 입체 모델을 기반으로 사용자가 화면을 바라보고 있는 여러 각도에서의 얼굴 영상 즉, 학습 영상을 생성하게 된다(S440).The learning image generator generates a face image, that is, a learning image, from various angles at which the user looks at the screen based on the synthesized 3D stereoscopic model (S440).
그래서 학습영상 구성부는 기준영상 획득부를 통해 획득된 다수의 기준 영상과 학습영상 생성부를 통해 생성된 다수의 학습 영상을 얼굴 인식 시스템의 학습에 적용하기 위한 하나의 학습 영상 그룹으로 구성하게 된다(S450).
Therefore, the learning image constituting unit configures a plurality of reference images acquired through the reference image obtaining unit and a plurality of learning images generated through the learning image generating unit into one learning image group for applying the learning to the face recognition system (S450). .
이처럼, 본 발명은 화면상에 설정된 다수의 기준점을 기반으로 촬영된 다수의 기준 영상을 이용하여 3차원 입체 모델을 합성하고 그 3차원 입체 모델을 통해 다수의 학습 영상을 생성함으로써, 시스템에 대한 신뢰성을 향상시킬 수 있다.As described above, the present invention synthesizes a three-dimensional stereoscopic model using a plurality of reference images photographed based on a plurality of reference points set on the screen, and generates a plurality of learning images through the three-dimensional stereoscopic model, thereby increasing reliability of the system. Can improve.
또한, 본 발명은 화면상에 설정된 다수의 기준점을 기반으로 촬영된 다수의 기준 영상을 이용하여 3차원 입체 모델을 합성하고 그 3차원 입체 모델을 통해 다수의 학습 영상을 생성함으로써, 사용자의 불편함을 최소화할 수 있다.
In addition, the present invention synthesizes a three-dimensional three-dimensional model using a plurality of reference images photographed based on a plurality of reference points set on the screen, and generates a plurality of learning images through the three-dimensional three-dimensional model, the user's inconvenience Can be minimized.
본 발명에 의한, 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치 및 그 방법은 본 발명의 기술적 사상의 범위 내에서 다양한 형태로 변형, 응용 가능하며 상기 실시예에 한정되지 않는다. 또한, 상기 실시 예와 도면은 발명의 내용을 상세히 설명하기 위한 목적일 뿐, 발명의 기술적 사상의 범위를 한정하고자 하는 목적은 아니며, 이상에서 설명한 본 발명은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형, 및 변경이 가능하므로 상기 실시 예 및 첨부된 도면에 한정되는 것은 아님은 물론이며, 후술하는 청구범위뿐만이 아니라 청구범위와 균등 범위를 포함하여 판단되어야 한다.The apparatus and method for generating a learning image of the face recognition system according to the present invention can be modified and applied in various forms within the scope of the technical idea of the present invention and are not limited to the above embodiments. In addition, the embodiments and drawings are merely for the purpose of describing the contents of the invention in detail, not intended to limit the scope of the technical idea of the invention, the present invention described above is common knowledge in the technical field to which the present invention belongs As those skilled in the art can have various substitutions, modifications, and changes without departing from the technical spirit of the present invention, it is not limited to the above embodiments and the accompanying drawings, of course, and not only the claims to be described below but also claims Judgment should be made including scope and equivalence.
110: 이미지 센서
120: 기준영상 획득부
130: 입체모델 합성부
140: 학습영상 생성부
150: 학습영상 구성부
160: 데이터베이스110: image sensor
120: reference image acquisition unit
130: stereoscopic model synthesis unit
140: learning image generation unit
150: learning image component
160: database
Claims (12)
획득한 다수의 기준 영상을 이용하여 3차원 입체 모델을 합성하는 입체모델 합성부;
합성한 상기 3차원 입체 모델을 통해 다수의 회전각에 따른 다수의 학습 영상을 생성하는 학습영상 생성부; 및
상기 다수의 기준 영상과 상기 다수의 학습 영상을 얼굴 인식 시스템의 학습에 적용하기 위한 하나의 학습 영상 그룹으로 구성하는 학습영상 구성부
를 포함하는 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치.A reference image acquisition unit which acquires a plurality of reference images of a face of a user looking at a plurality of reference points set on the screen using an image sensor;
A stereoscopic model synthesizing unit for synthesizing a three-dimensional stereoscopic model using a plurality of acquired reference images;
A learning image generator for generating a plurality of learning images according to a plurality of rotation angles through the synthesized three-dimensional stereoscopic model; And
A learning image constituting unit configured to configure the plurality of reference images and the plurality of learning images into one learning image group for applying to a learning of a face recognition system.
Apparatus for generating a learning image of the face recognition system comprising a.
상기 기준점은,
상기 화면을 바라보는 사용자의 얼굴을 여러 각도에서 촬영하기 위한 서로 다른 지점인 것을 특징으로 하는 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치.The method according to claim 1,
The reference point,
Apparatus for generating a learning image of the face recognition system, characterized in that different points for photographing the user's face looking at the screen from different angles.
상기 기준 영상은,
적어도 3개 이상인 것을 특징으로 하는 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치.The method according to claim 1 or 2,
The reference video,
Apparatus for generating a learning image of the face recognition system, characterized in that at least three or more.
상기 다수의 회전각은,
수평회전각 또는 yaw, 수직회전각 pitch, 그리고 기울임 회전각 또는 roll인 것을 특징으로 하는 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치.The method according to claim 1 or 2,
The plurality of rotation angles,
Apparatus for generating a learning image of a face recognition system, characterized in that the horizontal rotation angle or yaw, vertical rotation angle pitch, and tilt rotation angle or roll.
상기 학습영상 생성부는,
상기 다수의 회전각 각각에 따라 일정 각도씩 변경된 상기 학습 영상을 생성하는 것을 특징으로 하는 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치.The method according to claim 1 or 2,
The learning image generation unit,
Apparatus for generating a learning image of the face recognition system, characterized in that for generating the learning image changed by a predetermined angle according to each of the plurality of rotation angles.
사용자마다 구성된 상기 학습 영상 그룹을 저장하는 데이터베이스를 더 포함하는 것을 특징으로 하는 얼굴 인식 시스템의 학습 영상을 생성하기 위한 장치.The method according to claim 1 or 2,
And a database for storing the learning image group configured for each user.
획득한 다수의 기준 영상을 이용하여 3차원 입체 모델을 합성하는 단계;
합성한 상기 3차원 입체 모델을 통해 다수의 회전각에 따른 다수의 학습 영상을 생성하는 단계; 및
획득된 상기 다수의 기준 영상과 생성된 상기 다수의 학습 영상을 얼굴 인식 시스템의 학습에 적용하기 위한 하나의 학습 영상 그룹으로 구성하는 단계
를 포함하는 얼굴 인식 시스템의 학습 영상을 생성하기 위한 방법.Obtaining a plurality of reference images of a face of a user looking at a plurality of reference points set on the screen by using an image sensor;
Synthesizing a three-dimensional stereoscopic model using the obtained plurality of reference images;
Generating a plurality of training images according to a plurality of rotation angles through the synthesized three-dimensional stereoscopic model; And
Organizing the obtained plurality of reference images and the generated plurality of learning images into one learning image group for applying to learning of a face recognition system;
Method for generating a learning image of the face recognition system comprising a.
상기 기준점은,
상기 화면을 바라보는 사용자의 얼굴을 여러 각도에서 촬영하기 위한 서로 다른 지점인 것을 특징으로 하는 얼굴 인식 시스템의 학습 영상을 생성하기 위한 방법.The method of claim 7, wherein
The reference point,
And a different point for photographing a face of the user looking at the screen from various angles.
상기 기준 영상은,
적어도 3개 이상인 것을 특징으로 하는 얼굴 인식 시스템의 학습 영상을 생성하기 위한 방법.The method according to claim 7 or 8,
The reference video,
And at least three or more learning images for the face recognition system.
상기 다수의 회전각은,
수평회전각 또는 yaw, 수직회전각 pitch, 그리고 기울임 회전각 또는 roll인 것을 특징으로 하는 얼굴 인식 시스템의 학습 영상을 생성하기 위한 방법.The method according to claim 7 or 8,
The plurality of rotation angles,
A horizontal rotation angle or yaw, a vertical rotation angle pitch, and a tilt rotation angle or roll.
상기 학습 영상을 생성하는 단계는,
상기 다수의 회전각 각각에 따라 일정 각도씩 변경된 상기 학습 영상을 생성하는 것을 특징으로 하는 얼굴 인식 시스템의 학습 영상을 생성하기 위한 방법.The method according to claim 7 or 8,
Generating the learning image,
And generating the learning image changed by a predetermined angle according to each of the plurality of rotation angles.
사용자마다 구성된 상기 학습 영상 그룹을 데이터베이스에 저장하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 인식 시스템의 학습 영상을 생성하기 위한 방법.The method according to claim 7 or 8,
And storing the training image group configured for each user in a database.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100024588A KR101118978B1 (en) | 2010-03-19 | 2010-03-19 | Aparatus for generating learning images for face recognition system and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100024588A KR101118978B1 (en) | 2010-03-19 | 2010-03-19 | Aparatus for generating learning images for face recognition system and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110105458A true KR20110105458A (en) | 2011-09-27 |
| KR101118978B1 KR101118978B1 (en) | 2012-02-28 |
Family
ID=44955794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100024588A KR101118978B1 (en) | 2010-03-19 | 2010-03-19 | Aparatus for generating learning images for face recognition system and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101118978B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160092676A (en) * | 2015-01-28 | 2016-08-05 | 주식회사 시그널이엔씨 | Security system of image terminal based on things acknowledgement |
| KR20170074413A (en) * | 2015-12-22 | 2017-06-30 | 연세대학교 산학협력단 | 2d image data generation system using of 3d model, and thereof method |
| KR20180085697A (en) * | 2017-01-19 | 2018-07-27 | 서울대학교산학협력단 | Apparatus and method for recognizing turned object |
| WO2018139847A1 (en) * | 2017-01-25 | 2018-08-02 | 국립과학수사연구원 | Personal identification method through facial comparison |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004362079A (en) * | 2003-06-02 | 2004-12-24 | Fuji Photo Film Co Ltd | Personal identification device |
-
2010
- 2010-03-19 KR KR1020100024588A patent/KR101118978B1/en not_active IP Right Cessation
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160092676A (en) * | 2015-01-28 | 2016-08-05 | 주식회사 시그널이엔씨 | Security system of image terminal based on things acknowledgement |
| KR20170074413A (en) * | 2015-12-22 | 2017-06-30 | 연세대학교 산학협력단 | 2d image data generation system using of 3d model, and thereof method |
| KR20180085697A (en) * | 2017-01-19 | 2018-07-27 | 서울대학교산학협력단 | Apparatus and method for recognizing turned object |
| WO2018139847A1 (en) * | 2017-01-25 | 2018-08-02 | 국립과학수사연구원 | Personal identification method through facial comparison |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101118978B1 (en) | 2012-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109325437B (en) | Image processing method, device and system | |
| Joo et al. | Panoptic studio: A massively multiview system for social motion capture | |
| US8933928B2 (en) | Multiview face content creation | |
| CN109584295A (en) | The method, apparatus and system of automatic marking are carried out to target object in image | |
| CN105320271A (en) | HMD calibration with direct geometric modeling | |
| WO2017058733A1 (en) | Head-mounted display with facial expression detecting capability | |
| WO2021004257A1 (en) | Line-of-sight detection method and apparatus, video processing method and apparatus, and device and storage medium | |
| US20100259538A1 (en) | Apparatus and method for generating facial animation | |
| CN108369785A (en) | Activity determination | |
| CN105426827A (en) | Living body verification method, device and system | |
| CN110211222B (en) | AR immersion type tour guide method and device, storage medium and terminal equipment | |
| WO2008144843A1 (en) | Systems and methods for applying a 3d scan of a physical target object to a virtual environment | |
| KR101118978B1 (en) | Aparatus for generating learning images for face recognition system and method thereof | |
| Rocca et al. | Head pose estimation by perspective-n-point solution based on 2d markerless face tracking | |
| CN113709543A (en) | Video processing method and device based on virtual reality, electronic equipment and medium | |
| KR20110088361A (en) | Apparatus and method for generating a front face image | |
| CN112669422A (en) | Simulated 3D digital human generation method and device, electronic equipment and storage medium | |
| CN107659772B (en) | 3D image generation method and device and electronic equipment | |
| CN114373044A (en) | Method, device, computing equipment and storage medium for generating three-dimensional face model | |
| KR101212223B1 (en) | Device taking a picture and method to generating the image with depth information | |
| CN108416255B (en) | System and method for capturing real-time facial expression animation of character based on three-dimensional animation | |
| Stricker et al. | From interactive to adaptive augmented reality | |
| JP2009212582A (en) | Feedback system for virtual studio | |
| KR20170055788A (en) | Manager terminal included in the educational content production system and Method for generating virtual body and Method for storage virtual body information using the same | |
| CN111629194B (en) | Method and system for converting panoramic video into 6DOF video based on neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150129 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170405 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |