KR100930994B1 - 3차원 영상 모델 생성 방법 및 장치, 이를 이용한 영상인식 방법 및 장치 그리고 상기 방법들을 수행하는프로그램이 기록된 기록 매체 - Google Patents
3차원 영상 모델 생성 방법 및 장치, 이를 이용한 영상인식 방법 및 장치 그리고 상기 방법들을 수행하는프로그램이 기록된 기록 매체 Download PDFInfo
- Publication number
- KR100930994B1 KR100930994B1 KR1020070133530A KR20070133530A KR100930994B1 KR 100930994 B1 KR100930994 B1 KR 100930994B1 KR 1020070133530 A KR1020070133530 A KR 1020070133530A KR 20070133530 A KR20070133530 A KR 20070133530A KR 100930994 B1 KR100930994 B1 KR 100930994B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- dimensional
- feature points
- model
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 239000013598 vector Substances 0.000 claims description 100
- 238000012549 training Methods 0.000 claims description 43
- 230000009466 transformation Effects 0.000 claims description 29
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 27
- 239000000284 extract Substances 0.000 claims description 21
- 239000011165 3D composite Substances 0.000 claims description 13
- 238000000513 principal component analysis Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000001815 facial effect Effects 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 11
- 239000006185 dispersion Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 210000004709 eyebrow Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 238000012880 independent component analysis Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 3차원 영상 복원에 사용되는 3차원 영상 모델 생성 방법 및 3차원 영상 모델을 이용한 영상 인식 방법을 개시한다. 본 발명의 3차원 영상 모델 생성 방법은 3차원 스캔 영상 각각에 따른 3차원 영상 특징점들을 선택하고 2차원 공간에 투영시키는 단계; 상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하고, 상기 기준 영상을 제외한 나머지 2차원 영상들을 상기 기준 영상의 형상에 대응되도록 변형시키는 단계; 상기 변형된 영상 각각에 따른 2차원 영상 특징점들을 추출하고, 상기 추출된 2차원 영상 특징점들을 이용하여 3차원 영상들을 복원하는 단계; 및 상기 복원된 3차원 영상들을 이용하여 3차원 영상 모델을 생성하는 단계를 포함한다. 본 발명에 따르면, 3차원 영상 모델을 생성하는데 소요되는 프로세싱 속도와 정확성을 향상시킬 수 있고, 영상 인식을 하고자 하는 2차원 입력 영상을 3차원 영상으로 복원하지 않고도 포즈와 조명에 강한 영상 인식이 가능하다.
3차원 영상 모델, 얼굴 인식, 얼굴 특징점, 3차원 영상 복원
Description
본 발명은 3차원 영상 복원에 사용되는 3차원 영상 모델 생성 방법 및 3차원 영상 모델을 이용한 영상 인식 방법에 관한 것으로서, 특히 임의의 얼굴 영상을 복원하고, 개인의 신원을 인식하고 검증하는 생체 인식 시스템에 사용되는 3차원 영상 모델 생성 방법 및 얼굴 인식 방법 및 장치에 관한 것이다.
3차원 얼굴 모델은 특정인의 2차원 영상에서 3차원 얼굴 형태를 복원하고, 얼굴의 포즈(pose)와 조명 등에 강인하게 얼굴 인식을 가능하게 해 주는 장점이 있어서, 최근 10년 사이에 매우 활발히 연구되고 있다. 3차원 얼굴 모델 기법은 기존의 2차원 상에서의 얼굴 인식 및 기타 영상 처리 방법들을 대체하고 있는 추세이다.
3차원 얼굴 모델을 생성하기 위해서는 다수의 3차원 얼굴 스캔 데이터로부터 일대일 대응되는 조밀한 얼굴 특징점 집합을 구하는 조밀 대응(dense correspondence)의 문제를 해결해야 한다.
이를 해결하기 위한 기존의 방법들은 크게 두 가지가 있다. 하나는 미리 정의된 복잡한 3차원 얼굴 모델 형태의 특징점들을 3차원 스캔 데이터에 정합시켜 각 특징점들의 색 정보를 알아내는 방법이고, 다른 하나는 3차원 스캔 데이터로부터 필요한 특징점들을 추출하여 3차원 얼굴 모델의 형상 정보와 색정보를 만들어 내는 방법이 있다. 여기에서 특징점들은 모든 스캔 데이터에 대해서 일대일 대응이 되는 공동 특징점이어야 하는데, 일반적으로 특징점들의 개수는 1만~2만까지 이르기 때문에 얼굴 특징점을 효율적으로 추출하는 것이 중요하다.
다수의 특징점들을 추출하기 위한 기존의 방법으로는, 광 흐름(Optical Flow) 을 사용하여 3차원 얼굴 스캔 데이터들 간에 1만~2만 개의 조밀한 얼굴 특징점을 자동으로 추출하는 방법이 있다. 그러나 광 흐름을 이용한 방법은 일정한 크기의 영상 블록을 매칭하는 방법이기 때문에 얼굴의 형상과 색이 각각 서로 다른 3차원 스캔 데이터의 경우에는 매칭의 정확도가 매우 떨어지며, 매칭이 시작되는 초기 위치에 민감하고, 블록의 크기가 클 경우 매칭을 위한 연산량이 많은 문제가 있다.
또한, 기존의 얼굴 인식 방법에 의하면, 복원된 3차원 얼굴의 3차원 얼굴 특징점과 색정보를 이용하여 인식기를 학습하는데, 얼굴 인식을 위해 입력되는 2차원 영상에 대하여 3차원 얼굴을 복원하는 과정을 통해 특징점과 색정보를 얻어 내야 하는데, 이 경우 3차원 얼굴 복원 과정의 연산량이 많아 얼굴 인식 속도가 매우 느 려지는 단점이 있다.
특허 문헌으로서, 대한민국 등록특허 제360487호는 2차원 얼굴 영상에서 3차원 얼굴 모델로 텍스처를 매핑하는 방법을 개시하고 있는데, 이 경우 미리 정의된 한정된 제어점들을 이용하여 2차원 얼굴에 근접한 3차원 얼굴 영상을 생성하기 때문에 인식 효율의 향상에 일정한 한계가 있다.
상술한 종래 기술의 한계를 고려하여, 본 발명은 3차원 스캔 데이터로부터 선택된 소수의 3차원 영상 특징점들을 서로 대응시키는 2차원 상에서의 영상에 대한 변환을 수행함으로써 3차원 영상 모델 생성과 관련된 연산량을 줄이고, 얼굴 인식의 정확성을 향상시킬 수 있는 3차원 영상 모델 생성 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 3차원 영상 모델을 이용하여 2차원 트레이닝 영상으로 부터 3차원 영상을 생성하고 포즈와 조명을 변경시켜 얻어지는 2차원 영상들을 영상 인식을 위한 데이터로 활용함으로써, 인식을 하고자 하는 2차원 입력 영상을 3차원 영상으로 복원하지 않고도 포즈와 조명에 강인한 특성을 갖는 영상 인식 방법 및 장치를 제공하는 것을 목적으로 한다.
상기 기술적 과제를 달성하기 위한 본 발명에 따른 3차원 영상 모델 생성 방법은 3차원 스캔 영상 각각에 따른 3차원 영상 특징점들을 선택하는 단계; 상기 3차원 스캔 영상 각각을 2차원 공간에 투영시키는 단계; 상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하고, 상기 기준 영상을 제외한 나머지 2차원 영상들을 상기 기준 영상의 형상에 대응되도록 변형시키는 단계; 상기 변형된 영상 각각에 따른 2차원 영상 특징점들을 추출하고, 상기 추출된 2차원 영상 특징점들을 이용하여 3차원 영상들을 복원하는 단계; 및 상기 복원된 3차원 영상들을 이용하여 3차원 영상 모델을 생성하는 단계를 포함한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 3차원 영상 모델 생성 장치는 3차원 스캔 영상 각각에 따른 3차원 영상 특징점들을 선택하는 3차원 영상 특징점 선택부; 상기 3차원 스캔 영상 각각을 2차원 공간에 투영시키는 2차원 공간 투영부; 상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하고, 상기 기준 영상을 제외한 나머지 2차원 영상들을 상기 기준 영상의 형상에 대응되도록 변형시키는 영상 변형부; 상기 변형된 영상 각각에 따른 2차원 영상 특징점들을 추출하고, 상기 추출된 2차원 영상 특징점들을 이용하여 3차원 영상들을 복원하는 3차원 영상 복원부; 및 상기 복원된 3차원 영상들을 이용하여 3차원 영상 모델을 생성하는 모델 생성부를 포함한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 영상 인식 방법은 3차원 스캔 영상 각각에 따른 3차원 영상 특징점들을 선택하고, 상기 3차원 스캔 영상 각각을 2차원 공간에 투영시키는 단계; 상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하고, 상기 기준 영상을 제외한 나머지 2차원 영상들을 상기 기준 영상의 형상에 대응되도록 변형시키는 단계; 상기 변형된 영상 각각에 따른 2차원 영상 특징점들을 추출하고, 상기 추출된 2차원 영상 특징점들을 이용하여 3차원 영상을 각각 복원하는 단계; 상기 복원된 3차원 영상들을 이용하여 3차원 영상 모델을 생성하는 단계; 2차원 트레이닝 영상들을 입력 받고, 상기 3차원 영상 모델을 이용하여 상기 트레이닝 영상으로부터 예측되는 3차원 합성 영상을 각각 생성하는 단계; 상기 생성된 3차원 합성 영상들로 부터 각각의 트레이닝 영상에 따른 특징 벡터를 추출하는 단계; 및 인식하고자 하는 입력 영상에 대한 2차원 영상을 입력 받고, 입력된 2차원 영상으로 부터 특징 벡터를 추출한 후 상기 입력 영상에 따른 특징 벡터와 상기 트레이닝 영상에 따른 특징 벡터들 간의 유사성을 이용하여 입력된 영상에 대한 인식 결과를 산출하는 단계를 포함한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 영상 인식 장치는 3차원 스캔 영상 각각에 따른 3차원 영상 특징점들을 선택하는 3차원 영상 특징점 선택부; 상기 3차원 스캔 영상 각각을 2차원 공간에 투영시키는 2차원 공간 투영부; 상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하고, 상기 기준 영상을 제외한 나머지 2차원 영상들을 상기 기준 영상의 형상에 대응되도록 변형시키는 영상 변형부; 상기 변형된 영상 각각에 따른 2차원 영상 특징점들을 추출하고, 상기 추출된 2차원 영상 특징점들을 이용하여 3차원 영상을 각각 복원하는 3차원 영상 복원부; 상기 복원된 3차원 영상들을 이용하여 3차원 영상 모델을 생성하는 모델 생성부; 2차원 트레이닝 영상들을 입력 받고, 상기 3차원 영상 모델을 이용하여 상기 트레이닝 영상으로부터 예측되는 3차원 합성 영상을 각각 생성하는 3차원 영상 생성부; 상기 생성된 3차원 합성 영상들로 부터 각각의 트레이닝 영상에 따른 특징 벡터를 추출하는 특징 벡터 추출부; 인식하고자 하는 입력 영상에 대한 2차원 영상을 입력 받는 영상 입력부; 및 상기 입력 영상에 대한 특징 벡터를 추출한 후 상기 입력 영상에 따른 특징 벡터와 상기 트레이닝 영상에 따른 특징 벡터들 간의 유사성을 이용하여 입력된 영상에 대한 인식 결과를 산출하는 영상 판단부를 포함한다.
본 발명의 3차원 영상 모델 생성 방법 및 장치에 따르면, 3차원 스캔 데이터로부터 선택된 소수의 특징점들과 3차원 영상 특징점들을 서로 대응시키기 위하여 2차원 상에서의 영상에 대한 변환을 수행함으로써, 3차원 영상 모델을 생성하는데 소요되는 프로세싱 속도와 정확성을 향상시킬 수 있다.
또한, 본 발명의 영상 인식 방법에 따르면, 2차원 트레이닝 영상을 3차원 영상 모델을 이용하여 3차원 영상을 생성한 후 포즈와 조명을 변경시켜 2차원의 다양한 영상을 얻고 이를 영상 인식을 위한 데이터로 활용함으로써, 영상 인식을 하고자 하는 2차원 입력 영상을 3차원 영상으로 복원하지 않고도 포즈와 조명에 강한 영상 인식이 가능하다. 또한, 2차원 입력 영상을 3차원 영상으로 복원함에 따라 소요되는 프로세싱 시간을 줄일 수 있고, 시스템의 간략화를 도모할 수 있다.
이하 도면을 참조하여 본 발명의 3차원 영상 모델 생성 방법 및 장치, 이를 이용한 영상 인식 방법 및 장치 그리고 상기 방법들을 수행하는 프로그램이 기록된 기록 매체에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 모델 생성 장치에 대한 블록도이다. 도 1에 도시된 3차원 영상 모델 생성 장치(1)는 3차원 스캔 영상 입력부(10), 3차원 영상 특징점 선택부(20), 2차원 공간 투영부(30), 영상 변환부(40), 3차원 영상 복원부(50) 및 모델 생성부(60)를 포함한다.
3차원 스캔 영상 입력부(10)는 3차원 스캔 영상 정보를 입력받고, 입력된 정 보를 저장한다. 3차원 스캔 영상 정보는 서로 다른 사람들로부터 획득된 픽셀별 위치 정보 및 색 정보를 포함한다. 예를 들어, 3차원 얼굴 스캔 정보는 5만 내지 10만 개의 3차원 위치 정보와 그에 따른 색 정보들로 구성된다. 얼굴 스캔 정보는 어떤 집단에 속한 모든 사람들에 대한 3차원 얼굴 모델을 생성하기 위해서는, 가능한한 많은 수의 사람들 얼굴에 대한 3차원 스캔 얼굴 정보가 필요하다.
3차원 영상 특징점 선택부(20)는 미리 결정된 기준에 따라 3차원 스캔 영상 각각에 따른 3차원 영상 특징점을 선택한다. 3차원 영상 특징점 선택부(20)는 공지된 알고리즘들을 활용하여 얼굴 영상을 효과적으로 특정할 수 있는 소수의 특징점만을 추출할 수 있다. 특히, 3차원 영상 특징점 선택부(20)는 OpenGL의 picking 알고리즘을 이용하여 3차원 스캔 얼굴 영상에서 눈, 눈썹, 코, 입 등의 주요 얼굴 특징 위치와 관련된 소정 개수의 특징점들을 추출할 수 있다. 3차원 영상 특징점의 선택은 영상의 특징을 효과적으로 나타내는 소수의 특징점만을 선택하면 되기 때문에, 이 경우 수동 입력을 통해 3차원 영상의 특징점을 선택하도록 구현하는 것도 가능하다.
또한, 3차원 영상 특징점 선택부(20)는 선택된 소정 개수의 특징점들에 따른 삼각형 메쉬들을 생성하는 메쉬 생성부(미도시)를 더 포함할 수 있다. 메쉬 생성부는 들로네 삼각화(Delaunay triangulation) 기법을 통해 상기 추출된 특징점들에 따른 삼각형 메쉬(mesh)들을 결정할 수 있다.
도 2a와 2b는 3차원 얼굴 스캔 영상에서 소정 개수의 특징점들을 추출하고, 삼각형 메쉬를 생성하는 예를 나타내는 참고도이다. 도 2a에 표기된 번호는 얼굴의 주요 요소 즉 눈, 눈썹, 코, 입, 턱선, 이마 등과 관련된 총 115개의 특징점들에 대한 인덱스를 나타낸 것이다. 도 2b는 들로네 삼각화 기법을 이용하여 115개의 특징점들에 따른 삼각형 메쉬를 나타낸 것이다.
2차원 공간 투영부(30)는 3차원 스캔 영상을 소정의 중심축을 기준으로 회전하는 회전 각도와 높이를 두축으로 하는 2차원 공간에 투영한다.
도 3은 3차원 얼굴 스캔 영상을 2차원 실린더 공간에 투영시킨 예를 나타내는 참고도이다. 도 3에서 a는 2차원 실린더 공간 상에 투영된 각각의 픽셀에 따른 색 정보를 나타내는 영상이고, b는 얼굴의 중심축을 기준으로 할 때 회전 반지름을 나타내는 영상이다.
영상 변형부(40)는 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하고, 상기 기준 영상을 제외한 나머지 2차원 영상들을 상기 기준 영상에 대응되도록 변형시킨다. 영상 변형부(40)는 기준 영상 결정부(42), 마스크 영역 결정부(44) 및 어파인 변환부(46)를 포함한다.
기준 영상 결정부(42)는 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정한다. 마스크 영역 결정부(44)는 기준 영상의 특징점들 중에서 외곽에 위치한 특징점들에 따른 마스크 영역을 결정한다. 어파인 변환부(46)는 결정된 마스크 영역을 이루는 특징점들 또는 모든 특징점들을 기준으로 하는 어파인 변환(affine transform)을 수행한다. 어파인 변환 결과, 기준 영상을 제외한 나머지 영상들의 특징점 위치는 기준 영상에 대응되도록 변환된다.
도 4는 본 발명의 일 실시예에 따라 2차원 실린더 공간 상의 영상을 어파인 변환하는 예를 나타내는 참고도이다. 도 4에서 102 영상은 2차원 실린더 공간상에 투영된 2차원 영상들 중에서 선택되는 기준 영상이고, 104 영상은 기준 영상(102)과 서로 다른 형상과 색 정보를 갖고 있는 영상이다. 106 영상은 마스크 영역을 나타내며, 상기 마스크 영역의 경계는 기준 영상의 115개의 특징점들 중에서 최외곽에 위치한 특징점들을 연결시킴을 통하여 특정될 수 있다. 108영상은 104기준 영상을 기준으로 하는 어파인 변환에 의하여 변형된 영상이다. 예를 들어, 102영상의 마스크 영역을 기준으로 104영상을 어파인 변환시킬 경우, 기준 얼굴 영상과 어파인 변환을 통해 모든 얼굴 영상들의 픽셀들은 서로 일대응 되도록 변형될 수 있다.
본 실시예에서 영상 변형부로부터 출력되는 영상들은 각 특징점들을 어파인 변환을 통해 기준 영상의 특징점들과 대응되도록 변형된 것이다. 영상 변형부는 어파인 변환 과정에서 각각 픽셀에 따른 인덱스를 부여할 수 있는데, 픽섹별 인덱스에 따라 모든 픽셀 들이 서로 대응될 수 있기 때문에 영상 정합과 같이 특징점들을 대응시키기 위한 과정이 이후에 필요하지 않게 된다.
3차원 영상 복원부(50)는 변형된 영상 각각에 따른 2차원 영상의 조밀 특징점들을 추출하고, 상기 추출된 조밀 특징점들을 이용하여 3차원 영상을 복원한다. 3차원 영상 복원부(50)는 조밀 특징점 추출부(52), 메쉬 생성부(54), 역어파인 변환부(56) 및 역투영부(58)를 포함한다.
조밀 특징점 추출부(52)는 상기 마스크 영역 내에 포함된 모든 좌표 또는 픽셀들을 2차원 영상의 특징점으로서 추출한다.
3차원 얼굴 모델을 획득하기 위하여는 모든 스캔 데이터에 일대일 대응되는 조밀한 얼굴 특징점 집합을 구해야한다. 조밀 특징점 추출부(52)는 115개의 한정된 소수의 특징점들과 그 특징점들로 구성된 삼각형 메쉬에 대한 선형 보간을 통해 매우 조밀한 얼굴 특징점을 추출할 수 있다.
메쉬 생성부(54)는 조밀 특징점 추출부(52)에서 추출된 조밀 특징점들을 연결한 삼각형 메쉬들을 생성한다. 특히, 메쉬 생성부(54)는 들로네 삼각화 기법을 이용하여 조밀 특징점들로 구성된 삼각형 메쉬를 생성할 수 있다. 삼각형 메쉬가 결정되면 3차원 영상 모델을 화면에 표시할 때, 점으로 표현하지 않고 삼각형 메쉬에 따른 면의 형태로 영상을 나타낼 수 있다.
특히, 3차원 얼굴 영상의 경우 얼굴 면의 앞면을 원래 색상으로 표현하고 뒷면은 검게 표현해야 3차원 얼굴의 표현이 왜곡되지 않는데, 삼각형 메쉬를 일정한 방향(시계방향 또는 반시계방향)으로 정의하면, 각 메쉬의 앞면 또는 뒷면 여부를 파악이 가능하므로 왜곡을 방지할 수 있다. 또한, 삼각형 메쉬는 3차원 영상 복원 과정에서, 3차원 영상 모델에 정의되어 있는 각 픽셀에 가중치를 적용하기 위하여 사용될 수 있다.
예를 들면, 2차원 얼굴 영상이 정면 얼굴이 아니고 측면 영상일 경우, 3차원 얼굴 모델에는 정의 되어있지만 2차원 얼굴 영상에서는 보이지 않는 픽셀들이 있을 수 있는데, 이 경우 보이지 않는 픽셀들에 가중치를 낮게 부여하고, 보이는 픽셀들에는 가중치를 높게 부여함으로써 3차원 얼굴 복원을 더욱 정확하게 할 수 있다 여기에서, 가중치 계산에 삼각형 메쉬가 사용되는데, 보이는 면이 삼각형 메쉬의 앞면일 경우에는 가중치를 높게 부여하고, 뒷면일 경우에는 가중치를 낮게 부여할 수 있다.
역어파인 변환부(56)는 삼각형 메쉬가 생성된 영상들을 역어파인 변환을 통해 2차원 실린더 공간 상에 존재하는 영상으로 변환한다. 특히, 역어파인 변환부(56)는 하기 수학식1에 따라 역어파인 변환을 수행할 수 있다.
[수학식1]
여기에서, m은 어파인 변환된 영상에 대한 실린더 공간상의 가로 좌표이고, n은 어파인 변환된 영상에 대한 실린더 공간상의 세로 좌표이며, u는 역어파인 변환하여 복원된 영상에 대한 실린더 공간상의 가로 좌표이고, v는 역어파인 변환하여 복원된 영상에 대한 실린더 공간상의 세로 좌표이며, M은 어파인 변환 행렬을 나타낸다.
역투영부(58)는 2차원 실린더 공간 상에 존재하는 영상에 대한 역투영을 통해 원래의 3차원 공간상에 존재하는 3차원 영상을 복원한다. 이렇게 복원된 3차원 영상은 2차원 조밀 특징점 좌표에 대응하는 3차원 조밀 특징점 좌표와 색 정보를 갖는다. 3차원 영상에 대한 정보는 하기 수학식2에 따라 실린더 공간상에 존재하는 영상 정보가 갖는 회전 각도와 반지름을 이용하여 획득할 수 있다.
[수학식2]
여기에서, θ 는 실린더 좌표계의 회전 각도이다. 도 3을 참고하면 회전 각도는 예를 들어 y축을 중심으로 왼쪽은 음의 값, 오른쪽은 양의 값을 갖는 것으로 정의할 수 있다. T 는 실린더 좌표계의 가로축 단위 길이에 해당하는 각도이며, b는 실린더 좌표로부터 구한 회전 각도의 오프셋이고, R은 실린더 좌표로부터 구한 회전 반지름이며, r(u, v)는 (u, v) 좌표에 해당되는 반지름 값(702)이고, x, y, z는 3차원 영상 좌표이며, L은 실린더 좌표계의 세로축 단위 길이에 해당하는 길이이고, b는 실린더 좌표로 부터 구한 z 좌표의 오프셋이다.
모델 생성부(60)는 복원된 3차원 영상들을 이용하여 3차원 영상 모델을 생성한다. 본 실시예의 모델 생성부는 주성분 분석(PCA : Principle Component Analysis)을 통해 3차원 모델을 생성하는 것으로서, 주성분 분석부(62), 3차원 형상 모델 생성부(64) 및 3차원 텍스쳐 모델 생성부(66)을 포함하여 구비된다. 주성분 분석부(62)는 복원된 3차원 영상 정보에 대한 주성분 분석을 수행한다. 예를 들어, 주성분 분석부(62)는 3차원 얼굴 특징점의 좌표와 색 정보에 대한 주성분 분석을 수행할 수 있다. 3차원 형상 모델 생성부(64)는 주성분 분석 결과에 따라 3차원 좌표의 평균 및 분산 벡터로 이루어진 3차원 형상 모델을 생성한다. 또한, 3차원 텍스쳐 모델 생성부(66)는 주성분 분석 결과에 따라 3차원 좌표가 갖는 색 정보의 평균 및 분산 벡터로 이루어진 3차원 텍스쳐 모델을 생성한다.
본 실시예에서는 PCA를 일예로 본 발명을 설명하였지만, FDA(Fisher Discriminant Analysis), ICA(Independent Component Analysis), LDA(Linear Discriminant Analysis) 등의 기법을 이용하여 3차원 영상 모델을 생성하는 것도 가능하다. 특히, PCA방식의 경우 영상을 최소의 차원으로 표현하기 때문에 계산량을 최소로 하고, 얼굴 영상에 있어서 가장 중요한 공통적인 특성에 대한 분석을 통해 최적화된 베이시스 벡터를 생성할 수 있다는 장점이 있다.
모델 생성부에서 생성되는 3차원 영상 모델은 3차원 영상을 표현할 수 있는 형상(shape) 기저(basis)와 텍스쳐(texture) 기저를 하기 수학식 3과 같은 선형 모델로 표현할 수 있다.
[수학식 3]
여기서 S는 임의의 3차원 영상의 형상이고, So는 3차원 영상 좌표의 평균(형상의 평균)이고, Si는 3차원 영상 좌표의 i번째 분산 벡터이며, αi는 각각의 분산 벡터에 대한 계수이고, T는 임의의 3차원 영상의 색 정보(텍스쳐)이며, T0는 3차원 영상 좌표에 따른 색정보의 평균이고, Ti는 3차원 영상 좌표가 갖는 색정보의 j번째 분산 벡터이고, βi는 각각의 분산 벡터에 대한 계수이며, n은 3차원 영상 좌표의 분산 벡터 개수이고, m은 3차원 영상 좌표가 가지는 색정보의 분산 벡터 개수이다. 상기 수학식3에 따라 계수 αi, βi를 조절하면, 3차원 영상 모델로 2차원 얼굴 영상에 해당하는 임의의 3차원 영상을 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 3차원 영상 모델 생성 방법을 나타내는 흐름도이다. 도 5에 도시된 3차원 영상 모델 생성 방법은 3차원 영상 모델 생성 장치(1)에서 시계열적으로 수행되는 하기 단계 들을 포함한다.
210단계에서 3차원 영상 특징점 선택부(20)는 3차원 스캔 영상 각각에 따른 영상 특징점들을 선택하고, 상기 선택된 영상 특징점들에 따른 삼각형 메쉬들을 생성한다. 영상 특징점들을 선택하는 방법의 예로서, 얼굴 영상의 경우 다른 부위와 식별이 용이한 눈꼬리, 눈썹, 콧구멍, 입술 등의 특징점들은 특징점 주위의 영상에 대하여 미리 마련된 템플릿을 기반으로, 트레이닝 얼굴 영상에서 템플릿과 가장 유사한 위치를 찾기 위한 영상 매칭 방법이 있다. 또한, 각각의 특징점 주위의 영상을 AdaBoost 로 학습된 검출기를 이용하여 트레이닝 얼굴 영상의 특징점을 검출하는 방법, 확률 모델에 대한 학습을 통해 각 픽셀이 특징점일 확률을 계산하고 확률 평균 위치를 찾는 방법 등이 있다.
220단계에서 2차원 공간 투영부(30)는 2차원 실린더 공간에 투영시킨다. 특히, 2차원 공간 투영부(30)는 3차원 스캔 영상을 소정의 중심축을 기준으로 회전하는 회전 각도와 높이를 두축으로 하는 2차원 공간에 투영하는 것이 바람직하다.
230단계에서 영상 변형부(40)는 투영된 영상들을 기준 영상의 형태로 변형한다. 상세히 설명하면, 본 단계는 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하는 단계; 상기 결정된 기준 영상의 특징점 들 중에서 외곽에 위치한 특징점들을 선택하고, 선택된 특징점들을 연결한 선을 경계로 하는 마스크 영역을 결정하는 단계; 상기 선택된 특징점들 또는 마스크 영역을 기준으로 하는 어파인 변환을 수행하여 기준 영상이 아닌 다른 영상들이 기준 영상에 대응되도록 변형 시키는 단계를 포함한다.
240단계에서 3차원 영상 복원부(50)는 230단계에서 변형된 영상에서 2차원 영상의 조밀 특징점 및 메쉬를 결정한다. 본 단계에서 3차원 영상 복원부(50)는 마스크 영역 내에 포함된 각각의 좌표 또는 픽셀들을 2차원 영상의 특징점으로서 추출하고, 추출된 조밀 특징점들을 연결한 삼각형 메쉬들을 생성한다.
250단계에서 3차원 영상 복원부(50)는 역어파인 변환과 역투영을 통해 3차원 영상을 복원한다. 3차원 영상 복원부(50)는 삼각형 메쉬가 생성된 영상들을 역어파인 변환을 통해 2차원 실린더 공간 상에 존재하는 영상으로 변환하고, 2차원 실린더 공간 상에 존재하는 영상에 대한 역투영을 통해 원래의 3차원 공간상에 존재하는 3차원 영상을 복원한다.
260단계에서 3차원 영상 모델 생성부(60)는 복원된 3차원 영상들을 이용하여 3차원 영상 모델을 생성한다. 얼굴 영상의 경우, 3차원 영상 모델 생성부(60)는 3차원 얼굴 특징점의 좌표와 색 정보에 대한 주성분 분석을 통해 얼굴 인식에 효과적인 기저 벡터를 선별할 수 있다. 3차원 영상 모델 생성부(60)는 주성분 분석 결 과에 따라 3차원 좌표의 평균 및 분산 벡터로 이루어진 3차원 형상 모델과, 3차원 좌표가 갖는 색 정보의 평균 및 분산 벡터로 이루어진 3차원 텍스쳐 모델을 생성할 수 있다. 상기 생성된 3차원 좌표 분산 벡터의 계수와 색 정보 분산 벡터의 계수를 조절하면 임의의 3차원 얼굴 영상을 생성할 수 있다.
기존의 얼굴 영상 매칭을 이용하여 3차원 얼굴 모델을 생성하는 광 흐름(optical flow) 방법과 비교할 때, 얼굴 영상에서 그 차이가 매우 적은 볼 부분의 영상과 이마 부분의 영상은 인접한 픽셀들의 구분이 어렵기 때문에 광 흐름의 결과가 부정확할 수 있다. 또한, 광 흐름 결과를 얻기 위해서는 반복적인 블록 영상 매칭 과정이 필요한데, 이 경우 블록이 커질수록 연산량이 매우 많아지는 문제가 있으나, 본 실시예와 같이 소정 개수의 특징점을 사용하는 경우에는 소정 개수의 특징점들로 구성된 삼각형 메쉬 마다 한 번씩의 어파인 변환을 수행하기 때문에 연산량이 적은 잇점이 있다. 또한, 삼각형 메쉬 내부의 픽셀 값을 선형 보간 방법으로 계산하기 때문에 볼이나 이마 같은 균일한 픽셀 값을 갖는 영역에서도 대응점과 대응점의 색상 및 반지름 값을 정확하게 구할 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 인식 장치를 나타내는 블록도이다. 도 6에 도시된 영상 인식 장치(300)는 3차원 스캔 영상 입력부(302), 3차원 영상 특징점 선택부(304), 2차원 공간 투영부(306), 영상 변형부(308), 3차원 영상 복원부(310), 모델 생성부(312), 2차원 트레이닝 영상 입력부(314), 3차원 영상 생성부(316), 제1 특징 벡터 추출부(318), 영상 입력부(320) 및 영상 판단부(322)를 포함한다. 상기 구성요소들 중에서 3차원 스캔 영상 입력부(302) 내지 모델 생성 부(312)는 도 1에 도시된 구성 요소들에 대응되므로 공통된 설명은 이하 생략한다.
우선, 영상 인식 장치(300)는 주요 요소에 대한 식별 정보 획득부(미도시)를 더 포함할 수 있다. 예를 들어, 식별 정보 획득부는 2차원 공간 투영부(306)를 통해 생성된 2차원 실린더 공간에 존재하는 영상의 좌표들 중에서 얼굴의 주요 요소(눈, 눈썹, 코, 입 등)에 해당하는 특징점들의 순번을 각각의 주요 요소 별로 저장하고, 각각의 주요 요소별로 최외곽 특징점들을 연결한 경계 영역 안에 있는 3차원 얼굴 모델의 조밀한 특징점들의 순번을 해당 주요 요소의 식별 정보로서 저장할 수 있다.
2차원 트레이닝 영상 입력부(314)는 영상 인식을 위한 사전적인 학습에 사용하기 위한 2차원 트레이닝 영상들을 입력 받는다. 예를 들어, 어떤 집단의 얼굴 인식 시스템 구축을 위해서는, 그 집단에 속하는 모든 구성원 들의 2차원 얼굴 영상 즉 트레이닝 영상이 필요하다. 얼굴 인식 시스템 구축을 위해서는 트레이닝 영상에 대한 사전적인 학습을 통해 특징벡터를 추출하는 것이 필요하다.
3차원 영상 생성부(316)는 3차원 영상 모델을 이용하여 2차원 트레이닝 영상으로부터 예측되는 3차원 합성 영상을 생성한다.
제1 특징 벡터 추출부(318)은 3차원 합성 영상을 2차원의 실린더 영역에 투영하고, 투영된 2차원 영상 각각에 따른 특징 벡터를 추출한다. 제1 특징 벡터 추출부(318)는 트레이닝 영상 각각에 대하여 다양한 포즈와 조명을 조절하는 영상 조절부(미도시), 상기 영상을 2차원 실린더 공간에 투영하는 투영부(미도시) 및 투영된 영상으로부터 영상 인식을 위한 학습 벡터를 생성하는 벡터 생성부(미도시)를 포함한다.
도 7은 2차원 트레이닝 얼굴 영상에 대하여 다양한 회전과 이동을 적용하고, 주요 요소를 추출하는 예를 나타내는 참고도이다. 얼굴 영상의 경우를 예로 들어 설명하면, 포즈 및 조명 조절부는 3차원 영상 생성부(316)에서 생성된 3차원 얼굴 영상에 대하여 다양한 포즈와 조명을 조건을 적용하여, 다양한 3차원 얼굴 영상을 획득한다. 투영부는 획득한 영상들을 2차원 실린더 공간 상에 투영한다. 벡터 생성부는 2차원 얼굴 영상의 주요 요소(눈+눈썹, 코, 입)에 따른 서브 영상을 학습 영상으로서 추출하고, 추출된 학습 영상에서 특징 벡터를 추출한다. 그러나, 얼굴의 주요 요소에 대한 서브 영상들의 크기는 서로 다르기 때문에 학습 벡터 생성에 앞서 서브 영상들의 크기를 확대 또는 축소하여 정규화시킬 필요가 있다.
본 실시예에서 벡터 생성부(미도시)는 얼굴의 주요 요소에 대한 식별 정보를 이용하여 각 얼굴 요소에 해당하는 얼굴 특징점들의 최대 좌표와 최소 좌표를 구함으로써 2차원 상의 서브 영상을 추출하고, 추출된 서브 영상을 이용하여 얼굴 인식을 위한 학습 벡터를 제1 특징 벡터로서 생성하는 것이 바람직하다. 제1 특징 벡터는 예를 들어 얼굴의 주요 요소 영상에 따른 명암도(intensity)와 명암도의 에지(edge) 성분을 1차원 벡터로 재배열한 벡터가 있다. 이렇게 생성된 특징 벡터는 후술하는 신경망 학습부(326)의 학습을 위한 입력 벡터로 사용할 수 있다.
영상 입력부(320)는 인식하고자 하는 입력 영상에 대한 2차원 영상을 입력 받는다. 영상 판단부(322)는 제2 특징 벡터 추출부(324)와 신경망 학습부(326)을 구비한다.
제2 특징 벡터 추출부(324)는 입력 영상으로부터 제2 특징 벡터를 추출한다. 제2 특징 벡터 추출부(324)는 얼굴 영역 추출부(미도시), 주요 요소 검출부(미도시) 및 학습 벡터 생성부(미도시)를 더욱 구비한다. 입력 영상에는 검출하고자 하는 얼굴 영역과 배경 영역이 혼재되는데, 얼굴 영역 추출부는 얼굴색 또는 AdaBoost 방법을 이용하여 얼굴 영역을 검출한다. 주요 요소 검출부는 검출된 얼굴 영역에서 명암 히스토그램(intensity histogram)을 통해 주요 요소의 대략적인 위치를 탐색하고, 탐색된 주요 요소의 영상으로 학습된 확률 모델(예를 들어 가우시안 모델)을 이용하여 주요 요소를 검출한다. 학습 벡터 생성부는 검출된 주요 요소에 따른 명암도(intensity) 성분과 에지(edge) 성분을 1차원 벡터로 재 배열시킨 학습 벡터를 생성한다. 본 문헌에서는 상기 생성된 학습 벡터를 제2 특징 벡터라 칭한다.
신경망 학습부(326)는 제2 특징 벡터를 입력받고, 제2 특징 벡터와 이미 추출되어 저장된 트레이닝 영상에 대한 제1 특징 벡터 간의 유사도 계산을 통해 입력 영상에 대한 인식 결과를 산출한다. 신경망 학습부(326)의 판단 결과 유사한 제1 특징 벡터가 탐색된 경우, 탐색된 제1 특징 벡터에 따른 사람의 ID를 출력한다. 만약, 유사한 제1 특징 벡터가 탐색되지 않은 경우 인증 거부에 메시지를 결과로서 출력한다.
도 8은 본 발명의 일 실시예에 따른 영상 인식 방법을 나타내는 흐름도이다. 도 8에 도시된 영상 인식 방법은 영상 인식 장치(300)에서 시계열적으로 수행되는 하기의 단계들을 포함한다.
410단계에서 3차원 영상 생성부(316)는 2차원 트레이닝 영상으로부터 예측되는 3차원 영상을 생성한다.
도 9는 도 8의 410단계에 대한 세부 흐름도이다. 3차원 영상 생성부(316)는 2차원 트레이닝 영상을 입력 받아(412단계), 3차원 영상 모델을 초기화하고(414단계), 3차원 영상 생성부(316)는 2차원의 트레이닝 영상과 3차원 영상 모델로 복원되는 3차원 영상과의 차이가 최소화되도록 3차원 영상 모델의 변수 즉 3차원 좌표 분산 벡터의 계수 및 색정보 분산 벡터의 계수를 결정하며(416단계), 결정된 계수에 따른 3차원 영상을 생성한다(418단계). 여기에서 영상 모델의 초기화는 2차원 영상의 크기와 위치에 3차원 영상 모델이 대략적으로 일치하도록 3차원 영상 모델을 평행 이동하거나 회전하는 것을 의미한다.
420단계에서 제1 특징 벡터 추출부(318)는 410단계에서 생성된 3차원 영상들을 2차원 공간에 투영시킨다. 본 단계에 앞서 3차원 영상 각각에 대하여 다양한 포즈와 조명을 적용하여 여러 개의 서로 다른 3차원 영상을 생성하고, 이로 부터 제1 특징 벡터를 추출할 경우 포즈의 조명 변화에 강인한 특징 벡터를 추출할 수 있다.
430단계에서 제1 특징 벡터 추출부(318)는 주요 요소에 대한 식별 정보를 이용하여 서브 영상을 추출한다. 440단계에서 제1 특징 벡터 추출부(318)는 430단계에서 추출된 서브 영상 각각에서 특징 벡터를 추출한다. 450단계에서 제2 특징 벡터 추출부(324)는 인식하고자 하는 입력 영상으로부터 서브 영상을 추출한다.
460단계에서 제2 특징 벡터 추출부(324)는 추출된 서브 영상 각각에서 제1 특징 벡터에 대응되는 제2 특징 벡터를 추출한다. 제2 특징 벡터 추출에 앞서 입력 영상으로 부터 얼굴 영역과 얼굴의 주요 요소를 검출하는 단계를 더 포함하는 것이 바람직하다. 얼굴 영역은 얼굴색 또는 Adaboost 방법과 같은 기존의 얼굴 검출 방법을 통해 검출할 수 있다. 얼굴의 주요 요소는 검출된 얼굴 영역에서 명암 히스토그램(intensity histogram)과 트레이닝 얼굴 영상들의 주요 요소에 대하여 사전에 학습된 확률 모델을 이용하여 검출한다. 본 단계의 제 2 특징 벡터는 검출된 주요 요소의 명암도(intensity) 성분과 에지(edge) 성분을 1차원 벡터로 재 배열 시킨 벡터가 바람직하다.
종래에는 인식하고자 하는 2차원 영상을 3차원 영상으로 복원할 경우 프로세싱 시간이 길어지는 문제가 있으나, 본 실시예의 경우에는 이러한 3차원 영상 복원 과정이 없기 때문에 영상의 인식 속도를 향상시킬 수 있다. 본 발명의 경우 트레이닝 영상 정보로 부터 특징 벡터를 산출하는 과정에서 얼굴의 포즈와 조명을 다양하게 변경시켜 얻어지는 2차원 영상을 학습 데이터로 활용하기 때문에 얼굴 인식의 강인성을 유지할 수 있다.
470단계에서 신경망 학습부(326)는 특징 벡터들 간의 유사도를 계산한다. 특징 벡터들 간의 유사도를 계산하는 방법에 특별한 제한은 없으나, 예를 들어 코사인 거리, 유클리디안 거리, 마하라오비스 거리 등을 이용하여 유사한 특징 벡터를 탐색할 수 있다.
480단계에서 신경망 학습부(326)는 인식 결과를 산출한다. 470단계에서 대비되는 두 개의 얼굴 영상에 따른 특징 벡터간의 코사인 거리가 소정의 기준값 보다 작은 경우에는 동일한 얼굴로 판단하고, 큰 경우에는 다른 얼굴로 판단한다.
한편 본 발명의 3D 영상 모델 생성 방법과 영상 인식 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로, 상기 개시된 실시예 들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
본 발명의 3차원 영상 모델 생성 방법 및 장치는 3차원 영상 모델을 생성하 는데 소요되는 프로세싱 속도와 정확성을 향상시킬 수 있기 때문에 3차원 영상 합성 장치, 3차원 영상 인식 장치에 사용하기에 적합하다. 또한, 본 발명의 영상 인식 장치는 영상 인식을 하고자 하는 2차원 입력 영상을 3차원 영상으로 복원하지 않고도 포즈와 조명에 강한 영상 인식이 가능하며, 2차원 입력 영상을 3차원 영상으로 복원함에 따라 소요되는 프로세싱 시간을 줄일 수 있기 때문에 시스템의 효율성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 모델 생성 장치를 나타내는 블록도이다.
도 2a와 2b는 3차원 얼굴 스캔 영상에서 특징점들을 추출하고, 삼각형 메쉬를 생성하는 예를 나타내는 참고도이다.
도 3은 3차원 얼굴 스캔 영상을 2차원 실린더 공간에 투영시키는 예를 나타내는 참고도이다.
도 4는 본 발명에서 2차원 실린더 공간상의 영상을 어파인 변환하는 예를 나타내는 것이다.
도 5는 본 발명의 일 실시예에 따른 3차원 영상 모델 생성 방법을 나타내는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 영상 인식 장치를 나타내는 블록도이다.
도 7은 2차원 트레이닝 얼굴 영상에 대하여 다양한 회전과 이동을 적용하고, 주요 요소를 추출하는 예를 나타내는 참고도이다.
도 8은 본 발명의 일 실시예에 따른 영상 인식 방법을 나타내는 흐름도이다.
도 9는 도 8에서 410단계에 대한 세부 흐름도이다.
Claims (21)
- a) 3차원 스캔 영상 각각에 따른 3차원 영상 특징점들을 선택하는 단계;b) 상기 3차원 스캔 영상 각각을 2차원 공간에 투영시키는 단계;c) 상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하고, 상기 기준 영상을 제외한 나머지 2차원 영상들을 상기 기준 영상의 형상에 대응되도록 변형시키는 단계;d) 상기 변형된 영상 각각에 따른 2차원 영상 특징점들을 추출하고, 상기 추출된 2차원 영상 특징점들을 이용하여 3차원 영상들을 복원하는 단계; 및e) 상기 복원된 3차원 영상들을 이용하여 3차원 영상 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 모델 생성 방법.
- 제 1 항에 있어서, 상기 c)단계는,c1) 상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하는 단계; 및c2) 기준 영상을 제외한 나머지 영상들의 특징점 위치와 상기 기준 영상의 특징점들의 위치가 서로 대응되도록 어파인 변환을 수행하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 모델 생성 방법.
- 제 2 항에 있어서, 상기 c)단계는,상기 c1)단계에서 결정된 기준 영상의 특징점들 중에서 외곽에 위치한 특징점들에 따른 마스크 영역을 결정하는 단계를 더 포함하고, 상기 c2) 단계의 어파인 변환은 상기 마스크 영역의 내에서 수행하는 것을 특징으로 하는 3차원 영상 모델 생성 방법.
- 제 3 항에 있어서, 상기 d)단계는d1) 상기 마스크 영역 내에 포함된 각각의 좌표에 따른 점들을 2차원 영상 특징점들로서 추출하는 단계;d2) 상기 추출된 2차원 영상 특징점들에 따른 삼각형 메쉬들을 생성하는 단계;d3) 상기 d2)단계에서 생성된 삼각형 메쉬들에 대한 역어파인 변환을 수행하여 2차원 실린더 공간상에 투영된 영상들을 생성하는 단계; 및d4) 상기 d3)단계에서 생성된 2차원 실린더 공간상에 투영된 영상 각각에 대한 역투영을 수행하여 3차원 영상들을 복원하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 모델 생성 방법.
- 제 1 항에 있어서, 상기 b) 단계는b1) 상기 선택된 특징점들에 따른 삼각형 메쉬들을 생성하는 단계; 및b2) 상기 삼각형 메쉬들이 생성된 3차원 스캔 영상 각각을 2차원 실린더 공간에 투영시키는 단계를 포함하는 것을 특징으로 하는 3차원 영상 모델 생성 방법.
- 제 1 항에 있어서,상기 e) 단계에서 3차원 영상 모델은 상기 복원된 3차원 영상들에 대한 주성분 분석(PCA)을 이용하여 생성하는 것을 특징으로 하는 3차원 영상 모델 생성 방법.
- 제 1 항에 있어서,상기 3차원 영상 모델은 3차원 형상 모델과 3차원 텍스쳐 모델을 포함하고,상기 3차원 형상 모델은 상기 복원된 3차원 영상 각각에 따른 3차원 특징점의 좌표 정보에 대한 주성분 분석을 통해 생성되는 3차원 좌표 평균 및 분산 벡터에 따른 모델이고,상기 3차원 텍스쳐 모델은 상기 복원된 3차원 영상 각각에 따른 3차원 특징점의 색 정보에 대한 주성분 분석을 통해 생성되는 3차원 색 정보 평균 및 분산 벡터에 따른 모델인 것을 특징으로 하는 3차원 영상 모델 생성 방법.
- 제 1 항에 있어서, 상기 e)단계는e1) 상기 복원된 3차원 영상 각각에 따른 특징점들의 3차원 좌표 정보와 색 정보를 획득하는 단계; 및e2) 상기 획득된 위치 정보와 색 정보를 이용하여 임의의 3차원 영상을 합성하기 위한 3차원 영상 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 모델 생성 방법.
- 제 1 항 내지 제 8 항 중 어느 한 항의 3차원 영상 모델 생성 방법을 컴퓨터 상에서 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
- 3차원 스캔 영상 각각에 따른 3차원 영상 특징점들을 선택하는 3차원 영상 특징점 선택부;상기 3차원 스캔 영상 각각을 2차원 공간에 투영시키는 2차원 공간 투영부;상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하고, 상기 기준 영상을 제외한 나머지 2차원 영상들을 상기 기준 영상의 형상에 대응되도록 변형시키는 영상 변형부;상기 변형된 영상 각각에 따른 2차원 영상 특징점들을 추출하고, 상기 추출된 2차원 영상 특징점들을 이용하여 3차원 영상들을 복원하는 3차원 영상 복원부; 및상기 복원된 3차원 영상들을 이용하여 3차원 영상 모델을 생성하는 모델 생성부를 포함하는 것을 특징으로 하는 3차원 영상 모델 생성 장치.
- 제 10 항에 있어서, 상기 영상 변형부는,상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하는 기준 영상 결정부;상기 기준 영상의 특징점들 중에서 외곽에 위치한 특징점들에 따른 마스크 영역을 결정하는 마스크 영역 결정부; 및상기 기준 영상을 제외한 나머지 영상들의 특징점 위치와 상기 기준 영상의 특징점들의 위치가 서로 대응되도록 어파인 변환을 수행하는 어파인 변환부를 포함하는 것을 특징으로 하는 3차원 영상 모델 생성 장치.
- 제 10 항에 있어서,상기 3차원 영상 특징점 선택부는 상기 선택된 특징점들에 따른 삼각형 메쉬들을 생성하는 메쉬 생성부를 더 포함하고,상기 2차원 공간 투영부는 상기 삼각형 메쉬들이 생성된 3차원 스캔 영상 각각을 2차원 실린더 공간에 투영시키는 투영부를 포함하는 것을 특징으로 하는 3차원 영상 모델 생성 장치.
- a) 3차원 스캔 영상 각각에 따른 3차원 영상 특징점들을 선택하고, 상기 3차원 스캔 영상 각각을 2차원 공간에 투영시키는 단계;b) 상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하고, 상기 기준 영상을 제외한 나머지 2차원 영상들을 상기 기준 영상의 형상에 대응되도록 변형시키는 단계;c) 상기 변형된 영상 각각에 따른 2차원 영상 특징점들을 추출하고, 상기 추출된 2차원 영상 특징점들을 이용하여 3차원 영상을 각각 복원하는 단계;d) 상기 복원된 3차원 영상들을 이용하여 3차원 영상 모델을 생성하는 단계;e) 2차원 트레이닝 영상들을 입력 받고, 상기 3차원 영상 모델을 이용하여 상기 트레이닝 영상으로부터 예측되는 3차원 합성 영상을 각각 생성하는 단계;f) 상기 생성된 3차원 합성 영상들로부터 각각의 트레이닝 영상에 따른 특징 벡터를 추출하는 단계; 및g) 인식하고자 하는 입력 영상에 대한 2차원 영상을 입력 받고, 입력된 2차원 영상으로부터 특징 벡터를 추출한 후 상기 입력 영상에 따른 특징 벡터와 상기 트레이닝 영상에 따른 특징 벡터들 간의 유사성을 이용하여 입력된 영상에 대한 인식 결과를 산출하는 단계를 포함하는 것을 특징으로 하는 영상 인식 방법.
- 제 13 항에 있어서,상기 a)단계에서 투영된 2차원 영상들을 이용하여, 영상을 이루는 주요 요소에 대한 식별 정보를 획득하는 단계를 더 포함하고,상기 f)단계는f1) 상기 e)단계에서 생성된 3차원 합성 영상들을 포즈 또는 조명을 조절하여 각각 2차원 공간에 투영시키고, 상기 주요 요소에 대한 식별 정보를 이용하여 상기 2차원 공간에 투영된 영상들로부터 상기 주요 요소와 관련된 서브 영상들을 추출하는 단계; 및f2) 상기 추출된 서브 영상들을 정규화하고, 상기 정규화된 서브 영상들로부터 특징 벡터들을 추출하는 단계를 포함하는 것을 특징으로 하는 영상 인식 방법.
- 제 14 항에 있어서, 상기 식별 정보를 획득하는 것은,상기 투영된 2차원 영상 각각을 주요 요소에 따라 구분하고, 상기 구분된 주요 요소에 포함된 특징점들 중 외곽에 위치한 특징점들로 이루어진 경계 영역 내에 있는 픽셀들로 정의되는 특징점 순서값을 주요 요소에 대한 식별 정보로 획득하는 것을 특징으로 하는 영상 인식 방법.
- 제 14 항에 있어서,상기 특징 벡터는 상기 정규화된 서브 영상들의 인텐서티 성분과 에지 성분을 포함하는 것을 특징으로 하는 영상 인식 방법.
- 제 14 항에 있어서,상기 e)단계에서 생성된 3차원 합성 영상들에 대하여 소정의 회전 이동과 위치 이동을 적용함으로써, 변형된 3차원 영상들을 생성하는 단계를 더 포함하고,상기 f1)단계는 상기 변형된 3차원 영상들을 각각 2차원 공간에 투영시키고, 상기 주요 요소에 대한 식별 정보를 이용하여 상기 2차원 공간에 투영된 영상들로 부터 상기 주요 요소와 관련된 서브 영상들을 추출하는 단계를 더 포함하며,상기 f2)단계에서 추출된 특징 벡터는 신경망 학습을 위한 학습 벡터이고,상기 g)단계에서 상기 입력 영상에 따른 특징 벡터와 상기 트레이닝 영상에 따른 특징 벡터들 간의 유사성을 이용하여 입력된 영상에 대한 인식 결과를 산출하 는 것은 상기 신경망 학습을 위한 학습 벡터와 상기 입력 영상에 따른 특징 벡터들 간의 유사성을 이용하는 것을 특징으로 하는 영상 인식 방법.
- 제 13 항에 있어서, 상기 e)단계는e1) 2차원 트레이닝 영상들을 입력 받는 단계;e2) 상기 트레이닝 영상 각각에 대하여 상기 3차원 영상 모델을 초기화하는 단계;e3) 상기 트레이닝 영상과 매치되는 3차원 영상 모델의 변수를 각각 결정하는 단계; 및e4) 상기 결정된 변수에 따라 예측되는 3차원 합성 영상을 각각 생성하는 단계를 포함하는 것을 특징으로 하는 영상 인식 방법.
- 제 13 항 내지 제 18 항 중 어느 한 항의 영상 인식 방법을 컴퓨터 상에서 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
- 3차원 스캔 영상 각각에 따른 3차원 영상 특징점들을 선택하는 3차원 영상 특징점 선택부;상기 3차원 스캔 영상 각각을 2차원 공간에 투영시키는 2차원 공간 투영부;상기 투영된 2차원 영상들 중에서 하나의 영상을 기준 영상으로 결정하고, 상기 기준 영상을 제외한 나머지 2차원 영상들을 상기 기준 영상의 형상에 대응되 도록 변형시키는 영상 변형부;상기 변형된 영상 각각에 따른 2차원 영상 특징점들을 추출하고, 상기 추출된 2차원 영상 특징점들을 이용하여 3차원 영상을 각각 복원하는 3차원 영상 복원부;상기 복원된 3차원 영상들을 이용하여 3차원 영상 모델을 생성하는 모델 생성부;2차원 트레이닝 영상들을 입력 받고, 상기 3차원 영상 모델을 이용하여 상기 트레이닝 영상으로부터 예측되는 3차원 합성 영상을 각각 생성하는 3차원 영상 생성부;상기 생성된 3차원 합성 영상들로부터 각각의 트레이닝 영상에 따른 특징 벡터를 추출하는 특징 벡터 추출부;인식하고자 하는 입력 영상에 대한 2차원 영상을 입력 받는 영상 입력부; 및상기 입력 영상에 대한 특징 벡터를 추출한 후 상기 입력 영상에 따른 특징 벡터와 상기 트레이닝 영상에 따른 특징 벡터들 간의 유사성을 이용하여 입력된 영상에 대한 인식 결과를 산출하는 영상 판단부를 포함하는 것을 특징으로 하는 영상 인식 장치.
- 제 20 항에 있어서,상기 투영된 2차원 영상들을 이용하여, 영상을 이루는 주요 요소에 대한 식별 정보를 획득하는 식별 정보 획득부를 더욱 구비하고,상기 특징 벡터 추출부는 트레이닝 영상 각각에 대하여 다양한 포즈와 조명을 조절하는 영상 조절부;상기 3차원 합성 영상을 2차원 실린더 공간에 투영하는 투영부; 및상기 투영된 영상으로부터 영상 인식을 위한 특징 벡터를 생성하는 벡터 생성부를 포함하는 것을 특징으로 하는 영상 인식 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070133530A KR100930994B1 (ko) | 2007-12-18 | 2007-12-18 | 3차원 영상 모델 생성 방법 및 장치, 이를 이용한 영상인식 방법 및 장치 그리고 상기 방법들을 수행하는프로그램이 기록된 기록 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070133530A KR100930994B1 (ko) | 2007-12-18 | 2007-12-18 | 3차원 영상 모델 생성 방법 및 장치, 이를 이용한 영상인식 방법 및 장치 그리고 상기 방법들을 수행하는프로그램이 기록된 기록 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090065965A KR20090065965A (ko) | 2009-06-23 |
| KR100930994B1 true KR100930994B1 (ko) | 2009-12-10 |
Family
ID=40994139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070133530A KR100930994B1 (ko) | 2007-12-18 | 2007-12-18 | 3차원 영상 모델 생성 방법 및 장치, 이를 이용한 영상인식 방법 및 장치 그리고 상기 방법들을 수행하는프로그램이 기록된 기록 매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100930994B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10242249B2 (en) | 2014-11-19 | 2019-03-26 | Samsung Electronics Co., Ltd. | Method and apparatus for extracting facial feature, and method and apparatus for facial recognition |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101615719B1 (ko) | 2009-09-18 | 2016-04-27 | 삼성전자주식회사 | 사용자의 3차원 얼굴 표정 추출 방법 및 장치 |
| KR101184097B1 (ko) | 2009-12-07 | 2012-09-18 | 삼성전자주식회사 | 얼굴 정면포즈 판단 방법 |
| KR101334107B1 (ko) * | 2010-04-22 | 2013-12-16 | 주식회사 굿소프트웨어랩 | 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법 |
| KR101233843B1 (ko) * | 2011-06-29 | 2013-02-15 | 포항공과대학교 산학협력단 | 부피 특징 벡터와 3차원 하르-유사 필터를 이용한 물체 검출 방법 및 장치 |
| KR101275938B1 (ko) * | 2011-12-13 | 2013-06-17 | 가톨릭대학교 산학협력단 | 가상 수술 시뮬레이션 방법 및 장치 |
| KR102290392B1 (ko) * | 2014-12-02 | 2021-08-17 | 삼성전자주식회사 | 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치 |
| KR101626901B1 (ko) * | 2014-12-03 | 2016-06-02 | 한국도로공사 | 암거의 정밀한 3차원 형상정보의 구축 시스템 및 그 방법 |
| KR101664365B1 (ko) | 2015-08-10 | 2016-10-19 | (주)씨소 | 파이프에 대한 3차원 스캔 영상 생성 방법 |
| KR101664364B1 (ko) | 2015-08-10 | 2016-10-19 | (주)씨소 | 파이프에 대한 3차원 스캔 장치 |
| US9978119B2 (en) * | 2015-10-22 | 2018-05-22 | Korea Institute Of Science And Technology | Method for automatic facial impression transformation, recording medium and device for performing the method |
| KR102433392B1 (ko) | 2016-03-04 | 2022-08-17 | 한국전자통신연구원 | 3d 볼륨 마스크 모델정보 생성 장치 및 그 방법 |
| US10417533B2 (en) * | 2016-08-09 | 2019-09-17 | Cognex Corporation | Selection of balanced-probe sites for 3-D alignment algorithms |
| KR102250163B1 (ko) * | 2018-11-23 | 2021-05-10 | 네이버웹툰 유한회사 | 딥러닝 기술을 이용하여 비디오 영상을 3d 비디오 영상으로 변환하는 방법 및 장치 |
| KR102160955B1 (ko) * | 2019-02-07 | 2020-09-29 | 주식회사 블루프린트랩 | 딥 러닝 기반 3d 데이터 생성 방법 및 장치 |
| CN109934909B (zh) * | 2019-03-04 | 2023-05-23 | 深圳市迷你玩科技有限公司 | 重构3d模型的方法、装置、电子设备及存储介质 |
| WO2023068817A1 (ko) * | 2021-10-19 | 2023-04-27 | (주)클로버추얼패션 | 렌더링 결과 테스트 방법 및 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030096965A (ko) * | 2002-06-18 | 2003-12-31 | 주식회사 페이스쓰리디 | 2차원 얼굴사진으로부터 3차원 얼굴형상 획득 시스템 및방법 |
| KR20050022306A (ko) * | 2003-08-29 | 2005-03-07 | 삼성전자주식회사 | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 |
| JP2006107145A (ja) | 2004-10-05 | 2006-04-20 | Tokyo Univ Of Agriculture & Technology | 顔形状モデリングシステムおよび顔形状モデリング方法 |
-
2007
- 2007-12-18 KR KR1020070133530A patent/KR100930994B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030096965A (ko) * | 2002-06-18 | 2003-12-31 | 주식회사 페이스쓰리디 | 2차원 얼굴사진으로부터 3차원 얼굴형상 획득 시스템 및방법 |
| KR20050022306A (ko) * | 2003-08-29 | 2005-03-07 | 삼성전자주식회사 | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 |
| JP2006107145A (ja) | 2004-10-05 | 2006-04-20 | Tokyo Univ Of Agriculture & Technology | 顔形状モデリングシステムおよび顔形状モデリング方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10242249B2 (en) | 2014-11-19 | 2019-03-26 | Samsung Electronics Co., Ltd. | Method and apparatus for extracting facial feature, and method and apparatus for facial recognition |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090065965A (ko) | 2009-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100930994B1 (ko) | 3차원 영상 모델 생성 방법 및 장치, 이를 이용한 영상인식 방법 및 장치 그리고 상기 방법들을 수행하는프로그램이 기록된 기록 매체 | |
| Heisele et al. | Categorization by learning and combining object parts | |
| JP4161659B2 (ja) | 画像認識システム及びその認識方法並びにプログラム | |
| JP5629803B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| US6707933B1 (en) | Face direction estimation using a single gray-level image | |
| JP4743823B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| US7095879B2 (en) | System and method for face recognition using synthesized images | |
| JP4723834B2 (ja) | 映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置 | |
| Blanz et al. | Fitting a morphable model to 3D scans of faces | |
| CN107330371A (zh) | 3d脸部模型的脸部表情的获取方法、装置和存储装置 | |
| WO1997044757A2 (en) | Principal component analysis of image/control-point location coupling for the automatic location of control points | |
| WO2004059573A2 (en) | Face recognition system and method | |
| KR20050022306A (ko) | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 | |
| KR20160066380A (ko) | 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치 | |
| JP2007226441A (ja) | 顔照合装置 | |
| US7848544B2 (en) | Robust face registration via multiple face prototypes synthesis | |
| CN110991258B (zh) | 一种人脸融合特征提取方法及系统 | |
| JP2008251039A (ja) | 画像認識システム及びその認識方法並びにプログラム | |
| KR100930722B1 (ko) | 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된기록매체 | |
| JP3577908B2 (ja) | 顔画像認識システム | |
| Tin | Robust Algorithm for face detection in color images | |
| Martins et al. | Monocular head pose estimation | |
| Bourbakis et al. | Skin-based face detection-extraction and recognition of facial expressions | |
| CN115393471A (zh) | 图像处理方法、装置及电子设备 | |
| KR102472110B1 (ko) | 감정 기반의 얼굴 영상 생성 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20121203 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20131202 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20141201 Year of fee payment: 6 |