KR20160046399A - 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법 - Google Patents

텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법 Download PDF

Info

Publication number
KR20160046399A
KR20160046399A KR1020140141857A KR20140141857A KR20160046399A KR 20160046399 A KR20160046399 A KR 20160046399A KR 1020140141857 A KR1020140141857 A KR 1020140141857A KR 20140141857 A KR20140141857 A KR 20140141857A KR 20160046399 A KR20160046399 A KR 20160046399A
Authority
KR
South Korea
Prior art keywords
texture map
generating
image frame
specific object
feature points
Prior art date
Application number
KR1020140141857A
Other languages
English (en)
Inventor
김보연
이상학
김종항
하성종
신영민
안유리
권연희
강선아
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020140141857A priority Critical patent/KR20160046399A/ko
Priority to US14/887,425 priority patent/US20160110909A1/en
Publication of KR20160046399A publication Critical patent/KR20160046399A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Generation (AREA)
  • Geometry (AREA)

Abstract

본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법은 카메라에 의하여 촬영된 영상 프레임들에서 특정 객체의 특징점들을 추출하는 단계; 상기 추출된 특정 객체의 특징점들의 정보에 기반하여 상기 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임을 선택하는 단계; 및 상기 선택한 영상 프레임을 이용하여 상기 특정 객체의 텍스쳐 맵을 생성하는 단계를 포함할 수 있다.

Description

텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법{Method and Apparatus for Generation Texture Map, and Database Generation Method}
본 발명은 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법에 관한 것이다. 보다 자세하게는, 본 발명은 2차원 영상으로부터 3차원 객체를 나타내기 위한 텍스쳐 맵을 생성하는 텍스쳐 맵 생성 방법 및 장치와 생성된 텍스쳐 맵을 이용하여 데이터 베이스를 생성하는 얼굴 인식을 위한 데이터 베이스 생성 방법에 관한 것이다.
얼굴 인식 기술은 동영상 또는 이미지에서 사람의 얼굴로 추정되는 부분을 감지하여 누구인지 등 다양한 정보를 확인하는 인식 기술을 의미한다.
이러한 얼굴 인식 기술은 크게 2차원 얼굴 인식 방법과 3차원 얼굴 인식 방법이 있다.
2차원 얼굴 인식 방법은 얼굴 영역 이미지 전체를 얼굴 인식을 위한 입력으로 사용하는 방법과 얼굴 영상으로부터 눈, 코, 입 등 국소적인 특징들을 추출한 후 통계적 모델 등을 통해 얼굴을 인식하는 방법이 있다. 얼굴 영역 이미지 전체를 얼굴 인식에 이용할 경우 조명 변화, 포즈 또는 표정 변화에 강인하지 못한 단점이 있다.
일반적으로 카메라 감시 시스템 환경에서 카메라는 3m 이상 높이에 설치되어 있다. 따라서, 카메라를 이용하여 촬영된 영상의 해상도가 낮고 사람의 포즈에 따라서 정면 얼굴 영상을 얻기 힘든 경우가 많다. 따라서, 국소적인 특징을 이용할 경우 정확한 얼굴 특징을 찾기 어려우며 시간이 오래 걸리는 단점이 있다.
3차원 얼굴 인식 방법은 2차원 영상으로부터 재 구성된 3차원 얼굴 모델을 생성한다. 생성된 3차원 얼굴 모델을 이용하여 다양한 포즈, 표정, 조명 변화를 포함하는 데이터 베이스를 생성한다. 생성된 데이터 베이스를 이용하여 카메라에 의하여 촬영된 영상으로부터 얼굴을 인식할 수 있다.
이러한 2차원 영상을 이용하여 3차원 얼굴 모델을 생성하기 위해서는 얼굴의 정면 영상이 필요하다.
본 발명이 해결하고자 하는 기술적 과제는 특정 객체의 정면 영상이 없어도 2차원 영상을 이용하여 특정 객체의 3차원 모델을 생성하기 위하여 이용되는 텍스쳐 맵을 생성할 수 있는 텍스쳐 맵 생성 방법 및 장치를 제공하는 것을 목적으로 한다. 상기 특정 객체의 3차원 모델이란 특정 객체에 해당하는 텍스쳐 맵을 3차원 표준 모델에 텍스쳐링한 모델을 의미한다.
또한, 본 발명이 해결하고자 하는 다른 기술적 과제는 보다 정확한 텍스쳐 맵을 생성할 수 있는 텍스쳐 맵 생성 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명이 해결하고자 하는 또 다른 기술적 과제는 생성된 텍스쳐 맵을 이용하여 특정 얼굴의 3차원 모델을 생성하고, 생성된 3차원 모델을 이용하여 특정 얼굴에 대한 다양한 정보를 생성하여 데이터 베이스화하는 베이스 생성 방법을 제공하는 것을 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 제1 태양(Aspect)에 따른 텍스쳐 맵 생성 방법은 카메라에 의하여 촬영된 영상 프레임들에서 특정 객체의 특징점들을 추출하는 단계; 상기 추출된 특정 객체의 특징점들의 정보에 기반하여 상기 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임을 선택하는 단계; 및 상기 선택한 영상 프레임을 이용하여 상기 특정 객체의 텍스쳐 맵을 생성하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 영상 프레임을 선택하는 단계는, 상기 카메라에 의하여 촬영된 영상 프레임들 중 제1 영상 프레임에서 추출된 특징점들이 기 설정된 제1 그룹 특징점들을 모두 포함하는 경우, 상기 제1 영상 프레임만을 상기 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임으로 선택하는 단계를 포함하고, 상기 텍스쳐 맵을 생성하는 단계는, 상기 선택된 제1 영상 프레임을 이용하여 하나의 텍스쳐 맵을 생성하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 상기 영상 프레임을 선택하는 단계는, 상기 추출된 특징점들의 개수가 기 설정된 개수 이상인 영상 프레임을 둘 이상 선택하는 단계를 포함하고, 상기 텍스쳐 맵을 생성하는 단계는, 상기 선택된 둘 이상의 영상 프레임들을 이용하여 상기 특정 객체의 텍스쳐 맵을 둘 이상 생성하는 단계; 및 상기 생성된 둘 이상의 텍스쳐 맵을 정합하여 하나의 최종 텍스쳐 맵을 생성하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 최종 텍스쳐 맵을 생성하는 단계는, 상기 둘 이상의 텍스쳐 맵을 정합하는 과정에서 발생하는 경계 영역을 블랜딩(Blending)처리하여 상기 최종 텍스쳐 맵을 생성하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 영상 프레임을 선택하는 단계는, 상기 선택한 둘 이상의 영상 프레임들에서 추출한 특징점들의 집합이 제1 그룹 특징점들을 모두 포함하는 경우, 상기 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임의 추가적인 선택을 종료하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 추출된 특징점의 개수가 기 설정된 개수 이상인 영상 프레임이 하나 존재하며, 상기 하나의 영상 프레임의 특징점들은 제1 그룹 특징점들을 모두 포함하지 않는 경우, 상기 영상 프레임을 선택하는 단계는, 상기 하나의 영상 프레임을 상기 제1 영상 프레임만을 상기 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임으로 선택하는 단계를 포함하고, 상기 텍스쳐 맵을 생성하는 단계는, 상기 선택된 하나의 영상 프레임을 이용하여 하나의 텍스쳐 맵을 생성하는 단계; 상기 생성된 하나의 텍스쳐 맵을 미러링(Mirroring)하여 새로운 텍스쳐 맵을 생성하는 단계; 및 상기 생성된 하나의 텍스쳐 맵과 상기 새로운 텍스쳐 맵을 정합하여 하나의 최종 텍스쳐 맵을 생성하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 최종 텍스쳐 맵을 생성하는 단계는, 상기 정합하는 과정에서 발생하는 경계 영역을 블랜딩(Blending)처리하여 상기 최종 텍스쳐 맵을 생성하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 텍스쳐 맵 생성 방법은, 상기 선택한 영상 프레임의 해상도를 향상시키는 처리를 수행하고, 상기 텍스쳐 맵을 생성하는 단계는, 상기 해상도가 향상된 영상 프레임을 이용하여 상기 특정 객체의 텍스쳐 맵을 생성하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 텍스쳐 맵 생성 방법은, 3차원 표준 객체 모델과 표준 UV 텍스쳐 맵(Texture Map)을 이용하여 상기 표준 UV 텍스쳐 맵의 각 픽셀과 대응되는 메쉬(Mesh)의 버텍스(Vertex) 좌표를 산출하는 단계; 상기 선택한 영상 프레임에서 추출된 특정 객체의 특징점들, 상기 표준 객체 모델의 특징점들 및 상기 선택한 영상 프레임을 촬영한 카메라의 파라미터를 이용하여 상기 선택한 영상 프레임의 카메라 촬영 시점에 관한 정보를 획득하는 단계; 및 상기 획득한 촬영 시점에 관한 정보 및 상기 버텍스 좌표를 이용하여 상기 선택한 영상의 프레임에서 상기 텍스쳐 맵을 생성하는데 필요한 영역에 해당하는 픽셀 정보를 획득하는 단계를 더 포함하며, 상기 텍스쳐 맵을 생성하는 단계는, 상기 획득한 픽셀 정보를 이용하여 상기 특정 객체의 텍스쳐 맵을 생성할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제2 태양에 따른 얼굴 인식을 위한 데이터 생성 방법은 3차원 표준 얼굴 모델과 표준 UV 텍스쳐 맵(Texture Map)을 이용하여 표준 UV 텍스쳐 맵의 각 픽셀과 대응되는 메쉬(Mesh)의 버텍스(Vertex) 좌표를 산출하는 단계; 영상 프레임들에서 상기 특정 얼굴의 특징점들을 추출하는 단계; 상기 추출된 특정 얼굴의 특징점들의 개수에 기반하여 상기 특정 얼굴의 텍스쳐 맵 생성에 이용되는 영상 프레임을 선택하는 단계; 상기 선택된 영상 프레임을 이용하여 상기 특정 얼굴의 텍스쳐 맵을 생성하는 단계; 상기 생성된 텍스쳐 맵, 상기 산출된 버텍스 좌표 및 상기 3차원 표준 얼굴 모델을 이용하여 텍스쳐링(Texturing)을 수행하여 상기 특정 얼굴의 3차원 모델을 생성하는 단계; 및 상기 생성된 특정 얼굴의 3차원 모델 및 랜더링(Rendering) 기술을 이용하여 상기 특정 얼굴에 관한 데이터 베이스를 생성하는 단계를 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제3 태양에 따른 텍스쳐 맵 생성 장치는, 카메라에 의하여 촬영된 영상 프레임들에서 특정 객체의 특징점들을 추출하는 특징점 추출부; 상기 추출된 특정 객체의 특징점들의 정보에 기반하여 상기 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임을 선택하는 프레임 선택부; 및 상기 선택한 영상 프레임을 이용하여 상기 특정 객체의 텍스쳐 맵을 생성하는 텍스쳐 맵 생성부를 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제4 태양에 따른 매체에 저장된 컴퓨터프로그램은 하드웨어와 결합되어, 카메라에 의하여 촬영된 영상 프레임들에서 특정 객체의 특징점들을 추출하는 단계; 상기 추출된 특정 객체의 특징점들의 정보에 기반하여 상기 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임을 선택하는 단계; 및 상기 선택한 영상 프레임을 이용하여 상기 특정 객체의 텍스쳐 맵을 생성하는 단계를 포함하는 텍스쳐 맵 생성 방법을 수행할 수 있다.
상기와 같은 본 발명에 따르면, 보다 정확한 텍스쳐 맵을 생성할 수 있는 효과가 있다.
또한, 상기와 같은 본 발명에 따르면, 특정 객체의 정면 영상이 없어도 텍스쳐 맵을 생성할 수 있는 효과가 있다.
또한, 상기와 같은 본 발명에 따르면 생성된 텍스쳐 맵을 이용하여 특정 얼굴의 3차원 모델을 생성하고, 생성된 3차원 모델을 이용하여 특정 얼굴에 대한 다양한 정보를 생성하여 데이터 베이스화하여 정확도 높은 얼굴 인식이 가능한 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법에 관한 흐름도이다.
도 2는 3차원 표준 얼굴 모델의 일 예를 나타내는 도면이다.
도 3은 표준 UV 텍스쳐 맵의 일 예를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법에서 S600 단계가 추가된 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법에서 S400 과정을 구체화한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법에서 S500 과정을 구체화한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법을 이용한 얼굴 인식을 위한 데이터 베이스 생성 방법에 관한 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 텍스쳐 맵 생성 장치에 관한 블록도이다.
도 9는 상기 텍스쳐 맵 생성 장치의 도 8과는 다른 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함될 수 있다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 도 1 내지 6을 참조하여 본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법을 설명한다. 본 실시예는 연산 수단을 구비한 컴퓨팅 장치에 의하여 수행 될 수 있다. 상기 컴퓨팅 장치는, 예를 들어 본 발명의 실시예에 따른 텍스쳐 맵 생성 장치일 수 있다. 상기 텍스쳐 맵 생성 장치의 구체적인 구성에 대하여는 추후 도 8 및 9를 참조하여서 이해할 수 있다.
도 1은 본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법에 관한 흐름도이다.
도 1을 참조하면, 텍스쳐 맵 생성 장치가 표준 객체 모델과 표준 UV 텍스쳐 맵(Texture Map)을 이용하여 버텍스(Vertex) 좌표를 산출한다(S100).
구체적으로, 3차원 표준 객체 모델과 표준 UV 텍스쳐 맵을 이용하여 표준 UV 텍스쳐 맵의 각 픽셀과 대응되는 메쉬(Mesh)의 버텍스 좌표를 산출할 수 있다.
도 2는 3차원 표준 얼굴 모델의 일 예를 나타내는 도면이다.
도 2를 참조하면, 관심을 가지는 특정 객체가 사람의 얼굴인 경우 3차원 표준 얼굴 모델은 도 2와 같을 수 있다.
표준 얼굴 모델은 관심을 가지는 사람의 국적, 연령, 성별 등을 고려하여 생성된 것일 수 있다.
표준 얼굴 모델 표면에 존재하는 삼각형 각각을 하나의 메쉬로 볼 수 있다.
도 3은 표준 UV 텍스쳐 맵의 일 예를 나타내는 도면이다.
도 2 및 도 3을 참조하면, 텍스쳐 맵 생성 장치가 표준 얼굴 모델과 표준 UV 텍스쳐 맵을 이용하여 표준 UV 텍스쳐 맵의 각 픽셀이 표준 얼굴 모델의 어떠한 메쉬에 대응되는지를 나타내는 버텍스 좌표를 산출할 수 있다.
버텍스 좌표의 구체적인 산출 방법은 공지된 기술을 이용할 수 있다.
다시 도 1를 참조하면, 텍스쳐 맵 생성 장치가 영상 프레임들에서 특정 객체의 특징점들을 추출한다(S200).
영상 프레임들은 카메라에 의하여 촬영된 영상을 구성하는 프레임들이다. 영상 프레임들은 하나의 카메라에 의하여 촬영된 영상을 구성하는 프레임들일 수 있으며, 복수 개의 카메라에 의하여 촬영된 영상들을 구성하는 프레임들일 수 있다.
즉, 본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법은 특정 객체가 복수 개의 카메라에 의하여 촬영된 경우, 복수 개의 카메라에 의하여 촬영된 영상들을 구성하는 프레임들을 이용할 수도 있다.
특정 객체가 존재하는 영상 프레임들이 제1 영상 프레임, 제2 영상 프레임 및 제3 영상 프레임인 경우, 텍스쳐 맵 생성 장치가 제1 영상 프레임, 제2 영상 프레임 및 제3 영상 프레임에 각각 존재하는 특정 객체의 특징점들을 추출할 수 있다.
상기 제1 영상 프레임 카메라에 의하여 촬영된 첫 번째 영상 프레임을 의미하는 것은 아니다. 제1 영상 프레임, 제2 영상 프레임 및 제3 영상 프레임은 카메라에 의하여 촬영된 영상 프레임들 중 어느 특정 영상 프레임을 의미한다.
특정 객체의 이동, 카메라의 시점 변경 등에 따라서 제1 영상 프레임, 제2 영상 프레임 및 제3 영상 프레임에 각각 존재하는 특정 객체의 특징점들의 개수 및 정보는 서로 상이할 수 있다. 특징점들의 정보가 서로 상이하다는 것은 추출된 특징점이 어디에 해당되는 특징점인가 서로 상이하다는 것을 의미할 수 있다. 예를 들면, 특정 객체가 사람의 얼굴인 경우 추출 대상이 되는 특징점이 눈동자 가운데 점, 코볼의 양 끝 점 및 입 꼬리의 양쪽 끝 점이라고 가정한다. 제1 영상 프레임에서는 한쪽 눈동자 가운데 점, 한쪽 코볼의 끝 점 한쪽 입 꼬리의 끝 점이 추출되고, 제2 영상 프레임에서는 양쪽 눈동자 가운데 점, 코볼의 양 끝 점이 추출된 경우 각 프레임에서 추출된 정보는 상이할 수 있다. 이러한 경우 구체적으로 다른 한쪽 눈동자 가운데 점, 다른 한쪽 코볼의 끝 점, 한쪽 입 꼬리의 끝 점에 관한 정보가 서로 상이한 것을 알 수 있다.
텍스쳐 맵 생성 장치가 추출하는 특정 객체의 특징점들은 기 설정된 특징점들일 수 있다.
예를 들어 특정 객체가 사람의 얼굴인 경우, 기 설정된 특정 객체의 특징점들은 예를 들면, 눈동자 가운데 점, 눈가 양 끝점, 코 볼의 양 끝 점, 입 꼬리의 양 끝 점이 될 수 있다. 기 설정된 특정 객체의 특징점들은 본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법을 수행하는 컴퓨팅 장치의 연산 처리 능력, 사용자의 설정 등에 따라서 설정되거나 변경될 수 있다.
텍스쳐 맵 생성 장치가 텍스쳐 맵 생성에 이용되는 영상 프레임을 선택한다(S300).
텍스쳐 맵 생성 장치는 추출된 특징점들의 정보에 기반하여 영상 프레임을 선택할 수 있다. 예를 들면, 텍스쳐 맵 생성 장치는 추출된 특징점들의 개수에 기반하여 영상 프레임을 선택할 수 있다.
구체적으로 예를 들면, 텍스쳐 맵 생성 장치는 영상 프레임들 중 어느 하나의 영상 프레임인 제1 영상 프레임에서 추출된 특징점들이 기 설정된 제1 그룹 특징점들을 모두 포함하는 경우, 제1 영상 프레임만을 텍스쳐 맵 생성에 이용되는 영상 프레임으로 선택할 수 있다.
기 설정된 제1 그룹 특징점들은 특정 객체의 정면이 촬영된 것으로 판단할 수 있는지 여부를 기준으로 설정될 수 있다.
특정 객체가 사람의 얼굴인 경우, 특정 객체의 정면은 사람의 얼굴 정면이 촬영된 것을 의미한다. 즉, 특정 객체의 정면이 촬영되었다는 의미는 특정 객체의 텍스쳐 맵을 생성하기에 충분한 정보가 촬영되었다는 것을 의미할 수 있다.
앞서 설명한 기 설정된 특정 객체의 특징점들과 연관 지어 구체적으로 예를 들면, 기 설정된 제1 그룹 특징점들은 눈동자 가운데 점, 눈가 양 끝점, 코 볼의 양 끝 점 및 입 꼬리의 양 끝 점이 될 수 있다.
또는, 기 설정된 제1 그룹 특징점들은 텍스쳐 맵을 생성하기에 충분한 정보가 촬영되었다는 것을 의미하는 범위에서 설정될 수 있다. 예를 들면, 기 설정된 제1 그룹 특징점들은 눈동자 가운데 점, 코볼의 양 끝 점 및 입 꼬리의 한쪽 끝 점이 될 수 있다. 즉, 제1 그룹 특징점들은 기 설정된 특정 객체의 특징점들과 동일할 수도 있지만 일부만 포함할 수도 있다.
텍스쳐 맵 생성 장치는 제1 영상 프레임만을 이용하여 텍스쳐 맵을 생성하기에 충분한 정보가 포함되었다고 판단하는 경우, 제1 영상 프레임만을 텍스쳐 맵 생성을 위한 프레임으로 선택할 수 있다. 그러나, 텍스쳐 맵 생성 장치는 제1 영상 프레임만을 이용하여 텍스쳐 맵을 생성하기에 충분한 정보가 포함되지 않는다고 판단하는 경우에는 복수 개의 영상 프레임을 텍스쳐 맵 생성을 위한 프레임으로 선택할 수 있다.
즉, 텍스쳐 맵 생성 장치는 텍스쳐 맵 생성에 이용하기 좋은 복수 개의 영상 프레임을 선택할 수 있다.
구체적으로 예를 들면, 텍스쳐 맵 생성 장치는 추출된 특징점들의 개수가 기 설정된 개수 이상인 영상 프레임들을 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임들을 선택할 수 있다.
또한, 텍스쳐 맵 생성 장치는 선택된 영상 프레임들에서 추출한 특징점들의 집합이 제1 그룹 특징점들을 모두 포함하는 경우 추가적인 영상 프레임들의 선택을 종료할 수 있다. 현재까지 선택된 영상 프레임들을 이용하여 텍스쳐 맵을 생성할 수 있기 때문이다. 다만, 이러한 경우에도 텍스쳐 맵 생성 장치는 보다 정확도가 향상된 텍스쳐 맵을 생성하기 위해서 추가적인 영상 프레임을 선택할 수도 있다.
텍스쳐 맵 생성 장치는 추출된 특징점의 개수가 기 설정된 개수 이상인 영상 프레임이 하나만 존재하는 경우, 상기 하나의 영상 프레임만을 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임으로 선택할 수 있다.
텍스쳐 맵 생성 장치는 선택된 하나의 영상 프레임 또는 복수 개의 영상 프레임들을 이용하여 특정 객체의 텍스쳐 맵을 생성할 수 있다(S500).
텍스쳐 맵 생성 장치는 선택된 하나의 영상 프레임 또는 복수 개의 영상 프레임들을 이용하여 특정 객체의 텍스쳐 맵을 생성하기 전에 선택된 영상 프레임(들)에서 텍스쳐 맵을 생성하는데 필요한 영역에 해당하는 픽셀 정보를 획득할 수 있다(S400).
앞으로 본 발명의 실시예를 설명하는데 사용하는 '선택된 영상 프레임'은 '선택된 하나의 영상 프레임'뿐만 아니라 '복수 개의 영상 프레임들'을 포함하는 의미로 해석한다.
도 4는 본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법에서 S600 단계가 추가된 흐름도이다.
도 4를 참조하면, 텍스쳐 맵 생성 장치는 텍스쳐 맵을 생성하는데 필요한 영역에 해당하는 픽셀 정보를 획득하기 전에 선택된 프레임의 해상도를 향상시키는 고해상도 처리를 수행할 수 있다(S600).
다만, 고해상도 처리를 수행하는 단계(S600)는 선택된 프레임들만의 해상도를 향상시킬 수도 있으나, 프레임에서 특징점들을 추출하는 단계(S200)이전에 수행될 수 있다.
즉, 고생해도 처리를 수행하는 단계(S600)은 모든 영상 프레임들에 대하여 수행되어 보다 높은 정확도로 특징점들을 추출하는데 도움이 될 수 있다.
영상 프레임에 대하여 고해상도 처리를 수행하는 과정(S600)은 카메라에 의하여 촬영되는 원본 프레임의 해상도, 본 발명의 실시예에 따른 텍스쳐 맵 생성 방법을 수행하는 컴퓨팅 장치의 연산 능력 등에 따라서 모든 프레임들에 대하여 고해상도 처리를 할지 선택된 프레임에 대하여만 고해상도 처리를 할지 결정될 수 있으며, 순서가 변경될 수도 있다.
고해상도 처리의 구체적인 방법은 공지된 다양한 기술을 이용할 수 있다.
도 5는 본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법에서 S400 과정을 구체화한 흐름도이다.
도 5를 참조하면, 텍스쳐 맵 생성 장치가 선택한 영상 프레임의 카메라 촬영 시점에 관한 정보를 획득한다(S410).
구체적으로, 텍스쳐 맵 생성 장치는 선택한 영상 프레임에서 추출된 특정 객체의 특징점들, 상기 3차원 표준 객체 모델의 특징점들 및 상기 선택한 영상 프레임을 촬영한 카메라의 파라미터 정보를 이용하여 선택된 영상 프레임을 촬영한 카메라의 촬영 시점에 관한 정보를 획득할 수 있다.
텍스쳐 맵 생성 장치는 UV 좌표와 대응되는 버텍스 정보 및 상기 획득한 카메라의 촬영 시점에 관한 정보를 이용하여 텍스쳐 맵을 생성하는데 필요한 영역에 해당하는 픽셀 정보를 획득할 수 있다(S420).
즉, 텍스쳐 맵 생성 장치는 선택된 영상 프레임에서 표준 UV 텍스쳐 맵에 대응될 수 있는 픽셀 정보를 획득할 수 있다.
텍스쳐 맵 생성 장치는 선택한 영상 프레임의 모든 픽셀 정보를 이용하지 않고 텍스쳐 맵을 생성하는데 필요한 영역에 해당하는 픽셀 정보만을 이용하여 특정 객체의 텍스쳐 맵을 생성할 수 있다.
본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법이 텍스쳐 맵을 생성하는 구체적인 예를 도 6을 참조하여 설명한다.
도 6은 본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법에서 S500 과정을 구체화한 흐름도이다.
도 6을 참조하면, 텍스쳐 맵 생성 장치가 선택된 영상 프레임을 이용하여 텍스쳐 맵을 생성한다(S510).
텍스쳐 맵 생성 장치는 선택된 영상 프레임에서 필요한 영역에 해당하는 픽셀 정보만을 이용하여 텍스쳐 맵을 생성할 수 있다.
텍스쳐 맵 생성 장치는 선택된 영상 프레임이 하나면 하나의 텍스쳐 맵을 생성할 수 있다. 또한, 텍스쳐 맵 생성 장치는 선택된 영상 프레임이 n개이면 n개의 텍스쳐 맵을 생성할 수 있다. 즉, 텍스쳐 맵 생성 장치는 선택된 영상 프레임마다 텍스쳐 맵을 생성할 수 있다.
텍스쳐 맵 생성 장치는 생성된 텍스쳐 맵이 복수 개인 경우(S520), 복수 개의 텍스쳐 맵을 정합한다(S530).
선택된 영상 프레임이 복수 개인 경우 S510 단계에서 생성된 텍스쳐 맵은 복수 개가 된다. 텍스쳐 맵 생성 장치는 복수 개의 텍스쳐 맵을 정합하여 하나의 텍스쳐 맵을 생성한다.
구체적으로 예를 들면, 텍스쳐 맵 생성 장치는 중첩되는 영역의 루미넌스를 최소화 하는 등의 다양한 방법을 사용할 수 있다.
또한, 추가적으로 텍스쳐 맵 생성 장치는 복수 개의 텍스쳐 맵이 정합하여 발생하는 경계 영역을 블랜딩(Blending) 처리할 수 있다(S540).
텍스쳐 맵 생성 장치는 정합 및 블랜딩 처리한 하나의 텍스쳐 맵을 특정 객체의 최종 텍스쳐 맵으로 생성할 수 있다(S550).
복수 개의 텍스쳐 맵을 정합하여 발생하는 경계 영역을 블랜딩 처리 한다는 것은 중첩된 텍스쳐 맵이 자연스럽게 연결되도록 하는 처리를 의미한다.
생성된 텍스쳐 맵이 하나인 경우이면서, 생성된 텍스쳐 맵을 생성하는데 이용한 하나의 영상 프레임이 제1 그룹 특징점들을 모두 포함한 영상 프레임인 경우(S520, S560), 텍스쳐 맵 생성 장치는 생성된 하나의 텍스쳐 맵을 최종 텍스쳐 맵으로 결정할 수 있다(S550).
그러나, 생성된 텍스쳐 맵이 하나이나 생성된 텍스쳐 맵을 생성하는데 이용한 하나의 영상 프레임이 제1 그룹 특징점들을 모두 포함하지 못한 영상 프레임인 경우(S520, S560), 텍스쳐 맵 생성 장치는 하나의 텍스쳐 맵을 미러링(Mirroring)하여 새로운 텍스쳐 맵을 하나 생성한다(S570).
텍스쳐 맵 생성 장치는 S510 단계에서 생성된 기존의 텍스쳐 맵과 S570 단계에서 추가적으로 생성된 새로운 텍스쳐 맵을 정합한다(S530). 또한, 텍스쳐 맵 생성 장치는 경계 영역을 블랜딩 처리(S540)하여 특정 객체의 최종 텍스쳐 맵을 생성한다(S550).
본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법에서 S570 단계를 포함하여 최종 텍스쳐 맵을 생성하는 방법은 특정 객체(예를 들면 사람의 얼굴)의 한 쪽 측면만이 촬영된 영상이 있는 경우 특정 객체의 텍스쳐 맵을 생성하는데 특히 효과적이다.
또한, 본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법에서 S530 단계를 포함하여 최종 텍스쳐 맵을 생성하는 방법은 특정 객체가 정면 시점이 아닌 시점에서 촬영되는 경우에도 특정 객체의 텍스쳐 맵을 생성할 수 있다.
도 7은 본 발명의 일 실시예에 따른 텍스쳐 맵 생성 방법을 이용한 얼굴 인식을 위한 데이터 베이스 생성 방법에 관한 흐름도이다.
도 7에서 을 참조하여 설명하는 얼굴 인식을 위한 데이터 베이스 생성 방법은 연산 수단을 구비한 컴퓨팅 장치에 의하여 수행 될 수 있다. 상기 컴퓨팅 장치는, 예를 들어 본 발명의 실시예에 따른 텍스쳐 맵 생성 장치를 이용한 장치 또는 시스템일 수 있다.
계속하여 도 7을 참조하면, S710 단계 내지 S750 단계는 도 1 내지 도 6을 참조하여 설명한 텍스쳐 맵 생성 방법과 유사하다. 차이점은 특정 객체는 사람의 얼굴이 되며, 3차원 표준 객체 모델은 3차원 표준 얼굴 모델이 된다.
즉, 최종적으로 카메라에 의하여 촬영된 영상 프레임에 포함된 특정 얼굴의 텍스쳐 맵이 생성된다(S750).
생성된 특정 얼굴의 텍스쳐 맵, 산출된 버텍스 좌표 및 3차원 표준 얼굴 모델을 이용하여 텍스쳐링(Texturing)을 수행한다 (S760).
구체적으로, 특정 얼굴에 대응하여 생성된 텍스쳐 맵을 3차원 표준 모델에 텍스쳐링(Texturing)하여 특정 얼굴의 3차원 표준 모델을 생성할 수 있다.
생성된 3차원 표준 모델 및 랜더링(Rendering) 기술을 이용하여 특정 얼굴에 관한 다양한 데이터를 수집하여 데이터 베이스를 생성할 수 있다(S770).
구체적으로 예를 들면, 생성된 특정 얼굴의 3차원 모델을 다양한 시점에서 회전, 줌인, 줌아웃하여 다양한 데이터 베이스를 생성할 수 있다. 추가적으로 조명을 추가하여 보다 다양한 데이터 베이스를 생성할 수 있다.
도 7을 참조하여 설명한 본 발명의 실시예에 따른 얼굴 인식을 위한 데이터 베이스 생성 방법에 의하여 생성된 특정 얼굴에 관한 데이터 베이스를 활용하여 카메라에 의하여 촬영된 영상에서 특정 얼굴 인식 정확도를 향상시킬 수 있다.
도 8은 본 발명의 다른 실시예에 따른 텍스쳐 맵 생성 장치에 관한 블록도이다.
도 1 내지 도 6을 참조하여 설명한 텍스쳐 맵 생성 방법에 관한 내용은 도 8을 참조하여 설명하는 텍스쳐 맵 생성 장치(100)에 적용될 수 있다.
도 8을 참조하면, 본 발명의 다른 실시예에 따른 텍스쳐 맵 생성 장치(100)는 좌표 산출부(110), 특징점 추출부(120), 프레임 선택부(130), 시점 정보 획득부(140), 픽셀 정보 획득부(150) 및 텍스쳐 맵 생성부(160)를 포함할 수 있다.
좌표 산출부(110)는 표준 객체 모델과 표준 UV 텍스쳐 맵(Texture Map)을 이용하여 버텍스(Vertex) 좌표를 산출할 수 있다.
특징점 추출부(120)는 영상 프레임들에서 특정 객체의 특징점들을 추출할 수 있다.
프레임 선택부(130)는 추출된 특징점들의 개수 등과 같은 특징점들의 정보에 기반하여 텍스쳐 맵 생성에 이용되는 영상 프레임을 선택할 수 있다.
시점 정보 획득부(140)는 선택된 영상 프레임의 카메라 촬영 시점에 관한 정보를 획득할 수 있다.
픽셀 정보 획득부(150)는 획득한 촬영 시점에 관한 정보 및 상기 버텍스 좌표를 이용하여 상기 선택한 영상 프레임에서 상기 텍스쳐 맵을 생성하는데 필요한 영역에 해당하는 픽셀 정보를 획득할 수 있다.
텍스쳐 맵 생성부(160)는 선택한 영상 프레임과 획득한 픽셀 정보를 이용하여 특정 객체의 텍스쳐 맵을 생성한다. 텍스쳐 맵 생성부(160)가 텍스쳐 맵을 생성하는 보다 자세한 내용은 도 6을 참조하여 이해할 수 있다.
도 9는 상기 텍스쳐 맵 생성 장치의 도 8과는 다른 구성도이다.
텍스쳐 맵 생성 장치(100)는 도 9에 도시된 구성을 가질 수도 있다. 텍스쳐 맵 생성 장치(100)는 명령어를 수행하는 프로세서(1), 메모리(2), 텍스쳐 맵 생성 프로그램 데이터가 저장되는 스토리지(3), 외부 장치와의 데이터 송수신을 위한 네트워크 인터페이스(4) 및 데이터 버스(5)를 포함할 수 있다.
데이터 버스(5)는 프로세서(1), 메모리(2), 스토리지(3) 및 네트워크 인터페이스(4)와 연결되어 데이터 이동 통로가 될 수 있다.
스토리지(3)에는 상기 텍스쳐 맵 생성 프로그램 데이터가 저장될 수 있다. 상기 텍스쳐 맵 생성 프로그램은 카메라에 의하여 촬영된 영상 프레임들에서 특정 객체의 특징점들을 추출하는 과정, 상기 추출된 특정 객체의 특징점들의 정보에 기반하여 상기 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임을 선택하는 과정 및 상기 선택한 영상 프레임을 이용하여 상기 특정 객체의 텍스쳐 맵을 생성하는 과정을 포함할 수 있다.
지금까지 도 1 내지 도 7를 참조하여 설명된 본 발명의 실시예들에 따른 텍스쳐 맵 생성 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터 프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터가 읽을 수 있는 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록 된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 전송되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 데스크탑 피씨와 같은 고정식 컴퓨팅 장치, 노트북, 스마트폰, 태블릿 피씨와 같은 모바일 컴퓨팅 장치 및 스마트 와치, 스마트 안경과 같은 웨어러블 컴퓨팅 장치를 모두 포함한다.
지금까지 도 8의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (16)

  1. 카메라에 의하여 촬영된 영상 프레임들에서 특정 객체의 특징점들을 추출하는 단계;
    상기 추출된 특정 객체의 특징점들의 정보에 기반하여 상기 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임을 선택하는 단계; 및
    상기 선택한 영상 프레임을 이용하여 상기 특정 객체의 텍스쳐 맵을 생성하는 단계를 포함하는, 텍스쳐 맵 생성 방법.
  2. 제1 항에 있어서,
    상기 영상 프레임을 선택하는 단계는,
    상기 카메라에 의하여 촬영된 영상 프레임들 중 제1 영상 프레임에서 추출된 특징점들이 기 설정된 제1 그룹 특징점들을 모두 포함하는 경우, 상기 제1 영상 프레임만을 상기 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임으로 선택하는 단계를 포함하고,
    상기 텍스쳐 맵을 생성하는 단계는,
    상기 선택된 제1 영상 프레임을 이용하여 하나의 텍스쳐 맵을 생성하는 단계를 더 포함하는, 텍스쳐 맵 생성 방법.
  3. 제1 항에 있어서,
    상기 영상 프레임을 선택하는 단계는,
    상기 추출된 특징점들의 개수가 기 설정된 개수 이상인 영상 프레임을 둘 이상 선택하는 단계를 포함하고,
    상기 텍스쳐 맵을 생성하는 단계는,
    상기 선택된 둘 이상의 영상 프레임들을 이용하여 상기 특정 객체의 텍스쳐 맵을 둘 이상 생성하는 단계; 및
    상기 생성된 둘 이상의 텍스쳐 맵을 정합하여 하나의 최종 텍스쳐 맵을 생성하는 단계를 포함하는, 텍스쳐 맵 생성 방법.
  4. 제3 항에 있어서,
    상기 최종 텍스쳐 맵을 생성하는 단계는,
    상기 둘 이상의 텍스쳐 맵을 정합하는 과정에서 발생하는 경계 영역을 블랜딩(Blending)처리하여 상기 최종 텍스쳐 맵을 생성하는 단계를 포함하는, 텍스쳐 맵 생성 방법.
  5. 제3 항에 있어서,
    상기 영상 프레임을 선택하는 단계는,
    상기 선택한 둘 이상의 영상 프레임들에서 추출한 특징점들의 집합이 제1 그룹 특징점들을 모두 포함하는 경우, 상기 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임의 추가적인 선택을 종료하는 단계를 포함하는, 텍스쳐 맵 생성 방법.
  6. 제1 항에 있어서,
    상기 추출된 특징점의 개수가 기 설정된 개수 이상인 영상 프레임이 하나 존재하며, 상기 하나의 영상 프레임의 특징점들은 제1 그룹 특징점들을 모두 포함하지 않는 경우,
    상기 영상 프레임을 선택하는 단계는,
    상기 하나의 영상 프레임을 제1 영상 프레임만을 상기 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임으로 선택하는 단계를 포함하고,
    상기 텍스쳐 맵을 생성하는 단계는,
    상기 선택된 하나의 영상 프레임을 이용하여 하나의 텍스쳐 맵을 생성하는 단계;
    상기 생성된 하나의 텍스쳐 맵을 미러링(Mirroring)하여 새로운 텍스쳐 맵을 생성하는 단계; 및
    상기 생성된 하나의 텍스쳐 맵과 상기 새로운 텍스쳐 맵을 정합하여 하나의 최종 텍스쳐 맵을 생성하는 단계를 포함하는, 텍스쳐 맵 생성 방법.
  7. 제6 항에 있어서,
    상기 최종 텍스쳐 맵을 생성하는 단계는,
    상기 정합하는 과정에서 발생하는 경계 영역을 블랜딩(Blending)처리하여 상기 최종 텍스쳐 맵을 생성하는 단계를 포함하는, 텍스쳐 맵 생성 방법.
  8. 제1 항에 있어서,
    상기 텍스쳐 맵 생성 방법은,
    상기 선택한 영상 프레임의 해상도를 향상시키는 처리를 수행하고,
    상기 텍스쳐 맵을 생성하는 단계는,
    상기 해상도가 향상된 영상 프레임을 이용하여 상기 특정 객체의 텍스쳐 맵을 생성하는 단계를 포함하는, 텍스쳐 맵 생성 방법.
  9. 제1 항에 있어서,
    상기 텍스쳐 맵 생성 방법은,
    3차원 표준 객체 모델과 표준 UV 텍스쳐 맵(Texture Map)을 이용하여 상기 표준 UV 텍스쳐 맵의 각 픽셀과 대응되는 메쉬(Mesh)의 버텍스(Vertex) 좌표를 산출하는 단계;
    상기 선택한 영상 프레임에서 추출된 특정 객체의 특징점들, 상기 표준 객체 모델의 특징점들 및 상기 선택한 영상 프레임을 촬영한 카메라의 파라미터를 이용하여 상기 선택한 영상 프레임의 카메라 촬영 시점에 관한 정보를 획득하는 단계; 및
    상기 획득한 촬영 시점에 관한 정보 및 상기 버텍스 좌표를 이용하여 상기 선택한 영상의 프레임에서 상기 텍스쳐 맵을 생성하는데 필요한 영역에 해당하는 픽셀 정보를 획득하는 단계를 더 포함하며,
    상기 텍스쳐 맵을 생성하는 단계는,
    상기 획득한 픽셀 정보를 이용하여 상기 특정 객체의 텍스쳐 맵을 생성하는, 텍스쳐 맵 생성 방법.
  10. 3차원 표준 얼굴 모델과 표준 UV 텍스쳐 맵(Texture Map)을 이용하여 표준 UV 텍스쳐 맵의 각 픽셀과 대응되는 메쉬(Mesh)의 버텍스(Vertex) 좌표를 산출하는 단계;
    영상 프레임들에서 상기 특정 얼굴의 특징점들을 추출하는 단계;
    상기 추출된 특정 얼굴의 특징점들의 개수에 기반하여 상기 특정 얼굴의 텍스쳐 맵 생성에 이용되는 영상 프레임을 선택하는 단계;
    상기 선택된 영상 프레임을 이용하여 특정 얼굴의 텍스쳐 맵을 생성하는 단계;
    상기 생성된 텍스쳐 맵, 상기 산출된 버텍스 좌표 및 상기 3차원 표준 얼굴 모델을 이용하여 텍스쳐링(Texturing)을 수행하여 상기 특정 얼굴의 3차원 모델을 생성하는 단계; 및
    상기 생성된 특정 얼굴의 3차원 모델 및 랜더링(Rendering) 기술을 이용하여 상기 특정 얼굴에 관한 데이터 베이스를 생성하는 단계를 포함하는, 얼굴 인식을 위한 데이터 베이스 생성 방법.
  11. 카메라에 의하여 촬영된 영상 프레임들에서 특정 객체의 특징점들을 추출하는 특징점 추출부;
    상기 추출된 특정 객체의 특징점들의 정보에 기반하여 상기 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임을 선택하는 프레임 선택부; 및
    상기 선택한 영상 프레임을 이용하여 상기 특정 객체의 텍스쳐 맵을 생성하는 텍스쳐 맵 생성부를 포함하는, 텍스쳐 맵 생성 장치.
  12. 제11 항에 있어서,
    상기 프레임 선택부는,
    상기 카메라에 의하여 촬영된 영상 프레임들 중 제1 영상 프레임에서 추출된 특징점들이 기 설정된 제1 그룹 특징점들을 모두 포함하는 경우, 상기 제1 영상 프레임만을 상기 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임으로 선택하고,
    상기 텍스쳐 맵 생성부는,
    상기 선택된 제1 영상 프레임을 이용하여 하나의 텍스쳐 맵을 생성하는, 텍스쳐 맵 생성 장치.
  13. 제11 항에 있어서,
    상기 프레임 선택부는,
    상기 추출된 특징점들의 개수가 기 설정된 개수 이상인 영상 프레임을 둘 이상 선택하고,
    상기 텍스쳐 맵 생성부는,
    상기 선택된 둘 이상의 영상 프레임들을 이용하여 상기 특정 객체의 텍스쳐 맵을 둘 이상 생성하고, 상기 생성된 둘 이상의 텍스쳐 맵을 정합하여 하나의 최종 텍스쳐 맵을 생성하는, 텍스쳐 맵 생성 장치.
  14. 제11 항에 있어서,
    상기 추출된 특징점의 개수가 기 설정된 개수 이상인 영상 프레임이 하나 존재하며, 상기 하나의 영상 프레임의 특징점들은 제1 그룹 특징점들을 모두 포함하지 않는 경우,
    상기 프레임 선택부는,
    상기 하나의 영상 프레임을 제1 영상 프레임만을 상기 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임으로 선택하고,
    상기 텍스쳐 맵 생성부는,
    상기 선택된 하나의 영상 프레임을 이용하여 하나의 텍스쳐 맵을 생성하고, 상기 생성된 하나의 텍스쳐 맵을 미러링(Mirroring)하여 새로운 텍스쳐 맵을 생성하며, 상기 생성된 하나의 텍스쳐 맵과 상기 새로운 텍스쳐 맵을 정합하여 하나의 최종 텍스쳐 맵을 생성하는, 텍스쳐 맵 생성 장치.
  15. 제11 항에 있어서,
    상기 텍스쳐 맵 생성 장치는,
    3차원 표준 객체 모델과 표준 UV 텍스쳐 맵(Texture Map)을 이용하여 상기 표준 UV 텍스쳐 맵의 각 픽셀과 대응되는 메쉬(Mesh)의 버텍스(Vertex) 좌표를 산출하는 좌표 산출부;
    상기 선택한 영상 프레임에서 추출된 특정 객체의 특징점들, 상기 표준 객체 모델의 특징점들 및 상기 선택한 영상 프레임을 촬영한 카메라의 파라미터를 이용하여 상기 선택한 영상 프레임의 카메라 촬영 시점에 관한 정보를 획득하는 시점 정보 획득부; 및
    상기 획득한 촬영 시점에 관한 정보 및 상기 버텍스 좌표를 이용하여 상기 선택한 영상의 프레임에서 상기 텍스쳐 맵을 생성하는데 필요한 영역에 해당하는 픽셀 정보를 획득하는 픽셀 정보 획득부를 더 포함하며,
    상기 텍스쳐 맵 생성부는,
    상기 획득한 픽셀 정보를 이용하여 상기 특정 객체의 텍스쳐 맵을 생성하는, 텍스쳐 맵 생성 장치.
  16. 하드웨어와 결합되어,
    카메라에 의하여 촬영된 영상 프레임들에서 특정 객체의 특징점들을 추출하는 단계;
    상기 추출된 특정 객체의 특징점들의 정보에 기반하여 상기 특정 객체의 텍스쳐 맵 생성에 이용되는 영상 프레임을 선택하는 단계; 및
    상기 선택한 영상 프레임을 이용하여 상기 특정 객체의 텍스쳐 맵을 생성하는 단계를 포함하는 텍스쳐 맵 생성 방법을 수행하기 위하여 매체에 저장된 컴퓨터프로그램.
KR1020140141857A 2014-10-20 2014-10-20 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법 KR20160046399A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140141857A KR20160046399A (ko) 2014-10-20 2014-10-20 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
US14/887,425 US20160110909A1 (en) 2014-10-20 2015-10-20 Method and apparatus for creating texture map and method of creating database

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140141857A KR20160046399A (ko) 2014-10-20 2014-10-20 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법

Publications (1)

Publication Number Publication Date
KR20160046399A true KR20160046399A (ko) 2016-04-29

Family

ID=55749461

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140141857A KR20160046399A (ko) 2014-10-20 2014-10-20 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법

Country Status (2)

Country Link
US (1) US20160110909A1 (ko)
KR (1) KR20160046399A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386619B2 (en) 2020-02-27 2022-07-12 Samsung Electronics Co., Ltd. Method and apparatus for transmitting three-dimensional objects
KR20230108150A (ko) * 2022-01-10 2023-07-18 울산과학기술원 기계 학습 모델을 이용하여 시각 기반 촉감 출력을 위한 컴퓨터 장치 및 그의 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170103563A1 (en) * 2015-10-07 2017-04-13 Victor Erukhimov Method of creating an animated realistic 3d model of a person
US10706577B2 (en) * 2018-03-06 2020-07-07 Fotonation Limited Facial features tracker with advanced training for natural rendering of human faces in real-time
US10834413B2 (en) * 2018-08-24 2020-11-10 Disney Enterprises, Inc. Fast and accurate block matching for computer generated content

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100918392B1 (ko) * 2006-12-05 2009-09-24 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
US9311746B2 (en) * 2012-05-23 2016-04-12 Glasses.Com Inc. Systems and methods for generating a 3-D model of a virtual try-on product

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386619B2 (en) 2020-02-27 2022-07-12 Samsung Electronics Co., Ltd. Method and apparatus for transmitting three-dimensional objects
KR20230108150A (ko) * 2022-01-10 2023-07-18 울산과학기술원 기계 학습 모델을 이용하여 시각 기반 촉감 출력을 위한 컴퓨터 장치 및 그의 방법

Also Published As

Publication number Publication date
US20160110909A1 (en) 2016-04-21

Similar Documents

Publication Publication Date Title
US10832039B2 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
US10535160B2 (en) Markerless augmented reality (AR) system
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
KR101893047B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
US20190026948A1 (en) Markerless augmented reality (ar) system
JP6685827B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN110363133B (zh) 一种视线检测和视频处理的方法、装置、设备和存储介质
EP3241151B1 (en) An image face processing method and apparatus
KR102476016B1 (ko) 안구 위치 정보 확정 방법 및 장치
EP2182469B1 (en) System and method for sensing facial gesture
JP6587435B2 (ja) 画像処理装置、情報処理方法及びプログラム
CN113487742A (zh) 用于生成三维模型的方法和系统
JP2009020761A (ja) 画像処理装置及びその方法
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
WO2023066120A1 (zh) 图像处理方法、装置、电子设备及存储介质
JP5087037B2 (ja) 画像処理装置、方法及びプログラム
KR20160046399A (ko) 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
US11106949B2 (en) Action classification based on manipulated object movement
KR102068489B1 (ko) 3차원 객체 생성 장치
US20200211275A1 (en) Information processing device, information processing method, and recording medium
JP2018029270A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
CN109710371A (zh) 字体调节方法、装置及系统
KR20180069312A (ko) 라이트 필드 동영상을 이용한 물체 추적 방법 및 장치
CN114255494A (zh) 图像处理方法、装置、设备及存储介质
JP2011232845A (ja) 特徴点抽出装置および方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20141020

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20190920

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20141020

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200903

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20201217

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20200903

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I