KR101906431B1 - ２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템 - Google Patents

２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템 Download PDF

Info

Publication number
KR101906431B1
KR101906431B1 KR1020170091895A KR20170091895A KR101906431B1 KR 101906431 B1 KR101906431 B1 KR 101906431B1 KR 1020170091895 A KR1020170091895 A KR 1020170091895A KR 20170091895 A KR20170091895 A KR 20170091895A KR 101906431 B1 KR101906431 B1 KR 101906431B1
Authority
KR
South Korea
Prior art keywords
image
modeling
model
original image
corrected
Prior art date
Application number
KR1020170091895A
Other languages
English (en)
Inventor
정유진
김정희
Original Assignee
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버랩스 주식회사 filed Critical 네이버랩스 주식회사
Priority to KR1020170091895A priority Critical patent/KR101906431B1/ko
Application granted granted Critical
Publication of KR101906431B1 publication Critical patent/KR101906431B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06K9/00208—
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

2D 이미지 인식에 기반한 3D 모델링 방법 및 그 시스템이 개시된다. 3D 모델링 방법은, 전자 기기로부터 원본 이미지인 2D 이미지를 수신하는 단계; 상기 원본 이미지에 포함된 오브젝트의 특징 정보에 기초하여 3D 모델링 대상이 되는 2D 이미지인 보정 이미지를 획득하는 단계; 및 상기 보정 이미지를 이용하여 상기 원본 이미지에 대한 3D 모델을 생성하는 단계를 포함한다.

Description

２Ｄ 이미지 인식에 기반한 ３Ｄ 모델링 방법 및 그 시스템{METHOD AND SYSTEM FOR 3D MODELING BASED ON 2D IMAGE RECOGNITION}
아래의 설명은 2D 이미지를 이용하여 3D 모델을 생성하는 기술에 관한 것이다.
오브젝트에 대한 3D 모델은 컴퓨터 게임이나 애니메이션 제작 등 다양한 분야에서 수요가 있으며 최근 3D 프린터의 보급에 따라 더욱 많은 수요가 필요하게 되었다.
3D 모델은 숙련된 전문가와 전문 소프트웨어 툴을 이용하여 작성하거나 스캐너를 이용하여 제작하였으나, 최근 일반인도 쉽게 3D 모델을 생성할 수 있는 연구가 활발히 진행되고 있다.
오브젝트를 3차원으로 모델링 하는 방법에는 여러 가지가 있다. 그 중 하나는 직접 오브젝트를 3차원으로 스캔하여 스캔된 데이터로 3차원 오브젝트를 모델링 하는 방법이 있고, 다른 하나는 오브젝트를 여러 각도에서 촬영하고 촬영된 결과를 이용하여 미리 만들어진 3차원 형상의 일반 오브젝트 모델을 변형하여 3차원 오브젝트를 모델링 하는 방법이 있다.
2D 이미지에 대해 3D 모델링에 적합한 2D 이미지를 획득한 후 획득한 2D 이미지를 이용하여 3D 모델을 생성할 수 있는 방법 및 시스템을 제공한다.
컴퓨터로 3D 모델링 방법에 있어서, 전자 기기로부터 원본 이미지인 2D 이미지를 수신하는 단계; 상기 원본 이미지에 포함된 오브젝트의 특징 정보에 기초하여 3D 모델링 대상이 되는 2D 이미지인 보정 이미지를 획득하는 단계; 및 상기 보정 이미지를 이용하여 상기 원본 이미지에 대한 3D 모델을 생성하는 단계를 포함하는 3D 모델링 방법을 제공한다.
일 측면에 따르면, 상기 획득하는 단계는, 3D 모델링이 가능한 조건의 2D 이미지를 대상으로 상기 특징 정보와 매칭되는 이미지를 검색함으로써 상기 보정 이미지를 획득할 수 있다.
다른 측면에 따르면, 상기 획득하는 단계는, 이미지 학습 모델을 이용하여 상기 원본 이미지를 3D 모델링이 가능한 조건의 2D 이미지로 변환함으로써 상기 보정 이미지를 획득할 수 있다.
또 다른 측면에 따르면, 임의의 2D 이미지로 이루어진 임의 이미지 셋을 구축하는 단계; 3D 모델링이 가능한 조건의 2D 이미지로 이루어진 유효 이미지 셋을 구축하는 단계; 및 상기 임의 이미지 셋을 상기 유효 이미지 셋으로 변환하는 딥러닝(deep learning) 모델을 학습하는 단계를 더 포함하고, 상기 획득하는 단계는, 상기 학습된 딥러닝 모델을 통해 상기 원본 이미지를 3D 모델링이 가능한 조건의 2D 이미지로 변환함으로써 상기 보정 이미지를 획득할 수 있다.
또 다른 측면에 따르면, 상기 획득하는 단계는, 상기 원본 이미지에 포함된 오브젝트의 특징 정보를 기반으로 3D 모델링이 가능한 조건의 2D 이미지를 생성함으로써 상기 보정 이미지를 획득할 수 있다.
또 다른 측면에 따르면, 상기 획득하는 단계는, 상기 원본 이미지에서 얼굴 랜드마크를 추출하는 단계; 상기 얼굴 랜드마크를 기반으로 얼굴 회전 각도를 계산하는 단계; 및 상기 얼굴 회전 각도에 기초하여 정면 얼굴 사진을 생성함으로써 상기 보정 이미지를 획득하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 획득하는 단계는, 상기 오브젝트의 특징 정보에 기초하여 상기 원본 이미지가 3D 모델링에 적합한지 여부를 판단하는 단계; 및 상기 원본 이미지가 3D 모델링에 적합하지 않은 경우 상기 특징 정보와 매칭되는 2D 이미지를 상기 보정 이미지로서 획득하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 생성하는 단계는, 상기 보정 이미지에서 특징점을 추출하여 사전에 저장된 3D 모델들과의 유사도를 계산한 후 상기 유사도를 기준으로 상기 보정 이미지와 매칭되는 3D 모델을 선택할 수 있다.
또 다른 측면에 따르면, 상기 생성하는 단계는, 상기 원본 이미지와 상기 보정 이미지를 비교하여 상기 원본 이미지와 차이가 있는 특징을 상기 보정 이미지에 반영한 후 해당 이미지로 상기 3D 모델을 생성할 수 있다.
또 다른 측면에 따르면, 상기 생성하는 단계는, 상기 원본 이미지에서 인식된 특징 정보나 스타일 정보를 이용하여 상기 3D 모델의 특징이나 스타일을 수정 또는 추가하는 단계를 포함할 수 있다.
컴퓨터와 결합되어 상기 3D 모델링 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
상기 3D 모델링 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체를 제공한다.
컴퓨터로 구현되는 3D 모델링 시스템에 있어서, 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 전자 기기로부터 원본 이미지인 2D 이미지를 수신하는 이미지 수신부; 상기 원본 이미지에 포함된 오브젝트의 특징 정보에 기초하여 3D 모델링 대상이 되는 2D 이미지인 보정 이미지를 획득하는 이미지 획득부; 및 상기 보정 이미지를 이용하여 상기 원본 이미지에 대한 3D 모델을 생성하는 3D 모델 생성부를 포함하는 3D 모델링 시스템을 제공한다.
본 발명의 실시예들에 따르면, 2D 이미지의 원본을 그대로 사용하지 않고 원본 이미지의 특징 인식을 기반으로 3D 모델링에 적합한 이미지를 획득한 후 획득한 2D 이미지를 이용하여 3D 모델을 생성함으로써 3D 모델링의 서비스 한계를 극복할 수 있고 3D 모델의 오류를 최소화 하여 사용자 만족도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 있어서 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 서버의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 서버가 수행할 수 있는 방법의 예를 도시한 흐름도이다.
도 5는 본 발명의 일실시예에 있어서 보정 이미지를 획득하는 과정의 예를 도시한 흐름도이다.
도 6 내지 도 8은 본 발명의 일실시예에 있어서 보정 이미지를 획득하는 과정을 설명하기 위한 예시 도면들이다.
도 9 내지 도 10은 본 발명의 일실시예에 있어서 3D 모델을 생성하는 과정을 설명하기 위한 예시 도면들이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시예들은 2D 이미지를 이용하여 3D 모델을 생성하는 기술에 관한 것으로, 더욱 상세하게는 2D 이미지의 특징 인식을 기반으로 3D 모델링에 적합한 이미지를 획득한 후 획득한 2D 이미지를 이용하여 3D 모델을 생성하는 방법 및 시스템에 관한 것이다.
본 명세서에서 구체적으로 개시되는 것들을 포함하는 실시예들은 2D 이미지의 특징 인식을 기반으로 3D 모델링을 수행할 수 있고, 이를 통해 모델링 대상 이미지에 대한 제약을 최소화 할 수 있고 3D 모델의 완성도를 향상시킬 수 있으며, 더 나아가 편의성, 용이성, 비용 절감 등의 측면에 있어서도 상당한 장점들을 달성한다.
도 1은 본 발명의 일 실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다.
복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 태블릿 PC, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등이 있다. 일례로 제1 전자 기기(110)는 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있다.
통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다.
일례로, 서버(160)는 네트워크(170)를 통해 접속한 제1 전자 기기(110)로 어플리케이션의 설치를 위한 파일을 제공할 수 있다. 이 경우 제1 전자 기기(110)는 서버(160)로부터 제공된 파일을 이용하여 어플리케이션을 설치할 수 있다. 또한, 제1 전자 기기(110)가 포함하는 운영체제(Operating System, OS)나 적어도 하나의 프로그램(일례로 브라우저나 상기 설치된 어플리케이션)의 제어에 따라 서버(150)에 접속하여 서버(150)가 제공하는 서비스나 컨텐츠를 제공받을 수 있다. 예를 들어, 제1 전자 기기(110)가 어플리케이션의 제어에 따라 네트워크(170)를 통해 서비스 요청 메시지를 서버(150)로 전송하면, 서버(150)는 서비스 요청 메시지에 대응하는 코드를 제1 전자 기기(110)로 전송할 수 있고, 제1 전자 기기(110)는 어플리케이션의 제어에 따라 코드에 따른 화면을 구성하여 표시함으로써 사용자에게 컨텐츠를 제공할 수 있다.
도 2는 본 발명의 일 실시예에 있어서 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다. 도 2에서는 하나의 전자 기기에 대한 예로서 제1 전자 기기(110), 그리고 하나의 서버에 대한 예로서 서버(150)의 내부 구성을 설명한다. 다른 전자 기기들(120, 130, 140)이나 서버(160) 역시 동일한 또는 유사한 내부 구성을 가질 수 있다.
제1 전자 기기(110)와 서버(150)는 메모리(211, 221), 프로세서(212, 222), 통신 모듈(213, 223) 그리고 입출력 인터페이스(214, 224)를 포함할 수 있다. 메모리(211, 221)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(211, 221)에는 운영체제나 적어도 하나의 프로그램 코드(일례로 제1 전자 기기(110)에 설치되어 구동되는 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(211, 221)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신 모듈(213, 223)을 통해 메모리(211, 221)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로 상술한 서버(160))이 네트워크(170)를 통해 제공하는 파일들에 의해 설치되는 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(211, 221)에 로딩될 수 있다.
프로세서(212, 222)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(211, 221) 또는 통신 모듈(213, 223)에 의해 프로세서(212, 222)로 제공될 수 있다. 예를 들어 프로세서(212, 222)는 메모리(211, 221)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 모듈(213, 223)은 네트워크(170)를 통해 제1 전자 기기(110)와 서버(150)가 서로 통신하기 위한 기능을 제공할 수 있으며, 다른 전자 기기(일례로 제2 전자 기기(120)) 또는 다른 서버(일례로 서버(160))와 통신하기 위한 기능을 제공할 수 있다. 일례로, 제1 전자 기기(110)의 프로세서(212)가 메모리(211)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(213)의 제어에 따라 네트워크(170)를 통해 서버(150)로 전달될 수 있다. 역으로, 서버(150)의 프로세서(222)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 통신 모듈(223)과 네트워크(170)를 거쳐 제1 전자 기기(110)의 통신 모듈(213)을 통해 제1 전자 기기(110)로 수신될 수 있다. 예를 들어 통신 모듈(213)을 통해 수신된 서버(150)의 제어 신호나 명령 등은 프로세서(212)나 메모리(211)로 전달될 수 있고, 컨텐츠나 파일 등은 제1 전자 기기(110)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.
입출력 인터페이스(214)는 입출력 장치(215)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(214)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 제1 전자 기기(110)의 프로세서(212)는 메모리(211)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 서버(150)나 제2 전자 기기(120)가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(214)를 통해 디스플레이에 표시될 수 있다. 입출력 인터페이스(224) 또한 마찬가지로 서버(150)의 프로세서(222)가 메모리(221)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어 서버(150)가 제공하는 데이터를 이용하여 구성되는 정보를 출력할 수 있다.
또한, 다른 실시예들에서 제1 전자 기기(110) 및 서버(150)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 제1 전자 기기(110)는 상술한 입출력 장치(215) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 제1 전자 기기(110)가 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 제1 전자 기기(110)에 더 포함되도록 구현될 수 있음을 알 수 있다.
이하에서는 2D 이미지 인식에 기반한 3D 모델링 방법 및 시스템의 구체적인 실시예를 설명하기로 한다.
2D 이미지를 기반으로 한 3D 모델링 서비스에서 모델링에 적합하지 않은 이미지가 업로드 되는 경우가 있으며, 예를 들어 3D 캐릭터를 생성하기 위해서는 정확한 정면 이미지가 필요하나 정면을 벗어난 각도의 이미지가 업로드 되거나 자동 3D 모델링이 불가능한 이미지가 업로드 되는 경우가 많다. 사용자가 업로드 한 이미지를 그대로 이용하여 3D 모델링 하게 되면 생성된 3D 모델에 오류가 생길 가능성이 매우 높다.
본 발명은 3D 모델링 서비스의 한계를 극복하고 3D 모델의 완성도를 높이기 위해 사용자가 업로드 한 2D 이미지의 특징 인식을 기반으로 하여 3D 모델링에 적합한 2D 이미지를 획득한 후 해당 이미지를 이용하여 3D 모델을 생성하는 방식을 적용할 수 있다.
도 3은 본 발명의 일실시예에 따른 서버의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 블록도이고, 도 4는 본 발명의 일실시예에 따른 서버가 수행할 수 있는 방법의 예를 도시한 흐름도이다.
본 실시예에 따른 서버(150)에는 컴퓨터로 구현된 3D 모델링 시스템이 구성될 수 있다. 서버(150)는 클라이언트(client)인 복수의 전자 기기들(110, 120, 130, 140)을 대상으로 2D 이미지 기반의 3D 모델링 서비스를 제공하는 것으로, 전자 기기들(110, 120, 130, 140) 상에 설치된 전용 어플리케이션이나 서버(150)와 관련된 웹/모바일 사이트 접속을 통해 3D 모델링 서비스를 제공할 수 있다.
서버(150)는 도 4에 따른 3D 모델링 방법을 수행하기 위해, 서버(150)의 프로세서(222)는 구성요소로서 도 3에 도시된 바와 같이, 이미지 수신부(310), 이미지 획득부(320), 및 3D 모델 생성부(330)를 포함할 수 있다. 실시예에 따라 프로세서(222)의 구성요소들은 선택적으로 프로세서(222)에 포함되거나 제외될 수도 있다. 또한, 실시예에 따라 프로세서(222)의 구성요소들은 프로세서(222)의 기능의 표현을 위해 분리 또는 병합될 수도 있다.
이러한 프로세서(222) 및 프로세서(222)의 구성요소들은 도 4의 3D 모델링 방법이 포함하는 단계들(S410 내지 S440)을 수행하도록 서버(150)를 제어할 수 있다. 예를 들어, 프로세서(222) 및 프로세서(222)의 구성요소들은 메모리(221)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.
여기서, 프로세서(222)의 구성요소들은 서버(150)에 저장된 프로그램 코드가 제공하는 명령에 따라 프로세서(222)에 의해 수행되는 프로세서(222)의 서로 다른 기능들(different functions)의 표현들일 수 있다. 예를 들어, 서버(150)가 2D 이미지를 수신하도록 상술한 명령에 따라 서버(150)를 제어하는 프로세서(222)의 기능적 표현으로서 이미지 수신부(310)가 이용될 수 있다.
단계(S410)에서 프로세서(222)는 서버(150)의 제어와 관련된 명령이 로딩된 메모리(221)로부터 필요한 명령을 읽어드릴 수 있다. 이 경우, 상기 읽어드린 명령은 프로세서(222)가 이후 설명될 단계들(S420 내지 S440)을 실행하도록 제어하기 위한 명령을 포함할 수 있다.
단계(S420)에서 이미지 수신부(310)는 전자 기기(예컨대, 제1 전자 기기(110))로부터 3D 모델링을 위한 2D 이미지(이하, '원본 이미지'라 칭함)를 수신할 수 있다. 서버(150)는 클라이언트(client)인 복수의 전자 기기들(110, 120, 130, 140)을 대상으로 2D 이미지 기반의 3D 모델링 서비스를 제공할 수 있으며, 이때 이미지 수신부(310)는 사용자가 전자 기기를 통해 3D 모델링 서비스에 업로드 한 원본 이미지를 수신할 수 있다.
단계(S430)에서 이미지 획득부(320)는 전자 기기로부터 수신된 원본 이미지에 포함된 오브젝트의 특징을 인식하여 인식된 특징을 기반으로 3D 모델링에 유효한 2D 이미지(이하, '보정 이미지'라 칭함)를 획득할 수 있다. 예를 들어, 오브젝트의 각도가 틀어져 있거나, 오브젝트 상에 혹은 인접한 위치에 다른 객체가 존재하거나, 오브젝트 내 일부 객체가 일그러져 있는 이미지의 경우 3D 모델링에 어려움이 있기 때문에 원본 이미지를 그대로 이용하지 않고 3D 모델링의 대상이 되는 오브젝트를 표준 모델로 보정하는 작업이 필요하다. 이에, 이미지 획득부(320)는 3D 모델링의 완성도를 높이고 3D 모델의 오류를 최소화 하기 위해 사용자가 업로드 한 원본 이미지에 포함된 오브젝트의 특징을 인식하여 해당 오브젝트의 특징을 기반으로 하여 원본 이미지로부터 직접 보정 이미지를 획득하거나 원본 이미지를 이용하여 보정 이미지를 획득할 수 있다.
본 실시예들은 원본 이미지에 포함된 오브젝트에 대한 3D 모델을 생성하기 위한 것으로, 본 명세서에서 오브젝트는 사람의 얼굴이나 각종 캐릭터는 물론이고 일반적인 동식물이나 각종 사물 등을 포괄하여 의미할 수 있으며, 사람의 얼굴을 오브젝트의 대표적인 예로 하여 3D 모델링을 하는 구체적인 과정에 대해서는 이하에서 상세히 설명하기로 한다.
단계(S440)에서 3D 모델 생성부(330)는 단계(S430)에서 획득한 보정 이미지를 이용하여 원본 이미지에 대한 3D 모델을 생성할 수 있다. 3D 모델 생성부(330)는 보정 이미지를 직접 3D 모델링 하여 생성한 3D 모델을 사용자의 전자 기기로 제공할 수 있고, 혹은 보정 이미지에 대하여 미리 생성된 3D 모델을 사용자의 전자 기기로 제공하는 것 또한 가능하다. 일례로, 3D 모델 생성부(330)는 원본 이미지와 보정 이미지를 비교하여 원본 이미지와 차이가 있는 특징을 보정 이미지에 반영한 후 해당 이미지를 3D 모델링 하여 사용자에게 제공할 수 있다. 다른 예로, 3D 모델 생성부(330)는 보정 이미지에 대하여 적어도 하나의 3D 모델을 미리 생성하여 DB를 구축해 놓은 상태에서 원본 이미지와 매칭되는 3D 모델을 선택하여 해당 3D 모델에 원본 이미지의 특징을 반영한 후 사용자에게 제공할 수 있다. 이때, 보정 이미지에 대하여 다양한 스타일을 미리 3D 모델로 생성해 놓고 사용자가 업로드 한 이미지와 가장 유사한 특징의 스타일을 가진 3D 모델을 제공하는 것도 가능하다.
도 5는 본 발명의 일실시예에 있어서 보정 이미지를 획득하는 과정의 예를 도시한 흐름도이다.
단계(S501)에서 이미지 획득부(320)는 원본 이미지에서 얼굴의 특징 정보를 추출한 후 서버(15)와 관련된 이미지 DB(database) 혹은 웹 상의 이미지 중 3D 모델링이 가능한 조건의 얼굴 사진, 예컨대 정면 얼굴 사진을 대상으로 상기 추출된 특징 정보와 매칭되는 이미지를 검색함으로써 보정 이미지를 획득할 수 있다. 서버(150)는 3D 모델이 이미 존재하거나 혹은 3D 모델링에 적합한 2D 이미지, 예를 들어 유명인이나 캐릭터의 정면 얼굴 사진들에 대해 사전에 DB를 구축할 수 있고, 이미지 획득부(320)는 사전에 구축된 DB 검색을 통해 원본 이미지의 얼굴과 가장 유사한 특징을 가지면서 3D 모델링에 적합한 사진을 찾을 수 있다.
단계(S502)에서 이미지 획득부(320)는 임의 각도의 얼굴 사진을 3D 모델링에 유효한 각도의 얼굴 사진, 예컨대 정면 얼굴 사진으로 변환하는 이미지 학습 모델을 통해 원본 이미지를 정면 얼굴 사진으로 변환함으로써 보정 이미지를 획득할 수 있다. 서버(150)는 3D 모델이 이미 존재하거나 혹은 3D 모델링에 적합한 2D 이미지(정면 얼굴 사진)로 이루어진 유효 이미지 셋, 그리고 3D 모델링 대상이 되는 다양한 2D 이미지(임의 각도의 얼굴 사진)로 이루어진 임의 이미지 셋을 구축할 수 있고 딥러닝(deep learning) 기술(예컨대, GAN(Generative Adversarial Networks) 등)을 활용하여 임의 이미지 셋을 유효 이미지 셋으로 변환하는 딥 네트워크(deep network)를 학습할 수 있다. 이미지 획득부(320)는 원본 이미지가 주어지면 유효 이미지 셋으로 학습된 딥 네트워크를 이용하여 원본 이미지를 3D 모델링에 적합한 2D 이미지로 변환할 수 있다. 다시 말해, 이미지 획득부(320)는 사용자가 임의 각도의 얼굴 사진을 업로드 한 경우 이미지 학습 모델을 통해 원본 이미지와 매칭되는 특징의 정면 얼굴 사진을 획득할 수 있다.
단계(S503)에서 이미지 획득부(320)는 원본 이미지에서 추출된 얼굴 랜드마크를 기반으로 원본 이미지를 정면 얼굴 사진으로 재생성함으로써 보정 이미지를 획득할 수 있다. 일례로, 이미지 획득부(320)는 원본 이미지에서 정면을 기준으로 얼굴의 회전 각도를 계산한 후 얼굴의 회전 각도에 기초하여 정면 랜드마크를 재생성함으로써 정면 얼굴 사진을 획득할 수 있다. 이때, 이미지 획득부(320)는 획득한 정면 얼굴 사진에 대해 사용자 피드백을 요청할 수 있고 사용자가 제공한 피드백을 해당 이미지에 반영하여 최종 보정 이미지로 활용할 수 있다.
이미지 획득부(320)는 원본 이미지에서 인식된 얼굴의 특징 정보에 기초하여 원본 이미지가 3D 모델링에 적합한지 여부를 판단할 수 있으며, 이때 3D 모델링에 적합한 경우에는 원본 이미지를 그대로 사용하고 3D 모델링에 적합하지 않은 경우에는 보정 이미지를 획득할 수 있다. 일례로, 이미지 획득부(320)는 원본 이미지로부터 얼굴의 랜드마크들을 추출한 후 얼굴의 랜드마크들에 기초하여 얼굴 영역을 추출하여 추출된 얼굴 영역으로부터 특징 정보를 추출할 수 있다. 얼굴의 랜드마크는, 예를 들어 눈썹, 눈, 코, 입, 턱, 귀, 얼굴의 윤곽 등을 나타내는 특징점들을 의미한다. 얼굴 특징 정보는 얼굴 구성요소의 윤곽 또는 얼굴 영역에 관한 특징을 나타내는 것으로, 얼굴 요소들의 위치나 크기(또는 길이), 얼굴 요소들 사이의 거리, 얼굴 각도, 눈동자 색깔이나 방향, 얼굴 표정(예컨대, 웃는 것, 찡그린 것, 혀를 내미는 것, 입을 여는 제스처, 코 주름, 이미 주름 등), 얼굴 윤곽, 피부 톤이나 텍스처, 헤어스타일, 기타 액세서리 등에 대한 정보를 포함할 수 있다.
이미지 획득부(320)는 얼굴 특징 정보 중 적어도 일부 정보를 이용하여 3D 모델링의 적합 여부를 판단하여 원본 이미지가 3D 모델링에 적합하지 않은 경우 보정 이미지를 획득할 수 있다. 일 예시로, 도 6을 참조하면 이미지 획득부(320)는 사용자가 업로드 한 원본 사진(601)에서 추출된 얼굴의 특징 정보, 예컨대, 얼굴 윤곽이나 얼굴 각도 등을 바탕으로 원본 사진(601)이 3D 모델링에 적합하지 않은 옆모습의 얼굴 사진임을 인식할 수 있고, 이에 3D 모델링에 적합한 2D 이미지로서 원본 사진(601)의 얼굴 특징 정보(예를 들어, 얼굴 요소들의 위치나 크기, 얼굴 요소들 사이의 거리, 눈동자 색깔이나 방향, 얼굴 표정, 피부 톤이나 텍스처, 헤어스타일 등)와 매칭되는 정면 얼굴 사진(602)을 선정할 수 있다. 이때, 이미지 획득부(320)는 원본 사진(601)에서 얼굴의 특징 정보를 인식하는 과정에서 3D 모델링에 방해가 되는 객체를 제거한 후 인식된 얼굴 특징 정보를 바탕으로 정면 얼굴 사진(602)을 선정할 수 있다. 예를 들어, 도 7에 도시한 바와 같이 원본 사진(601)이 선글라스(71)를 착용한 사진인 경우 해당 사진(601)에서 선글라스(71)를 제거한 후에 얼굴 특징 정보를 인식하여 3D 모델링에 적합한 2D 이미지(602)를 선정할 수 있다. 다른 예시로, 도 8을 참조하면 사용자가 윙크하는 모습의 원본 사진(801)을 업로드 한 경우 해당 사진(801)에서 추출된 얼굴의 특징 정보, 예컨대, 양쪽 눈의 크기 차이나 얼굴 표정 등을 바탕으로 원본 사진(801)이 3D 모델링에 적합하지 않은 윙크하는 모습의 얼굴 사진임을 인식할 수 있고, 이에 원본 사진(801)에서 윙크하는 눈을 얼굴 특징 정보(예를 들어, 반대쪽 눈의 위치나 크기 등)를 기초로 정상적인 뜬 눈 형태로 보정하여 3D 모델링에 적합한 2D 이미지(802)를 획득할 수 있다.
따라서, 이미지 획득부(320)는 원본 이미지에 대하여 3D 모델링에 적합한 2D 이미지를 선정하거나 재생성할 수 있다.
3D 모델 생성부(330)는 원본 이미지에 대해 획득한 보정 이미지를 직접 3D 모델링 하거나, 보정 이미지에 해당되는 2D 이미지에 대하여 미리 생성된 3D 모델을 읽어올 수 있다. 도 9에 도시한 바와 같이, 3D 모델 생성부(330)는 원본 이미지를 그대로 사용하지 않고 3D 모델링에 적합한 2D 이미지로 획득한 보정 이미지(902)를 사용하여 3D 모델(903)을 생성할 수 있다. 이때, 3D 모델 생성부(330)는 원본 이미지와 가장 유사한 2D 이미지로 3D 모델링을 수행하기 위해 원본 이미지와 보정 이미지(902)를 비교하여 원본 이미지와 차이가 있는 특징들을 보정 이미지(902)에 반영한 후 해당 이미지를 최종 모델링 대상으로 사용할 수 있다.
일례로, 3D 모델 생성부(330)는 보정 이미지(902)에서 특징점을 추출하여 사전에 저장된 3D 얼굴 모델과의 유사도를 연산하여 3D 모델(903)을 생성할 수 있다. 상세하게, 3D 모델 생성부(330)는 보정 이미지(902)인 정면 얼굴 사진의 양쪽 눈 끝을 연결한 가상의 기준선에서 좌우로 각각 소정의 길이만큼 연장하여 보정 이미지(902)의 크기를 특정하고 측정된 얼굴 크기를 기준으로 데이터베이스에 저장되어 있는 3D 얼굴 모델의 얼굴 크기를 일정하게 변환할 수 있다. 예를 들어, 양쪽 눈 끝을 연결한 가상의 기준선이 10cm인 경우 기준선에서 좌우로 각각 5cm씩 연장하여 전체 20cm를 얼굴 크기로 설정하고 3D 얼굴 모델의 얼굴 크기가 20cm가 되도록 설정한다. 데이터베이스에 저장되어 있는 3D 얼굴 모델의 크기가 전부 제 각각으로 다르므로 보정 이미지(902)와의 유사도를 판단하기 위해서는 데이터 베이스에 저장되어 있는 3D 얼굴 모델의 크기를 입력된 얼굴 사진의 얼굴 크기와 동일하게 설정하는 것이 필요하다. 이후, 3D 모델 생성부(330)는 보정 이미지(902)에서 추출된 특징 정보와 데이터베이스에 저장된 3D 얼굴 모델에서 추출된 특징 정보 간의 유사도를 계산한 후 계산된 유사도를 기준으로 보정 이미지(902)와 매칭되는 3D 얼굴 모델(903)을 선택할 수 있다. 보정 이미지(902)와 3D 얼굴 모델 간의 유사도를 판단하는데 이용되는 특징 정보는, 예를 들어 미간과 입술 끝점 사이의 거리, 미간과 코끝 사이의 거리, 코의 너비, 인중의 길이, 얼굴 너비의 길이, 얼굴 너비와 턱 끝 사이의 중간 너비, 입술 끝점과 턱 끝 사이의 거리 등이 포함될 수 있다.
더 나아가, 3D 모델 생성부(330)는 원본 이미지의 얼굴 특징 정보나 스타일 정보를 바탕으로 보정 이미지(902)에 대해 선택된 3D 얼굴 모델(903)의 특징이나 스타일을 수정 내지 추가할 수 있다. 다시 말해, 3D 모델 생성부(330)는 3D 얼굴 모델(903)에 원본 이미지의 헤어스타일, 피부톤, 액세서리나 안경, 흉터, 텍스쳐, 얼굴 각도, 기타 데코레이션 등을 적용할 수 있다. 도 7을 통해 설명한 바와 같이 원본 사진(601)이 선글라스(71)를 착용한 사진인 경우, 3D 모델 생성부(330)는 도 10에 도시한 바와 같이 3D 얼굴 모델(903)에 사용자가 업로드 한 원본 사진의 스타일을 반영하여 선글라스 모델(101)을 추가할 수 있다. 다른 예시로서, 우상향으로 고개를 돌리고 웃으면서 혀를 내민 사진이 업로드 된 경우에는 원본 사진에서 얼굴의 각도(우상향), 표정(웃는 모습), 제스처(혀를 내미는 행동) 등의 특징을 인식할 수 있고, 원본 사진과 매칭되는 정면 얼굴 사진을 이용하여 3D 얼굴 모델을 생성한 후 3D 모델링 된 정면 얼굴을 우상향으로 회전하고 얼굴 구성요소를 웃는 모습으로 조정하고 미리 만들어진 3D 혀 모델을 모델링 결과에 오버레이(overlay) 함으로써 사용자가 업로드한 사진과 유사한 특징이나 스타일의 모델을 반영할 수 있다.
상기에서는 3D 얼굴 모델을 대표적인 예시로서 설명하고 있으나, 일반적인 동식물이나 각종 사물과 같은 일반 오브젝트에 대한 3D 모델링 또한 동일한 방식으로 처리 가능하다.
이처럼 본 발명의 실시예들에 따르면, 2D 이미지의 원본을 그대로 사용하지 않고 원본 이미지의 특징 인식을 기반으로 3D 모델링에 적합한 이미지를 획득한 후 획득한 2D 이미지를 이용하여 3D 모델을 생성함으로써 3D 모델링의 서비스 한계를 극복할 수 있고 3D 모델의 오류를 최소화 하여 사용자 만족도를 높일 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 컴퓨터로 구현되는 3D 모델링 방법에 있어서,
    전자 기기로부터 원본 이미지인 2D 이미지를 수신하는 단계;
    상기 원본 이미지에 포함된 오브젝트의 특징 정보에 기초하여 3D 모델링 대상이 되는 2D 이미지인 보정 이미지를 획득하는 단계; 및
    상기 보정 이미지를 이용하여 상기 원본 이미지에 대한 3D 모델을 생성하는 단계
    를 포함하고,
    상기 획득하는 단계는,
    3D 모델링이 가능한 조건의 2D 이미지로서 상기 오브젝트의 정면 사진 중 상기 특징 정보와 매칭되는 정면 사진을 상기 보정 이미지로 획득하고,
    상기 생성하는 단계는,
    상기 원본 이미지를 그대로 이용하지 않고 상기 보정 이미지로 획득한 정면 사진을 이용하여 상기 오브젝트에 대한 3D 모델을 생성하여 상기 전자 기기로 제공하는 단계
    를 포함하는 3D 모델링 방법.
  2. 제1항에 있어서,
    상기 획득하는 단계는,
    이미지 데이터베이스에 저장된 이미지 또는 웹 상의 이미지 중에서 상기 특징 정보와 매칭되는 이미지를 검색함으로써 상기 보정 이미지를 획득하는 것
    을 특징으로 하는 3D 모델링 방법.
  3. 제1항에 있어서,
    상기 획득하는 단계는,
    이미지 학습 모델을 이용하여 상기 원본 이미지를 3D 모델링이 가능한 조건의 2D 이미지로 변환함으로써 상기 보정 이미지를 획득하는 것
    을 특징으로 하는 3D 모델링 방법.
  4. 제1항에 있어서,
    임의의 2D 이미지로 이루어진 임의 이미지 셋을 구축하는 단계;
    3D 모델링이 가능한 조건의 2D 이미지로 이루어진 유효 이미지 셋을 구축하는 단계; 및
    상기 임의 이미지 셋을 상기 유효 이미지 셋으로 변환하는 딥러닝(deep learning) 모델을 학습하는 단계
    를 더 포함하고,
    상기 획득하는 단계는,
    상기 학습된 딥러닝 모델을 통해 상기 원본 이미지를 3D 모델링이 가능한 조건의 2D 이미지로 변환함으로써 상기 보정 이미지를 획득하는 것
    을 특징으로 하는 3D 모델링 방법.
  5. 제1항에 있어서,
    상기 획득하는 단계는,
    상기 원본 이미지에 포함된 오브젝트의 특징 정보를 기반으로 3D 모델링이 가능한 조건의 2D 이미지를 생성함으로써 상기 보정 이미지를 획득하는 것
    을 특징으로 하는 3D 모델링 방법.
  6. 제1항에 있어서,
    상기 획득하는 단계는,
    상기 원본 이미지에서 얼굴 랜드마크를 추출하는 단계;
    상기 얼굴 랜드마크를 기반으로 얼굴 회전 각도를 계산하는 단계; 및
    상기 얼굴 회전 각도에 기초하여 정면 얼굴 사진을 생성함으로써 상기 보정 이미지를 획득하는 단계
    를 포함하는 3D 모델링 방법.
  7. 제1항에 있어서,
    상기 획득하는 단계는,
    상기 오브젝트의 특징 정보에 기초하여 상기 원본 이미지가 3D 모델링에 적합한지 여부를 판단하는 단계; 및
    상기 원본 이미지가 3D 모델링에 적합하지 않은 경우 상기 특징 정보와 매칭되는 2D 이미지를 상기 보정 이미지로서 획득하는 단계
    를 포함하는 3D 모델링 방법.
  8. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 보정 이미지에서 특징점을 추출하여 사전에 저장된 3D 모델들과의 유사도를 계산한 후 상기 유사도를 기준으로 상기 보정 이미지와 매칭되는 3D 모델을 선택하는 것
    을 특징으로 하는 3D 모델링 방법.
  9. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 원본 이미지와 상기 보정 이미지를 비교하여 상기 원본 이미지와 차이가 있는 특징을 상기 보정 이미지에 반영한 후 해당 이미지로 상기 3D 모델을 생성하는 것
    을 특징으로 하는 3D 모델링 방법.
  10. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 원본 이미지에서 인식된 특징 정보나 스타일 정보를 이용하여 상기 3D 모델의 특징이나 스타일을 수정 또는 추가하는 단계
    를 포함하는 3D 모델링 방법.
  11. 컴퓨터와 결합되어 제1항 내지 제10항 중 어느 한 항의 3D 모델링 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  12. 제1항 내지 제10항 중 어느 한 항의 3D 모델링 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체.
  13. 컴퓨터로 구현되는 3D 모델링 시스템에 있어서,
    컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    전자 기기로부터 원본 이미지인 2D 이미지를 수신하는 이미지 수신부;
    상기 원본 이미지에 포함된 오브젝트의 특징 정보에 기초하여 3D 모델링 대상이 되는 2D 이미지인 보정 이미지를 획득하는 이미지 획득부; 및
    상기 보정 이미지를 이용하여 상기 원본 이미지에 대한 3D 모델을 생성하는 3D 모델 생성부
    를 포함하고,
    상기 이미지 획득부는,
    3D 모델링이 가능한 조건의 2D 이미지로서 상기 오브젝트의 정면 사진 중 상기 특징 정보와 매칭되는 정면 사진을 상기 보정 이미지로 획득하고,
    상기 3D 모델 생성부는,
    상기 원본 이미지를 그대로 이용하지 않고 상기 보정 이미지로 획득한 정면 사진을 이용하여 상기 오브젝트에 대한 3D 모델을 생성하여 상기 전자 기기로 제공하는 것
    을 특징으로 하는 3D 모델링 시스템.
  14. 제13항에 있어서,
    상기 이미지 획득부는,
    이미지 데이터베이스에 저장된 이미지 또는 웹 상의 이미지 중에서 상기 특징 정보와 매칭되는 이미지를 검색함으로써 상기 보정 이미지를 획득하는 것
    을 특징으로 하는 3D 모델링 시스템
  15. 제13항에 있어서,
    상기 적어도 하나의 프로세서는,
    임의의 2D 이미지로 이루어진 임의 이미지 셋과 3D 모델링이 가능한 조건의 2D 이미지로 이루어진 유효 이미지 셋을 구축하여 상기 임의 이미지 셋을 상기 유효 이미지 셋으로 변환하는 딥러닝(deep learning) 모델을 학습하고,
    상기 이미지 획득부는,
    상기 학습된 딥러닝 모델을 통해 상기 원본 이미지를 3D 모델링이 가능한 조건의 2D 이미지로 변환함으로써 상기 보정 이미지를 획득하는 것
    을 특징으로 하는 3D 모델링 시스템.
  16. 제13항에 있어서,
    상기 이미지 획득부는,
    상기 원본 이미지에 포함된 오브젝트의 특징 정보를 기반으로 3D 모델링이 가능한 조건의 2D 이미지를 생성함으로써 상기 보정 이미지를 획득하는 것
    을 특징으로 하는 3D 모델링 시스템.
  17. 제13항에 있어서,
    상기 이미지 획득부는,
    상기 오브젝트의 특징 정보에 기초하여 상기 원본 이미지가 3D 모델링에 적합한지 여부를 판단하고 상기 원본 이미지가 3D 모델링에 적합하지 않은 경우 상기 특징 정보와 매칭되는 2D 이미지를 상기 보정 이미지로서 획득하는 것
    을 특징으로 하는 3D 모델링 시스템.
  18. 제13항에 있어서,
    상기 3D 모델 생성부는,
    상기 보정 이미지에서 특징점을 추출하여 사전에 저장된 3D 모델들과의 유사도를 계산한 후 상기 유사도를 기준으로 상기 보정 이미지와 매칭되는 3D 모델을 선택하는 것
    을 특징으로 하는 3D 모델링 시스템.
  19. 제13항에 있어서,
    상기 3D 모델 생성부는,
    상기 원본 이미지와 상기 보정 이미지를 비교하여 상기 원본 이미지와 차이가 있는 특징을 상기 보정 이미지에 반영한 후 해당 이미지로 상기 3D 모델을 생성하는 것
    을 특징으로 하는 3D 모델링 시스템.
  20. 제13항에 있어서,
    상기 3D 모델 생성부는,
    상기 원본 이미지에서 인식된 특징 정보나 스타일 정보를 이용하여 상기 3D 모델의 특징이나 스타일을 수정 또는 추가하는 것
    을 특징으로 하는 3D 모델링 시스템.
KR1020170091895A 2017-07-20 2017-07-20 ２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템 KR101906431B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170091895A KR101906431B1 (ko) 2017-07-20 2017-07-20 ２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170091895A KR101906431B1 (ko) 2017-07-20 2017-07-20 ２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템

Publications (1)

Publication Number Publication Date
KR101906431B1 true KR101906431B1 (ko) 2018-10-11

Family

ID=63865058

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170091895A KR101906431B1 (ko) 2017-07-20 2017-07-20 ２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR101906431B1 (ko)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753873A (zh) * 2018-11-23 2019-05-14 合刃科技（武汉）有限公司 图像处理方法及相关装置
CN111191492A (zh) * 2018-11-15 2020-05-22 北京三星通信技术研究有限公司 信息估计、模型检索和模型对准方法和装置
WO2020101960A1 (en) * 2018-11-13 2020-05-22 Nec Laboratories America, Inc. Pose-variant 3d facial attribute generation
KR20200055841A (ko) * 2018-11-12 2020-05-22 한국전자통신연구원 기계 학습을 위한 학습 데이터 셋 생성 장치 및 방법
WO2020122432A1 (ko) * 2018-12-12 2020-06-18 삼성전자주식회사 전자 장치 및 그의 3d 이미지 표시 방법
WO2020122513A1 (ko) * 2018-12-10 2020-06-18 삼성전자주식회사 2차원 이미지 처리 방법 및 이 방법을 실행하는 디바이스
KR20200133293A (ko) * 2019-05-19 2020-11-27 주식회사 엔씨소프트 커스터마이징 이미지 생성 장치 및 방법
WO2021040342A3 (ko) * 2019-08-23 2021-07-01 주식회사 예간아이티 2d 이미지를 활용하여 3d 컨텐츠를 생성하는 영상 처리 방법 및 영상 처리 장치
US11138785B2 (en) 2018-12-07 2021-10-05 Electronics And Telecommunications Research Institute Method and system for generating 3D image of character
KR20220065500A (ko) * 2020-11-13 2022-05-20 주식회사 더원테크 손상된 유형물의 디지털 복원 방법, 장치 및 프로그램
US11375107B2 (en) 2019-10-30 2022-06-28 Electronics And Telecommunications Research Institute Apparatus and method for guiding multi-view capture
KR20220124359A (ko) * 2021-03-03 2022-09-14 (주)자이언트스텝 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법 및 장치
KR20230040112A (ko) 2021-09-15 2023-03-22 한국전자통신연구원 3d 객체 모델 텍스처의 톤 매칭 방법 및 시스템
KR20230060901A (ko) 2021-10-28 2023-05-08 주식회사 슈프리마 영상 처리 장치 및 방법
KR20230083348A (ko) 2021-12-02 2023-06-12 (주)셀빅 컨텐츠 제작 방법 및 플랫폼
KR20230083347A (ko) 2021-12-02 2023-06-12 (주)셀빅 후면 영상정보 생성 장치 및 방법
KR102627034B1 (ko) * 2023-05-08 2024-01-19 주식회사 알마로꼬 컨텐츠 공간의 운영자의 부담을 감소시키면서 다양한 개인화 컨텐츠를 제공하는 시스템 및 방법
WO2024075972A1 (ko) * 2022-10-07 2024-04-11 삼성전자 주식회사 3차원(3d) 모델을 생성하는 방법 및 전자 장치
KR102664430B1 (ko) * 2022-12-07 2024-05-09 박성용 반려 동물에 대한 3d모델링을 제공하는 방법 및 디바이스
KR20240086822A (ko) 2022-12-09 2024-06-19 (주)셀빅 메타버스 제작방법 및 시스템
KR102700815B1 (ko) 2023-07-11 2024-08-30 김진우 생성형 ai를 이용한 xr 콘텐츠 생성 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094491A (ja) * 2002-08-30 2004-03-25 Nec Corp 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム
KR101757642B1 (ko) * 2016-07-20 2017-07-13 (주)레벨소프트 3d 얼굴 모델링 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094491A (ja) * 2002-08-30 2004-03-25 Nec Corp 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム
KR101757642B1 (ko) * 2016-07-20 2017-07-13 (주)레벨소프트 3d 얼굴 모델링 장치 및 방법

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102286037B1 (ko) 2018-11-12 2021-08-05 한국전자통신연구원 기계 학습을 위한 학습 데이터 셋 생성 장치 및 방법
KR20200055841A (ko) * 2018-11-12 2020-05-22 한국전자통신연구원 기계 학습을 위한 학습 데이터 셋 생성 장치 및 방법
WO2020101960A1 (en) * 2018-11-13 2020-05-22 Nec Laboratories America, Inc. Pose-variant 3d facial attribute generation
CN111191492A (zh) * 2018-11-15 2020-05-22 北京三星通信技术研究有限公司 信息估计、模型检索和模型对准方法和装置
KR20200056905A (ko) * 2018-11-15 2020-05-25 삼성전자주식회사 3d 모델 정렬 방법 및 장치
KR102608473B1 (ko) * 2018-11-15 2023-12-01 삼성전자주식회사 3d 모델 정렬 방법 및 장치
CN109753873B (zh) * 2018-11-23 2021-03-23 合刃科技（武汉）有限公司 图像处理方法及相关装置
CN109753873A (zh) * 2018-11-23 2019-05-14 合刃科技（武汉）有限公司 图像处理方法及相关装置
US11138785B2 (en) 2018-12-07 2021-10-05 Electronics And Telecommunications Research Institute Method and system for generating 3D image of character
WO2020122513A1 (ko) * 2018-12-10 2020-06-18 삼성전자주식회사 2차원 이미지 처리 방법 및 이 방법을 실행하는 디바이스
US11893681B2 (en) 2018-12-10 2024-02-06 Samsung Electronics Co., Ltd. Method for processing two-dimensional image and device for executing method
US11622098B2 (en) 2018-12-12 2023-04-04 Samsung Electronics Co., Ltd. Electronic device, and method for displaying three-dimensional image thereof
WO2020122432A1 (ko) * 2018-12-12 2020-06-18 삼성전자주식회사 전자 장치 및 그의 3d 이미지 표시 방법
KR20200133293A (ko) * 2019-05-19 2020-11-27 주식회사 엔씨소프트 커스터마이징 이미지 생성 장치 및 방법
KR102259126B1 (ko) * 2019-05-19 2021-06-01 주식회사 엔씨소프트 커스터마이징 이미지 생성 장치 및 방법
WO2021040342A3 (ko) * 2019-08-23 2021-07-01 주식회사 예간아이티 2d 이미지를 활용하여 3d 컨텐츠를 생성하는 영상 처리 방법 및 영상 처리 장치
US11375107B2 (en) 2019-10-30 2022-06-28 Electronics And Telecommunications Research Institute Apparatus and method for guiding multi-view capture
KR102488858B1 (ko) * 2020-11-13 2023-01-17 주식회사 더원테크 손상된 유형물의 디지털 복원 방법, 장치 및 프로그램
KR20220065500A (ko) * 2020-11-13 2022-05-20 주식회사 더원테크 손상된 유형물의 디지털 복원 방법, 장치 및 프로그램
KR102501719B1 (ko) * 2021-03-03 2023-02-21 (주)자이언트스텝 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법 및 장치
KR20220124359A (ko) * 2021-03-03 2022-09-14 (주)자이언트스텝 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법 및 장치
KR20230040112A (ko) 2021-09-15 2023-03-22 한국전자통신연구원 3d 객체 모델 텍스처의 톤 매칭 방법 및 시스템
KR20230060901A (ko) 2021-10-28 2023-05-08 주식회사 슈프리마 영상 처리 장치 및 방법
KR20230129969A (ko) 2021-10-28 2023-09-11 주식회사 슈프리마 영상 처리 장치 및 방법
KR20230145981A (ko) 2021-12-02 2023-10-18 (주)셀빅 후면 영상정보 생성 장치 및 방법
KR20230145982A (ko) 2021-12-02 2023-10-18 (주)셀빅 후면 영상정보 생성 장치 및 방법
KR20230145983A (ko) 2021-12-02 2023-10-18 (주)셀빅 후면 영상정보 생성 장치 및 방법
KR20230083347A (ko) 2021-12-02 2023-06-12 (주)셀빅 후면 영상정보 생성 장치 및 방법
KR20230083348A (ko) 2021-12-02 2023-06-12 (주)셀빅 컨텐츠 제작 방법 및 플랫폼
WO2024075972A1 (ko) * 2022-10-07 2024-04-11 삼성전자 주식회사 3차원(3d) 모델을 생성하는 방법 및 전자 장치
KR102664430B1 (ko) * 2022-12-07 2024-05-09 박성용 반려 동물에 대한 3d모델링을 제공하는 방법 및 디바이스
KR20240086822A (ko) 2022-12-09 2024-06-19 (주)셀빅 메타버스 제작방법 및 시스템
KR102627034B1 (ko) * 2023-05-08 2024-01-19 주식회사 알마로꼬 컨텐츠 공간의 운영자의 부담을 감소시키면서 다양한 개인화 컨텐츠를 제공하는 시스템 및 방법
KR102700815B1 (ko) 2023-07-11 2024-08-30 김진우 생성형 ai를 이용한 xr 콘텐츠 생성 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101906431B1 (ko) ２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템
KR102523512B1 (ko) 얼굴 모델의 생성
US10949649B2 (en) Real-time tracking of facial features in unconstrained video
US10163003B2 (en) Recognizing combinations of body shape, pose, and clothing in three-dimensional input images
Ichim et al. Dynamic 3D avatar creation from hand-held video input
CN110738595B (zh) 图片处理方法、装置和设备及计算机存储介质
US11222471B2 (en) Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data
US9262671B2 (en) Systems, methods, and software for detecting an object in an image
JP2021192250A (ja) 単眼カメラを用いたリアルタイム３ｄ捕捉およびライブフィードバックのための方法およびシステム
Wu et al. Deep portrait image completion and extrapolation
EP3912085A1 (en) Systems and methods for face reenactment
KR20180097915A (ko) 개인 맞춤형 3차원 얼굴 모델 생성 방법 및 그 장치
US20100295854A1 (en) Viewpoint-invariant image matching and generation of three-dimensional models from two-dimensional imagery
KR20230173217A (ko) 포토리얼리스틱 실시간 인물 애니메이션을 위한 시스템 및 방법
US20150279044A1 (en) Method and apparatus for obtaining 3d face model using portable camera
KR20180082170A (ko) 3차원 얼굴 모델 획득 방법 및 시스템
US11024060B1 (en) Generating neutral-pose transformations of self-portrait images
CN114816041A (zh) 提供上下文增强现实照片姿势指导
KR101989089B1 (ko) 클라우드 소싱 기반의 ａｒ 컨텐츠 템플릿을 수집하여 ａｒ 컨텐츠를 자동으로 생성하는 방법 및 시스템
JP2019012526A (ja) 映像処理方法、コンピュータプログラムおよび記録媒体
JP2010519629A (ja) 画像内の３次元物体のポーズを決定する方法及びデバイス並びに物体追跡のための少なくとも１つのキー画像を創出する方法及びデバイス
CN113628327B (zh) 一种头部三维重建方法及设备
US11710248B2 (en) Photometric-based 3D object modeling
Jin et al. Robust 3D face modeling and reconstruction from frontal and side images
Yu et al. A video-based facial motion tracking and expression recognition system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant