KR20200083746A - 증강현실을 이용한 3d 모델 구현시스템 및 이를 이용한 구현방법 - Google Patents

증강현실을 이용한 3d 모델 구현시스템 및 이를 이용한 구현방법 Download PDF

Info

Publication number
KR20200083746A
KR20200083746A KR1020180172174A KR20180172174A KR20200083746A KR 20200083746 A KR20200083746 A KR 20200083746A KR 1020180172174 A KR1020180172174 A KR 1020180172174A KR 20180172174 A KR20180172174 A KR 20180172174A KR 20200083746 A KR20200083746 A KR 20200083746A
Authority
KR
South Korea
Prior art keywords
face
augmented reality
model
image
location
Prior art date
Application number
KR1020180172174A
Other languages
English (en)
Other versions
KR102138620B1 (ko
Inventor
고혜영
김형균
김예빈
김지연
안다은
이정은
Original Assignee
서울여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울여자대학교 산학협력단 filed Critical 서울여자대학교 산학협력단
Priority to KR1020180172174A priority Critical patent/KR102138620B1/ko
Publication of KR20200083746A publication Critical patent/KR20200083746A/ko
Application granted granted Critical
Publication of KR102138620B1 publication Critical patent/KR102138620B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명은 증강현실 내에서 사용자의 얼굴을 인식한 후 인식된 얼굴에 사용자가 직접 드로잉한 그림을 3D 형태로 모델링하여 자신만의 개성을 표출할 수 있는 증강현실을 이용한 3D 모델 구현시스템 및 이를 이용한 구현방법에 관한 것이다.
본 발명은 얼굴의 전면과 측면과 후면과 상면을 촬영하여 위치별로 얼굴이미지를 생성하기 위한 얼굴촬영부(100)와, 상기 위치별 얼굴이미지의 각 얼굴형태를 인식하기 위한 얼굴인식부(200)와, 상기 얼굴형태가 인식된 위치별 얼굴이미지를 증강현실 처리하기 위한 증강현실처리부(300)와, 상기 증강현실처리부(300)를 통해 증강현실 처리된 위치별 얼굴이미지에 각 그림을 드로잉하고 상기 드로잉된 그림을 3D 모델링하여 3D 모델로 변환한 후 상기 증강현실 처리된 얼굴이미지에 합성하여 합성이미지를 생성하기 위한 이미지처리부(400)와, 상기 생성된 합성이미지를 디스플레이하기 위한 디스플레이부(500)를 포함하고, 상기 이미지처리부(400)는, 상기 증강현실 처리된 위치별 얼굴이미지에 각각 그림을 드로잉하기 위한 드로잉모듈(410)과, 상기 드로잉모듈(410)를 통해 드로잉된 그림을 3D 모델링하여 3D 모델로 변환하기 위한 3D모델링모듈(420)과, 상기 변환된 3D 모델을 상기 증강현실 처리된 얼굴이미지에 합성하여 합성이미지를 생성하기 위한 합성모듈(430)을 포함하며, 상기 증강현실처리부(300)는, 상기 증강현실 처리된 얼굴이미지에 상기 3D 모델을 합성하기 위한 위치를 획득하기 위해 상기 얼굴의 전면인 얼굴이미지에 드로잉한 그림과 상기 얼굴의 전면인 얼굴이미지로부터 인식된 얼굴형태의 접점 중앙에 AR마커를 자동으로 인식한다.

Description

증강현실을 이용한 3D 모델 구현시스템 및 이를 이용한 구현방법{3D MODEL IMPLEMENTATION SYSTEM USING AUGMENTED REALITY AND IMPLEMENTATION METHOD THEREOF}
본 발명은 증강현실을 이용한 3D 모델 구현시스템 및 이를 이용한 구현방법에 관한 것으로, 보다 상세하게는 증강현실 내에서 사용자의 얼굴을 인식한 후 인식된 얼굴에 사용자가 직접 드로잉한 그림을 3D 형태로 모델링하여 자신만의 개성을 표출할 수 있는 증강현실을 이용한 3D 모델 구현시스템 및 이를 이용한 구현방법에 관한 것이다.
최근 IT 산업의 발달로 인해 스마트폰이나 디지털 카메라 등과 같은 전자기기가 활발하게 보급되고 있다.
전자기기에는 디스플레이 패널으로 터치스크린을 채용하여 별도의 버튼이 구비되어 있지 않아도 전자펜을 통해 문자나 그림을 입력할 수 있다.
예를 들어, 전자기기에 문자나 그림을 입력하기 위해서는 공개특허 제10-2014-0104228호(공개일자: 2014년 08월 28일)에 기재된 바와 같이, 윈도우 상에 펜 형상을 갖는 가상펜을 표시하고, 표시된 가상펜의 영역에 사용자의 터치를 입력받고, 상기 입력받은 터치의 움직임에 따라 상기 가상펜의 끝단 지점을 이용한 드로잉 표시를 수행하는 터치스크린과, 상기 표시된 가상펜의 영역에 터치가 입력되는 지 판단하고, 판단 결과 상기 영역에 터치된 경우 상기 터치의 움직임에 따라 상기 가상펜을 이동시켜 드로잉 표시를 하도록 상기 터치스크린을 제어하는 제어 모듈을 포함하고, 상기 제어 모듈은, 상기 가상펜에 의해 드로잉 표시되는 선의 굵기, 색상 및 질감을 상기 사용자에 의해 선택하여 표시하도록 제어하고, 상기 가상펜의 영역을 터치하여 미리 정해진 시간(초) 이내에 터치를 이동하면 상기 가상펜에 의해 드로잉 표시가 되지 않은 채 상기 가상펜을 이동하도록 제어하고 상기 가상펜의 영역을 상기 미리 정해진 시간(초) 이상 터치한 후 터치를 이동하면 상기 가상펜에 의해 드로잉 표시가 되도록 제어하고, 상기 선의 질감은, 붓, 만년필, 볼펜, 연필 중 적어도 하나 이상에 의해 표시되는 선의 질감인 스마트 단말 상의 가상펜을 이용한 드로잉 장치를 사용할 수 있다.
그러나, 상기 공개특허를 이용하여 드로잉하는 것은 2D 형태의 평면적인 이미지만 제공하는 문제점이 있으며, 사용자의 사진 등에 드로잉하더라도 평면적인 이미지만 제공하기 때문에 사용자의 흥미를 저하시키면서 현실감이 저하되는 문제점이 있다.
한편, 전자기기에 이미지, 주변 배경, 객체 모두를 가상의 이미지로 만들어 보여주는 가상 현실(Virtual Reality)이나 추가되는 정보만 가상으로 만들어 보여주는 증강 현실(Augmented Reality)을 접목하고 있는 추세이다.
증강 현실은 현실 세계의 실제 모습을 기반으로 3차원 가상의 이미지나 정보를 추가 제공하는 기술로, 가상 현실에 비해 현실감이 뛰어나다는 특징이 있어 일상생활에 널리 활용될 만큼 대중화된 상태이다.
이에, 사용자의 개성 및 감성을 표출시키기 위해 사용자가 드로잉한 이미지와 증강현실을 접목시켜 현실감이 향상된 모션을 제작할 수 있는 기술이 요구되고 있는 실정이다.
본 발명은 상술한 문제점을 해결하기 위해 제안된 것으로, 증강현실 내에서 사용자의 얼굴을 인식한 후 인식된 얼굴에 사용자가 직접 드로잉한 그림을 3D 형태로 모델링하여 사용자의 얼굴에 합성할 수 있는 증강현실을 이용한 3D 모델 구현시스템 및 이를 이용한 구현방법을 제공하는 목적이 있다.
또한, 사용자가 직접 드로잉하고 3D 형태로 모델링하여 변환한 3D 모델을 타 사용자와 공유할 수 있는 증강현실을 이용한 3D 모델 구현시스템 및 이를 이용한 구현방법을 제공하는 목적이 있다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명에 의한 증강현실을 이용한 3D 모델 구현시스템 및 이를 이용한 구현방법은, 얼굴의 전면과 측면과 후면과 상면을 촬영하여 위치별로 얼굴이미지를 생성하기 위한 얼굴촬영부(100)와, 상기 위치별 얼굴이미지의 각 얼굴형태를 인식하기 위한 얼굴인식부(200)와, 상기 얼굴형태가 인식된 위치별 얼굴이미지를 증강현실 처리하기 위한 증강현실처리부(300)와, 상기 증강현실처리부(300)를 통해 증강현실 처리된 위치별 얼굴이미지에 각 그림을 드로잉하고 상기 드로잉된 그림을 3D 모델링하여 3D 모델로 변환한 후 상기 증강현실 처리된 얼굴이미지에 합성하여 합성이미지를 생성하기 위한 이미지처리부(400)와, 상기 생성된 합성이미지를 디스플레이하기 위한 디스플레이부(500)를 포함하고, 상기 이미지처리부(400)는, 상기 증강현실 처리된 위치별 얼굴이미지에 각각 그림을 드로잉하기 위한 드로잉모듈(410)과, 상기 드로잉모듈(410)를 통해 드로잉된 그림을 3D 모델링하여 3D 모델로 변환하기 위한 3D모델링모듈(420)과, 상기 변환된 3D 모델을 상기 증강현실 처리된 얼굴이미지에 합성하여 합성이미지를 생성하기 위한 합성모듈(430)을 포함하며, 상기 증강현실처리부(300)는, 상기 증강현실 처리된 얼굴이미지에 상기 3D 모델을 합성하기 위한 위치를 획득하기 위해 상기 얼굴의 전면인 얼굴이미지에 드로잉한 그림과 상기 얼굴의 전면인 얼굴이미지로부터 인식된 얼굴형태의 접점 중앙에 AR마커를 자동으로 인식한다.
또한, 상기 얼굴촬영부(100)는, 상기 사용자의 얼굴모션을 촬영하고, 상기 얼굴인식부(200)는, 미리 저장된 좌표에 따라 상기 인식된 사용자의 얼굴형태에 대한 좌표를 설정하며, 상기 이미지처리부(400)의 합성모듈(430)은, 상기 사용자의 얼굴형태에 대한 좌표를 이용하여 상기 얼굴촬영부(100)를 통해 촬영되는 사용자의 얼굴모션에 따라 상기 3D 모델을 합성시킬 수 있다.
또한, 상기 3D모델링모듈(420)를 통해 변환된 3D 모델을 저장하고 관리하기 위한 3D모델관리부(600)와, 상기 3D모델관리부(600)에 저장된 3D 모델을 공유하기 위한 공유부(700)를 더 포함하여 구성되는 것이 바람직하다.
본 발명에 있어서, 사용자의 얼굴의 전면, 측면, 후면, 상면을 촬영하여 위치별 얼굴이미지를 생성하는 얼굴촬영단계와, 상기 위치별 얼굴이미지를 통해 위치별 얼굴형태를 인식하는 얼굴인식단계와, 상기 얼굴형태가 인식된 위치별 얼굴이미지를 증강현실 처리하는 증강현실처리단계와, 상기 증강현실 처리된 위치별 얼굴이미지에 각각 그림을 드로잉하는 드로잉단계와, 상기 위치별 얼굴이미지에 각각 드로잉된 그림을 3D 모델링하여 3D 모델로 변환하는 3D모델링단계와, 상기 얼굴의 전면인 얼굴이미지에 드로잉된 그림과 상기 인식된 얼굴형태의 접점 중앙에 AR마커를 자동으로 인식하는 AR마커인식단계와, 상기 인식된 AR마커에 상기 변환된 3D 모델을 위치시켜 상기 증강현실 처리된 얼굴이미지에 합성하는 합성단계와, 상기 증강현실 처리된 얼굴이미지와 상기 3D 모델이 합성된 합성이미지를 디스플레이하는 디스플레이단계를 포함하여 구성된다.
상술한 바와 같이 본 발명에 따르면, 증강현실 내에서 사용자의 얼굴을 인식한 후 인식된 얼굴에 사용자가 직접 드로잉한 그림을 3D 형태로 모델링하여 합성하고 디스플레이할 수 있어 증강현실 내에 사용자의 개성 및 감성을 표출할 수 있음은 물론 자신만의 표현수단을 제작하여 사용할 수 있는 효과가 있다.
또한, 사용자가 직접 드로잉하고 3D형태로 모델링된 3D모델이 증강현실을 통해 디스플레이되기 때문에 입체감과 현실감을 향상시켜 줄 수 있음은 물론 사용자의 재미와 만족감을 향상시킬 수 있는 효과가 있다.
또한, 사용자가 직접 드로잉하고 3D 형태로 모델링한 3D 모델을 타 사용자와 공유하면서 소통을 할 수 있도록 도움을 줄 수 있게 되며, 사용자가 다양한 3D 모델을 사용할 수 있게 되는 효과가 있다.
도 1은 본 발명의 일실시 예에 의한 증강현실을 이용한 3D 모델 구현시스템,
도 2는 본 발명의 일실시 예에 의한 증강현실을 이용한 3D 모델 구현시스템의 얼굴인식부,
도 3은 본 발명의 일실시 예에 의한 증강현실을 이용한 3D 모델 구현시스템의 이미지처리부,
도 4는 본 발명의 일실시 예에 의한 증강현실을 이용한 3D 모델 구현시스템의 드로잉모듈을 통해 그림을 드로잉한 상태도,
도 5는 본 발명의 일실시 예에 의한 증강현실을 이용한 3D 모델 구현시스템의 3D모델링모듈을 통해 3D 모델링한 상태도,
도 6은 본 발명의 일실시 예에 의한 증강현실을 이용한 3D 모델 구현시스템의 합성모듈을 통해 3D 모델을 합성한 상태도,
도 7은 본 발명의 일실시 예에 의한 증강현실을 이용한 3D 모델 구현시스템을 이용한 구현방법.
이하, 첨부된 도면을 참조하여 본 발명에 의한 증강현실을 이용한 3D 모델 구현시스템 및 이를 이용한 구현방법을 상세히 설명한다.
도 1은 본 발명의 일실시 예에 의한 증강현실을 이용한 3D 모델 구현시스템이고, 도 2는 본 발명의 일실시 예에 의한 증강현실을 이용한 3D 모델 구현시스템의 얼굴인식부이며, 도 3은 본 발명의 일실시 예에 의한 증강현실을 이용한 3D 모델 구현시스템의 이미지처리부이다.
또한, 도 4는 본 발명의 일실시 예에 의한 증강현실을 이용한 3D 모델 구현시스템의 드로잉모듈을 통해 그림을 드로잉한 상태도이며, 도 5는 본 발명의 일실시 예에 의한 증강현실을 이용한 3D 모델 구현시스템의 3D모델링모듈을 통해 3D 모델링한 상태도이고, 도 6은 본 발명의 일실시 예에 의한 증강현실을 이용한 3D 모델 구현시스템의 합성모듈을 통해 3D 모델을 합성한 상태도이다.
또한, 도 7은 본 발명의 일실시 예에 의한 증강현실을 이용한 3D 모델 구현시스템을 이용한 구현방법이다.
상기 도면의 구성 요소들에 인용부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있으며, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 또한, '상부', '하부', '앞', '뒤', '선단', '전방', '후단' 등과 같은 방향성 용어는 개시된 도면(들)의 배향과 관련하여 사용된다. 본 발명의 실시 예의 구성요소는 다양한 배향으로 위치설정될 수 있기 때문에 방향성 용어는 예시를 목적으로 사용되는 것이지 이를 제한하는 것은 아니다.
본 발명의 바람직한 일실시 예에 의한 증강현실을 이용한 3D 모델 구현시스템은, 상기 도 1에 도시된 바와 같이, 얼굴의 전면과 측면과 후면과 상면을 촬영하여 위치별로 얼굴이미지를 생성하기 위한 얼굴촬영부(100)와, 상기 위치별 얼굴이미지의 각 얼굴형태를 인식하기 위한 얼굴인식부(200)와, 상기 얼굴형태가 인식된 위치별 얼굴이미지를 증강현실 처리하기 위한 증강현실처리부(300)와, 상기 증강현실처리부(300)를 통해 증강현실 처리된 위치별 얼굴이미지에 각 그림을 드로잉하고 상기 드로잉된 그림을 3D 모델링하여 3D 모델로 변환한 후 상기 증강현실 처리된 얼굴이미지에 합성하여 합성이미지를 생성하기 위한 이미지처리부(400)와, 상기 생성된 합성이미지를 디스플레이하기 위한 디스플레이부(500)를 포함하여 구성된다.
또한, 상기 증강현실을 이용한 3D 모델 구현시스템은, 상기 3D모델링모듈(420)를 통해 변환된 3D 모델을 저장하고 관리하기 위한 3D모델관리부(600)와, 상기 3D모델관리부(600)에 저장된 3D 모델을 공유하기 위한 공유부(700)를 더 포함하여 구성될 수 있다.
상기 증강현실을 이용한 3D 모델 구현시스템은 스마트기기의 어플리케이션 형태로 제공될 수 있다.
상기 얼굴촬영부(100)는, 카메라 등을 이용하여 사용자의 얼굴의 전면과 측면과 후면과 상면을 촬영하여야 한다.
상기 얼굴촬영부(100)에서 얼굴의 전면과 측면과 후면과 상면을 촬영함으로써 증강현실 공간에서 사용자의 얼굴을 입체적으로 디스플레이할 수 있게 될 뿐만 아니라 추후 사용자가 각 4면에 드로잉한 그림을 3D 모델링할 수 있게 된다.
상기 얼굴촬영부(100)는 상기 촬영된 얼굴의 위치별로 얼굴이미지를 생성한다. 즉, 상기 얼굴촬영부(100)는 얼굴의 전면이 촬영된 전면얼굴이미지와, 얼굴의 측면이 촬영된 측면얼굴이미지와, 얼굴의 후면이 촬영된 후면얼굴이미지와, 얼굴의 상면이 촬영된 상면얼굴이미지로 생성될 수 있다.
상기 얼굴촬영부(100)에서 생성된 위치별 얼굴이미지는 상기 얼굴인식부(200)로 전송된다.
상기 얼굴인식부(200)는, 상기 도 2에 도시된 바와 같이, 상기 위치별 얼굴이미지에서 각각 얼굴영역을 검출한 후 얼굴형태를 인식한다.
상기 얼굴형태는 사용자의 얼굴 윤곽 형태인 것이 바람직하다.
이때, 상기 얼굴인식부(200)에는 미리 얼굴형상에 대한 좌표범위가 저장되어 있으며, 상기 인식된 위치별 얼굴형태를 이용하여 미리 저장된 좌표범위에 따라 사용자의 얼굴형상에 대한 좌표를 설정한다.
상기 증강현실처리부(300)는, 상기 얼굴형태가 인식된 위치별 얼굴이미지를 증강현실 처리한다.
상기 얼굴이미지를 증강현실 처리함으로써 사용자의 흥미를 불러일으킬 수 있음은 물론 사용자의 현실감을 향상시켜줄 수 있으며 종래의 평면적인 이미지에 제한되어 2D 형태로 드로잉하는 방식에 비해 증강현실 상에서 사용자가 입체적으로 드로잉할 수 있게 된다.
상기 증강현실처리부(300)는 추후 사용자가 드로잉한 후 모델링되어 변환된 3D 모델을 증강현실 내에 합성할 위치를 추출하기 위해 AR마커를 자동으로 인식할 수 있다.
상기 이미지처리부(400)는, 상기 도 3에 도시된 바와 같이, 상기 증강현실 처리된 위치별 얼굴이미지에 각각 그림을 드로잉하기 위한 드로잉모듈(410)과, 상기 드로잉모듈(410)를 통해 드로잉된 그림을 3D 모델링하여 3D 모델로 변환하기 위한 3D모델링모듈(420)과, 상기 변환된 3D 모델을 상기 증강현실 처리된 얼굴이미지에 합성하여 합성이미지를 생성하기 위한 합성모듈(430)을 포함하여 구성될 수 있다.
상기 드로잉모듈(410)은, 상기 도 4에 도시된 바와 같이, 상기 증강현실 처리된 위치별 얼굴이미지에 사용자가 직접 그림을 드로잉한다.
상기 드로잉모듈(410)은 상기 얼굴이미지의 위치에 따라 그림을 드로잉하는 것이 바람직하다.
예를 들어, 상기 드로잉모듈(410)은 상기 증강현실 처리된 위치별 얼굴이미지 중 전면얼굴이미지에 전면상태의 그림을 드로잉하고, 상기 증강현실 처리된 위치별 얼굴이미지 중 측면얼굴이미지에 측면상태의 그림을 드로잉하며, 상기 증강현실 처리된 위치별 얼굴이미지 중 후면얼굴이미지에 후면상태의 그림을 드로잉하고, 상기 증강현실 처리된 위치별 얼굴이미지 중 상면얼굴이미지에 상면상태의 그림을 드로잉하는 것이 바람직하다.
또한, 상기 드로잉모듈(410)을 통해 상기 위치별 얼굴이미지에 각각 드로잉된 그림의 위치는 모두 동일한 것이 바람직하다.
상기 3D모델링모듈(420)은, 상기 도 5에 도시된 바와 같이, 상기 드로잉모듈(410)을 통해 상기 위치별 얼굴이미지에 각각 드로잉된 그림을 3D 모델링하여 3D 모델로 변환한다.
상기 3D모델링모듈(420)은 가상의 3차원 공간 속에서 재현될 수 있는 수학적 모델을 만들어 가는 과정이며, 상기 위치별 얼굴이미지에 각각 드로잉된 그림을 3D 모델링하여 실제와 유사한 양감, 질감 등을 표현할 수 있게 된다.
상기 3D모델링모듈(420)을 통해 사용자가 드로잉한 그림을 3D 모델로 변환함으로써 사용자가 그린 그림에 대한 입체감을 표현할 수 있게 되어 증강현실에서 입체적인 그림을 볼 수 있어 현실감이 향상되는 효과가 있다.
상기 합성모듈(430)은, 상기 도 6에 도시된 바와 같이, 상기 변환된 3D 모델을 상기 증강현실 처리된 얼굴이미지에 합성한다.
상기 합성모듈(430)은 상기 증강현실처리부(300)를 통해 인식한 AR마커에 상기 3D 모델을 위치시킨 후 상기 3D 모델과 상기 증강현실 처리된 얼굴이미지를 합성시켜 합성이미지를 생성한다.
이때, 상기 증강현실처리부(300)는 상기 합성모듈(430)을 통해 상기 증강현실 처리된 얼굴이미지에 상기 3D 모델을 합성할 수 있도록 상기 3D 모델의 합성 위치를 획득하기 위해 상기 얼굴의 전면인 얼굴이미지에 드로잉한 그림과 상기 얼굴의 전면인 얼굴이미지로부터 인식된 얼굴형태의 접점 중앙에 AR마커를 자동으로 인식해야 한다.
또한, 상기 합성모듈(430)은 상기 얼굴인식부(200)에서 설정된 사용자의 얼굴형태에 대한 좌표를 이용하여 상기 얼굴촬영부(100)를 통해 촬영되는 사용자의 얼굴모션에 따라 상기 3D 모델을 합성시킬 수도 있다. 다시 말해, 상기 합성모듈(430)는 상기 얼굴촬영부(100)를 통해 촬영되는 사용자의 얼굴모션에 따라 사용자의 얼굴 위치 등이 변경되었을 경우에 증강현실 내의 사용자에 대한 얼굴에 따라 상기 3D 모델의 위치 등이 변경되어 디스플레이될 수 있도록 상기 사용자의 얼굴형태에 대한 좌표를 이용하여 상기 3D 모델의 위치를 파악하여 상기 3D 모델을 합성시킬 수도 있다.
상기 합성모듈(430)에서 생성된 합성이미지는 상기 디스플레이부(500)로 전송된다.
상기 디스플레이부(500)는, 상기 합성이미지를 디스플레이한다.
상기 3D모델관리부(600)는, 상기 3D모델링모듈(420)를 통해 변환된 3D 모델을 누적하여 저장하고 관리할 수 있다.
상기 3D모델관리부(600)를 통해 상기 3D 모델을 저장하고 관리함으로써 사용자가 선택하여 촬영되는 얼굴이미지에 적용시킬 수 있게 된다.
상기 공유부(700)는, 상기 3D모델관리부(600)에 저장된 3D 모델을 공유할 수 있다.
상기 공유부(700)가 구성됨으로써 상기 3D 모델을 타 사용자와 공유하면서 소통을 할 수 있도록 도움을 줄 수 있게 되며, 사용자가 타 사용자의 3D 모델을 수신받아 사용할 수 있게 된다.
상기와 같이 구성되는 증강현실을 이용한 3D 모델 구현시스템을 이용한 구현방법은, 상기 도 7에 도시된 바와 같이, 먼저 상기 얼굴촬영부(100)를 통해 사용자의 얼굴에 대한 전면, 측면, 후면, 상면을 촬영하여 위치별 얼굴이미지를 생성한다(S10).
상기 얼굴인식부(200)에서 상기 위치별 얼굴이미지의 각 얼굴영역을 검출하여 얼굴형태를 인식한다(S20).
또한, 상기 얼굴인식부(200)은 추후 사용자의 얼굴모션에 따라 상기 3D 모델을 합성하기 위해 상기 위치별 얼굴이미지를 통해 사용자의 얼굴형상에 대한 좌표를 설정할 수 있다.
상기 얼굴인식부(200)에서 얼굴형태가 인식된 위치별 얼굴이미지를 상기 증강현실처리부(300)로 전송한다.
상기 증강현실처리부(300)는 상기 얼굴형태가 인식된 위치별 얼굴이미지를 수신받아 증강현실 처리한다(S30).
상기 드로잉모듈(410)을 통해 사용자가 상기 증강현실 처리된 위치별 얼굴이미지에 각각 그림을 드로잉한다(S40).
상기 3D모델링모듈(420)에서 상기 위치별 얼굴이미지에 각각 드로잉된 그림을 3D 모델링하여 3D 모델로 변환한다(S50).
상기 증강현실처리부(300)에서 상기 위치별 얼굴이미지에 드로잉된 그림 중 전면얼굴이미지에 드로잉된 그림을 추출하고, 상기 위치별 얼굴이미지의 얼굴형태 중 전면얼굴이미지의 얼굴형태를 추출하여 상기 얼굴의 전면인 얼굴이미지에 드로잉된 그림과 상기 인식된 얼굴형태의 접점 중앙에 AR마커를 자동으로 인식한다(S60).
상기 합성모듈(430)은 상기 인식된 AR마커에 상기 3D 모델을 위치시켜 상기 증강현실 처리된 얼굴이미지에 합성한다(S70).
상기 합성하여 생성된 합성이미지를 디스플레이한다(S80).
상기와 같이 구현되는 증강현실을 이용한 3D 모델 구현시스템은 증강현실 내에서 사용자의 얼굴을 인식한 후 인식된 얼굴에 사용자가 직접 드로잉한 그림을 3D 형태로 모델링하여 합성하고 디스플레이할 수 있어 증강현실 내에 사용자의 개성 및 감성을 표출할 수 있음은 물론 자신만의 표현수단을 제작하여 사용할 수 있는 효과가 있다.
또한, 사용자가 직접 드로잉하고 3D형태로 모델링된 3D모델이 증강현실을 통해 디스플레이되기 때문에 입체감과 현실감을 향상시켜 줄 수 있음은 물론 사용자의 재미와 만족감을 향상시킬 수 있게 된다.
또한, 사용자가 직접 드로잉하고 3D 형태로 모델링한 3D 모델을 타 사용자와 공유하면서 소통을 할 수 있도록 도움을 줄 수 있게 되며, 사용자가 다양한 3D 모델을 사용할 수 있게 되는 효과가 있다.
앞에서 설명되고, 도면에 도시된 본 발명의 실시 예들은 본 발명의 기술적 사상을 한정하는 것으로 해석되어서는 안 된다. 본 발명의 보호범위는 청구범위에 기재된 사항에 의하여만 제한되고, 본 발명의 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상을 다양한 형태로 개량 변경하는 것이 가능하다. 따라서 이러한 개량 및 변경은 통상의 지식을 가진 자에게 자명한 것인 경우에는 본 발명의 보호범위에 속하게 될 것이다.
100: 얼굴촬영부 200: 얼굴인식부
300: 증강현실처리부 400: 이미지처리부
410: 드로잉모듈 420: 3D모델링모듈
430: 합성모듈 500: 디스플레이부
600: 3D모델관리부 700: 공유부

Claims (4)

  1. 얼굴의 전면과 측면과 후면과 상면을 촬영하여 위치별로 얼굴이미지를 생성하기 위한 얼굴촬영부(100)와, 상기 위치별 얼굴이미지의 각 얼굴형태를 인식하기 위한 얼굴인식부(200)와, 상기 얼굴형태가 인식된 위치별 얼굴이미지를 증강현실 처리하기 위한 증강현실처리부(300)와, 상기 증강현실처리부(300)를 통해 증강현실 처리된 위치별 얼굴이미지에 각 그림을 드로잉하고 상기 드로잉된 그림을 3D 모델링하여 3D 모델로 변환한 후 상기 증강현실 처리된 얼굴이미지에 합성하여 합성이미지를 생성하기 위한 이미지처리부(400)와, 상기 생성된 합성이미지를 디스플레이하기 위한 디스플레이부(500)를 포함하고,
    상기 이미지처리부(400)는, 상기 증강현실 처리된 위치별 얼굴이미지에 각각 그림을 드로잉하기 위한 드로잉모듈(410)과, 상기 드로잉모듈(410)를 통해 드로잉된 그림을 3D 모델링하여 3D 모델로 변환하기 위한 3D모델링모듈(420)과, 상기 변환된 3D 모델을 상기 증강현실 처리된 얼굴이미지에 합성하여 합성이미지를 생성하기 위한 합성모듈(430)을 포함하며,
    상기 증강현실처리부(300)는, 상기 증강현실 처리된 얼굴이미지에 상기 3D 모델을 합성하기 위한 위치를 획득하기 위해 상기 얼굴의 전면인 얼굴이미지에 드로잉한 그림과 상기 얼굴의 전면인 얼굴이미지로부터 인식된 얼굴형태의 접점 중앙에 AR마커를 자동으로 인식하는 증강현실을 이용한 3D 모델 구현시스템.
  2. 청구항 1에 있어서,
    상기 얼굴촬영부(100)는, 상기 사용자의 얼굴모션을 촬영하고,
    상기 얼굴인식부(200)는, 미리 저장된 좌표에 따라 상기 인식된 사용자의 얼굴형태에 대한 좌표를 설정하며,
    상기 이미지처리부(400)의 합성모듈(430)은, 상기 사용자의 얼굴형태에 대한 좌표를 이용하여 상기 얼굴촬영부(100)를 통해 촬영되는 사용자의 얼굴모션에 따라 상기 3D 모델을 합성시키는 증강현실을 이용한 3D 모델 구현시스템.
  3. 청구항 2에 있어서,
    상기 3D모델링모듈(420)를 통해 변환된 3D 모델을 저장하고 관리하기 위한 3D모델관리부(600)와,
    상기 3D모델관리부(600)에 저장된 3D 모델을 공유하기 위한 공유부(700)를 더 포함하여 구성되는 증강현실을 이용한 3D 모델 구현시스템.
  4. 사용자의 얼굴의 전면, 측면, 후면, 상면을 촬영하여 위치별 얼굴이미지를 생성하는 얼굴촬영단계와,
    상기 위치별 얼굴이미지를 통해 위치별 얼굴형태를 인식하는 얼굴인식단계와,
    상기 얼굴형태가 인식된 위치별 얼굴이미지를 증강현실 처리하는 증강현실처리단계와,
    상기 증강현실 처리된 위치별 얼굴이미지에 각각 그림을 드로잉하는 드로잉단계와,
    상기 위치별 얼굴이미지에 각각 드로잉된 그림을 3D 모델링하여 3D 모델로 변환하는 3D모델링단계와,
    상기 얼굴의 전면인 얼굴이미지에 드로잉된 그림과 상기 인식된 얼굴형태의 접점 중앙에 AR마커를 자동으로 인식하는 AR마커인식단계와,
    상기 인식된 AR마커에 상기 변환된 3D 모델을 위치시켜 상기 증강현실 처리된 얼굴이미지에 합성하는 합성단계와,
    상기 증강현실 처리된 얼굴이미지와 상기 3D 모델이 합성된 합성이미지를 디스플레이하는 디스플레이단계를 포함하여 구성되는 증강현실을 이용한 3D 얼굴모션 구현시스템을 이용한 구현방법.
KR1020180172174A 2018-12-28 2018-12-28 증강현실을 이용한 3d 모델 구현시스템 및 이를 이용한 구현방법 KR102138620B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180172174A KR102138620B1 (ko) 2018-12-28 2018-12-28 증강현실을 이용한 3d 모델 구현시스템 및 이를 이용한 구현방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180172174A KR102138620B1 (ko) 2018-12-28 2018-12-28 증강현실을 이용한 3d 모델 구현시스템 및 이를 이용한 구현방법

Publications (2)

Publication Number Publication Date
KR20200083746A true KR20200083746A (ko) 2020-07-09
KR102138620B1 KR102138620B1 (ko) 2020-07-29

Family

ID=71602461

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180172174A KR102138620B1 (ko) 2018-12-28 2018-12-28 증강현실을 이용한 3d 모델 구현시스템 및 이를 이용한 구현방법

Country Status (1)

Country Link
KR (1) KR102138620B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100026240A (ko) * 2008-08-29 2010-03-10 김상국 증강현실을 이용한 쓰리디 헤어스타일 시뮬레이션 방법 및 장치
JP2014149791A (ja) * 2013-02-04 2014-08-21 Tis Kk 拡張現実プログラム及び登録プログラム
KR20170053198A (ko) * 2015-11-05 2017-05-16 리치앤타임(주) 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스 및 뎁스 이미지를 이용한 증강현실 데이터처리방법
KR20180089760A (ko) * 2017-02-01 2018-08-09 (주)디지엔터테인먼트 3d 스케치 서비스 제공 시스템 및 그 제공 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100026240A (ko) * 2008-08-29 2010-03-10 김상국 증강현실을 이용한 쓰리디 헤어스타일 시뮬레이션 방법 및 장치
JP2014149791A (ja) * 2013-02-04 2014-08-21 Tis Kk 拡張現実プログラム及び登録プログラム
KR20170053198A (ko) * 2015-11-05 2017-05-16 리치앤타임(주) 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스 및 뎁스 이미지를 이용한 증강현실 데이터처리방법
KR20180089760A (ko) * 2017-02-01 2018-08-09 (주)디지엔터테인먼트 3d 스케치 서비스 제공 시스템 및 그 제공 방법

Also Published As

Publication number Publication date
KR102138620B1 (ko) 2020-07-29

Similar Documents

Publication Publication Date Title
US11736756B2 (en) Producing realistic body movement using body images
US10527846B2 (en) Image processing for head mounted display devices
US10922865B2 (en) Information processing apparatus, information processing method, and program
US20220245906A1 (en) Location-based virtual element modality in three-dimensional content
WO2018153267A1 (zh) 群组视频会话的方法及网络设备
US9595127B2 (en) Three-dimensional collaboration
US8866848B2 (en) Image processing device, control method for an image processing device, program, and information storage medium
JP5739671B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
US10963140B2 (en) Augmented reality experience creation via tapping virtual surfaces in augmented reality
JP5602618B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
WO2015188614A1 (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
JP2019510297A (ja) ユーザの真実の人体モデルへの仮想的な試着
US20110292042A1 (en) 3d digital painting
US11733769B2 (en) Presenting avatars in three-dimensional environments
US11302086B1 (en) Providing features of an electronic product in an augmented reality environment
US9734622B2 (en) 3D digital painting
JP2011259243A (ja) 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
KR102148151B1 (ko) 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅
CN110263617B (zh) 三维人脸模型获取方法及装置
US20140292749A1 (en) 3d digital painting
KR102138620B1 (ko) 증강현실을 이용한 3d 모델 구현시스템 및 이를 이용한 구현방법
JP7412497B1 (ja) 情報処理システム
JP2024047006A (ja) 情報処理システムおよびプログラム
CN116229026A (zh) 图像处理方法、信息处理装置、计算机程序及存储介质
CN115861575A (zh) 商品虚拟试用效果展示方法及电子设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant