KR102419133B1 - 증강 현실 콘텐츠 제작 장치 및 방법 - Google Patents

증강 현실 콘텐츠 제작 장치 및 방법 Download PDF

Info

Publication number
KR102419133B1
KR102419133B1 KR1020200169721A KR20200169721A KR102419133B1 KR 102419133 B1 KR102419133 B1 KR 102419133B1 KR 1020200169721 A KR1020200169721 A KR 1020200169721A KR 20200169721 A KR20200169721 A KR 20200169721A KR 102419133 B1 KR102419133 B1 KR 102419133B1
Authority
KR
South Korea
Prior art keywords
image
subject
human body
motion
face
Prior art date
Application number
KR1020200169721A
Other languages
English (en)
Other versions
KR20220080518A (ko
Inventor
김동호
서봉석
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020200169721A priority Critical patent/KR102419133B1/ko
Publication of KR20220080518A publication Critical patent/KR20220080518A/ko
Application granted granted Critical
Publication of KR102419133B1 publication Critical patent/KR102419133B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 기술은 증강 현실 콘텐츠 제작 장치 및 방법이 개시된다. 본 발명의 구체적인 예에 따르면, 깊이 카메라 및 RGB 카메라를 이용하여 획득된 경량의 피사체의 영상으로 AR 콘텐츠를 제작함에 따라 AR 콘텐츠를 제작에 필요한 영상 데이터 량이 감소되고, 이에 영상 데이터 전달이 용이하여 실시간으로 AR 콘텐츠 제작이 가능하고, AR 콘텐츠 제작을 위한 연산 복잡도를 감소할 수 있으며, 이에 모바일 환경에서도 AR 콘텐츠 구현 및 제작이 가능하며, 경량의 디바이스로 증강 현실 콘텐츠를 구현 및 제작할 수 있다.

Description

증강 현실 콘텐츠 제작 장치 및 방법{APPARATUS AMD METHOD FOR PRODUCING AUGMENTED REALITY CONTENT}
본 발명은 증강 현실 콘텐츠 제작 장치 및 방법에 관한 것으로서, 보다 상세하게는 깊이 카메라 및 RGB 카메라를 이용하여 획득된 피사체의 영상으로 증강 현실(AUGMENTED REALITY 이하 AR로 약칭함) 콘텐츠를 제작할 수 있도록 한 기술에 관한 것이다.
최근 360 및 VR(Virtual Reality) 콘텐츠에 대한 관심과 요구가 증가하고 있으며, 그에 따른 콘텐츠와 사용자 간 상호작용 그리고 사용자의 능동성이 부각되고 있다.
이러한 요구에 맞춰 MPEG, JPEG과 같은 영상 표준단체에서 3DoF이상의 자유도를 가지는 콘텐츠 기술을 개발에 대한 연구가 진행 중이다.
이때 증강 현실 AR과 같이 사물의 전체적인 모습을 표출해야 하는 경우 가상 사물을 제작하는 것은 어렵지 않지만, 실물을 복제하는 복잡한 과정을 따라야 한다. 즉, 기존 V-PCC의 경우 여러 방향에서 영상을 촬영하고 이를 기하, 색, 점유 영상으로 변형하여 복제된 객체를 전달하는 방식으로 AR 콘텐츠가 제작된다. 이를 위해 다중 카메라를 통한 영상 인식 및 필요한 자원 및 연산량이 매우 크기 때문에 별도의 전용기기가 아닌 범용기기가 요구된다.
이에 본 출원인은 깊이 카메라 및 RGB 카메라를 통해 획득된 피사체의 영상으로 AR 콘텐츠를 제작할 수 있는 방안을 제안하고자 한다.
한국공개공보 제10-2016-0147450호(영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법)
본 발명은 깊이 카메라 및 RGB 카메라를 이용하여 획득된 경량의 영상 데이터로 AR 콘텐츠를 제작함에 따라 AR 콘텐츠 제작을 위한 영상 데이터의 량이 감소되고, 이에 실시간으로 AR 콘텐츠 제작이 가능한 증강 현실 콘텐츠 제작 장치 및 방법을 제공하고자 한다.
또한 본 발명은 AR 콘텐츠 제작을 위한 연산 복잡도를 감소할 수 있으며, 이에 모바일 환경에서도 AR 콘텐츠 제작이 가능하고 경량의 디바이스로 구현할 수 있는 증강 현실 콘텐츠 제작 장치 및 방법을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 한 실시예에 따른 증강 현실 콘텐츠 제작 장치는,
깊이 카메라 및 RGB 카메라를 통해 피사체의 영상을 획득하는 피사체 영상 획득부;
외부로부터 전달받은 인체의 신장 및 형태를 포함하는 초기값으로 기 저장된 다수의 3D 인체 모델 중 하나의 3D 인체 모델을 추출하는 3D 인체 모델 추출부;
추출된 3D 인체 모델에 획득된 피사체의 영상의 신체 텍스처를 합성하는 신체 처리부;
상기 획득된 피사체의 영상으로부터 얼굴 영상을 추출한 다음 피사체의 얼굴 영상에 대한 왜곡을 통해 얼굴 텍스처를 생성하는 얼굴 영상 처리부;
상기 생성된 얼굴 텍스처를 상기 추출된 3D 인체 모델에 합성하여 AR 콘텐츠를 제작하는 AR 콘텐츠 제작부를 포함하는 것을 일 특징으로 한다.
바람직하게 상기 얼굴 영상 처리부는
획득된 피사체의 영상으로부터 얼굴 영상을 추출한 다음 피사체의 얼굴 영상을 기준 얼굴 영상으로 설정하고, 설정된 기준 얼굴 영상에 대해 그래픽 처리를 통해 왜곡시켜 다수의 가상 얼굴 영상을 생성하고,
생성된 다수의 가상 얼굴 영상 중 피사체의 얼굴 영상과 매칭되는 가상 얼굴 영상으로부터 얼굴 텍스처를 생성하도록 구비될 수 있다.
바람직하게 상기 증강 현실 콘텐츠 제작 장치는
상기 획득된 소정 수의 프레임의 피사체의 영상으로부터 각 스컬톤(Skeleton)을 추출한 다음 스컬톤 정보와 매칭되는 모션을 생성하고 생성된 모션에게 부여된 모션 식별 번호를 상기 AR 콘텐츠 제작부로 전달하고 모션 처리부를 더 포함하고,
상기 AR 콘텐츠 제작부는
모션 식별 번호와 매칭되는 모션을 상기 추출된 3D 인체 모델에 합성하여 AR 콘텐츠를 제작하도록 구비될 수 있다.
바람직하게 상기 모션 처리부는,
획득된 소정 수의 프레임의 피사체의 영상으로부터 각 스컬톤을 생성하고 각 스컬톤 정보를 누적하며,
누적된 스컬톤 정보와 매핑되는 모션에게 부여된 모션 식별 번호를 추출하고,
추출된 모션 식별 번호를 AR 콘텐츠 제작부로 전달하도록 구비될 수 있다.
본 발명의 다른 실시 양태에 의거한 증강 현실 콘텐츠 제작 방법은,
깊이 카메라 및 RGB 카메라를 통해 파사체의 영상을 획득하는 영상 수집단계;
초기값의 입력으로 다수의 3D 인체 모델 중 기 저장된 3D 인체 모델을 추출하고 추출된 3D 인체 모델에 획득된 영상의 얼굴 및 모션을 제외한 나머지 영상의 신체 텍스처를 생성하고 생성된 신체 텍스처를 추출된 추출된 3D 인체 모델에 합성하는 단계;
상기 획득된 피사체의 영상으로부터 얼굴 영상을 추출한 다음 얼굴 영상에 대한 왜곡을 통해 얼굴 텍스처를 생성하고 생성된 얼굴 텍스처를 AR 콘텐츠 제작부로 전달하며 전달된 얼굴 텍스처를 추출된 3D 인체 모델에 합성하는 단계; 및
획득된 소정 수 프레임의 피사체의 영상으로부터 각 스컬톤을 생성한 다음 생성된 각 스컬톤 정보를 누적하고 누적된 스컬톤 정보와 매핑되는 모션에게 부여된 모션 식별 번호를 AR 콘텐츠 제작부로 전달하며 전달된 모션 식별 번호와 매칭되는 모션을 추출된 3D 인체 모델에 합성하여 AR 콘텐츠를 제작하는 단계를 포함하는 것을 일 특징으로 한다.
이러한 특징에 따르면, 깊이 카메라 및 RGB 카메라를 이용하여 획득된 경량의 피사체의 영상으로 AR 콘텐츠를 제작함에 따라 AR 콘텐츠를 제작에 필요한 영상 데이터 량이 감소되고, 이에 영상 데이터 전달이 용이하여 실시간으로 AR 콘텐츠 제작이 가능하다.
또한 일 실시예에 의거, AR 콘텐츠 제작을 위한 연산 복잡도를 감소할 수 있으며, 이에 모바일 환경에서도 AR 콘텐츠 구현 및 제작이 가능하며, 경량의 디바이스로 증강 현실 콘텐츠를 구현 및 제작할 수 있는 효과가 있다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 일 실시예의 증강 현실 콘텐츠 제작 장치의 구성을 보인 도이다.
도 2는 일 실시예의 추출된 3D 인체 모델을 보인 예시도이다.
도 3은 일 실시예의 생성된 신체 텍스처 및 얼굴 텍스처를 보인 예시도이다.
도 4는 일 실시예의 텍스처가 합성된 3D 인체 모델을 보인 예시도이다.
도 5는 다른 실시예의 증강 현실 콘텐츠 제작 과정을 보인 전체 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 보다 상세하게 설명한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
본 명세서에 대한 설명에 앞서, 본 명세서에서 사용되는 몇 가지 용어들에 대하여 명확하게 하기로 한다. 본 명세서 상에서 증강 현실, AR 등을 혼용하여 설명한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 일 실시예의 증강 현실 콘텐츠 제작 장치의 구성을 보인 도이고, 도 2는 도 1의 3D 인체 모델 추출부(30)에 의해 추출된 3D 인체 모델을 보인 예시도이며, 도 3은 도 1의 신체 처리부(40) 및 얼굴 영상 처리부(50)에서 생성된 신체 텍스처 및 얼굴 텍스처를 보인 예시도이고, 도 4는 도 3에 도시된 신체 및 얼굴 텍스처가 합성된 3D 인체 모델을 보인 예시도이다.
도 1 내지 도 4를 참조하면, 일 실시예에 따른 증강 현실 콘텐츠 제작 장치는 깊이 카메라 및 RGB 카메라를 이용하여 획득된 경량의 피사체 영상으로 AR 콘텐츠를 제작하도록 구비될 수 있으며, 이에 장치는, 3D 인체 모델 구축부(10), 피사체 영상 획득부(20), 3D 인체 모델 추출부(30), 신체 처리부(40), 얼굴 영상 처리부(50), 모션 처리부(60) 및 AR 콘텐츠 제작부(70)를 포함할 수 있다.
3D 인체 모델 구축부(10)는 다수의 3D 인체 모델을 저장한다. 일 례로, 3D 인체 모델 구축부(10)는 도 1에 도시된 바와 같이 하나의 증강 현실 콘텐츠 제작 장치에 구비하는 구조로 형성될 수 있고, 다른 례로 증강 현실 콘텐츠 제작 장치와 분리시켜 구성하고 분리된 이들 구성 간에 무선 통신 또는 유선 통신을 통해 연결되는 구조로 형성될 수 있으며 이에 한정하지 아니한다.
그리고 피사체 영상 획득부(20)는 깊이(Depth) 카메라 및 RGB 카메라를 통해 제작하고자 하는 피사체의 영상을 획득한다. 이때 깊이(Depth) 카메라 및 RGB 카메라를 통해 피사체의 영상을 획득하는 과정은 증강 현실 콘텐츠 제작 시스템에서 널리 알려진 공지 기술이며, 본 명세서 상에서는 깊이(Depth) 카메라 및 RGB 카메라를 통해 피사체의 영상을 획득하는 과정을 구체적으로 명시하지 않지만, 당업자 수준에서 이해되어야 할 것이다.
3D 인체 모델 추출부(30)는 입력장치(미도시됨)에 의거 획득된 피사체 영상의 신장과 형태 등의 초기값을 입력받아 입력된 초기값과 매칭되는 3D 인체 구축부(10)의 다수의 3D 인체 모델 중 하나의 3D 인체 모델을 추출한다. 추출된 3D 인체 모델은 신체 처리부(40)로 전달된다.
그리고 신체 처리부(40)는 획득된 피사체 영상으로부터 신체 텍스처를 생성하고 생성된 신체 텍스처를 추출된 3D 인체 모델에 합성한다. 여기서, 신체 텍스처는 피사체가 입은 옷의 색깔 및 패턴 등이다. 일 례로 신체 텍스처는 3D 인체 모델 구축부(10)에 기 저장된 신체 텍스처 중 하나일 수 있고, 다른 례로, 획득된 피사체 영상으로부터 직접 생성될 수 있다.
한편, 얼굴 영상 처리부(50)는 획득된 피사체의 영상으로부터 얼굴 영상을 추출한 다음 피사체의 얼굴 영상에 대한 왜곡을 통해 가상 얼굴 영상을 생성하고 생성된 가상 얼굴 영상으로부터 얼굴 텍스처를 생성한다. 일 례로, 획득된 피사체의 얼굴 영상을 기준 영상으로 설정하고 설정된 기준 영상을 그래픽 기법으로 왜곡시켜 다양한 텍스처를 가지는 가상 기준 영상을 제작하고 제작된 가상 기준 영상을 저장한다. 여기서, 얼굴 텍스처는 얼굴의 색상 및 질감 등을 포함한다. 그리고 얼굴 영상 처리부(50)는 피사체의 얼굴 영상과 유사도가 높은 가상 기준 영상의 얼굴 텍스처를 AR 콘텐츠 제작부(70)로 전달한다.
또한, 모션 처리부(60)는 획득된 피사체의 영상으로부터 스컬톤(Skeleton)을 추출한 다음 추출된 스컬톤과 매칭되는 모션에 부여된 모션 식별 번호를 AR 콘텐츠 제작부(70)로 전달하는 구성을 갖춘다.
일 례로 모션 처리부(60)는 획득된 소정 수 프레임(10 ~ 30 프레임)의 피사체의 영상으로부터 각 프레임 별 스컬톤을 생성한 다음 생성된 각 스컬톤 정보를 누적하고 누적된 스컬톤 정보와 매칭되는 모션에 부여된 모션 식별 번호를 AR 콘텐츠 제작부(70)로 전달된다.
이에 AR 콘텐츠 제작부(70)는 얼굴 영상 처리부(50)로부터 전달받은 얼굴 텍스처와 모션 처리부(60)로부터 전달받은 모션을 추출된 3D 인체 모델에 합성하여 AR 콘텐츠를 제작한다.
이때 뒤를 보거나 얼굴을 가리는 피사체의 행동으로 피사체의 영상의 얼굴 인식이 불가능한 경우 이전 프레임의 피사체의 얼굴 영상이 얼굴 영상 처리부(50)로 전달된다. 이에 얼굴 영상 처리부(50)는 이전 프레임의 피사체의 영상의 얼굴 영상을 이용하여 얼굴 텍스처를 생성하고 생성된 얼굴 텍스처를 AR 콘텐츠 제작부(70)로 전달한다.
또한 모션 처리부(60)는 획득된 피사체의 영상의 누적 프레임으로 모션 영상을 확인한 다음 확인된 모션 영상과 매칭되는 모션 식별 번호를 AR 콘텐츠 제작부(70)로 전달하며, AR 콘텐츠 제작부(70)는 모션 식별 번호와 매칭되는 모션을 추출된 3D 인체 모델에 합성하여 AR 콘텐츠를 제작할 수 있다.
다른 례로, 모션 처리부(60)는 획득된 30 프레임 이상의 피사체 영상의 스컬톤 정보를 생성하고 생성된 스컬톤 정보를 AR 콘텐츠 제작부(70)로 전달하고, 이에 AR 콘텐츠 제작부(70)는 30 프레임 이상의 스컬톤 정보의 시점과 시점 간의 모션을 직선으로 보간 처리한 다음 보간 처리된 모션을 추출된 3D 인체 모델에 합성할 수 있다.
이에 일 실시예는 깊이 카메라 및 RGB 카메라를 이용하여 획득된 경량의 피사체의 영상으로 AR 콘텐츠를 제작함에 따라 AR 콘텐츠를 제작에 필요한 영상 데이터 량이 감소되고, 이에 영상 데이터 전달이 용이하여 실시간으로 AR 콘텐츠 제작이 가능하고, AR 콘텐츠 제작을 위한 연산 복잡도를 감소할 수 있으며, 이에 모바일 환경에서도 AR 콘텐츠 구현 및 제작이 가능하며, 경량의 디바이스로 증강 현실 콘텐츠를 구현 및 제작할 수 있다.
도 5는 도 1에 도시된 증강 현실 콘텐츠 제작 장치의 동작 과정을 보인 전체 흐름도로서, 도 5를 참조하여 본 발명의 다른 실시예에 따른 증강 현실 콘텐츠 제작 방법을 설명한다.
우선 단계(101)에서, 일 실시예의 피사체 영상 획득부(20)는 깊이 카메라 및 RGB 카메라를 통해 파사체의 영상을 획득한다.
그리고 단계(103)에서, 일 실시예의 3D 인체 모델 추출부(30)는 그리고 입력 장치(미도시됨)에 의거 인체의 신장 및 형태를 포함하는 초기값을 입력으로 피사체 영상 획득부(20)는 3D 인체 모델 구축부(10)에 기 저장된 다수의 3D 인체 모델 중 하나가 추출된다.
그리고 단계(105)에서, 일 실시예의 신체 처리부(40)는 획득된 피사체 영상의 얼굴 및 모션을 제외한 나머지 신체 영상을 추출된 3D 인체 모델에 합성한다. 일 례로 신체 처리부(40)는 피사체가 입은 옷의 색깔 및 패턴 등의 신체 텍스처를 생성하고 생성된 신체 텍스처를 3D 인체 모델에 합성한다.
한편, 단계(107)에서 일 실시예의 얼굴 영상 처리부(50)는 획득된 피사체의 영상으로부터 얼굴 영상을 추출한 다음 얼굴 영상에 대한 왜곡을 통해 얼굴 텍스처를 생성하고 생성된 얼굴 텍스처는 AR 콘텐츠 제작부(70)로 전달된다.
또한 단계(109)에서 일 실시예의 모션 처리부(60)는 획득된 소정 수 프레임의 피사체의 영상으로부터 각각 스컬톤을 생성한 다음 생성된 각 스컬톤 정보를 누적하고 누적된 스컬톤 정보와 매핑되는 모션 식별 번호를 AR 콘텐츠 제작부(70)로 전달한다.
단계(111)에서 일 실시예의 AR 콘텐츠 제작부(70)는 생성된 얼굴 텍스처 및 모션 식별 번호와 매칭되는 모션을 신체 처리부(40)의 3D 인체 모델에 합성하여 AR 콘텐츠를 제작한다.
이에 일 실시예는 깊이 카메라 및 RGB 카메라를 이용하여 획득된 경량의 피사체의 영상으로 AR 콘텐츠를 제작함에 따라 AR 콘텐츠를 제작에 필요한 영상 데이터 량이 감소되고, 이에 영상 데이터 전달이 용이하여 실시간으로 AR 콘텐츠 제작이 가능하고, AR 콘텐츠 제작을 위한 연산 복잡도를 감소할 수 있으며, 이에 모바일 환경에서도 AR 콘텐츠 구현 및 제작이 가능하며, 경량의 디바이스로 증강 현실 콘텐츠를 구현 및 제작할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
깊이 카메라 및 RGB 카메라를 이용하여 획득된 경량의 피사체의 영상으로 AR 콘텐츠를 제작함에 따라 AR 콘텐츠를 제작에 필요한 영상 데이터 량이 감소되고, 이에 영상 데이터 전달이 용이하여 실시간으로 AR 콘텐츠 제작이 가능하고, AR 콘텐츠 제작을 위한 연산 복잡도를 감소할 수 있으며, 이에 모바일 환경에서도 AR 콘텐츠 구현 및 제작이 가능하며, 경량의 디바이스로 증강 현실 콘텐츠를 구현 및 제작할 수 있는 증강 현실 콘텐츠 제작 장치 및 방법에 대한 운용의 정확성 및 신뢰도 측면, 더 나아가 성능 효율 면에 매우 큰 진보를 가져올 수 있으며, AR, VR 시스템의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

Claims (5)

  1. 깊이 카메라 및 RGB 카메라를 통해 피사체의 영상을 획득하는 피사체 영상 획득부;
    외부로부터 전달받은 인체의 신장 및 형태를 포함하는 초기값으로 기 저장된 다수의 3D 인체 모델 중 하나의 3D 인체 모델을 추출하는 3D 인체 모델 추출부;
    추출된 3D 인체 모델에 획득된 피사체의 영상의 신체 텍스처를 합성하는 신체 처리부;
    상기 획득된 피사체의 영상으로부터 얼굴 영상을 추출한 다음 피사체의 얼굴 영상에 대한 왜곡을 통해 얼굴 텍스처를 생성하는 얼굴 영상 처리부;
    상기 생성된 얼굴 텍스처를 상기 추출된 3D 인체 모델에 합성하여 AR 콘텐츠를 제작하는 AR 콘텐츠 제작부를 포함하되,
    상기 얼굴 영상 처리부는
    획득된 피사체의 영상으로부터 얼굴 영상을 추출한 다음 피사체의 얼굴 영상을 기준 얼굴 영상으로 설정하고, 설정된 기준 얼굴 영상에 대해 그래픽 처리를 통해 왜곡시켜 다수의 가상 얼굴 영상을 생성하고,
    생성된 다수의 가상 얼굴 영상 중 피사체의 얼굴 영상과 매칭되는 가상 얼굴 영상으로부터 얼굴 텍스처를 생성하도록 구비되는 것을 특징으로 하는 증강 현실 콘텐츠 제작 장치.
  2. 삭제
  3. 제1항에 있어서, 상기 증강 현실 콘텐츠 제작 장치는
    상기 획득된 소정 수의 프레임의 피사체의 영상으로부터 각 스컬톤(Skeleton)을 추출한 다음 스컬톤 정보와 매칭되는 모션을 생성하고 생성된 모션에게 부여된 모션 식별 번호를 상기 AR 콘텐츠 제작부로 전달하고 모션 처리부를 더 포함하고,
    상기 AR 콘텐츠 제작부는
    모션 식별 번호와 매칭되는 모션을 상기 추출된 3D 인체 모델에 합성하여 AR 콘텐츠를 제작하도록 구비되는 것을 특징으로 하는 증강 현실 콘텐츠 제작 장치.
  4. 제3항에 있어서, 상기 모션 처리부는,
    획득된 소정 수의 프레임의 피사체의 영상으로부터 각 스컬톤을 생성하고 각 스컬톤 정보를 누적하며,
    누적된 스컬톤 정보와 매핑되는 모션에게 부여된 모션 식별 번호를 추출하고,
    추출된 모션 식별 번호를 AR 콘텐츠 제작부로 전달하도록 구비되는 것을 특징으로 하는 증강 현실 콘텐츠 제작 장치.
  5. 깊이 카메라 및 RGB 카메라를 통해 파사체의 영상을 획득하는 영상 수집단계;
    초기값의 입력으로 다수의 3D 인체 모델 중 기 저장된 3D 인체 모델을 추출하고 추출된 3D 인체 모델에 획득된 영상의 얼굴 및 모션을 제외한 나머지 영상의 신체 텍스처를 생성하고 생성된 신체 텍스처를 추출된 추출된 3D 인체 모델에 합성하는 단계;
    상기 획득된 피사체의 영상으로부터 얼굴 영상을 추출한 다음 얼굴 영상에 대한 왜곡을 통해 얼굴 텍스처를 생성하고 생성된 얼굴 텍스처를 AR 콘텐츠 제작부로 전달하며 전달된 얼굴 텍스처를 추출된 3D 인체 모델에 합성하는 단계; 및
    획득된 소정 수 프레임의 피사체의 영상으로부터 각 스컬톤을 생성한 다음 생성된 각 스컬톤 정보를 누적하고 누적된 스컬톤 정보와 매핑되는 모션에게 부여된 모션 식별 번호를 AR 콘텐츠 제작부로 전달하며 전달된 모션 식별 번호와 매칭되는 모션을 추출된 3D 인체 모델에 합성하여 AR 콘텐츠를 제작하는 단계를 포함하는 것을 특징으로 하는 증강 현실 콘텐츠 제작 방법.
KR1020200169721A 2020-12-07 2020-12-07 증강 현실 콘텐츠 제작 장치 및 방법 KR102419133B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200169721A KR102419133B1 (ko) 2020-12-07 2020-12-07 증강 현실 콘텐츠 제작 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200169721A KR102419133B1 (ko) 2020-12-07 2020-12-07 증강 현실 콘텐츠 제작 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220080518A KR20220080518A (ko) 2022-06-14
KR102419133B1 true KR102419133B1 (ko) 2022-07-11

Family

ID=81980512

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200169721A KR102419133B1 (ko) 2020-12-07 2020-12-07 증강 현실 콘텐츠 제작 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102419133B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102698746B1 (ko) * 2023-07-17 2024-08-27 오픈스택 주식회사 영상 내 실제 얼굴에 가상 얼굴을 배정하는 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101640039B1 (ko) * 2009-09-22 2016-07-18 삼성전자주식회사 영상 처리 장치 및 방법
KR102317247B1 (ko) 2015-06-15 2021-10-26 한국전자통신연구원 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법
KR102467903B1 (ko) * 2018-08-06 2022-11-16 주식회사 포리버 증강 현실용 스켈레톤 매핑에 의한 모션 표현 방법

Also Published As

Publication number Publication date
KR20220080518A (ko) 2022-06-14

Similar Documents

Publication Publication Date Title
TWI708152B (zh) 圖像處理方法、裝置及儲存介質
US10460512B2 (en) 3D skeletonization using truncated epipolar lines
CN107682688B (zh) 基于增强现实的视频实时录制方法及录制设备
CN106896925A (zh) 一种虚拟现实与真实场景融合的装置
CN105843386A (zh) 一种商场虚拟试衣系统
CN106200918B (zh) 一种基于ar的信息显示方法、装置和移动终端
CN109671141B (zh) 图像的渲染方法和装置、存储介质、电子装置
US20130127827A1 (en) Multiview Face Content Creation
CN107798932A (zh) 一种基于ar技术的早教训练系统
CN113298858A (zh) 一种虚拟形象的动作生成方法、装置、终端以及存储介质
WO2015116388A2 (en) Self-initiated change of appearance for subjects in video and images
CN106997618A (zh) 一种虚拟现实与真实场景融合的方法
CN106157363A (zh) 一种基于增强现实的拍照方法、装置和移动终端
CN111627117B (zh) 画像展示特效的调整方法、装置、电子设备及存储介质
CN104656893A (zh) 一种信息物理空间的远程交互式操控系统及方法
CN114821675B (zh) 对象的处理方法、系统和处理器
JP2006227838A (ja) 画像処理装置及び画像処理プログラム
CN108038916B (zh) 一种增强现实的显示方法
WO2017124870A1 (zh) 一种处理多媒体信息的方法及装置
CN107016730A (zh) 一种虚拟现实与真实场景融合的装置
KR102419133B1 (ko) 증강 현실 콘텐츠 제작 장치 및 방법
CN114241132B (zh) 场景内容展示控制方法、装置、计算机设备及存储介质
CN116943191A (zh) 基于故事场景的人机互动方法、装置、设备及介质
CN114998935A (zh) 图像处理方法、装置、计算机设备及存储介质
CN106981100A (zh) 一种虚拟现实与真实场景融合的装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant