KR20210073428A - 현실기반 sns를 위한 나만의 캐릭터 생성 및 사물 및 배경 복원 방법 및 시스템 - Google Patents

현실기반 sns를 위한 나만의 캐릭터 생성 및 사물 및 배경 복원 방법 및 시스템 Download PDF

Info

Publication number
KR20210073428A
KR20210073428A KR1020200028272A KR20200028272A KR20210073428A KR 20210073428 A KR20210073428 A KR 20210073428A KR 1020200028272 A KR1020200028272 A KR 1020200028272A KR 20200028272 A KR20200028272 A KR 20200028272A KR 20210073428 A KR20210073428 A KR 20210073428A
Authority
KR
South Korea
Prior art keywords
character
background
augmented reality
virtual reality
information
Prior art date
Application number
KR1020200028272A
Other languages
English (en)
Inventor
김성흠
윤주홍
류한나
이민호
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of KR20210073428A publication Critical patent/KR20210073428A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Processing Or Creating Images (AREA)

Abstract

다자간 활동이 가능한 AR(Augmented Reality) 및 VR(Virtual Reality) 콘텐츠를 생성하여 공유하는 캐릭터 생성 및 사물 및 배경 복원 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 캐릭터 생성 및 사물 및 배경 복원 방법은, 캐릭터 생성 및 사물 및 배경 복원 시스템이, 객체의 외형 정보를 기반으로 기본 템플릿 모델을 생성하는 단계; 캐릭터 생성 및 사물 및 배경 복원 시스템이, 객체의 자세 정보를 기본 템플릿 모델에 적용하여 가상 현실 및 증강 현실 콘텐츠를 생성하는 단계; 및 캐릭터 생성 및 사물 및 배경 복원 시스템이, 생성된 가상 현실 및 증강 현실 콘텐츠를 SNS(Social Network Service)에 공유하는 단계;를 포함한다. 이에 의해, 사람 및 동물 캐릭터, 다양한 식물 또는 배경 객체 생성에 초고해상도 센서 데이터 및 학습 기반 모션 적용이 고려되어, 사람 및 동물 캐릭터, 다양한 식물 또는 배경 객체 생성에 소요되는 시간 및 비용을 절감할 수 있으며, 현실 세계와 매우 유사한 공간을 표출할 수 있으며, 데이터 증강 기법 및 딥러닝 기술로 다양한 2D 단일 또는 다중 영상 입력에 대한 새로운 3D 외형과 자세를 수집할 수 있어, 보다 쉽게 AR 및 VR 콘텐츠를 구성할 수 있다.

Description

현실기반 SNS를 위한 나만의 캐릭터 생성 및 사물 및 배경 복원 방법 및 시스템{Method and System for restoring objects and background and creating your own character for reality-based Social Network Services}
본 발명은 캐릭터 생성 및 사물 및 배경 복원 방법 및 시스템에 관한 것으로, 더욱 상세하게는 다자간 활동이 가능한 AR(Augmented Reality) 및 VR(Virtual Reality) 콘텐츠를 생성하여 공유하는 캐릭터 생성 및 사물 및 배경 복원 방법 및 시스템에 관한 것이다.
종래의 가상/증강 현실 관련 콘텐츠들은 그래픽 소프트웨어를 통해 구현 가능한 모델들을 기반하여 구성 요소들을 구축한다.
예를 들면, 영화, 게임 등의 산업에서는 이와 같이 그래픽 도구를 이용해 유저가 좋아할 만한 캐릭터와 배경들을 미리 구현한 후, 스토리텔링을 부여하는 방식으로 수요를 창출하고 있다.
한편, 일부 Social Network Service(SNS)와 같은 응용 분야에서는 현실 세계의 사회적 관계를 강화하는데 주요 목적이 있기 때문에, 콘텐츠의 구성 요소가 현실 세계의 그것과 가까울수록 유리하다.
그러나, 종래의 모델 기반 기술의 한계로 인해 실제 세계와의 유사도가 사용자를 만족시키지 못한다는 점에서 그 한계가 존재한다.
또한, 사용자의 다양한 외형과 움직임으로 고유한 캐릭터를 만드는 과정이 높은 비용을 요구하고, 실세계의 많은 배경 물체들을 그래픽 툴에만 의존하여 디지털화하여, 상당한 시간이 필요하여 불편함이 존재한다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 사람 또는 동물 등의 캐릭터를 생성하고, 현실 세계의 사물 또는 캐릭터의 배경이 매우 정밀하게 복원된 공간에서 복합적인 상호작용이 가능한 현실기반 SNS(Social Network Services)를 이용하기 위해, 다자간 활동이 가능한 AR(Augmented Reality) 및 VR(Virtual Reality) 콘텐츠를 생성하여 공유하는 현실기반 SNS를 위한 나만의 캐릭터 생성 및 사물 및 배경 복원 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 캐릭터 생성 및 사물 및 배경 복원 방법은, 캐릭터 생성 및 사물 및 배경 복원 시스템이, 객체의 외형 정보를 기반으로 기본 템플릿 모델을 생성하는 단계; 캐릭터 생성 및 사물 및 배경 복원 시스템이, 객체의 자세 정보를 기본 템플릿 모델에 적용하여 가상 현실 및 증강 현실 콘텐츠를 생성하는 단계; 및 캐릭터 생성 및 사물 및 배경 복원 시스템이, 생성된 가상 현실 및 증강 현실 콘텐츠를 SNS(Social Network Service)에 공유하는 단계;를 포함한다.
그리고 기본 템플릿 모델의 생성 단계는, 캐릭터 또는 캐릭터의 배경 객체의 외형 정보를 초고해상도인 제1 카메라로 수집할 수 있다.
또한, 캐릭터 또는 캐릭터의 배경 객체는, 데이터 증강기법을 이용한 딥러닝 학습 모델에 입력되면, 데이터 증강기법을 이용한 딥러닝 학습 모델에 의해, 외형 또는 자세가 조정됨으로써, 동일한 캐릭터 또는 캐릭터의 배경 객체를 대상으로 생성되는 가상 현실 및 증강 현실 콘텐츠의 수가 증가하도록 할 수 있다.
그리고 가상 현실 및 증강 현실 콘텐츠의 생성 단계는, 캐릭터 또는 캐릭터의 배경 객체의 자세 정보를 외형 정보를 수집하는 제1 카메라보다 상대적으로 저해상도인 제2 카메라로 수집할 수 있다.
또한, 수집되는 외형 정보는, 3차원 공간에서 운동하는 객체의 여섯 가지 회전 및 병진 동작 요소인 6 자유도(6 Degrees Of Freedom)에 대한 정보일 수 있다.
그리고 가상 현실 및 증강 현실 콘텐츠의 생성 단계는, 단일 개체인 기본 템플릿 모델에 복수의 서로 다른 자세에 대한 자세 정보 중 적어도 하나의 자세 정보를 선택 적용하여, 적어도 하나의 가상 현실 및 증강 현실 콘텐츠를 생성할 수 있다.
또한, 공유 단계는, 제1 기본 템플릿 모델에 제1 자세 정보가 적용된 제1 캐릭터에 대한 정보가 포함된 가상 현실 및 증강 현실 콘텐츠가 SNS에 공유되면, 제1 기본 템플릿 모델과 외형이 다른 제2 기본 템플릿 모델에 제1 캐릭터와 자세가 다른 제2 자세 정보가 적용된 제2 캐릭터에 제1 자세 정보의 적용이 가능하도록 할 수 있다.
그리고 공유 단계는, SNS에 공유되는 복수의 가상 현실 및 증강 현실 콘텐츠에 포함되는 캐릭터 간 자세의 상호 작용이 가능하도록 할 수 있다.
또한, SNS를 지원하는 SNS 서버에는, SNS에 공유되는 복수의 가상 현실 및 증강 현실 콘텐츠에 포함되는 캐릭터 간 자세의 상호 작용이 가능하도록, 공유되는 가상 현실 및 증강 현실 콘텐츠에 포함된 캐릭터에 적용된 자세 정보와 적용된 자세 정보에 대응되는 대응 자세 정보가 매칭되어 저장될 수 있다.
한편, 본 발명의 다른 실시예에 따른, 캐릭터 생성 및 사물 및 배경 복원 시스템은, 객체의 외형 정보를 수집하는 제1 카메라; 객체의 자세 정보를 수집하는 제2 카메라; 및 제1 카메라에 의해 수집되는 객체의 외형 정보를 기반으로 기본 템플릿 모델을 생성하고, 제2 카메라에 의해 수집되는 객체의 자세 정보를 기본 템플릿 모델에 적용하여 가상 현실 및 증강 현실 콘텐츠를 생성하고, 생성된 가상 현실 및 증강 현실 콘텐츠를 SNS(Social Network Service)에 공유하는 프로세서;를 포함한다.
그리고 본 발명의 다른 실시예에 따른, 캐릭터 생성 및 사물 및 배경 복원 방법은 캐릭터 생성 및 사물 및 배경 복원 시스템이, 객체의 외형 정보를 기반으로 기본 템플릿 모델을 생성하는 단계; 및 캐릭터 생성 및 사물 및 배경 복원 시스템이, 객체의 자세 정보를 기본 템플릿 모델에 적용하여 가상 현실 및 증강 현실 콘텐츠를 생성하는 단계;를 포함한다.
또한, 본 발명의 다른 실시예에 따른, 캐릭터 생성 및 사물 및 배경 복원 시스템은, 객체의 외형 정보를 수집하는 제1 카메라; 객체의 자세 정보를 수집하는 제2 카메라; 및 제1 카메라에 의해 수집되는 객체의 외형 정보를 기반으로 기본 템플릿 모델을 생성하고, 제2 카메라에 의해 수집되는 객체의 자세 정보를 기본 템플릿 모델에 적용하여 가상 현실 및 증강 현실 콘텐츠를 생성하는 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 사람 및 동물 캐릭터, 다양한 식물 또는 배경 객체 생성에 초고해상도 센서 데이터 및 학습 기반 모션 적용이 고려되어, 사람 및 동물 캐릭터, 다양한 식물 또는 배경 객체 생성에 소요되는 시간 및 비용을 절감할 수 있으며, 현실 세계와 매우 유사한 공간을 표출할 수 있으며, 데이터 증강 기법 및 딥러닝 기술로 다양한 2D 단일 또는 다중 영상 입력에 대한 새로운 3D 외형과 자세를 수집할 수 있어, 보다 쉽게 AR 및 VR 콘텐츠를 구성할 수 있다.
더불어, 본 발명의 실시예들에 따르면, 참여자가 증가하면서 커뮤니티 기반으로 SNS 구성 요소들을 비교적 적은 그래픽 툴을 사용하여 복원 및 구현될 수 있으며, 외형 및 자세, 동작 및 상황 정보들이 디지털로 축적되기에, 시간이 흐름에 따라 유용한 사회적 인공지능(Social A.I.)이 구축되어 사회 안전망에 연결됨으로써, AR 및 VR 콘텐츠로 사람들의 상호 작용이 효과적으로 이뤄질 수 있다.
도 1은, 본 발명의 일 실시예에 따른 현실기반 SNS를 위한 나만의 캐릭터 생성 및 사물 및 배경 복원 시스템의 설명에 제공된 도면,
도 2 내지 도 3은, 본 발명의 일 실시예에 따른 캐릭터 생성 및 사물 및 배경 복원 장치의 더욱 상세한 설명에 제공된 도면,
도 4는, 본 발명의 일 실시예에 따른 SNS 서버의 더욱 상세한 설명에 제공된 도면,
도 5는 본 발명의 일 실시예에 따른 현실기반 SNS를 위한 나만의 캐릭터 생성 및 사물 및 배경 복원 방법의 설명에 제공된 흐름도, 그리고
도 6은 본 발명의 일 실시예에 따라 가상 현실 및 증강 현실 콘텐츠를 SNS에 공유하는 과정의 설명에 제공된 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은, 본 발명의 일 실시예에 따른 현실기반 SNS를 위한 나만의 캐릭터 생성 및 사물 및 배경 복원 시스템(이하에서는 '캐릭터 생성 및 사물 및 배경 복원 시스템'으로 총칭하기로 함)의 설명에 제공된 도면이고, 도 2 내지 도 3은, 본 발명의 일 실시예에 따른 캐릭터 생성 및 사물 및 배경 복원 장치(100)의 더욱 상세한 설명에 제공된 도면이다.
본 실시예에 따른 캐릭터 생성 및 사물 및 배경 복원 시스템은, 사람 또는 동물 등의 캐릭터를 생성하고, 현실 세계의 사물 또는 캐릭터의 배경이 매우 정밀하게 복원된 공간에서 복합적인 상호작용이 가능한 현실기반 SNS를 이용하기 위해, 다자간 활동이 가능한 AR 및 VR 콘텐츠를 생성하여 공유하기 위해 마련된다.
이를 위해, 본 캐릭터 생성 및 사물 및 배경 복원 시스템은, 캐릭터 생성 및 사물 및 배경 복원 장치(100)와 SNS를 지원하는 SNS 서버(200)로 구성될 수 있다.
캐릭터 생성 및 사물 및 배경 복원 장치(100)는, 사람 또는 동물 등의 캐릭터를 생성하거나 현실 세계의 사물 또는 캐릭터의 배경을 복원하여, AR 및 VR 콘텐츠를 생성하고, 생성된 AR 및 VR 콘텐츠를 SNS에 공유할 수 있다.
이를 위해, 캐릭터 생성 및 사물 및 배경 복원 장치(100)는, 제1 카메라(110), 스트로브 라이트(120), 제2 카메라(130), 제1 프로세서(140), 제1 통신부(150) 및 제1 저장부(160)를 포함할 수 있다.
제1 카메라(110)는, 촬영하고자 하는 객체의 외형 정보를 수집하는 초고해상도 카메라로서, 복수의 제1 카메라(110)가 객체를 중심으로 분산 배치되어, 캐릭터 생성 및 사물 및 배경 복원 장치(100)의 몸체를 이루는 프레임에 고정될 수 있다.
스트로브 라이트(120)는 제1 카메라(110)와 동작 시간이 동기화 되어, 연동되는 조명장치로서, 객체를 중심으로 분산 배치될 수 있다.
여기서, 스트로브 라이트(120)는 짧은 시간 동안 아주 밝은 빛을 출력하여, 고속 동작 상태에 있는 객체를 촬영할 때, 피사체의 움직임이 끊어지는 효과를 줄 수 있으며, 화면이 깜박이는 것을 방지하고 좋은 화질을 얻는데 도움을 줄 수 있다.
제2 카메라(130)는, 객체의 자세 정보를 수집하는 카메라로서, 캐릭터 또는 캐릭터의 배경 객체의 자세 정보를 외형 정보를 수집하는 제1 카메라(110)보다 상대적으로 해상도가 낮은 저해상도 카메라로 구현될 수 있다.
여기서, 객체의 자세 정보는, 캐릭터의 기반이 되는 사람 또는 동물의 독특한 움직임, 식물 또는 사물과 같은 캐릭터의 배경 객체의 6자유도 자세가 포함된 정보를 의미한다.
6 자유도(6 Degrees Of Freedom)는, 3차원 공간에서 운동하는 객체의 여섯 가지 회전 및 병진 동작 요소를 의미한다.
구체적으로, 6 자유도(6DOF)는 3차원 직각 좌표계에서 X축 중심의 좌우 회전(roll), Y축 중심의 앞뒤 회전(pitch), Z축 중심의 위아래 회전(yaw) 동작과 앞뒤(forward/back, surge), 좌우(left/right, sway), 위아래(up/down, heave) 병진 동작(translational motion)을 포함한다.
제1 프로세서(140)는, 제1 카메라(110)에 의해 수집되는 객체의 외형 정보를 기반으로 기본 템플릿 모델을 생성하고, 제2 카메라(130)에 의해 수집되는 객체의 자세 정보를 기본 템플릿 모델에 적용하여 가상 현실 및 증강 현실 콘텐츠를 생성할 수 있다.
구체적으로, 제1 프로세서(140)는, 단일 개체인 기본 템플릿 모델에 복수의 서로 다른 자세에 대한 자세 정보 중 적어도 하나의 자세 정보를 선택 적용하여, 적어도 하나의 가상 현실 및 증강 현실 콘텐츠를 생성할 수 있다.
예를 들면, 특정 인물의 외형 정보를 기반으로 기본 템플릿 모델이 생성되고, A 노래에 대응되는 A 안무 동작들과 B 노래에 대응되는 B 안무 동작들이 모두 생성된 경우, 특정 인물의 외형 정보를 기반으로 생성된 기본 템플릿 모델에 A 안무 동작들과 B 안무 동작 중 적어도 하나를 선택 적용하여 특정 인물이 선택 적용된 안무 동작들을 수행하는 가상 현실 및 증강 현실 콘텐츠를 생성할 수 있다.
이때, 제1 프로세서(140)는, 데이터 증강기법을 이용한 딥러닝 학습 모델에 입력되면, 데이터 증강기법을 이용한 딥러닝 학습 모델에 의해, 외형 또는 자세가 조정됨으로써, 동일한 캐릭터 또는 캐릭터의 배경 객체를 대상으로 생성되는 가상 현실 및 증강 현실 콘텐츠의 수가 증가하도록 할 수 있다.
즉, 제1 프로세서(140)는, 데이터 증강기법을 이용한 딥러닝 학습 모델을 이용하여, 특정 인물이 A 안무 동작들을 수행하는 가상 현실 및 증강 현실 콘텐츠를 기반으로 다른 인물이 A 안무 동작들을 수행하는 가상 현실 및 증강 현실 콘텐츠 또는 특정 인물이 B 안무 동작들을 수행하는 가상 현실 및 증강 현실 콘텐츠 등을 생성함으로써, 생성되는 가상 현실 및 증강 현실 콘텐츠의 수가 증가하도록 할 수 있다.
또한, 제1 프로세서(140)는, 생성된 가상 현실 및 증강 현실 콘텐츠를 SNS(Social Network Service)에 공유할 수 있다.
제1 통신부(150)는, SNS 서버(200)와 연결되어 데이터를 송수신하기 위한 통신 수단이며, 제1 저장부(160)는, 제1 프로세서(140)가 동작함에 있어 필요한 프로그램 및 데이터를 저장할 수 있는 저장 공간을 제공하는 저장매체이다.
SNS 서버(200)는, 복수의 사용자 단말 간 가상 현실 및 증강 현실 콘텐츠를 공유하는 SNS 서비스를 지원하기 위해 마련된다.
여기서, 사용자 단말은, SNS를 이용하는 정보처리 단말로서, 데스크탑, 노트북, 테블릿 pc 또는 스마트폰 등의 모바일 단말로 구현될 수 있다.
구체적으로, SNS 서버(200)는, 캐릭터 생성 및 사물 및 배경 복원 장치(100)로부터 가상 현실 및 증강 현실 콘텐츠를 제공받아 저장하고, 접속된 사용자 단말이 요청하면, 가상 현실 및 증강 현실 콘텐츠를 공유할 수 있다.
예를 들면, SNS 서버(200)는, 제1 기본 템플릿 모델에 제1 자세 정보가 적용된 제1 캐릭터에 대한 정보가 포함된 가상 현실 및 증강 현실 콘텐츠가 SNS에 공유되면, 제1 기본 템플릿 모델과 외형이 다른 제2 기본 템플릿 모델에 제1 캐릭터와 자세가 다른 제2 자세 정보가 적용된 제2 캐릭터에 제1 자세 정보의 적용이 가능하도록 할 수 있다.
또한, SNS 서버(200)는, SNS에 공유되는 복수의 가상 현실 및 증강 현실 콘텐츠에 포함되는 캐릭터 간 자세의 상호 작용이 가능하도록, 공유되는 가상 현실 및 증강 현실 콘텐츠에 포함된 캐릭터에 적용된 자세 정보와 적용된 자세 정보에 대응되는 대응 자세 정보가 매칭되어 저장될 수 있다.
도 4는, 본 발명의 일 실시예에 따른 SNS 서버(200)의 더욱 상세한 설명에 제공된 도면이다.
도 4를 참조하면, SNS 서버(200)는, 복수의 사용자 단말 간 가상 현실 및 증강 현실 콘텐츠를 공유하는 SNS 서비스를 지원하기 위해, 제2 통신부(210), 제2 저장부(220) 및 제2 프로세서(230)를 포함할 수 있다.
제2 통신부(210)는, 캐릭터 생성 및 사물 및 배경 복원 장치(100) 또는 사용자 단말과 연결되어, 데이터를 송수신하기 위한 통신 수단이며, 제2 저장부(220)는, 제2 프로세서(230)가 동작함에 있어 필요한 프로그램 및 데이터를 저장할 수 있는 저장 공간을 제공하는 저장매체이다.
제2 프로세서(230)는, 캐릭터 생성 및 사물 및 배경 복원 장치(100)로부터 가상 현실 및 증강 현실 콘텐츠를 제공받아 제2 저장부(220)에 저장되도록 하고, 제2 통신부(210)를 통해 접속된 사용자 단말이 요청하면, 가상 현실 및 증강 현실 콘텐츠를 공유할 수 있다.
그리고 제2 프로세서(230)는, 단순히 저장된 가상 현실 및 증강 현실 콘텐츠를 사용자 단말에 제공하는 것에 그치지 않고, 가상 현실 및 증강 현실 콘텐츠에 적용된 자세 정보를 추출하여, 다른 캐릭터에 추출된 자세 정보가 적용되도록 함으로써, 보다 다양한 자세가 적용되는 캐릭터들이 포함된 가상 현실 및 증강 현실 콘텐츠를 제공할 수 있다.
예를 들면, 제2 프로세서(230)는, 제1 기본 템플릿 모델에 제1 자세 정보가 적용된 제1 캐릭터에 대한 정보가 포함된 가상 현실 및 증강 현실 콘텐츠가 SNS에 공유되면, 제1 기본 템플릿 모델과 외형이 다른 제2 기본 템플릿 모델에 제1 캐릭터와 자세가 다른 제2 자세 정보가 적용된 제2 캐릭터에 제1 자세 정보의 적용이 가능하도록 할 수 있다.
더불어, 제2 프로세서(230)는, 공유되는 가상 현실 및 증강 현실 콘텐츠에 포함된 캐릭터에 적용된 자세 정보에 대응되는 대응 자세 정보를 검색하고, 검색 결과 대응 자세 정보가 존재하면, 공유되는 가상 현실 및 증강 현실 콘텐츠에 포함된 캐릭터에 적용된 자세 정보와 자세 정보에 대응되는 대응 자세 정보를 매칭시켜, 제2 저장부(220)에 저장되도록 할 수 있다.
이를 통해, SNS에 공유되는 복수의 가상 현실 및 증강 현실 콘텐츠에 포함되는 캐릭터 간 자세의 상호 작용이 가능하도록 구현할 수 있다.
도 5는 본 발명의 일 실시예에 따른 캐릭터 생성 및 사물 및 배경 복원 시스템을 이용하는 현실기반 SNS를 위한 나만의 캐릭터 생성 및 사물 및 배경 복원 방법(이하에서는 '캐릭터 생성 및 사물 및 배경 복원 방법'으로 총칭하기로 함)의 설명에 제공된 흐름도이다.
본 실시예에 따른 캐릭터 생성 및 사물 및 배경 복원 방법은, 캐릭터 생성 및 사물 및 배경 복원 장치(100)가, 객체의 외형 정보를 기반으로 기본 템플릿 모델을 생성하는 단계(S510), 캐릭터 생성 및 사물 및 배경 복원 장치(100)가, 객체의 자세 정보를 기본 템플릿 모델에 적용하여 가상 현실 및 증강 현실 콘텐츠를 생성하는 단계(S520) 및 캐릭터 생성 및 사물 및 배경 복원 장치(100)가, 생성된 가상 현실 및 증강 현실 콘텐츠를 SNS(Social Network Service)에 공유하는 단계(S530)로 구성될 수 있다.
기본 템플릿 모델의 생성 단계(S510)에서는, 캐릭터 또는 캐릭터의 배경 객체의 외형 정보를 초고해상도인 제1 카메라(110)로 수집할 수 있다.
이때, 캐릭터 또는 캐릭터의 배경 객체는, 데이터 증강기법을 이용한 딥러닝 학습 모델에 입력되면, 데이터 증강기법을 이용한 딥러닝 학습 모델에 의해, 외형 또는 자세가 조정됨으로써, 동일한 캐릭터 또는 캐릭터의 배경 객체를 대상으로 생성되는 가상 현실 및 증강 현실 콘텐츠의 수가 증가하도록 할 수 있다.
가상 현실 및 증강 현실 콘텐츠의 생성 단계(S520)에서는, 캐릭터 또는 캐릭터의 배경 객체의 자세 정보를 외형 정보를 수집하는 제1 카메라(110)보다 상대적으로 저해상도인 제2 카메라(130)로 수집할 수 있다.
또한, 가상 현실 및 증강 현실 콘텐츠의 생성 단계(S520)에서는, 단일 개체인 기본 템플릿 모델에 복수의 서로 다른 자세에 대한 자세 정보 중 적어도 하나의 자세 정보를 선택 적용하여, 적어도 하나의 가상 현실 및 증강 현실 콘텐츠를 생성할 수 있다.
가상 현실 및 증강 현실 콘텐츠의 공유 단계(S530)에서는 SNS에 공유되는 복수의 가상 현실 및 증강 현실 콘텐츠에 포함되는 캐릭터 간 자세의 상호 작용이 가능하도록 할 수 있다. 이에 대한 가상 현실 및 증강 현실 콘텐츠의 공유 단계(S530)에 대한 설명은 도 6을 참조하여 후술하기로 한다.
도 6은 본 발명의 일 실시예에 따라 가상 현실 및 증강 현실 콘텐츠를 SNS에 공유하는 과정의 설명에 제공된 흐름도이다.
도 6을 참조하면, 본 실시예에 따른 캐릭터 생성 및 사물 및 배경 복원 시스템은, 가상 현실 및 증강 현실 콘텐츠를 SNS에 공유하기 위해, 캐릭터 생성 및 사물 및 배경 복원 시스템을 통해 생성된 제1 캐릭터에 대한 가상 현실 및 증강 현실 콘텐츠를 SNS 서버(200)에 업로드하게 된다(S610).
SNS 서버(200)는, 제1 캐릭터에 대한 가상 현실 및 증강 현실 콘텐츠가 업로드되면, 업로드된 가상 현실 및 증강 현실 콘텐츠의 자세 정보를 추출하고(S620), 기저장된 자세 정보 중 추출된 자세 정보와 연계 또는 대응되는 대응 자세 정보에 해당하는 정보가 존재하는지 검색하게 된다(S630).
여기서, SNS 서버(200)에 저장되는 자세 정보들은, 가상 현실 및 증강 현실 콘텐츠로부터 자세 정보 추출 시, SNS 서버(200)에 의해, 자세 정보들이 적용 가능한 캐릭터의 종류를 나타내는 캐릭터 코드 정보 및 연계 또는 대응 가능한 자세 정보를 나타내는 대응 코드 정보가 생성되고, 생성된 코드 정보들은 자세 정보와 함께 저장되어, 기저장된 특정 자세 정보가 추출된 자세 정보와 연계 또는 대응되는지 여부를 판단 시 이용될 수 있다.
즉, SNS 서버(200)는 제1 캐릭터에 대한 가상 현실 및 증강 현실 콘텐츠에서 제1 자세 정보를 추출하고, 자세 정보들이 적용 가능한 캐릭터의 종류를 나타내는 캐릭터 코드 정보 및 연계 또는 대응 가능한 자세 정보를 나타내는 대응 코드 정보가 생성한 다음, 생성된 대응 코드 정보와 기저장된 자세 정보들의 대응 코드 정보를 비교하는 방식으로 대응 자세 정보에 해당하는 정보가 존재하는지 검색하게 된다.
그리고 SNS 서버(200)는 대응 자세 정보가 존재하면(S630-Yes), 제1 자세 정보와 대응 자세 정보를 매칭시켜 저장할 수 있다(S640).
반대로, SNS 서버(200)는 대응 자세 정보가 존재하지 않으면(S630-No), 제1 자세 정보만 저장하게 된다(S650).
그리고 SNS 서버(200)는 사용자 단말로부터 저장된 제1 자세 정보가 요청되면(S660-Yes), 사용자 단말이 제2 캐릭터를 제공하거나 또는 서버에 저장된 캐릭터 중 사용자 단말이 요청하는 제2 캐릭터에 제1 자세 정보가 적용될 수 있다(S670).
즉, SNS 서버(200)는 제1 기본 템플릿 모델에 제1 자세 정보가 적용된 제1 캐릭터에 대한 정보가 포함된 가상 현실 및 증강 현실 콘텐츠가 SNS에 공유되면, 제1 기본 템플릿 모델과 외형이 다른 제2 기본 템플릿 모델에 제1 캐릭터와 자세가 다른 제2 자세 정보가 적용된 제2 캐릭터에 제1 자세 정보의 적용이 가능하도록 할 수 있다.
이때, SNS 서버(200)는 제1 자세 정보와 매칭되어 저장된 대응 자세 정보가 존재하고, 사용자 단말이 제3 캐릭터를 제공하거나 또는 서버에 저장된 캐릭터 중 사용자 단말이 제3 캐릭터를 요청하면(S680-Yes), 제3 캐릭터에 대응 자세 정보가 적용되도록 할 수 있다(S690).
구체적으로, SNS 서버(200)는 제2 캐릭터에 제1 자세 정보가 적용되는 경우, 제1 자세 정보와 매칭되어 저장된 대응 자세 정보가 존재하면, 사용자 단말에 제1 자세 정보에 매칭되어 저장된 대응 자세 정보의 존재 사실을 알리고, 대응 자세 정보의 적용 여부를 문의할 수 있다.
그러면, 사용자 단말은, 제3 캐릭터를 대상으로 대응 자세 정보를 적용하도록 선택할 수 있다. 단, 대응 자세 정보가 연계 자세인 경우, 사용자 단말의 요청 없이도, 기존 제2 캐릭터가 제1 자세 정보를 수행 이후, 대응 자세 정보를 연계 수행할 수 있다.
그리고 이러한 대응 자세 정보의 연계 또는 대응 수행 결과는 사용자 단말에 로그 기록으로 저장되어, 다음 제2 캐릭터의 제1 자세 정보 적용 시, 사용자 단말의 요청 없이도 자동 수행되도록 할 수 있다.
이를 통해, 참여자가 증가하면서 커뮤니티 기반으로 SNS 구성 요소들을 비교적 적은 그래픽 툴을 사용하여 복원 및 구현될 수 있으며, 외형 및 자세, 동작 및 상황 정보들이 디지털로 축적될 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 캐릭터 생성 및 사물 및 배경 복원 장치
110 : 제1 카메라
120 : 스트로브 라이트(strobe light)
130 : 제2 카메라
140 : 제1 프로세서
150 : 제1 통신부
160 : 제1 저장부
200 : SNS 서버
210 : 제2 통신부
220 : 제2 저장부
230 : 제2 프로세서

Claims (12)

  1. 캐릭터 생성 및 사물 및 배경 복원 시스템이, 객체의 외형 정보를 기반으로 기본 템플릿 모델을 생성하는 단계;
    캐릭터 생성 및 사물 및 배경 복원 시스템이, 객체의 자세 정보를 기본 템플릿 모델에 적용하여 가상 현실 및 증강 현실 콘텐츠를 생성하는 단계; 및
    캐릭터 생성 및 사물 및 배경 복원 시스템이, 생성된 가상 현실 및 증강 현실 콘텐츠를 SNS(Social Network Service)에 공유하는 단계;를 포함하는 캐릭터 생성 및 사물 및 배경 복원 방법.
  2. 청구항 1에 있어서,
    기본 템플릿 모델의 생성 단계는,
    캐릭터 또는 캐릭터의 배경 객체의 외형 정보를 초고해상도인 제1 카메라로 수집하는 것을 특징으로 하는 캐릭터 생성 및 사물 및 배경 복원 방법.
  3. 청구항 2에 있어서,
    캐릭터 또는 캐릭터의 배경 객체는,
    데이터 증강기법을 이용한 딥러닝 학습 모델에 입력되면, 데이터 증강기법을 이용한 딥러닝 학습 모델에 의해, 외형 또는 자세가 조정됨으로써, 동일한 캐릭터 또는 캐릭터의 배경 객체를 대상으로 생성되는 가상 현실 및 증강 현실 콘텐츠의 수가 증가하도록 하는 것을 특징으로 하는 캐릭터 생성 및 사물 및 배경 복원 방법.
  4. 청구항 2에 있어서,
    가상 현실 및 증강 현실 콘텐츠의 생성 단계는,
    캐릭터 또는 캐릭터의 배경 객체의 자세 정보를 외형 정보를 수집하는 제1 카메라보다 상대적으로 저해상도인 제2 카메라로 수집하는 것을 특징으로 하는 캐릭터 생성 및 사물 및 배경 복원 방법.
  5. 청구항 4에 있어서,
    수집되는 외형 정보는,
    3차원 공간에서 운동하는 객체의 여섯 가지 회전 및 병진 동작 요소인 6 자유도(6 Degrees Of Freedom)에 대한 정보인 것을 특징으로 하는 캐릭터 생성 및 사물 및 배경 복원 방법.
  6. 청구항 2에 있어서,
    가상 현실 및 증강 현실 콘텐츠의 생성 단계는,
    단일 개체인 기본 템플릿 모델에 복수의 서로 다른 자세에 대한 자세 정보 중 적어도 하나의 자세 정보를 선택 적용하여, 적어도 하나의 가상 현실 및 증강 현실 콘텐츠를 생성하는 것을 특징으로 하는 캐릭터 생성 및 사물 및 배경 복원 방법.
  7. 청구항 6에 있어서,
    공유 단계는,
    제1 기본 템플릿 모델에 제1 자세 정보가 적용된 제1 캐릭터에 대한 정보가 포함된 가상 현실 및 증강 현실 콘텐츠가 SNS에 공유되면, 제1 기본 템플릿 모델과 외형이 다른 제2 기본 템플릿 모델에 제1 캐릭터와 자세가 다른 제2 자세 정보가 적용된 제2 캐릭터에 제1 자세 정보의 적용이 가능하도록 하는 것을 특징으로 하는 캐릭터 생성 및 사물 및 배경 복원 방법.
  8. 청구항 1에 있어서,
    공유 단계는,
    SNS에 공유되는 복수의 가상 현실 및 증강 현실 콘텐츠에 포함되는 캐릭터 간 자세의 상호 작용이 가능하도록 하는 것을 특징으로 하는 캐릭터 생성 및 사물 및 배경 복원 방법.
  9. 청구항 8에 있어서,
    SNS를 지원하는 SNS 서버에는,
    SNS에 공유되는 복수의 가상 현실 및 증강 현실 콘텐츠에 포함되는 캐릭터 간 자세의 상호 작용이 가능하도록, 공유되는 가상 현실 및 증강 현실 콘텐츠에 포함된 캐릭터에 적용된 자세 정보와 적용된 자세 정보에 대응되는 대응 자세 정보가 매칭되어 저장되는 것을 특징으로 하는 캐릭터 생성 및 사물 및 배경 복원 방법.
  10. 객체의 외형 정보를 수집하는 제1 카메라;
    객체의 자세 정보를 수집하는 제2 카메라; 및
    제1 카메라에 의해 수집되는 객체의 외형 정보를 기반으로 기본 템플릿 모델을 생성하고, 제2 카메라에 의해 수집되는 객체의 자세 정보를 기본 템플릿 모델에 적용하여 가상 현실 및 증강 현실 콘텐츠를 생성하고, 생성된 가상 현실 및 증강 현실 콘텐츠를 SNS(Social Network Service)에 공유하는 프로세서;를 포함하는 캐릭터 생성 및 사물 및 배경 복원 시스템.
  11. 캐릭터 생성 및 사물 및 배경 복원 시스템이, 객체의 외형 정보를 기반으로 기본 템플릿 모델을 생성하는 단계; 및
    캐릭터 생성 및 사물 및 배경 복원 시스템이, 객체의 자세 정보를 기본 템플릿 모델에 적용하여 가상 현실 및 증강 현실 콘텐츠를 생성하는 단계;를 포함하는 캐릭터 생성 및 사물 및 배경 복원 방법.
  12. 객체의 외형 정보를 수집하는 제1 카메라;
    객체의 자세 정보를 수집하는 제2 카메라; 및
    제1 카메라에 의해 수집되는 객체의 외형 정보를 기반으로 기본 템플릿 모델을 생성하고, 제2 카메라에 의해 수집되는 객체의 자세 정보를 기본 템플릿 모델에 적용하여 가상 현실 및 증강 현실 콘텐츠를 생성하는 프로세서;를 포함하는 캐릭터 생성 및 사물 및 배경 복원 시스템.
KR1020200028272A 2019-12-10 2020-03-06 현실기반 sns를 위한 나만의 캐릭터 생성 및 사물 및 배경 복원 방법 및 시스템 KR20210073428A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190163477 2019-12-10
KR20190163477 2019-12-10

Publications (1)

Publication Number Publication Date
KR20210073428A true KR20210073428A (ko) 2021-06-18

Family

ID=76623610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200028272A KR20210073428A (ko) 2019-12-10 2020-03-06 현실기반 sns를 위한 나만의 캐릭터 생성 및 사물 및 배경 복원 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20210073428A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102434203B1 (ko) * 2021-11-05 2022-08-22 주식회사 펫픽 메타버스 플랫폼 네트워킹 기반 실시간 반려동물 모니터링 및 케어를 위한 온라인 펫시터 시스템
KR102469274B1 (ko) * 2022-06-30 2022-11-22 주식회사 에이펀인터렉티브 상호 작용 사물의 물리 정보를 고려한 메타버스 캐릭터 제작 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102434203B1 (ko) * 2021-11-05 2022-08-22 주식회사 펫픽 메타버스 플랫폼 네트워킹 기반 실시간 반려동물 모니터링 및 케어를 위한 온라인 펫시터 시스템
WO2023080378A1 (ko) * 2021-11-05 2023-05-11 주식회사 펫픽 메타버스 플랫폼 네트워킹 기반 실시간 반려동물 모니터링 및 케어를 위한 온라인 펫시터 시스템
KR102469274B1 (ko) * 2022-06-30 2022-11-22 주식회사 에이펀인터렉티브 상호 작용 사물의 물리 정보를 고려한 메타버스 캐릭터 제작 시스템 및 방법

Similar Documents

Publication Publication Date Title
Kasahara et al. Second surface: multi-user spatial collaboration system based on augmented reality
Papagiannakis et al. A survey of mobile and wireless technologies for augmented reality systems
Hedley et al. Explorations in the use of augmented reality for geographic visualization
CN112243583B (zh) 多端点混合现实会议
Klinker et al. Fata morgana-a presentation system for product design
US20160358383A1 (en) Systems and methods for augmented reality-based remote collaboration
US20130101164A1 (en) Method of real-time cropping of a real entity recorded in a video sequence
CN111294665B (zh) 视频的生成方法、装置、电子设备及可读存储介质
CN102253712A (zh) 用于共享信息的识别系统
CN109284001A (zh) 执行设备的功能的方法以及用于执行该方法的设备
CN103248810A (zh) 图像处理装置、图像处理方法和程序
CN111643899A (zh) 一种虚拟物品显示方法、装置、电子设备和存储介质
Waters et al. Visual sensing of humans for active public interfaces
KR20210073428A (ko) 현실기반 sns를 위한 나만의 캐릭터 생성 및 사물 및 배경 복원 방법 및 시스템
KR20200067537A (ko) 가상 환경 회의실 제공 시스템 및 방법
Papaefthymiou et al. Rapid reconstruction and simulation of real characters in mixed reality environments
Pick et al. A 3d collaborative virtual environment to integrate immersive virtual reality into factory planning processes
Tan et al. Virtual reality based immersive telepresence system for remote conversation and collaboration
CN116485953A (zh) 数据处理方法、装置、设备和可读存储介质
CN114489337A (zh) 一种ar互动方法、装置、设备及存储介质
CN108536830A (zh) 图片动态搜索方法、装置、设备、服务器和存储介质
CN115131528A (zh) 虚拟现实场景确定方法、装置及系统
CN112686990A (zh) 一种三维模型显示方法、装置、存储介质和计算机设备
Hachet et al. 3D interaction with and from handheld computers
Beimler et al. Smurvebox: A smart multi-user real-time virtual environment for generating character animations