KR102584076B1 - 예술과 기술의 융합 교육을 위한 가상 스테이지에서의 아바타 제공 장치 및 방법 - Google Patents

예술과 기술의 융합 교육을 위한 가상 스테이지에서의 아바타 제공 장치 및 방법 Download PDF

Info

Publication number
KR102584076B1
KR102584076B1 KR1020210119713A KR20210119713A KR102584076B1 KR 102584076 B1 KR102584076 B1 KR 102584076B1 KR 1020210119713 A KR1020210119713 A KR 1020210119713A KR 20210119713 A KR20210119713 A KR 20210119713A KR 102584076 B1 KR102584076 B1 KR 102584076B1
Authority
KR
South Korea
Prior art keywords
user terminal
code
virtual stage
additional object
objects
Prior art date
Application number
KR1020210119713A
Other languages
English (en)
Other versions
KR20230037092A (ko
Inventor
김서진
이정효
이현주
양정현
Original Assignee
주식회사 애이비씨랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 애이비씨랩 filed Critical 주식회사 애이비씨랩
Priority to KR1020210119713A priority Critical patent/KR102584076B1/ko
Publication of KR20230037092A publication Critical patent/KR20230037092A/ko
Application granted granted Critical
Publication of KR102584076B1 publication Critical patent/KR102584076B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 문서에 개시되는 일 실시 예에 따른 예술과 기술의 융합 교육을 위한 가상 스테이지에서의 아바타 제공 장치는 사용자 단말과 통신하도록 구성된 통신 회로, 메모리, 및 통신 회로 및 메모리와 전기적으로 연결된 프로세서를 포함하고, 프로세서는 통신 회로를 이용하여 사용자 단말로부터 복수의 신체 부위 각각에 대응하는 복수의 오브젝트를 표현하는 코드를 수신하고, 수신된 코드를 지정된 형식으로 변환하고, 복수의 신체 부위 각각에 대응하는 입력 창을 통해 변환된 코드를 획득하고, 통신 회로를 이용하여 사용자 단말에 의해 촬영된 사용자에 대한 비디오 영상을 획득하고, 비디오 영상을 분석함으로써 복수의 신체 부위 각각에 대응하는 복수의 좌표를 획득하고, 통신 회로를 이용하여 복수의 좌표 각각에 대응하는 위치에 복수의 오브젝트를 표시하는 가상 스테이지를 사용자 단말로 제공할 수 있다.

Description

예술과 기술의 융합 교육을 위한 가상 스테이지에서의 아바타 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDE AVATAR ON VIRTUAL STAGE FOR CONVERGENCE EDUCATION OF ART AND TECHNOLOGY}
본 문서에서 개시되는 실시 예들은 사용자의 코드 입력에 따라 가상 스테이지에서 아바타를 구현하여 출력하는 장치 및 방법과 관련된다.
2015년에 국제사회는 지속가능발전목표(SDGs)를 제정하였다. 특히, 교육 관련 목표(SDG 4.7)는 “지속 가능 발전과 세계 시민 의식”에 대한 내용을 포함하고 있다. 지속 가능 발전과 세계 시민 의식은 환경 지속 가능성, 지속 가능하고 포용적인 경제, 포용적인 사회 발전 등을 주제로 한다. 이 중 환경 지속 가능성을 주제로 하는 지속가능발전교육(ESD)은 지속 가능한 미래와 사회 변혁을 위해 필요한 가치, 행동 및 삶의 방식 등을 배울 수 있는 사회를 지향하는 교육을 의미한다. 이와 관련된 교육은 실제로 경제 성장률 상승, 환경 보호 활동 증진 및 범죄율 감소 등과 같은 효과를 낳고 있다. 따라서, 지속가능발전교육의 일환으로 예술과 기술의 융합 교육을 제안할 필요성이 있다.
예술과 기술의 융합 교육을 통해 참여자들은 자유로운 상상력과 창의력을 발전시킬 수 있다. 예술과 기술의 융합 교육을 위한 다양한 교육 과정의 개발 및 운영이 시도되고 있으나, 온라인 플랫폼을 통한 교육 방법은 부재한 상황이다. 특히, 언택트 시대에 대응하기 위해서는 상술한 온라인 플랫폼의 개발의 필요성이 더욱 높을 수 있다.
본 발명의 실시 예들은, 온라인 플랫폼을 이용하여 몸의 움직임을 통한 표현과 컴퓨터 프로그래밍에 대한 교육을 수행할 수 있는 장치 및 방법을 제공하기 위한 것이다.
본 문서에 개시되는 일 실시 예에 따른 예술과 기술의 융합 교육을 위한 가상 스테이지에서의 아바타 제공 장치는 사용자 단말과 통신하도록 구성된 통신 회로, 메모리, 및 통신 회로 및 메모리와 전기적으로 연결된 프로세서를 포함하고, 프로세서는 통신 회로를 이용하여 사용자 단말로부터 복수의 신체 부위 각각에 대응하는 복수의 오브젝트를 표현하는 코드를 수신하고, 수신된 코드를 지정된 형식으로 변환하고, 복수의 신체 부위 각각에 대응하는 입력 창을 통해 변환된 코드를 획득하고, 통신 회로를 이용하여 사용자 단말에 의해 촬영된 사용자에 대한 비디오 영상을 획득하고, 비디오 영상을 분석함으로써 복수의 신체 부위 각각에 대응하는 복수의 좌표를 획득하고, 통신 회로를 이용하여 복수의 좌표 각각에 대응하는 위치에 복수의 오브젝트를 표시하는 가상 스테이지를 사용자 단말로 제공할 수 있다.
일 실시 예에 따르면, 프로세서는 머신 러닝 모델을 이용하여 비디오 영상을 분석함으로써 복수의 신체 부위 각각에 대응하는 복수의 2차원 좌표를 획득하고, 복수의 2차원 좌표에 대한 기준 좌표를 비디오 영상의 하단 중앙 지점으로 변경하고, 변경된 복수의 2차원 좌표 각각을 비디오 영상의 높이를 기준으로 정규화하고, 정규화된 복수의 2차원 좌표 각각을 가상 스테이지에 대응하도록 복수의 3차원 좌표로 변환하고, 변환된 복수의 3차원 좌표 각각에 대응하는 위치에 복수의 오브젝트를 표시하는 가상 스테이지를 사용자 단말로 제공할 수 있다.
일 실시 예에 따르면, 프로세서는 사용자 단말에서 가상 스테이지 상의 복수의 오브젝트 중 하나의 오브젝트가 선택되면, 선택된 오브젝트에 대응하는 입력 창을 제공하고, 통신 회로를 이용하여 사용자 단말로부터 선택된 오브젝트를 변경하기 위한 수정된 코드를 수신하고, 선택된 오브젝트를 대체하여 수정된 코드에 대응하는 수정된 오브젝트를 표시하는 가상 스테이지를 사용자 단말로 제공할 수 있다.
일 실시 예에 따르면, 프로세서는 사용자 단말의 요청에 반응하여 사용자 단말로 QR 코드를 제공하고, QR 코드를 촬영한 다른 사용자 단말로 추가 오브젝트 선택 화면 및 추가 오브젝트 제어 패널을 제공하고, 추가 오브젝트 선택 화면에서 선택된 추가 오브젝트를 가상 스테이지에 표시하고, 추가 오브젝트 제어 패널에 대한 입력에 반응하여 가상 스테이지에서 추가 오브젝트의 위치 또는 크기를 조절하고, 가상 스테이지에서 복수의 오브젝트 중 적어도 일부와 추가 오브젝트가 인접하는 경우, 추가 오브젝트에 대응하는 시각적 또는 청각적 상호작용을 제공할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 하나 이상의 컴퓨팅 디바이스에 의해 수행되는 예술과 기술의 융합 교육을 위한 가상 스테이지에서의 아바타 제공 방법은 사용자 단말로부터 복수의 신체 부위 각각에 대응하는 복수의 오브젝트를 표현하는 코드를 수신하는 단계, 수신된 코드를 지정된 형식으로 변환하는 단계, 복수의 신체 부위 각각에 대응하는 입력 창을 통해 변환된 코드를 획득하는 단계, 사용자 단말에 의해 촬영된 사용자에 대한 비디오를 획득하는 단계, 비디오를 분석함으로써 복수의 신체 부위 각각에 대응하는 복수의 좌표를 획득하는 단계, 및 복수의 좌표 각각에 대응하는 위치에 복수의 오브젝트를 표시하는 가상 스테이지를 사용자 단말로 제공하는 단계를 포함할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 사용자에 의해 입력된 코드 및 사용자의 움직임을 촬영한 비디오 영상을 이용하여 가상 스테이지에 다수의 사용자의 움직임에 각각 대응하는 다양한 오브젝트를 출력함으로써, 신체의 움직임에 의한 표현과 컴퓨터 프로그래밍을 위한 융합 교육을 수행할 수 있다.
또한, 교육 대상자 또는 관객에 의해 제어되는 추가 오브젝트를 제공함으로써, 다양한 무대 장식의 제공 및 관객 참여를 가능하게 하여 교육의 몰입감을 향상시킬 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 동작 환경을 나타낸다.
도 2는 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 구성을 도시하는 블록도이다.
도 3은 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 예시적인 동작을 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 예시적인 동작을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 예시적인 동작을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 예시적인 동작을 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 예시적인 동작을 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 예시적인 동작을 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 예시적인 동작을 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 방법을 설명하기 위한 흐름도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해서 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경, 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 동작 환경을 나타낸다.
도 1을 참조하면, 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치는 서버(100) 형태로 구현될 수 있다. 서버(100)는 예술과 기술의 융합 교육을 위한 플랫폼으로서 복수의 사용자(1, 2, 3)의 복수의 사용자 단말(11, 12, 13)과의 통신을 통해 복수의 사용자(1, 2, 3)의 움직임에 따라 반응하는 아바타를 포함하는 가상 스테이지를 제공할 수 있다. 아바타는 사용자의 신체 부위 각각에 대응하는 복수의 오브젝트를 포함할 수 있다.
예를 들어, 서버(100)는 복수의 사용자 단말(11, 12, 13)로부터 복수의 사용자(1, 2, 3)에 의해 작성된 코드를 수신할 수 있다. 서버(100)는 복수의 사용자 단말(11, 12, 13)에 의해 촬영된 복수의 사용자(1, 2, 3) 각각에 대한 비디오 영상을 획득할 수 있다. 서버(100)는 비디오 영상을 분석함으로써 복수의 사용자(1, 2, 3) 각각의 움직임을 인식할 수 있다. 서버(100)는 복수의 사용자(1, 2, 3) 각각의 움직임에 따라 가상 스테이지에 작성된 코드에 대응하는 복수의 오브젝트를 포함하는 아바타를 표시할 수 있다. 복수의 사용자(1, 2, 3)는 코드의 입력에 의해 구현된 아바타를 확인함으로써 코딩을 학습할 수 있고, 자신의 움직임에 반응하는 아바타를 이용하여 신체를 활용한 표현 방법을 학습할 수 있다.
복수의 사용자(1, 2, 3)가 복수의 사용자 단말(11, 12, 13)을 이용하여 학습을 수행하는 동안, 다른 사용자(4)(예: 관객, 참관인 또는 보호자)는 사용자 단말(14)을 이용하여 학습에 참여할 수 있다. 예를 들어, 서버(100)는 사용자 단말(14)로 소품 오브젝트를 선택하기 위한 선택 메뉴 및 소품 오브젝트를 제어하기 위한 제어 패널을 제공할 수 있다. 서버(100)는 선택 메뉴에서 선택된 소품 오브젝트를 가상 스테이지에 표시할 수 있고, 제어 패널에 대한 입력에 따라 소품 오브젝트의 위치 및 크기 등을 제어할 수 있다. 서버(100)는 복수의 사용자에 대응하는 아바타와 소품 오브젝트 사이의 시각적 또는 청각적 상호작용을 제공할 수도 있다. 소품 오브젝트를 이용하여 다양한 무대 장식을 제공하고 능동적 관객 참여를 유도함으로써 교육의 몰입감이 향상될 수 있다.
도 1에서는 가상 스테이지에서의 아바타 제공 장치가 서버(100)로 구현된 것으로 도시되었으나, 이에 제한되지 않고, 가상 스테이지에서의 아바타 제공 장치는 사용자 단말 형태로 구현될 수도 있고, 2 이상의 장치(예: 사용자 단말 및 서버, 또는 2개의 서버)로 분산된 환경에서 구현될 수도 있다.
도 2는 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 구성을 도시하는 블록도이다.
도 2를 참조하면, 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치(200)는 통신 회로(210), 메모리(220) 및 프로세서(230)를 포함할 수 있다. 가상 스테이지에서의 아바타 제공 장치(200)는, 예를 들어, 서버 형태로 구현될 수도 있고, 데스크탑, 랩탑, 태블릿 또는 스마트폰 등과 같은 사용자 단말 형태로 구현될 수도 있다. 가상 스테이지에서의 아바타 제공 장치(200)는 물리적으로는 온 프레미스(on premise) 또는 클라우드에 위치할 수도 있다. 다른 예를 들면, 가상 스테이지에서의 아바타 제공 장치(200)는 2 이상으로 분산된 환경의 컴퓨팅 디바이스로 구현될 수도 있다.
통신 회로(210)는 복수의 사용자 단말(21, 22, 23, 24)과 무선 또는 유선으로 통신하도록 구성될 수 있다. 통신 회로(210)는 복수의 사용자 단말(21, 22, 23, 24)과 데이터를 송수신할 수 있다. 예를 들어, 통신 회로(210)는 코드 및 비디오 영상 등을 송수신할 수 있다.
메모리(220)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(220)는 가상 스테이지에서의 아바타 제공 장치(200)에서 취급되는 다양한 데이터를 저장할 수 있다. 예를 들어, 메모리(220)는 가상 스테이지에서의 아바타 제공 장치(200) 내부에서 처리된 데이터를 저장할 수 있고, 외부로부터 수신된 데이터를 저장할 수도 있다. 예를 들어, 메모리(220)는 코드 및 비디오 영상 등을 일시적으로 또는 비일시적으로 저장할 수 있다.
프로세서(230)는 통신 회로(210) 및 메모리(220)와 전기적으로 연결될 수 있다. 프로세서(230)는 통신 회로(210) 및 메모리(220)를 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 도 2에서는 프로세서(230)가 단일의 구성인 것으로 도시되었으나, 복수의 구성으로 분리되어 구현될 수도 있다. 프로세서(230)는 메모리(220)에 저장된 소프트웨어 내지 인스트럭션을 실행함으로써, 이하와 같은 동작을 수행할 수 있다. 이하에서는 설명의 편의를 위해 장치(200)와 제1 사용자 단말(21) 사이의 동작에 대해 설명할 것이나, 장치(200)는 복수의 사용자 단말(제1 사용자 단말(21), 제2 사용자 단말(22) 및 제3 사용자 단말(23))에 대해 동시에 동일한 동작을 수행할 수 있다.
일 실시 예에 따르면, 프로세서(230)는 통신 회로(210)를 이용하여 제1 사용자 단말(21)로부터 복수의 신체 부위 각각에 대응하는 복수의 오브젝트를 표현하는 코드를 수신할 수 있다. 프로세서(230)는 제1 사용자 단말(21)로부터 머리, 어깨, 팔꿈치, 손목, 무릎 및 발목 등과 같은 신체 부위 각각에 대응하는 코드를 수신할 수 있다. 코드는 신체 부위에 대응하는 오브젝트의 색상, 형태, 크기 및 위치 등을 설정하는 코드일 수 있다. 프로세서(230)는 제1 사용자 단말(21)로 코드의 입력을 위한 에디터를 제공할 수 있고, 에디터를 통해 코드를 수신할 수 있다. 프로세서(230)는 입력된 코드에 대응하는 프리뷰를 제1 사용자 단말(21)로 제공할 수 있다. 사용자는 자신이 작성한 코드에 의해 표현된 오브젝트를 확인할 수 있고, 자신이 원하는 형태의 오브젝트를 생성하기 위해 코드를 편집할 수 있다.
일 실시 예에 따르면, 프로세서(230)는 수신된 코드를 지정된 형식으로 변환할 수 있다. 프로세서(230)는 수신된 코드를 웹 페이지에서 동적으로 움직이는 오브젝트를 렌더링하기에 적합한 형태로 변환할 수 있다. 예를 들어, 프로세서(230)는 수신된 코드를 자바스크립트로 변환할 수 있다.
일 실시 예에 따르면, 프로세서(230)는 복수의 신체 부위 각각에 대응하는 입력 창을 통해 변환된 코드를 획득할 수 있다. 프로세서(230)는 머리, 어깨, 팔꿈치, 손목, 무릎 및 발목 등과 같은 신체 부위 각각에 대응하는 복수의 입력 창을 제1 사용자 단말(21)로 제공할 수 있다. 프로세서(230)는 제1 사용자 단말(21)로부터 복수의 입력 창 각각을 통해 입력 창에 대응하는 신체 부위에 대한 변환된 코드를 수신할 수 있다.
일 실시 예에 따르면, 프로세서(230)는 복수의 신체 부위 각각에 대응하는 복수의 오브젝트를 사용자의 선택에 따라 설정할 수 있다. 프로세서(230)는 다양한 종류의 오브젝트 아이콘을 제공할 수 있다. 프로세서(230)는 제공된 오브젝트 아이콘 중 사용자에 의해 선택된 아이콘을 신체 부위에 대응하는 오브젝트로 설정할 수 있다. 프로세서(230)는 방향키 또는 GUI 버튼에 대한 입력에 따라 오브젝트의 위치 좌표를 변경할 수 있다.
일 실시 예에 따르면, 프로세서(230)는 통신 회로(210)를 이용하여 제1 사용자 단말(21)에 의해 촬영된 사용자에 대한 비디오 영상을 획득할 수 있다. 제1 사용자 단말(21)은 카메라를 포함할 수 있고, 사용자는 카메라를 이용하여 자신이 포함된 비디오 영상을 촬영할 수 있다. 프로세서(230)는 제1 사용자 단말(21)로부터 촬영 중인 비디오 영상을 실시간으로 수신할 수 있다.
일 실시 예에 따르면, 프로세서(230)는 비디오 영상을 분석함으로써 복수의 신체 부위 각각에 대응하는 복수의 좌표를 획득할 수 있다. 예를 들어, 프로세서(230)는 머신 러닝 모델을 이용하여 비디오 영상을 분석함으로써 복수의 신체 부위 각각에 대응하는 복수의 2차원 좌표를 획득할 수 있다. 프로세서(230)는 비디오 영상으로부터 특징점을 추출함으로써, 머리 및 관절의 위치 등을 트래킹할 수 있다. 예를 들어, 프로세서(230)는 해상도 640×480 영상에서 머리에 대응하는 좌표 (340, 80)을 획득할 수 있다. 프로세서(230)는 복수의 2차원 좌표에 대한 기준 좌표를 비디오 영상의 좌상단 지점에서 비디오 영상의 하단 중앙 지점으로 변경할 수 있다. 예를 들어, 프로세서(230)는 비디오 영상의 좌상단 지점을 원점으로 하는 좌표 (340, 80)을 비디오 영상의 하단 중앙 지점을 원점으로 하는 좌표 (20, -400)으로 변경할 수 있다. 프로세서(230)는 변경된 복수의 2차원 좌표 각각을 비디오 영상의 높이를 기준으로 정규화할 수 있다. 예를 들어, 프로세서(230)는 좌표 (20, -400)을 정규화함으로써 좌표 (0.0417, -0.8333)을 획득할 수 있다. 프로세서(230)는 정규화된 복수의 2차원 좌표 각각을 가상 스테이지에 대응하도록 복수의 3차원 좌표로 변환할 수 있다. 예를 들어, 프로세서(230)는 가상 스테이지에서 사용되는 형식에 대응하도록 2차원 좌표 (0.0417, -0.8333)을 3차원 좌표 (0.4166, 8.3330, 0)으로 변환할 수 있다. Z축 좌표는 기본 값으로 설정된 후, 가상 스테이지에서 사용자의 입력(예: 방향키 입력)에 따라 변경될 수 있다. 프로세서(230)는 비디오 영상을 실시간으로 반복적으로 분석함으로써, 사용자의 움직임에 따라 변화하는 복수의 좌표를 지속적으로 획득할 수 있고, 사용자의 움직임을 트래킹할 수 있다.
일 실시 예에 따르면, 프로세서(230)는 통신 회로(210)를 이용하여 복수의 좌표(또는 변환된 3차원 좌표) 각각에 대응하는 위치에 복수의 오브젝트를 표시하는 가상 스테이지를 제1 사용자 단말(21)로 제공할 수 있다. 프로세서(230)는 3차원 가상 공간인 가상 스테이지에 대응하는 복수의 좌표를 획득할 수 있다. 프로세서(230)는 복수의 좌표 각각에 대응하는 위치에 입력 창에 입력된 코드에 의해 표현되는 복수의 오브젝트를 포함하는 아바타를 표시할 수 있다. 복수의 좌표는 사용자의 움직임에 따라 변화할 수 있고, 이에 따라 가상 스테이지 상에서 복수의 오브젝트를 포함하는 아바타는 사용자의 움직임에 대응하도록 움직일 수 있다. 사용자는 제1 사용자 단말(21)을 통해 자신이 입력한 코드에 대응하는 형태로 이루어지고 자신의 움직임에 따라 이동하는 복수의 오브젝트를 포함하는 아바타를 확인할 수 있다.
일 실시 예에 따르면, 프로세서(230)는 관리자 단말의 제어에 따라 가상 스테이지에 대한 제어를 수행할 수 있다. 프로세서(230)는 가상 스테이지에서 제공되는 기능 중 적어도 일부를 관리자 단말에서의 입력에 따라 활성화하거나 중단할 수 있다.
일 실시 예에 따르면, 프로세서(230)는 가상 스테이지 상에서 복수의 오브젝트 각각을 수정 편집하는 기능을 제공할 수 있다. 예를 들어, 프로세서(230)는 제1 사용자 단말(21)에서 가상 스테이지 상의 복수의 오브젝트 중 하나의 오브젝트가 선택되면, 선택된 오브젝트에 대응하는 입력 창을 제공할 수 있다. 오브젝트에 대한 선택은 오브젝트에 대해 직접 입력을 수신하거나 오브젝트에 대응하는 메뉴 버튼에 대한 입력을 수신함으로써 이루어질 수 있다. 프로세서(230)는 통신 회로(210)를 이용하여 제1 사용자 단말(21)로부터 선택된 오브젝트를 변경하기 위한 수정된 코드를 수신할 수 있다. 프로세서(230)는 수정된 코드를 변환하고, 수정된 코드에 대응하는 신체 부위의 좌표를 획득할 수 있다. 프로세서(230)는 선택된 오브젝트를 대체하여 수정된 코드에 대응하는 수정된 오브젝트를 표시하는 가상 스테이지를 제1 사용자 단말(21)로 제공할 수 있다.
일 실시 예에 따르면, 프로세서(230)는 관객, 참관인 또는 보호자의 사용자 단말의 입력에 따라 가상 스테이지에 추가 오브젝트를 제공할 수 있다. 예를 들어, 프로세서(230)는 제1 사용자 단말(21)의 요청에 반응하여 제1 사용자 단말(21)로 QR 코드를 제공할 수 있다. 프로세서(230)는 QR 코드를 촬영한 제4 사용자 단말(24)로 추가 오브젝트 선택 화면 및 추가 오브젝트 제어 패널을 제공할 수 있다. 프로세서(230)는 제4 사용자 단말(24)의 추가 오브젝트 선택 화면에서 선택된 추가 오브젝트를 가상 스테이지에 표시할 수 있다. 프로세서(230)는 제4 사용자 단말(24)의 추가 오브젝트 제어 패널에 대한 입력에 반응하여 가상 스테이지에서 추가 오브젝트의 위치 또는 크기를 조절할 수 있다. 프로세서(230)는 가상 스테이지에서 복수의 오브젝트 중 적어도 일부와 추가 오브젝트가 인접하는 경우, 추가 오브젝트에 대응하는 시각적 또는 청각적 상호작용을 제공할 수 있다.
도 3은 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 예시적인 동작을 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치는 코드 입력을 위한 에디터(300)를 웹 페이지, 웹 어플리케이션 또는 네이티브 어플리케이션 등을 통해 사용자 단말로 제공할 수 있다. 에디터(300)는 p5.js 라이브러리를 기반으로 구성될 수 있다. 에디터(300)는 코드 입력 영역(310) 및 프리뷰 영역(320)을 포함할 수 있다.
코드 입력 영역(310)은 사용자의 신체 부위 각각에 대응하는 코드를 수신할 수 있다. 예를 들어, 코드 입력 영역(310)은 사용자의 머리에 대응하는 코드를 수신할 수 있다. 코드는 하나 이상의 도형 각각의 색상(예: fill(“”, 형태(예: ellipse) 및 위치/크기(예: (0, 0, 300, 300))를 설정하기 위한 문자열을 포함할 수 있다. 프리뷰 영역(320)은 입력된 코드에 대응하는 이미지를 표시할 수 있다. 프리뷰 영역(320)은 입력된 코드에 나타난 색상, 형태 및 위치/크기에 따라 하나 이상의 도형을 시각화할 수 있다.
도 4는 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 예시적인 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치는 코드 변환을 위한 코드 변환 윈도우(400)를 웹 페이지, 웹 어플리케이션 또는 네이티브 어플리케이션 등을 통해 사용자 단말로 제공할 수 있다. 코드 변환 윈도우(400)는 코드 입력 영역(410), 변환된 코드 출력 영역(420) 및 코드 복사 버튼(430)을 포함할 수 있다.
코드 입력 영역(410)은 사용자에 의해 작성된 코드를 수신할 수 있다. 예를 들어, 코드 입력 영역(410)에 입력되는 코드는 도 3의 코드 입력 영역(310)에 입력된 코드와 동일할 수 있다. 코드 입력 영역(410)에 입력된 코드는 오브젝트를 렌더링하기에 적합한 형식으로 변환될 수 있다. 변환된 코드 출력 영역(420)은 코드 입력 영역(310)에 입력된 코드에 대응하는 변환된 코드를 표시할 수 있다. 변환된 코드는 자바스크립트로 이루어질 수 있다. 코드 복사 버튼(430)에 사용자 입력이 수신되면, 변환된 코드가 복사될 수 있다.
도 4에 도시된 코드 변환 윈도우(410)는 웹 사이트에 에디터가 내장되는 경우 생략될 수도 있다. 이 경우, 변환된 코드는 사용자에게 시각적으로 표시되지 않을 수 있다.
도 5는 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 예시적인 동작을 설명하기 위한 도면이다.
도 5를 참조하면, 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치는 로그인 화면(500)을 웹 페이지, 웹 어플리케이션 또는 네이티브 어플리케이션 등을 통해 사용자 단말로 제공할 수 있다. 로그인 화면(500)은 아바타의 이름 입력 창(510), 기본 색상 설정 창(520), 코드 입력 버튼(530), 스테이지 선택 버튼(540) 및 로그인 버튼(550)을 포함할 수 있다.
이름 입력 창(510)은 아바타의 이름을 수신할 수 있다. 기본 색상 설정 창(520)은 색상이 설정되지 않은 오브젝트에 대한 기본 색상을 선택할 수 있다. 코드 입력 버튼(530)은 복수의 신체 부위 각각에 대응하는 변환된 코드를 입력하기 위한 입력 창을 오픈하기 위한 버튼일 수 있다. 코드 입력 버튼(540)에 대한 입력에 따라 오픈되는 입력 창에 대해서는 도 6을 참조하여 상세히 설명한다. 스테이지 선택 버튼(540)은 복수의 스테이지 중 사용자가 아바타를 표시할 스테이지를 선택하기 위한 버튼일 수 있다. 로그인 버튼(550)은 가상 스테이지에 접속을 개시하기 위한 버튼일 수 있다.
도 6은 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 예시적인 동작을 설명하기 위한 도면이다.
도 6을 참조하면, 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치는 코드 입력 창(600)을 웹 페이지, 웹 어플리케이션 또는 네이티브 어플리케이션 등을 통해 사용자 단말로 제공할 수 있다. 코드 입력 창(600)은 팝업 윈도우 형태로 제공될 수 있다. 코드 입력 창(600)은 오브젝트 코드 입력 영역(610), 신체 부위 선택 메뉴(620), 제1 소품 코드 입력 영역(630), 제2 소품 코드 입력 영역(640), 소품 추가 버튼(650) 및 확인 버튼(660)을 포함할 수 있다.
오브젝트 코드 입력 영역(610)은 도 4에 도시된 변환된 코드를 입력하기 위한 영역일 수 있다. 오브젝트 코드 입력 영역(610)은 복수의 신체 부위 각각에 대응하는 코드를 수신할 수 있다. 신체 부위 선택 메뉴(620)는 복수의 신체 부위 중 어느 신체 부위에 대한 코드 입력 영역을 제공할 것인지 선택하기 위한 드롭 다운 메뉴일 수 있다. 신체 부위 선택 메뉴(620)에서 선택된 신체 부위에 대한 오브젝트 코드 입력 영역(610)이 제공될 수 있다. 소품 코드 입력 영역(630, 640)은 신체 부위에 대응하는 오브젝트 외에 추가 오브젝트에 대한 코드를 입력하기 위한 영역일 수 있다. 소품 코드 입력 영역(630, 640)은 사용자의 선택(예: 소품 추가 버튼)에 의해 활성화될 수 있다. 3 이상의 소품 코드를 수신하기 위한 추가적인 소품 코드 입력 영역이 구현될 수 있다. 소품 코드 입력 영역(630, 640)은 다양한 형태의 추가 오브젝트에 대응하는 코드를 수신할 수 있다. 소품 추가 버튼(650)은 추가적인 소품 코드 입력 영역을 생성하기 위한 버튼일 수 있다. 확인 버튼(660)은 코드의 입력을 완료하기 위한 버튼일 수 있다.
도 7은 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 예시적인 동작을 설명하기 위한 도면이다.
도 7을 참조하면, 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치는 가상 스테이지 출력 화면(700)을 웹 페이지, 웹 어플리케이션 또는 네이티브 어플리케이션 등을 통해 사용자 단말로 제공할 수 있다. 가상 스테이지 출력 화면(700)은 비디오 영상 표시 영역(710), 복수의 오브젝트를 포함하는 아바타(720), 소품 오브젝트(740), 신체 오브젝트 선택 버튼(750), 소품 오브젝트 선택 버튼(760) 및 QR 제공 버튼(770)을 포함할 수 있다.
비디오 영상 표시 영역(710)은 사용자 단말에서 촬영 중인 비디오 영상을 출력할 수 있다. 비디오 영상 표시 영역(710)은 사용자를 포함하는 비디오 영상 및 머신 러닝 모델에 의해 트래킹된 사용자 신체 부위의 특징점을 표시할 수 있다. 아바타(720)는 머리, 왼쪽 어깨, 오른쪽 어깨, 왼쪽 팔꿈치, 오른쪽 팔꿈치, 왼쪽 손목, 오른쪽 손목, 왼쪽 무릎, 오른쪽 무릎, 왼쪽 발목 및 오른쪽 발목 각각에 대응하는 제1 오브젝트 내지 제11 오브젝트(721, 722, 723, 724, 725, 726, 727, 728, 729, 731, 732)를 포함할 수 있다. 아바타(720)에 포함된 신체 부위 중 일부는 생략될 수도 있고, 다른 신체 부위로 대체될 수도 있다. 아바타(720)에 포함된 복수의 오브젝트(721 내지 732)는 각각 비디오 영상 표시 영역에 표시된 특징점의 좌표에 대응할 수 있다. 복수의 오브젝트(721 내지 732) 각각의 색상, 형상 및 크기는 도 6의 오브젝트 코드 입력 영역(610)에 입력된 코드에 대응할 수 있다. 가상 스테이지 상에서 아바타(720)의 위치는 방향키에 의해 조절될 수 있다. 소품 오브젝트(740)는 제1 소품 오브젝트(741), 제2 소품 오브젝트(742) 및 제3 소품 오브젝트(743)를 포함할 수 있고, 도 6의 소품 코드 입력 영역(630, 640)에 입력된 코드에 대응할 수 있다.
신체 오브젝트 선택 버튼(750)은 복수의 오브젝트(721 내지 732) 중 하나를 선택하기 위한 버튼으로, 신체 오브젝트 선택 버튼(750)에 대한 입력이 수신되면, 버튼에 대응하는 오브젝트를 수정 편집하기 위한 입력 창이 제공될 수 있다. 소품 오브젝트 선택 버튼(760)은 소품 오브젝트(760) 중 하나를 선택하기 위한 버튼으로, 소품 오브젝트 선택 버튼(760)에 대한 입력이 수신되면, 버튼에 대응하는 소품 오브젝트의 위치 및 크기를 방향키 및 마우스 입력 등을 이용하여 조절할 수도 있고, 숨기기 기능을 수행할 수도 있다. QR 코드 제공 버튼(770)은 관객의 참여를 위한 QR 코드를 제공하기 위한 버튼으로, QR 코드 제공 버튼(770)에 대한 입력이 수신되면 가상 스테이지 출력 화면 상에 QR 코드를 출력할 수 있다. 관객의 사용자 단말에 의해 QR 코드가 촬영되면, 도 8에 도시된 추가 오브젝트 제어 화면이 관객의 사용자 단말로 제공될 수 있다.
도 8은 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 예시적인 동작을 설명하기 위한 도면이다.
도 8을 참조하면, 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치는 추가 오브젝트 제어 화면(800)을 웹 페이지, 웹 어플리케이션 또는 네이티브 어플리케이션 등을 통해 관객의 사용자 단말로 제공할 수 있다. 추가 오브젝트 제어 화면(800)은 제어 패널(810) 및 추가 오브젝트 선택 메뉴(820)를 포함할 수 있다.
제어 패널(810)은 추가 오브젝트의 위치를 조절하는 방향 버튼 및 추가 오브젝트의 크기를 조절하는 확대/축소 버튼을 포함할 수 있다. 추가 오브젝트 선택 메뉴(820)는 다양한 추가 오브젝트(예: 자동차, 구름 및 나무 등) 중 하나를 선택하기 위한 버튼을 포함할 수 있다. 추가 오브젝트 선택 메뉴(820)에 의해 선택된 형상의 추가 오브젝트는 가상 스테이지 상에 표시될 수 있고, 표시된 추가 오브젝트의 위치 및 크기는 제어 패널(810)에 대한 입력에 따라 조절될 수 있다.
도 9는 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치의 예시적인 동작을 설명하기 위한 도면이다.
도 9를 참조하면, 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 장치는 가상 스테이지 출력 화면(900)을 웹 페이지, 웹 어플리케이션 또는 네이티브 어플리케이션 등을 통해 사용자 단말로 제공할 수 있다. 가상 스테이지에는 복수의 신체 부위 각각에 대응하는 복수의 오브젝트를 포함하는 아바타(910) 및 추가 오브젝트(920)가 표시될 수 있다.
아바타(910) 및/또는 추가 오브젝트(920)에 대한 제어에 의해, 아바타(910)와 추가 오브젝트(920)가 인접 또는 접촉하는 경우, 아바타(910)와 추가 오브젝트(920) 사이의 시각적 또는 청각적 상호작용이 제공될 수 있다. 예를 들어, 차량 형상의 추가 오브젝트(920)와 아바타(910)가 인접하는 경우, 아바타(910)가 추가 오브젝트(920)에 탑승하는 시각적 상호작용 또는 충돌 효과음이 출력되는 청각적 상호 작용이 제공될 수 있다. 추가 오브젝트의 종류에 따라 상이한 상호작용이 제공될 수도 있다.
도 10은 일 실시 예에 따른 가상 스테이지에서의 아바타 제공 방법을 설명하기 위한 흐름도이다.
이하에서는 도 2의 가상 스테이지에서의 아바타 제공 장치(200)가 도 9의 프로세스를 수행하는 것을 가정한다. 또한, 도 10의 설명에서, 가상 스테이지에서의 아바타 제공 장치에 의해 수행되는 것으로 기술된 동작은 프로세서(230)에 의해 제어되는 것으로 이해될 수 있다.
도 10을 참조하면, 단계 1010에서, 가상 스테이지에서의 아바타 제공 장치는 사용자 단말로부터 복수의 신체 부위 각각에 대응하는 복수의 오브젝트를 표현하는 코드를 수신할 수 있다.
단계 1020에서, 가상 스테이지에서의 아바타 제공 장치는 수신된 코드를 지정된 형식으로 변환할 수 있다.
단계 1030에서, 가상 스테이지에서의 아바타 제공 장치는 복수의 신체 부위 각각에 대응하는 입력 창을 통해 변환된 코드를 획득할 수 있다.
단계 1040에서, 가상 스테이지에서의 아바타 제공 장치는 사용자 단말에 의해 촬영된 사용자에 대한 비디오를 획득할 수 있다.
단계 1050에서, 가상 스테이지에서의 아바타 제공 장치는 비디오를 분석함으로써 복수의 신체 부위 각각에 대응하는 복수의 좌표를 획득할 수 있다.
단계 1060에서, 가상 스테이지에서의 아바타 제공 장치는 복수의 좌표 각각에 대응하는 위치에 복수의 오브젝트를 표시하는 가상 스테이지를 사용자 단말로 제공할 수 있다.
본 문서의 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의
표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤 구성요소가 다른 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소를 통하여 연결될 수 있다.
본 문서에서, "~하도록 설정된(adapted to or configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 설정된 (또는 구성된) 프로세서"는 해당 동작들을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU)를 의미할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어(firmware)로 구성된 유닛(unit)을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다.
일 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다.
일 실시 예에 따른 구성 요소(예: 모듈 또는 프로그램 모듈) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소를 더 포함할 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램 모듈)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 일 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (5)

  1. 예술과 기술의 융합 교육을 위한 가상 스테이지에서의 아바타 제공 장치에 있어서,
    사용자 단말과 통신하도록 구성된 통신 회로;
    메모리; 및
    상기 통신 회로 및 상기 메모리와 전기적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 통신 회로를 이용하여 상기 사용자 단말로부터 복수의 신체 부위 각각에 대응하는 복수의 오브젝트의 색상, 형태, 크기 및 위치를 설정하는 코드를 수신하고, - 상기 사용자 단말에는 에디터를 통해 입력된 상기 코드에 대응하는 프리뷰가 제공됨 -
    상기 수신된 코드를 지정된 형식으로 변환하고,
    상기 사용자 단말로 제공된 상기 복수의 신체 부위 각각에 대응하는 입력 창을 통해 상기 변환된 코드를 획득하고, - 상기 입력 창은 복수의 신체 부위 중 하나를 선택하기 위한 메뉴를 포함함 -
    상기 통신 회로를 이용하여 상기 사용자 단말에 의해 촬영된 사용자에 대한 비디오 영상을 획득하고,
    상기 비디오 영상을 분석함으로써 상기 복수의 신체 부위 각각에 대응하는 복수의 좌표를 획득하고,
    상기 통신 회로를 이용하여 상기 복수의 좌표 각각에 대응하는 위치에 상기 복수의 오브젝트를 표시하는 가상 스테이지를 상기 사용자 단말로 제공하고,
    상기 프로세서는,
    상기 사용자 단말의 요청에 반응하여 상기 사용자 단말로 QR 코드를 제공하고,
    상기 QR 코드를 촬영한 다른 사용자 단말로 추가 오브젝트 선택 화면 및 추가 오브젝트 제어 패널을 제공하고,
    상기 추가 오브젝트 선택 화면에서 선택된 추가 오브젝트를 상기 가상 스테이지에 표시하고,
    상기 추가 오브젝트 제어 패널에 대한 입력에 반응하여 상기 가상 스테이지에서 상기 추가 오브젝트의 위치 또는 크기를 조절하고,
    상기 복수의 오브젝트 중 적어도 일부 또는 상기 추가 오브젝트에 대한 제어에 의해 상기 가상 스테이지에서 상기 복수의 오브젝트 중 적어도 일부와 상기 추가 오브젝트가 인접하는 경우, 상기 추가 오브젝트에 대응하는 시각적 또는 청각적 상호작용을 제공하는 것을 특징으로 하는, 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    머신 러닝 모델을 이용하여 상기 비디오 영상을 분석함으로써 상기 복수의 신체 부위 각각에 대응하는 복수의 2차원 좌표를 획득하고,
    상기 복수의 2차원 좌표에 대한 기준 좌표를 상기 비디오 영상의 하단 중앙 지점으로 변경하고,
    상기 변경된 복수의 2차원 좌표 각각을 상기 비디오 영상의 높이를 기준으로 정규화하고,
    상기 정규화된 복수의 2차원 좌표 각각을 상기 가상 스테이지에 대응하도록 복수의 3차원 좌표로 변환하고,
    상기 변환된 복수의 3차원 좌표 각각에 대응하는 위치에 상기 복수의 오브젝트를 표시하는 상기 가상 스테이지를 상기 사용자 단말로 제공하는 것을 특징으로 하는, 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 사용자 단말에서 상기 가상 스테이지 상의 상기 복수의 오브젝트 중 하나의 오브젝트가 선택되면, 상기 선택된 오브젝트에 대응하는 입력 창을 제공하고,
    상기 통신 회로를 이용하여 상기 사용자 단말로부터 상기 선택된 오브젝트를 변경하기 위한 수정된 코드를 수신하고,
    상기 선택된 오브젝트를 대체하여 상기 수정된 코드에 대응하는 수정된 오브젝트를 표시하는 상기 가상 스테이지를 상기 사용자 단말로 제공하는 것을 특징으로 하는, 장치.
  4. 삭제
  5. 하나 이상의 컴퓨팅 디바이스에 의해 수행되는 예술과 기술의 융합 교육을 위한 가상 스테이지에서의 아바타 제공 방법에 있어서,
    사용자 단말로부터 복수의 신체 부위 각각에 대응하는 복수의 오브젝트의 색상, 형태, 크기 및 위치를 설정하는 코드를 수신하는 단계; - 상기 사용자 단말에는 에디터를 통해 입력된 상기 코드에 대응하는 프리뷰가 제공됨 -
    상기 수신된 코드를 지정된 형식으로 변환하는 단계;
    상기 사용자 단말로 제공된 상기 복수의 신체 부위 각각에 대응하는 입력 창을 통해 상기 변환된 코드를 획득하는 단계; - 상기 입력 창은 복수의 신체 부위 중 하나를 선택하기 위한 메뉴를 포함함 -
    상기 사용자 단말에 의해 촬영된 상기 사용자에 대한 비디오를 획득하는 단계;
    상기 비디오를 분석함으로써 상기 복수의 신체 부위 각각에 대응하는 복수의 좌표를 획득하는 단계; 및
    상기 복수의 좌표 각각에 대응하는 위치에 상기 복수의 오브젝트를 표시하는 가상 스테이지를 상기 사용자 단말로 제공하는 단계를 포함하고,
    상기 사용자 단말의 요청에 반응하여 상기 사용자 단말로 QR 코드를 제공하는 단계;
    상기 QR 코드를 촬영한 다른 사용자 단말로 추가 오브젝트 선택 화면 및 추가 오브젝트 제어 패널을 제공하는 단계;
    상기 추가 오브젝트 선택 화면에서 선택된 추가 오브젝트를 상기 가상 스테이지에 표시하는 단계;
    상기 추가 오브젝트 제어 패널에 대한 입력에 반응하여 상기 가상 스테이지에서 상기 추가 오브젝트의 위치 또는 크기를 조절하는 단계; 및
    상기 복수의 오브젝트 중 적어도 일부 또는 상기 추가 오브젝트에 대한 제어에 의해 상기 가상 스테이지에서 상기 복수의 오브젝트 중 적어도 일부와 상기 추가 오브젝트가 인접하는 경우, 상기 추가 오브젝트에 대응하는 시각적 또는 청각적 상호작용을 제공하는 단계를 더 포함하는 것을 특징으로 하는, 방법.
KR1020210119713A 2021-09-08 2021-09-08 예술과 기술의 융합 교육을 위한 가상 스테이지에서의 아바타 제공 장치 및 방법 KR102584076B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210119713A KR102584076B1 (ko) 2021-09-08 2021-09-08 예술과 기술의 융합 교육을 위한 가상 스테이지에서의 아바타 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210119713A KR102584076B1 (ko) 2021-09-08 2021-09-08 예술과 기술의 융합 교육을 위한 가상 스테이지에서의 아바타 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230037092A KR20230037092A (ko) 2023-03-16
KR102584076B1 true KR102584076B1 (ko) 2023-10-05

Family

ID=85985367

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210119713A KR102584076B1 (ko) 2021-09-08 2021-09-08 예술과 기술의 융합 교육을 위한 가상 스테이지에서의 아바타 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102584076B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148034A (ja) * 1999-11-19 2001-05-29 Nippon Telegr & Teleph Corp <Ntt> 映像表示方法および装置並びにそのプログラムを記録した記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200067511A (ko) * 2018-12-04 2020-06-12 신안산대학교 산학협력단 신체 사이즈를 기반으로 하는 가상 피팅 서비스 시스템
CN111694429B (zh) * 2020-06-08 2023-06-02 北京百度网讯科技有限公司 虚拟对象驱动方法、装置、电子设备及可读存储

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148034A (ja) * 1999-11-19 2001-05-29 Nippon Telegr & Teleph Corp <Ntt> 映像表示方法および装置並びにそのプログラムを記録した記録媒体

Also Published As

Publication number Publication date
KR20230037092A (ko) 2023-03-16

Similar Documents

Publication Publication Date Title
CN110300909B (zh) 用于显示交互式增强现实展示的系统、方法和介质
US11871109B2 (en) Interactive application adapted for use by multiple users via a distributed computer-based system
WO2015188614A1 (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
CN111080759B (zh) 一种分镜效果的实现方法、装置及相关产品
KR20220008735A (ko) 애니메이션 인터랙션 방법, 장치, 기기 및 저장 매체
US20230062951A1 (en) Augmented reality platform for collaborative classrooms
US20210312887A1 (en) Systems, methods, and media for displaying interactive augmented reality presentations
KR102224785B1 (ko) 모바일에서 연동 가능한 코딩 교육 서비스 제공 방법 및 장치
CN107423049A (zh) 实现在线编程的方法、浏览器和终端设备
JP2022500795A (ja) アバターアニメーション
KR102620284B1 (ko) 메타버스 기반 교육 플랫폼 서비스 제공 시스템
WO2023016107A1 (zh) 远程交互方法、装置、系统、电子设备以及存储介质
Kounlaxay et al. Design of Learning Media in Mixed Reality for Lao Education.
Scott et al. Towards an interaction blueprint for mixed reality experiences in glam spaces: the augmented telegrapher at porthcurno museum
KR102584076B1 (ko) 예술과 기술의 융합 교육을 위한 가상 스테이지에서의 아바타 제공 장치 및 방법
KR102427073B1 (ko) 3차원 애니메이션의 모션 보정 방법 및 서버
CN114053693A (zh) 虚拟场景中的对象控制方法、装置及终端设备
Jin et al. Volumivive: An Authoring System for Adding Interactivity to Volumetric Video
Migliore et al. An approach to develop a LabVIEW based augmented reality application for smartphones
KR20110107707A (ko) 증강현실을 이용한 온라인 학습 장치 및 그 방법
US20230334791A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20240185546A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
KR20220127961A (ko) 운동 자세 분석 방법과 이를 수행하기 위한 컴퓨팅 장치 및 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant