KR20240002444A - 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법 및 장치 - Google Patents
인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법 및 장치 Download PDFInfo
- Publication number
- KR20240002444A KR20240002444A KR1020220079658A KR20220079658A KR20240002444A KR 20240002444 A KR20240002444 A KR 20240002444A KR 1020220079658 A KR1020220079658 A KR 1020220079658A KR 20220079658 A KR20220079658 A KR 20220079658A KR 20240002444 A KR20240002444 A KR 20240002444A
- Authority
- KR
- South Korea
- Prior art keywords
- voice
- content
- rendering
- service
- information
- Prior art date
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 50
- 238000004519 manufacturing process Methods 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Marketing (AREA)
- Geometry (AREA)
- Strategic Management (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법 및 장치가 개시된다. 본 발명의 서비스 제공 방법은 렌더링을 이용하는 대상이 되는 콘텐츠로부터 제1 객체의 2차원 이미지 및 제1 객체에 대한 확장 현실을 위한 서비스를 지원하는 대상이 되는 제2 객체의 2차원 이미지를 획득하는 단계, 제1 객체의 2차원 이미지 및 제2 객체의 2차원 이미지에 대한 정합을 수행하여 제1 객체의 3차원 이미지 및 제2 객체의 3차원 이미지를 생성하는 단계, 콘텐츠에서 제2 객체를 통해 출력되는 음성의 특성에 대한 정보가 포함된 음성 정보를 이용하여 지도학습의 방식을 기반으로 인공신경망을 학습하는 단계, 학습 결과에 상응하는 음성 정보 및 콘텐츠의 타입에 기초하여 미리 매칭된 음성을 의미하는 샘플 음성의 음성 정보를 비교하여 제2 객체의 렌더링을 통해 출력되는 음성의 특성을 결정하는 단계 및 제1 객체의 3차원 이미지 및 결정된 음성의 특성을 가지는 음성이 출력되는 제2 객체의 3차원 이미지에 대한 렌더링의 수행을 통해 콘텐츠 제작을 위한 서비스를 제공하는 단계를 포함한다.
Description
본 발명은 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법 및 장치에 관한 것으로, 더욱 상세하게는 인공지능을 기반으로 객체에 대한 렌더링을 위한 정보를 수집하여, 수집된 정보를 이용하여 확장 현실에 객체를 렌더링하는 콘텐츠 제작을 위한 서비스를 제공하는 방법 및 장치에 관한 것이다.
최근 코로나 등의 환경적인 이슈로 인해 대면을 통해 제공되는 서비스 등이 비대면으로 전환되고 있는 상황에 있다. 이와 관련하여 오프라인 등을 통해 대면으로 제공되고 있던 서비스는 온라인 등을 통해 비대면으로 제공하기 위한 노력들이 이어지고 있다. 그러나, 오프라인 등을 통해 대면으로 제공되고 있던 서비스의 효과를 온라인 등을 통해 비대면으로 제공하여 달성하기는 쉽지 않은 상황이다.
특히, 기본적으로 오프라인 등을 통해 대면으로 제공되는 서비스는 해당 서비스에 대한 효과 등을 평가하기 위한 기준으로서, '몰입성', '상호작용성' 및 '접근성'을 고려하게 된다. 오프라인 등을 통해 대면으로 제공되는 서비스의 경우, '몰입성' 측면에서는 해당 서비스가 제공되는 현장에 서비스를 이용하는 대상(예를 들어, 공연의 경우 관객에 해당될 수 있음)이 존재하므로 몰입 수준이 높은 것으로 판단될 수 있다.
또한, 오프라인 등을 통해 대면으로 제공되는 서비스의 경우, '상호작용성' 측면에서는 실시간으로 서비스를 이용하는 대상이 현장에서 반응(예를 들어, 공연의 경우 관객의 호응이나 제스처 등에 해당될 수 있음)을 보임으로써 쌍방향으로 소통이 가능하여 상호작용 수준이 높은 것으로 판단될 수 있다.
또한, 오프라인 등을 통해 대면으로 제공되는 서비스의 경우, '접근성' 측면에서는 해당 서비스가 제공되는 현장의 공간적인 범위에 기초하여 서비스를 이용할 수 있는 대상의 수, 시간이나 공간적인 제약이 존재할 수 있어, '접근성' 이 높지 않은 것으로 판단될 수 있다.
한편, 오프라인 등을 통해 대면으로 제공되는 서비스의 제약을 해소하기 위해 온라인 등을 통해 비대면으로 제공되는 서비스의 경우, '몰입성' 측면에서는 2D 화면으로 인해 제한된 정보가 제공되어, 서비스에 대한 집중력이나 몰입 수준이 낮은 것으로 판단될 수 있다.
또한, 온라인 등을 통해 비대면으로 제공되는 서비스의 경우, '상호작용성' 측면에서는 서비스에 대한 호응이나 감정 표현(예를 들어, 공연의 경우 관객의 호응이나 제스처 등에 해당될 수 있음) 등이 제한되어 쌍방향이 아닌 일방향으로 소통이 가능하여 상호작용 수준이 비교적 낮은 것으로 판단될 수 있다.
또한, 온라인 등을 통해 비대면으로 제공되는 서비스의 경우, '접근성' 측면에서는 해당 서비스가 제공되는 현장의 공간적인 범위에 시간이나 공간적인 제약이 존재하지 않아 서비스의 이용에 대한 '접근성' 이 비교적 높은 것으로 판단될 수 있다.
이와 같이, 오프라인 등을 통해 대면으로 제공되는 서비스 및 온라인 등을 통해 비대면으로 제공되는 서비스는 '몰입성', '상호작용성' 및 '접근성' 측면에 있어서, 각각 장점이나 단점이 존재하고 해당 측면으로 서로 보완해야할 필요성이 있으나, 이를 해결하기 위한 방법이 현재로써는 크게 존재하지 않는 문제가 있다.
추가적으로, 온라인을 통해 비대면으로 제공되는 서비스의 경우, 다양한 서비스 및 콘텐츠가 포함될 수 있으며, 콘텐츠에는 유튜브(Youtube)와 같은 영상의 타입을 가지는 콘텐츠가 존재할 수 있다. 최근 수많은 영상의 타입을 가지는 콘텐츠가 있으나, 온라인을 통해 비대면으로 제공되는 서비스의 단점을 해소하지 못하고 있는 문제가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 일 목적은 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법은 인공지능(AI, Artificial Intelligence) 기반의 객체 렌더링(rendering)을 이용하는 콘텐츠 제작을 위한 서비스 제공 장치에서 수행되는 서비스 제공 방법으로서, 상기 렌더링을 이용하는 대상이 되는 콘텐츠로부터 제1 객체의 2차원 이미지 및 제1 객체에 대한 확장 현실을 위한 서비스를 지원하는 대상이 되는 제2 객체의 2차원 이미지를 획득하는 단계, 상기 획득된 제1 객체의 2차원 이미지 및 상기 획득된 제2 객체의 2차원 이미지에 대한 정합(registration)을 수행하여 상기 제1 객체의 3차원 이미지 및 상기 제2 객체의 3차원 이미지를 생성하는 단계, 상기 콘텐츠에서 상기 제2 객체를 통해 출력되는 음성의 특성에 대한 정보가 포함된 음성 정보를 이용하여 지도학습(Supervised Learning)의 방식을 기반으로 인공신경망(Artificial Neural Network)을 학습하는 단계, 상기 학습 결과에 상응하는 음성 정보 및 상기 콘텐츠의 타입에 기초하여 미리 매칭된 음성을 의미하는 샘플 음성의 음성 정보를 비교하여 상기 제2 객체의 렌더링을 통해 출력되는 음성의 특성을 결정하는 단계 및 상기 제1 객체의 3차원 이미지 및 상기 결정된 음성의 특성을 가지는 음성이 출력되는 제2 객체의 3차원 이미지에 대한 렌더링의 수행을 통해 상기 콘텐츠 제작을 위한 서비스를 제공하는 단계를 포함한다.
여기서, 상기 음성 정보는 상기 제2 객체가 렌더링 되는 경우, 상기 제2 객체를 통해 출력이 요구되는 목표 음성의 특성을 의미하는 목표 음성의 길이, 목표 음성의 세기 및 목표 음성의 주파수에 대한 정보를 포함할 수 있다.
여기서, 상기 인공신경망을 학습하는 단계는 상기 음성 정보에 상응하는 목표 음성의 특성을 상기 렌더링을 이용하는 대상이 되는 콘텐츠의 타입에 상응하여 음성의 특성이 매칭되어 미리 저장된 콘텐츠 음성 테이블을 기반으로 인공신경망을 학습하는 단계, 상기 목표 음성의 특성 및 상기 학습 결과에 기초하여 생성되는 음성인 가상 음성의 특성 간의 차이가 미리 설정된 기준 값 미만의 차이를 가지도록 상기 학습을 반복적으로 수행하는 단계 및 상기 반복적인 학습을 통해 상기 목표 음성의 특성 및 상기 가상 음성의 특성 간의 차이가 미리 설정된 기준 값 미만의 차이를 가지는 가상 음성의 특성을 학습 결과에 상응하는 음성의 특성으로 결정하는 단계를 포함할 수 있다.
여기서, 상기 음성의 특성을 결정하는 단계는 상기 학습 결과에 상응하는 음성의 특성을 가지는 음성 정보 및 상기 콘텐츠의 타입에 기초하여 미리 매칭된 음성을 의미하는 샘플 음성의 음성 정보 간의 평균의 값을 산출하는 단계 및 상기 산출된 평균의 값을 가지는 음성 정보를 생성하여 상기 평균의 값에 기초하여 생성된 음성 정보에 상응하는 음성의 특성을 상기 제2 객체의 렌더링을 통해 출력되는 음성의 특성으로 결정하는 단게를 포함할 수 있다.
여기서, 상기 콘텐츠 제작을 위한 서비스를 제공하는 단계는 상기 제1 객체 및 상기 제2 객체가 렌더링 되는 공간의 크기와 관련된 공간 정보를 획득하여 상기 공간 정보에 상응하는 크기를 가지는 상기 제1 객체 및 상기 제2 객체를 위한 확장 현실 공간을 생성하는 단계, 상기 생성된 확장 현실 공간 상으로 상기 제1 객체의 3차원 이미지 및 상기 결정된 음성의 특성을 가지는 음성이 출력되는 제2 객체의 3차원 이미지에 대한 렌더링의 수행하여 출력하는 단계, 상기 확장 현실 공간에서 상기 제1 객체의 크기 및 상기 제2 객체의 크기가 차지하는 비율의 값을 상기 제1 객체 및 상기 제2 객체가 렌더링 되는 크기를 결정하기 위해 미리 설정된 크기 기준 범위와 비교하는 단계, 상기 제1 객체 및 상기 제2 객체가 렌더링 되는 크기의 차지하는 비율의 값이 상기 미리 설정된 크기 범위를 만족하도록 상기 제1 객체 및 상기 제2 객체가 렌더링 되는 크기를 제어하는 단계 및 상기 제어의 결과에 기초하여 상기 확장 현실에서 상기 제1 객체 및 상기 제2 객체가 렌더링 되는 크기를 결정하여 상기 결정된 크기로 상기 제1 객체 및 상기 제2 객체를 최종적으로 렌더링을 수행하는 단계를 포함할 수 있다.
본 발명에 의하면, 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법은 AR(Augmented Reality) 방식 기반의 무대를 구현할 수 있어, 폭 넓은 관람 시야를 제공할 수 있는 효과가 있으며, 추가적으로 3D 모델링 등을 통해 서비스를 이용하는 대상의 몰입 수준을 향상시킬 수 있는 효과가 있다.
또한, 본 발명의 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법은 VR(Virtual Reality) 아바타(avatar)를 구현함으로써 수동적인 관찰자의 입장을 가지는 서비스의 이용 대상이 능동적인 참여자의 입장을 가질 수 있도록 지원하는 효과가 있다.
또한, 본 발명의 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법은 서비스를 이용하는 대상의 기호에 맞추어 관람의 거리나 공간 등을 개인의 사용자 맞춤형으로 접근할 수 있도록 지원할 수 있는 효과가 있다.
또한, 본 발명의 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법은 유튜브 등과 같은 영상의 타입을 가지는 콘텐츠가 가지는 특성을 효과적으로 반영하여 랜더링을 이용하는 콘텐츠를 제작할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법이 수행되는 환경을 도시한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 제공 장치에 대한 하드웨어 블록도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법에서 인공신경망을 학습하는 방법을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법에서 음성의 특성을 결정하는 방법을 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법에서 렌더링을 수행하는 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 제공 장치에 대한 하드웨어 블록도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법에서 인공신경망을 학습하는 방법을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법에서 음성의 특성을 결정하는 방법을 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법에서 렌더링을 수행하는 방법을 도시한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법이 수행되는 환경을 도시한 개념도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법은 서비스 이용 장치(100) 및 서비스 제공 장치(200)에서 수행될 수 있으며, 더욱 상세하게는 서비스 제공 장치(200)의 주도적인 동작에 기초하여 수행될 수 있다.
먼저, 서비스 이용 장치(100)는 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 통해 객체의 렌더링을 이용한 확장 현실을 위한 서비스를 이용하고자 하는 대상(즉, 사용자 등)의 장치를 의미할 수 있다. 구체적으로, 서비스 이용 장치(100)는 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠를 제작하고자 하는 사용자의 장치를 의미할 수 있다.
다시 말해, 서비스 이용 장치(100)는 확장 현실에 객체의 렌더링을 통해 콘텐츠를 제작하는 서비스를 이용하고자 하는 대상인 사용자 등의 장치를 의미할 수 있으며, 객체에 대한 정보(예를 들어, 객체에 대한 이미지 정보, 객체가 렌더링 되는 동안 출력되어야 하는 음성의 내용에 대한 텍스트 정보 및 음성의 특성과 관련된 정보 등)을 생성하거나 보유하고 있는 장치를 의미할 수 있다.
또한, 서비스 제공 장치(200)는 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 직접적으로 수행하는 장치를 의미할 수 있으며, 서비스 이용 장치(100)로부터 인공지능을 기반으로 객체의 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하기 위해 요구되는 정보를 요청하여 수신함으로써 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행할 수 있다.
특히, 서비스 제공 장치(200)는 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하기 위해 요구되는 정보를 서비스 이용 장치(100)로 전송하거나 서비스 이용 장치(100)로부터 수신할 수 있도록 유선 또는 무선 등과 같은 방식의 통신을 기반으로 서로 연동될 수 있다.
기본적으로, 서비스 제공 장치(200)는 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하기 위해 요구되는 정보로 객체의 이미지에 대한 정보, 객체가 렌더링 되는 경우, 객체를 통해 출력되어야 하는 음성의 특성에 대한 정보인 음성 정보, 음성을 통해 출력되어야 하는 내용에 대한 정보인 텍스트 정보 및 확장 현실로 생성하고자 하는 공간의 크기에 대한 공간 정보 등을 전송하거나 수신할 수 있다.
이하에서는, 도 1을 참조하여 설명된 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 제공 장치(200)의 구조에 대하여 도 2를 참조하여 보다 상세하게 설명될 수 있다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 제공 장치에 대한 하드웨어 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 제공 장치(300)는 도 1을 참조하여 설명된 서비스 제공 장치(200)를 의미할 수 있으나, 반드시 이에 한정되는 것은 아닐 수 있다. 즉, 도 2를 참조하여 설명되는 서비스 제공 장치(200)의 하드웨어적인 구조는 도 1을 참조하여 설명된 서비스 이용 장치(100)에도 유사 또는 동일하게 적용될 수 있다.
본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 제공 장치(300)는 적어도 하나의 프로세서(processor, 310) 및 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory, 320)를 포함할 수 있다.
여기서, 적어도 하나의 프로세서(310)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 일 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.
메모리(320) 및 저장 장치(360) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(320)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
또한, 서비스 제공 장치(300)는 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)(330)를 포함할 수 있다. 또한, 서비스 제공 장치(300)는 입력 인터페이스 장치(340), 출력 인터페이스 장치(350) 및 저장 장치(360) 등을 더 포함할 수 있다. 서비스 제공 장치(300)에 포함된 각각의 구성 요소들은 버스(bus)(370)에 의해 연결되어 서로 통신을 수행할 수 있다.
여기서, 적어도 하나의 단계는 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법과 관련된 단계를 의미할 수 있고, 더욱 상세하게는 서비스 제공 장치(300)에서 수행되는 동작 방법과 관련된 단계를 포함할 수 있다.
이하에서는, 도 1을 참조하여 설명된 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 이용 장치(100) 및 서비스 제공 장치(200)와 도 2를 참조하여 설명된 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 제공 장치(300)에서 수행되는 서비스 제공 방법에 대하여 도 3 내지 도 6을 참조하여 보다 상세하게 설명될 수 있다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 도시한 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법은 도 1을 참조하여 설명된 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 이용 장치(100) 및 서비스 제공 장치(200)와 도 2를 참조하여 설명된 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 제공 장치(300)에서 수행될 수 있다.
먼저, 서비스 제공 장치는 렌더링을 이용하는 대상이 되는 콘텐츠로부터 제1 객체의 2차원 이미지 및 제1 객체에 대한 확장 현실을 위한 서비스를 지원하는 대상이 되는 제2 객체의 2차원 이미지를 획득할 수 있다(S310).
구체적으로, 서비스 제공 장치는 서비스 이용 장치로부터 확장 현실로의 객체 렌더링을 이용하여 콘텐츠를 제작하는 서비스의 이용에 대한 요청을 수신하는 경우, 서비스 이용 장치로 확장 현실을 위한 서비스의 대상이 되는 제1 객체의 2차원 이미지 및 제1 객체에 대한 확장 현실을 위한 서비스를 지원하는 대상이 되는 제2 객체의 2차원 이미지를 요청할 수 있다.
이후, 서비스 이용 장치는 서비스 제공 장치로부터 서비스 이용 장치로 확장 현실을 위한 서비스의 대상이 되는 제1 객체의 2차원 이미지 및 제1 객체에 대한 확장 현실을 위한 서비스를 지원하는 대상이 되는 제2 객체의 2차원 이미지의 요청을 수신할 수 있고, 이에 대한 응답으로 서비스 이용 장치로 제1 객체의 2차원 이미지 및 제2 객체의 2차원 이미지를 서비스 제공 장치로 전송할 수 있다.
여기서, 제1 객체는 영상(예를 들어, 유튜브(Youtube)의 방식 등과 같은 콘텐츠 내에서 확장 현실을 이용한 서비스를 통해 설명이 진행되는 대상이나 판매가 진행되는 대상(예를 들어, 자동차 등과 같은 상품을 의미할 수 있음)을 의미할 수 있다.
또한, 제2객체는 콘텐츠 내에서 확장 현실을 이용한 서비스를 통해 설명이 진행되는 대상이나 판매가 진행되는 대상을 직접적으로 설명하는 대상(예를 들어, 자동차 등과 같은 상품을 홍보, 광고 및 설명 등을 진행하는 인물을 의미할 수 있음)을 의미할 수 있다.
또한, 제1 객체의 2차원 이미지 및 제2 객체의 2차원 이미지는 서로 다른 각도에서 촬영된 적어도 3개 이상의 2차원 이미지를 의미할 수 있다. 즉, 제1 객체에 대하여 서로 다른 각도에서 촬영된 적어도 3개 이상의 2차원 이미지들 및 제2 객체에 대하여 서로 다른 각도에서 촬영된 적어도 3개 이상의 2차원 이미지들을 의미할 수 있다.
다시 말해, 제1 객체의 2차원원 이미지는 콘텐츠 내에서 제1 객체에 대하여 서로 다른 각도에서 확인된 적어도 3개 이상의 2차원 이미지를 의미할 수 있고, 제2 객체의 2차원 이미지는 콘텐츠 내에서 제2 객체에 대하여 서로 다른 각도에서 확인된 적어도 3개 이상의 2차원 이미지를 의미할 수 있다.
이후, 서비스 제공 장치는 렌더링을 이용하는 대상이 되는 콘텐츠로부터 제1 객체의 2차원 이미지 및 제1 객체에 대한 확장 현실을 위한 서비스를 지원하는 대상이 되는 제2 객체의 2차원 이미지를 획득할 수 있다(S320).
여기서, 서비스 제공 장치는 제1 객체에 대한 2차원 이미지에 포함된 복수의 2차원 이미지들에 대한 정합을 수행하여 제1 객체에 대한 3차원 이미지를 생성할 수 있다. 또한, 서비스 제공 장치는 제2 객체에 대한 2차원 이미지에 포함된 복수의 2차원 이미지들에 대한 정합을 수행하여 제2 객체에 대한 3차원 이미지를 생성할 수 있다.
이후, 서비스 제공 장치는 콘텐츠에서 제2 객체를 통해 출력되는 음성의 특성에 대한 정보가 포함된 음성 정보를 이용하여 지도학습(Supervised Learning)의 방식을 기반으로 인공신경망(Artificial Neural Network)을 학습할 수 있다(S330).
여기서, 서비스 제공 장치에서 이용하는 음성 정보는 제2 객체가 렌더링 되는 경우, 제2 객체를 통해 출력이 요구되는 목표 음성의 특성을 의미하는 목표 음성의 길이, 목표 음성의 세기 및 목표 음성의 주파수에 대한 정보를 포함할 수 있다.
한편, 서비스 제공 장치에서 콘텐츠에서 제2 객체를 통해 출력되는 음성의 특성에 대한 정보가 포함된 음성 정보를 이용하여 지도학습의 방식을 기반으로 인공신경망을 학습하는 구체적인 과정은 이하에서 도 4를 참조하여 보다 상세하게 설명될 수 있다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법에서 인공신경망을 학습하는 방법을 도시한 흐름도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 제공 장치는 음성 정보에 상응하는 목표 음성의 특성을 렌더링을 이용하는 대상이 되는 콘텐츠의 타입에 상응하여 음성의 특성이 매칭되어 미리 저장된 콘텐츠 음성 테이블을 기반으로 인공신경망을 학습할 수 있다(S331).
구체적으로, 서비스 제공 장치는 콘텐츠의 타입에 상응하여 음성의 특성이 미리 매칭되어 저장된 콘텐츠 음성 테이블이 미리 생성된 상태일 수 있다. 여기서, 음성의 특성은 음성의 세기 및 음성의 주파수 등과 같은 정보를 포함할 수 있으며, 더욱 상세하게는 음성의 특성은 음성의 세기의 값 및 음성의 주파수의 값과 같은 정보를 포함할 수 있다.
예를 들어, 서비스 제공 장치에 미리 저장된 콘텐츠 음성 테이블은 이하의 표 1과 같은 방식으로 생성되어 저장된 상태일 수 있다.
| 구분 | 콘텐츠의 타입 | 세기의 값 | 주파수의 값 |
| 1 | 개그 | 제1 세기 | 제1 주파수 |
| 2 | 뉴스 | 제2 세기 | 제2 주파수 |
| 3 | 광고 | 제3 세기 | 제3 주파수 |
| 4 | 유아 | 제4 세기 | 제4 주파수 |
| 5 | 쇼핑 | 제5 세기 | 제5 주파수 |
| 6 | ... | ... | ... |
표 1에 기재된 바와 같이 서비스 제공 장치는 콘텐츠의 타입에 상응하여 미리 매칭된 음성의 특성에 대한 정보(음성의 세기의 값 및 음성의 주파수의 값)가 미리 저장된 상태일 수 있다. 즉, 서비스 제공 장치는 표 1과 같이 저장된 콘텐츠 음성 테이블을 기반으로 목표 음성의 특성을 지도학습의 방식에 기초하여 인공신경망을 학습할 수 있다.
예를 들어, 콘텐츠의 타입이 '유아'인 경우에는 콘텐츠의 타입이 '뉴스'인 경우보다 높은 톤을 가지는 음성의 특성이 미리 매칭된 상태일 수 있다. 구체적으로, 콘텐츠의 타입이 '유아'인 경우, 음성의 세기는 제4 세기를 가질 수 있고, 음성의 주파수는 제4 주파수를 가질 수 있다. 이때, 콘텐츠의 타입이 '뉴스'인 경우에 가지는 음성의 세기인 제2 세기는 제4 세기보다 낮은 세기일 수 있으며, 음성의 주파수인 제2 주파수는 제4 주파수보다 낮은 주파수일 수 있다.
이후, 서비스 제공 장치는 목표 음성의 특성 및 학습 결과에 기초하여 생성되는 음성인 가상 음성의 특성 간의 차이가 미리 설정된 기준 값 미만의 차이를 가지도록 학습을 반복적으로 수행할 수 있다(S332).
즉, 서비스 제공 장치는 학습을 반복적으로 수행함으로써 복수의 가상의 음성의 특성들을 생성할 수 있으며, 이와 같은 과정에서 목표 음성의 특성 및 가상의 음성의 특성 간의 차이가 미리 설정된 기준 값 미만의 차이를 가지는 경우까지 반복적으로 수행할 수 있다.
다시 말해, 이는 서비스 제공 장치에서 인공지능을 기반으로 생성되는 가상 음성의 특성이 목표 음성의 특성 간의 유사한 정도가 일정 수준 이상을 만족하도록 지도학습의 방식을 기반으로 인공신경망에 대한 학습을 반복적으로 수행되는 것을 의미할 수 있다.
이후, 서비스 제공 장치는 반복적인 학습을 통해 목표 음성의 특성 및 가상 음성의 특성 간의 차이가 미리 설정된 기준 값 미만의 차이를 가지는 가상 음성의 특성을 학습 결과에 상응하는 음성의 특성으로 결정할 수 있다(S333).
여기서, 서비스 제공 장치는 지도학습의 방식을 기반으로 인공신경망에 대한 학습을 반복적으로 수행하여 목표 음성의 특성 및 가상 음성의 특성 간의 차이가 미리 설정된 기준 값 미만의 차이를 가지는 가상 음성의 특성을 확인할 수 있고, 확인된 가상 음성의 특성을 학습 결과에 상응하는 음성의 특성으로 결정할 수 있다.
다시, 도 3을 참조하면 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 제공 장치는 학습 결과에 상응하는 음성 정보 및 콘텐츠의 타입에 기초하여 미리 매칭된 음성을 의미하는 샘플 음성의 음성 정보를 비교하여 제2 객체의 렌더링을 통해 출력되는 음성의 특성을 결정할 수 있다(S340).
여기서, 서비스 제공 장치에서 학습 결과에 상응하는 음성 정보 및 콘텐츠의 타입에 기초하여 미리 매칭된 음성을 의미하는 샘플 음성의 음성 정보를 비교하여 제2 객체의 렌더링을 통해 출력되는 음성의 특성을 결정하는 구체적인 과정은 이하에서 도 5를 참조하여 보다 상세하게 설명될 수 있다.
도 5는 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법에서 음성의 특성을 결정하는 방법을 도시한 흐름도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 제공 장치는 학습 결과에 상응하는 음성의 특성을 가지는 음성 정보 및 콘텐츠의 타입에 기초하여 미리 매칭된 음성을 의미하는 샘플 음성의 음성 정보 간의 평균의 값을 산출할 수 있다(S341).
먼저, 서비스 제공 장치는 서비스 이용 장치에서 객체 렌더링을 이용하여 제작을 희망하는 콘텐츠의 타입을 확인할 수 있다. 이후, 서비스 제공 장치는 미리 설명된 바 있는 표 1과 같이 생성되는 콘텐츠 음성 테이블에서 확인된 콘텐츠의 타입에 상응하는 음성의 특성을 확인할 수 있다. 여기서, 샘플 음성은 콘텐츠 음성 테이블에 콘텐츠의 타입에 상응하여 미리 매칭된 음성의 특성에 따른 음성을 칭할 수 있다.
즉, 서비스 제공 장치는 콘텐츠 음성 테이블에서 서비스 이용 장치에서 객체 렌더링을 이용하여 제작을 희망하는 콘텐츠의 타입에 상응하여 미리 매칭되어 저장된 음성의 세기의 값 및 음성의 주파수의 값을 확인할 수 있다. 이후, 서비스 제공 장치는 학습 결과에 상응하는 음성의 특성인 음성의 세기의 값 및 음성의 주파수의 값을 확인할 수 있다.
이후, 서비스 제공 장치는 학습 결과에 상응하는 음성의 특성인 음성의 세기의 값 및 콘텐츠 음성 테이블에서 확인된 음성의 세기의 값 간의 평균의 값을 산출할 수 있고, 학습 결과에 상응하는 음성의 특성인 음성의 주파수의 값 및 콘텐츠 음성 테이블에서 확인된 음성의 주파수의 값 간의 평균의 값을 산출할 수 있다.
이후, 서비스 제공 장치는 산출된 평균의 값을 가지는 음성 정보를 생성하여 평균의 값에 기초하여 생성된 음성 정보에 상응하는 음성의 특성을 제2 객체의 렌더링을 통해 출력되는 음성의 특성으로 결정할 수 있다(S342).
다시 말해, 서비스 제공 장치는 학습 결과에 상응하는 음성의 특성인 음성의 세기의 값 및 콘텐츠 음성 테이블에서 확인된 음성의 세기의 값 간의 평균의 값과 학습 결과에 상응하는 음성의 특성인 음성의 주파수의 값 및 콘텐츠 음성 테이블에서 확인된 음성의 주파수의 값 간의 평균의 값을 가지는 음성의 특성을 제2 객체가 렌더링 되는 경우, 출력되는 음성의 특성으로 결정할 수 있다.
다시, 도 3을 참조하면 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 제공 장치는 제1 객체의 3차원 이미지 및 결정된 음성의 특성을 가지는 음성이 출력되는 제2 객체의 3차원 이미지에 대한 렌더링의 수행을 통해 콘텐츠 제작을 위한 서비스를 제공할 수 있다(S350).
여기서, 서비스 제공 장치에서 제1 객체의 3차원 이미지 및 결정된 음성의 특성을 가지는 음성이 출력되는 제2 객체의 3차원 이미지에 대한 렌더링의 수행을 통해 콘텐츠 제작을 위한 서비스를 제공하는 구체적인 과정은 이하에서 도 6을 참조하여 보다 상세하게 설명될 수 있다.
도 6은 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법에서 렌더링을 수행하는 방법을 도시한 흐름도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 제공 장치는 제1 객체 및 제2 객체가 렌더링 되는 공간의 크기와 관련된 공간 정보를 획득하여 공간 정보에 상응하는 크기를 가지는 제1 객체 및 제2 객체를 위한 확장 현실 공간을 생성할 수 있다(S351).
구체적으로, 서비스 제공 장치는 확장 현실을 생성하기 위해 요구되는 공간의 크기와 관련된 정보인 공간 정보를 서비스 이용 장치로 요청할 수 있다. 이후, 서비스 제공 장치는 이에 대한 응답으로 서비스 이용 장치로부터 공간 정보를 수신함으로써 획득할 수 있다.
이후, 서비스 제공 장치는 공간 정보에 기초하여 확인되는 크기의 값을 가지는 공간을 생성할 수 있다. 이후, 서비스 제공 장치는 생성된 공간을 확장 현실 공간으로 적용함으로써 렌더링 서비스를 위한 확장 현실 공간을 생성할 수 있다. 여기서, 서비스 제공 장치에 의해 생성되는 확장 현실 공간은 서비스 이용 장치에서 객체 렌더링을 위한 서비스를 이용하여 제작을 희망하는 콘텐츠의 배경을 반영한 공간을 의미할 수 있다.
이후, 서비스 제공 장치는 생성된 확장 현실 공간 상으로 제1 객체의 3차원 이미지 및 결정된 음성의 특성을 가지는 음성이 출력되는 제2 객체의 3차원 이미지에 대한 렌더링의 수행하여 출력할 수 있다(S352).
구체적으로, 서비스 제공 장치는 제1 객체의 3차원 이미지에 기초하여 제1 객체에 대한 렌더링을 수행함으로써 제1 객체를 확장 현실 공간에 출력할 수 있다.
추가적으로, 서비스 제공 장치는 단계 S340을 기반으로 결정된 음성의 특성을 가지는 제2 객체의 3차원 이미지에 기초하여 제2 객체에 대한 렌더링을 수행함으로써 제2 객체를 확장 현실 공간에 출력할 수 있다.
이후, 서비스 제공 장치는 확장 현실 공간에서 제1 객체의 크기 및 제2 객체의 크기가 차지하는 비율의 값을 제1 객체 및 제2 객체가 렌더링 되는 크기를 결정하기 위해 미리 설정된 크기 기준 범위와 비교할 수 있다(S353).
여기서, 서비스 제공 장치는 확장 현실 공간이 가지는 크기에서 렌더링이 수행된 제1 객체의 크기가 차지하는 비율 및 렌더링이 수행된 제2 객체의 크기가 차지하는 비율의 합의 값을 미리 설정된 크기 기준 범위와 비교할 수 있다.
여기서, 미리 설정된 크기 기준 범위는 서비스 제공 장치에 의해 생성된 확장 현실 공간이 가지는 크기 내에서 미리 설정된 크기를 지정할 수 있는 범위를 의미할 수 있다.
이후, 서비스 제공 장치는 제1 객체 및 제2 객체가 렌더링 되는 크기의 차지하는 비율의 값이 미리 설정된 크기 범위를 만족하도록 제1 객체 및 제2 객체가 렌더링 되는 크기를 제어할 수 있다(S354).
즉, 서비스 제공 장치는 확장 현실 공간에서 제1 객체 및 제2 객체가 렌더링 되는 크기가 미리 설정된 크기 범위 내에서 생성될 수 있도록 제어하는 것을 의미할 수 있다. 이를 위해서 서비스 제공 장치는 최초에 렌더링의 수행을 통해 생성된 제1 객체의 크기 및 제2 객체의 크기를 확대시키거나 축소시킬 수 있다.
이후, 서비스 제공 장치는 제어의 결과에 기초하여 확장 현실에서 제1 객체 및 제2 객체가 렌더링 되는 크기를 결정하여 결정된 크기로 제1 객체 및 제2 객체를 최종적으로 렌더링을 수행할 수 있다(S355).
다시 말해, 서비스 제공 장치는 제어의 결과에 기초하여 확장 현실에서 제1 객체 및 제2 객체가 렌더링 되는 크기를 결정할 수 있으며, 이와 같은 방법을 통해 제1 객체 및 제2 객체를 확장 현실을 의미하는 확장 현실 공간에 렌더링을 수행하여 생성할 수 있다.
상술한 바와 같이 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 제공 장치는 콘텐츠의 타입을 고려하여 적절한 음성의 특성을 가지는 객체를 확장 현실 공간에 렌더링을 통해 출력할 수 있으며, 이를 통해 콘텐츠를 이용하는 대상이 되는 사용자가 보다 몰입감을 가질 수 있는 콘텐츠를 제작할 수 있다.
또한, 본 발명의 본 발명의 일 실시예에 따른 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법을 수행하는 서비스 제공 장치는 콘텐츠의 타입에 적절한 음성의 특성과 콘텐츠의 원본에 포함된 음성의 특성을 고려하여 보다 정확하고 적절한 음성의 특성을 결정하여 콘텐츠의 제작을 지원할 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 서비스 이용 장치
200: 서비스 제공 장치
300: 서비스 제공 장치 310: 프로세서
320: 메모리 330: 송수신 장치
340: 입력 인터페이스 장치 350: 출력 인터페이스 장치
360: 저장 장치 370: 버스
300: 서비스 제공 장치 310: 프로세서
320: 메모리 330: 송수신 장치
340: 입력 인터페이스 장치 350: 출력 인터페이스 장치
360: 저장 장치 370: 버스
Claims (5)
- 인공지능(AI, Artificial Intelligence) 기반의 객체 렌더링(rendering)을 이용하는 콘텐츠 제작을 위한 서비스 제공 장치에서 수행되는 서비스 제공 방법으로서,
상기 렌더링을 이용하는 대상이 되는 콘텐츠로부터 제1 객체의 2차원 이미지 및 제1 객체에 대한 확장 현실을 위한 서비스를 지원하는 대상이 되는 제2 객체의 2차원 이미지를 획득하는 단계;
상기 획득된 제1 객체의 2차원 이미지 및 상기 획득된 제2 객체의 2차원 이미지에 대한 정합(registration)을 수행하여 상기 제1 객체의 3차원 이미지 및 상기 제2 객체의 3차원 이미지를 생성하는 단계;
상기 콘텐츠에서 상기 제2 객체를 통해 출력되는 음성의 특성에 대한 정보가 포함된 음성 정보를 이용하여 지도학습(Supervised Learning)의 방식을 기반으로 인공신경망(Artificial Neural Network)을 학습하는 단계;
상기 학습 결과에 상응하는 음성 정보 및 상기 콘텐츠의 타입에 기초하여 미리 매칭된 음성을 의미하는 샘플 음성의 음성 정보를 비교하여 상기 제2 객체의 렌더링을 통해 출력되는 음성의 특성을 결정하는 단계; 및
상기 제1 객체의 3차원 이미지 및 상기 결정된 음성의 특성을 가지는 음성이 출력되는 제2 객체의 3차원 이미지에 대한 렌더링의 수행을 통해 상기 콘텐츠 제작을 위한 서비스를 제공하는 단계를 포함하는, 콘텐츠 제작을 위한 서비스 제공 방법.
- 청구항 1에 있어서,
상기 음성 정보는,
상기 제2 객체가 렌더링 되는 경우, 상기 제2 객체를 통해 출력이 요구되는 목표 음성의 특성을 의미하는 목표 음성의 길이, 목표 음성의 세기 및 목표 음성의 주파수에 대한 정보를 포함하는 것을 특징으로 하는, 콘텐츠 제작을 위한 서비스 제공 방법.
- 청구항 2에 있어서,
상기 인공신경망을 학습하는 단계는,
상기 음성 정보에 상응하는 목표 음성의 특성을 상기 렌더링을 이용하는 대상이 되는 콘텐츠의 타입에 상응하여 음성의 특성이 매칭되어 미리 저장된 콘텐츠 음성 테이블을 기반으로 인공신경망을 학습하는 단계;
상기 목표 음성의 특성 및 상기 학습 결과에 기초하여 생성되는 음성인 가상 음성의 특성 간의 차이가 미리 설정된 기준 값 미만의 차이를 가지도록 상기 학습을 반복적으로 수행하는 단계; 및
반복적인 학습을 통해 상기 목표 음성의 특성 및 상기 가상 음성의 특성 간의 차이가 미리 설정된 기준 값 미만의 차이를 가지는 가상 음성의 특성을 학습 결과에 상응하는 음성의 특성으로 결정하는 단계를 포함하는 것을 특징으로 하는, 콘텐츠 제작을 위한 서비스 제공 방법.
- 청구항 3에 있어서,
상기 음성의 특성을 결정하는 단계는,
상기 학습 결과에 상응하는 음성의 특성을 가지는 음성 정보 및 상기 콘텐츠의 타입에 기초하여 미리 매칭된 음성을 의미하는 샘플 음성의 음성 정보 간의 평균의 값을 산출하는 단계; 및
상기 산출된 평균의 값을 가지는 음성 정보를 생성하여 상기 평균의 값에 기초하여 생성된 음성 정보에 상응하는 음성의 특성을 상기 제2 객체의 렌더링을 통해 출력되는 음성의 특성으로 결정하는 단게를 포함하는 것을 특징으로 하는 콘텐츠 제작을 위한 서비스 제공 방법.
- 청구항 4에 있어서,
상기 콘텐츠 제작을 위한 서비스를 제공하는 단계는,
상기 제1 객체 및 상기 제2 객체가 렌더링 되는 공간의 크기와 관련된 공간 정보를 획득하여 상기 공간 정보에 상응하는 크기를 가지는 상기 제1 객체 및 상기 제2 객체를 위한 확장 현실 공간을 생성하는 단계;
상기 생성된 확장 현실 공간 상으로 상기 제1 객체의 3차원 이미지 및 상기 결정된 음성의 특성을 가지는 음성이 출력되는 제2 객체의 3차원 이미지에 대한 렌더링의 수행하여 출력하는 단계;
상기 확장 현실 공간에서 상기 제1 객체의 크기 및 상기 제2 객체의 크기가 차지하는 비율의 값을 상기 제1 객체 및 상기 제2 객체가 렌더링 되는 크기를 결정하기 위해 미리 설정된 크기 기준 범위와 비교하는 단계;
상기 제1 객체 및 상기 제2 객체가 렌더링 되는 크기의 차지하는 비율의 값이 상기 미리 설정된 크기 범위를 만족하도록 상기 제1 객체 및 상기 제2 객체가 렌더링 되는 크기를 제어하는 단계; 및
상기 제어의 결과에 기초하여 상기 확장 현실에서 상기 제1 객체 및 상기 제2 객체가 렌더링 되는 크기를 결정하여 상기 결정된 크기로 상기 제1 객체 및 상기 제2 객체를 최종적으로 렌더링을 수행하는 단계를 포함하는 것을 특징으로 하는, 콘텐츠 제작을 위한 서비스 제공 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220079658A KR20240002444A (ko) | 2022-06-29 | 2022-06-29 | 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220079658A KR20240002444A (ko) | 2022-06-29 | 2022-06-29 | 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240002444A true KR20240002444A (ko) | 2024-01-05 |
Family
ID=89541383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220079658A KR20240002444A (ko) | 2022-06-29 | 2022-06-29 | 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240002444A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117959721A (zh) * | 2024-04-02 | 2024-05-03 | 深圳市乐易网络股份有限公司 | 一种基于三维建模的游戏引擎设计系统及方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102114207B1 (ko) | 2018-11-01 | 2020-05-22 | 유엔젤주식회사 | 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법 |
-
2022
- 2022-06-29 KR KR1020220079658A patent/KR20240002444A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102114207B1 (ko) | 2018-11-01 | 2020-05-22 | 유엔젤주식회사 | 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117959721A (zh) * | 2024-04-02 | 2024-05-03 | 深圳市乐易网络股份有限公司 | 一种基于三维建模的游戏引擎设计系统及方法 |
| CN117959721B (zh) * | 2024-04-02 | 2024-05-31 | 深圳市乐易网络股份有限公司 | 一种基于三维建模的游戏引擎设计系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220029451A (ko) | 가상 환경에서 상호작용을 가능하게 하는 시스템 및 방법 | |
| US20220406021A1 (en) | Virtual Reality Experiences and Mechanics | |
| US9117193B2 (en) | Method and system for dynamic detection of affinity between virtual entities | |
| Sivasankar | Study of blockchain technology, AI and digital networking in metaverse | |
| Lance et al. | Emotionally expressive head and body movement during gaze shifts | |
| KR20220029471A (ko) | 공간 비디오 기반 존재 | |
| KR20220029453A (ko) | 사용자 그래픽 표현 기반 사용자 인증 시스템 및 방법 | |
| KR20240002444A (ko) | 인공지능 기반의 객체 렌더링을 이용하는 콘텐츠 제작을 위한 서비스 제공 방법 및 장치 | |
| KR20220030177A (ko) | 가상 환경에서의 애플리케이션의 전달 시스템 및 방법 | |
| KR20220029454A (ko) | 가상 환경에서 가상으로 방송하기 위한 시스템 및 방법 | |
| KR20090003445A (ko) | 가상현실 기법을 이용한 온라인 아동 학습 서비스 장치 및그 서비스 방법 | |
| KR20220029467A (ko) | 접근하는 사용자 표현 간의 애드혹 가상통신 | |
| US9959497B1 (en) | System and method for using a digital virtual clone as an input in a simulated environment | |
| KR102716026B1 (ko) | 가상 환경에서 클라우드 컴퓨팅 기반 가상 컴퓨팅 리소스를 프로비저닝하는 시스템 및 방법 | |
| Yoon et al. | Design of Metaverse for Two-Way Video Conferencing Platform Based on Virtual Reality. | |
| KR102570217B1 (ko) | 온라인 기반 가상 전시관 시스템 | |
| CN114237540A (zh) | 一种智慧课堂在线教学互动方法、装置、存储介质及终端 | |
| JP2010218107A (ja) | パノラマｖｒファイル提供装置、プログラム、方法及び、システム | |
| KR102108422B1 (ko) | Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체 | |
| KR101814981B1 (ko) | 웹기반 인터액티브 영상 제작시스템 | |
| CN116863015A (zh) | 一种文图生成方法、装置、计算机设备及存储介质 | |
| KR102346325B1 (ko) | 3차원 데이터를 이용한 웹툰 제작 시스템 및 방법 | |
| CN108256477B (zh) | 一种用于检测人脸的方法和装置 | |
| KR20230167870A (ko) | 인공지능을 기반으로 객체의 렌더링을 이용한 확장 현실을 위한 서비스 제공 방법 및 장치 | |
| JP2005025762A (ja) | デジタル画像のコーディング装置、コーディングシステム、およびコーディング方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |