KR101961015B1 - 가상 스튜디오 연동 스마트 증강현실 서비스 시스템 및 방법 - Google Patents
가상 스튜디오 연동 스마트 증강현실 서비스 시스템 및 방법 Download PDFInfo
- Publication number
- KR101961015B1 KR101961015B1 KR1020170067115A KR20170067115A KR101961015B1 KR 101961015 B1 KR101961015 B1 KR 101961015B1 KR 1020170067115 A KR1020170067115 A KR 1020170067115A KR 20170067115 A KR20170067115 A KR 20170067115A KR 101961015 B1 KR101961015 B1 KR 101961015B1
- Authority
- KR
- South Korea
- Prior art keywords
- subject
- image
- virtual
- background
- unit
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims description 44
- 238000000034 method Methods 0.000 title claims description 44
- 230000002452 interceptive effect Effects 0.000 claims abstract description 27
- 230000003993 interaction Effects 0.000 claims abstract description 9
- 238000009877 rendering Methods 0.000 claims abstract description 8
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 5
- 230000033001 locomotion Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Graphics (AREA)
- Acoustics & Sound (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명의 일 실시예에 따른 가상 스튜디오 연동 스마트 증강현실 서비스 시스템은 피사체와 배경 영상을 촬영하여 영상 정보를 생성하는 영상 카메라부; 상기 영상 정보에서 상기 배경 영상을 제거한 피사체 영상만을 출력하는 크로마키 엔진부; 가상 스튜디오의 배경 및 상기 가상 스튜디오의 배경 내 오브젝트를 포함한 가상의 3차원 영상 정보를 생성하는 가상 카메라부; 상기 피사체 영상과 상기 3차원 영상 정보를 3차원 렌더링을 통해 합성하여 가상 스튜디오 영상을 생성하는 렌더 엔진부; 피사체의 동작을 인식하는 동작 인식부; 및 상기 동작의 인식 결과에 기초하여, 상기 피사체와의 상호 작용을 통해 상기 가상 스튜디오의 배경, 상기 오브젝트 및 상기 피사체 중 적어도 하나를 제어하는 인터렉티브 제어부를 포함한다.
Description
본 발명의 실시예들은 가상 스튜디오 연동 스마트 증강현실 서비스 시스템 및 방법에 관한 것이다.
1960년대 흑백 텔레비전의 등장 이후, 텔레비전 부분의 방송기술은 전자 통신 기술 분야의 발전과 더불어 눈부시게 발전을 거듭하였다. 1980년대에는 칼라 TV가 도입되면서 사회전반에 획기적인 변화를 일으켰으며, 90년대말부터 시작된 고화질 텔레비전(High Definition TeleVision; 이원, 간단히 'HDTV'라 함)의 방송은 또 다른 방송시대를 열었다.
최근의 고화질 텔레비전 방송에서는 그래픽과 실사 영상의 합성 기술의 발전은 실사 영상과 가상의 그래픽 영상을 구분할 수 없을 정도로 정교한 실시간 합성 영상을 방송하기에 이르렀다. 실시간 합성 영상의 대표적인 예로서 가상 스튜디오(Virtual Studio), 가상 캐릭터(Virtual Character), 가상 이미징(Virtual Imaging) 기술 등을 들 수 있다. 이중에서도 가상 스튜디오 기술이 각광받고 있었다.
이러한 가상 스튜디오 기술은 색상차를 이용하여 화면의 합성을 전기적으로 수행하는 특수 효과인 크로마키(Chroma Key) 기법을 사용한다. 예를 들면, 날씨 예보와 같이 기상 아나운서의 뒤배경으로 구름영상이나 그래픽 화면을 합성시키는 것이 그 대표적인 예라 할 수 있었다.
하지만, 종래의 크로마키 기법을 이용한 가상 스튜디오 영상은 가상 스튜디오 안에 비쳐진 각 영상들의 크기 및 위치 조절이 어려운 문제점이 있었고, 설사 가능하더라도 별도의 프로그램화하여 출력할 수 밖에 없어 크기 및 위치 조절된 영상을 바로 보여주지 못한 문제점이 있었다.
관련 선행기술로는 대한한국 공개특허공보 제10-2006-0090367호(발명의 명칭: 비디오 텍스투어링을 이용한 삼차원 가상 스튜디오 장치, 공개일자: 2006.08.10)가 있다.
본 발명의 일 실시예는 가상 스튜디오 시스템에 증강현실(AR) 기능을 결합한 융합 시스템을 토대로 하여 가상 배경 속에서의 오브젝트를 동작 인식 등의 감응에 의한 상호 작용을 통해 제어할 수 있는 가상 스튜디오 연동 스마트 증강현실 서비스 시스템 및 방법을 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 가상 스튜디오 연동 스마트 증강현실 서비스 시스템은 피사체와 배경 영상을 촬영하여 영상 정보를 생성하는 영상 카메라부; 상기 영상 정보에서 상기 배경 영상을 제거한 피사체 영상만을 출력하는 크로마키 엔진부; 가상 스튜디오의 배경 및 상기 가상 스튜디오의 배경 내 오브젝트를 포함한 가상의 3차원 영상 정보를 생성하는 가상 카메라부; 상기 피사체 영상과 상기 3차원 영상 정보를 3차원 렌더링을 통해 합성하여 가상 스튜디오 영상을 생성하는 렌더 엔진부; 피사체의 동작을 인식하는 동작 인식부; 및 상기 동작의 인식 결과에 기초하여, 상기 피사체와의 상호 작용을 통해 상기 가상 스튜디오의 배경, 상기 오브젝트 및 상기 피사체 중 적어도 하나를 제어하는 인터렉티브 제어부를 포함한다.
상기 인터렉티브 제어부는 상기 동작의 인식 결과에 기초하여, 상기 오브젝트의 사이즈를 확대 또는 축소하거나 상기 오브젝트를 상하좌우로 이동시킬 수 있다.
상기 인터렉티브 제어부는 상기 가상 카메라부의 PTZ(Pan-Tilt-Zoom) 및 돌리(Dolly) 기능을 이용하여 상기 오브젝트의 사이즈를 확대 또는 축소하거나 상기 오브젝트를 상하좌우로 이동시킬 수 있다.
상기 인터렉티브 제어부는 상기 동작 인식부에 의해 상기 피사체의 좌, 우 손동작이 인식되면, 상기 가상 스튜디오의 배경을 다른 배경으로 교체할 수 있다.
본 발명의 일 실시예에 따른 가상 스튜디오 연동 스마트 증강현실 서비스 시스템은 상기 피사체의 얼굴을 인식하는 얼굴 인식부를 더 포함하고, 상기 인터렉티브 제어부는 상기 동작 인식부에 의해 상기 피사체의 손동작이 인식되면, 상기 얼굴 인식부에 의해 인식된 상기 피사체의 얼굴을 캐릭터로 교체할 수 있다.
본 발명의 일 실시예에 따른 가상 스튜디오 연동 스마트 증강현실 서비스 시스템은 상기 피사체의 음성을 인식하는 음성 인식부를 더 포함하고, 상기 인터렉티브 제어부는 상기 음성의 인식 결과에 기초하여, 상기 피사체와의 상호 작용을 통해 상기 가상 스튜디오의 배경, 상기 오브젝트 및 상기 피사체 중 적어도 하나를 제어할 수 있다.
상기 렌더 엔진부는 상기 가상 스튜디오 영상의 피사체 영상이 위치할 지점에 액터판을 생성하는 액터판 생성부; 및 상기 액터판에 상기 피사체 영상의 비디오 신호를 매핑(mapping)하여 출력하는 액터 영상 출력부를 포함할 수 있다.
상기 렌더 엔진부는 상기 가상 스튜디오의 배경 크기를 조정하는 배경 크기 조정부; 및 상기 액터판의 크기 및 위치를 조정하고, 상기 조정된 액터판에 맞게 상기 피사체 영상을 조절하여 매핑하는 액터판 조정부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 가상 스튜디오 연동 스마트 증강현실 서비스 방법은 피사체와 배경 영상을 촬영하여 영상 정보를 생성하는 단계; 상기 영상 정보에서 상기 배경 영상을 제거한 피사체 영상만을 출력하는 단계; 가상 스튜디오의 배경 및 상기 가상 스튜디오의 배경 내 오브젝트를 포함한 가상의 3차원 영상 정보를 생성하는 단계; 상기 피사체 영상과 상기 3차원 영상 정보를 3차원 렌더링을 통해 합성하여 가상 스튜디오 영상을 생성하는 단계; 피사체의 동작을 인식하는 단계; 및 상기 동작의 인식 결과에 기초하여, 상기 피사체와의 상호 작용을 통해 상기 가상 스튜디오의 배경, 상기 오브젝트 및 상기 피사체 중 적어도 하나를 제어하는 단계를 포함한다.
상기 제어하는 단계는 상기 동작의 인식 결과에 기초하여, 상기 오브젝트의 사이즈를 확대 또는 축소하거나 상기 오브젝트를 상하좌우로 이동시키는 단계를 포함할 수 있다.
상기 제어하는 단계는 상기 가상 카메라부의 PTZ(Pan-Tilt-Zoom) 및 돌리(Dolly) 기능을 이용하여 상기 오브젝트의 사이즈를 확대 또는 축소하거나 상기 오브젝트를 상하좌우로 이동시키는 단계를 포함할 수 있다.
상기 제어하는 단계는 상기 동작 인식부에 의해 상기 피사체의 좌, 우 손동작이 인식되면, 상기 가상 스튜디오의 배경을 다른 배경으로 교체하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 가상 스튜디오 연동 스마트 증강현실 서비스 방법은 상기 피사체의 얼굴을 인식하는 단계를 더 포함하고, 상기 제어하는 단계는 상기 동작 인식부에 의해 상기 피사체의 손동작이 인식되면, 상기 얼굴 인식부에 의해 인식된 상기 피사체의 얼굴을 캐릭터로 교체하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 가상 스튜디오 연동 스마트 증강현실 서비스 방법은 상기 피사체의 음성을 인식하는 단계를 더 포함하고, 상기 제어하는 단계는 상기 음성의 인식 결과에 기초하여, 상기 피사체와의 상호 작용을 통해 상기 가상 스튜디오의 배경, 상기 오브젝트 및 상기 피사체 중 적어도 하나를 제어하는 단계를 포함할 수 있다.
상기 가상 스튜디오 영상을 생성하는 단계는 상기 가상 스튜디오 영상의 피사체 영상이 위치할 지점에 액터판을 생성하는 단계; 및 상기 액터판에 상기 피사체 영상의 비디오 신호를 매핑(mapping)하여 출력하는 단계를 포함할 수 있다.
상기 가상 스튜디오 영상을 생성하는 단계는 상기 가상 스튜디오의 배경 크기를 조정하는 단계; 상기 액터판의 크기 및 위치를 조정하는 단계; 및 상기 조정된 액터판에 맞게 상기 피사체 영상을 조절하여 매핑하는 단계를 더 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 일 실시예에 따르면, 가상 스튜디오 시스템에 증강현실(AR) 기능을 결합한 융합 시스템을 토대로 하여 가상 배경 속에서의 오브젝트를 동작 인식 등의 감응에 의한 상호 작용을 통해 제어할 수 있다.
본 발명의 일 실시예에 따르면, 가상 스튜디오 시스템에 증강현실(AR) 기능을 개발 융합함으로써 누구나 쉽게 접근할 수 있는 용이한 접근성을 가질 수 있다.
본 발명의 일 실시예에 따르면, 방송용이나 교육용을 넘어서 인터렉티브한 실감형 콘텐츠의 제작 수요가 증가하고 있는 의료, 항공, 원자력, 군사 관련 등 특수 분야의 고부가가치 콘텐츠 개발과 이를 시스템에 적용이 가능해짐에 따라 보다 폭넓은 시장을 개척할 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 스튜디오 연동 스마트 증강현실(AR) 서비스 시스템의 전체 구성을 설명하기 위해 도시한 블록도이다.
도 2는 도 1의 렌더 엔진부의 상세 구성을 도시한 블록도이다.
도 3 내지 도 13은 본 발명의 일 실시예에 따라 가상 스튜디오와 연동하여 증강현실 서비스를 제공하는 일례를 도시한 예시도이다.
도 14 및 도 15는 본 발명의 일 실시예에 따른 가상 스튜디오 연동 스마트 증강현실 서비스 방법을 설명하기 위해 도시한 흐름도이다.
도 2는 도 1의 렌더 엔진부의 상세 구성을 도시한 블록도이다.
도 3 내지 도 13은 본 발명의 일 실시예에 따라 가상 스튜디오와 연동하여 증강현실 서비스를 제공하는 일례를 도시한 예시도이다.
도 14 및 도 15는 본 발명의 일 실시예에 따른 가상 스튜디오 연동 스마트 증강현실 서비스 방법을 설명하기 위해 도시한 흐름도이다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능 구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능 구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능 구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성 요소와 본 발명을 위해 추가된 구성 요소 사이의 관계도 명백하게 이해할 수 있을 것이다.
또한, 이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 가상 스튜디오 연동 스마트 증강현실(AR) 서비스 시스템의 전체 구성을 설명하기 위해 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 가상 스튜디오 연동 스마트 증강현실 서비스 시스템(100)은 영상 카메라부(110), 크로마키 엔진부(120), 가상 카메라부(130), 렌더 엔진부(140), 센싱 인터페이스부(150), 및 인터렉티브 제어부(160)를 포함할 수 있다.
상기 영상 카메라부(110)는 피사체(111)와 배경 영상(112)을 촬영하여 영상 정보(110a)를 생성할 수 있다. 다시 말해, 상기 영상 카메라부(110)는 상기 배경 영상(112)를 뒤로하는 상기 피사체(111)의 영상과 함께 상기 배경 영상(112)을 촬영하여 상기 영상 정보(110a)를 생성할 수 있다.
상기 영상 카메라부(110)는 통상적으로 널리 알려진 DSLR 카메라, 미러리스 카메라, 스마트폰 카메라 등과 동일 또는 유사한 원리를 통하여 상기 영상 정보(110a)를 생성할 수 있다.
상기 크로마키 엔진부(120)는 상기 영상 정보(110a)에서 상기 배경 영상(112)을 제거한 피사체 영상(111)만을 출력할 수 있다. 이를 위해, 상기 크로마키 엔진부(120)는 크로마키(chroma-key) 기법을 이용할 수 있다.
즉, 상기 크로마키 엔진부(120)는 상기 영상 카메라부(110)에 의해 생성된 영상 정보(110a)에서 상기 배경 영상(112)을 제거한 후 상기 피사체 영상(111)만을 상기 크로마키 기법을 이용하여 출력함으로써 가상의 피사체 영상(121)을 생성할 수 있다.
여기서, 상기 크로마키 기법은 상기 영상 카메라부(110)로부터 출력되는 신호를 읽고, 화상의 특정한 성분들을 체계적으로 제거하여 공백으로 만드는 기법을 의미한다. 상기 공백은 후술하는 가상 카메라부(130)로부터 출력되는 영상 신호로 채워져 두 개의 카메라로부터 전자적으로 결합된 화면을 구성하여 실제로는 존재하지 않는 가상의 영상 화면을 만들어내는 데 필요하다.
상기 가상 카메라부(130)는 가상 스튜디오의 배경(131, 132) 및 상기 가상 스튜디오의 배경(131, 132) 내 오브젝트(133)를 포함한 가상의 3차원 영상 정보(130a)를 생성할 수 있다.
상기 가상 카메라부(130)는 고정된 3차원 배경 세트에서 X, Y, Z 값을 가진 3D 가상 카메라를 컨트롤하는 방식으로 동작할 수 있다. 이를 위해, 상기 가상 카메라부(130)는 PTZ(Pan-Tilt-Zoom) 및 돌리(Dolly) 기능을 지원할 수 있다.
상기 가상 카메라부(130)는 실제 카메라의 화각을 완벽히 구현하여 카메라 움직임이 자연스러우며, 별도의 프로그램이나 툴을 이용하지 않고 방향키 조작만으로 카메라 앵글 변경이 가능하다. 또한, 상기 가상 카메라부(130)는 후술하는 렌더 엔진부(140)에 의해 생성되는 가상 스튜디오 영상의 송출 중에도 카메라 앵글을 실시간으로 자유롭게 변경이 가능하다.
상기 렌더 엔진부(140)는 상기 크로마키 엔진부(120)로부터 출력된 가상의 피사체 영상(121)과 상기 가상 카메라부(130)에 의해 생성된 3차원 영상 정보(130a)를 3차원 렌더링을 통해 합성함으로써 가상 스튜디오 영상을 생성할 수 있다.
여기서, 상기 가상 스튜디오 영상은 통상적으로 알려진 두 개의 영상을 3차원 렌더링하여 합성하는 기법과 동일하다고 할 수 있으나, 본 실시예에서는 크로마키된 피사체 영상을 합성 대상 중 하나로 인식하여 처리하는 것이 다르다 할 수 있다.
상기 렌더 엔진부(140)는 상기 가상 스튜디오 영상(146) 안에 합성된 상기 가상의 피사체 영상(121)을 상기 가상 스튜디오 영상(146)안에 존재하는 상기 3차원 영상 정보(130a)의 임의의 지점에 위치시키도록, 비디오 신호 매핑(Mapping) 기법을 사용할 수 있다.
상기 렌더 엔진부(140)는 상기 비디오 신호 매핑 기법을 통해 비디오 신호 매핑된 상기 가상의 피사체 영상(121)과 함께, 상기 3차원 영상 정보(130a)의 각 오브젝트의 크기 및 위치를 상기 가상 카메라부(130)의 무빙 기능을 이용하여 조정할 수 있다.
이를 위해, 상기 렌더 엔진부(140)는 도 2에 도시된 바와 같이 액터판 생성부(210), 액터 영상 출력부(220), 배경 크기 조정부(230), 및 액터판 조정부(240)를 포함하여 구성될 수 있다. 참고로, 도 2는 도 1의 렌더 엔진부(140)의 상세 구성을 도시한 블록도이다.
상기 액터판 생성부(210)는 상기 가상 스튜디오 영상의 피사체 영상(121)이 위치할 지점에 액터판(미도시)을 생성할 수 있다.
상기 액터 영상 출력부(220)는 상기 액터판에 상기 피사체 영상(121)의 비디오 신호를 매핑(mapping)하여 출력할 수 있다.
이로써, 상기 가상 스튜디오 영상에 포함된 오브젝트 속에, 상기 비디오 신호를 매핑한 상기 피사체 영상(121)이 위치하여, 상기 가상 스튜디오 영상을 제1 가상 스튜디오 영상이라 했을 때 이와는 다른 형태의 제2 가상 스튜디오 영상이 출력될 수 있다.
상기 배경 크기 조정부(230)는 상기 가상 스튜디오의 배경 크기를 조정할 수 있다.
상기 액터판 조정부(240)는 상기 액터판의 크기 및 위치를 조정하고, 상기 조정된 액터판에 맞게 상기 피사체 영상(121)을 조절하여 매핑할 수 있다.
다시 도 1을 참조하면, 상기 센싱 인터페이스부(150)는 상기 피사체(111)의 동작, 음성, 얼굴 등을 인식하는 기능을 제공할 수 있다.
이를 위해, 상기 센싱 인터페이스부(150)는 상기 피사체(111)의 동작을 인식하는 동작 인식부(151), 상기 피사체(111)의 음성을 인식하는 음성 인식부(152), 및 상기 피사체(111)의 얼굴을 인식하는 얼굴 인식부(153)를 포함하여 구성될 수 있다.
상기 인터렉티브 제어부(160)는 상기 센싱 인터페이스부(150)에 의한 인식 결과에 기초하여 상기 피사체(111)와의 상호 작용을 통해 상기 가상 스튜디오의 배경(131, 132), 상기 오브젝트(133) 및 상기 피사체(111) 중 적어도 하나를 제어할 수 있다.
일 실시예로서, 상기 인터렉티브 제어부(160)는 상기 센싱 인터페이스부(150)의 동작 인식부(151)를 통해 출력된 상기 피사체(111)의 동작 인식 결과에 기초하여, 상기 피사체(111)와의 상호 작용을 통해 상기 가상 스튜디오의 배경(131, 132), 상기 오브젝트(133) 및 상기 피사체(111) 중 적어도 하나를 제어할 수 있다.
예를 들면, 상기 인터렉티브 제어부(160)는 상기 동작 인식부(151)를 통해 상기 피사체(111)의 손 동작이 인식되면, 그 인식 결과에 기초하여 상기 오브젝트(133)의 사이즈를 확대 또는 축소하거나 상기 오브젝트(133)를 상하좌우로 이동시킬 수 있다.
이때, 상기 인터렉티브 제어부(160)는 상기 가상 카메라부(130)의 PTZ(Pan-Tilt-Zoom) 및 돌리(Dolly) 기능을 이용하여 상기 오브젝트(133)의 사이즈를 확대 또는 축소하거나 상기 오브젝트(133)를 상하좌우로 이동시킬 수 있다.
또한, 상기 인터렉티브 제어부(160)는 상기 동작 인식부(151)에 의해 상기 피사체(111)의 좌, 우 손동작이 인식되면, 상기 가상 스튜디오의 배경(131, 132)을 다른 배경으로 교체할 수 있다.
또한, 상기 인터렉티브 제어부(160)는 상기 동작 인식부(151)에 의해 상기 피사체(111)의 손동작이 인식되면, 상기 얼굴 인식부(153)에 의해 인식된 상기 피사체(111)의 얼굴을 캐릭터로 교체할 수 있다.
다른 실시예로서, 상기 인터렉티브 제어부(160)는 상기 센싱 인터페이스부(150)의 음성 인식부(152)를 통해 출력된 상기 피사체(111)의 음성 인식 결과에 기초하여, 상기 피사체(111)와의 상호 작용을 통해 상기 가상 스튜디오의 배경(131, 132), 상기 오브젝트(133) 및 상기 피사체(111) 중 적어도 하나를 제어할 수 있다.
예컨대, 상기 인터렉티브 제어부(160)는 상기 음성 인식부(152)를 통해 상기 피사체(111)의 음성(확대/축소 또는 이동 관련 음성)이 인식되면, 그 인식 결과에 기초하여 상기 오브젝트(133)의 사이즈를 확대 또는 축소하거나 상기 오브젝트(133)를 상하좌우로 이동시킬 수 있다.
이때, 상기 인터렉티브 제어부(160)는 상기 가상 카메라부(130)의 PTZ(Pan-Tilt-Zoom) 및 돌리(Dolly) 기능을 이용하여 상기 오브젝트(133)의 사이즈를 확대 또는 축소하거나 상기 오브젝트(133)를 상하좌우로 이동시킬 수 있다.
또한, 상기 인터렉티브 제어부(160)는 상기 음성 인식부(152)에 의해 상기 피사체(111)의 음성(배경 교체 관련 음성)이 인식되면, 상기 가상 스튜디오의 배경(131, 132)을 다른 배경으로 교체할 수 있다.
또한, 상기 인터렉티브 제어부(160)는 상기 음성 인식부(152)에 의해 상기 피사체(111)의 음성(캐릭터 교체 관련 음성)이 인식되면, 상기 얼굴 인식부(153)에 의해 인식된 상기 피사체(111)의 얼굴을 캐릭터로 교체할 수 있다.
도 3 내지 도 13은 본 발명의 일 실시예에 따라 가상 스튜디오와 연동하여 증강현실 서비스를 제공하는 일례를 도시한 예시도이다. 특히, 도 3 내지 도 7은 가상 스튜디오 영상의 생성 및 활용에 관한 예시도이고, 도 8 내지 도 12는 가상 스튜디오 영상에 증강현실 서비스를 융합하여 제공하는 일례에 관한 예시도이며, 도 13은 도 3 내지 도 12의 과정을 컨트롤할 수 있는 리모트 컨트롤러의 일례를 도시한 예시도이다.
먼저, 도 3의 (a)에 도시된 바와 같이 키넥트(kinect)를 이용하여 그린 스크린(310)을 촬영한다. 그러면, 도 3의 (b)에 도시된 바와 같이 상기 그린 스크린(310)이 자동으로 인식된 상태가 된다.
이어서, 도 4의 (a)에 도시된 바와 같이 상기 그린 스크린(310)의 카메라 화면 중 좌, 우, 상, 하 불필요한 부분을 제거한다. 그런 다음, 도 4의 (b)에 도시된 바와 같이 불필요한 부분이 제거된 그린 스크린(310)으로 화면이 채워진다.
이어서, 도 5의 (a)에 도시된 바와 같이 배경 그래픽(510)을 선택하면, 도 5의 (b)에 도시된 바와 같이 자동 크로마키에 의해 상기 그린 스크린(310)에 상기 선택된 배경 그래픽(510)이 합성된다.
이때, 도 6의 (a) 내지 (c)에 도시된 바와 같이 비디오 녹화 버튼(610)을 클릭하여 해당 비디오를 녹화한 후 저장 버튼(620)을 클릭해서 녹화된 비디오를 저장할 수 있다. 이후, 도 6의 (d) 내지 (e)에 도시된 바와 같이 비디오 불러오기 창에서 해당 비디오(630)를 선택한 후 플레이 버튼(640)을 클릭하여 해당 비디오를 재생할 수 있다.
또한, 도 7의 (a) 내지 (c)에 도시된 바와 같이 사진 캡처 버튼(710)을 클릭하여 해당 사진을 캡처한 후 저장 버튼(720)을 클릭해서 캡처된 사진을 저장할 수 있다. 이후, 도 7의 (d) 내지 (e)에 도시된 바와 같이 사진 불러오기 버튼(730)을 클릭하여 사진 불러오기 창에서 해당 사진(740)을 확인할 수 있다.
한편, 도 8에 도시된 바와 같이 가상 카메라부(도 1의 "130" 참조)에는 PTZ 및 Dolly 기능이 탑재될 수 있으며, 이러한 기능을 통해 상기 가상 스튜디오 영상 내 배경에 포함된 오브젝트의 사이즈를 확대 또는 축소하거나 상기 오브젝트를 상하좌우로 이동시킬 수 있다.
또한, 도 9의 (a) 내지 (c)에 도시된 바와 같이 피사체(액터)의 좌, 우 손동작에 의해 상기 가상 스튜디오의 배경을 다른 배경으로 교체할 수도 있다. 또한, 도 10에 도시된 바와 같이 상기 액터의 얼굴 및 손동작을 인식하여 상기 액터의 얼굴을 캐릭터로 교체할 수도 있다.
또한, 도 11의 (a)에 도시된 가상 스튜디오 영상을 기준으로 도 11의 (b) 내지 (d)에 도시된 바와 같이 포그라운드를 조절하거나 액터의 앞, 뒤를 조절하거나 크기, 위치를 조정할 수 있다. 아울러, 도 12에 도시된 바와 같이 액터 사이즈를 조정하거나 위치를 이동시킬 수도 있다.
이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
도 14 및 도 15는 본 발명의 일 실시예에 따른 가상 스튜디오 연동 스마트 증강현실 서비스 방법을 설명하기 위해 도시한 흐름도이다.
여기서 설명하는 가상 스튜디오 연동 스마트 증강현실 서비스 방법은 도 1의 가상 스튜디오 연동 스마트 증강현실 서비스 시스템에 의해 수행될 수 있다. 또한, 상기 방법은 본 발명의 하나의 실시예에 불과하며, 그 이외에 필요에 따라 다양한 단계들이 부가될 수 있고, 하기의 단계들도 순서를 변경하여 실시될 수 있으므로, 본 발명이 하기에 설명하는 각 단계 및 그 순서에 한정되는 것은 아니다.
먼저 도 14를 참조하면, 단계(1410)에서 상기 가상 스튜디오 연동 스마트 증강현실 서비스 시스템은 피사체와 배경 영상을 촬영하여 영상 정보를 생성할 수 있다.
다음으로, 단계(1420)에서 상기 가상 스튜디오 연동 스마트 증강현실 서비스 시스템은 상기 영상 정보에서 상기 배경 영상을 제거한 피사체 영상만을 출력할 수 있다.
다음으로, 단계(1430)에서 상기 가상 스튜디오 연동 스마트 증강현실 서비스 시스템은 가상 스튜디오의 배경 및 상기 가상 스튜디오의 배경 내 오브젝트를 포함한 가상의 3차원 영상 정보를 생성할 수 있다.
다음으로, 단계(1440)에서 상기 가상 스튜디오 연동 스마트 증강현실 서비스 시스템은 상기 피사체 영상과 상기 3차원 영상 정보를 3차원 렌더링을 통해 합성하여 가상 스튜디오 영상을 생성할 수 있다. 이에 대해 도 15를 참조하여 구체적으로 설명하면 다음과 같다.
즉, 단계(1510)에서 상기 가상 스튜디오 연동 스마트 증강현실 서비스 시스템은 상기 가상 스튜디오 영상의 피사체 영상이 위치할 지점에 액터판을 생성할 수 있다.
이후, 단계(1520)에서 상기 가상 스튜디오 연동 스마트 증강현실 서비스 시스템은 상기 액터판에 상기 피사체 영상의 비디오 신호를 매핑(mapping)하여 출력할 수 있다.
이후, 단계(1530)에서 상기 가상 스튜디오 연동 스마트 증강현실 서비스 시스템은 상기 가상 스튜디오의 배경 크기를 조정할 수 있다.
이후, 단계(1540)에서 상기 가상 스튜디오 연동 스마트 증강현실 서비스 시스템은 상기 액터판의 크기 및 위치를 조정할 수 있다.
이후, 단계(1550)에서 상기 가상 스튜디오 연동 스마트 증강현실 서비스 시스템은 상기 조정된 액터판에 맞게 상기 피사체 영상을 조절하여 매핑할 수 있다.
다시 도 14를 참조하면, 단계(1450)에서 상기 가상 스튜디오 연동 스마트 증강현실 서비스 시스템은 피사체의 동작을 인식할 수 있다.
다음으로, 단계(1460)에서 상기 가상 스튜디오 연동 스마트 증강현실 서비스 시스템은 상기 동작의 인식 결과에 기초하여, 상기 피사체와의 상호 작용을 통해 상기 가상 스튜디오의 배경, 상기 오브젝트 및 상기 피사체 중 적어도 하나를 제어할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
110: 영상 카메라부
120: 크로마키 엔진부
130: 가상 카메라부
140: 렌더 엔진부
150: 센싱 인터페이스부
151: 동작 인식부
152: 음성 인식부
153: 얼굴 인식부
160: 인터렉티브 제어부
210: 액터판 생성부
220: 액터 영상 출력부
230: 배경 크기 조정부
240: 액터판 조정부
120: 크로마키 엔진부
130: 가상 카메라부
140: 렌더 엔진부
150: 센싱 인터페이스부
151: 동작 인식부
152: 음성 인식부
153: 얼굴 인식부
160: 인터렉티브 제어부
210: 액터판 생성부
220: 액터 영상 출력부
230: 배경 크기 조정부
240: 액터판 조정부
Claims (16)
- 피사체와 배경 영상을 촬영하여 영상 정보를 생성하는 영상 카메라부;
상기 영상 정보에서 상기 배경 영상을 제거한 피사체 영상만을 출력하는 크로마키 엔진부;
가상 스튜디오의 배경 및 상기 가상 스튜디오의 배경 내 오브젝트를 포함한 가상의 3차원 영상 정보를 생성하는 가상 카메라부;
상기 피사체 영상과 상기 3차원 영상 정보를 3차원 렌더링을 통해 합성하여 가상 스튜디오 영상을 생성하는 렌더 엔진부;
피사체의 동작을 인식하는 동작 인식부, 상기 피사체의 얼굴을 인식하는 얼굴 인식부, 및 상기 피사체의 음성을 인식하는 음성 인식부를 포함하는 센싱 인터페이스부; 및
상기 센싱 인터페이스부에 의한 인식 결과에 기초하여, 상기 피사체와의 상호 작용을 통해 상기 가상 스튜디오의 배경, 상기 오브젝트 및 상기 피사체 중 적어도 하나를 제어하되, 상기 동작 인식부에 의해 상기 피사체의 손동작이 인식되면, 상기 얼굴 인식부에 의해 인식된 상기 피사체의 얼굴을 캐릭터로 교체하는 인터렉티브 제어부
를 포함하고,
상기 인터렉티브 제어부는
상기 음성 인식부에 의해 상기 피사체의 캐릭터 교체 관련 음성이 인식되면, 상기 얼굴 인식부에 의해 인식된 상기 피사체의 얼굴을 캐릭터로 교체하고, 상기 피사체의 확대/축소 또는 이동 관련 음성이 인식되면, 상기 오브젝트의 사이즈를 확대 또는 축소하거나 상기 오브젝트를 상하좌우로 이동시키며, 상기 피사체의 배경 교체 관련 음성이 인식되면, 상기 가상 스튜디오의 배경을 다른 배경으로 교체하는 것을 특징으로 하는 가상 스튜디오 연동 스마트 증강현실 서비스 시스템.
- 제1항에 있어서,
상기 인터렉티브 제어부는
상기 동작의 인식 결과에 기초하여, 상기 오브젝트의 사이즈를 확대 또는 축소하거나 상기 오브젝트를 상하좌우로 이동시키는 것을 특징으로 하는 가상 스튜디오 연동 스마트 증강현실 서비스 시스템.
- 제2항에 있어서,
상기 인터렉티브 제어부는
상기 가상 카메라부의 PTZ(Pan-Tilt-Zoom) 및 돌리(Dolly) 기능을 이용하여 상기 오브젝트의 사이즈를 확대 또는 축소하거나 상기 오브젝트를 상하좌우로 이동시키는 것을 특징으로 하는 가상 스튜디오 연동 스마트 증강현실 서비스 시스템.
- 제1항에 있어서,
상기 인터렉티브 제어부는
상기 동작 인식부에 의해 상기 피사체의 좌, 우 손동작이 인식되면, 상기 가상 스튜디오의 배경을 다른 배경으로 교체하는 것을 특징으로 하는 가상 스튜디오 연동 스마트 증강현실 서비스 시스템.
- 삭제
- 삭제
- 제1항에 있어서,
상기 렌더 엔진부는
상기 가상 스튜디오 영상의 피사체 영상이 위치할 지점에 액터판을 생성하는 액터판 생성부; 및
상기 액터판에 상기 피사체 영상의 비디오 신호를 매핑(mapping)하여 출력하는 액터 영상 출력부
를 포함하는 것을 특징으로 하는 가상 스튜디오 연동 스마트 증강현실 서비스 시스템.
- 제7항에 있어서,
상기 렌더 엔진부는
상기 가상 스튜디오의 배경 크기를 조정하는 배경 크기 조정부; 및
상기 액터판의 크기 및 위치를 조정하고, 상기 조정된 액터판에 맞게 상기 피사체 영상을 조절하여 매핑하는 액터판 조정부
를 더 포함하는 것을 특징으로 하는 가상 스튜디오 연동 스마트 증강현실 서비스 시스템.
- 제1항 내지 제4항, 제7항, 제8항 중 어느 한 항에 따른 가상 스튜디오 연동 스마트 증강현실 서비스 시스템을 이용한 가상 스튜디오 연동 스마트 증강현실 서비스 방법에 있어서,
상기 영상 카메라부가 피사체와 배경 영상을 촬영하여 영상 정보를 생성하는 단계;
상기 크로마키 엔진부가 상기 영상 정보에서 상기 배경 영상을 제거한 피사체 영상만을 출력하는 단계;
상기 가상 카메라부가 가상 스튜디오의 배경 및 상기 가상 스튜디오의 배경 내 오브젝트를 포함한 가상의 3차원 영상 정보를 생성하는 단계;
상기 렌더 엔진부가 상기 피사체 영상과 상기 3차원 영상 정보를 3차원 렌더링을 통해 합성하여 가상 스튜디오 영상을 생성하는 단계;
상기 센싱 인터페이스가 상기 동작 인식부를 통해 피사체의 동작을 인식하고 상기 얼굴 인식부를 통해 상기 피사체의 얼굴을 인식하며 상기 음성 인식부를 통해 상기 피사체의 음성을 인식하는 단계; 및
상기 인터렉티브 제어부가 상기 센싱 인터페이스에 의한 인식 결과에 기초하여, 상기 피사체와의 상호 작용을 통해 상기 가상 스튜디오의 배경, 상기 오브젝트 및 상기 피사체 중 적어도 하나를 제어하는 단계
를 포함하고,
상기 제어하는 단계는
상기 동작 인식부에 의해 상기 피사체의 손동작이 인식되거나 상기 음성 인식부에 의해 상기 피사체의 캐릭터 교체 관련 음성이 인식되면, 상기 얼굴 인식부에 의해 인식된 상기 피사체의 얼굴을 캐릭터로 교체하는 단계;
상기 피사체의 확대/축소 또는 이동 관련 음성이 인식되면, 상기 오브젝트의 사이즈를 확대 또는 축소하거나 상기 오브젝트를 상하좌우로 이동시키는 단계; 및
상기 피사체의 배경 교체 관련 음성이 인식되면, 상기 가상 스튜디오의 배경을 다른 배경으로 교체하는 단계
를 포함하는 것을 특징으로 하는 가상 스튜디오 연동 스마트 증강현실 서비스 방법.
- 제9항에 있어서,
상기 제어하는 단계는
상기 동작의 인식 결과에 기초하여, 상기 오브젝트의 사이즈를 확대 또는 축소하거나 상기 오브젝트를 상하좌우로 이동시키는 단계
를 포함하는 것을 특징으로 하는 가상 스튜디오 연동 스마트 증강현실 서비스 방법.
- 제10항에 있어서,
상기 제어하는 단계는
상기 가상 카메라부의 PTZ(Pan-Tilt-Zoom) 및 돌리(Dolly) 기능을 이용하여 상기 오브젝트의 사이즈를 확대 또는 축소하거나 상기 오브젝트를 상하좌우로 이동시키는 단계
를 포함하는 것을 특징으로 하는 가상 스튜디오 연동 스마트 증강현실 서비스 방법.
- 제9항에 있어서,
상기 제어하는 단계는
상기 동작 인식부에 의해 상기 피사체의 좌, 우 손동작이 인식되면, 상기 가상 스튜디오의 배경을 다른 배경으로 교체하는 단계
를 포함하는 것을 특징으로 하는 가상 스튜디오 연동 스마트 증강현실 서비스 방법.
- 삭제
- 삭제
- 제9항에 있어서,
상기 가상 스튜디오 영상을 생성하는 단계는
상기 가상 스튜디오 영상의 피사체 영상이 위치할 지점에 액터판을 생성하는 단계; 및
상기 액터판에 상기 피사체 영상의 비디오 신호를 매핑(mapping)하여 출력하는 단계
를 포함하는 것을 특징으로 하는 가상 스튜디오 연동 스마트 증강현실 서비스 방법.
- 제15항에 있어서,
상기 가상 스튜디오 영상을 생성하는 단계는
상기 가상 스튜디오의 배경 크기를 조정하는 단계;
상기 액터판의 크기 및 위치를 조정하는 단계; 및
상기 조정된 액터판에 맞게 상기 피사체 영상을 조절하여 매핑하는 단계
를 더 포함하는 것을 특징으로 하는 가상 스튜디오 연동 스마트 증강현실 서비스 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170067115A KR101961015B1 (ko) | 2017-05-30 | 2017-05-30 | 가상 스튜디오 연동 스마트 증강현실 서비스 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170067115A KR101961015B1 (ko) | 2017-05-30 | 2017-05-30 | 가상 스튜디오 연동 스마트 증강현실 서비스 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180130911A KR20180130911A (ko) | 2018-12-10 |
| KR101961015B1 true KR101961015B1 (ko) | 2019-03-21 |
Family
ID=64670583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170067115A KR101961015B1 (ko) | 2017-05-30 | 2017-05-30 | 가상 스튜디오 연동 스마트 증강현실 서비스 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101961015B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023133153A3 (en) * | 2022-01-04 | 2023-08-17 | Liteboxer Technologies, Inc. | Embedding a trainer in virtual reality (vr) environment using chroma-keying |
| KR20240114981A (ko) | 2023-01-18 | 2024-07-25 | 서강대학교산학협력단 | 비폐색 영역을 채우기 위한 광선 추적을 기반으로 한 3d 배경 모델 구축 방법 및 상기 방법을 이용한 깊이 영상 기반 뷰 합성 방법 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102605355B1 (ko) | 2019-08-06 | 2023-11-22 | 엘지전자 주식회사 | 이미지 기반 정보 제공 방법 및 장치 |
| KR20190104282A (ko) | 2019-08-20 | 2019-09-09 | 엘지전자 주식회사 | 영상 기반으로 정보를 제공하는 방법 및 이를 위한 이동 단말 |
| KR102418020B1 (ko) * | 2021-01-28 | 2022-07-06 | 주식회사 코탑미디어 | Xr 기반의 디지털 스튜디오를 위한 계층적 콘텐츠 블록체인 시스템 |
| KR102387355B1 (ko) * | 2021-05-21 | 2022-04-18 | 주식회사 버드핸드 | 증강현실 기반 공연 컨텐츠 제공 방법 및 장치 |
| KR102500246B1 (ko) * | 2021-11-03 | 2023-02-14 | 건양대학교 산학협력단 | 치매예방 및 경도인지장애 재활훈련을 위한 모션센서 및 카메라 기반의 증강현실 시스템 |
| KR102462863B1 (ko) * | 2022-02-04 | 2022-11-04 | 주식회사 제이디케이에이티 | 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼 |
| CN114760458B (zh) * | 2022-04-28 | 2023-02-24 | 中南大学 | 高真实感增强现实演播室虚拟与现实相机轨迹同步的方法 |
| US11948257B2 (en) | 2022-05-09 | 2024-04-02 | Rovi Guides, Inc. | Systems and methods for augmented reality video generation |
| KR102538058B1 (ko) * | 2022-11-16 | 2023-05-26 | 육은영 | 웹 사이트에 대한 아나운싱 광고 배너 제공 시스템 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030007700A1 (en) * | 2001-07-03 | 2003-01-09 | Koninklijke Philips Electronics N.V. | Method and apparatus for interleaving a user image in an original image sequence |
| KR101367260B1 (ko) * | 2012-06-19 | 2014-02-25 | 김영대 | 강의자가 강의 중에 강의 화면을 구성할 수 있는 가상 강의실 강의 장치 |
| KR101952569B1 (ko) * | 2014-02-19 | 2019-02-27 | 퀄컴 인코포레이티드 | 디바이스를 위한 이미지 편집 기법들 |
| KR101723210B1 (ko) * | 2015-12-22 | 2017-04-05 | 우덕명 | 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법 |
-
2017
- 2017-05-30 KR KR1020170067115A patent/KR101961015B1/ko active IP Right Grant
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023133153A3 (en) * | 2022-01-04 | 2023-08-17 | Liteboxer Technologies, Inc. | Embedding a trainer in virtual reality (vr) environment using chroma-keying |
| KR20240114981A (ko) | 2023-01-18 | 2024-07-25 | 서강대학교산학협력단 | 비폐색 영역을 채우기 위한 광선 추적을 기반으로 한 3d 배경 모델 구축 방법 및 상기 방법을 이용한 깊이 영상 기반 뷰 합성 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180130911A (ko) | 2018-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101961015B1 (ko) | 가상 스튜디오 연동 스마트 증강현실 서비스 시스템 및 방법 | |
| CN111698390B (zh) | 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统 | |
| US11019259B2 (en) | Real-time generation method for 360-degree VR panoramic graphic image and video | |
| US10911694B2 (en) | System and method for creating metadata model to improve multi-camera production | |
| US20190132569A1 (en) | Image processing for 360-degree camera | |
| CN105144229B (zh) | 图像处理装置、图像处理方法和程序 | |
| KR101723210B1 (ko) | 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법 | |
| US9959905B1 (en) | Methods and systems for 360-degree video post-production | |
| US20170061686A1 (en) | Stage view presentation method and system | |
| JP2012094111A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US11044398B2 (en) | Panoramic light field capture, processing, and display | |
| JP2007295559A (ja) | ビデオ処理および表示 | |
| US20200112712A1 (en) | Placement And Dynamic Rendering Of Caption Information In Virtual Reality Video | |
| CN114296949A (zh) | 一种虚拟现实设备及高清晰度截屏方法 | |
| CN104869372A (zh) | 一种投影方法及电子设备 | |
| WO2009078909A1 (en) | Virtual object rendering system and method | |
| KR102558294B1 (ko) | 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법 | |
| CN107580228B (zh) | 一种监控视频处理方法、装置及设备 | |
| US9338429B2 (en) | Video processing apparatus capable of reproducing video content including a plurality of videos and control method therefor | |
| JP2017199958A (ja) | 撮像装置、その制御方法、および制御プログラム | |
| WO2019004073A1 (ja) | 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム | |
| US20220329912A1 (en) | Information processing apparatus, information processing method, and program | |
| JP2020102687A (ja) | 情報処理装置、画像処理装置、画像処理方法、及びプログラム | |
| KR101453531B1 (ko) | 3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법 | |
| CN112887653B (zh) | 一种信息处理方法和信息处理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right |