KR20200097543A - Ar 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법 - Google Patents

Ar 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법 Download PDF

Info

Publication number
KR20200097543A
KR20200097543A KR1020190015052A KR20190015052A KR20200097543A KR 20200097543 A KR20200097543 A KR 20200097543A KR 1020190015052 A KR1020190015052 A KR 1020190015052A KR 20190015052 A KR20190015052 A KR 20190015052A KR 20200097543 A KR20200097543 A KR 20200097543A
Authority
KR
South Korea
Prior art keywords
performance
image
video
led
real
Prior art date
Application number
KR1020190015052A
Other languages
English (en)
Other versions
KR102268337B1 (ko
Inventor
김영주
김근홍
Original Assignee
주식회사 로봇스퀘어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 로봇스퀘어 filed Critical 주식회사 로봇스퀘어
Priority to KR1020190015052A priority Critical patent/KR102268337B1/ko
Publication of KR20200097543A publication Critical patent/KR20200097543A/ko
Application granted granted Critical
Publication of KR102268337B1 publication Critical patent/KR102268337B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source

Abstract

본 발명은 에 관한 것으로, 본 발명에 따르면, 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템은 공연을 공연 실영상 및 증강현실(AR) 퍼포먼스를 포함하는 퍼포먼스 영상으로 관람할 수 있도록 하는 시스템에 있어서, 공연을 촬영할 수 있는 관람객 단말; 상기 관람객 단말로부터 공연에 대한 공연 실영상이 수신되면, 퍼포먼스 영상을 관람객 단말로 전송하는 AR 기반 관람 서버 및 공연장에 설치되어 공연 시 상시 신호 및 특정 신호를 출력하는 LED 프로토콜 보드를 포함하는 AR 기반 퍼포먼스 영상 관람 시스템을 제공할 수 있다.
또한, AR 기반 퍼포먼스 영상 관람 시스템을 이용하여 공연 실영상 및 증강현실(AR) 퍼포먼스를 포함하는 퍼포먼스 영상을 관람객에게 제공하는 방법에 있어서, (a) 관람객 단말로부터 공연을 촬영한 공연 실영상을 수신받는 단계; (b) 수신된 공연 실영상에서 상시 신호를 인지하여 공연 진행 및 공연장을 인지하는 단계; (c) 상기 공연 실영상에서 하나 이상의 LED 객체를 인지하는 단계; (d) 상기 공연 실영상에서 특정 신호를 인지하고, 상기 특정 신호에 따라 AR 퍼포먼스의 이펙트를 어느 LED 객체에 나타낼지 설정하여 이펙트 설정 정보를 생성하는 단계 및 (e) 상기 이펙트 설정 정보에 따라 AR 퍼포먼스를 상기 관람객 단말에 전송하고 상기 공연 실영상에 상기 AR 퍼포먼스를 구현하여 상기 퍼포먼스 영상을 제공하는 단계를 포함하는 AR 기반 퍼포먼스 영상 관람 시스템을 이용한 퍼포먼스 영상 제공 방법을 제공할 수 있다.

Description

AR 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법{Augmented Reality-based performance video viewing system and performance image providing method using it}
본 발명은 AR 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법에 관한 것으로, 오프라인의 LED 로봇 공연에 증강현실(AR) 퍼포먼스를 융합하여 몰입감 증대 및 다이나믹함을 연출하고, LED 프로토콜 보드를 이용함으로써 오프라인의 LED 로봇 공연과 AR 퍼포먼스 간의 동기화가 효과적으로 이루어지는 AR 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법에 관한 것이다.
다양한 로봇 퍼포먼스가 학교를 중심으로 운영되고 있지만 대부분 국립전시관을 통해 제공되고 있고, 하루 4회 정도의 적은 공연이 진행되고 있다.
이때 콘텐츠 또한 로봇 댄스 정도로, 과거에 진행했던 단순한 공연으로 콘텐츠 업데이트 율이 낮은 상황이다.
한편, 증강현실, 가상현실이란 실제로 존재하지 않는 현실을 구현하고 인간이 이를 인지 감지할 수 있도록 하는 기술로, 2010년 이후 빠르게 성장 중에 있으며, 선도 기업들은 기술경쟁력 확보, 생태계구축 수요 촉진을 중심으로 확장을 시도하고 있다.
그러나, 현재 증강현실 시장은 게임 등 일부 시장을 제외하고는 주목할만한 결과가 없는 실정이다.
또한, 퍼포먼스, 공연 등의 분야에서 증강 현실을 활용하여 무대 효과를 주는 AR 공연이 개발되었으나, 종래의 AR 공연에서 사용되는 AR 기술은 이미지 센싱을 통한 입력값을 확인 후 가상 퍼포먼스 구현하기 때문에 가상 퍼포먼스가 공연보다 늦어지는 딜레이가 발생하고, 이미지 센싱의 감도 확대로 필요 이상의 데이터를 수집하여 하기 때문에 AR 공연의 퀄리티가 저하되는 문제가 있었다.
따라서, 공연과 AR 퍼포먼스 간의 동기화가 효과적으로 이루어지며, 증강현실 적용으로 공연의 몰입감 증대 및 다이나믹함을 연출할 수 있는 기술 개발이 필요한 실정이다.
상기와 같은 문제를 해결하고자, 본 발명은 오프라인의 LED 로봇 공연에 증강현실(AR) 퍼포먼스를 융합하여 몰입감 증대 및 다이나믹함을 연출하고, LED 프로토콜 보드를 이용함으로써 오프라인의 LED 로봇 공연과 AR 퍼포먼스 간의 동기화가 효과적으로 이루어지는 AR 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법을 제공하는 데 목적이 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템은 공연을 공연 실영상 및 증강현실(AR) 퍼포먼스를 포함하는 퍼포먼스 영상으로 관람할 수 있도록 하는 시스템에 있어서, 공연을 촬영할 수 있는 관람객 단말; 상기 관람객 단말로부터 공연에 대한 공연 실영상이 수신되면, 퍼포먼스 영상을 관람객 단말로 전송하는 AR 기반 관람 서버 및 공연장에 설치되어 공연 시 상시 신호 및 특정 신호를 출력하는 LED 프로토콜 보드를 포함하는 AR 기반 퍼포먼스 영상 관람 시스템을 제공할 수 있다.
여기서, 상기 AR 기반 관람 서버는 다수의 AR 퍼포먼스를 저장하는 데이터베이스; 상기 관람객 단말로부터 상기 공연 실영상을 수신받고, 상기 공연 실영상에서 상시 신호를 인지하여 공연 진행 및 공연장을 인지하는 공연 인지부; 상기 공연장이 인지된 공연 실영상에서 하나 이상의 LED 객체를 인지하는 객체 인지부; 상기 공연 실영상에서 특정 신호가 인지되면 특정 신호에 따라 인지된 하나 이상의 LED 객체 중 AR 퍼포먼스의 이펙트를 어느 LED 객체에 나타낼지 설정하여 이펙트 설정 정보를 생성하는 설정부 및 상기 이펙트 설정 정보에 따라 AR 퍼포먼스를 상기 관람객 단말에 전송하고 상기 공연 실영상에 상기 AR 퍼포먼스를 구현하여 상기 퍼포먼스 영상을 제공하는 영상 출력부를 포함할 수 있다.
또한, 상기 AR 기반 관람 서버는 관리자 단말로부터 공연에 따라 AR 퍼포먼스 설정 정보가 수신되면, LED 프로토콜 보드에 AR 퍼포먼스 설정 정보를 전송하는 제어부를 더 포함할 수 있다.
또한, 상기 AR 기반 관람 서버는 상기 관람객 단말에 미션 정보를 제공하고, 상기 관람객 단말로부터 미션 정보에 해당하는 기능이 수행될 경우 미션 달성 정보를 상기 관람객 단말로 전송하는 미션부를 더 포함할 수 있다.
또한, 상기 객체 인지부는 상기 공연 실영상을 그레이 영상으로 변환하고, 그레이 영상으로 변환된 공연 실영상을 임계값(threshold)을 이용하여 흑백처리하고, 흑백처리된 공연 실영상에서 캐니 엣지 디텍터(Canny Edge Detector)를 이용해 외곽선을 검출하여 LED 객체를 인지하는 것을 특징으로 한다.
또한, 상기 객체 인지부는 외곽선을 검출하여 LED 객체를 인지할 경우, 흑백처리된 공연 실영상에서 가우시안 마스크를 이용한 블러링(bluring)을 통해 노이즈를 제거하고, 소벨 마스크(Sobel mask)를 이용하여 엣지를 검출하고, 검출된 엣지의 그레디언트 크기 및 방향을 계산하고, 낮은 픽셀값을 제거하여 엣지를 선명화하며, 중요 엣지를 선별하고 연결하여 외곽선을 검출하는 것을 특징으로 한다.
또한, 상기 LED 프로토콜 보드는 상시 신호를 출력하는 상시 신호부 및 공연에 따라 설정된 AR 퍼포먼스에 의해 특정 신호를 출력하는 특정 신호부를 포함할 수 있다.
또한, AR 기반 퍼포먼스 영상 관람 시스템은 AR 퍼포먼스를 설정하여 AR 퍼포먼스 설정 정보를 상기 AR 기반 관람 서버에 전송하고, AR 퍼포먼스를 입력받아 데이터베이스에 저장시킬 수 있으며, 공연 시작 정보를 입력받아 AR 기반 관람 서버에 전송하는 상기 관리자 단말을 더 포함할 수 있다.
또한, 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템을 이용한 퍼포먼스 영상 제공 방법은, AR 기반 퍼포먼스 영상 관람 시스템을 이용하여 공연 실영상 및 증강현실(AR) 퍼포먼스를 포함하는 퍼포먼스 영상을 관람객에게 제공하는 방법에 있어서, (a) 관람객 단말로부터 공연을 촬영한 공연 실영상을 수신받는 단계; (b) 수신된 공연 실영상에서 상시 신호를 인지하여 공연 진행 및 공연장을 인지하는 단계; (c) 상기 공연 실영상에서 하나 이상의 LED 객체를 인지하는 단계; (d) 상기 공연 실영상에서 특정 신호를 인지하고, 상기 특정 신호에 따라 AR 퍼포먼스의 이펙트를 어느 LED 객체에 나타낼지 설정하여 이펙트 설정 정보를 생성하는 단계 및 (e) 상기 이펙트 설정 정보에 따라 AR 퍼포먼스를 상기 관람객 단말에 전송하고 상기 공연 실영상에 상기 AR 퍼포먼스를 구현하여 상기 퍼포먼스 영상을 제공하는 단계를 포함하는 AR 기반 퍼포먼스 영상 관람 시스템을 이용한 퍼포먼스 영상 제공 방법을 제공할 수 있다.
또한, 상기 (c) 단계는, 공연 실영상을 그레이 영상으로 변환하는 단계; 그레이 영상으로 변환된 공연 실영상을 임계값(threshold)을 이용하여 흑백처리하는 단계 및 흑백처리된 공연 실영상에서 캐니 엣지 디텍터(Canny Edge Detector)를 이용해 외곽선을 검출하는 단계를 포함할 수 있다.
또한, 상기 캐니 엣지 디텍터(Canny Edge Detector)를 이용해 외곽선을 검출하는 단계는, 흑백처리된 공연 실영상에서 가우시안 마스크를 이용한 블러링(bluring)을 통해 노이즈를 제거하는 단계; 소벨 마스크(Sobel mask)를 이용하여 엣지를 검출하는 단계; 검출된 엣지의 그레디언트 크기 및 방향을 계산하는 단계; 낮은 픽셀값을 제거하여 엣지를 선명화하는 단계 및 중요 엣지를 선별하고 연결하여 외곽선을 검출하는 단계를 포함할 수 있다.
상기와 같이 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법은 과학관에서 제공하는 오프라인의 LED 로봇 공연에 증강현실(AR) 퍼포먼스를 융합하여 몰입감 증대 및 다이나믹함을 연출할 수 있다.
또한, LED 프로토콜 보드를 이용함으로써 오프라인의 LED 로봇 공연과 AR 퍼포먼스 간의 동기화가 효과적으로 이루어져 고퀄리티의 퍼포먼스 영상을 제공할 수 있다.
이에 관람객의 만족도 및 수요를 증대시킬 수 있다.
또한, 주 대상이 학생인 고객에게 미래에 대한 새로운 청사진을 그려 줄 것으로 기대된다.
또한, 다양한 전시, 공연 등에 적용될 수 있을 것이라고 기대된다.
도 1은 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템 사용 예시도.
도 2는 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템의 구성을 도시한 블록도.
도 3은 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템의 AR 기반 관람 서버의 구성을 도시한 블록도.
도 4는 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템의 LED 프로토콜 보드를 도시한 정면도.
도 5는 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템을 이용한 퍼포먼스 영상 제공 방법을 순차적으로 나타낸 흐름도.
도 6은 도 5의 S300 단계를 순차적으로 나타낸 흐름도.
도 7은 도 6의 S330 단계를 순차적으로 나타낸 흐름도.
이하, 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 또한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하의 설명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.
본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명의 AR 기반 퍼포먼스 영상 관람 시스템은 어플리케이션(또는 모바일 앱)을 이용하여 무선통신망을 통해 통신하는 스마트 폰을 포함하는 이동통신 단말기 및 유선통신망을 통해 통신하는 컴퓨터 환경에서 제공된다. 이하에서는 설명의 편의상 이동통신 단말기를 위주로 설명하기로 한다.
본 발명은 AR 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법에 관한 것으로, 과학관 등에서 제공되는 오프라인의 LED 로봇 공연에 증강현실(AR) 퍼포먼스를 융합하여 몰입감 증대 및 다이나믹함을 연출하고자 한다.
또한, LED 프로토콜 보드를 이용함으로써 오프라인의 LED 로봇 공연과 AR 퍼포먼스 간의 동기화가 효과적으로 이루어지도록 하여 고품질의 퍼포먼스 영상을 제공할 수 있도록 한다.
이하, 본 발명의 실시 예를 첨부한 도 1 내지 도 7을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템 사용 예시도이고, 도 2는 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템의 구성을 도시한 블록도이고, 도 3은 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템의 AR 기반 관람 서버의 구성을 도시한 블록도이며, 도 4는 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템의 LED 프로토콜 보드를 도시한 정면도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템은 공연장(T)에서 진행되는 공연을 관람객 단말(10)로 촬영하면 증강현실(AR) 퍼포먼스를 구현함으로써, 관람객이 관람객 단말(10)을 통해 공연 실영상 및 증강현실(AR) 퍼포먼스를 포함하는 퍼포먼스 영상으로 관람할 수 있도록 하는 시스템이다.
도 2를 참조하면, 이러한 본 발명의 AR 기반 퍼포먼스 영상 관람 시스템은 관람객 단말(10), AR 기반 관람 서버(20), LED 프로토콜 보드(30) 및 관리자 단말(40)을 포함할 수 있다.
관람객 단말(10)은 과학관, 체험관, 박물관, 공연장 등을 방문하여 공연을 관람하는 관람객을 포함한 불특정 다수가 소지하고 있는 모바일 단말기를 의미한다. 이때, 관람객 단말(10)은 모바일 단말 외 태블릿, PDA(Personal Digital Assistant) 등을 포함할 수 있다.
또한, 관람객 단말(10)은 AR 기반 관람 서버(20)로부터 제공되는 어플리케이션(또는 모바일 앱)을 포함할 수 있다. 즉, AR 기반 관람 서버(20)로부터 제공되는 어플리케이션(또는 모바일 앱)이 설치되어 있어 AR 기반 퍼포먼스 영상 관람 시스템을 이용할 수 있다.
관람객 단말(10)은 퍼포먼스 영상을 제공받기 위하여, AR 기반 관람 서버(20)로부터 제공되는 어플리케이션을 통해 공연을 촬영하여 공연 실영상을 얻을 수 있고, 얻어진 공연 실영상을 AR 기반 관람 서버(20)로 전송할 수 있다.
또한, 관람객 단말(10)은 AR 기반 관람 서버(20)로부터 퍼포먼스 영상을 수신받아 출력하여 관람객에게 제공할 수 있다.
또한, 관람객 단말(10)은 관람객으로부터 녹화 요청이 입력되면 퍼포먼스 영상을 녹화하고 녹화 종료가 입력되면 퍼포먼스 영상의 녹화를 종료할 수 있다. 이때, 관리자 단말(40)은 녹화가 종료되면 녹화된 퍼포먼스 영상을 AR 기반 관람 서버(20)로 전송할 수 있다.
AR 기반 관람 서버(20)는 관람객 단말(10)로부터 공연에 대한 공연 실영상이 수신되면, 퍼포먼스 영상을 생성하여 관람객 단말(10)로 전송할 수 있다.
이를 위해, AR 기반 관람 서버(20)는 도 3과 같이 데이터베이스(21), 공연 인지부(22), 객체 인지부(23), 설정부(24), 영상 출력부(25) 및 제어부(26)를 포함할 수 있다.
데이터베이스(21)는 관리자 단말(40)로부터 수신받은 다수의 AR 퍼포먼스를 저장할 수 있다.
여기서, AR 퍼포먼스는 오프라인에서 공연되는 스토리에 따라 설계되어 다수 이펙트로 짜여질 수 있다.
또한, 데이터베이스(21)는 관람객 단말(10)로부터 녹화된 퍼포먼스 영상을 수신받아 저장할 수 있다.
또한, 데이터베이스(21)는 특정 신호에 대한 정보를 저장할 수 있다. 즉, 인지되는 특정 신호에 따라 그 신호가 어떤 의미인지에 대한 정보를 저장할 수 있다.
이에 설정부(24)가 특정 신호를 인지하여 그에 따라 이펙트 설정 정보를 생성할 수 있도록 한다.
공연 인지부(22)는 관람객 단말(10)로부터 공연 실영상을 수신받고, 공연 실영상에서 상시 신호를 인지하여 공연 진행 및 공연장을 인지할 수 있다.
즉, 상시 신호는 공연이 시작됨과 동시에 LED 프로토콜 보드(30)에서 출력되어 관람객 단말(10)에 촬영될 수 있는데, 이에 공연 실영상에 상시 신호가 나타날 경우 공연 인지부(22)는 이를 인식하여 공연이 진행된다는 것을 인지할 수 있다.
이로 인해, AR 퍼포먼스의 구현 시점을 파악할 수 있어 오프라인의 공연과 AR 퍼포먼스 간의 싱크(동기화)를 효과적으로 맞출 수 있다.
또한, 공연 인지부(22)는 공연장에 설치된 LED 프로토콜 보드(30)에서 출력하는 상시 신호를 기준으로 공연장을 인지하여 오프라인의 공연과 AR 퍼포먼스 간의 위치를 전체적으로 맞출 수 있다. 즉, 공연 실영상에서 AR 퍼포먼스가 전체적으로 어느 위치에 구현되어야 하는지 파악할 수 있는 것이다.
또한, LED 객체가 위치하는 범위인 즉, AR 퍼포먼스가 구현되어야 하는 위치를 전체적으로 먼저 파악해 둠에 따라 객체 인지부(23)에서의 LED 객체 인식이 효과적으로 이루어질 수 있도록 할 수 있다.
객체 인지부(23)는 공연장이 인지된 공연 실영상에서 하나 이상의 LED 객체(R)를 인지할 수 있다.
여기서, LED 객체(R)는 공연장(T)에서 댄스 등의 다양한 공연을 하는 LED 로봇이 바람직하나, 이에 한정되지 않고, LED 로봇 외에도 LED를 활용하여 다양하게 적용될 수 있다.
구체적으로, 객체 인지부(23)는 공연 실영상을 그레이 영상으로 변환하고, 그레이 영상으로 변환된 공연 실영상을 임계값(threshold)을 이용하여 흑백처리하고, 흑백처리된 공연 실영상에서 캐니 엣지 디텍터(Canny Edge Detector)를 이용해 외곽선을 검출하여 LED 객체(R)를 인지할 수 있다.
더 구체적으로 설명하자면, 객체 인지부(23)는 공연 실영상을 그레이 영상으로 변환할 수 있다.
그 다음, 객체 인지부(23)는 그레이 영상으로 변환된 공연 실영상을 임계값(threshold)을 이용하여 흑백처리할 수 있다. 이는 흑백처리하여 공연 실영상에서 LED 객체(R)와 공연장(T) 등 LED 객체(R) 외의 배경을 분리해 내는 것이다.
이때, 객체 인지부(23)는 그레이 영상으로 변환된 공연 실영상에서 픽셀값이 임계값보다 같거나 크면 픽셀값을 255로 작으면 0으로 픽셀값을 변경하는 것으로, 공연 실영상을 흑백처리 할 수 있다.
그 다음, 객체 인지부(23)는 흑백처리된 공연 실영상에서 캐니 엣지 디텍터(Canny Edge Detector)를 이용해 외곽선을 검출할 수 있다. 이에 최종적으로 LED 객체(R)를 인지할 수 있다.
이때, 객체 인지부(23)는 노이즈를 제거하고, 엣지를 검출하고, 그레디언트 크기 및 방향을 계산하고, 엣지를 선명화하고, 중요 엣지를 선별하고 연결하는 과정을 통해 외곽선을 검출할 수 있다.
더 자세하게는, 객체 인지부(23)는 흑백처리된 공연 실영상에서 가우시안 마스크를 이용한 블러링(bluring)을 통해 노이즈를 제거할 수 있다. 이는 LED 객체(R)의 인지에 대한 정확도를 높이기 위한 것이다.
가우시안 마스크를 이용한 블러링(bluring)은 평균이 0인 가우시안 정규분포를 이용해 필터링하여 노이즈를 제거하는 것이다.
여기서 가우시안 정규분포는 중심으로 갈수록 높은값를 가지며 외곽으로 갈수록 낮은값을 가진다.
이와 같은 과정을 통해 공연 실영상의 노이즈는 제거되고 상세한 부분이 단순화 될 수 있다.
노이즈 제거 후, 객체 인지부(23)는 노이즈가 제거된 공연 실영상에서 소벨 마스크(Sobel mask)를 이용하여 엣지를 검출할 수 있다.
이때, 객체 인지부(23)는 수직방향에 대한 엣지를 검출하여 수직의 소벨 마스크, 수평방향에 대한 엣지를 검출하여 수평의 소벨 마스크를 획득하고, 각각 공연 실영상과 합성곱(convolution)하여 나온 두 이미지(값)의 등급을 구해 엣지를 검출할 수 있다.
엣지 검출 후, 객체 인지부(23)는 검출된 엣지의 그레디언트 크기 및 방향을 계산할 수 있다.
그레디언트 크기 및 방향을 계산 후, 객체 인지부(23)는 NMS(Non-maximum suppression)을 통해 낮은 픽셀값을 제거하여 엣지를 선명화할 수 있다. 이는 검출된 엣지는 블러딩되어 있는 엣지이기 때문에 더 선명한 엣지를 찾기 위해 필요한 과정이다.
NMS(Non-maximum suppression)는 중심 픽셀을 기준으로 이웃하고 있는 8방향의 픽셀값들을 비교하여 중심픽셀이 가장 클 경우 그대로 두고, 아닐 경우 제거하는 방법이다.
이러한 객체 인지부(23)는 NMS(Non-maximum suppression)를 통해 낮은 픽셀값을 제거하여 엣지를 얇게 만들어 주어 엣지를 선명화시킬 수 있다.
엣지 선명화 후, 객체 인지부(23)는 엣지 중 중요 엣지를 선별하고 연결하여 외곽선을 검출할 수 있다.
이때 객체 인지부(23)는 공연 실영상의 미처 제거되지 못한 노이즈 또는 색 변화(color variation)로 인해 엣지가 아닌 부분이 엣지로 검출될 수 있기 때문에, 검출된 엣지 중에서 진짜 엣지(이하 “중요 엣지”라 함)만을 선별하는 것이다.
이를 수행하기 위해, 객체 인지부(23)는 두개의 임계값을 가지고 중요 엣지를 설명할 수 있다.
여기서 두개의 임계값은 높은 임계값(high threshold)과 낮은 임계값(low threshold)을 포함할 수 있다.
이에 객체 인지부(23)는 엣지가 높은 임계값보다 높은 값을 가지면 강 엣지, 엣지가 높은 임계값보다 낮고 낮은 임계값보다 높은 값을 가지면 약 엣지, 엣지가 낮은 임계값보다 낮으면 제거하여, 강 엣지와 약 엣지를 선별할 수 있다.
그 다음, 객체 인지부(23)는 선별된 강 엣지는 그대로 살리고, 약 엣지를 강 엣지와 연관되어 있는 것들만 구별해 내어 선별함으로써, 중요 엣지를 선별할 수 있다.
이와 같이 선별된 중요 엣지를 연결하여 외곽선을 검출할 수 있다.
이와 같이 검출된 외곽선이 LED 객체(R)를 나타내므로 LED 객체(R)를 검출할 수 있는 것이다.
설정부(24)는 공연 실영상에서 특정 신호가 인지되면 특정 신호에 따라 인지된 하나 이상의 LED 객체 중 AR 퍼포먼스의 이펙트를 어느 LED 객체에 나타낼지 설정하여 이펙트 설정 정보를 생성할 수 있다.
여기서 인지되는 특정 신호는 AR 퍼포먼스의 이펙트 정보, 이펙트 구현 위치 정보를 포함할 수 있으나, 이에 한정되지는 않는다.
예를 들어, 특정 신호의 이펙트 구현 위치 정보 가 인지된 1번, 2번, 3번의 LED 객체(R) 중 3번의 LED 객체(R)에 이펙트를 구현하는 정보라면, 3번의 LED 객체(R)에 이펙트가 구현되도록 하는 이펙트 설정 정보를 생성할 수 있는 것이다.
영상 출력부(25)는 이펙트 설정 정보에 따라 AR 퍼포먼스를 관람객 단말(10)에 전송하고 공연 실영상에 AR 퍼포먼스를 구현하여 퍼포먼스 영상을 관람객에 제공할 수 있다.
즉, 영상 출력부(25)는 AR 퍼포먼스가 관람객 단말(10)의 화면에 이펙트 설정 정보에 따라 출력되도록 하여, AR 퍼포먼스를 오프라인의 공연과의 위치 및 싱크가 맞게 구현할 수 있다.
이에 몰입감이 향상된 퍼포먼스 영상을 제공할 수 있다.
제어부(26)는 관리자 단말(40)로부터 공연에 따라 AR 퍼포먼스 설정 정보가 수신되면, LED 프로토콜 보드(30)에 AR 퍼포먼스 설정 정보를 전송할 수 있다.
이에 LED 프로토콜 보드(30)는 공연에 의해 설정된 AR 퍼포먼스에 따라 특정 신호를 출력할 수 있다.
또한, 제어부(26)는 관람객 단말(10)로부터 녹화된 퍼포먼스 영상을 수신받아 데이터베이스(21)에 저장시킬 수 있다.
또한, 제어부(26)는 관리자 단말(40)로부터 공연 시작 정보를 수신받아, LED 프로토콜 보드(30)에 전송하여, LED 프로토콜 보드(30)가 작동하여 상시 신호를 출력할 수 있도록 하고 AR 퍼포먼스 설정 정보에 따라 특정 신호를 출력하도록 할 수 있다.
또한, AR 기반 관람 서버(20)는 미션부(미도시)를 더 포함할 수 있다.
미션부(미도시)는 관람객 단말(10)에 미션 정보를 제공하고, 관람객 단말(10)로부터 미션 정보에 해당하는 기능이 수행될 경우 미션 달성 정보를 관람객 단말(10)로 전송할 수 있다.
즉, 미션부(미도시)는 오프라인에서 공연될 예정일 공연에 따라 해당 공연 관람을 미션 정보로 생성하여 관람객 단말(10)에 미션 정보를 제공할 수 있다.
또한, 미션부(미도시)는 관람객 단말(10)로부터 해당 공연의 공연 실영상이 수신되면 미션을 수행했다고 감지하여 미션 달성 정보를 생성하여 관람객 단말(10)로 전송할 수 있다.
이때, 빙고 형태로 미션 정보와 미션 달성 정보를 제공하여 흥미도를 높일 수 있으나, 이에 한정되지는 않는다.
이와 같이 미션부(미도시)를 통해 관람객의 관심도와 관람율을 향상시킬 수 있다.
LED 프로토콜 보드(30)는 공연장(T)에 설치되어 공연 시 상시 신호 및 특정 신호를 출력할 수 있다.
이러한 LED 프로토콜 보드(30)는 관람객 단말(10)로부터 공연이 촬영되어 AR 기반 관람 서버(20)가 관람객 단말(10)에 퍼포먼스 영상을 제공하고자 할 때, 오프라인의 공연과 AR 퍼포먼스 간의 위치와 싱크를 효과적으로 맞출 수 있도록 할 수 있다.
이를 위해, LED 프로토콜 보드(30)는 도 1에 도시된 바와 같이, 공연장(T)의 상단 양측에 설치되는 것이 바람직하나, 이에 한정되지는 않는다.
또한, LED 프로토콜 보드(30)는 도 4에 도시된 바와 같이 상시 신호부(31) 및 특정 신호부(32)를 포함하여 상시 신호 및 특정 신호를 출력할 수 있으나, 형상은 이에 한정되지 않는다.
상시 신호부(31)는 LED로 구성되고, 공연이 시작되어 AR 기반 관람 서버(20)로부터 공연 시작 정보를 수신받으면 상시 신호를 출력할 수 있다.
상시 신호부(31)는 공연이 종료될 때까지 계속 상시 신호를 출력할 수 있다.
이에 AR 기반 관람 서버(20)가 공연 시작을 인지할 수 있으며, 공연 중간부터 관람객이 관람객 단말(10)로 공연을 촬영하게 되더라도 AR 기반 관람 서버(20)가 공연이 진행 중임을 인지할 수 있어, 공연의 중간부터라도 관람객이 AR 기반 퍼포먼스 영상 관람 시스템을 이용하여 퍼포먼스 영상을 제공받을 수 있다.
이러한 상시 신호부(31)는 주황색 LED로 구성될 수 있고, 4개가 격자로 배열되어 구성될 수 있으나, 이에 한정되지는 않는다.
특정 신호부(32)는 LED로 구성되고, 공연에 따라 설정된 AR 퍼포먼스에 의해 특정 신호를 출력할 수 있다.
즉, 특정 신호부(32)는 AR 기반 관람 서버(20)로부터 수신받은 AR 퍼포먼스 설정 정보를 수신받고, AR 퍼포먼스 설정 정보를 통해 설정된 AR 퍼포먼스를 판단하여 설정된 AR 퍼포먼스에 따라 특정 신호를 출력할 수 있다.
이러한 특정 신호부(32)는 초록색 LED로 구성될 수 있고, 4개가 격자로 배열되어 구성될 수 있으나, 이에 한정되지는 않는다.
예를 들어, 특정 신호부(32)는 격자로 배열된 4개의 LED 중에 하나 이상을 출력하는 것으로 특정 신호를 출력할 수 있다.
이에 AR 기반 관람 서버(20)가 특정 신호를 인지하여 특정 신호에 따라 AR 퍼포먼스를 공연 실영상에 구현할 수 있으며, 공연의 중간부터라도 관람객이 AR 기반 퍼포먼스 영상 관람 시스템을 이용하게 되면 진행 중인 공연에 맞게 동기화된 퍼포먼스 영상을 관람객 단말(10)에 제공할 수 있다.
관리자 단말(40)은 과학관, 체험관, 박물관, 공연장 등의 공연을 관리자, 책임자, 감독 등이 소지하고 있는 모바일 단말기를 의미한다. 이때, 관리자 단말(40)은 모바일 단말 외 PC, 태블릿, PDA(Personal Digital Assistant) 등을 포함할 수 있다.
또한, 관리자 단말(40)은 AR 기반 관람 서버(20)로부터 제공되는 어플리케이션(또는 모바일 앱)을 포함할 수 있다. 즉, AR 기반 관람 서버(20)로부터 제공되는 어플리케이션(또는 모바일 앱)이 설치되어 있어 AR 기반 퍼포먼스 영상 관람 시스템을 관리 및 이용할 수 있다.
이러한 관리자 단말(40)은 AR 퍼포먼스를 설정하여 AR 퍼포먼스 설정 정보를 AR 기반 관람 서버(20)의 제어부(26)에 전송할 수 있다.
또한, 관리자 단말(40)은 공연 시작 정보를 입력받아 AR 기반 관람 서버(20)의 제어부(26)에 전송할 수 있다.
또한, 관리자 단말(40)은 AR 퍼포먼스를 입력받아 AR 기반 관람 서버(20)로 전송하여 데이터베이스(21)에 저장되도록 할 수 있다.
이상, 앞서 설명한 구성을 기초하여 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템을 이용한 퍼포먼스 영상 제공 방법을 설명한다. 이때 상기 시스템의 설명에서 구체적으로 설명하였으므로 간단하게 설명하기로 한다.
도 5는 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템을 이용한 퍼포먼스 영상 제공 방법을 순차적으로 나타낸 흐름도이고, 도 6은 도 5의 S300 단계를 순차적으로 나타낸 흐름도이며, 도 7은 도 6의 S330 단계를 순차적으로 나타낸 흐름도이다.
도 5를 참조하면, 본 발명의 실시예에 AR 기반 퍼포먼스 영상 관람 시스템을 이용한 퍼포먼스 영상 제공 방법은 관람객 단말로부터 공연을 촬영한 공연 실영상을 수신받는 단계(S100), 수신된 공연 실영상에서 상시 신호를 인지하여 공연 진행 및 공연장을 인지하는 단계(S200), 공연 실영상에서 하나 이상의 LED 객체를 인지하는 단계(S300), 공연 실영상에서 특정 신호를 인지하고, 특정 신호에 따라 AR 퍼포먼스의 이펙트를 어느 LED 객체에 나타낼지 설정하여 이펙트 설정 정보를 생성하는 단계(S400) 및 이펙트 설정 정보에 따라 AR 퍼포먼스를 관람객 단말에 전송하고 공연 실영상에 AR 퍼포먼스를 구현하여 퍼포먼스 영상을 제공하는 단계(S500)를 포함할 수 있다.
먼저, S100 단계는 관람객 단말(10)로부터 공연을 촬영한 공연 실영상을 AR 기반 관람 서버(20)가 수신받을 수 있다.
S200 단계는 AR 기반 관람 서버(20)가 공연 실영상을 수신받아, 수신된 공연 실영상에서 상시 신호를 인지하여 공연 진행 및 공연장을 인지할 수 있다.
S300 단계는 공연장이 인지된 공연 실영상에서 AR 기반 관람 서버(20)가 하나 이상의 LED 객체를 인지할 수 있다.
구체적으로, 도 6을 참조하면 S300 단계는 공연 실영상을 그레이 영상으로 변환하는 단계(S310), 그레이 영상으로 변환된 공연 실영상을 임계값(threshold)을 이용하여 흑백처리하는 단계(S320) 및 흑백처리된 공연 실영상에서 캐니 엣지 디텍터(Canny Edge Detector)를 이용해 외곽선을 검출하는 단계(S330)를 포함할 수 있다.
S310 단계는 공연 실영상을 그레이 영상으로 변환할 수 있다.
S320 단계는 S310 단계에서 그레이 영상으로 변환된 공연 실영상을 임계값(threshold)을 이용하여 흑백처리할 수 있다.
즉, S320 단계는 AR 기반 관람 서버(20)가 그레이 영상으로 변환된 공연 실영상에서 픽셀값이 임계값보다 같거나 크면 픽셀값을 255로 작으면 0으로 픽셀값을 변경하여 공연 실영상을 흑백처리 할 수 있다.
S330 단계는 S320 단계에서 흑백처리된 공연 실영상에서 캐니 엣지 디텍터(Canny Edge Detector)를 이용해 외곽선을 검출할 수 있다.
더 구체적으로는, S330 단계는 도 7과 같이, 흑백처리된 공연 실영상에서 가우시안 마스크를 이용한 블러링(bluring)을 통해 노이즈를 제거하는 단계(S331), 소벨 마스크(Sobel mask)를 이용하여 엣지를 검출하는 단계(S332), 검출된 엣지의 그레디언트 크기 및 방향을 계산하는 단계(S333), 낮은 픽셀값을 제거하여 엣지를 선명화하는 단계(S334) 및 중요 엣지를 선별하고 연결하여 외곽선을 검출하는 단계(S335)를 포함할 수 있다.
먼저, S331 단계는 흑백처리된 공연 실영상에서 가우시안 마스크를 이용한 블러링(bluring)을 통해 노이즈를 제거할 수 있다.
S332 단계는 노이즈가 제거된 공연 실영상에 소벨 마스크(Sobel mask)를 이용하여 엣지를 검출할 수 있다.
즉, S332 단계는 흑백처리된 공연 실영상에서 수직방향에 대한 엣지를 검출하여 수직의 소벨 마스크, 수평방향에 대한 엣지를 검출하여 수평의 소벨 마스크를 획득하고, 각각 공연 실영상과 합성곱(convolution)하여 나온 두 이미지(값)의 등급을 구해 엣지를 검출할 수 있다.
S333 단계는 S332 단계에서 검출된 엣지의 그레디언트 크기 및 방향을 계산할 수 있다.
S334 단계는 S333 단계 후에 NMS(Non-maximum suppression)을 통해 낮은 픽셀값을 제거하여 엣지를 선명화할 수 있다.
즉, S334 단계는 엣지가 검출된 공연 실영상에서 중심 픽셀을 기준으로 이웃하고 있는 8방향의 픽셀값들을 비교하여 중심 픽셀이 가장 클 경우 그대로 두고, 아닐 경우 제거하는 과정을 반복하여 엣지를 선명화할 수 있다.
S335 단계는 S334 단계에서 선명화된 엣지 중 중요 엣지를 선별하고 연결하여 외곽선을 검출할 수 있다.
즉, S335 단계는 다수 엣지 중 엣지가 높은 임계값보다 높은 값을 가지면 강 엣지, 엣지가 높은 임계값보다 낮고 낮은 임계값보다 높은 값을 가지면 약 엣지, 엣지가 낮은 임계값보다 낮으면 제거하여, 강 엣지와 약 엣지를 선별할 수 있다.
그 다음, 선별된 강 엣지는 그대로 살리고, 약 엣지를 강 엣지와 연관되어 있는 것들만 구별해 내어 중요 엣지를 선별할 수 있다.
그 다음, 선별된 중요 엣지를 연결하여 외관선을 검출함으로써 LED 객체(R)를 인지할 수 있다.
S400 단계는 공연 실영상에서 특정 신호를 인지하고, 특정 신호에 따라 AR 퍼포먼스의 이펙트를 어느 LED 객체(R)에 나타낼지 설정하여 이펙트 설정 정보를 생성할 수 있다.
S500 단계는 이펙트 설정 정보에 따라 AR 퍼포먼스를 관람객 단말(10)에 전송하고 공연 실영상에 AR 퍼포먼스를 구현하여 퍼포먼스 영상을 제공할 수 있다. 이와 같이 관리자 단말(40)에 공연 실영상에 맞춰 AR 퍼포먼스를 구현함으로써, 오프라인의 공연과 AR 퍼포먼스 간에 싱크가 정확하게 맞는 퍼포먼스 영상을 제공할 수 있다.
상기에서 설명한 바와 같이, 본 발명의 실시예에 따른 AR 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법은 과학관에서 제공하는 오프라인의 LED 로봇 공연에 증강현실(AR) 퍼포먼스를 융합하여 몰입감 증대 및 다이나믹함을 연출할 수 있다.
또한, LED 프로토콜 보드를 이용함으로써 오프라인의 LED 로봇 공연과 AR 퍼포먼스 간의 동기화가 효과적으로 이루어져 고퀄리티의 퍼포먼스 영상을 제공할 수 있다.
이에 관람객의 만족도 및 수요를 증대시킬 수 있다.
또한, 주 대상이 학생인 고객에게 미래에 대한 새로운 청사진을 그려 줄 것으로 기대된다.
또한, 다양한 전시, 공연 등에 적용될 수 있을 것이라고 기대된다.
이상에서 설명한 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
10: 관람객 단말
20: AR 기반 관람 서버
21: 데이터베이스
22: 공연 인지부
23: 객체 인지부
24: 설정부
25: 영상 출력부
26: 제어부
30: LED 프로토콜 보드
40: 관리자
T: 공연장
R: LED 객체

Claims (5)

  1. 공연을 공연 실영상 및 증강현실(AR) 퍼포먼스를 포함하는 퍼포먼스 영상으로 관람할 수 있도록 하는 시스템에 있어서,
    공연을 촬영할 수 있는 관람객 단말;
    상기 관람객 단말로부터 공연에 대한 공연 실영상이 수신되면, 퍼포먼스 영상을 관람객 단말로 전송하는 AR 기반 관람 서버 및
    공연장에 설치되어 공연 시 상시 신호 및 특정 신호를 출력하는 LED 프로토콜 보드를 포함하는 AR 기반 퍼포먼스 영상 관람 시스템.
  2. 제1항에 있어서,
    상기 AR 기반 관람 서버는,
    다수의 AR 퍼포먼스를 저장하는 데이터베이스;
    상기 관람객 단말로부터 상기 공연 실영상을 수신받고, 상기 공연 실영상에서 상시 신호를 인지하여 공연 진행 및 공연장을 인지하는 공연 인지부;
    상기 공연장이 인지된 공연 실영상에서 하나 이상의 LED 객체를 인지하는 객체 인지부;
    상기 공연 실영상에서 특정 신호가 인지되면 특정 신호에 따라 인지된 하나 이상의 LED 객체 중 AR 퍼포먼스의 이펙트를 어느 LED 객체에 나타낼지 설정하여 이펙트 설정 정보를 생성하는 설정부 및
    상기 이펙트 설정 정보에 따라 AR 퍼포먼스를 상기 관람객 단말에 전송하고 상기 공연 실영상에 상기 AR 퍼포먼스를 구현하여 상기 퍼포먼스 영상을 제공하는 영상 출력부를 포함하는 AR 기반 퍼포먼스 영상 관람 시스템.
  3. 제2항에 있어서,
    상기 객체 인지부는,
    상기 공연 실영상을 그레이 영상으로 변환하고,
    그레이 영상으로 변환된 공연 실영상을 임계값(threshold)을 이용하여 흑백처리하고,
    흑백처리된 공연 실영상에서 캐니 엣지 디텍터(Canny Edge Detector)를 이용해 외곽선을 검출하여 LED 객체를 인지하는 것을 특징으로 하는 AR 기반 퍼포먼스 영상 관람 시스템.
  4. 제1항에 있어서,
    상기 LED 프로토콜 보드는,
    상시 신호를 출력하는 상시 신호부 및
    공연에 따라 설정된 AR 퍼포먼스에 의해 특정 신호를 출력하는 특정 신호부를 포함하는 AR 기반 퍼포먼스 영상 관람 시스템.
  5. AR 기반 퍼포먼스 영상 관람 시스템을 이용하여 공연 실영상 및 증강현실(AR) 퍼포먼스를 포함하는 퍼포먼스 영상을 관람객에게 제공하는 방법에 있어서,
    (a) 관람객 단말로부터 공연을 촬영한 공연 실영상을 수신받는 단계;
    (b) 수신된 공연 실영상에서 상시 신호를 인지하여 공연 진행 및 공연장을 인지하는 단계;
    (c) 상기 공연 실영상에서 하나 이상의 LED 객체를 인지하는 단계;
    (d) 상기 공연 실영상에서 특정 신호를 인지하고, 상기 특정 신호에 따라 AR 퍼포먼스의 이펙트를 어느 LED 객체에 나타낼지 설정하여 이펙트 설정 정보를 생성하는 단계 및
    (e) 상기 이펙트 설정 정보에 따라 AR 퍼포먼스를 상기 관람객 단말에 전송하고 상기 공연 실영상에 상기 AR 퍼포먼스를 구현하여 상기 퍼포먼스 영상을 제공하는 단계를 포함하는 AR 기반 퍼포먼스 영상 관람 시스템을 이용한 퍼포먼스 영상 제공 방법.
KR1020190015052A 2019-02-08 2019-02-08 Ar 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법 KR102268337B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190015052A KR102268337B1 (ko) 2019-02-08 2019-02-08 Ar 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190015052A KR102268337B1 (ko) 2019-02-08 2019-02-08 Ar 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법

Publications (2)

Publication Number Publication Date
KR20200097543A true KR20200097543A (ko) 2020-08-19
KR102268337B1 KR102268337B1 (ko) 2021-06-22

Family

ID=72291787

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190015052A KR102268337B1 (ko) 2019-02-08 2019-02-08 Ar 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법

Country Status (1)

Country Link
KR (1) KR102268337B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064446A (zh) * 2021-03-17 2021-07-02 广州穿越千机创新科技有限公司 一种编队无人机飞行表演信息交互方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120026402A (ko) * 2010-09-09 2012-03-19 주식회사 팬택 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
KR20150105157A (ko) * 2014-03-07 2015-09-16 이모션웨이브 주식회사 혼합현실형 공연 서비스를 위한 온라인 가상무대 시스템
KR101855397B1 (ko) * 2016-11-30 2018-06-08 (주)잼투고 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120026402A (ko) * 2010-09-09 2012-03-19 주식회사 팬택 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
KR20150105157A (ko) * 2014-03-07 2015-09-16 이모션웨이브 주식회사 혼합현실형 공연 서비스를 위한 온라인 가상무대 시스템
KR101855397B1 (ko) * 2016-11-30 2018-06-08 (주)잼투고 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064446A (zh) * 2021-03-17 2021-07-02 广州穿越千机创新科技有限公司 一种编队无人机飞行表演信息交互方法及系统

Also Published As

Publication number Publication date
KR102268337B1 (ko) 2021-06-22

Similar Documents

Publication Publication Date Title
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
WO2014103094A1 (ja) 情報処理装置、情報処理システム、および情報処理方法
US20160134859A1 (en) 3D Photo Creation System and Method
CN108055452A (zh) 图像处理方法、装置及设备
RU2565855C1 (ru) Устройство захвата изображений, способ управления этим устройством и программа
CN101689292A (zh) Banana多媒体数字信号编解码器
CN105141841B (zh) 摄像设备及其方法
KR20150108774A (ko) 비디오 시퀀스를 프로세싱하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 및 비일시적 컴퓨터 판독가능 매체
US8860840B2 (en) Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus
US10991340B2 (en) Image processing apparatus and image processing method
US20180197320A1 (en) Apparatus and method for processing information of multiple cameras
US20190355101A1 (en) Image refocusing
US11415935B2 (en) System and method for holographic communication
JP2015200937A (ja) 画像処理装置及びシステム、画像処理方法、並びにプログラム
CN112218099A (zh) 全景视频生成、播放方法及装置、全景视频生成系统
KR20110071854A (ko) 입체 영상 시스템에서 영상 데이터의 색상 보정 장치 및 방법
JP6374849B2 (ja) ユーザ端末、色彩補正システム及び色彩補正方法
KR20110118530A (ko) 영상 데이터 출력 시스템과 이를 위한 영상 출력 장치
US11430178B2 (en) Three-dimensional video processing
KR102268337B1 (ko) Ar 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법
TWI559762B (zh) An image processing apparatus, an image processing method, and a recording medium
CN109923853B (zh) 图像处理装置、图像处理方法以及程序
CN109923854B (zh) 图像处理装置、图像处理方法以及记录介质
CN111192305A (zh) 用于生成三维图像的方法和装置
WO2014097465A1 (ja) 映像処理装置および映像処理方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant