KR20150111627A - 객체 인덱싱을 통한 공연 시설물 컨트롤 장치 및 방법 - Google Patents

Abstract

본 발명은 무대 위의 공연자의 위치 및 형태를 뎁스 카메라를 통해 인식하여, 공연자의 위치 및 형태에 따라 무대조명, 출력컨텐츠 및 이벤트를 제어하는 컨트롤 장치 및 방법에 관한 것으로, 본 발명은 무대위의 객체에게 조명을 비추는 하나 이상의 조명장치와; 상기 조명장치의 수평 회전 및 수직 회전을 조절하는 하나 이상의 조명구동부와; 상기 객체를 촬상하여 상기 객체의 원근을 포함한 상기 객체의 위치 및 형태를 검출하는 뎁스카메라; 그리고 상기 뎁스카메라로부터 입력된 촬상 데이터로부터 상기 객체의 위치 및 형태에 따라 상기 조명장치가 상기 객체를 조명하도록 상기 조명구동부를 구동하는 제어컨트롤러를 포함하여 구성된다. 이와 같은 본 발명에 의하면, 공연자의 위치를 인식하여 이를 기반으로 조명장치를 제어하므로, 정확한 공연자 위치에 따라 정밀하게 조명을 제어할 수 있는 효과가 있다.

Description

객체 인덱싱을 통한 공연 시설물 컨트롤 시스템 및 방법 { CONTROL SYSTEM AND METHOD OF PERFORAMANCE STAGE USING INDEXING OF OBJECTS }

본 발명은 무대 위의 공연자의 위치 및 형태를 뎁스 카메라를 통해 인식하여, 공연자의 위치 및 형태에 따라 무대조명, 출력컨텐츠 및 이벤트를 제어하는 컨트롤 장치 및 방법에 관한 것으로, 한국콘텐츠진흥원의 '관객 반응에 대응하는 진화형 인터랙티브 전시 통합제어 기술 개발'과제(과제번호:211A5020021098901013, 수행기간 2011.07.01~2014.03.31)를 수행함에 있어 산출된 결과물에 대한 발명이다.

최근에는 공연컨텐츠가 화려해지고, 이를 뒷받침하기 위한 무대 기술이 발달함에 따라 공연시설물에 대한 컨트롤이 복잡해지고 정교함을 요구하고 있는 실정이다.

종래에 공연시설물의 제어는 무대감독의 신호에 의해 수행되고, 구체적으로는 각각의 공열시설물 관리자가 각 공연시설물을 무대감독의 신호에 맞춰 공연전체 시나리오에 맞춰 작성된 큐시트를 기본으로 하여 제어하는 방식을 채택해왔다.

이와 같은 개별적인 제어의 불편성을 해소하기 위하여, 대한민국 공개특허 10-2011-0121290호에는 무대막, 조명, 음향 및 마이크를 하나의 컨트롤러에 의해 일괄적으로 제어하는 방식이 개시되어 있다.

한편, 조명의 경우, 그 종류와 수가 많고 공연 중 이루어지는 변화와 타이밍 등이 복잡하여 무대감독 외에 지정된 복수의 인원이 역할을 분담하여 수행되며, 조명의 대상이 되는 공연자의 위치 및 동선 등이 공연 중에 즉흥적으로 변경되는 경우가 많아 이에 대한 조명 디자이너의 숙달된 숙련도가 컨트롤의 질을 결정하는 중요한 요소로 작용하였다.

조명 디자이너는 메모리 과정을 통해 조명 제어용 콘솔에 각 장면별로 조명의 상태를 입력하고 저장한다. 이후 리허설 과정을 통해 공연자의 위치와 이동 상태 등을 종합적으로 보고 판단하여 수정한다. 이로부터 최종적으로 얻어지는 큐시트는 무대감독과 콘솔 오퍼레이터에게 전달되며 조명 디자이너 또는 오퍼레이터도 이를 이용하여 매 공연마다 조명 장치의 위치 및 휘도 등의 제어를 진행한다.

종래와 같이, 조명 디자이너의 판단에 의지한 무대 조명의 한계성을 극복하고자 대한민국 공개특허 제10-2010-0121213호에는 공연자의 위치에 따라 자동으로 조명을 제어하는 기술이 개시되어 있다. 즉, 도 1에 도시된 바와 같이, 공연자와 무대장치에 설치된 무선 송신장치와 수신장치를 통해 공연자의 위치를 추정하고, 추정된 공연자의 위치에 따라 조명 장치를 제어한다.

이때, 상기 공연자의 위치를 추정하기 위한 무선송수신장치는 초광대역방식 또는 초음파 방식의 무선통신 방식이 적용된다.

그러나 상기한 바와 같은 종래 기술에서는 다음과 같은 문제점이 있다.

즉, 종래기술에서는 초광대역통신 또는 초음파 통신에 의해 어떠한 원리로 공연자의 위치를 산출하는지 구체적으로 명시되지 않아 그 실시 가능성이 불분명할 뿐만 아니라, 초광대역통신의 경우, 데이터 통신용량을 극대화한 통신방식으로, 위치산출과는 관련성이 없을 뿐만 아니라, 신호강도를 통해 공연자의 위치를 추정하는 일반적인 방식을 가정해보아도, 이는 오차범위가 넓어 대략적인 위치 산출만이 가능하므로, 좁은 실내공간에서 정밀한 공연자 위치 산출이 필요한 기술분야는 적합하지 않은 문제점이 있습니다.

또한, 종래기술의 초음파 통신의 경우, 음파의 기본 특성으로 인하여, 장애물에 의한 신호 외곡이 심하여 무대장치가 즐비한 공연 공간에서 정밀한 위치측정이 어려울 뿐만 아니라, 공연 음향 효과의 간섭으로 인하여 정밀한 공연자의 위치 산출이 불가능한 문제점이 있었다.

한편, 종래기술에서는 조명시설과 각종 무대장비들을 일관제어함에 있어, 기본적으로, 시나리오의 시계열적인 순서를 기반으로 작성된 큐시트에 의존하므로, 제어 인력의 숙련도에 의존할 수 밖에 없을 뿐만 아니라, 큐시트 제작에도 많이 시간과 노력이 낭비되는 문제점이 있었다.

(001) 대한민국 공개특허 제10-2011-0121290호 (002) 대한민국 공개특허 제10-2010-0121213호

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명은 뎁스 카메라를 통해 인식된 공연자의 위치 및 형태를 기 설정된 객체 인덱싱 정보와 비교하여, 무대조명, 출력컨텐츠 및 이벤트를 자동으로 제어하는 공연 시설물 컨트롤 시스템 및 방법을 제공하는 것이다.

또한, 본 발명은 뎁스 카메라를 통해 촬상된 영상 데이터를 기준으로 객체 인덱싱 정보를 생성하는 툴을 제공하여, 손쉽게 객체 인덱싱 정보를 생성하고, 이를 통해 무대조명, 출력컨텐츠 및 이벤트를 정확하게 제어하는 공연 시설물 컨트롤 시스템 및 방법을 제공하는 것이다.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은 무대위의 객체에게 조명을 비추는 하나 이상의 조명장치와; 상기 조명장치의 수평 회전 및 수직 회전을 조절하는 하나 이상의 조명구동부와; 상기 객체를 촬상하여 상기 객체의 원근을 포함한 상기 객체의 위치 및 형태를 검출하는 뎁스카메라; 그리고 상기 뎁스카메라로부터 입력된 촬상 데이터로부터 상기 객체의 위치 및 형태에 따라 상기 조명장치가 상기 객체를 조명하도록 상기 조명구동부를 구동하는 제어컨트롤러를 포함하여 구성된다.

여기서 상기 제어컨트롤러는, 상기 뎁스카메라로부터 촬상 데이터를 수신받는 영상입력모듈과; 상기 영상입력모듈로부터 수신된 촬상데이터로부터 하나 이상의 객체에 대한 각각의 위치 및 형태를 포함하는 식별인자를 검출하고, 하나 이상의 객체에 조명장치를 할당하여, 상기 조명장치가 하나 이상의 객체를 조명하도록 조명제어신호를 생성하는 메인제어부; 그리고 상기 메인제어부로부터 생성된 조명제어신호를 각 조명구동부로 전송하는 조명 제어신호 출력부를 포함하여 구성될 수도 있다.

그리고 상기 뎁스 카메라는, 키넥트 방식의 뎁스 카메라일 수도 있다.

또한, 본 발명은 공연중에 배경 이미지를 포함하는 컨텐츠를 출력하는 스크린과; 상기 스크린에 출력될 컨텐츠의 출력신호를 제공하는 디스플레이 컨트롤러를 더 포함하여 구성되고: 상기 제어 컨트롤러는, 상기 뎁스카메라로부터 입력된 촬상 데이터로부터 상기 객체의 위치 및 형태에 따라 상기 스크린에 출력될 컨텐츠를 선별하고, 상기 선별된 컨텐츠가 출력되도록 디스플레이 제어신호를 생성할 수도 있다.

그리고 상기 제어 컨트롤러는, 상기 스크린을 통해 출력될 컨텐츠들을 저장하는 컨텐츠 데이터베이스와; 시계열적으로 정리된 식별인자 별로 상기 스크린의 출력 컨텐츠와 출력 설정 내용이 포함된 객체 인덱싱 데이터베이스를 포함하여 구성되는 저장부; 그리고 상기 메인제어부에 의해 생성된 디스플레이 제어신호를 상기 디스플레이 컨트롤러로 전송하는 디스플레이 제어신호 출력부를 더 포함하여 구성되며: 상기 메인제어부는, 상기 뎁스카메라로부터 입력된 촬상 데이터로부터 식별인자를 추출하고, 상기 추출된 식별인자를 상기 객체 인덱싱 데이터베이스에 저장된 식별인자와 대비하여, 출력 컨텐츠 및 출력설정내용을 독출하며, 상기 독출된 출력 컨텐츠 및 출력설정내용에 따라 디스플레이 제어신호를 생성할 수도 있다.

또한, 상기 메인제어부는, 상기 뎁스카메라로부터 입력된 촬상 데이터로부터 식별인자를 추출하고, 상기 추출된 식별인자를 상기 객체 인덱싱 데이터베이스에 저장된 식별인자와 대비하여, 무대에 설치된 이벤트장치의 구동을 제어하는 이벤트 제어신호를 생성할 수도 있다.

그리고 상기 저장부는, 상기 뎁스 카메라로부터 촬상된 예비영상이 저장되는 컨텐츠 제작 데이터베이스를 더 포함하여 구성되고: 상기 메인제어부는, 상기 컨텐츠 제작 데이터베이스에 저장된 예비영상을 사용자에게 제공하고, 사용자로부터 상기 예비영상 출력 중 특정 위치에서 스크린에 출력될 컨텐츠의 종류 및 출력 설정내용을 입력받으며, 해당 위치의 상기 예비영상으로부터 식별인자를 추출하여 사용자가 입력한 출력 컨텐츠의 종류 및 출력 설정내용을 매칭시켜 객체 인덱싱 정보를 생성할 수도 있다.

또한, 상기 메인제어부는, 사용자로부터 상기 예비영상 출력 중 특정 위치에서 이벤트 발생 설정 내용을 입력받고, 해당 위치의 상기 예비영상으로부터 식별인자를 추출하여 사용자가 입력한 이벤트 발생 설정내용을 매칭시켜 객체 인덱싱 정보에 포함시킬 수도 있다.

한편, 본 발명은 (a) 뎁스카메라로부터 공연영상을 입력받는 단계와; (b) 메인 제어부가 수신된 상기 공연영상을 분석하여, 식별인자를 추출하는 단계와; (c) 상기 메인 제어부가 추출된 상기 식별인자에 따라 객체 위치를 판별하여, 상기 객체에 조명이 이루어지도록 조명제어신호를 생성하는 단계; 그리고 (d) 상기 생성된 조명제어신호를 출력하여 조명구동부를 구동시키켜 조명장치를 컨트롤하는 단계를 포함하여 수행되는 객체 인덱싱을 통한 공연 시설물 컨트롤 방법을 포함한다.

여기서 상기 식별인자는, 객체의 위치 및 형태를 포함할 수도 있다.

그리고 본 발명은 (e) 상기 메인제어부가 식별인자를 설정된 객체 인덱싱 정보와 비교하여, 컨텐츠 설정 내용, 출력설정 내용 및 이벤트 설정 내용을 독출하는 단계와; (f) 상기 메인 제어부가 독출된 상기 컨텐츠 설정 내용, 출력설정 내용 및 이벤트 설정 내용에 따라 디스플레이 제어신호 및 이벤트 제어신호를 생성하는 단계를 더 포함하여 수행될 수도 있다.

또한, 상기 객체 인덱싱 정보는, (A) 메인 컨트롤러의 컨텐츠제작 데이터베이스에 저장된 예비영상을 출력하는 단계와; (B) 사용자로부터 상기 예비영상 출력 중 특정 위치에 대하여 스크린을 통해 출력될 컨텐츠를 입력받는 단계와; (C) 사용자로부터 상기 제(B)단계의 출력 컨텐츠의 출력설정 내용을 입력받는 단계와; (D) 상기 제(B)단계에서 특정된 해당 위치의 상기 예비영상으로부터 식별인자를 추출하여 사용자가 입력한 출력 컨텐츠 및 출력설정을 매칭시키는 단계와; (E) 사용자로부터 상기 예비영상 출력 중 특정 위치에 대하여 이벤트 장치의 구동에 대한 이벤트발생설정을 입력받는 단계와; (F) 상기 제(E)단계에서 특정된 해당 위치의 상기 예비영상으로부터 식별인자를 추출하여 사용자가 입력한 상기 이벤트 발생 설정내용을 매칭시키는 단계; 그리고 (G) 상기 제(D)단계와 상기 제(F)단계의 매칭정보를 통해 객체 인덱싱 정보를 생성하는 단계를 포함하여 수행될 수도 있다.

위에서 살핀 바와 같은 본 발명에 의한 객체 인덱싱을 통한 공연 시설물 컨트롤 시스템 및 방법에서는 다음과 같은 효과를 기대할 수 있다.

즉, 본 발명에서는 공연자의 위치를 인식하여 이를 기반으로 조명장치를 제어하므로, 정확한 공연자 위치에 따라 정밀하게 조명을 제어할 수 있는 장점이 있다.

그리고 본 발명에서는 공연자의 위치 및 형태를 인식하여 이를 기반으로 설정된 객체 인덱싱 정보와 비교하여, 출력컨텐츠 및 이벤트를 포함하는 무대 시설물을 자동으로 제어하므로, 정확하면서도 용이하게 공연 시설물을 컨트롤할 수 있는 장점이 있다.

또한, 본 발명에서는 뎁스 카메라를 통해 촬상된 영상 데이터를 기준으로 객체 인덱싱 정보를 생성하는 툴을 제공하므로, 무대 시설물의 제어하기 위한 객체 인덱싱 정보를 손쉽게 생성할 수 있는 장점이 있다.

도 1은 종래 기술에 의한 무대효과 제어 장치의 구성을 도시한 블록도.
도 2는 본 발명에 의한 공연 시설물 컨트롤 시스템 구성의 일예를 도시한 예시도.
도 3은 본 발명에 의한 공연 시설물 컨트롤 시스템 구성의 구체적인 실시예를 도시한 블록도.
도 4는 본 발명에 의한 공연 시설물 컨트롤 시스템을 구성하는 제어 컨트롤러의 세부 구성의 일 예를 도시한 블록도.
도 5는 본 발명에 의한 공연 시설물 컨트롤 방법 중 객체 인덱싱 정보 생성방법의 일예를 도시한 흐름도.
도 6은 본 발명에 의한 객체 인덱싱 생성 툴의 일예를 도시한 예시도.
도 7은 본 발명에 의한 공연 시설물 컨트롤 방법의 구체적인 실시예를 도시한 흐름도.

이하에서는 첨부된 도면을 참조하여 본 발명의 구체적인 실시예에 의한 객체 인덱싱을 통한 공연 시설물 컨트롤 시스템 및 방법을 살펴보기로 한다.

설명에 앞서 먼저, 본 발명의 효과, 특징 및 이를 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예에서 명확해진다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고, 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성하여 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다.

즉, 도시된 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.

도 2는 본 발명에 의한 공연 시설물 컨트롤 시스템 구성의 일예를 도시한 예시도이고, 도 3은 본 발명에 의한 공연 시설물 컨트롤 시스템 구성의 구체적인 실시예를 도시한 블록도이며, 도 4는 본 발명에 의한 공연 시설물 컨트롤 시스템을 구성하는 제어 컨트롤러의 세부 구성의 일 예를 도시한 블록도이다.

먼저, 본 발명에 의한 공연 시설은 무대위에서 공연을 펼치는 공연자에게 조명을 비추는 조명장치(100)와 상기 공연자를 촬상하여 상기 공연자의 위치 및 형태를 검출하는 뎁스 카메라(200)와, 무대 후면에 설치되어 다양한 컨텐츠를 출력하는 스크린(300) 및 각종 이벤트장치(미도시)를 포함하여 구성된다.

도 3을 참조하여 본 발명에 의한 공연 시설물 컨트롤 시스템 구성을 더욱 상세히 살펴보면, 본 발명에 의한 공연 시설물 컨트롤 시스템은, 상기 조명장치(100)와 상기 조명장치(100)를 구동하기 위한 조명 구동부(110), 상기 뎁스카메라(200), 상기 스크린(300)과 상기 스크린(300)의 출력 컨텐츠를 제어하기 위한 디스플레이 컨트롤러(310), 상기 이벤트장치의 구동을 제어하기 위한 이벤트 컨트롤러(410) 그리고 상기 조명구동부(110), 상기 뎁스카메라(200), 상기 디스플레이 컨트롤러(310) 및 상기 이벤트 컨트롤러(410)의 구동을 제어하기 위한 제어 컨틀롤러(500)를 포함하여 구성된다.

상기 조명구동부(110)는 콘솔을 이용해 조명 장치의 수평 회전인 팬(pan)과 수직 회전인 틸트(tilt)를 조절함으로써 빛의 방향을 자유자재로 바꿀 수 있는 장치로, 일반적으로 무빙 라이트 구동부에 해당한다.

한편, 상기 뎁스카메라(200)는 대상체의 원근위치를 산출하는 기능을 갖는 카메라로, 구동 방식에 따라 TOF기반 Depth 카메라와 키넥트 방식의 Depth 카메라가 있다.

TOF(Time of Flight)방식은 가장 일반적이고 기본적인 거리 측정 방식으로 펄스를 쏘고 반사파가 들어오는 시간차이를 측정해서 거리를 구하는 방식으로, 펄스를 생성하기 힘들다는 단점과 고속 특성 때문에 반사파의 위상차이를 센서에서 파악하는 방식으로 Depth를 구하는 방식이 많이 사용된다.

TOF기반 Depth 카메라는 높은 노이즈 때문에 노이즈 제거 위해 적분시간이 필요하고 적분시간에 따라 Frame율 저하, Motion blur 현상, 넓은 오차 발생 등의 문제점이 발생된다.

반면에, 키넥트 방식 Depth Camera는 특정한 라이트패턴을 방사하여, 카메라로 왜곡된 라이트패턴을 찍어서 3D 구조물을 계산하는 방식으로, 패턴의 간격이나 변형, 사이즈를 보고 Depth를 계산할 수 있다.

키넥트 방식 Depth Camera는 대략 유효거리 3.5m 내에서, 비교적 큰 640*480의 Depth 해상도, 30FPS 및 저렴한 가격이라는 장점이 있다.

따라서, 본 발명에서는 뎁스카메라로 다양한 방식의 뎁스 카메라가 적용될 수 있으나, 바람직하게는 키넥트 방식의 뎁스 카메라가 적용된다.

그리고 상기 스크린(300)은 공연중에 배경 이미지 등의 컨텐츠를 출력하는 것으로, LCD(Liquid Crystal Display), LED(light emitting diode) 등의 디스플레이 장치로 구성될 수 있고, 프로젝터 방식의 스크린으로 구성될 수도 있다.

또한, 상기 디스플레이 컨트롤러(310)는, 상기 스크린에 출력될 컨텐츠의 출력신호를 제공하는 부분으로, 스크린의 방식에 따라 다양한 컨트롤러가 채용될 수 있다.

한편, 상기 이벤트 컨트롤러(410)는 무대에 설치된 다양한 이벤트장치의 구동을 제어하기 위한 부분으로, 상기 이벤트장치는 음향장치, 분무장치, 레이져출력장치, 무대회전장치 등 공연에 사용되는 다양한 무대장치를 포함한다.

그리고 상기 제어컨트롤러(500)는 상기 뎁스카메라(200)로부터 촬상된 이미지 정보를 수신하여, 이로부터 식별인자를 추출하고, 상기 식별인자에 따라 조명구동부(110)를 제어하며, 상기 식별인자를 기 설정된 객체 인덱싱 데이터과 매칭하여, 상기 객체 인덱싱 데이터에 설정된 대로 상기 디스플레이 컨트롤러(310) 및 이벤트 컨트롤러(410)를 제어한다.

상기 제어 컨트롤러(500)의 구성을 상세히 살펴보면, 도 4에 도시된 바와 같이, 상기 제어 컨트롤러(500)는 저장부(510)와, 영상입력모듈(520), 메인 제어부(530), 조명제어신호 출력부(540), 디스플레이 제어신호출력부(550) 및 이벤트제어신호 출력부(560)를 포함하여 구성된다.

이때, 상기 메인제어부(530)는 상기 스크린(300)을 통해 출력될 컨텐츠를 저장하는 컨텐츠 DB(512)와, 뎁스 카메라(200)의 촬상 이미지로부터 분석되는 식별인자에 대하여, 스크린(300)의 출력 설정과 이벤트장치의 구동 설정이 정리된 객체 인덱싱 정보가 저장되는 객체 인덱싱 DB(514), 그리고 상기 객체 인덱싱 정보를 생성하기 위해 사용자에게 제공될 컨텐츠를 저장하는 컨텐츠 제작 DB(516)를 포함하여 구성된다.

상기 식별인자는 기본적으로 공연자의 위치정보를 포함하고 나아가 상기 공연자의 형태 및 무대 시설물의 위치 및 형태 등을 포함할 수 있다.

이하에서는 설명의 편의상 상기 공연자 및 무대 시설물을 통칭하여 객체라 표현하기로 한다.

한편, 객체의 형태는 운영자의 요구 정확도에 따라 다른 기준으로 설정될 수 있다. 즉, 정확도를 낮게 설정하는 경우 객체의 높이, 외각선의 형태 등으로 설정될 수 있고, 상기 정확도를 높게 설정하는 경우 상기 객체의 세부 이미지(예를 들면 공연자 얼굴 윤곽 등)로 설정될 수 있다.

그리고 상기 객체 인데싱 정보는 상기 식별인자 별로 구분되어 상기 스크린(300)의 출력 설정과 이벤트 장치의 구동 설정 내용이 정리된 객체 정보이다.

상기 객체 인덱싱 정보는 전체적인 공연 시간에 따라 시계열 순으로 정리되어 설정되는 것이 효과적이다.

한편, 상기 컨텐츠 제작 DB(516)는 상기 객체 인덱싱 정보를 생성하기 위해 사용자에게 제공될 컨텐츠가 저장되는 것으로, 예를 들면 리허설의 공연 촬상 데이터 또는 실제 공연 촬상 데이터가 저장된다.

한편, 상기 메인 제어부(530)는 상기 객체 인덱싱 정보를 생성하는 기능과 상기 뎁스카메라(200)로부터 상기 영상입력모듈(520)을 통해 입력된 촬상 이미지 정보로부터 조명제어신호 및 디스플레이제어신호 그리고 이벤트 제어신호를 생성하여, 각각 상기 조명제어신호 출력부(540), 디스플레이제어신호 출력부(550) 및 이벤트 제어신호 출력부(560)를 통해 상기 조명구동부(110), 디스플레이 컨트롤러(310) 및 이벤트 컨트롤러(410)를 제어하는 역할을 수행한다.

이하에서는 상기한 바와 같은 본 발명에 의한 객체 인덱싱을 통한 공연 시설물 컨트롤 방법을 첨부된 도면을 참고하여 상세하게 설명한다.

도 5는 본 발명에 의한 공연 시설물 컨트롤 방법 중 객체 인덱싱 생성 방법의 구체적인 실시예를 도시한 흐름도이고, 도 6은 본 발명에 의한 객체 인덱싱 생성 툴의 일예를 도시한 예시도이며, 도 7은 본 발명에 의한 공연 시설물 컨트롤 방법의 구체적인 실시예를 도시한 흐름도이다.

먼저, 도 5에 도시된 바와 같이, 발명에 의한 객체 인덱싱 정보 생성 방법을 살펴보면, 상기 객체 인덱싱 정보는 제어 컨트롤러(500)의 컨텐츠 제작 DB(516)에 예비 영상이 저장되는 것으로부터 시작된다(S110).

이때 상기 예비영상이라 함은 실제 공연 전인 경우 리허설 공연을 구비된 뎁스카메라(200)로 촬상한 영상일 수 있고, 만일 공연 기간 중에 무대장치의 컨트롤을 보정하고자 하는 경우 이전 공연을 상기 뎁스카메라(200)로 촬상한 영상일 수 있다.

이후, 상기 메인 제어부(530)는 사용자에게 저장된 예비영상을 출력한다(S120).

이때, 도 6에 도시된 객체 인덱싱 정보 생성 툴의 일예를 살펴보면, 상기 객테 인덱싱 정보 생성 툴은 컴퓨터 단말기 상에서 응용 프로그램에 의해 제공되는 것으로, 일측에 구비된 컨텐츠 이미지 출력 창을 통해 사용자에게 제공된다.

한편, 상기 사용자는 출력되는 출력되는 이미지를 보면서, 해당 시점에 스크린(300)을 통해 출력될 컨텐츠를 선택하고(S130), 상기 컨텐츠의 출력 설정을 입력한다(S140). 이때, 출력설정은 상기 컨텐츠의 배율, 초점, 자막 등 다양한 설정내용을 포함한다.

또한, 상기 사용자는 출력되는 컨텐츠의 해당 시점에 이벤트 장치의 구동에 대한 이벤트설정을 입력한다(S150).

구체적으로 설명하면, 상기 메인 제어부(530)는 상기 예비영상이 출력되는 동안, 상기 예비영상으로 부터 식별인자를 추출하고, 사용자로부터 출력될 컨텐츠의 선택 및 출력설정 그리고 이벤트 설정이 수행되면, 해당 시점의 식별인자에 매칭하여 출력 컨텐츠, 출력설정 및 이벤트 설정을 매칭하여 객체 인덱싱 정보를 생성한다.

이하에서 본 발명에 의한 공연 시설물 컨트롤 방법의 구체적인 실시예를 설명하도록 한다.

본 발명에 의한 공연 시설물 컨트롤 방법은 도 7에 도시된 바와 같이, 뎁스카메라(200)로부터 공연영상을 입력받는다(S210).

이후, 메인 제어부(530)는 공연영상을 수신하여 상기 공연 영상을 분석하여, 식별인자를 추출한다(S220).

이때, 식별인자는 전술한 바와 같이 객체의 위치 및 형태를 포함한다.

그리고 상기 메인 제어부(530)는 식별인자의 객체 위치에 따라 조명 위치 및 출력 설정에 대한 조명제어신호를 생성한다(S230).

다음으로 상기 생성된 조명제어신호를 출력하여 조명구동부(110)를 구동시켜 조명장치(100)를 컨트롤한다(S232).

한편, 상기 메인 제어부(530)는 상기 식별인자를 객체 인덱싱 정보와 비교하여, 설정된 컨텐츠 설정 내용, 출력설정 내용 및 이벤트 설정 내용을 독출한다.

이를 통해, 상기 메인 제어부(530)는 디스플레이 제어신호를 생성하고(S240), 생성된 조명제어신호를 출력하여 조명구동부(110)를 구동시켜 조명장치(100)를 컨트롤한다(S232).

이와 동시에 상기 메인 제어부(530)는 이벤트 제어신호를 생성하고(S250), 생성된 이벤트 제어신호를 출력하여 이벤트 컨트롤러(410)를 컨트롤한다(S252).

본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.

본 발명은 무대 위의 공연자의 위치 및 형태를 뎁스 카메라를 통해 인식하여, 공연자의 위치 및 형태에 따라 무대조명, 출력컨텐츠 및 이벤트를 제어하는 컨트롤 장치 및 방법에 관한 것으로, 본 발명에 의하면, 공연자의 위치를 인식하여 이를 기반으로 조명장치를 제어하므로, 정확한 공연자 위치에 따라 정밀하게 조명을 제어할 수 있는 효과가 있다.

100 : 조명장치 110 : 조명구동부
200 : 뎁스카메라 300 : 스크린
310 : 디스플레이 컨트롤러 410 : 이벤트 컨트롤러
500 : 제어 컨트롤러 510 : 저장부
512 : 컨텐츠 데이터베이스 514 : 객체 인덱싱 데이터베이스
516 : 컨텐츠 제작 데이터베이스 520 : 영상 입력 모듈
530 : 메인 제어부 540 : 조명제어신호 출력부
550 : 디스플레이 제어신호 출력부 560 : 이벤트 제어신호 출력부

Claims (12)

1. 무대위의 객체에게 조명을 비추는 하나 이상의 조명장치와;
   상기 조명장치의 수평 회전 및 수직 회전을 조절하는 하나 이상의 조명구동부와;
   상기 객체를 촬상하여 상기 객체의 원근을 포함한 상기 객체의 위치 및 형태를 검출하는 뎁스카메라; 그리고
   상기 뎁스카메라로부터 입력된 촬상 데이터로부터 상기 객체의 위치 및 형태에 따라 상기 조명장치가 상기 객체를 조명하도록 상기 조명구동부를 구동하는 제어컨트롤러를 포함하여 구성됨을 특징으로 하는 객체 인덱싱을 통한 공연 시설물 컨트롤 시스템.
   
2. 제 1 항에 있어서,
   상기 제어컨트롤러는,
   상기 뎁스카메라로부터 촬상 데이터를 수신받는 영상입력모듈과;
   상기 영상입력모듈로부터 수신된 촬상데이터로부터 하나 이상의 객체에 대한 각각의 위치 및 형태를 포함하는 식별인자를 검출하고, 하나 이상의 객체에 조명장치를 할당하여, 상기 조명장치가 하나 이상의 객체를 조명하도록 조명제어신호를 생성하는 메인제어부; 그리고
   상기 메인제어부로부터 생성된 조명제어신호를 각 조명구동부로 전송하는 조명 제어신호 출력부를 포함하여 구성됨을 특징으로 하는 객체 인덱싱을 통한 공연 시설물 컨트롤 시스템.
   
3. 제 2 항에 있어서,
   상기 뎁스 카메라는,
   키넥트 방식의 뎁스 카메라임을 특징으로 하는 객체 인덱싱을 통한 공연 시설물 컨트롤 시스템.
   
4. 제 1 항에 있어서,
   공연중에 배경 이미지를 포함하는 컨텐츠를 출력하는 스크린과;
   상기 스크린에 출력될 컨텐츠의 출력신호를 제공하는 디스플레이 컨트롤러를 더 포함하여 구성되고:
   상기 제어 컨트롤러는,
   상기 뎁스카메라로부터 입력된 촬상 데이터로부터 상기 객체의 위치 및 형태에 따라 상기 스크린에 출력될 컨텐츠를 선별하고, 상기 선별된 컨텐츠가 출력되도록 디스플레이 제어신호를 생성함을 특징으로 하는 객체 인덱싱을 통한 공연 시설물 컨트롤 시스템.
   
5. 제 4 항에 있어서,
   상기 제어 컨트롤러는,
   상기 스크린을 통해 출력될 컨텐츠들을 저장하는 컨텐츠 데이터베이스와;
   시계열적으로 정리된 식별인자 별로 상기 스크린의 출력 컨텐츠와 출력 설정 내용이 포함된 객체 인덱싱 데이터베이스를 포함하여 구성되는 저장부; 그리고
   상기 메인제어부에 의해 생성된 디스플레이 제어신호를 상기 디스플레이 컨트롤러로 전송하는 디스플레이 제어신호 출력부를 더 포함하여 구성되며:
   상기 메인제어부는,
   상기 뎁스카메라로부터 입력된 촬상 데이터로부터 식별인자를 추출하고, 상기 추출된 식별인자를 상기 객체 인덱싱 데이터베이스에 저장된 식별인자와 대비하여, 출력 컨텐츠 및 출력설정내용을 독출하며, 상기 독출된 출력 컨텐츠 및 출력설정내용에 따라 디스플레이 제어신호를 생성함을 특징으로 하는 객체 인덱싱을 통한 공연 시설물 컨트롤 시스템.
   
6. 제 4 항에 있어서,
   상기 메인제어부는,
   상기 뎁스카메라로부터 입력된 촬상 데이터로부터 식별인자를 추출하고, 상기 추출된 식별인자를 상기 객체 인덱싱 데이터베이스에 저장된 식별인자와 대비하여, 무대에 설치된 이벤트장치의 구동을 제어하는 이벤트 제어신호를 생성함을 특징으로 하는 객체 인덱싱을 통한 공연 시설물 컨트롤 시스템.
   
7. 제 4 항 내지 제 6 항 중 어느 한 항에 있어서,
   상기 저장부는,
   상기 뎁스 카메라로부터 촬상된 예비영상이 저장되는 컨텐츠 제작 데이터베이스를 더 포함하여 구성되고:
   상기 메인제어부는,
   상기 컨텐츠 제작 데이터베이스에 저장된 예비영상을 사용자에게 제공하고, 사용자로부터 상기 예비영상 출력 중 특정 위치에서 스크린에 출력될 컨텐츠의 종류 및 출력 설정내용을 입력받으며, 해당 위치의 상기 예비영상으로부터 식별인자를 추출하여 사용자가 입력한 출력 컨텐츠의 종류 및 출력 설정내용을 매칭시켜 객체 인덱싱 정보를 생성함을 특징으로 하는 객체 인덱싱을 통한 공연 시설물 컨트롤 시스템.
   
8. 제 7 항에 있어서,
   상기 메인제어부는,
   사용자로부터 상기 예비영상 출력 중 특정 위치에서 이벤트 발생 설정 내용을 입력받고, 해당 위치의 상기 예비영상으로부터 식별인자를 추출하여 사용자가 입력한 이벤트 발생 설정내용을 매칭시켜 객체 인덱싱 정보에 포함시킴을 특징으로 하는 객체 인덱싱을 통한 공연 시설물 컨트롤 시스템.
   
9. (a) 뎁스카메라로부터 공연영상을 입력받는 단계와;
   (b) 메인 제어부가 수신된 상기 공연영상을 분석하여, 식별인자를 추출하는 단계와;
   (c) 상기 메인 제어부가 추출된 상기 식별인자에 따라 객체 위치를 판별하여, 상기 객체에 조명이 이루어지도록 조명제어신호를 생성하는 단계; 그리고
   (d) 상기 생성된 조명제어신호를 출력하여 조명구동부를 구동시키켜 조명장치를 컨트롤하는 단계를 포함하여 수행됨을 특징으로 하는 객체 인덱싱을 통한 공연 시설물 컨트롤 방법.
   
10. 제 9 항에 있어서,
    상기 식별인자는,
    객체의 위치 및 형태를 포함함을 특징으로 하는 객체 인덱싱을 통한 공연 시설물 컨트롤 방법.
    
11. 제 10 항에 있어서,
    (e) 상기 메인제어부가 식별인자를 설정된 객체 인덱싱 정보와 비교하여, 컨텐츠 설정 내용, 출력설정 내용 및 이벤트 설정 내용을 독출하는 단계와;
    (f) 상기 메인 제어부가 독출된 상기 컨텐츠 설정 내용, 출력설정 내용 및 이벤트 설정 내용에 따라 디스플레이 제어신호 및 이벤트 제어신호를 생성하는 단계를 더 포함하여 수행됨을 특징으로 하는 객체 인덱싱을 통한 공연 시설물 컨트롤 방법.
    
12. 제 11 항에 있어서,
    상기 객체 인덱싱 정보는,
    (A) 메인 컨트롤러의 컨텐츠제작 데이터베이스에 저장된 예비영상을 출력하는 단계와;
    (B) 사용자로부터 상기 예비영상 출력 중 특정 위치에 대하여 스크린을 통해 출력될 컨텐츠를 입력받는 단계와;
    (C) 사용자로부터 상기 제(B)단계의 출력 컨텐츠의 출력설정 내용을 입력받는 단계와;
    (D) 상기 제(B)단계에서 특정된 해당 위치의 상기 예비영상으로부터 식별인자를 추출하여 사용자가 입력한 출력 컨텐츠 및 출력설정을 매칭시키는 단계와;
    (E) 사용자로부터 상기 예비영상 출력 중 특정 위치에 대하여 이벤트 장치의 구동에 대한 이벤트발생설정을 입력받는 단계와;
    (F) 상기 제(E)단계에서 특정된 해당 위치의 상기 예비영상으로부터 식별인자를 추출하여 사용자가 입력한 상기 이벤트 발생 설정내용을 매칭시키는 단계; 그리고
    (G) 상기 제(D)단계와 상기 제(F)단계의 매칭정보를 통해 객체 인덱싱 정보를 생성하는 단계를 포함하여 수행되어 설정됨을 특징으로 하는 객체 인덱싱을 통한 공연 시설물 컨트롤 방법.

Images