KR20130064569A

KR20130064569A - 지휘자의 지휘동작 인식 기반 협연 지원방법 및 그 장치

Info

Publication number: KR20130064569A
Application number: KR1020110131247A
Authority: KR
Inventors: 김혜미; 김용완; 김진호; 김현빈; 구본기
Original assignee: 한국전자통신연구원
Priority date: 2011-12-08
Filing date: 2011-12-08
Publication date: 2013-06-18

Abstract

지휘자의 지휘동작 인식 기반 협연 지원방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 지휘자의 지휘동작 인식 기반 협연 지원방법은, 지휘자의 영상정보를 포함한 지휘정보를 획득하는 단계와, 획득된 지휘정보로부터 지휘자의 손을 검출하는 단계와, 검출된 손 움직임으로부터 지휘자의 지휘동작을 인식하는 단계와, 인식된 지휘자 지휘동작을 시청각 정보로 변환하여 연주자에게 제공하는 단계를 포함한다.

Description

지휘자의 지휘동작 인식 기반 협연 지원방법 및 그 장치 {Method and apparatus for assisting playing with performance using music conducting recognition of conductor}

본 발명의 일 양상은 디지털 콘텐츠 제공기술에 관한 것으로, 보다 상세하게는 실감 체험 공간 확장형 콘텐츠 제공기술에 관한 것이다.

협연에 있어서 섬세한 음악적 표현이나 전체적인 템포 조절 등의 역할을 하는 지휘자는 필수적이다. 또한 지휘자의 관점과 판단에 따라 같은 곡도 얼마든지 새로운 해석으로 다르게 연주될 수 있다. 따라서 연주의 완성도를 높이고 악곡을 올바르게 해석하는 지휘자의 역할은 매우 중요하다. 그러나 시각 장애인이 포함된 악단의 경우 연주자가 일반인과 같이 지휘자를 시각적으로 인식하기는 어렵다.

지휘자가 호루라기 등의 청각적 신호를 활용하여 시각 장애인들을 지휘하는 방식이 있다. 그러나, 청각적 신호를 기반으로 하는 지휘는 청중이 연주에 몰입하는 데 방해가 되고 소음이 된다. 이를 해결하기 위해 음성지원 헤드셋을 활용하여 연주 지시사항을 지휘자가 직접 음성을 통해 시각 장애인들에게 전달하는 방식이 제안되었다. 이러한 방식은 지휘자가 청중에게 청각적 방해를 주는 일 없이 연주자에게 지시할 수 있다는 장점이 있다. 그러나 지휘자는 지휘봉을 이용한 지휘법 이외에 음성을 통한 새로운 방식으로 지휘해야 하는 불편함이 따른다. 특히 시각 장애인들이 일반인이 속한 오케스트라의 일원으로서 협연을 하고자 하는 경우, 지휘자가 시각 장애인을 위한 음성 지휘와 일반인을 위한 지휘를 동시에 수행해야만 한다. 나아가 시각 장애인의 청각은 무척 예민하고 섬세하므로 불필요한 말을 삼가야 하고, 명확하고 간결하게 음성으로 지휘를 전달해야 하는 등 세심한 주의사항이 요구된다.

선행기술 한국 공개특허 제10-2011-0095532호에는 지휘로봇을 이용한 동영상 제어장치 및 방법에 대해, 미국 등록특허 5275082호에는 전자 타이밍 신호를 받아서 지휘자의 움직임에 따라 시각화된 영상을 제공하는 기술에 대해 각각 개시하고 있다.

일 양상에 따라, 지휘자의 지휘동작을 정확하게 인식하여 시각 장애인이 포함된 연주자들의 자연스러운 협연을 지원하기 위한, 지휘자의 지휘동작 인식 기반 협연 지원방법 및 그 장치를 제안한다.

일 양상에 따른 협연 지원방법은, 지휘자의 영상정보를 포함한 지휘정보를 획득하는 단계와, 획득된 지휘정보로부터 지휘자의 손을 검출하는 단계와, 검출된 손 움직임으로부터 지휘자의 지휘동작을 인식하는 단계와, 인식된 지휘자 지휘동작을 시청각 정보로 변환하여 연주자에게 제공하는 단계를 포함한다.

다른 양상에 따른 협연 지원장치는, 지휘자의 영상정보를 포함한 지휘정보를 획득하는 지휘자 지휘정보 획득부와, 획득된 지휘정보로부터 지휘자의 손을 검출하고, 검출된 지휘자 손 움직임으로부터 지휘자의 지휘동작을 인식하는 지휘자 지휘동작 인식부와, 인식된 지휘자 지휘동작을 시청각 정보로 변환하여 연주자에게 제공하는 지휘정보 변환부를 포함한다.

일 실시예에 따르면, 지휘자의 지휘동작을 정확히 인식하고 이를 토대로 시각 장애인에게 불편함 없이 지휘정보를 제공할 수 있어서, 시각 장애인이 포함된 연주자들의 자연스러운 협연을 지원할 수 있다.

즉, 시각 장애인 연주자가 볼 수 없어 전달받지 못했던 지휘자의 지시사항을 지휘자의 지휘동작 인식을 기반으로 음성정보 전달장치를 통해 전달받을 수 있어 시각 장애인들 간 또는 시각 장애인과 일반인 간의 협연이 가능하다.

나아가, 지휘자에게 요구되는 거추장스러운 장비의 추가나, 청중에게 방해가 되는 장비의 추가 또는 지휘자에게 요구되는 별도의 작업 없이도 시각 장애인이 포함된 연주자들의 자연스러운 협연을 지원할 수 있다.

도 1은 본 발명의 일 실시예에 따른 협연 지원장치의 구성도,
도 2는 본 발명의 일 실시예에 따른 협연 지원장치의 협연 지원방법을 도시한 흐름도,
도 3은 본 발명의 일 실시예에 따라 지휘 중인 지휘자의 상반신 영상을 획득하는 과정을 설명하기 위한 참조도,
도 4는 본 발명의 일 실시예에 따라 지휘자의 파트 진입 지시 인식을 위한 오케스트라 파트별 3차원 배치정보를 도시한 참조도,
도 5는 본 발명의 일 실시예에 지휘자로부터 악곡의 박자 인식을 위한 박자별 지휘법을 도시한 참조도이다.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 협연 지원장치(1)의 구성도이다.

도 1을 참조하면, 협연 지원장치(1)는 지휘자 지휘정보 획득부(10), 지휘자 지휘동작 인식부(12), 지휘정보 변환부(14) 및 저장부(16)를 포함한다.

본 발명의 협연 지원장치(1)는 지휘자의 지휘동작을 인식하여 이를 토대로 오케스트라 연주자에게 지휘자의 지휘정보를 제공하기 위한 기술이다. 연주자는 시각 장애인을 대상으로 할 수 있다. 나아가, 시각 장애인들이 일반인이 속한 오케스트라의 일원으로서 협연을 하고자 하는 경우에도, 시각 장애인이 지휘자의 지휘동작을 자연스럽게 인식할 수 있도록 하기 위한 협연 지원장치(1)를 제공한다.

이를 위해, 지휘자 지휘정보 획득부(10)가 지휘자의 영상정보를 포함한 지휘정보를 획득한다. 그리고, 지휘자 지휘동작 인식부(12)가 지휘자 지휘정보 획득부(10)로부터 획득된 지휘정보로부터 지휘자의 손을 검출하고, 검출된 지휘자 손 움직임으로부터 지휘자의 지휘동작을 인식한다. 이어서, 지휘정보 변환부(14)가 지휘자 지휘동작 인식부(12)로부터 인식된 지휘자 지휘동작을 시청각 정보로 변환하여 연주자에게 제공한다.

저장부(16)는 지휘자 지휘동작 인식부(12)를 통한 지휘자의 지휘동작 인식을 위해 필요한 정보들을 저장한다. 예를 들면, 얼굴과 손 간의 3차원 위치 관계정보와, 지휘자의 박자 별 지휘동작 정보와, 오케스트라 파트 별 3차원 배치정보를 저장한다. 또한, 저장부(16)는 지휘정보 변환부(14)를 통한 지휘정보 제공을 위해 필요한 정보들을 저장한다. 예를 들면, 지휘자 지휘동작 별로 매칭되는 음성 데이터 또는 영상 데이터를 저장한다.

도 2는 본 발명의 일 실시예에 따른 협연 지원장치의 협연 지원방법을 도시한 흐름도이다.

도 1 및 도 2를 참조하면, 협연 지원장치(1)는 지휘자 지휘정보 획득부(10)를 통해 지휘자의 영상정보를 포함한 지휘정보를 획득한다(200).

일 실시예에 따르면, 지휘자 지휘정보 획득부(10)는 지휘자를 촬영하여 지휘자 영상에 대한 컬러정보(color information)와 깊이정보(depth information)를 획득한다. 카메라는 사용자의 상반신 동작인식이 가능하도록 상반신 영상을 획득할 수 있는 위치에 설치되어, 지휘자를 촬영하여 컬러 영상과 깊이 영상을 획득한다(도 3 참조). 이를 위해 RGB-D 카메라를 이용할 수 있다. 예를 들면, 프라임센스(PrimeSense) 사의 모션 센서 기술을 사용할 수 있다. 이 기술을 활용함으로써 깊이정보뿐만 아니라 그에 해당하는 컬러정보까지 동시에 획득할 수 있다. 이때 깊이정보는 CMOS 센서와 깊이정보 획득 모듈의 고정된 상대적 위치관계를 통해 조정된 정보를 실시간으로 제공해준다.

이어서, 협연 지원장치(1)는 지휘자 지휘동작 인식부(12)를 통해 지휘정보로부터 지휘자의 손을 검출한다(210).

일 실시예에 따르면, 지휘자 지휘동작 인식부(12)는 지휘자 손 검출 단계(210)에서 손을 검출해내기 위해 오픈소스인 OpenNI나 Microsoft 사에서 배포한 Kinect SDK 등의 라이브러리를 활용한다.

다른 실시예에 따르면, 지휘자 지휘동작 인식부(12)는 지휘자 손 검출 단계(210)에서, 지휘자의 영상정보로부터 얼굴을 인식하고, 인식된 얼굴의 3차원 위치정보를 기초로 하여 저장부(16)에 저장된 얼굴과 손과의 3차원 위치에 관한 사전정보를 이용해 휴리스틱(heuristic)하게 지휘자의 손을 검출한다. 휴리스틱 방식은 사전 지식을 토대로 차례로 풀이를 산출해 나가는 발견적 방식 중 하나이다.

예를 들면, 지휘자 지휘동작 인식부(12)는 지휘자의 영상정보로부터 인식된 얼굴로부터의 거리가 전방으로 제1 임계값 이상이고 지휘자가 손을 최대한으로 뻗었을 때 손과 얼굴 간의 z축 거리가 제2 임계값 이하에 해당하는 영역 내에 위치하는 객체를 손 후보군으로 선정한다. 그리고, 손 후보군을 대상으로 데이터들을 연결시키고, 손 후보군 내 가장 큰 2개의 연결 성분(connected component)을 지휘자의 손으로 인식한다. 손 후보군으로 선정하는 단계에서, 지휘자를 촬영하는 카메라로부터 가장 가까운 손의 깊이정보로부터 미리 설정된 임계값 이하를 갖는 영역을 손 후보군으로 선정할 수 있다.

이어서, 협연 지원장치(1)는 지휘자 지휘동작 인식부(12)를 통해 지휘자 손 움직임으로부터 지휘자의 지휘동작을 인식한다(220). 일 실시예에 따르면 지휘자 지휘동작 인식부(12)는 지휘자 손 움직임으로부터 악곡의 박자, 빠르기, 셈여림 및 파트 진입 지시를 인식한다.

일 실시예에 따르면, 지휘자 지휘동작 인식부(12)는 지휘자 손의 이동속도 값을 계산하여 악곡의 빠르기를 인식한다. 그리고, 지휘자 손이 아래 방향으로 움직이는 경우를 (-)로, 위 방향으로 움직이는 경우를 (+)로 설정하고, (-) 방향에서 (+) 방향으로 바뀌는 순간부터 다음 (-) 방향에서 (+) 방향으로 바뀌는 순간 사이를 한 박자로 인식하여 악곡의 박자를 인식한다. 이를 위한 박자별 지휘법은 도 5에 도시된 바와 같다.

다른 실시예에 따르면, 지휘자 지휘동작 인식부(12)는 셈여림 지시 인식을 위하여 손 움직임의 진폭 값을 계산하고, 진폭 값이 미리 설정된 임계값 이상일 경우 셈(강함)으로 인식하고, 임계값 이하일 경우 여림(약함)으로 인식한다.

또 다른 실시예에 따르면, 지휘자 지휘동작 인식부(12)는 지휘자의 왼손 움직임을 분석하여, 왼손이 소정의 기간 동안 미리 설정된 임계값 이상의 속도와 일정 가속도를 가지고 상승 또는 하강시 지휘자가 크레센도 또는 디크레센도를 지시하고 있음을 인식한다.

일반적으로 협연 시 각 악기별 파트가 일정 시간 동안 쉬다 연주를 다시 함께하는 경우 지휘자는 손으로 해당 파트를 가리켜 연주를 시작할 것을 지시한다. 이러한 지휘자의 파트 지시를 인식하기 위해 지휘자 지휘동작 인식부(12)는 지휘자의 시선 방향을 기준으로 손이 가리키는 방향을 추적한다. 그리고, 손 방향 추적 결과와 저장부(16)에 저장된 오케스트라 파트별 3차원 배치정보를 이용하여 지휘자의 파트 진입 지시를 인식한다. 오케스트라 파트별 3차원 배치정보는 도 4에 도시된 바와 같으며, 깊이정보까지 포함된다.

이어서, 협연 지원장치(1)는 지휘정보 변환부(14)를 통해 지휘자 지휘동작을 시청각 정보로 변환하여 연주자에게 제공한다(230). 이때, 연주자는 시각 장애인을 포함할 수 있다.

일 실시예에 따르면, 지휘정보 변환부(14)는 지휘자 지휘동작 인식 단계(220)에서 인식된 지휘동작을 시청각정보로 변환하고 변환된 시청각정보를 전달장치를 통해 시각 장애인에게 전달한다.

일 실시예에 따르면, 지휘 정보를 전달하는 전달장치는 음성정보 전달장치이다. 지휘 정보 제공을 위해 저장부(16)는 지휘자 지휘동작 별로 매칭되는 음성 데이터들을 저장한다. 지휘정보 변환부(14)는 저장부(16)에 저장된 음성 데이터들에서 지휘자 지휘동작에 해당하는 음성 데이터를 검색하여 검색된 음성 데이터를 연주자가 소지한 음성정보 전달장치를 통해 연주자에게 제공한다. 음성정보 전달장치는 이어폰, 헤드폰 또는 스피커 등 음성정보를 전달할 수 있는 모든 장치를 포함한다. 음성정보 전달장치의 음성정보 전달 실시예를 들면, 규칙적인 박자 정보는 악곡의 전체 박자의 종류에 상관없이 매 한 박자마다 비프음을 재생하여, 연주자에게 악곡의 빠르기를 전달한다. 이에 따라, 연주자는 음성정보 전달을 통해 연주의 빠르기와 셈여림 및 지휘자의 해석을 명확하게 전달받을 수 있다.

다른 실시예에 따르면, 지휘 정보를 전달하는 전달장치는 시각정보 전달장치이다. 시각정보 전달장치는 매 프레임마다 검출된 지휘자의 손 궤적을 시각정보를 통해 시각 장애인에게 전달한다. 이를 위해 인공망막을 이용할 수 있다. 인공망막에는 검출된 손 부분을 밝게 표현하고, 그 외 부분을 어둡게 표현하여 이진화된 영상을 전달한다. 이를 눈에 이식된 전극에 전달하면 전극은 시신경을 통해 이를 뇌까지 전달해 영상의 모습을 형성할 수 있게 된다. 인공망막을 이식한 연주자는 실제로 지휘자를 볼 수는 없지만 지휘자의 지휘를 음성으로만 전달받는 수준을 넘어서서 지휘자의 손의 궤적뿐만 아니라 섬세한 움직임까지 보게 되어 지휘자의 지시를 상세히 이해할 수 있다.

도 3은 본 발명의 일 실시예에 따라 지휘 중인 지휘자의 상반신 영상을 획득하는 과정을 설명하기 위한 참조도이다.

도 1 및 도 3을 참조하면, 지휘자 지휘정보 획득부(10)는 지휘자를 촬영하여 지휘자 영상에 대한 컬러정보와 깊이정보를 획득한다. 카메라는 도 3에 도시된 바와 같이, 사용자의 상반신 동작인식이 가능하도록 상반신 영상 획득이 가능한 위치에 장착되어 사용자를 촬영하고 컬러 영상 및 깊이 영상을 획득한다. 이를 위해 RGB-D 카메라를 이용할 수 있다. 예를 들면, 프라임센스(PrimeSense) 사의 모션 센서 기술을 사용할 수 있다. 이 장비를 활용함으로써 깊이정보뿐만 아니라 그에 해당하는 컬러정보를 동시에 획득할 수 있다. 이때 깊이정보는 CMOS 센서와 깊이정보 획득 모듈의 고정된 상대적 위치관계를 통해 조정된 정보를 실시간으로 제공해준다.

도 4는 본 발명의 일 실시예에 따라 지휘자의 파트 진입 지시 인식을 위한 오케스트라 파트별 3차원 배치정보를 도시한 참조도이다.

도 1 및 도 4를 참조하면, 협연을 위해서는 악기 별로 배치가 다르다. 예를 들면, 타악기, 금관악기, 목관악기 또는 현악기 별로 지휘자를 기준으로 악기 배치를 다르게 지정할 수 있다. 본 발명에 따르면, 오케스트라 파트 별로 깊이정보를 포함하는 3차원 배치정보를 저장부(16)에 저장한다. 지휘자 지휘동작 인식부(12)는 지휘자의 시선 방향을 기준으로 손이 가리키는 방향을 추적하고, 손 방향 추적결과와 저장부(16)에 저장된 오케스트라 파트별 3차원 배치정보를 이용하여 지휘자의 파트 진입 지시를 인식한다.

도 5는 본 발명의 일 실시예에 지휘자로부터 악곡의 박자 인식을 위한 박자별 지휘법을 도시한 참조도이다.

도 1 및 도 5를 참조하면, 지휘자의 박자별 지휘법은 ① 2/4박자, ② 3/4박자, ③ 4/4박자, ④ 5/4박자, ⑤ 6/8박자 등 박자 별로 지휘동작이 다르다. 지휘자 지휘동작 인식부(12)는 지휘자 손의 이동속도 값을 계산하여 악곡의 빠르기를 인식한다. 그리고, 지휘자 손이 아래 방향으로 움직이는 경우를 (-)로, 위 방향으로 움직이는 경우를 (+)로 설정하고, (-) 방향에서 (+) 방향으로 바뀌는 순간부터 다음 (-) 방향에서 (+) 방향으로 바뀌는 순간 사이를 한 박자로 인식하여 악곡의 박자를 인식한다.

이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

1 : 협연 지원장치
10 : 지휘자 지휘정보 획득부
12 : 지휘자 지휘동작 인식부
14 : 지휘정보 변환부
16 : 저장부

Claims

지휘자의 영상정보를 포함한 지휘정보를 획득하는 단계;
상기 획득된 지휘정보로부터 지휘자의 손을 검출하는 단계;
상기 검출된 손 움직임으로부터 지휘자의 지휘동작을 인식하는 단계; 및
상기 인식된 지휘자 지휘동작을 시청각 정보로 변환하여 연주자에게 제공하는 단계;
를 포함하는 것을 특징으로 하는 협연 지원방법.
제 1 항에 있어서, 상기 지휘자의 영상정보를 포함한 지휘정보를 획득하는 단계는,
RGB-D 카메라를 통해 지휘자를 촬영하여 지휘자 영상에 대한 컬러정보와 깊이정보를 획득하는 것을 특징으로 하는 협연 지원방법.
제 1 항에 있어서, 상기 지휘자의 손을 검출하는 단계는,
지휘자의 영상정보로부터 얼굴을 인식하고, 인식된 얼굴의 3차원 위치정보를 기초로 하여 얼굴과 손과의 3차원 위치에 관한 사전정보를 이용해 휴리스틱하게 지휘자의 손을 검출하는 것을 특징으로 하는 협연 지원방법.
제 3 항에 있어서, 상기 지휘자의 손을 검출하는 단계는,
지휘자의 영상정보로부터 인식된 얼굴로부터의 거리가 전방으로 제1 임계값 이상이고 지휘자가 손을 최대한으로 뻗었을 때 손과 얼굴 간의 z축 거리가 제2 임계값 이하에 해당하는 영역 내에 위치하는 객체를 손 후보군으로 선정하는 단계;
손 후보군을 대상으로 데이터들을 연결시키는 단계; 및
손 후보군 내 가장 큰 2개의 연결 성분을 지휘자의 손으로 인식하는 단계;
를 포함하는 것을 특징으로 하는 협연 지원방법.
제 4 항에 있어서, 상기 손 후보군으로 선정하는 단계는,
지휘자를 촬영하는 카메라로부터 가장 가까운 손의 깊이정보로부터 미리 설정된 임계값 이하를 갖는 영역을 손 후보군으로 선정하는 것을 특징으로 하는 협연 지원방법.
제 1 항에 있어서, 상기 검출된 손 움직임으로부터 지휘자의 지휘동작을 인식하는 단계는,
상기 검출된 손 움직임으로부터 악곡의 박자, 빠르기, 셈여림 및 파트 진입 지시 중 적어도 하나를 인식하는 것을 특징으로 하는 협연 지원방법.
제 6 항에 있어서, 상기 검출된 손 움직임으로부터 지휘자의 지휘동작을 인식하는 단계는,
지휘자 손의 이동속도 값을 계산하여 악곡의 빠르기를 인식하는 단계; 및
지휘자 손이 아래 방향으로 움직이는 경우를 (-)로, 위 방향으로 움직이는 경우를 (+)로 설정하고, (-) 방향에서 (+) 방향으로 바뀌는 순간부터 다음 (-) 방향에서 (+) 방향으로 바뀌는 순간 사이를 한 박자로 인식하여 악곡의 박자를 인식하는 단계;
를 포함하는 것을 특징으로 하는 협연 지원방법.
제 6 항에 있어서, 상기 검출된 손 움직임으로부터 지휘자의 지휘동작을 인식하는 단계는,
지휘자의 셈여림 지시 인식을 위하여 지휘자 손 움직임의 진폭 값을 계산하고, 진폭 값이 미리 설정된 임계값 이상일 경우 셈으로 인식하고, 미리 설정된 임계값 이하일 경우 여림으로 인식하는 것을 특징으로 하는 협연 지원방법.
제 6 항에 있어서, 상기 검출된 손 움직임으로부터 지휘자의 지휘동작을 인식하는 단계는,
지휘자의 왼손 움직임을 분석하여, 왼손이 소정의 기간 동안 미리 설정된 임계값 이상의 속도와 일정 가속도를 가지고 상승 또는 하강시 지휘자가 크레센도 또는 디크레센도를 지시하고 있음을 인식하는 것을 특징으로 하는 협연 지원방법.
제 6 항에 있어서, 상기 검출된 손 움직임으로부터 지휘자의 지휘동작을 인식하는 단계는,
지휘자의 시선 방향을 기준으로 손이 가리키는 방향을 추적하는 단계; 및
상기 손 방향 추적 결과와, 미리 저장된 오케스트라 파트 별 3차원 배치정보를 이용하여 지휘자의 파트 진입 지시를 인식하는 단계;
를 포함하는 것을 특징으로 하는 협연 지원방법.
제 10 항에 있어서, 상기 검출된 손 움직임으로부터 지휘자의 지휘동작을 인식하는 단계는,
지휘자의 손이 소정의 파트를 미리 설정된 시간 이상동안 지시하는 경우 해당 파트를 지시하는 것으로 인식하는 것을 특징으로 하는 협연 지원방법.
제 1 항에 있어서, 상기 인식된 지휘자 지휘동작을 시청각 정보로 변환하여 연주자에게 제공하는 단계는,
지휘자 지휘동작 별로 매칭되는 음성 데이터들을 미리 저장하는 단계; 및
상기 미리 저장된 음성 데이터들 중에서 상기 인식된 지휘자 지휘동작에 해당하는 음성 데이터를 검색하여 검색된 음성 데이터를 연주자가 소지한 음성정보 전달장치를 통해 연주자에게 제공하는 단계;
를 포함하는 것을 특징으로 하는 협연 지원방법.
제 1 항에 있어서, 상기 인식된 지휘자 지휘동작을 시청각 정보로 변환하여 연주자에게 제공하는 단계는,
상기 인식된 지휘자 지휘동작을 시각정보 전달장치를 통해 연주자에게 제공하는 것을 특징으로 하는 협연 지원방법.
제 13 항에 있어서, 상기 인식된 지휘자 지휘동작을 시청각 정보로 변환하여 연주자에게 제공하는 단계는,
상기 인식된 지휘자 지휘동작에 대해, 인식된 손 부분을 밝게 표현하고, 그 이외 부분을 어둡게 표현하여 이진화된 영상을 인공망막을 이식한 연주자에게 제공하는 것을 특징으로 하는 협연 지원방법.
지휘자의 영상정보를 포함한 지휘정보를 획득하는 지휘자 지휘정보 획득부;
상기 획득된 지휘정보로부터 지휘자의 손을 검출하고, 검출된 지휘자 손 움직임으로부터 지휘자의 지휘동작을 인식하는 지휘자 지휘동작 인식부; 및
상기 인식된 지휘자 지휘동작을 시청각 정보로 변환하여 연주자에게 제공하는 지휘정보 변환부;
를 포함하는 것을 특징으로 하는 협연 지원장치.
제 15 항에 있어서, 상기 지휘자 지휘정보 획득부는,
RGB-D 카메라를 통해 지휘자를 촬영하여 지휘자 영상에 대한 컬러정보와 깊이정보를 획득하는 것을 특징으로 하는 협연 지원장치.
제 15 항에 있어서, 상기 지휘자 지휘동작 인식부는,
지휘자의 영상정보로부터 얼굴을 인식하고, 인식된 얼굴의 3차원 위치정보를 기초로 하여 얼굴과 손과의 3차원 위치에 관한 사전정보를 이용해 휴리스틱하게 지휘자의 손을 검출하는 것을 특징으로 하는 협연 지원장치.
제 15 항에 있어서, 상기 지휘자 지휘동작 인식부는,
상기 검출된 지휘자 손 움직임으로부터 악곡의 박자, 빠르기, 셈여림 및 파트 진입 지시 중 적어도 하나를 인식하는 것을 특징으로 하는 협연 지원장치.
제 15 항에 있어서,
지휘자 지휘동작 별로 매칭되는 음성 데이터들을 저장하는 저장부; 를 더 포함하고,
상기 지휘정보 변환부는 상기 저장부에 저장된 음성 데이터들 중에서 상기 지휘자 지휘동작 인식부를 통해 인식된 지휘자 지휘동작에 해당하는 음성 데이터를 검색하여 검색된 음성 데이터를 연주자가 소지한 음성정보 전달장치를 통해 연주자에게 제공하는 것을 특징으로 하는 협연 지원장치.
제 15 항에 있어서, 상기 지휘정보 변환부는,
상기 인식된 지휘자 지휘동작에 대해, 인식된 손 부분을 밝게 표현하고, 그 이외 부분을 어둡게 표현하여 이진화된 영상을 시각정보 전달장치를 통해 인공망막을 이식한 연주자에게 제공하는 것을 특징으로 하는 협연 지원장치.