KR102165996B1

KR102165996B1 - 전자악기 제어 방법 및 장치, 전자악기 시스템

Info

Publication number: KR102165996B1
Application number: KR1020140121403A
Authority: KR
Inventors: 임지순; 조은비; 손민식
Original assignee: 임지순
Priority date: 2014-09-12
Filing date: 2014-09-12
Publication date: 2020-10-15
Also published as: KR20160031366A

Abstract

본 발명의 일 실시예는 유체를 수용하는 수용부를 촬영한 영상을 포함하는 상기 수용부에 관련된 신호를 획득하는 단계; 상기 신호로부터 상기 유체에 소정의 대상체가 접촉하는 위치 정보를 획득하고, 상기 위치 정보에 대응하는 음의 파라미터를 생성하는 단계; 및 상기 파라미터에 기초하여 오디오 신호를 출력하는 단계;를 포함하는 전자 악기 제어 방법을 개시한다.

Description

전자악기 제어 방법 및 장치, 전자악기 시스템{Apparatus and method of controlling an electric instrument and the electric instrument system}

본 발명의 실시예들은 전자악기 제어 방법 및 장치, 전자악기 시스템에 관한 것이다.

신시사이저로 대표되는 전자 악기에는 물리적인 매개체를 통해 음이 발생되는 악기와 전자적인 방법으로 음이 발생되는 악기로 나뉜다. 특히 MIDI(Musical Instrument Digital Interface)로 대표되는 전자 악기 표준 신호 규격은 음의 제어에 대한 매개 변수를 대부분 7bit 를 가지는 부호로 변환하여 전송함으로써 악기의 음원부와 제어부를 독립적으로 분리시키는 데에 기술적으로 기여하였다. 다양한 센서 하드웨어 기술을 이용하여 악기의 제어부를 구현하고, 제어부의 정보를 전자 악기 표준 신호 규격을 통해 음원부로 전송하는 기술을 통해, 전자 관악기나 전자 드럼과 같은 악기가 만들어졌고 시장의 일부를 장악하고 있다.

본 발명의 실시예들은 청각, 촉각, 시각적 효과를 부여할 수 있는 전자악기 제어 방법, 장치, 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램, 및 전자악기 시스템을 제공한다.

본 발명의 다른 실시예는 유체를 수용하는 수용부를 촬영한 영상을 포함하는 상기 수용부에 관련된 신호를 획득하는 신호 획득부; 상기 수용부에 관련된 신호로부터 상기 유체에 소정의 대상체가 접촉하는 위치 정보를 획득하고, 상기 위치 정보에 대응하는 음의 파라미터를 생성하는 파라미터 생성부; 및 상기 파라미터에 기초하여 오디오 신호를 출력하는 오디오 신호 출력부;를 포함하는 전자 악기 제어 장치를 개시한다.

본 발명의 또 다른 실시예는 유체를 수용할 수 있는 수용부; 상기 수용부의 적어도 일 단면을 촬영하는 카메라를 포함하며, 상기 카메라에 의해 촬영된 영상을 포함하는 상기 수용부에 관련된 신호를 획득하는 센싱부; 상기 센싱부에 의해 획득된 신호에 기초하여 상기 유체에 소정의 대상체가 접촉하는 위치 정보를 획득하고, 상기 위치 정보에 대응되는 음의 파라미터를 생성하고, 상기 파라미터에 기초하여 오디오 신호를 생성 및 출력하는 제어부; 및 상기 오디오 신호를 수신하고 상기 오디오 신호에 기초하여 음향을 출력하는 출력 장치;를 포함하는 전자 악기 시스템을 개시한다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 실시예들에 관한 전자악기 제어 방법 및 장치, 전자악기 시스템은 사용자가 느끼는 촉각적 효과를 청각적 효과로 표현함으로써 사용자에게 다양한 감각적 만족을 제공한다.

본 발명의 실시예들에 관한 전자악기 제어 방법 및 장치, 전자악기 시스템은 좀 더 쉽고 직관적인 전자 악기에 대한 사용자의 니즈에 부합한다.

본 발명의 실시예들에 관한 전자 악기 시스템은 연속적인 물리적 매질을 이용하여 복수의 음을 발생시킴으로써, 사용자에게 동시에 복수의 음의 높이와 크기를 동시에 실시간으로 제어할 수 있는 연주의 자유도를 제공한다.

도 1은 본 발명의 일 실시예에 따른 전자악기 시스템(1)을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 일 실시예에 따른 수용부(10)와 센싱부(20)의 예를 상세하게 도시한 것이다.
도 3은 도 2에 도시된 센싱부(20)의 변형예를 도시한 것이다.
도 4은 본 발명의 일 실시예에 따른 제어부(30)의 구성을 도시한 블록도이다.
도 5는 센싱부(20)에 촬영된 영상의 예를 도시한 것이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.

도 1은 본 발명의 일 실시예에 따른 전자악기 시스템(1)을 개략적으로 나타낸 구성도이다.

일 실시예에 따른 전자악기 시스템(1)은 유체에 접촉하는 대상체의 위치를 기반으로, 음향을 생성하여 출력한다. 일 실시예에 따른 전자악기 시스템(1)에 따르면, 사용자는 신체 일부, 또는 소정의 물체를 유체에 접촉시킴으로써, 직관적으로 음향을 생성 및 출력시킬 수 있다.

일 실시예에 따라 제공되는 전자악기 시스템(1)은 유체를 수용하는 수용부(10), 수용부를 촬영하는 카메라를 포함하여 각종 신호를 감지하는 센싱부(20), 감지된 신호에 기초하여 오디오 신호를 생성함으로써, 전자악기 시스템의 출력 음향을 생성하는 제어부(30), 및 상기 오디오 신호에 기초하여 음향을 출력하는 출력 장치(40)를 포함한다.

일 실시예에 따른 수용부(10)는 유체를 수용한다. 사용자는 오디오 신호를 발생시키기 위해 수용부(10)에 수용된 유체에 소정의 대상체를 접촉시킬 수 있다. 상기 대상체는, 사용자의 신체 일부, 예컨대 손가락일 수 있으나, 이에 한정하지 않으며, 막대기 등의 물체일 수도 있다.

일 실시예에 따른 센싱부(20)는 수용부(10)로부터 다양한 신호를 센싱할 수 있다. 일 실시예에 따른 센싱부(20)는 수용부(10)를 촬영하는 카메라를 포함할 수 있다. 일 실시예에 따른 센싱부(20)는 수용부(10)를 다양한 각도에서 촬영할 수 있도록 복수의 카메라를 포함할 수 있다. 일 실시예에 따른 센싱부(20)는 수용부(10)에 수용된 유체 표면의 진동을 감지하는 진동 센서를 포함할 수 있다. 센싱부(20)는 유체 내에 구비되어 대상체까지의 거리를 측정하는 하나 이상의 초음파 센서, 또는 적외선 센서를 포함할 수 있다. 센싱부(20)는 대상체가 유체에 접촉되었음을 인식할 수 있도록 적절한 위치에 설치된 압력 센서를 포함할 수 있다. 센싱부(20)는 유체 내의 전류장을 인식하는 전류장 센서를 포함할 수 있다. 센싱부(20)는 센싱된 각종 신호를 제어부(30)로 출력한다.

한편, 카메라로 수용부(10)를 촬영하였을 때 대상체가 식별될 수 있도록, 수용부(10)는 소정의 임계값 이상의 투명도를 갖는 물질로 형성될 수 있다. 또한, 수용부(10)에 수용되는 유체 역시 소정의 임계값 이상의 투명도를 갖는 물질로 구비될 수 있다. 예를 들어, 유체는 물일 수 있다.

일 실시예에 따른 제어부(30)는 센싱부(20)가 인식한 신호를 획득하고, 신호를 분석하여 대상체의 위치 정보를 획득하고, 위치 정보에 기반하여 오디오 신호를 생성한다. 예를 들어, 제어부(30)는 신호를 분석하여 위치 정보를 획득하고, 위치 정보에 기반하여 음(sound)에 대한 파라미터를 설정하고, 파라미터에 기초하여 오디오 신호를 생성한다 .

위치 정보는 유체 표면을 기준으로 하는 평면 좌표 정보 및 깊이 정보를 포함할 수 있다. 위치 정보는 카메라에 의해 촬영된 영상의 처리에 의해 얻어지거나, 초음파 센서, 또는 적외선 센서의 센싱값으로부터 얻어지거나, 압력 센서의 센싱값으로부터 얻어질 수 있다. 또는 복수의 압력 센서가 구비된 경우, 임계값 이상의 수압이 감지되는 압력 센서의 위치로부터 대상체의 위치 정보가 얻어질 수 있다. 또는 전류장 센서로부터 전류장의 왜곡이 감지되면, 전류장 왜곡 위치 내지는 왜곡 패턴으로부터 대상체의 위치 정보가 얻어질 수 있다.

일 실시예에 따른 출력 장치(40)는 오디오 신호를 획득하고, 음향(sound)을 출력한다. 출력 장치(40)로서, 일반적인 출력 장치가 사용될 수 있다.

한편, 일 실시예에 따르면 상술한 것과 같이 제어부(30)가 오디오 신호를 출력하고 이를 획득한 출력 장치(40)가 음향을 출력하도록 설계될 수 있지만, 변형도 가능하다. 예를 들어, 제어부(30)는 파라미터 세트만을 출력하고, 이를 획득한 출력 장치(40)가 파라미터 세트에 기반하여 음향을 출력하도록 설계될 수도 있다. 음원 소스가 제어부(30)에 마련되는 경우, 제어부(30)는 직접 음원 소스를 이용하여 오디오 신호를 생성할 수 있지만, 음원 소스가 출력 장치(40)에 마련되는 경우, 예를 들어 출력 장치가 신디사이저인 경우, 제어부(30)는 음원에 대한 파라미터 세트만을 제공하고, 출력 장치가 해당 파라미터 세트에 대응되는 음향을 출력할 수 있다. 이와 같은 수준의 설계 변경은 본 발명의 실시예들에 적용 가능하다.

도 1에 도시되지 않았으나, 수용부(10)에는 별도의 가이드 부재가 마련될 수 있다. 가이드 부재는 사용자에게 수용부(10) 상에서의 위치 기준을 안내한다. 예를 들어, 가이드 부재는 수용부(10)의 일 축을 따라 나열되며, 상기 나열된 가이드 부재는 파라미터의 기준이 되는 지점마다 설치되어 파라미터 예측 가능성을 제공한다. 예를 들어 파라미터가 음계인 경우, 어느 위치에 대상체를 접촉시키면 어느 음계의 음이 발생될 것인지를 사용자가 예측할 수 있도록 한다.

도 1에 도시되지 않았으나, 전자악기 시스템(1)은 종래기술에서와 같이 음향의 파라미터를 직접 조작할 수 있는 사용자 조작부를 더 포함할 수 있다. 사용자 조작부는 수용부(10)와는 독립적으로 구비되는 것일 수 있다.

도 2는 본 발명의 일 실시예에 따른 수용부(10)와 센싱부(20)의 예를 상세하게 도시한 것이다.

도 2를 참조하면, 수용부(10)에는 유체가 담기고, 센싱부(도 1의 20)는 수용부(10)로부터 각종 신호를 센싱한다. 도 2를 참조하면, 센싱부(20)로써 카메라(21) 및 진동센서(22)가 구비된 것을 볼 수 있으며, 센싱부(20)는 더 많은 센서들을 구비할 수도 있음은 물론이다.

먼저, 카메라(21)는 유체가 담긴 수용부(10)를 촬영한다. 도 2를 참조하면, 카메라(21)는 수용부(10)를 정면에서 촬영할 수 있다. 이와 같이 정면에서 촬영된 영상을 분석하면, 유체 표면을 기준으로 대상체(도 2에서는 손가락)의 깊이 정보와, 대상체의 1차원 위치 정보가 획득될 수 있다.

도 2에는 하나의 카메라(21)만 도시되었으나, 일 실시예에 따른 전자악기 시스템은 수용부(10)를 아래 방향에서 촬영하는 카메라 및/또는 측면에서 촬영하는 카메라를 더 포함할 수 있다. 이와 같이 여러 방향에서 수용부(10)를 촬영함에 따라, 대상체의 위치 정보를 다양한 기준으로 획득할 수 있다.

위치 정보는 유체의 표면을 기준으로 하는 깊이 정보(z), 및 유체의 표면을 평면으로 하는 2차원 좌표(x,y) 중 적어도 하나의 좌표 정보를 포함할 수 있다. 예컨대, 도 2에 도시된 카메라(21)를 이용하여 촬영한 영상으로부터는, 깊이 정보(z) 및 유체의 표면을 평면으로 하는 2차원 좌표 중 하나의 좌표 정보(x)를 획득할 수 있다.

효과적인 위치 정보의 획득을 위하여, 카메라(21)의 종류는 다양하게 설정 가능하다. 예컨대, 일반 카메라가 사용될 수 있을 뿐 아니라 적외선 카메라가 사용될 수 있다. 카메라가 적외선 센싱을 응용한 깊이 카메라로 구비되는 경우, 촬영된 영상으로부터 깊이 정보(z) 및 유체의 표면을 평면으로 하는 2차원 좌표 중 카메라(21)에 의해 촬영되는 영상의 가로 방향(x) 좌표를 획득할 수 있을 뿐 아니라, 적외선 센싱으로부터 얻어진 깊이 정보로부터 카메라(21)를 기준으로 깊이 축에 해당하는 y좌표 정보까지 획득할 수 있다.

진동센서(22)는 유체 표면의 진동을 센싱한다. 진동 센서(22)는 자이로 센서, 가속도 센서, 각속도 센서 등으로 대체될 수도 있다. 진동 센서(22)는 유체에 젖지 않도록 방수 처리되거나, 밀폐 처리될 수 있고, 진동 센서(22)를 유체에 띄우기 위한 별도의 구성, 예컨대 공기주머니, 스티로폼 등을 구비할 수 있다.

도 2에 도시되지 않았으나, 센싱부(20)는 유체 내에 구비되어 대상체까지의 거리를 측정하는 하나 이상의 초음파 센서, 또는 적외선 센서를 더 포함할 수 있다. 센싱부(20)는 대상체가 유체에 접촉되었음을 인식할 수 있도록 적절한 위치에 설치된 압력 센서를 더 포함할 수 있다. 압력 센서는 예를 들어 수용부(10)의 바닥에 일정 간격으로 설치될 수 있다. 임계값 이상의 수압이 감지된 압력 센서의 위치로부터, 대상체의 위치 정보가 획득될 수 있다.

도 2에 도시되지 않았으나, 수용부(10)의 일 벽면에는 유체를 향하여 빛을 조사하는 조명 패널이 구비될 수 있다. 이와 같이 유체에 빛이 조사되면 카메라(21)를 통해 취득된 영상에서 대상체의 식별이 더 용이해지는 효과가 있다. 예를 들어, 대상체가 있는 부분은 좀 더 어둡게 나타나며, 나머지 영역은 좀 더 밝게 나타나게 되어, 에지 인식의 정확성이 향상되는 효과가 있다.

카메라(21)에 의해 획득되는 영상 및 이의 분석 방법에 대하여서는 도 5와 함께 후술한다.

도 3은 도 2에 도시된 센싱부(20)의 변형예를 도시한 것이며, 도 2에 관한 설명과 중복되는 내용은 생략하기로 한다. 따라서 이하에서 도 3과 관련하여 설명되지 않은 것이라도 도 2에 관하여 이상에서 기술된 내용이 도 3에도 적용될 수 있다.

도 3을 참조하면, 수용부(10)에는 유체가 담기고, 센싱부(도 1의 20)는 수용부(10)로부터 각종 신호를 센싱한다. 도 3을 참조하면, 센싱부(20)로써 카메라(21) 및 진동센서(22)가 구비된 것을 볼 수 있으며, 센싱부(20)는 더 많은 센서들을 구비할 수도 있음은 물론이다.

도 3을 참조하면, 수용부(10)의 정면을 촬영하는 카메라(21)의 위치를 변경하기 위해서, 수용부(10)의 정면 모습을 아래 방향으로 반사시키는 반사부재(50)가 더 구비될 수 있다. 반사부재(50)로 인해 수용부(10)의 정면 모습을 아래에서도 촬영 가능하며, 이에 따라 더 효과적인 전자악기 시스템의 구성이 가능하다.

예를 들어, 카메라(21)를 수용부(10)의 아래에 두고, 수용부(10)와 카메라(21)를 고정시켜주는 틀을 구비하게 되면 전자악기의 높이는 높아지더라도 전자악기가 차지하는 바닥 면적이 현저히 줄어들게 된다. 또한 카메라(21)의 위치를 고정하는 것이 더 수월해지며, 사용자에 의해 위치가 변동될 가능성이 더 줄어들게 된다.

또한, 수용부(10)보다 아래 위치에, 반사부재(50)를 통해 반사되는 수용부(10)의 정면 모습을 촬영하는 카메라(21)와, 수용부(10)를 아래에서 바라보는 모습을 촬영하는 별도의 카메라(미도시)를 나란히 구비할 수도 있고, 이에 따르면 본 발명의 전자악기 시스템이 차지하는 공간을 줄일 수 있고, 다양한 공간 활용이 가능해진다.

도 4은 본 발명의 일 실시예에 따른 제어부(30)의 구성을 도시한 블록도이다.

도 4를 참조하면, 제어부(30)는 센싱부(20)로부터 신호를 획득하는 신호 획득부(310), 획득된 신호에 기초하여 음(sound) 파라미터를 생성하는 파라미터 생성부(320), 음 파라미터에 기초하여 최종 오디오 신호를 생성 및 출력하는 오디오 신호 출력부(330)를 포함한다.

일 실시예에 따른 신호 획득부(310)는 센싱부(20)로부터 영상을 획득할 수 있다. 일 실시예에 따른 신호 획득부(310)는 센싱부(20)로부터 유체 표면의 진동 센싱값을 획득할 수 있다.

파라미터 생성부(320)는 신호 획득부(310)에 의해 획득된 영상을 분석하여, 대상체의 위치 정보를 생성하고, 위치 정보에 기초하여 음 파라미터를 생성한다.

파라미터 생성부(320)는 유체 표면을 기준으로 서로 이격된 대상체는 별도의 대상체로 인식할 수 있다. 예를 들어, 파라미터 생성부(320)는 한 사람이 여러 개의 손가락을 유체에 각각 담갔을 때, 각각의 손가락이 유체 내부에서는 서로 이격되어 있다면 각각의 손가락을 별도의 대상체로 인식할 수 있다. 이에 따라, 각 대상체의 위치 정보를 각각 생성할 수 있다.

파라미터 생성부(320)는 인식된 각각의 대상체마다 음을 매칭한다. 예를 들어, 3개의 대상체가 인식되면 각각의 대상체에 음을 매칭하여 총 3개의 음을 정의하며, 3개의 음에 대한 파라미터를 각각 생성한다. 파라미터 생성부(320)는 각 대상체의 위치 정보에 기초하여, 각 대상체에 매칭되는 음의 파라미터를 생성한다. 예를 들어, 제1 대상체의 위치 정보에 기초하여 제1 음 파라미터 세트를 생성하고, 제2 대상체의 위치 정보에 기초하여 제2 음 파라미터 세트를 생성할 수 있다. 각 파라미터 세트는 예를 들어, 음의 높이, 크기, 바이브레이션, 음색(디스토션 등의 효과) 등의 파라미터 중 적어도 하나를 포함할 수 있다.

파라미터 생성부(320)가 영상에서 대상체를 인식하는 방법으로, 영상 내에서의 에지(edge) 인식 알고리즘, 대상체의 패턴 인식 알고리즘, 대상체의 색상 인식 알고리즘 등 다양한 알고리즘이 사용될 수 있다.

파라미터 생성부(320)는 유체 표면의 진동 센싱값을 이용하여 파라미터를 더 생성할 수 있다. 예를 들어, 유체 표면의 진동 센싱값을 이용하여 각 음의 서스테인, 바이브레이션, 음색 등의 파라미터를 더 생성할 수 있다.

오디오 신호 출력부(330)는 파라미터 생성부(320)에 의해 생성된 하나 이상의 음에 대한 파라미터 세트에 기초하여, 도 1의 출력 장치(40)에서 출력 가능한 포맷의 오디오 신호를 출력한다. 오디오 신호 출력부(330)에 의해 출력되는 오디오 신호는 출력 장치(40)로 전달되며, 출력 장치(40)는 오디오 신호로부터 음향을 출력하게 된다.

도 5는 센싱부(20)에 촬영된 영상을 이용하여 파라미터를 생성하는 예를 도시한 것이다.

도 5에 도시된 영상(40)은 센싱부(20)에 의해 촬영되어 제어부(30)에 전송된 것일 수 있다. 영상(40)을 참조하면, 사용자의 손가락 중 세 개 손가락이 유체에 접촉한 것을 볼 수 있다. 이하에서 상기 세 개 손가락 각각을 제1 대상체(421), 제2 대상체(422), 제3 대상체(423)라고 지칭하기로 한다.

도 5를 참조하면, 파라미터 생성부(도 4의 320)는 영상(40)을 분석하여 대상체(421, 422, 423)의 위치 정보를 획득한다. 제1 대상체(421)의 위치 정보로써 깊이 정보(z1)와 좌표 정보(x1)를, 제2 대상체(422)의 위치 정보로써 깊이 정보(z2)와 좌표 정보(x2)를, 제3 대상체(423)의 위치 정보로써, 깊이 정보(z3)와 좌표 정보(x3)를 획득한다. 깊이 정보(z1, z2, z3)의 기준이 되는 지점은 유체의 표면(41)을 직접 인식함으로써 설정될 수도 있지만, 편리를 위하여 처음부터 고정된 위치로 설정될 수도 있음은 물론이다.

도 5에 예시된 바에 따르면 파라미터 생성부(320)는 3개 음에 대한 파라미터 세트를 생성할 것이다. 예컨대, 제1 대상체(421)에 대하여서는 x1에 대응되는 음 높이와 z1에 대응되는 음 세기를 갖는 제1 음(sound)에 대한 파라미터 세트를, 제2 대상체(422)에 대하여서는 x2에 대응되는 음 높이와 z2에 대응되는 음 세기를 갖는 제2 음에 대한 파라미터 세트를, 제3 대상체(423)에 대하여서는 x3에 대응되는 음 높이와 z3에 대응되는 음 세기를 갖는 제3 음에 대한 파라미터 세트를 생성할 것이다. 예를 들어, 제1 음은 도, 제2 음은 레, 제3 음은 미에 대응될 수 있다.

x축 좌표 값과 음 높이의 관계, 및 z축 좌표 값과 음 세기의 관계는 기저장된 계산 방법에 따라 정의되거나, 룩업테이블(LUT)로 정의될 수 있다. 예를 들어 계산 방법이 기저장되는 경우, x축 좌표 값을 변수에 대입하여 음 높이를 얻고, z축 좌표 값을 변수에 대입하여 음 세기를 얻는다. 축업테이블이 기 정의되는 경우에는, x축 좌표 값에 해당하는 범위에 매칭된 음 높이를 얻고, z축 좌표 값에 해당하는 범위에 매칭된 음 세기를 얻는다.

각 파라미터에 대하여 서로 다른 산출 방법이 사용될 수 있다. 예를 들어, 음 높이에 대하여서는 룩업테이블을 이용한 산출 방법이 사용되며, 음 세기에 대하여서는 기 저장된 수학식을 이용하는 산출 방법이 사용될 수 있다.

진동 센서로부터 획득된 진동 센싱값이 존재하는 경우, 파라미터 생성부(320)는 모든 음(제1 음, 제2 음, 제3 음)에 대하여 새로운 파라미터를 생성할 수 있다. 예를 들어, 모든 음에 대하여 진동 센싱값에 대응되는 정도의 바이브레이션 파라미터를 생성할 수 있다.

한편 도 5에 도시되지 않았으나, x축에 직교하며 유체의 표면에 평행한 방향의 y축 좌표값이 별도의 카메라에 의해 촬영된 영상으로부터 획득될 수 있으며, y축 좌표값을 이용하여 파라미터를 더 생성할 수 있다. 예를 들어, y축 좌표값은 음의 피치 조정 정도에 대응될 수 있다. 사용자는 대상체의 위치를 y축으로 이동시킴으로써 음의 피치를 조절할 수 있다. 상기 y값에 매칭되는 파라미터는 예시일 뿐이며, 다양한 파라미터가 매칭될 수 있다.

전술한 본 발명의 실시예들에 따르면 사용자는 손가락의 위치를 자유 자재로 변경하면서 유체에 담그는 방식으로 전자악기를 직관적으로 연주할 수 있다. 전술한 본 발명의 실시예들에 따르면, 사용자는 수용부(10)의 일단에서 타단까지 유체 내에서 손가락을 연속적으로 이동시킴으로써, 글리산도 주법의 연주를 할 수 있다. 전술한 본 발명의 실시예들에 따르면, 사용자는 여러 개의 손가락을 유체에 담가서 화음을 연주할 수 있다. 전술한 본 발명의 실시예들에 따르면, 사용자는 여러 음을 동시에 발생시키면서 각 음의 파라미터를 자유자재로 조절할 수 있다. 전술한 본 발명의 실시예들에 따르면, 사용자는 유체에 접촉하는 촉각적 감각이 청각적 감각으로 피드백되는 경험을 할 수 있으며, 이는 사용자의 욕구를 자극하며 다양한 종류의 악기를 체험하고자 하는 니즈에 부합한다.

10: 수용부
20: 센싱부
21: 카메라
22: 진동센서
30: 제어부
40: 출력 장치

Claims

유체를 수용하는 수용부를 촬영한 영상을 포함하는 상기 수용부에 관련된 신호를 획득하는 단계;
상기 신호로부터 상기 유체에 소정의 대상체가 접촉하는 위치 정보를 획득하고, 상기 위치 정보에 대응하는 음의 파라미터를 생성하는 단계; 및
상기 파라미터에 기초하여 오디오 신호를 출력하는 단계;를 포함하되,
상기 수용부의 일 면의 모습이 반사되어 카메라로 입사되고,
상기 수용부의 벽면에서 상기 유체를 향하여 광이 조사되고,
상기 수용부 상의 위치 기준이 사용자에게 안내되고, 및
상기 카메라는 반사 부재를 촬영함으로써 상기 수용부의 일 면에 대한 영상을 촬영하는 전자 악기 제어 방법.
제1 항에 있어서,
상기 위치 정보는
상기 유체의 표면의 높이 또는 기설정된 높이를 기준으로 하는 깊이 정보와, 상기 유체의 표면을 평면으로 하는 2차원 좌표 중 적어도 하나의 좌표 정보를 포함하고,
상기 생성하는 단계는 상기 깊이 정보에 대응되는 제1 파라미터 및 상기 좌표 정보에 대응되는 제2 파라미터를 포함하는 파라미터 세트를 생성하는 전자 악기 제어 방법.
제1 항에 있어서,
상기 획득하는 단계는 유체 내에 구비된 하나 이상의 초음파 센서로부터 획득된 상기 대상체까지의 거리, 또는 상기 영상을 촬영하는 상기 카메라에 구비되는 적외선 센서로부터 획득된 상기 카메라로부터 상기 대상체까지의 거리를 더 획득하고,
상기 생성하는 단계는 상기 거리 정보를 더 참조하여 상기 위치 정보를 획득하는 전자 악기 제어 방법.
제1 항에 있어서,
상기 생성하는 단계는 상기 영상으로부터 복수의 대상체가 접촉하는 위치 정보를 각각 획득하고, 상기 복수의 위치 정보에 대응하는 음의 파라미터를 각각 생성하고,
상기 출력하는 단계는 상기 파라미터에 기초하여 상기 복수의 음을 동시에 출력하기 위한 오디오 신호를 출력하는 전자 악기 제어 방법.
유체를 수용하는 수용부를 촬영한 영상을 포함하는 상기 수용부에 관련된 신호를 획득하는 신호 획득부;
상기 수용부에 관련된 신호로부터 상기 유체에 소정의 대상체가 접촉하는 위치 정보를 획득하고, 상기 위치 정보에 대응하는 음의 파라미터를 생성하는 파라미터 생성부; 및
상기 파라미터에 기초하여 오디오 신호를 출력하는 오디오 신호 출력부;를 포함하되,
상기 수용부의 일 면의 모습이 반사되어 카메라로 입사되고,
상기 수용부의 벽면에서 상기 유체를 향하여 광이 조사되고,
상기 수용부 상의 위치 기준이 사용자에게 안내되고, 및
상기 카메라는 반사 부재를 촬영함으로써 상기 수용부의 일 면에 대한 영상을 촬영하는 전자 악기 제어 장치.
유체를 수용할 수 있는 수용부;
상기 수용부의 적어도 일 단면을 촬영하는 카메라를 포함하며, 상기 카메라에 의해 촬영된 영상을 포함하는 상기 수용부에 관련된 신호를 획득하는 센싱부;
상기 센싱부에 의해 획득된 신호에 기초하여 상기 유체에 소정의 대상체가 접촉하는 위치 정보를 획득하고, 상기 위치 정보에 대응되는 음의 파라미터를 생성하고, 상기 파라미터에 기초하여 오디오 신호를 생성 및 출력하는 제어부;
상기 오디오 신호를 수신하고 상기 오디오 신호에 기초하여 음향을 출력하는 출력 장치;
상기 수용부의 일 면의 모습을 반사하여 상기 카메라로 입사시키는 반사 부재;
상기 수용부의 벽면에서 상기 유체를 향하여 광을 조사하는 조명 패널; 및
상기 수용부 상의 위치 기준을 사용자에게 안내하기 위해 구비되는 가이드 부재;를 포함하되,
상기 카메라는 상기 반사 부재를 촬영함으로써 상기 수용부의 일 면에 대한 영상을 촬영하는 전자 악기 시스템.
삭제