KR20020032041A - 인체 율동을 감지하는 ｍｉｄｉ 연주 장치 및 방법 - Google Patents

인체 율동을 감지하는 ｍｉｄｉ 연주 장치 및 방법 Download PDF

Info

Publication number
KR20020032041A
KR20020032041A KR1020000062914A KR20000062914A KR20020032041A KR 20020032041 A KR20020032041 A KR 20020032041A KR 1020000062914 A KR1020000062914 A KR 1020000062914A KR 20000062914 A KR20000062914 A KR 20000062914A KR 20020032041 A KR20020032041 A KR 20020032041A
Authority
KR
South Korea
Prior art keywords
midi
signal
motion sensor
user
sensing
Prior art date
Application number
KR1020000062914A
Other languages
English (en)
Other versions
KR100346916B1 (ko
Inventor
이중호
Original Assignee
이중호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이중호 filed Critical 이중호
Priority to KR1020000062914A priority Critical patent/KR100346916B1/ko
Publication of KR20020032041A publication Critical patent/KR20020032041A/ko
Application granted granted Critical
Publication of KR100346916B1 publication Critical patent/KR100346916B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H5/00—Instruments in which the tones are generated by means of electronic generators
    • G10H5/02—Instruments in which the tones are generated by means of electronic generators using generation of basic tones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

본 발명은 MIDI 연주 행위를 건반과 같은 악기 형태의 MIDI 입력 장치가 아닌 춤과 같은 인체의 율동으로 구현 하는 MIDI 연주 장치 및 방법에 관한 것으로,
본 발명의 장치는, 사용자의 인체 율동을 센싱하여 송신하는 센싱/송신수단; 및 상기 센싱/송신수단에서 센싱되어 송신되는 신호를 받아서 각각의 센싱 신호에 해당하는 MIDI 데이터와 제어 메시지 데이터로 변환하여, 상기 MIDI 데이터는 상기 샘플러수단와 상기 음원모듈수단에 전송하고 상기 제어 메시지는 상기 제1, 제2효과수단에 보내는 MIDI/제어메시지변환수단을 포함함을 특징으로 한다. 또한, 본 발명의 방법은, 사용자의 인체의 각 요소에 센싱/송신수단인 동작센서를 적어도 하나 이상 장착하고, 장착된 하나 이상의 동작 센서를 초기화 하는 제 1 과정; 상기 사용자가 율동을 하면 율동의 변위, 속도, 가속도의 물리량과 하나 이상의 동작 센서의 물리량 임계값을 비교하여, 율동의 물리량이 하나 이상의 동작 센서의 물리량 임계값과 같거나 크면 해당 동작 센서의 스위치를 "온"시키는 제 2 과정; 해당 동작 센서의 스위치의 온/오프 상태에 따라 소정 신호를 계산하고 결정하여, 해당 동작 센서의 발진기로부터 소정 신호를 송신하는 제 3 과정; 상기 사용자의 신체 모든 부위의 동작 센서에서 발생한 소정 신호를 수신하여, 신호 조건을 판단하는 제 4 과정; 상기 신호 조건 판단에 따라 해당 MIDI 신호를 발생시키고, 해당 샘플링 음의 호출 및 음색 변경 정보 신호를 발생시키는 제 5 과정; 및 연주 신호 정보를 수합하여 발송하여, MIDI 음과 샘플링 음을 플레이하여 혼합, 증폭 후 출력시키는제 6 과정을 포함하는데 있다.
이와 같이, 본 발명은 인간의 율동(춤) 자체가 하나의 연주 행위가 되어 춤/음악의 이원성을 하나의 퍼포먼스로 통합함으로써 단순히 연주모습 또는 율동을 보여주는 것이 아닌 이들이 하나로 통합된 새로운 방식의 예술표현기법을 구현한다. 이는 하나의 예술표현기법에 국한하지 않고 사용자 자신이 능동적인 음악적 표현을 할 수 있으며 음악과 결합한 게임을 즐길 수 있는 이점이 있다.

Description

인체 율동을 감지하는 ＭＩＤＩ 연주 장치 및 방법{Apparatus and Method for performing ＭＩＤＩ sensing the rhythm of the human body}
본 발명은 인체 율동을 감지하는 MIDI(Musical Instrument Digital Interface) 연주 장치 및 방법에 관한 것으로, 보다 상세하게는 MIDI 연주 행위를건반과 같은 악기 형태의 MIDI 입력 장치가 아닌 춤과 같은 인체의 율동으로 구현 하는 MIDI 연주 장치 및 방법에 관한 것이다.
MIDI는 전자 악기 간에 주고 받는 데이터의 호환성을 위해 제정된 전자 악기를 위한 국제 통일 규격으로, 전자 올갠, 전자 피아노, 전자 건반, 전자 키보드 등의 신호 입력 수단은 MIDI 규격을 기반으로 한 데이터의 송수신 기능을 갖추고 있다. 이와 같은 MIDI를 이용한 신호 입력 장치에서 발생된 연주 신호를 이용해서 음원(Sound Module) 또는 샘플러(Sampler)의 전자 음을 제어함으로써, 연주자는 음악을 만들어내게 된다. 즉, MIDI 연주란 악기로부터 물리적인 음을 생성하는 것이 아닌 MIDI 신호 입력 장치를 이용하여 음원에 신호를 전송하는 행위를 말한다. 따라서, MIDI 연주를 하기 위해서는 MIDI 신호 입력 장치가 반드시 필요하게 된다.
따라서, 본 발명은 이와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 MIDI 연주 행위를 전자 올갠, 전자 피아노, 전자 건반, 전자 키보드 등의 건반과 같은 악기 형태의 MIDI 입력 장치가 아닌 춤과 같은 인체의 율동으로 구현 가능하게 하는 인체 율동을 감지하는 MIDI 연주 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 인체의 율동을 감지하는 동작 센서의 센싱 순서를 이용하여 게임을 할 수 있도록 하는 인체 율동을 감지하는 MIDI 연주 장치 및 방법을 제공하는데 있다.
도 1은 본 발명에 따른 인체 율동을 감지하는 MIDI 연주 장치의 구성도,
도 2a 내지 도 2c는 본 발명에 따른 인체 율동을 감지하는 MIDI 연주 방법의 흐름도,
도 3은 본 발명에 따른 인체 율동을 감지하는 MIDI 연주를 위한 매핑 테이블을 도시한 도면.
<도면의 주요 부분에 대한 부호의 설명>
100 : 센싱/송신수단 110 : MIDI/제어메시지변환수단
120 : 샘플러수단 130 : 제1효과수단
140 : 음원모듈수단 150 : 제2효과수단
160 : 혼합수단 170 : 증폭수단
이와 같은 목적을 달성하기 위한 본 발명의 특징은, 샘플러수단, 음원모듈수단, 제1,2효과수단, 혼합수단, 증폭수단 및 스피커를 구비한 MIDI 연주 장치에 있어서, 사용자의 인체 율동을 센싱하여 송신하는 센싱/송신수단; 및 상기 센싱/송신수단에서 센싱되어 송신되는 신호를 받아서 각각의 센싱 신호에 해당하는 MIDI 데이터와 제어 메시지 데이터로 변환하여, 상기 MIDI 데이터는 상기 샘플러수단와 상기 음원모듈수단에 전송하고 상기 제어 메시지는 상기 제1,2효과수단에 보내는 MIDI/제어메시지변환수단을 포함함을 특징으로 한다.
바람직하게, 상기 센싱/송신수단은 적어도 하나 이상의 동작 센서로 구성됨을 특징으로 한다.
바람직하게, 상기 동작 센서는 발진기와, 적어도 하나 이상의 스위치로 이루어짐을 특징으로 한다.
바람직하게, 상기 스위치들은 온/오프 상태에 따라 각각 정해진 신호를 상기 발진기로 하여금 발생하도록 함을 특징으로 한다.
바람직하게, 상기 MIDI/제어메시지변환수단은 상기 센싱수단에서 센싱된 신호를 소정의 매핑 테이블에 의하여 MIDI 데이터와 제어 메시지 데이터로 변환함을 특징으로 한다.
바람직하게, 상기 매핑 테이블은 상기 사용자의 춤과 연주에 맞추어 상기 사용자에 의해서 임의로 구성될 수 있음을 특징으로 한다.
본 발명의 다른 특징은, 사용자의 인체 율동으로 MIDI를 연주하는 방법에 있어서, 상기 사용자의 인체의 각 요소에 적어도 하나 이상의 동작 센서를 장착하고,장착된 하나 이상의 동작 센서를 초기화 하는 제 1 과정; 상기 사용자가 율동을 하면 율동의 변위, 속도, 가속도의 물리량과 하나 이상의 동작 센서의 물리량 임계값을 비교하여, 율동의 물리량이 하나 이상의 동작 센서의 속도 임계값과 같거나 크면 해당 동작 센서의 스위치를 "온"시키는 제 2 과정; 해당 동작 센서의 스위치의 온/오프 상태에 따라 소정 신호를 계산하고 결정하여, 해당 동작 센서의 발진기로부터 소정 신호를 송신하는 제 3 과정; 상기 사용자의 신체 모든 부위의 동작 센서에서 발생한 소정 신호를 수신하여, 신호 조건을 확인하는 제 4 과정; 상기 신호 조건에 따라 해당 MIDI 신호를 발생시키고, 해당 샘플링 음의 호출 및 음색 변경 정보 신호를 발생시키는 제 5 과정; 및 연주 신호 정보를 수합하여 발송하여, MIDI 음과 샘플링 음을 플레이하여 혼합, 증폭 후 출력시키는 제 6 과정을 포함하는데 있다.
바람직하게, 상기 신호 조건은 단일 신호, 복합 신호 및 동일 신호 반복 조건임을 특징으로 한다.
바람직하게, 상기 동작 센서의 스위치는 온/오프 스위치 및 리미트(Limit) 스위치임을 특징으로 한다.
본 발명의 또 다른 특징은, 사용자의 인체 율동에 의해서 연주되는 MIDI를 이용하여 게임을 하는 방법에 있어서, 상기 사용자의 인체의 각 요소에 적어도 하나 이상의 동작 센서를 장착하고, 장착된 하나 이상의 동작 센서를 초기화 하는 제 1 과정; 상기 사용자가 율동을 하면 율동의 변위, 속도, 가속도의 물리량과 하나 이상의 동작 센서의 속도 임계값을 비교하여, 율동의 물리량이 하나 이상의 동작센서의 임계값과 같거나 크면 해당 동작 센서의 스위치를 "온"시키는 제 2 과정; 해당 동작 센서의 스위치의 온/오프 상태에 따라 소정 신호를 계산하고 결정하여, 해당 동작 센서의 발진기로부터 소정 신호를 송신하는 제 3 과정; 상기 사용자의 신체 모든 부위의 동작 센서에서 발생한 소정 신호를 수신하고, 배경 음악의 비트 포인트 순서를 읽어 순서 화면을 출력하는 제 4 과정; 상기 제 4 과정에서 동작센서의 신호를 수신하여 단일 신호 조건 인가 판단하는 제 5 과정; 상기 제 5 과정에서 상기 단일 신호 조건을 만족하게 되면 상기 배경 음악의 비트 포인트 타이밍과 단일 신호가 들어온 시간과의 시간차를 계산하여, 점수로 환산하는 제 6 과정; 및 상기 제 5 과정에서 상기 단일 신호 조건으로 판단되지 않거나, 상기 제 6 과정에서 시간차가 점수로 환산되면 누적 점수 계산 및 출력하는 제 7 과정을 포함하는데 있다.
이하, 본 발명의 바람직한 실시예에 대하여 첨부 도면을 참조하여 상세히 설명한다.
도 1은 본 발명에 따른 인체 율동을 감지하는 MIDI 연주 장치의 구성도이다.
도 1에 있어서, 본 발명의 장치는 센싱/송신수단(100), MIDI/제어메시지 변환수단(110), 샘플러수단(120), 제1효과수단(130), 음원모듈수단(140), 제2효과수단(150), 혼합수단(160), 증폭수단(170) 및 스피커(SP)로 구성된다.
센싱/송신수단(100)은 사용자의 인체의 각 부분에 부착된 적어도 하나 이상의 동작 센서들(동작센서#1,동작센서#2, 동작센서#3, …, 동작센서#N)로 구성되어 인체 율동을 센싱한다. 동작 센서 각각은 발진기와, 적어도 하나 이상의 온/오프스위치(S/W1, S/W2, S/W3,…, S/WN) 또는 리미트(Limit) 스위치로 이루어지는데, 온/오프 스위치 또는 리미트(Limit) 스위치는 온/오프 또는 진동 상태에 따라 각각 정해진 신호를 발진기로 하여금 발생토록 한다.
동작 센서에 의한 신호 처리는 신호 수신 방식과 신호 분석 방식이 채용되는 바, 신호 수신 방식은 연속 수신과 스텝별 수신이 있으며 신호 분석 방식은 신호 누적과 신호 필터링이 있다. 신호 수신 방식의 연속 수신은 동작 센서로부터 전송된 신호들을 그때 그때마다 실시간으로 MIDI신호로 바꾸어주는데 센싱/송신 신호가 박자에 맞지 않는다 하더라도 그대로 연주되며, 박자감을 갖기 위해서는 연주자의 율동이 상당히 정확해야 한다. 또한, 율동의 미세한 차이까지도 연주의 차이를 가져오게 되므로 정밀한 표현이 가능하다.
신호 수신 방식의 스텝별 수신은 동작 센서에서 전송된 신호들을 일정한 간격을 갖고 그때 들어온 신호만 연주하며, 만일 4/4 박자의 연주에서 8분음의 박자 단위로 신호를 받는다면, 한 마디의 시간 동안 8번의 정확한 비트에서만 신호를 받아 연주하므로 리듬감이 있는 연주가 되는데, 그러나 8분음보다 정밀한 16분음이나 32분음, 3잇단음, 5잇단음 등은 표현이 되지 않는다. 표현이 되지 않는 음을 표현하기 위해서는 수신 스템을 줄여야 하며, 수신 스템이 매우 좁아지면 연속 수신과 동일하게 된다.
한편, 신호 분석 방식의 신호 누적은 각 동작 센서로부터 신호를 그대로 MIDI 신호로 바꾸는 방식으로, 아래의 <표1>에서 보인 바와 같이 연주자가 오른쪽 발을 구른다면, 이때의 충격/가속도는 온 신체의 모든 동작 센서로 영향을 주게 된다. 즉, 오른발만 구르게 되더라도 그 충격을 받는 다른 동작 센서도 동작하며 한 부위의 동작으로 여러개의 신호가 발생하는데, 이는 다리 위쪽의 모든 부위는 다리의 운동에 영향을 받고, 허리 위쪽의 모든 부위는 허리의 운동에 영향을 받기 때문이다.
신호 분석 방식의 신호 필터링은 신체의 한 부위의 움직임으로 인한 다른 동작 센서의 신호 발생을 제거한다. 즉, 왼발을 굴렀을 때 왼발 이외의 다른 동작 센서에서 오는 신호를 사전에 측정한 후 작동시 왼발을 구르는 신호가 왔을 때 이로 인한 다른 동작 센서의 신호에서 사전에 측정한 영향 인자를 감하여 인식하게 한다.
<표1>
동작 부위 외의 다른 동작 센서가 영향받는 힘(%)
왼팔 오른팔 왼쪽 어깨
왼발 충격 21% 23% 42%
오른발 충격 23% 21% 42%
허리 충격 43% 43% 60%
<표1>과 같은 영향도를 얻었다면, 동작 센서의 작동시에는 필터링된 왼팔 신호값 = 왼팔의 실제 신호값 - (왼발 신호값 X 0.21 + 오른발 신호값 X 0.23 + 허리 신호값 X 0.43)이 되며, 순수히 왼팔의 움직임으로 인해 발생한 신호값을 얻을 수 있다.
동작 센서의 신호 체계의 예는 아래의 <표2>에 언급되어 있다.
<표2>
스위치 번호 스위치 종류 온/오프 조건 결과
S/W 1 X 방향 변위 센서 IF변위≥기준위치대비500mm 온 신호를 발신
S/W 2 Y 방향 속도 센서 IF속도≥10 온 신호를 발신
... ... ... ...
S/W 6 X 방향 속도 센서 IF속도≥200 그때의 속도값을 발신
S/W 7 X 방향 가속도 센서 IF가속도≥10 온 신호를 발신
S/W 8 Y 방향 가속도 센서 IF가속도≥100 그때의 가속도값을 발신
S/W N 리미트(Limit)스위치 일정량 이상의 충격이있을시 온 신호를 발신
수신기 역활을 수행하는 MIDI / 제어 메시지 변환 수단(110)은 센싱/송신수단(100)에서 센싱된 신호를 받아서 소정의 매핑 테이블에 의하여 각각의 센싱 신호에 해당하는 MIDI 데이터와 제어메시지 데이터로 변환하여, MIDI 데이터는 샘플러수단(120)과 음원모듈수단(140)에 전송하고, 제어 메시지는 제1효과수단(130) 및 제2효과수단(150)에 보낸다. 이때, 소정의 매핑 테이블(MAPPING TABLE)은 도 3과 같이 구성되는데, 사용자의 춤과 연주에 따라 사용자에 의해서 임의로 구성할 수 있다. 샘플러수단(120)에서 발생된 해당 샘플링 음은 제1효과수단(130)에서 제어메세지에 의해 음색변경을 거치고, 음원모듈수단(140)에서 발생된 음원연주신호는 제2효과수단(150)에서 제어메세지에 의해 음색변경을 거쳐 혼합수단(160)에서 혼합되어, 증폭수단(170)에서 증폭된 후 스피커(SP)를 통해서 출력된다.
MIDI/제어메시지변환수단(110)을 이용한 신호 체계는 디지털 방식과 아날로그 방식을 사용하는데, 디지털 방식은 MIDI/제어메시지변환수단(110)에 수신되는 신호가 어느 동작 센서에서 송신되는지 인지할 수 있도록 동작 센서 번호와 동작 센서의 스위치들의 온/오프 상태 및 배터리의 충전 상태 등의 정보를 디지털 신호로 송신하는 방식이다. 아날로그 방식은 동작 센서의 스위치들의 온/오프 상태에 따라 각각 정해진 주파수만를 송신하는 방식이다.
따라서, MIDI/제어메시지변환수단(110)은 동작 센서로부터 발생되는 신호로써 각 스위치의 온/오프 상태를 알수 있다.
도 2a 내지 도 2c는 본 발명에 따른 인체 율동을 감지하는 MIDI 연주 방법의 흐름도이다.
도 2a 내지 도 2c에 있어서, 사용자의 인체 율동으로 MIDI를 연주하기 위해서, 사용자의 인체의 각 요소에 적어도 하나 이상의 동작 센서를 장착하고(단계 S100), 장착된 동작 센서의 스위치(S/W1, S/W2, S/W3, …, S/WN)를 초기화 한다(단계 S101). 이때, 동작 센서의 스위치(S/W1, S/W2, S/W3, …, S/WN)는 온/오프 스위치 및 리미트(Limit) 스위치이다.
S101 단계를 수행한 후 사용자가 율동을 하면(단계 S102), 율동의 변위, 속도, 가속도의 물리량과 동작 센서의 스위치(S/W1)의 속도 임계값을 비교하여(단계 S103), 율동의 물리량이 동작 센서의 스위치(S/W1)의 물리량 임계값과 같거나 크면 동작 센서의 스위치(S/W1)를 "온"시킨다(단계 S104).
S103 단계에서 율동의 물리량의 가속도가 동작 센서의 스위치(S/W1)의 속도 임계값보다 작거나, S104 단계에서 스위치(S/W1)가 온되면, 율동의 물리량과 동작 센서의 스위치(S/W2)의 물리량 임계값을 비교하여(단계 S105), 율동의 물리량이 동작 센서의 스위치(S/W2)의 속도 임계값과 같거나 크면 동작 센서의 스위치(S/W2)를 "온"시킨다(단계 S106).
S105 단계에서 율동의 물리량이 동작 센서의 스위치(S/W2)의 속도 임계값보다 작거나, S106 단계에서 스위치(S/W2)가 온되면, 율동의 물리량과 동작 센서의 N번째 스위치(S/WN)의 물리량 임계값을 비교하여(단계 S107), 율동의 물리량의 가속도가 동작 센서의 N번째 스위치(S/WN)의 임계값과 같거나 크면 동작 센서의 스위치(S/WN)를 "온"시킨다(단계 S108).
S107 단계에서 율동의 물리량이 동작 센서의 스위치(S/WN)의 임계값보다 작거나, S108 단계에서 N번째 스위치(S/WN)가 온되면, 동작 센서의 모든 스위치들의 온/오프 상태에 따라 소정 신호를 계산하고 결정하여(단계 S109), 해당 동작 센서의 발진기로부터 소정 신호를 송신한다(단계 S110). S110 단계에서 발진기로부터 소정 신호가 송신되면 사용자의 신체 모든 부위의 동작 센서에서 발생한 신호를 수신하여(단계 S111), 단일 신호 조건인가 확인한다(단계 S112). 이때, 단일 신호 조건은 일개의 신호의 온/오프 상태를 조건자로 하는 것이다. S112 단계에서 단일 신호 조건을 만족시키면 해당 MIDI 신호를 발생하며(단계 S113), 해당 샘플링 음을 호출하고(단계 S114) 해당 음색 변경 정보 신호를 발생한다(단계 S115).
한편, S111 단계에서 사용자의 신체 모든 부위의 동작 센서에서 발생한 신호를 수신하면, 복합 신호 조건인가 확인한다(단계 S116). 복합 신호 조건은 2개 이사의 신호들의 온/오프 상태를 조건자로 하는 것이다. S116 단계에서 복합 신호 조건을 만족하게 되면 해당 MIDI 신호를 발생하고(단계 S117), 해당 샘플링 음을 호출하고(단계 S118) 해당 음색 변경 정보 신호를 발생한다(단계 S119). 또한, S111 단계에서 사용자의 신체 모든 부위의 동작 센서에서 발생한 신호를 수신하면, 동일 신호가 소정의 시간동안에 반복되는가 확인한다(단계 S120). S120 단계에서 동일 신호가 반복되는 것이 확인되면 해당 MIDI 신호를 발생하고(단계 S121), 해당 샘플링 음을 호출하고(단계 S122), 해당 음색 변경 정보 신호를 발생한다(단계 S123).
S115 단계, S119 단계 및 S123 단계에서 MIDI신호, 샘플링 음 호출신호 및 음색 변경 정보 신호가 발생하면, 연주 신호 정보를 수합하여 발송한다(단계 S124). S124 단계에서 발송된 연주 신호 정보를 받아서 MIDI 음을 플레이하고(단계 S125), 샘플링 음을 플레이하여(단계 S126), 혼합한다(단계 S127). S127 단계에서 혼합된 MIDI 음과 샘플링 음을 증폭하여 출력시킨다(단계 S128).
한편, 사용자의 인체 율동에 의해서 연주되는 MIDI를 이용하여 게임을 하기 위해서는, S110 단계에서 동작 센서의 발진기로부터 소정 신호가 송신되면 사용자의 신체 모든 부위의 동작 센서에서 발생한 신호를 수신하여(단계 S129), 배경 음악의 비트 포인트 순서를 읽고(단계 S130), 배경 음악의 비트 포인트의 순서 화면을 출력한다(단계 S131).
S131 단계에서 배경 음악의 비트 포인트의 순서 화면이 출력되면 동작센서 신호들의 단일 신호 조건을 판단하여(단계 S132), S132 단계에서 단일 신호 조건을 만족하게 되면 배경 음악의 비트 포인트 타이밍과 단일 신호가 들어온 시간과의 시간차를 계산하여(단계 S133), 시간차를 점수로 환산한다(단계 S134). S132 단계에서 단일 신호 조건이 아니거나, S134 단계에서 시간차를 점수로 환산하면 누적 점수 계산 및 출력한다(단계 S135).
도 3은 본 발명에 따른 인체 율동을 감지하는 MIDI 연주를 위한 매핑 테이블을 도시한 도면으로, 패치는 음원 소리의 종류, 노트(Note)는 음원 소리의 음높이, 속도는 음의 세기, 애프터 터치(After touch)는 일종의 연음효과, 제어 채인지는음원의 변경, 피치&벤드는 음의 변화를 나타낸다.
매핑 테이블은 사용자의 신체 움직임 신호와 MIDI 신호간의 관계를 설정해 놓은 것으로, 예를 들어 사용자가 왼팔을 아래에서 위로 어느 정도의 속도로 움직였을 때 왼쪽 팔목에 부착되어 있는 동작센서#1의 스위치(S/W1)가 온되었다면, 그에 해당하는 MIDI 메시지와 제어 메시지가 발생한다. 이때, 매핑 테이블에서와 같이 XXX번 패치에서 XXX째 건반에 해당하는 음을 XXX의 세기로 소리나게 되는 MIDI 메시지가 발생하며, 이와 동시에 MIDI 메시지의 소리는 YYY정도의 에코효과를 내면서 YYY만큼 지연되어 YYY정도의 코러스효과를 내며 소리나는 제어 메시지가 발생한다.
한편, 효과모드는 단순히 XXX번 음원의 음색만 조절할 수도 있고 전체음의 음색을 조절할 수도 있다. 매핑 테이블에서 MIDI 메시지를 전부 없애고 효과모드만 각각 설정해 놓으면 인체의 율동에 의해 미리 틀어놓은 음악의 음색이 복잡하게 변화하는 퍼포먼스도 구현할 수 있다. 이때, 음색의 변화는 음의 뒤틀림이나 톤의 변경, 에코 등의 가능한 모든 음색 편집 기법을 포함한다. 매핑 테이블 상에서 동작 센서들은 MIDI, 제어 메시지를 모두 가질 수도 있고 어느 하나만을 가질 수도 있다. 설정되어 있는 매핑 테이블에 의해 움직임 신호가 MIDI 신호와 연결되며, 이와 같은 설정은 미리 셋업하여 두고 연주와 춤의 성격에 맞는 것을 사용자가 선정할 수 있으며, 사용자 설정도 가능하다.
이와 같이, 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범주에서 벗어나지 않는 한도 내에서 여러가지 변형이 가능함은물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
결국, 본 발명에 의한 인체 율동을 감지하는 MIDI 연주 장치 및 방법에 따르면 다음과 같은 이점이 발생한다.
즉, 인간의 율동(춤) 자체가 하나의 연주 행위가 되어 춤/음악의 이원성을 하나의 퍼포먼스로 통합함으로써 단순히 노래부르는 모습이나 연주모습, 또는 율동을 보여주는 것이 아닌 이들이 하나로 통합된 새로운 방식의 예술표현기법을 구현한다. 이는 단순히 하나의 예술표현기법에 국한하지 않고 사용자 자신이 능동적으로 음악적 표현을 할 수 있으며 음악과 결합한 게임을 즐길 수 있는 이점이 있다.

Claims (10)

  1. 샘플러수단, 음원모듈수단, 제1,2효과수단, 혼합수단, 증폭수단 및 스피커를 구비한 MIDI 연주 장치에 있어서,
    사용자의 인체 율동을 센싱하여 송신하는 센싱/송신수단; 및
    상기 센싱/송신수단에서 센싱되어 송신되는 신호를 받아서 각각의 센싱 신호에 해당하는 MIDI 데이터와 제어 메시지 데이터로 변환하여, 상기 MIDI 데이터는 상기 샘플러수단와 상기 음원모듈수단에 전송하고 상기 제어 메시지는 상기 제1 효과수단 및 상기 제2 효과수단에 보내는 MIDI/제어메시지변환수단을 포함하는 것을특징으로 하는 인체 율동을 감지하는 MIDI 연주 장치.
  2. 제 1 항에 있어서, 상기 센싱/송신수단은
    적어도 하나 이상의 동작 센서로 구성됨을 특징으로 하는 인체 율동을 감지하는 MIDI 연주 장치.
  3. 제 2 항에 있어서, 상기 동작 센서는
    발진기와, 적어도 하나 이상의 스위치로 이루어짐을 특징으로 하는 인체 율동을 감지하는 MIDI 연주 장치.
  4. 제 3 항에 있어서, 상기 스위치는
    온/오프 상태에 따라 각각 정해진 신호를 상기 발진기로 하여금 발생하도록 함을 특징으로 하는 인체 율동을 감지하는 MIDI 연주 장치.
  5. 제 1 항에 있어서, 상기 MIDI/제어메시지변환수단은
    상기 센싱/송신수단으로부터 수신된 신호를 소정의 매핑 테이블에 의하여 MIDI 데이터와 제어 메시지 데이터로 변환함을 특징으로 하는 인체 율동을 감지하는 MIDI 연주 장치.
  6. 제 5 항에 있어서, 상기 매핑 테이블은
    상기 사용자의 춤과 연주에 따라 상기 사용자에 의해서 임의로 구성됨을 특징으로 하는 인체 율동을 감지하는 MIDI 연주 장치.
  7. 사용자의 인체 율동으로 MIDI를 연주하는 방법에 있어서,
    상기 사용자의 인체의 각 요소에 적어도 하나 이상의 동작 센서를 장착하고, 장착된 하나 이상의 동작 센서를 초기화 하는 제 1 과정;
    상기 사용자가 율동을 하면 율동의 변위, 속도, 가속도의 물리량과 하나 이상의 동작 센서들의 속도 임계값을 비교하여, 율동의 물리량이 센서의 임계값과 같거나 크면 해당 동작 센서의 스위치를 "온"시키는 제 2 과정;
    해당 동작 센서의 스위치의 온/오프 상태에 따라 소정 신호를 계산하고 결정하여, 해당 동작 센서의 발진기로부터 소정 신호를 송신하는 제 3 과정;
    상기 사용자의 신체 모든 부위의 동작 센서들에서 발생한 소정 신호들을 수신하여, 신호 조건을 확인하는 제 4 과정;
    상기 신호 조건에 따라 해당 MIDI 신호를 발생시키고, 해당 샘플링 음의 호출 및 음색 변경 정보 신호를 발생시키는 제 5 과정; 및
    연주 신호 정보를 수합하여 발송하여, MIDI 음과 샘플링 음을 플레이하여 혼합, 증폭 후 출력시키는 제 6 과정을 포함하는 것을 특징으로 하는 인체 율동을 감지하는 MIDI 연주 방법.
  8. 제 7 항에 있어서, 상기 신호 조건은
    단일 신호, 복합 신호 및 동일 신호 반복 조건임을 특징으로 하는 인체 율동을 감지하는 MIDI 연주 방법.
  9. 제 7 항에 있어서, 상기 동작 센서의 스위치는
    온/오프 스위치 및 리미트(Limit) 스위치임을 특징으로 하는 인체 율동을 감지하는 MIDI 연주 방법.
  10. 사용자의 인체 율동에 의해서 연주되는 MIDI를 이용하여 게임을 하는 방법에 있어서,
    상기 사용자의 인체의 각 요소에 적어도 하나 이상의 동작 센서를 장착하고, 장착된 하나 이상의 동작 센서를 초기화 하는 제 1 과정;
    상기 사용자가 율동을 하면 율동의 변위, 속도, 가속도의 물리량과 하나 이상의 동작 센서의 속도 임계값을 비교하여, 율동의 물리량이 센서의 임계값과 같거나 크면 해당 동작 센서의 스위치를 "온"시키는 제 2 과정;
    해당 동작 센서의 스위치의 온/오프 상태에 따라 소정 신호를 계산하고 결정하여, 해당 동작 센서의 발진기로부터 소정 신호를 송신하는 제 3 과정;
    상기 사용자의 신체 모든 부위의 동작 센서에서 발생한 소정 신호를 수신하고, 배경 음악의 비트 포인트 순서를 읽어 순서 화면을 출력하는 제 4 과정;
    상기 제 4 과정에서 수신된 동작센서의 신호가 단일 신호 조건을 만족시키는가를 판단하는 제 5 과정;
    상기 제 5 과정에서 상기 단일 신호 조건으로 판단되면 상기 배경 음악의 비트 포인트 타이밍과 단일 신호가 들어온 시간과의 시간차를 계산하여, 점수로 환산하는 제 6 과정; 및
    상기 제 5 과정에서 상기 단일 신호 조건으로 판단되지 않거나, 상기 제 6 과정에서 시간차가 점수로 환산되면 누적 점수 계산 및 출력하는 제 7 과정을 포함하는 것을 특징으로 하는 인체 율동을 감지하는 MIDI 연주 방법.
KR1020000062914A 2000-10-25 2000-10-25 인체 율동을 감지하는 ｍｉｄｉ 연주 장치 및 방법 KR100346916B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020000062914A KR100346916B1 (ko) 2000-10-25 2000-10-25 인체 율동을 감지하는 ｍｉｄｉ 연주 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000062914A KR100346916B1 (ko) 2000-10-25 2000-10-25 인체 율동을 감지하는 ｍｉｄｉ 연주 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20020032041A true KR20020032041A (ko) 2002-05-03
KR100346916B1 KR100346916B1 (ko) 2002-08-03

Family

ID=19695359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000062914A KR100346916B1 (ko) 2000-10-25 2000-10-25 인체 율동을 감지하는 ｍｉｄｉ 연주 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100346916B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703262B1 (ko) * 2005-02-26 2007-04-03 삼성전자주식회사 이동통신 단말기에서 음악 연주를 제어하는 장치 및 방법
KR101014961B1 (ko) * 2004-10-29 2011-02-15 주식회사 팬택 가속도 감지에 의한 음악 연주 기능을 가지는무선통신단말기 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101014961B1 (ko) * 2004-10-29 2011-02-15 주식회사 팬택 가속도 감지에 의한 음악 연주 기능을 가지는무선통신단말기 및 그 방법
KR100703262B1 (ko) * 2005-02-26 2007-04-03 삼성전자주식회사 이동통신 단말기에서 음악 연주를 제어하는 장치 및 방법

Also Published As

Publication number Publication date
KR100346916B1 (ko) 2002-08-03

Similar Documents

Publication Publication Date Title
JP2698320B2 (ja) 常装着型入力システム、常装着型意図伝達システム、常装着型音楽用キーボードシステム及び常装着型点字入出力システム
US7361825B2 (en) Electronic keyboard instrument
JP2022063777A (ja) 演奏情報予測装置、有効弦振動判定モデル訓練装置、演奏情報生成システム、演奏情報予測方法及び有効弦振動判定モデル訓練方法
US11961499B2 (en) Sound signal generation device, keyboard instrument and sound signal generation method
JP4320782B2 (ja) 演奏制御装置、およびプログラム
JPH02118598A (ja) 電子楽器
JP5338247B2 (ja) 演奏システム
JP4639795B2 (ja) 楽器の演奏駆動装置、鍵盤楽器の演奏駆動システム及び鍵盤楽器。
US11551653B2 (en) Electronic musical instrument
US20210090534A1 (en) Electronic wind instrument, electronic wind instrument controlling method and storage medium which stores program therein
KR100346916B1 (ko) 인체 율동을 감지하는 ｍｉｄｉ 연주 장치 및 방법
US5925844A (en) Piano with built-in electronic musical instrument
JP3525477B2 (ja) 電子楽器
JP2004325775A (ja) 合奏用ミキシングサーバ及び合奏用演奏装置
JP2646943B2 (ja) 電子打楽器
JP2020126176A (ja) 音楽生成装置及びプログラム
JP2501696Y2 (ja) 電子管楽器
JPH07104754A (ja) 電子楽器組み込みピアノ
JPH0715033Y2 (ja) 電子鍵盤楽器
JP3602365B2 (ja) 電子楽器
JPH04347897A (ja) 電子楽器
JP2004334078A (ja) 電子鍵盤楽器
JPH05134665A (ja) 電子管楽器
JP2002049369A (ja) 電子楽器の入力装置
KR20170092801A (ko) 양극 연주 전자 악기

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee