KR20130067856A - 손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법 - Google Patents

손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법 Download PDF

Info

Publication number
KR20130067856A
KR20130067856A KR1020110134851A KR20110134851A KR20130067856A KR 20130067856 A KR20130067856 A KR 20130067856A KR 1020110134851 A KR1020110134851 A KR 1020110134851A KR 20110134851 A KR20110134851 A KR 20110134851A KR 20130067856 A KR20130067856 A KR 20130067856A
Authority
KR
South Korea
Prior art keywords
finger
user
motion
information
unit
Prior art date
Application number
KR1020110134851A
Other languages
English (en)
Inventor
조동식
김혜미
김용완
양웅연
이건
김기홍
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110134851A priority Critical patent/KR20130067856A/ko
Publication of KR20130067856A publication Critical patent/KR20130067856A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/161—User input interfaces for electrophonic musical instruments with 2D or x/y surface coordinates sensing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/401—3D sensing, i.e. three-dimensional (x, y, z) position or movement sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

본 발명은 컴퓨터 비젼 기반의 위치 추적 기술을 이용하여 1인 혹은 다수의 사용자의 손가락 동작을 정밀하게 인식하여 실제 악기가 없는 공간에서도 악기를 연습 및 연주할 수 있도록 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법에 관한 것이다. 이를 위해, 본 발명에 따른 손가락 동작을 기반으로 하는 가상 악기 연주 장치는, 가상으로 악기를 연주하는 사용자의 동작을 감지하여 사용자의 동작에 대한 영상 데이터를 획득하는 영상 획득부; 영상 획득부에 의해 획득된 영상 데이터를 처리하여 사용자의 손가락 동작에 대한 정보를 획득하는 동작 획득부; 손가락 자세의 입력에 대하여 악기의 음향정보를 출력으로 갖는 신경망에 대한 학습을 수행함으로써 손가락 자세에 따른 악기의 음향정보를 시뮬레이션하여 저장하는 음향정보 시뮬레이션부; 및 동작 획득부에 의해 획득된 사용자의 손가락 동작에 대한 정보 및 음향정보 시뮬레이션부에 의해 학습이 수행된 신경망을 이용하여, 가상으로 악기를 연주하는 사용자의 손가락 동작에 대한 악기의 음향정보를 생성하는 음향정보 구성부를 포함하는 것을 특징으로 한다.

Description

손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법{APPARATUS AND METHOD FOR PERFORMING VIRTUAL MUSICAL INSTRUMENT ON THE BASIS OF FINGER-MOTION}
본 발명은 손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법에 관한 것이고, 보다 상세하게는 컴퓨터 비젼 기반의 위치 추적 기술을 이용하여 1인 혹은 다수의 사용자의 손가락 동작을 정밀하게 인식하여 실제 악기가 없는 공간에서도 악기를 연습 및 연주할 수 있도록 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법에 관한 것이다.
악기의 연주는 전문가의 공연을 위해 행해질 수 있으나, 일반인이 취미로 연주하는 등 대중적으로 많은 사람들에 의해 일상 생활에서도 빈번히 이루어지고 있다. 하지만, 연주하고자 하는 악기의 부피가 큰 경우에는 악기의 이동이 용이하지 않고, 악기 연주 시에 주위 사람에게 악기의 소음으로 피해를 주는 문제 등으로 연주 장소에 있어서 제약이 존재한다.
이와 관련하여, 최근에는 악기를 디지털 장치(예를 들어, 디지털 피아노)로 제작하고, 이어폰 등을 이용해서 악기 소리를 연주자에게만 제공함으로써, 악기의 연주 시에 타인에게 소음에 의한 방해가 생기지 않도록 하는 디지털 악기 시스템이 범용적으로 이용되고 있다.
또한, 한국공개특허 제2009-0085005호 등은 컴퓨터-휴먼 인터페이스(예를 들어, 버튼과 줄이 부착되어 있는 기타 모조품 형태의 인터페이스)를 이용함으로써, IT 기반의 기술과 융합시켜 시뮬레이션이 이루어진 가상의 악기 연주를 엔터테인먼트에 활용하는 기술을 개시하고 있다.
하지만, 상기와 같은 종래의 디지털 악기 시스템과 컴퓨터-휴먼 인터페이스를 기반으로 하는 가상 악기 연주 장치의 경우에도, 이를 위한 가상의 악기가 구비된 공간에서만 사용할 수 있다는 한계가 있다.
따라서, 물리적인 악기가 준비되지 않은 공간에서도 연주자의 손동작으로만 운용되어 악기를 연주할 수 있는 시스템이 구축될 필요가 있다. 즉, 물리적인 가상 악기를 구비하거나 연주자의 손가락에 센서를 부착시키지 않고서도 언제 어디서나 악기를 연주할 수 있도록 하는 손가락 동작 인식을 기반으로 하는 가상 악기 연주 시스템이 요구된다.
본 발명의 목적은, 센서를 부착하지 아니하고도 손가락의 동작을 정밀하게 인식할 수 있는 위치 추적 기술을 이용하여, 1인 혹은 다수의 사용자의 손가락 동작이 필요한 현악기, 관악기, 타악기 등과 같은 악기의 연주를 물리적인 악기가 존재하지 않는 공간에서도 수행할 수 있도록 하는 가상 악기 연주 장치 및 방법을 제공하고자 함에 있다.
상기한 목적을 달성하기 위한 본 발명에 따른 손가락 동작을 기반으로 하는 가상 악기 연주 장치는, 가상으로 악기를 연주하는 사용자의 동작을 감지하여 상기 사용자의 동작에 대한 영상 데이터를 획득하는 영상 획득부; 상기 영상 획득부에 의해 획득된 영상 데이터를 처리하여 사용자의 손가락 동작에 대한 정보를 획득하는 동작 획득부; 손가락 자세의 입력에 대하여 악기의 음향정보를 출력으로 갖는 신경망(neural network)에 대한 학습을 수행함으로써 손가락 자세에 따른 악기의 음향정보를 시뮬레이션하여 저장하는 음향정보 시뮬레이션부; 및 상기 동작 획득부에 의해 획득된 사용자의 손가락 동작에 대한 정보 및 상기 음향정보 시뮬레이션부에 의해 학습이 수행된 상기 신경망을 이용하여, 가상으로 악기를 연주하는 사용자의 손가락 동작에 대한 악기의 음향정보를 생성하는 음향정보 구성부를 포함하는 것을 특징으로 한다.
이때, 영상 획득부는, 사용자의 손의 위치에 대한 깊이(depth) 영상 데이터를 획득하는 깊이 영상 획득부; 및 사용자의 손가락의 동작에 대한 줌(zoom) 영상 데이터를 획득하는 줌 영상 획득부를 포함할 수 있다.
이때, 동작 획득부는, 상기 깊이 영상 획득부에 의해 획득된 깊이 영상 데이터로부터 사용자의 손의 위치를 검출하는 손 위치 검출부; 및 상기 줌 영상 획득부에 의해 획득된 줌 영상 데이터로부터 사용자의 손가락의 동작을 검출하는 손가락 동작 검출부를 포함할 수 있다.
이때, 동작 획득부는, 상기 손가락 동작 검출부가 사용자의 손가락의 동작을 검출하도록 하기 위해, 상기 손 위치 검출부에 의해 검출된 사용자의 손의 위치에 따라 상기 줌 영상 획득부를 이동시켜 줌 영상을 획득하도록 제어하는 줌 영상 획득 제어부를 포함할 수 있다.
이때, 동작 획득부는, 상기 사용자의 손가락 동작에 대한 정보에 대해 교정(calibration)을 수행하는 손가락 동작 보정부를 포함할 수 있다.
이때, 음향정보 시뮬레이션부는, 손가락 자세에 대한 데이터를 입력받는 손가락 자세 입력부; 상기 손가락 자세에 대한 데이터로부터 추출된 손가락 자세 별로 악기의 음향정보를 분류하여 저장하는 음향정보 데이터베이스부; 및 손가락 자세에 대한 데이터를 입력받아 그에 대한 악기의 음향정보를 출력하는 신경망에 대하여, 상기 손가락 자세 입력부로 입력된 손가락 자세에 대한 데이터를 입력으로 하는 학습을 수행하여 손가락 자세에 따른 악기의 음향정보를 시뮬레이션하고, 시뮬레이션에 따른 매핑 결과를 상기 음향정보 데이터베이스부에 저장하는 손가락 자세 학습부를 포함할 수 있다.
이때, 음향정보 구성부는, 상기 동작 획득부에 의해 획득된 사용자의 손가락 동작에 대한 정보를 입력받는 손가락 동작 입력부; 및 상기 손가락 자세 학습부에 의해 학습이 수행된 상기 신경망을 이용하여 상기 사용자의 손가락 동작에 대한 정보로부터 추출된 손가락 자세에 따른 악기의 음향정보를 생성하는 음향정보 생성부를 포함할 수 있다.
이때, 손가락 동작을 기반으로 하는 가상 악기 연주 장치는, 상기 음향정보 구성부에 의해 생성된 사용자의 손가락 동작에 대한 음향정보를 출력하는 음향정보 출력부를 포함할 수 있다.
이때, 손가락 동작을 기반으로 하는 가상 악기 연주 장치는, 상기 영상 획득부가 복수의 사용자의 동작에 대한 영상 데이터를 획득하는 경우, 상기 복수의 사용자의 동작에 대한 깊이 맵(depth map)을 생성하여 각 사용자의 동작 별로 깊이 정보를 분류하는 다중 동작 관리부를 포함할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명에 따른 손가락 동작을 기반으로 하는 가상 악기 연주 방법은, 영상 획득부에 의해 가상으로 악기를 연주하는 사용자의 동작을 감지하여 사용자의 동작에 대한 영상 데이터를 획득하는 단계; 동작 획득부에 의해 획득된 영상 데이터를 처리하여 사용자의 손가락 동작에 대한 정보를 획득하는 단계; 음향정보 시뮬레이션부에 의해 손가락 자세의 입력에 대하여 악기의 음향정보를 출력으로 갖는 신경망에 대한 학습을 수행함으로써 손가락 자세에 따른 악기의 음향정보를 시뮬레이션하여 저장하는 단계; 및 상기 사용자의 손가락 동작에 대한 정보 및 학습이 수행된 상기 신경망을 이용하여, 음향정보 구성부에 의해 가상으로 악기를 연주하는 사용자의 손가락 동작에 대한 악기의 음향정보를 생성하는 단계를 포함하는 것을 특징으로 한다.
이때, 사용자의 동작에 대한 영상 데이터를 획득하는 단계는, 사용자의 손의 위치에 대한 깊이 영상 데이터를 획득하는 단계; 및 사용자의 손가락의 동작에 대한 줌 영상 데이터를 획득하는 단계를 포함할 수 있다.
이때, 사용자의 손가락 동작에 대한 정보를 획득하는 단계는, 상기 깊이 영상 데이터로부터 사용자의 손의 위치를 검출하는 단계; 및 상기 줌 영상 데이터로부터 사용자의 손가락의 동작을 검출하는 단계를 포함할 수 있다.
이때, 사용자의 손가락 동작에 대한 정보를 획득하는 단계는, 사용자의 손가락의 동작을 검출하기 위해, 검출된 사용자의 손의 위치에 따라 사용자의 손가락 동작에 대한 줌 영상을 획득하는 단계를 포함할 수 있다.
이때, 사용자의 손가락 동작에 대한 정보를 획득하는 단계는, 상기 사용자의 손가락 동작에 대한 정보에 대해 교정을 수행하는 단계를 포함할 수 있다.
이때, 손가락 자세에 따른 음향정보를 시뮬레이션하여 저장하는 단계는, 손가락 자세에 대한 데이터를 입력받는 단계; 상기 손가락 자세에 대한 데이터로부터 추출된 손가락 자세 별로 악기의 음향정보를 분류하여 저장하는 단계; 및 손가락 자세에 대한 데이터를 입력받아 그에 대한 악기의 음향정보를 출력하는 신경망에 대하여, 상기 손가락 자세 입력부로 입력된 손가락 자세에 대한 데이터를 입력으로 하는 학습을 수행하여 손가락 자세에 따른 악기의 음향정보를 시뮬레이션하고, 시뮬레이션에 따른 매핑 결과를 저장하는 단계를 포함할 수 있다.
이때, 사용자의 손가락 동작에 대한 음향정보를 생성하는 단계는, 상기 사용자의 손가락 동작에 대한 정보를 입력받는 단계; 및 학습이 수행된 상기 신경망을 이용하여 상기 사용자의 손가락 동작에 대한 정보로부터 추출된 손가락 자세에 따른 악기의 음향정보를 생성하는 단계를 포함할 수 있다.
이때, 손가락 동작을 기반으로 하는 가상 악기 연주 방법은, 음향정보 출력부에 의해 사용자의 손가락 동작에 대한 음향정보를 출력하는 단계를 포함할 수 있다.
이때, 손가락 동작을 기반으로 하는 가상 악기 연주 방법은, 상기 영상 획득부가 복수의 사용자의 동작에 대한 영상 데이터를 획득하는 경우, 다중 동작 관리부에 의해 상기 복수의 사용자의 동작에 대한 깊이 맵을 생성하여 각 사용자의 동작 별로 깊이 정보를 분류하는 단계를 포함할 수 있다.
본 발명에 따르면 악기를 지참해야만 연주할 수 있는 공간적인 제약을 벗어나 물리적인 악기가 없는 어떠한 공간에서도 1인 또는 다수의 사용자가 악기를 연주할 수 있도록 하는 효과가 있다.
또한, 본 발명에 따르면, 종래의 가상 악기 연주 시스템에서 필수적인 컴퓨터-휴먼 인터페이스를 사용하거나 사용자의 몸에 센서를 부착하여야 하는 번거로움 없이 가상의 악기를 연주할 수 있도록 하는 효과가 있다.
도 1은 본 발명에 따른 손가락 동작을 기반으로 하는 가상의 악기 연주 장치의 구성을 나타내는 도면이다.
도 2는 도 1에 도시된 영상 획득부의 구성을 나타내는 도면이다.
도 3은 도 1에 도시된 동작 획득부의 구성을 나타내는 도면이다.
도 4는 도 1에 도시된 음향정보 시뮬레이션부의 구성을 나타내는 도면이다.
도 5는 도 1에 도시된 음향정보 구성부의 구성을 나타내는 도면이다.
도 6은 도 1에 도시된 다중 동작 관리부의 구성을 나타내는 도면이다.
도 7 내지 도 9는 본 발명에 따른 손가락 동작을 기반으로 하는 가상의 악기 연주 방법을 설명하기 위한 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하에서는 본 발명에 따른 손가락 동작을 기반으로 하는 가상의 악기 연주 장치의 구성 및 그 동작에 대하여 설명하도록 한다.
도 1은 본 발명에 따른 손가락 동작을 기반으로 하는 가상의 악기 연주 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명에 따른 손가락 동작을 기반으로 하는 가상의 악기 연주 장치(10)는, 가상으로 악기를 연주하는 사용자의 동작에 관한 영상 데이터를 획득하는 영상 획득부(100), 가상으로 악기를 연주하는 사용자의 동작에서 사용자의 손가락 동작에 대한 정보를 획득하는 동작 획득부(200), 실시간으로 입력되는 사용자의 손가락 동작으로부터 음향정보를 추출하기에 앞서 미리 각각의 손가락 자세 별로 음향정보를 매핑하여 저장하는 음향정보 시뮬레이션부(300), 실시간으로 입력되는 사용자의 손가락 동작에 따른 음향정보를 생성하는 음향정보 구성부(400), 실시간으로 입력되는 사용자의 손가락 동작에 따라 생성된 음향정보를 출력하는 음향정보 출력부(500) 및 가상으로 악기를 연주하는 사용자가 2인 이상인 경우에 복수의 사용자의 동작에 대한 영상 데이터를 처리하는 다중 동작 관리부(600)로 구성된다.
영상 획득부(100)는 멀티 카메라로 구성되어 가상으로 악기를 연주하는 사용자의 동작을 감지하고 그에 대한 영상 데이터를 획득한다. 도 2를 참조하면, 영상 획득부(100)는 가상으로 악기를 연주하는 사용자의 손의 위치를 파악할 수 있도록 깊이(depth) 정보를 포함하는 영상 데이터를 획득하는 깊이 영상 획득부(110)와 가상으로 악기를 연주하는 사용자의 손가락 동작을 정밀하게 파악할 수 있도록 사용자의 손가락 동작에 대한 줌(zoom) 영상 데이터를 획득하는 줌 영상 획득부(120)를 포함한다.
깊이 영상 획득부(110)는 깊이 카메라와 같은 깊이 영상 감지기로 구성되는데, 깊이 영상 감지기에서 내보낸 적외선이 가상으로 악기를 연주하는 사용자의 손에 닿았다가 되돌아오는 시간을 측정하여 거리를 산출하며, 그에 따라 얻은 깊이 영상 데이터는 가로, 세로, 거리와 같은 좌표 값으로 표현되어 3차원 공간 상에서 사용자의 손에 대한 기하학적 위치를 파악하기 위한 정보로 사용된다. 이 때, 가상의 악기를 연주하는 사용자가 다수인 경우에는, 깊이 영상 획득부(110)는 복수의 깊이 영상 감지기로 구성될 수 있다. 즉, 가상의 악기의 연주에 다수의 사용자가 참여하는 경우 하나의 깊이 영상 감지기가 아닌 복수의 깊이 영상 감지기를 구비함으로써, 가상의 악기를 연주하는 사용자 모두에 대한 영상 데이터를 획득할 수 있다.
줌 영상 획득부(120)는 기계적인 모터 장치가 부착되어 특정 위치로 이동 가능한 줌 카메라와 같은 줌 영상 감지기로 구성되는데, 동작 획득부(200)의 제어에 따라 가상의 악기를 연주하는 사용자의 손에 근접하는 위치로 이동하여 사용자의 손가락 동작에 대한 정밀한 줌 영상 데이터를 획득한다. 여기서, 줌 카메라를 이용하는 이유는 촬영된 영상의 해상도가 낮아 정밀한 사용자의 손가락 동작에 대한 영상 데이터를 획득하는데 어려움이 있는 일반적인 카메라의 한계를 극복하기 위함이다. 이 때, 줌 영상 획득부(120)는 가상의 악기를 연주하는 사용자의 오른손과 왼손을 별도로 감지하여 영상을 촬영하기 위해 2개의 줌 영상 감지기로 구성되는 것이 바람직하다. 또한, 가상의 악기를 연주하는 사용자가 다수인 경우에는, 2개의 줌 영상감지기가 다수의 그룹으로 구비될 수 있다.
동작 획득부(200)는 상기 영상 획득부(100)에 의해 획득된 영상 데이터를 처리하여 사용자의 손가락 동작에 대한 정보를 획득한다. 도 3을 참조하면, 동작 획득부(200)는 영상 획득부(100)로부터 가상으로 악기를 연주하는 사용자의 동작에 대한 영상 데이터를 입력받는 영상 입력부(210), 깊이 영상 데이터로부터 사용자의 손의 위치를 검출하는 손 위치 검출부(220), 가상의 악기를 연주하는 사용자의 손가락 동작에 대한 정밀한 줌 영상 데이터를 획득하도록 줌 영상 획득부(120)를 구성하는 줌 영상 감지기를 제어하는 줌 영상 획득 제어부(230), 줌 영상 데이터로부터 사용자의 손가락 동작을 검출하는 손가락 동작 검출부(240) 및 검출된 사용자의 손가락 동작에 대한 교정(calibration)을 수행하는 손가락 동작 보정부(250)를 포함한다.
영상 입력부(210)는 영상 획득부(100)로부터 가상으로 악기를 연주하는 사용자의 동작에 대한 깊이 영상 데이터와 줌 영상 데이터를 입력받아 이를 손 위치 검출부(220)와 손가락 동작 검출부(240)로 전송한다.
손 위치 검출부(220)는 깊이 영상 획득부(110)에 의해 획득된 깊이 영상 데이터로부터 가상의 악기를 연주하는 사용자의 손의 위치를 검출한다.
줌 영상 획득 제어부(230)는 손 위치 검출부(220)에 의해 검출된 가상의 악기를 연주하는 사용자의 손의 위치에 대한 정보에 기초하여 줌 영상 획득부(120)를 구성하는 줌 영상 감지기들을 사용자의 손에 근접하는 위치로 이동시키고 사용자의 손가락 동작에 대한 정밀한 줌 영상 데이터를 획득하도록 줌 영상 획득부(120)를 제어한다.
손가락 동작 검출부(240)는 줌 영상 획득부(120)에 의해 획득된 줌 영상 데이터로부터 가상의 악기를 연주하는 사용자의 손가락 동작(손가락의 위치, 자세 등)을 검출하여 사용자의 손가락 동작에 대한 정보를 생성한다. 이 때, 사용자의 손가락 동작에 대한 정보의 생성은, 예를 들어 사용자의 5 개 손가락의 굽힘 여부, 3 개 축방향{롤(roll), 피치(pitch), 요(yaw)}을 가지는 연속적인 손목 회전 여부를 추적하는 골격 기반 모델(skeleton based model)을 이용하여 수행될 수 있다. 그러나, 상기 예시한 사용자의 손가락 동작에 대한 정보를 생성하기 위한 방식은 하나의 예시일 뿐 이에 국한되는 것은 아니며 다른 모델링 방식에 따를 수 있다.
손가락 동작 보정부(250)는 손가락 동작 검출부(240)에 의해 생성된 가상의 악기를 연주하는 사용자의 손가락 동작에 대한 정보에 대해서 표준 인체의 손이 움직일 수 있는 여러 조건과 한계와 비교함으로써 교정(calibration)을 수행한다.
음향정보 시뮬레이션부(300)는, 음향정보 구성부(400)가 동작 획득부(200)에 의해 획득된 가상의 악기를 연주하는 사용자의 손가락 동작에 대한 정보를 이용하여 음향정보를 생성할 수 있도록 하기 위해, 예시적으로 제공되는 다양한 손가락 자세에 대하여 음향정보를 미리 시뮬레이션하고 그 결과를 저장한다. 도 4를 참조하면, 음향정보 시뮬레이션부(300)는 외부로부터 다양한 손가락 자세에 대한 데이터를 입력받는 손가락 자세 입력부(310), 손가락 자세 입력부(310)에 입력된 다양한 손가락 자세에 대하여 각 손가락의 자세 별로 음향정보를 분류하여 저장하는 음향정보 데이터베이스부(320) 및 손가락 자세 입력부(310)에 입력된 다양한 손가락 자세에 따른 음향정보를 시뮬레이션하고, 시뮬레이션에 따른 매핑 결과를 음향정보 데이터베이스부(320)에 저장하는 손가락 자세 학습부(330)를 포함한다.
손가락 자세 입력부(310)는 손가락 자세 학습부(330)가 손가락 자세에 따른 악기의 음향정보를 추출하는 시뮬레이션을 수행하기 위해 외부로부터 다양한 손가락 자세에 대한 데이터를 입력받는다. 이 때, 손가락 자세 입력부(310)로의 다양한 손가락 자세에 대한 데이터의 입력은, 예를 들어 영상 획득부(100)를 이용하여 수행될 수도 있을 것이나 이에 국한되는 것은 아니다.
음향정보 데이터베이스부(320)는 손가락 자세 입력부(310)로 입력된 다양한 손가락 자세에 대하여 악기 별 음향정보의 데이터베이스를 구축한다. 즉, 타악기, 관악기, 현악기 등과 같은 악기들을 주로 손가락의 자세에 따라 다른 소리가 발생되므로, 음향정보 데이터베이스부(320)는 다양한 손가락 자세에 따른 악기 소리를 분류하여 저장한다. 예를 들어, 오른손을 주로 사용하는 사람이 기타를 연주하는 경우, 오른손으로 스트로크(stroke) 또는 아르페지오(arpeggio) 주법을 사용하고 왼손으로 코드를 잡는 방법으로 기타를 연주하게 되므로, 음향정보 데이터베이스부(320)는 사용자의 오른손과 왼손의 손가락 자세에 따라 예측된 주법과 코드에 기초하여 기타의 음향정보를 저장한다.
여기서, 음향정보 데이터베이스부(320)에는 악기 별로 사용자의 손가락 자세에 따른 음향정보의 데이터베이스가 구축되지만, 가상의 악기를 연주하는 사용자의 모든 손가락 자세의 경우를 고려하여 악기 별 음향정보를 저장할 수 없다. 따라서, 본 발명에서는 손가락 자세 입력부(310)에 예시적으로 입력됨으로써 제공되는 손가락 자세에 대하여 음향정보 데이터베이스부(320)를 통해 특정한 손가락 자세에 따른 악기 별 음향정보의 데이터베이스를 구축하고, 손가락 자세 학습부(330)에 의해 입출력 파라미터를 고려한 손가락 동작 기반의 신경망(neural network)을 학습한 후, 학습된 신경망을 이용하여 가상의 악기를 연주하는 사용자의 손가락 동작에 따른 악기 별 음향정보를 추출한다. 여기서, 신경망이란 기존의 컴퓨터 모델이 지속적인 명령어에 의한 계산적인 연산에는 뛰어나지만 경험을 통해 현상을 일반화하고 배우는 학습 능력이 부족한 사실에 기반하여 인간의 학습 능력을 모사하기 위하여 인간 뇌의 신경망을 컴퓨터에 모델링하여 지능을 구형하고자 하는 기법으로써, 이때 신경망은 학습 데이터를 통하여 가중치를 학습하고 그 데이터에 대한 특성을 일반화시킴으로서 학습 기능이 수행될 수 있다. 신경망의 구현 및 학습은 공지의 컴퓨터 학습 이론(예를 들어, Neal, 1996, Bayesian Learning for Neural Networks, New York Springer-Verlag; and Insua, 1998, Feedforward neural networks for nonparametric regression In: Practical Nonparametnc and Semiparametric Bayesian Statistics, pp 181-194, New York Springer 참조)을 통해 널리 알려져 있으므로, 본 명세서에서는 보다 상세한 설명을 생략하도록 한다.
이에 따라, 손가락 자세 학습부(330)는 손가락 자세에 대한 데이터를 입력으로 갖고 상기 손가락 자세에 따른 악기의 음향정보(소리 크기, 코드 별 악기 소리 등)를 출력으로 갖는 신경망에 대하여, 손가락 자세 입력부(310)로 입력된 다양한 손가락 자세에 대한 데이터를 입력하면서 출력인 음향정보에 대한 학습을 수행한다. 또한, 손가락 자세 학습부(330)는 상기 신경망에 대한 학습의 결과로써 특정 손가락 자세와 그에 따른 음향정보가 매핑된 결과를 음향정보 데이터베이스부(320)에 저장한다.
음향정보 구성부(400)는 동작 획득부(200)에 의해 획득된 가상의 악기를 연주하는 사용자의 손가락 동작에 대한 정보를 이용하여 악기의 음향정보를 생성한다. 도 5를 참조하면, 음향정보 구성부(400)는 동작 획득부(200)로부터 가상의 악기를 연주하는 사용자의 손가락 동작에 대한 정보를 입력받는 손가락 동작 입력부(410) 및 상기 가상의 악기를 연주하는 사용자의 손가락 동작에 대한 정보와 손가락 자세 학습부(330)에 의해 학습이 수행된 신경망을 이용하여 악기의 음향정보를 생성하는 음향정보 생성부(420)를 포함한다.
손가락 동작 입력부(410)는 동작 획득부(200)로부터 가상의 악기를 연주하는 사용자의 손가락 동작에 대한 정보를 실시간으로 입력받아 이를 음향정보 생성부(420)로 전송한다.
음향정보 생성부(420)는 사용자의 손가락 동작에 대한 정보로부터 손가락 자세에 대한 데이터를 추출하고, 이를 손가락 자세 학습부(330)에 의해 학습이 수행된 신경망에 적용함으로써, 음향정보 데이터베이스부(320)에 저장된 매핑 결과에 따라 가상의 악기를 연주하는 사용자의 손가락 동작에 대응되는 악기의 음향정보를 생성한다. 이때, 음향정보 생성부(420)는 생성된 악기의 음향정보 음향정보(소리 크기, 코드 별 악기 소리 등)에 대하여 믹싱(mixing) 처리함으로써, 최종적으로 가상의 악기를 연주하는 사용자의 손가락 동작에 따른 악기의 음향정보를 생성할 수 있다.
음향정보 출력부(500)는 소리를 출력할 수 있는 이어폰, 헤드셋, 스피커 등과 같은 음향출력장치로 구성되어, 음향정보 구성부(400)에 의해 생성된 가상의 악기를 연주하는 사용자의 손가락 동작에 대응되는 악기의 음향정보를 출력한다.
다중 동작 관리부(600)는 가상으로 악기를 연주하는 사용자가 다수인 경우에 영상 획득부(100)가 복수의 사용자의 동작에 대한 영상 데이터를 획득하면, 복수의 사용자의 동작에 대한 깊이 맵(depth map)을 생성하여 각 사용자의 동작 별로 깊이 정보를 분류한 후, 분류된 사용자 별 깊이 정보를 동작 획득부(200)로 전송한다. 도 6을 참조하면, 다중 동작 관리부(600)는 영상 획득부(100)로부터 가상의 악기를 연주하는 다수의 사용자의 동작에 대한 깊이 영상 데이터를 입력받는 다중 깊이 영상 입력부(610), 가상의 악기를 연주하는 다수의 사용자의 동작에 대한 깊이 영상 데이터를 이용하여 깊이 맵을 생성하는 깊이 맵 생성부(620) 및 깊이 맵으부터 사용자 별 깊이 정보를 추출하여 분류하는 다중 동작 처리부(630)을 포함한다.
다중 깊이 영상 입력부(610)는 가상으로 악기를 연주하는 사용자가 다수 존재함에 따라 깊이 영상 획득부(110)를 구성하는 복수의 깊이 영상 감지기들이 각각 사용자의 깊이 영상 데이터를 획득한 경우, 깊이 영상 획득부(110)로부터 다수의 사용자에 대한 깊이 영상 데이터를 입력받고 이를 깊이 맵 생성부(620)로 전송한다.
깊이 맵 생성부(620)는 다수의 사용자에 대한 깊이 영상 데이터에 기초하여 각 사용자의 손의 위치를 파악할 수 있도록 다수의 사용자에 대한 깊이 맵을 생성한다.
다중 동작 처리부(630)는 깊이 맵 생성부(620)에 의해 생성된 다수의 사용자에 대한 깊이 맵으로부터 각 사용자 별로 깊이 정보를 추출하며, 추출된 깊이 정보를 각 사용자 별로 분류하여 동작 획득부(200)로 전송한다. 그에 따라, 동작 획득부(200)의 손 위치 검출부(220)는 각 사용자 별로 분류된 깊이 정보를 이용하여 깊이 영상 획득부(110)에 의해 획득된 다수의 사용자에 대한 깊이 영상 데이터로부터 각 사용자 별 손의 위치를 검출할 수 있으며, 손가락 동작 검출부(240) 또한 줌 영상 획득부(120)에 의해 획득된 각 사용자 별 손의 위치에 따른 손가락 동작에 대한 줌 영상 데이터로부터 다수의 사용자에 대한 손가락 동작의 정보를 생성할 수 있게 된다.
이하에서는 본 발명에 따른 손가락 동작을 기반으로 하는 가상의 악기 연주 방법에 대하여 설명하도록 한다. 앞서, 도 1 내지 도 6을 참조한 본 발명에 따른 손가락 동작을 기반으로 하는 가상의 악기 연주 장치의 동작에 대한 설명과 일부 중복되는 부분은 생략하여 설명하기로 한다.
도 7은 본 발명에 따른 손가락 동작을 기반으로 하는 가상의 악기 연주 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 본 발명에 따른 손가락 동작을 기반으로 하는 가상의 악기 연주 방법은, 먼저 영상 획득부(100)가 가상으로 악기를 연주하는 사용자의 동작을 감지하여 사용자의 동작에 대한 영상 데이터를 획득한다(S100). 이 때, 영상 획득부(100)의 깊이 영상 획득부(110)는 사용자의 손의 위치를 파악할 수 있도록 가상으로 악기를 연주하는 사용자의 동작에 대한 깊이 정보를 포함하는 깊이 영상 데이터를 획득한다.
그 다음으로, 동작 획득부(200)는 영상 획득부(100)로부터 가상으로 악기를 연주하는 사용자의 동작에 대한 깊이 영상 데이터를 입력받아 사용자의 손의 위치를 파악하고, 줌 영상 획득부(120)의 줌 영상 감지기의 이동을 제어하여 영상 획득부(100)로부터 사용자의 손가락 동작에 대한 정밀한 줌 영상 데이터를 입력받아 사용자의 손가락 동작에 대한 정보를 획득한다(S200).
그리고, 음향정보 구성부(400)는 상기 S200 단계에서 동작 획득부(200)에 의해 획득된 가상으로 악기를 연주하는 사용자의 손가락 동작에 대한 정보를 실시간으로 입력받고, 이를 기초로 악기의 음향정보를 생성한다(S300).
마지막으로, 음향정보 출력부(500)는 상기 S300 단계에서 음향정보 구성부(400)에 의해 생성된 가상의 악기를 연주하는 사용자의 손가락 동작에 대응하는 악기의 음향정보를 출력한다(S400).
도 8은 본 발명에 따른 손가락 동작을 기반으로 하는 가상의 악기 연주 방법에서 S200 단계를 보다 구체적으로 설명하기 위한 흐름도이다.
도 8을 참조하면, S100 단계에서 영상 획득부(100)에 의해 가상으로 악기를 연주하는 사용자의 동작에 대한 깊이 영상 데이터가 획득되면, 동작 획득부(200)는 영상 입력부(210)를 통해 영상 획득부(100)로부터 상기 깊이 영상 데이터를 입력 받는다(S210). 이 때, 가상의 악기를 연주하는 사용자가 다수 존재함에 따라, S100 단계에서 영상 획득부(100)가 복수의 사용자의 동작에 대한 깊이 영상 데이터를 획득한 경우, 다중 동작 관리부(600)에 의해 복수의 사용자의 동작에 대한 깊이 맵이 생성되고 각 사용자의 동작 별로 깊이 정보가 분류됨으로써 처리된 복수의 사용자의 동작에 대한 깊이 영상 데이터가 영상 입력부(210)로 입력될 수 있다.
그 다음으로, 손 위치 검출부(220)는 영상 입력부(210)에 입력된 사용자의 동작에 대한 깊이 영상 데이터를 분석하여 사용자의 손의 위치를 검출한다(S220).
상기 S220 단계에서 사용자의 손의 위치가 파악되면, 줌 영상 획득 제어부(230)는 이에 기초하여 줌 영상 획득부(120)를 제어하여 줌 영상 감지기들을 사용자의 손에 근접하는 위치로 이동시키고 사용자의 손가락 동작에 대한 정밀한 줌 영상 데이터를 획득하도록 한다(S230).
상기 S230 단계에서 줌 영상 획득부(120)에 의해 사용자의 손가락 동작에 대한 줌 영상 데이터가 획득되면, 동작 획득부(200)는 영상 입력부(210)를 통해 영상 획득부(100)로부터 상기 줌 영상 데이터를 입력받고, 손가락 동작 검출부(240)가 상기 줌 영상 데이터를 분석하여 사용자의 손가락 동작을 검출하고 그에 대한 정보를 생성한다(S240).
그리고, 손가락 동작 보정부(250)는 손가락 동작 검출부(240)에 의해 생성된 가상의 악기를 연주하는 사용자의 손가락 동작에 대한 정보에 대해서 표준 인체의 손이 움직일 수 있는 여러 조건과 한계와 비교함으로써 교정을 수행한다(S250).
도 9는 본 발명에 따른 손가락 동작을 기반으로 하는 가상의 악기 연주 방법에서 S300 단계를 보다 구체적으로 설명하기 위한 흐름도이다.
도 9를 참조하면, S200 단계에서 동작 획득부(200)에 의해 가상의 악기를 연주하는 사용자의 손가락 동작에 대한 정보가 생성되면, 음향정보 구성부(400)는 손가락 동작 입력부(410)를 통해 동작 획득부(200)로부터 상기 사용자의 손가락 동작에 대한 정보를 실시간으로 입력받는다(S310).
그 다음으로, 음향정보 생성부(420)는 손가락 동작 입력부(410)에 실시간으로 입력된 사용자의 손가락 동작에 대한 정보로부터 가상의 악기를 연주하는 사용자의 손가락 자세에 대한 데이터를 추출하고, 이를 손가락 자세를 기반으로 학습이 수행된 신경망에 적용함으로써, 가상의 악기를 연주하는 사용자의 손가락 자세에 대응하는 악기의 음향정보를 생성한다(S320). 이때, 상기 S320 단계에서 음향정보 생성부(420)에 의해 가상의 악기를 연주하는 사용자의 손가락 자세에 대한 데이터가 적용되는 신경망은, 손가락 자세에 대한 데이터를 입력으로 갖고 손가락 자세에 따른 악기의 음향정보(소리 크기, 코드 별 악기 소리 등)를 출력으로 갖는 신경망으로써, 음향정보 시뮬레이션부(300)의 손가락 자세 학습부(330)에 의해 다양한 손가락 자세에 대한 데이터를 입력으로 하여 악기의 음향정보에 대한 학습이 미리 수행된다.
그리고, 상기 S320 단계에서 생성된 악기의 음향정보에 대해 믹싱 처리함으로써, 최종적으로 가상의 악기를 연주하는 사용자의 손가락 동작에 따른 악기의 음향정보를 생성한다(S330).
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 가상의 악기 연주 장치
100: 영상 획득부
110: 깊이 영상 획득부 120: 줌 영상 획득부
200: 동작 획득부
210: 영상 입력부 220: 손 위치 검출부
230: 줌 영상 획득 제어부 240: 손가락 동작 검출부
250: 손가락 동작 보정부
300: 음향정보 시뮬레이션부
310: 손가락 자세 입력부 320: 음향정보 데이터베이스부
330: 손가락 자세 학습부
400: 음향정보 구성부
410: 손가락 동작 입력부 420: 음향정보 생성부
500: 음향정보 출력부
600: 다중 동작 관리부
610: 다중 깊이 영상 입력부 620: 깊이 맵 생성부
630: 다중 동작 처리부

Claims (18)

  1. 가상으로 악기를 연주하는 사용자의 동작을 감지하여 상기 사용자의 동작에 대한 영상 데이터를 획득하는 영상 획득부;
    상기 영상 획득부에 의해 획득된 영상 데이터를 처리하여 사용자의 손가락 동작에 대한 정보를 획득하는 동작 획득부;
    손가락 자세의 입력에 대하여 악기의 음향정보를 출력으로 갖는 신경망(neural network)에 대한 학습을 수행함으로써 손가락 자세에 따른 악기의 음향정보를 시뮬레이션하여 저장하는 음향정보 시뮬레이션부; 및
    상기 동작 획득부에 의해 획득된 사용자의 손가락 동작에 대한 정보 및 상기 음향정보 시뮬레이션부에 의해 학습이 수행된 상기 신경망을 이용하여, 가상으로 악기를 연주하는 사용자의 손가락 동작에 대한 악기의 음향정보를 생성하는 음향정보 구성부를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치.
  2. 청구항 1에 있어서,
    상기 영상 획득부는,
    사용자의 손의 위치에 대한 깊이(depth) 영상 데이터를 획득하는 깊이 영상 획득부; 및
    사용자의 손가락의 동작에 대한 줌(zoom) 영상 데이터를 획득하는 줌 영상 획득부를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치.
  3. 청구항 2에 있어서,
    상기 동작 획득부는,
    상기 깊이 영상 획득부에 의해 획득된 깊이 영상 데이터로부터 사용자의 손의 위치를 검출하는 손 위치 검출부; 및
    상기 줌 영상 획득부에 의해 획득된 줌 영상 데이터로부터 사용자의 손가락의 동작을 검출하는 손가락 동작 검출부를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치.
  4. 청구항 3에 있어서,
    상기 동작 획득부는,
    상기 손가락 동작 검출부가 사용자의 손가락의 동작을 검출하도록 하기 위해, 상기 손 위치 검출부에 의해 검출된 사용자의 손의 위치에 따라 상기 줌 영상 획득부를 이동시켜 줌 영상을 획득하도록 제어하는 줌 영상 획득 제어부를 더 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치.
  5. 청구항 1에 있어서,
    상기 동작 획득부는,
    상기 사용자의 손가락 동작에 대한 정보에 대해 교정(calibration)을 수행하는 손가락 동작 보정부를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치.
  6. 청구항 1에 있어서,
    상기 음향정보 시뮬레이션부는,
    손가락 자세에 대한 데이터를 입력받는 손가락 자세 입력부;
    상기 손가락 자세에 대한 데이터로부터 추출된 손가락 자세 별로 악기의 음향정보를 분류하여 저장하는 음향정보 데이터베이스부; 및
    손가락 자세에 대한 데이터를 입력받아 그에 대한 악기의 음향정보를 출력하는 신경망에 대하여, 상기 손가락 자세 입력부로 입력된 손가락 자세에 대한 데이터를 입력으로 하는 학습을 수행하여 손가락 자세에 따른 악기의 음향정보를 시뮬레이션하고, 시뮬레이션에 따른 매핑 결과를 상기 음향정보 데이터베이스부에 저장하는 손가락 자세 학습부를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치.
  7. 청구항 6에 있어서,
    상기 음향정보 구성부는,
    상기 동작 획득부에 의해 획득된 사용자의 손가락 동작에 대한 정보를 입력받는 손가락 동작 입력부; 및
    상기 손가락 자세 학습부에 의해 학습이 수행된 상기 신경망을 이용하여 상기 사용자의 손가락 동작에 대한 정보로부터 추출된 손가락 자세에 따른 악기의 음향정보를 생성하는 음향정보 생성부를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치.
  8. 청구항 1에 있어서,
    상기 음향정보 구성부에 의해 생성된 사용자의 손가락 동작에 대한 음향정보를 출력하는 음향정보 출력부를 더 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치.
  9. 청구항 1에 있어서,
    상기 영상 획득부가 복수의 사용자의 동작에 대한 영상 데이터를 획득하는 경우, 상기 복수의 사용자의 동작에 대한 깊이 맵(depth map)을 생성하여 각 사용자의 동작 별로 깊이 정보를 분류하는 다중 동작 관리부를 더 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치.
  10. 영상 획득부에 의해 가상으로 악기를 연주하는 사용자의 동작을 감지하여 사용자의 동작에 대한 영상 데이터를 획득하는 단계;
    동작 획득부에 의해 획득된 영상 데이터를 처리하여 사용자의 손가락 동작에 대한 정보를 획득하는 단계;
    음향정보 시뮬레이션부에 의해 손가락 자세의 입력에 대하여 악기의 음향정보를 출력으로 갖는 신경망에 대한 학습을 수행함으로써 손가락 자세에 따른 악기의 음향정보를 시뮬레이션하여 저장하는 단계; 및
    상기 사용자의 손가락 동작에 대한 정보 및 학습이 수행된 상기 신경망을 이용하여, 음향정보 구성부에 의해 가상으로 악기를 연주하는 사용자의 손가락 동작에 대한 악기의 음향정보를 생성하는 단계를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법.
  11. 청구항 10에 있어서,
    상기 사용자의 동작에 대한 영상 데이터를 획득하는 단계는,
    사용자의 손의 위치에 대한 깊이 영상 데이터를 획득하는 단계; 및
    사용자의 손가락의 동작에 대한 줌 영상 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법.
  12. 청구항 11에 있어서,
    상기 사용자의 손가락 동작에 대한 정보를 획득하는 단계는,
    상기 깊이 영상 데이터로부터 사용자의 손의 위치를 검출하는 단계; 및
    상기 줌 영상 데이터로부터 사용자의 손가락의 동작을 검출하는 단계를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법.
  13. 청구항 12에 있어서,
    상기 사용자의 손가락 동작에 대한 정보를 획득하는 단계는,
    사용자의 손가락의 동작을 검출하기 위해, 검출된 사용자의 손의 위치에 따라 사용자의 손가락 동작에 대한 줌 영상을 획득하는 단계를 더 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법.
  14. 청구항 10에 있어서,
    상기 사용자의 손가락 동작에 대한 정보를 획득하는 단계는,
    상기 사용자의 손가락 동작에 대한 정보에 대해 교정을 수행하는 단계를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법.
  15. 청구항 10에 있어서,
    상기 손가락 자세에 따른 음향정보를 시뮬레이션하여 저장하는 단계는,
    손가락 자세에 대한 데이터를 입력받는 단계;
    상기 손가락 자세에 대한 데이터로부터 추출된 손가락 자세 별로 악기의 음향정보를 분류하여 저장하는 단계; 및
    손가락 자세에 대한 데이터를 입력받아 그에 대한 악기의 음향정보를 출력하는 신경망에 대하여, 상기 손가락 자세 입력부로 입력된 손가락 자세에 대한 데이터를 입력으로 하는 학습을 수행하여 손가락 자세에 따른 악기의 음향정보를 시뮬레이션하고, 시뮬레이션에 따른 매핑 결과를 저장하는 단계를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법.
  16. 청구항 15에 있어서,
    상기 사용자의 손가락 동작에 대한 음향정보를 생성하는 단계는,
    상기 사용자의 손가락 동작에 대한 정보를 입력받는 단계; 및
    학습이 수행된 상기 신경망을 이용하여 상기 사용자의 손가락 동작에 대한 정보로부터 추출된 손가락 자세에 따른 악기의 음향정보를 생성하는 단계를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법.
  17. 청구항 10에 있어서,
    음향정보 출력부에 의해 사용자의 손가락 동작에 대한 음향정보를 출력하는 단계를 더 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법.
  18. 청구항 10에 있어서,
    상기 영상 획득부가 복수의 사용자의 동작에 대한 영상 데이터를 획득하는 경우, 다중 동작 관리부에 의해 상기 복수의 사용자의 동작에 대한 깊이 맵을 생성하여 각 사용자의 동작 별로 깊이 정보를 분류하는 단계를 더 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법.
KR1020110134851A 2011-12-14 2011-12-14 손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법 KR20130067856A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110134851A KR20130067856A (ko) 2011-12-14 2011-12-14 손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110134851A KR20130067856A (ko) 2011-12-14 2011-12-14 손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130067856A true KR20130067856A (ko) 2013-06-25

Family

ID=48863603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110134851A KR20130067856A (ko) 2011-12-14 2011-12-14 손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20130067856A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101524279B1 (ko) * 2014-03-21 2015-06-01 국민대학교산학협력단 Ｒｇｂ-ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법
WO2015111778A1 (ko) * 2014-01-27 2015-07-30 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어방법
KR20160031366A (ko) * 2014-09-12 2016-03-22 임지순 전자악기 제어 방법 및 장치, 전자악기 시스템
KR20210039193A (ko) * 2019-10-01 2021-04-09 샤이다 에르네스토 예브계니 산체스 인공지능을 이용하여 소리를 생성하는 방법
KR20220089936A (ko) 2020-12-22 2022-06-29 전성근 복합소재의 바느질 방법
KR102622163B1 (ko) * 2023-07-10 2024-01-05 주식회사 스튜디오브이알 가상현실 기반 온라인 음악교습 방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015111778A1 (ko) * 2014-01-27 2015-07-30 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어방법
US10318007B2 (en) 2014-01-27 2019-06-11 Lg Electronics Inc. Head mounted display device for multi-tasking and method for controlling same
KR101524279B1 (ko) * 2014-03-21 2015-06-01 국민대학교산학협력단 Ｒｇｂ-ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법
KR20160031366A (ko) * 2014-09-12 2016-03-22 임지순 전자악기 제어 방법 및 장치, 전자악기 시스템
KR20210039193A (ko) * 2019-10-01 2021-04-09 샤이다 에르네스토 예브계니 산체스 인공지능을 이용하여 소리를 생성하는 방법
KR20220089936A (ko) 2020-12-22 2022-06-29 전성근 복합소재의 바느질 방법
KR102622163B1 (ko) * 2023-07-10 2024-01-05 주식회사 스튜디오브이알 가상현실 기반 온라인 음악교습 방법 및 장치

Similar Documents

Publication Publication Date Title
CN102989174B (zh) 获得用于控制游戏程序的运行的输入
JP6973388B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN101484221B (zh) 获得用于控制游戏程序的运行的输入
CN102331840B (zh) 基于回环运动的用户选择和导航
JP2020522763A (ja) モーションキャプチャされた仮想手を使用する拡張現実学習システムおよび方法
KR20130067856A (ko) 손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법
CN105741639B (zh) 一种模拟弓弦类乐器的微感掌上乐器
US20090066641A1 (en) Methods and Systems for Interpretation and Processing of Data Streams
CN108369478A (zh) 用于交互反馈的手部跟踪
CN111318009A (zh) 基于可穿戴惯性感知的体感健康娱乐系统及其工作方法
CN101579238A (zh) 人体运动捕获三维再现系统及其方法
JP7490142B2 (ja) 姿勢の脱曖昧化
CN108932060A (zh) 手势立体互动投影技术
Arsenault et al. Gesture recognition using Markov Systems and wearable wireless inertial sensors
Anbarsanti et al. Dance modelling, learning and recognition system of aceh traditional dance based on hidden Markov model
Ibañez et al. A comparative study of machine learning techniques for gesture recognition using kinect
Ravi Automatic gesture recognition and tracking system for physiotherapy
CN102591456B (zh) 对身体和道具的检测
WO2019095108A1 (zh) 机器人的模仿学习方法、装置、机器人及存储介质
Maiti Interactive remote laboratories with gesture based interface through microsoft kinect
Antoshchuk et al. Creating an interactive musical experience for a concert hall
Li et al. Research on virtual Guzheng based on Kinect
KR102430914B1 (ko) 가상현실 및 증강현실 컨텐츠 제공 시스템, 방법 그리고 컴퓨터 프로그램
Yohannes et al. Virtual reality in puppet game using depth sensor of gesture recognition and tracking
US20220334674A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid