KR101785781B1 - 깊이 정보를 이용한 가상 피아노 구현 방법 - Google Patents

깊이 정보를 이용한 가상 피아노 구현 방법 Download PDF

Info

Publication number
KR101785781B1
KR101785781B1 KR1020150083938A KR20150083938A KR101785781B1 KR 101785781 B1 KR101785781 B1 KR 101785781B1 KR 1020150083938 A KR1020150083938 A KR 1020150083938A KR 20150083938 A KR20150083938 A KR 20150083938A KR 101785781 B1 KR101785781 B1 KR 101785781B1
Authority
KR
South Korea
Prior art keywords
piano
virtual
virtual piano
depth
image
Prior art date
Application number
KR1020150083938A
Other languages
English (en)
Other versions
KR20160147334A (ko
Inventor
권순각
김태준
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020150083938A priority Critical patent/KR101785781B1/ko
Publication of KR20160147334A publication Critical patent/KR20160147334A/ko
Application granted granted Critical
Publication of KR101785781B1 publication Critical patent/KR101785781B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Abstract

본 발명은 깊이 카메라를 이용하여 가상의 피아노를 생성하고 이를 이용한 피아노 연주 수행 방법에 관한 것으로서, 더욱 상세하게는 협소한 공간의 제약 사항에 관계없이 깊이 카메라를 이용하여 깊이 정보를 분석함으로써 벽면과 책상 등의 평면체 또는 곡면체 등의 평구조부를 피아노 연주 기반체로 사용하는 기술에 관한 것이다.
본 발명에 따른 깊이 정보를 이용한 가상 피아노 이벤트 장치 및 구현 방법은 깊이 카메라를 연주자가 원하는 위치에 설치하고 벽면 또는 책상과 같은 평면체 또는 완만한 곡면체 등의 평구조부를 가상 피아노 연주 기반체로 하여 객체를 인식시키고 빔 프로젝터와 같은 영상 송출 모듈로 가상의 피아노 건반을 생성한 후, 평구조부에 투사된 피아노 건반의 특정 위치를 터치하면 깊이 카메라가 피아노 건반 터치를 인식하여 DB 모듈에 입력된 건반 및 음역 정보 중, 해당 음역을 추출하여 소리 출력용 스피커 모듈로 음역 신호를 출력하는 알고리듬이 순차적으로 적용되고 상기한 개별 모듈이 하나의 시스템으로 구성되는 것을 특징으로 한다.

Description

깊이 정보를 이용한 가상 피아노 구현 방법{Virtual Piano Event Control Method using Depth Information}
본 발명은 깊이 카메라를 이용하여 가상의 피아노를 생성하고 이를 이용한 피아노 연주 수행 방법에 관한 것으로서, 더욱 상세하게는 협소한 공간의 제약 사항에 관계없이 깊이 카메라를 이용하여 깊이 정보를 분석함으로써 벽면과 책상 등의 평면체 또는 곡면체 등의 평구조부를 피아노 연주 기반체로 사용하는 기술에 관한 것이다.
기존의 목재식 또는 전자식 피아노는 한정된 공간 상에서 차지하는 용적률이 매우 높을 뿐만 아니라 장기간 미사용 방치 시 음색을 조율하고 타건감을 복원하기 위한 부수적인 조정 과정이 수반된다. 전술한 문제점을 해결하기 위한 대안으로, 깊이 정보 처리 기반의 가상 피아노 구현 기술을 이용하면 장소와 환경에 관계없이 피아노 연주를 위한 제반적 요구 사항을 충족할 수 있게 된다.
기존의 목재식 또는 전자식 피아노 연주 환경 구축에 소요되는 비용 발생 문제를 완화하고 일반 대중에게 피아노 연주 환경의 접근성 증대를 목적으로 스마트폰 또는 태블릿(tablet))PC에서 구동 가능한 악기 연주 용용 프로그램이 개발되어 상용화된 바 있다. 그러나 상기의 스마트폰 또는 태블릿PC에 장착할 수 있는 디스플레이 모듈 크기 측면의 제한성으로 인하여 최종 사용자 입장에서 피아노 연주 측면의 실질적 효용성이 매우 저조한 실정이다. 따라서 전술한 제한점을 극복할 수 있도록 가상의 피아노 연주 장치 구축 기술이 개발된다면 기존의 목재식 또는 전자식 피아노의 대안으로 활용 가능할 것이다.
전술한 깊이 정보를 이용한 가상 피아노 이벤트 장치 및 구현 방법을 개시하려는 유사 선행 기술에는 한국컴퓨터정보학회지에 게재된 '키넥트를 이용한 종이건반 피아노 구현 연구'가 있다. 그리고 또 다른 유사 선행 기술에는 대한민국 특허청에 등록된 등록특허공보(B1) 제10-1336139호; 등록특허공보(B1) 제10-1371826호; 등록특허공보(B1) 제10-1426378호; 등록특허공보(B1) 제10-1461145호 등이 있다. 그러나 종래의 기술에서는 협소한 공간의 제한 조건에 관계없이 깊이 카메라를 이용하여 가상의 피아노를 생성하고 이를 이용한 피아노 연주 수행 방법에 대한 기술이 제공되지 못하였다.
KR 10-1336139 B1 KR 10-1426378 B1 KR 10-1461145 B1
이정철, 김민성, 2012, "키넥트를 이용한 종이건반 피아노 구현 연구" 한국컴퓨터정보학회지, 제17권, 12호, pp. 219-228.
본 발명은 상기한 발명의 배경으로부터 요구되는 기술적 필요성을 충족하는 것을 목적으로 한다.
구체적으로, 본 발명의 목적은 기존의 목재식 또는 전자식 피아노가 한정된 공간 상에서 차지하는 용적률에 대한 제한 사항을 극복할 수 있고 음색 조율 및 타건감 복원을 위한 부수적인 조정 과정이 필요 없는 깊이 정보 처리 기반의 가상 피아노 구현 및 피아노 연주 수행 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이러한 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 가상 피아노 이벤트 장치 및 구현 방법은 깊이 카메라를 연주자가 원하는 위치에 설치하고 벽면 또는 책상과 같은 평면체 또는 완만한 곡면체 등의 평구조부를 가상 피아노 연주 기반체로 하여 객체를 인식시키고 빔 프로젝터(beam projector)와 같은 영상 송출 모듈로 가상의 피아노 건반을 생성한 후, 평구조부에 투사된 피아노 건반의 특정 위치를 터치(touch)하면 깊이 카메라가 피아노 건반 터치를 인식하여 데이터베이스(data base, 이하 DB) 모듈에 입력된 건반 및 음역 정보 중, 해당 음역을 추출하여 소리 출력용 스피커 모듈로 음역 신호를 출력하는 알고리듬(algorithm)이 순차적으로 적용되고 상기한 개별 모듈(module)이 하나의 시스템으로 구성되는 것을 특징으로 한다.
이상과 같이 본 발명은 기존의 목재식 또는 전자식 피아노가 한정된 공간 상에서 차지하는 용적률 문제를 극복할 수 있고 장기간 미사용 방치 시 음색을 조율하고 타건감을 복원하기 위한 부수적인 조정 과정이 수반되지 않는다는 장점이 있다. 또한 기존의 목재식 또는 전자식 피아노 연주 환경 구축에 소요되는 비용 발생 문제를 완화하고 일반 대중에게 피아노 연주 환경의 접근성을 증대시킬 수 있는 효과가 있다.
본 발명의 기술적 효과들은 이상에서 언급한 기술적 효과들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 청구범위의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 깊이 정보를 이용한 가상 피아노 이벤트 장치 및 구현 방법에 적용되는 깊이 정보 처리 분석의 순서도;
도 2는 본 발명의 실시예에 따른 깊이 정보를 이용한 가상 피아노 이벤트 장치 및 구현 방법에서 가상 터치 센서에 대한 깊이 영상 촬영 모듈 설치 위치의 예시도;
도 3은 본 발명의 실시예에 따른 깊이 정보를 이용한 가상 피아노 이벤트 장치 및 구현 방법에서 1차원 선형 변환에 의하여 변환 전 좌표가 보정되는 과정의 예시도;
도 4는 본 발명의 실시예에 따른 깊이 정보를 이용한 가상 피아노 이벤트 장치 및 구현 방법에서 터치 센서 영역에서의 터치 판단을 나타내는 구성도;
도 5는 본 발명의 실시예에 따른 깊이 정보를 이용한 가상 피아노 이벤트 장치 및 구현 방법에서 포인터의 터치 속도 및 궤적의 흐름을 나타낸 구성도;
도 6은 본 발명의 실시예에 따른 깊이 정보를 이용한 가상 피아노 이벤트 장치 및 구현 방법에 대한 실시 흐름도;
도 7은 본 발명의 실시예에 따른 깊이 정보를 이용한 가상 피아노 이벤트 장치 및 구현 방법에서 제시하는 가상 피아노 건반 형상의 예시도;
도 8은 본 발명의 실시예에 따른 깊이 정보를 이용한 가상 피아노 이벤트 장치 및 구현 방법에서 사용하는 터치 구동 기작의 설명도;
도 9는 본 발명의 실시예에 따른 깊이 정보를 이용한 가상 피아노 이벤트 장치 및 구현 방법에서 제시하는 주요 모듈별 배치도이다.
이하에서는, 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하지만, 이는 본 발명의 더욱 용이한 이해를 위한 것으로, 본 발명의 범주가 그것에 의해 한정되는 것은 아니다. 또한 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.
도 1을 참조하여 깊이 카메라를 이용한 깊이 정보 처리 분석의 개념을 설명하면 다음과 같다. 도 1(a)에서와 같이 가상 터치 센서의 상세 구성은, 터치 센서 영역을 활용하여 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(11); 상기 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표 보정부(12); 상기 공간 좌표 보정부(12)에서 공간 좌표 왜곡이 보정된 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(13); 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링(labeling)하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부(14); 검출된 객체에 포인터를 추출하는 포인터 추출부(15); 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(16)가 구비되는 것을 특징으로 한다.
또한, 도 1(b)에서와 같이 공간 좌표의 보정 순서를 다르게 할 수 있다. 공간 좌표의 보정을 터치 판단 이전에 하는 경우에는 도1(b)에서와 같이 터치 센서 영역을 촬영하여 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(21); 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(22); 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부(23); 검출된 객체에서 포인터를 추출하는 포인터 추출부(24); 터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표 보정부(25); 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(26)로 공간 좌표 보정 순서가 변경될 수 있는 것을 특징으로 한다.
여기서, 공간 좌표 보정은 절대 공간 좌표가 응용될 경우에는 사용되고 상대 공간 좌표가 응용될 경우에는 사용되지 않아도 된다. 그리고 가상 터치 센서로 사용되는 디스플레이 모니터, 스크린, 평평하거나 곡면 형태의 물체 등의 영역에 상, 하, 좌, 우, 좌상, 좌하, 우상, 우하 등의 어느 한 곳에 깊이 영상 촬영 모듈을 한 개 설치하거나 두 곳 이상에 다수 개가 설치될 수 있다(도 2).
상기 깊이 영상 촬영 모듈(11)은 행거, 받침대 등의 외부 거치대 형태, 벽 또는 바닥 내부에 고정식 형태, 탈부착이 자유로운 착탈식 형태, 단말 기기에 부착되는 소켓식 형태 등으로 부착이 가능하다. 그리고 상기 터치 센서 영역의 깊이 값 계산부(13)는 상기 깊이 영상 촬영 모듈(11)이 터치 센서 영역을 촬영하여 획득한 터치 센서 영역에 대한 깊이 영상을 받아 특정 지점의 깊이 값을 계산해 준다. 상기 깊이 값 계산부(13)는 실행의 초기에만 작동하는 부분이며, 깊이 영상의 첫 화면을 선택할 수 있다. 또한 안정적인 영상을 얻기 위하여 특정 개수에 해당되는 화면을 축적할 수 있다. 화면을 축적한 경우에는 평균값을 계산하여 터치 센서의 각 위치에 대표 깊이 값으로 저장한다. 이 때 평균값 이외에도 중간 값 또는 최빈치 값 등이 사용될 수도 있다. 촬영 모듈과 터치 센서 영역의 위치 또는 거리가 바뀔 경우에는 상기 깊이 값 계산부(13)가 다시 실행되는데 터치 센서 영역의 깊이 값은 매 화면마다 얻어지며 얻어진 깊이 값과 이전에 저장된 대표 깊이 값과의 절대 차이가 특정치 이상으로 발생하는 위치 수가 많을 경우에는 상기 터치 센서 영역의 깊이 값 계산부(13)가 다시 실행된다.
도 3은 깊이 영상 촬영 모듈이 가상 터치 센서 영역의 좌측에 설치된 환경 하에서 4개의 맵핑(mapping)되는 공간 좌표를 기반으로 1차원 선형 변환에 의하여 변환 전 좌표가 보정되는 것을 도식화한 것이며 다음의 관계가 정의된다.
Figure 112015057224268-pat00001
수식(1)
Figure 112015057224268-pat00002
수식(2)
상기 수식(1)과 수식(2)를 이용하여 보정된 변환 후 절대 좌표를 구할 수 있다. 여기서, x(수평)와 y(수직)는 변환 전 좌표이고, X(수평)와 Y(수직)는 변환 후 좌표이다. Hx(폭)과 Vyo, Vy1 (높이)은 변환 전 터치 센서 영역에 해당되고 HX(폭)와 VY(높이)는 변환 후 터치 센서 영역에 해당된다. x0(수평)와 y0(수직)는 보정 오프셋(offset)이다.
상기 객체 검출부(14)는 깊이 영상의 새로운 화면이 들어올 때 마다 이전 단계에서 저장해 놓은 터치 센서 영역의 대표 깊이 값과 비교하며, 두 값이 일정 범위를 벗어나면 객체가 검출된 것으로 판단한다. 즉, 다음의 수식(3)이 만족되면 수평방향 x와 수직방향 y 위치에서 객체가 검출된 것으로 판단하여 새로운 이진 영상을 만들고 해당 위치의 화소(pixel) 값을 '255'로 저장한다.
Figure 112015057224268-pat00003
수식(3)
여기서, d는 현재 입력되는 깊이 영상에서의 깊이 값이고 ds는 터치 센서 영역의 대표 깊이 값이며 Ti는 특정 값으로 사용자에 의하여 설정되는데 일반적으로 밀리미터 단위 규격에서 5인 것이 바람직하다.
한 화면에 대하여 객체 검출이 모두 수행되면 객체 부분에는 '255'로 객체가 아닌 부분에는 '0'으로 화소 값을 갖는 이진 영상이 생성된다. 이진 영상에서 화소 값이'255'인 화소들을 순차적으로 그룹화하고 라벨링하는 과정을 수행한다. 라벨링된 순서대로 첫 번째에 객체에는 '1', 두 번째 객체에는 '2' 등으로 객체 수만큼의 크기 값으로 저장하여 객체를 검출한다. 또한 다양한 모폴로지(morphology) 연산, 침식, 팽창, 제거 및 채움 등을 통하여 잡음(noise)을 제거할 수 있다. 검출한 객체에 대한 라벨링에 잡음이 생길 수도 있으므로 잡음을 배제하기 위하여 라벨링된 객체의 화소 수가 특정 개수 이내이면 라벨링 객체에서 제외시킬 수 있다. 그리고 상기 포인터 추출부(15)는 검출된 객체에서 포인터를 추출하는데 포인터는 터치 센서 영역에 가장 가까운 위치를 얻어 포인터로서 사용한다. 추출된 포인터는 사람의 손가락 또는 지시 도구 등이 될 수 있다. 터치 센서 영역과의 가까운 위치를 찾는 것은 영상 촬영 모듈의 설치 방향에 따라 다르다. 깊이 영상 촬영 모듈이 터치 센서 영역의 좌측에 설치된 경우는 터치 센서 영역 깊이 영상의 방향을 기준으로 객체 내에서 가장 좌측에 있는 화소의 위치를 포인터로 사용하고, 영상 촬영 모듈이 우측일 때는 가장 우측에 있는 화소로, 상측일 때는 가장 상측에 있는 화소로, 하측일 때는 가장 하측에 있는 화소를 포인터로 사용한다.
도 4는 터치 센서 영역에서의 터치 판단을 나타낸 구성도이고 도 5는 포인터의 터치 속도 및 궤적의 흐름을 나타낸 구성도이다. 상기 터치 판단부(16)는 포인터가 터치 센서에 접근 또는 접촉하는지의 여부를 판단한다. 손 또는 지시 도구가 터치 센서 영역을 접촉한 경우에만 터치한 것으로 판단하거나 일정거리 이내로 접근한 경우에도 터치한 것으로 판단하는 지에 대한 여부는 사용자의 편의성에 따라 지정할 수 있다. 상기 터치 판단부(16)에서는 접촉한 경우를 터치한 것으로 고려한다면 포인터 위치의 깊이 값인 dp(x,y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치에서의 깊이 값인 ds(x,y)를 비교하여 두 값의 절대 차이가 특정 값 미만일 때 터치한 것으로 판단한다. 즉, 다음의 수식(4)가 만족되면 수평방향 x와 수직방향 y위치에서 포인터가 터치 센서 영역에 터치한 것으로 판단한다.
Figure 112015057224268-pat00004
수식(4)
여기서, TD는 특정 값으로 사용자에 의하여 설정되며, 밀리미터 단위 규격에서는 일반적으로 5가 적당하다. 이때, 판단의 오동작을 방지하기 위하여 수평방향 x, 수직방향 y의 한 위치보다는 이웃한 여러 개의 수평방향으로 x-1, y, y+1 세 위치 깊이 값의 평균값이 사용될 수 있다. 또는 왼쪽 대각선, 오른쪽 대각선 등에 있는 이웃한 화소 값이 사용될 수도 있다. 접근한 것을 터치한 것으로 판단하는 경우에는 터치된 위치와 깊이 값이 비교되는 위치가 서로 다르게 된다. 즉, 터치 센서 영역의 왼쪽에 영상 촬영 모듈이 설치된 경우에 포인터 위치의 깊이 값인 dp(x,y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치보다 왼쪽 일정 개수 T만큼 떨어진 화소 깊이 값인 ds(x-T,y)를 비교하여 두 값의 차가 특정 값 미만일 때 터치한 것으로 판단한다. 이 때 터치한 위치는 수평방향 x-T와 수직방향 y의 위치이며 다음의 수식(5)를 만족하면 해당 위치에서 포인터가 터치 센서 영역에 터치한 것으로 판단한다.
Figure 112015057224268-pat00005
수식(5)
여기서, T는 특정 값으로 사용자에 의하여 설정되며, 포인터와 터치 센서 영역 사이의 접근거리가 1cm인 경우에는 5화소가 적당하다. 접근한 경우에도 포인터 한 위치보다는 이웃한 여러 개의 깊이 값의 평균 값이 사용될 수 있다. 또한, 터치 센서 영역의 오른쪽에 영상 촬영 모듈이 설치되면 dp(x,y)와 ds(x+T,y)를 비교하여 (x+T,y) 위치에서 터치 여부를 판단하고, 위쪽일 때는 dp(x,y)와 ds(x,y-T)를 비교하여 (x, y-T) 위치에 터치 여부를 판단하며, 아래쪽일 때는 dp(x,y)와 ds(x,y+T)를 비교하여 (x,y+T) 위치의 터치 여부를 판단한다. 또한, 도 5와 같이 매 화면마다 포인터의 수평/수직 깊이 값을 획득할 수 있다. 즉, 화면의 프레임율을 바탕으로 포인터의 수평방향의 속도 및 방향성, 수직방향의 속도 및 방향성, 촬영 모듈 또는 터치 센서 영역과의 거리를 알 수 있다. 이와 같은 포인터의 이동 방향 및 속도 검출을 위한 방법의 하나는 깊이 영상 촬영 모듈로부터 획득한 깊이 영상의 이전 프레임과 현재 프레임을 연속적으로 비교하여 포인터의 이동 방향, 이동 속도, 이동 거리를 검출하는 방법이 사용될 수 있다.
본 발명에 따른 깊이 정보를 이용한 가상 피아노 이벤트 방법은 깊이 카메라를 가상 피아노 연주자가 원하는 위치에 설치하고 벽면 또는 책상과 같은 평면체 또는 완만한 곡면체 등의 평구조부를 가상 피아노 연주 기반체로 하여 객체를 인식시키고 빔 프로젝터와 같은 영상 송출 모듈로 가상의 피아노 건반을 생성한 후, 벽면에 투사된 피아노 건반의 특정 위치를 터치하면 깊이 카메라가 피아노 건반 터치를 인식하여 DB 모듈에 입력된 건반 및 음역 정보 중, 해당 음역을 추출하여 소리 출력용 스피커 모듈로 음역 신호를 출력하는 알고리듬이 적용된다. 도 6을 참조하여 보다 순차적으로 설명하면,
깊이 카메라 촬영 및 깊이 영상 데이터 획득을 수행할 가상 피아노 연주 기반체인 평면체 또는 완만한 곡면체의 평구조부를 선정하고 깊이 영상 촬영을 시작하는 단계(S100);
상기 S100 단계에서 선정된 평구조부에 가상 피아노 건반 영상을 투사하여 생성하는 단계(S200);
상기 S200 단계가 완료되면 평구조부에 투사 및 생성된 가상 피아노 건반 영상에서 가상 연주 영역 배경 데이터를 추출하는 단계(S210);
상기 S200 단계에서 투사 및 생성된 가상 피아노 건반 영상과 가상 피아노 연주자 손 사이의 변위에 대한 깊이 정보를 취득하기 위하여 깊이 카메라로 가상 피아노 연주자의 손을 인식하는 객체 인식 단계(S300);
상기 S300 단계에서 객체 인식 완료된 가상 피아노 연주자 손이 가상 피아노 건반 영상의 흑건(black key) 또는 백건(white key) 중 어느 위치를 터치하였는지 깊이 카메라로 타건 위치를 검출하는 단계(S400);
상기 S400 단계에서 검출된 타건 위치를 깊이 정보로 변환하는 단계(S500);
상기 S500에서 깊이 정보로 변환 처리된 타건 위치와 DB 모듈 상에 내재된 음계/음역 데이터를 확인 및 일치시키는 과정인, 음계/음역 데이터 동기화 단계(S510);
상기 S510 단계에서 타건 위치에 대한 깊이 정보와 음계/음역 데이터가 동기화 된 코드(code)를 DB 모듈에 전송하는 단계(S600);
상기 S600 단계에서 전송된 코드를 DB 모듈 상에 내재된 해당 전자음으로 선택 및 추출하는 단계(S610);
상기 S610 단계에서 추출된 전자음을 소리 출력용 스피커 모듈로 전송하는 단계(S700)로 구성되는 것을 특징으로 한다.
이 때, 빔 프로젝터 영상 송출 모듈로부터 평구조부에 투사된 흑건 및 백건의 형상은 도 7과 같이 가상 피아노 연주자가 실제로 피아노를 연주하는 느낌을 구현하기 위하여 실제 목재식 또는 전자식 피아노 건반과 동일한 형상 및 크기로 영상 출력되는 것을 특징으로 한다. 또한 도 7과 같이 원형의 형상으로 영상 출력 가능하도록 설정되는 것을 특징으로 하는데 이는 가상 피아노 연주자가 상대적으로 팔 길이가 짧은 어린이 또는 한쪽 팔만 거동이 가능한 편수자가 될 경우를 고려하여 대중적인 접근성 및 편의성을 증대시키기 위함이다. 도 7을 참조하면 어린이 혹은 편수자가 타건을 위한 행동 반경이 최소화되기 위해서는 가상 피아노 흑건 및 백건의 투사 형태를 원형의 영상으로 출력하는 것이 바람직하다.
가상 피아노의 흑건 및 백건을 타건할 시, 음의 높낮이를 조절하기 위해서는 타건 강도에 따라 음향 강도(sound intensity)가 결정될 수 있도록 하여야 한다. 이를 위해서 본 발명에 따른 깊이 정보를 이용한 가상 피아노 이벤트 방법은 가상 피아노의 흑건 및 백건을 타건하는 가상 피아노 연주자의 손가락 움직임을 깊이 카메라로 촬영하고 이 때의 속도를 분석하여 음향 강도를 결정하는 알고리듬을 적용하는 것을 특징으로 한다. 도 8을 참조하여 보다 상세하게 설명하면, 가상 피아노 연주자의 손가락이 가상 피아노 건반 영상의 흑건 및 백건 영역에 접근할 때, 깊이 카메라가 가상 피아노 연주자 손가락의 단위 시간(T)당 이동거리(S)를 인식하여 이 때의 속도(V1)를 산출하면 정지 속도 영점(V0)과의 차이로부터 수식(6)과 같이 가상 피아노 연주자 손가락의 가속도(A)를 연산할 수 있으므로 타건 강도를 산출할 수 있고 이를 음향 강도와 연계하여 출력음의 크기를 조절할 수 있다.
Figure 112015057224268-pat00006
수식(6)
도 9는 본 발명에 따른 깊이 정보를 이용한 가상 피아노 이벤트 방법을 구현하기 위한 전체 시스템(100)을 도식화한 것으로 세부적인 구성은,
깊이 정보를 획득하기 위한 깊이 카메라 모듈(110);
가상 피아노 건반을 평구조부(120)에 투사하기 위한 빔 프로젝터 영상 송출 모듈(130);
타건 위치 인식용 흑건 및 백건에 대한 영상 데이터와 피아노 음계/음역 데이터가 내재된 DB 모듈(140);
상기 깊이 카메라 모듈(110), 상기 빔 프로젝터 영상 송출 모듈(130) 및 상기 DB 모듈(140)에서 타건 위치에 대한 깊이 정보와 음계/음역 데이터가 동기화 된 코드를 상기 DB 모듈 내에서 선택 및 추출된 최종적인 전자음으로 출력하기 위한 소리 출력용 스피커 모듈(150)이 구비되는 것을 특징으로 한다.
여기서, 각 모듈 간 유선 연결을 최소화하고 공간 활용도를 증대시키기 위하여 상기 소리 출력용 스피커 모듈(150)에는 근거리 무선 통신 모듈(160)을 장착하는 것을 특징으로 하며, 상기 근거리 무선 통신 모듈(160)은 저전력 기반의 근거리 무선 기술 표준인 블루투스(bluetooth) 통신 방식을 이용하는 것이 바람직하다.
이상 본 발명의 실시예에 따른 도면을 참조하여 설명하였지만, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주 내에서 다양한 응용, 변형 및 개작을 행하는 것이 가능할 것이다. 이에, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
11 : 깊이 영상 촬영 모듈
12 : 공간 좌표 보정부
13 : 깊이 값 계산부
14 : 객체 검출부
15 : 포인터 추출부
16 : 터치 판단부

Claims (12)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 카메라의 깊이 정보를 이용한 가상 피아노 이벤트 구현 방법에 있어서,
    깊이 카메라 촬영 및 깊이 영상 데이터 획득을 수행할 가상 피아노 연주 기반체인 평면체 또는 완만한 곡면체의 평구조부를 선정하고 깊이 영상 촬영을 시작하는 단계(S100);
    상기 S100 단계에서 선정된 평구조부에 가상 피아노 건반 영상을 투사하여 생성하는 단계(S200);
    상기 S200 단계가 완료되면 평구조부에 투사 및 생성된 가상 피아노 건반 영상에서 가상 연주 영역 배경 데이터를 추출하는 단계(S210);
    상기 S200 단계에서 상기 투사 및 생성된 가상 피아노 건반 영상과 가상 피아노 연주자 손 사이의 변위에 대한 깊이 정보를 취득하기 위하여 깊이 카메라로 가상 피아노 연주자의 손을 인식하는 객체 인식 단계(S300);
    가상 피아노 연주자의 손가락이 가상 피아노 건반 영상의 흑건 및 백건 영역에 접근할 때, 깊이 카메라가 가상 피아노 연주자 손가락의 단위 시간(T)당 이동거리(S)를 인식하여 이 때의 속도(V1)를 산출하면 정지 속도 영점(V0)과의 차이로부터 수식(6)과 같이 가상 피아노 연주자 손가락의 가속도(A)를 연산할 수 있으므로 타건 강도를 산출할 수 있고 이를 음향 강도와 연계하여 출력음의 크기를 조절하는 단계;
    Figure 112017035032623-pat00018
    수식(6)
    상기 S300 단계에서 객체 인식 완료된 가상 피아노 연주자 손이 가상 피아노 건반 영상의 흑건(black key) 또는 백건(white key) 중 어느 위치를 터치하였는지 깊이 카메라로 타건 위치를 검출하는 단계(S400);
    상기 S400 단계에서 검출된 타건 위치를 깊이 정보로 변환하는 단계(S500);
    상기 S500 단계에서 깊이 정보로 변환 처리된 타건 위치와 DB 모듈 상에 내재된 음계/음역 데이터를 확인 및 일치시키는 과정인, 음계/음역 데이터 동기화 단계(S510);
    상기 S510 단계에서 타건 위치에 대한 깊이 정보와 음계/음역 데이터가 동기화 된 코드(code)를 DB 모듈에 전송하는 단계(S600);
    상기 S600 단계에서 전송된 코드를 DB 모듈 상에 내재된 해당 전자음으로 선택 및 추출하는 단계(S610);
    상기 S610 단계에서 추출된 전자음을 소리 출력용 스피커 모듈로 전송하는 단계(S700)로 구성되는 것을 특징으로 하는 깊이 정보를 이용한 가상 피아노 이벤트 구현 방법.
  8. 제 7 항에 있어서,
    빔 프로젝터 영상 송출 모듈로부터 평구조부에 투사된 흑건 및 백건의 형상은 가상 피아노 연주자가 실제로 피아노를 연주하는 느낌을 구현하기 위하여 실제 목재식 또는 전자식 피아노 건반과 동일한 형상 및 크기로 영상 출력되는 것을 특징으로 하는 깊이 정보를 이용한 가상 피아노 이벤트 구현 방법.
  9. 제 8 항에 있어서,
    상기 빔 프로젝터 영상 송출 모듈은 어린이 혹은 편수자가 타건을 위한 행동 반경을 최소화하기 위한 목적으로 흑건 및 백건을 원형의 형상으로 조정하여 영상 출력하는 기능을 내재하는 것을 특징으로 하는 깊이 정보를 이용한 가상 피아노 이벤트 구현 방법.
  10. 제 7 항에 있어서,
    가상 피아노의 흑건 및 백건을 타건할 시 음의 높낮이를 조절하기 위하여 가상 피아노의 흑건 및 백건을 타건하는 가상 피아노 연주자의 손가락 움직임을 깊이 카메라로 촬영하고 이 때의 속도를 분석하여 음향 강도를 결정하는 알고리듬이 적용되는 것을 특징으로 하는 깊이 정보를 이용한 가상 피아노 이벤트 구현 방법.
  11. 삭제
  12. 삭제
KR1020150083938A 2015-06-15 2015-06-15 깊이 정보를 이용한 가상 피아노 구현 방법 KR101785781B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150083938A KR101785781B1 (ko) 2015-06-15 2015-06-15 깊이 정보를 이용한 가상 피아노 구현 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150083938A KR101785781B1 (ko) 2015-06-15 2015-06-15 깊이 정보를 이용한 가상 피아노 구현 방법

Publications (2)

Publication Number Publication Date
KR20160147334A KR20160147334A (ko) 2016-12-23
KR101785781B1 true KR101785781B1 (ko) 2017-10-13

Family

ID=57736240

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150083938A KR101785781B1 (ko) 2015-06-15 2015-06-15 깊이 정보를 이용한 가상 피아노 구현 방법

Country Status (1)

Country Link
KR (1) KR101785781B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200034297A (ko) 2018-09-21 2020-03-31 원영빈 전류변화를 이용한 가상 피아노

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461425A (zh) * 2018-12-21 2019-03-12 余姚市荣大塑业有限公司 调音模式选择机构
KR102147452B1 (ko) * 2019-03-19 2020-08-24 주식회사 동광 모션감지 프로젝터

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101336139B1 (ko) 2012-06-11 2013-12-05 동의대학교 산학협력단 깊이 카메라를 이용한 움직임 추정 시스템 및 방법
KR101426378B1 (ko) 2013-03-19 2014-08-07 권순각 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법
KR101461145B1 (ko) 2013-12-11 2014-11-13 동의대학교 산학협력단 깊이 정보를 이용한 이벤트 제어 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
비특허문헌

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200034297A (ko) 2018-09-21 2020-03-31 원영빈 전류변화를 이용한 가상 피아노

Also Published As

Publication number Publication date
KR20160147334A (ko) 2016-12-23

Similar Documents

Publication Publication Date Title
JP6548518B2 (ja) 情報処理装置および情報処理方法
JP6075122B2 (ja) システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
KR101808714B1 (ko) 영상의 깊이 정보와 가상 터치 센서를 이용한 자동차 센터페시아 제어 방법
WO2015122079A1 (ja) 情報処理装置および情報処理方法
US9348422B2 (en) Method for recognizing gestures and gesture detector
WO2014064870A1 (ja) 画像処理装置および画像処理方法
WO2014083721A1 (ja) 情報処理装置および情報処理方法
WO2013175700A1 (ja) 情報処理装置および情報処理方法
KR20170125726A (ko) 정보의 전송을 위한 방법 및 시스템
JP2014533347A (ja) レーザー深度マップの範囲拡張方法
KR20140010541A (ko) 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
CN106373455B (zh) 一种微投临摹显示装置及显示方法
KR101785781B1 (ko) 깊이 정보를 이용한 가상 피아노 구현 방법
WO2019093457A1 (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2018154634A1 (ja) 投写型表示装置、投写型表示装置の制御方法、及びプログラム
US11886643B2 (en) Information processing apparatus and information processing method
JP6300560B2 (ja) 情報処理装置および情報処理方法
JP6447521B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101536673B1 (ko) 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법
KR101808720B1 (ko) 깊이 영상 처리 기반의 가상 키보드 조작 방법
JP6452658B2 (ja) 情報処理装置、およびその制御方法ならびにプログラム
KR101775784B1 (ko) 가상 터치 센서를 이용한 노래 반주 기기의 제어 방법
KR20120092960A (ko) 가상 캐릭터 제어 시스템 및 방법
KR100962511B1 (ko) 전자펜 마우스 및 그 동작 방법
KR20160147326A (ko) 깊이 영상 처리 기반의 가상 키보드 조작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)