KR102266874B1 - 스마트 에어 피아노 - Google Patents

스마트 에어 피아노 Download PDF

Info

Publication number
KR102266874B1
KR102266874B1 KR1020200000861A KR20200000861A KR102266874B1 KR 102266874 B1 KR102266874 B1 KR 102266874B1 KR 1020200000861 A KR1020200000861 A KR 1020200000861A KR 20200000861 A KR20200000861 A KR 20200000861A KR 102266874 B1 KR102266874 B1 KR 102266874B1
Authority
KR
South Korea
Prior art keywords
user
group
piano
smart
smart air
Prior art date
Application number
KR1020200000861A
Other languages
English (en)
Inventor
장성진
임승택
김재욱
신호준
이선행
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020200000861A priority Critical patent/KR102266874B1/ko
Application granted granted Critical
Publication of KR102266874B1 publication Critical patent/KR102266874B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/32Constructional details
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/026Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays associated with a key or other user input device, e.g. key indicator lights
    • G10H2220/061LED, i.e. using a light-emitting diode as indicator
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/321Garment sensors, i.e. musical control means with trigger surfaces or joint angle sensors, worn as a garment by the player, e.g. bracelet, intelligent clothing
    • G10H2220/326Control glove or other hand or palm-attached control device

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

본 발명의 일 실시 예에 따른 스마트 에어 피아노는 7 음계의 각 음에 대응되는 7 개의 블록들이 연결되어 형성된 건반, 스피커 및 제어부가 포함되고, 각각의 블록에는 블록으로부터 블록의 상단에 위치한 사용자의 손가락까지의 이격거리를 감지하기 위한 거리감지부 및 거리감지부에서의 감지 결과에 따른 제어부에서의 제어신호에 기초하여 발광되는 LED 모듈이 구비되어 있으며, 제어부에서는 거리감지부에서의 감지 결과에 기초하여 LED 모듈의 발광 및 스피커에서 블록에 해당되는 음이 출력되도록 하기 위한 제어신호가 생성될 수 있다.

Description

스마트 에어 피아노{SMART AIR PIANO}
본 발명은 스마트 에어 피아노에 관한 것이다. 보다 상세하게는 7개의 음계를 구성하는 블록들로 만들어진 건반에 사용자의 손이 직접 닿지 않더라도 적외선 센서를 이용한 거리 감지를 이용하여 해당 블록에 가까이 가면 이를 감지하여 해당 블록의 LED가 발광하고, 연결된 스피커를 통해 해당 음이 출력되도록 하여 손이 불편하여 직접 피아노 건반을 접촉하기 힘들다고 하더라도 피아노 연주가 가능한 스마트 에어 피아노에 관한 것이다.
근래에 들어 정보 처리 및 통신 기술이 급속히 발전하면서 휴대전화기가 종래 피쳐폰(feature phone)에서 스마트폰(smart phone)으로 변경되고 있다. 스마트폰은 단순히 전화기로서의 기능 이외에도 인터넷 기능을 포함한 기존의 PC 기능을 수행하고 있는데, 이러한 스마트폰은 한 국가의 경제, 사회발전에 없어서는 안 도리 필수 요소로서 그 중요성이 더욱 증대되고 있다. 따라서, 스마트폰을 이용한 다양한 어플리케이션 프로그램( 이하, 앱 )의 개발 및 이 앱과 연동되는 전자 소자들의 조합을 통한 다양한 원격 제어 기술 들이 개발되고 있다. 현재 스마트폰의 운영체제는 크게 애플 아이폰(iphone)용 IOS와, 구글의 안드로이드(Android)로 대표된다. 이 중, 안드로이드 운영체제는 안드로이드 ADK(Android Open Accessory Development Kit)를 통하여 누구나 앱을 개발할 수 있도록 하고 있는데, 최근 구글은 ADK를 공개하면서 안드로이드와 호환되는 I/O 주변기기 보드로, 오픈소스 H/W 플랫폼인 아두이노를 공식적으로 선택하고 있다.
이러한, 아두이노는 손쉬운 개발 환경을 제공하고 오픈 소스 기반 H/W 플랫폼으로, 손쉬운 개발 툴 및 USB 기반 연결 인터페이스, 저렴한 H/W 비용, 모든 구조의 개방으로 하드웨어에 대한 깊은 지식 없이도 어플리케이션 구축이 가능한 특징이 있다. 특히, 아두이노는 많은 스위치나 센서로부터 값을 받아들여, LED나 모터와 같은 전기 장치를 제어함으로서 주변 환경과의 상호 작용성을 제공하고 있다.
한편, 기존의 목재식 또는 전자식 피아노는 실제로 연주자가 직접 건반을 접촉( 타건 )함으로써 소리가 발생하여 손이 불편한 사람들은 이러한 피아노를 타건하는 방식으로 연주하기에는 어려운 점들이 많다. 또한, 기존의 목재식 또는 전자식 피아노는 한정된 공간 상에서 차지하는 용적률이 매우 높을 뿐만 아니라 장기간 미사용 방치 시 음색을 조율하고 타건감을 복원하기 위한 부수적인 조정 과정이 수반되는 추가적인 문제점도 있다.
상기 추가적인 문제점을 해결하기 위하여, 키 이미지를 포함하는 건반 이미지를 프로젝션을 통해 디스플레이하고, 디스플레이된 건반의 이미지 영역에 대한 사용자의 손가락 감지 결과에 따라 음원을 출력하는 기술이 특허등록공보 10-167804에 개시되어 있으나, 상기 선행 특허도 이미지 영역을 사용자가 직접 접촉해야 하므로 손이 불편한 사람들이 연주를 하기에는 무리가 있다.
이에 따라, 아두이노의 기반으로 센서 인식을 통해 사용자의 손가락이 직접 건반 등의 물체에 접촉하지 않더라도 해당 음이 출력되도록 하는 기술의 개발이 요구되고 있다.
대한민국 등록특허공보 제10-1607804호 (공개일자: 2016.03.24)
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로써, 적외선 센서를 통한 감지를 이용하여 건반 블록 위에 손이 위치하면 LED 빛과 함께 해당 음이 출력됨으로써 손이 불편하더라도 피아노 연주가 가능한 스마트 에어 피아노를 제공하고자 함에 그 목적이 있다.
또한, 악보연주모드로 동작되는 경우에는 해당 악보의 음을 해당 블록의 LED 빛을 통해 먼저 안내하고, 사용자의 손가락이 해당 건반 블록에 위치하면 음이 출력됨과 동시에 다음 음에 해당되는 블록의 LED 빛이 발광하게 됨으로써 순차적으로 악보 연습을 효율적으로 수행할 수 있는 스마트 에어 피아노를 제공하고자 함에 그 목적이 있다.
본 발명의 일 실시 예로써, 스마트 에어 피아노가 제공될 수 있다.
본 발명의 일 실시 예에 따른 스마트 에어 피아노는 7 음계의 각 음에 대응되는 7 개의 블록들이 연결되어 형성된 건반, 스피커 및 제어부가 포함되고, 각각의 블록에는 블록으로부터 블록의 상단에 위치한 사용자의 손가락까지의 이격거리를 감지하기 위한 거리감지부 및 거리감지부에서의 감지 결과에 따른 제어부에서의 제어신호에 기초하여 발광되는 LED 모듈이 구비되어 있으며, 제어부에서는 거리감지부에서의 감지 결과에 기초하여 LED 모듈의 발광 및 스피커에서 블록에 해당되는 음이 출력되도록 하기 위한 제어신호가 생성될 수 있다.
본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 건반의 소정의 위치에 부착된 디스플레이가 더 포함되고, 스마트 에어 피아노는 사용자 신호에 따라 악보연주모드로 동작될 수 있으며, 제어부는 스마트 에어 피아노가 악보연주모드로 동작된다면, 사용자 신호에 의하여 선택된 악보의 제목을 디스플레이를 통해 표시하고, 악보에 기록된 제 1 음에 대응되는 블록의 LED 모듈을 발광시키며, 거리감지부에서 사용자의 손가락이 제 1 음에 대응되는 블록의 상단에 위치한 상태에서 손가락이 블록으로부터 미리 설정된 연주거리 내에 존재한다면 제 1 음을 스피커에 의해서 출력하고, 제 1 음이 스피커를 통해 출력된다면 제 1 음의 다음 음에 대응되는 블록의 LED 모듈을 발광시키는 악보연주과정을, 다음 음에 대하여 순차적으로 진행시키며, 순차 진행에 따라, 악보에 다음 음이 존재하지 않거나 악보에서 음악 연주종료점에 도달하면 악보연주모드를 종료시킬 수 있다.
본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 사용자의 모션 신호를 감지하기 위한 모션감지부 및 건반으로부터 사용자의 양 손 각각에 대한 거리를 감지하기 위한 양손감지부가 더 포함되고, 제어부는 사용자 신호에 따라, 모션모드 및 거리모드 중 어느 하나의 모드에 기초하여 옥타브를 조절할 수 있으며, 모션모드에서는, 모션감지부에서의 감지 결과에 기초하여 옥타브의 조절이 가능하고, 거리모드에서는, 양손감지부에서의 감지 결과에 기초하여 옥타브의 조절이 가능할 수 있다.
본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 모션모드에서는, 사용자의 양 손 중 어느 하나의 손이 원을 그리도록 움직이는 제 1 모션에 따라 옥타브가 증가되고, 사용자의 양 손 중 어느 하나의 손이 'V' 모양을 그리도록 움직이는 제 2 모션에 따라 옥타브가 감소될 수 있다.
본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 거리모드에서는 양손감지부의 감지 결과에 따라, 양 손이 모두 제 1 내지 3 범위 내에 위치한다면 각각 제 1 내지 3 옥타브로 조절되며, 제 1 내지 3 범위는 양손감지부의 최대감지거리 내에서 서로 겹치지 않도록 상이하게 설정될 수 있다.
본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 건반의 소정의 위치에는 디스플레이가 구비되고, 제어부에서 모션모드 및 거리모드 중 어느 하나의 모드에 따라 조절되는 옥타브가 디스플레이를 통해 표시될 수 있다.
본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 스마트 에어 피아노는 사용자의 스마트 글로브의 착용 여부에 따라, 스마트 글로브를 통해 입력되는 사용자의 입력신호에 기초하여 사용자의 연주 패턴의 파악이 가능한, 웨어러블입력모드로 동작될 수 있으며, 스마트 글로브는, 사용자의 모든 손가락 말단부에 대응되도록 설치된 감압 센서, 사용자의 손가락 첫째마디부터 셋째마디에 대응되도록 설치된 플렉스 센서, 스마트 에어 피아노와 통신하기 위한 통신모듈, 하나 이상의 인스트럭션을 저장하는 메모리 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함할 수 있다.
본 발명의 스마트 에어 피아노에 의하면, 적외선 센서를 통한 감지를 이용하여 건반 블록 위에 손이 위치하면 LED 빛과 함께 해당 음이 출력됨으로써 손이 불편하더라도 흥미롭게 피아노 연주가 가능한 효과가 있다.
또한, 악보연주모드로 동작되는 경우에는 해당 악보의 음을 해당 블록의 LED 빛을 통해 먼저 안내하고, 사용자의 손가락이 해당 건반 블록에 위치하면 음이 출력됨과 동시에 다음 음에 해당되는 블록의 LED 빛이 발광하게 됨으로써 순차적으로 악보 연습을 효율적으로 수행할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 스마트 에어 피아노를 나타낸 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 악보연주과정을 나타낸 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 모션모드에 기초하여 옥타브가 제어되는 과정을 나타내기 위한 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 거리모드에 기초하여 옥타브가 제어되는 과정을 나타내기 위한 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 사용자의 연주 패턴 파악을 위한 스마트 글로브를 나타낸 예시도이다.
도 6은 일 개시에 의한 스마트 글로브에서 제 1 센싱 데이터를 인식하는 동작을 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고" 연결되어 있는 경우도 포함한다.
도 1은 본 발명의 일 실시 예에 따른 스마트 에어 피아노를 나타낸 예시도이고, 도 2는 본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 악보연주과정을 나타낸 예시도이며, 도 3은 본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 모션모드에 기초하여 옥타브가 제어되는 과정을 나타내기 위한 예시도이고, 도 4는 본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 거리모드에 기초하여 옥타브가 제어되는 과정을 나타내기 위한 예시도이다.
이하에서는 상기에서 설명한 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
본 발명의 일 실시 예로써, 스마트 에어 피아노가 제공될 수 있다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 스마트 에어 피아노는 7 음계의 각 음에 대응되는 7 개의 블록(110)들이 연결되어 형성된 건반(100), 스피커(200) 및 제어부(300)가 포함되고, 각각의 블록(110)에는 블록(110)으로부터 블록(110)의 상단에 위치한 사용자의 손가락(20)까지의 이격거리를 감지하기 위한 거리감지부 및 거리감지부에서의 감지 결과에 따른 제어부(300)에서의 제어신호에 기초하여 발광되는 LED 모듈이 구비되어 있으며, 제어부(300)에서는 거리감지부에서의 감지 결과에 기초하여 LED 모듈의 발광 및 스피커(200)에서 블록(110)에 해당되는 음이 출력되도록 하기 위한 제어신호가 생성될 수 있다.
건반(100)은 7개의 막대(rod) 혹은 바(bar) 형태의 블록(110)들이 연결되어 형성되는데, 상기 블록(110)의 형태에는 제한이 없다. 또한, 건반(100)은 각각의 블록(110)을 사용자가 직접 접촉하거나 가압하는 것은 아니므로 실제 피아노와 같이 사용자의 가압에 따라 건반(100)이 하강하도록 형성된 것은 아니다. 상기 건반(100)에는 7개의 블록(110)들만이 연결될 수 있으나, 이는 보관 및 이동 시 편의성을 위한 것으로 7개 이상의 블록(110)들이 연결되어 상기 건반(100)이 구현될 수도 있다. 또한, 건반(100)은 7음계를 기반으로 하나, 사용자가 적용하고자 하는 음계이면 5음계, 3음계 등 다양한 음계를 기반으로 구현 가능 하며, 이에 따라 블록(110)의 개수가 상이해질 수 있음은 당연하다.
상기 건반(100)의 7개의 블록(110)은 각각 7음계 내에서 도(C), 레(D), 미(E), 파(F), 솔(G), 라(A), 시(B)를 도(C) 부터 시(B) 순서로 나타내기 위한 블록(110)일 수 있다. 이와는 달리, 상기 건반(100)은 도(C) 이외의 다른 음인 예를 들면 레(D)부터 시작하여 도(C)로 마무리되는 순서로 구비될 수도 있다.
블록(110)에는 블록(110)으로부터 블록(110)의 상단에 위치한 사용자의 손가락(20)까지의 이격거리를 감지하기 위한 거리감지부가 블록(110)의 소정의 위치에 마련되어 있을 수 있다. 상기 거리감지부의 손가락(20)까지의 거리 감지 방법은 적외선 센서(infrared sensor), 근접 센서(proximity sensor), 초음파 센서(ultrasonic sensor), 라이다 센서(Light Detection And Ranging, LIDAR), 레이더 센서(Radio Detection And Ranging, RADAR) 등 다양한 센싱 방식이 활용될 수 있다. 상기 거리감지부는 사용자의 손가락(20)의 거리감지의 정확성을 높이기 위하여 상기 블록(110)의 복수의 위치에 소정의 간격만큼 이격된 상태로 배치될 수 있다.
또한, 블록(110)에는 적어도 하나 이상의 LED 모듈이 구비될 수 있다. 상기 블록(110) 전체가 발광하도록 LED 모듈이 플레이트(plate) 혹은 바(bar) 형태로 상기 블록(110) 내측의 상단면에 구비될 수 있으며, 이를 위하여 상기 블록(110)은 상기 블록(110)에 내장된 LED 모듈로부터 발생된 빛이 투과되어 비칠 수 있는 소재로 형성될 수 있다. LED 모듈 이외에도 다양한 발광장치가 상기 LED 모듈이외에 적용될 수 있다. 상기 LED 모듈에 의한 발광 시 밝기 혹은 지속시간 등은 제어부(300)에 의해 변경될 수 있다.
제어부(300)는, 본 발명의 스마트 에어 피아노의 전반적인 동작을 제어할 수 있는데, 예를 들면, 소프트웨어 혹은 프로그램을 구동하여 제어부(300)에 연결된 본 발명의 코딩게임 제공장치의 적어도 하나의 다른 구성요소( Ex. 하드웨어 또는 소프트웨어 구성요소 )를 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 제어부(300)는 다른 구성요소( Ex. 통신부(미도시) )로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 제어부(300)는 메인 프로세서( Ex. 중앙 처리 장치 또는 어플리케이션 프로세서 ), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서( Ex. 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서 )를 포함할 수 있다. 여기서, 보조 프로세서는 메인 프로세서와 별개로 또는 임베디드(Embedded)되어 운영될 수 있다.
또한, 본 발명의 일 실시 예에 따른 스마트 에어 피아노에는 통신부(미도시)가 포함될 수 있다. 통신부는 본 발명의 스마트 에어 피아노 내부의 구성요소 간 데이터 송수신은 물론, 후술하는 스마트 글로브 및 타 디바이스와 유선 또는 무선 통신 채널의 수립 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신부는 제어부(300)와 독립적으로 운영되는 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 상기 통신부는 무선 통신 모듈( Ex. 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈 ) 또는 유선 통신 모듈( Ex. LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈 )을 포함할 수 있다.
스피커(200)는 전기신호를 진동으로 바꾸어 매질( Ex. 공기 )에 소밀파를 발생시켜 음파를 복사하는 음향기기일 수 있고, 상기 스피커(200)에는 노이즈 필터링을 위한 필터가 추가적으로 구비될 수 있다. 본 발명에서는 제어부(300)로부터 전달받은 전기신호를 음향 신호로 출력하기 위한 장치로써, 음향 출력 방식에는 제한이 없다.
이하에서는, 본 발명의 스마트 에어 피아노를 이용하여 통상적으로 ( 악보연주모드 등의 각종 모드에 따라 동작되는 것이 아닌 ) 음악을 연주하는 과정을 설명한다.
먼저, 사용자가 본 발명의 피아노를 이용하여 출력하고자 하는 음에 해당하는 블록(110) 위에 손가락(20)이 상기 블록(110)으로부터 소정의 거리 이내에 있는 것으로 감지(S101)될 수 있다. 즉, 블록(110)에 마련된 거리감지부에 의하여 사용자의 손가락(20)으로부터 상기 블록(110)까지의 이격거리가 감지될 수 있다.
다음으로, 제어부(300)에서는, 상기 이격거리가 미리 설정된 기준이격거리 이내에 존재하는 것으로 판단된 경우에 상기 블록(110)에 해당되는 음을 발생시키기 위한 제 1 제어신호를 생성하고, 상기 제 1 제어신호를 스피커(200) 및 상기 블록(110)에 구비된 LED 모듈로 전송(S102)할 수 있다. 상기 기준이격거리는 사용자에 의해 변경 가능하고, 센싱 방식 및 감도 등을 고려하여 다양한 값으로 설정될 수 있다.
상기 제 1 제어신호를 수신한 스피커(200)는 해당 음을 출력하고, LED 모듈은 발광(S103)할 수 있다. 상기 스피커(200)에 의한 음의 출력 시간 및 LED 모듈을 통한 발광 시간은 제어부(300)에서 미리 마련되어 있을 수 있고, 사용자에 의해 조절될 수 있다.
상기 S101 - S103 과정에 따라, 스마트 에어 피아노와 사용자의 손가락(20)을 이용한 상호작용에 따라 음이 출력될 수 있다.
또한, 본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 건반(100)의 소정의 위치에 부착된 디스플레이가 더 포함될 수 있다. 후술하는 바와 같이, 디스플레이를 통해 악보연주모드로 제공되는 음악의 제목이 표시되거나, 현재 연주되고 있는 음이 옥타브와 함께 표시될 수 있다. 뿐만 아니라, 본 발명의 스마트 에어 피아노의 동작과 관련된 각종 정보( Ex. 배터리 잔량, 시간 등 )가 표시될 수 있고, 각종 모드( Ex. 악보연주모드, 모션모드, 거리모드 등)로의 조작이 상기 디스플레이를 통한 사용자의 터치 신호를 이용하여 진행될 수도 있다.
또한, 디스플레이는 건반(100)의 소정의 위치에 부착되어 마련되거나, 건반(100)과는 이격되어 마련될 수도 있다. 도 1에 도시된 바와 같이, 디스플레이는 건반(100)의 전면에 소정의 각도로 경사진 형태로 마련되어 있을 수 있고, 이와는 달리 건반(100)의 후면에 마련될 수도 있다. 즉, 디스플레이의 형태 및 구비되는 방식에는 제한이 없다.
또한, 본 발명의 일 실시 예에 따른 스마트 에어 피아노는 사용자 신호에 따라 악보연주모드로 동작될 수 있으며, 제어부(300)는 스마트 에어 피아노가 악보연주모드로 동작된다면, 사용자 신호에 의하여 선택된 악보의 제목을 디스플레이를 통해 표시하고, 악보에 기록된 제 1 음에 대응되는 블록(110)의 LED 모듈을 발광시키며, 거리감지부에서 사용자의 손가락(20)이 제 1 음에 대응되는 블록(110)의 상단에 위치한 상태에서 손가락(20)이 블록(110)으로부터 미리 설정된 연주거리 내에 존재한다면 제 1 음을 스피커(200)에 의해서 출력하고, 제 1 음이 스피커(200)를 통해 출력된다면 제 1 음의 다음 음에 대응되는 블록(110)의 LED 모듈을 발광시키는 악보연주과정을, 다음 음에 대하여 순차적으로 진행시키며, 순차 진행에 따라, 악보에 다음 음이 존재하지 않거나 악보에서 음악 연주종료점에 도달하면 악보연주모드를 종료시킬 수 있다.
이하에서는 도 2를 참조하여, 구체적인 악보연주모드로의 동작 과정을 설명한다.
먼저, 사용자 신호에 기초하여 스마트 에어 피아노가 악보연주모드로 동작(S110)되면 선택된 악보의 제목이 상기 디스플레이를 통해 표시(S120)될 수 있다. 상기 사용자 신호에 기초하여 스마트 에어 피아노가 악보연주모드로 동작되는 방식은 다양하며 특정 방식에 제한되는 것은 아니다. 예를 들면, 상기 디스플레이의 터치를 통해 악보연주모드로 동작이 가능하며, 별도로 건반(100)의 측면부에 버튼(미도시)이 마련되어 상기 버튼을 이용하여 악보연주모드로 동작될 수도 있다.
다음으로, 악보에 기록된 제 1 음에 대응되는 블록의 LED 모듈이 발광(S210)될 수 있다. 제 1 음은 통상적으로 음악이 시작되는 첫번째 음일 수 있으나, 이와는 달리 사용자에 의해서 제 1 음은 달리 설정될 수 있다. 또한, 사용자가 이전에 연주했던 악보의 경우에는 이전에 연주를 진행하였던 음의 다음 음이 제 1 음으로 설정될 수도 있다. 도 2에 도시된 바와 같이, 악보의 첫번째 음인 도에 해당하는 건반(100)의 첫번째 블록(C)이 다른 블록(D, E, F, G, A, B)들과 다르게 발광될 수 있다. 다만, 전술한 바와 같이, 제 1 음은 도(C)가 아닌 예를 들면, 솔(G)일 수 있다.
다음으로, 사용자의 손가락(20)이 제 1 음에 대응되는 발광되는 블록(C)의 상단에 위치한 상태에서, 손가락(20)이 상기 발광되는 블록(C)으로부터 미리 설정된 연주거리 내에 존재한다면 제 1 음이 스피커(200)를 통해 출력(S220)될 수 있다. 상기 연주거리는 사용자에 의해 다양한 값으로 설정될 수 있으며, 센싱 방식 및 감도 등 다양한 요소 등이 함께 고려될 수 있다.
다음으로, 제 1 음의 다음 음에 대응되는 블록의 LED 모듈이 발광(S230)될 수 있다. 즉, 도 2의 악보에 도시된 바와 같이, 도 다음 음은 레에 해당되며, 상기 레에 대응되는 블록(D) 상기 도에 해당되는 블록(C)이 발광될 수 있다. 이와는 달리, 악보에 '도' 다음 음이 '라'인 경우라면 블록(A)가 발광될 수 있다.
즉, 상기 S210 - S230 과정이 악보연주과정(S200)에 해당되며, 악보에 따라 순차적으로 S200이 반복 진행되면서 음악이 진행될 수 있다.
다만, 순차 진행에 따라, 상기 악보에 다음 음이 존재하지 않거나 악보에서 음악 연주종료점에 도달하였음이 상기 제어부(300)에 의해서 판단될 수 있으며, 이 경우에는 상기 악보연주모드가 종료될 수 있다. 예를 들면, 도 2에 도시된 악보에서와 같이, 악보 내에 시가 마지막 음에 해당된다면, 악보 내에서 상기 시 다음 음은 존재하지 않으므로, 상기 악보연주모드가 종료될 수 있다.
상기와 같이, 악보연주모드는 사용자가 악보에 익숙하지 않는 음악을 연습하고자 하는 경우에 악보 내용에 기초하여 블록(110)의 LED가 발광됨에 따라 사용자의 손가락(20) 혹은 피아노 치는 동작을 유도 또는 안내할 수 있으며, 상기 유도 또는 안내에 따라 사용자는 악보에 따른 피아노 연주의 연습이 가능하다. 즉, 건반(100)의 블록(110)을 통해 발광되는 LED 빛을 따라가면 피아노 연습이 용이하게 수행될 수 있고, 피아노 연주 실력이 향상될 수 있다.
또한, 본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 사용자의 모션 신호를 감지하기 위한 모션감지부 및 건반(100)으로부터 사용자의 양 손 각각에 대한 거리를 감지하기 위한 양손감지부가 더 포함되고, 제어부(300)는 사용자 신호에 따라, 모션모드 및 거리모드 중 어느 하나의 모드에 기초하여 옥타브를 조절할 수 있으며, 모션모드에서는, 모션감지부에서의 감지 결과에 기초하여 옥타브의 조절이 가능하고, 거리모드에서는, 양손감지부에서의 감지 결과에 기초하여 옥타브의 조절이 가능할 수 있다. 또한, 본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 건반(100)의 소정의 위치에는 디스플레이가 구비되고, 제어부(300)에서 모션모드 및 거리모드 중 어느 하나의 모드에 따라 조절되는 옥타브가 디스플레이를 통해 표시될 수 있다.
상기 모션모드 혹은 거리모드로 동작되도록 하기 위한 사용자 신호는 다양한 방식으로 입력될 수 있다. 예를 들면, 건반(100) 부근에 마련된 별도의 옥타브조절버튼(미도시)를 이용하여 상기 모션모드 및 거리모드 중 어느 하나의 모드로 동작이 가능할 수 있다. 다만, 이는 예시적인 것에 불과하므로 이에 제한되는 것은 아니다.
즉, 본 발명의 스마트 에어 피아노에서는 7개의 블록(110)을 기반으로 피아노 연주를 진행하고자 하는 것이므로, 하나의 옥타브에 해당하는 7개의 음들이 일단 연주될 수 있는데, 후술하는 바와 같이 모션모드 또는 거리모드에 의해서 옥타브의 조절이 가능하므로, 여러 음역대를 가진 음악의 연주가 본 발명의 스마트 에어 피아노를 이용하여 가능하다. 또한, 사용자의 모션을 이용하고, 건반(100)으로부터 양 손의 거리에 따라 옥타브의 조절이 가능하므로, 조작이 용이하여 음악 연주를 진행함에 있어서 도중에 음악 연주가 끊김이 없이 연결된 음악이 연주될 수 있다.
먼저, 모션모드를 살펴보면, 사용자의 양 손 중 어느 하나의 손이 원을 그리도록 움직이는 제 1 모션에 따라 옥타브가 증가되고, 사용자의 양 손 중 어느 하나의 손이 'V' 모양을 그리도록 움직이는 제 2 모션에 따라 옥타브가 감소될 수 있다.
구체적으로, 도 3의 (a)를 참조하면, 사용자의 제 1 모션에 따라 옥타브가 증가될 수 있다. 예를 들면, 현재 옥타브( Ex. 1 옥타브 ) 기반으로 도에 해당되는 블록(110)에 감지되면 1 옥타브 도(C1)에 해당되는 음이 스피커(200)를 통해 출력되는 반면, 사용자가 도 3의 (a)와 같이 원을 그리는 동작을 한 이후에는 동일하게 도에 해당되는 블록(110)에 감지되도록 피아노 타건 동작을 하게 되면, 2 옥타브 도(C4)에 해당되는 음이 스피커(200)를 통해 출력될 수 있다.
마찬가지로, 도 3의 (b)와 같이 사용자의 제 2 모션에 따라 옥타브가 감소될 수 있다. 예를 들면, 현재 옥타브( Ex. 2 옥타브 ) 기반으로 도에 해당되는 블록(110)에 감지되면 2 옥타브 도(C4)에 해당되는 음이 스피커(200)를 통해 출력되는 반면, 사용자가 도 3의 (b)와 같이 'V' 모양을 그리는 동작을 한 이후에는 동일하게 도에 해당되는 블록(110)에 감지되도록 피아노 타건 동작을 하게 되면, 1 옥타브 도(C1)에 해당되는 음이 스피커(200)를 통해 출력될 수 있다.
거리모드에 따르면, 양손감지부의 감지 결과에 따라, 양 손이 모두 제 1 내지 3 범위 내(41 - 43)에 위치한다면 각각 제 1 내지 3 옥타브로 조절되며, 제 1 내지 3 범위(41 - 43)는 양손감지부의 최대감지거리 내에서 서로 겹치지 않도록 상이하게 설정될 수 있다.
구체적으로, 도 4에 도시된 바와 같이, 최대감지거리(d3) 이내에서 3개의 영역으로 제 1 범위(41), 제 2 범위(42), 제 3 범위(43)가 서로 겹치지 않도록 상이하게 설정될 수 있다. 예를 들면, 건반(100)으로부터 수직으로 d1 만큼 이격된 제 1 지점까지는 상기 제 1 범위(41)에 해당될 수 있고, 상기 제 1 지점으로부터, 건반(100)으로부터 수직으로 d2 만큼 이격된 제 2 지점까지는 상기 제 2 범위(42)에 해당될 수 있으며, 상기 제 2 지점으로부터 상기 최대감지거리에 해당되는 제 3 지점까지는 제 3 범위(43)에 해당될 수 있다.
예를 들면, 상기 사용자의 양 손이 제 1 범위(41)에 위치하는 것으로 양손감지부에서 감지한다면, 1 옥타브의 기반으로 연주가 수행될 수 있다. 마찬가지로, 사용자의 양 손이 제 2 범위(42) 또는 제 3 범위(43)에 위치하는 것으로 양손감지부에서 감지한다면, 2 옥타브 및 3 옥타브 기반으로 연주가 수행될 수 있다.
상기 양손감지부의 거리 감지 방법은 적외선 센서(infrared sensor), 근접 센서(proximity sensor), 초음파 센서(ultrasonic sensor), 라이다 센서(Light Detection And Ranging, LIDAR), 레이더 센서(Radio Detection And Ranging, RADAR) 등 다양한 센싱 방식이 활용될 수 있다. 또한, 상기 양손감지부는 사용자의 왼손을 감지하기 위한 왼손감지부(미도시) 및 사용자의 오른손을 감지하기 위한 오른손감지부(미도시)가 각각 상기 건반(100) 부근에 마련되어 있을 수 있는데, 상기 왼손감지부 및 오른손감지부 모두에서 각각 동일한 범위( 제 1 내지 제 3 범위 ) 내에 왼손 및 오른속이 위치하는 것으로 감지된 경우에는 상기와 같은 과정에 따라 옥타브가 조절될 수 있다.
본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 스마트 에어 피아노는 사용자의 스마트 글로브의 착용 여부에 따라, 스마트 글로브를 통해 입력되는 사용자의 입력신호에 기초하여 사용자의 연주 패턴의 파악이 가능한, 웨어러블입력모드로 동작될 수 있으며, 스마트 글로브는, 사용자의 모든 손가락(20) 말단부에 대응되도록 설치된 감압 센서, 사용자의 손가락(20) 첫째마디부터 셋째마디에 대응되도록 설치된 플렉스 센서, 스마트 에어 피아노와 통신하기 위한 통신모듈, 하나 이상의 인스트럭션을 저장하는 메모리 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함할 수 있다.
즉, 스마트 글로브에는 사용자의 손가락(20) 동작을 감지하기 위한 각종 센서들이 마련되어 있는데, 상기 감지 결과를 분석함으로써 사용자의 피아노 연주 패턴이 파악될 수 있다. 즉, 본 발명의 스마트 에어 피아노는 손가락(20)을 이용한 타건 동작에 따라 연주가 진행되는데, 손가락(20)의 타건 동작에 관한 정보들을 스마트 글로브에 구비된 센서를 이용하여 수집하고 수집된 정보의 분석을 통해 음악의 악보에 맞추어 어떤 손가락(20)이 어떻게 동작되는지와 관련한 사용자의 피아노 연주 패턴이 도출될 수 있다.
본 발명의 스마트 에어 피아노의 연주에 있어서, 스마트 글로브를 이용하여 사용자의 연주 패턴이 파악될 수 있는데, 상기 연주 패턴 파악과 관련하여 자세한 사항은 후술하도록 한다.
또한, 스마트 글로브를 사용자가 착용하는 경우 본 발명의 스마트 에어 피아노는 웨어러블입력모드로 동작될 수 있고, 사용자가 글로브를 벗는 경우에는 웨어러블입력모드로의 동작이 중단될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 스마트 에어 피아노에 있어서, 사용자의 연주 패턴 파악을 위한 스마트 글로브를 나타낸 예시도이고, 도 6은 일 개시에 의한 스마트 글로브에서 제 1 센싱 데이터를 인식하는 동작을 설명하기 위한 도면이다.
도 5 및 도 6을 참조하면, 스마트 글로브(700)는, 사용자의 모든 손가락(20) 말단부에 대응되도록 설치된 감압 센서, 사용자의 손가락(20) 첫째마디부터 셋째마디에 대응되도록 설치된 플렉스 센서, 사용자의 검지 손가락(20)의 말단부에 설치된 자이로센서, 스마트 에어 피아노와 통신하기 위한 통신모듈, 하나 이상의 인스트럭션을 저장하는 메모리 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 프로세서는 감압 센서로부터 획득한 제 1 센싱 데이터로부터 피아노 타건을 위한 연주신호를 판단하고, 플렉스 센서로부터 획득한 제 2 센싱 데이터로부터 가상 쿼티 키보드에서 입력신호가 검출된 위치를 판단하며, 통신모듈을 이용하여 출력신호를 사용자 연주신호로써, 스마트 에어 피아노로 전송할 수 있다.
이하에서는, 본 발명의 스마트 에어 피아노에 사용자 연주신호를 입력하기 위한 스마트 글로브(700)에 대하여 자세히 설명한다.
일 개시에 의하여 스마트 글로브(700)는 한 쌍의 장갑 형태로 제작될 수 있다. 일 개시에 의하여 스마트 글로브(700)는 사용자가 손에 착용함으로써 입력을 수행하는 장치일 수 있다. 일 개시에 의하여 스마트 글로브(700)는 사용자의 손 동작을 센서를 통해 인식하고, 손 동작이 의미하는 연주신호를 무선 통신 모듈을 이용하여 스마트 에어 피아노로 전송할 수 있다.
일 개시에 의하여, 스마트 글로브(700)는 감압 센서(701)로부터 획득한 제 1 센싱 데이터로부터 피아노의 타건을 위한 연주신호를 판단하고, 플렉스 센서(711)로부터 획득한 제 2 센싱 데이터로부터 상기 연주신호가 발생한 손가락(20)의 위치를 검증하고, 통신 모듈을 통해 출력신호를 스마트 에어 피아노로 전송할 수 있다.
일 개시에 의하여, 스마트 글로브(700)와 스마트 에어 피아노는 누가 호스트 또는 액세스 포인트 역할을 하느냐에 따라, 마스터 단말기와 슬레이브 단말기로 구분될 수 있다. 다시 말해, 페어링을 위해 식별자 즉, SSID(Service Set Identifier)를 생성하고 페어링을 수락하는 단말기가 마스터가 되고, 이러한 마스터 단말기에게 페어링을 요청하는 단말기가 슬레이브가 된다. 또한, 단말기는 마스터가 될 수도 있고 슬레이브가 될 수도 있다. 또한, 단말기는 이러한 페어링 기능을 수행하는 어플리케이션을 온라인 마켓에서 다운로드하여 설치할 수 있다. 또한, 단말기는 클라우드 컴퓨팅(Cloud Computing) 서비스를 제공하는 클라우드 서버로부터 어플리케이션을 제공받아 이용할 수 있다.
일 개시에 의하여, 스마트 글로브(700)는 적어도 두 종류 이상의 센서를 이용하여 사용자의 손동작을 인식할 수 있다. 보다 구체적으로 스마트 글로브(700)는 감압 센서(701) 및 플렉스센서(711)를 이용하여 사용자의 손동작을 인식하고 인식한 손동작으로부터 사용자의 피아노 타건신호를 스마트 에어 피아노로 전송할 수 있다.
일 개시에 의하여 감압 센서(701)는 사용자의 모든 손가락(20) 말단부 위치에 대응하도록 설치될 수 있으며, 사용자가 피아노를 타건하였는지 여부를 판단할 수 있다. 스마트 글로브(700)는 기 정해진 임계값 이상의 압력이 입력되는 경우, 사용자가 피아노 타건신호를 입력하였다고 판단하고, 사용자에 의하여 입력된 신호를 타건신호로 결정할 수 있다.
일 개시에 의하여 플렉스센서(711)는 사용자의 손가락(20) 첫째마디부터 셋째마디에 대응되도록 설치될 수 있다. 일 개시에 의하여, 플렉스센서(711)는 사용자 손가락(20)의 구부름 정도를 측정하기 위하여 사용자의 손가락(20)의 구부림 정도에 따라 변화되는 저항값으로부터 손가락(20)의 구부림 정보를 측정할 수 있다. 플렉스 센서(711)는 플렉서블(flexible)소자로 이루어질 수 있으며, 헤드 소켓의 단자에 탈착 가능하게 부착되는 구부림 저항 측정 소자를 포함할 수 있다. 이러한 따라서, 플렉스센서(711)는 장갑형태의 스마트 글로브(700)에서 용이하게 교체가능하다. 즉, 플렉스센서(711)을 이용하여 손가락(20)의 구부러짐 정도를 측정함에 따라 기 정해진 임계치 이상으로 손가락(20)이 구부러진 경우에 피아노 타건신호로 확정되도록 검증하기 위한 신호가 상기 플렉스센서(711)로부터 발생될 수 있다.
일 개시에 의하여, 스마트 글로브(700)는 감압 센서로부터 획득한 제 1 센싱 데이터가 임계값 이상에 해당하는지 여부를 판단할 수 있다. 일 개시에 의하여, 제 1 센싱 데이터는 스마트 글로브(700)에서 감압 센서를 통해 인식한 압력신호를 나타낸다. 예를 들어, 사용자가 스마트 글로브(700)를 장착한 상태에서 평평한 바닥면에 압력을 가하는 경우, 감압 센서에서 가해진 압력의 크기가 임계값 이상에 해당하는 경우, 상기 입력값을 제 1 센싱 데이터로 결정할 수 있다. 일 개시에 의하여, 스마트 글로브(700)는 제 1 센싱 데이터의 값이 임계값 이하에 해당하는 경우, 타건신호를 입력하기 위한 데이터가 아닌 에러값으로 판단함으로써 불필요한 입력을 분석하기 위한 에너지를 줄일 수 있다.
일 개시에 의하여, 스마트 글로브(700)는 감압 센서로부터 입력받은 압력을 소정의 임계값과 비교하고, 그 비교 결과에 따라 상기 입력 레벨을 선택하여 인식할 수 있다. 일 개시에 의한 임계값은 사용자에 의하여 미리 설정된 값일 수 있다. 또한, 일 개시에 의한 임계값은 사용자의 프로파일에 기초하여 사용자 맞춤형으로 설정된 압력값일 수 있다. 즉, 상기 압력의 수치에 따라 상기 타건신호의 지속시간 ( 즉, 피아노의 음 발생 시간 )으로 결정될 수 있다.
일 개시에 의하여, 스마트 글로브(700)는 임계값 이상의 압력이 입력되기 시작한 시점을 특정 시점으로 설정되거나 또는 특정 시간 구간으로 설정할 수 있으며, 인식 시간에 입력된 상기 압력에 따라 상기 입력 레벨을 선택하는 것을 특징으로 할 수 있다. 여기서 인식 시간은 감압 센서로부터 소정의 크기 이상의 압력이 입력되기 시작한 시점을 기준으로 하여 50ms 내지 150ms의 시간으로 설정되는 것을 특징으로 할 수 있다.
일 개시에 의하여, 스마트 글로브(700)는 플렉스 센서로부터 획득한 제 2 센싱 데이터로부터 타건신호를 검증할 수 있다. 일 개시에 의하여, 스마트 글로브(700)는 제 1 센싱 데이터를 획득한 소정 손가락(20)을 기준으로, 소정 손가락(20)에 미리 설정된 예비 출력값을 결정할 수 있다.
일 개시에 의하여, 스마트 글로브(700)는 제 2 센싱 데이터로부터 타건신호를 입력하기 위한 해당 손가락(20)의 구부러짐 정도를 산출함으로써, 상기 타건신호가 스마트 에어 피아노의 연주를 위한 것인지 아니면 해당 손가락(20)이 아닌 다른 손가락(20)의 타건동작에 따라 자연스럽게 움직인 것인지 여부가 결정될 수 있다.
일 개시에 의하여, 스마트 글로브(700)는 통신모듈(719)을 이용하여 출력 값을 스마트 에어 피아노로 전송할 수 있다. 일 개시에 의하여 통신모듈(719)은 무선 또는 유선 통신이 가능한 모듈을 포함할 수 있다. 보다 구체적으로, 통신 모듈은 근거리 무선 통신 모듈을 포함할 수 있으며, 예를 들어, 근거리 무선 통신 방식에는 NFC 방식, 블루투스, 와이파이, 지그비, 바코드 인식 방식, QR 코드 인식 방식 등과 같은 다양한 방식이 있을 수 있다.
일 개시에 의하여 스마트 글로브(700)는 장갑형태로 제작되어 사용자의 손에 장착될 수 있다. 또한, 스마트 글로브(700)는 폴리아미드 수지 조성물로 이루어질 수 있다.
여기서, 폴리아미드 수지 조성물은, 식물성 오일과 알코올을 반응시켜 제조되며, 화학식 1에 의하여 표시되는 에폭시계 에스테르 화합물 15 내지 25 중량%, 프탈레이트계 에스테르 화합물, 테레프탈레이트계 에스테르 화합물, 프탈레이트계 및 테레프탈레이트계 에스테르 혼합물 및 트리멜리테이트계 에스테르 화합물로 이루어진 군에서 선택된 적어도 하나의 에스테르 화합물 20 내지 25 중량%, 고밀도 폴리에틸렌(HDPE), 저밀도 폴리에틸렌(LDPE), 폴리프로필렌(PP), 에틸렌-프로필렌 공중합체(EPM), 에틸렌-프로필렌-디엔 공중합체(EPDM), 에틸렌-부텐 공중합체, 에틸렌-옥텐 공중합체, 에틸렌-부타디엔 공중합체 중에서 선택된 1종 이상의 올레핀계 고무 중합체 5 내지 10% 중량%, 상대점도(25℃)가 2.0 내지 2.8cP이고, 수평균분자량이 20,000 내지 200,000g/mol인 폴리 아미드 30 내지 50 중량%, 공액 디엔 고무, 방향족 비닐 화합물 및 비닐시안 화합물을 포함하는 비닐 방향족 화합물-비닐시안 화합물 공중합체 5 내지 15 중량%를 포함하는 폴리아미드 수지 조성물로 이루어진 것을 특징으로 한다.
[화학식 1]
Figure 112020000670638-pat00001
(상기 R4는 (C8-C20)에폭시알킬이고, R5는 (C1-C10)알킬 또는
Figure 112020000670638-pat00002
이고, 상기 Rx 및 Ry는 각각 독립적으로 수소, (C1-C5)알킬 또는 이며, 상기 알킬은 (C1-C5)알킬 또는 이 더 치환될 수 있고, 상기 R41 및 R42는 각각 독립적으로 (C8-C20)에폭시알킬이며, 상기 n은 1 내지 3에서 선택되는 정수임).
또한, 상기 스마트 글로브(700)은, 상기 사용자 손가락의 동작으로 인해 발생하는 입력신호의 인식률을 높이기 위하여 코팅층을 포함할 수 있다.
상기 코팅층은 보다 구체적으로 대전방지층으로, 정전기 발생을 방지하여, 먼지의 부착을 방지할 수 있고, 먼지와 같은 불순물을 방지하여, 입력신호의 인식률을 높일 수 있다. 또한, 폴리아미드 수지 조성물과의 접착력이 우수하여 코팅층의 부착력이 우수하다.
상기 대전방지층은 하기 화학식 2로 표시되는 폴리실록산; 전도성 필러 및 그라파이트를 포함할 수 있다:
[화학식 2]
Figure 112020000670638-pat00003
여기서,
m은 1 내지 100의 정수이며,
p는 3 내지 10의 정수이며,
R1 내지 R3는 서로 동일하거나 상이하며, 각각 독립적으로 수소, 중수소, 히드록시기, 치환 또는 비치환된 탄소수 1 내지 30의 알킬기, 치환 또는 비치환된 탄소수 6 내지 30의 아릴기로 이루어진 군으로부터 선택되며,
상기 치한된 알킬렌기, 치환된 아릴렌기, 치환된 알킬기 및 치환된 아릴기는 수소, 중수소, 시아노기, 니트로기, 할로겐기, 히드록시기, 탄소수 1 내지 30의 알킬기, 탄소수 1 내지 20개의 시클로알킬기, 탄소수 2 내지 30의 알케닐기, 탄소수 2 내지 24의 알키닐기, 탄소수 7 내지 30의 아르알킬기, 탄소수 6 내지 30의 아릴기, 핵원자수 5 내지 60의 헤테로아릴기, 탄소수 6 내지 30의 헤테로아릴알킬기, 탄소수 1 내지 30의 알콕시기, 탄소수 1 내지 30의 알킬아미노기, 탄소수 6 내지 30의 아릴아미노기, 탄소수 6 내지 30의 아르알킬아미노기, 탄소수 2 내지 24의 헤테로 아릴아미노기, 탄소수 1 내지 30의 알킬실릴기, 탄소수 6 내지 30의 아릴실릴기 및 탄소수 6 내지 30의 아릴옥시기로 이루어진 군으로부터 선택된 1종 이상의 치환기로 치환되며, 복수 개의 치환기로 치환되는 경우 이들은 서로 동일하거나 상이하다.
보다 바림직하게는 상기 화학식 2로 표시되는 화합물은 하기 화학식 3으로 표시되는 화합물일 수 있다:
[화학식 3]
Figure 112020000670638-pat00004
여기서, m 및 p는 상기 화학식 2에서 정의한 바와 같다.
상기 전도성 필러는 실리카, 알루미나 및 이들의 혼합물로 이루어진 군으로부터 선택될 수 있으나 바람직하게는 알루미나지만 상기 예시에 국한되지 않는다. 상기 전도성 필러의 입자 직경은 30 내지 50㎛이지만, 상기 예시에 국한되지 않는다. 상기 전도성 필러는 전기 전도성을 나타낼 수 있다.
상기 그라파이트는 소량 포함되어, 대전방지층 내의 대전 방지 효과를 지속적으로 유지시킬 수 있다. 그라파이트는 고가의 전도성 필러인 점을 고려할 때, 본 발명 내의 대전방지층에는 소량 포함되어, 지속적인 대전방지 효과를 유지할 수 있다.
보다 구체적으로, 본 발명의 대전방지층은 상기 화학식 2로 표시되는 폴리실록산; 전도성 필러 및 그라파이트를 포함하여, 대전방지 효과를 나타낼 수 있다. 상기 폴리실록산은 친수성 부분과 소수성 부분으로 구별된다. 친수성 부분은 비공유 전자쌍을 포함하는 산소 원자에 의해, 물 분자와 수소 결합이 가능하다. 반면, 알킬기는 소수성기로 작용한다. 따라서, 친수성 부분이 대전방지층의 표면으로 위치하게 되고, 소수성 부분이 그 반대로 위치하게 되어, 반영구적인 대전방지 효과를 나타낼 수 있다.
상기 대전방지층을 형성하기 위한, 대전방지 조성물은 보다 구체적으로 상기 화학식 2로 표시되는 폴리실록산; 전도성 필러, 그라파이트 및 유기용매를 혼합하여 제조할 수 있다.
상기 유기 용매는 에탄올, 메탄올, 부탄올, 헥세인, 프로페인, 톨루엔, 페놀 및 이들의 혼합물로 이루어진 군으로부터 선택될 수 있다.
상기 대전방지 조성물은 유기용매 100 중량부에 대하여, 상기 화학식 2로 표시되는 폴리실록산 40 내지 80 중량부, 전도성 필러 30 내지 50 중량부 및 그라파이트 5 내지 10 중량부를 포함할 수 있다. 상기 범위에 의하는 경우 각 구성 성분의 상호 작용에 의한 대전 방지 상승효과로 임계적 의의가 있는 정도의 상승효과가 발현되며, 상기 범위를 벗어나는 경우 상승효과가 급격히 저하되거나 거의 없게 된다.
보다 바람직하게, 상기 대전방지 조성물의 점도는 1,200 내지 1,500cP이며, 상기 점도가 1,200cP 미만인 경우에는 일면에 코팅 시 흘러내려 대전방지층의 형성이 용이하지 않은 문제가 있고, 1,500cP를 초과하는 경우에는 균일한 대전방지층의 형성이 용이하지 않은 문제가 있다.
[제조예: 코팅층의 제조]
1. 코팅 조성물의 제조
톨루엔 및 페놀을 1:1의 중량비로 혼합한 유기 용매에 하기 화학식 3으로 표시되는 폴리실록산, 전도성 필러 및 그라파이트를 혼합하여, 대전방지 조성물을 제조하였다:
[화학식 3]
Figure 112020000670638-pat00005
여기서, m은 10 내지 30의 정수이며, p는 3 내지 5의 정수이다.
상기 대전방지 조성물의 보다 구체적인 조성은 하기 표 1과 같다.
DY1 DY2 DY3 DY4 DY5 DY6
유기용매 100 100 100 100 100 100
폴리실록산 20 30 40 60 80 100
알루미나 10 20 30 40 50 60
그라파이트 1 3 5 7 10 15
(단위 중량부)상기 알루미나는 입자 직경이 30 내지 50㎛이다.
2. 보호층의 제조
폴리아미드 수지를 이용하여 제조한 기재층의 일면에 상기 HS 1 내지 HS 6의 대전방지 조성물을 도포 후, 열 경화시켜 대전방지층을 형성하였다.
[실험예: 대전방지 효과 실험]
1. 점도 측정
폴리아미드 기재층의 일면에 대전방지층을 형성하기 전에, 대전방지 조성물의 점도를 측정하였다. 점도 측정은 레오미터(Rheometer, Compac-100, Sun Sci. Co., Japan)를 이용하였다. 점도 측정 결과는 하기 표 2와 같다.
DY1 DY2 DY3 DY4 DY5 DY6
점도(cP) 620 800 1010 1400 1950 2400
2. 표면 전기 저항 측정
폴리아미드 기재층의 일면에 DY 1 내지 DY 6의 대전방지층이 형성된 보호층에 대해, Resistance Meter SIMCO 저항기 ST-4(25℃, 상대습도 50%)를 이용하여 표면전기저항을 측정하였다.
비교예로, 대전방지층이 형성되지 않은 폴리아미드 기재층에 대한 표면전기저항도 함께 측정하였다.
비교예 DY1 DY2 DY3 DY4 DY5 DY6
표면전기저항
(Ω/cm2)
7.4×1011 내지 1.6×1012 6.4×109 내지 1.4×1010 1.4×109 내지 1.6×1010 7.2×108 내지 6.1×109 4.4×107 내지 2.1×108 6.5×107 내지 4.5×108 5.8×108 내지 7.8×108
상기 표 3에 따르면, 대전방지층이 형성되지 않은 비교예에 비해, DY 1 내지 DY 6의 표면전기저항이 낮으므로, 전기전도도가 우수하여, 우수한 대전방지효과를 나타냄을 확인할 수 있다.
3. 표면 외관에 대한 평가
대전방지 조성물의 점도 차이로 인해, 코팅층을 제조
한 이후, 균일한 표면이 형성되었는지 여부에 대해 관능 평가를 진행하였다. 균일한 코팅층을 형성하였는지 여부에 대한 평가를 진행하였고, 하기와 같은 기준에 의해 평가를 진행하였다.
○: 균일한 코팅층 형성
×: 불균일한 코팅층의 형성
DY1 DY2 DY3 DY4 DY5 DY6
관능 평가 × × ×
코팅층을 형성할 때, 일정 점도 미만인 경우에는 폴리아미드의 표면에서 흐름이 발생하여, 균일한 코팅층의 형성이 어려운 경우가 다수 발생하였다. 이에 따라, 생산 수율이 낮아지는 문제가 발생할 수 있다. 또한, 점도가 너무 높은 경우에도, 조성물의 균일 도포가 어려워 균일한 코팅층의 형성이 불가하였다.
일 개시에 의하여 스마트 글로브(700)는 사용자의 열 손가락(20) 각각의 말단부에 대응되도록 설치된 10개의 감압 센서(701)를 포함할 수 있다. 일 개시에 의하여 10개의 감압 센서(701)는 손가락(20) 각각에 대응하는 고유의 식별정보를 포함할 수 있다. 따라서, 스마트 글로브(700)는 임계값 이상의 압력이 센싱되는 경우, 신호가 센싱된 손가락(20)을 판단함으로써 예비 출력값을 결정할 수 있다.
일 개시에 의하여, 플렉스 센서(711)는 사용자 손가락(20)의 구부러짐 정도를 측정하기 위하여 사용자의 손가락(20) 첫째마디부터 셋째마디에 대응되도록 설치될 수 있다. 일 개시에 의하여 플렉스 센서(711)는 사용자 손가락(20)의 움직임의 편의성을 위하여 플렉스 센서(711)의 양끝 부분과 중간 부분만 장갑에 부착될 수 있다.
일 개시에 의하여, 프로세서(715)는 감압센서(701), 자이로센서(703) 및 플렉스센서(711)에서 인식한 사용자 입력신호의 오차율을 줄이기 위하여 히스테리시스(Hysteresis) 파라미터 범위를 20% 미만으로 설정할 수 있다.
도 6은 일 개시에 의한 스마트 글로브(700)에서 제 1 센싱 데이터를 인식하는 동작을 설명하기 위한 도면이다. 도 6에서 L1, L2, L3은 각각 사용자가 제1 내지 제3 입력 레벨의 의도하면서 서로 다른 크기의 힘을 가한 경우 압력의 증감을 나타내는 그래프를 지칭한다. 다시 말하면 각각 약 레벨, 중 레벨, 강 레벨의 정도로 힘을 가한 경우를 지칭한다. 일 개시에 의하여, 사용자의 입력에 따라 바닥면에 가해지는 힘은 40~50ms 정도에서 급격히 증가하기 시작하여 80 ~ 100ms 정도에서 피크를 나타낸 다음 110 ~ 120ms 정도에서 크기 감소가 종료됨을 확인할 수 있다.
이상과 같은 실험 결과를 고려하였을 때, 상기 인식 시간은 감압 센서부(200)로부터 소정의 크기 이상의 상기 압력이 입력되기 시작한 시점을 기준으로 하여 50ms 내지 150ms의 시간으로 설정되는 것이 바람직하다. 그리고 보다 바람직하게는 70ms 내지 110ms의 시간으로 설정되는 것이 바람직하다. 여기서, 50ms 보다 작거나 150ms 보다 큰 시간을 인식 시간으로 설정하면, 스마트 글로브(700)에 가해지는 입력에 따라 가해진 압력의 크기를 올바르게 측정할 수 없음을 확인할 수 있다.
인식 시간은 감압 센서(701)로부터 소정의 크기 이상의 상기 압력이 입력되기 시작한 시점으로부터 소정의 시간 동안, 상기 압력이 최대값을 가지는 시간을 기준으로 설정될 수도 있다. 바람직하게는 상기 압력이 최대값을 가지는 시간이 인식 시간이 될 수 있다.
여기서 스마트 글로브(700)는 고정된 인식 시간을 설정하지 않고 입력되는 압력의 크기의 변화를 분석하여, 압력이 최대값을 가지는 시점에서의 압력의 크기를 기준으로 입력 레벨을 선택할 수 있다. 이와 같이 최대 압력값을 이용하는 경우 보다 정확하게 사용자가 의도한 압력의 크기를 인식하고 그에 따라 입력 레벨을 결정할 수 있는 효과가 있다.
이를 위하여 스마트 글로브(700)는 시간의 흐름에 따라 감압 센서(701)로부터 입력되는 압력의 크기를 시간 별로 저장하고, 저장된 압력들 중에서 가장 큰 압력을 이용하여 입력 레벨을 결정할 수 있다.
다만 이와 같이 최대값을 이용하는 경우 최대값 식별을 위하여 메모리가 소요되고 신호 처리를 위한 전력이 소모될 수 있으므로, 전력을 절약하기 위하여 상술한 바 미리 설정된 인식 시간을 사용할 수 있다. 이와 같이 미리 설정된 인식 시간을 사용하는 경우 해당 인식 시간에서 입력된 압력만을 이용하여 입력 레벨을 결정할 수 있으므로 신호 처리에 소모되는 전력을 최소화할 수 있는 효과가 있다.
다른 실시예에 의하여 스마트 글로브(700)는 입력 레벨의 인식을 위하여 사용자 별로 가장 적합한 임계치를 사용자의 입력에 따라 설정할 수 있다.
일 개시에 의하여, 임계치는 스마트 글로브(700)에 의하여 구동되는 설정 프로그램에 의하여 사용자에게 제시되는 복수개의 값들 중에서 사용자의 선택 입력에 따라 선택되어 설정될 수도 있다. 예를 들어 설정 프로그램의 설계자는 각 나이, 성별, 신체적 조건을 가지는 사용자들에 대하여 스마트 글로브(700)에 대한 입력 시 가하는 힘의 정도를 측정하는 실험 결과 통계에 따라, 내어 각 나이, 성별, 신체적 조건을 가지는 사용자에게 가장 적합한 임계치 값을 결정하고, 그에 따라 설정 프로그램에서 사용자의 나이, 성별, 신체적 조건에 따른 사용자 프로파일 별 임계치 값을 설정할 수 있다. 예를 들면 스마트 글로브(700)에 의하여 구동되는 설정 프로그램에서는 각 사용자 프로파일 별로 임계치 값이 미리 설정되고, 사용자 프로파일에 대한 사용자의 선택 입력을 수신하여 선택된 프로파일에 대하여 미리 설정된 임계치 값을 이용할 수 있는 것이다. 예를 들어 설정 프로그램이 나이와 연령 대 별 사용자 프로파일에 대응하는 임계치 값을 미리 저장하고 있고, 사용자가 여자, 20대의 사용자 프로파일을 선택하면, 스마트 글로브(700)는 여자, 20대의 사용자 프로파일에 대하여 미리 설정된 임계치 값(제1 임계치 : 0.5N, 제2 임계치 3N)을 이용할 수 있는 것이다.
또는 임계치는 스마트 글로브(700)가 각 사용자의 터치 입력에 따라 발생한 압력을 이용하는 방식으로 설정될 수도 있다. 여기서 스마트 글로브(700)는 감압 센서(701)로부터 입력받은 압력을 이용하여 상기 입력 레벨을 선택하기 위하여 비교 기준이 되는 소정의 임계치를 설정할 수 있다.
스마트 글로브(700)는 센서부, 배터리 및 메모리(712)를 포함할 수 있다.
일 개시에 의하여 센서부는 감압센서, 플렉스센서를 포함한 다양한 센서를 포함할 수 있다. 예를 들어, 센서부는 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
일 개시에 의하여 배터리는 스마트 글로브(700)의 기능을 수행하는데 필요한 전원을 공급하는 배터리(battery)를 포함하며, 예시적으로 리튬 폴리머 배터리를 포함할 수 있다.
또한, 스마트 글로브(700)는 하나 이상의 인스트럭션을 저장하는 메모리(712) 및 메모리(712)에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서(715)를 포함할 수 있다.
일 개시에 의하여 프로세서(715)는, 예를 들면, 소프트웨어(예: 프로그램)를 구동하여 프로세서(715)에 연결된 스마트 글로브(700)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(715)는 다른 구성요소( Ex. 통신 모듈(719) )로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(715)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서는 메인 프로세서와 별개로 또는 임베디드되어 운영될 수 있다.
일 개시에 의하여 프로세서(715)는 스마트 글로브(700)에 설치된 10개의 감압 센서 각각에 대하여 적어도 하나의 예비 출력값을 매핑하고, 입력신호의 위치가 명확하기 않다고 판단되는 경우, 입력신호를 획득한 감압 센서에 매핑된 적어도 하나의 예비 출력값을 스마트 에어 피아노로 전송하고, 적어도 하나의 예비 출력값 중 어느 하나를 선택하는 사용자 입력에 기초하여 출력 신호를 결정할 수 있다.
일 개시에 의하여, 메모리(712)는 프로세서(715)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 본 발명의 장치로 입력되거나 또는 장치에서 출력되는 데이터를 저장할 수도 있다. 메모리(712)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 여기서, 복수 개의 모듈들은 하드웨어가 아닌 소프트웨어로서, 기능적으로 동작하는 모듈이다.
메모리(712)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 여기서, 복수 개의 모듈들은 하드웨어가 아닌 소프트웨어로서, 기능적으로 동작하는 모듈을 의미할 수 있다.
이하에서는, 스마트 에어 피아노의 제어부(300)에서 상기 스마트 글로브로부터 수집된 사용자의 타건신호가 분석되어 사용자의 피아노 연주패턴이 파악되는 과정을 구체적으로 설명한다.
상기 스마트 에어 피아노에서는 미리 마련된 데이터베이스(미도시)를 통해 상기 타건신호가 저장될 수 있으며, 상기 저장된 타건신호에 대하여 딥러닝 알고리즘에 기초하여 학습된 결과에 따라 분석모델이 생성될 수 있다.
상기 딥러닝 알고리즘에는 CNN(Convolutional Neural Network)이 포함될 수 있다. 뿐만 아니라, 상기 분석모델은 상기 CNN 외에도 RNN(Recurrent Neural Network)와 결합되어 학습된 결과에 따라 생성될 수도 있다. 이하에서는 CNN 기반 학습 결과에 따라 형성된 분석모델을 기준으로 설명한다. 먼저, CNN에 대하여 간략히 설명하면 CNN은 입력데이터를 분석하기 위해 사용되는 인공신경망의 한 종류일 수 있고 특징추출계층에서 입력데이터로부터의 특징이 추출되고, 분류계층에서 추출된 특징에 기초하여 입력데이터가 어떤 클래스에 해당되는지 분류될 수 있다. 상기 특징추출계층에는 적어도 하나 이상의 콘볼루션 레이어(convolutional layer) 및 풀링 레이어(pooling layer)가 포함될 수 있고, 상기 분류계층은 하나의 히든 레이어(hidden layer)가 포함된 풀리 커넥티드 레이어(fully connected layer)일 수 있다. 콘볼루션 레이어는 콘볼루션(convolution) 연산을 통해 객체의 특징을 나타내는 특징 맵을 생성하는 필터에 해당될 수 있다. 풀링 레이어에서는 콘볼루션 레이어의 출력 데이터의 크기를 줄이거나 특정 데이터를 강조하는 풀링연산이 수행될 수 있다. 상기 풀링 레이어에는 맥스풀링 레이어(max pooling layer) 및 평균풀링 레이어(average pooling layer)가 포함될 수 있다. 풀리 커넥티드 레이어(fully connected layer)는 추출된 특징정보에 기초하여 입력데이터의 분류를 위한 분류기(classfier)에 해당될 수 있다.
보다 상세하게는, 타건신호는 사용자의 손가락(20)의 타건동작을 나타내기 위한 신호로써, 사용자의 10개의 손가락(20) 중 어떤 손가락(20)이 타건동작( 예를 들면, 다른 손가락(20)들에 비하여 지면을 향하여 움직이는 동작 )이 얼마만큼의 시간동안 지속되었는지에 대한 신호일 수 있다.
본 발명의 제어부(300)에서는 상기 타건신호가 스마트 글로브로부터 전달될 당시에 연주되는 음악의 악보를 상기 타건신호와 매칭되도록 하여 상기 데이터베이스에 저장할 수 있다.
즉, 악보에 표시된 음과 타건신호 간의 관계에 대하여 전술한 딥러닝 알고리즘에 기초한 학습 결과에 따라 상기 분석모델이 생성될 수 있다. 즉, 사용자가 본 발명의 스마트 에어 피아노를 이용하여 제 1 음악을 연주하는 경우에는 도(C1)이라는 음에 대한 타건신호로써, 왼쪽 검지 손가락(20)을 이용할 수 있고, 이와는 달리 제 2 음악을 연주하는 경우에는 도(C1)이라는 음에 대한 타건신호로써 오른쪽 세끼 손가락(20)을 이용할 수도 있다. 마찬가지로, 동일한 음악 내에서 동일한 음에 대해서도 서로 상이한 손가락(20)을 이용하여 타건신호가 생성될 수도 있다. 이렇게, 음악의 진행 혹은 음악의 종류 등에 따라 상이한 타건신호를 딥러닝 알고리즘에 기초하여 분석함으로써 사용자의 타건 패턴, 즉 사용자의 피아노 연주 패턴이 도출될 수 있다.
상기 도출된 사용자의 피아노 연주 패턴은 사용자의 피아노 연주 실력 향상을 위해 사용될 수 있다. 즉, 사용자가 특정 음악 연주 시 자주 틀리는 부분이나 악보에 기재된 속도에 맞추어 음에 대한 타건신호가 입력되지 않는 경우에는 상기와 같이 분석모델을 이용하여 도출된 사용자의 피아노 연주 패턴이 사용될 수 있다.
다시 말하면, 본 발명의 스마트 에어 피아노를 이용한 연주에 있어서, 스마트 글러브를 함께 이용함으로써 사용자의 연주 패턴을 파악할 수 있고, 이에 대한 피드백을 통해 피아노 연주 시 발생되는 사용자의 문제점을 파악함으로써 사용자의 피아노 실력이 향상될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다. 즉, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 건반
110: 블록
200: 스피커
300: 제어부
20: 손가락

Claims (7)

  1. 스마트 에어 피아노에 있어서,
    7 음계의 각 음에 대응되는 7 개의 블록들이 연결되어 형성된 건반;
    스피커; 및
    제어부가 포함되고,
    상기 각각의 블록에는 상기 블록으로부터 상기 블록의 상단에 위치한 사용자의 손가락까지의 이격거리를 감지하기 위한 거리감지부 및 상기 거리감지부에서의 감지 결과에 따른 상기 제어부에서의 제어신호에 기초하여 발광되는 LED 모듈이 구비되어 있으며,
    상기 제어부에서는 상기 거리감지부에서의 감지 결과에 기초하여 상기 LED 모듈의 발광 및 상기 스피커에서 상기 블록에 해당되는 음이 출력되도록 하기 위한 제어신호가 생성되며,
    상기 스마트 에어 피아노는 사용자의 스마트 글로브의 착용 여부에 따라, 상기 스마트 글로브를 통해 입력되는 사용자의 입력신호에 기초하여 상기 사용자의 연주 패턴의 파악이 가능한, 웨어러블입력모드로 동작될 수 있으며,
    상기 스마트 글로브는,
    사용자의 모든 손가락 말단부에 대응되도록 설치된 감압 센서;
    상기 사용자의 손가락 첫째마디부터 셋째마디에 대응되도록 설치된 플렉스 센서;
    상기 스마트 에어 피아노와 통신하기 위한 통신모듈;
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 스마트 글로브는,
    폴리아미드 수지 조성물로 이루어지되,
    상기 폴리아미드 수지 조성물은,
    화학식 1에 의하여 표시되는 에폭시계 에스테르 화합물 15 내지 25 중량%, 프탈레이트계 에스테르 화합물, 테레프탈레이트계 에스테르 화합물, 프탈레이트계 및 테레프탈레이트계 에스테르 혼합물 및 트리멜리테이트계 에스테르 화합물로 이루어진 군에서 선택된 적어도 하나의 에스테르 화합물 20 내지 25 중량%, 고밀도 폴리에틸렌(HDPE), 저밀도 폴리에틸렌(LDPE), 폴리프로필렌(PP), 에틸렌-프로필렌 공중합체(EPM), 에틸렌-프로필렌-디엔 공중합체(EPDM), 에틸렌-부텐 공중합체, 에틸렌-옥텐 공중합체, 에틸렌-부타디엔 공중합체 중에서 선택된 1종 이상의 올레핀계 고무 중합체 5 내지 10% 중량%, 상대점도(25℃)가 2.0 내지 2.8cP이고, 수평균분자량이 20,000 내지 200,000g/mol인 폴리 아미드 30 내지 50 중량%, 공액 디엔 고무, 방향족 비닐 화합물 및 비닐시안 화합물을 포함하는 비닐 방향족 화합물-비닐시안 화합물 공중합체 5 내지 15 중량%를 포함하는 폴리아미드 수지 조성물로 이루어진 것인,
    스마트 에어 피아노.
    [화학식 1]
    Figure 112021030781815-pat00012

    (상기 R4는 (C8-C20)에폭시알킬이고, R5는 (C1-C10)알킬 또는
    Figure 112021030781815-pat00013
    이고, 상기 Rx 및 Ry는 각각 독립적으로 수소, (C1-C5)알킬 또는 이며, 상기 알킬은 (C1-C5)알킬 또는 이 더 치환될 수 있고, 상기 R41는 (C8-C20)에폭시알킬이며, 상기 n은 1 내지 3에서 선택되는 정수임).
  2. 제 1 항에 있어서,
    상기 건반의 소정의 위치에 부착된 디스플레이가 더 포함되고,
    상기 스마트 에어 피아노는 사용자 신호에 따라 악보연주모드로 동작될 수 있으며,
    상기 제어부는 상기 스마트 에어 피아노가 상기 악보연주모드로 동작된다면,
    상기 사용자 신호에 의하여 선택된 악보의 제목을 상기 디스플레이를 통해 표시하고, 상기 악보에 기록된 제 1 음에 대응되는 블록의 LED 모듈을 발광시키며, 상기 거리감지부에서 사용자의 손가락이 상기 제 1 음에 대응되는 블록의 상단에 위치한 상태에서 상기 손가락이 상기 블록으로부터 미리 설정된 연주거리 내에 존재한다면 상기 제 1 음을 상기 스피커에 의해서 출력하고, 상기 제 1 음이 스피커를 통해 출력된다면 상기 제 1 음의 다음 음에 대응되는 블록의 LED 모듈을 발광시키는 악보연주과정을, 상기 다음 음에 대하여 순차적으로 진행시키며,
    순차 진행에 따라, 상기 악보에 상기 다음 음이 존재하지 않거나 상기 악보에서 음악 연주종료점에 도달하면 상기 악보연주모드를 종료시키는,
    스마트 에어 피아노.
  3. 제 1 항에 있어서,
    사용자의 모션 신호를 감지하기 위한 모션감지부; 및
    상기 건반으로부터 사용자의 양 손 각각에 대한 거리를 감지하기 위한 양손감지부가 더 포함되고,
    상기 제어부는 사용자 신호에 따라, 모션모드 및 거리모드 중 어느 하나의 모드에 기초하여 옥타브를 조절할 수 있으며,
    상기 모션모드에서는, 상기 모션감지부에서의 감지 결과에 기초하여 옥타브의 조절이 가능하고,
    상기 거리모드에서는, 상기 양손감지부에서의 감지 결과에 기초하여 옥타브의 조절이 가능한 것인,
    스마트 에어 피아노.
  4. 제 3 항에 있어서,
    상기 모션모드에서는,
    상기 사용자의 양 손 중 어느 하나의 손이 원을 그리도록 움직이는 제 1 모션에 따라 옥타브가 증가되고,
    상기 사용자의 양 손 중 어느 하나의 손이 'V' 모양을 그리도록 움직이는 제 2 모션에 따라 옥타브가 감소되는 것인,
    스마트 에어 피아노.
  5. 제 3 항에 있어서,
    상기 거리모드에서는 상기 양손감지부의 감지 결과에 따라,
    상기 양 손이 모두 제 1 내지 3 범위 내에 위치한다면 각각 제 1 내지 3 옥타브로 조절되며,
    상기 제 1 내지 3 범위는 상기 양손감지부의 최대감지거리 내에서 서로 겹치지 않도록 상이하게 설정되는 것인,
    스마트 에어 피아노.
  6. 제 3 항에 있어서,
    상기 건반의 소정의 위치에는 디스플레이가 구비되고, 상기 제어부에서 상기 모션모드 및 거리모드 중 어느 하나의 모드에 따라 조절되는 옥타브가 상기 디스플레이를 통해 표시되는,
    스마트 에어 피아노.
  7. 제 1 항에 있어서,
    상기 스마트 글로브는,
    코팅층을 포함하고,
    상기 코팅층은 대전방지층으로서,
    화학식 2로 표시되는 폴리실록산; 전도성 필러 및 그라파이트를 포함하는 것인,
    스마트 에어 피아노.
    [화학식 2]
    Figure 112021030781815-pat00014

    여기서,
    m은 1 내지 100의 정수이며,
    p는 3 내지 10의 정수이며,
    상기 R1 내지 R3는 서로 동일하거나 상이하며, 각각 독립적으로 수소, 중수소, 히드록시기, 치환 또는 비치환된 탄소수 1 내지 30의 알킬기, 치환 또는 비치환된 탄소수 6 내지 30의 아릴기로 이루어진 군으로부터 선택되며,
    상기 치한된 알킬렌기, 치환된 아릴렌기, 치환된 알킬기 및 치환된 아릴기는 수소, 중수소, 시아노기, 니트로기, 할로겐기, 히드록시기, 탄소수 1 내지 30의 알킬기, 탄소수 1 내지 20개의 시클로알킬기, 탄소수 2 내지 30의 알케닐기, 탄소수 2 내지 24의 알키닐기, 탄소수 7 내지 30의 아르알킬기, 탄소수 6 내지 30의 아릴기, 핵원자수 5 내지 60의 헤테로아릴기, 탄소수 6 내지 30의 헤테로아릴알킬기, 탄소수 1 내지 30의 알콕시기, 탄소수 1 내지 30의 알킬아미노기, 탄소수 6 내지 30의 아릴아미노기, 탄소수 6 내지 30의 아르알킬아미노기, 탄소수 2 내지 24의 헤테로 아릴아미노기, 탄소수 1 내지 30의 알킬실릴기, 탄소수 6 내지 30의 아릴실릴기 및 탄소수 6 내지 30의 아릴옥시기로 이루어진 군으로부터 선택된 1종 이상의 치환기로 치환되며, 복수 개의 치환기로 치환되는 경우 이들은 서로 동일하거나 상이하다.
KR1020200000861A 2020-01-03 2020-01-03 스마트 에어 피아노 KR102266874B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200000861A KR102266874B1 (ko) 2020-01-03 2020-01-03 스마트 에어 피아노

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200000861A KR102266874B1 (ko) 2020-01-03 2020-01-03 스마트 에어 피아노

Publications (1)

Publication Number Publication Date
KR102266874B1 true KR102266874B1 (ko) 2021-06-17

Family

ID=76603499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200000861A KR102266874B1 (ko) 2020-01-03 2020-01-03 스마트 에어 피아노

Country Status (1)

Country Link
KR (1) KR102266874B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11380294B2 (en) * 2019-04-16 2022-07-05 Muhammad Ali Ummy Keyless synthesizer

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120085774A (ko) * 2009-09-22 2012-08-01 페블스텍 리미티드 컴퓨터 장치의 원격 제어
KR101514658B1 (ko) * 2014-01-08 2015-05-20 강릉원주대학교산학협력단 아두이노 기반의 웨어러블 게임 조작 시스템 및 이를 이용한 게임 조작 방법
KR101607804B1 (ko) 2015-01-13 2016-03-31 인하대학교 산학협력단 전자 장치, 전자 장치를 이용하여 피아노를 구현하기 위한 방법 및 피아노 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120085774A (ko) * 2009-09-22 2012-08-01 페블스텍 리미티드 컴퓨터 장치의 원격 제어
KR101514658B1 (ko) * 2014-01-08 2015-05-20 강릉원주대학교산학협력단 아두이노 기반의 웨어러블 게임 조작 시스템 및 이를 이용한 게임 조작 방법
KR101607804B1 (ko) 2015-01-13 2016-03-31 인하대학교 산학협력단 전자 장치, 전자 장치를 이용하여 피아노를 구현하기 위한 방법 및 피아노 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11380294B2 (en) * 2019-04-16 2022-07-05 Muhammad Ali Ummy Keyless synthesizer

Similar Documents

Publication Publication Date Title
KR101554221B1 (ko) 휴대단말기를 이용한 악기 연주 방법 및 장치
US9250721B2 (en) Wireless stylus device with interchangeable tips and eraser
CN100377053C (zh) 输入设备、信息处理方法以及微型计算机
CN102549531B (zh) 处理器接口
KR101937099B1 (ko) 피아노 학습 서비스 제공 시스템
US9766658B2 (en) Flexible display device having guide function of gesture command and method thereof
US10173130B2 (en) Information processing system, extended input device, and information processing method
KR102266874B1 (ko) 스마트 에어 피아노
CN103970269A (zh) 遥控系统和装置
CN105845119B (zh) 一种智能掌上乐器及演奏方法
KR20210088038A (ko) 웨어러블 키보드
TWM335735U (en) Wireless mouse for controlling portable wireless radio set
CN108777135A (zh) 一种具有演奏提示功能的古筝
CN103677376B (zh) 信息处理的方法及电子设备
CN216084283U (zh) 敲击乐器系统
KR102426185B1 (ko) 코딩 능력 향상을 위한 게임 제공 장치에 의한 게임 제공 방법
KR102528680B1 (ko) 스토리 기반 교육용 게임 시스템
CN102135811A (zh) 电子装置和按键装置及按键提示方法
CN106823291A (zh) 康复训练系统及其操作方法
CN215679612U (zh) 坐姿矫正装置及桌垫
JP5391521B2 (ja) 楽音制御装置および楽音制御処理のプログラム
JP2006162931A (ja) 遊技機
JP5825056B2 (ja) 電子楽器
KR101476526B1 (ko) 스마트기기를 이용한 음악 학습방법
KR102503753B1 (ko) 신체 부위의 움직임에 따른 촉각 효과를 제공하는 방법 및 이 촉각 효과를 제공하는 햅틱 컨트롤러

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant