KR20090111943A - 터치스크린을 이용한 악기 연주 시뮬레이션 장치 및 방법 - Google Patents

터치스크린을 이용한 악기 연주 시뮬레이션 장치 및 방법 Download PDF

Info

Publication number
KR20090111943A
KR20090111943A KR1020080037567A KR20080037567A KR20090111943A KR 20090111943 A KR20090111943 A KR 20090111943A KR 1020080037567 A KR1020080037567 A KR 1020080037567A KR 20080037567 A KR20080037567 A KR 20080037567A KR 20090111943 A KR20090111943 A KR 20090111943A
Authority
KR
South Korea
Prior art keywords
touch
input
touch screen
input signal
instrument
Prior art date
Application number
KR1020080037567A
Other languages
English (en)
Inventor
김정호
Original Assignee
주식회사 케이티테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티테크 filed Critical 주식회사 케이티테크
Priority to KR1020080037567A priority Critical patent/KR20090111943A/ko
Publication of KR20090111943A publication Critical patent/KR20090111943A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

터치스크린을 이용하여 다양한 악기의 연주 시뮬레이션 기능을 제공하기 위한 장치와 방법을 제공한다. 터치스크린에 대한 적어도 하나의 터치입력을 이용하여 악기 연주를 시뮬레이션하는 장치는 악기의 소리와 상태에 대응되는 음향 데이터 및 영상 데이터를 저장하고 있는 저장부, 악기의 영상을 표시하고, 사용자로부터 터치입력을 받아서 터치입력에 대응되는 입력신호를 출력하는 터치스크린, 음향 데이터를 입력받아 스피커를 통하여 출력하는 음향재생부 및 상기 입력신호에 대응되는 음향 데이터를 저장부로부터 추출하여 음향재생부를 통하여 출력하고, 상기 입력신호에 대응되는 영상 데이터를 저장부로부터 추출하여 터치스크린을 통하여 출력하는 제어부를 포함하여 구성된다. 따라서, 악기를 현실적으로 구비하지 아니하고도 터치스크린을 이용한 악기 연주의 시뮬레이션을 통해 사용자에게 악기 연주하는 기회를 제공할 수 있다. 또한, 악기 연주 시뮬레이션에 따른 즉각적인 음향과 영상의 피드백이 있으므로, 사용자에게 잘못된 연주를 수정할 수 있는 기회를 제공할 수 있다.
터치스크린, 터치입력, 입력신호, 음향 데이터, 영상 데이터

Description

터치스크린을 이용한 악기 연주 시뮬레이션 장치 및 방법{Apparatus of Playing Musical Instruments Simulation by using Touch Screen and Method thereof}
본 발명은 악기 연주 시뮬레이션 장치와 악기 연주 시뮬레이션 방법에 관한 것으로, 더욱 상세하게는 터치스크린을 이용하여 다양한 악기의 연주 시뮬레이션을 할 수 있는 장치와 시뮬레이션하는 방법에 관한 것이다.
최근의 정보기기들은 사용자의 요구를 충족시키기 위해 다양한 기능과 서비스를 제공하는 반면, 사용자 입력 장치로는 아직까지도 고정적인 매트릭스 배열을 가지는 키패드(key pad)가 주로 이용되고 있다. 예컨대, 정보기기에 컬러 및 고해상도의 디스플레이 화면이 채용되고, 외형적으로도 슬림화, 소형화가 진행되는 중에도 사용자 입력 장치의 경우에는 종래의 키패드 형태의 입력 장치에서 큰 변화가 없었던 것이다.
이러한 키패드를 이용한 사용자 인터페이스의 대안으로 최근 생산되는 정보기기들의 상당수는 터치패드(touch pad) 또는 터치스크린(touch screen)과 같은 터치 방식의 사용자 인터페이스를 채택하고 있다. 이는 터치 방식 인터페이스 장치의 비용절감 및 종래의 터치 방식 인터페이스 장치들의 낮은 신뢰성과 수명의 문제가 해결된 결과이다.
터치패드(touch pad)는 압력 감지기가 달려 있는 평판으로서, 손가락이나 펜 등을 이용해 접촉하면 압력을 감지하여 화면의 지시자가 움직이고 이 위치 정보를 컴퓨터가 인식한다.
터치스크린(touch screen)은 디스플레이 화면상의 한 점을 손가락 등으로 누르면 그 접촉점의 좌표를 출력하는 위치 감지기를 포함한다. 예컨대, 디스플레이 화면이 터치패드의 역할을 겸하는 장치를 터치스크린으로 정의할 수 있다.
이러한 터치 방식의 입력 장치들에는 압력식 저항막 방식, 접촉식 정전용량 방식, 표면초음파전도(SAW: Surface Acoustic Wave) 방식, 적외선 광 감지 방식 및 압전 방식 등의 기술이 적용된다. 이들 중, 터치스크린에는 투과율이 높고 반응속도가 빠르며 내성이 우수하여 작동환경의 영향을 적게 받는 압력식 저항막 방식이 일반적으로 가장 많이 채용되고 있다.
터치스크린은 사용자에게 화면상에 출력되는 내용과 화면을 통하여 입력되는 내용의 대화적이고 즉시적인 대응을 제공할 수 있고, 다양한 방식으로 다채로운 형태의 입력이 가능하여 높은 사용자 만족도와 사용상 편의성을 제공할 수 있다. 즉, 종래의 고정적인 배열을 가지는 키패드와 같은 정형화된 사용자 입력 장치에 비하여 사용자 인터페이스를 구성하는 출력장치와 입력장치를 일체화시키는 개념으로서 다양한 형태의 입력과 출력을 동시에 가능하게 한다. 특히, 종래의 저해상도 숫자 및 문자로 구성된 텍스트 기반 인터페이스에서 고해상도의 그래픽 기반 인터페이스 로 변화되어 가면서, 그래픽 기반의 객체를 통한 입력을 실현하는 것이 가능해지고, 키패드를 대체할 경우에는 키패드 설치면적을 생략 가능하므로 동일한 체적을 가지는 정보기기에서 상대적으로 대 화면의 디스플레이가 가능해진다는 장점 또한 가진다.
특히 터치스크린을 구비하는 사용자 인터페이스에 있어 멀티터치(multi touch) 기술이 사용될 수 있다. 상기 멀티터치 기술이란 두 개 이상의 터치를 동시에 인식하는 기술로서, 두 손가락을 이용한 멀티터치 기술은 종래 한 손가락에 의한 단순한 터치 기술보다 스크롤(scroll), 줌인(zoom in), 줌아웃(zoom out), 패닝(panning) 등 더 많은 기능을 구현 가능하게 한다.
또한, 터치스크린을 구비한 사용자 인터페이스에서는, 단순히 터치스크린에 대한 터치를 통해 단순히 아이템의 선택하는 등의 동작을 넘어서서, 터치스크린에 대한 터치가 고유한 패턴으로 이루어질 경우, 이 고유한 패턴을 구별하여 입력을 식별할 수 있다. 예를 들면, 터치스크린 상에서 이루어지는 터치 동작이 일련의 정하여진 방향성으로 궤적을 그리거나(예컨대, 오른쪽으로 그어지는 직선, 위쪽으로 이어지는 직선), 정하여진 방향성의 패턴으로 궤적의 변화가 생기거나(예컨대, 시계방향 또는 반 시계방향으로 그려지는 원형 궤적), 정하여진 도형의 형상(예컨대, 'O', 'X' 등)을 그리거나, 정해진 방향성을 가지는 직선 및/또는 곡선의 조합(예컨대, 'ㄱ'자 형태, 'ㄴ'자 형태)을 이루는 경우 등에 있어서, 터치 입력의 패턴을 고유하게 식별해낼 수 있다.
다만, 상기의 터치스크린 관련 기술의 발전에도 불구하고 아직도 이를 이용 한 다양한 기능 및 내용 즉, 다양한 콘텐트(Contents)의 개발에는 한계가 있는 실정이다.
본 발명의 목적은 터치스크린을 이용하여 다양한 악기의 연주 시뮬레이션 기능을 구비한 장치를 제공하는 것이다.
또한, 본 발명의 다른 목적은 터치스크린을 이용하여 다양한 악기의 연주 시뮬레이션 방법을 제공하는 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명에 따른 터치스크린을 이용한 악기 연주 시뮬레이션 장치의 일실시예는 상기 악기의 소리에 대응되는 적어도 하나의 음향 데이터 및 상기 악기의 상태에 대응되는 적어도 하나의 영상 데이터를 저장하고 있는 저장부, 상기 영상 데이터를 입력받아 상기 악기의 영상을 표시하고, 사용자로부터 적어도 하나의 터치입력을 받아서 터치입력에 대응되는 입력신호를 출력하는 터치스크린, 상기 음향 데이터를 입력받아 스피커를 통하여 출력하는 음향재생부 및 상기 입력신호에 대응되는 상기 음향 데이터를 상기 저장부로부터 추출하여 상기 음향재생부를 통하여 출력하고, 상기 입력신호에 대응되는 상기 영상 데이터를 상기 저장부로부터 추출하여 상기 터치스크린을 통하여 출력하는 제어부를 포함할 수 있다.
여기에서, 상기 적어도 하나의 터치입력은 적어도 두 개 이상의 터치입력이 동시에 이루어지는 멀티 터치입력을 포함할 수 있다.
여기에서, 상기 입력신호는 상기 터치스크린 상에 터치된 터치입력의 위치를 나타내는 위치정보를 포함할 수 있다.
여기에서, 상기 입력신호는 상기 터치스크린 상에 터치된 터치입력의 세기를 나타내는 세기정보를 포함할 수 있다.
여기에서, 상기 입력신호는 상기 터치스크린 상에 터치된 터치입력의 방향성을 가지는 직선 또는 곡선에 대한 궤적정보를 포함할 수 있다.
여기에서, 상기 악기는 타악기, 건반악기, 관악기 및 현악기를 포함할 수 있다.
상술한 본 발명의 다른 목적을 달성하기 위한 본 발명에 따른 터치스크린을 이용한 악기 연주 시뮬레이션 방법의 일실시예는 상기 터치스크린에서 상기 적어도 하나의 터치입력을 입력받는 단계, 상기 터치입력에 대응하는 입력신호를 출력하는 단계 및 상기 입력신호에 대응되는 상기 음향 데이터를 스피커를 통하여 출력하고, 상기 입력신호에 대응되는 상기 영상 데이터를 상기 터치스크린을 통하여 출력하는 단계를 포함할 수 있다.
여기에서, 상기 적어도 하나의 터치입력은 적어도 두 개 이상의 터치입력이 동시에 이루어지는 멀티 터치입력을 포함할 수 있다.
여기에서, 상기 입력신호는 상기 터치스크린 상에 터치된 터치입력의 위치를 나타내는 위치정보를 포함할 수 있다.
여기에서, 상기 입력신호는 상기 터치스크린 상에 터치된 터치입력의 세기를 나타내는 세기정보를 포함할 수 있다.
여기에서, 상기 입력신호는 상기 터치스크린 상에 터치된 터치입력의 방향성 을 가지는 직선 또는 곡선에 대한 궤적정보를 포함할 수 있다.
여기에서, 상기 악기는 타악기, 건반악기, 관악기 및 현악기를 포함할 수 있다.
상기와 같은 악기 연주 시뮬레이션 장치 및 악기 연주 시뮬레이션 방법에 따르면, 악기를 현실적으로 구비하지 아니하고도 터치스크린을 이용한 악기 연주의 시뮬레이션을 통해 사용자에게 악기 연주하는 기회를 제공할 수 있다. 또한, 악기 연주 시뮬레이션에 따른 즉각적인 음향과 영상의 피드백이 있으므로, 사용자에게 잘못된 연주를 수정할 수 있는 기회를 제공할 수 있다. 더불어, 악기 연주 시뮬레이션은 한 종류의 악기가 아닌 타악기, 건반악기, 관악기 및 현악기의 다양한 악기를 체험해 볼 수 있는 기회를 제공할 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명에 따른 악기 연주 시뮬레이션 장치의 구성을 설명하기 위한 블록도이다.
도 1을 참조하면, 터치스크린을 이용한 악기 연주 시뮬레이션 장치(100)는 음향 데이터 및 영상 데이터를 저장하고 있는 저장부(110), 악기의 영상을 표시하고 터치입력을 받으며, 터치입력에 대응되는 입력신호를 출력하는 터치스크린(120), 음향 데이터를 입력받아 스피커를 통하여 출력하는 음향재생부(130) 및 입력신호에 대응되는 음향 데이터와 영상 데이터를 저장부에서 추출하여 출력하는 제어부(140)로 구성될 수 있다.
상기 악기 연주 시뮬레이션 장치(100)는 터치스크린을 구비한 다양한 장치가 될 수 있다. 예를 들면, 휴대폰, PDA(personal digital assistants), 랩톱 컴퓨터 등의 터치스크린을 구비한 장치를 포함할 수 있다.
상기 저장부(110)는 음향 데이터 및 영상 데이터를 저장할 수 있다. 음향 데 이터는 wav, mp3 등 소리 자원을 표시하는 파일형태를 가질 수 있고, 영상 데이터는 bmp, jpg, jpeg, avi, wmv 등의 정지영상 또는 동영상의 그래픽 자원을 표시하는 파일형태를 가질 수 있다. 또한, 음향 데이터와 영상 데이터는 플래시 메모리 등의 저장소자를 통하여 저장될 수 있다.
예를 들면, 상기 저장부(110)는 악기연주 기능 시뮬레이션이 가능한 악기의 다양한 소리정보를 샘플링(sampling)한 wav, mp3 등의 파일형태를 포함하는 음향 데이터로 플래시 메모리 등의 저장소자에 저장하며, 악기연주 기능 시뮬레이션이 가능한 악기의 다양한 영상정보와 악기의 일부 또는 전부의 변화된 상태를 표현하는 영상정보를 bmp, jpg, jpeg, avi, wmv 등의 파일형태를 포함하는 영상 데이터로 플래시 메모리 등의 저장소자에 저장한다.
상기 터치스크린(120)은 액정표시장치(LCD: Liquid Crystal Display) 또는 유기발광다이오드(OLED: Organinc Light Emitting Diode) 등과 같은 디스플레이 장치와 터치패드(touch pad)가 결합된 형태로서, 접촉식 정전용량 방식, 적외선 광 감지 방식, 표면 초음파 방식, 압전 방식, 압력식 저항막 방식 중 어느 하나의 방식이 사용될 수 있다.
예를 들면, 상기 터치스크린(120)은 악기연주 모드가 실행되면 악기의 최초 상태의 영상을 상기 저장부(110)에서 제어부(140)를 통하여 영상 데이터로 입력받아 터치스크린에 표시한다. 표시된 악기의 최초 상태 영상 하에서 사용자의 적어도 하나의 터치입력이 발생되면 터치입력에 대응되는 위치정보, 세기정보 및 궤적정보를 포함하는 입력신호를 출력할 수 있다. 더불어, 터치스크린은 사용자의 터치입력 이 두 개 이상 동시에 발생하는 멀티 터치입력을 처리할 수 있고, 멀티 터치입력의 경우에도 각각의 터치입력마다 별개의 입력신호를 출력한다. 또한, 터치스크린은 제어부(140)가 입력신호에 상응하는 영상 데이터를 출력하면 상기 영상 데이터를 이용하여 터치스크린에 정지영상 또는 동영상을 출력한다.
상기 음향재생부(130)는 스피커 등을 포함하는 음향 재생장치로 구성될 수 있다. 예를 들면, 제어부(140)가 입력신호에 상응하는 음향 데이터를 출력하면 상기 음향 데이터를 이용하여 스피커 등의 음향 재생장치를 이용하여 음향을 출력한다.
상기 제어부(140)는 프로세서로 구성되는 것이 일반적이다. 제어부(140)가 프로세서로 구성되는 경우에, 프로세서는 악기 연주 기능을 위한 제어를 수행할 수 있으며, 이외의 장치의 기능을 위한 제어를 수행할 수 있다. 터치스크린(120)과의 인터페이스를 통하여 터치스크린에서 제공하는 입력신호를 입력받아 분석하고, 저장부(110)와의 인터페이스를 통해 입력신호에 상응하는 음향 데이터 및 영상 데이터를 추출하여 출력할 수 있다. 추출한 음향 데이터는 음향재생부(130)로 출력하고, 영상 데이터는 터치스크린(120)으로 출력한다.
예를 들면, 상기 제어부(140)는 사용자의 선택에 의하여 악기 연주 시뮬레이션 기능이 선택되면 사용자의 선택에 따라 악기의 종류를 해석하고, 저장부(110)에서 해당하는 악기의 최초 영상 데이터를 추출하여 터치스크린으로 출력한다. 터치스크린(120)에서 터치입력에 따르는 입력신호가 발생되면, 상기 입력신호의 위치정보, 세기정보 및 궤적정보를 분석하여 대응하는 음향 데이터 및 영상 데이터를 저 장부(110)에서 추출한다. 상기 음향 데이터는 음향재생부(130)로 출력하고, 상기 영상 데이터는 터치스크린(120)으로 출력한다. 이를 통하여 사용자에게 터치입력에 따르는 즉각적인 피드백으로서의 음향과 영상을 제공한다.
도 2는 본 발명에 따른 악기 연주 시뮬레이션 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 터치스크린을 이용한 악기 연주 시뮬레이션 방법은 터치스크린에서 적어도 하나의 터치입력을 받는 단계(S210), 터치입력에 대응하는 입력신호를 출력하는 단계(S220) 및 입력신호에 대응되는 음향 데이터를 스피커를 통하여 출력하고, 입력신호에 대응되는 영상 데이터를 터치스크린을 통하여 출력하는 단계(S230)를 포함하여 구성될 수 있다.
상기 터치스크린에서 적어도 하나의 터치입력을 받는 단계(S210)는 악기연주 시뮬레이션 방법이 실행되면, 악기의 최초 상태의 영상을 터치스크린에 표시하고, 사용자의 터치입력을 기다린다. 사용자의 적어도 하나의 터치입력이 발생되면 각각의 터치입력은 입력신호로 변환된다. 각각의 터치입력은 두 개 이상의 터치입력이 동시에 발생하는 멀티 터치입력을 포함하며, 멀티 터치입력도 각각의 터치입력마다 입력신호로 변환된다.
상기 터치입력에 대응하는 입력신호를 출력하는 단계(S220)는 상기 터치스크린에서 적어도 하나의 터치입력을 받는 단계(S210)에서 입력받은 터치입력을 터치입력에 대응되는 입력신호로 변환하여 출력하는 단계이다. 터치입력은 위치정보, 세기정보 및 궤적정보를 포함하는 입력신호로 변환된다. 터치스크린에서 터치입력에 대응되는 입력신호를 출력하며, 입력신호는 제어부에 의해 처리된다. 멀티 터치입력은 각각의 터치입력에 대응되는 입력신호로 변환되어 출력되며 역시 제어부에 의해 처리된다.
상기 입력신호에 대응되는 음향 데이터를 스피커를 통하여 출력하고, 입력신호에 대응되는 영상 데이터를 터치스크린을 통하여 출력하는 단계(S230)는 상기 터치입력에 대응하는 입력신호를 출력하는 단계(S220)에서 출력된 입력신호를 해석하여 입력신호에 대응되는 음향 데이터와 영상 데이터를 저장부에서 추출하고, 추출한 음향 데이터는 스피커 등의 장치를 통하여 출력되어 사용자에 의하여 인식되고, 추출한 영상 데이터는 터치스크린을 통하여 출력되어 사용자에 의하여 인식된다.
상기 악기 연주 시뮬레이션 방법은 상기 터치스크린에서 적어도 하나의 터치입력을 받는 단계(S210), 상기 터치입력에 대응하는 입력신호를 출력하는 단계(S220) 및 상기 입력신호에 대응되는 음향 데이터를 스피커를 통하여 출력하고, 입력신호에 대응되는 영상 데이터를 터치스크린을 통하여 출력하는 단계(S230)를 반복하여 수행하는 것으로 이루어 질 수 있다.
도 3은 본 발명에 따른 악기 연주 시뮬레이션 방법의 일 실시예로서 타악기의 일종인 드럼을 연주하는 경우의 개념도이다.
도 3을 참조하면, 적어도 하나의 터치입력이 베이스 드럼(310), 스내어 드럼(320) 및 톰톰(330)의 영역에 입력되면, 상기 적어도 하나의 터치입력은 터치스 크린에서 각각 입력신호로 출력된다. 상기 터치입력은 멀티 터치입력인 경우를 포함한다. 상기 각각의 입력신호는 위치정보와 세기정보를 포함하며, 제어부는 상기 입력신호를 이용하여 이에 대응되는 음향 데이터와 영상 데이터를 저장부에서 추출하고, 추출된 음향 데이터는 스피커를 통하여 출력되며, 영상 데이터는 터치스크린을 통하여 출력된다. 이를 통하여 사용자에게 즉각적인 음향과 영상을 인식할 수 있는 기회를 제공한다.
예를 들면, 두 개의 손가락 또는 터치스크린용 펜을 이용할 수 있으며, 하나의 터치스크린용 펜은 베이스 드럼(310)에 터치입력을 주고, 다른 터치스크린용 펜으로는 동시에 또는 시간간격을 두어 톰톰(330)에 터치입력을 주면, 각각의 터치입력은 위치정보와 세기정보를 포함한 입력신호로 출력되며, 제어부는 각각의 입력신호에 해당되는 음향 데이터와 영상 데이터를 저장부에서 추출하여 음향 데이터와 영상 데이터를 출력한다. 출력된 음향 데이터는 스피커를 통해 베이스 드럼(310)의 소리와 톰톰(330)의 소리로 출력되고, 영상 데이터는 터치스크린을 통하여 베이스 드럼(310)의 움직이는 모습과 톰톰(330)의 흔들리는 형상으로 출력된다. 일련의 동작은 계속적 및 반복적으로 이루어 질 수 있으며, 이를 통하여 드럼의 연주 시뮬레이션이 가능할 수 있다.
도 4는 본 발명에 따른 악기 연주 시뮬레이션 방법의 다른 실시예로서 건반악기의 일종인 피아노를 연주하는 경우의 개념도이다.
도 4를 참조하면, 적어도 하나의 터치입력이 피아노의 건반 영역(410)에 입 력되면, 상기 적어도 하나의 터치입력은 터치스크린에서 각각 입력신호로 출력된다. 각각의 터치입력은 멀티 터치입력의 경우를 포함한다. 상기 각각의 입력신호는 위치정보와 세기정보를 포함하며, 제어부는 상기 입력신호를 이용하여 이에 대응되는 음향 데이터와 영상 데이터를 저장부에서 추출하고, 음향 데이터는 스피커를 통하여 출력하며, 영상 데이터는 터치스크린을 통하여 출력한다.
예를 들면, 세 개의 손가락 또는 터치스크린용 펜을 이용하는 경우에 하나의 터치스크린용 펜은 건반 영역(410)의 "도"에 터치입력을 주고, 다른 하나의 터치스크린용 펜은 동시에 또는 시간간격을 두어 "미" 에 터치입력을 주며, 또 다른 터치스크린용 펜은 동시에 또는 시간간격을 두어 "솔" 에 터치입력을 주면, 각각의 터치입력은 위치정보와 세기정보를 포함한 입력신호로 출력된다.
제어부는 각각의 입력신호에 해당되는 음향 데이터와 영상 데이터를 저장부에서 추출하여 출력한다. 음향 데이터는 스피커를 통하여 출력되며, 터치입력이 동시에 일어난 멀티 터치입력의 경우라면 "도", "미" 및 "솔"의 화음을 형성한다. 영상 데이터는 터치스크린을 통하여 출력되며, 건반 영역(410)의 "도", "미" 및 "솔"이 눌려진 형상으로 출력된다. 일련의 동작은 계속적 및 반복적으로 이루어 질 수 있으며, 이를 통하여 피아노의 연주 시뮬레이션이 가능할 수 있다.
도 5는 본 발명에 따른 악기 연주 시뮬레이션 방법의 또 다른 실시예로 관악기의 일종인 트럼펫을 연주하는 경우의 개념도이다.
도 5를 참조하면, 적어도 하나의 터치입력이 트럼펫의 마우스피스(510) 및 피스톤(520) 영역에 입력되면, 상기 적어도 하나의 터치입력은 터치스크린에서 각각 입력신호로 출력된다. 각각의 터치입력은 멀티 터치입력인 경우를 포함한다. 상기 각각의 입력신호는 위치정보와 세기정보를 포함하며, 제어부는 상술한 바와 같이 동작하여 사용자가 음향과 영상을 통한 인식할 수 있도록 한다.
예를 들면, 세 개의 손가락 또는 터치스크린용 펜을 이용하는 경우에, 하나의 터치스크린용 펜은 마우스피스(510)에 터치입력을 주고, 다른 하나의 터치스크린용 펜은 동시 또는 시간간격을 두어 제1피스톤(520)에 터치입력을 주며, 또 다른 터치스크린용 펜은 동시 또는 시간간격을 두고 제2피스톤(520)에 터치입력을 주면, 각각의 터치입력은 위치정보와 세기정보를 포함한 입력신호로 출력된다. 제어부는 각각의 입력신호에 해당되는 음향 데이터와 영상 데이터를 저장부에서 추출하여 출력한다. 음향 데이터는 스피커를 통하여 출력되는데, 이때 마우스피스(510)에 인가된 터치입력의 세기를 반영하여 제1피스톤과 제2피스톤에서의 소리를 출력하고, 특히 동시에 터치입력이 있는 경우라면 화음을 형성할 수 있다. 영상 데이터는 터치스크린을 통하여 출력되며, 해당 제1피스톤과 제2피스톤이 눌려진 형상으로 출력된다. 일련의 동작은 계속적 및 반복적으로 이루어 질 수 있으며, 이를 통하여 트럼펫의 연주 시뮬레이션이 가능할 수 있다.
도 6은 본 발명에 따른 악기 연주 시뮬레이션 방법의 또 다른 실시예로 현악기의 일종인 바이올린을 연주하는 경우의 개념도이다.
도 6을 참조하면, 적어도 하나의 터치입력이 바이올린의 지판(610) 및 현 영 역(620)에 입력되면, 상기 적어도 하나의 터치입력은 터치스크린에서 각각 입력신호로 출력된다. 각각의 터치입력은 멀티 터치입력인 경우를 포함한다. 상기 각각의 입력신호는 위치정보, 세기정보 및 궤적정보를 포함하며, 제어부는 상술한 바와 같이 동작하여 사용자에게 음향과 영상을 통한 인식이 가능하도록 한다.
예를 들면, 한 손을 이용하여 지판(610)에서 코드를 잡기 위해서는 네 개 또는 그 이하의 손가락을 이용하여 연주에 맞는 코드의 위치에 손가락을 내려놓는 터치입력을 주고, 다른 손의 손가락을 이용하여 현(620)위에서 활의 움직임을 고려하여 방향성 있는 직선 또는 곡선을 이루며 터치입력을 준다. 상기 터치입력은 동시에 또는 시간간격을 두어 행해질 수 있다. 현(620)위에서의 터치입력은 활을 이용하는 방법 외에 피치카토(pizzicato)를 표현하기 위해서 다른 손의 손가락을 이용하여 각각의 현(620)에 터치입력을 주는 방법도 이용할 수 있다. 상기 각각의 터치입력은 위치정보, 세기정보 및 궤적정보를 포함한 입력신호로 해석된다. 또한, 각각의 터치입력이 멀티 터치입력인 경우에는 터치입력마다 별개의 입력신호로 처리된다.
바이올린의 소리는 활로 현을 누르는 압력, 활을 움직이는 속도 및 줄활이 두어지는 받침으로부터의 거리에 따라 달라지므로, 손가락을 이용하여 현 영역에서 누르는 압력을 달리하거나, 현 위에서 손가락을 움직이는 경우에 속도를 변화시키거나, 받침으로부터 현 위의 손가락의 거리를 변화시킴에 따라 입력신호를 변화시킬 수 있다.
제어부는 각각의 입력신호에 대응되는 음향 데이터와 영상 데이터를 저장부 에서 추출하여 출력한다. 음향 데이터는 스피커를 통하여 출력되는데, 지판(610)에 인가된 터치입력의 종류와 현(620)에 인가된 터치입력에 따른 입력신호의 위치정보, 세기정보 및 궤적정보를 반영하여 바이올린 현의 소리로 출력되고, 영상 데이터는 터치스크린을 통하여 출력되는데, 해당 지판(610)의 종류에 따라 눌려진 형상과 현에서는 활이 이동하는 모습의 형상으로 출력된다. 일련의 동작은 계속적 및 반복적으로 이루어 질 수 있으며, 이를 통하여 바이올린의 연주 시뮬레이션이 가능할 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 본 발명에 따른 악기 연주 시뮬레이션 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명에 따른 악기 연주 시뮬레이션 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명에 따른 악기 연주 시뮬레이션 방법의 일 실시예로서 타악기의 일종인 드럼을 연주하는 경우의 개념도이다.
도 4는 본 발명에 따른 악기 연주 시뮬레이션 방법의 다른 실시예로서 건반악기의 일종인 피아노를 연주하는 경우의 개념도이다.
도 5는 본 발명에 따른 악기 연주 시뮬레이션 방법의 또 다른 실시예로 관악기의 일종인 트럼펫을 연주하는 경우의 개념도이다.
도 6은 본 발명에 따른 악기 연주 시뮬레이션 방법의 또 다른 실시예로 현악기의 일종인 바이올린을 연주하는 경우의 개념도이다.
<도면의 주요부분에 대한 도면 부호>
100: 악기 연주 시뮬레이션 장치
110: 저장부
120: 터치스크린
130: 음향재생부
140: 제어부

Claims (12)

  1. 터치스크린에 대한 적어도 하나의 터치입력을 이용하여 악기 연주를 시뮬레이션하는 장치에 있어서,
    상기 악기의 소리에 대응되는 적어도 하나의 음향 데이터 및 상기 악기의 상태에 대응되는 적어도 하나의 영상 데이터를 저장하고 있는 저장부;
    상기 영상 데이터를 입력받아 상기 악기의 영상을 표시하고, 사용자로부터 적어도 하나의 터치입력을 받아서 터치입력에 대응되는 입력신호를 출력하는 터치스크린;
    상기 음향 데이터를 입력받아 스피커를 통하여 출력하는 음향재생부; 및
    상기 입력신호에 대응되는 상기 음향 데이터를 상기 저장부로부터 추출하여 상기 음향재생부를 통하여 출력하고, 상기 입력신호에 대응되는 상기 영상 데이터를 상기 저장부로부터 추출하여 상기 터치스크린을 통하여 출력하는 제어부를 포함하는 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 터치입력은 적어도 두 개 이상의 터치입력이 동시에 이루어지는 멀티 터치입력을 포함하는 장치.
  3. 제1항에 있어서,
    상기 입력신호는 상기 터치스크린 상에 터치된 터치입력의 위치를 나타내는 위치정보를 포함하는 장치.
  4. 제1항에 있어서,
    상기 입력신호는 상기 터치스크린 상에 터치된 터치입력의 세기를 나타내는 세기정보를 포함하는 장치.
  5. 제1항에 있어서,
    상기 입력신호는 상기 터치스크린 상에 터치된 터치입력의 방향성을 가지는 직선 또는 곡선에 대한 궤적정보를 포함하는 장치.
  6. 제1항에 있어서,
    상기 악기는 타악기, 건반악기, 관악기 및 현악기를 포함하는 장치.
  7. 터치스크린에 대한 적어도 하나의 터치입력을 이용하는 악기 연주 시뮬레이션 방법에 있어서,
    상기 터치스크린에서 상기 적어도 하나의 터치입력을 입력받는 단계;
    상기 터치입력에 대응하는 입력신호를 출력하는 단계; 및
    상기 입력신호에 대응되는 상기 음향 데이터를 스피커를 통하여 출력하고, 상기 입력신호에 대응되는 상기 영상 데이터를 상기 터치스크린을 통하여 출력하는 단계를 포함하는 악기 연주 시뮬레이션 방법.
  8. 제7항에 있어서,
    상기 적어도 하나의 터치입력은 적어도 두 개 이상의 터치입력이 동시에 이루어지는 멀티 터치입력을 포함하는 악기 연주 시뮬레이션 방법.
  9. 제7항에 있어서,
    상기 입력신호는 상기 터치스크린 상에 터치된 터치입력의 위치를 나타내는 위치정보를 포함하는 악기 연주 시뮬레이션 방법.
  10. 제7항에 있어서,
    상기 입력신호는 상기 터치스크린 상에 터치된 터치입력의 세기를 나타내는 세기정보를 포함하는 악기 연주 시뮬레이션 방법.
  11. 제7항에 있어서,
    상기 입력신호는 상기 터치스크린 상에 터치된 터치입력의 방향성을 가지는 직선 또는 곡선에 대한 궤적정보를 포함하는 악기 연주 시뮬레이션 방법.
  12. 제7항에 있어서,
    상기 악기는 타악기, 건반악기, 관악기 및 현악기를 포함하는 악기 연주 시 뮬레이션 방법.
KR1020080037567A 2008-04-23 2008-04-23 터치스크린을 이용한 악기 연주 시뮬레이션 장치 및 방법 KR20090111943A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080037567A KR20090111943A (ko) 2008-04-23 2008-04-23 터치스크린을 이용한 악기 연주 시뮬레이션 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080037567A KR20090111943A (ko) 2008-04-23 2008-04-23 터치스크린을 이용한 악기 연주 시뮬레이션 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20090111943A true KR20090111943A (ko) 2009-10-28

Family

ID=41553185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080037567A KR20090111943A (ko) 2008-04-23 2008-04-23 터치스크린을 이용한 악기 연주 시뮬레이션 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20090111943A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110064530A (ko) * 2009-12-08 2011-06-15 삼성전자주식회사 단말기의 터치 면적 변화율에 따른 운용 방법 및 장치
WO2014061931A1 (ko) * 2012-10-18 2014-04-24 광주과학기술원 음향 재생 장치 및 음향 재생 방법
KR20200044278A (ko) * 2018-10-19 2020-04-29 송경준 증강현실을 활용한 글래스 하프의 음색 시뮬레이션 및 학습 시스템
KR20200072401A (ko) * 2018-12-12 2020-06-22 정재훈 다목적 노래방 시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110064530A (ko) * 2009-12-08 2011-06-15 삼성전자주식회사 단말기의 터치 면적 변화율에 따른 운용 방법 및 장치
US9619025B2 (en) 2009-12-08 2017-04-11 Samsung Electronics Co., Ltd. Method and system for operating a mobile device according to the rate of change of the touch area
WO2014061931A1 (ko) * 2012-10-18 2014-04-24 광주과학기술원 음향 재생 장치 및 음향 재생 방법
CN104813682A (zh) * 2012-10-18 2015-07-29 光州科学技术院 用于播放声音的设备和方法
CN105187994A (zh) * 2012-10-18 2015-12-23 光州科学技术院 用于播放声音的设备和方法
US9877129B2 (en) 2012-10-18 2018-01-23 Gwangju Institute Of Science And Technology Device and method for playing sound
KR20200044278A (ko) * 2018-10-19 2020-04-29 송경준 증강현실을 활용한 글래스 하프의 음색 시뮬레이션 및 학습 시스템
KR20200072401A (ko) * 2018-12-12 2020-06-22 정재훈 다목적 노래방 시스템

Similar Documents

Publication Publication Date Title
US9619025B2 (en) Method and system for operating a mobile device according to the rate of change of the touch area
US8539368B2 (en) Portable terminal with music performance function and method for playing musical instruments using portable terminal
CN103314343B (zh) 使用手势控制键盘应用，例如移动设备上的键盘应用
US8884895B2 (en) Input apparatus
US8878793B2 (en) Input apparatus
US7487147B2 (en) Predictive user interface
JP5451599B2 (ja) マルチモーダルスマートペンのコンピューティングシステム
US10339833B2 (en) Assistive reading interface
US20080005703A1 (en) Apparatus, Methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
TW201222397A (en) Translation of directional input to gesture
KR20120006976A (ko) 데이타입력시스템
US20170344113A1 (en) Hand-held controller for a computer, a control system for a computer and a computer system
US20180350337A1 (en) Electronic musical instrument with separate pitch and articulation control
KR20090111943A (ko) 터치스크린을 이용한 악기 연주 시뮬레이션 장치 및 방법
TWI414976B (zh) 使用者介面的控制方法
KR100904383B1 (ko) 한글문자 입력방법 및 이의 입력장치
EP4139771B1 (en) Apparatus and method for entering logograms into an electronic device
KR20030067729A (ko) 스타일러스 컴퓨터
CN109801613B (zh) 一种基于终端的大提琴演奏方法、装置及终端
TWI468986B (zh) 電子裝置、其輸入方法與電腦程式產品
KR101155805B1 (ko) 한글 입력 장치, 방법 및 이를 이용한 모바일 기기
KR20090012196A (ko) 한글문자 입력방법 및 이의 입력장치
WO2006090972A1 (en) Apparatus and method for inputting a character
KR101581138B1 (ko) 음성제어 영상표시 리듬게임 장치 및 방법
WO2023003817A1 (en) Gesture-enabled interfaces, systems, methods, and applications for generating digital music compositions

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application