KR101679239B1 - 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법 - Google Patents

휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR101679239B1
KR101679239B1 KR1020100064654A KR20100064654A KR101679239B1 KR 101679239 B1 KR101679239 B1 KR 101679239B1 KR 1020100064654 A KR1020100064654 A KR 1020100064654A KR 20100064654 A KR20100064654 A KR 20100064654A KR 101679239 B1 KR101679239 B1 KR 101679239B1
Authority
KR
South Korea
Prior art keywords
musical instrument
sound source
performance
image
user
Prior art date
Application number
KR1020100064654A
Other languages
English (en)
Other versions
KR20120004023A (ko
Inventor
김기영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100064654A priority Critical patent/KR101679239B1/ko
Priority to US13/173,062 priority patent/US8866846B2/en
Publication of KR20120004023A publication Critical patent/KR20120004023A/ko
Application granted granted Critical
Publication of KR101679239B1 publication Critical patent/KR101679239B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/18—Selecting circuits
    • G10H1/24—Selecting circuits for selecting plural preset register stops
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/086—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for transcription of raw audio or music data to a displayed or printed staff representation or to displayable MIDI-like note-oriented data, e.g. in pianoroll format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/026—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays associated with a key or other user input device, e.g. key indicator lights
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/161—User input interfaces for electrophonic musical instruments with 2D or x/y surface coordinates sensing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/211—User input interfaces for electrophonic musical instruments for microphones, i.e. control of musical parameters either directly from microphone signals or by physically associated peripherals, e.g. karaoke control switches or rhythm sensing accelerometer within the microphone casing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/221—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/005—Device type or category
    • G10H2230/015—PDA [personal digital assistant] or palmtop computing devices used for musical purposes, e.g. portable music players, tablet computers, e-readers or smart phones in which mobile telephony functions need not be used
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/045—Special instrument [spint], i.e. mimicking the ergonomy, shape, sound or other characteristic of a specific acoustic musical instrument category
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/045—Special instrument [spint], i.e. mimicking the ergonomy, shape, sound or other characteristic of a specific acoustic musical instrument category
    • G10H2230/065—Spint piano, i.e. mimicking acoustic musical instruments with piano, cembalo or spinet features, e.g. with piano-like keyboard; Electrophonic aspects of piano-like acoustic keyboard instruments; MIDI-like control therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)

Abstract

본 발명은 증강 현실 기법을 이용한 휴대용 단말기의 어플리케이션에 관한 장치 및 방법에 관한 것으로, 특히 사용자가 직접 그린 악기의 이미지를 촬영하여 해당 악기를 인식하고, 이미지 상의 악기 연주를 실제 악기를 이용하여 연주하는 것과 같은 효과를 제공하기 위한 휴대용 단말기의 장치 및 방법에 관한 것으로, 카메라를 통해 이미지 상의 악기를 인식하는 이미지 인식부와, 상기 인식한 이미지의 악기를 표시부에 출력하여 연주에 사용하고, 상기 이미지 상의 악기 연주를 표시부에 출력된 악기 연주로 매칭시키는 음원 처리부를 포함하는 것을 특징으로 한다.

Description

휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법{APPARATUS AND METHOD FOR PLAYING ON MUSICAL INSTRUMENTS BY AUGMENTED REALITY IN PORTABLE TERMINAL}
본 발명은 증강 현실 기법을 이용한 휴대용 단말기의 어플리케이션에 관한 장치 및 방법에 관한 것으로, 특히 사용자가 직접 그린 악기의 이미지를 촬영하여 해당 악기를 인식하고, 이미지 상의 악기 연주를 실제 악기를 이용하여 연주하는 것과 같은 효과를 제공하기 위한 휴대용 단말기의 장치 및 방법에 관한 것이다.
최근 휴대용 단말기는 휴대의 편리성 때문에 사용이 급격히 확산되고 있는 추세이다. 따라서, 서비스 제공자(단말기 제조자)들은 많은 사용자를 확보하기 위해 더욱 편리한 기능을 갖는 상기 휴대용 단말기를 경쟁적으로 개발하고 있다.
예를 들어, 상기 휴대용 단말기는 폰북(phone book), 게임(game), 스케쥴러(Scheduler), 단문 메시지 서비스(short message Service), 멀티미디어 메시지 서비스(Multimedia message service), 방송메시지서비스(Cell broadcasting service), 인터넷 서비스(internet Service), 이메일(e-mail), 모닝콜(morning call), MP 3(MPEG Layer 3), 디지털 카메라(Digital camera) 등의 기능을 제공하고 있다.
최근 휴대용 단말기에서 제공하는 게임은 단순히 오락성을 제공하는 수준을 넘어서 현실성과 긴장감을 제공하고 있다.
액션 게임을 예를 들면, 화려한 그래픽과 현실감있는 사운드를 통해 직접 사용자가 주인공이 되거나 주변에 있는 것과 같은 느낌이 들게 한다. 또한, 최근에는 피아노, 기타와 같은 악기를 사용자가 직접 연주하는 것과 같은 느낌을 제공하기도 한다.
하지만, 상기와 같은 게임들은 그래픽화된 출력을 이용하는 것으로 현실감 향상에 한계가 있다.
상세히 말해서, 상기 휴대용 단말기를 통해 피아노, 기타와 같은 악기를 연주할 경우, 사용자는 그래픽화된 악기가 출력된 표시부를 직접 터치해야고, 사용자의 터치가 발생한 위치를 표시하여 현재 사용자가 연주한 음을 사용자에게 확인시켜준다. 하지만, 사용자는 표시부를 터치함에 따라 실제 악기를 연주하는 것과 같은 효과를 얻을 수 없다는 문제점이 발생한다.
따라서, 상기와 같은 문제점을 해결하기 위하여 휴대용 단말기에서 현실감을 향상시킨 부가 서비스를 제공하기 위한 장치 및 방법이 요구된다.
본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 도출된 것으로서, 본 발명의 목적은 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주 기능을 제공하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 휴대용 단말기에서 이미지 상의 악기 연주를 통해 연주에 해당하는 음원 발생시켜 실제 악기를 연주하는 효과를 제공하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 휴대용 단말기에서 이미지 상의 악기 연주에 해당하는 악보를 생성하기 위한 장치 및 방법을 제공함에 있다.
상술한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치는 카메라를 통해 이미지 상의 악기를 인식하는 이미지 인식부와, 상기 인식한 이미지의 악기를 표시부에 출력하여 연주에 사용하고, 상기 이미지 상의 악기 연주를 표시부에 출력된 악기 연주로 매칭시키는 음원 처리부를 포함하는 것을 특징으로 한다.
상술한 목적들을 달성하기 위한 본 발명의 제 2 견지에 따르면, 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 방법은 카메라를 통해 이미지 상의 악기를 인식하는 과정과, 상기 인식한 이미지의 악기를 표시부에 출력하여 연주에 사용하는 과정과, 상기 이미지 상의 악기 연주를 표시부에 출력된 악기 연주로 매칭시키는 과정을 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명은 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주 기능을 제공하기 위한 장치 및 방법에 관한 것으로, 이미지 상의 악기 연주를 인식하도록 하여 실제 악기를 연주하는 것과 같은 효과를 제공하고, 상기 악기 연주에 따른 곡의 악보를 생성하여 악기 연주에 대한 현실감을 향상시킬 수 있다.
도 1은 본 발명에 따라 증강 현실 기법을 이용한 악기 연주를 가능하게 하는 휴대용 단말기의 구성을 도시한 블록도,
도 2는 본 발명에 따른 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주 과정을 도시한 흐름도,
도 3은 본 발명에 따른 휴대용 단말기에서 악기 연주에 따른 악보를 생성하는 과정을 도시한 흐름도,
도 4(a)는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 사용자가 연주하고자 하는 악기를 인식하는 과정을 도시한 도면 및,
도 4(b)는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 사용자의 연주를 인식하는 과정을 도시한 도면.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
이하 설명에서는 본 발명에 따른 휴대용 단말기에서 증강 현실 기법을 이용하여 이미지 상의 악기를 실제 악기를 연주하는 것과 같은 효과를 제공하고, 상기 악기 연주에 해당하는 악보를 생성하도록 하는 장치 및 방법에 대하여 설명할 것이다.
도 1은 본 발명에 따라 증강 현실 기법을 이용한 악기 연주를 가능하게 하는 휴대용 단말기의 구성을 도시한 블록도이다.
상기 도 1을 참조하면, 상기 휴대용 단말기는 제어부(100), 이미지 인식부(102), 음원 처리부(104), 메모리부(106), 입력부(108), 표시부(110) 및 통신부(112)를 포함하여 구성할 수 있으며, 상기 통신부(112)는 이미지 관리 서버(120)와 통신할 수 있다.
먼저, 상기 제어부(100)는 상기 휴대용 단말기의 전반적인 동작을 제어한다. 예를 들어, 음성통화 및 데이터 통신을 위한 처리 및 제어를 수행하고, 통상적인 기능에 더하여 본 발명에 따라 상기 제어부(100)는 사용자가 연주하고자 하는 악기의 이미지를 인식하여 인식한 악기를 상기 표시부(110)에 출력하도록 처리하며, 사용자가 상기 악기의 이미지를 이용하여 연주를 수행할 경우, 사용자의 손가락의 위치를 확인하여 손가락의 위치에 해당하는 음원을 출력하도록 처리한다.
또한, 상기 제어부(100)는 사용자의 손가락의 위치와 변화하는 손가락의 위치를 이용하여 사용자가 연주한 노래의 악보를 생성하도록 처리한다.
이때, 상기 제어부(100)는 본 발명의 바람직한 일 실시 예에 따라 증강 현실 기법을 이용하여 사용자가 연주하고자 하는 악기 및 사용자에 의해 연주되는 곡의 악보를 상기 표시부(110)에 출력시키도록 처리할 수 있다.
상기 이미지 인식부(102)는 악기의 이미지를 통해 사용자가 연주하고자 하는 악기를 인식하는 것으로, 이미지 촬영을 위한 카메라를 포함할 수 있다.
즉, 상기 이미지 인식부(102)는 상기 카메라를 통해 악기의 이미지 및 사용자의 손가락의 위치를 인식하여 상기 제어부(100)로 제공한다. 이때, 상기 이미지 인식부(102)는 상기 메모리부(106)에 저장된 다수의 악기 정보와 카메라를 통해 획득한 이미지를 비교하여 사용자가 연주하고자 하는 악기를 확인할 수 있고, 상기 카메라를 통해 획득한 이미지에 대한 정보를 상기 이미지 관리 서버(120)로 제공하여 사용자가 연주하고자 하는 악기에 대한 정보를 제공받을 수 있다.
상기 음원 처리부(104)는 상기 제어부(100)의 제어를 받아 상기 이미지 인식부(102)에 의해 인식된 사용자의 손가락 위치를 상기 표시부(110)에 출력된 악기와 매칭시켜 손가락의 위치에 해당하는 음원을 출력시킨다.
또한, 상기 음원 처리부(104)는 상기 제어부(100)의 제어를 받아 상기 이미지 인식부(102)에 의해 인식된 사용자의 손가락 위치를 이용하여 사용자가 연주한 곡의 악보를 생성하도록 처리한다. 이때, 상기 음원 처리부(104)는 상기 제어부(100)의 제어를 받아 상기 손가락의 위치 및 악보 생성에 사용되는 음표들을 증강 현실 기법을 이용하여 출력하도록 처리할 수 있다.
상기 메모리부(106)는 롬(ROM; Read Only Memory), 램(RAM; Random Access Memory), 플래쉬롬(flash ROM)으로 구성된다. 상기 롬은 상기 제어부(100), 이미지 인식부 및, 음원 처리부(102)의 처리 및 제어를 위한 프로그램의 마이크로코드와 각종 참조 데이터를 저장한다.
상기 램은 상기 어플리케이션 처리부(100)의 워킹 메모리(working memory)로, 각종 프로그램 수행 중에 발생하는 일시적인 데이터를 저장한다. 또한, 상기 플래쉬롬은 전화번호부(phone book), 발신메시지 및 수신메시지와 같은 갱신 가능한 각종 보관용 데이터를 저장한다. 또한, 상기 메모리부(106)는 본 발명에 따라 사용자가 연주하고자 하는 악기를 판단하는 사용하는 악기들에 대한 정보를 저장하고 있다.
상기 입력부(108)는 0 ~ 9의 숫자키 버튼들과, 메뉴버튼(menu), 취소버튼(지움), 확인버튼, 통화버튼(TALK), 종료버튼(END), 인터넷접속 버튼, 네비게이션 키(또는 방향키) 버튼들 및 문자 입력 키 등 다수의 기능키들을 구비하며, 사용자가 누르는 키에 대응하는 키 입력 데이터를 상기 어플리케이션 처리부(100)로 제공한다.
상기 표시부(110)는 상기 휴대용 단말기의 동작 중에 발생하는 상태 정보, 문자들, 다량의 동영상 및 정지영상 등을 디스플레이한다. 상기 표시부(110)는 컬러 액정 디스플레이 장치(LCD; Liquid Crystal Display)를 사용할 수 있으며 상기 표시부(110)는 터치 입력 장치를 구비하여 터치 입력 방식의 휴대용 단말기에 적용할 경우 입력 장치로 사용할 수 있다.
상기 통신부(112)는 안테나(미도시)를 통해 입출력되는 데이터의 무선신호를 송수신 처리하는 기능을 수행한다. 예를 들어, 송신인 경우, 송신할 데이터를 채널 코딩(Channel coding) 및 확산(Spreading)한 후, RF처리하여 송신하는 기능을 수행하고, 수신인 경우, 수신된 RF신호를 기저대역신호로 변환하고 상기 기저대역신호를 역 확산(De-spreading) 및 채널 복호(Channel decoding)하여 데이터를 복원하는 기능을 수행한다.
상기 이미지 인식부(102) 및 음원 처리부(104)의 역할은 상기 휴대용 단말기의 제어부(100)에 의해 수행할 수 있으나, 본 발명에서 이를 별도로 구성하여 도시한 것은 설명의 편의를 위한 예시적인 구성이지 결코 본 발명의 범위를 제한하자는 것이 아니며, 당업자라면 본 발명의 범위 내에서 다양한 변형 구성이 가능하다는 것을 알 수 있을 것이다. 예를 들어, 이들 모두를 상기 제어부(100)에서 처리하도록 구성할 수도 있다.
도 2는 본 발명에 따른 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주 과정을 도시한 흐름도이다.
상기 도 2를 참조하면, 상기 휴대용 단말기는 먼저 201단계에서 카메라를 통해 이미지를 촬영한 후, 203단계로 진행하여 촬영한 이미지를 인식하는 과정을 수행한다. 여기에서, 상기 카메라를 통해 촬영하는 이미지는 사용자가 연주하고자 하는 악기에 대한 이미지로 사용자가 직접 악기를 그리거나 악기를 직접 촬영한 이미지를 사용할 수 있다.
이후, 상기 휴대용 단말기는 205단계로 진행하여 상기 203단계의 인식 결과를 통해 연주 가능한 악기를 인식하였는지를 확인한다. 여기에서, 상기 휴대용 단말기는 연주 가능한 악기들에 정보를 기 저장한 후, 상기 인식한 이미지와 일치한 정보가 존재하는지 확인하여 상기 연주 가능한 악기를 확인할 수 있다. 또한, 상기 휴대용 단말기는 상기 203단계에서 인식한 이미지의 정보를 상기 악기에 대한 정보를 저장한 특정 서버로부터 전송하여 상기 서버로부터 연주 가능한 악기에 대한 정보를 제공받을 수 있다.
만일, 상기 205단계에서 연주 가능한 악기를 인식하지 않을 경우, 상기 휴대용 단말기는 상기 201단계의 과정을 재수행한다.
한편, 상기 205단계에서 연주 가능한 악기를 인식할 경우, 상기 휴대용 단말기는 207단계로 진행하여 상기 이미지를 통해 인식한 악기를 표시부에 출력하도록 처리한다. 이때, 상기 휴대용 단말기는 상기 201단계에서 촬영한 이미지를 직접 표시부에 출력하거나 상기 201단계에서 촬영한 이미지에 해당하는 악기를 그래픽화하여 상기 표시부에 출력할 수 있다. 여기에서, 상기 촬영한 이미지에 해당하는 악기를 그래픽화여 출력하는 것은 연주하고자 하는 악기를 실제 악기처럼 그래픽화여 시각적 효과를 높이기 위함이다.
이후, 상기 휴대용 단말기는 209단계로 진행하여 상기 표시부에 출력된 해당 악기의 구성 음원을 확인한다. 여기에서, 상기 구성 음원을 확인하는 것은 상기 출력된 악기에서 음이 발생할 수 있는 모든 위치와 상기 위치에 해당하는 음원을 확인하는 것이다. 일 예로, 상기 휴대용 단말기가 상기 표시부에 건반을 출력한 경우, 상기 휴대용 단말기는 상기 출력된 건반의 도, 레, 미, 파, 솔, 라, 시, 도에 해당하는 건반의 위치를 확인하고, 각각의 건반 위치에 해당하는 음원을 미리 확인하여 사용자가 누른 건반에 의해 발생되는 음원을 판단할 것이다.
이후, 상기 휴대용 단말기는 211단계로 진행하여 상기 203단계에서 인식한 이미지 즉, 인식한 악기를 사용자가 연주하는지 확인한다. 즉, 상기 휴대용 단말기는 이미지 촬영을 지속적으로 수행하여 인식한 이미지에 대하여 사용자의 손가락이 음원이 발생할 수 있는 위치에 위치하였는지를 판단하는 것이다.
이후, 상기 휴대용 단말기는 213단계로 진행하여 사용자의 연주를 감지하였는지를 확인한다.
만일, 상기 213단계에서 사용자의 연주를 감지하지 않은 경우, 상기 휴대용 단말기는 상기 211단계의 과정을 재수행한다.
한편, 상기 213단계에서 사용자의 연주를 감지할 경우, 상기 휴대용 단말기는 215단계로 진행하여 사용자가 연주한 위치에 해당하는 음원을 확인하여 발생시키도록 한다. 이때, 상기 사용자는 악기를 그린 이미지 또는 악기를 촬영한 이미지 상의 악기를 연주한 것으로, 상기 휴대용 단말기는 카메라를 통해 사용자의 손가락 위치를 확인한 후, 상기 손가락 위치에 해당하는 악기의 음원을 발생시킨다. 또한, 상기 휴대용 단말기는 상기 음원을 발생시킴과 동시에 상기 표시부에 출력된 악기에 상기 사용자의 손가락 위치(선택된 음원)를 함께 표시하도록 처리할 수 있다. 즉, 상기 휴대용 단말기는 사용자가 그린 악기를 출력한 후, 증강 현실 기법을 이용하여 상기 사용자의 손가락에 의해 선택된 음원을 나타내는 기호를 출력하도록 처리할 수 있다.
이후, 상기 휴대용 단말기는 217단계로 진행하여 사용자에 의한 연주가 종료되는지 확인한다.
만일, 상기 217단계에서 사용자에 의한 연주가 종료되지 않음을 확인할 경우, 상기 휴대용 단말기는 상기 211단계의 과정을 재수행한다.
한편, 상기 217단계에서 사용자에 의한 연주가 종료됨을 확인할 경우, 상기 휴대용 단말기는 본 알고리즘을 종료한다.
도 3은 본 발명에 따른 휴대용 단말기에서 악기 연주에 따른 악보를 생성하는 과정을 도시한 흐름도이다.
상기 도 3을 참조하면, 상기 휴대용 단말기는 상기 도 2의 215단계와 같이 사용자가 연주한 위치에 해당하는 음원을 확인하여 발생시킬 것이다.
상기와 같은 사용자의 악기 연주에 따른 악보를 생성하기 위하여 상기 휴대용 단말기는 301단계에서 악보 생성을 위한 툴을 출력한다. 여기에서, 상기 악보를 생성하기 위한 툴은 사용자가 연주한 음의 음표를 표시할 수 있는 오선지가 될 수 있다.
이후, 상기 휴대용 단말기는 303단계로 진행하여 카메라를 통해 사용자의 손가락 위치를 확인한 후, 상기 손가락 위치에 해당하는 음표를 확인함으로써 사용자가 연주한 위치에 해당하는 음표를 확인한다.
이후, 상기 휴대용 단말기는 305단계로 진행하여 상기 303단계에서 확인한 음표를 상기 악보 생성을 위한 툴에 출력하도록 한다. 예를 들어, 상기 휴대용 단말기의 사용자가 이미지 상의 건반의 "도" 위치에 손가락을 위치할 경우, 앞서 설명한 바와 같이 휴대용 단말기는 "도"에 해당하는 음원을 발생시키고 상기 출력한 툴의 "도" 위치에 음표를 출력함으로써 악보를 생성할 수 있다.
이후, 상기 휴대용 단말기는 상기 도 2의 217단계로 진행하여 사용자에 의한 연주가 종료되는지 확인한다.
이때, 상기 휴대용 단말기는 악보 생성을 위한 툴을 출력한 후, 증강 현실 기법을 이용하여 사용자의 손가락 위치에 해당하는 음표를 출력할 수 있다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주 과정을 도시한 도면이다.
도 4(a)는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 사용자가 연주하고자 하는 악기를 인식하는 과정을 도시한 도면이다.
상기 도 4(a)를 참조하면, 상기 휴대용 단말기의 사용자는 연주하고자 악기(403)를 종이(401)에 직접 그리거나 상기 악기가 프린트된 종이를 준비한다.
상기 휴대용 단말기는 상기와 같이 악기가 출력된 종이를 카메라를 통해 촬영하여 연주하고자 하는 악기를 인식(407)하고, 상기 인식한 악기(407)를 프리뷰 화면(405)에 출력하도록 처리한다.
이때, 상기 휴대용 단말기는 상기 종이 상에 존재하는 악기(403)를 그대로 프리뷰 화면(405)에 출력하거나 상기 악기에 해당하는 그래픽을 출력하여 사용자의 시각적인 효과를 증가시킬 수 있다.
도 4(b)는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 사용자의 연주를 인식하는 과정을 도시한 도면이다.
상기 도 4(b)를 참조하면, 먼저 상기 휴대용 단말기는 상기 도 4(a)와 같이 사용자가 연주하고자 하는 악기를 인식한 경우, 상기 인식한 악기의 구성 음원을 확인한 후, 악기가 출력된 종이를 카메라를 통해 촬영하여 사용자의 손가락 위치를 확인한다.
만일, 상기 휴대용 단말기의 사용자가 상기 종이(410) 상의 악기의 "레" 위치에 손가락을 위치(412)시킬 경우(연주할 경우), 상기 휴대용 단말기는 상기 사용자의 손가락 위치에 해당하는 음원("레"에 해당하는 음)을 출력한다. 이때, 상기 휴대용 단말기는 음원 출력과 동시에 프리뷰 화면(414)에 출력된 그래픽화된 건반의 "레" 위치를 음영 처리(416)하여 현재 사용자가 현재 연주한 건반을 인지할 수 있도록 처리한다.
또한, 상기 휴대용 단말기는 상기와 같이 사용자의 손가락 위치에 해당하는 음원을 발생시킨 후, 상기 손가락 위치에 해당하는 건반의 음표들을 이용하여 사용자가 연주한 곡의 악보를 생성하도록 처리한다.
도시한 도면은 현재 사용자의 손가락 위치에 해당하는 "레"를 악보(오선지)(418)에 출력(422)한 것으로, 이전에 사용자가 연주한 음표와 함께 출력(420)하여 하나의 악보를 생성하도록 처리한 것으로, 도시한 악보는 "레", "시", "솔", "레"의 건반을 누른 사용자의 연주에 대한 악보를 나타낸다.
이때, 상기 휴대용 단말기는 상기 연주하고자 하는 악기, 사용자의 손가락 위치와 상응되는 그래픽화된 악기의 건반 위치, 악보 생성을 위한 음표를 증강 현실 기법을 이용하여 표시부에 출력할 수 있다.
본 발명의 또 다른 실시 예에 따라 상기 휴대용 단말기는 주변 혹은 휴대용 단말기에서 재생되는 음악을 인식하여 재생되는 음악의 음원들을 분석할 수 있다. 예를 들어, 상기 휴대용 단말기에서 "학교종"이라는 동요를 재생할 경우, 상기 휴대용 단말기는 상기 재생하는 동요를 구성하는 음원(예; 솔, 솔, 라, 라, 솔, 솔, 미...(상기 동요의 계이름))를 분석할 수 있다. 이후, 상기 휴대용 단말기는 상기 분석한 음원을 증강 현실 기술을 이용하여 상기 악보 생성을 위한 틀에 매핑시켜키도록 처리함으로써 악보 생성 과정을 수행할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
100: 제어부 102: 이미지 인식부
104: 음원 처리부 106: 메모리부

Claims (12)

  1. 카메라를 통해 이미지에 표시된 악기를 인식하는 이미지 인식부와,
    상기 인식된 악기의 시각적 표현을 표시부에 출력하여 연주에 사용하고, 상기 이미지에 표시된 악기 연주를 상기 표시부에 출력된 악기 연주로 매칭시키는 음원 처리부를 포함하는 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치.
  2. 제 1항에 있어서,
    상기 음원 처리부는,
    상기 이미지 상의 악기 연주를 상기 표시부에 출력된 악기 연주로 매칭시킨 후, 상기 이미지 상의 악기 연주에 따른 악보를 생성하는 것을 특징으로 하는 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치.
  3. 제 2항에 있어서,
    상기 음원 처리부는,
    증강 현실 기법을 이용하여 상기 이미지 상의 악기 연주를 상기 표시부에 출력된 악기 연주로 매칭시키고 상기 이미지 상의 악기 연주에 따른 악보를 생성하는 것을 특징으로 하는 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치.
  4. 제 1항에 있어서,
    상기 음원 처리부는,
    상기 카메라를 통해 인식한 악기의 구성 음원을 확인하고, 상기 이미지 상의 악기에 위치한 사용자의 손가락 위치를 확인한 후, 상기 사용자의 손가락의 위치에 해당하는 구성 음원을 출력하여 상기 이미지 상의 악기 연주를 상기 표시부에 출력된 악기 연주로 매칭시키는 것을 특징으로 하는 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치.
  5. 제 4항에 있어서,
    상기 음원 처리부는,
    상기 사용자의 손가락의 위치에 해당하는 구성 음원을 출력한 후, 상기 구성 음원을 상기 표시부에 출력된 악기에서 상기 사용자의 손가락의 위치에 해당하는 음원에 매칭하는 것을 특징으로 하는 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치.
  6. 제 5항에 있어서,
    상기 음원 처리부는,
    상기 사용자의 손가락의 위치에 해당하는 구성 음원과 동일한 상기 표시부에 출력된 악기의 음원을 음영(음원 표시) 처리하여 상기 구성 음원을 상기 표시부에 출력된 악기에 매칭하는 것을 특징으로 하는 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치.
  7. 카메라를 통해 이미지에 표시된 악기를 인식하는 과정과,
    상기 인식된 악기의 시각적인 표현을 표시부에 출력하여 연주에 사용하는 과정과,
    상기 이미지 상의 악기 연주를 표시부에 출력된 악기 연주로 매칭시키는 과정을 포함하는 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 방법.
  8. 제 7항에 있어서,
    상기 이미지 상의 악기 연주를 상기 표시부에 출력된 악기 연주로 매칭시킨 후, 상기 이미지 상의 악기 연주에 따른 악보를 생성하는 과정을 포함하는 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 방법.
  9. 제 8항에 있어서,
    상기 이미지 상의 악기 연주를 상기 표시부에 출력된 악기 연주로 매칭시키는 과정과 상기 이미지 상의 악기 연주에 따른 악보를 생성하는 과정은 증강 현실 기법을 이용하는 과정임을 특징으로 하는 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 방법.
  10. 제 7항에 있어서,
    상기 이미지 상의 악기 연주를 상기 표시부에 출력된 악기 연주로 매칭시키는 과정은,
    상기 카메라를 통해 인식한 악기의 구성 음원을 확인하는 과정과,
    상기 이미지 상의 악기에 위치한 사용자의 손가락 위치를 확인하는 과정과,
    상기 사용자의 손가락의 위치에 해당하는 구성 음원을 출력하는 과정을 포함하는 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 방법.
  11. 제 10항에 있어서,
    상기 사용자의 손가락의 위치에 해당하는 구성 음원을 출력한 후, 상기 구성 음원을 상기 표시부에 출력된 악기에서 상기 사용자의 손가락의 위치에 해당하는 음원에 매칭하는 과정을 포함하는 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 방법.
  12. 제 11항에 있어서,
    상기 구성 음원을 상기 표시부에 출력된 악기에 매칭하는 과정은,
    상기 사용자의 손가락의 위치에 해당하는 구성 음원과 동일한 상기 표시부에 출력된 악기의 음원을 음영(음원 표시) 처리하는 과정임을 특징으로 하는 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 방법.


KR1020100064654A 2010-07-06 2010-07-06 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법 KR101679239B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100064654A KR101679239B1 (ko) 2010-07-06 2010-07-06 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법
US13/173,062 US8866846B2 (en) 2010-07-06 2011-06-30 Apparatus and method for playing musical instrument using augmented reality technique in mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100064654A KR101679239B1 (ko) 2010-07-06 2010-07-06 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120004023A KR20120004023A (ko) 2012-01-12
KR101679239B1 true KR101679239B1 (ko) 2016-11-24

Family

ID=45438275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100064654A KR101679239B1 (ko) 2010-07-06 2010-07-06 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법

Country Status (2)

Country Link
US (1) US8866846B2 (ko)
KR (1) KR101679239B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182968B2 (en) 2017-08-16 2021-11-23 Samsung Electronics Co., Ltd. Electronic device and control method thereof
US11189102B2 (en) 2017-12-22 2021-11-30 Samsung Electronics Co., Ltd. Electronic device for displaying object for augmented reality and operation method therefor

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014137311A1 (en) * 2013-03-04 2014-09-12 Empire Technology Development Llc Virtual instrument playing scheme
KR20160017461A (ko) * 2014-08-06 2016-02-16 삼성전자주식회사 악기 연주 제어 장치 및 그 방법
KR102395515B1 (ko) * 2015-08-12 2022-05-10 삼성전자주식회사 가상 악기의 연주 방법 및 이를 지원 하는 장치
US10854180B2 (en) 2015-09-29 2020-12-01 Amper Music, Inc. Method of and system for controlling the qualities of musical energy embodied in and expressed by digital music to be automatically composed and generated by an automated music composition and generation engine
US9721551B2 (en) 2015-09-29 2017-08-01 Amper Music, Inc. Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions
US9679547B1 (en) 2016-04-04 2017-06-13 Disney Enterprises, Inc. Augmented reality music composition
CN106527718B (zh) * 2016-11-09 2019-03-12 快创科技（大连）有限公司 基于ar增强现实的乐器辅助演奏和协奏体验系统
US10671278B2 (en) * 2017-11-02 2020-06-02 Apple Inc. Enhanced virtual instrument techniques
CN107945780A (zh) * 2017-11-23 2018-04-20 北京物灵智能科技有限公司 一种基于计算机视觉的乐器演奏方法及装置
GB2569576A (en) * 2017-12-20 2019-06-26 Sony Interactive Entertainment Inc Audio generation system
US10991349B2 (en) * 2018-07-16 2021-04-27 Samsung Electronics Co., Ltd. Method and system for musical synthesis using hand-drawn patterns/text on digital and non-digital surfaces
CN109166565A (zh) * 2018-08-23 2019-01-08 百度在线网络技术（北京）有限公司 虚拟乐器处理方法、装置、虚拟乐器设备及存储介质
JP2020046500A (ja) * 2018-09-18 2020-03-26 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN109828741A (zh) * 2019-01-29 2019-05-31 北京字节跳动网络技术有限公司 用于播放音频的方法和装置
US11037538B2 (en) 2019-10-15 2021-06-15 Shutterstock, Inc. Method of and system for automated musical arrangement and musical instrument performance style transformation supported within an automated music performance system
JP7150894B2 (ja) * 2019-10-15 2022-10-11 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体
US10964299B1 (en) 2019-10-15 2021-03-30 Shutterstock, Inc. Method of and system for automatically generating digital performances of music compositions using notes selected from virtual musical instruments based on the music-theoretic states of the music compositions
US11024275B2 (en) 2019-10-15 2021-06-01 Shutterstock, Inc. Method of digitally performing a music composition using virtual musical instruments having performance logic executing within a virtual musical instrument (VMI) library management system
CN111679806A (zh) * 2020-06-10 2020-09-18 浙江商汤科技开发有限公司 播放控制方法、装置、电子设备及存储介质
CN112380362A (zh) * 2020-10-27 2021-02-19 脸萌有限公司 基于用户交互的音乐播放方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004199010A (ja) * 2002-12-18 2004-07-15 Yasushi Nakamura 鍵盤図による楽譜
JP2006064802A (ja) * 2004-08-25 2006-03-09 Yamaha Corp 楽譜表示装置及びプログラム
JP2007322683A (ja) * 2006-05-31 2007-12-13 Yamaha Corp 楽音制御装置およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7989689B2 (en) * 1996-07-10 2011-08-02 Bassilic Technologies Llc Electronic music stand performer subsystems and music communication methodologies
US6995310B1 (en) * 2001-07-18 2006-02-07 Emusicsystem Method and apparatus for sensing and displaying tablature associated with a stringed musical instrument
JP2006074386A (ja) * 2004-09-01 2006-03-16 Fujitsu Ltd 立体音響再生方法、通信装置及びプログラム
KR100651516B1 (ko) * 2004-10-14 2006-11-29 삼성전자주식회사 악기연주 서비스 제공방법 및 장치
WO2008000039A1 (en) * 2006-06-29 2008-01-03 Commonwealth Scientific And Industrial Research Organisation A system and method that generates outputs
US8170239B2 (en) * 2007-02-14 2012-05-01 Ubiquity Holdings Inc. Virtual recording studio
US20100178028A1 (en) * 2007-03-24 2010-07-15 Adi Wahrhaftig Interactive game
WO2009052032A1 (en) * 2007-10-19 2009-04-23 Sony Computer Entertainment America Inc. Scheme for providing audio effects for a musical instrument and for controlling images with same
US7754955B2 (en) * 2007-11-02 2010-07-13 Mark Patrick Egan Virtual reality composer platform system
KR101488257B1 (ko) * 2008-09-01 2015-01-30 삼성전자주식회사 휴대단말기의 터치스크린을 이용한 작곡 방법 및 장치
WO2010142297A2 (en) * 2009-06-12 2010-12-16 Jam Origin Aps Generative audio matching game system
US8378194B2 (en) * 2009-07-31 2013-02-19 Kyran Daisy Composition device and methods of use
KR101657963B1 (ko) * 2009-12-08 2016-10-04 삼성전자 주식회사 단말기의 터치 면적 변화율에 따른 운용 방법 및 장치
US20110316793A1 (en) * 2010-06-28 2011-12-29 Digitar World Inc. System and computer program for virtual musical instruments
WO2012064847A1 (en) * 2010-11-09 2012-05-18 Smule, Inc. System and method for capture and rendering of performance on synthetic string instrument
US8383923B2 (en) * 2011-06-03 2013-02-26 L. Leonard Hacker System and method for musical game playing and training

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004199010A (ja) * 2002-12-18 2004-07-15 Yasushi Nakamura 鍵盤図による楽譜
JP2006064802A (ja) * 2004-08-25 2006-03-09 Yamaha Corp 楽譜表示装置及びプログラム
JP2007322683A (ja) * 2006-05-31 2007-12-13 Yamaha Corp 楽音制御装置およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182968B2 (en) 2017-08-16 2021-11-23 Samsung Electronics Co., Ltd. Electronic device and control method thereof
US11189102B2 (en) 2017-12-22 2021-11-30 Samsung Electronics Co., Ltd. Electronic device for displaying object for augmented reality and operation method therefor

Also Published As

Publication number Publication date
US8866846B2 (en) 2014-10-21
US20120007884A1 (en) 2012-01-12
KR20120004023A (ko) 2012-01-12

Similar Documents

Publication Publication Date Title
KR101679239B1 (ko) 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법
KR100987248B1 (ko) 이동 통신 단말의 사용자 입력 방법 및 장치
CN110312169B (zh) 视频数据处理方法、电子设备及存储介质
US10482862B2 (en) Computer implemented method for providing augmented reality (AR) function regarding music track
US20060084218A1 (en) Method and apparatus for providing an instrument playing service
KR20130056529A (ko) 휴대용 단말기에서 증강현실 서비스를 제공하기 위한 장치 및 방법
CN111899706A (zh) 音频制作方法、装置、设备及存储介质
CN112165648B (zh) 一种音频播放的方法、相关装置、设备及存储介质
US11886484B2 (en) Music playing method and apparatus based on user interaction, and device and storage medium
CN110572716A (zh) 多媒体数据播放方法、装置及存储介质
CN108845741A (zh) 一种ar表情的生成方法、客户端、终端和存储介质
CN110798327B (zh) 消息处理方法、设备及存储介质
KR101286412B1 (ko) 다중기능 가상 사용자 입력 장치 및 방법
KR100774533B1 (ko) 이동통신 단말기에서 외부입력 장치를 이용한 사운드 효과발생 방법
CN111523343B (zh) 阅读互动方法、装置、设备、服务器及存储介质
CN111091807B (zh) 语音合成方法、装置、计算机设备及存储介质
JP6115932B2 (ja) 音発生装置及び音発生用プログラム
JP5003706B2 (ja) 情報処理装置、情報処理システム及びプログラム
CN109981893B (zh) 歌词显示方法及装置
CN112135152B (zh) 信息处理方法及装置
KR100703362B1 (ko) 휴대형 단말기의 악기 연주 게임 방법 및 장치
JP2009151617A (ja) コード生成プログラム、ゲーム機、サーバ及び情報提供システム
JP5168835B2 (ja) ゲーム装置の表示処理方法、ゲーム装置、記憶媒体及びそのゲームプログラム
KR101054690B1 (ko) 휴대 단말기 및 영상 데이터를 이용한 장치 조작 방법
CN117978768A (zh) 接单设备的即时通讯消息的处理方法、装置及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191030

Year of fee payment: 4