KR101157129B1 - Method for describing music by motion, method and apparatus for searching music based on motion description - Google Patents
Method for describing music by motion, method and apparatus for searching music based on motion description Download PDFInfo
- Publication number
- KR101157129B1 KR101157129B1 KR1020100037932A KR20100037932A KR101157129B1 KR 101157129 B1 KR101157129 B1 KR 101157129B1 KR 1020100037932 A KR1020100037932 A KR 1020100037932A KR 20100037932 A KR20100037932 A KR 20100037932A KR 101157129 B1 KR101157129 B1 KR 101157129B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- sound
- music
- data
- expression data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Electrophonic Musical Instruments (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명에 따른 동작 기반의 음악 구절 표현 방법은 사용자의 동작을 입력받는 단계, 상기 동작의 이동 시간으로 음의 장단을 결정하고, 상기 동작의 위치로 음의 고저를 결정하는 단계 및 음악 데이터의 형식에 맞춰 상기 결정된 음의 장단과 음의 고저를 구절 표현 데이터로 변환하는 단계를 포함함으로써 동작을 통하여 음악 구절을 표현할 수 있다.In accordance with the present invention, there is provided a method of expressing a music phrase based on an input of a user's motion, determining the length of the sound based on the movement time of the motion, determining the height of the sound as the location of the motion, and the format of the music data. And converting the determined long and short periods of the sound into the phrase expression data in accordance with the operation to express the music phrase through the operation.
Description
본 발명은 동작 기반의 음악 구절 표현 방법, 음악 검색 방법 및 음악 검색 장치에 관한 것으로서, 보다 상세하게 설명하면 사용자의 동작을 통하여 음악의 구절을 표현하는 방법과 상기 음악의 구절에 대응되는 음악을 검색하는 방법 및 장치에 관한 것이다.
The present invention relates to a music phrase expression method, a music search method, and a music retrieval apparatus based on motions. More specifically, the present invention relates to a method of expressing a music phrase through a user's motion and to search for music corresponding to the music phrase. A method and apparatus are provided.
음악을 검색할 때는 음악의 제목을 이용하는 것이 일반적이다. 그런데, 때에 따라서 음악의 일부 구절을 이용해 음악을 검색할 필요가 있다. 예를 들어, 이동 통신 단말기의 컬러링 서비스를 통해 청취한 음악이나 거리에서 출력되는 음악의 경우 제목을 인지하기가 어렵다. 이런 상황에서 사용자는 청취한 음악의 일부 구절만을 인지한 상태가 되는데 이와 같은 상황에서 일부 구절만으로 음악을 검색할 필요가 있다.When searching for music, it is common to use the title of the music. However, it is sometimes necessary to search for music using some passages of music. For example, it is difficult to recognize the title in the case of music output through a coloring service of a mobile communication terminal or music output from a distance. In this situation, the user is aware of only a few passages of the listened music. In such a situation, it is necessary to search for music using only some passages.
음악의 구절을 이용한 음악 검색에는 음의 고저, 장단이 이용된다. 음의 고저, 장단을 이용해서 음악을 검색하기 위해서는 사용자가 직접 원하는 음악 구절을 표현할 필요가 있다.The high and low pitches are used for music search using the phrases of music. In order to search for music by using the high and low pitches, the user needs to express a desired music passage.
한 방법으로 음악 기호를 의미하는 문자열로 음악 구절을 표현할 수 있다. 이러한 방법을 적용하기 위해서는 사용자가 정확한 음악 기호로 음악 구절을 표현할 수 있는 음악적 지식이 있어야 한다. 또한 키보드(또는 필기체 인식) 등을 통해 음의 장단과 고저를 동시에 나타낼 수 있어야 하는데, 실제로 키보드 등을 통해 음의 장단과 고저를 동시에 나타내기에는 어려움이 있다.In one way, a musical phrase can be represented by a string representing a musical symbol. In order to apply this method, the user must have musical knowledge to express the music passages with the correct musical symbols. In addition, the keyboard (or handwriting recognition) or the like should be able to express both the length and height of the sound at the same time, it is difficult to simultaneously display the length and height of the sound through the keyboard and the like.
또 다른 방법으로 흥얼거림 등의 표현을 통한 음성으로 음악 구절을 표현할 수 있다. 이 방법은 가장 자연스럽게 음의 고저 및 장단을 나타낼 수 있다. 그러나 이 방법을 이용하기 위해서는 반드시 음성을 입력받는 마이크 장치가 필요하다. 따라서 이런 설비가 갖추어지지 않은 환경에서는 적용이 불가능한 문제가 있다. 또한 마이크가 갖추어진 환경이라 하더라도 잡음이 심하거나 소리를 전달할 수 없는 경우에는 활용이 근본적으로 불가능하다. 또한 음성(흥얼거림)을 이용하는 음악 표현 방법은 정확한 소리의 재현이 어렵거나 불가능한 사용자, 예를 들어 음치나 장애인에게는 적용이 불가능하다.
Alternatively, music phrases can be expressed by voice, such as by humming. This method can most naturally exhibit high and low pitches. However, in order to use this method, a microphone device for receiving a voice is required. Therefore, there is a problem that can not be applied in the environment without such equipment. In addition, even in an environment equipped with a microphone, it is fundamentally impossible to use when there is a lot of noise or cannot transmit sound. In addition, the music expression method using the voice (humming) is not applicable to a user who is difficult or impossible to accurately reproduce the sound, for example, a sound level or a disabled person.
본 발명은 사용자의 동작을 통하여 음악의 구절을 표현하는 방법과 상기 음악의 구절에 대응되는 음악을 검색하는 방법 및 장치를 제공하기 위한 것이다.
The present invention provides a method of expressing a passage of music through a user's operation, and a method and apparatus for searching for a music corresponding to the passage of music.
상기한 목적을 달성하기 위하여 본 발명에 따른 동작 기반의 음악 구절 표현 방법은 사용자의 동작을 입력받는 단계, 상기 동작의 이동 시간으로 음의 장단을 결정하고, 상기 동작의 위치로 음의 고저를 결정하는 단계 및 음악 데이터의 형식에 맞춰 상기 결정된 음의 장단과 음의 고저를 구절 표현 데이터로 변환하는 단계를 포함할 수 있다.In order to achieve the above object, the motion-based music phrase expression method according to the present invention comprises the steps of receiving a user's motion, determining the length of the sound as the movement time of the motion, and determining the height of the sound as the location of the motion. And converting the determined length and length of the sound into the phrase expression data according to the format of the music data.
이때, 상기 구절 표현 데이터를 상응하는 소리로 다시 변환하는 단계를 더 포함할 수 있다.In this case, the method may further include converting the phrase expression data into a corresponding sound.
또한, 상기 동작의 이동 시간은 상기 동작이 동일 위치선 상에 오래 위치할수록 장음을 나타낼 수 있다.In addition, the movement time of the operation may indicate a long sound as the operation is located longer on the same location line.
또한, 상기 동작의 위치는 낮은 위치에서 높은 위치로 갈수록 고음을 나타낼 수 있다.
In addition, the position of the operation may indicate a high pitched from a lower position to a higher position.
한편, 본 발명에 따른 동작 기반의 음악 검색 방법은 사용자의 동작을 입력받는 단계, 상기 동작의 이동 시간으로 음의 장단을 결정하고, 상기 동작의 위치로 음의 고저를 결정하는 단계, 데이터베이스에 기저장된 음악 데이터의 형식에 맞춰 상기 결정된 음의 장단과 음의 고저를 구절 표현 데이터로 변환하는 단계 및 상기 구절 표현 데이터와 대응되는 음악 데이터를 상기 데이터베이스에서 검색하는 단계를 포함할 수 있다.Meanwhile, the motion-based music retrieval method according to the present invention comprises the steps of receiving a user's motion, determining the length of the sound as the movement time of the motion, determining the height of the sound as the location of the motion, and writing to the database. The method may include converting the decided length and length of the sound into phrase expression data according to a format of the stored music data, and retrieving music data corresponding to the phrase expression data from the database.
이때, 상기 구절 표현 데이터 변환 단계와 상기 검색 단계 사이에, 상기 구절 표현 데이터를 상응하는 소리로 출력하는 단계 및 상기 소리 출력을 확인한 사용자에 의해 검색 요청을 입력받는 단계;를 더 포함하고, 상기 검색 단계는 상기 검색 요청이 입력된 경우에 수행될 수 있다.
In this case, between the phrase expression data conversion step and the search step, outputting the phrase expression data as a corresponding sound and receiving a search request by the user who confirmed the sound output; The step may be performed when the search request is input.
한편, 본 발명에 따른 동작 기반의 음악 검색 장치는 사용자의 동작을 입력받는 동작 입력 수단, 상기 입력된 동작을 분석하여 상기 동작의 이동 시간으로 음의 장단을 결정하고 상기 동작의 위치로 음의 고저를 결정하는 동작 분석 수단, 데이터베이스에 기저장된 음악 데이터의 형식에 맞춰 상기 결정된 음의 장단과 음의 고저를 구절 표현 데이터로 변환하는 데이터 변환 수단 및 상기 구절 표현 데이터와 대응되는 음악 데이터를 상기 데이터베이스에서 검색하는 검색 수단을 포함할 수 있다.On the other hand, the motion-based music retrieval apparatus according to the present invention analyzes the motion input means for receiving the user's motion, and determines the length of the sound by the movement time of the motion by analyzing the input motion and the height of the sound as the position of the motion Motion analysis means for determining the data, data conversion means for converting the determined length and length of the sound into phrase expression data in accordance with the format of music data previously stored in the database, and the music data corresponding to the phrase expression data in the database. Search means for searching.
이때, 상기 구절 표현 데이터 및 상기 검색된 음악 데이터 중 적어도 하나를 소리 출력하는 소리 출력 수단을 더 포함할 수 있다.In this case, the apparatus may further include sound output means for sound outputting at least one of the phrase expression data and the retrieved music data.
또한, 상기 동작 입력 수단은 마우스, 터치 패드, 카메라, 동작 인식 센서 중 적어도 하나를 포함할 수 있다.
In addition, the motion input means may include at least one of a mouse, a touch pad, a camera, and a motion recognition sensor.
이상에서 설명된 바와 같이 본 발명에 따른 동작 기반의 음악 구절 표현 방법은 사용자의 동작을 통해 음악 구절을 표현할 수 있다.As described above, the motion-based music phrase expression method according to the present invention may express the music phrase through the user's motion.
또한, 이를 이용함으로써 동작을 통해 소정 음악을 검색할 수 있다. 아울러 음악에 대한 전문적인 지식을 요구하지 않으면서도 간단하게 이용할 수 있다. 또한, 흥얼거림을 이용해 음악을 검색하는 방안과 비교하여 음악 구절의 정확한 표현이 어려운 음치나 음악 구절의 표현이 불가능한 장애인들도 음악 구절을 통하여 음악의 검색이 가능하다.
In addition, by using this, it is possible to search for a predetermined music through an operation. It is also easy to use without requiring specialized music knowledge. In addition, compared to the method of searching for music using humming, even people with disabilities who are unable to express music phrases or music phrases that are difficult to accurately express music phrases can search music through music phrases.
도 1은 본 발명과 관련된 동작 기반의 음악 구절 표현 방법을 나타낸 흐름도.
도 2는 본 발명과 관련된 동작 기반의 음악 검색 방법을 나타낸 흐름도.
도 3은 본 발명과 관련된 동작 기반의 음악 검색 장치를 나타낸 블럭도.
도 4는 본 발명과 관련된 동작 기반의 음악 검색 장치에서 동작을 입력하는 상태를 나타내는 개략도.
도 5는 본 발명과 관련된 동작 기반의 음악 검색 장치에서 동작을 분석하는 과정을 설명하기 위한 개략도.
도 6은 본 발명과 관련된 동작 기반의 음악 검색 장치에서 동작을 입력하는 다른 상태를 나타내는 개략도.1 is a flowchart illustrating a method of representing a music phrase based on motion according to the present invention.
2 is a flowchart illustrating an operation-based music retrieval method related to the present invention.
3 is a block diagram showing an operation-based music retrieval apparatus related to the present invention.
4 is a schematic diagram showing a state of inputting an action in an action-based music retrieval apparatus related to the present invention.
5 is a schematic diagram for explaining a process of analyzing a motion in a motion-based music retrieval apparatus according to the present invention;
6 is a schematic diagram showing another state of inputting an action in an action-based music retrieval device related to the present invention;
이하, 본 발명과 관련된 동작 기반의 음악 구절 표현 방법, 음악 검색 방법 및 음악 검색 장치에 대하여 도면을 참조하여 보다 상세하게 설명한다.
Hereinafter, an operation-based music phrase expression method, a music search method, and a music search apparatus according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명과 관련된 동작 기반의 음악 구절 표현 방법을 나타낸 흐름도이다.1 is a flowchart illustrating a method of representing a music phrase based on motion according to the present invention.
도 1에 도시된 음악 구절 표현 방법은 사용자의 동작을 입력받는 단계(S 510), 상기 동작의 이동 시간으로 음의 장단을 결정하고, 상기 동작의 위치로 음의 고저를 결정하는 단계(S 520) 및 음악 데이터의 형식에 맞춰 상기 결정된 음의 장단과 음의 고저를 구절 표현 데이터로 변환하는 단계(S 530)를 포함하고 있다.In the method of expressing a music phrase shown in FIG. 1, a step of receiving a user's motion (S 510), determining the length of a sound based on the movement time of the motion, and determining the height of the sound as the location of the motion (S 520) And converting the decided length and length of the sound into phrase expression data according to the format of the music data (S530).
사용자의 동작을 입력받는 단계(S 510)는 다양한 수단을 통하여 사용자의 동작을 입력받는다. 이때 이용되는 동작 입력 수단으로는 마우스, 터치 패드, 카메라, 동작 인식 센서일 수 있으며, 두개 이상을 포함할 수도 있다. 마우스, 터치 패드, 동작 인식 센서는 각각 마우스 포인트, 터치 패드의 접점, 동작 인식 센서가 존재하는 수단(예: 이동 통신 단말기, 리모콘)과 같이 동작점이 명확하게 나타난다. 그러나 카메라를 통한 영상 인식을 이용할 경우 어느 부분을 동작점으로 할지 사전에 설정하여야 한다. 예를 들어 손 전체를 동작점으로 하거나 손에서 특정 손가락의 끝 부분을 동작점으로 할 수 있다. 동작(동작점)의 이동 시간과 위치의 파악이 모두 가능하다면 위에 기술된 외의 수단들도 동작 입력 수단이 될 수 있다.In step S510 of receiving a user's motion, the user's motion is input through various means. In this case, the motion input means used may be a mouse, a touch pad, a camera, a motion recognition sensor, and may include two or more. The mouse, the touch pad, and the motion recognition sensor are clearly shown with the operating point, such as a mouse point, a contact point of the touch pad, and a means (eg, a mobile communication terminal and a remote controller) in which the motion recognition sensor exists. However, when using image recognition through a camera, it is necessary to set in advance which part is to be an operating point. For example, the entire hand may be the operating point or the end of a specific finger may be the operating point. If both the movement time and the position of the operation (operation point) are possible, the other means described above may also be the operation input means.
음악은 음의 장단과 음의 고저 및 음색으로 표현되는데, 이중에서 음의 장단과 음의 고저가 음악의 검색과 간단한 음악 구절의 표현에 이용된다. 따라서, 동작에 의해 음악 구절을 표현하는 경우에도 음의 장단과 음의 고저를 나타낼 수 있어야 하며 이를 위해 동작(구체적으로 동작점)의 이동 시간과 위치가 이용된다.Music is expressed in the length and tone of the notes, and the tone and tone of the notes. Among them, the length and pitch of the notes are used for music search and expression of simple music passages. Therefore, even when expressing music passages by movements, it should be possible to represent the length and shortness of the sound and the height of the sounds. For this purpose, the movement time and position of the movement (specifically, the operating point) are used.
동작의 이동 시간은 음의 장단을 결정한다. 동작이 동일 위치선 상에 오래 위치할수록 장음을 나타내는 것이 바람직하다. 여기서, 동작의 위치는 음의 고저를 결정하게 되므로 동일 위치선이란 동일한 높이의 음을 출력하는 위치를 의미한다. 예를 들어 동작의 높낮이로 음의 고저가 결정될 경우 동일 높이를 갖는 수평선이 동일 위치선이 되며, 동작의 좌우 위치로 음의 고저가 결정될 경우 동일한 가로위치를 갖는 수직선이 동일 위치선이 된다. 이하에서는 전자의 경우를 예로 설명하다. 이와 같이 동일 위치선을 기준으로 함으로써 사용자의 동작은 상하 이동 동작만으로 제한되지 않는다. 이에 따르면 상하 동작 중에 의도하지 않게 좌우로 흔들리는 경우도 별다른 문제가 되지 않으며, 뇌리에 떠오르는 음률을 타는 듯한 느낌으로 동작(상하 동작을 포함하는 좌우 동작)을 수행할 수 있다.The movement time of the action determines the length of the sound. It is preferable that the longer the operation is located on the same position line, the longer the sound. Here, since the position of the operation determines the height of the sound, the same position line means a position of outputting sound of the same height. For example, when the negative height is determined as the height of the motion, the horizontal lines having the same height are the same location lines. When the negative height is determined as the left and right positions of the motion, the vertical lines having the same horizontal position are the same location lines. Hereinafter, the former case will be described as an example. As described above, the user's motion is not limited only to the vertical movement. According to this, it is not a problem even if it is unintentionally shaking from side to side during the up and down movements, and the operation (left and right movements including up and down movements) can be performed with a feeling of burning the rhythm rising in the brain.
한편, 동작의 이동 시간에 음의 장단을 결정하지 않는 제한 시간을 설정할 수 있다. 음을 나타내기 위해서는 일정 높이의 음을 일정 시간 동안 출력하는 것이 필요한데, 제한 시간을 통해 일정 높이의 음에 장단을 부여하지 않음으로써 음이 표현되지 않도록 한다. 동작에 의해 입력되는 음을 출력하는 소리 출력 수단이 구비된 경우를 예로써 설명한다. 이 경우 동작의 입력에 맞춰 실시간으로 음이 출력될 수 있다. 동작이 '라'의 위치에서 '솔'을 나타내는 위치로 이동하고, '솔'을 나타내는 위치에서 동작이 0.3초동안 머문 후 '파'로 이동한 경우 소리 출력 수단은 '솔'을 0.3초동안 출력한 후 '파'를 출력하게 되나, 제한 시간을 0.5초로 설정하게 되면 '솔'을 출력하지 않고 '라'에서 바로 '파'를 출력하게 된다. 이와 같이 하는 이유는 사용자가 동작을 이산적으로 입력하기 어렵기 때문이다. 예를 들어 마우스를 이용하는 사용자가 '라'에서 '파'로 가는 상태를 표현하기 위해 '라'의 위치에서 마우스를 떼어 '파'로 이동시키기에는 어려움이 있다. 따라서, '라'에서 '파'로 갈 때 마우스를 떼지 않고도 표현하도록 하기 위해서는 중간에 거치게 되는 '솔'을 무시하도록 할 필요가 있으며 이때 제한 시간을 이용할 수 있다. 제한 시간은 사용자에 의해 설정 가능하다. 일반적으로 빠른 템포의 음악일수록 제한 시간은 짧게 설정되는 것이 바람직하다. 제한 시간이 적용된 구간에서는 아무 음을 표현하지 않을 수도 있으며, 이전에 정상적으로 표현된 음을 지속적으로 표현할 수도 있다. 전자의 경우는 '라' 출력 종료 후 '파'출력 개시까지 '솔'을 거치는 0.3초 동안 어떤 음도 표현되지 않는다. 후자의 경우는 '솔'을 거치는 0.3초 동안에도 '라'가 표현되므로 '파'출력 개시까지 '라'가 계속 표현된다. 두 방안은 설정을 통해 사용자에 의해서 선택될 수 있다. 제한 시간을 적용할 경우의 사용 모습을 살펴보면 동작을 연속적으로 하되 출력시키고자 하는 음을 나타내는 위치에서는 멈칫거리는 상태로 나타날 것이다.On the other hand, it is possible to set a time limit for not determining the sound length or shortness in the movement time of the operation. In order to represent the sound, it is necessary to output a sound of a certain height for a certain time, so that the sound is not expressed by not giving long and short to the sound of a certain height through the time limit. The case where sound output means which outputs the sound input by operation is provided is demonstrated as an example. In this case, the sound may be output in real time according to the input of the operation. If the movement moves from the position of 'la' to the position representing 'sol', the movement stays for 0.3 seconds at the position representing 'sol' and then moves to 'wave', the sound output means moves the 'sol' for 0.3 seconds. After printing, it outputs 'wave', but if you set the time limit to 0.5 seconds, it outputs 'wave' directly from 'la' without outputting 'sol'. The reason for this is that it is difficult for the user to discretely enter the action. For example, it is difficult for a user who uses a mouse to move a wave from the position of the la to move the wave to express the state of going from la to wave. Therefore, in order to display without moving the mouse from 'la' to 'wave', it is necessary to ignore the 'sol' in the middle, you can use the time limit. The time limit can be set by the user. In general, the faster the tempo music, the shorter the time limit is preferably set. In the section to which the time limit is applied, no sound may be expressed, or a sound previously expressed normally may be continuously expressed. In the former case, no sound is expressed for 0.3 seconds from the end of the output of Ra to the start of the wave output. In the latter case, 'la' is expressed during 0.3 seconds through the 'sol', so 'la' continues until the 'wave' output starts. Both options can be selected by the user through configuration. If you look at the usage of the time limit, you will see the operation continuously but stop at the position that represents the sound you want to output.
제한 시간을 둘 경우 일정 동작 위치에서 머무른 시간을 체크한 후에 음을 표현할지가 결정되므로 동작에 비하여 음의 표현이 늦게 된다. 따라서, 사용자에게 위화감을 줄 수 있으므로, 이산적인 입력이 가능한 동작 입력 수단에 대해서는 이산적인 입력 방식을 제공할 수 있다. 예를 들어 터치 패드를 이용하는 경우 '라' 표현 후 접점(터치)를 해제하고 '솔'을 터치하는데 별다른 어려움이 없다. 이와 같은 경우 실시간으로 음을 표현할 수 있다.When the time limit is given, it is determined whether to express the sound after checking the time stayed at a certain operation position. Therefore, since the user may be incongruized, a discrete input method may be provided for the operation input means capable of discrete input. For example, if a touch pad is used, there is no difficulty in releasing a contact (touch) and then touching the brush after expressing 'la'. In this case, the sound can be expressed in real time.
음의 고저는 동작의 위치로 결정된다. 여기서 음의 고저는 음정의 높낮이를 나타내는 것으로 흔히 '도', '레', '미', '파', '솔'...로 표현되는 음계를 형성한다.The negative pitch is determined by the position of the action. Here, the pitch of the pitch indicates the pitch of the pitch, and forms the scale commonly expressed as 'do', 'le', 'me', 'wave', 'sol' ...
동작의 위치로 음의 고저를 명확히 나타내기 위해서 동작 입력 수단을 통하여 동작을 입력받는 범위를 복수의 구역으로 구분하고, 각 구역에 각각의 음정을 대응시킬 수 있다. 동작의 위치는 낮은 위치에서 높은 위치로 갈수록 고음을 나타내는 것이 바람직하다. 예를 들어 터치 패드의 경우 터치 패드의 상하 방향으로 8개의 구역을 할당하고 각 구역에 대해서 아래부터 '도', '레', '미', '파', '솔', '라', '시', '도'를 대응시킬 수 있다. 그 후 손가락이나 스타일러스 펜으로 '레'에 대응되는 구간을 터치하면 '레'가 표현된다. 만약, 제한 시간이 설정되어 있다면 '레'에 대응되는 위치에서 제한 시간 이상 터치를 유지하고 있어야 한다. 구획의 수는 필요한 음계에 맞춰 확장될 수 있다. In order to clearly indicate the height of the sound by the position of the motion, a range of receiving the motion through the motion input means may be divided into a plurality of zones, and the respective pitches may be mapped to each zone. It is desirable that the position of the operation be high pitched from the low position to the high position. For example, in the case of the touch pad, eight zones are allocated in the up and down direction of the touch pad, and for each zone, 'degree', 'le', 'me', 'wave', 'sol', 'la', ' 'Hour' and 'degree' can be matched. After that, touch the section corresponding to 'Le' with your finger or stylus pen to express 'Le'. If the time limit is set, the touch must be maintained for more than the time limit at the position corresponding to 'le'. The number of compartments can be expanded to meet the required scale.
이와 같이 이동 시간과 위치가 포함된 동작을 입력받아 분석함으로써 음의 장단과 음의 고저를 결정한다(S 520). 즉, 사용자의 동작을 분석하여 음의 장단과 음의 고저를 나타내는 데이터로 변환한다. 이와 같이 변환된 데이터는 음악 구절을 표현하거나 음악 검색에 사용되는데 이를 위해서는 변환된 데이터를 음악 데이터의 형식에 맞춰 다시 변환시킬 필요가 있다. 음의 장단과 음의 고저를 나타내는 데이터만으로는 소정 기기에 탑재된 음악 재생기를 통해 소리로 출력하거나 검색 대상이 되는 음악과의 비교를 수행할 수 없다. 따라서 음악 재생기에서 지원하는 음악 데이터의 형식 또는 검색 대상이 되는 음악의 데이터 형식으로 변환시켜야 한다. 이와 같이 소정 음악 데이터 형식으로 변환이 이루어진 데이터를 구절 표현 데이터라 칭하기로 한다.As described above, the operation including the movement time and the position is received and analyzed to determine the length of the sound and the height of the sound (S520). That is, the user's motion is analyzed and converted into data representing the length of the sound and the height of the sound. The converted data is used to express music passages or to search for music. To this end, it is necessary to convert the converted data back to the format of the music data. It is not possible to perform a comparison with music that is output as a sound or a search target through a music player mounted on a predetermined device based only on the data indicating the length and length of the sound. Therefore, it is necessary to convert the music data format supported by the music player or the data format of music to be searched. The data converted into the predetermined music data format in this manner will be referred to as phrase expression data.
구절 표현 데이터는 사용자가 표현하고자 하는 음악 구절에 해당하며, 본 실시예에 따르면 사용자의 동작을 입력으로 하여 생성된다. 이와 같은 구절 표현 데이터는 그 상태로 저장되어 여러 용도로 사용될 수 있다. 우선, 구절 표현 데이터를 소리 출력할 수 있다(S 540). 소리 출력을 위해서 구절 표현 데이터를 디코딩하는 음악 재생기, 증폭기, 스피커 등을 포함하는 소리 출력 수단을 더 구비할 수 있다. 다른 방안으로 구절 표현 데이터를 이용하여 음악 검색을 수행할 수 있는데 상세하게 살펴보도록 한다.The phrase expression data corresponds to a music phrase to be expressed by the user, and according to the present embodiment, the phrase expression data is generated by inputting the user's motion. Such phrase expression data can be stored in that state and used for various purposes. First, the phrase expression data may be sound output (S540). The apparatus may further include a sound output means including a music player, an amplifier, a speaker, and the like, for decoding the phrase expression data for sound output. Alternatively, you can perform a music search using the phrase expression data.
도 2는 본 발명과 관련된 동작 기반의 음악 검색 방법을 나타낸 흐름도이다.2 is a flowchart illustrating an operation-based music retrieval method according to the present invention.
도 2에 도시된 동작 기반의 음악 검색 방법은 사용자의 동작을 입력받는 단계(S 610), 상기 동작의 이동 시간으로 음의 장단을 결정하고, 상기 동작의 위치로 음의 고저를 결정하는 단계(S 620), 데이터베이스에 기저장된 음악 데이터의 형식에 맞춰 상기 결정된 음의 장단과 음의 고저를 구절 표현 데이터로 변환하는 단계(S 630) 및 상기 구절 표현 데이터와 대응되는 음악 데이터를 상기 데이터베이스에서 검색하는 단계(S 660)를 포함하고 있다.In the motion-based music retrieval method illustrated in FIG. 2, a step of receiving a user's motion (S 610), determining the length of the sound based on the movement time of the motion, and determining the height of the sound as the location of the motion ( (S 620), converting the determined long and short sounds and the height of the sound into phrase expression data according to the format of music data previously stored in the database (S 630) and searching for music data corresponding to the phrase expression data in the database. It includes the step (S 660).
동작을 입력받는 단계(S 610)와 음의 장단 및 음의 고저를 결정하는 단계(S 620)는 앞에서 설명한 바와 동일하다.Receiving an operation (S610) and determining the long and short of the sound and the height of the sound (S620) is the same as described above.
데이터 변환 단계(S 630)는 데이터베이스에 기저장된 음악 데이터의 형식에 맞춰 상기 결정된 음의 장단과 음의 고저를 구절 표현 데이터로 변환한다. 이와 같이 구절 표현 데이터를 데이터베이스에 기저장된 음악 데이터의 형식으로 변환하도록 한정한 것은 음악 검색을 위해서 검색 대상이 되는 음악 데이터의 형식과 동일할 필요가 있기 때문이며, 또한 상기 음악 데이터가 데이터베이스에 저장되어 있기 때문이다. 이때, 음악 데이터의 형식은 기저장된 음악 자체의 데이터 형식이거나 사전에 약정된 중간 데이터 형식일 수 있다. 전자의 경우는 예를 들어 기저장된 음악 데이터가 MP3 형식인 경우 결정된 음의 장단과 음의 고저를 MP3 형식으로 변환하는 방안일 수 있다. 후자의 경우는 음의 장단과 음의 고저를 나타내는 중간 데이터의 형식을 설정해두고 결정된 음의 장단과 음의 고저를 중간 데이터의 형식으로 변환하는 방안이다. 이때 기저장된 음악 데이터 또한 비교를 위해 중간 데이터의 형식으로 변환하는 과정을 거쳐야 한다. 또는 기저장된 음악 데이터를 미리 중간 데이터의 형식으로 변환하여 저장해두고 이를 이용할 수 있다.The data conversion step (S 630) converts the length and length of the determined sound into phrase expression data according to the format of the music data previously stored in the database. The reason for limiting the phrase expression data to the format of the music data pre-stored in the database is that the music data needs to be the same as the format of the music data to be searched for the music search, and the music data is stored in the database. Because. At this time, the format of the music data may be a data format of pre-stored music itself or an intermediate data format that has been previously agreed. In the former case, for example, when the previously stored music data is in the MP3 format, it may be a method of converting the short and long periods of the determined sound into the MP3 format. In the latter case, a method of converting the determined long and short sound levels into an intermediate data format by setting the format of the intermediate data representing the long and short sound heights is determined. At this time, the prestored music data must also be converted to an intermediate data format for comparison. Alternatively, the pre-stored music data can be converted into an intermediate data format and stored in advance.
이와 같이 기저장된 음악 데이터의 형식에 맞춰 음의 장단과 음의 고저를 구절 표현 데이터로 변환하면 기저장된 음악 데이터와 비교할 수 있는 상태가 된다. 이후 구절 표현 데이터와 대응되는 음악 데이터를 검색하게 된다(S 660). 구절 표현 데이터와 대응되는 음악 데이터는 구절 표현 데이터와 일치하는 것이 바람직하다. 그러나 동작을 입력으로 하여 도출된 구절 표현 데이터가 음악 데이터와 완전하게 일치하기는 쉽지 않다. 그 결과 검색 결과가 도출되지 않는 상황이 발생할 수 있다. 따라서, 구절 표현 데이터와 유사한 음악 데이터까지 검색 결과에 포함시키기 위해 일정 오차 범위를 만족하는 음악 데이터를 구절 표현 데이터와 대응되는 음악 데이터로 처리할 수 있다. 이때 오차 범위는 사용자에 의해 설정될 수 있으며, 사용자가 입력 동작에 익숙해질수록 줄어드는 것이 바람직하다. 오차 범위가 줄어들수록 검색되는 음악 데이터의 수는 줄어들지만 검색 정확도가 상승하기 때문이다. 오차 범위가 커지게 되면 검색되는 음악 데이터의 수가 증가하며 그만큼 검색 정확도는 떨어지게 된다. 오차 범위는 음의 위치 오차와 장단 오차를 모두 포함하며 설정에 따라 어느 하나만을 포함할 수도 있다.In this way, when the length and pitch of the sound are converted into phrase expression data in accordance with the format of the pre-stored music data, the state can be compared with the pre-stored music data. Thereafter, music data corresponding to the phrase expression data is searched for (S 660). The music data corresponding to the phrase expression data preferably matches the phrase expression data. However, it is not easy for the phrase expression data derived by using the motion as a perfect match with the music data. As a result, a situation in which a search result is not derived may occur. Therefore, in order to include music data similar to the phrase expression data in the search result, music data satisfying a certain error range may be processed as music data corresponding to the phrase expression data. In this case, the error range may be set by the user, and it is preferable that the error range is reduced as the user becomes familiar with the input operation. This is because, as the error range is reduced, the number of music data to be searched is reduced, but the search accuracy is increased. As the error range increases, the number of music data to be searched increases, and the search accuracy decreases accordingly. The error range includes both a negative position error and a short and long error, and may include only one according to a setting.
이상에 따르면 사용자는 자신이 입력한 동작의 결과로서 어떤 음악 구절이 표현되었는지 확인하지 못할 수 있다. 예를 들어 음악 A의 구절을 의도하고 동작을 수행하였는데 의도하지 않은 음악 B의 구절이 입력될 수 있다. 이 상태에서 검색이 수행되면 전혀 의도하지 않은 검색 결과를 얻게 된다. 이를 방지하기 위해 검색 수행 전에 자신이 수행한 동작에 따라 도출된 구절 표현 데이터가 의도한 대로 이루어졌는지 확인할 수 있는 것이 바람직하다. 이를 위해 상기 구절 표현 데이터 변환 단계(S 630)와 상기 검색 단계(S 660) 사이에 구절 표현 데이터를 소리 출력하는 단계(S 640) 및 소리 출력을 확인한 사용자에 의해 검색 요청을 입력받는 단계(S 650)를 더 포함할 수 있다. 이에 따르면 사용자는 검색 수행 전에 구절 표현 데이터를 소리로 확인할 수 있게 되며, 자신이 의도한 대로 구절 표현 데이터가 도출될 때까지 동작을 수정하여 재입력할 수 있다. 구절 표현 데이터가 자신이 의도한 대로 이루어진 것을 확인하면 검색 요청을 입력하게 된다. 검색 요청이 입력된 경우에 한해 검색 단계가 수행되도록 함으로써 부정확한 동작을 입력으로 하는 음악 검색을 사전에 차단할 수 있다.According to the above, the user may not be able to confirm which music passage is expressed as a result of the operation input by the user. For example, a phrase of music B which is intended and performed an operation but is not intended may be input. If the search is performed in this state, you will get unintended search results. In order to prevent this, it is desirable to be able to check whether the phrase expression data derived according to the operation performed by the user before the search is performed as intended. To this end, a step of outputting the phrase expression data between the phrase expression data converting step (S 630) and the searching step (S 660) (S 640) and receiving a search request by the user who confirms the sound output (S) 650) may be further included. According to this, the user can check the phrase expression data by sound before performing the search, and can modify and re-enter the operation until the phrase expression data is derived as intended. When the phrase representation data is confirmed as intended, it enters a search request. The search step is performed only when a search request is input, so that music search using an incorrect operation as input can be blocked in advance.
이상에서 살펴본 동작 기반의 음악 검색 방법은 동작 기반의 음악 검색 장치를 통해 구현될 수 있다.The motion-based music searching method described above may be implemented through the motion-based music searching apparatus.
도 3은 본 발명과 관련된 동작 기반의 음악 검색 장치를 나타낸 블럭도이다.3 is a block diagram illustrating an operation-based music retrieval apparatus related to the present invention.
도 3에 도시된 동작 기반의 음악 검색 장치는 사용자의 동작을 입력받는 동작 입력 수단(110), 상기 입력된 동작을 분석하여 상기 동작의 이동 시간으로 음의 장단을 결정하고 상기 동작의 위치로 음의 고저를 결정하는 동작 분석 수단(130), 데이터베이스에 기저장된 음악 데이터의 형식에 맞춰 상기 결정된 음의 장단과 음의 고저를 구절 표현 데이터로 변환하는 데이터 변환 수단(150) 및 상기 구절 표현 데이터와 대응되는 음악 데이터를 상기 데이터베이스에서 검색하는 검색 수단(170)을 포함하고 있다.In the motion-based music retrieval apparatus shown in FIG. 3, the motion input means 110 that receives a user's motion, analyzes the input motion, determines the length of the sound by the movement time of the motion, and the sound as the position of the motion. Motion analysis means (130) for determining the height of the data, data conversion means (150) for converting the determined length and length of the sound into phrase expression data according to the format of music data previously stored in a database, and the phrase expression data and And search means 170 for searching for corresponding music data in the database.
동작 입력 수단(110)은 사용자가 입력하는 동작의 이동 시간을 구분하여 입력받을 수 있고 또한 사용자가 입력하는 동작의 위치를 구분하여 입력받을 수 있어야 한다. 예를 들어 동작 입력 수단은 마우스, 터치 패드, 카메라, 동작 인식 센서 등일 수 있다. 사용자의 동작을 정확하게 입력받기 위해서는 동작점이 분명히 나타나야 한다. 마우스의 경우에는 마우스 포인트가 동작점이 되고, 터치 패드의 경우에는 접점이 동작점이 되며, 동작 인식 센서의 경우에는 동작 인식 센서가 탑재된 부재 또는 동작 인식 센서 자체가 동작점이 된다. 카메라를 통한 영상 인식의 경우에는 인식 가능한 물체 중 어느 물체의 어느 부위를 동작점으로 할지 사전에 설정해야 한다. 예를 들어 사용자의 신체 중에서 손을 동작점으로 할 수 있다. 이때에도 손 전체를 동작점으로 하거나 손에서 특정 손가락의 끝 부분을 동작점으로 할 수 있다.The
동작 분석 수단(130)은 동작 입력 수단을 통해 입력된 동작을 분석하여 동작의 이동 시간과 동작의 위치 정보를 추출하고, 동작의 이동 시간을 이용해 음의 장단을 결정하고 동작의 위치를 이용해 음의 고저를 결정한다. 이를 위해 동작 입력 수단에서 입력받을 수 있는 위치 범위를 복수의 구간으로 구분하고 각 구간에 소정 음정을 대응시킬 수 있다. 카메라를 통한 영상 인식이나 동작 인식 센서와 같이 최대 위치 범위가 구체적으로 나타나지 않는 동작 입력 수단에 대해서는 다양한 방법을 통해 위치 범위를 설정할 수 있다. 예를 들어 동작 입력 전에 사용자가 용이하게 동작을 입력할 수 있는 상하좌우의 범위를 지정하도록 할 수 있다. 구체적으로 위치 범위를 지정할 수 있는 특수 버튼을 마련하고 상하좌우의 순서에 맞춰 상방향 일정 위치, 하방향 일정 위치, 좌방향 일정 위치, 우방향 일정 위치 각각에서 특수 버튼을 입력하도록 함으로써 위치 범위를 지정할 수 있다. 이렇게 상하좌우의 범위가 지정되면 동작 분석 수단을 통해 지정된 범위를 복수의 구간으로 구분하게 된다.The motion analyzing means 130 analyzes the motion input through the motion input means, extracts the movement time of the motion and the position information of the motion, determines the length of the sound using the movement time of the motion, and uses the position of the motion to determine the negative. Determine the height. To this end, the position range that can be input by the operation input means may be divided into a plurality of sections, and a predetermined pitch may be corresponded to each section. The position range may be set through various methods for the motion input means in which the maximum position range does not appear specifically, such as image recognition through a camera or a motion recognition sensor. For example, before inputting an operation, a user may easily specify a range of up, down, left, and right sides in which the user can easily input an operation. Specifically, the position range can be specified by providing a special button that can specify the position range, and inputting a special button in each of the up, down, left, and right positions, and the right and left positions. Can be. When the upper, lower, left and right ranges are designated, the specified range is divided into a plurality of sections through the motion analysis means.
동작 분석 수단에서 결정된 음의 장단 데이터와 음의 고저 데이터 각각의 형식 및 이 둘의 조합 형식이 데이터베이스에 기저장된 음악 데이터의 형식과 다를 수 있다. 이렇게 형식이 서로 다른 경우 정상적으로 음악 검색이 이루어지지 않게 된다.The format of the long and short data of the sound and the high and low data determined by the motion analysis means, and a combination form of the two may be different from the format of the music data previously stored in the database. If the format is different from each other, the music search is not normally performed.
데이터 변환 수단(150)은 데이터베이스에 기저장된 음악 데이터의 형식에 맞춰 동작 분석 수단에서 결정된 음의 장단과 음의 고저를 변환하게 된다. 이렇게 변환된 데이터인 구절 표현 데이터를 이용하면 정상적으로 음악 검색을 수행할 수 있게 된다. 이때 상기 음악 데이터의 형식은 데이터베이스에 저장된 음악 데이터 자체의 형식 또는 중간 데이터의 형식일 수 있다. 물론 중간 데이터 형식의 경우 데이터베이스에 저장되어 있는 음악 데이터 또한 중간 데이터의 형식으로 변경시켜야 한다.The data converting means 150 converts the length and length of the sound determined by the motion analysis means in accordance with the format of the music data previously stored in the database. Using the phrase expression data converted as described above, the music search can be normally performed. At this time, the format of the music data may be the format of the music data itself or intermediate data stored in the database. Of course, in the case of the intermediate data format, the music data stored in the database must also be changed to the format of the intermediate data.
한편, 동작을 통해 음악 구절을 표현하게 되면 정상적인 템포에 맞춰 입력하는 것이 어려울 수 있다. 따라서, 일정 정도 템포를 늦춰서 입력할 수도 있는데 이때에는 정상적인 검색을 위해 입력이 완료된 후 템포를 정상적으로 수정할 필요가 있다. 이를 위해 데이터 변환 수단은 구절 표현 데이터의 전체 템포를 수정할 있다. 이와 같은 템포의 수정은 구절 표현 데이터에서 음의 장단 전체를 동일한 비율로 수정함으로써 이루어질 수 있다.On the other hand, when expressing a music passage through the operation it may be difficult to input at the normal tempo. Therefore, it is possible to input the tempo by a certain amount of time. In this case, it is necessary to correct the tempo after the input is completed for a normal search. To this end, the data conversion means may modify the overall tempo of the phrase representation data. This tempo can be corrected by correcting the entire length of the sound in the phrase expression data at the same rate.
검색 수단(170)은 데이터베이스에서 구절 표현 데이터에 해당하는 음악 데이터를 검색한다. 구절 표현 데이터는 음악 데이터의 전체 또는 일부를 나타낼 수 있다. 검색시 검색하고자 하는 음악 데이터의 전체와 정확하게 일치하도록 구절 표현 데이터를 도출하는 것이 바람직하다. 그러나 현실적으로 음악 데이터 전체를 표현하기가 용이하지 않고 또한 동작을 통하여 정확하게 입력을 수행할 수 없는 점을 고려하여 구절 표현 데이터와 유사한 일부 구절을 갖는 음악 데이터를 검색할 수 있다. 이를 위해 오차 범위를 설정해두고 상기 오차 범위를 만족하는 음악 데이터를 검색 결과로서 출력할 수 있다.The searching means 170 searches for music data corresponding to the phrase expression data in the database. The phrase expression data may represent all or part of the music data. It is desirable to derive the phrase expression data so as to exactly match the whole of the music data to be searched. However, in view of the fact that the entire music data is not easy to represent and the input cannot be accurately performed through the operation, the music data having some passages similar to the phrase expression data can be searched. To this end, an error range may be set and music data satisfying the error range may be output as a search result.
한편, 검색된 음악 데이터가 자신이 원하는 데이터인지 확인하기 위해서 소리 출력 수단(190)을 통해 검색된 음악 데이터를 소리 출력할 수 있다. 이때, 검색된 음악 데이터가 복수인 경우 검색된 순서에 따라 또는 랜덤 순서에 따라 소리 출력할 수 있다. 또는 디스플레이 수단(미도시)을 통하여 사용자에게 검색된 음악 데이터들의 제목을 표시하고 사용자가 선택한 제목의 음악 데이터를 소리 출력할 수 있다.Meanwhile, in order to check whether the retrieved music data is the desired data, the retrieved music data may be output through the sound output means 190. In this case, when there are a plurality of searched music data, sounds may be output in a searched order or in a random order. Alternatively, the titles of the music data retrieved are displayed to the user through the display means (not shown), and the music data of the title selected by the user may be output.
이상에 따르면 동작 기반의 음악 검색 장치는 동작을 입력으로 하여 구절 표현 데이터를 생성하고, 구절 표현 데이터를 이용해 원하는 음악 데이터를 검색할 수 있다. 이때 구절 표현 데이터가 의도한 대로 생성되었는지 여부와 검색 결과에서 자신이 원한 음악 데이터가 존재하는지 여부를 확인할 필요가 있다. 이를 위해 소리 출력 수단을 더 포함할 수 있다.According to the above, the motion-based music retrieval apparatus may generate verse expression data by inputting an action and search for desired music data using the verse expression data. At this time, it is necessary to confirm whether the phrase expression data is generated as intended and whether the music data desired by the search result exists. To this end, it may further include a sound output means.
소리 출력 수단(190)은 구절 표현 데이터 및 검색된 음악 데이터 중 적어도 하나를 소리 출력한다. 이를 위해 소리 출력 수단은 디코딩 수단, 스피커 또는 이어폰과 같은 청각적 출력 수단을 포함한다. 경우에 따라 신호 증폭을 위한 증폭 수단을 더 포함할 수도 있다. 만약 구절 표현 데이터가 중간 데이터의 형식인 경우 소리 출력할 수 있는 음악 데이터의 형식으로 다시 변환하여야 한다.The sound output means 190 outputs at least one of the phrase expression data and the retrieved music data. For this purpose the sound output means comprises an audio output means such as decoding means, speakers or earphones. In some cases, it may further include an amplification means for amplifying the signal. If the phrase expression data is in the format of intermediate data, it must be converted back to the format of music data capable of sound output.
소리 출력 수단을 통해 출력된 구절 표현 데이터가 의도한 것이 아닌 경우 사용자는 검색 수단을 통한 검색을 진행시키지 않고 동작 입력 수단을 통하여 재입력하는 과정을 반복할 수 있다. 재입력 과정을 반복하여 의도한 구절 표현 데이터가 도출되면 검색을 진행시키게 된다. 또한, 검색된 음악 데이터를 청취한 후 의도한 음악 데이터가 아닌 경우에도 재입력하는 과정을 반복할 수 있다.If the phrase expression data output through the sound output means is not intended, the user may repeat the process of re-input through the operation input means without proceeding the search through the search means. When the intended phrase expression data is derived by repeating the re-input process, the search proceeds. In addition, after listening to the found music data, the process of re-input may be repeated even if the music data is not intended.
도 4는 본 발명과 관련된 동작 기반의 음악 검색 장치에서 동작을 입력하는 상태를 나타내는 개략도이다.4 is a schematic diagram illustrating a state of inputting an operation in an operation-based music retrieval apparatus according to the present invention.
도 4는 구체적으로 마우스 또는 터치 패드를 통해 입력 중인 동작의 상태를 디스플레이 화면을 통해 나타내고 있다.4 specifically illustrates a state of an operation being input through a mouse or a touch pad on a display screen.
전체적으로 오른쪽 방향으로 이동하는 상태에서 이동 시간과 위치가 변화되도록 동작이 입력되는 것을 알 수 있다. 동작 분석 수단은 사용자의 이러한 동작 입력을 분석하여 동작의 이동 시간과 동작의 위치를 추출하고 이를 이용해 음의 장단과 음의 고저를 결정한다.It can be seen that an operation is input so that the movement time and position change in the state of moving to the right as a whole. The motion analysis means analyzes the user's motion input, extracts the movement time and the location of the motion, and uses it to determine the length of the sound and the height of the sound.
도 5는 본 발명과 관련된 동작 기반의 음악 검색 장치에서 동작을 분석하는 과정을 설명하기 위한 개략도이다.5 is a schematic diagram illustrating a process of analyzing a motion in a motion-based music retrieval apparatus according to the present invention.
도 5에서는 동작의 상하 위치에 따라 음의 고저가 달라지도록 구역을 구분하였다. 구체적으로 낮은 위치에서 높은 위치로 갈수록 ..., 'd', 'c', 'b', 'a', 'A', 'B', 'C', 'D',...와 같이 서로 다른 높이의 음을 대응시켜 둔다. 이 상태에서 사용자가 동작을 통한 입력을 개시하면 동작 개시점에서 우측 방향으로 1, 2, 3, 4,...와 같이 구간을 구분한다.In FIG. 5, the zones are divided so that the negative elevation varies according to the up and down positions of the operation. Specifically, as you move from the lower position to the higher position ..., like 'd', 'c', 'b', 'a', 'A', 'B', 'C', 'D', ... Match sounds of different heights. In this state, when the user starts input through the operation, the sections are divided into 1, 2, 3, 4, ... in the right direction from the operation start point.
이 상태에서 동작 분석 수단은 0이상 1미만인 1구간에서 A음정이 α초 동안 지속, 1이상 1미만인 2구간에서 B음정이 β초 동안 지속과 같은 식으로 동작을 분석한다. 이와 같이 음의 고저를 나타내는 축의 수직축(도 5에서는 수평축)의 각 구간(1구간, 2구간,...)별로 동작의 위치와 동작의 이동 시간을 분석하면 앞에서 살펴본 제한 시간을 적용할 필요가 없다. 각 구간은 하나의 음정과 지속 시간만을 나타내므로 각 구간 사이의 위치 변화가 무시되기 때문이다. 다만 이와 같은 분석 방법을 적용하기 위해서는 적어도 사용자가 도 5의 수평축 방향상으로 동일한 속도를 유지하여야 한다.In this state, the motion analysis means analyzes the motion in such a manner that pitch A lasts for α seconds in one section of 0 or more and less than 1, and pitch B lasts for β seconds in 2 sections of 1 or less and 1 or less. As described above, if the position of the motion and the movement time of the motion are analyzed for each section (1 section, 2 sections, ...) of the vertical axis (horizontal axis in FIG. 5) of the axis indicating the negative elevation, it is necessary to apply the time limit described above. none. This is because each interval represents only one pitch and duration, so the change in position between each interval is ignored. However, in order to apply such an analysis method, at least the user must maintain the same speed in the horizontal axis direction of FIG. 5.
데이터 변환 수단은 1, 2, 3,... 각 구간의 음정과 지속 시간을 취합하여 구절 표현 데이터로 변환한다. 이때, 음악 데이터 자체의 형식으로 변환시키지 않고 중간 데이터 형식으로 변환시킬 수 있는데 상기 취합한 결과 자체가 중간 데이터 형식일 수 있다. 중간 데이터 형식을 이용해 음악 데이터를 검색하기 위해서는 음악 데이터 또한 중간 데이터 형식으로 변환하여야 하는데 이 과정 또한 데이터 변환 수단에 의해 이루어질 수 있다. 중간 데이터 형식을 이용할 경우 각 구간 사이에 표현되는 음정이 무시되는데, 구절 표현 데이터와 음악 데이터 모두에 공통된 사항이므로 비교에 별다른 무리는 없다.The data converting means collects the pitches and durations of the
한편, 수평축 상으로 이동하면서 동작을 입력할 경우 공간의 제약으로 인하여 비교적 짧은 길이의 구절 표현 데이터를 얻게 된다. 따라서, 음악 전체 또는 길이가 긴 구절 표현 데이터를 얻기 위해 도 6에서와 같이 상하 방향으로만 동작을 입력할 수도 있다. 도 6은 본 발명과 관련된 동작 기반의 음악 검색 장치에서 동작을 입력하는 다른 상태를 나타내는 개략도이다. 살펴보면 터치 패드(210)의 공간 제약으로 인하여 일정 방향으로 이동하면서 동작을 수행하기 어려운 상태임을 알 수 있다. 이때에는 일정 방향으로 이동하지 않으면서 음정으로 구분된 구역만을 왔다갔다 하면서 입력할 수 있어야 한다. 물론, 각각의 위치변화에 시간 개념을 도입함으로써 도 5에서 살펴본 분석 방법을 그대로 적용할 수 있다. 예를 들어 입력 개시점에서 1초 미만 구간을 1구간, 1초 이상 2초 미만 구간을 2구간,...과 같은 식으로 구간을 나누고 1구간에서는 '시'를 2구간에서는 '시'보다 낮은 '솔'을 나타낸 것으로 분석할 수 있다. 물론, 사용자가 동작 입력에 능숙해질수록 구간 간격을 줄이는 것이 바람직하다.
On the other hand, when the motion is input while moving on the horizontal axis, the phrase expression data having a relatively short length is obtained due to space limitation. Therefore, the operation may be input only in the up and down direction as shown in FIG. 6 to obtain the entire music or the long phrase expression data. 6 is a schematic diagram illustrating another state of inputting an operation in an operation-based music retrieval apparatus according to the present invention. Looking at it, it can be seen that it is difficult to perform an operation while moving in a predetermined direction due to the space constraint of the
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the embodiments described above are to be considered in all respects only as illustrative and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
동작을 통하여 음악을 표현하는 각종 장치에 적용할 수 있다.It can be applied to various devices expressing music through the operation.
예를 들어 아이들의 음악적 감각을 길러주기 위한 완구류에 적용하거나 각종 놀이 시설에 적용할 수 있다.For example, it can be applied to toys for cultivating the musical sense of children or various play facilities.
또한, 동작을 통하여 음악을 검색하는 장치에 적용할 수 있다. 특히, 제목을 모르는 상태에서 음악의 일부 구절만을 통하여 음악을 검색하는 상황에 유리하다.In addition, it can be applied to a device for searching for music through the operation. In particular, it is advantageous in the situation of searching for music only through some passages of music without knowing the title.
또한 스마트폰과 같은 이동 단말 장치에서 터치 스크린을 이용한 음악 구절의 표현과 이를 통한 유사 음악 검색 또는 추천 서비스를 위한 소프트웨어의 개발에도 적용할 수 있다.
In addition, the present invention can be applied to the expression of music passages using a touch screen in a mobile terminal device such as a smartphone and the development of software for similar music search or recommendation service.
110...동작 입력 수단 130...동작 분석 수단
150...데이터 변환 수단 170...검색 수단
190...소리 출력 수단110 ... motion input means 130 ... motion analysis means
150 ... Data conversion means 170 ... Search means
190 ... sound output means
Claims (9)
상기 동작의 이동 시간으로 음의 장단을 결정하고, 상기 동작의 위치로 음의 고저를 결정하는 단계; 및
음악 데이터의 형식에 맞춰 상기 결정된 음의 장단과 음의 고저를 구절 표현 데이터로 변환하는 단계;를 포함하되,
상기 동작의 이동 시간은 상기 동작이 동일 위치선 상에 오래 위치할수록 장음을 나타내고, 상기 동작의 위치는 낮은 위치에서 높은 위치로 갈수록 고음을 나타내는 것을 특징으로 하며
상기 동작 입력 수단은 이산적 입력이 가능한 경우에는 이산적인 사용자의 동작을 입력으로 인식하고, 이산적 입력이 불가능한 경우에는 상기 동작의 이동 시간 중 음의 장단을 결정하지 않는 제한 시간 설정이 가능한 것을 특징으로 하는 동작 기반의 음악 구절 표현 방법.
Receiving a user's motion through at least one motion input means of a mouse, a touch pad, a camera, and a motion recognition sensor;
Determining the long and short of the sound by the movement time of the motion, and determining the height of the sound by the location of the motion; And
And converting the decided length and length of the sound into phrase expression data according to the format of music data.
The movement time of the operation is characterized in that the longer the operation is located on the same position line indicates a long sound, the position of the operation is characterized by a high sound from the lower position to a higher position
When the discrete input is possible, the motion input means recognizes the discrete user's motion as an input, and when the discrete input is impossible, it is possible to set a time limit that does not determine the length of the sound in the movement time of the motion. Motion based music phrase representation method.
상기 구절 표현 데이터를 소리 출력하는 단계를 더 포함하는 것을 특징으로 하는 동작 기반의 음악 구절 표현 방법.
The method of claim 1,
And outputting the phrase expression data as a sound.
상기 동작의 이동 시간으로 음의 장단을 결정하고, 상기 동작의 위치로 음의 고저를 결정하는 단계;
데이터베이스에 기저장된 음악 데이터의 형식에 맞춰 상기 결정된 음의 장단과 음의 고저를 구절 표현 데이터로 변환하는 단계; 및
상기 구절 표현 데이터와 대응되는 음악 데이터를 상기 데이터베이스에서 검색하는 단계;를 포함하되,
상기 동작의 이동 시간은 상기 동작이 동일 위치선 상에 오래 위치할수록 장음을 나타내고, 상기 동작의 위치는 낮은 위치에서 높은 위치로 갈수록 고음을 나타내며
상기 검색하는 단계에서 상기 음악데이터는 상기 구절 표현 데이터의 일정 오차 범위를 만족하는 유사 음악데이터를 포함하는 것을 특징으로 하는 동작 기반의 음악 검색 방법.
Receiving a user's motion through at least one motion input means of a mouse, a touch pad, a camera, and a motion recognition sensor;
Determining the long and short of the sound by the movement time of the motion, and determining the height of the sound by the location of the motion;
Converting the determined note lengths and pitches of the music into phrase expression data according to a format of music data previously stored in a database; And
Retrieving music data corresponding to the phrase expression data from the database;
The movement time of the operation indicates a long sound as the movement is located on the same position line for a long time, and the position of the movement indicates a high pitch as it goes from a low position to a high position.
And wherein the music data comprises similar music data satisfying a predetermined error range of the phrase expression data.
상기 구절 표현 데이터 변환 단계와 상기 검색 단계 사이에,
상기 구절 표현 데이터를 소리 출력하는 단계; 및
상기 소리 출력을 확인한 사용자에 의해 검색 요청을 입력받는 단계;를 더 포함하고,
상기 검색 단계는 상기 검색 요청이 입력된 경우에 수행되는 것을 특징으로 하는 동작 기반의 음악 검색 방법.
The method of claim 5, wherein
Between the phrase expression data converting step and the searching step,
Sound outputting the phrase expression data; And
Receiving a search request by a user who has confirmed the sound output;
And wherein said searching step is performed when said search request is input.
상기 입력된 동작을 분석하여 상기 동작의 이동 시간으로 음의 장단을 결정하고 상기 동작의 위치로 음의 고저를 결정하는 동작 분석 수단;
데이터베이스에 기저장된 음악 데이터의 형식에 맞춰 상기 결정된 음의 장단과 음의 고저를 구절 표현 데이터로 변환하는 데이터 변환 수단; 및
상기 구절 표현 데이터와 대응되는 음악 데이터를 상기 데이터베이스에서 검색하는 검색 수단;
을 포함하고
상기 검색 수단은 상기 구절 표현 데이터의 일정 오차 범위를 만족하는 유사 음악데이터까지 검색하는 것을 특징으로 하는 동작 기반의 음악 검색 장치.
Motion input means for receiving a user's motion by at least one of a mouse, a touch pad, a camera, and a motion recognition sensor;
Motion analysis means for analyzing the input motion to determine the length of the sound as the movement time of the motion and to determine the height of the sound as the position of the motion;
Data converting means for converting the decided length and length of the sound into phrase expression data according to a format of music data previously stored in a database; And
Search means for searching music data corresponding to the phrase expression data in the database;
Including
And the search means searches for similar music data that satisfies a predetermined error range of the phrase expression data.
상기 구절 표현 데이터 및 상기 검색된 음악 데이터 중 적어도 하나를 소리 출력하는 소리 출력 수단을 더 포함하는 것을 특징으로 하는 동작 기반의 음악 검색 장치.
The method of claim 7, wherein
And sound output means for sound outputting at least one of the phrase expression data and the retrieved music data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100037932A KR101157129B1 (en) | 2010-04-23 | 2010-04-23 | Method for describing music by motion, method and apparatus for searching music based on motion description |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100037932A KR101157129B1 (en) | 2010-04-23 | 2010-04-23 | Method for describing music by motion, method and apparatus for searching music based on motion description |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110118373A KR20110118373A (en) | 2011-10-31 |
| KR101157129B1 true KR101157129B1 (en) | 2012-06-22 |
Family
ID=45031982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100037932A KR101157129B1 (en) | 2010-04-23 | 2010-04-23 | Method for describing music by motion, method and apparatus for searching music based on motion description |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101157129B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220145671A (en) * | 2021-04-22 | 2022-10-31 | 국민대학교산학협력단 | Ai-based ballet accompaniment generation method and device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003076368A (en) * | 2001-09-05 | 2003-03-14 | Yamaha Corp | Mobile communication terminal, sensor unit, musical sound generation system, musical sound generator, and musical information providing method |
| KR20050095386A (en) * | 2004-03-26 | 2005-09-29 | 삼성전자주식회사 | Audio generating method and apparatus based on motion |
| KR20060088275A (en) * | 2005-02-01 | 2006-08-04 | 삼성전자주식회사 | Apparatus and method for setting up and generating an audio based on motion |
-
2010
- 2010-04-23 KR KR1020100037932A patent/KR101157129B1/en not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003076368A (en) * | 2001-09-05 | 2003-03-14 | Yamaha Corp | Mobile communication terminal, sensor unit, musical sound generation system, musical sound generator, and musical information providing method |
| KR20050095386A (en) * | 2004-03-26 | 2005-09-29 | 삼성전자주식회사 | Audio generating method and apparatus based on motion |
| KR20060088275A (en) * | 2005-02-01 | 2006-08-04 | 삼성전자주식회사 | Apparatus and method for setting up and generating an audio based on motion |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220145671A (en) * | 2021-04-22 | 2022-10-31 | 국민대학교산학협력단 | Ai-based ballet accompaniment generation method and device |
| KR102492981B1 (en) * | 2021-04-22 | 2023-01-30 | 국민대학교산학협력단 | Ai-based ballet accompaniment generation method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110118373A (en) | 2011-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016057986A (en) | Voice translation device, method, and program | |
| US20210272569A1 (en) | Voice feedback for user interface of media playback device | |
| JP6111802B2 (en) | Spoken dialogue apparatus and dialogue control method | |
| KR101789057B1 (en) | Automatic audio book system for blind people and operation method thereof | |
| JP3961544B2 (en) | GAME CONTROL METHOD AND GAME DEVICE | |
| JP6028556B2 (en) | Dialog control method and computer program for dialog control | |
| WO2004019197A1 (en) | Control system, method, and program using rhythm pattern | |
| JP2019050482A (en) | Information acquisition device, display method, and program | |
| KR101157129B1 (en) | Method for describing music by motion, method and apparatus for searching music based on motion description | |
| JP2014013340A (en) | Music composition support device, music composition support method, music composition support program, recording medium storing music composition support program and melody retrieval device | |
| CN101770705B (en) | Audio playing device with interaction function and interaction method thereof | |
| JP6155102B2 (en) | Learning support device | |
| CN205354631U (en) | Interactive piano | |
| US10109217B2 (en) | Speech assessment device and method for a multisyllabic-word learning machine, and a method for visualizing continuous audio | |
| CN112823047A (en) | System and apparatus for controlling web applications | |
| JP6144593B2 (en) | Singing scoring system | |
| WO2024080009A1 (en) | Acoustic device, acoustic control method, and acoustic control program | |
| JP6438200B2 (en) | Speech synthesis apparatus and control program | |
| KR102634345B1 (en) | Apparatus for training and testing to cognitive function using music-based multi-task training, singing training, and instrument discrimination training | |
| JP6144592B2 (en) | Singing scoring system | |
| JP6144605B2 (en) | Singing scoring system | |
| JP5469330B2 (en) | Music practice support equipment and music practice support program | |
| KR102077269B1 (en) | Method for analyzing song and apparatus using the same | |
| KR101321446B1 (en) | Lyrics displaying method using voice recognition | |
| JP6429610B2 (en) | Karaoke equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150610 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |