KR20180067964A - 사용자 동작 기반의 지휘 게임 장치 및 그것을 이용한 지휘 게임 방법 - Google Patents

사용자 동작 기반의 지휘 게임 장치 및 그것을 이용한 지휘 게임 방법 Download PDF

Info

Publication number
KR20180067964A
KR20180067964A KR1020160169433A KR20160169433A KR20180067964A KR 20180067964 A KR20180067964 A KR 20180067964A KR 1020160169433 A KR1020160169433 A KR 1020160169433A KR 20160169433 A KR20160169433 A KR 20160169433A KR 20180067964 A KR20180067964 A KR 20180067964A
Authority
KR
South Korea
Prior art keywords
gesture
unit
user
command
gestures
Prior art date
Application number
KR1020160169433A
Other languages
English (en)
Other versions
KR101895691B1 (ko
Inventor
성만규
김가현
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020160169433A priority Critical patent/KR101895691B1/ko
Publication of KR20180067964A publication Critical patent/KR20180067964A/ko
Application granted granted Critical
Publication of KR101895691B1 publication Critical patent/KR101895691B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/46—Computing the game score
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401—Detail of input, input devices
    • A63F2009/2436—Characteristics of the input
    • A63F2009/2442—Sensors or detectors
    • A63F2009/2447—Motion detector
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/04—Miscellaneous game characteristics containing a liquid
    • A63F2250/0407—Water
    • A63F2250/0414—Water in motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047—Music games

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자 동작 기반의 지휘 게임 장치 및 그것을 이용한 지휘 게임 방법에 관한 것이다.
사용자 동작 기반의 지휘 게임 장치는 음표당 지휘 제스처가 할당된 복수의 음악 중에서 사용자로부터 하나의 음악을 선택받는 음악 선택부, 선택된 음악을 재생하면, 동작인식 센서를 통해 사용자의 동작을 실시간으로 감지하고, 감지된 사용자의 동작을 통하여 사용자의 지휘 제스처를 인식하는 제스처 인식부, 그리고 상기 사용자의 지휘 제스처가 상기 선택된 음악의 박자에 부합하는 지휘 제스처이면, 상기 사용자의 지휘 제스처의 동작 시점과 음표당 할당된 지휘 제스처의 시점간의 시간차를 계산하고, 상기 시간차에 따라 점수를 산정하는 게임 진행부를 포함한다.
본 발명에 따르면, 사용자의 동작을 복수의 단위 제스처로 나누고, 각 단위 제스처를 인식하여 시퀀스도에 적용함으로써, 보다 쉽게 연속적인 사용자의 단위 제스처가 나타내는 지휘 제스처를 인식할 수 있다.
또한, 사용자의 단위 제스처 동작 시점과 해당 음악의 음표에 할당된 단위 제스처 시점과의 시간차에 따라 점수를 산정함으로써, 사용자의 흥미를 유발시키면서 해당 음악의 박자에 따른 정확한 지휘 동작을 학습할 수 있다.

Description

사용자 동작 기반의 지휘 게임 장치 및 그것을 이용한 지휘 게임 방법{CONDUCTING GAME APPARATUS BASED ON USER GESTURE AND CONDUCTING GAME METHOD USING THE SAME}
본 발명은 사용자 동작 기반의 지휘 게임 장치 및 그것을 이용한 지휘 게임 방법에 관한 것으로, 보다 상세하게는 사용자의 동작을 감지하여 지휘 제스처를 인식하고 인식된 제스처의 타이밍과 정확도에 따라 산정된 점수를 사용자에게 제공하는 사용자 동작 기반의 지휘 게임 장치 및 그것을 이용한 지휘 게임 방법에 관한 것이다.
종래에는 전자 기기에 구비된 키보드, 리모컨, 마우스 또는 키패드 등을 통해 인간-기계 인터페이스가 이루어지는 것이 일반적이었으나, 정보통신기기의 기능이 발달함에 따라 터치 센서를 이용해 터치패널에 손가락이나 펜을 접촉시켜 사용하는 터치 기반 시스템이 활용되고 있다. 하지만 이는 손에 장갑이나 물 또는 먼지가 묻어 있을 경우 터치가 제대로 이루어 지지 않는 문제점을 가지고 있어, 최근에는 사용자의 편의성을 극대화하기 위해 사용자의 동작을 감지하여 기기를 제어할 수 있는 편의 기능들이 개발되고 있다.
특히 사용자의 손동작과 몸짓 등 사용자의 직관적인 움직임을 통해서 사용자가 컴퓨터와 자연스럽게 상호작용 할 수 있도록 해주는 동작 기반 인터페이스가 주목 받고 있다. 3차원 동작뿐 아니라 다양한 표현이 가능하고 사용하기 편리하여, 게임/엔터테인먼트 분야, 의료/특수치료 분야, 교육 분야 등 적용분야가 다양하다.
특히, 게임 분야에서의 동작인식은 신체 동작과 유사하게 플레이할 수 있다는 장점으로 교육분야와 융합되어 응용되고 있다.
하지만 동작 기반 인터페이스는 고가이고 손동작인식이 매끄럽지 않다는 문제점을 가지고 있다. 최근에는 손동작인식 장치의 제품 가격을 낮추기 위해 센서 개수를 최소화 하는 경향이 있으며 이로 인해 손동작의 인식률이 낮아지고 오류 발생률이 높아지고 있다.
그러므로 사용자의 복합적인 동작을 보다 정확하게 인식하면서 게임과 교육이 융합된 컨텐츠를 제공하는 기술이 요구된다.
본 발명의 배경이 되는 기술은 대한민국 국내공개특허 제 10-2014-0089858호(2014.07.16 공개)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 사용자의 동작을 감지하여 지휘 제스처를 인식하고 인식된 제스처의 타이밍과 정확도에 따라 산정된 점수를 사용자에게 제공하는 사용자 동작 기반의 지휘 게임 장치 및 그것을 이용한 지휘 게임 방법을 제공하는 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 사용자 동작 기반의 지휘 게임 장치는 음표당 지휘 제스처가 할당된 복수의 음악 중에서 사용자로부터 하나의 음악을 선택받는 음악 선택부, 선택된 음악을 재생하면, 동작인식 센서를 통해 사용자의 동작을 실시간으로 감지하고, 감지된 사용자의 동작을 통하여 사용자의 지휘 제스처를 인식하는 제스처 인식부, 그리고 상기 사용자의 지휘 제스처가 상기 선택된 음악의 박자에 부합하는 지휘 제스처이면, 상기 사용자의 지휘 제스처의 동작 시점과 음표당 할당된 지휘 제스처의 시점간의 시간차를 계산하고, 상기 시간차에 따라 점수를 산정하는 게임 진행부를 포함한다.
상기 지휘 제스처는 고유 ID 값을 가지는 4가지 종류의 단위 제스처간의 결합으로 이뤄지고, 상기 복수의 음악 각각에 대하여 설정된 비트수에 대한 박자 분석을 수행하여 시간당 음표 수를 계산하고, 각각의 음표에 단위 제스처를 할당하여 데이터베이스에 저장하는 제어부를 더 포함한다.
상기 제스처 인식부는, 상기 사용자의 동작을 복수의 단위 제스처로 나누고, 사용자의 단위 제스처와 각각의 단위 제스처의 유사도를 연산하여, 유사도가 임계값보다 크고 가장 높은 값을 가지는 단위 제스처를 상기 사용자의 단위 제스처로 인식할 수 있다.
상기 제스처 인식부는, 상기 사용자의 동작에 따른 단위 제스처를 연속적으로 인식하면, 상기 연속되는 단위 제스처의 순서에 따라 상기 단위 제스처에 각각 대응하는 노드를 화살표 형태의 선으로 연결시킨 시퀀스도를 표시할 수 있다.
상기 게임 진행부는, 마디에서 첫번째로 인식되는 단위 제스처가 시작 노드로 설정된 노드들에 해당하지 않거나 연속되는 단위 제스처의 순서가 기 저장된 시퀀스에 포함되지 않는 경우, 0점 처리할 수 있다.
상기 게임 진행부는, 사용자의 단위 제스처가 감지된 시점과 음표에 할당된 단위 제스처의 시점간의 시간차의 합이 작을수록 높은 점수를 산정하고, 시간차의 합이 클수록 낮은 점수를 산정할 수 있다.
상기 게임 진행부는, 다음의 수학식을 이용하여 점수를 산정할 수 있다.
Figure pat00001
여기서, P는 산정되는 점수, N는 지휘 게임에서 만점에 해당하는 점수, S는 차감 점수, f()는 시간차를 점수 형태로 변환하기 위한 함수, ti는 사용자의 단위 제스처가 감지된 시점, tn은 음표에 할당된 단위 제스처의 시점을 나타낸다.
본 발명에 따른 다른 실시예에 따르면, 사용자 동작 기반의 지휘 게임 장치를 이용한 지휘 게임 제공 방법에 있어서, 음표당 지휘 제스처가 할당된 복수의 음악 중에서 사용자로부터 하나의 음악을 선택받는 단계, 선택된 음악을 재생하면, 동작인식 센서를 통해 사용자의 동작을 실시간으로 감지하고, 감지된 사용자의 동작을 통하여 사용자의 지휘 제스처를 인식하는 단계, 그리고 상기 사용자의 지휘 제스처가 상기 선택된 음악의 박자에 부합하는 지휘 제스처이면, 상기 사용자의 지휘 제스처의 동작 시점과 음표당 할당된 지휘 제스처의 시점간의 시간차를 계산하고, 상기 시간차에 따라 점수를 산정하는 단계를 포함한다.
본 발명에 따르면, 사용자의 동작을 복수의 단위 제스처로 나누고, 각 단위 제스처를 인식하여 시퀀스도에 적용함으로써, 보다 쉽게 연속적인 사용자의 단위 제스처가 나타내는 지휘 제스처를 인식할 수 있다.
또한, 사용자의 단위 제스처 동작 시점과 해당 음악의 음표에 할당된 단위 제스처 시점과의 시간차에 따라 점수를 산정함으로써, 사용자의 흥미를 유발시키면서 해당 음악의 박자에 따른 정확한 지휘 동작을 학습할 수 있다.
도 1은 본 발명의 실시예에 따른 지휘 게임 시스템을 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 지휘 게임 장치를 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 지휘 제스처를 구성하는 단위 제스처를 나타낸 도면이다.
도 4는 본 발명에 실시예에 따른 박자에 따라 구성되는 단위 제스처를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 음악의 음표당 단위 제스처를 할당하는 악보를 나타내는 예시도이다.
도 6은는 본 발명의 실시예에 따른 지휘 게임 장치의 게임 방법을 나타낸 순서도이다.
도 7은 본 발명의 실시예에 따른 지휘 게임 장치의 사용자 제스처 인식 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 연속적인 단위 제스처를 표시하는 시퀀스도를 나타낸 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
우선, 도 1을 통해 본 발명의 실시예에 따른 지휘 게임을 제공하는 지휘 게임 시스템에 대해서 살펴본다. 도 1은 본 발명의 실시예에 따른 지휘 게임 시스템을 나타낸 구성도이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 지휘 게임 시스템은 동작인식 센서(100), 지휘 게임 장치(200), 디스플레이(300), 데이터베이스(400)를 포함한다.
먼저, 동작인식 센서(100)는 측정 대상인 사용자의 동작과 위치를 인식하는 것으로 이를 인식 하기 위해서는 뎁스, 지자기, 가속도, 자이로 센서 등을 이용할 수 있다. 동작인식 센서(100)는 사용자의 신체에 장착되어 사용자의 팔 동작을 인식할 수 있고, 추가적인 하드웨어 없이 소프트웨어만으로 구동이 가능하도록 지휘 게임 장치(200) 또는 디스플레이(300)에 탑재된 카메라를 이용하여 동작을 인식하거나 2개 이상의 카메라를 설치하고 각각의 카메라에서 바라보는 영상의 차이를 이용하여 거리를 측정하고, 동작을 인식할 수 있다. 이 외에도 키넥트 구조를 이용하거나 ToF(Time of Flight) 방식, Point Cloud, Body Gesture 등으로 동작을 인식할 수 있으나, 이에 한정되는 것은 아니다.
다음으로 지휘 게임 장치(200)는 선택된 음악을 재생하면서 사용자의 움직임을 감지하고, 사용자의 움직임을 지휘 제스처로 인식하면 음악에 기 저장된 지휘 제스처와 비교하여 정확도에 따라 점수를 산정한다.
먼저, 지휘 게임 장치(200)는 기 저장된 음악의 리스트를 사용자에게 제공하거나 음악의 제목, 작곡가, 작사가, 가수 이름, 박자 등 음악 정보 검색 기능을 제공할 수 있다.
그리고 지휘 게임 장치(200)는 기 저장된 음악 중에서 사용자로부터 적어도 하나의 음악을 선택받으면, 해당 음악을 재생하면서, 디스플레이(300)에 해당 음악의 악보를 표시하도록 하고 게임이 진행됨에 따라 현재 시점이 어느 음표에 해당하는지를 나타내는 스크롤 표시를 악보에 적용할 수 있다.
지휘 게임 장치(200)는 동작인식 센서(100)를 통해 사용자 동작을 감지하고, 감지된 사용자 동작을 복수의 단위 제스처로 나누어, 기 저장된 4가지 종류의 단위 제스처와의 유사도를 판단한다. 지휘 게임 장치(200)는 유사도가 가장 높은 단위 제스처를 사용자의 지휘 제스처로 인식하고, 재생되는 음악의 지휘 제스처와 부합되면, 사용자의 지휘 제스처의 동작 시점과 해당 음악의 음표에 할당된 지휘 제스처의 시점과의 시점차를 계산한다.
그리고 지휘 게임 장치(200)는 계산된 시간차의 총합에 대응하는 점수를 산정한다.
다음으로 디스플레이(300)는 지휘 게임 장치(200) 또는 데이터 베이스(400)로부터 해당하는 음악 악보를 수신하여 디스플레이할 수 있는 장치를 나타내며, 모니터, TV, 스마트 글라스, 헤드마운트 등을 포함하며 이에 한정하는 것은 아니다.
데이터 베이스(400)는 음표당 지휘 제스처가 할당된 악보를 포함하는 복수의 음악을 저장하고 있다.
또한, 데이터 베이스(400)는 사용자자 지휘 게임 장치(200)를 이용한 음악 목록, 각각의 음악에 따른 지휘 점수, 사용자 ID 등과 같은 게임 데이터를 저장할 수 있다.
설명의 편의상 데이터 베이스(400)와 지휘 게임 장치(200)를 구분하여 설명하였지만, 추후에 사용자에 의한 설계에 있어서 데이터 베이스(400)는 지휘 게임 장치(200)에 포함될 수 있다.
이와 같이 구성된 지휘 게임 시스템은 무선 또는 유선 네트워크로 연결되어 서로 통신을 한다. 여기서 무선 네트워크는 블루투스(Bluetooth), 지그비(Zigbee), NFC(Near Field Communication), 와이브리(Wibree)를 포함하는 근거리 무선 통신 네트워크와 Wi-Fi, LTE 등을 나타내는 원거리 무선 통신 네트워크를 이용할 수 있으며, 특정 방식에 국한되지 않는다.
다음으로 도 2를 통해 본 발명의 실시예에 감지된 사용자 동작을 지휘 제스처를 인식하고 점수를 산정하는 지휘 게임 장치에 대해 살펴본다.
도 2는 본 발명의 실시예에 따른 지휘 게임 장치를 나타낸 구성도이다.
도 2에 나타낸 것처럼, 지휘 게임 장치(200)는 음악 선택부(210), 제스처 인식부(220), 게임 진행부(230) 및 제어부(240)를 포함한다.
먼저, 음악 선택부(210)는 음표당 지휘 제스처가 할당된 복수의 음악 중에서 사용자로부터 지휘하고자 하는 하나의 음악을 선택받는다.
음악 선택부(210)는 데이터베이스(400)에 기저장된 복수의 음악 리스트를 사용자에게 제공하거나 검색 기능을 제공하고, 사용자로부터 적어도 하나의 음악을 터치, 마우스, 리모콘 등을 통해 선택받는다.
선택된 음악이 재생되면, 제스처 인식부(220)는 동작인식 센서(100)를 통해 사용자의 동작을 실시간으로 감지하고, 감지된 사용자의 동작을 통하여 사용자의 지휘 제스처를 인식한다.
즉, 제스처 인식부(220)는 감지된 사용자 동작을 복수의 단위 제스처로 나누고, 지휘 제스처를 형성하는 4종류의 단위 제스처와 유사도를 연산하여 사용자의 단위 제스처를 인식한다.
또한, 제스처 인식부(220)는 사용자의 단위 제스처를 연속적으로 인식하면 연속되는 순서에 따라 시퀀스도에 표시한다. 그리고 제스처 인식부(220)는 표시된 시퀀스도를 통해 연속되는 단위 제스처의 순서를 파악하여, 기 저장된 시퀀스에 포함되는 지를 판단할 수 있다.
게임 진행부(230)는 사용자의 지휘 제스처가 선택된 음악의 박자에 부합하는 지휘 제스처이면, 사용자의 지휘 제스처의 동작 시점과 음표당 할당된 지휘 제스처의 시점간의 시간차를 계산한다.
그리고 게임 진행부(230)는 계산된 시간차에 따라 점수를 산정하여 사용자에게 제공한다.
제어부(240)는 복수의 음악 각각에 대하여 설정된 비트수에 대한 박자 분석을 수행하여 시간당 음표 수를 계산하고, 각각의 음표에 단위 제스처를 할당하여 데이터베이스(400)에 저장한다.
이하에서는 도 3 및 도 4를 통해 지휘 제스처를 구성하는 단위 제스처에 대해서 설명한다.
도 3은 본 발명의 실시예에 따른 지휘 제스처를 구성하는 단위 제스처를 나타낸 도면이고, 도 4는 본 발명에 실시예에 따른 박자에 따라 구성되는 단위 제스처를 설명하기 위한 도면이다.
도 3에서 나타낸 것처럼, 단위 제스처는 각 고유 ID 값을 가지고 있는 4가지 종류로 구성된다.
설명의 편의상 상측에서 하측으로 이동하면서 우측으로 꺽는 단위 제스처의 고유 ID는 1, 좌측에서 우측으로 이동하는 단위 제스처의 고유 ID는 2, 우측에서 좌측으로 이동하는 단위 제스처의 고유 ID는 3, 상측에서 하측으로 이동하면서 좌측으로 꺽는 단위 제스처의 고유 ID는 4로 가정한다.
즉, 도 3과 같이, 단위 제스처는 간단하게 방향성을 가지는 직선 또는 곡선으로 구분된다.
지휘 제스처는 이와 같이 4가지 종류의 단위 제스처의 결합으로 형성되는 데, 이때, 단위 제스처의 시간에 따른 순서에 따라 각각 지휘 제스처가 형성된다.
도 4에 나타낸 바와 같이, 도 4는 지휘에 있어서 가장 기본이 되는 박자에 따른 지휘 제스처를 나타낸다.
도 4 의 (a)는 4분의 2박자 지휘로, 단위 제스처는 1-> 3의 조합으로 형성되고 (b)는 4분의 3박자 지휘로, 단위 제스처는 1->2->3의 조합으로 형성된다. 그리고 도 4의 (c)는 4분의 4박자 지휘로, 단위 제스처는 4->3->2->3의 조합으로 형성되고, (d)는 8분의 6박자 지휘로 단위 제스처는 4->3->3->2->2->3의 조합으로 형성된다.
즉, 지휘 제스처는 4가지 종류의 단위 제스처의 순서에 따른 조합으로 다양하게 형성된다. 그리고 도 4를 보면, 지휘 제스처의 시작은 단위 제스처 1과 4 중에서 하나의 단위 제스처로 시작되며 단위 제스처 3을 마지막으로 끝나는 것을 알 수 있다.
이하에서는 도 5를 통하여 본 발명의 실시예에 따른 지휘 게임 장치(200)의 제어부(240)가 4가지 종류의 단위 제스처로 구성된 지휘 제스처를 실제 악보에 적용하는 과정을 설명한다.
도 5는 본 발명의 실시예에 따른 음악의 음표당 단위 제스처를 할당하는 악보를 나타내는 예시도이다.
먼저, 제어부(240)는 음악을 입력받으면, 입력된 음악에 대한 박자 분석에 따라 시간당 음표수(노트수)를 계산한다.
이때, 제어부(240)는 음악에 주어진 비트 수를 계산하여 박자 분석을 수행하고, 아래의 표 1과 같이 제어부(240)는 bpm과 해당 음악의 박자에 따라 음표 수를 결정할 수 있다.
Figure pat00002
여기서, bpm은 beat per minute으로 1분당 비트의 수를 의미하고, 60bpm은 1분동안 60 비트수, 155bpm은 1분당 155 비트수를 나타낸다. 그러므로 bpm의 값이 작으면 느린 음악을 나타내고, 클수록 빠른 음악을 나타낸다.
예를 들어 8분의 6박자의 곡을 지휘할 때, bpm이 큰 빠른 음악인 경우, 점 사분음표를 한 박으로 설정하여 4분의 2박자의 지휘 제스처가 사용되고 bpm이 작은 느린 음악인 경우, 팔분음표를 한 박으로 설정하여 8분의 6박자의 지휘 제스처가 사용될 수 있다. 즉, 같은 박자의 곡이라도 bpm의 값에 따라서 지휘 제스처가 상이하게 적용될 수 있다.
그리고 표 1은 1분당 계산된 음표수를 나타내므로 전체 음악 길이가 L이라면, 제어부(240)는 표 1에 나타낸 음표 수를 음악 길이(L)에 맞춰 전체 음악 길이에 따른 음표 수를 추정한다.
그리고 제어부(240)는 전체 음악 길이에 대해 음표수가 결정되면 해당 음악의 악보에 해당 박자에 대한 지휘 제스처를 할당한다.
예를 들어 도 5는 4분의 4박자를 나타내는 악보로, 한 마디에 4분의 1박자의 음표가 4개 들어 있는 것을 나타낸다. 그러므로 도 5는 한 마디에 해당하는 박자가 모두 들어 가 있기 때문에 악보 상측의 각 마디마다 4분의 4박자를 나타내는 지휘 제스처가 할당된다.
한편, 도 5와 같이 반드시 마디의 시작 부분에 해당 지휘 제스처가 할당되는 것은 아니며 음표에 할당될 수 있다.
그리고 제어부(240)는 각 지휘 제스처에 대해서 구성하는 각각의 단위 제스처를 해당 악보의 음표에 할당한다.
도 5에서와 같이, 첫번째 마디에 4분의 4박자의 지휘 제스처를 구성하는 단위 제스처 4->3->2->3가 각 음표에 할당된다.
도 5를 보면, 하나의 단위 제스처에 4분의 1박에 해당되는 음표에 할당되므로, 하나의 음표에 하나의 단위 제스처가 할당되거나 여러 개의 음표가 묶어서 하나의 단위 제스처가 할당되는 것을 알 수 있다.
즉, 제어부(240)는 박자 분석을 통해 결정된 음표수가 결정되며 이에 따라 각 음표에 어떠한 단위 제스처가 할당되어야 하는지 결정한다.
이하에서는 도 6 내지 도 8을 통해 지휘 게임 장치를 이용하여 재생되는 음악에 따라 사용자의 지휘 동작을 감지하고 지휘 동작의 정확도에 따라 점수를 산정하는 방법에 대해서 설명한다.
도 6은는 본 발명의 실시예에 따른 지휘 게임 장치의 게임 방법을 나타낸 순서도이고, 도 7은 본 발명의 실시예에 따른 지휘 게임 장치의 사용자 제스처 인식 방법을 설명하기 위한 도면이다.
먼저, 음악 선택부(210)는 음표당 지휘 제스처가 할당된 복수의 음악 중에서 사용자로부터 하나의 음악을 선택받는다(S610).
여기서, 복수의 음악은 제어부(240)를 통해 음표당 지휘 제스처 및 단위 제스처가 할당되어 데이터베이스(400)에 저장된 음악을 나타낸다.
그리고, 제스처 인식부(220)는 선택된 음악을 재생하면, 동작인식 센서(100)를 통해 사용자의 동작을 감지하고, 사용자의 지휘 제스처를 인식한다(S620).
도 7은 제스처 인식부(220)가 감지된 사용자의 동작을 지휘 제스처로 인식하는 S620 단계를 세분화하여 나타낸 순서도이다.
먼저, 제스처 인식부(220)는 감지된 사용자의 동작을 복수의 단위 제스처로 구분한다(S621).
그리고 제스처 인식부(220)는 사용자의 단위 제스처와 각각의 단위 제스처의 유사도를 연산한다(S622).
제스처 인식부(220)는 수학적 학습 모델을 이용하여 사용자의 단위 제스처와 4가지 종류에 해당하는 단위 제스처를 비교하고, 각 유사도를 계산한다.
여기서, 수학적 학습 모델은 먼저 단위 제스처에 대해 위치, 방향, 속도와 같은 특징 데이터를 파악하여 학습한 모델을 가리킨다.
다음으로 제스처 인식부(220)는 유사도가 임계값보다 크고 가장 높은 값을 가지는 단위 제스처를 사용자의 단위 제스처로 인식한다(S623).
다음 수학식 1과 같이, 제스처 인식부(220)는 유사도가 임계값보다 크고 가장 높은 값을 가지는 단위 제스처를 사용자의 단위 제스처로 인식한다.
Figure pat00003
여기서, Ci는 i 단위 제스처에 대한 유사도 값을 의미하며, m은 최소 유사도의 임계값을 의미한다.
이와 같이, 제스처 인식부(220)는 사용자의 단위 제스처를 인식하고 인식된 연속적인 단위 제스처에 따른 지휘 제스처를 인식할 수 있다.
한편, 제스처 인식부(220)는 단위 제스처간의 순서를 보다 파악하기 쉽게 시퀀스도를 이용하여 사용자의 동작을 특정 지휘 제스처로 인식할 수 있다.
이하에서는 시퀀스도를 나타낸 도 8를 이용하여 연속되는 단위 제스처를 지휘 제스처로 인식하는 과정을 설명한다.
도 8은 본 발명의 실시예에 따른 연속적인 단위 제스처를 표시하는 시퀀스도를 나타낸 도면이다.
도 8에 나타낸 바와 같이, 시퀀스도는 시작 노드(노드 1, 노드 4), 중간 노드(노드 2), 최종 노드(노드 3)로 구성된다.
그리고 노드들을 앞서 설명한 4종류의 단위 제스처에 각각 대응하며, 각 동일한 ID를 가지고 있다. 각 노드들간의 화살표 형태의 선으로 연결되어 있으며, 고정된 화살표 형태의 선을 통해 노드간의 순서를 나타낼 수 있다.
예를 들어, 시퀀스도에서 노드 1이 선택되면, 다음으로 선택이 가능한 노드는 노드 1과 화살표 형태의 선을 통해 이동할 수 있는 노드 2 또는 노드3 만 가능하다.
즉, 제스처 인식부(220)는 연속적인 단위 제스처가 1->2->3으로 인식되면, 시퀀스도에 노드 1-> 노드2-> 노드3으로 표시되고 해당 지휘 동작은 3박자 동작임을 알 수 있다.
또한, 시작 노드가 노드 1 또는 노드 4가 아니거나, 최종 노드가 노드 3이 아닌 경우에 제스처 인식부(220)는 해당 사용자의 동작은 지휘 동작이 해당되지 않음을 알 수 있다.
이외에도 지휘 박자에 따른 단위 제스처의 순서가 정해져 있음으로 기 설정된 순서 집합에 부합되지 않는 경우, 제스처 인식부(220)는 시퀀스도에서 최종 노드에 도착하기 전이라도 해당 사용자의 동작은 지휘 동작에 해당되지 않음을 빠르게 판단할 수 있다.
이와 같이 제스처 인식부(220)는 사용자의 동작에 대해 인식한 결과를 게임 진행부(230)로 전달한다.
게임 진행부(230)는 사용자의 동작이 선택된 음악의 박자에 부합하는 지휘 제스처이면, 사용자의 지휘 제스처의 동작 시점과 음표당 할당된 지휘 제스처의 시점간의 시간차를 계산하여 점수 산정한다(S630).
게임 진행부(230)는 다음의 수학식 2를 이용하여 점수를 산정할 수 있다.
Figure pat00004
여기서, P는 산정되는 점수, N는 지휘 게임에서 만점에 해당하는 점수, S는 차감 점수, f()는 시간차를 점수 형태로 변환하기 위한 함수, ti는 사용자의 단위 제스처가 감지된 시점, tn은 음표에 할당된 단위 제스처의 시점을 나타낸다.
즉, 게임 진행부(230)는 사용자의 단위 제스처가 감지된 시점과 음표에 할당된 단위 제스처의 시점간의 시간차의 합이 작을수록 높은 점수를 산정하고, 시간차의 합이 클수록 낮은 점수를 산정할 수 있다.
여기서, 게임 진행부(230)는 난이도를 설정하여, 난이도에 따라 함수 f()을 달리 적용하여 점수를 산정할 수 있다. 즉, 게임 진행부(230)는 난이도가 높은 경우에는 사용자의 단위 제스처가 감지된 시점과 음표에 할당된 단위 제스처의 시점을 정확하게 판단하고, 난이도가 낮은 경우에는 일정한 시간 간격 차이를 동일한 시점으로 판단하여 점수를 산정할 수 있다.
한편, 게임 진행부(230)는 마디에서 첫번째로 인식되는 단위 제스처가 시퀀스도에서 시작 노드로 설정된 노드들에 해당하지 않거나 연속되는 단위 제스처의 순서가 기 저장된 시퀀스에 포함되지 않는 경우, ti의 값이 0이 되므로, 해당 단위 제스처에 대해서 0점 처리할 수 있다. 또한, 게임 진행부(230)는 사용자 동작이 지휘 제스처에 해당하지 않으면, 0점 처리할 수 있다.
여기서, 구체적인 0점 처리 설정은 추후에 사용자에 의해서 조절될 수 있다.
이와 같이 본 발명의 실시예에 따르면, 사용자의 동작을 복수의 단위 제스처로 나누고, 각 단위 제스처를 인식하여 시퀀스도에 적용함으로써, 보다 쉽게 연속적인 사용자의 단위 제스처가 나타내는 지휘 제스처를 인식할 수 있다.
또한, 사용자의 단위 제스처 동작 시점과 해당 음악의 음표에 할당된 단위 제스처 시점과의 시간차에 따라 점수를 산정함으로써, 사용자의 흥미를 유발시키면서 해당 음악의 박자에 따른 정확한 지휘 동작을 학습할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 동작인식 센서 200: 지휘 게임 장치
210: 음악 선택부 220: 제스처 인식부
230: 게임 진행부 240: 제어부
300: 디스플레이 400: 데이터베이스

Claims (14)

  1. 음표당 지휘 제스처가 할당된 복수의 음악 중에서 사용자로부터 하나의 음악을 선택받는 음악 선택부,
    선택된 음악을 재생하면, 동작인식 센서를 통해 사용자의 동작을 실시간으로 감지하고, 감지된 사용자의 동작을 통하여 사용자의 지휘 제스처를 인식하는 제스처 인식부, 그리고
    상기 사용자의 지휘 제스처가 상기 선택된 음악의 박자에 부합하는 지휘 제스처이면, 상기 사용자의 지휘 제스처의 동작 시점과 음표당 할당된 지휘 제스처의 시점간의 시간차를 계산하고, 상기 시간차에 따라 점수를 산정하는 게임 진행부를 포함하는 사용자 동작 기반의 지휘 게임 장치.
  2. 제1항에 있어서,
    상기 지휘 제스처는 고유 ID 값을 가지는 4가지 종류의 단위 제스처간의 결합으로 이뤄지고,
    상기 복수의 음악 각각에 대하여 설정된 비트수에 대한 박자 분석을 수행하여 시간당 음표 수를 계산하고, 각각의 음표에 단위 제스처를 할당하여 데이터베이스에 저장하는 제어부를 더 포함하는 사용자 동작 기반의 지휘 게임 장치.
  3. 제2항에 있어서,
    상기 제스처 인식부는,
    상기 사용자의 동작을 복수의 단위 제스처로 나누고, 사용자의 단위 제스처와 각각의 단위 제스처의 유사도를 연산하여, 유사도가 임계값보다 크고 가장 높은 값을 가지는 단위 제스처를 상기 사용자의 단위 제스처로 인식하는 사용자 동작 기반의 지휘 게임 장치.
  4. 제3항에 있어서,
    상기 제스처 인식부는,
    상기 사용자의 동작에 따른 단위 제스처를 연속적으로 인식하면,
    연속되는 단위 제스처의 순서에 따라 상기 단위 제스처에 각각 대응하는 노드를 화살표 형태의 선으로 연결시킨 시퀀스도를 표시하는 사용자 동작 기반의 지휘 게임 장치.
  5. 제4항에 있어서,
    상기 게임 진행부는,
    마디에서 첫번째로 인식되는 단위 제스처가 시작 노드로 설정된 노드들에 해당하지 않거나 연속되는 단위 제스처의 순서가 기 저장된 시퀀스에 포함되지 않는 경우, 0점 처리하는 사용자 동작 기반의 지휘 게임 장치.
  6. 제5항에 있어서,
    상기 게임 진행부는,
    사용자의 단위 제스처가 감지된 시점과 음표에 할당된 단위 제스처의 시점간의 시간차의 합이 작을수록 높은 점수를 산정하고, 시간차의 합이 클수록 낮은 점수를 산정하는 사용자 동작 기반의 지휘 게임 장치.
  7. 제6항에 있어서,
    상기 게임 진행부는,
    다음의 수학식을 이용하여 점수를 산정하는 사용자 동작 기반의 지휘 게임 장치:
    Figure pat00005

    여기서, 여기서, P는 산정되는 점수, N는 지휘 게임에서 만점에 해당하는 점수, S는 차감 점수, f()는 시간차를 점수 형태로 변환하기 위한 함수, ti는 사용자의 단위 제스처가 감지된 시점, tn은 음표에 할당된 단위 제스처의 시점을 나타낸다.
  8. 사용자 동작 기반의 지휘 게임 장치를 이용한 지휘 게임 제공 방법에 있어서,
    음표당 지휘 제스처가 할당된 복수의 음악 중에서 사용자로부터 하나의 음악을 선택받는 단계,
    선택된 음악을 재생하면, 동작인식 센서를 통해 사용자의 동작을 실시간으로 감지하고, 감지된 사용자의 동작을 통하여 사용자의 지휘 제스처를 인식하는 단계, 그리고
    상기 사용자의 지휘 제스처가 상기 선택된 음악의 박자에 부합하는 지휘 제스처이면, 상기 사용자의 지휘 제스처의 동작 시점과 음표당 할당된 지휘 제스처의 시점간의 시간차를 계산하고, 상기 시간차에 따라 점수를 산정하는 단계를 포함하는 지휘 게임 방법.
  9. 제8항에 있어서,
    상기 지휘 제스처는 고유 ID 값을 가지는 4가지 종류의 단위 제스처간의 결합으로 이뤄지고,
    상기 복수의 음악 각각에 대하여 설정된 비트수에 대한 박자 분석을 수행하여 시간당 음표 수를 계산하고, 각각의 음표에 단위 제스처를 할당하여 데이터베이스에 저장하는 단계를 더 포함하는 지휘 게임 방법.
  10. 제9항에 있어서,
    상기 사용자의 지휘 제스처를 인식하는 단계는,
    상기 사용자의 동작을 복수의 단위 제스처로 나누고, 사용자의 단위 제스처와 각각의 단위 제스처의 유사도를 연산하여, 유사도가 임계값보다 크고 가장 높은 값을 가지는 단위 제스처를 상기 사용자의 단위 제스처로 인식하는 지휘 게임 방법.
  11. 제10항에 있어서,
    상기 사용자의 지휘 제스처를 인식하는 단계는,
    상기 사용자의 동작에 따른 단위 제스처를 연속적으로 인식하면,
    연속되는 단위 제스처의 순서에 따라 상기 단위 제스처에 각각 대응하는 노드를 화살표 형태의 선으로 연결시킨 시퀀스도를 표시하는 지휘 게임 방법.
  12. 제11항에 있어서,
    상기 점수를 산정하는 단계는,
    마디에서 첫번째로 인식되는 단위 제스처가 시작 노드로 설정된 노드들에 해당하지 않거나 연속되는 단위 제스처의 순서가 기 저장된 시퀀스에 포함되지 않는 경우, 0점 처리하는 지휘 게임 방법.
  13. 제12항에 있어서,
    상기 점수를 산정하는 단계는,
    사용자의 단위 제스처가 감지된 시점과 음표에 할당된 단위 제스처의 시점간의 시간차의 합이 작을수록 높은 점수를 산정하고, 시간차의 합이 클수록 낮은 점수를 산정하는 지휘 게임 방법.
  14. 제13항에 있어서,
    상기 점수를 산정하는 단계는,
    다음의 수학식을 이용하여 점수를 산정하는 지휘 게임 방법:
    Figure pat00006

    여기서, 여기서, P는 산정되는 점수, N는 지휘 게임에서 만점에 해당하는 점수, S는 차감 점수, f()는 시간차를 점수 형태로 변환하기 위한 함수, ti는 사용자의 단위 제스처가 감지된 시점, tn은 음표에 할당된 단위 제스처의 시점을 나타낸다.
KR1020160169433A 2016-12-13 2016-12-13 사용자 동작 기반의 지휘 게임 장치 및 그것을 이용한 지휘 게임 방법 KR101895691B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160169433A KR101895691B1 (ko) 2016-12-13 2016-12-13 사용자 동작 기반의 지휘 게임 장치 및 그것을 이용한 지휘 게임 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160169433A KR101895691B1 (ko) 2016-12-13 2016-12-13 사용자 동작 기반의 지휘 게임 장치 및 그것을 이용한 지휘 게임 방법

Publications (2)

Publication Number Publication Date
KR20180067964A true KR20180067964A (ko) 2018-06-21
KR101895691B1 KR101895691B1 (ko) 2018-09-05

Family

ID=62806740

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160169433A KR101895691B1 (ko) 2016-12-13 2016-12-13 사용자 동작 기반의 지휘 게임 장치 및 그것을 이용한 지휘 게임 방법

Country Status (1)

Country Link
KR (1) KR101895691B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857482A (zh) * 2020-07-24 2020-10-30 北京字节跳动网络技术有限公司 一种互动方法、装置、设备和可读介质
CN113486740A (zh) * 2021-06-23 2021-10-08 深圳市加糖电子科技有限公司 一种基于手式识别功能的音乐切换系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000317134A (ja) * 1999-05-10 2000-11-21 Taito Corp 音楽指揮者ゲーム装置
JP2001215963A (ja) * 2000-02-02 2001-08-10 Global A Entertainment Inc 音楽演奏装置、音楽演奏ゲーム装置及び記録媒体
JP2002263360A (ja) * 2001-03-08 2002-09-17 Konami Co Ltd 演奏指揮ゲーム装置、ゲーム機の制御方法、情報記憶媒体及びプログラム
JP2007293042A (ja) * 2006-04-25 2007-11-08 Nintendo Co Ltd 音楽演奏プログラムおよび音楽演奏装置
JP2009247503A (ja) * 2008-04-03 2009-10-29 Namco Bandai Games Inc プログラム、情報記憶媒体、及びゲームシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000317134A (ja) * 1999-05-10 2000-11-21 Taito Corp 音楽指揮者ゲーム装置
JP2001215963A (ja) * 2000-02-02 2001-08-10 Global A Entertainment Inc 音楽演奏装置、音楽演奏ゲーム装置及び記録媒体
JP2002263360A (ja) * 2001-03-08 2002-09-17 Konami Co Ltd 演奏指揮ゲーム装置、ゲーム機の制御方法、情報記憶媒体及びプログラム
JP2007293042A (ja) * 2006-04-25 2007-11-08 Nintendo Co Ltd 音楽演奏プログラムおよび音楽演奏装置
JP2009247503A (ja) * 2008-04-03 2009-10-29 Namco Bandai Games Inc プログラム、情報記憶媒体、及びゲームシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857482A (zh) * 2020-07-24 2020-10-30 北京字节跳动网络技术有限公司 一种互动方法、装置、设备和可读介质
CN113486740A (zh) * 2021-06-23 2021-10-08 深圳市加糖电子科技有限公司 一种基于手式识别功能的音乐切换系统

Also Published As

Publication number Publication date
KR101895691B1 (ko) 2018-09-05

Similar Documents

Publication Publication Date Title
KR101711488B1 (ko) 동작 기반 인터랙티브 서비스 방법 및 시스템
WO2015041168A1 (ja) ゲーム制御プログラム、ゲームシステム、およびゲーム制御方法
US8360836B2 (en) Gaming device, game processing method and information memory medium
JP4740608B2 (ja) ガイド表示を制御するためのプログラムおよび情報処理装置
CN103309608A (zh) 突出显示驱动的手势用户界面的视觉反馈
WO2011115017A1 (ja) ゲームシステム及びそのコンピュータプログラム
CN102791342A (zh) 游戏系统、用于该游戏系统的控制方法以及计算机程序
CN102791345B (zh) 游戏系统和游戏系统的控制方法
KR101895691B1 (ko) 사용자 동작 기반의 지휘 게임 장치 및 그것을 이용한 지휘 게임 방법
JP2014012138A (ja) 音楽ゲームを進める方法、装置およびプログラム
US20110201425A1 (en) Game machine and game program
US20160266656A1 (en) Gesture based computer interface system and method
CN112764711A (zh) 音乐交互方法、装置、设备以及存储介质
JP5806936B2 (ja) テキスト出力が可能な音楽ゲームシステム及びそのコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体
JP6299036B2 (ja) ゲーム装置及びプログラム
JP6347518B2 (ja) ゲームシステム、及びそれに用いられるコンピュータプログラム
CN109739388B (zh) 一种基于终端的小提琴演奏方法、装置及终端
KR101476526B1 (ko) 스마트기기를 이용한 음악 학습방법
KR20110022549A (ko) 자동지판을 갖는 모바일 가상기타 및 방법
Shang et al. A music performance method based on visual gesture recognition
KR101576613B1 (ko) 리듬 액션 게임 제공 장치, 방법 및 기록매체
JP4145603B2 (ja) 文字列入力装置及び方法
US20240165510A1 (en) Method and apparatus for interaction
JP6459066B2 (ja) ゲームシステム、ゲーム装置、及びゲームプログラム
KR101581138B1 (ko) 음성제어 영상표시 리듬게임 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant