KR100668298B1 - 움직임에 기반한 소리 발생 방법 및 장치 - Google Patents

움직임에 기반한 소리 발생 방법 및 장치 Download PDF

Info

Publication number
KR100668298B1
KR100668298B1 KR1020040020763A KR20040020763A KR100668298B1 KR 100668298 B1 KR100668298 B1 KR 100668298B1 KR 1020040020763 A KR1020040020763 A KR 1020040020763A KR 20040020763 A KR20040020763 A KR 20040020763A KR 100668298 B1 KR100668298 B1 KR 100668298B1
Authority
KR
South Korea
Prior art keywords
movement
movement pattern
sound
predetermined device
acceleration
Prior art date
Application number
KR1020040020763A
Other languages
English (en)
Other versions
KR20050095386A (ko
Inventor
최은석
김동윤
오종구
방원철
조준기
조성정
장욱
강경호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040020763A priority Critical patent/KR100668298B1/ko
Priority to US11/043,186 priority patent/US7474197B2/en
Priority to EP20050251758 priority patent/EP1583073A1/en
Priority to JP2005090386A priority patent/JP2005292829A/ja
Publication of KR20050095386A publication Critical patent/KR20050095386A/ko
Application granted granted Critical
Publication of KR100668298B1 publication Critical patent/KR100668298B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/395Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/4013D sensing, i.e. three-dimensional (x, y, z) position or movement sensing.

Abstract

본 발명은 관성 센서를 이용하여 소정 장치의 움직임을 감지하고 감지된 움직임에 기반하여 소정 장치의 움직임 패턴을 인식하고, 인식된 움직임 패턴에 상응하는 소리를 발생하는 방법 및 장치에 관한 것이다. 본 발명은 소정 장치의 움직임을 감지하여, 감지된 움직임에 상응하는 가속도 신호를 생성하는 센서부; 상기 생성된 가속도 신호의 분석을 통해, 상기 소정 장치의 움직임 패턴을 인식하는 움직임 패턴 인식부; 및 상기 인식된 움직임 패턴에 상응하는 소리 신호를 실시간으로 생성하는 소리 신호 생성부를 포함하고, 상기 움직임 패턴 인식부는, 상기 생성된 가속도 신호에서 중력성분을 제거하는 항법 좌표 변환부; 및 상기 중력성분이 제거된 가속도 신호에 기반하여, 상기 소정장치의 움직임 패턴을 분석하는 움직임 패턴 분석부를 포함하는 것을 특징으로 한다.

Description

움직임에 기반한 소리 발생 방법 및 장치{Audio generating method and apparatus based on motion}
도1은 본 발명의 일 실시예에 상응하는 소리 발생 장치의 블록도를 도시하고 있다.
도2는 3차원 공간에서 사용되는, 본 발명의 일 실시예에 상응하는 움직임 기반 소리 발생 장치의 움직임 패턴을 도시하고 있다.
도3은 소리 발생 장치의 움직임에 기반하여 소리를 발생하는 방법을 설명하고 있는 흐름도이다.
도5는 가속도 센서를 구비하고 있는, 본 발명의 일 실시예에 상응하는 움직임 기반 소리 발생 장치에서 소리 발생 장치의 움직임 패턴을 분석하는 단계를 보다 상세히 설명하고 있는 흐름도이다.
삭제
도9은 서로 다른 소리를 발생하는 2개의 소리 발생 장치를 이용하여, 비트 박스를 구현하는 일 실시예를 도시하고 있다.
삭제
삭제
삭제
본 발명은 소리 발생 방법 및 장치에 관한 것으로, 보다 상세하게는 관성 센서를 이용하여 소정 장치의 움직임 패턴을 인식하고 인식된 움직임 패턴에 상응하는 소리를 발생하는 움직임 기반 소리 발생 장치 및 방법에 관한 것이다.
각속도 센서는 소정 장치의 각 변화량을 감지하고 감지된 각 변화량에 상응하는 센서 신호 값을 출력하는 센서이며 가속도 센서는 소정 장치의 속도 변화량을 감지하고 감지된 속도 변화량에 상응하는 센서 신호 값을 출력하는 센서이다. 각 속도 센서와 가속도 센서와 같은 관성 센서를 이용하여 3차원 공간에서 소정 장치의 움직임을 인식하고 인식된 움직임 패턴에 상응하는 문자, 기호 또는 소정 제어 명령이 입력되는 입력 장치에 대한 연구가 계속되고 있다.
사용자의 움직임 패턴은 사용자마다 조금씩 서로 상이하기 때문에, 사용자가 정확한 움직임 패턴으로 움직이지 않는 경우에, 상기 움직임 기반 입력 장치에 사용자의 의도와 전혀 다른 문자나 제어 명령이 입력되는 경우가 발생한다. 종래의 움직임 기반 입력 장치에서, 사용자 자신은 어떠한 종류와 내용의 문자 또는 제어 명령을 입력하고 있는지를 특정 문자나 제어 명령 입력 도중에는 인식할 수 없다. 특정 문자나 제어 명령을 완전히 입력한 후, 입력 장치의 입력 움직임에 상응하는 입력 또는 제어 결과를 통해 사용자 자신이 어떠한 내용과 종류의 문자나 제어 명령을 입력하였는지 인식할 수 있다. 따라서, 사용자가 원하는 문자 또는 제어 명령이 입력되지 않은 경우에, 처음부터 다시 소정 문자나 제어 명령을 입력해야 하는 불편함이 있었다.
본 발명이 이루고자 하는 기술적 과제는 소정 장치의 움직임 패턴을 인식하고 인식된 움직임 패턴에 상응하는 소정의 소리를 발생하는 움직임 기반 소리 발생 방법 및 장치를 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는 상기의 움직임 기반 소리 발생 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 본 발명에 따른 움직임 기반 소리 발생 장치는 소정 장치의 움직임을 감지하여, 감지된 움직임에 상응하는 가속도 신호를 생성하는 센서부; 상기 생성된 가속도 신호의 분석을 통해, 상기 소정 장치의 움직임 패턴을 인식하는 움직임 패턴 인식부; 및 상기 인식된 움직임 패턴에 상응하는 소리 신호를 실시간으로 생성하는 소리 신호 생성부를 포함하고, 상기 움직임 패턴 인식부는, 상기 생성된 가속도 신호에서 중력성분을 제거하는 항법 좌표 변환부; 및 상기 중력성분이 제거된 가속도 신호에 기반하여, 상기 소정장치의 움직임 패턴을 분석하는 움직임 패턴 분석부를 포함하는 것을 특징으로 한다.
삭제
삭제
삭제
한편, 상기 기술적 과제를 달성하기 위한 본 발명에 따른 움직임 기반 소리 발생 방법은 소정 장치의 움직임을 감지하여, 감지된 움직임에 상응하는 가속도 신호를 생성하는 단계; 상기 생성된 가속도 신호에서 중력성분을 제거하는 단계; 상기 중력성분이 제거된 가속도 신호에 기반하여, 상기 소정 장치의 움직임 패턴을 인식하는 단계; 및 상기 인식된 움직임 패턴에 상응하는 소리 신호를 실시간으로 생성하는 단계를 구비하는 것을 특징으로 한다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 소리 발생 방법 및 장치에 대해 상세히 설명한다.
삭제
삭제
삭제
도1은 본 발명의 일 실시예에 상응하는 움직임 기반 소리 발생 장치의 블록도를 도시한 것으로서, 상기 움직임 기반 소리 발생 장치는 센서부(10), 움직임 패턴 인식부(20), 소리 신호 생성부(30) 및 출력부(40)를 포함하는 것을 특징으로 한다. 소리 발생 장치가 움직일 때, 센서부(10)는 소리 발생 장치의 움직임을 감지하고 감지된 움직임에 상응하는 센서 신호 값을 출력한다. 움직임 패턴 인식부(20)는 상기 센서부(10)로부터 출력된 센서 신호 값을 기초로 소리 발생 장치의 움직임 패턴을 인식한다. 상기 소리 신호 생성부(30)는 상기 움직임 패턴 인식부에서 인식된 움직임 기반 소리 발생 장치의 움직임 패턴에 상응하는 소리 신호를 생성한다. 출력부(40)는 상기 생성된 소리 신호를 입력받아 상응하는 소리를 출력한다. 예를 들어, 스피커와 같은 출력부(40)는 본 발명이 적용되는 응용분야 에 따라 하나 이상의 스피커를 포함하고 있다.
상기 센서부(10)는 가속도 센서를 포함하도록 구성될 수 있다. 상기 소리 발생 장치를 움직임에 따라 소리 발생 장치의 가속도는 변화하며, 이하에서 소리 발생 장치의 움직임 패턴은 가속도의 변화 패턴을 포함하는 것으로 정의한다. 가속도 센서는 상기 소리 발생 장치의 가속도, 즉 소리 발생 장치의 움직임 속도 변화를 감지하고 감지된 가속도에 상응하는 센서 신호 값을 생성한다. 상기 가속도 센서를 통해 소리 발생 장치의 가속도를 인식할 수 있다.
도2는 3차원 공간에서 사용되는, 본 발명의 일 실시예에 상응하는 움직임 기반 소리 발생 장치의 움직임 패턴을 도시하고 있다. 도2에 도시하고 있는 것과 같이, 상기 움직임 기반 소리 발생 장치는 각각 좌/우 방향, 앞/뒤 방향 및 위/아래 방향의 움직임 패턴을 가진다. 상기 3개의 움직임 패턴을 감지하기 위해, 상기 소리 발생 장치는 소리 발생 장치의 몸체 좌표계 상의 x축, y축 및 z축 방향으로 각각 1개의 각속도 센서 또는 가속도 센서를 구비하고 있다. 상기 x축 상에 배치되어 있는 가속도 센서는 소리 발생 장치의 좌/우 방향의 움직임 가속도를 감지한다. 상기 y축 상에 배치되어 있는 가속도 센서는 소리 발생 장치의 앞/뒤 방향의 움직임 가속도를 감지한다. 한편, z축 상에 배치되어 있는 가속도 센서는 소리 발생 장치의 위/아래 방향의 움직임 가속도를 감지한다.
다시 도1을 참고하여, 상기 움직임 패턴 인식부(20)는 아날로그 전압 신호를 디지털 신호로 변환시켜 주는 A/D 변환부(22), 디지털 신호로 변환된 가속도 신호에서 중력성분을 제거하는 항법 좌표 변환부(24) 및 중력성분이 제거된 가속도 신호에 기반하여, 소리 발생 장치의 움직임 패턴 인식 알고리즘을 수행하는 움직임 패턴 분석부(26)를 포함한다. 상기 센서부(10)로부터 출력되는 센서 신호는 상기 움직임 기반 소리 발생 장치의 가속도 값에 상응하는 아날로그 신호이며, A/D 변환부(22)는 센서부(10)로부터 출력된 아날로그 센서 신호 값을 디지털 센서 신호 값으로 변환시킨다. A/D 변환부(22)에서 변환된 디지털 센서 신호 값은 항법 좌표 변환부(24)로 제공되며, 항법 좌표 변환부(24)는 디지털로 변환된 센서 신호값을 항법 좌표계상의 센서 신호값으로 변환한다. 상기 움직임 패턴 분석부(26)는 항법 좌표계로 변환된 센서 신호 값을 이용하여 소리 발생 장치의 움직임 패턴을 분석하기 위한 알고리즘을 수행한다.
상기 소리 신호 생성부(30)는 소리 발생 장치의 움직임 패턴과 각각의 움직임 패턴에 상응하는 소리 신호 데이터를 저장하고 있는 저장 매체(32) 및 소정의 소리 신호 데이터에 상응하는 신호를 발생하는 신호 발생부(34)를 포함한다. 소리 발생 장치의 움직임 패턴을 상기 움직임 패턴 분석부(26)에서 분석한 시점에, 움직임 패턴 분석부(26)는 소리 발생 장치의 움직임 패턴에 상응하는 소리 신호 데이터를 상기 저장 매체(32)로부터 추출하고, 상기 신호 발생부(34)는 추출된 소리 신호 데이터에 상응하는 소리 신호를 실시간으로 발생한다. 출력부(40)는 소리 신호를 입력받아 소정의 소리를 출력한다.
도3은 소리 발생 장치의 움직임에 기반하여 소리를 발생하는 방법을 설명하고 있는 흐름도이다. 310 단계에서, 소리 발생 장치의 센서부(10)를 통해 소리 발생 장치의 움직임을 감지한다. 상기 설명한 것과 같이, 상기 센서부(10)는 가속도 센서로 구성되어 있으며, 상기 소리 발생 장치의 움직임 가속도를 측정한다. 상기 센서부(10)는 측정된 소리 발생 장치의 움직임에 상응하는 센서 신호 값을 생성하여 움직임 패턴 인식부(20)로 출력한다. 320 단계에서, 상기 감지된 소리 발생 장치의 움직임을 기초로 상기 소리 발생 장치의 움직임 패턴을 인식한다. 상기 소리 발생 장치의 움직임 패턴을 인식하는 단계는 센서부(10)에서 생성된 센서 신호 값을 A/D 변환부(22)에서 디지털 센서 신호 값으로 변환하는 단계와 상기 디지털로 변환된 센서 신호값을 이용하여 항법 좌표 변환부(24)에서 디지털 신호를 항법 좌표계로 변환하고, 움직임 패턴 분석부(24)에서 상기 소리 발생 장치의 움직임 패턴을 분석하는 단계를 포함한다. 상기 소리 발생 장치의 움직임 패턴을 분석하는 단계는 이하 도5에서 보다 상세히 설명된다. 330 단계에서, 상기 인식된 소리 발생 장치의 움직임 패턴에 상응하는 소리 신호를 생성한다. 상기 소리 신호 생성 단계는 인식된 움직임 패턴에 상응하는 소리 신호 데이터를 저장 매체(32)로부터 추출하는 단계와 상기 추출된 소리 신호 데이터를 기초로 소리 발생부(34)에서 소리 신호를 생성하는 단계를 포함한다.
도5는 가속도 센서를 구비하고 있는, 본 발명의 일 실시예에 상응하는 움직임 기반 소리 발생 장치에서 소리 발생 장치의 움직임 패턴을 분석하는 단계를 보다 상세히 설명하고 있는 흐름도이다. 510 단계에서, 상기 움직임 기반 소리 발생 장치의 움직임 패턴 인식 표현 변수(Tx, Ty, Tz)를 0으로 초기화한다. 움직임 패턴 인식 표현 변수들에 대한 정의는 상기 도4에서 설명한 것과 동일하다. 520 단계에서, 상기 A/D 변환부(22)를 통해 디지털로 변환된 센서 신호 값(Abx, Aby, Abz)을 획득하다. 상기 가속도 센서(10)는 소리 발생 장치의 움직임 패턴 크기에 상응하는 측정값, 예를 들어 전압 신호를 생성하고, 상기 생성된 측정값은 아래의 수학식2를 통해 가속도 센서 신호 값(Abx, Aby, Abz)으로 계산된다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
Figure 112004012513684-pat00002
여기서, Abx, Aby, Abz는 소리 발생 장치의 몸체좌표계 각 축(x축, y축, z축)에서 측정한 소리 발생 장치의 가속도 센서 신호 값이며, Sbx ,Sby ,Sbz 소리 발생 장치의 각 축에 배치되어 있는 가속도 센서의 민감도(sensitivity)를 나타내는 값이며, Vbx, Vby, Vbz 는 소리 발생 장치의 몸체좌표계 각 축에 장착된 가속도 센서에서 생성되는 측정값이고, Vbox, Vboy, Vboz는 소리 발생 장치의 몸체좌표계 각 축에 장착된 가속도 센서의 가속도 값이 0인 경우에 생성되는 측정값이다.
3차원 공간상에서 움직임 기반 소리 발생 장치는 항상 중력 가속도(g)를 받고 있기 때문에, 430 단계에서, 가속도 센서로부터 생성된 센서 신호 값(Abx, Aby, Abz)을 항법 좌표계의 센서 신호 값(Anx, Any, Anz)으로 변환하여야 한다. 몸체 좌표계 센서 신호 값을 항법 좌표계 센서 신호 값으로 변환하기 위하여 일반적으로 각속도 센서가 필요하다. 그러나, 본원발명에서는 사용자가 소리 발생 장치를 움직일 때, 소리 발생 장치의 자세는 크게 변하지 않는다는 가정하에 아래 수학식(3)을 사용하여 몸체 좌표계 센서 신호 값(Abx, Aby, Abz)을 항법 좌표계 센서 신호 값(Anx, Any, Anz)으로 변환한다.
Figure 112004012513684-pat00003
여기서, g은 중력 가속도이며, 회전 행렬
Figure 112004012513684-pat00004
은 다음과 같이 표현된다.
Figure 112004012513684-pat00005
여기서, φ, θ, ψ은 오일러 각이며, 다음의 수학식(4), (5), (6)에 의해 계산된다.
Figure 112004012513684-pat00006
φ(t) = tan-1
Figure 112004012513684-pat00007
Figure 112004012513684-pat00008
θ(t) = sin -1 또는 θ(t)= tan-1
ψ(t) = 0
540 단계에서, 상기 항법 좌표계로 변환된 센서 신호 값과 소정의 임계값(Cbx, Cby, Cbz)을 비교하여 상기 센서 신호 값이 소정의 임계값을 초과하는 시점을 탐지한다. 상기 센서 신호 값이 소정의 임계값을 초과하는 시점에, 소리 발생 장치의 특정 방향 가속도가 인식된다. 소리 발생 장치의 위/아래, 좌/우 또는 앞/뒤 방향 가속도는 이하의 움직임 인식 알고리즘으로 인식된다.
(1) 소리 발생 장치의 위/아래 방향 가속도를 인식하는 경우,
|Anz(kz - 1)| ≤ Cbz 에서 |Anz(kz)|>C bz 변하는 시점(kz)을 탐지한다. 소리 발생 장치의 위/아래 방향 가속도는 소리 발생 장치의 몸체 좌표계 z축 상에 배치되어 있는 가속도 센서를 사용하여 인식된다.
(2) 소리 발생 장치의 좌/우 방향 가속도를 인식하는 경우,
|Anx(kx - 1)| ≤ Cbx 에서 |Anx(kx)|>C bx 변하는 시점(kx)을 탐지한다. 소 리 발생 장치의 좌/우 방향 가속도는 소리 발생 장치의 몸체 좌표계 x축 상에 배치되어 있는 가속도 센서를 사용하여 인식된다.
(3) 소리 발생 장치의 앞/뒤 방향 가속도를 인식하는 경우,
|Any(ky - 1)| ≤ Cby 에서 |Any(ky)|>C by 변하는 시점(ky)을 탐지한다. 소리 발생 장치의 앞/뒤 방향 가속도는 소리 발생 장치의 몸체 좌표계 y축 상에 배치되어 있는 가속도 센서를 사용하여 인식된다. 여기서, kx, ky, kz는 현재의 이산 시간 값이며, kx - 1, ky - 1, kz - 1은 현재 이산 시간의 바로 전의 값이다. 550 단계에서, 가속도 센서에서 출력된 센서 신호 값이 상기 소정 임계값을 초과하는 각각의 시점(Kx, Ky, Kz)에 움직임 패턴 인식 표현 변수(Tx, Ty , Tz)은 각각 1로 설정된다. 상기 움직임 패턴 인식 표현 변수가 1로 설정되는 시점에, 상기 움직임 기반 소리 발생 장치는 x축, y축 또는 z축의 움직임 패턴에 상응하는 각각의 소리를 발생한다.
한편, 540 단계에서, 항법 좌표계 센서 신호 값을 소정의 임계값과 비교하여, 상기 센서 신호 값이 소정의 임계값을 초과하지 않는 경우에는 520 단계로 돌아간다. 560 단계에서, 가속도 센서로부터 센서 신호 값이 계속해서 입력되고 있는지를 결정한다. 계속해서 센서 신호 값이 획득되면, 510 단계로 돌아간다.
도9은 2개의 소리 발생 장치를 이용하여 비트 박스를 구현하는, 본 발명의 일 실시예를 도시하고 있다. 도9에 도시되어 있는 것과 같이, 사용자가 소리 발생 장치를 좌/우, 위/아래 방향 또는 앞/뒤 방향으로 움직이거나 빠른 또는 느린 속도 변화를 가지고 움직이면, 상기 소리 발생 장치의 움직임을 감지하고 감지된 움직임을 기초로 소리 발생 장치의 움직임 패턴을 인식한다. 상기 소리 발생 장치는 소리 발생 장치의 움직임 패턴을 인식하여 인식된 움직임 패턴에 상응하는 소리를 발생한다. 소리 발생 장치1과 소리 발생 장치2는 움직임 패턴에 따라 각각 서로 다른 소리를 발생하도록 제작될 수 있다. 도9는 소리 발생 장치의 일 실시예를 도시한 것이며, 상기 소리 발생 장치가 사용되는 분야에 따라 다수의 소리 발생 장치가 사용될 수 있으며, 각각의 소리 발생 장치는 움직임 패턴에 따라 서로 다른 소리를 발생하도록 제작될 수 있다.
삭제
삭제
삭제
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이 디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
상기 움직임 기반 소리 발생 방법 및 장치를 통해, 사용자는 특정 문자나 신호 또는 제어 명령을 입력하는 도중에도 어떠한 내용의 문자나 신호 또는 제어 명령이 입력되고 있는지를 알 수 있다. 또한, 본 발명을 휴대폰이나 PDA와 같은 다양한 휴대 정보 기기 또는 타악기 기능을 갖는 장치에 적용함으로써, 사용자의 특정 움직임을 소리로 표현할 수 있으며, 따라서 항상 새로움을 추구하는 현대인의 욕구를 충족시켜 줄 수 있다.

Claims (20)

  1. 소정 장치의 움직임을 감지하여, 감지된 움직임에 상응하는 가속도 신호를 생성하는 센서부;
    상기 생성된 가속도 신호의 분석을 통해, 상기 소정 장치의 움직임 패턴을 인식하는 움직임 패턴 인식부; 및
    상기 인식된 움직임 패턴에 상응하는 소리 신호를 실시간으로 생성하는 소리 신호 생성부를 포함하고,
    상기 움직임 패턴 인식부는,
    상기 생성된 가속도 신호에서 중력성분을 제거하는 항법 좌표 변환부; 및
    상기 중력성분이 제거된 가속도 신호에 기반하여, 상기 소정장치의 움직임 패턴을 분석하는 움직임 패턴 분석부를 포함하는 것을 특징으로 하는 움직임 기반 소리 발생 장치.
  2. 삭제
  3. 제 1 항에 있어서, 상기 소리 신호 생성부는
    상기 소정 장치의 움직임 패턴과 이에 상응하는 소리 신호 데이터를 저장하고 있는 저장 매체; 및
    상기 움직임 패턴 인식부에서 인식된 소정 장치의 움직임 패턴에 상응하는 소정의 소리 신호 데이터를 상기 저장 매체에서 추출하여 소리 신호를 발생하는 신호 발생부를 포함하는 것을 특징으로 하는 움직임 기반 소리 발생 장치.
  4. 제1항에 있어서, 상기 생성된 소리 신호를 출력하는 출력부를 더 포함하는 것을 특징으로 하는 움직임 기반 소리 발생 장치.
  5. 삭제
  6. 제 1 항에 있어서, 상기 센서부는
    가속도 센서인 것을 특징으로 하는 움직임 기반 소리 발생 장치.
  7. 삭제
  8. 소정 장치의 움직임을 감지하여, 감지된 움직임에 상응하는 가속도 신호를 생성하는 단계;
    상기 생성된 가속도 신호에서 중력성분을 제거하는 단계;
    상기 중력성분이 제거된 가속도 신호에 기반하여, 상기 소정 장치의 움직임 패턴을 인식하는 단계; 및
    상기 인식된 움직임 패턴에 상응하는 소리 신호를 실시간으로 생성하는 단계를 포함하는 것을 특징으로 하는 움직임 기반 소리 발생 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제 8 항에 있어서, 상기 소정 장치의 움직임 패턴을 분석하는 단계는
    움직임 패턴 인식 표현 변수를 초기화하는 단계;
    디지털로 변환된 센서 신호 값을 항법 좌표계 상의 센서 신호 값으로 변환하는 단계;
    상기 센서 신호값이 소정의 임계값을 초과하는 시점을 탐지하는 단계; 및
    상기 탐지된 시점에 상기 움직임 패턴 인식 표현 변수를 소정의 값으로 변환하는 단계를 포함하는 것을 특징으로 하는 움직임 기반 소리 발생 방법.
  13. 제 12 항에 있어서, 상기 임계값은 사용자의 움직임 패턴에 따라 조절될 수 있는 것을 특징으로 하는 움직임 기반 소리 발생 방법.
  14. 제 8 항에 있어서, 상기 소리 신호 생성 단계는
    상기 인식된 움직임 패턴에 상응하는 소리 신호 데이터를 추출하는 단계; 및
    상기 추출된 소리 신호 데이터에 상응하는 소리 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 움직임 기반 소리 발생 방법.
  15. 제 8 항에 있어서, 상기 생성된 소리 신호를 출력하는 단계를 더 포함하는 것을 특징으로 하는 움직임 기반 소리 발생 방법.
  16. 삭제
  17. 제 8 항, 제12 내지 제 15 항 중 어느 한 항에 있어서, 상기 소정 장치의 움직임 감지 단계는 상기 소정 장치의 가속도를 감지하는 것을 특징으로 하는 움직임 기반 소리 발생 방법.
  18. 삭제
  19. 제 8 항에 의한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  20. 제 1 항에 있어서, 상기 항법 좌표 변환부는
    상기 소정 장치의 움직임에 대한 초기의 자세를 추정하여 중력 성분을 제거하는 것을 특징으로 하는 움직임 기반 소리 발생 장치.
KR1020040020763A 2004-03-26 2004-03-26 움직임에 기반한 소리 발생 방법 및 장치 KR100668298B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020040020763A KR100668298B1 (ko) 2004-03-26 2004-03-26 움직임에 기반한 소리 발생 방법 및 장치
US11/043,186 US7474197B2 (en) 2004-03-26 2005-01-27 Audio generating method and apparatus based on motion
EP20050251758 EP1583073A1 (en) 2004-03-26 2005-03-22 Audio generating method and apparatus based on motion
JP2005090386A JP2005292829A (ja) 2004-03-26 2005-03-28 動き基盤の音声発生方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040020763A KR100668298B1 (ko) 2004-03-26 2004-03-26 움직임에 기반한 소리 발생 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20050095386A KR20050095386A (ko) 2005-09-29
KR100668298B1 true KR100668298B1 (ko) 2007-01-12

Family

ID=34880347

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040020763A KR100668298B1 (ko) 2004-03-26 2004-03-26 움직임에 기반한 소리 발생 방법 및 장치

Country Status (4)

Country Link
US (1) US7474197B2 (ko)
EP (1) EP1583073A1 (ko)
JP (1) JP2005292829A (ko)
KR (1) KR100668298B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180081248A (ko) * 2017-01-06 2018-07-16 주식회사 이랜텍 착용식 알림 장치

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738072B1 (ko) * 2005-02-01 2007-07-12 삼성전자주식회사 움직임 기반 소리 설정장치와 소리 발생장치 및 움직임기반 소리 설정방법과 소리 발생방법
JP4585473B2 (ja) * 2006-03-09 2010-11-24 株式会社エクシング 電子早見本装置
JP4679429B2 (ja) * 2006-04-27 2011-04-27 任天堂株式会社 音出力プログラムおよび音出力装置
JP4679431B2 (ja) * 2006-04-28 2011-04-27 任天堂株式会社 音出力制御プログラムおよび音出力制御装置
TW200828077A (en) * 2006-12-22 2008-07-01 Asustek Comp Inc Video/audio playing system
KR100921814B1 (ko) * 2007-04-26 2009-10-16 주식회사 애트랩 포인팅 장치 및 이의 움직임 제어 방법
KR100903566B1 (ko) * 2007-08-03 2009-06-23 김영기 인자 측정 및 표시 방법, 인자 측정 및 표시 장치, 인자측정 및 표시 프로그램을 기록한 컴퓨터로 읽을 수 있는매체 및 음향 스캐너
WO2010092139A2 (fr) * 2009-02-13 2010-08-19 Movea S.A Dispositif et procede d'interpretation de gestes musicaux
US7939742B2 (en) * 2009-02-19 2011-05-10 Will Glaser Musical instrument with digitally controlled virtual frets
EP2407008A1 (en) * 2009-03-10 2012-01-18 Koninklijke Philips Electronics N.V. Interactive system and method for sensing movement
US8461468B2 (en) 2009-10-30 2013-06-11 Mattel, Inc. Multidirectional switch and toy including a multidirectional switch
WO2011097371A1 (en) * 2010-02-04 2011-08-11 First Act Inc. Electronic drumsticks system
KR101157129B1 (ko) * 2010-04-23 2012-06-22 (재) 전라남도문화산업진흥원 동작 기반의 음악 구절 표현 방법, 음악 검색 방법 및 음악 검색 장치
JP5316818B2 (ja) * 2010-10-28 2013-10-16 カシオ計算機株式会社 入力装置およびプログラム
JP2013213744A (ja) * 2012-04-02 2013-10-17 Casio Comput Co Ltd 姿勢検出装置、方法及びプログラム
JP6044099B2 (ja) 2012-04-02 2016-12-14 カシオ計算機株式会社 姿勢検出装置、方法及びプログラム
JP2013213946A (ja) * 2012-04-02 2013-10-17 Casio Comput Co Ltd 演奏装置、方法及びプログラム
GB201315228D0 (en) * 2013-08-27 2013-10-09 Univ London Queen Mary Control methods for expressive musical performance from a keyboard or key-board-like interface
CN105354950A (zh) * 2015-11-09 2016-02-24 苏州美达瑞电子有限公司 一种基于压电感应的门铃铃声调节控制装置
KR101778428B1 (ko) * 2016-02-04 2017-09-14 박종섭 양극 연주 전자 악기
CN106390465A (zh) * 2016-11-23 2017-02-15 璁搁弓 一种生活娱乐用品及其控制方法
US11393437B2 (en) 2016-12-25 2022-07-19 Mictic Ag Arrangement and method for the conversion of at least one detected force from the movement of a sensing unit into an auditory signal
JP7081921B2 (ja) * 2017-12-28 2022-06-07 株式会社バンダイナムコエンターテインメント プログラム及びゲーム装置
JP7081922B2 (ja) 2017-12-28 2022-06-07 株式会社バンダイナムコエンターテインメント プログラム、ゲーム装置及びゲームを実行するための方法
US10152958B1 (en) 2018-04-05 2018-12-11 Martin J Sheely Electronic musical performance controller based on vector length and orientation
US10991349B2 (en) 2018-07-16 2021-04-27 Samsung Electronics Co., Ltd. Method and system for musical synthesis using hand-drawn patterns/text on digital and non-digital surfaces
JP7147384B2 (ja) * 2018-09-03 2022-10-05 ヤマハ株式会社 情報処理方法および情報処理装置
CN112216283B (zh) * 2020-09-24 2024-02-23 建信金融科技有限责任公司 一种语音识别方法、装置、设备及存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5290964A (en) * 1986-10-14 1994-03-01 Yamaha Corporation Musical tone control apparatus using a detector
US5177311A (en) * 1987-01-14 1993-01-05 Yamaha Corporation Musical tone control apparatus
US4905560A (en) * 1987-12-24 1990-03-06 Yamaha Corporation Musical tone control apparatus mounted on a performer's body
US5170002A (en) * 1987-12-24 1992-12-08 Yamaha Corporation Motion-controlled musical tone control apparatus
US4904222A (en) * 1988-04-27 1990-02-27 Pennwalt Corporation Synchronized sound producing amusement device
JP2663503B2 (ja) * 1988-04-28 1997-10-15 ヤマハ株式会社 楽音制御装置
JPH0299994A (ja) * 1988-10-06 1990-04-11 Yamaha Corp 楽音制御装置
JP2500544B2 (ja) * 1991-05-30 1996-05-29 ヤマハ株式会社 楽音制御装置
US5541358A (en) * 1993-03-26 1996-07-30 Yamaha Corporation Position-based controller for electronic musical instrument
US5920024A (en) * 1996-01-02 1999-07-06 Moore; Steven Jerome Apparatus and method for coupling sound to motion
JPH11118507A (ja) 1997-10-09 1999-04-30 Yokogawa Denshikiki Co Ltd 船舶の慣性航法装置
JP2000148351A (ja) 1998-09-09 2000-05-26 Matsushita Electric Ind Co Ltd ユ―ザ動作の種類に応じて操作指示をする操作指示出力装置及びコンピュ―タ読み取り可能な記録媒体
US6150947A (en) * 1999-09-08 2000-11-21 Shima; James Michael Programmable motion-sensitive sound effects device
EP1837858B1 (en) * 2000-01-11 2013-07-10 Yamaha Corporation Apparatus and method for detecting performer´s motion to interactively control performance of music or the like
US6626728B2 (en) * 2000-06-27 2003-09-30 Kenneth C. Holt Motion-sequence activated toy wand
EP1195742B1 (en) * 2000-09-05 2008-02-27 Yamaha Corporation System and method for generating tone in response to movement of portable terminal
US6826509B2 (en) * 2000-10-11 2004-11-30 Riddell, Inc. System and method for measuring the linear and rotational acceleration of a body part
JP4694705B2 (ja) * 2001-02-23 2011-06-08 ヤマハ株式会社 楽音制御システム
CN1287733C (zh) 2001-03-06 2006-12-06 微石有限公司 身体动作检测装置
JP4779264B2 (ja) * 2001-09-05 2011-09-28 ヤマハ株式会社 移動通信端末、楽音生成システム、楽音生成装置および楽音情報提供方法
USD509257S1 (en) * 2003-03-19 2005-09-06 Nintendo Co., Ltd. Swing display toy

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180081248A (ko) * 2017-01-06 2018-07-16 주식회사 이랜텍 착용식 알림 장치
KR101925888B1 (ko) * 2017-01-06 2018-12-06 주식회사 이랜텍 착용식 알림 장치

Also Published As

Publication number Publication date
KR20050095386A (ko) 2005-09-29
US7474197B2 (en) 2009-01-06
JP2005292829A (ja) 2005-10-20
US20050213476A1 (en) 2005-09-29
EP1583073A1 (en) 2005-10-05

Similar Documents

Publication Publication Date Title
KR100668298B1 (ko) 움직임에 기반한 소리 발생 방법 및 장치
US20070091292A1 (en) System, medium, and method controlling operation according to instructional movement
US10095402B2 (en) Method and apparatus for addressing touch discontinuities
KR101185144B1 (ko) 제스쳐의 2차원 궤적을 추정하는 방법 및 장치
US9443536B2 (en) Apparatus and method for detecting voice based on motion information
JP5789270B2 (ja) 表面音響信号を用いたユーザインタフェース提供装置及び方法、ユーザインタフェースを備えるデバイス
JP6064280B2 (ja) ジェスチャを認識するためのシステムおよび方法
EP2426598A2 (en) Apparatus and method for user intention inference using multimodal information
US8629344B2 (en) Input apparatus and recording medium with program recorded therein
KR20170093801A (ko) 정지-모션 컨텐츠의 증강
US10078373B2 (en) Method of temporal segmentation of an instrumented gesture, associated device and terminal
KR101639351B1 (ko) 웨어러블 입력 시스템 및 모션 인식 방법
JP2005092722A (ja) 動作認識装置
JP3678388B2 (ja) ペン型入力装置及びペン型入力装置のパターン認識方法
KR20200072030A (ko) 소리와 가속도 데이터를 이용한 멀티모달 기침 감지 장치 및 방법
CN111050266B (zh) 一种基于耳机检测动作进行功能控制的方法及系统
CN112206480B (zh) 一种基于九轴传感器的自适应踢腿状态识别方法及其装置
JP3045891B2 (ja) 手書き入力装置
KR100718126B1 (ko) 동작 인식 기반 입력 장치의 사용자 인터페이스 방법 및 그장치
JP6821174B2 (ja) 手書き文字認識装置、検出装置および処理装置
Ghaffar et al. Malay cued speech transliterate system using wearable sensors: A survey
KR102122647B1 (ko) 제스쳐 인식 장치 및 방법
JPH09274535A (ja) ペン型入力装置
KR20070039330A (ko) 동작 인식 장치 및 방법
KR20180035010A (ko) 음향 분석 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
E902 Notification of reason for refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121228

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141223

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151229

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20171228

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20181227

Year of fee payment: 13