KR100523892B1 - 디지털 펜을 사용하여 상용 악보 표기(cmn)를 기록하기위한 방법 및 시스템 - Google Patents

디지털 펜을 사용하여 상용 악보 표기(cmn)를 기록하기위한 방법 및 시스템 Download PDF

Info

Publication number
KR100523892B1
KR100523892B1 KR10-2002-0000171A KR20020000171A KR100523892B1 KR 100523892 B1 KR100523892 B1 KR 100523892B1 KR 20020000171 A KR20020000171 A KR 20020000171A KR 100523892 B1 KR100523892 B1 KR 100523892B1
Authority
KR
South Korea
Prior art keywords
input
input device
information
menu
computer
Prior art date
Application number
KR10-2002-0000171A
Other languages
English (en)
Other versions
KR20020057814A (ko
Inventor
호마윤사다르모하마드 베이지
Original Assignee
인터내셔널 비지네스 머신즈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터내셔널 비지네스 머신즈 코포레이션 filed Critical 인터내셔널 비지네스 머신즈 코포레이션
Publication of KR20020057814A publication Critical patent/KR20020057814A/ko
Application granted granted Critical
Publication of KR100523892B1 publication Critical patent/KR100523892B1/ko

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00Teaching music
    • G09B15/02Boards or like means for providing an indication of notes
    • G09B15/023Electrically operated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/037Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor using the raster scan of a cathode-ray tube [CRT] for detecting the position of the member, e.g. light pens cooperating with CRT monitors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/30Character recognition based on the type of data
    • G06V30/304Music notations
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00Teaching music
    • G09B15/02Boards or like means for providing an indication of notes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10GREPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00Means for the representation of music

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Discrimination (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

음악을 작곡하기 위한 컴퓨터 실행 방법(및 시스템)은 입력 장치로부터의 입력에 따라서 메뉴를 시작(launch)하는 단계와, 작곡가에 의한 자유로운 핸드라이팅(handwriting)과 메뉴 아이템에 따라서 입력 장치를 이용하여 악보 표기를 선택적으로 입력하는 단계와, 악보 표기를 디스플레이하는 단계를 포함한다.

Description

디지털 펜을 사용하여 상용 악보 표기(CMN)를 기록하기 위한 방법 및 시스템{Method and system for writing common music notation(CMN) using a digital pen}
본 발명은 일반적으로 컴퓨터를 사용하여 상용 악보 표기(Common Music Notation; CMN)를 입력하기 위한 인터페이스에 관한 것으로, 특히, 이를 빠르고 자연스럽게 행하는 인터페이스에 관한 것이다.
종래의 기술에서, 사용자/작곡가가 컴퓨터 상에서 음악을 쉽고 효과적으로 작곡하는 데에는 문제점이 있었다. 다른 문제점은 자유롭게 핸드라이트된(handwritten) 텍스트의 자동 인식에 있었다. HMMs(hidden Markov models)와 같은 통계적 방법이 언어 인식을 위해 성공적으로 사용되어 왔으며 이는 최근에 핸드라이팅(handwriting) 인식의 문제점에도 매우 성공적으로 적용되어 왔다.
그러나, 본 발명 이전에는, 악보 표기 시스템을 제작하기 위하여 대용량의 어휘 핸드라이팅 인식을 사용하는 시도는 없었다.
또한, 컴퓨터를 이용하는 종래의 음악 작곡 시스템 및 방법은 입력 장치로서 통상적으로 키보드와 마우스를 "드레그 앤 드롭(drag and drop)" 또는 "픽 앤 플레이스(pick and place)" 방식으로 사용한다. 즉, 음표(notes)를 입력하기 위해, 메뉴가 마우스를 통해 사용자에 의해 액세스되고 소정 위치(예를 들면, 디스플레이 스크린 상의 악보)가 선택된다. 그러나, 이러한 기술은 매우 거추장스럽고 느리며 사용자를 매우 피곤하게 하고 불편하다.
악보 표기 시스템을 사용하는 "픽 앤 플레이스" 시스템의 한가지 중요한 문제점은, 악보의 일반적인 표기에는 수백 가지의 형태가 사용되며 그의 큰 사이즈와 그들을 계층적 방식으로 분류하는 데 있어서의 어려움으로 인하여, 사용자가 수백개의 리스트로부터 적당한 기호(symbol)를 발견하는 것이 일반적으로 매우 어렵다는 사실이다. 악보 표기의 작가(author)는 그 또는 그녀가 기록하고 있는 기호가 어떤 기호인지를 완전히 잘 알고 있다. 그러나, 수백개의 가능한 기호들 중에서 해당 기호를 발견하는 과정 중에, 그 또는 그녀의 생각의 줄이 끊어지고, 그 음표를 기록하는 순간, 조성된 예술적 기분이 사라진다. 이러한 이유로, 현재 사용되는 대부분의 컴퓨터 표기 소프트웨어는 음악의 온 더 플라이(on-the-fly)식 제작에 사용되지 않으며 음악이 종이에 기록된 후에 편집하는 수단으로만 사용되고 있다. 그러므로, 본 발명 이전에는 작가가 그 또는 그녀가 종이 상에서 사용했던 것처럼 스타일러스(stylus)를 사용하여 디지털 패드 상에서 음악을 정확하게 창작할 수 없고 명백한 결과를 볼 수 없으며 신디사이저를 통해 그 음악을 즉시 재생할 수도 없기 때문이다.
종래의 시스템 및 기술의 전술한 문제들 및 다른 문제들, 불편 및 단점들을 극복하기 위하여, 본 발명이 개발되었으며, 본 발명의 목적은 디지털 펜, 기록 스타일러스 등과 같은 입력 장치를 사용하여 상용 악보 표기를 기록하기 위한 구조 및 방법을 제공하는 것이다.
상기 목적(들)을 성취하기 위하여, 본 발명의 일 양상에 따르면, 음악을 작곡하기 위한 컴퓨터 실행 방법(및 시스템)은 입력 장치로부터의 입력에 따라서 메뉴를 시작하는 단계와, 작곡가에 의한 자유로운 핸드라이팅과 메뉴 아이템에 따라서 입력 장치를 이용하여 악보 표기를 선택적으로 입력하는 단계 및 악보 표기를 디스플레이하는 단계를 포함한다.
그러므로, 본 발명의 특정적이며 비자명한 양상에 따르면, 작곡가는 쉽고 효과적으로 음악을 작곡할 수 있다. 작곡가는 팔레트상에 단순히 클릭(clicking)(탭핑(tapping))함으로써 통상적으로 사용되는 음표를 입력할 수 있으며, 또한 "크레센도(crescendo)", "안단테(andante)", 음자리표 기호, 음악의 박자/음고 등과 같은 용어와 사전결정된 표시와 같은 일반적이지 않은 아이템들을 태블릿(tablet) 상에 단순히 기록(즉, 핸드라이트)할 수 있다. 이는 이러한 인터페이스를 작곡가가 음악을 작곡하기 위하여 종래에 펜/연필과 종이를 사용하는 (예를 들면, 사람들에게 익숙한) 종이 인터페이스와 매우 유사하게 한다. 그러나, 종이 인터페이스와는 다르게, 본 발명은 사용자가 음악을 빠르게 작곡하고 그 음악이 어떻게 소리가 나는지를 듣기 위해 그 음악을 즉시 들을 수 있게 한다.
그러므로, 종래의 프로세스는 본 발명을 사용하여 제거될 수 있는데, 왜냐하면 작가가 그 또는 그녀가 종이 상에서 사용했던 것처럼 스타일러스를 사용하여 디지털 패드 상에서 음악을 정확하게 창작할 수 있으며, 또한 명백한 결과를 볼 수 있고 그 음악을 신디사이저를 통해 즉시 재생할 수 있다는 부가적인 잇점이 있기 때문이다. 이는 이러한 시스템을 단순한 저작 툴에 대비하여 창작 툴로 사용할 수 있게 한다.
이제 도면과 관련하여, 특히 도 1 내지 6과 관련하여, 본 발명에 따른 방법 및 구조의 바람직한 실시예가 도시된다.
도 1 내지 6을 참조로, 본 발명의 바람직한 실시예가 하기에 설명된다.
도 1을 참조하면, 본 발명의 시스템(100)의 개략적인 블록도가 도시된다. 시스템(100)은 바람직하게는 디지털 펜을 포함하는 입력 장치(10), 음표/쉼표(notes/silences) 검출기(21)와 핸드라이팅 인식 엔진(22)를 포함하는 검출 장치(20), 핸드라이팅 인식 엔진(22)에 의해 액세스되는 사전(30), 검출 장치(20)로부터의 출력을 수신하고 디지털 펜으로부터의 입력을 악보 표기로 변환시키기 위한 악보 표기 변환 장치(변환기)(40), 상기 입력 장치의 위치를 감지하고 다른 표기에 공간적으로 관련되어 선택된 위치에서 악보 표기(예를 들면, 음표/쉼표 또는 핸드라이트된 기호 등)가 존재가능한지를 결정하는 데에 사용하기 위하여 입력 장치(10)와 핸드라이팅 검출기(20)에 연결된 위치 검출기 및, 사용자가 볼 수 있도록 스크린 또는 디스플레이 출력 상에 악보 표기를 디스플레이하기 위한 출력 장치(60)를 포함한다.
상기 설명한 바와 같이, 입력 장치(10)는 바람직하게는 사용자가 태블릿(tablet) 또는 그 유사물 상에 자유로운 방식으로(예를 들면, 인쇄체 또는 흘림체와 같은 자연스러운 핸드라이팅으로) 기록하도록 하는 디지털 펜(또는 다른 유사한 기록 도구)이다.
본 발명은 사용자가 2가지 유형의 입력(예를 들면, 음표/쉼표와, 사용자에 의해 기록되는 "크레센도" 또는 "알레그로(allegro)" 기호, 이음줄(stem connection), 음자리표 기호 등과 같은 외부 표시들)을 할 수 있기 때문에, 검출 장치(20)는 음표/쉼표 검출기(21)와 핸드라이팅 인식 엔진(22)을 포함한다. 검출기(21)는 사용자에 의해 선택된 관용적인 음악 음표와 쉼표를 검출한다.
핸드라이팅 인식 엔진(22)은 검출기(21)와 나란히 위치하고, 도 2a에 도시된 바와 같이, (예를 들면, "안단테", "피아노" 등과 같은 단어에 대한) 단어 인식기(22A)와, (예를 들면, 음자리표 표시들과 같은 기호들, 도 4의 1/4 음표 바로아래의 크레센도 기호(406) 등과 같은 기호들에 대한) 그래픽 표시 인식기(22b) 및 악보 표기를 변경하고/수정하기 위한 (예를 들면, 일군의 음표를 원으로 묶거나, 음표들을 삭제하는 등) 어떤 제스처(gesture)(예를 들면, 통상의 교정 표시)를 인식하기 위한 제스처 인식기(22c)를 포함한다.
하기에 더 상세히 설명되는 바와 같이, 정상적인 기록에서는 어떤 단어 타입이 특정 위치에서 사용가능한 지에 영향을 주는 것 이외에는 중요한 것은 없다. 그러나, 예를 들면, 크레센도 기호(예를 들면, 기호(406))는, 그 크레센도가 시작하는 위치와 그것이 끝나는 위치가 매우 중요하며 그것이 음악 스팬(span)에 직접 영향을 준다는 점에서 중요하다. 이는 그 스팬을 변경하도록 할 수 있는 핸드라이팅 인식기의 부가적인 특징이다. 또한, 음자리표 기호, 박자(예를 들면, 4/4, 3/4, 2/4 등) 및 그 유사물이 핸드라이트될 수 있다. 메뉴로부터 선택된 유일한 아이템들은 음표/쉼표(예를 들면, 작곡가에 의해 주로 수행되고/사용되는 아이템들)이다.
음악이 작곡가의 머리속에 "남아 있는(flesh)" 동안 작곡가는 통상적으로 이러한 음표들을 빠르게 기록하기 때문에 음표들이 핸드라이트된 경우 시스템이 기록하는 것은 더욱 어렵다는 것으로 인하여 이러한 방법이 유리하다는 것에 주목해야 한다. 그러므로, 펜의 위치가 메뉴가 팝업(pop-up)하고 음표가 삽입될 위치를 결정한다. 종래의 기술에서처럼 "드래그 앤 드롭(drag and drop)" 또는 "픽 앤 플레이스(pick and place)" 동작은 없다. 또한, 마지막에 입력된 음표는 교차형 메뉴가 시작될 때 교차형 메뉴의 "십자형(cross-hairs)"내에 있을 것이다. 펜을 제거하는 것은 음표를 삽입할 것이며, 반면에 펜을 위 또는 아래로 이동시키는 것은 원하는 음표가 발견될 때까지 음표들을 거쳐 스크롤(scroll)할 것이다. 이는 음표들이 수 회 반복되기 때문에 유리하다. 부가적으로, 음표를 선을 그어 지우는 것(예를 들면, 음표 위에 "X"를 표시하거나 음표 또는 다른 아이템에 "돼지 꼬리(pig-tailing)"를 표시하는 것)과 같은 제스처를 수행하는 것은 음표를 삭제할 것이다. 또한, 예를 들면, 디지털 펜을 사용하여 음표들의 둘레에 동그라미를 그림으로써 음표들의 그룹을 함께 그룹화하는 것과 같은 다른 제스처들도 가능하다. 그 그룹을 이동시키는 것은 그 그룹의 둘레에 동그라미을 그린 후에 디지털 펜으로 태블릿 상에서 다른 영역으로 이동시키고/미끄러지게(slide)한 다음 그 펜을 들어올림("드래그 앤 드롭" 동작과 유사한 동작)으로써 수행될 수 있다.
그러므로, 본 발명은 작곡가가 펜과 종이 또는 마우스를 이용하는 컴퓨터 실행 음악 작곡 시스템을 사용하는 것보다 사용하기가 휠씬 더 쉽다.
이와 같이, 본 발명의 시스템의 인터페이스에는 2가지 주요 부분이 있다. 첫번째 부분은 종이로부터 떨어져서 이동될 수 있으며 종래의 기술에서처럼 마우스를 사용하는 것 보다 더 빠르게 이를 행하는 음표/쉼표(예를 들면, 매우 통상적이고 사용자가 기록하고 싶어하지 않는 아이템들)의 적당한 선택이다. 즉, 그러한 마우스 기반 시스템은 사용자가 동일한 메뉴에 연속적으로 액세스하고 동일한 음표를 계속해서 선택할 것을 요구하기 때문에 본 발명이 마우스를 사용하는 시스템보다 훨씬 더 빠르다. 따라서, 2/4 음표가 요구되면, 사용자는 메뉴로 가서 그 음표를 선택하고 이전 위치로 다시 돌아가서 그 음표를 드롭(drop)한 후 그 동작을 반복해야 한다. 이와 대조적으로, 본 발명은 사용자가 선택된 위치에서 팝업 메뉴를 단순히 열고 다수의 1/4 음표(또는 임의의 다른 음표/쉼표)를 삽입하기 위해 태핑(tapping)하도록 한다.
본 발명의 핵심 이점은 사용자에 의해 핸드라이트되고 본 발명에 의해 검출되는 부분인 인터페이스의 제 2 부분을 제공하는 것이다. 악보에는 많은 표시들이 있으므로 사용자가 데이터베이스로부터 적당한 표시를 선택하기 위해서는, 데이터베이스는 매우 큰 용량을 가져야 한다. 이는 불편하며 비용이 많이 든다. 그러므로, 사용자가 (예를 들면, CODA 음악 기술에 의해 제조된 음악 프로그램 Finale와 같은) 종래의 시스템을 사용하여 음악을 작곡할 때, 사용자는 데이터베이스(또는 매뉴얼)로 가서 기능 키 또는 그 유사물을 사용하여 올바른 표시를 선택해야 한다. 따라서, 많은 경우에, 사용자가 적당한 표시를 발견할 무렵에는 사용자는 그들이 기록하고자했던 음악을 잊어버리게 된다. 그러므로, 많은 상황에서, 작곡가는 종이 위에 그들의 음악을 기록하고 그런 다음 데이터베이스로 가서 적당한 표시를 느리고 정확하게 삽입하여야 하므로, 음악 작곡은 매우 비효율적이 된다. 따라서, 그러한 프로그램은 사용자에게 친숙하지 않다.
그러므로, 본 발명의 핵심 잇점은 태블릿상에 표시를 단순히 핸드라이팅하는 사용자에 의해 많은 표시들의 빠른 선택이 가능하다는 것이다. 즉, 사용자는 필요한 표시를 알고, 소망하는 위치에 그것을 단순히 핸드라이트할 수 있다.
변환기(40)는 검출기(20)에 의해 검출된 입력을 표준 기호의 악보적 표현으로 변환시킨다. 변환기는 그런 다음 그 출력을 작곡된 음악을 작곡가가 들을 수 있도록 하는 출력 장치(60)(예를 들면, 악기 디지털 인터페이스)에 제공한다. 따라서, 본 발명은 사용자가 음악을 상호작용식으로 입력하고 그 음악을 매우 빠른 방식으로 들을 수 있도록 한다.
따라서, 본 발명은, 컴퓨터를 사용하여 "상용 악보 표기(Common Music Notation; CMN)"를 입력하며 이를 빠르고 자연스러운 방식으로 행할 수 있는 새로운 인터페이스를 제공하는 것이다. 본 발명의 목적을 위하여, "상용 악보 표기"는 Western Community(예를 들면, Johann S.Bach의 제작품 참조)에 의해 개발되고 사용되는 고전적인 표기로 규정된다.
본 발명의 기술은 바람직하게는 그의 입력을 얻기 위하여 펜과 디지타이저를 사용한다. 다른 기구들(예를 들면, 기록 기구 또는 스타일러스)도 관련 기술분야의 당업자들에게 알려진 바와 같이 작곡가가 자유로운 핸드라이팅을 사용할 수 있도록 한다면 사용될 수 있다.
사전(30)은 유효한 중요 단어의 리스트를 갖는다는 것에 주목해야 한다. 그러므로, 핸드라이트된 단어/기호들은 설계자의 제약과 요구에 충분히 부합해야 한다. 대안으로, 더 큰(또는 더 작은) 사전이 제거가능하게 본 발명에 부착될 수 있다. 이런 맥락에서, 다수의 사전들이 사용될 수 있고, 더 큰 유연성(flexibility)을 갖게 된다.
부가적으로, 입력 장치 위치 검출기(50)를 제공함으로써, 음악 파렛트 상의 입력 장치의 소망 위치는 알려질 수 있고 그러한 입력이 (핸드라이팅 인식 엔진에는 물론) 사전(30)에 제공될 수 있다. 현재 위치에 따라 변경하는 사전은 본 발명만의 유일한 특징이라는 것에 주목해야 한다. 즉, 몇몇 표시들은 음악 악보(score)의 어떤 사전결정된 위치에서만 가능할 것이다. 예를 들면, 몇몇 위치에서 단지 "안단테", "알레그로" 등이 유효할 수 있다. 따라서, 자동적으로, 입력 장치의 위치를 알게됨으로써, 적당한 사전(또는 사전결정된 개수의 단어들)이 선택될 수 있다. 그러므로, 예를 들면, 제한된 개수의 단어들만이 유효하게 특정 위치에 들어갈 수 있기 때문에, 핸드라이팅 인식의 결과가 향상된다. 사전 내의 20,000개의(또는 그 이상의) 단어들 중에서 선별하는 대신에, 본 발명은 그 범위를 좁게 할 수 있으며, 예를 들면, 수백개의 단어들 중에서 검색될 수도 있다. 그런 다음, 음표가 입력된다.
따라서, 사전은 특정 위치에 대해 가능한(유효한) 단어들을 보유하고 있다. 예를 들면, 사용자가 음자리표 아래에 기록을 시작하면, 속도 정보만이 그곳에서 유효하게 사용될 수 있다. 유사하게, 사용자가 음표 아래에 기록을 시작하면, 그곳에서는 단지 소정 개수의 단어들 만이 사용될 수 있다. 그러므로, 본 발명은 (예를 들면, 흘림체, 즉, 기본적으로 사용자가 기록하는 임의의 방식의) 자유로운 핸드라이팅에서, 핸드라이팅 인식 에러를 감소시키도록 적당한 사전을 지능적으로(intelligently) 선택한다.
도 2a는 핸드라이팅 인식 엔진(22)을 더 상세히 도시한다.
동작시에, 도 3에 도시된 바와 같은 본 발명의 방법(300)과 관련하여, 단계(301)에서, 음표와 쉼표는 태블릿 상에 (예를 들면, 펜을 사용하여) 탭핑함으로써(또는 마우스로 클릭함으로써) 입력된다.
단계(302)에서, 상기 입력의 결과로서, 펜 위치가 검출된다. 펜 위치의 검출에 따라서, 음표/쉼표의 입력이 바람직한 지가 판단되고, 만일 그렇다면 음표와 쉼표의 동적 메뉴(400)(예를 들면, 도 4에 상세히 도시되어 있음)가 펜의 끝 위치에서(또는 클릭이 행해진 마우스의 커서 위치에서) 시작된다.
그렇지 않으면, 단계(305)에서, 핸드라이팅이 핸드라이팅 인식 엔진(22)에 의해 검출된다.
단계(306)에서, 핸드라이팅 인식 엔진에 의해 핸드라이팅이 텍스트인지가 판단된다. 만일 그렇다면, 단계(307)에서 사전이 참조되고 텍스트가 삽입된다.
그렇지 않으면, 단계(308)에서, 핸드라이팅 인식 엔진에 의해 핸드라이팅이 그래픽인지가 판단된다. 만일 그렇다면, 단계(309)에서 그래픽 사전이 참조되고 그래픽이 삽입된다.
그렇지 않으면, 단계(310)에서, 핸드라이팅 인식 엔진에 의해 핸드라이팅이 제스처인지가 판단된다. 만일 그렇다면, 요구되는 제스처가 단계(311)에서 수행된다. 각각의 경우에, 사용자에 의한 다음 입력이 대기된다. 마지막 입력에서 또는 핸드라이팅이 판단될 수 없을 때, 프로세스는 종료된다.
펜의 끝 위치는 마지막 사용된 음표 또는 (박자면에서) 가장 빈번히 사용된음표와 일치한다. 본 발명은 사용자가 음자리표, 박자 변경 등을 위한 음악을 포함하여 음악을 상호작용식으로 기록할 수 있게 한다. 이는 프로그램에 의해 커스터마이즈될 수 있다. 이는 작곡가가 음표의 보표(즉, 음악이 기록되는 오선(five-line) 룰) 상의 적당한 위치 상에 단순히 탭핑함으로써 동일한 박자 주기의 음표를 빠르게 기록하도록 한다. 예를 들면, 참조 번호 405는 동일한 박자 주기(예를 들면, 1/8 박자)의 음표를 나타낸다.
부가적으로, 도 4의 메뉴(400)에서 S(예를 들면, 참조 번호 402)는 그 시스템을 음표(401)의 입력시와 유사하게 동작하는 쉼표 모드로 넣을 것인데, 이는 대신에 쉼표(쉼)를 삽입하는 것이다. 펜을 사용하여 본 발명의 "S" 문자로 펜을 이동시키는 것은 음표들을 적당한 쉼표 박자에 들어가게 한다. 즉, 쉼표(1/4 박자, 1/2 박자, 3/4 박자 등)는 요구되는 쉼표가 윈도우(408)에 보일때까지 펜을 탭핑으로써 스크롤될 수 있다.
부가적으로, 메뉴의 오른쪽 측 상에서, 음표의 박자를 연장시키기 위한 장치가 참조번호 407로 도시되어 있다. 예를 들면, "1.5 박자"(한 박자 반)의 박자를 가진 음표가 요구되면, 펜은 전체 음표를 얻기 위해 탭핑되고 그런 다음 그 펜을 박스(407)로 이동시킬 수 있다.
크레센도, 알레그로 등(예를 들면, 참조 번호 406 참조)과 같은 아이템들, 음자리표와 같은 특정 기호들, 떨림(thrill), 연결 이음줄 또는 "알레그로, 안단테"(예를 들면, 도 4의 참조번호 403 참조)와 같은 속도 정보 또는 악기 정보(예를 들면, 참조 번호 404 참조)가 자유로운 핸드라이팅을 사용하여 기록된다.
동작시에, 펜은 요구되는 위치에 위치되고 테이블(400A)은 소망 위치에서 "팝업"할 것이다. 그러므로, 예를 들면, 도 4에 도시된 바와 같이, 펜이 1/4 음표 C와 1/2 음표 G 사이의 위치 X에 위치되면, 팝업 메뉴가 이들 두 음표들 사이에서 보여지게 된다.
일 실시예에서, 마지막 음표는 바람직하게는 사용자가 입력하기 위한 도 4의 400B 위치에서 팝업할 것이다. 예를 들면, 1/8(또는 1/4) 음표가 마지막으로 입력되었다면, 그것은 기본적으로 음악의 속도이기 때문에 또다른 1/8(또는 1/4) 음표가 입력될 좋은 기회가 된다. 그러므로, 다수의 이러한 음표들은 단순히 다수의 횟수만큼 탭핑(tapping)함으로써 입력될 수 있다. 또한, 음표들은 연결될 것이다. 펜을 한 위치에서 위 또는 아래로 이동시키는 것은 소망하는 음표가 400B 위치에 놓일 때까지 음표들을 위 또는 아래로 스크롤할 것이다. 소망하는 음표로부터 펜을 제거하는 것은 그 음표를 원하는 위치에 삽입한다.
또한, 위쪽 아래쪽 화살표(400A)는 음악의 음고(pitch)가 조절되게 한다. 예를 들면, 1/4 음표 위에서 클릭할 수 있으며, 펜을 위쪽 화살표로 이동시키는 것은 그 1/4 음표를 "반음올림(sharpen)"하는 반면, 펜을 이동시켜 아래쪽 화살표를 클릭하는 것은 그 1/4 음표를 "반음내림(flatten)" 한다.
부가적으로, 음표 바로아래에 "피아노(piano)"(404)의 지정은 음악의 조성을 바꾼다.
그러므로, 단순히 펜을 이동시키거나 또는 핸드라이팅함으로써, 음악이 작곡될 수 있다.
이러한 아이템들은 1995년 5월호, ICASSP-95에 "Real Time On-Line Unconstrained Handwriting Recognition Using Statistical Methods"라는 제목으로 Nathan 등에 의해 개시되어 있는 자유로운 핸드라이팅 인식 시스템을 사용하여 적당한 위치에서 인식되고 위치되며, 본 발명에 참조되며 도 2b 내지 2d와 관련하여 하기에 더 상세히 설명될 것이다.
그러므로, 본 발명은 대용량의 어휘를 가지며, 작가에 무관하고, 자유롭게 핸드라이트된 텍스트를 위한 일반 인식 시스템을 사용한다. 상기 설명한 바와 같이, "자유로운(unconstrained)"이란 사용자가 임의의 문체(예를 들면, 인쇄체, 흘림체 또는 문체들의 임의의 혼합)로 기록할 수 있다는 것을 의미한다.
이는 또한 순수한 인쇄체 또는 순수한 흘림체 형태와 전혀 다른 통상적으로 핸드라이트된 텍스트를 나타낸다. 또한, 상기 설명된 시스템의 핵심적인 특징은 이 시스템이 통상적인 HMM 기준의 시스템에 요구되는 대용량의 메모리 없이 예를 들면 486 급 개인용 컴퓨터(PC) 플랫폼 상에서 실시간으로 인식을 수행한다는 것이다. 이 시스템은 주로 작가에 무관한 작업에 초점을 맞추고 있다. 랭귀지(language) 모델이 없을 때 작가에 무관한 21,000개의 단어 어휘 작업에 대해 18.9%의 에러율이 성취되었다.
자유롭게 온라인 핸드라이트된 텍스트의 자동 인식이 설명된다. 온라인 인식에서, 데이터는 펜의 이동을 따라가는 전자 태블릿상에서 수집됨으로써, 일시적 정보를 보존한다. 이러한 문제에 대한 몇몇 접근 방법으로서 이산형(discrete) 문자의 인식을 위해 TDNN을 사용하는 것이 보고되어 있다. 특히 최근에는 HMM와 같은 통계적인 방법이 언어 인식에 성공적으로 사용되어 왔으며, 또한 자동 핸드라이팅 인식의 문제에 적용되어 왔다. 일 실시예에서, 연속적인 파라메터 HMM이 고립되어 기록된 문자를 인식하기 위하여 사용된다.
본 발명은 바람직하게는 특정한 문체(예를 들면, 순수한 흘림체 또는 순수한 이산형(discrete))의 기록으로 제한되지 않는 HMM 기준의 시스템을 포함한다. 기록은 실제로 흔히 발생되는 상황인, 2가지 문체의 임의의 결합일 수 있다. 본 발명의 검출 장치는 제한된 메모리를 가진 작은 PC 플랫폼상에서 실시간으로 동작하도록 설계되었다. 때때로 정확성을 낮추는 대신에 계산 및 메모리 용량을 감소시키기 위한 절충이 행해질 수 있다는 것에 주목해야 한다.
바람직하게는, 인식은 2가지 단계로 수행된다. 첫번째 단계에서, 더 단순한 모델이 짧은 리스트의 잠재적인 후보자 열을 생성하기 위하여 사용된다. 이는 "빠른 매치(fast match: FM)"로 언급된다.
그 후에, 계산적으로 더 확장된 모델이 상기 짧은 리스트 내의 각각의 단어를 재정리하기 위하여 사용된다. 하기에, 모델의 정확한 매칭 기능이 설명될 것이다. 결과적으로, 랭귀지 모델 또는 문법을 이용한 실험은 설명되지 않는다.
상기 설명한 바와 같이, 본 발명의 자유로운 핸드라이팅 기능에서, 본 발명은 또한 크레센도 기호와 같은 제스처 인식(예를 들면, 아이템에 동그라미를 그리는 것, 아이템 이동, 개별적인 아이템들을 삭제하기 위한 "돼지 꼬리(pig-tails)", 음악의 선택된 부분을 삭제하기 위한 선긋기 및 인식 엔진에 의해 습득되고 사전 정의된 상이한 기능성 등과 관련될 수 있는 임의의 다른 사용자 정의 제스처들), "안단테 또는 피아노"와 같은 핸드라이팅 텍스트 인식 및, 도 4의 동적 테이블에 의해 제공된 위치 정보의 사용을 이용한다.
초기에, 데이터베이스는 음악가에 의해 입력된 정보를 보관하기 위하여 사용된다. 위치 및 박자 정보는 구문해석(parsed)되고 표기에 의해 전달되는 정보 모두를 포함하는 내부 데이터 구조로 유지된다.
이 정보는 명백한 포맷으로 재생되거나 인쇄될 수 있도록 악기 디지털 인터페이스(MIDI) 출력 또는 임의의 다른 음악 출력으로 전환될 수 있다. 이는 악보 표기의 내부적 파악 기능을 갖는 파서(parser)를 사용함으로써 행해진다.
도 2b로 돌아가서, 사전 프로세싱 및 특징 추출과 관련하여, 데이터는 시간에 맞게 인덱스되고 예를 들면 70Hz와 100Hz 사이의 비율로 샘플링되는 일련의 (x,y) 점으로서 수집된다. 동일한 시간 간격으로 입력되는 지점들은, Homayoon S.M. Beigi 등에 의한 1994년판 ICIP94의 169-172쪽에 "Size Normalization in Online Unconstrained Handwriting Recognition"이라는 제목으로 기재되어 있는 바와 같이, 표준 크기로 정규화되고 공간적으로 재샘플링된다. 이는 속도로 인한 불일치를 제거하고 작가에 무관한 샘플 본래의 서로 다른 기록 속도에 대해 인식을 더 강력하게(robust) 한다. 유사하게, 사이즈 정규화는, 작가 종속적 인식에는 중요하지 않더라도, 작가에 무관한 인식인 경우에는 중요하다. Δx, Δy, cosθ 및 sinθ를 포함하는 특징 벡터는 궤도를 따라 동일 간격의 점들에서 작도된다. θ는 샘플에서 각도로 규정된다. 문맥상의 정보는 그것이 인접한 지점의 윈도우에 퍼지도록(span) 몇개의 개별적인 특징 벡터들을 하나의 큰 특징 벡터로 스플라이싱(splicing)함으로써 포함된다. 윈도우 중심은 통상적으로 로컬 엑스트리머(local extrema)에 x 및 y 좌표로 위치된다. 각각의 이러한 특징 벡터는 그 후에 더 낮은 차수의 공간으로 투사된다. 이 벡터는 프레임으로 언급될 것이다. 통상적인 단어는 궤도를 따라 점들의 이웃을 각각 표현하는 30개의 프레임들에 의해 표현될 수 있다.
빠른 매치를 위해, 계산을 제한하기 위하여 퇴화된 단일 상태 모델이 짧은 리스트의 후보 가설(예를 들면, 1994년 11월판의 IEEE Transactions on Pattern Analysis and Machine Intelligence의 E.J. Bellegarda 등에 의한 "A Statistical Approach to Automatic Handwriting Recognition" 참조)을 생성시키기 위하여 사용된다. 도 2c는 단일 상태 모델에 대한 토폴로지를 보여준다.
특징 추출은 핸드라이트된 텍스트에 대응하는 프레임들 f1, f2, ... 의 시퀀스를 생성한다. 가우스 혼합 모델은 특정 문자 cj가 프레임 ft을 발생시킬 가능성을 결정한다. 즉, p(ft/cj)=∑ip(ft|gi)p(gi |cj)을 제공할 가능성을 결정한다. gi는 대각선 공분산 행렬을 갖는 가우스이다. 분포 gi는 모든 프레임의 관리되지 않은 집단화(clustering)에 의해 훈련 단계 동안 얻어진다.
또한 훈련 동안, 혼합 계수 p(gi/cj)는 기대 극대화(Expectance Maximization: EM) 알고리즘을 통해 평가된다. 디코딩 동안 각각의 프레임은 다른 모든 것들에 독립하여 추정되며 이러한 특정 문자가 프레임 세트에 대한 근원을 제공할 가능성은 단순히 프레임의 그 블럭을 구성하는 개별적인 p(ft/cj)의 곱이다.
이러한 단순화된 모델은 시간 모델링을 제공하지 못한다는 것에 주목해야 한다. 또한, 문자의 시작과 문자의 끝 사이에 구별이 없다. 단일 출력 분포는 전체 문자를 특징짓는다. 상태에 대한 종속-모델 또는 문자의 종속-분리의 개념이 하기에 더 상세히 설명될 것이다.
인식에 앞서 세분화(segmentation)의 개념은 없다. 세분화는 인식의 자연적인 결과로서 나타난다. 이는 하기에 설명되는 검색에 의해 행해진다.
미세한 매치에 대해, 상기 설명된 빠른 매치는 단일 상태 HMM과 동일한 것으로 보여질 수 있다. 문자내 프레임의 상대적인 위치의 개념은 없다. 미세한 매치 모델에서, 이러한 상태 퇴하(degeneracy)는 제거되고 각각의 문자는 일련의 상태들에 의해 모델링되고, 각각의 상태는 그것이 모델링하는 문자의 부분에 대응하는 연관 출력 분포를 갖는다.
도 2d는 문자 i에 대한 HMM을 보여준다. 이 HMM은 s1,s2,...,sLi로 표시된 Li 상태들을 가지며, 여기서 Li는 문자 i에 대한 프레임의 평균 개수이다. 각각의 Li 상태들과 관련하여, s1,s2,...,sLi는 t1,t2 및 t3로 표시된 3가지 변환의 세트이다. 변환 t1 및 t2는 관찰 특성 벡터의 방출로 귀결된다. 상태 Li의 개수, 상태 변환 가능성, p(si,tj) 및 출력 가능성 분포 p(ft|si,tj )에 의해 모델은 완전히 명시된다. 주어진 상태에 대한 변환 t1과 t2는 제한되는데, 즉, p(ft|si,t1)=p(ft|si,t2)로 제한된다. 따라서, 출력 분포는 단지 상태와 관련되고 p(ft|si)로 기록될 수 있다. 출력 가능성은 제한된 가우스 분포의 혼합으로부터 결정되고, p(ft|si)=Σkp(ft|gk)p(gk|s i)로 기록될 수 있으며, 여기서 덧셈은 분포의 전체 풀(pool) 상부에 있다. 따라서, HMM은 상태 변환 가능성, p(si,tj) 및 혼합 계수 p(gk,|si)에 의해 완전히 명시된다.
HMM은 단일 상태 모델을 Li 회 복사함으로써 빠른 매치 모델로부터 초기화된다. HMM은 고립되어 기록되는 문자들과, 비터비(Viterbi) 또는 포워드-백워드(forward-backward) 훈련 중 하나를 사용하여 자유로운 방식으로 기록되는 단어를 사용하여 훈련된다. 본 발명의 시스템에서, 2가지 훈련 스키마 간에는 정확성에 있어서 큰 차이는 없다.
해독시에, 문자 i가 주어진 프레임 세트의 발생 가능성은 그 프레임 세트를 발생시킬 수 있는 가장 가능성있는 상태 시퀀스의 발생 가능성에 의해 주어진다. 단어를 구성하는 문자의 최적 시퀀스는 시간 동기 빔 검색에 의해 결정된다.
빔 검색과 관련하여, 상기 언급된 바와 같이 20,000개 이상의 단어 어휘집이 범용 접두사 및 접미사를 병합한 구조로 저장된다. 검색이 구동되는 어휘집이기 때문에, 어휘내의 유효 단어에 대응하는 경로 만이 확장된다. 각각의 프레임은 그 프레임에서 끝나는 모든 가능한 부분적 경로를 포함하는 스택과 관련되어 있다. 스택은 가능성에 의해 분류된다.
당연히, 낮은 가능성의 엘리먼트를 제거하기 위하여 임계치가 사용된다. 최종 스택의 최상부 엘리먼트는 인식된 줄에 대응한다. 검색 공간은 확장되는 노드의 개수를 한정하는 제한을 도입함으로써 더욱 다루기 쉬워진다. 이러한 제한의 하나는 각각의 문자에 대한 길이 분포이다. 주어진 문자가 걸쳐있을 수 있는 프레임의 갯수 범위를 규정하는 이러한 길이 히스토그램은 훈련중에 생성된다. 이러한 분포는 단일 상태 모델이 시간 또는 프레임의 개수를 모델링하는 능력을을 갖지 않기 때문에 빠른 매치 단계에서 사용된다. 다중 상태 모델의 문맥(context)에서, 외부 길이 분포는 개별적인 모델들의 세기 및 상태 변환 가능성이 시간을 규정하기 때문에 사용되지 않는다. 또한, 상기 언급한 바와 같이, 이전에 행해진 다른 입력들과 관련하여 태블릿 상의 디지털 펜의 위치는 장래의 입력의 범위와 내용의 실행가능성에 영향을 줄 것이다.
지연된 스트로크(stroke)는 문자를 모델링하기 위해 HMM을 왼쪽에서 오른쪽으로 사용할 때 문제를 발생시킨다. 지연된 스트로크의 예는 문자들 "i" 및 "j"에서 도트(dots)이고, 문자들 "x" 및 "t"에서 크로스(crosses)이다. 이들은 문자의 몸체로부터 흔히 시간적으로 분리된 스트로크가 있다. 대부분의 경우에, 이들은 전체 단어가 기록된 후에 추가된다. 이러한 문자들에 대한 데이터 점은 시간에 맞게(in time) 반드시 부합하는 것은 아니므로, 이러한 문자들에 대해 모델들을 왼쪽에서 오른쪽으로 사용할때 문제가 발생한다. 본 발명은 이러한 문자들에 대해 지연되지 않은 스트로크상에서 HMM을 훈련시킴으로써 이러한 문제를 해결한다. 지연된 스트로크는 HMM을 훈련시키기 전에 제거된다. 해독시에, 검색 매커니즘은 프레임 발생 가능성과 문자 모델을 바탕으로 지연되지 않은 스트로크를 확장시킨다. 지연된 스트로크는 그런 다음 지연되지 않은 스트로크에 대한 그들의 위치와 그들의 빠른 매치 가능성을 바탕으로 포함된다.
실험은 데이터 세트와 훈련에서 행해졌다. 데이터 세트와 관련하여, 주요 관심은 인식기의 작가 무관 성능에 있기 때문에, 첫번째 작업은 작가들의 충분히 큰 풀(pool)로부터 데이터를 수집하는 것이었다. 데이터의 대략 100,000 개의 문자들이 100 명의 작가들의 풀로부터 수집되었다. 훈련 세트는 20,000개 이상의 단어 어휘집으로부터 선택된 단어와 고립되어 기록된 이산형 문자들을 포함한다. 주제(subject)는 그들의 원래 문체로 기록하도록 요청되고 수평선상에 기록하도록 권유되었다. 기록 문체와 관련된 다른 명령들 또는 지시들은 제공되지 않았다. 테스트 세트는, 별도의 세트의 25명의 작가로부터 수집되고 동일한 어휘집으로부터 무작위로 선택된 단어들로 유일하게 이루어진 데이터로 구성되었다. 다시 한번 언급하지만, 텍스트 데이터가 어떻게 기록되어야 하는지에 대한 제한은 없다. 본국 작가와 외국 작가 모두가 테스트와 훈련 세트 모두에 포함되었다. 데이터는 IBM 펜 노트북 컴퓨터(다른 것이 사용될 수도 있음) 상에서 수집되었다. 예상된 바와 같이, 데이터는 3개의 넓은 카테고리, 즉, 순수한 이산형, 혼합 이산형 및 흘림체 및, 순수한 흘림체로 구분된다.
명백하게, 데이터의 "품질" 또는 "인간의 판독 가능성"에는 넒은 범위가 있다. 즉, 상위 및 하위의 문자를 구성하는 알파벳, 숫자 및 몇몇의 구두법 기호 및, 특수 문자가 있다.
훈련동안, 광범위한 작가들의 기록 문체를 포착하기 위하여, 모델들은 각각의 문자를 위해서가 아니라 각각의 문자의 각각의 현저한 변화를 위해서 설정되었다. 예를 들면, 문자는 펜 스트로크의 개수, 펜 이동 방향 또는 실제 형태 그 자체에서 다를 수 있다. 자동으로 감독되지 않는 프로시저는 어휘소로 명명되는 이러한 변화를 식별하기 위하여 사용된다. 이 세트에 대하여, 거의 150개의 어휘소가 생성되었다. 개별적인 기본형, 단일 및 다중 상태는 각각의 어휘소에 대해 훈련된다. 평균적으로 각각의 HMM은 6개의 상태로 이루어져 있기 때문에, 이는 900개의 별개의 상태로 귀결될 것이다. 시스템에서 파라메터들을 감소시키기 위하여, 개별적인 상태들은 기본형을 거쳐 그 내에서 공유된다(share).
이러한 실험들의 결과가 얻어졌다. 실제로, 핸드라이팅 인식 시스템의 임시적인 사용자는 사용자 특정의 시스템을 훈련시키기 위하여 요구되는 시간과 노력을 투자하려고 하지 않는다. 또한, 훈련이 옵션이 아닌(예를 들면, 공용 키오스크(kiosks), 판매 시점 등) 시나리오를 구상하는 것은 쉬운 일이다. 이는 작가에 무관한 작업에 집중하기 위한 동기였다. 미세한 매치 결과는 빠른 매치로부터 최상위의 몇가지 가설을 선택하고 그들을 다중 상태 모델에 제공함으로써 얻어졌다. 빠른 매치는 프루너(pruner)로서 효과적으로 기능한다. 테스트 단어가 무작위로 선택되었기 때문에, 혼란을 감소시킴으로써 인식 성능을 개선시키기 위하여 문법을 사용하지 않는다. 대용량의 어휘 상황에서, 에러율은 19%였다.
이러한 수치는 인식기가 작업에 적합한 통계적 랭귀지 모델과 연관되어 사용되면 현저하게 감소할 것으로 기대될 수 있다. 다른 작업들에 대한 인식 시간은 변화했다. 단어 당 인식 시간은 IBM RS/8000 워크스테이션 플랫폼(platform)에서 저용량 어휘 작업에 대한 0.4초로부터 대용량 어휘 작업에 대한 0.48초까지의 범위이다. 표준 486급 PC 플랫폼상에서, 인식 시간은 이들 값의 4 내지 5 배이며, 이는 실시간 인식에 아직까지 충분한 것이다.
부가적으로, 작은 파일럿(pilot) 작가 종속적 실행이 행해졌다. 작가 무관 시스템을 시작점으로 사용하면, 모델들은 그 작가로부터의 부가적인 훈련 샘플을 바탕으로 설정되었다. 이 작가에 대한 초기의 작가 무관 에러율은 문법없는 21,000개의 어휘 작업에 대해 27%였으며, 이는 19%의 평균 작가 무관 에러율보다 현저하게 높은 수치이다. 새로운 작가 종속적 모델을 사용하면, 에러율은 10%에 약간 못미치는 정도 만큼 감소되었다.
상기 보고된 작가 무관 결과는 어떠한 문법도 사용되지 않는다는 사실면에서 매우 권유되고 있다. 연구에 따르면 내용이 없을 때 상기 테스트 세트로부터 단어가 제공될 때 인간은 7%의 에러율을 갖는다는 것을 보여준다. (언어의 명령과 같은) 음표-선택과 같은 애플리케이션이 작업의 혼란을 현저하게 감소시키는 통계적 문법의 이점을 취할 수 있다. 이전의 작업은 그러한 랭귀지 모델들이 동일한 작업에 대해 4의 요소(factor) 만큼 에러율을 감소시킨다는 것을 보여주었다.
전술한 바와 같이, 본 발명은 표준 메모리 구성으로 PC 플랫폼 상에서 실시간으로 수행할 수 있는 인식 엔진을 사용한다. 결과적으로, 회피될 검색 에러를 생성하는 적극적인 프루닝 이론(aggressive pruning strategy)이 바람직하다. 유사한 계산상의 이유로, 모델에서의 분포의 갯수는 제한된다. 정확성에서 이러한 제한의 효과를 감소시키기 위한 노력이 있어 왔지만, 에러율의 더 큰 감소는 제한들이 완화된다면 나타날 것으로 보이기 쉽다.
현재, 모델에 대한 몇가지 개선이 진행중에 있다. 내용 종속적 모델들은 언어와 핸드라이팅 모두에 대한 성능을 현저하게 개선시키는 것으로 나타났으며 자연적인 향상이 있다. 또한, 왼쪽 및 오른쪽으로 넘겨진 (예를 들면, 심지어 젠더(gender) 종속적) 모델로 실험하는 것도 가능하다. 데이터 세트의 사이즈가 또다른 문제이다. 100,000 개의 문자들이 성공적인 작가에 무관한 인식을 위한 충분한 데이터인 것으로 믿어지지는 않는다. 이는 이후에 설명될 필요가 있는 영역이다.
따라서, 본 발명의 특정적이며 비자명한 특징들에 의해, 작곡가는 음악을 쉽고 효과적으로 작곡할 수 있다. 작곡가는 파렛트 상에 단순히 클릭(탭핑)하는 것에 의해 일반적으로 사용되는 음표들을 입력할 수 있고, 또한 사전결정된 표시, 기호, 제스처, 그래픽과 같은 일반적이지 않은 아이템들과, "크레센도", "안단테", 음자리표 기호, 음악의 박자/음고 등과 같은 용어들을 테블릿상에 단순히 기록(예를 들면, 핸드라이트)할 수 있다. 이는 이러한 인터페이스를 작곡가가 음악을 작곡하기 위하여 통상 펜/연필과 종이를 사용하는 (예를 들면, 사람들에게 익숙한) 종이 인터페이스과 매우 유사하게 한다. 그러나, 종이 인터페이스와는 다르게, 본 발명은 사용자가 음악을 빠르게 작곡하게 하고 그 음악이 어떻게 소리가 나는 지를 알기 위하여 그 음악을 즉시 들을 수 있게 한다.
도 5는 본 발명에 따른 정보 전달/컴퓨터 시스템의 통상적인 하드웨어 구성을 도시하며, 이는 바람직하게는 적어도 하나의 프로세서 또는 중앙 처리 장치(CPU)(511)를 갖는다.
CPU(511)는 랜덤 액세스 메모리(RAM)(514), 판독 전용 메모리(ROM)(516), (디스크 유닛(521) 및 테이프 드라이브(540)와 같은 주변 장치들을 버스(512)에 접속시키기 위한) 입력/출력(I/O) 어댑터(518), (키보드(524), 마우스(526), 스피커(528), 마이크로폰(532) 및/또는 다른 사용자 인터페이스 장치를 버스(512)에 접속시키기 위한) 사용자 인터페이스 어댑터(522), 정보 전달 시스템을 데이터 처리 네트워크, 인터넷, 인트라넷, 개인 영역 네트워크(PAN) 등에 접속시키기 위한 통신 어댑터(534) 및, 버스(512)를 디스플레이 장치(538) 및/또는 프린터(539)(예를 들면, 디지털 프린터 또는 그 유사물)에 접속시키기 위한 디스플레이 어댑터(536)에, 시스템 버스(512)를 경유하여 상호접속된다.
상기 설명된 하드웨어/소프트웨어 환경에 더하여, 본 발명의 다른 양상은 상기 방법을 수행하기 위한 컴퓨터 실행 방법을 포함한다. 예를 들면, 이 방법은 상기 설명된 특정한 환경에서 실행될 수 있다.
이러한 방법은 예를 들면, 디지털 데이터 처리 장비에 의해 구현되는 바와 같이 컴퓨터를 동작시킴으로써 실행되어, 기계 판독가능 명령의 시퀀스를 실행시킨다. 이러한 명령들은 다양한 형태의 신호 유지 매체에 존재할 수 있다.
따라서, 본 발명의 이러한 양상은, 본 발명의 방법을 수행하기 위하여, CPU(511)와 상기 하드웨어를 포함하는 디지털 데이터 프로세서에 의해 실행가능한 기계 판독가능 명령의 프로그램을 실체적으로 구현하는 신호 유지 매체를 포함하는 프로그램되는 제품에 관한 것이다.
이러한 신호 유지 매체는 예를 들면 빠른 액세스 저장장치에 의해 나타내어 질 때 CPU(511)내에 포함된 RAM을 포함할 수 있다. 대안으로, 명령들은 CPU(511)에 의해 직접적으로 또는 간접적으로 액세스가능한 자기 데이터 저장 디스켓(600)(도 6)과 같은 또다른 신호 유지 매체에 포함될 수 있다.
명령들이 디스켓(600), 컴퓨터/CPU(511) 또는 그외 영역에 포함될 때, 이 명령들은 DASD 저장장치(예를 들면, 종래의 "하드 드라이브" 또는 RAID 어레이), 자기 테이프, 전자 판독전용 메모리(예를 들면, ROM, EPROM 또는 EEPROM), 광학 저장장치(예를 들면, CD-ROM, WORM, DVD, 디지털 광학 테이프 등), 종이 "펀치(PUNCH)" 카드, 또는 디지털 및 아날로그 통신 링크 및 무선 통신 링크와 같은 전송 매체를 포함한 다른 적당한 신호 유지 매체와 같은 다양한 기계 판독가능 데이터 저장 매체에 저장될 수 있다. 본 발명의 예시된 실시예에서, 기계 판독가능 명령들은 "C" 등과 같은 랭귀지로부터 컴파일된 소프트웨어 오브젝트 코드를 포함할 수 있다.
따라서, 본 발명의 특정적이며 비자명한 양상에 의해, 작곡가는 쉽고 효과적으로 음악을 작곡할 수 있다. 작곡가는 파렛트 상에 단순히 클릭함으로써 일반적으로 사용되는 음표들을 입력할 수 있으며 또한 사전결정된 표시와 같은 일반적이지 않은 아이템들과, "크레센도", "안단테", 음자리표 기호, 음악의 박자/음고 등과 같은 용어를 태블릿상에 단순히 기록(예를 들면, 핸드라이트)할 수 있다. 이는 이러한 인터페이스를 작곡가가 음악을 작곡하기 위해 통상적으로 펜/연필과 종이를 사용하는 (예를 들면, 사람들에게 익숙한) 종이 인터페이스와 매우 유사하게 한다. 그러나, 종이 인터페이스와는 다르게, 본 발명은 사용자가 음악을 빠르게 작곡하고 그 음악이 어떻게 소리가 나는지를 듣기 위해 그 음악을 즉시 들을 수 있게 한다.
본 발명의 바람직한 실시예가 상기에 설명되었지만, 이는 단지 예시적으로 제공된 것으로 이해해야 한다. 따라서, 관련 기술분야의 당업자들은 첨부된 청구항의 이론 및 범위내에서 본 발명의 변경을 실행할 수 있음은 자명할 것이다.
즉, 본 발명은 자유로운 기록에 더하여 특별한 그래픽 문자를 사용하는 다른 유사한 애플리케이션에 대한 많은 가능성을 창출한다. 이는 최대의 유연성, 매우 일반적인 그래픽 기호들을 시스템으로 탭핑하는 것의 용이성 및, 절단(cutting), 페이스팅(pasting), 이동(moving), 삭제(deleting) 등과 같은 논리 동작을 행하기 위한 제스처와 같은 새로운 그래픽 기호를 훈련시키는 능력을 위하여 자유로운 핸드라이팅 인식 시스템의 결합을 제공한다. 또한, 규정된 제스처는 그들을 사용하는 애플리케이션의 기능에 연결될 수도 있다.
상기 설명된 바와 같이, 본 발명에 따르면, 작곡가가 스타일러스를 사용하여 디지털 패드 상에서 음악을 정확하게 제작할 수 있으며, 또한 명백한 결과를 볼 수 있고 그 음악을 신디사이저를 통해 즉시 재생할 수 있다.
도 1은 본 발명에 따른 시스템(100)의 전체적인 블록도.
도 2a는 본 발명의 시스템(100)에 대한 검출 장치(10)의 핸드라이팅(handwriting) 인식 장치(22)를 나타내는 도면.
도 2b는 인식 장치의 동작 흐름도.
도 2c는 문자에 대한 단일 상태 모델을 나타내는 도면.
도 2d는 HMM(hidden Markov model) 토폴로지를 나타내는 도면.
도 3은 본 발명의 예시적인 방법(300)을 나타내는 도면.
도 4는 입력 장치에 의해 시작되는 예시적인 메뉴(음악 파렛트)(400)를 나타내는 도면.
도 5는 본 발명을 내부에 포함하는 예시적인 하드웨어/정보 조작 시스템(500)을 나타내는 도면.
도 6은 본 발명에 따른 방법의 프로그램의 단계들을 저장하기 위한 신호 유지 매체(600)(예를 들면, 저장 매체)를 도시하는 도면.
<도면의 주요 부분에 대한 부호의 설명>
10: 디지탈 입력 장치 20: 검출장치
30: 사전 40: 컨버터
50: 위치 검출기 60: 출력 장치
22: 핸드라이팅 인식 엔진 22A: 워드 인식기 22B: 그래픽 표시 인식기 511: CPU
22C: 제스처 인식기 512: 버스
514: RAM 516: ROM 18: I/O 어댑터 522: 사용자 인터페이스 어댑터
524: 키보드 526: 마우스
528: 스피커 532: 마이크로폰
534: 통신 어댑터 536: 디스플레이 어댑터
538: 디스플레이 장치 600: 디스켓

Claims (19)

  1. 음악을 작곡하기 위한 컴퓨터 구현 방법에 있어서,
    입력장치의 위치를 검출하는 단계와,
    상기 입력 장치로부터의 입력에 따라서 메뉴-상기 메뉴는 입력기록(history)과 상기 입력장치의 위치중 하나에 의해 결정되는 특성을 갖음-를 시작(launch)하는 단계와,
    상기 메뉴로부터 정보를 선택하고 자유로운 방식으로 정보를 핸드라이팅(handwriting)-상기 핸드라이팅되는 아이템들의 범위와 내용은 검출된 상기 입력장치의 위치에 따라 결정됨-하여 상기 입력장치로 정보를 입력하는 단계와,
    상기 입력정보를 악보 표기로 디스플레이하는 단계
    를 포함하는 음악 작곡용 컴퓨터 구현 방법.
  2. 제 1 항에 있어서,
    태블릿 상에 탭핑하는 것과 상기 입력 장치를 활성화시키는 것 중 하나에 의해 음표와 쉼표를 선택적으로 입력하는 단계를 더 포함하는 음악 작곡용 컴퓨터 구현 방법.
  3. 제 1 항에 있어서, 상기 메뉴로부터의 상기 정보 입력은 상용악보표기(Common Music Notation:CNN)에 따라 음표와 쉼표를 포함하는 음악 작곡용 컴퓨터 구현 방법.
  4. 제 1 항에 있어서, 상기 입력단계는 펜과 그 입력을 획득하기 위한 디지타이저 태블릿을 사용하여 수행되는 음악 작곡용 컴퓨터 구현 방법.
  5. 제 1 항에 있어서, 상기 입력단계는 상기 입력 장치의 끝 위치에서 음표의 동적 메뉴를 시작하는 음악 작곡용 컴퓨터 구현 방법.
  6. 제 1 항에 있어서, 상기 입력단계는 상기 입력이 발생하는 상기 입력 장치의 커서의 위치에서 음표의 동적 메뉴를 시작하는 음악 작곡용 컴퓨터 구현 방법.
  7. 제 1 항에 있어서, 상기 입력 장치의 끝 위치는 마지막에 사용된 음표와 가장 빈번하게 사용된 음표 중 하나와 일치하는 음악 작곡용 컴퓨터 구현 방법.
  8. 삭제
  9. 삭제
  10. 제 2 항에 있어서, 핸드라이트되고 디스플레이되기 위한 아이템들은 상기 음표 및 쉼표 이외의 아이템들을 포함하는 음악 작곡용 컴퓨터 구현 방법.
  11. 삭제
  12. 삭제
  13. 제 1 항에 있어서, 상기 아이템들은 자유로운 핸드라이팅 인식 시스템을 사용하여 사전결정된 적당한 위치에서 인식되고 위치되는 음악 작곡용 컴퓨터 구현 방법.
  14. 제 1 항에 있어서, 악보 표기를 유지하는 동적 테이블에 의해 주어진 위치 정보, 제스처인식, 및 핸드라이팅 인식 정보를 사용하는 단계를 더 포함하는 음악 작곡용 컴퓨터 구현 방법.
  15. 제 14 항에 있어서,
    상기 작곡가에 의해 입력된 정보를 저장하기 위한 데이터베이스를 제공하는 단계를 더 포함하며, 위치 및 박자 정보는 구문 해석되고 상기 악보 표기에 의해 전달되는 정보를 포함하는 내부 데이터 구조로 저장되는 음악 작곡용 컴퓨터 구현 방법.
  16. 제 15 항에 있어서,
    위치 및 박자 정보가 재생되거나 인쇄되도록 상기 위치 및 박자 정보를 악기 디지털 인터페이스(MIDI) 출력으로 변환시키는 단계를 더 포함하는 음악 작곡용 컴퓨터 구현 방법.
  17. 삭제
  18. 음악 작곡을 위한 컴퓨터 구현 시스템에 있어서,
    태블릿을 가로지르고(traversing) 자유로운 핸드라이팅을 통해 그래픽, 텍스트 및 제스처 정보를 입력함으로써 정보를 입력하기 위한 디지털 입력 장치-상기 디지털 입력장치의 움직임은 음표와 쉼표를 입력하기 위한 메뉴를 시작하고 상기 메뉴는 입력기록과 상기 입력장치의 위치중 하나에 의해 결정되는 특성을 갖음-와,
    상기 메뉴로부터 선택된 정보와 상기 자유로운 핸드라이팅-상기 핸드라이팅되는 아이템들의 범위와 내용은 검출된 상기 입력장치의 위치에 따라 결정됨-을 악보 표기로 변환시키기 위한 트랜스포저(transposer)와,
    상기 입력장치의 위치를 검출하기 위한 검출기 및
    상기 악보 표기를 디스플레이하기 위한 디스플레이
    를 포함하는 음악 작곡용 컴퓨터 구현 시스템.
  19. 음악 작곡 방법을 수행하기 위하여 디지털 프로세싱 장치에 의해 구현가능한 기계 판독가능한 명령의 프로그램을 실체적으로 구현하는 기록 매체에서, 상기 방법은,
    입력장치의 위치를 검출하는 단계와,
    상기 입력 장치로부터의 입력에 따라서 메뉴-상기 메뉴는 입력기록(history)과 상기 입력장치의 위치중 하나에 의해 결정되는 특성을 갖음-를 시작(launch)하는 단계와,
    상기 메뉴로부터 정보를 선택하고 자유로운 방식으로 정보를 핸드라이팅(handwriting)-상기 핸드라이팅되는 아이템들의 범위와 내용은 검출된 상기 입력장치의 위치에 따라 결정됨-하여 상기 입력장치로 정보를 입력하는 단계와,
    상기 입력정보를 악보 표기로 디스플레이하는 단계
    를 포함하는 기록 매체.
KR10-2002-0000171A 2001-01-05 2002-01-03 디지털 펜을 사용하여 상용 악보 표기(cmn)를 기록하기위한 방법 및 시스템 KR100523892B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/754,397 US6538187B2 (en) 2001-01-05 2001-01-05 Method and system for writing common music notation (CMN) using a digital pen
US09/754,397 2001-01-05

Publications (2)

Publication Number Publication Date
KR20020057814A KR20020057814A (ko) 2002-07-12
KR100523892B1 true KR100523892B1 (ko) 2005-10-24

Family

ID=25034617

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0000171A KR100523892B1 (ko) 2001-01-05 2002-01-03 디지털 펜을 사용하여 상용 악보 표기(cmn)를 기록하기위한 방법 및 시스템

Country Status (3)

Country Link
US (1) US6538187B2 (ko)
JP (1) JP3927407B2 (ko)
KR (1) KR100523892B1 (ko)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
JP3250559B2 (ja) * 2000-04-25 2002-01-28 ヤマハ株式会社 歌詞作成装置及び歌詞作成方法並びに歌詞作成プログラムを記録した記録媒体
JP2002287950A (ja) * 2001-03-27 2002-10-04 Nippon Seiki Co Ltd 表示装置の表示方法
US6483019B1 (en) * 2001-07-30 2002-11-19 Freehand Systems, Inc. Music annotation system for performance and composition of musical scores
US9165542B2 (en) * 2002-02-27 2015-10-20 Y Indeed Consulting L.L.C. System and method that facilitates customizing media
US7301093B2 (en) * 2002-02-27 2007-11-27 Neil D. Sater System and method that facilitates customizing media
US20030159567A1 (en) * 2002-10-18 2003-08-28 Morton Subotnick Interactive music playback system utilizing gestures
US7133563B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US7116840B2 (en) * 2002-10-31 2006-10-03 Microsoft Corporation Decoding and error correction in 2-D arrays
US7424154B2 (en) * 2003-11-10 2008-09-09 Microsoft Corporation Boxed and lined input panel
US7583842B2 (en) * 2004-01-06 2009-09-01 Microsoft Corporation Enhanced approach of m-array decoding and error correction
US7263224B2 (en) * 2004-01-16 2007-08-28 Microsoft Corporation Strokes localization by m-array decoding and fast image matching
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US7650568B2 (en) * 2004-01-30 2010-01-19 Microsoft Corporation Implementing handwritten shorthand in a computer system
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US8081849B2 (en) 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
WO2008028674A2 (en) 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
TWI250468B (en) * 2004-06-25 2006-03-01 Compal Electronics Inc Method for transforming image into music
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US7432432B2 (en) * 2004-09-21 2008-10-07 Microsoft Corporation System and method for recognizing handwritten music notations
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
US20060215913A1 (en) * 2005-03-24 2006-09-28 Microsoft Corporation Maze pattern analysis with image matching
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US20060242562A1 (en) * 2005-04-22 2006-10-26 Microsoft Corporation Embedded method for embedded interaction code array
US7400777B2 (en) * 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US7729539B2 (en) * 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
US7580576B2 (en) * 2005-06-02 2009-08-25 Microsoft Corporation Stroke localization and binding to electronic document
GB2428952B (en) * 2005-07-30 2010-10-06 Hewlett Packard Development Co Digital pen and paper system
US7817816B2 (en) * 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
JP2007108292A (ja) * 2005-10-12 2007-04-26 Kawai Musical Instr Mfg Co Ltd 楽譜編集装置および編集プログラム
GB2431269A (en) * 2005-10-13 2007-04-18 Hewlett Packard Development Co Detector for generating a model representing a form of markings for a pattern
JP2007334525A (ja) * 2006-06-14 2007-12-27 Sofny Group:Kk コンピュータ、クライアント−サーバコンピュータ群、サーバコンピュータ、表示プログラム、及びディスプレイ表示方法
WO2010096191A2 (en) 2009-02-18 2010-08-26 Exbiblio B.V. Automatically capturing information, such as capturing information using a document-aware device
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
EP2406767A4 (en) 2009-03-12 2016-03-16 Google Inc AUTOMATIC CONTENT SUPPLY ASSOCIATED WITH CAPTURED INFORMATION, TYPE INFORMATION CAPTURED IN REAL TIME
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
GB2509552A (en) * 2013-01-08 2014-07-09 Neuratron Ltd Entering handwritten musical notation on a touchscreen and providing editing capabilities
KR102125212B1 (ko) * 2013-08-29 2020-07-08 삼성전자 주식회사 전자 필기 운용 방법 및 이를 지원하는 전자 장치
TWI603319B (zh) 2013-10-22 2017-10-21 國立交通大學 色彩音樂輸出系統及其方法
US9424823B2 (en) 2014-02-10 2016-08-23 Myscript Method and apparatus for recognising music symbols
US10725650B2 (en) * 2014-03-17 2020-07-28 Kabushiki Kaisha Kawai Gakki Seisakusho Handwritten music sign recognition device and program
US10380983B2 (en) 2016-12-30 2019-08-13 Google Llc Machine learning to generate music from text
CN110299049B (zh) * 2019-06-17 2021-12-17 韶关市启之信息技术有限公司 一种电子乐谱的智能展现方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59167255A (ja) * 1983-03-14 1984-09-20 Dainippon Printing Co Ltd 楽譜デ−タの校正方法
JPH0720856A (ja) * 1993-06-30 1995-01-24 Casio Comput Co Ltd 楽譜編集方法及び楽譜編集装置
JPH081365U (ja) * 1996-04-01 1996-09-03 ヤマハ株式会社 楽譜表示装置
KR20020042581A (ko) * 2002-05-08 2002-06-05 김용민 컴퓨터 프로그램을 이용한 작곡방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0218576B1 (de) * 1985-03-12 1990-03-07 MAZZOLA, Guerino, Bruno Verfahren zur durchführung aller ganzen affinen transformationen in der ebene von kompositionen
JP2890564B2 (ja) * 1989-12-14 1999-05-17 ヤマハ株式会社 電子楽器
DE69018212T2 (de) * 1989-12-22 1995-10-26 Yamaha Corp Vorrichtung zur Musikton-Steuerung.
JP2526438B2 (ja) * 1991-07-09 1996-08-21 ヤマハ株式会社 電子楽器
JP2682364B2 (ja) * 1993-01-06 1997-11-26 ヤマハ株式会社 電子楽器のデータ設定装置
US5665927A (en) * 1993-06-30 1997-09-09 Casio Computer Co., Ltd. Method and apparatus for inputting musical data without requiring selection of a displayed icon
JPH11202857A (ja) * 1998-01-13 1999-07-30 Yamaha Corp 楽譜表示装置及び方法並びに記憶媒体
US6201174B1 (en) * 1998-12-11 2001-03-13 Sunhawk.Com Corporation Method and system for improved tablature notation in digital music scores

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59167255A (ja) * 1983-03-14 1984-09-20 Dainippon Printing Co Ltd 楽譜デ−タの校正方法
JPH0720856A (ja) * 1993-06-30 1995-01-24 Casio Comput Co Ltd 楽譜編集方法及び楽譜編集装置
JPH081365U (ja) * 1996-04-01 1996-09-03 ヤマハ株式会社 楽譜表示装置
KR20020042581A (ko) * 2002-05-08 2002-06-05 김용민 컴퓨터 프로그램을 이용한 작곡방법

Also Published As

Publication number Publication date
US6538187B2 (en) 2003-03-25
US20020088334A1 (en) 2002-07-11
JP2002269492A (ja) 2002-09-20
JP3927407B2 (ja) 2007-06-06
KR20020057814A (ko) 2002-07-12

Similar Documents

Publication Publication Date Title
KR100523892B1 (ko) 디지털 펜을 사용하여 상용 악보 표기(cmn)를 기록하기위한 방법 및 시스템
Kristensson et al. SHARK2: a large vocabulary shorthand writing system for pen-based computers
Forsberg et al. The music notepad
Al-Emami et al. On-line recognition of handwritten Arabic characters
US7428516B2 (en) Handwriting recognition using neural networks
US7149970B1 (en) Method and system for filtering and selecting from a candidate list generated by a stochastic input method
US5687254A (en) Searching and Matching unrecognized handwriting
JP3131287B2 (ja) パターン認識装置
US7496547B2 (en) Handwriting recognition using a comparative neural network
US6199042B1 (en) Reading system
JP2008293519A (ja) 手書きでないテキストを使用して手書きデータベースを探索する為の方法及びシステム
EP1617409B1 (en) Multimodal method to provide input to a computing device
JP2006146894A (ja) 階層リストおよびアウトラインを構文解析すること
JP5037491B2 (ja) 与えられた(1つ以上の)文字の全数より少ない数の文字、若しくは、その文字の字画の全数より少ない数の字画、又はその両方を供給することによる、表意言語の句の省略された手書き入力
Anstice et al. The design of a pen-based musical input system
JP4738847B2 (ja) データ検索装置および方法
WO2023177723A1 (en) Apparatuses and methods for querying and transcribing video resumes
Calvo-Zaragoza et al. Recognition of pen-based music notation with finite-state machines
Suhm Multimodal interactive error recovery for non-conversational speech user interfaces
WO2000034942A1 (en) Method and system for recognizing musical notations using a compass-direction user interface
JP2003263441A (ja) キーワード決定データベース作成方法、キーワード決定方法、装置、プログラム、および記録媒体
Sevilla et al. Automatic signwriting recognition: Combining machine learning and expert knowledge to solve a novel problem
JP4036741B2 (ja) テキスト読み上げシステム及び方法
Moon et al. Design and implementation of the note-taking style haptic voice recognition for mobile devices
US20030223640A1 (en) Apparatus, methods, computer program products for editing handwritten symbols using alternative known symbols

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee