KR0173155B1 - 온-라인 실시간 컴퓨터 음악 연주 방법 - Google Patents

온-라인 실시간 컴퓨터 음악 연주 방법 Download PDF

Info

Publication number
KR0173155B1
KR0173155B1 KR1019950000601A KR19950000601A KR0173155B1 KR 0173155 B1 KR0173155 B1 KR 0173155B1 KR 1019950000601 A KR1019950000601 A KR 1019950000601A KR 19950000601 A KR19950000601 A KR 19950000601A KR 0173155 B1 KR0173155 B1 KR 0173155B1
Authority
KR
South Korea
Prior art keywords
music
playing
buffer
computer
performance
Prior art date
Application number
KR1019950000601A
Other languages
English (en)
Other versions
KR960029995A (ko
Inventor
김형도
Original Assignee
손익수
주식회사데이콤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 손익수, 주식회사데이콤 filed Critical 손익수
Priority to KR1019950000601A priority Critical patent/KR0173155B1/ko
Publication of KR960029995A publication Critical patent/KR960029995A/ko
Application granted granted Critical
Publication of KR0173155B1 publication Critical patent/KR0173155B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/365—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems the accompaniment information being stored on a host computer and transmitted to a reproducing terminal by means of a network, e.g. public telephone lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G06F1/162—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position changing, e.g. reversing, the face orientation of the screen with a two degrees of freedom mechanism, e.g. for folding into tablet PC like position or orienting towards the direction opposite to the user to show to a second user
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

본 발명은 사용자측 컴퓨터에서 통신 네트워크로 연결된 다른 컴퓨터에 존재하는 MIDI등의 컴퓨터 음악 파일을 전송받으면서 실시간으로 연주하기 위한 처리방법에 관한 것이다. 본 발명의 방법은 네트워크 전송속도가 저속이고 네트워크 전송시 발생하는 전송에러 등 여러 요인으로 실시간 연주에 문제가 발생할 소지를 방지하여 사용자측 단말에 일정한 크기의 버퍼를 두고, 음악 파일 내용을 전송받아 채운뒤 연주를 시작하며, 연주중에는 남는 시간을 활용하여 전송받아 지속적으로 버퍼를 보충케하는 것을 특징으로 한다. 버퍼의 크기는 음악연주속도와 전송에러율에 비례하고 전송속도에 반비례하는 방식으로 결정된다. 본 발명의 방법에 의하면 네트워크상에서 파일 전송이 완료될 때까지 발생하는 지연을 최대한 보상하여 사용자가 연주시작까지 대기하는 시간을 최소화하고, 연주중단시 네트워크 전송량을 감소시킬 수 있는 이점이 있다.

Description

온-라인 실시간 컴퓨터 음악 연주 방법
제1도는 종래의 온-라인 컴퓨터 음악 연주 방법을 나타내는 흐름도.
제2도는 본 발명에 따른 온-라인 실시간 컴퓨터 음악 연주 방법을 나타낸 흐름도.
제3도는 온-라인 실시간 음악 연주시의 버퍼 운용 개념을 버퍼 상태 중심을 설명하기 위한 도면.
본 발명은 사용자측 컴퓨터에서 네트워크로 연결된 다른 컴퓨터에 존재하는 컴퓨터 음악 파일을 실시간으로 전송받아 연주하기 위한 처리방법에 관한 것이며, 특히 네트워크상에서 음악 파일을 전송받는데 있어 사용자의 파일 전송 대기 시간을 줄여 신속히 감상/녹음/노래할 수 있도록 한 컴퓨터음악 연주 방법에 관한 것이다.
근래 개인용컴퓨터의 사용환경이 문자, 소리, 그림 및 동화상 정보를 모두 취급할 수 있는 멀티미디어(Multi-media) 환경으로 발전하고 있음에 따라 상용의 컴퓨터 네트워크를 통해 멀티미디어를 활용할 수 있는 다양한 서비스가 요청되고 있으며, 현재 네트워크를 통한 온-라인 게임, 온-라인 노래방(영상 가라오케)등의 오락 서비스를 위주로 개발되고 있다.
네트워크를 통한 온-라인 노래방 서비스는 개인이 소장하고 있는 동종의 CD롬 타이틀등의 매체에 비교할 때 다양한 장르에서 월등히 많은 노래 곡목을 제공할 수 있으며, 최신곡을 신속히 제공하고, 노래 평가를 다른 사용자와 비교해 볼 수 있기 때문에 사용자가 충분한 만족감을 줄 수 있고 국민정서 및 오락문화의 질적향상을 도모할 수 있다.
일반적으로 온-라인으로 제공되는 컴퓨터 음악은 미디(MIDI; Musical Instrument Digital Interface)라고 불리우는 음악 파일을 사용한다.
1988년 제정된 표준 미디 파일 형성(SMF)제안서에 의하면, MIDI 파일은 각 이벤트마다 시간정보를 가진 여러개의 MIDI 스트림을 담고, 노래, 시퀀스, 트랙구조, 템포, 박자등을 모두 지원하고, 트랙이름과 다른 설명등도 MIDI 데이타와 함께 저장할 수 있는 구조에 관한 것이라고 규정하고 있다. 여기서 그 상세한 구조에 대한 설명은 생략한다.
사용자측에 저장된 컴퓨터 음악 파일을 연주할 경우에는 그 내용을 모두 읽어 분석한 뒤 연주를 시작하여 실시간 연주를 수행한다.
종래 네트워크상에서의 컴퓨터 음악(MIDI 파일)연주 방법은 제1도의 흐름도에 나타낸 바와 같이, 음악 파일 내용을 모두 전송받아(사용자측 단말에 파일로 저장한 뒤) 파일을 바탕으로 하는 알고리즘을 그대로 사용한다. 이하, 이 방식을 '파일전송/파일연주방식'이라 칭한다.
이와 같은 종래의 파일전송/파일연주방식을 사용할 경우 발생하는 문제점은 크게 보아 다음과 같다:
첫째, 네트워크상 전송 속도가 저속임을 감안할 때 파일전송/파일연주방식을 사용하면 사용자는 파일전송 완료시까지 많은 시간을 대기하여야 하고, 둘째, 사용자 단말에 일시적 또는 반영구적으로 파일이 생성되어 저작권이 침해될 소지가 있다.
상기 첫번째 문제점을 해결하기 위해서는 압축하여 전송하는 것이 대안이 될 수 있으나, 일반적인 압축방식을 사용할 경우 컴퓨터 음악 파일은 30-40% 정도로 압축이 가능한 것에 불과하여, 압축/복원 시간과 번거로움을 감안할 경우 큰 이득이 없다.
또한, 종래 파일전송/파일연주 방식은 무조건 모든 파일 내용을 전송하기 때문에, 사용자가 많은 시간을 기다려 음악 파일을 수신하고 나서 연주를 수행할때 이미 들어 보았던 곡이거나 흥미가 없는 경우 그 곡의 연주를 중단하게 되고, 이런 경우 전체 네트워크 사용의 효율성이 떨어지고 사용자에게 시간적 및 금전적 손해를 끼치게 되는 결과를 낳게 된다.
따라서, 본 발명의 목적은 컴퓨터 음악을 네트워크로 연결된 다른 컴퓨터로부터 전송받아 연주하고자 할 경우 실시간 연주에 지장이 없을 정도로 일부분만 전송받아 연주를 시작하여 연주시작까지의 시간을 줄이고, 연주중 남는 시간을 활용하여 전송을 병행시킴으로써 전송의 효율을 높이고, 언제든지 전송을 중단시켜 불필요한 전송을 줄임과 동시에 저작자의 권리 보호를 제고하는 데 있다.
상기 목적은 본 발명에 따라 다수의 노래 정보를 갖고 있는 원격 컴퓨터와 선곡된 노래 정보를 통신회선을 통하여 수신하여 사용자의 컴퓨터 단말에서 연주하게 한 컴퓨터 음악 연주 방법에 있어서, 음악 파일 연주사건수를 수신하여 버퍼의 크기를 결정하고, 초기의 음악정보를 수신하여 버퍼에 저장하고, 음악을 연주하고, 사건연주와 버퍼채움을 계획하고, 음악 연주 사건을 수신하여 버퍼를 채우는 단계로 이루어진 컴퓨터 음악 연주 방법에 의해 달성된다.
본 발명의 방법은 네트워크 전송속도가 저속이고 네트워크 전송시 발생하는 전송에러등 여러 요인으로 실시간 연주에 문제가 발생할 소지를 고려하여 사용자측 단말에 일정한 버퍼를 두고, 음악 파일 내용을 전송받아 채운 뒤 연주를 시작하며, 연주중에는 남는 시간을 활용하여 전송받아 지속적으로 버퍼를 보충케하는 것을 특징으로 한다.
이하 본 발명의 실시예를 첨부도면을 참조하여 상세히 설명한다.
본 발명은 네트워크로 연결된 컴퓨터 상에서 다른 컴퓨터에 존재하는 컴퓨터 음악을 실시간으로 연주하기 위한 방법에 관한 것으로 네트워크를 사용한 자료전송의 특성을 감안하여 음악연주를 실시간으로 처리할 수 있는 방법을 제시한다.
제2도는 본 발명이 제시하는 온라인 실시간 처리 방식의 개요를 보여주는 흐름도이다.
먼저 사용자측 컴퓨터 단말에 실시간 연주에 무리가 없는 크기로 버퍼를 설정하고(단계 S1), 음악 파일 데이타를 전송받아 처음으로 채운다(단계 S2).
상기 단계 S1에서 버퍼의 크기는 전송속도, 전송에러율, 컴퓨터연주속도를 고려하여 결정한다. 구체적으로, 버퍼 크기는 예를 들어
의 식에 의해 결정될 수 있다. 여기서,
기본버퍼크기 = 음악 파일 연주사건수 / 2
기본연주속도 = 48 (delta time ticks / ¼음표)
기본전송속도 = 2400 bps
로 설정한다.
즉, 버퍼크기는 음악 연주속도와 전송에러율에 비례하고 전송속도에 반비례하는 방식으로 결정된다.
다음에, 음악 파일 연주가 시작되어 각 사건(event)을 연주할 때마다 음악 파일의 전송이 완료되었는지 점검하고(단계 S3, S4), 전송이 완료되지 않은 경우 버퍼에 보충할 수 있는 여유공간이 있는지를 점검한다(단계 S6). 이때 여유공간이 있다면 버퍼를 채우는 일을 계획하고(단계 S7), 다음사건연주를 계획한다(단계 S8). 이 계획된 일은 사건연주에 방해가 되지 않은 시간에 수행된다.
단계 S4에서 전송이 완료된 경우에는 연주가 완료되었는지를 점검하고(단계 S5), 연주가 완료된 경우 음악 파일 연주 프로그램을 종료한다. 연주가 완료되지 않은 경우, 단계 S8로 가서 다음 사건연주계획을 세운다.
계획된 사건연주는 인터럽트를 사용하여 계획된 버퍼의 여유공간 채우는 일과 겹칠 경우 우선하여 수행된다.
제3도는 본 발명에서 버퍼운용에 관한 개념을 나타낸 것으로, 가능한 여러가지 상태의 버퍼 운용을 보여주고 있다.
최초에 상태 1로 나타낸 것과 같이 연주 포인터와 채우기 포인터는 처음을 가리키며 내용은 아무것도 없다.
상기 단계 S2에서와 같이 버퍼를 초기화할때 음악 파일 데이타로 버퍼를 채워서 채우기포인터의 위치가 연주포인터의 위치와 같아질 때까지 채우는 일을 계속한다(상태 2). 물론, 버퍼가 충분히 커서 모든 음악 내용을 담을 수 있다면 초기화 작업은 그 위치에서 끝을 낸다(상태 3).
연주가 시작되면 연주포인터가 전진하게 되며 채우기 포인터와 같아질 때까지 연주를 계속한다. 연주중 잔여시간에 음악내용을 전송받아 여유공간을 채운다. 연주중 가능한 버퍼 상태는 4가지(상태 4-7)가 있다.
상태 4 및 5는 연주포인터와 채우기포인터가 역전된 상황을 나타내며, 상태 6은 버퍼에 여유공간이 없게 되어 보충할 수 없는 상태를 나타낸다.
상태 7의 경우는 연주중 버퍼에 아무런 데이타가 없게 되는 상태를 나타낸 것으로, 이때 파일의 내용을 이미 모두 전송받았으면 연주를 종료하고, 그렇지 않으면 계속하여 전송을 기다리게 된다. 이와 같이 연주가 종료되지 않은 상태에서 상태 7이 발생할 확률을 줄이기 위해서 적절한 크기의 버퍼를 두는 것이 본 발명에서 중요하다.
본 발명의 방법을 온-라인 노래방에 적용할때, 먼저 가사파일을 보내고 나서 본 발명의 방법을 사용하여 미디 파일을 전송하여 연주를 수행케 한다. 이때 가사와 관련된 특정사건 연주시 가사를 화면에 나타내는 일과 평가(점수 계산)를 위해 외부 마이크로부터 입력되는 음성 디지틀 신호와 연주 음악을 녹음하는 2가지 기능을 수행하는 처리단계를 추가할 수 있다.
또 음악 파일이 전송중 또는 연주중에 있을때 사용자에 의해 중단을 요청하는 특정 신호가 입력되면 즉시 전송이나 연주동작을 중단하는 처리단계가 포함될 수 있다. 이로써, 사용자와 들어보아 이미 불렀던 노래이거나 흥미없는 노래를 즉시 취소할 수 있게 되어 노래 연주의 재미를 배가시킬 수 있다. 또한 불필요한 전송을 배제할 수 있으므로 회선의 전송효율을 높일 수 있다.
한편, 본 발명에서 음악 파일의 내용을 모두 채울 수 있도록 버퍼의 크기를 충분히 크게 구성하여 모든 음악 파일 내용을 전송받고 해석하여 채운뒤 연주를 수행케 하면, 종래의 파일전송/파일연주 방식을 그대로 사용할 수도 있다. 이때 버퍼 구성에 따른 소요비용을 무시하고, 다만 사용자측 단말에 파일로 저장되지 않게 하는 처리가 필요하게 된다.
본 발명은 상기한 컴퓨터 음악(MIDI) 파일 뿐만 아니라 실시간으로 처리되는 소리 파일, 예를 들어 윈도우즈용의 WAV 파일, VOC 파일등에도 응용이 가능하고, 파일 전송시 종래예에서와 같이 압축을 병행하여 사용할 수 있음은 물론이다.
이상 설명한 바와 같이, 본 발명의 방법에 의하면 네트워크상에서 파일 전송이 완료될 때까지 발생하는 지연을 최대한 보상하여 사용자가 연주 시작까지 대기하는 시간을 최소화하여 사용자에게 만족감을 줄 수 있고, 연주중단이 요청될 때 네트워크 사용량을 감소시켜 서비스의 효율성을 제고시킴과 동시에 사용자측의 버퍼크기를 줄일 수 있으므로 메모리 사용량을 최소화할 수 있는 경제적 이점이 있다.

Claims (4)

  1. 사용자측 컴퓨터에서 통신 네트워크로 연결된 다른 컴퓨터에 존재하는 MIDI등의 컴퓨터 음악 파일을 전송받으면서 실시간으로 연주하기 위한 처리 방법에 있어서, 음악 파일 연주사건수를 수신하여 버퍼의 크기를 결정하는 단계와, 초기의 음악정보를 수신하여 버퍼에 저장하는 단계와, 음악사건을 연주하는 단계와, 사건연주와 버퍼채움을 계획하는 단계와, 음악연주사건을 수신하여 버퍼를 채우는 단계로 이루어지고 상기 버퍼의 크기는 다음의 식으로 결정되는 컴퓨터 음악연주 방법.
    버퍼의 크기=기본버퍼크기×(1/(1-전송에러율))×(음악연주속도/기본음악연주속도)×(기본전송속도/전송속도)
    (단, 기본버퍼크기=음악 파일 연주사건수/2
    기본연주속도=48(delta time ticks/(1/4)음표)
    기본전송속도=2400bps
  2. 제1항에 있어서, 상기 컴퓨터 음악 파일의 전송전에 가사 파일을 수신하고, 상기 음악사건의 연주에 따라 가사를 출력하는 단계를 포함하는 것을 특징으로 하는 온-라인 실시간 컴퓨터 음악 연주 방법.
  3. 제1항에 있어서, 상기 음악사건의 연주시 마이크로부터 입력되는 음성 데이터를 컴퓨터 음악의 음이 시작하는 부분에서 녹음하여 음성 데이터의 유무를 판단함에 의해 점수를 계산하는 단계를 포함하는 것을 특징으로 하는 온-라인 실시간 컴퓨터 음악 연주 방법.
  4. 제1항에 있어서, 상기 음악사건의 연주시 사용자에 의한 중단을 알리는 특정신호를 받으면 연주를 중단하는 단계를 포함하는 것을 특징으로 하는 온-라인 실시간 컴퓨터 음악 연주 방법.
KR1019950000601A 1995-01-16 1995-01-16 온-라인 실시간 컴퓨터 음악 연주 방법 KR0173155B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950000601A KR0173155B1 (ko) 1995-01-16 1995-01-16 온-라인 실시간 컴퓨터 음악 연주 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950000601A KR0173155B1 (ko) 1995-01-16 1995-01-16 온-라인 실시간 컴퓨터 음악 연주 방법

Publications (2)

Publication Number Publication Date
KR960029995A KR960029995A (ko) 1996-08-17
KR0173155B1 true KR0173155B1 (ko) 1999-03-30

Family

ID=19406769

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950000601A KR0173155B1 (ko) 1995-01-16 1995-01-16 온-라인 실시간 컴퓨터 음악 연주 방법

Country Status (1)

Country Link
KR (1) KR0173155B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139987A (zh) * 2016-08-30 2018-06-08 华为技术有限公司 一种数据转移的进度计算方法、装置及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004538496A (ja) * 1999-12-20 2004-12-24 ハンセウルソフト カンパニー リミテッド ネットワーク基盤の音楽演奏／歌の伴奏サービスシステム及びその方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139987A (zh) * 2016-08-30 2018-06-08 华为技术有限公司 一种数据转移的进度计算方法、装置及系统
CN108139987B (zh) * 2016-08-30 2020-06-02 华为技术有限公司 一种数据转移的进度计算方法、装置及系统

Also Published As

Publication number Publication date
KR960029995A (ko) 1996-08-17

Similar Documents

Publication Publication Date Title
US6093880A (en) System for prioritizing audio for a virtual environment
US7244885B2 (en) Server apparatus streaming musical composition data matching performance skill of user
KR100841026B1 (ko) 사용자 신청에 응답하는 동적 내용 전달
US5286907A (en) Apparatus for reproducing musical accompaniment information
US5247126A (en) Image reproducing apparatus, image information recording medium, and musical accompaniment playing apparatus
JP5259083B2 (ja) マッシュアップ用データの配布方法、マッシュアップ方法、マッシュアップ用データのサーバ装置およびマッシュアップ装置
EP0855697A1 (en) Real time transmission of musical tone information
JPH0774854A (ja) カラオケシステムおよびカラオケ装置
JPH09244900A (ja) 通信カラオケ装置、通信カラオケ用ホストコンピュータ及び通信カラオケシステム
JP2002197069A (ja) コンテンツ提供サービスシステム、およびサーバ装置、クライアント装置
US20070174430A1 (en) Music creator for a client-server environment
KR0173155B1 (ko) 온-라인 실시간 컴퓨터 음악 연주 방법
JP2004178496A (ja) マルチメディアファイルのデータ構造、ファイル配信方法、ファイル配信装置およびプログラム
JP3864808B2 (ja) 端末装置及びそのプログラム
JP2004062769A (ja) コンテンツ出力装置
JP3784937B2 (ja) 通信システムと端末装置
KR20010025222A (ko) 네트워크를 이용한 실시간 다자간 노래방 시스템
KR100923095B1 (ko) 멀티미디어 패키지 파일이 저장된 저장매체 및 휴대용단말기, 멀티미디어 패키지 파일 제공 시스템, 멀티미디어제공방법 및 단말기의 멀티미디어 패키지 파일의 재생방법
JP4214900B2 (ja) コンテンツデータ再生装置及びプログラム
JP3941616B2 (ja) 通信カラオケシステムの配信方法
JP3892433B2 (ja) カラオケ装置、カラオケ方法、ならびに、プログラム
JP2003015657A (ja) カラオケ店で収録したカラオケ歌唱者の歌声をもとに音楽ソフトを編集してインターネット上で公開する音楽工房装置
JP2003015659A (ja) 楽曲情報配信装置及び楽曲情報配信プログラム
JP4429244B2 (ja) カラオケ装置
KR20010095701A (ko) 인터넷을 이용한 가라오케 서비스 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20071030

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee